https://www.lamda.nju.edu.cn/chengq/optfall24/slides/Lecture_1.pdf

AI为什么需要研究优化？之前AI科学家负责建模 然后优化方面的数学的问题交给数学研究者。

但AI问题的结构本身具有一些特性。

最优解x*的定义 对于所有符合约束条件的z   f0(x*)≤ f0(z) 对应目标函数值最小。

 线性规划     加权函数值 = 函数值加权

非线性规划中 相对容易的问题 凸优化问题

  加权函数值 ≤ 函数值加权

  

等号变小于等于；条件再加上和为1（对部分的α β 线性规划相当于对所有的α β）

范围都放大，凸优化相当于线性规划的一般形式。（建模需要兼具 准确合理与好解）

1. Portfolio Optimization 投资组合问题

变量向量x 为每个股的投资量；条件约束 期望回报不低于某阈值（比如假设存银行的收益）；

目标 最大化收益&最小化方差 避免风险

2.手机尺寸

变量 手机长宽；条件约束 面积放得下电路；目标 最小化能耗

3.数据拟合问题

变量 模型参数；条件 先验信息 参数限制；目标 最小化预测与观测的误差。

最小二乘法

每个 ai转置 代表一个策略；bi代表一个收益； 拟合出向量策略 到收益的映射。

我的目的是建模出 ax≈b，此处用差的平方和去实现这个接近（f0建模损失函数）

   矩阵求导为0位置

加权最小二乘 就把w拿进去 相当于对 A和b 乘系数

正则化   后面相当于加权了 (xi-0)^2  也属于最小二乘

弊端：仅在无约束的时候

切比雪夫近似 平方变成绝对值

再把绝对值 化为线性规划（添加参数t  max变成别的都 ≤ t）

线性规划和最小二乘是凸优化特例 但凸优化本身没有解析解； 大模型 非凸优化

凸优化例：路灯照明问题 m灯 n照明点 需要接近期望亮度。

照明亮度I 与距离、角度、灯亮度相关。

每个位置 不同灯加权求和    系数

如何求解这个问题？ 若仅是一维变量 二分法即可。

把求和化为 I， log去掉 因为单调性， 绝对值化为max （改变目标函数 但是对应的解还是相同的）

最后可 把max倒数的结构化为 凸函数h(u)  最终可化为一个凸优化问题

凸优化对于非凸优化的作用

1）得到初始解     2）作为启发式算法     3）进行relaxtion松弛 得到下界