https://www.lamda.nju.edu.cn/chengq/optfall24/slides/Lecture_2.pdf

1.norms范数

1.内积

2.欧式范数/2-范数

3.柯西-施瓦兹不等式

4.余弦 向量夹角公式

5.矩阵内积 相应位置相乘 可以理解为 矩阵拉直为向量   迹：主对角线元素之和

6.矩阵弗罗贝尼乌斯范数 平方和开根

7.两个n*n对称矩阵

8.范数的四个条件  1)    2)

3)       4)

9.所有范数≤1的向量构成 单位球 unit ball   对称性 、凸性、闭、有界、内部非空

10.p范数

11.1范数 绝对值之和

12.无穷范数

13.基于对称正定矩阵P的2范数 

14.范数等价性

任意a\b范数 都可以找到α和β使 

任意范数都可以 找到一个P-2范数 作为近似 在1倍到根号n倍之间

 

15.算子范数

b范数对应单位球 经过X拉伸的a范数上确界

a=b=2时 矩阵2-范数为 最大奇异值（特征值开根号）

a=b=1时 为最大列求和；a=b=∞时 为最大行求和

16.dual norm对偶范数

  向量z与原向量球 最大内积

无穷范数和1范数互为对偶；满足倒数和为1     对偶的对偶为本身。

谱范数的对偶范数是核范数

 奇异值求和。

17.interior point内点 

所有内点的集合表示为C的内部 int C       若int C=C 则C为open set开集

18. 补集为开集 -> closed set 闭集     补集的内部的补集 -> closure 闭包带边界

闭包去掉内部 -> boundary 边界        sup 上确界     inf 下确界

19.函数连续性

2.derivative导数

f在x处可微  等价于存在矩阵Df(x) 满足下式

f(x) 加上 距离(z-x) 乘以矩阵 Df(x) 可以近似到 f(z)

一阶近似    第二项为 梯度和距离的内积

 其中梯度gradient 为导数的转置

可改写成    

m维(m列 ) -> n维(n行 )  第i行j列     n*m 雅可比矩阵 Jacobian

 二阶导数 Hessian矩阵

向量形式 二阶泰勒展开 更好的近似

例1 二次形式： 

 本来是 1/2 (P+P^T) 由于对称    

例2： 已知它的一个二阶近似

直接求导难求。由近似 反推导数值。

通过对比识别出 

 

链式法则

维度可以链起来       

我们大多数研究的 都是后一维都是1  m=p=1

        

一阶二阶偏导；以及仿射函数特例

x+tv 随着t的变化 就在一条直线上

     

例3：

 把里面的仿射向量化简掉   Ax+b=y

   向量每个值 exp 求和 log

 写成向量 z 的话

二阶形式  使用链式法则

例4. 

内部映射拿出来 

   （重要的基本结论）

   

3.线性代数

1.range值域 右乘 列线性组合 

2.nullspace零空间 线性方程组的解 

3.正交补 与V中所有向量都正交 

4.

 

   

（平方开根 绝对值   最后等式 如果特征值从大到小排序）

5.正定       特征值均>0

负定     特征值均<0

半正定    特征值均≥0

6.SVD 奇异值分解

 最大奇异值 谱范数

奇异值即为 A^T A 特征值开根号

7.根据奇异值分解 伪逆   就有性质 

8. 舒尔补（Schur Complement）

   

 

X 正定 当且仅当 A和舒尔补S都正定

舒尔补可以用来进行改写：

 向量的L2范数 与一个标量    A矩阵 x向量

   

所以可以写成