【凸优化第二章】凸集（详细解读+深入剖析）

当仅满足条件 $\theta _{1}+\theta _{2}+\theta _{3}=1$ 而对 $\theta$ 没有其他限制时， $y$ 是过 $x1$ ， $x2$ ， $x3$ 三点无限延申的平面，当对 $\theta$ 加一个条件 $\theta \epsilon [0,1]$ 时，y为 $x1$ ， $x2$ ， $x3$ 三点连线形成的三角区域。

1.1仿射集

1.1.1仿射集

1.1.1.1定义：

1.1.1.2自我理解为：

（1）仿射集：

集合中任意点之间组成向量张成的空间即是这个集合。举个例子，一维情况下只有直线是仿射集（至少两个点确定），二维情况下只有无限延申的平面是仿射集（至少三个点确定），三维情况下只有整个三维空间是仿射集（至少四个点确定）。

（2）仿射集与向量空间：

当不再限制 $\theta _{1}+\theta _{2}+\cdot \cdot \cdot +\theta _{k}=1$ 时， $y=\theta _{1}x_{1}+\theta _{2}x_{2}+\cdot \cdot \cdot +\theta _{k}x_{k}$ 表示的集合将是向量 $x_{1}$ ， $x_{2}$ ，...， $x_{k}$ 张成的空间，当包含 $x_{1}$ ， $x_{2}$ ，...， $x_{k}$ 的仿射集不经过原点时，这些点张成的向量空间比包含它们的仿射空间高一维，当包含 $x_{1}$ ， $x_{2}$ ，...， $x_{k}$ 的仿射集经过原点时，仿射集与向量空间等同。几个点线性组合张成的向量空间默认包含了原点，相当于多一点，而仿射空间没有原点，所以同一组点线性组合构成的线性空间比仿射空间多一维。

（3）仿射空间：

一个仿射集是一个仿射空间，它与向量空间的区别是，向量空间一定包含原点（零向量），而仿射空间可以不包含原点，仿射空间C和向量空间V之间的关系可以表示为C=V+x0 。（C、V、x0是更高维空间的元素，x0为向量，其在仿射空间中，等式的意义是仿射空间C是向量空间沿x0方向平移|x0|的距离，可能脱离原点。）。若有仿射空间C，则C-x0为向量空间（x0为仿射空间中任意一点）

1.1.3仿射组合与仿射包

1.1.3.1仿射组合

如果 $\theta _{1}+\cdot \cdot \cdot +\theta _{k}=1$ ，则称 $\theta _{1}x_{1}+\theta _{2}x_{2}+\cdot \cdot \cdot +\theta _{k}x_{k}$ 为 $x_{1}$ ， $x_{2}$ ，...， $x_{k}$ 的仿射组合。

1.1.3.2仿射包

自我理解：当C是仿射集合时，它的仿射包是它本身；当C不是仿射集合时，它的仿射包为C中所有点构成的空间（即，C中两个点的话它的仿射包就是过两点的直线，C中若是不共线的三个点的话它的仿射包就是过三个点的无限延申的平面，依次类推）。

1.2凸集

1.2.1凸集

1.2.1.1定义：

标准的定义太过枯燥，下面更直观解释：

如果集合中的每一点都可以被其他点沿着它们之间一条无阻碍的路径看见，那么这个集合就是凸集。所谓无阻碍，是指整条路径都在集合中。

仿射集包含穿过集合中任意不同两点的整条直线，任意不同两点间的线段自然也在集合中。因而仿射集是凸集。

1.2.1.2例子：

第一个是凸集，第二、三个不是凸集。

1.2.3凸组合与凸包

1.2.3.1凸组合

当对 $\sum \theta _{i}$ 进行限制即 $\sum \theta _{i}=1$ ，且 $\theta _{i}\geqslant 0$ 时（这个限制说明所有的 $\theta _{i}$ 都不超过1且为正数），上面的凸组合就是线段。

1.2.3.2凸包

集合的所有凸组合组成的集合是其凸包。

自我理解：

凸集的凸包是其本身，非凸集的凸包为包含这个集合的最小凸集。

例子：

1.3锥集

1.3.1锥集

1.3.1.1定义

1.3.1.2直观理解

一个点构成的锥集为射线，两个点构成的锥集为扇形辐射区域。

1.3.2锥组合与锥包

1.3.2.1锥组合

1.3.2.2锥包

锥包的例子：

第一个图为一系列点组成的集合的锥包，第二个图为肾形集合的锥包。

自我理解：锥集的锥包为其本身，非锥集的锥包为包含这个集合的最小锥集。

1.4三种集合辨析（自我理解）

1.4.1二维举例

二维情况下，两个点 $x_{1}$ ， $x_{2}$ 构成的集合

（1）仿射包为过两点的直线，其是包含两点的最小仿射集

（2）凸包为过两点的线段，其是包含两点的最小凸集

（3）锥包为从原点到过两点的辐射扇形区域，其是包含两点的最小锥集

（4）补充：包含两点的最小向量空间是从原点到两个点的向量张成的整个二维平面

1.4.2三维举例

三维情况下，两个点 $x_{1}$ ， $x_{2}$ ， $x_{3}$ 构成的集合

（1）仿射包为过三点的平面，其是包含三点的最小仿射集

（2）凸包为过三点的三角形平面区域，其是包含三点的最小凸集

（3）锥包为从原点到过三点的辐射三角扇形区域，其是包含三点的最小锥集

（4）补充：包含三点的最小向量空间是从原点到三个点的向量张成的整个三维空间

1.4.3三者的联系与差别

1.4.3.1仿射集、凸集、锥集的包含关系：

（1）仿射集一定是凸集

（2）锥集不一定是凸集，例如下面这个锥集就不是凸集：

1.4.3.2三者差别

三者并不是那么相似，更准确地说，

（1）仿射集和凸集地联系很紧密，而它们与锥集有很大地区别，仿射集和凸集仅形成过程中对参数 $\theta _{i}$ 的约束强度不同，凸集形成过程中对它的约束更强。

（2）我认为锥集与向量空间地联系更为紧密，锥集是向量空间张成过程中对线性组合的参数加上 $\theta _{i}\geqslant 0$ 的约束，由同样的一组基形成的锥集和向量空间，锥集是向量空间的子集。

二、重要的例子

2.1超平面

2.1.1定义：

俗话说定义：

比所研究空间低一维的空间叫超平面。这个超平面与法向量 $a$ 正交。

定义中的 $a^{T}$ 与 $x$ 的内积用向量 $x$ 向 $a^{T}$ 投影再乘向量 $a^{T}$ 的模等于 $b$ 来理解可以更直观得想象超平面。

2.1.2超平面的性质

（1）超平面是仿射集，是凸集。当超平面过原点时，超平面是锥集。

（2）超平面不一定过原点，超平面可表示为 $x_{0}+a^{\perp }$ ， $a^{\perp }$ 表示 $a$ 的正交补，即与 $a$ 正交的向量的集合， $a^{\perp }$ 既然是向量的集合，肯定过原点。加上 $x_{0}$ 后变为仿射集，可能不过原点。

2.2半空间

2.2.1定义

（1）

俗话说定义：定义中为等号时，定义的就是超平面；为小于等于（或大于等于）时定义的就是半空间；为小于（或大于）时定义的就是开半空间。

（2）

类似于超平面的定义，半空间还可定义为：

2.2.2半空间的性质

（1）半空间不是仿射集，是凸集，当半空间的边缘也即分割半空间的超平面过原点时，半空间是锥集。

2.3球

2.3.1定义

俗话说定义：此处的球也即是我们认知中的三维的球向高维的一个扩展，注意此处是球，包含内部，而不仅仅是球面。当定义中是等号时，才是仅球面。

2.3.2球的性质

（1）球是凸集，不是仿射集，不是锥集

2.4椭球

2.4.1定义

俗话说定义：

引入椭圆的方程： $\frac{x^{2}}{a^{2}}+\frac{y^{2}}{b^{2}}=1$

也可以写为： $x^{T}\cdot P^{-1}\cdot x=1$ ，（这个式子中x表示向量 $\binom{x}{y}$ ， $P=\begin{bmatrix} \frac{1}{a^{2}} &0 \\ 0& \frac{1}{b^{2}} \end{bmatrix}$ ）将其扩展到高维，就是椭球的定义。

2.4.2椭球的性质

（1）椭球是凸集，不是仿射集，不是锥集

（2）退化的椭球仍然是凸集，不是仿射集（除非退化到一个点），不是锥集（除非退化到一个点）

（3）退化矩阵的仿射维度是指退化矩阵所处的最小仿射子空间的维度。它反映了一个集合能够扩展到的最小维度。也即退化矩阵的仿射包的维度。

2.5范数球

2.5.1定义

2.5.2常见的几何结构

2.5.3范数球的性质

2.6范数锥

2.6.1定义

俗话说定义：范数锥即是在n维范数球的基础上加上第（n+1）维，随着这第（n+1）维的不断增大，范数球的半径逐渐增大，即对范数锥的每一个正切超平面都是一个范数球。斜着切的话当然就是椭球了。

2.6.2常见的几何结构

下图是 $R^{3}$ 上的二阶范数锥。在本文的6.1.5节有 $R^{3}$ 上的一阶和无穷阶范数锥的视图，可参考。

2.6.3范数锥的性质

2.7多面体

2.7.1定义

2.7.2单纯形（一种多面体）

（1）定义

俗话说定义：

（1）仿射独立：即线性空间中的线性独立向仿射空间中的扩展，仿射空间没有原点，所以对它的定义比线性空间多一个点，也就是说，（k+1）个点决定了一个k维空间，这k个点的集合的凸包就是单纯形。

2.7.3多面体的性质

（1）有界封闭的多面体是凸包，不是仿射集，不是锥集。

（2）多面体也包含无界或不封闭的空间（或说集合），比如超平面、直线、线段、范数锥等，他们都是凸集，可能是仿射集或锥集。

*2.8半正定锥（现仍未理解半正定锥的几何意义）

2.8.0（补充）三个矩阵集的定义

（1） $S^{n}$ ，表示对称矩阵的集合

（2） $S^{n}_{+}$ ，表示半正定对称矩阵的集合

（3） $S^{n}_{++}$ ，表示正定对称矩阵的集合

说明：

其中符合 $\succ$ 和 $\succeq$ 表示广义的大于和大于等于，

$X\succ 0$ 表示矩阵 $X$ 是正定的，即它的特征值都大于0，或者说它的所有的主子式都大于0，详见下文：

【线性代数】正定矩阵，二次型函数_正定矩阵二次型-CSDN博客

2.8.1半正定锥定义

半正定锥是由所有半正定矩阵组成的集合，即 $S^{n}_{+}$ .

2.8.2半正定锥的性质

（1）半正定锥是凸锥

（2）正定矩阵的集合 $S^{n}_{++}$ ，不是锥，因为其不包含原点

2.8.3疑问

半正定锥是矩阵的集合，他是怎么表示在空间里的呢？下面有一个例题：

三维半正定锥如何表示在空间中呢？不知道

三、保凸运算

俗话说保凸运算的意思就是：凸集经过某种运算，仍是凸的。

3.1交集

3.1.1说明为什么交集是保凸运算

交集是保凸的，即如果 $S_{1}$ 、 $S_{2}$ 是凸集，那么他们的交集也是凸集。

3.1.2其他

这个太简单了，就略了吧

3.2仿射函数

3.2.1仿射函数与线性函数的区别

（1）线性函数： $f(x)=Ax$

不包含常数项，原点映射到原点，满足齐次性和加法性。通常包括伸缩、旋转、剪切、反射、投影、对称、零变换和恒等变换等

（2）仿射函数： $f(x)=Ax+b$

包含常数项 b，不会将原点映射到原点，只满足加法性，不满足齐次性。通常包括伸缩、旋转、剪切、反射、投影、对称、零变换和恒等变换等再加上一个平移。

3.2.2说明为什么仿射函数是保凸运算

显然线性变换和仿射变换都是保凸运算，这个太简单了，就略了吧。

3.3线性分式及透视函数

3.3.1透视函数

3.3.1.1定义

定义1（来自凸优化课本）

定义2（来自chatgpt）

俗话说定义：

（1）定义1将P的输入参数 $(z,t)$ 看成n+1维，经变换后输出为n维；定义2将输入看成两个，一个向量，一个标量，变换看成标量对向量的缩放。

（2）本人认为定义1更能符合“透视”这个名字，更能体现出其几何特性，课本上还给出一个例子来解释透视如下：

3.3.1.2说明为什么透视函数是保凸的

凸集的透射当然不会变成凹的，显然透视函数是保凸运算，这个太简单了，就略了吧。

3.3.2线性分式

3.3.2.1定义

定义1（来自课本）

定义2（来自chatgpt）

俗话说定义：

（1）本人认为定义1更能符合“透视”这个名字，更能体现出其几何特性。

3.3.2.2映射过程中各变量维度说明

仿射函数输出的两个元素： $Ax+b$ 是m维的， $C^{T}x+d$ 是1维的，所以后续的透视函数得以实现。

透视函数是从m+1维到m维的映射。

3.3.2.3说明为什么线性分式函数是保凸的

线性分式函数是仿射函数和透视函数的复合，仿射函数和透视函数都是保凸的，所以线性分式函数也是保凸的。

四、广义不等式

4.1正常锥

4.1.1定义

4.1.2举例

第1、4个是正常锥，其他都不是正常锥。

第2个不满足非空；第3个不满足闭的（有界）；第5个和第6个包含直线。

4.2（补充）我认为的广义不等式

4.2.1标量不等式

4.2.2向量广义不等式

4.2.2.1定义

向量不等式是依托于锥定义的。

4.2.2.2向量广义不等式的几何直观

如图，只有向量y落在阴影区域时才有 $x\succeq _{K}y$ ，当然，三维情况下，相应阴影区域就变成了一个三维区域。

4.2.2.3向量的广义不等式在现实中的类比

向量的广义不等式可以在现实中做一个类比，即人之间的比较，学生甲乙在比较前先要确定在哪个方面进行比较，此处在学习方面（K锥）进行比较，甲的没门课程都比乙的成绩好，所以就说明甲比乙要好；若乙的数学比甲的成绩好，而其他所以科目都是甲比乙好，那么就不能说甲比乙好，所以此时甲乙就无法比较。

4.2.3矩阵广义不等式

4.2.3.1定义

（1）再说半正定锥

矩阵不等式是依托于半正定锥来定义的。

半正定锥是由所有半正定矩阵组成的集合，即 $S^{n}_{+}$ .所以每个维度的情况下半正定矩阵都是唯一的。

二维情况下的半正定锥的图见本文2.8节，当把每个半正定矩阵都标在半正定锥中时，矩阵广义不等式就类似于向量广义不等式了。

（2）几何解释定义

4.2.3其他场景下的广义不等式

（略过即可）

4.3几种重要的广义不等式

4.3.1非负象限

4.3.1.1定义

4.3.1.2几何直观

4.3.1.3几何意义

4.3.2矩阵不等式

4.3.2.1定义

4.3.2.2几何直观

4.3.2.3例子

4.3.3 0-1上的非负多项式锥

4.3.3.1定义

4.3.3.2几何直观

4.3.3.3例子

4.4广义不等式的性质

都是简单认知，略过

4.5最小与极小元

4.5.1最小元

4.5.1.1定义

（1）语言定义

（2）集合法定义

4.5.1.2更直观的解释

（1）什么是 $x+K$ ？

表示与x相比都大于x的元素的集合，画出图为：

（2）最小元定义的几何直观图：

即 $x_{1}$ 比 $S_{1}$ 中的所有元素都小。

4.5.2极小元

对于标量不等式，两个数一定可以比出大小，但是对于向量的广义不等式，两个向量并不一定能比出大小，所以可能存在几何没有最小元，那么它一定存在一些元，比集合中的一部分元大，而与其他一部分元无法比较，即集合中不存在比它大的元素（要么比它小，要么无法比较）。符合这样条件的一些元素，叫做集合的极小元。

4.5.2.1定义

（1）语言定义

（2）集合法定义

4.5.2.2更直观的解释极小元

（1）什么是 $x-K$ ？

表示与x相比都小于x的元素的集合，画出图为：

（2）极小元定义的几何直观图：

即 $x_{2}$ 比 $S_{2}$ 中的一部分元素小而与其他的元素无法比较。如第二个图 $x_{2}$ 比红色阴影部分的元素都小，而与 $S_{2}$ 的其他元素无法比较，所以 $x_{2}$ 是 $S_{2}$ 的极小元。

4.5.3对称矩阵集合中的最小元与极小元

视频参考：

43、最小元与极小元（3）_哔哩哔哩_bilibili

4.5.3.1定义

4.5.3.2几何解释

详细的见上面的参考视频吧，累了。

五、分离与支撑超平面

5.1分离超平面

5.1.1定义

5.1.2几何直观与应用场景

5.2支撑超平面

5.2.1定义

自我理解：经过凸集的每个边缘上的点都可以画一个支撑超平面，非凸集的边缘是的一部分点不能画支撑超平面。

5.2.2几何直观和应用场景

六、对偶锥与广义不等式

6.1对偶锥

6.1.1什么是对偶锥？

6.1.1.1定义

俗话说定义：几何上，对偶锥可以理解为在空间中与锥中任意一点内积为正的向量的集合。

6.1.1.2几何

对偶锥的几何直观来自于锥的方向性。

6.1.1.3例子

K与K*互为对偶锥。

6.1.2子空间的对偶锥

自我理解：子空间和其他几何不同点在于：子空间是某个低维度的所有，而集合可以是某个维度的一部分，与子空间中所有向量的夹角都小于等于90°，那么就只有与子空间正交的另一个子空间，另一个子空间中的每个向量与子空间中的每个向量都是90°，即点积都等于0，符合定义。

6.1.3非负象限的对偶锥的对偶锥

自我理解：非负象限是“直角”的，所以与非负象限中每个向量点积都大于等于0的向量都在这个非负象限中，且每一个点都符合要求，所以非负象限是自对偶的。

6.1.4半正定锥的对偶锥

自我理解：半正定在锥也是“直角”的（同上），所以它的对偶也是它自己。

6.1.5范数锥的对偶锥

6.1.5.1 L2范数锥的对偶锥

下面两幅图是L2范数锥在两个角度下的几何视角：

自我理解：由第二个图可以看出，L2范数锥也是“直角”的（同上），所以它的对偶也是它自己。

6.1.5.2 L1范数锥和无穷阶范数锥的对偶锥

L1范数锥（菱形）和无穷阶范数锥（正方形）互为对偶，下图为L1范数锥和无穷阶范数锥的视图。

L1范数锥和无穷阶范数锥中的向量之间的最大夹角是90°（如图中的黄色向量与蓝色向量），而一个锥内部的向量与另一个锥的夹角都小于90°，一个锥外部的向量与另一个锥中的向量总存在夹角大于90°的情况，所以L1范数锥和无穷阶范数锥互为对偶。

6.1.6对偶锥的性质

自我解释：

性质（1）：一个锥的对偶锥是闭凸的，当这个锥本身也是闭凸的时，那么它对偶锥的对偶锥是它本身，当这个锥本身不是闭凸的时，它对偶锥的对偶锥就不是它本身。当这个锥中含直线时（大于等于180°），同维度情况下它可能没有对偶锥（等于180°时对偶锥是一条射线，大于180°时没有对偶锥。）

性质（2）：从6.1.1.3例子可以看出锥夹角大时它的对偶锥就小，锥小时它的对偶锥就大。

性质（3）：K*是凸锥，K*存在的情况下肯定是尖的。

性质（4）：不知何意，K*存在即内部非空。

6.2广义不等式的对偶

6.2.1什么是广义不等式的对偶

6.2.1.1定义

自我理解：广义不等式是定义在锥上的，这个锥的对偶锥定义的广义不等式就是原广义不等式的对偶。

6.2.1.2广义对偶不等式的性质

自我理解： $\lambda \succeq _{K^{*}}0$ 说明 $\lambda$ 在K的对偶锥中且不为0，所以 $\lambda$ 与K中任意两个元素x、y的夹角都小于90°，当 $x\preceq _{K}y$ 时，x在 $\lambda$ 上的投影大于y的投影，即 $\lambda ^{T}x\preceq _{K}\lambda ^{T}y$ 。

为什么特意要强调 $\lambda$ 在K的对偶锥中呢？因为对偶锥中的向量与改锥中的任一向量都是小于90°的，x与y同时乘 $\lambda$ 时不等号才能传递。举个例子，当 $\lambda$ 与x、y的夹角大于90°时，如果 $x\preceq _{K}y$ ，则 $\lambda ^{T}x\succeq _{K}\lambda ^{T}y$ ，即不等号没有传递。

6.3对偶不等式定义的最小元与极小元

6.3.1最小元的对偶性质

x是S上关于广义不等式K的最小元的充要条件是，对于所有 $\lambda \succeq _{K^{*}}0$ ，x是在 $z\epsilon S$ 上极小化 $\lambda ^{T}z$ 的唯一最优解。

6.3.2极小元的对偶性质

x是S上关于广义不等式K的最小元的充要条件是，如果 $\lambda \succeq _{K^{*}}0$ ，并且在 $z\epsilon S$ 上极小化 $\lambda ^{T}z$ ，那么是极小的。

最小元与极小元的对偶性质的对比：要满足最小元，需要对偶锥中所有的 $\lambda$ ，x都是在 $z\epsilon S$ 上极小化的 $\lambda ^{T}z$ ，而极小元只需要在一个 $\lambda$ 上满足x是 $z\epsilon S$ 上极小化的 $\lambda ^{T}z$ ，

极小化的可视化：

对于这幅图，左下角的红色线段都是S在 $R^{2}_{+}$ 上的极小值。每个极小值点对应的 $\lambda$ 值都不一样。

一方面。

上述定义的逆命题不一定正确，即x是S在正常锥 $K=R^{2}_{+}$ 上的极小元，但x不是任何 $\lambda \succeq _{K^{*}}0$ 在 $z\epsilon S$ 上的极小化 $\lambda ^{T}z$ 。两个例子如下：

（1）

x是极小值（即红色折现的右上角的点都大于x，红色折现左侧和下侧的点与x无法比较），

为什么x不是任何 $\lambda \succeq _{K^{*}}0$ 在 $z\epsilon S$ 上的极小化 $\lambda ^{T}z$ ？在x处画支撑超平面，S分布在超平面的两侧，所以在S中存在让 $\lambda ^{T}z$ 更小的点。

（2）

另一方面。

并不是对于任意 $\lambda \succeq _{K^{*}}0$ ，在 $z\epsilon S$ 上极小化 $\lambda ^{T}z$ 的解都一定是极小的，如下例子：

天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

Handy 离线语音转写教程：免费开源，本地跑不连网

你肯定遇到过：语音输入 5 分钟，云转写服务要登录、要付费；或者出差没网，想口述一段会议纪要，发现全都没法用。Handy 离线语音转写工具就是为解决这个问题做的，声音全程不出你的电脑。## 🎯 这个工具是什么Handy 是一款免费、开源、跨平台（Windows / macOS / Linux）的离线语音转写应用。按住快捷键说话，松手后文字直接粘贴进任意输入框，全程不联网。核心能力就三条：

天工造物局

Supabase Edge Functions 编写与部署完整指南：Deno 运行时上的无服务器利器

Supabase Edge Functions 是基于 Deno 运行时编写、面向 Web 的无服务器函数服务，帮你把后端逻辑部署到全球边缘节点。作为 Postgres 开发平台的核心能力之一，它让你用 TypeScript 就能快速搭建低延迟的 API 端点、Webhook 接收器和 AI 集成服务，无需管理任何服务器。本文将从零带你完成一个 Edge Function 的创建、本地调试与全球部

天工造物局

celld从v0.1.0到v0.2.0为何不能滚动升级：两个破坏性变更详解

celld 是一个自托管、分布式的 Durable Objects 开源守护进程，它在你自己的机器上运行 Cloudflare Workers，每个对象对应一个独立的 SQLite 数据库，并持续复制到你自己拥有的 S3 兼容存储桶中。如果你正准备把 v0.1.0 的集群（fleet）升级到 v0.2.0，这篇文章必须先读：这次升级**不能滚动升级**，必须采用"先停光、再启动"的一次性发布方式。