1. 世上并无负样本

softmax的标签是一个向量，但是这个向量中只有一个值为1，所以损失函数中也只会有一项是有值的，其他都是0，所以值也都为0。但是交叉熵损失函数中，不管0还是1都是有只的，正样本的时候，值为$\text{log}p$，负样本的时候值为$\text{log}(1-p)$。这就非常的奇怪，为什么负样本有值呢？
其实，我们只要把二分类写成一个向量就可以明白了，正样本有$[1,0]$，而负样本呢，则为$[0,1]$。所以在计算损失函数的时候，负样本也是有值的。
出现这个错觉还有一个原因是，我们把正负样本和标签弄混淆了。

仔细想想，多分类的问题中有所谓的负样本吗？并没有，一个样本就是对应一个标签向量。当我们把二分类的标签也写成向量的时候，你就会发现没有所谓的负样本了。很有意思的是，当二分类的时候，我们说正负样本不均衡，当多分类的时候，我们说类别不均衡。

2. 绘制交叉熵函数

如何绘制交叉熵函数，我当时是一脸懵逼的，交叉熵的损失函数我是知道的
$$L=\sum _{i}y\text{log}\hat{y}+(1-y)\text{log}(1-\hat{y})$$

计算每一个样本的损失值，所有样本的值进行累加，就可以得到一个batch样本的损失值，然后我们进行优化，使这个值最小。我的经验中，只会求损失值，并不会绘制函数图像。
当正样本的时候$y=1$，此时损失函数为$L=-\text{log}\hat{y}$，可以看出这是一个log函数，当$y=0$时，此时损失函数为$L=-\text{log}(1-\hat{y})$，这是log函数进行了平移，并且$\hat{y}$的定义域为$0\sim 1$之间。
其实这就可以绘制出损失函数了，这样来了一个正样本，我们就可以通过这个函数计算出损失值，来了一个负样本，也可以计算出一个损失值，N个样本的损失值累计则为最终的loss。
当时很奇怪的一个点是，正负都合并到一个函数中了，为什么还会分0和1两种情况来绘制呢？其实y就相当于是一个超参数，只有确定了超参数才能确定最终的图像。举个例子
$$y=x^2+2\theta x+1$$
我们假定$\theta$只有-1和+1两种取值，现在要求你绘制$y$的曲线，你会怎么做呢？肯定只有确定了$\theta$才能绘制，因为$\theta$就是一个超参数。

3.softmax求导

$p(w_o|w_c)$是概率模型，给定中心词$w$，输出每个词的概率值，我们的目标就是最大化MLE损失
$$\text{MLE}=\frac{1}{T}\sum _{t=1}^T\sum _{-l\le j\le l,j\ne 0}\text{log}p(w_{t+j}|w_t)$$

通常在最后一层会使用softmax来进行归一化
$$p_{\theta }(o|c)=\frac{u_{\theta }(o,c)}{{\sum }_{o^{\prime }\in V}{u}_{\theta }(o^{\prime },c)}=\frac{u_{\theta }(o,c)}{Z_{\theta }(c)}$$

其中$u_{\theta }(o,c)=e^{s_{\theta }(o,c)}$，如果我们使用神经网络，我们用$\overrightarrow{v_c}$表示中心词向量，使用$\overrightarrow{u_o}$表示输出词向量。这两个向量的点积表征了两个词的相似度，$s_{\theta }(o,c)=\overrightarrow{u_o}\cdot \overrightarrow{v_c}$

但是这就有一个问题，我们的损失函数中包含了一个复杂的$Z_{\theta }$，这求导起来非常的麻烦，也仅仅是麻烦而已
$$\begin{array}{rl}{\nabla }_{\theta }\text{log}{p}_{\theta }(o|c)& ={\nabla }_{\theta }\text{log}{u}_{\theta }(o,c)-{\nabla }_{\theta }log\sum u_{\theta }(o^{\prime },c)\\ & ={\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_o},\overrightarrow{v_c})-\frac{1}{\sum u_{\theta }(o^{\prime },c)}\sum u_{\theta }(o^{\prime },c){\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_{o^{\prime }}},\overrightarrow{v_c})\\ & ={\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_o},\overrightarrow{v_c})-\sum _{-l\le o\le l}\frac{u_{\theta }(o^{\prime },c)}{\sum u_{\theta }(o^{\prime },c)}\cdot {\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_{o^{\prime }}},\overrightarrow{v_c})\end{array}$$
非常的神奇，恰好又变成了softmax的归一化函数
$$p(o^{\prime }|c)=\frac{u_{\theta }(o^{\prime },c)}{\sum u_{\theta }(o^{\prime },c)}$$

因此有
$$\begin{array}{rl}{\nabla }_{\theta }\text{log}{p}_{\theta }(o|c)& ={\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_o},\overrightarrow{v_c})-\sum p(o^{\prime }|c){\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_o},\overrightarrow{v_c})\\ & ={\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_o},\overrightarrow{v_c})-E_{o^{\prime }\sim p}[{\nabla }_{\theta }{s}_{\theta }(\overrightarrow{u_o},\overrightarrow{v_c})]\end{array}$$

最后出来了一个期望，真的是非常的有趣。有了这个期望，其实就是使用mc的方式来做。但是估计起来依然非常的困难，因为要更新参数的话，需要便利所有的单词$o^{\prime }$，每个都要进行更新。

4. NCE loss

NCE的思想非常的巧妙，是将softmax的问题转化为二分类。
后面会一直使用概率$p(w|c)$，为什么是条件概率呢？这是因为我们实际上是给定了输入$c$，然后预测输出单词$w$的概率，所以都是条件概率，当然，我们也可以认为是求$p(w,c)$的联合概率，只不过每次联合的单词都有$c，所以使用条件概率会更合理。
首先根据经验分布$\overline{p}(w|c)$采样出正样本
$$P(w|C=1,c)=\overline{p}(w|c)$$
然后从$q(w)$中采样出$k$个负样本。这里就很有意思了，可以看到q(w)中是没有c的，这是因为产生的负样本是从全部单词中随机采样的，而正样本是跟c同时出现的句子中采样的，所以有p(w|c)
$$P(w|C=0,c)=q(w)$$

也就是说，当前有一个正样本，$k$个负样本，整体来说正负样本比例为$1:k$，可以得到先验分布为
$$\begin{array}{rl}P(C=1)& =\frac{1}{1+k}\\ P(C=0)& =\frac{k}{1+k}\end{array}$$
$\overline{p}(w|c)$表示的是正样本中，给定中心词$c$输出单词$w$的概率，而$P(w|c)$表示为正负样本混合后，给定中心词$c$，输出单词$w$的概率是多少，这两个是有差别的。全概率公式有

$$\begin{array}{rl}P(w|c)& =P(w|C=1,c)P(C=1)+P(w|C=0,c)P(C=0)\\ & =\frac{1}{1+k}\overline{p}(w|c)+\frac{k}{1+k}q(w)\end{array}$$

由此我们可以得到后验概率
$$\begin{array}{rl}P(C=1|w,c)& =\frac{P(w|C=1)P(C=1)}{P(w)}\\ & =\frac{\frac{1}{1+k}\overline{p}(w|c)}{\frac{1}{1+k}\overline{p}(w|c)+\frac{k}{1+k}q(w)}\\ & =\frac{\overline{p}(w|c)}{\overline{p}(w|c)+kq(w)}\end{array}$$

同理可以得到
$$P(C=0|w,c)=\frac{k\overline{q}(w)}{\overline{p}(w|c)+kq(w)}$$

如果记为
$$\begin{array}{rl}G(w;\theta )& =\text{log}{p}_{\theta }(w|c)-\text{log}q(w)\\ \sigma (w;\theta )& =\frac{1}{1+exp(-G(w;\theta ))}\end{array}$$
则有
$$\begin{array}{rl}P(C=1|w,c)& =\frac{1}{1+k\frac{p(w|c)}{q(w)}}\\ & =\frac{1}{1+kexp[\text{log}{p}_{\theta }(w|c)-\text{log}q(w)]}\\ & =\frac{1}{1+exp(-G(w;\theta ))}\\ & =\sigma (w;\theta )\\ P(C=0|w,c)& =1-\sigma (w;\theta )\end{array}$$

此时，$C$是伯努利分布，通过最大似然可以得到
$$\begin{array}{rl}{L}_{MLE}& =\prod _{p=1}^{P}P(C=0|w_p)\cdot \prod _{n=1}^{N}P(C=1|w_n)\\ & =E_{w\sim \overline{p}(w|c)}\text{log}P(C=1|w,c)+k{E}_{w^{\prime }\sim q}\text{log}P(D=0|w^{\prime },c)\end{array}$$

但是现在依然无法避免求解$Z_{\theta }$的问题，因为
$$\begin{array}{rl}G(w;\theta )& =\text{log}p(w|c)-\text{log}q(w)\\ & =\text{log}\frac{exp(\vec{c}\cdot \vec{w})}{Z_{\theta }}-\text{log}q(w)\\ & =\vec{c}\cdot \vec{w}-\text{log}{Z}_{\theta }-\text{log}q(w)\end{array}$$
式子中依然包含$Z_{\theta }$，这跟softmax完全没有差别吗，我感觉就像是换了方式来估计概率，但是依然没有解决核心的问题。所以，NCE就做了两个强假设

1. 使用一个参数$z$来学习$Z_{\theta }$，即$Z_{\theta }=z$
2. 神经网络中，因为有许多的参数，所以设定$Z_{\theta }=1$也是有效的。

$$p(w|c)=exp(\vec{c}\cdot \vec{w})$$
我依然是非常好奇的，如果这样的话为什么不直接使用softmax

公式中是包含了期望函数，实际使用时我们可以使用MC采样的方式获取负样本，如果使用随机采样的话，即每个单词采样的概率相同此时有
$$E_{w\sim q(w)}\text{log}P(C=0|w,c)=\frac{1}{k}\sum _{i=1}^k\text{log}P(C=0|w,c)$$

5. Negative Sampling

如果$k=|V|$且$q$是均匀采样，那么就有$k\cdot q=1$，此时$q(w)=\frac{1}{k}$，因此有
$$\begin{array}{r}P(C=0|w,c)=\frac{1}{\overline{p}(w|c)+1}=\frac{1}{exp(\vec{c}\cdot \vec{w})+1}\\ P(C=1|w,c)=\frac{\overline{p}(w|c)}{\overline{p}(w|c)+1}=\frac{exp(\vec{c}\cdot \vec{w})}{exp(\vec{c}\cdot \vec{w})+1}\end{array}$$

对于设置的噪声分布$q(w)$，我们实际上是希望它尽量接近数据分布$\overline{p}(w|c)$ ，否则这个二分类任务就过于简单了，也就无法很好的学到数据特性。而作者通过实验和推导证明，当负样本和正样本数量之比 [公式] 越大，那么我们的 NCE 对于噪声分布好坏的依赖程度也就越小。换句话说，作者建议我们在计算能力运行的条件下，尽可能的增大比值$k$ 。也许这也就是大家都默认将正样本数量设置为 1 的原因：正样本至少取要 1 个，所以最大化比值$k$，也就是尽可能取更多负样本的同时，将正样本数量取最小值 1。

看很多博客在说，NCE的思想是说最大化区分正负样本，但是我觉得使用softmax其实也是这样的，尽可能的将正负样本区分开来，并没有什么差异。个人觉得，NCE像是把多分类变成了二分类，使用传统的二分类来处理多分类，只不过又了神经网络这种方法可以更好的做拟合。尤其是当NCE把$Z_{\theta }$设置为常数的时候，我更加觉得并没有解决这个问题。

---

Notes on Noise Contrastive Estimation and Negative Sampling
Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE