Metrics for Neural Machine Translation

机器翻译评价指标

Perplexity（PPL）

困惑度

• 用于衡量一个分布的不确定性，对于离散随机变量$X\in \mathcal{X}$，其概率分布为$p(x)$，困惑度为

  $$2^{H(p)}=2^{-{\sum }_{x\in x}p(x){\log }_{2}p(x)}$$
  其中$H(p)$为分布$p$的熵

• 也可用于衡量两个分布之间的差异，对于一个未知的数据分布$p_r(x)$和一个模型分布$p_{\theta }(x)$，我们从$p_r(x)$中采样出一组测试样本$x^{(1)},\cdots ,x^{(N)}$，模型分布$p_{\theta }(x)$的困惑度为

  $$2^{H\left(p_r,p_{\theta }\right)}=2^{-\frac{1}{N}{\sum }_{n=1}^N{\log }_2{p}_{\theta }\left(x^{(n)}\right)}$$
  其中$\mathbf{H}\left({\tilde{p}}_r,p_{\theta }\right)$为样本的经验分布${\tilde{p}}_r$与模型分布$p_{\theta }$之间的交叉熵

  • 困惑度可以衡量模型分布与样本经验分布之间的契合程度。困惑度越低则两个分布越接近。因此，模型分布$p_{\theta }(x)$的好坏可以用困惑度来评价

• 假设测试集合有$N$个独立同分布的序列${\left\{{\mathbf{x}}_{1:T_n}^{(n)}\right\}}_{n=1}^N$。我们可以用模型$p_{\theta }(x)$对每个序列计算其概率$p_{\theta }\left(x_{1:T_n}^{(n)}\right)$，整个测试集的联合概率为

  $$\prod _{n=1}^N{p}_{\theta }\left({\mathbf{x}}_{1:T_n}^{(n)}\right)=\prod _{n=1}^N\prod _{t=1}^{T_n}{p}_{\theta }\left(x_t^{(n)}\mid {\mathbf{x}}_{1:(t-1)}^{(n)}\right)$$

  • 模型$p_{\theta }(x)$的困惑度定义为

  $$\begin{array}{rl}\mathrm{PPL}(\theta )& -2^{-\frac{1}{\tau }{\sum }_{n=1}^N{\log }_2{p}_{\theta }\left(x_{1:T_n}^{(n)}\right)}\\ & =2^{-\frac{1}{T}{\sum }_{n=1}^N{\sum }_{t=1}^{T_n}{\log }_2{p}_{\theta }\left(x_t^{(n)}\mid x_{1:(t-1)}^{(n)}\right)}\\ & ={\left(\prod _{n=1}^N\prod _{t=1}^{T_n}{p}_{\theta }\left(x_t^{(n)}\mid x_{1:(t-1)}^{(n)}\right)\right)}^{-1/T}\end{array}$$
  其中$T={\sum }_{n=1}^N{T}_n$为测试数据集中序列的总长度。测试集中所有序列的概率越大，困惑度越小，模型越好

BLEU

Bilingual Evaluation Understudy

• BLEU是一种衡量模型生成序列和参考序列之间的N元词组（N-Gram）重合度的算法

• 令$x$为从模型分布$p_{\theta }$中生成的一个候选（Candidate）序列，${\mathbf{s}}^{(1)},\cdots ,{\mathbf{s}}^{(K)}$为从真实数据分布中采集的一组参考（Reference）序列，$\mathcal{W}$为从生成的候选序列中提取所有N元组合的集合，这些N元组合的精度（Precision）

  $$P_N(\mathbf{x})=\frac{{\sum }_{w\in \mathcal{W}}\min \left(c_w(\mathbf{x}),{\max }_{k=1}^K{c}_w\left({\mathbf{s}}^{(k)}\right)\right)}{{\sum }_{w\in \mathcal{W}}{c}_w(\mathbf{x})}$$
  其中$c_w(x)$是N元组合$w$在生成序列$x$中出现的次数，$c_w(s^{(k)})$是N元组合$w$在参考序列$s^{(k)}$中出现的次数。N元组合的精度$P_N(x)$计算生成序列中的N元组合有多少比例在参考序列中出现

• 由于精度只衡量生成序列中的N元组合是否在参考序列中出现，生产序列越短，其精度会越高，因此引入长度惩罚因子（Brevity Penalty）。如果生产序列的长度短于参考序列，就对其进行惩罚

  $$b(\mathbf{x})=\{\begin{array}{ccc}1& \text{ if }& l_x>l_s\\ \exp \left(1-l_s/l_x\right)& \text{ if }& l_x\le l_s\end{array}$$
  其中$l_x$为生成序列$x$的长度，$l_s$为参考序列的最短长度

• BLEU是通过计算不同长度的N元组合（N=1，2，3…）的精度，并进行几何加权平均得到

  $$\mathrm{BLEU}-\mathrm{N}(\mathbf{x})=b(\mathbf{x})\times \exp \left(\sum _{N=1}^{N^{\prime }}{\alpha }_N\log P_N\right)$$
  其中，$N^{\prime }$为最长N元组合的长度，${\alpha }_N$为不同N元组合的权重，一般设为$\frac{1}{N^{\prime }}$。BLEU的值域为$[0,1]$，越大表明生成的质量越好。但是BLEU算法只计算精度，而不关心召回率。

ROUGE

Recall-Oriented Understudy for Gisting Evaluation

• ROUGE和BLEU算法类似，但ROUGE计算的是召回率

• 令$x$为从模型分布$p_{\theta }$中生成的一个候选序列，${\mathbf{s}}^{(1)},\cdots ,{\mathbf{s}}^{(K)}$为从真实数据分布中采样出的一组参考序列，$\mathcal{W}$为从参考序列中提取N元组合的集合，ROUGE-N算法定义为

  $$ROUGE-N(\mathbf{x})=\frac{{\sum }_{k=1}^K{\sum }_{w\in \mathcal{W}}\min \left(c_w(\mathbf{x}),c_w\left(s^{(k)}\right)\right)}{{\sum }_{k=1}^K{\sum }_{w\in \mathcal{W}}{c}_w\left({\mathbf{s}}^{(k)}\right)}$$
  其中$c_w(x)$是N元组合$w$在生成序列$x$中出现的次数，$c_w(s^{(k)})$是N元组合$w$在参考序列$s^{(k)}$中出现的次数