本文是对《Balanced Distribution Adaptation for Transfer Learning》进行学习。

问题引入

回顾之前的JDA，其目标函数是：
$mi{n}_A{\sum }_{c=0}^{C}tr(A^{T}X{M}_c{X}^{T}A)+\lambda {\Vert \begin{array}{c}A\end{array}\Vert }_F^2$
$s.t.A^{T}KH{K}^{T}A=I$
其中c=0表示的是边缘分布，c=1,…,C表示的各类别的条件分布，可以看出边缘分布和条件分布是被同等对待的，这会导致实际应用中表现较差。当数据集不相似时，减小边缘分布差异更为重要；当数据集相似时，减小条件分布更值得注意。针对这个问题，论文提出了BDA，对两者之间进行了权衡，可以很好地应用到一些特定的迁移学习任务中。
另外现存的方法都假设数据集是平衡的，这也算法限制了在不平衡数据集上的任务的表现，Weighted Balanced Distribution
Adaptation（W-BDA）则用于处理迁移学习中的类别不平衡问题，在每个类别上加入了权重。

BDA

学习过JDA后可以很容易的推出BDA的形式，我们在边缘分布和条件分布之间引入权衡因数$\mu$，那么上述目标函数可以表示为：
$mi{n}_{A}tr(A^{T}X((1-\mu )M_0+\mu {\sum }_{c=1}^C{M}_c)X^{T}A)+\lambda {\Vert \begin{array}{c}A\end{array}\Vert }_F^2$
$s.t.A^{T}KH{K}^{T}A=I,0\le \mu \le 1$
这就是BDA的目标函数。当源域和目标域比较相似时，条件分布比较重要，可以令$\mu$大一些；当源域和目标域不相似时，更多的考虑边缘分布，可以令$\mu$小一些。不过论文中并没有针对$\mu$的取值提出很好的方法，而是在实验中进行调整。

W-BDA

前面对W-BDA的描述比较模糊，回顾JDA，JDA在处理条件概率分布时分别用$P(x_S|y_S=c)$和$P(x_T|y_T=c)$来近似$P(y_S=c|x_S)$和$P(y_T=c|x_T)$（其中c代表某一类别），这篇论文提出这种处理方式是建立源域和目标域中类别c的概率分布比较相近的前提下（这点我不太理解），这也制约了该算法在真实场景下应用的效果，为此文章提出了新的近似方法：
${\Vert \begin{array}{c}P(y_S=c|x_S)-P(y_T=c|x_T)\end{array}\Vert }_H^2$
$={\Vert \begin{array}{c}\frac{P(y_S=c)}{P(x_S)}P(x_S|y_S=c)-\frac{P(y_T=c)}{P(x_T)}P(x_T|y_T=c)\end{array}\Vert }_H^2$
$={\Vert \begin{array}{c}{\alpha }_{S}P(x_S|y_S=c)-{\alpha }_{T}P(x_T|y_T=c)\end{array}\Vert }_H^2$（其中下表H代表再生核希尔伯特空间）
接下来我们对${\alpha }_S$和${\alpha }_T$进行探究，首先$P(y_S=c)$和$P(y_T=c)$较易计算，而$P(x_S)$和$P(x_T)$较难获得，但文章中给出了这样一句话“ Since BDA is fully capable of adapting $P(x_S)$ and $P(x_T)$, we do not estimate them in this step and assume they are unchanged”，我个人的理解是既然BDA减小了源域和目标域的分布差异，那么在这里我们就假定两者是相同的，就可以忽略掉$P(x_S)$和$P(x_T)$。这样就可以构建新的W矩阵：

W矩阵与JDA中的M矩阵相似，都是计算MMD距离时引入的，只不过W矩阵引入了类先验$P(y_S^{(c)})$和$P(y_T^{(c)})$，可以结合理解。
那么结合前面BDA的目标函数，可以得出W-BDA的目标函数是$mi{n}_{A}tr(A^{T}X((1-\mu )M_0+\mu {\sum }_{c=1}^C{W}_c)X^{T}A)+\lambda {\Vert \begin{array}{c}A\end{array}\Vert }_F^2$
$s.t.A^{T}KH{K}^{T}A=I,0\le \mu \le 1$

算法流程及总结

可以看出BDA是对JDA的延伸，引入边缘分布和条件分布，以及各类别的条件分布的权重因素，换句话说TCA和JDA可以看作是BDA的一种特例，学习过TCA和JDA后这篇论文也很好理解。