05.SNGAN（Spectral Normalization for Generative Adversarial Networks）
·
introduce
现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。
method
频谱范数
Lipschitz：
我们的目的就是为了满足Lipschitz限制
激活函数是ReLU。
至此我们得出了一个非常重要的结论，为了限制𝑊Θ,x的谱范数，只需要每个𝑙 ∈ {1, … , 𝐿}限制𝑊𝑙的谱范数就足够了
实现
（sup上届 inf下届）
奇异值
求解：
conclusion
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
1
0- 0
已为社区贡献4条内容
所有评论(0)