AlexNet

2012年AlexNet被提出，如果将隐藏层看做黑盒的话，输入有大概15万个特征，输出有5万个特征
其中有8层网络，不算池化层，有8层。5层卷积层和三层全连接层
LRN-局部响应规范，横向局部抑制，找出所有层相同位置，比较大小，取最大的那一层，在这一层的周围使用公式计算出值，越大的值会越大，越小的值就受到抑制。
K：超参，n:影响通道数，实践证明BN比LRN的效果更好

LRN的原理

图像识别的输出值，最大的概率是0.99，其他的值加起来为0.01比最大概率是0.8，其他值加起来是0.2的效果好

ZFNet

2013年被提出
AlexNet是否能够通过调参变得更好，
通过调整卷积核大小 和增加maxpooling 的步长，使得特征值变得更加光滑

VGGNet

2014年被提出，深度学习出现了特征框架和大的网络，vgg是通过调参和增加层数得到的最优，大概这是调参的极限了，如果想要获得更好性能，估计要进行网络结构改变，VGGnet是卷积层和全连接层搭配达到极限，增加LRN效果一般。
vggnet有19层，常用的是vggnet16.

卷积层+全连接 层有138M参数，怎么可以减少参数值？
通过在最后一层卷积层之后增加一层卷积层conv3-512,尺寸为3*3，通道数目为512，参数降低为12M

2014年GooleNet

选择有趣的网络结构

native inception module

其中有10个Inception module相互连接

降维之后的inception module

有两个分类器，分别位于4a和4d之后，是在训练后期发挥作用

改进

使用一个55卷积核去代替33卷积核，效果是一样的

我们可以看到55输入经过两次33的卷积，得到11
和55的输入经过一次55卷积得到11的结果是一样的

ResNet

两层卷积图
后来变成三层，

ResNext

增加宽度

随机ResNet 2016

DenseNet

用于图像分类