经典网络

LeNet-5

共有约60k个参数，
特点

1. 在论文中，激活函数使用的是sigmoid和tanh，那个时候还未使用ReLU.
2. 当时出于节约计算力的考虑，不同的卷积核计算了不同的channel。（这里等之后看了论文补充）
3. 池化层后添加了非线性激活函数(sigmoid)，而现在很少这样使用。
   

   LeCun et al.,1998. Gradient-based learning applied to document recognition

AlexNet

特点

1. 与LeNet类似，但是更大，约60m参数量。
2. 使用了ReLU
3. 多GPU训练
4. Local Response Normalization(LRN) channel-wise normalization。现在并不常用

Krizhevsky et al.,2012 ImageNet Classification with Deep Convolutional Neural Networks

VGG-16

特点

• VGG网络使用了非常简单结构，约138M参数
• 所有的卷积层均为CONV = 3*3,s=1,padding=same
• 所有的池化层均为MAX-POOL=2*2,s=2
  

  Simonyan&Zisserman 2015. Very deep convolutional networks for large-scale image recognition

ResNet

• Residual block
  
  
  使用残差块可以训练更深的网络。ResNet中使用的残差块有下面两种。
• The identity block
  
• The convolutional block
  
  当残差模块的输入和输出的形状不匹配时，使用卷积模块修改shortcut中输入的形状，使得shortcut(x)和输出形状匹配。
  shortcut上的卷积层不适用任何非线性激活函数。其主要任务是对输入施加一个学习到的线性函数来改变输入的维度。
• 工作原理
  identity function is easy for residual block to learn.
  不会由于网络的加深使得效果变差。
  

He et al., 2015. Deep residual networks for image recognition

Network in Network(1x1卷积)

可以用来缩减channel数量

Lin et al., 2013. Network in network

Inception

特点

• Inception block
  
  
  
• 同时使用多种卷积核和池化，不必选择。卷积和池化均使用same填充。
  

Szegedy et al.,2014,Going Deeper with Convolutions

CNN使用建议

• 使用开源实现
• 迁移学习
  
• 数据扩增
  使用CPU进行图片生成，GPU训练
• CV现状
  
  

参考资料

《深度学习》 deeplearning.ai
Introduction to Deeplearning HEC