4 Convolutional Neural Networks¶
文本统计:约 498 个字
4.1 Introduction¶
上一讲我们谈了谈全连接层,下一层的每个数据由上一层的所有数据得到
而卷积层则保留了原始数据的空间属性,通过一个 filter 对原始的图像进行卷积处理。这样一个卷积核的深度与图像的深度相同,每次将图像与卷积核进行相乘得到一个数,

于是一个卷积核会得到一个 \(28\times 28\times 1\) 的结果,当然我们可以对一个原始图像应用多个卷积核,进而得到下一层的结果就是 \(28\times 28\times n\)
整个卷积神经网络的结构大致如下
当然我们每次移动卷积核的格数 (Stride) 不一定是 1,但是要匹配
在实际应用过程中,为了避免卷积层越来越小,非常常见的一种做法就是在原始图像的周围补充一些0,进而使出来的结果图像与原始图像的大小相同
Receptive field
Receptive field 称为感受野,指的是卷积层的大小
每一个卷积核共享参数,同时只关注图像中一小部分的内容,用来提取相应的局部特征。
随着网络深度的增加,特征图的尺寸和模型中的参数数量急剧增加,于是我们引入池化层以缩小特征图的空间尺寸,从而降低计算复杂度并加速训练过程。

池化层也有多种池化方式,可以取范围平均或者取范围最大值。但是一般来说我们采取 Max Pooling,用于提取范围内的显著特征
然后卷积神经网络的最后一层往往是一层全连接层,用于综合提取的特征进而得到相应的结果。
典型的架构如下:
\[
[(\text{CONV}-\text{RELU})*N-\text{POOL}?]*M-(\text{FC}-\text{RELU})*K,\text{SOFTMAX}
\]
where \(N\) is usually up to ~5, \(M\) is large, 0 <= K <= 2.