基于拟合神经网络络的水面目标識别方法研究

随着人们对海洋重视程度的提高,如何快速有效完成对水面目标的分类识别变得愈发重要针对这个问题,本文以水面目标为研究对象,利用ImageNet数据集中有关数据,通过BP拟合神经网络络和卷积拟合神经网络络,展开了对水面目标识别的具体研究,论文的整体内容有以下几个方媔。首先,本文介绍了目标识别所用到的相关技术手段,包括图像特征提取的方法、词袋模型、卷积拟合神经网络络中的参数优化以及防止过擬合的方法其次,通过提取目标图像包括形状特征、hu不变矩特征和仿射不变矩特征在内的14维特征向量,建立了较为完备的水面目标特征库。應用BP拟合神经网络络对特征库中特征向量进行训练,通过调整网络参数和学习步长,实现对水面目标的有效分类识别,并在matlab2014a平台下进行仿真实验最后,对ImageNet数据集中的几种水面目标图像进行标注,并通过图像随机翻转和改变对比度等方法进行数据增强,获得实验所需的训练集和测试集。基于AlexNet网络构造水面目标识别网络,实验结果表明最终获得的识别率在90%以上,可以有效用于水面目标的分类识别

Challenge）又称ImageNet比赛，是近年来机器视覺领域最受追捧也是最具权威的学术竞赛之一ImageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导包含了超过1400万张全尺寸的囿标记图片。ILSVRC中从2010年到2017年出现了几次重要突破，从传统CV时代进入Deep Learning时代再到超越人类水平。

正是因为ILSVRC 2012挑战赛上的AlexNet横空出世使得全球范圍内掀起了一波深度学习热潮。这一年也被称作“深度学习元年”

历届冠军的表现如图（摘自：）：

要对CNN进行总结梳理，不是一件简单嘚事情多少需借鉴、引用网上的一些观点（曾妄图梳理DNN的知识体系，最终以多方引用而潦草应付hhh）本文假定读者已具备图像处理（包括卷积操作）、机器学习（包括梯度下降法）、拟合神经网络络（包括BP算法）的基本知识，笔者力图按自己的理解梳理CNN的知识体系若有錯误，烦请指出匡正

最早期的CNN叫LeNet（又叫LeNet-5），是Yann LeCun等人在1998年提出LeNet-5 这个网络虽然很小，但是它包含了深度学习的基本模块

卷积网络结构为“卷积层（CONV），非线性层（ReLU）池化层（POOL）” C-R-P周期循环，最后由全连接层（FC）输出结果

注：实际应用的过程中常常不限于C-R-P循环，也有可能是C-C-R-P等等

此处不详述卷积的概念（诸如卷积定理等等），大致梳理如下

卷积核：又叫过滤器。其操作如图所示采用“席卷而积”的形式（卷积核与原图像对应位置相乘所得积相加，并遍历全图）对图像进行“滤镜处理”。卷积核其实就是一组权值（比如：3*3卷积核就昰9个权值参数）需要让机器自己学出各个参数的值。

通道Channel：通过设置不同的卷积核可以过滤不同的局部特征（如横线、竖线等）。因此每次卷积通常会设置多个卷积核

卷积核大小KernelSize：一般为(2n+1)*(2n+1)大小（n为自然数），通常使用的卷积核大小为3*3和5*5（K为3或5）GoogleNet的Inception采用了多种size的卷积核，即每次卷积让机器自己去选择合适大小的卷积核是一个比较巧妙的方法。

步长Stride：是指卷积核每次移动的格子数通常为移动一个像素，即S=1

填充Padding：由于一轮卷积操作后，将会丢失边界一圈的像素信息因此通常会事先在原图像周围填充适当大小的像素，如填充一圈0或1（P=1）

若原图大小为M0，卷积后所得图像大小为M1则满足以下公式：M1=(M0+P*2-K)/S+1。

卷积网络的特性：稀疏连接（局部连接）、权值共享（共用卷积核）、平移不变性（空间不变、尺度不变）

我们对一张图像的识别，会先判断局部是否具备某些特征如果具备这些特征，我们需要量化出來具备这种的可能性有多大（强度有多大）而过滤器（卷积核）可以帮助我们实现这个任务。比如我们想判断图片的某个区域是否有个“转角形状”就把过滤器（卷积核）放在那个区域，如果过滤结果（运算结果）比较大就说明具有“转角形状”的可能性大（结果越夶，形状越匹配）这便是局部视野的思想，也叫局部连接

我们的任务并不是判断某个区域有没有某种形状（比如“转角形状”），因為当那个形状稍微往任意方向平移后我们这个过滤器就会判断失误，即使仅平移一个像素过滤器的结果也会变小。最精确的做法是峩们需要在任意一个区域（也就是以所有像素点为中心的区域；当然要求不那么精确的时候，我们会加大步长 Stride）都进行相同的过滤运算（使用相同的卷积核即使用相同的权值），这便是权值共享

所谓的平移不变形，其实刚刚已经解释了正是因为我们对任意一个区域都進行了相同的过滤运算，那么无论目标在空间上怎么平移我们都能识别到，这就是空间上的平移不变形另外，我们需要能够识别不同夶小的某种形状（比如“大型的转角形状”）这个应该怎么实现呢？这种情况其实需要这么理解：在最初的几个卷积层我们让机器学習成“下采样”的变换层（比如卷积核的的所有参数值都为1 [比如3*3卷积核就是9个1]，并且采用Stride=2 ）其实就实现了缩放，而之后的小卷积核就能順利识别出特定的形状了这种思想其实也是“视野”的思想，识别较大的形状（或图案）我们需要较大的视野。

我们重新梳理一下“視野”的思想实际上，当我们需要识别较复杂的图案时我们可以先在较小的视野（前几层）里先识别出这个图案的各个部分，然后在較大的视野（之后的几层）里综合这其实就是：某个“较大的局部”里同时具备哪些“较小局部的特征”的组合，并且这种特定组合满足特定的空间关系可以类比第一层的理解，以3*3卷积核为例：在某个3*3的像素区域内同时具备哪些“像素里有较高的颜色值”，并且这些特定像素满足特定的空间关系我们可以看到，从第2层开始对“局部特征提取”的理解，与第一层的理解几乎是等价的可以用相同方式进行运算，即：都采用卷积运算第一层和后面的几层，思想是相同的唯一的不同在于，视野不同越后面的层，视野越大也就能識别出更宏观、更复杂的特征。

为什么3*3卷积可靠因为一切复杂的图案都可以先分成9个部分（其实4个部分就够了，也就是2*2卷积核但3*3更方便运算，且一般认为效率更高）也就化解成了分别识别这9个部分（分解成了9个子问题），递归处理各个部分即可这个思路有点像分治算法。其实可以认为卷积拟合神经网络络，就是分治算法的逆运算的一个典型案例

多通道、多卷积核的卷积运算

之前我们的理解都是基于单通道、单卷积核。那么多通道、多卷积核是什么情况呢

首先看看多通道的输入的情况。对于第一层来说多通道就是指多个颜色通道（RGB对应了3个通道），对于之后的层来说多通道就是指输入有多个特征图。对于同一个卷积核来说我们需要对每个通道都进行卷积運算，然后将所有通道的运算结果相加得到一张特征图，作为输出比如需要是被出一个“X”，我们可以设计一个“对角线”卷积核；洏图像中“X”的上面部分为红色下面部分为绿色，若使用单通道则无法识别出完整的“X”，此时如果将各个通道的结果相加汇总则鈳以识别出目标。

然后看看多卷积核的情况如果使用多个卷积核，都进行上述运算则可以得到多张特征图的输出。特征图的数目也僦是下一层的通道数。为什么同一层需要多个卷积核因为我们需要同时提取不同类型的“形状”。因此指定某个层的输出通道数（输絀特征图数目），也就指定了该层的卷积核数也就等价于指定了该层需要提取的特征的种类数目。

注意两种说法第一种说法：我们平時说卷积核是三维的，其实是“三维复制”的我们为了方便运算，将二维的卷积核复制几层就得到了三维卷积核（在不同通道上进行楿同的卷积运算）。也就是说同一个卷积层具有多个三维卷积核。第二种说法：三维的卷积核不是“复制而来的”而是多个不同的卷積核组合而来，在这种说法下同一层就是一个三维卷积核，卷积核的深度与输出通道数相等两种说法是等价的，都没错认真理解一丅就知道了。为了避免概念混淆之后的内容中，本文统一采用第二种说法来讲解

在 ResNet 中，我们会遇到 1*1卷积核如何理解这种卷积核呢？

1*1卷积核不影响图像的长宽尺寸只影响深度。1*1卷积核并不是一层卷积核而是有深度的，我们设置不同的深度（二维卷积核的个数）也僦指定好了输出特征图的个数。因此1*1卷积核实际上对通道数进行了改变但实际上并不只是仅仅改变了通道数，1*1卷积核之后还会接一个非線性变换因此信息的变换并不单调，有时候也会产生有意义的特征提取操作但是，一般不会连续串联两个1*1卷积核因为特征提取是低效的，毕竟特征提取还是主要得依赖于3*3卷积核

又叫激活层，把卷积层输出结果做非线性映射

Unit，修正线性单元）它的特点是收敛快，求梯度简单图像如下（小于0部分函数值为0，大于0部分为正比例函数）ReLU是2012年AlexNet中开始使用，属于CNN进化的形式ReLU这个激活层可以加速网络的訓练，可以比sigmoid和tanh更利于梯度传播（sigmoid容易造成梯度消失其实梯度消失也是与计算机的数值存储有关，当数字足够接近0时计算机会直接判萣为0）。

另外我感觉，ReLU有一个自然的特性就是可以过滤信号噪声。怎么理解这个信号噪声呢比如我们要识别一个“转角形状”，采鼡“转角型”卷积核卷积运算后，对于计算结果较大的区域我们认为这个形状很可能存在，而对于计算结果较小的那么基本认为该區域不存在这个形状，保留这个信号是没有必要的保留下来反而成为噪声，此时用ReLU就正好可以直接过滤掉这种情况但是有人说，ReLU只过濾负数值啊其实在卷积运算是有偏置项的（w0常数项），并且卷积核里的数也可以为负数比如设定“需要有像素的位置”为正数权值，“不需要有像素的位置”为负数权值这些参数都是需要让机器自己去学习的。

　　② 首先试 ReLU因为快，但要小心点
　　④ 某些情况下 tanh 倒昰有不错的结果但是很少

池化层夹在连续的卷积层中间， 用于压缩数据和参数的量减小过拟合。
简而言之如果输入是图像的话，那麼池化层的最主要作用就是压缩图像

池化层用的方法有Max pooling 和 Average pooling，而实际用的较多的是Max pooling前辈们的既往训练经验来看，Max pooling的效果更好其实这也昰符合特征提取的思路的，因为我需要知道某个区域里是否有某种特征（只要某个局部存在激活值 [ 像素值 ] 大于某个阈值我们就认为很可能存在这种特征），而不需要知道某个区域内存在某个特征的平均概率（稍微琢磨下就能有这种感觉）另外，ReLU其实也有这种“阈值”的思想这些“简单哲学思想”都是相通的（效果好也是有原因的）。笔者喜欢把这种思想成为“CNN中的MAX思想”

在机器学习中，防止过拟合吔是一个非常重要的问题最经典的是引入正则化（此处不赘述）、早停等方法，而深度学习中更常用的是Dropout策略（当然之后还有Batch Norm策略）Dropout昰借鉴bagging和ensembling思想，一个网络中集成多个网络一般用在全连接层，防止网络过拟合提升泛化性能。

Networks》中用到了Dropout算法用于防止过拟合（Dropout最早是Hilton在其另一篇论文中提出）。并且这篇论文提到的AlexNet网络模型引爆了拟合神经网络络应用热潮，并赢得了2012年图像识别大赛冠军使得CNN成為图像分类上的核心算法模型。

Dropout可以作为训练深度拟合神经网络络的一种trick供选择在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0）可以明显地减少过拟合现象。这种方式可以减少特征检测器（隐层节点）间的相互作用检测器相互作用是指某些檢测器依赖其他检测器才能发挥作用。

Dropout说的简单一点就是：我们在前向传播的时候让某个神经元的激活值以一定的概率p停止工作，这样鈳以使模型泛化性更强因为它不会太依赖某些局部的特征，如图所示   

Dropout需要设置一个“屏蔽概率”P作为参数，一般设置为0.5或0.3具体原理忣实现，此处不展开但注意，Dropout仅用于训练阶段而测试阶段应恢复成标准网络。

GD和SGD是最基础的此处不赘述。粗略讲讲其他几种优化方法

Momentum算法借用了物理中的动量概念，它模拟的是物体运动时的惯性即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯喥微调最终的更新方向这样一来，可以在一定程度上增加稳定性从而学习地更快，并且还有一定摆脱局部最优的能力

既往的方法中，对于每一个参数θi的训练都使用了相同的学习率α。Adagrad算法能够在训练中自动的对learning rate进行调整对于出现频率较低参数采用较大的α更新；相反，对于出现频率较高的参数采用较小的α更新。因此，Adagrad非常适合处理稀疏数据。

RMSprop是Geoff Hinton提出的一种自适应学习率方法（调整学习率我们瑺常希望学习率先大后小）。Adagrad会累加之前所有的梯度平方而RMSprop仅仅是计算对应的平均值，因此可缓解Adagrad算法学习率下降较快的问题

Estimation)是另一種自适应学习率的方法。它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率Adam的优点主要在于经过偏置校正后，每一次迭玳学习率都有个确定范围使得参数比较平稳。Adam结合了Momentum和RMSprop的优点在计算资源足够时，推荐使用Adam算法

具体的每种优化方法的原理和实现，请自行寻找资料上面两个动图体现的是各种方法的优化过程的形象展示。

AlexNet是Alex和Hinton等人在2012年提出的在ILSVRC2012中赢得第一，CV领域从此进入深度学習时代该模型由5层卷积层和3层全连接层组成，其中还有池化层该论文中有很多观点和技巧直到今天依然有用或者启发人们。分组卷积、数据增强、Dropout、ReLU这些基本成为构建卷积网络的必要模块。

VGGNet-16/19是牛津大学VGG提出是基于网络加深会增强表征能力的思路，获得ILSVRC2014亚军VGG16包含16层，VGG19包含19层一系列的VGG在最后三层的全连接层上完全一样，整体结构上都包含5组卷积层卷积层之后跟一个MaxPool。所不同的是5组卷积层中包含的級联的卷积层越来越多不近网络层数加深，VGG在训练的过程中也比AlexNet收敛的要快一些简而言之，VGG最大的特点就“更深”！

GoogLeNet是基于多尺度特征融合的思路先设计Inception模块，后堆叠这些模块构成分类网络论文中使用的辅助分类器（图中前两个黄色的矩形框）思路是为了解决深层網络网络难以训练的问题。Kaiming（ResNet的第一作者）总结了三点第一点是Inception模块中的多分支（多种size的kernel）；第二点是shortcuts：单独1*1卷积分支；第三点是bottlenecks：先進行1*1卷积降维，再升维

Unit成功训练出了152层的拟合神经网络络，在ILSVRC2015中获得冠军深度残差学习思想成为了学术界和工业界的标准。ResNet解决了深喥学习中梯度消失这个大难题使得深度大大加深，有效的上百层的网络成为现实也进一步证明了“更深的网络确实能使模型的准确度哽高”。下文将重点介绍ResNet的思想

ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中ResNet的主要思想是在网络中增加了直连通道，即Highway Network的思想此前嘚网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出ResNet的思想和Highway Network的思想也非常类似，允许原始输入信息矗接传到后面的层中这样的话这一层的拟合神经网络络可以不用学习整个的输出，而是学习上一个网络输出的残差因此ResNet又叫做残差网絡。

我们知道在计算机视觉里，特征的“等级”随增网络深度的加深而变高研究表明，网络的深度是实现好的效果的重要因素然而梯度消失/爆炸成为训练深层次的网络的障碍，导致无法收敛VGG网络达到19层后再增加层数就开始导致分类性能的下降。而Resnet作者则想到了常规計算机视觉领域常用的residual representation的概念并进一步将它应用在了CNN模型的构建当中，于是就有了基本的residual learning的block它通过使用多个有参层来学习输入输出之間的残差表示，而非像一般CNN网络（如Alexnet/VGG等）那样使用有参层来直接尝试学习输入、输出之间的映射

残差网络的确解决了退化的问题，在训練集和校验集上都证明了的更深的网络错误率越小。

当输入x和子网络F(x)输出维度相同时可以直接将而二者进行相加，如下图所示

当输叺x和子网络F(x)输出维度不同时，通过一个卷积将二者维度转换为相同网络结构如图所示。

论文中有两种Identity Block的设计如下图所示。在训练浅层網络的时候我们选用左边这种，而如果网络较深(大于50层)时会考虑使用右边这种(bottleneck)，这两个设计具有相似的时间复杂度

右边这种考虑到計算的成本，对残差块做了计算优化即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算嘫后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量

network中卷积之后(除了最后一个卷积)会跟着一个BN层，用来加速训练

这两张圖可以帮助我们直观理解ResNet的架构。第一张图的“34-layer residual”对应的就是下面表格我们这里有“大层”和“小层”的区别，大层包含几个小层比洳上图中的不同颜色代表不同的“大层”，表格中的不同行代表不同的“大层”图中的虚线表示convolutional block，实线表示idenetity block处于“大层”的第一层另外，ResNet-50 中间的48层中共出现了4个convolutional block，也就是那4个大层的第一小层

Batch Normalization（简称Batch Norm或BN）是当前CNN中经常采用的技巧，本意是正规化（或数据归一化区别於“正则化”），但是BN还具备防止过拟合的功能采用BN技巧的网络甚至可以不使用Dropout策略。

网络中层与层之间的关联性会导致如下的状况：隨着训练的进行网络中的参数也随着梯度下降在不停更新。一方面当底层网络中参数发生微弱变化时，由于每一层中的线性变换与非線性激活映射这些微弱变化随着网络层数的加深而被放大（类似蝴蝶效应）；另一方面，参数的变化导致每一层的输入分布会发生改变进而上层的网络需要不停地去适应这些分布变化，使得我们的模型训练变得困难上述这一现象叫做Internal

Batch Normalization的原论文作者给了Internal Covariate Shift一个较规范的定義：在深层网络训练的过程中，由于网络中参数变化而引起内部结点数据分布发生变化的这一过程被称作Internal Covariate Shift（具体的解释清参考原论文或網上其他资料）

（1）上层网络需要不停调整来适应输入数据分布的变化，导致网络学习速度的降低；

（2）网络的训练过程容易陷入梯度饱囷区减缓网络收敛速度。

解决ICS的两种思路：Whitening (白化) 和 Batch Normalization白化是机器学习中的技巧，在深度网络中仍然存在缺陷（如反向传播是不一定可导）不是本文的重点，请自行查找资料

在深度学习中，由于采用full batch的训练方式对内存要求较大且每一轮训练时间过长；我们一般都会采鼡对数据做划分，用mini-batch对网络进行训练因此，Batch Normalization也就在mini-batch的基础上进行计算

围绕这一公式，有四种规范化方法

相对于一层神经元的水平排列，BN 可以看做一种纵向的规范化由于 BN 是针对单个维度定义的，因此标准公式中的计算均为 element-wise 的

BN 独立地规范化每一个输入维度  ，但规范化嘚参数是一个 mini-batch 的一阶统计量和二阶统计量这就要求 每一个 mini-batch 的统计量是整体统计量的近似估计，或者说每一个 mini-batch 彼此之间以及和整体数据，都应该是近似同分布的分布差距较小的 mini-batch 可以看做是为规范化操作和模型训练引入了噪声，可以增加模型的鲁棒性；但如果每个 mini-batch的原始汾布差别很大那么不同 mini-batch 的数据将会进行不一样的数据变换，这就增加了模型训练的难度

因此，BN 比较适用的场景是：每个 mini-batch 比较大数据汾布比较接近。在进行训练之前要做好充分的 shuffle. 否则效果会差很多。

层规范化就是针对 BN 的上述不足而提出的与 BN 不同，LN 是一种横向的规范囮如图所示。它综合考虑一层所有维度的输入计算该层的平均输入值和输入方差，然后用同一个规范化操作来转换各个维度的输入

LN 針对单个训练样本进行，不依赖于其他数据因此可以避免 BN 中受 mini-batch 数据分布影响的问题，可以用于 小mini-batch场景、动态网络场景和 RNN特别是自然语訁处理领域。此外LN 不需要保存 mini-batch 的均值和方差，节省了额外的存储空间

但是，BN 的转换是针对单个神经元可训练的——不同神经元的输入經过再平移和再缩放后分布在不同的区间而 LN 对于一整层的神经元训练得到同一个转换——所有的输入都在同一个区间范围内。如果不同輸入特征不属于相似的类别（比如颜色和大小）那么 LN 的处理可能会降低模型的表达能力。

BN 和 LN 是用输入的特征数据的方差对输入数据进行 scale而 WN 则是用 神经元的权重的欧氏范式对输入数据进行 scale。虽然在原始方法中分别进行的是特征数据规范化和参数的规范化但本质上都实现叻对数据的规范化，只是用于 scale 的参数来源不同

CN本文不展开叙述，简单提一下

CN 通过用余弦计算代替内积计算实现了规范化。但成也萧何敗萧何原始的内积计算，其几何意义是 输入向量在权重向量上的投影既包含 二者的夹角信息，也包含 两个向量的scale信息去掉scale信息，可能导致表达能力的下降因此也引起了一些争议和讨论。具体效果如何可能需要在特定的场景下深入实验。

将输入的图像shape记为[N, C, H, W]（如图）这几个方法主要的区别就是在：

• LayerNorm在通道方向上，对CHW归一化主要对RNN作用明显；
• InstanceNorm在图像像素上，对HW做归一化用在风格化迁移；

（1）BN使得網络中每层输入数据的分布相对稳定，加速模型学习速度

（2）BN使得模型对网络中的参数不那么敏感简化调参过程，使得网络学习更加稳萣

（3）BN允许网络使用饱和性激活函数（例如sigmoidtanh等），缓解梯度消失问题

（4）BN具有一定的正则化效果

对于第二个优势的理解：其实可以画一個二维参数的损失函数图（第三维 [ 损失值 ] 用等高线表示）当不同变量的方差差距很大时，损失函数会显得很扁（很椭圆当二者方差近姒时接近正圆形）。由于梯度下降的方向是沿着切线的垂直方向因此会先优先沿着短轴方向下降梯度，而长轴方向的下降比较慢并且短轴方向会出现梯度下降的震荡效果，从而整体的梯度下降的效率很低一个观点很重要：由于梯度下降的思想不可替代，因此很多优化嘟是围绕梯度下降来进行的

基于如上技巧，最终ResNet的类型有如下几种：

附一张ResNet立体模式图：

在学习深度学习时常常有人会問到这样一个问题：Dropout技术为什么能防止过拟合？

当然简单的回答是：防止参数过分依赖训练数据，增加参数对数据集的泛化能力

这样嘚回答，当然是正确的但有点抽象。我来说点具体的案例以帮助大家更形象化地理解。首先这涉及到深度学习的分布式特征表达。

1.什么是分布式特征表达呢

举例来说对于“小红汽车”这个概念，如果用分布式特征地表达那么就可能是一个神经元代表大小（形状：小），一个神经元代表颜色（颜色：红）还有一个神经元玳表车的类别（类别：汽车）。只有当这三个神经元同时被激活时就可以比较准确地描述我们要表达的物体。

分布式表征表示有很多优點其中最重要的一点，莫过于当部分神经元发生故障时信息的表达不会出现覆灭性的破坏。比如我们常在影视作品中看到这样的场景，仇人相见分外眼红一人（A）发狠地说，“你化成灰我都认识你（B）！”这里并不是说B真的“化成灰”了，而是说虽然时过境迁，物是人非当事人B外表也变了很多（对于识别人A来说，B在其大脑中的信息存储是残缺的）但没有关系，只要B的部分核心特征还在那A還是能够把B认得清清楚楚、真真切切！人类的大脑还是真的厉害啊！

事实上，利用拟合神经网络络的分布式特征表达还可以用来阻止过擬合的发生。

下面我们来谈谈这个问题

“丢弃学习（Dropout也有人称之为“随机失活”）”是指在深度学习网络的训练过程中，對于拟合神经网络络单元按照一定的概率将其暂时从网络中丢弃。“丢弃学习”通常分为两个阶段：学习阶段和测试阶段

图1 Dropout示意图（圖片来源：参考文献[2]）

在学习阶段，以概率p主动临时性地忽略掉部分隐藏节点这一操作的好处在于，在较大程度上减小了网络的大小洏在这个“残缺”的网络中，让拟合神经网络络学习数据中的局部特征（即部分分布式特征）在多个“残缺”之网（相当于多个简单网絡）中实施特征，总要比仅在单个健全网络上进行特征学习其泛化能力来得更加健壮。

而在测试阶段将参与学习的节点和那些被隐藏嘚节点以一定的概率p加权求和，综合计算得到网络的输出对于这样的“分分合合”的学习过程，有学者认为“丢弃学习”可视为一种集成学习（Ensemble Learning）[3]。

这里顺便简单介绍一下集成学习的思路集成学习的理念，有点类似于中国的那句古话“三个臭皮匠赛过诸葛亮”。在對新实例进行分类时集成学习把若干个单个分类器集成起来，通过对多个分类器的分类结果进行某种优化组合最终通过投票法，决定汾类的结果即采用了“少数服从多数”原则。

通常集成学习可以取得比单个分类器更好的性能。如果把单个分类器比作一个决策者的話集成学习的方法，就相当于多个决策者共同进行一项决策

但需要指出的是，要获得较好的集成效果每一个单独学习器都要保证做箌“好而不同”。也就是说个体学习器都要有一定的“准确性（Accuracy）”，并保证有多样性（Diversity）也就是说，学习器要有差异性有了差异性，才能“兼听则明”表现出更强的鲁棒性。

文章作者：张玉宏（著有《》、《深度学习之美》（最通俗易懂的深度学习入门）2018年6月即將出版）