当前最先进的目标检测器是通过茬大规模分类数据集ImageNet上预先训练的现成网络进行微调的这带来了一些额外的问题：

1) 分类和检测对翻译有不同程度的敏感性，导致学习目標偏差;

2) 体系结构受分类网络的限制修改不便。 为了解决这些问题随机初始化训练检测器是一个可行的解决方案。然而，随机初始化訓练检测器的性能一般比预先训练的检测器差甚至在训练中存在收敛问题。本文主要研究随机初始化训练目标探测器通过对以往优化景观设计工作的分析，发现当前随机初始化训练检测器中存在的一个被忽视的问题是批处理归一化（BatchNorm）利用BatchNorm带来的稳定且可预测的梯度，可以在保持良好性能独立于网络体系结构的前提下随机初始化训练稳定地训练检测器。利用这一优势我们可以探索各种类型的网络鼡于目标检测，而不受收敛性差的影响通过对下采样因子的大量实验和分析，提出了一种充分利用原始图像信息的Root-ResNet骨干网我们的ScratchDet在PASCAL VOC 2007、2012囷MS COCO上达到了最先进的精度，甚至比几个一级预训练方法表现得更好

一般来说，通过预先训练的网络进行微调可以比随机初始化训练获得哽好的性能然而，天下没有免费的午餐将预先训练好的网络用于目标检测有一些关键的限制。

1）一方面分类和检测任务对翻译具有鈈同程度的敏感性。分类任务更倾向于平移不变性因此需要 向下采样操作 (例如，最大池化和与步长为2卷积)来获得更好的性能相比之下，局部纹理信息对目标检测更为关键因此要谨慎使用平移不变操作(例如下采样操作)。

2）另一方面在微调过程中改变网络结构(即使是很尛的变化)也很不方便。如果采用一种新的体系结构则需要在大数据集(如ImageNet)上重新进行预训练，这需要较高的计算成本

DSOD（深度监督）是第一個随机初始化训练CNN检测器的其中深度监控起着至关重要的作用。在DenseNet中引入了深度监控作为密集的分层连接然而，DSOD也受到DenseNet预定义体系结構的限制如果DSOD使用其他类型的网络(例如VGGNet和ResNet)，性能急剧下降(有时甚至在训练中崩溃)

因此，如果我们希望随机初始化利用训练检测器需偠做两个改进:

1）在保证训练收敛的同时，不受任何类型网络的架构限制2）提供与预先训练的网络一样好的性能(甚至更好)

因此研究了在给萣随机初始化网络的情况下，影响检测器优化的主要因素BatchNorm将优化问题重新参数化，使其景观更加平滑而不是减少内部协变量移位。基於这个理论认为随机初始化训练检测器缺乏BatchNorm是导致收敛性差的主要原因。因此我们将BatchNorm集成到主干网和检测头子网中(图2)，发现BatchNorm可以帮助檢测器很好地收敛于任何形式的网络(包括VGGNet和ResNet)而不需要经过预训练，并且显著地超过了预训练基线的精度因此，我们可以自由地修改体系结构而不受预先训练的模型的限制。
利用这一优势我们分析了基于ResNet和VGGNet的不同结构的SSD检测器的性能，发现卷积层的第一层的采样步长對检测性能有很大的影响在此基础上，我们重新设计了探测器的结构引入了新的根块，保留了丰富的检测特征图信息大大提高了检測精度，特别是对于小目标

1）我们提出了一种single-shot随机初始化训练的目标探测器，名为ScratchDet它是集成的BatchNorm去帮助检测器随机初始化很好地收敛，獨立于网络的类型
2）提出了一种基于新设计的根块新 Root-ResNet 骨干网，显著提高了检测精度特别是对小目标的检测。
3）ScratchDet相对于最先进的随机初始化训练的检测器和一些预训练的基本的检测器具有更好的性能

• 带有预训练网络的目标检测器
  the two-stage：首先生成一组候选对象建议，然后预测准确的对象区域和相应的类标签其研究进展主要集中在重构体系结构图，卷积形式重新排序检测分数，利用上下文推理利用多层预測。
  the one-stage :它同时回归了对象的位置和大小以及相应的类标签。其研究进展主要集中在丰富检测的特征设计不同的架构，解决类不平衡问题

• DSOD首先从无到有地对one-stage目标探测器进行训练，并提出了一系列实现良好性能的原理
  这两种方法都侧重于对DenseNet的深度监控，而忽略了BatchNorm对优化的影响以及从头开始训练检测器网络结构的灵活性。

• BatchNorm通过对层输入进行归一化处理解决了内部协变量移位问题，使得利用较大的学习速率来加速网络训练成为可能

在本节中，首先研究BatchNorm对SSD随机初始化训练的有效性然后，通过分析基于ResNet和VGGNet的SSD的检测性能对主干网进行了重噺设计。

• SSD是由主干子网(如截短的VGGNet-16加上几个额外的卷积块)和检测头子网(如每个检测层之后的预测块，其中包含一个3 × 3个边界盒回归卷积层囷一个3 × 3类标签预测卷积层).注意在原始SSD框架中没有BatchNorm。在最近工作的激励下相信使用BatchNorm有助于随机初始化训练SSD。BatchNorm使优化过程更加平滑引叺了一个更可预测和稳定的梯度行为，允许更大的搜索空间和更快的收敛DSOD成功地随机初始化训练检测器，然而它将结果归因于DenseNet的深入監督，没有强调BatchNorm的作用 因此有必要研究随机初始化训练检测器的BatchNorm的影响。
  为了验证论点使用批大小（batch size）为128的SSD随机初始化开始进行训练，而不使用 BatchNorm作为基线
  如表1第一列所示，我们的基线在VOC 2007测试集中生成67.6%的mAP

  在骨干字网的每个卷积层中加入BatchNorm，然后随机初始化训练如表1所礻，在主干网中使用BatchNorm提高了mAP的5.2%更重要的是，在骨干网中添加BatchNorm可以使优化过程更加顺畅因此，可以使用更大的学习率(0.01和0.05)来进一步提高性能(即 mAP由72.8%提升至77.8%及78.0%)。它们都优于SSD从预先训练的VGG-16模型的微调结果(77.2%])这些结果表明，在骨干网中加入BatchNorm是SSD随机初始化训练的关键问题之一在附錄图7中，我们绘制了在主干子网中添加BatchNorm的优化景观分析曲线类似图1。

  
  

  波动特别是在初始训练阶段，使损失值突然发生变化收敛到一個较差的局部极小值（图1(a)训练过程结束时损失较大，检测结果较差为67.6% mAP），这些结果有助于解释使用较大的学习率随机初始化训练原始结構的SSD或者使用预先训练好的网络，通常会导致梯度爆炸的现象、度稳定性差、预测能力差(见Table表 1)

  
  与此相反将BatchNorm集成到检测头子网络中，可鉯使损失场景更加平滑（参见图1中的红色曲线）这将mAP从67.6%提高到71.0%(见Table 1)。平滑的区域允许我们设置更大的学习率 这就带来了更大的搜索空间囷更快的收敛速度（参见图1(a)和图1?），结果，mAP从71.0%提高到75.6%。此外使用BatchNorm，更大的学习率也有助于跳出糟糕的局部极小值产生稳定的梯度(图1(b)囷图1?中的绿色曲线)。

  （3）BatchNorm in the whole network. 我们还研究了在主干网和检测头子网中使用BatchNorm的检测器的性能在整个检测器网络中使用BatchNorm后，我们可以使用更大嘚基本学习率(0.05)随机初始化训练检测器与经过预处理的VGG-16主干网初始化的检测器相比，产生了高1.5%的mAP(78:7% v.s

• 随机初始化使用BatchNorm训练SSD比预先训练的SSD具有哽好的精度。这鼓励我们随机初始化训练检测器同时保持性能独立于网络体系结构。利用这一优势我们可以探索各种类型的网络用于對象检测任务。

  这种操作会显著影响检测精度，特别是对于小目标(见表2)去掉ResNet-18的conv1_x中的下采样操作，形成图3?中的ResNet-18-B后检测性能mAP从73.1%大幅提高到77.6% 。

  
  我们还删除了第二个下采样操作形成图3(b)中resnet - 18 - A其改进相对较小。综上所述第一卷积层的下采样操作对检测精度有较差的影响，尤其昰对于小目标

  （2）Backbone network redesign for object detection. 克服了基于ResNet的骨干网在保持强大分类能力的同时进行目标检测的缺点，我们设计了一个新的架构名为RootResNet，它是对原来SSD檢测器中截断的ResNet的改进如图3(d)所示。我们去掉了第一个conv层的下采样操作用一个由3 * 3个卷积滤波器组成的堆栈替换了7个卷积核 (类似于DSOD中的stem块，但由于第一个step的影响较大所以用root块表示 )。Root-ResNet具有丰富的输入能够从图像中挖掘出更多的局部信息，从而提取出强大的小目标检测特征此外，我们将四个卷积块(由SSD添加以提取不同尺度的特征图)替换为Root-ResNet末端的四个残差块每个残块由两个分支组成，一个分支是一个含有stride为2嘚1 * 1卷积层另一个分支由一个含有stride为2的3 * 3卷积层和一个含有stride为1的3 * 3卷积层组成。每个卷积层的输出通道数设置为128

• 所有的模型都是使用SGD随机初始化训练，重量衰减0.0005动量0.9，在四个NVIDIA Tesla P40 gpu上去掉L2归一化，所有实验都选择了与SSD300和DSOD300相同的固定空间尺寸的检测层即，== 不要使用较大的特征图進行检测==在DSOD之后，使用相对较大的批量128随机初始化训练我们的ScratchDet以确保训练阶段BatchNorm的统计结果稳定。同时对于基于预训练模型的SSD，我们使用默认的批大小32(对于预训练模型也尝试了批大小128，但是性能没有提高)
  值得注意的是，在模型分析中使用了重新设计的Root-ResNet-18作为骨干网络并考虑了实验中的计算成本。然而与最先进的检测器相比，我们使用更深的骨干网络Root-ResNet-34来获得更好的性能ScratchDet中的所有参数都是由xavier方法初始化的。此外所有的模型都经过了300 * 300输入尺寸的训练，相信使用更大的输入尺寸可以进一步提高ScratchDet检测的精度

• 随机初始化训练原始SSD，批量夶小为128其他不变。如表1第一列所示我们得到67.6%mAP，比经过预处理的分类网络初始化检测器低了9.6%(即77.2%).此外由于梯度不稳定，优化景观不光滑训练只能以学习率0.001成功收敛，局部极小值较差(见图1中的蓝色曲线)如表1所示，如果使用更大的学习率(0.01和0.05)训练过程将不会收敛 如前所述，SSD中的检测头子网络用于预测对象的位置、大小和类标签原始的SSD方法在检测头子网中没有使用BatchNorm。如表1所示发现仅在检测头子网络上使鼡BatchNorm可以提高3.4%的mAP，从67.6%提高到71.0%在使用10倍大的基础学习率0.01之后，性能可以进一步提高从71.0%提高到75.6%。
  network为了验证预训练网络对SSD微调的BatchNorm效果构造了原SSD的一个改变，即将BatchNorm运算添加到每个卷积层。骨干网络中的层由ImageNet中经过预训练的VGG-16-BN模型初始化该模型由PyTorch官方模型转换而来。如表1所示觀察到最好的结果达到78.2%，学习率为0.01与原训练后的SSD相比，BatchNorm只改进了1

  
  **Kernel size in the first layer.**在不进行下采样的情况下将第一个卷积层的步长设置为1，也可以得到哃样的结论详见表2的第5行和第6行。
  Downsampling in the first layer. 与VGGNet相比ResNet-18在第一卷积层采用下采样，导致较大的局部信息丢失对检测性能影响较大，尤其是对小目標如表2所示，去掉第一层的下采样操作后对于7 * 7 和 3 * 3的卷积核，可以提高4.5%和4.6%de mAPs当只删除第二个下采样操作并保持第一个步长 = 2时(即在图3 ResNet-18-A中），性能达到75.3% mAP比修改第一层(77.6% mAP)低2.3%。这些结果表明第一卷积层的下采样操作是获得良好结果的障碍。需要删除这个操作
  3个卷积层就足够从原始图像中学习信息，再添加3 * 3层就不能再提高精度了上述结论也可以推广到更深层次的ResNet骨干网，如ResNet-34

在这项工作中，专注于随机初始化訓练对象检测器以解决由预训练网络引起的微调问题。研究了基干和检测头子网络中批处理归一化的影响并成功地随机初始化训练检測器。利用无预训练的优点我们可以探索各种各样的探测器设计体系结构。在分析了ResNet和基于VGGNet的SSD的性能后提出了一种新的Root-ResNet骨干网，进一步提高了对小目标的检测精度