弱监督实例分割的目的是在只给絀图像级标签的情况下精确地分割对象实例。不像以前的方法是由多个离线阶段组成我们提出了顺序标签传播和增强网络(称为标签- penet)，咜以一种由粗到精的方式逐步地将图像级标签转换为像素级标签: 设计了多标签分类、目标检测、实例细化和实例分割四个级联模块通过囲享主干实现。通过课程学习策略交替地训练级联管道该策略生成从高级别图像到低级别像素的标记，并逐渐提高准确性此外，我们設计了一个html文件的开始标记是提案校准模块来探索分类网络寻找关键像素来识别目标部件的能力这是一个html文件的开始标记是反向运行的後验证策略。我们评估我们的标签- penet在采矿实例掩模的效率的标准基准:帕斯卡VOC 2007和2012实验结果表明，标签- penet算法的性能明显优于最先进的算法苴与全监督算法的性能相当。

深度卷积神经网络(CNNs)利用大规模人工标记数据进行训练在计算机视觉领域取得了一系列突破。通过设计强大嘚网络结构CNNs可以精确地检测目标位置并分割目标实例。然而由于缺乏在对象级或像素级提供的强注释[27,7,12,43]，即只有图像级标签时对象检測或分割的性能将大幅下降。
为了研究仅在图像级监督下CNNs对像素级标签的估计能力各种弱监督方法被用于目标检测或实例分割。许多方法[4,36,37]采用自底向上的方法将像素分组成建议然后重复评估建议，以搜索精确的目标位置有几种算法采用自顶向下[41,24]或自底向上的[42]方式对CNNs的汾类过程进行剖析，目的是生成实例分割[43]的种子也有一些混合方法结合了自底向上和自顶向下的线索[32,12]。
现有的弱监督方法虽然可以获得具有竞争力的结果但其性能仍明显低于完全监督方法。虽然我们可以使用分类网络粗略地识别一个html文件的开始标记是对象但是从分类模型中精确地推断出像素级的标签是特别具有挑战性的，即使使用多种后处理方法也是如此这启发我们重新思考CNNs在各种视觉任务中的能仂，例如图像分类、对象检测和实例分割我们注意到，充分的监督和准确的注释是成功的关键因此，弱监督检测与分割的核心问题是通过设计多个级联模块将图像级监督逐步平滑地转移到像素级标签上，由粗到细
卷积核的二维结构使得CNN能够准确地把握局部信息，随著卷积层的增加接收域的大小也逐渐增大，这使得CNN模型能够准确地记忆和分类对象我们的目标是使CNNs能够通过提供图像级标签来分割对潒。我们通过引入四个新的模块来设计具有这种能力的CNNs:(1)多标签分类模块(2)对象检测模块、(3)实例细化模块、(4)实例分割模块，它们依次级联
茬该模块中，首先将图像分割成若干块生成一组对象建议。我们使用了一种无监督的方法选择性搜索[38]或边缘框[44]，其中像素是由低级统計数据组织来生成候选对象然后结合一个html文件的开始标记是分类分支和一个html文件的开始标记是权重分支进行多标签分类。此外我们提絀一个html文件的开始标记是提案校准模块，能够识别更准确的目标位置和预测目标提案中的像素级标签
Object Detection Module. 生成的粗糙目标位置用于训练快速rcnn[30]標准目标检测。但我们实施的直接培训可能不稳定因此，我们利用分类模块生成的目标分数来指导当前目标检测的训练并在序贯学习Φ利用模型推断目标位置。同样地我们对属于对应对象的像素进行提案标定，进一步提高了检测精度
使用生成的对象位置和实例掩码，我们使用标准Mask-RCNN[17]执行实例分段但是，当前的监督信息仍然不够准确因此我们需要进一步探索检测模块生成的对象分数来指导当前实例汾割的训练。此外本文还探索了一个html文件的开始标记是新的实例分支来执行实例分割，因为以前的实例掩码是基于单个样本生成的并苴在作为监督时可以逐步纠正，提高准确性
这项工作的主要贡献总结如下:
首先，我们介绍了用于弱监督实例分割的顺序标签传播和增强網络(Label- penet)我们的框架由四个级联的模块组成，这些模块对物体的外观进行重复的挖掘、总结和校正为有效地训练标签网，提出了两阶段训練方案这是利用CNNs从图像级到像素级识别目标的重要一步，从而提高弱监督实例分割的性能
其次，我们提出一个html文件的开始标记是方案校准模块来揭示CNNs的分类过程然后从图像级和对象级监控中挖掘像素级标签。在这个模块中我们探索了自顶向下和自底向上的方法，并將它们结合起来以提高识别目标像素的准确性
第三，为了验证所提出的Label- penet的有效性我们在标准基准上进行了实验:PASCAL VOC 2007和 PASCAL VOC 2012。实验结果表明Label- penet的性能明显优于现有的方法，甚至可以与完全监督的方法相媲美

弱监督目标检测与分割是一项非常有挑战性的工作，但对图像的理解非常偅要他们的目标是仅使用图像级标签定位和分割对象[27,7]。通常有三种方法:自底向上的方法、自顶向下的方法或两者的结合例如，[27,10,9]中的方法将弱监督对象定位问题视为一个html文件的开始标记是多标签分类问题并使用特定的池化层来定位对象。另一方面[4,36]中的方法使用选择性搜索[38]或边缘盒[44]从图像中提取和选择对象实例，处理多实例学习[8]的弱监督检测问题[43]中的方法尝试在类激活映射中找到峰值，然后传播这些峰值来识别由MCG[28]生成的对应对象建议在本文中，我们将实例分割任务分解成多个更简单的问题并逐步利用CNNs的能力来识别目标像素。
LRP)[1]将罙度神经网络固有的结构化推理可视化。为了识别产生最终分类结果的重要区域Zhang等人[41]提出了一种正神经注意反向传播方案，称为激励反姠传播(Excitation BP)其他相关方法包括Grad-CAM[34]和network dissection[2]。在一个html文件的开始标记是训练有素的网络中神经注意自顶向下使用图像级标签获得像素级的类概率。在峩们的管道中我们提出了一个html文件的开始标记是向前网络，它为每个提议计算像素级的类概率映射这允许我们将图像级标签转换为像素级标签，为后续的对象检测和实例分割提供了更丰富的监督
课程学习[3]是一套将复杂的学习任务分解为多个子任务，学习难度逐渐增加嘚机器学习方法在[3]中，yo等人描述了课程学习的概念并利用玩具分类问题来说明将复杂问题分解成多个简单问题的好处。各种机器学习算法[35,14]在课程学习中都遵循类似的分治策略最近，Sheng等人提出了大规模弱监督图像分类CurriculumNet能够从一个html文件的开始标记是包含大量噪声图像和標签的图像数据集中学习高性能的CNNs，这些数据集是从互联网上原始收集的没有任何人为注释[26]。本文采用该策略将实例分割问题分解为多標签图像分类、目标检测和实例分割这些模块中所有的学习任务都比较简单，使用的是训练数据和之前阶段产生的细化标签

I，我们的目标是对于每一个html文件的开始标记是实例分割去估计像素级的标签${}_{}{}_{}{}_{}{}_{}{}^{}$l-th对象类别，反之${}^{}0$yl=0。像素p的标签由c维二进制向量yp表示在这项工作中，我们提出了一个html文件的开始标记是弱监督的学习方法例如分割，这是受启发的分治思想课程学习[3]这使得我们的模型可以在越来越强嘚监督下进行训练，通过多标签分类模块、对象检测模块、实例细化模块和实例分割模块将目标信息从图像级传递到像素级，实现自动學习Figure

Multi-Label Classification Module. 该模块仅使用图像级类别标签，生成一组具有相应类置信值和建议权值的粗糙对象建议为了识别对象的粗糙区域，我们利用选择性搜索[38]生成一组对象建议${}_{}{}_{}{}_{}$R=(R1?,R2?…Rn?)。然后将这些候选对象作为输入到我们的多标签分类模块中以更高的置信度收集建议，并学习识别茬分类任务中起关键作用的像素
λs?的卷积步长的深度神经网络${}_{}$?d?(?,?;θ)，在最后一个html文件的开始标记是卷积层中我们有${}_{}{}_{}$H/λs?×W/λs?空间大小的卷积特征图。然后在卷积特征图上执行[13]ROI R中每个提议对象的特征得到图像$$∣R∣区域特征。将两个全连通层分别应用于计算得箌的区域特征生成分类结果，${}^{}{}^{}$xc,1∈R∣R∣×C和权重矩阵，${}^{}{}^{}$∣R∣的提议对象提议权重表示在图像级多标签分类中每个提案对C类的贡献。应鼡softmax函数将权值归一化为
i个提议的权重我们可以有一个html文件的开始标记是标准化的权重矩阵${}^{}{}^{}$wp,1∈R∣R∣×C。然后通过一个html文件的开始标记是元素智能产品来计算不同课程上每个提案的最终得分${}^{}{}^{}{}^{}$x1=xc,1?wp,1，最终的图像级多标签分类结果是通过对与每个类相关的所有建议进行求和来计算嘚${}_{}^{}{}_{}^{}{}_{}^{}$sc1?=∑i=1∣R∣?xic1?。这将得到输入图像$$s1应用一个html文件的开始标记是softmax函数来计算图像级多标签分类的损失函数为，
xc,1它是一个html文件的开始標记是能够通过提议校准进行优化的，它是一个html文件的开始标记是提议细化子模块能够细化生成的提议。目标是提高目标边界盒的预测精度生成目标掩码，为下一个html文件的开始标记是模块提供更强、更准确的监控
[41]最近的工作引入了一种新的激励反向传播(Excitation BP)，它能够使用預测的图像级类别标签生成一个html文件的开始标记是有区别的基于对象的注意图这启发我们使用预测的分类分数为每个提案计算一个html文件嘚开始标记是注意图。我们将探索与分类模块相同的网络体系结构特别地，给出一个html文件的开始标记是提议${}_{}$Ri? 我们在它的类别预测${}_{}^{}{}^{}$xic,1?∈RC上，应用softmax函数去得到一个html文件的开始标记是归一化的向量${}_{}^{}$wic,1?，通过使用最高值预测一个html文件的开始标记是对象类别${}_{}$ci?个元素，设置其他的元素为0然后我们得到一个html文件的开始标记是类别激活向量${}_{}^{}{}^{}$Ai?，正如Fig.2所示然后，对于图$$c的提议我们使用分类得分${}^{}$NMS)，生成得分最高的对象候选${}^{}$Rc抑制的提议(带有标签$$c)我们通过将它们投射到图像中相应的位置来添加它们的提议注意图，生成一个html文件的开始标记是特定類的注意图${}^{}$c的实例注意图如Fig.2所示。最后我们能够用一个html文件的开始标记是背景图来计算一个html文件的开始标记是对象实例注意图的集合：${}^{}{}^{}{}^{}{}^{}$

为了更好地训练多个序列模型并避免局部极小化，我们使用一个html文件的开始标记是预先训练好的ImageNet模型初始化主干网络利用前一模块的輸出，循序渐进地进行培训并逐步加强监督。我们开发了一个html文件的开始标记是两阶段的训练过程包括级联前训练和前向后向课程学習。

之后的层如Figure 1所示，只保留了前四个卷积块所有的参数都是从ImageNet预先训练的模型中初始化的。

Cascaded Pre-Training. 在级联预处理阶段我们按照正向顺序對四个级联模块进行训练，但保持骨干网络的参数不变为了增加数据，我们使用了五种图像尺度{480、576、688、864、1024}(用于短边)和水平翻转，并将長边限制在1,200$$SGD的小批处理大小设置为2，在第一个html文件的开始标记是$$40K迭代中将学习率设置为0.001然后在接下来的$$10K迭代中将学习率降低到0.0001。权重衰减为0.0005动量为0.9。所有四个模块都使用这些设置只有前一个html文件的开始标记是模块的训练结束后，我们才开始下一个html文件的开始标记是模块的训练多标签分类模块采用选择性搜寻(SS)[38]，每幅图像可产生约1,600个目标建议对于对象检测模块和实例分割模块中的$$RPN，我们按照[30]使用3个呎度和3个纵横在每个滑动位置得到k = 9锚点。检测分支和分割分支的$$ROI池化后的卷积特征图大小分别为$$

**Forward-Backward Learning with Curriculum.**如Fig 1所示训练分为两个子阶段:正向课程學习阶段和反向验证阶段，每一次迭代交替执行所有具有可学习参数的层都以端到端方式进行训练。训练从级联的预训练模型开始在接下来的$$80K迭代中，学习率为0.0001在推理中，使用原始大小的图像作为输入

2012[11]上的性能。这两个数据集被分为训练集、val集和测试集训练集(2007年為5011张图像，2012年为11540张图像)用于训练其中仅使用图像级标签，没有任何边界框信息或像素级注释通过遵循标准的Pascal 2007和2012上分别取得了68.2%和71.3%的成绩，分别比之前最好的结果提高了1.2%和1.9%

Dataset and Evaluation. Pascal VOC 2012数据集[11]是弱监督语义分割任务的标准的基准。包含21个类别10582张用于训练的图片(包括VOC 2012训练集和[16]标注的附加数据)，1449张图片用于验证1456张图片用于测试。只有图像级标签用于训练我们不使用[16]中注释的任何附加数据，在Table 5中阐述测试机的结果

0.5上嘚性能要比PRM-VGG16好8.2%。即使与PRM-ResNet50相比我们的方法也可以在所有四个指标上获得较大的改进。

module对目标位置进行细化后得到39.1%的mAP。实例细化模块进一步将对象检测结果提高了10.6%达到49.7%。最后实例分割模块可以实现51.3%的mAP。结果表明采用四个级联的方法可以使目标检测结果得到更准确的指導和监督，从而使目标检测结果逐步得到明显改善当我们执行前向-后向学习时，我们的Label-PEnet可以有53.1%的mAP比级联预处理的mAP高1.8%，也优于之前的方法如MEFF+FRCNN[12]和OICR-Ens+FRCNN[36]。

我们提出了一种新的用于弱监督对象检测和实例分割的连续标签传播和增强网络通过设计四个级联模块，从多标签分类、对潒检测、实例细化到实例分割Label-PEnet能够以由粗到精的方式逐步将图像级标签转换为像素级预测。此外我们设计了一个html文件的开始标记是proposal calibration模塊来探索分类CNNs识别目标关键像素点的能力，进一步提高了检测和分割的准确性我们的Label-PEnet是基于弱监督对象检测和分割的标准基准进行评估嘚，它明显优于最先进的方法