CN109740676A - 基于相似目标的物体检测迁移方法 - Google Patents

Abstract

本发明公开了一种基于相似目标的物体检测迁移方法，首先在现有的图像数据集中筛选出待检测物体的相似目标类别，以这些类别所包含的图像作为训练样本，对两阶段目标检测模型进行训练得到相似目标检测器，然后采用包含待检测物体的精确标注样本对相似目标检测器进行参数精调，得到初步目标检测器，最后采用包含待检测物体的弱标注样本，对初步目标检测器进行参数精调得到最终的目标检测器。本发明通过确定待检测物体的相似目标类别来获取训练样本，对物体检测器进行迁移，降低对待检测物体训练样本的要求，使物体检测迁移更易实现。

Description

基于相似目标的物体检测迁移方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于相似目标的物体检测迁移方法。

背景技术

近几年来，无人超市、智能仓储、自动驾驶等新兴产业正在给社会生产力带来一场新的革命。而推动这场革命的主要动力之一就是计算机视觉的蓬勃发展，计算机能够高效地识别视频图像中的物体使得生产生活中的智能无人化逐渐成为可能，其中物体检测技术是视频图像识别和理解中的关键环节。

在物体检测技术的研究热潮下，学术界涌现出了一些优秀的基于深度学习的方法。任少卿等人提出一种两阶段的检测模型：先用区域候选网络(RPN)提取出区域候选框，然后用区域卷积网络(RCNN)完成候选框内物体的识别分类和目标定位。具体算法原理可以参见文献：Ren,Shaoqing,et al.Faster R-CNN:Towards real-time object detectionwith region proposal networks.Advances in neural information processingsystems.2015。

随后，戴继峰等人提出了一种基于区域的全卷积网络(R-FCN，Region-basedFully Convolutional Net)的检测模型，具体算法原理可以参见文献:Dai J,Li Y,He K,et al.R-FCN:Object Detection via Region-based Fully Convolutional Networks[J].2016。R-FCN网络使用了一种位置敏感得分图来处理图像检测中的平移变换性的问题，使得该网络可以基于整幅图片进行全卷积计算，这种方法可以有效地降低网络模型的训练时间和检测时间，同时该模型使用残差网络(ResNet)作为模型的特征提取器。在通用的目标检测平台Pascal VOC上，相较于Faster R-CNN,R-FCN在提高了目标检测的准确率同时也降低了目标检测的时间，而且更适合做任务迁移。

但是这类物体检测方法需要大量精确标注的样本来训练，而且无论是Pascal VOC(20类)、MicroSoft COCO(80类)还是ILSVRC(200类)，这些数据集只包含真实世界中的极少数常见的类别，对于这些数据集之外的不常见物体类别，例如检测安全帽，在有标注样本稀缺、标注成本十分昂贵的情况下，这类全监督的方法就不适用了。

所以不少学者投身到弱监督学习、半监督学习、迁移学习等方法的研究中。针对小样本情形下网络的训练难题，LSTD模型在Faster R-CNN的基础上提出了知识迁移(Transfer Knowledge,TK)和背景抑制(Background Depression,BD)两个损失函数。其中,TK通过源数据集上的目标检测知识来引导网络的训练,BD通过限制神经网络在背景区域的输出值而专注于目标区域。具体算法原理可以参见文献：Chen H,Wang Y,Wang G,etal.LSTD:A Low-Shot Transfer Detector for Object Detection[J].2018.

另外一种方法LSDA是将一个图片分类器(image classifier)转化为一个物体分类器(object classifier)，它适用的情况是检测任务中有一些类别是完全标定的,而另外一些物体类别是弱标定。LSDA能将完全标定类上的检测器迁移到弱标定类别上，因此最后的检测器在全部物体类别上都能有不错的检测效果。具体算法原理可以参见文献：Tang Y,Wang J,Gao B,et al.Large Scale Semi-Supervised Object Detection Using Visualand Semantic Knowledge Transfer[C].Computer Vision and PatternRecognition.IEEE,2016:2119-2128.

从目前的技术水平来看，基于弱监督和迁移学习的这类方法，虽然对大量有标注样本的依赖性较小，但是其检测性能和全监督的方法相比还有很大的差距。所以找到一种仅需少量的训练样本，而且最终检测器的性能又能逼近甚至超过全监督学习的方法，是目前学术界和工业届迫切需要的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于相似目标的物体检测迁移方法，通过确定待检测物体的相似目标类别来获取训练样本，对物体检测器进行迁移，降低对待检测物体训练样本的要求，使物体检测迁移更易实现。

为实现上述发明目的，本发明基于相似目标的物体检测迁移方法包括以下步骤：

S1：从现有的存在精确标注的图像数据集中筛选出待检测物体的相似目标类别，将其中所包含的图像作为训练样本；

S2：构建一个两阶段目标检测模型，将步骤S1所获得的训练样本作为输入，每个训练样本所标注的目标作为期望输出，对两阶段目标检测模型进行训练，将训练得到的模型作为相似目标检测器；

S3：预先获取若干包含待检测物体的图像并对待检测物体进行精确标注，将其作为训练样本对步骤S2得到的相似目标检测器进行参数精调，得到初步目标检测器；

S4：预先获取若干包含待检测物体的弱标注图像，弱标注表示标注信息只注明图像中有没有待检测物体，但不含有待检测物体的具***置信息，将这些图像作为训练样本通过弱监督学习对步骤S3得到的初步目标检测器进行进一步训练，得到最终的目标检测器，完成检测器迁移。

本发明基于相似目标的物体检测迁移方法，首先在现有的图像数据集中筛选出待检测物体的相似目标类别，以这些类别所包含的图像作为训练样本，对两阶段目标检测模型进行训练得到相似目标检测器，然后采用包含待检测物体的精确标注样本对相似目标检测器进行参数精调，得到初步目标检测器，最后采用包含待检测物体的弱标注样本，对初步目标检测器进行参数精调得到最终的目标检测器。

本发明将基于相似目标类别训练样本训练得到的相似目标检测器作为一个过度态，缩短领域迁移的距离，降低对待检测物体训练样本的要求，利用少量精确标注样本即可实现物体检测迁移现。

附图说明

图1是本发明基于相似目标的物体检测迁移方法的具体实施方式流程图；

图2是本实施例中物体检测迁移的示意图；

图3是本实施例基于视觉相似性和语义相似性的相似目标类别确定方法的流程图；

图4是本实施例中物体检测迁移的流程图；

图5是本实施例所得到的目标检测器对安全帽的识别效果示例图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于相似目标的物体检测迁移方法的具体实施方式流程图。如图1所示，本发明基于相似目标的物体检测迁移方法的具体步骤包括：

S101：获取相似目标训练样本：

从现有的存在精确标注的图像数据集中筛选出待检测物体的相似目标类别，将其中所包含的图像作为训练样本。

获取相似目标训练样本的目的是为了进行领域迁移。本实施例中设置待检测物体为安全帽，而该物体样本中精确标注的样本很少，难以训练出具有实用价值的目标检测器，需要采用相似目标进行领域迁移。图2是本实施例中物体检测迁移的示意图。如图2所示，安全帽所在的源领域的标本中精确标注的标本很少，因此先获取其相似目标，得到相似领域，然后再迁移到目标领域。

在获取相似目标训练样本时，对于相似性的判断是非常重要的，相似目标训练样本与待检测物体越相似，所训练得到的相似检测器会越接近待检测物体真实的目标检测器，从而提高检测性能。为了更好地获取相似目标训练样本，本实施例中提出了一种基于视觉相似性和语义相似性的相似目标类别确定方法。图3是本实施例基于视觉相似性和语义相似性的相似目标类别确定方法的流程图。如图3所示，本实施例中基于视觉相似性和语义相似性的相似目标类别确定方法的具体步骤包括：

S301：基于视觉相似性筛选相似目标类别：

利用现有的包含P类物体的物体分类数据集训练得到P类物体分类模型，然后随机选取N张待检测物体图像输入物体分类模型中，得到N个P维输出向量，每个输出向量中的第p个元素表示该待检测物体图像中的待检测物体属于第p类物体的概率，p＝1,2,…,P，计算N个P维输出向量的均值向量，将均值向量中的所有元素按降序排列，取前K个元素v_k构成概率集合V＝[v₁,v₂,…,v_K]，k＝1,2,…,K，前K个概率所对应的类别即为与待检测物体具有视觉相似性的相似目标类别，记其集合为α。

本实施例中待检测物体为安全帽，该目标在现有数据集中很难获取足够的训练样本来进行检测器训练。在现有物体分类数据集中，ImageNet数据集是一个比较完备的数据集，本实施例选用ImageNet数据集中1000类常用物体的训练样本对卷积神经网络进行训练得到一个1000类物体分类网络，从而筛选出与待检测物体具有视觉相似性的相似目标类别。

S302：基于语义相似性筛选相似目标类别：

语义相似性属于自然语言处理(Natural Language Processing，NLP)的研究范畴，NLP中通用做法是把每个单词编码成一个n维向量，这一编码模型被称为word2vec，这一n维空间被称作词嵌入空间(word embedding space)，在这个空间中同义词的欧式距离较小，而语义差距大的词的欧式距离较大，即语义相近的词的分布比较聚集。

本实施例借助以上思想，利用word2vec编码器获取物体分类数据集中P类物体名称对应的向量以及待检测物体名称对应的向量，计算得到待检测物体名称对应向量和P类物体名称对应向量的欧式距离，将P个欧式距离升序排列，取前Q个欧式距离d_q构成集合D＝[d₁,d₂,…,d_Q]，q＝1,2,…,Q，前Q个欧式距离所对应的类别即为与待检测物体具有语义相似性的相似目标类别，记其集合为β。

S303：确定最终的相似目标类别：

获取集合α和集合β的并集γ，即集合γ＝α∪β，记其所包含的物体类别数量为G，根据以下公式对每个物体类别的视觉相似性和语义相似性进行加权融合，得到融合相似性S_g：

其中，λ₁、λ₂表示预设的权重，v_g表示待检测物体与第g个物体类别的视觉相似性，如果第g个物体类别不属于集合α，则v_g＝0，d_g表示待检测物体与第g个物体类别的语义相似性，如果第g个物体类别不属于集合β，则d_g＝+∞，在实际应用时+∞可以采用一个绝对大值代替。

对G个融合相似性S_g进行降序排列，取前C个融合相似性对应的物体类别构成集合W，然后从现有的存在精确标注的目标检测数据集中筛选出和集合W中各个类别存在交集的类别，所筛选出的这些类别即为最终的相似目标类别。本实施例中目标检测数据集采用ILSVRC2013数据集。

对于待检测物体安全帽而言，采用以上方法可以得到其相似类别包括棒球帽、橄榄球帽、防撞头盔、泳帽、牛仔帽等等，这些物体在现有数据集中存在大量精确标注的样本图像，因此可以利用这些样本来训练得到相似目标检测器(similar detector)，使得相似目标检测器能够学到一些有用的特征表达方式，例如对半球体的形状敏感；对表面坚固的物体敏感；形成功能上是一个帽子这种语义。

S102：训练相似目标检测器：

基于现有研究，单阶段目标检测模型在目标迁移方面表现欠佳，而两阶段目标检测模型更适用于目标迁移，因此本发明需要构建一个两阶段目标检测模型，将步骤S101所获得的训练样本作为输入，每个训练样本所标注的目标作为期望输出，对两阶段目标检测模型进行训练，将训练得到的模型作为相似目标检测器。

为了提高效率，本实施例在步骤S301训练物体分类模型时，即将该物体分类模型设置成两阶段模型R-FCN，从而在此步骤可以采用训练样本对物体分类模型进行参数精调，得到相似目标检测器。这部分是以全监督的方式训练，训练方法可以参考Faster RCNN的训练方法。按照分步训练的方式，先训练生成目标可能出现位置的区域候选网络(RPN)然后再进一步训练分类和定位的区域卷积网络(RCNN)模块。

本发明经研究发现，如果在进行物体检测迁移时，直接采用少量的精确标注的待检测物体的训练样本对现有的物体检测器进行精调，如果样本较少，所得到目标检测器是很难达到理想性能的。这是因为少量标注的样本意味着需要在有限的优化步数内完成领域迁移，这是十分困难的。本发明通过采用相似目标类别来获取训练样本，训练得到相似目标检测器，将其作为桥梁进行物体检测迁移，即使在少量样本情况下，也可以使最终的目标检测器实现较好的性能。

S103：精确标注样本精调：

预先获取若干包含待检测物体的图像并对待检测物体进行精确标注，将其作为训练样本对步骤S102得到的相似目标检测器进行参数精调，得到初步目标检测器。

本步骤利用少量精确标注的待检测物体图像，将相似目标检测器迁移到待检测物体数据集上。对本实施例中所采用的R-FCN而言，精调的具体过程包括：将相似目标检测器的浅层和中间层的卷积核参数固定，精调(fine-tune)最后几层的网络参数。为了提高知识迁移的效率，本实施例参照LSTD结构，利用其在迁移检测方面的优势，使得到的初步目标检测器的性能能够接近人工标定的水平，所以可以作为下一步弱监督学习过程中伪标签的生成器。

S104：弱标注样本训练：

预先获取若干包含待检测物体的弱标注图像，弱标注表示标注信息只注明图像中有没有待检测物体，但不含有目标的具***置信息，即没有包围框(bounding box)信息。将这些图像作为训练样本通过弱监督学习对步骤S103得到的初步目标检测器进行进一步训练，得到最终的目标检测器，完成检测器迁移。

本实施例中的弱标注图像来源于从YouTube下载和目标相关的海量视频。本步骤不同于之前步骤，采用的是弱监督的训练方式。针对弱监督目标检测学习过程的不稳定性，对于本实施例中所采用的R-FCN，参照LSTD结构，利用初步目标检测器生成伪标签(Recurrent Object Labeling,ROL)和知识迁移(Transfer Knowledge，TK)两个模块生成目标物体的监督信息(object supervision),最后此网络能以全监督(fully-supervised)的形式实现完全端到端(fully end-to-end)的训练，大大的提升了学习效率和稳定性。

为了更好地说明本发明的技术效果，采用一个具体实施例对本发明进行实验验证。本实施例中先获取1000张精确标注的待检测物体安全帽的图像样本，将其中500张用于本发明中初步目标检测器的训练，另外500张用于性能检测，采用在图像处理领域中常用的深度学习框架caffe进行训练和测试。

图4是本实施例中物体检测迁移的流程图。如图4所示，先基于mageNet分类模型先搜索出与安全帽具有视觉相似性的相似目标类别，再搜索出与安全帽具有语义相似性的相似目标类别，然后得到与安全帽具有视觉主义相似的大量精确标注样本，对R-FCN网络模型进行训练得到相似目标检测器。本实施例中在R-FCN网络模型中使用基于ImageNet图像数据集训练得到的ResNet-50残差网络模型作为预训练模型。对于R-FCN网络模型的其它参数，设置学习率为0.001，每迭代2万次，学习率缩小10倍，总的迭代次数为6万次，动量设置为0.9，权重衰减项设置为0.0005。然后再采用少量的精确标注的安全帽图像对相似目标检测器进行精调得到初步目标检测器，最后采用安全帽的弱标注图像对初步目标检测器进行进一步训练，得到最终的目标检测器，完成检测器迁移。

图5是本实施例所得到的目标检测器对安全帽的识别效果示例图。如图5所示，采用本发明所迁移得到的目标检测器可以对安全帽进行准确识别。

为了进行技术效果对比，采用直接使用少量的精确标注的安全帽图像样本对R-FCN网络模型进行训练，将训练得到的目标检测器作为对照检测器1；采用大量(5000张)精确标注的安全帽图像样本对Faster R-CNN网络模型进行训练，将训练得到的目标检测器作为对照检测器2。采用[email protected]作为检测性能指标，mAP(mean Average Precision)是一种多标签图像分类的评价指标，先计算每一个类别的平均准确度，然后再在所有类别上作平均。在评价准确度时，如果检测结果与标注目标(ground truth)的重叠率达到一个门限值(即0.5)，检测结果被认为是真实目标(true positive)。

表1是本发明所得到的最终目标检测器和两种对照检测器的检测性能对比表。

	本发明检测器	对照检测器1	对照检测器2
				[email protected]	74.2％	58.3％	77.6％

表1

从表1可以看出，采用本发明所得到的目标检测器的性能已经很接近基于大量精确标注图像训练得到的检测器。

此外，本发明所得到的目标检测器在英伟达GTX1080 GPU上的测试速度到了86毫秒每张图像，接近了实时检测的速度。可见，采用本发明所得到的目标检测器在检测效果和运行效率方面都有良好的表现。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于相似目标的物体检测迁移方法，其特征在于，包括以下步骤：

S1：从现有的存在精确标注的图像数据集中筛选出待检测物体的相似目标类别，将其中所包含的图像作为训练样本；

S2：构建一个两阶段目标检测模型，将步骤S1所获得的训练样本作为输入，每个训练样本所标注的目标作为期望输出，对两阶段目标检测模型进行训练，将训练得到的模型作为相似目标检测器；

S3：预先获取若干包含待检测物体的图像并对待检测物体进行精确标注，将其作为训练样本对步骤S2得到的相似目标检测器进行参数精调，得到初步目标检测器；

S4：预先获取若干包含待检测物体的弱标注图像，弱标注表示标注信息只注明图像中有没有待检测物体，但不含有待检测目标的具***置信息，将这些图像作为训练样本通过弱监督学习对步骤S3得到的初步目标检测器进行进一步训练，得到最终的目标检测器，完成检测器迁移。

2.根据权利要求1所述的物体检测迁移方法，其特征在于，所述相似目标类别的确定方法包括：

1)利用现有的包含P类物体的物体分类数据集训练得到P类物体分类模型，然后随机选取N张待检测物体图像输入物体分类模型中，得到N个P维输出向量，每个输出向量中的第p个元素表示该待检测物体图像中的待检测物体属于第p类物体的概率，计算N个P维输出向量的均值向量，将均值向量中的所有元素按降序排列，取前K个元素v_k构成概率集合V＝[v₁,v₂,…,v_K]，k＝1,2,…,K，前K个概率所对应的类别即为与待检测物体具有视觉相似性的相似目标类别，记其集合为α；

2)利用word2vec编码器获取物体分类数据集中P类物体名称对应的向量以及待检测物体名称对应的向量，计算得到待检测物体名称对应向量和P类物体名称对应向量的欧式距离，将P个欧式距离升序排列，取前Q个欧氏距离d_q构成集合D＝[d₁,d₂,…,d_Q]，q＝1,2,…,Q，前Q个欧氏欧式距离所对应的类别即为与待检测物体具有语义相似性的相似目标类别，记其集合为β；

3)获取集合α和集合β的并集γ，即集合γ＝α∪β，记其所包含的物体类别数量为G，根据以下公式对每个物体类别的视觉相似性和语义相似性进行加权融合，得到融合相似性S_g：

其中，λ₁、λ₂表示预设的权重，v_g表示待检测物体与第g个物体类别的视觉相似性，如果第g个物体类别不属于集合α，则v_g＝0，d_g表示待检测物体与第g个物体类别的语义相似性，如果第g个物体类别不属于集合β，则d_g＝+∞；

对G个融合相似性S_g进行降序排列，取前C个融合相似性对应的物体类别构成集合W，然后从现有的存在精确标注的目标检测数据集中筛选出和集合W中各个类别存在交集的类别，所筛选出的这些类别即为最终的相似目标类别。

3.根据权利要求1所述的物体检测迁移方法，其特征在于，所述两阶段目标检测模型采用R-FCN网络模型。