CN113011417B - 基于交并比覆盖率损失与重定位策略的目标匹配方法 - Google Patents

Abstract

本发明公开了一种基于交并比覆盖率损失与重定位策略的目标匹配方法。采用交并比覆盖率损失训练候选区域提取器，该候选区域提取器抗图像畸变、噪声、遮挡、背景干扰、光照变化等能力强；采用候选区验证策略，对候选区域提取器产出的一系列候选区域进行筛选，从而降低图像匹配的误检率并得到目标对象的粗定位位置；采用目标区域调整模块和重定位策略获得目标对象的精定位位置。本发明方法可以提高目标匹配的速度、精度以及鲁棒性，适用于复杂场景下的目标匹配。

Description

基于交并比覆盖率损失与重定位策略的目标匹配方法

技术领域

本发明涉及一种目标匹配方法，具体是指基于交并比覆盖率损失与重定位策略的目标匹配方法。

背景技术

目标匹配是计算机视觉中的一个常见问题，其目的是寻找特定目标对象在整个视野中的位置，被广泛应用于目标追踪、物体定位、机器人视觉感知等领域。

目前目标匹配常用的思路有两种，一种是采用只关注候选区域与目标对象像素信息的相似度而不关注语义的模板匹配方法，该方法在遮挡、非刚性变换、光照、背景变化和尺度变化的影响下表现不佳；另一种是利用实例模板的语义信息进行目标匹配的实例检测方法，但这种方式需要一系列实例级别的模板(无背景干扰下的目标对象轮廓图)，实际应用中成本较高。现有的目标匹配方法在目标追踪、物体定位、机器人视视觉感知等对算法的定位精度、可靠性和鲁棒性要求较高的领域还远不能满足需求。

为解决上述问题，本发明提出了一种新型实用目标匹配框架。通过研究不同的候选区域回归策略，设计了一种新的损失函数称为交并比覆盖率损失，获得比以往目标匹配方法更高的匹配精度；此外通过分析误检和匹配误差产生的原因，设计出一套合理的候选区域验证策略以降低目标匹配方法的误检率；提出通过目标区域调整和重定位策略来减少卷积神经网络中的位置信息损失，从而提升目标匹配方法的匹配精度和鲁棒性。

发明内容

本发明目的在于针对以往目标匹配方法匹配精度不佳、鲁棒性差、定位时间长等方面的缺点，提出了一种基于交并比覆盖率损失和重定位策略的目标匹配方法，实现了快速、精准、鲁棒的目标匹配，适用于复杂环境下的实时目标匹配。

步骤一：利用交并比覆盖率损失训练候选区域提取器，候选区域提取器从输入的场景图像中提取带有位置与置信度信息的候选区域；

步骤二：特征提取器对输入的目标图像进行特征提取；

步骤三：利用候选区域验证策略，将不匹配的候选区域筛除，获得目标区域的粗定位位置；

步骤四：目标区域调整模块通过对目标区域的尺度与位置调整获得目标感兴趣区域，并利用重定位策略在目标感兴趣区域内获取目标区域的精定位位置。

进一步的，所述步骤一具体为：

Setp1：利用交并比覆盖率损失训练候选区域提取器，候选区域提取器是一种卷积神经网络；交并比覆盖率损失是距离约束项、交并比覆盖率项和形状约束项三项组成的一种损失函数；

所述交并比覆盖率损失定义为：

所述距离约束项定义为：

其中，b_pr与b_pl是候选区域的右下角点与左上角点，b_gr与b_gl是目标对象的右下角与左上角，ρ(·)是欧几里得距离，c是覆盖目标对象与候选区域的最小矩形封闭区域的对角线长度；

所述交并比覆盖率项定义为：

其中，B^pb与B^gt分别是候选区域与目标对象，α是交并比覆盖率的权重参数；

所述形状约束项定义为：

其中，w与h是目标对象的宽与长，w^gt与h^gt是候选区域的宽与长；

Step2：根据Step1所得的候选区域提取器对输入的场景图像进行候选区域提取，得到一系列带有位置与置信度信息的候选区域。

进一步的，所述步骤二中的特征提取器是一种深层卷积神经网络。

进一步的，所述步骤三具体为：

所述候选区域验证策略是通过度量候选区域与目标对象特征的类别相似度、目标相似度以及形状召回率获得该候选区域置信度，并通过置信度判断是否将该候选区域筛除或作为目标区域；

所述候选区域置信度定义为：

Conf(t|r)＝Sim(t|r)^S_r^T_recall；

所述候选区域与目标对象特征的类别相似度定义为：

其中，f_t与f_r分别是从目标与候选区域中提取的特征；

所述候选区域与目标对象特征的目标相似度定义为：

其中，μ与λ是归一化因子；I_p与I_q是a与b位置的像素值，Z是归一化因子，ρ是边缘像素减重因子；T表示目标，R表示候选区域，ξ是归一化因子，p是像素位置，h(p)表示像素p的出现权重；

所述候选区域与目标对象特征的形状召回率定义为：

进一步的，所述步骤四具体为：

(I)所述目标区域调整模块对所述步骤三得到的目标区域进行位置与尺度的调整；目标区域调整模块的位置偏移量和尺度变化量是根据候选区域与目标对象特征的差异值进行计算得到；

(II)利用所述重定位策略重新匹配目标对象位置，所述重定位策略是利用候选区域提取器在调整后的目标区域内再次提取目标对象位置。

有益效果

本发明提出了一种基于交并比覆盖率损失与重定位策略的目标匹配方法，核心在于交并比覆盖率损失、候选区域验证策略和候选区域调整与重定位策略，该目标匹配方法抗图像畸变、噪声、遮挡、背景干扰、光照变化等能力强，适用于复杂场景下的目标匹配。

附图说明

图1是实施例的目标匹配方法流程图。

图2是交并比覆盖率损失整体示意图。

图3是交并比覆盖率损失优化过程示意图。

图4是4组不同复杂场景下的目标匹配实施效果图。

图5是实施例的整体目标匹配测试框架图。

具体实施方式

本发明是可用于视觉***对给定目标对象在输入场景图像中进行快速目标匹配的方法。目的在于针对以往目标匹配方法定位精度低、耗时严重、易受图像畸变、噪声、遮挡、背景干扰和光照变化等外界环境影响等多方面缺点，提出适用于复杂场景下的实时目标匹配方法。

下面结合附图和实施例对本发明做进一步说明。

如图1所示，本发明的工作过程具体说明如下：

步骤一：利用交并比覆盖率损失训练候选区域提取器，候选区域提取器从输入的场景图像中提取带有位置与置信度信息的候选区域；

步骤二：特征提取器对输入的目标图像进行特征提取；

步骤三：利用候选区域验证策略，将不匹配的候选区域筛除，获得目标区域的粗定位位置；

步骤四：目标区域调整模块通过对目标区域的尺度与位置调整获得目标感兴趣区域，并利用重定位策略在目标感兴趣区域内获取目标区域的精定位位置。

具体的，所述步骤一具体为：

Setp1：利用交并比覆盖率损失训练候选区域提取器，候选区域提取器是一种卷积神经网络；交并比覆盖率损失是距离约束项、交并比覆盖率项和形状约束项三项组成的一种损失函数；

所述交并比覆盖率损失定义为：

所述距离约束项定义为：

其中，b_pr与b_pl是候选区域的右下角点与左上角点，b_gr与b_gl是目标对象的右下角与左上角，ρ(·)是欧几里得距离；如图2所示，c是覆盖目标对象与候选区域的最小封闭区域的对角线长度，d₁是候选区域的右上角点到目标对象的右上角点距离，d₂是候选区域的左上角点到目标对象的左上角点距离；

所述交并比覆盖率项可以在交并比无法再优化时进一步优化，以获得目标与候选区域间更高的覆盖率，交并比覆盖率项定义为：

其中，B^pb与B^gt分别是候选区域与目标对象，α为交并比覆盖率的权重参数；如图3所示，H与L是未采用交并比覆盖率损失前的候选区域的高与长。

所述形状约束项定义为：

其中，w与h是目标对象的宽与长，w^gt与h^gt是候选区域的宽与长；

Step2：根据Step1所得的候选区域提取器对输入的场景图像进行候选区域提取，得到一系列带有位置与置信度信息的候选区域。

步骤二所述特征提取器是一种深层卷积神经网络。

步骤三所述候选区域验证策略是通过度量候选区域与目标对象特征的类别相似度、目标相似度以及形状召回率获得该候选区域置信度，并通过候选区域的置信度选定目标区域；

所述候选区域置信度定义为：

Conf(t|r)＝Sim(t|r)^S_r^T_recall；

所述候选区域与目标对象特征的类别相似度用于判断候选区域是否与目标对象所属同一类别，定义为：

其中，f_t与f_r分别是从目标与候选区域中提取的特征；

所述候选区域与目标对象特征的目标相似度定义为：

其中，μ与λ是归一化因子；I_p与I_q是a与b位置的像素值，Z是归一化因子，ρ是边缘像素减重因子；T表示目标，R表示候选区域，ξ是归一化因子，p是像素位置，h(p)表示像素p的出现权重；

所述候选区域与目标对象特征的形状召回率用于判断候选区域内是否包含目标对象，定义为：

所述步骤四具体为：

(I)根据候选区域提取器与特征提取器提取的特征差异值进行目标区域调整，具体为：将目标区域调整至与目标相同尺寸，若调整后的目标区域置信度低于设定阈值，则进行区域扩张与位置调整。

(II)在调整后的目标区域内利用重定位策略获得精定位位置，如图4所示，最外框为调整后目标区域，内实线框为粗定位位置，内虚线框为精定位位置。若精定位置信度小于候选区域的整体置信度则舍弃精定位位置结果，否则采用精定位位置作为结果。

实施例1

使用帕斯卡视觉对象数据集2007版和2012版的训练验证集作为算法训练集，包含来自 20个类的16551个图像。算法测试集为帕斯卡视觉对象数据集2007版测试集，由4952幅图像组成。以单阶段检测器(YOLOv3)为基准，利用训练集训练基于并比覆盖率损失的候选区提取器。在测试集上测试交并比覆盖率损失与目前主流损失函数对算法性能的影响。使用的精度衡量指标取[0.50，0.55，0.6，0.65，0.7，0.75，0.8，0.85，0.9，0.95]内的10个不同交并比阈值下的平均精度(AP)，AP75与AP90即交并比阈值分别取0.75与0.90时的匹配精度。

表1:基于各主流损失函数的目标检测器性能测试

表1测试结果表明，交并比覆盖率损失相比此前主流的损失在平均精度上提高了6.96％，在阈值取0.75和0.90时分别提升了10.20％和116.59％。交并比阈值要求愈高，交并比覆盖率损失的对算法的提升幅度愈大。

实施例2

使用目标跟踪改进版数据集对比测试本发明与主流目标匹配方法的性能。基于目标跟踪数据集(OTB)格式的目标跟踪改进版数据集(MOTB)拥有393个不同场景下的图像基准对测试，该数据集涵盖了光照、噪声、视角等变化因素。因此该数据集可以测试目标匹配方法的精准性与鲁棒性。

表2:MOTB数据集上使用不同目标匹配方法定位效果的定量比较

如表2所示，在交并比(IoU)阈值取0.5(IoU@50)、0.75(IoU@75)和0.9(IoU@90)时，本发明相比目前的质量感知匹配方法(QATM)分别提升了20.43％，11.44％和31.08％。此外，曲线下面积(AUC)描述了算法随交并比阈值变化的定位精度性能，本发明相比质量感知匹配方法提升了24.71％。

匹配速度是实际应用中衡量目标匹配方法性能的另一个重要指标。表3比较了不同的匹配和定位方法在MOTB数据集上的平均时间，本发明方法具体测试框架图如图5所示。本发明方法相对于基于中央处理器(CPU)的误差平方和匹配(SSD)和归一化积匹配(NCC)速度提升了约3倍，相比基于图像处理器(GPU)的质量感知匹配(QATM)速度提升了近20倍。

表3 :不同目标匹配方法在MOTB数据集上的速度测试

Claims (4)

1.基于交并比覆盖率损失与重定位策略的目标匹配方法，其特征在于，包括以下步骤：

步骤一：利用交并比覆盖率损失训练候选区域提取器，候选区域提取器从输入的场景图像中提取带有位置与置信度信息的候选区域；

所述步骤一中交并比覆盖率损失是距离约束项、交并比覆盖率项和形状约束项三项组成的一种损失函数；所述交并比覆盖率损失定义为：

所述距离约束项定义为：

其中，b_pr与b_pl是候选区域的右下角点与左上角点，b_gr与b_gl是目标对象的右下角与左上角，ρ(·)是欧几里得距离，c是覆盖目标对象与候选区域的最小矩形封闭区域的对角线长度；

所述交并比覆盖率项定义为：

其中，B^pb与B^gt分别是候选区域与目标对象，α是交并比覆盖率的权重参数；

所述形状约束项定义为：

其中，w与h是目标对象的宽与长，w^gt与h^gt是候选区域的宽与长；

步骤二：特征提取器对输入的目标图像进行特征提取；

步骤三：利用候选区域验证策略，将不匹配的候选区域筛除，获得目标区域的粗定位位置；

所述步骤三中候选区域验证策略是通过度量候选区域与目标对象特征的类别相似度、目标相似度以及形状召回率获得该候选区域置信度，并通过候选区域的置信度选定目标区域；

所述候选区域置信度定义为：

Conf(t|r)＝Sim(t|r)^S_r^T_recall；

所述候选区域与目标对象特征的类别相似度定义为：

其中，f_t与f_r分别是从目标与候选区域中提取的特征；

所述候选区域与目标对象特征的目标相似度S_r定义为：

其中，μ与λ是归一化因子；I_p与I_q是a与b位置的像素值，Z是归一化因子，ρ是边缘像素减重因子；T表示目标，R表示候选区域，ξ是归一化因子，p是像素位置，h(p)表示像素p的出现权重；

所述候选区域与目标对象特征的形状召回率定义为：

步骤四：目标区域调整模块通过对目标区域的尺度与位置调整获得目标感兴趣区域，并利用重定位策略在目标感兴趣区域内获取目标区域的精定位位置；

所述步骤四中重定位策略重新匹配目标对象位置，所述重定位策略是利用候选区域提取器在调整后的目标区域内再次提取目标对象位置得到精定位位置。

2.如权利要求1所述的基于交并比覆盖率损失与重定位策略的目标匹配方法，其特征在于，所述步骤一具体为：

Setp1：利用交并比覆盖率损失训练候选区域提取器，候选区域提取器是一种卷积神经网络；

Step2：根据所述Step1所得的候选区域提取器对输入的场景图像进行候选区域提取，得到一系列带有位置与置信度信息的候选区域。

3.如权利要求1所述的基于交并比覆盖率损失与重定位策略的目标匹配方法，其特征在于，所述步骤二中的所述特征提取器是一种深层卷积神经网络。

4.如权利要求1所述的基于交并比覆盖率损失与重定位策略的目标匹配方法，其特征在于，所述步骤四中的所述目标区域调整和重定位策略，具体为：

所述目标区域调整模块对所述步骤三得到的目标区域进行位置与尺度的调整；所述目标区域调整模块的位置偏移量和尺度变化量是根据候选区域与目标对象特征的差异值进行计算得到。

Images