CN112560651A - 基于深度网络和目标分割结合的目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了基于深度网络和目标分割结合的目标跟踪方法及装置，包括：获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果；检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正；在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；利用分割算法对所述初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。本发明融合了孪生网络算法和目标分割算法的优点，提升跟踪精度保证运行速度，并且对孪生网络存在的类间跟踪漂移问题进行改善。

Description

基于深度网络和目标分割结合的目标跟踪方法及装置

技术领域

本发明涉及计算机视觉跟踪技术领域，具体涉及一种基于深度网络和目标分割结合的目标跟踪方法及装置。

背景技术

人工智能发展迅速，机器对于各种信息的理解能力已经有了很大程度提升，其中计算机视觉是人工智能领域中的一个重要组成部分。目标跟踪问题是机器视觉领域中的一个关键问题，目标跟踪由于应用场景广泛也越来越被更多人重视。现阶段，计算机的计算能力日益增长，硬件设施的进一步完善不断推动人工智能领域发展，目标跟踪问题的研究越发被关注。

目前目标跟踪实用性前景宽广应用场景很多，是人工智能的重要组成部分。在日常生活中，包括火灾监控、交通事故监控、运动比赛的赛况分析、安防***的跟踪功能设计等。但是，目前的目标跟踪领域也存在诸多难题和挑战，例如在跟踪过程中出现遮挡问题，画面分辨率低画面模糊问题，背景复杂有干扰因素出现等，以上问题的存在对跟踪算法要求较高。在目前的跟踪算法的研究中，能同时保证精确度和运行的速度，在这两个指标中做到均衡是主要的挑战。

回顾目标跟踪算法的发展历程，过去传统的跟踪算法主要方法是根据目标建模，或者对目标特征全局搜索实现跟踪。以此代表的两种跟踪思想：基于目标模型建模的方法和基于搜索的方法。其中，基于模型建模的方法是通过对目标外观模型进行建模，然后在此后的视频帧信息中找到目标，例如区域匹配、特征点跟踪、基于轮廓的跟踪算法、光流法等。在上述的方法中，最常用的是特征匹配法，提取目标的特征，然后在后续的帧中找到相似度最高的特征进行目标的定位，最常用的特征有SIFT特征，SUFT特征，Harris角点特征等。但缺点也很明显，人们发现基于目标模型建模的方法需要对整张图像进行处理，计算量较大导致实时性表现很差。基于搜索的方法，人们将预测算法加入跟踪算法中，在预测值得附近进行目标搜索，较少了搜索范围，因此速度有进一步提升，搜索算法常见的有：Kalman滤波、粒子滤波。

综上所述，传统的目标跟踪算法都有一个缺陷，就是没有把背景信息考虑在内，因此在背景复杂的情况下表现不佳，例如光照变化、目标遮挡、画面模糊的情况下极容易出现跟踪失败。而且，在跟踪速度上只能达到每秒钟10帧左右，速度达不到实时性要求。

发明内容

本发明的发明目的是提供一种基于深度网络和目标分割结合的目标跟踪方法及装置，将深度学习中的孪生网络算法与目标分割算法相结合来进行目标跟踪，在保持孪生网络在目标跟踪速度上的优势的基础上，提高目标跟踪的精度和稳定性。并且，本发明还在孪生网络基础上进行了改进，利用基于跟踪目标轨迹的方法抑制孪生网络先天缺点类间跟踪漂移问题，进一步提高了目标跟踪的精度。

为了实现上述发明目的，本发明提出以下技术方案：

本发明提供了一种基于深度网络和目标分割结合的目标跟踪算法，该方法包括以下步骤：

步骤1、获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果；

步骤2、检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正；

步骤3、在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；

步骤4、利用分割算法对所述初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

进一步地，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正，包括：

在同类物体数量超过预设值的情况下，利用基于轨迹的得分策略，对所述跟踪结果进行纠正；

在同类物体数量未超过预设值的情况下，利用遍历校正策略，对所述跟踪结果进行纠正；

所述遍历校正策略包括：当算法检测轨迹发生漂移，查询当前帧得分最高的物***置并依次排列，得分最高且相近的位置则分别对应同类相似物体所在的位置；分别将对应位置进行遍历带入计算，计算轨迹漂移最小的即为纠正后的跟踪结果；

所述基于轨迹的得分策略包括：当算法检测轨迹发生漂移，在孪生网络算法的得分计算中加入基于轨迹的校正函数，对得分进行校正，以抑制同类间跟踪漂移问题；其中，取距离当前帧最近的前五帧轨迹，坐标信息分别为：L₁…L₅，当前帧坐标为L₆；所述校正函数包括第一校正项D₁和第二校正项D₂，分别如下：

其中，D₁表示当前帧L₆和上一帧L₅之间的距离，与当前帧前五帧的平均间距L_平均进行比较，如果当前帧位置偏移较大则进行校正；D₂表示当前帧L₆前五帧和上一帧L₅前五帧之间的方差比较，如果当前帧L₆前五帧方差较大则进行校正；ω₁和ω₂分别为第一修正项和第二修正项的权重；Score₁和Score分别是孪生网络计算得到的初始得分和修正后的得分；s是修正参数，对公式最终数值起修正作用。

进一步地，在纠正后的跟踪结果和检测结果中进行择优选择，包括：

利用择优选择算法进行择优选择，所述择优选择算法C(L₁,L₂)如下：

其中，L₁为代表跟踪结果的方框，L₂为代表检测结果中i个位置信息的一组方框，i为正整数；IoU表示代表检测结果的方框和代表跟踪结果方框之间的重合比例，计算公式如下所示：

其中，

表示代表跟踪结果的方框和代表检测结果中第i个定位信息的方框之间的重合比例，j为IoU对应的i值；公式如下：

其中，

为代表跟踪结果的方框的面积，

为代表检测结果中的第i个位置信息的方框的面积。

进一步地，所述利用分割算法对所述初步坐标位置进行分割，包括：采用基于深度网络的Snake分割算法对所述初步坐标位置进行分割，最终跟踪结果表示如下：

L_(x,y)＝Snake(L)；

L＝{(Max(x_j),Max(y_j))，(Min(x_j),Min(y_j))}；

其中，L_(x,y)为分割后轮廓的若干节点坐标，L为代表最终跟踪结果的方框，该方框以分割后轮廓的若干节点坐标中一组节点坐标的最大值和最小值为左上角右下角；Max(x_j)为分割后轮廓的若干节点坐标中横坐标最大值，Max(y_j)为分割后轮廓的若干节点坐标中纵坐标最大值，Min(x_j)为分割后轮廓的若干节点坐标中横坐标最小值，Min(y_j)为分割后轮廓的若干节点坐标中纵坐标最小值。

本发明还提供了基于深度网络和目标分割的高精度目标跟踪装置，包括：

初始定位模块，用于获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果；

跟踪漂移抑制模块，用于检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述初始定位模块得到的跟踪结果进行纠正；

择优选择模块，用于在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；

分割模块，用于利用分割算法对所述择优选择模块得到的初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

进一步地，跟踪漂移抑制模块具体用于：

在同类物体数量超过预设值的情况下，利用基于轨迹的得分策略，对所述跟踪结果进行纠正；

在同类物体数量未超过预设值的情况下，利用遍历校正策略，对所述跟踪结果进行纠正；

所述遍历校正策略包括：当算法检测轨迹发生漂移，查询当前帧得分最高的物***置并依次排列，得分最高且相近的位置则分别对应同类相似物体所在的位置；分别将对应位置进行遍历带入计算，计算轨迹漂移最小的即为纠正后的跟踪结果；

所述基于轨迹的得分策略包括：当算法检测轨迹发生漂移，在孪生网络算法的得分计算中加入基于轨迹的校正函数，对得分进行校正，以抑制同类间跟踪漂移问题；其中，取距离当前帧最近的前五帧轨迹，坐标信息分别为：L₁…L₅，当前帧坐标为L₆；所述校正函数包括第一校正项D₁和第二校正项D₂，分别如下：

其中，D₁表示当前帧L₆和上一帧L₅之间的距离，与当前帧前五帧的平均间距L_平均进行比较，如果当前帧位置偏移较大则进行校正；D₂表示当前帧L₆前五帧和上一帧L₅前五帧之间的方差比较，如果当前帧L₆前五帧方差较大则进行校正；ω₁和ω₂分别为第一修正项和第二修正项的权重；Score₁和Score分别是孪生网络计算得到的初始得分和修正后的得分；s是修正参数，对公式最终数值起修正作用。

进一步地，择优选择模块具体用于：

利用择优选择算法进行择优选择，所述择优选择算法C(L₁,L₂)如下：

其中，L₁为代表跟踪结果的方框，L₂为代表检测结果中i个位置信息的一组方框，i为正整数；IoU表示代表检测结果的方框和代表跟踪结果方框之间的重合比例，计算公式如下所示：

其中，

表示代表跟踪结果的方框和代表检测结果中第i个定位信息的方框之间的重合比例，j为IoU对应的i值；公式如下：

其中，

为代表跟踪结果的方框的面积，

为代表检测结果中的第i个位置信息的方框的面积。

进一步地，分割模块具体用于：

采用基于深度网络的Snake分割算法对所述初步坐标位置进行分割，最终跟踪结果表示如下：

L_(x,y)＝Snake(L)；

L＝{(Max(x_j),Max(y_j))，(Min(x_j),Min(y_j))}；

其中，L_(x,y)为分割后轮廓的若干节点坐标，L为代表最终跟踪结果的方框，该方框以分割后轮廓的若干节点坐标中一组节点坐标的最大值和最小值为左上角右下角；Max(x_j)为分割后轮廓的若干节点坐标中横坐标最大值，Max(y_j)为分割后轮廓的若干节点坐标中纵坐标最大值，Min(x_j)为分割后轮廓的若干节点坐标中横坐标最小值，Min(y_j)为分割后轮廓的若干节点坐标中纵坐标最小值。

本发明具有以下有益效果：

(1)把图像分割方法引入到目标跟踪中，使目标跟踪的精度更高。

(2)设计传统孪生网络和图像分割算法的结合方案，提出目标检测结果和跟踪结果择优策略。

(3)选择图像分割算法的实现方案，让整体方案保证速度达到实时性。

(4)提出基于轨迹抑制孪生网络本身的类间漂移方案，对孪生网络的先天缺陷进行改善。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于深度网络和目标分割结合的目标跟踪方法的流程图；

图2为本发明实施例中一种基于深度网络和目标分割结合的目标跟踪方法的结构框图；

图3为本发明实施例中一种基于深度网络和目标分割结合的目标跟踪方法的流程图；

图4为本发明实施例的结果图；

图5为本发明实施例的又一结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

参见图1，其示出了本发明实施例中的一种基于深度网络和目标分割结合的目标跟踪方法的流程图，该方法包括：

步骤1、获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果；

步骤2、检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正；

孪生网络算法是一种经典的目标跟踪算法，能够很好实现实时跟踪的效果，在速度上有明显优势，但孪生网络算法的输出结果并不能在精度上达到优秀水平，并且传统孪生网络由于采用相关操作，对有相似性的同类物体跟踪容易出现定位漂移。本发明在孪生网络算法的基础上，引入目标分割算法进行融合，设计类间漂移抑制模块，以获得稳定的、高精度的跟踪效果。

步骤3、在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；

步骤4、利用分割算法对所述初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

本发明实施例中的基于深度网络和目标分割结合的目标跟踪方法，将深度学习中的孪生网络算法与目标分割算法相结合来进行目标跟踪，在保持孪生网络在目标跟踪速度上的优势的基础上，提高目标跟踪的精度和稳定性。并且，本发明实施例中还在孪生网络基础上进行了改进，利用基于跟踪目标轨迹的方法抑制孪生网络先天缺点类间跟踪漂移问题，进一步提高了目标跟踪的精度。

为了便于理解，下面以一具体实例对本发明中的基于深度网络和目标分割结合的目标跟踪方法进行说明。参见图2、图3，图2示出了本发明实施例中一种基于深度网络和目标分割结合的目标跟踪方法的结构框图，图3示出了本发明实施例中的一种基于深度网络和目标分割结合的目标跟踪方法的流程图。本实施例中以汽车为跟踪目标，该方法包括以下步骤：

步骤1、获取目标图像和全局图像，用传统孪生网络(Siam)算法、目标检测算法分别对图像中的目标进行跟踪检测，得到初步的定位信息作为参考；

其中，步骤1在具体实施时按照以下两个步骤进行：

步骤1.1、利用Siam算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果L₁；

L₁＝Siam(P₁，P₂) (1)

传统Siam算法将目标图像P₁和全局图像P₂分别输入相同的网络分支进行处理，然后进行相关操作，取响应最明显的位置作为第一定位位置L₁。但由于网络的结构较为简单以及受响应位置精确度的影响，最终的精度不佳仅能作为参考，因此本发明对Siam的结果作为参考位置。

步骤1.2、利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果L_2(i)；其中，i为正整数；

用目标分类算法对场景中的事物进行初步分类，分类算法可以较为准确的给出特定分类目标的位置信息，例如本实施例中目标是汽车，那么分类算法可以精确找到图像中的所有汽车。

L_2(i)＝D(P₂) (2)

目标分类算法D(P₂)可以检测出全局图像中的所有目标分类，得到在全局图像中检测到的若干实例目标位置，也就是检测结果。本发明实施例中采用较为成熟的目标分类算法例如RPN算法，得到的分类位置信息已经较为准确。

步骤2、检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正。

传统孪生网络跟踪算法，由于使用相关操作让距离较近的两个类间相似物体相关得分相近，因此会造成跟踪漂移。针对此问题，本发明提供了基于目标跟踪轨迹的校正策略，以抑制类间漂移。

其中，根据类间相似目标数量较少和较多两种情况，本发明分别设计了遍历校正策略和基于轨迹的得分校正策略。

针对同类物体数量未超过预设值的情况，设计了遍历校正策略，具体策略如下：

当算法检测到轨迹发生漂移，算法查询当前帧得分最高依次排列，得分最高且相近的位置则分别对应同类相似物体所在的位置。分别将对应位置进行遍历带入计算，计算轨迹漂移最小的即为跟踪目标的真实位置，也就是纠正后的跟踪结果。

针对同类物体数量超过预设值的情况，遍历校正策略的计算量会成倍上升，故设计了基于轨迹的得分校正策略；具体策略内容如下：在传统孪生网络的相关操作得分计算中加入基于轨迹的校正项，目标发生类间漂移时对孪生网络的相关操作得分进行校正，以此来抑制同类间跟踪漂移问题。具体实施时可以按照以下三个步骤进行：

取距离当前帧最近的前五帧轨迹，坐标信息分别为：L₁…L₅，当前帧坐标为L₆。

步骤2.1，设计第一校正项D₁，该校正项体现当前帧位置L₆和上一帧位置L₅之间的距离与平均距离L_平均之间的关系，若当前帧位置L₆和上一帧位置L₅之间的距离远大于平均距离L_平均，则判定为发生跟踪漂移。

步骤2.2，设计第二校正项D₂，该校正项体现上一帧前五帧L₁…L₅之间坐标稳定性和当前帧前五帧L_2…L₆之间的坐标稳定性之间的关系。若当前帧L₆的存在造成方差变大，则可以判定为发生跟踪漂移。

步骤2.3，Score₁和Score分别是孪生网络的初始得分和修正后的得分；

其中，ω₁和ω₂分别为第一修正项和第二修正项的权重，s是修正参数，对公式最终数值起修正作用。

步骤3、在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置。

跟踪结果距离目标位置较近但定位精度不高，检测结果会给出若干组目标所属类的定位信息且精度较高但无法判断哪一组是目标的信息。例如图5所示，目标为图像中央白色汽车，图4(b)为跟踪结果，图4(a)为检测结果，给出了若干组图像中的“车”种类的定位。

利用择优选择算法进行择优选择，所述择优选择算法C(L₁,L₂)如下：

其中，L₁为代表跟踪结果的方框，L₂为代表检测结果中i个位置信息的一组方框，i为正整数；IoU表示代表检测结果的方框和代表跟踪结果方框之间的重合比例，计算公式如下所示：

其中，

表示代表跟踪结果的方框和代表检测结果中第i个定位信息的方框之间的重合比例，j为IoU对应的i值；公式如下：

其中，

为代表跟踪结果的方框的面积，

为代表检测结果中的第i个位置信息的方框的面积。

式(6)为择优选择算法，对L₁，L₂表示的位置信息，分别进行IoU计算并且比较取最大值为准，IoU表示检测结果的方框和跟踪结果方框之间的重合比例。若IoU大于0.6则说明Siam跟踪到的目标位置和目标检测结果位置有较大重合，则以目标检测结果位置L₂为准，反之则说明目标检测算法没有检测到目标，以L₁为准。如图5所示，最外和次外两个边框分别代表L₁，L₂，算法选择较为精确的L₂位置信息为后续分割提供参考。

步骤4、利用分割算法对所述初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

在具体实施时，基于步骤3得到的初步坐标位置L，采用基于深度的Snake算法对目标进行分割。

L_(x,y)＝Snake(L) (9)

L＝{(Max(x_j),Max(y_j))，(Min(x_j),Min(y_j))}； (10)

其中，L_(x,y)为分割后轮廓的若干节点坐标，L为代表最终跟踪结果的方框，该方框以分割后轮廓的若干节点坐标中一组节点坐标的最大值和最小值为左上角右下角；Max(x_j)为分割后轮廓的若干节点坐标中横坐标最大值，Max(y_j)为分割后轮廓的若干节点坐标中纵坐标最大值，Min(x_j)为分割后轮廓的若干节点坐标中横坐标最小值，Min(y_j)为分割后轮廓的若干节点坐标中纵坐标最小值。

基于深度的Snake算法对目标进行分割，具有速度较快的优点可以达到实时效果，最终得到环绕在物体周围若干轮廓节点位置L_(x,y)，若干轮廓节点依次连接就可以得到轮廓。例如图5中，目标白色轿车最内的环形轮廓为最终的分割结果，也即为最终的算法结果。在具体实施时，取轮廓节点中横坐标、纵坐标极值点绘制出矩形轮廓。

如图4、5所示，其分别示出了本发明中实施例所得到的结果图。如图4所示是孪生网络算法进行初步跟踪得到的跟踪结果和目标检测算法得到的检测结果，其中跟踪结果包括一个位置信息，目标检测算法得到的检测结果则有若干个，图像中的白色汽车作为跟踪目标，跟踪结果只有一辆汽车，检测结果则有若干辆汽车。如图5所示，经过择优选择算法择优选择出IoU值最大的位置，以此为基础进行分割算法操作。从上述结果可以看出本发明在传统Siam算法基础上精度提升明显。

对应本发明中的基于深度网络和目标分割结合的目标跟踪方法，本发明还提供了一种基于深度网络和目标分割结合的目标跟踪装置，包括：

初始定位模块，用于获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果；

跟踪漂移抑制模块，用于检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述初始定位模块得到的跟踪结果进行纠正；

择优选择模块，用于在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；

分割模块，用于利用分割算法对所述择优选择模块得到的初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

进一步地，跟踪漂移抑制模块具体用于：

在同类物体数量超过预设值的情况下，利用基于轨迹的得分策略，对所述跟踪结果进行纠正；

在同类物体数量未超过预设值的情况下，利用遍历校正策略，对所述跟踪结果进行纠正；

所述遍历校正策略包括：当算法检测轨迹发生漂移，查询当前帧得分最高的物***置并依次排列，得分最高且相近的位置则分别对应同类相似物体所在的位置；分别将对应位置进行遍历带入计算，计算轨迹漂移最小的即为纠正后的跟踪结果；

所述基于轨迹的得分策略包括：当算法检测轨迹发生漂移，在孪生网络算法的得分计算中加入基于轨迹的校正函数，对得分进行校正，以抑制同类间跟踪漂移问题；其中，取距离当前帧最近的前五帧轨迹，坐标信息分别为：L₁…L₅，当前帧坐标为L₆；所述校正函数包括第一校正项D₁和第二校正项D₂，分别如下：

其中，D₁表示当前帧L₆和上一帧L₅之间的距离，与当前帧前五帧的平均间距L_平均进行比较，如果当前帧位置偏移较大则进行校正；D₂表示当前帧L₆前五帧和上一帧L₅前五帧之间的方差比较，如果当前帧L₆前五帧方差较大则进行校正；ω₁和ω₂分别为第一修正项和第二修正项的权重；Score₁和Score分别是孪生网络计算得到的初始得分和修正后的得分；s是修正参数，对公式最终数值起修正作用。

进一步地，择优选择模块具体用于：

利用择优选择算法进行择优选择，所述择优选择算法C(L₁,L₂)如下：

其中，L₁为代表跟踪结果的方框，L₂为代表检测结果中i个位置信息的一组方框，i为正整数；IoU表示代表检测结果的方框和代表跟踪结果方框之间的重合比例，计算公式如下所示：

其中，

表示代表跟踪结果的方框和代表检测结果中第i个定位信息的方框之间的重合比例，j为IoU对应的i值；公式如下：

其中，

为代表跟踪结果的方框的面积，

为代表检测结果中的第i个位置信息的方框的面积。

进一步地，分割模块具体用于：

采用基于深度网络的Snake分割算法对所述初步坐标位置进行分割，最终跟踪结果表示如下：

L_(x,y)＝Snake(L)；

L＝{(Max(x_j),Max(y_j))，(Min(x_j),Min(y_j))}；

其中，L_(x,y)为分割后轮廓的若干节点坐标，L为代表最终跟踪结果的方框，该方框以分割后轮廓的若干节点坐标中一组节点坐标的最大值和最小值为左上角右下角；Max(x_j)为分割后轮廓的若干节点坐标中横坐标最大值，Max(y_j)为分割后轮廓的若干节点坐标中纵坐标最大值，Min(x_j)为分割后轮廓的若干节点坐标中横坐标最小值，Min(y_j)为分割后轮廓的若干节点坐标中纵坐标最小值。

对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.基于深度网络和目标分割的高精度目标跟踪方法，其特征在于，包括以下步骤：

步骤1、获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标检测，得到检测结果；

步骤2、检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正；

步骤3、在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；

步骤4、利用分割算法对所述初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

2.根据权利要求1所述的方法，其特征在于，利用基于目标跟踪轨迹的校正策略，对所述跟踪结果进行纠正，包括：

在同类物体数量超过预设值的情况下，利用基于轨迹的得分策略，对所述跟踪结果进行纠正；

在同类物体数量未超过预设值的情况下，利用遍历校正策略，对所述跟踪结果进行纠正；

所述遍历校正策略包括：当算法检测轨迹发生漂移，查询当前帧得分最高的物***置并依次排列，得分最高且相近的位置则分别对应同类相似物体所在的位置；分别将对应位置进行遍历带入计算，计算轨迹漂移最小的即为纠正后的跟踪结果；

所述基于轨迹的得分策略包括：当算法检测轨迹发生漂移，在孪生网络算法的得分计算中加入基于轨迹的校正函数，对得分进行校正，以抑制同类间跟踪漂移问题；其中，取距离当前帧最近的前五帧轨迹，坐标信息分别为：L₁…L₅，当前帧坐标为L₆；所述校正函数包括第一校正项D₁和第二校正项D₂，分别如下：

其中，D₁表示当前帧L₆和上一帧L₅之间的距离，与当前帧前五帧的平均间距L_平均进行比较，如果当前帧位置偏移较大则进行校正；D₂表示当前帧L₆前五帧和上一帧L₅前五帧之间的方差比较，如果当前帧L₆前五帧方差较大则进行校正；ω₁和ω₂分别为第一修正项和第二修正项的权重；Score₁和Score分别是孪生网络计算得到的初始得分和修正后的得分；s是修正参数。

3.根据权利要求1所述的方法，其特征在于，在纠正后的跟踪结果和检测结果中进行择优选择，包括：

利用择优选择算法进行择优选择，所述择优选择算法C(L₁,L₂)如下：

其中，L₁为代表跟踪结果的方框，L₂为代表检测结果中i个位置信息的一组方框，i为正整数；IoU表示代表检测结果的方框和代表跟踪结果方框之间的重合比例，计算公式如下所示：

其中，

表示代表跟踪结果的方框和代表检测结果中第i个定位信息的方框之间的重合比例，j为IoU对应的i值；公式如下：

其中，

为代表跟踪结果的方框的面积，

为代表检测结果中的第i个位置信息的方框的面积。

4.根据权利要求1所述的方法，其特征在于，所述利用分割算法对所述初步坐标位置进行分割，包括：采用基于深度网络的Snake分割算法对所述初步坐标位置进行分割，最终跟踪结果表示如下：

L_(x,y)＝Snake(L)；

L＝{(Max(x_j),Max(y_j))，(Min(x_j),Min(y_j))}；

其中，L_(x,y)为分割后轮廓的若干节点坐标，L为代表最终跟踪结果的方框，该方框以分割后轮廓的若干节点坐标中一组节点坐标的最大值和最小值为左上角右下角；Max(x_j)为分割后轮廓的若干节点坐标中横坐标最大值，Max(y_j)为分割后轮廓的若干节点坐标中纵坐标最大值，Min(x_j)为分割后轮廓的若干节点坐标中横坐标最小值，Min(y_j)为分割后轮廓的若干节点坐标中纵坐标最小值。

5.基于深度网络和目标分割的高精度目标跟踪装置，其特征在于，包括：

初始定位模块，用于获取目标图像和全局图像，利用孪生网络算法对所述目标区域图像和全局图像进行目标跟踪，得到跟踪结果；利用目标检测算法对所述全局图像进行目标跟踪，得到检测结果；

跟踪漂移抑制模块，用于检测同类间物体的跟踪漂移情况，利用基于目标跟踪轨迹的校正策略，对所述初始定位模块得到的跟踪结果进行纠正；

择优选择模块，用于在纠正后的跟踪结果和检测结果中进行择优选择，得到初步坐标位置；

分割模块，用于利用分割算法对所述择优选择模块得到的初步坐标位置进行分割，得到由若干轮廓节点组成的分割结果，得到最终的跟踪结果。

6.根据权利要求5所述的装置，其特征在于，跟踪漂移抑制模块具体用于：

在同类物体数量超过预设值的情况下，利用基于轨迹的得分策略，对所述跟踪结果进行纠正；

在同类物体数量未超过预设值的情况下，利用遍历校正策略，对所述跟踪结果进行纠正；

所述遍历校正策略包括：当算法检测轨迹发生漂移，查询当前帧得分最高的物***置并依次排列，得分最高且相近的位置则分别对应同类相似物体所在的位置；分别将对应位置进行遍历带入计算，计算轨迹漂移最小的即为纠正后的跟踪结果；

所述基于轨迹的得分策略包括：当算法检测轨迹发生漂移，在孪生网络算法的得分计算中加入基于轨迹的校正函数，对得分进行校正，以抑制同类间跟踪漂移问题；其中，取距离当前帧最近的前五帧轨迹，坐标信息分别为：L₁…L₅，当前帧坐标为L₆；所述校正函数包括第一校正项D₁和第二校正项D₂，分别如下：

其中，D₁表示当前帧L₆和上一帧L₅之间的距离，与当前帧前五帧的平均间距L_平均进行比较，如果当前帧位置偏移较大则进行校正；D₂表示当前帧L₆前五帧和上一帧L₅前五帧之间的方差比较，如果当前帧L₆前五帧方差较大则进行校正；ω₁和ω₂分别为第一修正项和第二修正项的权重；Score₁和Score分别是孪生网络计算得到的初始得分和修正后的得分，s是修正参数。

7.根据权利要求5所述的装置，其特征在于，择优选择模块具体用于：

利用择优选择算法进行择优选择，所述择优选择算法C(L₁,L₂)如下：

其中，L₁为代表跟踪结果的方框，L₂为代表检测结果中i个位置信息的一组方框，i为正整数；IoU表示代表检测结果的方框和代表跟踪结果方框之间的重合比例，计算公式如下所示：

其中，

表示代表跟踪结果的方框和代表检测结果中第i个定位信息的方框之间的重合比例，j为IoU对应的i值；公式如下：

其中，

为代表跟踪结果的方框的面积，

为代表检测结果中的第i个位置信息的方框的面积。

8.根据权利要求5所述的装置，其特征在于，分割模块具体用于：

采用基于深度网络的Snake分割算法对所述初步坐标位置进行分割，最终跟踪结果表示如下：

L_(x,y)＝Snake(L)；

L＝{(Max(x_j),Max(y_j))，(Min(x_j),Min(y_j))}；

其中，L_(x,y)为分割后轮廓的若干节点坐标，L为代表最终跟踪结果的方框，该方框以分割后轮廓的若干节点坐标中一组节点坐标的最大值和最小值为左上角右下角；Max(x_j)为分割后轮廓的若干节点坐标中横坐标最大值，Max(y_j)为分割后轮廓的若干节点坐标中纵坐标最大值，Min(x_j)为分割后轮廓的若干节点坐标中横坐标最小值，Min(y_j)为分割后轮廓的若干节点坐标中纵坐标最小值。

Images