CN108510523A - 一种建立获取目标物特征的模型和目标物搜索方法及装置 - Google Patents

Abstract

一种建立获取目标物特征的模型和目标物搜索方法及装置，其中所述建立获取目标物特征的模型的方法包括：获取目标物的多个图像和所述图像对应的目标特征；将所述目标物的多个图像和所述图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至所述神经网络模型的输出结果的正确率大于预设阈值，解决了现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误的问题。

Description

一种建立获取目标物特征的模型和目标物搜索方法及装置

技术领域

本发明涉及图像跟踪技术领域，具体涉及一种建立获取目标物特征的模型和目标物搜索方法及装置。

背景技术

目前最常用跟踪方法可以分为两大类，一种是基于特征点匹配的局部跟踪方法和基于在线学习的跟踪方法，其中，基于特征点的局部跟踪方法能很好的判断目标的运动趋势，从而实现对跟踪目标进行跟踪，但是对于遮挡、跳帧、多目标贴近等情况不能很好处理，在这些情况下通常会导致错误的跟踪，比如目标碎裂、目标轨迹被带走等；基于在线学习的跟踪方法是利用目标的全局特征，在每一帧的一定范围内搜索相似特征的区域，作为跟踪的目标，该方法将目标物作为整体进行跟踪，能很好保证跟踪目标的完整性，其缺陷是计算量较大，而且因其在线学习的实时需求，通常只能学习相对较弱的目标特征，而该特征不能很好的描述目标物的整体特性，同时学习方法也只能选取比较简单的方法，容易引起跟踪框漂移、跟丢等情况。

发明内容

因此，本发明要解决的技术问题在于现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误。

有鉴于此，本发明提供一种建立获取目标物特征的模型的方法，包括：

获取目标物的多个图像和所述图像对应的目标特征；

将所述目标物的多个图像和所述图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至所述神经网络模型的输出结果的正确率大于预设阈值。

优选地，所述神经网络模型为卷积神经网络模型。

相应地，本发明提供一种建立获取目标物特征的模型的装置，包括：

获取单元，用于获取目标物的多个图像和所述图像对应的目标特征；

训练单元，用于将所述目标物的多个图像和所述图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至所述神经网络模型的输出结果的正确率大于预设阈值。

优选地，所述神经网络模型为卷积神经网络模型。

本发明还提供一种目标物搜索方法，包括：

获取待跟踪目标物图像；

将所述待跟踪目标物图像输入到如上述所述的方法所建立的模型中，得到所述待跟踪目标物图像的目标特征；

根据所述目标特征在目标搜索区域进行目标物搜索。

优选地，所述获取待跟踪目标物图像，包括：

获取视频图像；

将所述视频图像缩放到预设尺寸以得到所述待跟踪目标物图像。

优选地，所述根据所述目标特征在目标搜索区域进行目标物搜索，包括：

确定所述待跟踪目标物图像的缩放因子；

在视频图像中选定区域；

按照所述缩放因子对所述选定区域进行缩放以得到目标搜索区域；

将所述目标搜索区域输入到如上述所述的方法建立的模型中，得到所述目标搜索区域的目标特征域；

根据所述待跟踪目标物图像的目标特征，在所述目标特征域内进行目标特征匹配搜索。

优选地，所述在视频图像中选定区域，包括：

获取所述待跟踪目标物图像在相邻至少两个所述视频图像中的地理位置数据；

根据所述地理位置数据，确定所述待跟踪目标物的运动趋势；

根据所述运动趋势，确定所述选定区域。

优选地，所述在视频图像中选定区域，还包括：

以所述待跟踪目标物为中心，将所述待跟踪目标物的预设跟踪区域作为所述视频图像的选定区域。

相应地，本发明还提供一种目标物搜索装置，其特征在于，包括：

待跟踪目标物图像获取单元，用于获取待跟踪目标物图像；

目标特征获取单元，用于将所述待跟踪目标物图像输入到如上述所述的方法所建立的模型中，得到所述待跟踪目标物图像的目标特征；

搜索单元，用于根据所述目标特征在目标搜索区域进行目标物搜索。

优选地，所述待跟踪目标物图像获取单元包括：

获取子单元，用于获取视频图像；

待跟踪目标物图像获取子单元，用于将所述视频图像缩放到预设尺寸以得到所述待跟踪目标物图像。

优选地，所述搜索单元包括：

缩放因子确定单元，用于确定所述待跟踪目标物图像的缩放因子；

区域选定单元，用于在视频图像中选定区域；

目标搜索区域确定单元，用于按照所述缩放因子对所述选定区域进行缩放以得到目标搜索区域；

目标特征域获取单元，用于将所述目标搜索区域输入到如上述所述的方法建立的模型中，得到所述目标搜索区域的目标特征域；

特征匹配搜索单元，用于根据所述待跟踪目标物图像的目标特征，在所述目标特征域内进行目标特征匹配搜索。

优选地，所述区域选定单元包括：

地理位置数据获取子单元，用于获取所述待跟踪目标物图像在相邻至少两个所述视频图像中的地理位置数据；

运动趋势确定子单元，用于根据所述地理位置数据，确定所述待跟踪目标物的运动趋势；

区域确定子单元，用于根据所述运动趋势，确定所述选定区域。

优选地，所述区域选定单元包括：

区域选定子单元，用于以所述待跟踪目标物为中心，将所述待跟踪目标物的预设跟踪区域作为所述视频图像的选定区域。

本发明技术具有以下优点：

通过获取目标物的多个图像和图像对应的目标特征，将目标物的多个图像和图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至神经网络模型的输出结果的正确率大于预设阈值，继而利用训练好的神经网络模型对待跟踪目标物进行搜索，解决了现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的一种建立获取目标物特征的模型的方法的流程图；

图2是本发明实施例2提供的一种建立获取目标物特征的模型的装置的结构示意图；

图3是本发明实施例3提供的一种目标物搜索方法的流程图；

图4是本发明实施例4提供的一种目标物搜索装置的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供一种建立获取目标物特征的模型的方法，如图1所示，包括：

S11，获取目标物的多个图像和图像对应的目标特征。其中目标物的图像可以从公安监控视频中进行收集，目标物的种类可以涉及可被跟踪的所有活动物体，比如人、车等，为了提高训练模型的准确性，收集每个目标物的每种状态下的多个目标物状态图像，例如目标物为人X时，收集人X在正常行走状态下的多张图片、人X在奔跑状态下的多张图片以及人X在骑车状态下的多张图片等所有人X各种状态图片。

S12，将目标物的多个图像和图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至神经网络模型的输出结果的正确率大于预设阈值。其中神经网络模型为卷积神经网络模型，卷积神经网络模型的最后的卷积输出层只能有一个featuremap，且其大小不低于训练样本大小的四分之一，设置输入层图像大小为m×n，其中m为图像宽度，即图像在水平方向上的像素个数，n为图像高度，即图像在垂直方向上的像素个数；最后的卷积输出层featuremap大小为w×h，其中为神经网络模型输出的图像特征大小，w为二维特征的宽度，h为二维特征的高度；每一个目标物的一个状态样本分为一类，作为离线学习的样本数据集，样本总类数越多、每类样本数据数量越多，训练效果越好，神经网络模型输出结果越精确。

本发明实施例提供的建立获取目标物特征的模型的方法，通过获取目标物的多个图像和图像对应的目标特征，将目标物的多个图像和图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至神经网络模型的输出结果的正确率大于预设阈值，继而利用训练好的神经网络模型对待跟踪目标物进行搜索，解决了现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误的问题。

实施例2

本发明实施例提供一种建立获取目标物特征的模型的装置，如图2所示，包括：

获取单元21，用于获取目标物的多个图像和图像对应的目标特征；

训练单元22，用于将目标物的多个图像和图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至神经网络模型的输出结果的正确率大于预设阈值。

优选地，神经网络模型为卷积神经网络模型。

本发明实施例提供的建立获取目标物特征的模型的装置，通过获取单元获取目标物的多个图像和图像对应的目标特征，将目标物的多个图像和图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至神经网络模型的输出结果的正确率大于预设阈值，继而利用训练好的神经网络模型对待跟踪目标物进行搜索，解决了现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误的问题。

实施例3

本发明实施例提供一种目标物搜索方法，如图3所示，包括：

S31，获取待跟踪目标物图像。

其中步骤S31包括以下步骤：

S311，获取视频图像。在视频图像中确定待跟踪目标物的起始位置，为了便于观测，可以将待跟踪目标物用矩形框框出或者用字符标注出，本实施例采用矩形区域O表示。

S312，将视频图像缩放到预设尺寸以得到待跟踪目标物图像。为了获取待跟踪目标物的目标特征，将待跟踪目标物缩放到m×n大小。

S32，将待跟踪目标物图像输入到如实施例1的方法建立的模型中，得到待跟踪目标物图像的目标特征。将大小为m×n的待跟踪目标物图像输入到训练好的神经网络模型中，得到待跟踪目标物的目标特征w×h。

S33，根据目标特征在目标搜索区域进行目标物搜索。其中步骤S33具体包括以下步骤：

S331，确定待跟踪目标物图像的缩放因子。待跟踪目标物在视频图像中的图像大小为S1，缩放后的待跟踪目标物图像大小为S2，则缩放因子K＝S2/S1.

S332，在视频图像中选定区域。在视频图像选定待跟踪目标物可能存在的区域S，目标搜索区域中图像为S，矩形区域O的长宽比值分别为Kw，Kh。

S333，按照缩放因子对选定区域进行缩放以得到目标搜索区域。

S334，将目标搜索区域输入到如实施例1的方法建立的模型中，得到目标搜索区域的目标特征域。若得到的目标搜索区域图像大于训练好的卷积神经网络模型的输入层图像输入尺寸，则根据图像卷积操作和激活函数操作的特性，将卷积神经网络模型进行扩展，将目标搜索区域缩放到KS，继而输入到扩展后的深度卷积神经网络中，得到目标搜索区域的目标特征域K_wW×k_hh，其中目标特征域是通过训练好的神经网络模型在目标搜索区域得到的所有目标的特征组成的目标特征域。

S335，根据待跟踪目标物图像的目标特征，在目标特征域内进行目标特征匹配搜索。根据待跟踪目标物和目标搜索区域的深度特征使用窗口扫描方法，在目标搜索区域的目标特征域K_wW×k_hh中寻找与待跟踪目标物的目标特征w×h最相似的区域，该区域即为搜索到的待跟踪目标物，为了便于继续跟踪待跟踪目标物与记录待跟踪目标物的轨迹，记录该区域中心点表示为(x,y)，该区域的大小m×n，继而将目标特征域找到的坐标(x,y)和长宽m×n返回原视频继续进行目标物搜索跟踪，直至目标物离开视频区域，停止搜索跟踪。

步骤S332包括：

S3321，获取待跟踪目标物图像在相邻至少两个视频图像中的地理位置数据。

S3322，根据地理位置数据，确定待跟踪目标物的运动趋势。其中运动趋势包括待跟踪目标物在一定运动时间与运动条件下的运动速度。

S3323，根据运动趋势，确定选定区域。

通过待跟踪目标物的运动速度，估计出待跟踪目标物在下一帧视频图像最远位移，继而以该位移为半径进行搜索，减小了搜索时间，提高了搜索速度。

步骤S332还包括：

S3321’，以待跟踪目标物为中心，将待跟踪目标物的预设跟踪区域作为视频图像的选定区域。当不能预测待跟踪目标物的运动趋势时，取前一帧视频图像中搜索到的待跟踪目标物的位置为中心，根据统计出待跟踪目标物的在一定时间范围内的运动速度，得到待跟踪目标物在下一帧视频图像中可能最远位移为半径作为选定的搜索区域。

本发明实施例提供的目标物搜索方法，通过利用训练好的神经网络模型获取待跟踪目标物的目标特征以及目标搜索区域的目标特征域，通过特征匹配操作搜索到待跟踪目标物，解决了现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误的问题。

实施例4

本发明实施例提供一种目标物搜索装置，如图4所示，包括：

待跟踪目标物图像获取单元41，用于获取待跟踪目标物图像；

目标特征获取单元42，用于将待跟踪目标物图像输入到如实施例1的方法建立的模型中，得到待跟踪目标物图像的目标特征；

搜索单元43，用于根据目标特征在目标搜索区域进行目标物搜索。

优选地，待跟踪目标物图像获取单元包括：

获取子单元，用于获取视频图像；

待跟踪目标物图像获取子单元，用于将视频图像缩放到预设尺寸以得到待跟踪目标物图像。

优选地，搜索单元包括：

缩放因子确定单元，用于确定待跟踪目标物图像的缩放因子；

区域选定单元，用于在视频图像中选定区域；

目标搜索区域确定单元，用于按照缩放因子对选定区域进行缩放以得到目标搜索区域；

目标特征域获取单元，用于将目标搜索区域输入到如实施例1的方法建立的模型中，得到目标搜索区域的目标特征域；

特征匹配搜索单元，用于根据待跟踪目标物图像的目标特征，在目标特征域内进行目标特征匹配搜索。

优选地，区域选定单元包括：

地理位置数据获取子单元，用于获取待跟踪目标物图像在相邻至少两个所述视频图像中的地理位置数据；

运动趋势确定子单元，用于根据地理位置数据，确定待跟踪目标物的运动趋势；

区域确定子单元，用于根据运动趋势，确定选定区域。

优选地，区域选定单元包括：

区域选定子单元，用于以待跟踪目标物为中心，将待跟踪目标物的预设跟踪区域作为视频图像的选定区域。

本发明实施例提供的目标物搜索装置，通过利用训练好的神经网络模型获取待跟踪目标物的目标特征以及目标搜索区域的目标特征域，通过特征匹配操作搜索到待跟踪目标物，解决了现有目标跟踪方法不能很好的表述目标整体特性且用于描述目标的特征过于简单，学习方法也比较简单，不能完整描述目标，导致跟踪目标错误的问题。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (14)

1.一种建立获取目标物特征的模型的方法，其特征在于，包括：

获取目标物的多个图像和所述图像对应的目标特征；

将所述目标物的多个图像和所述图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至所述神经网络模型的输出结果的正确率大于预设阈值。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型为卷积神经网络模型。

3.一种建立获取目标物特征的模型的装置，其特征在于，包括：

获取单元，用于获取目标物的多个图像和所述图像对应的目标特征；

训练单元，用于将所述目标物的多个图像和所述图像对应的目标特征作为训练数据，对神经网络模型进行训练，直至所述神经网络模型的输出结果的正确率大于预设阈值。

4.根据权利要求3所述的装置，其特征在于，所述神经网络模型为卷积神经网络模型。

5.一种目标物搜索方法，其特征在于，包括：

获取待跟踪目标物图像；

将所述待跟踪目标物图像输入到如权利要求1或2所述的方法所建立的模型中，得到所述待跟踪目标物图像的目标特征；

根据所述目标特征在目标搜索区域进行目标物搜索。

6.根据权利要求5所述的方法，其特征在于，所述获取待跟踪目标物图像，包括：

获取视频图像；

将所述视频图像缩放到预设尺寸以得到所述待跟踪目标物图像。

7.根据权利要求5所述的方法，其特征在于，所述根据所述目标特征在目标搜索区域进行目标物搜索，包括：

确定所述待跟踪目标物图像的缩放因子；

在视频图像中选定区域；

按照所述缩放因子对所述选定区域进行缩放以得到目标搜索区域；

将所述目标搜索区域输入到如权利要求1或2所述的方法建立的模型中，得到所述目标搜索区域的目标特征域；

根据所述待跟踪目标物图像的目标特征，在所述目标特征域内进行目标特征匹配搜索。

8.根据权利要求7所述的方法，其特征在于，所述在视频图像中选定区域，包括：

获取所述待跟踪目标物图像在相邻至少两个所述视频图像中的地理位置数据；

根据所述地理位置数据，确定所述待跟踪目标物的运动趋势；

根据所述运动趋势，确定所述选定区域。

9.根据权利要求7所述的方法，其特征在于，所述在视频图像中选定区域，还包括：

以所述待跟踪目标物为中心，将所述待跟踪目标物的预设跟踪区域作为所述视频图像的选定区域。

10.一种目标物搜索装置，其特征在于，包括：

待跟踪目标物图像获取单元，用于获取待跟踪目标物图像；

目标特征获取单元，用于将所述待跟踪目标物图像输入到如权利要求1或2所述的方法所建立的模型中，得到所述待跟踪目标物图像的目标特征；

搜索单元，用于根据所述目标特征在目标搜索区域进行目标物搜索。

11.根据权利要求10所述的装置，其特征在于，所述待跟踪目标物图像获取单元包括：

获取子单元，用于获取视频图像；

待跟踪目标物图像获取子单元，用于将所述视频图像缩放到预设尺寸以得到所述待跟踪目标物图像。

12.根据权利要求10所述的装置，其特征在于，所述搜索单元包括：

缩放因子确定单元，用于确定所述待跟踪目标物图像的缩放因子；

区域选定单元，用于在视频图像中选定区域；

目标搜索区域确定单元，用于按照所述缩放因子对所述选定区域进行缩放以得到目标搜索区域；

目标特征域获取单元，用于将所述目标搜索区域输入到如权利要求1或2所述的方法建立的模型中，得到所述目标搜索区域的目标特征域；

特征匹配搜索单元，用于根据所述待跟踪目标物图像的目标特征，在所述目标特征域内进行目标特征匹配搜索。

13.根据权利要求12所述的装置，其特征在于，所述区域选定单元包括：

地理位置数据获取子单元，用于获取所述待跟踪目标物图像在相邻至少两个所述视频图像中的地理位置数据；

运动趋势确定子单元，用于根据所述地理位置数据，确定所述待跟踪目标物的运动趋势；

区域确定子单元，用于根据所述运动趋势，确定所述选定区域。

14.根据权利要求12所述的装置，其特征在于，所述区域选定单元包括：

区域选定子单元，用于以所述待跟踪目标物为中心，将所述待跟踪目标物的预设跟踪区域作为所述视频图像的选定区域。