CN104778465B - 一种基于特征点匹配的目标跟踪方法 - Google Patents
一种基于特征点匹配的目标跟踪方法 Download PDFInfo
- Publication number
- CN104778465B CN104778465B CN201510226842.3A CN201510226842A CN104778465B CN 104778465 B CN104778465 B CN 104778465B CN 201510226842 A CN201510226842 A CN 201510226842A CN 104778465 B CN104778465 B CN 104778465B
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- picture frame
- point
- kth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征点匹配的目标跟踪方法,所述方法包括:将视频按图像帧分解,得到图像帧序列;获取所述图像帧序列的第一帧图像帧中的目标的特征点信息;根据所述特征点信息,确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息。
Description
技术领域
本发明属于信号跟踪技术领域,尤其涉及一种基于特征点匹配的目标跟踪方法。
背景技术
目标跟踪技术是计算机视觉领域的核心课题之一,具有十分重要的意义和广泛的实用价值。它融合了图像处理、模式识别、人工智能、自动控制以及计算机应用等相关领域的先进技术和研究成果。近年来,随着目标跟踪技术的快速发展,对于算法稳定性和适用性的要求也在日益增高。算法处理的场景越来越复杂,目标越来越广泛,传统的算法已无法满足人们的要求。对于非刚体和高频旋转物体而言,外形不固定、姿态多变的特性导致目标模型难以建立,类似于Haar-like和Hog等基于图像块的特征很难对这类目标进行描述。另外,当此类目标在离开视场一段时间后,重新出现时,传统的算法无法将此目标与之前的信息关联在一起,从而错误的将此目标当作新出现的目标,因此无法满足对目标的长时稳定跟踪要求。
发明内容
有鉴于此,本发明实施例期望提供一种基于特征点匹配的目标跟踪方法,至少能解决现有技术无法对非刚体目标进行稳定跟踪等技术问题。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种基于特征点匹配的目标跟踪方法,所述方法包括:
将视频按图像帧进行分解得到图像帧序列;
获取所述图像帧序列的第一帧图像帧中的目标的特征点信息;
根据所述特征点信息确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息。
上述方案中,所述获取所述图像帧序列的第一帧图像帧中的目标的特征点信息包括:
获取所述第一帧图像帧中的目标的特征点之间的第一角度信息和第一距离信息。
上述方案中,所述根据所述特征点信息确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息包括:
通过所述特征点信息跟踪所述图像帧序列的剩余图像帧中目标的特征点;
根据所述特征点构建目标的初始形状信息;
将所述初始形状信息与所述目标的形状信息进行对比,确定所述特征点所在图像帧中的目标的形状信息;
根据所述第一帧图像帧中的目标的位置信息确定所述形状信息所在的图像帧中目标的位置信息。
上述方案中,所述特征点信息,确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息包括:
确定第k帧图像帧中目标的特征点;
在第k+1帧图像帧上确定所述第k帧图像帧中目标的特征点对应的跟踪特征点;
在所述第k帧图像帧上确定所述跟踪特征点对应的匹配特征点;
计算所述匹配特征点与所述匹配特征点对应的所述第k帧图像帧中目标的特征点之间的距离,并将所述距离按小到大的顺序排列得到第一距离序列;
当小于所述第一距离序列的中值的所述距离对应的所述第k帧图像帧中目标的特征点的数量大于设定值时,所述第k+1帧图像帧上的所述跟踪特征点实现了对所述第k帧图像帧中目标的跟踪。
上述方案中,所述特征点信息,确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息还包括:
当小于所述第一距离序列的中值的所述距离对应的所述第k帧图像帧中目标的特征点的数量小于等于设定值时,在所述第k+1帧图像帧上确定所述目标的二次特征点;
将所述二次特征点与所述跟踪特征点合并得到修正特征点;当所述修正特征点的数量大于设定值时,所述第k+1帧图像帧上的所述修正特征点实现了对所述第k帧图像帧中目标的跟踪。
上述方案中,所述根据所述特征点构建目标的初始形状信息包括:
计算所述跟踪特征点之间的距离或所述修正特征点之间的距离得到第二距离序列;
计算所述第k帧图像帧上的特征点之间的距离得到第三距离序列;
将所述第二距离序列与第三距离序列的比值中值作为第一尺度因数;
基于所述第一尺度因数和所述目标在所述第k帧图像帧上的特征点构成的形状信息,得到所述目标在所述第k+1帧图像帧上的初始形状信息。
上述方案中,所述根据所述特征点构建目标的初始形状信息还包括:
当根据所述目标在所述第k+1帧图像帧上的初始形状信息得到的所述目标的面积大于所述目标在所述第k帧图像帧上的特征点构成的形状的面积时,所述初始形状信息正确;否则,所述初始形状信息不正确。
上述方案中,所述将所述初始形状信息与所述目标的形状信息进行对比,确定所述特征点所在图像帧中的目标的形状信息包括:
计算所述初始形状信息中所述特征点之间的第二距离信息和第二角度信息;
将所述第二距离信息与所述第一帧图像帧中目标的特征点之间的第一距离信息的比值的中值作为第二尺度因数;
将所述第二角度信息与所述第一帧图像帧中目标的特征点之间的第一角度信息的差值的中值作为角度变量;
根据所述第二尺度因数、角度变量和所述第一帧图像帧中的目标的形状信息确定所述特征点所在图像帧中的目标的形状信息。
上述方案中,所述根据所述第一帧图像帧中的目标的位置信息确定所述形状信息所在的图像帧中目标的位置信息包括:
计算所述形状信息的所述特征点对所述目标的中心位置的投票决策值,并对所述投票决策值进行聚类;
将所述聚类中包含所述特征点的数量最多的聚类作为目标聚类;
将所述目标聚类对应的所述投票决策值的均值作为所述形状信息所在的图像帧中目标的中心位置。
本发明实施例所提供的基于特征点匹配的目标跟踪方法,通过对图像帧中的目标进行逐帧跟踪,确定图像帧中目标的形状信息和位置信息,实现对目标的动态跟踪。
附图说明
图1为实施例1的基于特征点匹配的目标跟踪方法的流程图;
图2为实施例1的基于特征点匹配的目标跟踪方法的原理图。
为了能明确实现本发明的实施例的结构,在图中标注了特定的尺寸、结构和器件,但这仅为示意需要,并非意图将本发明限定在该特定尺寸、结构、器件和环境中,根据具体需要,本领域的普通技术人员可以将这些器件和环境进行调整或者修改,所进行的调整或者修改仍然包括在后附的权利要求的范围中。
具体实施方式
在以下的描述中,将描述本发明的多个不同的方面,然而,对于本领域内的普通技术人员而言,可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言,阐述了特定的数目、配置和顺序,但是很明显,在没有这些特定细节的情况下也可以实施本发明。在其他情况下,为了不混淆本发明,对于一些众所周知的特征将不再进行详细阐述。
实施例1
本实施例提供了一种基于特征点匹配的目标跟踪方法,如图1所示,本实施例所述方法包括:
步骤S101:将视频按图像帧进行分解得到图像帧序列;
非刚体目标的外部形状特征随时间发生变化,因此,需要先将非刚体目标的视频按图像帧进行分解得到图像帧序列。图像帧序列中的每一帧图像帧中的目标(非刚体或其他高速旋转物体)的形状都有区别,但相邻图像帧之间的差别不大。
步骤S102:获取所述图像帧序列的第一帧图像帧中的目标的特征点信息;
为了对目标进行跟踪,首先要确定图像帧中的目标。确定目标的通常做法是通过目标的特征点来进行标记,并以此作为目标的起始跟踪点。特征点信息包括特征点的数量、特征点之间的距离以及特征点之间的角度等信息。
步骤S103:根据所述特征点信息确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息。
得到第一帧图像帧中的目标的特征点信息后,逐帧对后续剩余的图像帧进行目标跟踪,确定图像帧中目标的形状信息和位置信息;然后根据目标的形状信息和位置信息确定下一帧图像帧中目标的形状信息和位置信息,直至图像帧序列的最后一帧图像帧,完成对目标的跟踪,如图2所示。
本实施例方法对图像帧中的目标进行逐帧跟踪,通过逐帧确定图像帧中目标的形状信息和位置信息,实现对目标的动态跟踪。
具体的,步骤S102包括:获取所述第一帧图像帧中的目标的特征点之间的第一角度信息和第一距离信息。
为了对目标的特征点进行跟踪,首先要确定需要跟踪的目标的特征点。通常采用两种方式来确定特征点:第一种是通过对图像帧进行图像处理得到目标的特征点;第二种是通过人为标记确定特征点。得到特征点后,要对特征点之间的角度和距离进行记录,以便后续对目标的跟踪和定位。本步骤中,将第一帧图像帧中的目标的特征点之间的角度确定为第一角度信息;将第一帧图像帧中的目标的特征点之间的距离确定为第一距离信息。
步骤S103包括:
步骤S1031:通过所述特征点信息跟踪所述图像帧序列的剩余图像帧中目标的特征点;
步骤S1032:根据所述特征点构建目标的初始形状信息;
步骤S1033:将所述初始形状信息与所述目标的形状信息进行对比,确定所述特征点所在图像帧中的目标的形状信息;
步骤S1034:根据所述第一帧图像帧中的目标的位置信息确定所述形状信息所在的图像帧中目标的位置信息。
其中,步骤S1031具体包括:
步骤S10311:确定第k(k≥2)帧图像帧中目标的特征点;
当确定第二帧图像帧(k=2)上的目标的特征点时,由于默认在第一帧图像帧上的目标的特征点是正确的,所以,第二帧图像帧上的目标的特征点的确定过程是:通过对第二帧图像帧进行全局扫描,得到所有可能的目标的特征点,然后从这些可能的目标的特征点中筛选出与第一帧图像帧上的目标的特征点对应的特征点作为第二帧图像帧上的目标的特征点。
步骤S10312:在第k+1帧图像帧上确定所述第k帧图像帧中目标的特征点对应的跟踪特征点;
以第k帧图像帧中目标的特征点作为起始点,对第k+1帧图像帧上的目标进行跟踪,得到第k+1帧图像帧上的跟踪特征点。
步骤S10313:在所述第k帧图像帧上确定所述跟踪特征点对应的匹配特征点;
为了增加跟踪的稳定性,还要在第k帧图像帧上跟踪第k+1帧图像帧上的跟踪特征点,得到第k帧图像帧上的匹配特征点。
步骤S10314:计算所述匹配特征点与所述匹配特征点对应的所述第k帧图像帧中目标的特征点之间的距离,并将所述距离按小到大的顺序排列得到第一距离序列;
匹配特征点是和第k帧图像帧中目标的特征点对应的,两者的数量也相同。计算匹配特征点中的某一个特征点与第k帧图像帧中目标的特征点中的对应特征点之间的距离,能够体现特征点跟踪的变化趋势和目标的形变。将所述距离按小到大的顺序排列得到第一距离序列,第一距离序列体现了特征点的变化及跟踪精度和跟踪趋势。
步骤S10315:当小于所述第一距离序列的中值的所述距离对应的所述第k帧图像帧中目标的特征点的数量大于设定值时,所述第k+1帧图像帧上的所述跟踪特征点实现了对所述第k帧图像帧中目标的跟踪。
由上述描述可知,第一距离序列能够体现跟踪精度,当第一距离序列中的距离过大时,很可能是特征点跟踪失败了。因此,需要设定一个距离阈值(可选用第一距离序列的中值),当第一距离序列中的距离小于该距离阈值,则认为该距离对应的匹配特征点和第k帧图像帧中目标的特征点匹配。相应的,与匹配特征点对应的第k+1帧图像帧上的跟踪特征点跟踪上第k帧图像帧中的目标的特征点。当小于该距离阈值的距离的数量(即距离对应的第k+1帧图像帧上的跟踪特征点的数量)大于设定值时,则认为第k+1帧图像帧上的跟踪特征点跟踪上第k帧图像帧中的目标。同时,删除第一距离序列中大于该距离阈值的距离对应的第k+1帧图像帧上的跟踪特征点和第k帧图像帧中目标的特征点。
对应的,当小于所述第一距离序列的距离阈值(第一距离序列的中值)的所述距离对应的所述第k帧图像帧中目标的特征点的数量小于等于设定值时,在所述第k+1帧图像帧上确定所述目标的二次特征点;二次特征点的确定过程为:对第k+1帧图像帧进行全局扫描,得到目标的全部特征点,将全部特征点与第一帧图像帧的目标的特征点进行匹配,得到第k+1帧图像帧的目标的重选特征点;然后从重选特征点中选择与第k+1帧图像帧的当前的目标的特征点不同的特征点作为第k+1帧图像帧的二次特征点。
将所述二次特征点与所述跟踪特征点合并得到修正特征点;当所述修正特征点的数量大于设定值时,所述第k+1帧图像帧上的所述修正特征点实现了对所述第k帧图像帧中目标的跟踪。
得到第k+1帧图像帧上的特征点后,还要确定第k+1帧图像帧上目标的形状。不同图像帧之间目标的形状可能不一样,还需要考虑目标在相邻两个图像帧中的比例问题,因此,步骤S1032包括:
步骤S10321:计算所述跟踪特征点之间的距离或所述修正特征点之间的距离得到第二距离序列;
步骤S10322:计算所述第k帧图像帧上的特征点之间的距离得到第三距离序列;
步骤S10323:将所述第二距离序列与第三距离序列的比值中值作为第一尺度因数;
此处需要说明的是,当第k+1帧图像帧上目标的特征点为修正特征点时,只将没有增加二次特征点时的跟踪特征点得到的第二距离序列与第三距离序列进行比较,并且,此处的第三距离序列对应的特征点应该是对应于没有增加二次特征点时的跟踪特征点。
为了从整体上反映目标的比例,取第二距离序列与第三距离序列的比值中值作为第一尺度因数。
步骤S10324:基于所述第一尺度因数和所述目标在所述第k帧图像帧上的特征点构成的形状信息,得到所述目标在所述第k+1帧图像帧上的初始形状信息。
相邻的两图像帧中目标的形状变化通常不会特别大,但如果两图像帧中目标的形状构成的面积过大,则很有可能在前述的特征点确定时就出现了错误。因此,还可以通过面积来确定目标的特征点跟踪的情况:当根据所述目标在所述第k+1帧图像帧上的初始形状信息得到的所述目标的面积大于所述目标在所述第k帧图像帧上的特征点构成的形状的面积时,认为所述初始形状信息正确;否则认为所述初始形状信息不正确,不在第k+1帧图像帧上构建目标的形状。这种情况下,需要在第k+2帧图像帧上扫描全局特征点,和第一帧图像帧比较后确定第k+2帧图像帧上目标的特征点,然后继续跟踪目标。
为了得到更精确的第k+1帧图像帧上目标的形状,还需要通过第一帧图像帧上的目标的形状对第k+1帧图像帧上目标的形状进行校正。步骤S1033包括:
步骤S10331:计算所述初始形状信息中所述特征点之间的第二距离信息和第二角度信息;
步骤S10332:将所述第二距离信息与所述第一帧图像帧中目标的特征点之间的第一距离信息的比值的中值作为第二尺度因数;
步骤S10333:将所述第二角度信息与所述第一帧图像帧中目标的特征点之间的第一角度信息的差值的中值作为角度变量;
步骤S10334:根据所述第二尺度因数、角度变量和所述第一帧图像帧中的目标的形状信息确定所述特征点所在图像帧中的目标的形状信息。
得到第k+1帧图像帧上目标的形状后,需要对目标的形状的中心位置进行对应,步骤S1034包括:
步骤S10341:计算所述形状信息的所述特征点对所述目标的中心位置的投票决策值,并对所述投票决策值进行聚类;
投票决策值是第k帧通过删除策略得到了带编号的特征点,对应编号的第一帧特征点与第一帧的目标中心之间确定的一个向量,利用这个向量以及尺度和角度信息,就可以确定第k帧该编号特征点对应的目标中心位置。因此,每个特征点都能决策出一个目标中心位置(就是x、y坐标),这些点形成一个个离散的坐标,计算这些点之间的距离,将距离较近的(小于一定的阈值)一些点聚为一类,剩余的点删除,这些点再取均值作为目标最终的位置。
步骤S10342:将所述聚类中包含所述特征点的数量最多的聚类作为目标聚类;
步骤S10343:将所述目标聚类对应的所述投票决策值的均值作为所述形状信息所在的图像帧中目标的中心位置。
将上述过程循环起来就能够实现对图像帧之间的目标跟踪,最终实现对视频中目标的跟踪。
实施例2
以下通过一个具体的场景对本发明进行说明。
将视频分解为图像帧序列较为简单,本实施例不做过多说明。
本实施例中,无论是跟踪还是检测都起始于第一帧图像帧全局检测的特征点,我们在第一帧图像帧中对所有检测到的特征点都有相应的编号,后续帧中跟踪上的特征点和检测匹配上的特征点也都对应着这个编号,假设由第k帧图像帧通过光流跟踪得到了第k+1帧图像帧的一些特征点,这些特征点都有自己的编号(对应第一帧),在计算k+1帧图像帧目标的角度、尺度以及位置时,找到第一帧对应编号的特征点,按照公式计算角度、尺度以及位置即可。
以下直接对图像帧的处理进行说明:
(1)第一帧目标初始化工作的具体步骤为:
①对通过图像识别或手动圈取目标矩形框内的特征点进行描述,并用下述模型来代替目标:
式中,O为第一帧图像帧目标;ri表示第一帧图像帧目标的方框内第i个特征点指向中心点的矢量;Di表示第一帧图像帧上的第i个特征点;i表示特征点的编号;n1为第一帧目标框内特征点的总数量。
②计算第一帧图像帧所有相异特征点的第一角度信息,即第一帧图像帧所有相异特征点两两连线与水平线的夹角,表示为:
{angle1(D1,D2),angle1(D1,D3),…angle1(Di,Dj)…}
其中,angle1(Di,Dj)表示第一帧中第i个特征点Di与第j个点特征点Dj的连线与水平线所成的角度,i≠j,其计算公式为:
式中,.y代表特征点的y坐标;类似的,.x代表特征点的x坐标。
③计算第一帧图像帧所有相异特征点两两间位置的距离,表示为:
{dis1(D1,D2),dis1(D1,D3),…dis1(Di,Dj)…}
其中,dis1(Di,Dj)表示第一帧中第i个特征点Di与第j个特征点Dj之间的位置差异,即第一距离信息,其计算公式为:
(2)利用基于FB-error(Forward-backward error)的LK(Lucas-Kanade)***。LK算法是Lucas和Kanade于1981年提出的用于估算法光流的两帧差分法,FB-error为FB差(FB-error),计算FB差是为了增加跟踪的稳定性,删除一些不可靠的特征点。为了进一步的提高目标跟踪的精度,本发明判别LK跟踪可靠性的准则包括:一、通过计算第k帧图像帧所有特征点的FB-error来统计第k+1帧图像帧跟踪正确点的数目。若跟踪正确点的数目小于一个阈值则认为LK跟踪失败;二、计算LK跟踪得到的当前帧目标框的面积,若该面积小于上一帧的一半,则认为跟踪失败,具体步骤为:
①在第k帧图像帧确定的目标矩形内的特征点(共N个),形成点集m[ik](0≤ik<N);
②在第k+1帧图像帧,寻找每个第k帧图像帧上的特征点对应的跟踪特征点(共N个),形成点集n[ik+1](0≤ik+1<N);
③在第k帧图像帧寻找点集n[ik+1]对应的匹配特征点,构成点集mb[ik],则第i个特征点对应的FB-error[i]=|mb[ik]-m[ik]|,即第一距离序列;
④计算FB-error[i]的中值记为b,若FB-error[j]>b,则将第k和第k+1帧图像帧中将对应的点m[ik]和n[ik+1]删除,遍历所有特征点后形成新的点集ml[ik]和nl[ik+1],并统计点集nl[ik+1]中点的数量,利用准则一判断LK跟踪是否可靠;
这里需要说明,每一帧目标的获得(矩形框的位置、大小、角度)来自于特征点的LK跟踪,目标获取完以后,特征点较上一帧用于跟踪的特征点变少了(通过一定的策略删除不可靠特征点),再通过全局检测并与第一帧目标特征点匹配,匹配上的特征点补充到本帧特征点集中,也即是说点集里的点包括:(1)上一帧跟踪后又删除所剩余的点;(2)检测并与第一帧的点匹配上的点。点集里的点都关联着第一帧,用第一帧相应点的编号对他们进行编号,以便于确定下一帧所跟踪上的点的编号以及目标位置、大小以及角度的确定。
⑤计算点集nl[ik+1]中任意两点的距离,即第二距离序列:
d2([mk+1],[nk+1])=nl[mk+1]-nl[nk+1](0≤mk+1,nk+1<N,mk+1≠nk+1)
计算点集ml[ik]中计算任意两点的距离,即第三距离序列:
d1([mk],[nk])=ml[mk]-ml[nk](0≤mk,nk<N,mk≠nk)
⑥取的中值β作为第一尺度因数,即,若第k帧图像帧的目标的形状宽度为w、高度为h,则第k+1帧图像帧上目标的形状宽度为β×w,高度为β×h;
⑦计算位置的偏移量dx[i]=nl[ik+1].x-ml[ik].x,dy[i]=nl[ik+1].y-ml[ik].y,取dx[i]的中值作为目标在x方向的偏移量dx,dy[i]的中值作为目标在y方向的偏移量dy;
⑧假设目标的特征点在第k帧图像帧的位置为(xk,yk),目标的形状大小为wk和hk,则目标在第k+1帧图像帧的初始形状信息为:目标的特征点的坐标为xk+1=xk+dx,yk+1=yk+dy;目标的形状为wk+1=wk×β,hk+1=hk×β,利用准则二判别LK跟踪是否可靠。
(3)对第k帧图像帧LK跟踪可靠的目标进行姿态和大小的描述,具体实现步骤为:
①对于第k帧图像帧正确跟踪的点,将其表示为:
式中,P为第k帧图像帧正确跟踪的点的集合;ai表示第k帧图像帧目标的方框内第i个特征点指向中心点的矢量;mi表示第k帧图像帧上第i个特征点,mi对应第一帧图像帧上的第i个特征点;nk为第k帧图像帧正确跟踪的点的总数量。
②类似于第一帧的处理方法,计算当前帧相异点的第二距离信息和第二角度信息。由此计算该帧目标尺度和角度的变化,所有点尺度的变化(即第二尺度因数)为:
式中,disk(mi,mj)表示第k帧图像帧两个相异点的欧式距离,即第二距离信息;取Ds的中值作为当前帧对比第一帧的第二尺度因素,即第二尺度因素s=med(Ds)。若目标在第一帧图像帧的宽和高分别为w1和h1,则第k帧图像帧目标的大小为wk=s×w1,hk=s×h1。
③计算所有相异点角度变化为:
α(i,j)=anglek(mi,mj)-angle1(Di,Dj)
式中,anglek(mi,mj)表示第k帧图像帧两个相异点连线与水平线间的夹角,求α(i,j)的中值作为当前帧相对于第一帧图像帧的角度变化,即角度变量α=med{α(i,j),i≠j}。
(4)由第一帧目标的位置以及上述求取的尺度和角度信息,求取当前帧目标的位置,具体步骤为:
①上述求取的尺度和角度信息,用每一个跟踪上的特征点对目标的中心位置做出投票决策,即:
h(a,m)=a-s×R×rm
式中,a为特征点指向目标中心点的矢量;rm为第一帧图像帧上对应第k帧图像帧上特征点的指向中心点的矢量;R为旋转矩阵,计算公式为:
②每个特征点都投票决定出一个目标中心,通过阈值δ将这些投票结果进行聚类,找出特征点数目最多的那个类作为目标聚类,由该类对应特征点投票结果取均值作为最后的目标的中心位置。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种基于特征点匹配的目标跟踪方法,其特征在于,所述方法包括:
将视频按图像帧分解,得到图像帧序列;
获取所述图像帧序列的第一帧图像帧中的目标的特征点信息,包括:获取所述第一帧图像帧中的目标的特征点之间的第一角度信息和第一距离信息;
根据所述特征点信息,确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息,包括:确定第k帧图像帧中目标的特征点;在第k+1帧图像帧上确定所述第k帧图像帧中目标的特征点;
根据所述第k帧图像帧上的特征点构建所述第k+1帧图像帧上目标的初始形状信息;将所述初始形状信息与所述第k帧图像帧上的特征点的形状信息进行对比确定所述第k+1帧图像帧上特征点所在图像帧中的目标的形状信息;
根据所述第一帧图像帧中的目标的位置信息确定所述形状信息所在的图像帧中目标的位置信息。
2.根据权利要求1所述的方法,其特征在于,所述特征点信息,确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息包括:确定第k帧图像帧中目标的特征点;
在第k+1帧图像帧上确定所述第k帧图像帧中目标的特征点对应的跟踪特征点;
在所述第k帧图像帧上确定所述跟踪特征点对应的匹配特征点;
计算所述匹配特征点与所述匹配特征点对应的所述第k帧图像帧中目标的特征点之间的距离,并将所述距离按小到大的顺序排列得到第一距离序列;
当小于所述第一距离序列的中值的所述距离对应的所述第k帧图像帧中目标的特征点的数量大于设定值时,所述第k+1帧图像帧上的所述跟踪特征点实现了对所述第k帧图像帧中目标的跟踪。
3.根据权利要求2所述的方法,其特征在于,所述特征点信息,确定所述目标在所述图像帧序列的剩余图像帧中的形状信息和位置信息还包括:当小于所述第一距离序列的中值的所述距离对应的所述第k帧图像帧中目标的特征点的数量小于等于设定值时,在所述第k+1帧图像帧上确定所述目标的二次特征点;
将所述二次特征点与所述跟踪特征点合并得到修正特征点;当所述修正特征点的数量大于设定值时,所述第k+1帧图像帧上的所述修正特征点实现了对所述第k帧图像帧中目标的跟踪。
4.根据权利要求1所述的方法,其特征在于,所述根据所述特征点构建目标的初始形状信息包括:计算跟踪特征点之间的距离或修正特征点之间的距离得到第二距离序列;
计算第k帧图像帧上的特征点之间的距离得到第三距离序列;
将所述第二距离序列与第三距离序列的比值中值作为第一尺度因数;
基于所述第一尺度因数和所述目标在所述第k帧图像帧上的特征点构成的形状信息,得到所述目标在第k+1帧图像帧上的初始形状信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述特征点构建目标的初始形状信息还包括:当根据所述目标在所述第k+1帧图像帧上的初始形状信息得到的所述目标的面积大于所述目标在所述第k帧图像帧上的特征点构成的形状的面积时,所述初始形状信息正确;否则,所述初始形状信息不正确。
6.根据权利要求1所述的方法,其特征在于,所述将所述初始形状信息与所述目标的形状信息进行对比,确定所述特征点所在图像帧中的目标的形状信息包括:计算所述初始形状信息中所述特征点之间的第二距离信息和第二角度信息;
将所述第二距离信息与所述第一帧图像帧中目标的特征点之间的第一距离信息的比值的中值作为第二尺度因数;
将所述第二角度信息与所述第一帧图像帧中目标的特征点之间的第一角度信息的差值的中值作为角度变量;
根据所述第二尺度因数、角度变量和所述第一帧图像帧中的目标的形状信息确定所述特征点所在图像帧中的目标的形状信息。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一帧图像帧中的目标的位置信息确定所述形状信息所在的图像帧中目标的位置信息包括:计算所述形状信息的所述特征点对所述目标的中心位置的投票决策值,并对所述投票决策值进行聚类;
将所述聚类中包含所述特征点的数量最多的聚类作为目标聚类;
将所述目标聚类对应的所述投票决策值的均值作为所述形状信息所在的图像帧中目标的中心位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510226842.3A CN104778465B (zh) | 2015-05-06 | 2015-05-06 | 一种基于特征点匹配的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510226842.3A CN104778465B (zh) | 2015-05-06 | 2015-05-06 | 一种基于特征点匹配的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104778465A CN104778465A (zh) | 2015-07-15 |
CN104778465B true CN104778465B (zh) | 2018-05-15 |
Family
ID=53619918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510226842.3A Active CN104778465B (zh) | 2015-05-06 | 2015-05-06 | 一种基于特征点匹配的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104778465B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108106569B (zh) * | 2017-11-28 | 2021-02-05 | 北京天地玛珂电液控制***有限公司 | 一种基于视觉的综采工作面直线度检测方法和*** |
CN109919971B (zh) * | 2017-12-13 | 2021-07-20 | 北京金山云网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN108600628B (zh) * | 2018-05-02 | 2022-07-29 | 腾讯科技(深圳)有限公司 | 图像抓拍方法、装置、终端及可读介质 |
CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
WO2020082258A1 (zh) * | 2018-10-24 | 2020-04-30 | 深圳鲲云信息科技有限公司 | 一种多目标实时跟踪方法、装置及电子设备 |
CN110956647B (zh) * | 2019-11-02 | 2021-06-22 | 上海交通大学 | 基于行为动线模型的视频中对象行为动态追踪***及方法 |
CN111144483B (zh) * | 2019-12-26 | 2023-10-17 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN111354014B (zh) * | 2020-02-20 | 2022-10-04 | 北京航空航天大学 | 一种针对相机自动曝光的特征点跟踪方法 |
CN111815679B (zh) * | 2020-07-27 | 2022-07-26 | 西北工业大学 | 一种基于双目相机的空间目标特征点丢失期间轨迹预测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2677490A1 (en) * | 2011-02-15 | 2013-12-25 | Fujitsu Frontech Limited | Authentication device, authentication program, and authentication method |
CN104134209A (zh) * | 2014-07-18 | 2014-11-05 | 北京国电富通科技发展有限责任公司 | 一种视觉导航中的特征提取与匹配方法及*** |
-
2015
- 2015-05-06 CN CN201510226842.3A patent/CN104778465B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2677490A1 (en) * | 2011-02-15 | 2013-12-25 | Fujitsu Frontech Limited | Authentication device, authentication program, and authentication method |
CN104134209A (zh) * | 2014-07-18 | 2014-11-05 | 北京国电富通科技发展有限责任公司 | 一种视觉导航中的特征提取与匹配方法及*** |
Non-Patent Citations (1)
Title |
---|
"视频运动目标跟踪算法研究";常向魁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20071115(第5期);第2.1、3.4.1、3.5.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN104778465A (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104778465B (zh) | 一种基于特征点匹配的目标跟踪方法 | |
US10719759B2 (en) | System for building a map and subsequent localization | |
CN109657609B (zh) | 人脸识别方法及*** | |
CN110335319B (zh) | 一种语义驱动的相机定位与地图重建方法和*** | |
CN111161320B (zh) | 一种目标跟踪方法、目标跟踪装置及计算机可读介质 | |
Massé et al. | Tracking gaze and visual focus of attention of people involved in social interaction | |
CN112836640B (zh) | 一种单摄像头多目标行人跟踪方法 | |
US9171197B2 (en) | Facial tracking method | |
CN110705478A (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
CN109977823B (zh) | 行人识别跟踪方法、装置、计算机设备和存储介质 | |
CN107545256B (zh) | 一种结合时空和网络一致性的摄像机网络行人重识别方法 | |
CN110555408B (zh) | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 | |
CN109858476B (zh) | 标签的扩充方法和电子设备 | |
CN110363077A (zh) | 手语识别方法、装置、计算机装置及存储介质 | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
Li et al. | Robust multiperson detection and tracking for mobile service and social robots | |
CN110796135A (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
CN104777908B (zh) | 一种用于多人同步定位的装置和方法 | |
CN112464793A (zh) | 一种在线***行为检测方法、***和存储介质 | |
CN115170998A (zh) | 人体行为动作识别方法、装置、计算机设备和存储介质 | |
CN110363791A (zh) | 一种融合单目标跟踪结果的在线多目标跟踪算法 | |
CN110163112B (zh) | 一种考生姿态分割与平滑方法 | |
CN113095232A (zh) | 一种目标实时跟踪方法 | |
Sheng et al. | Visibility constrained generative model for depth-based 3D facial pose tracking | |
WO2024036825A1 (zh) | 姿态处理方法、装置、***以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |