CN109670462A - 基于定位信息的航空器跨全景持续跟踪方法 - Google Patents

基于定位信息的航空器跨全景持续跟踪方法 Download PDF

Info

Publication number
CN109670462A
CN109670462A CN201811584164.8A CN201811584164A CN109670462A CN 109670462 A CN109670462 A CN 109670462A CN 201811584164 A CN201811584164 A CN 201811584164A CN 109670462 A CN109670462 A CN 109670462A
Authority
CN
China
Prior art keywords
panorama
target
aircraft
latitude
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811584164.8A
Other languages
English (en)
Other versions
CN109670462B (zh
Inventor
栗向滨
林姝含
郑文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Terravision Technology Co Ltd
Original Assignee
Beijing Terravision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Terravision Technology Co Ltd filed Critical Beijing Terravision Technology Co Ltd
Priority to CN201811584164.8A priority Critical patent/CN109670462B/zh
Publication of CN109670462A publication Critical patent/CN109670462A/zh
Application granted granted Critical
Publication of CN109670462B publication Critical patent/CN109670462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于定位信息的航空器跨全景持续跟踪方法，以已知的全景一的目标跟踪框作为第一目标跟踪框，将用于确定第一目标跟踪框的图像坐标转换为经纬度坐标，再将经纬度坐标转换为全景二中的图像坐标，将第一目标跟踪框在全景二中的对应区域向四周扩展，形成略大于第一目标跟踪框的全景二跟踪检测区域，在全景二跟踪检测区域范围内进行相同目标的检测，找到目标后重新初始化目标跟踪框，不断重复进行上述操作，形成对目标的跨全景持续跟踪。本发明弥补了现有针对航空器跨全景持续跟踪的空白，不需要对整幅画面进行分析，计算量小，速度快，错误率小，较好地解决了现有针对航空器的跨全景跟踪问题。

Description

基于定位信息的航空器跨全景持续跟踪方法
技术领域
本发明涉及一种基于定位信息的航空器跨全景持续跟踪方法。
背景技术
目前对于基于视频分析的跨镜头目标跟踪在技术领域使用的是目标重识别技术(Object Re-identification)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定目标的技术，广泛被认为是一个图像检索的子问题。即，给定一个含有监控目标的图像，跨设备检索含有该目标的图像，并在检索到的目标图像中重新定位监控目标。
由于场景多、需求大，以及特征提取相对容易，目前目标重识别主要的研究和应用领域是行人重识别，行人重识别主要的方法有基于表征学习的行人重识别方法、基于度量学习的行人重识别方法、基于局部特征的行人重识别方法、基于视频序列的行人重识别方法、基于GAN造图的行人重识别方法[1]-[28]。
上面介绍的这几种行人重识别都是基于特征的重新识别，即通过对比跨设备间两个目标之间的特征，并对比这些特征之间的相似度来确定是否是同一个目标。这种基于特征的行人重识别方法有比较大的局限性。例如基于表征学习的行人重识别方法容易在数据集上过拟合，并且当训练样本增加到一定程度的时候会显得比较乏力；基于度量学习的行人重识别方法学习过程比较复杂；基于局部特征的行人重识别方法把特征割裂；基于视频序列的行人重识别方法需要多帧的画面才可以；基于GAN造图的行人重识别方法目前由于样本数量限制导致造图效果不理想。
除了以上的问题，基于特征的行人重识别还需要对整张图像上的人进行识别与分析，然后与另一整张图像上的人进行特征比对，所以导致计算量巨大。如果是基于视频序列的行人重识别方法，计算量将更加巨大，而且识别时间也大幅增加，不能在较短时间内识别出同一个人。
本发明针对的是机场飞行区全景视频下的航空器目标重识别，全景画面比普通的图像画幅大，像素多，因而处理难度更大；而且航空器特征比较单一，唯一识别性少，上述现有技术难以适应于全景画面的有效的航空器跨全景跟踪。
发明内容
为解决上述技术问题，本发明提供了一种基于定位信息的航空器跨全景持续跟踪方法，以有效地实现目标航空器的跨全景跟踪。
本发明的技术方案是：一种基于定位信息的航空器跨全景持续跟踪方法，以已知的全景一的目标跟踪框作为第一目标跟踪框，依据图像坐标与经纬度坐标的映射关系将用于确定第一目标跟踪框的图像坐标转换为经纬度坐标，形成用于确定第一目标跟踪框的经纬度坐标，依据经纬度坐标与图像坐标的映射关系将用于确定第一目标跟踪框的经纬度坐标转换为全景二中的图像坐标，形成全景二中用于确定第一目标跟踪框的图像坐标，由此确定第一目标跟踪框在全景二中的对应区域，将第一目标跟踪框在全景二中的对应区域向四周扩展，形成略大于第一目标跟踪框的全景二跟踪检测区域，可以根据上述多次映射可以带来的位移误差以及航空器在全景一和全景二之间的移动量，确定扩展量的大小，以保证所跟踪的航空器目标在全景二跟踪检测区域内，且尽量减少或避免因该检测区域过大而导致不必要的运算量，在全景二跟踪检测区域范围内进行相同目标的检测，找到目标，并据此重新初始化目标跟踪框，作为全景二的目标跟踪框，依据跟踪要求，不断重复进行上述操作，形成对目标的跨全景持续跟踪，所述全景二是指需要寻找目标新位置的全景，所述全景一是指用作在所述全景二中寻找目标新位置的基础的全景，即用于确定全景二跟踪检测区域的全景。
根据运算需要，可以以目标跟踪框中心点的坐标作为用于确定目标跟踪框的坐标，和/或，以目标跟踪框的四角坐标作为用于确定目标跟踪框的坐标。
优选事先对监视区域内的最远处航空器和最近处航空器在全景画面上的大小进行标定，确定出最远处航空器和最近处航空器在全景画面中所占的像素(区域)大小，并各方向上适当增加一定的余量，可以根据多次映射误差以及航空器在全景一和全景二之间的移动范围，确定该余量的大小，以保证所跟踪的航空器目标在全景二跟踪检测区域内，且避免因该检测区域过大而导致不必要的运算量，利用航空器在全景画面中所占的像素大小与航空器位置远近之间的关系，通过差值的方法确定位于中间区域的航空器(包括相应的余量)在全景画面中所占的像素大小，以此作为相应区域的全景二跟踪检测区域的大小。
通常可以利用目标的图像特征进行全景二跟踪检测区域的目标图像识别。
优选采用YOLO算法进行全景二跟踪检测区域的目标图像识别，以YOLO算法计算获得的目标边界框对目标跟踪框进行更新，作为全景二的目标跟踪框。
优选采用下列方式建立起始的目标跟踪框：以手动交互的方式选定目标航空器，手动在视频中出现的目标航空器的外形轮廓之内点取一个种子点，以基于区域生长的图像分割方法计算获得目标跟踪框，并开始对该目标航空器进行单目标跟踪。
优选采用HOG特征作为目标航空器的特征描述进行该目标航空器的单目标跟踪。
优选采用下列方式确立图像坐标和经纬度坐标的映射关系：在相关全景上人工选定任意三点均不在同一条直线上的n个图像点作为标定点，其中n不小于4，优选不小于8，通过图像处理工具获得各标定点的图像坐标，确定标定点(实景)的经纬度坐标，以此作为相应标定点的经纬度坐标，对于全景中除各标定点外的每一个像素(x，y)，以
或
为该像素(坐标)的映射模型，其中为该像素的经度坐标或纬度坐标，x、y分别为该像素的图像坐标，a、b、c、d、e、f均为映射模型中的系数，找出距该像素最近的m个标定点，其中m不小于4，优选不小于8，以该m个标定点的像素坐标和经纬度坐标作为基础数据，采用最小二乘法计算上述模型中的最佳系数，将计算出的最佳系数带入上述模型，计算获得该像素的经纬度坐标，由此建立起每一个像素的图像坐标和经纬度坐标之间的映射关系。
确定标定点(实景)的经纬度坐标的方式可以为在包含监视区域的实景地图上，用实景地图标定工具标定出各标定点(实景)的经纬度坐标，也可以采用实地检测等方式。
所述全景一通常可以为所述全景二的前一帧全景。
所述目标通常为航空器，也适应于其他类似目标。
监视区域可以为目标航空器所在的机场飞行区，也适应于其他类似区域。
所述全景可以由多视频图像拼接而成，形成全景图像(简称全景)。
本发明的有益效果是：弥补了现有针对航空器跨全景持续跟踪的空白，而且并不需要对整幅画面进行分析，计算量小，速度快，错误率小，较好地解决了现有针对航空器的跨全景跟踪问题。
附图说明
图1是本发明的一种流程图。
具体实施方式
参见图1，本发明针对的是机场飞行区全景视频下的航空器目标重识别，实现基于定位信息的航空器跨全景持续跟踪。基本技术方案为将经纬度坐标作为跳板坐标系，先将初始全景图像中的跟踪目标的图像坐标通过图像坐标与经纬度坐标的映射换算成经纬度坐标，然后将换算好的经纬度坐标通过经纬度坐标与图像坐标的映射换算成下一幅全景图像中的图像坐标。由于换算过程中存在误差，导致两重映射得到的目标位置与目标的真实位置并不完全一致，但由于偏差很小，所以只需要在映射目标框的基础上向外扩展出一个小邻域，并针对扩展后的区域进行目标检测，找到原目标。之后，重新初始化目标跟踪框并进行跟踪，这个过程反复进行即可实现目标航空器的跨全景跟踪。
具体实施方式如下所述。
因为涉及到跨全景，不失一般性地，将第一幅全景，即选定目标的全景命名为全景一；将跨越的全景，即需要寻找目标新位置的全景命名为全景二。包括下列步骤：
1)手动交选定目标航空器
由于本发明的应用场景为实时监控视频流，无法采取将视频流暂停选取目标航空器跟踪框的方法，所以在手动交互选定航空器的环节，采取基于区域生长的图像分割方法来获得。该方法通过在视频中出现的目标航空器外形轮廓之内点取一个种子点即可获得所选目标航空器的跟踪框。
基于区域生长的图像分割方法包括如下所述步骤：
1.1)在视频帧中选取种子点c(x,y)；
1.2)以种子点c(x,y)为中心，对其邻域像素进行递归遍历；
1.3)对于每一个邻域像素N(x′，y′)，依据现有技术，设计一个判别式Q(c(x,y),N(x′，y′))进行是否属于航空器的判别；
1.4)如果判别式为真，邻域像素N(x′，y′)被设置为新的种子点，进入第1.2)步，并将该点加入结果集合(与种子点为同一区域)，否则退出此次递归，回到1.3)步，检测下一个邻域像素。
通过上述递归遍历，即可顺利找到所选航空器的轮廓区域，在找到的区域边界，找出最小和最大的横坐标与纵坐标xmin、xmax、ymin、ymax，即可获得目标航空器的起始跟踪框(P1(xmin,ymin),P2(xmax,ymax))，得到目标航空器的跟踪框之后即可开始对其进行单目标跟踪。
2)对目标航空器进行单目标跟踪
此处，我们使用HOG特征作为目标航空器的特征描述。HOG特征提取过程包括如下步骤：
2.1)对视频帧灰度化。因为HOG特征提取的是纹理特征，颜色信息不起作用，所以先将彩色图转为灰度图；
2.2)对灰度化图像归一化。为了提高检测器对光照等干扰因素的鲁棒性，需要对图像进行Gamma校正，以完成对整个图像的归一化，目的是调节图像的对比度，降低局部光照和阴影所造成的影响，同时也可以降低噪音的干扰：
G(x,y)＝F(x,y)γ 式(1)
其中G(x,y)归一化后的图像，F(x,y)为第1)步处理后的灰度化图像。
2.3)计算图像像素的梯度：根据下列式(2)计算每个像素的水平方向和竖直方向的梯度，并根据式(3)计算每个像素位置的梯度大小和方向。
图像在像素(x,y)处的水平方向和垂直方向的梯度为：
接下来计算像素处(x,y)的梯度幅值和梯度方向:
2.4)统计细胞单元(Cell，或称单元格)的梯度方向直方图：将图像划分成小的Cell，将梯度方向映射到180度的范围内，将像素的梯度幅值作为权值进行投影，用梯度方向决定向哪一维进行投影，通常可以划分为9维。
2.5)统计块(Block)的梯度方向直方图：统计每个细胞单元内的梯度直方图，形成每个细胞单元的描述子，由Cell组成更大的描述子，称为块(Block)，将一个块内Cell的特征向量串联起来就构成了该块的梯度方向直方图。由于局部光照的变化，以及前景背景对比度的变化，使得梯度强度的变化范围非常大，这就需要对梯度做局部对比度归一化。这里的策略是针对每个块进行对比度归一化，一般使用L2正则的归一化方式进行归一化。
这样就得到每个块的描述子，对一个对象特征来说，块通常可以是矩形的，也可以是圆形的，根据要提取对象特征决定。得到特征之后，在目标图像上以一个Cell大小为步长，检测目标图像上是否有匹配的对象特征，对象特征匹配可以基于相似度，例如可以采用欧几里得距离。
2.6)统计窗口(Window)的梯度方向直方图：只需要将窗口内所有块的HOG特征向量串联起来就得到了Window的HOG特征。
2.7)统计整幅图像的梯度方向直方图：一幅图像可以无重叠的划分为多个Window，这时将所有Window的特征向量串联起来就是整幅图像的HOG特征了，如果Window的大小和图像的大小相同，那么Window的HOG特征就是整幅图像的HOG特征，这也是最终跟踪使用的特征向量。
利用一维滤波器进行尺度估计，二维滤波器用于位置估计，三维滤波器用于目标航空器的尺度-空间定位估计。[29]
考虑目标航空器的d维HOG特征图表示，设f是从这个HOG特征图中提取的目标的跟踪矩形框(Window)，用l∈{1,...,d}来表示f的特征维数,每一维表示为fl。目标是找到一个最佳的滤波器h，每个特征维度包含一个滤波器hl。这个目标可以通过最小化代价函数得到：
这里，g是与f相关的期望的高斯输出响应，响应输出的中心点为跟踪目标航空器的中心位置。参数λ≥0控制正则化项的影响。式(4)的解可以通过转换到频域求得：
上式中，H、F和G分别为空域变量h、f和g的离散傅里叶变换后的频域表示，符号中的横杠表示对应频域表示的共轭。
正则化参数λ解决了f转到频域后零频分量的问题。通过最小化所有Block上的输出误差可以获得最佳的滤波器。然而，这需要求解每个像素的d×d线性方程组，这对于在线学习应用是耗时的。为了得到一个鲁棒的近似，这里式(5)中的t-1时刻相关滤波器Hl的分子和分母分别表示为：
则预测t时刻的滤波器表示为
式(8)和式(9)中η是学习速率参数。因为在目标跟踪框周围采样了很多中心不同，大小各异的跟踪框，需要计算一个得分函数，得分最高的，即式(10)中y值最大的为新的目标航空器状态。
其中，Zl为采样跟踪框的HOG特征频域表达式。
以上流程可以表示为：
·输入：
输入图像It、上一帧的位置pt-1和尺度st-1、位置模型和尺度模型
·输出：
估计的目标位置pt和尺度st、更新的位置模型和尺度模型
·位移估计：
在图像It的位置pt-1和尺度st-1对位置进行采样提取ztrans，利用ztrans、和计算ytans，找到最大的ytans，即可设置新的目标位置pt；·尺度估计：
在图像It的位置pt和尺度st-1对尺度进行采样，提取zscale，利用zscale、和计算yscale，找到最大的yscale，即可设置新的目标尺度st；·模型更新：
在图像It的位置pt和尺度st提取多样本fscale和fscale，更新位移模型和获得更新的位置模型和更新尺度模型和获得更新的尺度模型和
至此，即可实现对目标航空器的单目标跟踪。
3)对每架航空器经纬度计算图像坐标
3.1)基于选定点的坐标标定
首先在全景一上人工选定n个图像点作为标定点，并在全景一中通过图像处理工具获得标定点的图像像素坐标，并记录标定点的图像像素坐标值。然后在实景地图标定工具中找到全景一中已经确定的标定点所对应的实景标志物或标志点所对应的经度与纬度坐标，并记录标定点的经度与纬度坐标值。
用同样的方法，对全景二进行操作。
标定点的选定原则是：
(a)为了方便准确地找到全景图像标定点的对应的实景标志物或标志点所对应的经度与纬度坐标，需要选择具有标志性点位的标定点，例如道路标志的角点或安装点，交通车道线的角点，地面装饰物的角点等，目的是可以方便地确定标定点的唯一性，方便标定；
(b)标定点数量n的值至少应该大于等于4点，为了达到较佳效果，大于等于8点较优，原因将在下文说明；
(c)选定的标定点任意三点需要不在同一条直线上；
(d)选定的标定点要密度均匀地分布在整个画面，不可以在某些局域非常密集，在另外一些区域却非常稀疏；
(e)画面越大，如果标定点越多，则计算准确度越高。
3.2)基于最近邻最小二乘非线性模型的坐标映射计算
通过基于最近邻最小二乘非线性模型的坐标映射计算可以将物理世界的经度与纬度坐标(Sx,Sy)与所代表的像素坐标(Dx,Dy)对应的图像点相互映射，也就是
由于机场场面平整度极高，本发明仅考虑不涉及高度的GPS信息(只考虑经度和纬度)与图像坐标互相转化的算法，即在经纬度坐标系与二维平面内实现由图像坐标系之间的转换，所以经纬度坐标转视频图像坐标与视频图像坐标转经纬度坐标均属于二维转换为二维的映射，是一一对应的关系。
最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。由于物理世界的经纬度坐标到图像坐标以及图像坐标到物理世界的经纬度坐标均不是单纯的线性映射的关系，所以本发明采用的是最小二乘法的非线性函数模型，以逼近未标定点的图像坐标与经纬度坐标。
物理世界的经纬度坐标到图像坐标的映射以及图像坐标到物理世界的经纬度坐标的映射在方法和流程上基本一致，只是使用的原坐标系与目标坐标系不同而已。
由于物理世界地表状况不尽相同，所以如果在整个画面上只建立一个非线性函数模型会带来较大的误差。本发明采用寻找最近邻逼近的方法，对每一个图像坐标建立一个非线性函数模型，通过最小二乘法求取对应模型的参数，从而求出选定图像坐标对应的经纬度坐标。即每一个图像坐标(Dx,Dy)，首先求出此图像坐标与所有标定点图像坐标的平方差距离，然后找到距离(Dx,Dy)最近的若干个标定点。
设各标定点的坐标分别为(Dx1,Dy1),(Dx2,Dy2),…,(Dxn,Dyn)(n≥8),选定点的坐标为(Dx,Dy)，则平方差距离为
DDisti＝(Dxi-Dx)2+(Dyi-Dy)2(i＝1,2,…，n) 式(11)
然后对求出的n个DDisti(i＝1，2，…，n)进行基于大小的快速排序，方法是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。
通过快速排序的方法，找出距离选定点(Dx，Dy)最近的8个标定点(也可以采用其他数量的标定点)，然后通过此8个标定点求解基于最小二乘法的非线性模型参数。
非线性模型有很多种，本发明使用二次多项式模型，即
其中代表选定点(Dx，Dy)对应经纬度坐标，当为纬度坐标时，也可以采用φ表示，以便与表示经度坐标的相区别，a、b、c、d、e、f均为对应的模型参数，(x，y)代表选定点(Dx，Dy)的图像横坐标与纵坐标。
经过反复验证与摸索发现，在忽略了x2与y2两项后，拟合效果仍然较好，所以非线性模型可以简化为下式：
下面介绍求解非线性模型参数的方法。不失一般性地，假设距离选定点(Dx，Dy)最近的8个标定点的图像坐标为
(x1,y1)，(x2,y2),(x3,y3),(x4,y4),(x5,y5),(x6,y6),(x7,y7),(x8,y8)
其对应的物理世界的经度与纬度为
假设存在系数a、b、c、d，满足下列方程：
式(14)可以写作
Au＝v 式(15)
其中
对式15进行变换可得
u＝A-1v 式(19)
由于矩阵A为非方阵，所以此处A-1为矩阵A的伪逆矩阵(又称广义逆矩阵)，即
A-1＝(ATA)-1AT 式(20)
所以对于选定点(Dx,Dy)，其经度值为
将式(19)代入式(21)，可得
同理可得，若设ω为标定点纬度值组成的列向量，即
则选定点(Dx,Dy)对应物理世界纬度坐标值φ为
利用以上的方法，可以求出全景一中单目标跟踪框中心点坐标对应在物理世界的经纬度坐标。
由于我们对全景二的图像坐标与对应物理世界的经纬度坐标已经进行了标定，所以利用上述变换的逆变换，即可求出全景一中单目标跟踪图像中心点的经纬度坐标对应在全景二中的图像坐标。
4)在换算出的图像坐标附近找到目标航空器
由于映射误差，在上一个步骤中计算出的全景一的跟踪目标在全景二的图像坐标与实际位置存在偏差，为此在图像坐标点周围扩展出一个正方形的领域(检测区域)。
为了确定扩展的领域的尺寸大小，事先对画面上最远处的航空器和最近处的航空器大小预先进行标定，即确定出最远处的航空器和最近处的航空器在画面中所占的像素大小，并稍微留有一定的余量。这样位于中间区域的航空器，即可通过差值的方法确定其所占画面的大小。
至此，我们已经可以通过计算出的图像坐标中心点和计算出的尺寸大小来确定寻找目标航空器的区域图像。在这里，我们使用基于YOLO[30]的深度学习航空器识别方案。目标检测器可以通过微软COCO数据集[31]训练得到，能够检测飞机、行人等常见目标。
YOLO将输入的图片分割成S×S个单元格，然后每个单元格负责去检测那些中心点落在该格子内的目标。每个单元格会预测B个边界框(bounding box)以及边界框的置信度(confidence score)。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。边界框含有目标的可能性以Pr(object)表示，当该边界框是背景时(即不包含目标)，Pr(object)＝0，当该边界框包含目标时，Pr(object)＝1。边界框的准确度可以用预测框与实际框(ground truth)的交并比(IOU，intersection overunion)来表征，记为
置信度可以定义为
边界框的大小与位置可以用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。这样，每个边界框的预测值实际上包含5个元素：(x,y,w,h,c)，其中前4个表征边界框的位置与大小，而最后一个值是置信度。由于每一个单元格要预测C个类别概率值，采用该单元格负责预测的边界框中存在类别i的目标的概率Pr(classi|object)表征，在一定的边界框的置信度下，该边界框对类比i的类别置信度(class-specific confidence scores)为:
其中i是类别(class)的编号，classi为第i个类别或称类比i，边界框类别置信度表征的是该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏。即每个单元格需要预测(B*5+C)个值。如果将输入图片划分为S×S单元格，那么最终预测值为S×S×(B*5+C)大小的张量。因为我们只检测航空器这一个类别，所以类别数为1，单元格数设为S＝7，边界框数设为B＝2，那么最终的预测结果就是7×7×21大小的张量。
可以依据现有技术实现YOLO的各方面运算，例如，YOLO采用卷积网络来提取特征，然后使用全连接层来得到预测值。将在上一个步骤中得到的领域图像通过YOLO网络进行预测，即可得到第二幅图像中目标航空器的位置。由于机场场面上航空器的间隔都比较大，不会有航空器扎堆等情况，我们认为此时检测出的航空器就是我们在全景一中跟踪的目标航空器。接下来，用通过YOLO得到的边界框对单目标跟踪算法的跟踪框进行更新，即可继续对目标航空器进行持续跟踪。
以上过程反复进行，即完成基于定位信息的航空器跨全景持续跟踪。
本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。
参考文献
[1]Mengyue Geng,Yaowei Wang,Tao Xiang,Yonghong Tian.Deep transferlearning for person reidentification[J].arXiv preprint arXiv:1611.05244,2016.
[2]Yutian Lin,Liang Zheng,Zhedong Zheng,YuWu,Yi Yang.Improving personre-identification by attribute and identity learning[J].arXiv preprint arXiv:1703.07220,2017.
[3]Liang Zheng,Yi Yang,Alexander G Hauptmann.Person re-identification:Past,present and future[J].arXiv preprint arXiv:1610.02984,2016.
[4]Tetsu Matsukawa,Einoshin Suzuki.Person re-identification using cnnfeatures learned from combination of attributes[C]//Pattern Recognition(ICPR),2016 23rd International Conference on.IEEE,2016:2428–2433.
[5]Rahul Rama Varior,Mrinal Haloi,Gang Wang.Gated siameseconvolutional neural network architecture for human re-identification[C]//European Conference on Computer Vision.Springer,2016:791-808.
[6]Florian Schroff,Dmitry Kalenichenko,James Philbin.Facenet:Aunified embedding for face recognition and clustering[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2015:815-823.
[7]Hao Liu,Jiashi Feng,Meibin Qi,Jianguo Jiang,Shuicheng Yan.End-to-end comparative attention networks for person re-identification[J].IEEETransactions on Image Processing,2017.
[8]De Cheng,Yihong Gong,Sanping Zhou,Jinjun Wang,Nanning Zheng.Personre-identification by multichannel parts-based cnn with improved triplet lossfunction[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2016:1335-1344.
[9]Weihua Chen,Xiaotang Chen,Jianguo Zhang,Kaiqi Huang.Beyond tripletloss:a deep quadruplet network for person re-identification[J].arXiv preprintarXiv:1704.01719,2017.
[10]Alexander Hermans,Lucas Beyer,Bastian Leibe.In defense of thetriplet loss for person reidentification[J].arXiv preprint arXiv:1703.07737,2017
[11]Xiao Q,Luo H,Zhang C.Margin Sample Mining Loss:A Deep LearningBased Method for Person Re-identification[J].2017.
[12]Rahul Rama Varior,Bing Shuai,Jiwen Lu,Dong Xu,Gang Wang.A siameselong short-term memory architecture for human re-identification[C]//EuropeanConference on Computer Vision.Springer,2016:135–153.
[13]Liang Zheng,Yujia Huang,Huchuan Lu,Yi Yang.Pose invariantembedding for deep person reidentification[J].arXiv preprint arXiv:1701.07732,2017.
[14]Haiyu Zhao,Maoqing Tian,Shuyang Sun,Jing Shao,Junjie Yan,ShuaiYi,Xiaogang Wang,Xiaoou Tang.Spindle net:Person re-identification with humanbody region guided feature decomposition and fusion[C].CVPR,2017.
[15]Longhui Wei,Shiliang Zhang,Hantao Yao,Wen Gao,Qi Tian.Glad:Global-local-alignment descriptor for pedestrian retrieval[J].arXiv preprintarXiv:1709.04329,2017.
[16]Zhang,X.,Luo,H.,Fan,X.,Xiang,W.,Sun,Y.,Xiao,Q.,...&Sun,J.(2017).AlignedReID:Surpassing Human-Level Performance in Person Re-Identification.arXiv preprint arXiv:1711.08184.
[17]Taiqing Wang,Shaogang Gong,Xiatian Zhu,Shengjin Wang.Person re-identification by discriminative selection in video ranking[J].IEEEtransactions on pattern analysis and machine intelligence,2016.38(12):2501–2514.
[18]Dongyu Zhang,Wenxi Wu,Hui Cheng,Ruimao Zhang,Zhenjiang Dong,Zhaoquan Cai.Image-to-video person re-identification with temporallymemorized similarity learning[J].IEEE Transactions on Circuits and Systemsfor Video Technology,2017.
[19]Jinjie You,Ancong Wu,Xiang Li,Wei-Shi Zheng.Top-push video-basedperson reidentification[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2016:1345–1353.
[20]Xiaolong Ma,Xiatian Zhu,Shaogang Gong,Xudong Xie,Jianming Hu,Kin-Man Lam,Yisheng Zhong.Person re-identification by unsupervised video matching[J].Pattern Recognition,2017.65:197–210.
[21]Niall McLaughlin,Jesus Martinez del Rincon,Paul Miller.Recurrentconvolutional network for videobased person re-identification[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition.2016:1325–1334.
[22]Rui Zhao,Wanli Oyang,Xiaogang Wang.Person re-identification bysaliency learning[J].IEEE transactions on pattern analysis and machineintelligence,2017.39(2):356–370.
[23]Hao Liu,Zequn Jie,Karlekar Jayashree,Meibin Qi,Jianguo Jiang,Shuicheng Yan,Jiashi Feng.Video based person re-identification withaccumulative motion context[J].arXiv preprint arXiv:1701.00193,2017.
[24]Song G,Leng B,Liu Y,et al.Region-based Quality Estimation Networkfor Large-scale Person Re-identification[J].arXiv preprint arXiv:1711.08766,2017.
[25]Zheng Z,Zheng L,Yang Y.Unlabeled samples generated by gan improvethe person re-identification baseline in vitro[J].arXiv preprint arXiv:1701.07717,2017.
[26]Zhong Z,Zheng L,Zheng Z,et al.Camera Style Adaptation for PersonRe-identification[J].arXiv preprint arXiv:1711.10295,2017.
[27]Wei L,Zhang S,Gao W,et al.Person Transfer GAN to Bridge DomainGap for Person Re-Identification[J].arXiv preprint arXiv:1711.08565,2017.
[28]Qian X,Fu Y,Wang W,et al.Pose-Normalized Image Generation forPerson Re-identification[J].arXiv preprint arXiv:1712.02225,2017.
[29]Danelljan M,G,Khan F,et al.Accurate scale estimation forrobust visual tracking[C]//British Machine Vision Conference,Nottingham,September 1-5,2014.BMVA Press,2014.
[30]Redmon J,Divvala S,Girshick R,et al.You Only Look Once:Unified,Real-Time Object Detection[C]//Computer Vision and Pattern Recognition.IEEE,2016:779-788.
[31]Tsungyi Lin et al.,“Microsoft COCO:Common Objects in Context”,ECCV 2015.

Claims (10)

1.一种基于定位信息的航空器跨全景持续跟踪方法，以已知的全景一的目标跟踪框作为第一目标跟踪框，依据图像坐标与经纬度坐标的映射关系将用于确定第一目标跟踪框的图像坐标转换为经纬度坐标，形成用于确定第一目标跟踪框的经纬度坐标，依据经纬度坐标与图像坐标的映射关系将用于确定第一目标跟踪框的经纬度坐标转换为全景二中的图像坐标，形成全景二中用于确定第一目标跟踪框的图像坐标，由此确定第一目标跟踪框在全景二中的对应区域，将第一目标跟踪框在全景二中的对应区域向四周扩展，形成略大于第一目标跟踪框的全景二跟踪检测区域，在全景二跟踪检测区域范围内进行相同目标的目标图像识别，找到目标，并据此重新初始化目标跟踪框，作为全景二的目标跟踪框。
2.如权利要求1所述的方法，其特征在于事先对监视区域内的最远处航空器和最近处航空器在全景画面上的大小进行标定，确定出最远处航空器和最近处航空器在全景画面中所占的像素大小，并各方向上适当增加一定的余量，利用航空器在全景画面中所占的像素大小与航空器位置远近之间的关系，通过差值的方法确定位于中间区域的航空器在全景画面中所占的像素大小，以此作为相应区域的全景二跟踪检测区域的大小。
3.如权利要求1或2所述的方法，其特征在于利用目标的图像特征进行全景二跟踪检测区域的目标图像识别。
4.如权利要求1或2所述的方法，其特征在于采用YOLO算法进行全景二跟踪检测区域的目标图像识别，以YOLO算法计算获得的目标边界框对目标跟踪框进行更新，作为全景二的目标跟踪框。
5.如权利要求1或2所述的方法，其特征在于采用下列方式建立起始的目标跟踪框：以手动交互的方式选定目标航空器，手动在视频中出现的目标航空器的外形轮廓之内点取一个种子点，以基于区域生长的图像分割方法计算获得目标跟踪框，并开始对该目标航空器进行单目标跟踪。
6.如权利要求5所述的方法，其特征在于采用HOG特征作为目标航空器的特征描述进行该目标航空器的单目标跟踪。
7.如权利要求1或2所述的方法，其特征在于采用下列方式确立图像坐标和经纬度坐标的映射关系：在相关全景上人工选定任意三点均不在同一条直线上的n个图像点作为标定点，其中n不小于4，通过图像处理工具获得各标定点的图像坐标，确定标定点的经纬度坐标，以此作为相应标定点的经纬度坐标，对于全景中除各标定点外的每一个像素(x，y)，以
或
为该像素的映射模型，其中为该像素的经度坐标或纬度坐标，x、y分别为该像素的图像坐标，a、b、c、d、e、f均为映射模型中的系数，找出距该像素最近的m个标定点，其中m不小于4，以该m个标定点的像素坐标和经纬度坐标作为基础数据，采用最小二乘法计算上述模型中的最佳系数，将计算出的最佳系数带入上述模型，计算获得该像素的经纬度坐标，由此建立起每一个像素的图像坐标和经纬度坐标之间的映射关系。
8.如权利要求7所述的方法，其特征在于确定标定点的经纬度坐标的方式为在包含监视区域的实景地图上，用实景地图标定工具标定出各标定点的经纬度坐标。
9.如权利要求1或2所述的方法，其特征在于所述全景一为所述全景二的前一帧全景。
10.如权利要求1或2所述的方法，其特征在于所述目标为航空器，监视区域为目标航空器所在的机场飞行区，所述全景由多视频图像拼接而成。
CN201811584164.8A 2018-12-24 2018-12-24 基于定位信息的航空器跨全景持续跟踪方法 Active CN109670462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811584164.8A CN109670462B (zh) 2018-12-24 2018-12-24 基于定位信息的航空器跨全景持续跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811584164.8A CN109670462B (zh) 2018-12-24 2018-12-24 基于定位信息的航空器跨全景持续跟踪方法

Publications (2)

Publication Number Publication Date
CN109670462A true CN109670462A (zh) 2019-04-23
CN109670462B CN109670462B (zh) 2019-11-01

Family

ID=66147083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811584164.8A Active CN109670462B (zh) 2018-12-24 2018-12-24 基于定位信息的航空器跨全景持续跟踪方法

Country Status (1)

Country Link
CN (1) CN109670462B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706260A (zh) * 2019-10-16 2020-01-17 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测方法
CN111062875A (zh) * 2019-12-19 2020-04-24 广州启量信息科技有限公司 一种用于空中全景漫游数据的坐标转换方法及装置
CN111210459A (zh) * 2020-01-08 2020-05-29 北京天睿空间科技股份有限公司 一种利用先验知识的大场景内运动目标检测方法
CN111241988A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111246174A (zh) * 2020-01-20 2020-06-05 中国民用航空总局第二研究所 基于视频的远程塔台智能望远镜实现方法及***
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视***技术有限公司 目标跟踪方法、装置、设备及存储介质
CN113343933A (zh) * 2021-07-06 2021-09-03 安徽水天信息科技有限公司 一种基于视频目标识别定位的机场场面监视方法
CN113343858A (zh) * 2021-06-10 2021-09-03 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN114745528A (zh) * 2022-06-13 2022-07-12 松立控股集团股份有限公司 一种高位全景视频安全监控方法
CN116402857A (zh) * 2023-04-14 2023-07-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233800A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Method of tracking object and electronic device supporting the same
CN105989610A (zh) * 2015-01-29 2016-10-05 中兴通讯股份有限公司 目标跟踪方法及装置
CN107507230A (zh) * 2017-08-31 2017-12-22 成都观界创宇科技有限公司 应用于全景图像的目标跟踪方法及全景相机
CN107886048A (zh) * 2017-10-13 2018-04-06 西安天和防务技术股份有限公司 目标跟踪方法及***、存储介质及电子终端
CN108133028A (zh) * 2017-12-28 2018-06-08 北京天睿空间科技股份有限公司 基于视频分析与定位信息结合的航空器挂牌方法
CN108446634A (zh) * 2018-03-20 2018-08-24 北京天睿空间科技股份有限公司 基于视频分析和定位信息结合的航空器持续跟踪方法
CN108596055A (zh) * 2018-04-10 2018-09-28 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108875683A (zh) * 2018-06-30 2018-11-23 北京宙心科技有限公司 一种机器人视觉跟踪方法及其***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233800A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Method of tracking object and electronic device supporting the same
CN105989610A (zh) * 2015-01-29 2016-10-05 中兴通讯股份有限公司 目标跟踪方法及装置
CN107507230A (zh) * 2017-08-31 2017-12-22 成都观界创宇科技有限公司 应用于全景图像的目标跟踪方法及全景相机
CN107886048A (zh) * 2017-10-13 2018-04-06 西安天和防务技术股份有限公司 目标跟踪方法及***、存储介质及电子终端
CN108133028A (zh) * 2017-12-28 2018-06-08 北京天睿空间科技股份有限公司 基于视频分析与定位信息结合的航空器挂牌方法
CN108446634A (zh) * 2018-03-20 2018-08-24 北京天睿空间科技股份有限公司 基于视频分析和定位信息结合的航空器持续跟踪方法
CN108596055A (zh) * 2018-04-10 2018-09-28 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108875683A (zh) * 2018-06-30 2018-11-23 北京宙心科技有限公司 一种机器人视觉跟踪方法及其***

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706260A (zh) * 2019-10-16 2020-01-17 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测方法
CN111369684B (zh) * 2019-12-10 2023-09-01 杭州海康威视***技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视***技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111062875A (zh) * 2019-12-19 2020-04-24 广州启量信息科技有限公司 一种用于空中全景漫游数据的坐标转换方法及装置
CN111062875B (zh) * 2019-12-19 2021-11-12 广州启量信息科技有限公司 一种用于空中全景漫游数据的坐标转换方法及装置
CN111210459A (zh) * 2020-01-08 2020-05-29 北京天睿空间科技股份有限公司 一种利用先验知识的大场景内运动目标检测方法
CN111241988A (zh) * 2020-01-08 2020-06-05 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111241988B (zh) * 2020-01-08 2021-07-13 北京天睿空间科技股份有限公司 一种结合定位信息的大场景内运动目标检测识别方法
CN111246174A (zh) * 2020-01-20 2020-06-05 中国民用航空总局第二研究所 基于视频的远程塔台智能望远镜实现方法及***
CN111246174B (zh) * 2020-01-20 2021-07-13 中国民用航空总局第二研究所 基于视频的远程塔台智能望远镜实现方法及***
CN113343858A (zh) * 2021-06-10 2021-09-03 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113343858B (zh) * 2021-06-10 2024-03-12 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113343933A (zh) * 2021-07-06 2021-09-03 安徽水天信息科技有限公司 一种基于视频目标识别定位的机场场面监视方法
CN114745528B (zh) * 2022-06-13 2022-08-23 松立控股集团股份有限公司 一种高位全景视频安全监控方法
CN114745528A (zh) * 2022-06-13 2022-07-12 松立控股集团股份有限公司 一种高位全景视频安全监控方法
CN116402857A (zh) * 2023-04-14 2023-07-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法
CN116402857B (zh) * 2023-04-14 2023-11-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法

Also Published As

Publication number Publication date
CN109670462B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN109670462B (zh) 基于定位信息的航空器跨全景持续跟踪方法
CN111462200B (zh) 一种跨视频行人定位追踪方法、***及设备
Luvizon et al. A video-based system for vehicle speed measurement in urban roadways
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
Chen et al. Object-level motion detection from moving cameras
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
CN106338733B (zh) 基于蛙眼视觉特性的前视声呐目标跟踪方法
CN112967341B (zh) 基于实景图像的室内视觉定位方法、***、设备及存储介质
CN111832514A (zh) 基于软多标签的无监督行人重识别方法及装置
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN114973317B (zh) 一种基于多尺度邻接交互特征的行人重识别方法
CN108804992B (zh) 一种基于深度学习的人群统计方法
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
CN103353941B (zh) 基于视角分类的自然标志物注册方法
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN116245949A (zh) 一种基于改进四叉树特征点提取的高精度视觉slam方法
Ren et al. Research on infrared small target segmentation algorithm based on improved mask R-CNN
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant