CN106981073B - 一种基于无人机的地面运动目标实时跟踪方法及*** - Google Patents
一种基于无人机的地面运动目标实时跟踪方法及*** Download PDFInfo
- Publication number
- CN106981073B CN106981073B CN201710206676.XA CN201710206676A CN106981073B CN 106981073 B CN106981073 B CN 106981073B CN 201710206676 A CN201710206676 A CN 201710206676A CN 106981073 B CN106981073 B CN 106981073B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel
- unmanned plane
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000015572 biosynthetic process Effects 0.000 claims description 42
- 238000003786 synthesis reaction Methods 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 229910000831 Steel Inorganic materials 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000010959 steel Substances 0.000 claims description 3
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 18
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract description 2
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无人机的地面运动目标实时跟踪方法及***，启动地面控制站的目标检测与识别模块处理摄像机传回的图像序列，获得在地面站显示屏上目标矩形框大小及中心坐标；启动目标跟踪模块，利用算法融合策略对目标进行跟踪，若跟踪有效，则输出目标定位结果到跟踪指令生成模块；若未定位到目标，则启动目标搜索模块，搜寻目标并输出目标定位结果到跟踪指令生成模块；根据目标图像需定位到地面站显示屏中心的要求，跟踪指令生成模块生成无人机位置与姿态调整指令，并通过无线传输设备上传到无人机飞控***对其位姿进行实时调整。本发明匹配效率高，易于实现，能有效地进行目标识别，避免背景噪声的影响。
Description
技术领域
本发明属于无人机导航领域，计算机视觉领域，具体涉及使用无人机对目标进行自动检测与跟踪的方法。
背景技术
无人机具有高机动性、高分辨率、隐蔽性好、操作灵活等优势。所以在目标侦察与跟踪领域有巨大优势，比传统的固定摄像头监视范围大，其主要应用于昼夜空中侦察，交通监视，军事测绘等领域。利用无人机搭载的视频传感器对地面运动目标进行跟踪与分析，在民用与军事上有重大的实践意义。
首先，对于大多数的视频监控***而言，都是在摄像机静止时对某个需要特殊关注的区域进行监视。背景是静止的，而作为前景的运动目标是移动的，这种情况下的目标检测只需作背景差法，就能取得不错的效果。但是在很多情况下，如以无人机作为载体的摄像机下的目标检测与跟踪，其拍摄的图像序列背景往往是不断变化的，具有不固定性，这种情况下的待跟踪目标的检测与跟踪显得异常艰难。
其次，对于一个单目标的跟踪，并不代表无人机的视场中只有单一运动物体，而是场景中有多个移动的物体，对真正的感兴趣目标的检测及跟踪造成了干扰，不能进行目标的有效识别。还有背景噪声存在，例如由于阴影或光照的影响等造成提取出来的目标不完整或中心有空洞，在这些情况下，往往使得目标的检测识别造成了更大的困难。
本发明中用到的名词解释如下：
无人机：是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，包括无人固定翼机、无人直升机和多旋翼无人机等。
无线传输设备：一种使用MAVlink协议的通信设备，通信频段一般为2.4G。
Shi-Tomasi角点：一种图像特征点的检测方法，代表图像的局部特征，对图像的亮度变化、模糊变化、旋转变化和视角变化等，均具有较强鲁棒性。
FRI：以角点为中心的邻域图像，本发明中取大小为30×30正方形区域。
Bhattacharyya系数：度量目标模型和候选模型区域间的相似程度的数值，数值越小，区域相似性越大；反之，区域相似性越大。
发明内容
本发明旨在提供一种基于无人机的地面运动目标实时跟踪方法及***，解决现有技术中目标检测识别困难的问题。
为解决上述技术问题，本发明所采用的技术方案是：一种基于无人机的地面运动目标实时跟踪方法，包括以下步骤：
1)无人机按照预定的飞行轨迹进行巡逻，将拍摄的图像序列传输到地面控制站，检测出无人机视场下的感兴趣目标；
2)提取上述感兴趣目标的二维图像矩形框大小与中心位置信息；
3)利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终目标定位结果。
步骤3)之后，根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。
步骤2)的具体实现过程包括：
1)分别提取无人机拍摄图像序列的相邻两帧的Shi-Tomasi角点集合；
2)对两帧图像的Shi-Tomasi角点集合分别构造合成基描述子；
3)对带有合成基描述子的Shi-Tomasi角点集合进行特征匹配，获取相邻两帧的图像角点匹配对；
4)对步骤3)获得的角点匹配对，利用RANSAC方法估计出背景运动变换矩阵，并进行图像背景运动补偿；
5)对运动补偿后的相邻帧图像作帧差操作，得到帧差图像，并将帧差图像二值化；
6)对帧差图像作形态学滤波操作，进行目标信息分离和提取，获得目标矩形框的大小与中心位置信息。
相邻两帧图像所有角点合成基描述子的具体生成过程包括：
1)对相邻两帧图像中每一个特征点邻域图像FRI进行二值化处理，并计算特征点邻域图像FRI的平均灰度值，当特征点邻域图像FRI内的像素点值大于平均灰度值，则该像素点值被置1；否则，置0；
2)把相邻两帧图像中所有30×30大小的特征点邻域图像FRI均分成6×6个大小为5×5的子区域，合成基图像为5×5个黑白元素组成的正方形；所述合成基图像黑色像素点个数为FRI子区域像素的一半，合成基图像的个数其中，N为FRI子区域的像素个数；K为合成基图像中黑色像素的个数；
3)对于步骤2)中的任一个特征点邻域图像FRI，将该特征点邻域图像FRI的所有子区域以从左至右、从上到下的顺序与合成基图像集合进行比较，每一个子区域都生成一个9维向量，组合36个子区域的各自9维向量，最后形成一个324维的合成基描述子。
所述特征点邻域图像FRI的一个子区域9维向量生成方法为：一个子区域与合成基图像集合中一个合成基图像的比较值为两者在同一像素点处黑色像素相同的个数，合成基图像集合被比较的顺序为从左至右、从上到下，然后一个子区域依照上述的比较规则和比较顺序，与合成基图像集合中所有的合成基图像一一进行比较，得到9个整数值，组成9维向量。
目标信息分离和提取的具体步骤包括：
a)遍历每一帧滤波后的帧差图像，遍历的顺序为自上而下，从左至右；
b)如果一个像素满足：二值化后的像素值为1且没有编号，则对该像素赋予新的编号；
c)遍历赋予了新的编号的像素的八邻域，依据步骤b)中的条件，给予满足条件的8邻域内的像素新的编号，且该新的编号与赋予了新的编号的像素编号相同；对于不满足条件的八领域内的像素，返回步骤b)；
d)当把帧差图像中所有像素值为1的像素点遍历完且都编完号之后，操作结束。
所述矩形框的确定方法包括：每一帧滤波后的帧差图像经过扫描后，像素点为1的都有编号，编号相同的则为同一物体，连接在一起就组成了运动物体，假设有m个运动物体，对于第一个运动物体，矩形框获取方法如下：依次从第一个被标记的像素点开始遍历，直至遍历完最后一个被标记像素点，将标记像素点中x坐标与y坐标的最小值与最大值保存下来，记为xmin，ymin，xmax，ymax，以(xmin,ymin),(xmax,ymax)两点作为矩形框的对角点，画出矩形框。
本发明还提供了一种地面运动目标实时跟踪的***，包括：
无人机，用于按照预定的飞行轨迹进行巡逻，将拍摄的图像序列传输到地面控制站；
无线传输设备：为无人机与地面控制站之间的数据传输提供一种通信方式；
地面控制站，用于检测出无人机视场下的感兴趣目标，提取感兴趣目标的二维图像矩形框大小与中心位置信息，并利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终得目标定位结果。
相应的，该***还包括：跟踪指令生成模块，用于根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。
所述地面控制站包括：
检测与识别模块，用于检测出无人机视场下的感兴趣目标，并提取感兴趣目标的二维图像矩形框大小与中心位置信息；
目标跟踪模块，利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终得目标定位结果。
目标搜索模块，丢失跟踪目标时，该模块使用一种序列搜索方法重新定位目标。
跟踪指令生成模块，根据跟踪目标在地面站显示屏中的成像区域，生成相应的跟踪指令，以使目标位于显示屏中心位置。
与现有技术相比，本发明所具有的有益效果为：本发明目标的检测与跟踪过程不需人工的全程参与，使用的合成基描述子进行特征点匹配，对尺度旋转、光照、模糊变化具有鲁棒性，匹配效率高，并且合成基描述子的生成不涉及浮点运算，其对处理图像的硬件平台具有友好性，易于实现，能有效地进行目标识别，避免背景噪声的影响。
附图说明
图1为无人机***结构组成图；
图2为无人机***基于合成基描述子的背景运动参数估计方法的流程图；
图3为目标信息分离与提取图；
图4(a)合成基图像集合；图4(b)二值化的FRI；图4(c)FRI的第一个子区域与第一个合成基图像比较值；图4(d)FRI的第一个子区域与第二个合成基图像比较值；
图5为运动目标分离与信息提取流程图；
图6为无人机***算法融合与搜索策略流程图；
图7为无人机***搜索序列层次策略流程图；
图8为无人机***地面站显示屏分区域示意图；
图9为无人机视频序列任意上下帧图像；
图10为基于合成基描述子的角点匹配图像；
图11为帧差检测结果图像；
图12为形态学滤波后的目标检测图像；
图13为目标分离和信息提取图像。
具体实施方式
图1为无人机***组成图，其包括无人机、摄像机、无线传输设备和地面控制站。无人机作为摄像机的载体，扩大摄像机的拍摄范围。无线传输设备为无人机采集图像序列的下传与地面站飞控指令上传提供通信方法；地面控制站包含四个模块，分别为目标检测与识别模块,目标跟踪模块，目标搜索模块，跟踪指令生成模块。
无人机***跟踪的具体实施方法如下：
1、无人机按用户指定的飞行区域使用预先规划的飞行航迹，进行巡逻，摄像机把拍摄的图像序列通过无线传输设备下传到地面控制站的目标检测与识别模块进行处理，获得目标在地面站显示屏成像位置及矩形框大小。无人机拍摄的图像序列的任意相邻两帧如图9所示。
2、启动无人机的目标检测与识别模块，检测无人机视场下的感兴趣目标，并提取目标在显示屏上的矩形框大小与中心位置信息。目标检测与识别模块分为两个过程进行。基于合成基描述子的背景运动参数估计与目标信息分离和提取。第一个过程下面将介绍具体的实施方法，如图2为一种基于合成基描述子的背景运动参数估计方法的流程图:
1)提取起始帧的特征点，由于Shi-Tomasi角点具有高效性，故采用这种特征点。设定起始帧为X，定义一个在像素s处的自相关函数F如下：
其中δs表示位移量，W表示以S为中心的宽窗
对X(s+δs)进行一阶泰勒展开，上式可改写为如下：
其中△X是图像一阶导函数，Λ是精度矩阵。特征点提取标准是精度矩阵特征值的最小值大于一个常数，即：
Q(s)＝min{λ1,λ2}>K (3)
其中K为经验阈值，一般为0.05-0.5之间。
2)角点邻域的二值化，一般取特征点30×30的正方形邻域较为合理，能兼顾到复杂度与准确度。接下来生成描述符，对FRI进行二值化处理，需计算特征点邻域的平均灰度值，FRI的平均灰度值计算公式如下：
式中，p为FRI的像素个数，这里为900；I(x,y)为FRI中某一点的像素灰度值。
然后，当特征点邻域内的像素点值大于g,则该像素点值被置1；当特征点邻域内的像素点值小于g，则该像素点值被置0。由此过程，可以得到二值化的FRI，它可以保留关键点邻域内的结构信息，为下步特征点的描述子生成奠定基础。
3)构造角点描述符，首先把30×30的FRI分成6×6个5×5的子区域，为了能使FRI的子区域与合成基图像进行对应元素比较，一个合成基图像的大小与FRI的子区域相等。合成基图像是一个正方形区域，由黑色与白色元素组合而成，可以由下面的合成基函数确定合成基图像的个数。
式中，N为子区域的像素个数；K为合成基图像中黑色像素的个数；M表示SBI的个数，能唯一表征一个特征点。
为了提高算法的实时性，当然希望合成基图像的个数越少越好，当K为N的一半时，函数有最小值。K结果为小数，进行加1取整操作。例如，30×30的FRI分成6×6个5×5子区域，则N为13，合成基图像的个数为13ln(25/13)或9；30×30的FRI分成2个15×15的子区域，则N为450，合成基图像的个数为113ln(225/113)或78。以图4(a)～图4(d)的5×5子区域例子进行算法的具体说明：
图4(a)为合成基图像集和，由9个合成基图像组成，每一个合成基图像区域有13个像素点为黑色，其余点为白色，这13个黑色点采用伪随机方式分布在5×5的区域内，但必须保证每一个合成基图像的分布模式互不相同。图4(b)为二值化后的FRI，并把它分成36个5×5的子区域。从左至右、从上到下的顺序，把第一个子区域与每一个合成基图像进行比较，比较的规则是看两者在同像素点处黑色点相同的个数，这样每一个子区域都会生成一个9维的向量，这就是子区域的描述符，且每一个分量的范围是(0，13)。
再依照上文的比较顺序，得到其余的35个子区域描述。最后组合36个子区域的描述子，最后形成一个324维的描述子。其中图4(c)为第一个子区域和第一个合成基图像比较得到的描述子，值为6；图4(d)为第一个子区域和第二个合成基图像的比较得到的描述子，值为7。
4)基于合成基描述子的角点匹配。特征点的匹配的成功，意味着这两个特征点的“距离”是最短的，衡量这个距离的最常用的方法有欧氏距离，马氏距离等，但是其计算的复杂性是高维向量所不能接受的。基于此，使用L1范数来度量特征点“距离”。为了说明特征点集的匹配过程，现假设视频序列的当前帧中有m个特征点，下一帧有n个特征点，那么衡量上下两帧中特征点距离的L1范数如下式：
xi表示当前帧的第i个合成基描述子，yj表示下一帧图像第j个合成基描述子，w表示描述子的维数，含324个分量。
合成基描述子计算原理如图5所示，每一行表示一个角点的描述子，再利用L1范数计算距离，在图5中角点1与角点2的距离为3。由上一步可以得到两幅图像中各自任意的特征点的距离，为了减少误匹配的概率，采用一种交叉匹配法：计算当前帧中的第i个角点与下一帧所有角点的L1范数距离d，共得到n个距离值，选取距离最小值为候选匹配点，记为yj；在按照上述方法，计算下一帧的第j个角点点与上一帧所有角点的距离，共得到m个距离值，把其中得到的最小值标记为t，若t＝j，则可以判定xi与yj为匹配正确的一对特征点，否则认为匹配有误。如图10所示，为交叉匹配法得到航拍图像的角点匹配图。
5)利用RANSAC算法排除运动物体上的角点(外点)，再去估计背景变换矩阵。估计背景的运动参数，希望角点匹配对尽可能的来自于背景角点组，对于上一步中的角点匹配对，需要使用RANSAC算法排除运动目标角点匹配对的误差干扰，使计算出来的背景运动补偿参数更精确。由于采用的图像变换形式为八参数射影变换模型，所以至少需要四组匹配对解出背景变换矩阵，其中八参数射影变换模型如下；
RANSAC算法计算背景运动补偿矩阵的算法过程如下所示：
a)首先定义两幅图像所有的匹配点对为总体样本D，任意选取四组匹配点作为一个样本数据Ji，并根据样本数据计算背景参数模型H(J)。
b)由上一步计算得到的实例H(Ji)，确定总体D中与H(Ji)之间几何距离<阈值d的匹配点所构成的集合，并记为S(H(Ji)),称为实例H(Ji)的一致集。
c)由a)和b)两步计算另一个一致集S(H(Jk)),如果S(H(Ji))>S(H(Jk))，则保留一致集S(H(Ji))；反之，则保留一致集S(H(Jk))。
d)经过K次随机抽样，选择最大个数的一致集中的匹配对作为正确的匹配对，即背景角点组。
e)由确定的背景角点组，使用最小二乘法计算出背景运动变换矩阵H。
其中d和k参数的确定分别为如式(8)、(9)计算：
d＝‖xi-Hxi‖ (8)
式中，xi为总体样本的一个数据点；w为好样本(内点)的概率。
目标检测与识别第二个过程，目标信息分离和提取的流程如图3所示，具体实施方法如下：
1)为计算帧差图像，因为无人机视场中存在多个移动物体，故采用一种帧前帧后差分法，检测出所有的运动物体，其计算公式如下：
其中Xt-2,Xt-1,Xt为视频序列的任意连续三帧；与均为背景变换矩阵；Et-1为帧差减除图像。无人机的航拍图像经过该步骤处理，如图11所示。
2)帧差图像的二值化，采用合适的阈值对步骤S301得到的图像二值化。
3)形态学滤波操作，由步骤302得到的二值化图像采用形态学操作对其滤波，这样会使各个运动对象的分割效果更明显。形态学操作过程如下：
a)对其进行图像腐蚀，以剔除孤立的噪声点。
b)再对其进行图像膨胀，就是扩大目标的边缘，填平所缺的坑，使轮廓更平滑。
在数学形态化处理后，检测结果更饱满，目标区域更明显，更有利于各个运动对象的分割和信息提取。图12为形态学滤波后的航拍图。
4)目标信息的分离和提取，为了分离每一帧的多个运动物体，首先需要对每个运动物体进行连通关联，将每帧的各个运动物体标记为不同的编号，最后把相同的区域选择出来。实现以上的目的，一般通常再用顺序标记法，该方法能够完成对运动物体的标记和分离，通常对每一帧采用自上而下自左向右的顺序进行像素扫描。在本方法中使用的像素模板为3*3大小的，具体步骤如下：
a)对每一帧进行像素遍历，遍历的顺序为自上而下从左至右。
b)如果一个像素满足两个条件：二值化后的像素值为1且没有编号，则对该像素赋予新的编号。
c)对b)中找到像素的八邻域进行遍历，重复b)中的条件，给予相同的编号。
d)当c)中的条件不满足时，重复b)的操作。
e)当把图像中所有像素值为1的点遍历完且都编完号之后，操作结束。
每一帧经过扫描后，像素点为1的都有编号，编号相同的则为物体，连接在一起就组成运动物体，假设有m个物体，现在以第一个运动物体为例，矩形框获取方法如下:依次从第一个被标记的像素点遍历至最后一个被标记像素点，将标记像素点中x坐标与y坐标的最小值与最大值存下来，记为xmin，ymin，xmax，ymax，接着就可以画出矩形框。通常以(xmin,ymin),(xmax,ymax)两点作为矩形框的对角点，画出矩形框。其它的运动物体的矩形框获取方法同上。无人机图像序列任意相邻两帧经过该步骤处理后的效果，如图13所示。
3、启动目标跟踪模块，由上一步骤获得的跟踪目标矩形框位置及大小信息，输入到跟踪模块的两个跟踪算法中，该步骤的具体运行过程如下：
1)先假设目标运动模型服从匀速度模型，卡尔曼滤波输出定位结果，记为第一目标真值ykf。
卡尔曼滤波器利用过渡模型从先前估计的状态预测当前状态，并且用当前状态更新当前测如下，其中
再利用卡尔曼滤波增益K去计算当前状态真值b(t):
假设当前运动目标运动模型为匀速运动，依据该模型来设置A与M即可。其中A为状态转移矩阵ωt控制过渡模型误差，M是测量矩阵，εt表示测量误差。其中Vω和Vε分别是ωt和εt的协方差。在我们的应用中，我们将检测到的对象的边界框的大小和位置分配为状态变量b(t)，初始化卡尔曼滤波器。
2)利用均值漂移跟踪算法，其目标模板的位置已经由目标检测与识别模块给出，所以能输出定位目标结果，记为第二目标真值yms。均值漂移算法具体过程已经非常成熟，故不在此赘述。
3)使用加权和数据融合方法，输出目标在未丢失时的定位结果。，若丢失目标，则启用搜索模块，重新定位目标结果。
由第一步输出的第一目标真值ykf，及第二步输出的第二目标真值yms，用以下策略进行数据的加权融合，采用Bhattacharyya系数来度量目标模型和候选区域(第二目标真值)的相似性程度，当相似度大于0.8时，认为第二目标真值完全可信；当相似度大于0.5小于0.8时，不完全信任第二目标真值，进行数据加权融合操作；当相似度小于0.5时，认为目标发生了遮挡或目标状态的变化，认为目标发生了遮挡或目标状态的变化，可认为目标丢失，需启动目标搜索模块重新定位目标；上述的三种情况数据融合方式可由公式(13)、(14)、(15)分别判定:
ρ<0.5，y＝NULL (15)
式中，ρ为相似度；d为经验阈值；yms,ykf分别为均值漂移算法与卡尔曼滤波算法的目标值。
由上可知，当输出值为NULL时，融合策略算法认为目标由于遮挡等原因发生丢失，无人机***会自动从跟踪模块切换到目标搜索模块，重新定位目标在地面站显示屏的区域位置。
4)如图4为搜索序列流程图，当丢失跟踪目标时，启动目标搜素模块，该模块使用一种序列的搜索方法，分两个层次，对目标丢失的原因更具有针对性，搜索效率较高。
第一层，前后帧差等距离搜索，yk+1＝yk+△y,其中△y＝yk-yk-1。
a)假设当前处理图像序列为第K帧，yk为其K时刻目标的中心位置，跟踪默认图像序列目标中心依次为y0，y1，…,yk-1,yk,yk+1,…。
b)利用帧差等距离公式，根据第K帧图像位置点计算出第K+1帧的中心位置，再以该位置取目标检测与识别模块输出的矩形框一样大小作为候选目标，计算其目标的颜色直方图，再计算与目标模板的相似度，如果相似度大于设定的阈值0.75，选取信任该候选模板，找到了目标；否则，不信任，进入第二层搜索策略。
第二层，局部/全局搜索策略，先局部搜索，即先在上一帧目标发生丢失的分区中，采用粒子滤波的方法进行重新搜索，具体而言就是，假如目标在摄像机成像视场中的第6区域丢失，则优先在该区内均匀喷洒N个粒子，重新定位到目标；若还在K帧内无法发现目标，则采用分区域粒子滤波方法，在1-9区域内，分别使用粒子滤波跟踪方法，每一个区域都会滤出一个跟踪结果，再采用一种加权融合每个区域的结果，最后重新得到目标的位置。
4、根据上一步输出的目标定位结果，启用跟踪指令生成模块，调整无人机飞模式，使运动目标位于图像中心区域。如图五为图像分区域编号，利用这个分区启用跟踪指令生成模块，通过无线传输模块，发送指令至无人机的飞控***，调整飞行模式，使目标在当前时刻成像区域向中心区域(第五区域)移动。具体而言，跟踪指令生成模块的调整方式如下：
第5区：图像中心区域，如果目标中心点位于该区域，保持无人机的飞行姿态不变，不生成任何跟踪指令。
第1区：如果目标中心点位于该区域，则跟踪指令模块生成左前方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第2区：如果目标中心点位于该区域，则跟踪指令模块生成向前方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第3区：如果目标中心点位于该区域，则跟踪指令模块生成右前方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第4区：如果目标中心点位于该区域，则跟踪指令模块生成向左方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第6区：如果目标中心点位于该区域，则跟踪指令模块生成右飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第7区：如果目标中心点位于该区域，则跟踪指令模块生成左后方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第8区：如果目标中心点位于该区域，则跟踪指令模块生成向后方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
第9区：如果目标中心点位于该区域，则跟踪指令模块生成右下方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。
Claims (6)
1.一种基于无人机的地面运动目标实时跟踪方法，其特征在于，包括以下步骤：
1)无人机按照预定的飞行轨迹进行巡逻，将对地面视场拍摄的图像序列传输到地面控制站，检测出无人机视场下的感兴趣目标；
2)提取上述感兴趣目标的二维图像矩形框大小与中心位置信息；
3)利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终目标定位结果；
步骤2)的具体实现过程包括：
i)分别提取无人机拍摄的图像序列的相邻两帧的Shi-Tomasi角点集合；
ii)对两帧图像的Shi-Tomasi角点集合分别构造合成基描述子；
iii)对带有合成基描述子的Shi-Tomasi角点集合进行特征匹配，获取相邻两帧的图像角点匹配对；
iv)对步骤iii)获得的角点匹配对，利用RANSAC方法估计出背景运动变换矩阵，并进行图像背景运动补偿；
v)对运动补偿后的相邻帧图像作帧差操作，得到帧差图像，并将帧差图像二值化；
vi)对帧差图像作形态学滤波操作，进行目标信息分离和提取，获得二维图像矩形框的大小与中心位置信息。
2.根据权利要求1所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，步骤3)之后，根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面控制站显示屏中心区域。
3.根据权利要求1所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，相邻两帧图像所有角点合成基描述子的具体生成过程包括：
1)对相邻两帧图像中每一个特征点邻域图像FRI进行二值化处理，并计算特征点邻域图像FRI的平均灰度值，当特征点邻域图像FRI内的像素点值大于平均灰度值，则该像素点值被置1；否则，置0；
2)把相邻两帧图像中所有30×30大小的特征点邻域图像FRI均分成6×6个大小为5×5的子区域，合成基图像为5×5个黑白元素组成的正方形；所述合成基图像黑色像素点个数为FRI子区域像素的一半，合成基图像的个数其中，N为FRI子区域的像素个数；K为合成基图像中黑色像素的个数；
3)对于步骤2)中的任一个特征点邻域图像FRI，将该特征点邻域图像FRI的所有子区域以从左至右、从上到下的顺序与合成基图像集合进行比较，每一个子区域都生成一个9维向量，组合36个子区域的各自9维向量，最后形成一个324维的合成基描述子。
4.根据权利要求3所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，所述特征点邻域图像FRI的一个子区域9维向量生成方法为：一个子区域与合成基图像集合中一个合成基图像的比较值为两者在同一像素点处黑色像素相同的个数，合成基图像集合被比较的顺序为从左至右、从上到下，然后一个子区域依照上述的比较规则和比较顺序，与合成基图像集合中所有的合成基图像一一进行比较，得到9个整数值，组成9维向量。
5.根据权利要求1所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，目标信息分离和提取的具体步骤包括：
a)遍历每一帧滤波后的帧差图像，遍历的顺序为自上而下，从左至右；
b)如果一个像素满足：二值化后的像素值为1且没有编号，则对该像素赋予新的编号；
c)遍历赋予了新的编号的像素的八邻域，依据步骤b)中的条件，给予满足条件的8邻域内的像素新的编号，且该新的编号与赋予了新的编号的像素编号相同；对于不满足条件的八领域内的像素，返回步骤b)；
d)当把帧差图像中所有像素值为1的像素点遍历完且都编完号之后，操作结束。
6.根据权利要求5所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，所述矩形框的确定方法包括：每一帧滤波后的帧差图像经过扫描后，像素点为1的都有编号，编号相同的则为同一物体，连接在一起就组成了运动物体，假设有m个运动物体，对于第一个运动物体，矩形框获取方法如下：依次从第一个被标记的像素点开始遍历，直至遍历完最后一个被标记像素点，将被标记像素点中x坐标与y坐标的最小值与最大值保存下来，记为xmin，ymin，xmax，ymax，以(xmin,ymin),(xmax,ymax)两点作为矩形框的对角点，画出矩形框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710206676.XA CN106981073B (zh) | 2017-03-31 | 2017-03-31 | 一种基于无人机的地面运动目标实时跟踪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710206676.XA CN106981073B (zh) | 2017-03-31 | 2017-03-31 | 一种基于无人机的地面运动目标实时跟踪方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106981073A CN106981073A (zh) | 2017-07-25 |
| CN106981073B true CN106981073B (zh) | 2019-08-06 |
Family
ID=59339192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710206676.XA Expired - Fee Related CN106981073B (zh) | 2017-03-31 | 2017-03-31 | 一种基于无人机的地面运动目标实时跟踪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106981073B (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409354B (zh) * | 2017-08-18 | 2021-09-21 | 深圳市道通智能航空技术股份有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
| CN107505951B (zh) * | 2017-08-29 | 2020-08-21 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法、无人机和计算机可读存储介质 |
| US10719087B2 (en) | 2017-08-29 | 2020-07-21 | Autel Robotics Co., Ltd. | Target tracking method, unmanned aerial vehicle, and computer readable storage medium |
| CN107590450A (zh) * | 2017-09-01 | 2018-01-16 | 歌尔科技有限公司 | 一种运动目标的标记方法、装置和无人机 |
| CN107909600B (zh) * | 2017-11-04 | 2021-05-11 | 南京奇蛙智能科技有限公司 | 一种基于视觉的无人机实时运动目标分类与检测方法 |
| CN108286959A (zh) * | 2017-12-14 | 2018-07-17 | 彩虹无人机科技有限公司 | 一种无人机光电载荷侦照区域计算与显示方法 |
| CN108108697B (zh) * | 2017-12-25 | 2020-05-19 | 中国电子科技集团公司第五十四研究所 | 一种实时无人机视频目标检测与跟踪方法 |
| WO2019127306A1 (en) * | 2017-12-29 | 2019-07-04 | Beijing Airlango Technology Co., Ltd. | Template-based image acquisition using a robot |
| CN109032166B (zh) * | 2018-03-08 | 2020-01-21 | 深圳中琛源科技股份有限公司 | 基于无人机即时跟踪行驶车辆的方法 |
| CN108573498B (zh) * | 2018-03-08 | 2019-04-26 | 上海申雪供应链管理有限公司 | 基于无人机的行驶车辆即时跟踪*** |
| CN109902591B (zh) * | 2018-03-13 | 2023-10-27 | 北京影谱科技股份有限公司 | 一种汽车搜索*** |
| CN108446634B (zh) * | 2018-03-20 | 2020-06-09 | 北京天睿空间科技股份有限公司 | 基于视频分析和定位信息结合的航空器持续跟踪方法 |
| CN108534797A (zh) * | 2018-04-13 | 2018-09-14 | 北京航空航天大学 | 一种实时高精度视觉里程计方法 |
| CN109446901B (zh) * | 2018-09-21 | 2020-10-27 | 北京晶品特装科技有限责任公司 | 一种可嵌入式移植的实时人形目标自动识别算法 |
| DE102018123411A1 (de) * | 2018-09-24 | 2020-03-26 | Autel Robotics Europe Gmbh | Zielbeobachtungsverfahren, zugehörige Vorrichtung und System |
| CN109376660B (zh) * | 2018-10-26 | 2022-04-08 | 天宇经纬（北京）科技有限公司 | 一种目标监测方法、装置及*** |
| CN109765939A (zh) * | 2018-12-21 | 2019-05-17 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 无人机的云台控制方法、装置和存储介质 |
| CN109828488A (zh) * | 2018-12-27 | 2019-05-31 | 北京航天福道高技术股份有限公司 | 采集传输一体化双光探测跟踪*** |
| CN109933087B (zh) * | 2019-03-18 | 2021-12-10 | 西安爱生技术集团公司 | 无人机与地面机动目标虚拟编队战位保持控制方法 |
| CN110189297B (zh) * | 2019-04-18 | 2021-02-19 | 杭州电子科技大学 | 一种基于灰度共生矩阵的磁性材料外观缺陷检测方法 |
| CN110097586B (zh) * | 2019-04-30 | 2023-05-30 | 青岛海信网络科技股份有限公司 | 一种人脸检测追踪方法及装置 |
| CN110120077B (zh) * | 2019-05-06 | 2021-06-11 | 航天东方红卫星有限公司 | 一种基于卫星姿态调整的面阵相机在轨相对辐射定标方法 |
| CN110473229B (zh) * | 2019-08-21 | 2022-03-29 | 上海无线电设备研究所 | 一种基于独立运动特征聚类的运动目标检测方法 |
| CN110930455B (zh) * | 2019-11-29 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 定位方法、装置、终端设备及存储介质 |
| CN111160304B (zh) * | 2019-12-31 | 2022-03-29 | 华中科技大学 | 一种局部帧差和多帧融合的地面动目标检测与跟踪方法 |
| CN113496136A (zh) * | 2020-03-18 | 2021-10-12 | 中强光电股份有限公司 | 无人机及其影像识别方法 |
| CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机***及检测跟踪方法 |
| CN111898434B (zh) * | 2020-06-28 | 2021-03-19 | 江苏柏勋科技发展有限公司 | 一种视频侦测分析*** |
| CN111798434A (zh) * | 2020-07-08 | 2020-10-20 | 哈尔滨体育学院 | 一种基于Ransac模型的武术竞赛区域检测方法 |
| WO2022027596A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置、计算机可读存储介质 |
| CN112766103B (zh) * | 2021-01-07 | 2023-05-16 | 国网福建省电力有限公司泉州供电公司 | 一种机房巡检方法及装置 |
| CN112927264B (zh) * | 2021-02-25 | 2022-12-16 | 华南理工大学 | 一种无人机跟踪拍摄***及其rgbd跟踪方法 |
| CN113034547B (zh) * | 2021-04-07 | 2024-02-06 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
| CN113298788A (zh) * | 2021-05-27 | 2021-08-24 | 南京航空航天大学 | 基于视觉的海上移动平台跟踪识别方法 |
| CN115984335B (zh) * | 2023-03-20 | 2023-06-23 | 华南农业大学 | 基于图像处理的获取雾滴特征参数方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324956A (zh) * | 2008-07-10 | 2008-12-17 | 上海交通大学 | 基于均值漂移的抗遮挡运动目标跟踪方法 |
| CN103455797A (zh) * | 2013-09-07 | 2013-12-18 | 西安电子科技大学 | 航拍视频中运动小目标的检测与跟踪方法 |
| CN106023257A (zh) * | 2016-05-26 | 2016-10-12 | 南京航空航天大学 | 一种基于旋翼无人机平台的目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201421423A (zh) * | 2012-11-26 | 2014-06-01 | Pixart Imaging Inc | 影像感測器及其運作方法 |
-
2017
- 2017-03-31 CN CN201710206676.XA patent/CN106981073B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324956A (zh) * | 2008-07-10 | 2008-12-17 | 上海交通大学 | 基于均值漂移的抗遮挡运动目标跟踪方法 |
| CN103455797A (zh) * | 2013-09-07 | 2013-12-18 | 西安电子科技大学 | 航拍视频中运动小目标的检测与跟踪方法 |
| CN106023257A (zh) * | 2016-05-26 | 2016-10-12 | 南京航空航天大学 | 一种基于旋翼无人机平台的目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106981073A (zh) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106981073B (zh) | 一种基于无人机的地面运动目标实时跟踪方法及*** | |
| EP2917874B1 (en) | Cloud feature detection | |
| CN105352509B (zh) | 地理信息时空约束下的无人机运动目标跟踪与定位方法 | |
| CN109584213B (zh) | 一种多目标编号选定跟踪方法 | |
| CN112488061B (zh) | 一种联合ads-b信息的多航空器检测与跟踪方法 | |
| Sanfourche et al. | Perception for UAV: Vision-Based Navigation and Environment Modeling. | |
| CN108830286A (zh) | 一种侦察无人机动目标自动检测与跟踪方法 | |
| CN102722697A (zh) | 一种无人飞行器视觉自主导引着陆的目标跟踪方法 | |
| Mondragón et al. | Visual model feature tracking for UAV control | |
| CN112927264B (zh) | 一种无人机跟踪拍摄***及其rgbd跟踪方法 | |
| CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| Wen et al. | Hybrid semi-dense 3D semantic-topological mapping from stereo visual-inertial odometry SLAM with loop closure detection | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和*** | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| CN111812978B (zh) | 一种多无人机协作slam方法与*** | |
| Chaudhary et al. | Robust real-time visual tracking using dual-frame deep comparison network integrated with correlation filters | |
| CN116578035A (zh) | 基于数字孪生技术的旋翼无人机自主降落控制*** | |
| Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
| Ferreira et al. | A real-time mosaicking algorithm using binary features for ROVs | |
| CN117636284A (zh) | 一种基于视觉图像导引的无人机自主着降方法及装置 | |
| CN108469729A (zh) | 一种基于rgb-d信息的人体目标识别与跟随方法 | |
| CN109544597A (zh) | 一种基于视觉的四旋翼无人机目标跟踪方法、***及装置 | |
| Espsoito et al. | A hybrid approach to detection and tracking of unmanned aerial vehicles | |
| Bovyrin et al. | Human height prediction and roads estimation for advanced video surveillance systems | |
| CN112241180B (zh) | 一种无人机移动平台降落引导的视觉处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190806 |