CN106875419B - 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 - Google Patents
基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 Download PDFInfo
- Publication number
- CN106875419B CN106875419B CN201611246458.0A CN201611246458A CN106875419B CN 106875419 B CN106875419 B CN 106875419B CN 201611246458 A CN201611246458 A CN 201611246458A CN 106875419 B CN106875419 B CN 106875419B
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- frame
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,包括如下步骤:采集获得视频数据;对连续帧图像进行目标跟踪,对于跟踪到目标的连续N帧图像中每一帧,分别计算目标区域的多维特征作为正常特征、每个特征的相对于均值的偏移量为正常偏移量;当第f帧图像中目标丢失时,在第f帧图像中截取基准图像,在第f+k帧图像中截取尺寸较大的待匹配图像,计算互相关系数矩阵;以互相关系数最大的位置为中心截取设定大小的区域,利用帧差法得到候选区域,提取候选区域的多维特征,若每个特征的偏移量与正常偏移量的偏差均在设定范围内,则以所述候选区域作为目标区域;否则k自增k,重复上述过程。该方法能够够避免传统方法中的错误检测。
Description
技术领域
本发明属于目标检测跟踪研究领域,具体为基于NCC匹配帧差的弱小动目标跟踪丢失重检方法。
背景技术
目标跟踪是将不同视频帧图像中的目标持续检测出来的过程,是计算机视觉研究中相当重要的内容。根据摄像机与运动目标之间的关系,可将目标检测分为静态背景下和动态背景下的目标检测。对于背景不动情况下对运动目标的检测方法主要有背景差分法、帧间差分法和光流法。而对于背景运动的目标检测,往往先通过全局运动补偿方法获得视频图像相邻帧之间的全局运动参数,并对当前图像与前一帧图像进行匹配,而后通过上述静态场景的方式进行目标检测与跟踪。
目标跟踪过程中,视频图像中出现的背景杂乱、光照明暗变化、部分或者全部遮挡、目标姿态改变、目标快速运动等情况都会导致目标连续跟踪的失败。如何在目标跟踪出现问题后,自动完成目标的重新检测,形成对运动目标的连续跟踪是目标跟踪问题的重点。
发明内容
有鉴于此,本发明提供了基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,能够避免由背景变化对弱小动目标直接帧差重检带来的错误检测,同时可保证跟踪的实时处理。
为了达到上述目的,本发明的技术方案为:基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,包括如下步骤:
S1:采集获得视频数据,视频数据由连续帧的图像组成。
S2:利用目标跟踪算法对连续帧图像进行目标跟踪,对于跟踪到目标的连续N帧图像,分别计算每一帧图像中跟踪到的目标区域的多维特征作为正常特征、并计算每个正常特征的相对于特征均值的偏移量作为正常偏移量;N的取值大于或者等于2。
S3:当跟踪过程中,第f帧图像出现目标丢失情况时,以第f帧图像跟踪目标框的中心坐标[x0,y0]为中心,截取获得大小为m×n的基准图像ROI1。特征均值为N帧图像中的特征平均值。
S4:设定帧间隔k,在第f+k帧图像里以目标中心坐标[x1,y1]为中心,截取获得大小为2m×2n的待匹配图像ROI2。
S5:将基准图像ROI1和待匹配图像ROI2的数据分别进行数据归一化处理,将基准图像ROI1左上角位置与待匹配图像ROI2的左上角位置对齐,计算两重叠区域的归一化互相关系数NCC,以单个像素为单位滑动基准图像ROI1,遍历整个待匹配图像ROI2,得到的所有的NCC组成互相关系数矩阵。
互相关系数矩阵中互相关系数最大的位置为[X,Y]。
S6:在待匹配图像ROI2中以[X,Y]为中心截取大小为m×n的ROI3区域,利用帧差法对基准图像ROI1与ROI3进行帧差,并将帧差结果阈值化得到为候选区域的位置,提取候选区域的多维特征,每个特征对应与S2中计算得到的特征均值进行偏移量计算,若每个特征的偏移量与正常偏移量的偏差均在设定范围内,则以候选区域作为目标区域;否则k自增k,重复执行S4~S6,当k超出设定范围时,返回S2。
进一步地,多维特征包括长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性以及对称度;
长、宽和长宽比为区域的长、宽以及长宽比;
占空比为区域面积与其最小外接矩形面积的比值;
最小外接矩形的面积为区域的最小外接矩形面积;
空间扩展度为区域内所有的点到区域主轴的距离采用主轴长度归一化后的和值;
紧凑性为目标区域或者候选区域形状偏离圆形的程度;
对称度为以目标区域或者候选区域长轴为界,左右两部分的面积的对称度。
进一步地,S2中,对于跟踪到目标的连续N帧图像,计算多维特征,N为大于或者等于2的正整数;对于多维特征中的第i个特征的特征值,其正常偏移量为:
其中,N为累积计算的帧数,Feature(i)jN帧图像中第j帧中第i个特征的特征值,Festure_V(i)为N帧图像中第i个特征的平均值。
进一步地,S5中互相关系数的计算方法为:
其中I1(x,y)为ROI1,x、y为ROI1中像素坐标,p为ROI1中像素个数,I2(Hx,Hy)为ROI2,Hx、Hy为ROI2中像素坐标;和σ1和σ2,分别为区域ROI1和ROI2的灰度的均值和标准差。
进一步地,S6中若得到多个候选区域,则针对其中的第q个候选区域ROI3k,q为正整数,计算对应多维特征中特征偏移数量;
其中,num(Feature)为多维特征的特征数量,logical(*)为对*取逻辑运算结果,即当*成立时,logical结果为1,否则为0;i表示第i个特征,取值范围[1,num(Feature)];Feature(i)ROI3k表示第i个特征在第k个候选区域ROI3k中的特征值,q表示特征数据相对于正常偏移量的容忍度,取值范围是[-1,+∞);
当sumF=sum(Feature)时,第k个候选区域ROI3k为目标区域,若存在多个被判定为目标区域的候选区域,则取与目标区域的欧式距离最近的为目标区域。
有益效果:
1、本发明在弱小动目标跟踪丢失后,对跟踪丢失后的前后帧图像,利用计算简单、时间效率高的NCC算法对目标邻域局部区域进行匹配,避免了由背景变化对弱小动目标直接帧差重检带来的错误检测,同时可保证跟踪的实时处理。
2、本发明在跟踪目标是弱小动目标的前提下,对匹配后的目标周围局部区域与基准图像进行帧差,对候选区域基于多维特征(长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性、对称度、形状复杂度),基于成功跟踪跟踪帧累积获得的特征值及偏移量进行比较筛选,实现对动目标的重新检测,减少了追踪过程中人为参与,更有效快捷的恢复对目标的追踪。
附图说明
图1为发明流程图;
图2(a)和(b)分别为需跟踪的目标和待处理的视频数据示例;
图3为跟踪目标丢失前的图像;
图4(a)和(b)分别为跟踪目标丢失后获取的局部匹配基准图像和待匹配局部图像,(c)为利用NCC匹配后基准图像在待匹配图像中的位置显示。
图5为帧差法重捕获的目标及目标外接矩形框的显示。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
实施例1、基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,其流程如图1所示,包括如下步骤:
S1:采集获得视频数据,视频数据由连续帧的图像组成;本实施例中利用无人机自主拍摄,采集视频的图像尺寸为720×1280像素的彩色数据,无人机飞行高度为103米,视频帧频为100帧/秒。本实施例中为需跟踪的目标和待处理的视频数据如图2中(a)和(b)所示。
S2:利用目标跟踪算法对连续帧图像进行目标跟踪,对于跟踪到目标的连续多帧图像,分别计算每一帧图像中跟踪到的目标区域的多维特征作为正常特征、并计算每个正常特征的相对于特征均值的偏移量作为正常偏移量;
本实施例中,对于跟踪到目标的连续N帧图像,计算多维特征,N为大于或者等于2的正整数;对于多维特征中的第i个特征的特征值,其正常偏移量为:
其中,N为累积计算的帧数,Feature(i)jN帧图像中第j帧中第i个特征的特征值,Festure_V(i)为N帧图像中第i个特征的平均值。
如图3所示为跟踪目标丢失前的图像。
S3:当跟踪过程中,第f帧图像出现目标丢失情况时,以第f帧图像跟踪目标框的中心坐标[x0,y0]为中心,截取获得大小为m×n的基准图像ROI1;本实施例中设定m×n为150×150。
S4:设定帧间隔k,在第f+k帧视频图像里以目标中心坐标[x1,y1]为中心,截取获得大小为2m×2n的待匹配图像ROI2;本实施例中的k取值为50。
S5:将基准图像ROI1和待匹配图像ROI2的数据分别进行数据归一化处理,将基准图像ROI1左上角位置与待匹配图像ROI2的左上角位置对齐,计算两重叠区域的归一化互相关系数NCC,以单个像素为单位滑动基准图像ROI1,遍历整个待匹配图像ROI2,得到的所有的NCC组成互相关系数矩阵;
互相关系数矩阵中互相关系数最大的位置为[X,Y],则[X,Y]即为匹配得到的基准图像在待匹配图像中的位置。
如图4(a)和(b)分别为跟踪目标丢失后获取的局部匹配基准图像和待匹配局部图像,(c)为利用NCC匹配后基准图像在待匹配图像中的位置显示。
本实施例中,互相关系数NCC的计算方法为:
其中I1(x,y)为ROI1,x、y为ROI1中像素坐标,p为ROI1中像素个数,I2(Hx,Hy)为ROI2,Hx、Hy为ROI2中像素坐标;和σ1和σ2,分别为区域ROI1和ROI2的灰度的均值和标准差。
S6:在待匹配图像中以[X,Y]为中心截取大小为m×n的ROI3区域,利用帧差法对基准图像ROI1与ROI3进行帧差,并将帧差结果阈值化得到为候选区域,提取候选区域的多维特征,每个特征对应与S2中计算得到的正常特征进行偏移量计算,若每个特征的偏移量与正常偏移量的偏差均在设定范围内,则以候选区域作为目标区域;否则k自增k,重复执行S4~S6,当k超出设定范围时,返回S2。本实施例中设定当k超过5k时就返回S2,即如果超过5次重检均没有检测到目标区域,则重新进行跟踪。最终结果如图5,图5为帧差法重捕获的目标及目标外接矩形框的显示。
S6中若得到多个候选区域,其中的第k个候选区域ROI3k,k为正整数,计算对应多维特征中特征偏移数量;
其中,num(Feature)为多维特征的特征数量,logical(*)为对*取逻辑运算结果,即当*成立时,logical结果为1,否则为0;i表示第i个特征,取值范围[1,num(Feature)];Feature(i)ROI3k表示第i个特征在第k个候选区域ROI3k中的特征值,q0表示特征数据相对于正常偏移量的容忍度,取值范围是[-1,+∞)。
当sumF=sum(Feature)时,第k个候选区域ROI3k为目标区域,若存在多个被判定为目标区域的候选区域,则取与目标区域的欧式距离最近的为目标区域。
实施例2,在如实施例1中描述的技术方案中,本实施例中所采用的多维特征包括长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性以及对称度。
长、宽和长宽比为目标区域或者候选区域的长、宽以及长宽比。
占空比为目标区域或者候选区域面积与其最小外接矩形面积的比值。
最小外接矩形的面积为目标区域或者候选区域的最小外接矩形面积。
空间扩展度为目标区域或者候选区域内所有的点到区域主轴的距离采用主轴长度归一化后的和值。
紧凑性为目标区域或者候选区域形状偏离圆形的程度。
对称度为以目标区域或者候选区域长轴为界,左右两部分的面积的对称度。
综上,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,其特征在于,包括如下步骤:
S1:采集获得视频数据,所述视频数据由连续帧的图像组成;
S2:利用目标跟踪算法对连续帧图像进行目标跟踪,对于跟踪到目标的连续N帧图像,分别计算每一帧图像中跟踪到的目标区域的多维特征作为正常特征、并计算每个正常特征的相对于特征均值的偏移量作为正常偏移量;N的取值大于或者等于2;所述特征均值为N帧图像中的特征平均值;
S3:当跟踪过程中,第f帧图像出现目标丢失情况时,以第f帧图像跟踪目标框的中心坐标[x0,y0]为中心,截取获得大小为m×n的基准图像ROI1;
S4:设定帧间隔k,在第f+k帧图像里以目标中心坐标[x1,y1]为中心,截取获得大小为2m×2n的待匹配图像ROI2;
S5:将基准图像ROI1和待匹配图像ROI2的数据分别进行数据归一化处理,将基准图像ROI1左上角位置与待匹配图像ROI2的左上角位置对齐,计算两重叠区域的归一化互相关系数NCC,以单个像素为单位滑动基准图像ROI1,遍历整个待匹配图像ROI2,得到的所有的NCC组成互相关系数矩阵;
互相关系数矩阵中互相关系数最大的位置为[X,Y];
S6:在待匹配图像ROI2中以[X,Y]为中心截取大小为m×n的ROI3区域,利用帧差法对基准图像ROI1与ROI3进行帧差,并将帧差结果阈值化得到为候选区域的位置,提取候选区域的多维特征,每个特征对应与所述S2中计算得到的特征均值进行偏移量计算,若每个特征的偏移量与正常偏移量的偏差均在设定范围内,则以所述候选区域作为目标区域;否则k自增k,重复执行S4~S6,当k超出设定范围时,返回S2。
2.如权利要求1所述的基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,其特征在于,所述多维特征包括长、宽、长宽比、占空比、最小外接矩形的面积、空间扩展度、紧凑性以及对称度;
所述长、宽和长宽比为区域的长、宽以及长宽比;
所述占空比为区域面积与其最小外接矩形面积的比值;
所述最小外接矩形的面积为区域的最小外接矩形面积;
所述空间扩展度为区域内所有的点到区域主轴的距离采用主轴长度归一化后的和值;
所述紧凑性为目标区域或者候选区域形状偏离圆形的程度;
所述对称度为以目标区域或者候选区域长轴为界,左右两部分的面积的对称度。
5.如权利要求3所述的基于NCC匹配帧差的弱小动目标跟踪丢失重检方法,其特征在于,所述S6中若得到多个候选区域,则针对其中的第k个候选区域ROI3k,k为正整数,计算对应多维特征中特征偏移数量;
其中,num(Feature)为所述多维特征的特征数量,logical(*)为对*取逻辑运算结果,即当*成立时,logical结果为1,否则为0;i表示第i个特征,取值范围[1,num(Feature)];Feature(i)ROI3k表示第i个特征在第k个候选区域ROI3k中的特征值,q表示特征数据相对于正常偏移量的容忍度,取值范围是[-1,+∞);
当sumF=sum(Feature)时,所述第k个候选区域ROI3k为目标区域,若存在多个被判定为目标区域的候选区域,则取与目标区域的欧式距离最近的为目标区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611246458.0A CN106875419B (zh) | 2016-12-29 | 2016-12-29 | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611246458.0A CN106875419B (zh) | 2016-12-29 | 2016-12-29 | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106875419A CN106875419A (zh) | 2017-06-20 |
CN106875419B true CN106875419B (zh) | 2020-03-17 |
Family
ID=59164296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611246458.0A Active CN106875419B (zh) | 2016-12-29 | 2016-12-29 | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106875419B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10720672B2 (en) | 2017-04-24 | 2020-07-21 | Autel Robotics Co., Ltd | Series-multiple battery pack management system |
CN107516105B (zh) | 2017-07-20 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 图像处理方法及装置 |
EP3534250B1 (en) * | 2018-01-18 | 2021-09-15 | Autel Robotics Co., Ltd. | Target detection method and unmanned aerial vehicle |
CN108389219B (zh) * | 2018-02-02 | 2021-09-24 | 北京理工雷科电子信息技术有限公司 | 一种基于多峰值判定的弱小目标跟踪丢失重检方法 |
CN108681114A (zh) * | 2018-05-17 | 2018-10-19 | 福建师范大学 | 一种小尺寸lcd字符显示缺陷的检测装置和方法 |
CN110517296B (zh) * | 2018-05-21 | 2022-06-07 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
CN108734663B (zh) * | 2018-05-30 | 2022-05-20 | 北京电子工程总体研究所 | 一种基于位置信息的目标中心显示方法和*** |
CN110400330A (zh) * | 2019-08-13 | 2019-11-01 | 湖南海迅自动化技术有限公司 | 基于融合imu的光电吊舱图像跟踪方法及跟踪*** |
CN110689554B (zh) * | 2019-09-25 | 2022-04-12 | 深圳大学 | 用于红外图像序列的背景运动估计方法、装置及存储介质 |
CN110796698B (zh) * | 2019-11-07 | 2022-11-29 | 厦门市美亚柏科信息股份有限公司 | 一种最大面积、最小长宽比的车辆排重方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881024A (zh) * | 2012-08-24 | 2013-01-16 | 南京航空航天大学 | 一种基于tld的视频目标跟踪方法 |
CN103426184A (zh) * | 2013-08-01 | 2013-12-04 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
CN104156976A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种抗遮挡目标检测的多特征点跟踪方法 |
CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130222361A1 (en) * | 2012-01-05 | 2013-08-29 | Philip Meier | Method for the graphical display of information tailored to the encoding format of the mammalian visual system |
-
2016
- 2016-12-29 CN CN201611246458.0A patent/CN106875419B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881024A (zh) * | 2012-08-24 | 2013-01-16 | 南京航空航天大学 | 一种基于tld的视频目标跟踪方法 |
CN104156976A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种抗遮挡目标检测的多特征点跟踪方法 |
CN103426184A (zh) * | 2013-08-01 | 2013-12-04 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
Non-Patent Citations (2)
Title |
---|
An effective target tracking algorithm in infrared images video;Liu yuhui 等;《2010 6th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM),IEEE》;20100925;第1-4页 * |
基于ncc匹配的Camshift目标跟踪算法;郑朝晖;《四川理工学院学报(自然科学版)》;20150831;第28卷(第4期);第37-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106875419A (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875419B (zh) | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 | |
US20170293796A1 (en) | Flight device and flight control method | |
Mattoccia | Stereo vision: Algorithms and applications | |
CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及*** | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN110443247A (zh) | 一种无人机地面运动小目标实时检测***及方法 | |
CN112801870B (zh) | 一种基于网格优化的图像拼接方法,拼接***及可读存储介质 | |
CN110992378B (zh) | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及*** | |
CN111144207A (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
CN110060304A (zh) | 一种生物体三维信息采集方法 | |
Verstockt et al. | Silhouette-based multi-sensor smoke detection: coverage analysis of moving object silhouettes in thermal and visual registered images | |
CN113781523A (zh) | 一种足球检测跟踪方法及装置、电子设备、存储介质 | |
Miller et al. | Person tracking in UAV video | |
Huang et al. | Image registration among UAV image sequence and Google satellite image under quality mismatch | |
CN111161219B (zh) | 一种适用于阴影环境的鲁棒单目视觉slam方法 | |
CN110111368B (zh) | 一种基于人体姿态识别的相似移动目标的检测跟踪方法 | |
CN116883235A (zh) | 一种面向分布式光电的图像拼接方法及装置 | |
Li et al. | A Target Tracking Model for Enterprise Production Monitoring System Based on Spatial Information and Appearance Model. | |
CN115797405A (zh) | 一种基于车辆轴距的多镜头自适应跟踪方法 | |
CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
CN111860161B (zh) | 一种目标遮挡检测方法 | |
CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |