CN107145167B - 一种基于数字图像处理技术的视频目标跟踪方法 - Google Patents
一种基于数字图像处理技术的视频目标跟踪方法 Download PDFInfo
- Publication number
- CN107145167B CN107145167B CN201710224213.6A CN201710224213A CN107145167B CN 107145167 B CN107145167 B CN 107145167B CN 201710224213 A CN201710224213 A CN 201710224213A CN 107145167 B CN107145167 B CN 107145167B
- Authority
- CN
- China
- Prior art keywords
- target
- frame image
- target area
- image
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
- G05D3/20—Control of position or direction using feedback using a digital comparing device
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种基于数字图像处理技术的视频目标跟踪方法,通过姿态角算法及滤波算法提供摄像机姿态角信息,转换为伺服电机姿态稳定反向补偿控制信号,通过目标跟踪算法实现对目标的跟踪并计算目标与视轴夹角,生成伺服电机跟踪控制信号,对伺服电机姿态稳定反向补偿控制信号和跟踪控制信号进行整合,生成伺服电机控制信号,从而驱动二轴框架式平台进行实现目标稳定跟踪;本发明可以广泛应用于智能机器人及运动平台的视觉跟踪等领域。
Description
技术领域
本发明涉及一种基于数字图像处理技术的视频目标跟踪方法,属于数字图像处理技术 领域。
背景技术
目标跟踪***的准确度首先是受摄像***所获取的图像质量影响的,而摄像机在很多 工作环境下,会受到许多不可控的因素所影响,从而使得到的图像出现大幅振荡、模糊的 现象。因此,需要通过其他技术手段增加获取图像序列的稳定性,在此基础上目标跟踪系 统通过数字处理技术等来实现对目标的有效跟踪。近年来国外在光电稳定及跟踪技术等方 面发展很快,光电稳定平台的稳定精度己经达到亚微弧度数量级。国内诸多高校也开展了 光电稳定及跟踪等方面的研究工作。
发明内容
本发明所要解决的技术问题是提供一种具备成像稳定功能与目标跟踪功能基于数字 图像处理技术的视频目标跟踪方法。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于数字图像处 理技术的视频目标跟踪方法,基于设置于电控云台上的图像捕获装置,实时执行如下步骤, 针对图像捕获装置所获图像中指定的目标区域实现跟踪;
步骤1)读取当前时刻帧图像,针对当前时刻帧图像中的目标区域,通过CamShift算 法,提取颜色特征,结合LTP纹理特征,构建目标区域对应当前时刻帧图像的联合直方图, 进而获得当前时刻帧图像中目标区域的目标概率模型,以及当前时刻帧图像中目标区域的 位置;
步骤2)待时间进入下一帧图像时刻,更新为当前时刻,捕获并读取当前时刻帧图像, 基于上一时刻帧图像中目标区域位置的中心位置,通过CamShift算法,结合当前时刻帧 图像的颜色特征和LTP纹理特征,获得当前时刻帧图像中的初步目标概率模型;
步骤3)基于上一时刻帧图像中目标区域的目标概率模型,以及当前时刻帧图像中的 初步目标概率模型,运用加权融合方式进行特征融合,计算获得目标区域预测权值;
步骤4)根据上一时刻帧图像中目标区域位置的中心位置,以及目标区域预测权值, 通过Kalman滤波算法,预测获得当前时刻帧图像中目标区域的预测位置,作为当前时刻 帧图像中目标区域的位置;
步骤5)获得当前时刻帧图像中目标区域位置的中心位置与图像捕获装置的光轴之间 的夹角,并据此获得图像捕获装置的伺服电机跟踪控制信号,控制电控云台工作,实现图 像捕获装置转动,使得当前时刻帧图像中目标区域预测位置的中心位置位于图像捕获装置 的光轴上;
步骤6)针对当前时刻帧图像中目标区域的位置,通过CamShift算法,提取颜色特征, 结合LTP纹理特征,构建目标区域对应当前时刻帧图像的联合直方图,进而获得当前时刻 帧图像中目标区域的目标概率模型,然后返回步骤2)。
作为本发明的一种优选技术方案,还包括设置于所述电控云台上的MEMS加速度计和 MEMS陀螺仪,还包括如下步骤F至步骤G如下,所述步骤5)执行完后,执行步骤F,步 骤G执行完后,执行步骤6);
步骤F.获得步骤5)电控云台工作过程中,电控云台上MEMS加速度计和MEMS陀螺仪采集的采集数据,并据此采集数据,获得所述图像捕获装置的当前姿态;
步骤G.根据图像捕获装置的当前姿态,获得伺服电机的偏转补偿角,生成伺服电机 姿态稳定反向补偿控制信号,结合步骤5)中图像捕获装置所获得的伺服电机跟踪控制信 号,合成最终的伺服电机控制信号,针对电控云台进行控制。
作为本发明的一种优选技术方案,所述步骤F中,针对所获来自所述MEMS加速度计和MEMS陀螺仪的采集数据,首先进行滤波处理,然后采用四元数算法对经过滤波处理的 采集数据进行处理,获得欧拉角,由四元数和欧拉角之间的转换关系,解算获得图像捕获 装置的姿态角,进而获得所述图像捕获装置的当前姿态。
作为本发明的一种优选技术方案,所述步骤F中,针对所获来自所述MEMS加速度计和MEMS陀螺仪的采集数据,首先采用卡尔曼滤波进行滤波处理。
作为本发明的一种优选技术方案,其特征在于,所述MEMS加速度计和MEMS陀螺仪为 MPU6050运动传感器,MPU6050运动传感器设置于电控云台上。
作为本发明的一种优选技术方案,所述电控云台为二轴框架式云台。
本发明所述一种基于数字图像处理技术的视频目标跟踪方法采用以上技术方案与现 有技术相比,具有以下技术效果:本发明设计的基于数字图像处理技术的视频目标跟踪方 法,通过结合数字图象处理技术,具备完整的成像稳定与目标跟踪功能,可以基于运动载 体实现目标的稳定跟踪,具有成本低、扩展性强的优点;并且基于本发明所设计方法的硬 件装置,可应用在机器人自主导航、无人机智能监控等领域,具有较强的应用价值。
附图说明
图1是本发明所设计基于数字图像处理技术的视频目标跟踪方法的框架示意图;
图2是本发明所设计视频目标跟踪方法中机械稳像***的控制流程图;
图3是本发明所设计视频目标跟踪方法中目标跟踪***的控制流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
考虑到测量精密度要求,目前的光电跟踪平台主要采用挠性陀螺或光纤陀螺作为惯性 传感器。虽然MEMS陀螺测量精度有限,但是它体积小、功耗低、成本易于控制,可通过CamShift跟踪算法来保证***跟踪稳定性。
光电稳定跟踪***从功能上分为两个子***:成像稳定***和目标跟踪***。成像稳 定***通过陀螺仪等姿态传感器件测量摄像机姿态角,驱动稳定平台各轴上的伺服电机生 成反向补偿角度位移,使摄像机的指向保持稳定,以获取所需的观测视场并保障图像序列 的稳定。目标跟踪***则通过图像处理技术获取当前目标与摄像机光轴的夹角,驱动稳定 平台各轴上的伺服电机,使摄像机的光轴指向实时跟随目标方位,以实现对目标的有效跟 踪。
如图1所示,本发明所设计一种基于数字图像处理技术的视频目标跟踪方法,基于MEMS 传感器与数字图像处理技术实现目标跟踪***,通过姿态角算法及滤波算法提供摄像机姿 态角信息,转换为伺服电机姿态稳定反向补偿控制信号,通过目标跟踪算法实现对目标的 跟踪并计算目标与视轴夹角,生成伺服电机跟踪控制信号,对伺服电机姿态稳定反向补偿 控制信号和跟踪控制信号进行整合,生成伺服电机控制信号,从而驱动二轴框架式平台进 行实现目标稳定跟踪。
并且在实际应用中,***的控制电机采用伺服电机,用于控制电控云台和图像捕获装 置的控制模块,设计采用MSP430单片机。使用C语言及Keil编译器编写姿态角转换及滤 波算法、电机控制算法及串口通讯模块,使用VC++与Matlab编写目标跟踪算法。其中,姿态角转换及滤波算法拟采用四元数算法结合卡尔曼滤波算法进行设计;目踪算法拟采用Camshift算法,该算法适用于非刚体运动目标跟踪,易于工程实现,可以实时计算当前帧目标偏离视场中心程度;串口通讯模块基于485串口通信技术开展设计,主要实现MEMS 传感器数据与电机控制信号的传输;***控制界面采用MFC进行设计。
本发明设计了一种基于数字图像处理技术的视频目标跟踪方法,实际应用当中,基于 设置于电控云台上的图像捕获装置,具体实时执行如下步骤,针对图像捕获装置所获图像 中指定的目标区域实现跟踪,其中,电控云台上设置MPU6050运动传感器,MPU6050运动 传感器具体包括MEMS加速度计和MEMS陀螺仪,并且在实际应用中,采用二轴框架式云台作为电控云台。
如图3所示,执行如下步骤:
步骤1)读取当前时刻帧图像,针对当前时刻帧图像中的目标区域,通过CamShift算 法,提取颜色特征,结合LTP纹理特征,构建目标区域对应当前时刻帧图像的联合直方图, 进而获得当前时刻帧图像中目标区域的目标概率模型qu,以及当前时刻帧图像中目标区域 的位置y0,如下式(5)所示,其中,迭代次数0→k。
步骤2)待时间进入下一帧图像时刻,更新为当前时刻,捕获并读取当前时刻帧图像, 基于上一时刻帧图像中目标区域位置的中心位置yj,通过CamShift算法,结合当前时刻 帧图像的颜色特征和LTP纹理特征,获得当前时刻帧图像中的初步目标概率模型。其中,在当前时刻帧图像中,将上一时刻帧图像中目标区域位置的中心位置yj作为中心,搜索窗口宽度为目标区域最小外接矩形长宽的一半,然后结合当前时刻帧图像的颜色特征和LTP纹理特征所构建的联合直方图,根据式(6)得到初步目标概率模型pu(yj);
步骤3)基于上一时刻帧图像中目标区域的目标概率模型qu,以及当前时刻帧图像中 的初步目标概率模型pu(yj),按如下公式(7)、公式(8),运用加权融合方式进行特征融合,计算获得目标区域预测权值wi。
步骤4)根据上一时刻帧图像中目标区域位置的中心位置yj,以及目标区域预测权值wi,通过Kalman滤波算法,按如下公式(9):
预测获得当前时刻帧图像中目标区域的预测位置yj+1,作为当前时刻帧图像中目标区 域的位置。其中,g(x)=-k'(x),迭代次数为k+1→k。
步骤5)获得当前时刻帧图像中目标区域位置的中心位置与图像捕获装置的光轴之间 的夹角,并据此获得图像捕获装置的伺服电机跟踪控制信号,控制电控云台工作,实现图 像捕获装置转动,使得当前时刻帧图像中目标区域预测位置的中心位置位于图像捕获装置 的光轴上。
如图2所示,执行如下步骤:
步骤F.获得步骤5)电控云台工作过程中,针对来自电控云台上MEMS加速度计和MEMS 陀螺仪采集的采集数据,首先采用卡尔曼滤波进行滤波处理,然后采用四元数算法对经过 滤波处理的采集数据进行处理,获得欧拉角,由四元数和欧拉角之间的转换关系,解算获 得图像捕获装置的姿态角,进而获得所述图像捕获装置的当前姿态。具体如下:
定义四元数q为一四维向量:
式(2)中,α为旋转欧拉角,ex、ey、ez分别为X、Y、Z欧拉轴。
按照Z→X→Y的转动顺序,由欧拉角和四元数表示的姿态矩阵可以得到:
步骤G.根据图像捕获装置的当前姿态,获得伺服电机的偏转补偿角,生成伺服电机 姿态稳定反向补偿控制信号,结合步骤5)中图像捕获装置所获得的伺服电机跟踪控制信 号,合成最终的伺服电机控制信号,针对电控云台进行控制。
步骤6)针对当前时刻帧图像中目标区域的位置,通过CamShift算法,提取颜色特征, 结合LTP纹理特征,构建目标区域对应当前时刻帧图像的联合直方图,进而获得当前时刻 帧图像中目标区域的目标概率模型,然后返回步骤2)。
上述技术方案所设计的基于数字图像处理技术的视频目标跟踪方法,通过结合数字图 象处理技术,具备完整的成像稳定与目标跟踪功能,可以基于运动载体实现目标的稳定跟 踪,具有成本低、扩展性强的优点;并且基于本发明所设计方法的硬件装置,可应用在机 器人自主导航、无人机智能监控等领域,具有较强的应用价值。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方 式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做 出各种变化。
Claims (3)
1.一种基于数字图像处理技术的视频目标跟踪方法,其特征在于,基于设置于电控云台上的图像捕获装置,实时执行如下步骤,针对图像捕获装置所获图像中指定的目标区域实现跟踪;
步骤1)读取当前时刻帧图像,针对当前时刻帧图像中的目标区域,通过CamShift算法,提取颜色特征,结合LTP纹理特征,构建目标区域对应当前时刻帧图像的联合直方图,进而获得当前时刻帧图像中目标区域的目标概率模型,以及当前时刻帧图像中目标区域的位置;
步骤2)待时间进入下一帧图像时刻,更新为当前时刻,捕获并读取当前时刻帧图像,基于上一时刻帧图像中目标区域位置的中心位置,通过CamShift算法,结合当前时刻帧图像的颜色特征和LTP纹理特征,获得当前时刻帧图像中的初步目标概率模型;
步骤3)基于上一时刻帧图像中目标区域的目标概率模型,以及当前时刻帧图像中的初步目标概率模型,运用加权融合方式进行特征融合,计算获得目标区域预测权值;
步骤4)根据上一时刻帧图像中目标区域位置的中心位置,以及目标区域预测权值,通过Kalman滤波算法,预测获得当前时刻帧图像中目标区域的预测位置,作为当前时刻帧图像中目标区域的位置;
步骤5)获得当前时刻帧图像中目标区域位置的中心位置与图像捕获装置的光轴之间的夹角,并据此获得图像捕获装置的伺服电机跟踪控制信号,控制电控云台工作,实现图像捕获装置转动,使得当前时刻帧图像中目标区域预测位置的中心位置位于图像捕获装置的光轴上,然后进入步骤F;
步骤F.获得步骤5)电控云台工作过程中,电控云台上MEMS加速度计和MEMS陀螺仪采集的采集数据,并针对该MEMS加速度计和该MEMS陀螺仪的采集数据,首先进行卡尔曼滤波处理,然后采用四元数算法对经过滤波处理的采集数据进行处理,获得欧拉角,由四元数和欧拉角之间的转换关系,解算获得图像捕获装置的姿态角,进而获得所述图像捕获装置的当前姿态;
步骤G.根据图像捕获装置的当前姿态,获得伺服电机的偏转补偿角,生成伺服电机姿态稳定反向补偿控制信号,结合步骤5)中图像捕获装置所获得的伺服电机跟踪控制信号,合成最终的伺服电机控制信号,针对电控云台进行控制,然后进入步骤6);
步骤6)针对当前时刻帧图像中目标区域的位置,通过CamShift算法,提取颜色特征,结合LTP纹理特征,构建目标区域对应当前时刻帧图像的联合直方图,进而获得当前时刻帧图像中目标区域的目标概率模型,然后返回步骤2)。
2.根据权利要求1所述一种基于数字图像处理技术的视频目标跟踪方法,其特征在于,所述MEMS加速度计和MEMS陀螺仪为MPU6050运动传感器,MPU6050运动传感器设置于电控云台上。
3.根据权利要求1所述一种基于数字图像处理技术的视频目标跟踪方法,其特征在于,所述电控云台为二轴框架式云台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710224213.6A CN107145167B (zh) | 2017-04-07 | 2017-04-07 | 一种基于数字图像处理技术的视频目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710224213.6A CN107145167B (zh) | 2017-04-07 | 2017-04-07 | 一种基于数字图像处理技术的视频目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107145167A CN107145167A (zh) | 2017-09-08 |
CN107145167B true CN107145167B (zh) | 2020-12-29 |
Family
ID=59774715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710224213.6A Active CN107145167B (zh) | 2017-04-07 | 2017-04-07 | 一种基于数字图像处理技术的视频目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107145167B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110431507A (zh) * | 2018-05-31 | 2019-11-08 | 深圳市大疆创新科技有限公司 | 一种云台控制方法及云台 |
CN110958377B (zh) * | 2019-12-30 | 2023-05-05 | 西安奇维科技有限公司 | 一种捷联图像导引头跟踪补偿***及补偿方法 |
CN111452046A (zh) * | 2020-03-31 | 2020-07-28 | 佛山科学技术学院 | 基于虚拟现实的排爆机器人***、控制方法及存储介质 |
CN113179371B (zh) * | 2021-04-21 | 2023-04-07 | 新疆爱华盈通信息技术有限公司 | 一种拍摄方法、装置及抓拍*** |
CN113792595A (zh) * | 2021-08-10 | 2021-12-14 | 北京爱笔科技有限公司 | 目标行为检测方法、装置、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120107698A (ko) * | 2011-03-22 | 2012-10-04 | 부산대학교 산학협력단 | 동적 프로그래밍과 캠쉬프트 알고리즘을 이용한 영상 센서 기반 항공기 탐지 장치 및 방법 |
KR101588648B1 (ko) * | 2014-10-24 | 2016-01-26 | 주식회사 시그널웍스 | 지능형 영상 감시를 위한 보행자 검출 및 추적 방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101867798A (zh) * | 2010-05-18 | 2010-10-20 | 武汉大学 | 基于压缩域分析的Mean shift运动目标跟踪方法 |
CN102903121A (zh) * | 2012-08-31 | 2013-01-30 | 四川九洲电器集团有限责任公司 | 基于运动目标跟踪的融合算法 |
CN103077539B (zh) * | 2013-01-23 | 2015-08-12 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
CN104217428B (zh) * | 2014-08-22 | 2017-07-07 | 南京邮电大学 | 一种融合特征匹配和数据关联的视频监控多目标跟踪方法 |
CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
CN104463914B (zh) * | 2014-12-25 | 2018-04-03 | 天津工业大学 | 一种改进的Camshift目标跟踪方法 |
CN104967827A (zh) * | 2015-07-03 | 2015-10-07 | 北京旷视科技有限公司 | 一种摄像装置及其控制方法 |
CN106127802B (zh) * | 2016-06-16 | 2018-08-28 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
-
2017
- 2017-04-07 CN CN201710224213.6A patent/CN107145167B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120107698A (ko) * | 2011-03-22 | 2012-10-04 | 부산대학교 산학협력단 | 동적 프로그래밍과 캠쉬프트 알고리즘을 이용한 영상 센서 기반 항공기 탐지 장치 및 방법 |
KR101588648B1 (ko) * | 2014-10-24 | 2016-01-26 | 주식회사 시그널웍스 | 지능형 영상 감시를 위한 보행자 검출 및 추적 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN107145167A (zh) | 2017-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107145167B (zh) | 一种基于数字图像处理技术的视频目标跟踪方法 | |
CN109029433B (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
CN111504312B (zh) | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 | |
CN110702107A (zh) | 一种单目视觉惯性组合的定位导航方法 | |
CN112630813B (zh) | 基于捷联惯导和北斗卫星导航***的无人机姿态测量方法 | |
CN110595466B (zh) | 轻量级的基于深度学习的惯性辅助视觉里程计实现方法 | |
CN107014371A (zh) | 基于扩展自适应区间卡尔曼的无人机组合导航方法与装置 | |
CN105681674A (zh) | 基于机械稳像和电子稳像的稳像方法及复合式稳像*** | |
CN108759826B (zh) | 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法 | |
WO2018182524A1 (en) | Real time robust localization via visual inertial odometry | |
CN106289250A (zh) | 一种航向信息采集*** | |
CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
CN110207693B (zh) | 一种鲁棒立体视觉惯性预积分slam方法 | |
WO2021217371A1 (zh) | 可移动平台的控制方法和装置 | |
CN110824453A (zh) | 一种基于图像跟踪与激光测距的无人机目标运动估计方法 | |
CN109521785B (zh) | 一种随身拍智能旋翼飞行器*** | |
CN113379839A (zh) | 一种基于事件相机***的地面视角单目视觉里程计方法 | |
WO2020038720A1 (en) | Apparatus, method and computer program for detecting the form of a deformable object | |
WO2019183789A1 (zh) | 无人机的控制方法、装置和无人机 | |
CN114719848A (zh) | 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法 | |
CN114076596A (zh) | 一种基于星敏感器的自主星跟踪方法、***及存储介质 | |
CN109785428B (zh) | 一种基于多态约束卡尔曼滤波的手持式三维重建方法 | |
CN113110556B (zh) | 一种基于视觉传感器的无人机位置估计***及估计方法 | |
CN114604439A (zh) | 一种面向扑翼飞行机器人的航拍视频稳像*** | |
CN111625768B (zh) | 一种基于扩展卡尔曼滤波的手持云台姿态估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |