CN109212545A - 基于主动视觉的多信源目标跟踪测量***及跟踪方法 - Google Patents

基于主动视觉的多信源目标跟踪测量***及跟踪方法 Download PDF

Info

Publication number
CN109212545A
CN109212545A CN201811094592.2A CN201811094592A CN109212545A CN 109212545 A CN109212545 A CN 109212545A CN 201811094592 A CN201811094592 A CN 201811094592A CN 109212545 A CN109212545 A CN 109212545A
Authority
CN
China
Prior art keywords
target
image
pixel
super
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811094592.2A
Other languages
English (en)
Inventor
鲁新平
蒋海军
李吉成
余知音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANGSHA CHAOCHUANG ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
CHANGSHA CHAOCHUANG ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANGSHA CHAOCHUANG ELECTRONIC TECHNOLOGY Co Ltd filed Critical CHANGSHA CHAOCHUANG ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201811094592.2A priority Critical patent/CN109212545A/zh
Publication of CN109212545A publication Critical patent/CN109212545A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于图像处理技术领域，涉及一种基于主动视觉的多信源目标跟踪测量***及跟踪方法。该***包括光电组件和稳定平台；所述光电组件由可见光摄像机、红外热像仪、激光测距机、信息处理机和光电舱结构组成；所述可见光摄像机、红外热像仪、激光测距机和信息处理机均安装在光电舱结构内部；所述稳定平台由方位运动组件、俯仰运动组件和控制组件组成；所述控制组件接收信息处理机发出的指令，控制方位运动组件和俯仰运动组件将视轴平稳指向目标。本发明还提供了一种基于主动视觉的多信源目标跟踪方法，根据控制指令驱动方位运动组件和俯仰运动组件转动，使得可见光摄像机和红外热像仪的视轴指向目标，并使目标始终保持在拍摄图像的中央位置。

Description

基于主动视觉的多信源目标跟踪测量***及跟踪方法
技术领域
本发明属于图像处理技术领域，涉及一种基于主动视觉的多信源目标跟踪测量***及对目标进行测量和跟踪方法。
背景技术
当前，基于图像的目标跟踪和测量技术应用得越来越广泛，不同信源数据之间的相互验证和融合也成为达到在全天候、背景复杂场景下能稳定跟踪测量要求的有效方法。
随着科技的进步，飞行器在我们的生活中扮演着越来越重要的角色，伴随而来的是对飞行器跟踪和测量的需求也越来越多。比如机场中对飞机起降过程的监控和测量、对近些年兴起的消费级无人机的跟踪、导弹导引头对目标的跟踪等应用场景。
针对跟踪测量中的视场范围大、全天候跟踪、跟踪测量精度高等需求，目前国内外还没有特别好的解决方案。对此问题，本发明做了深入的研究。
发明内容
为解决上述技术问题，本发明提供了一种基于主动视觉的多信源跟踪***、测量方法及跟踪方法，解决在视场范围大、全天候跟踪、跟踪测量精度高等要求下对目标进行跟踪及测量的实际工程问题。具体技术方案如下：
一种基于主动视觉的多信源目标跟踪测量***，包括光电组件和稳定平台；所述光电组件安装在稳定平台上；
所述光电组件由可见光摄像机、红外热像仪、激光测距机、信息处理机和光电舱结构组成，用于对目标进行图像采集、测距和数据处理；所述可见光摄像机、红外热像仪、激光测距机和信息处理机均安装在光电舱结构内部；
所述稳定平台由方位运动组件、俯仰运动组件和控制组件组成；所述控制组件接收信息处理机发出的指令，控制方位运动组件和俯仰运动组件将视轴平稳指向目标。
本发明还提供了一种基于主动视觉的多信源目标跟踪方法，具体包括以下步骤：
(S1)可见光摄像机获取目标的可见光信息，并转换成可见光视频；红外热像仪获取目标的红外信息，并转换为红外视频；激光测距机获取目标的距离信息；
(S2)信息处理机处理可见光视频与红外视频得到目标脱靶量信息，并将目标脱靶量信息传送给控制组件；
(S3)利用稳定平台跟踪获取的目标指向信息和激光测距机传送的距离信息计算得到目标的地面坐标参数；
(S4)根据控制组件采集的陀螺速度数据、稳定平台位置数据、目标脱靶量信息和目标的地面坐标参数，计算稳定平台的运动量；信息处理机根据稳定平台的运动量生成控制指令，根据控制指令驱动方位运动组件和俯仰运动组件转动，使得可见光摄像机和红外热像仪的视轴指向目标，并使目标始终保持在拍摄图像的中央位置。
优选地，所述信息处理机处理可见光视频与红外视频得到目标脱靶量信息的具体过程为：
(a1)对于可见光摄像机和红外热像仪采集到的序列图像，进行测地显著性检测，进而获得精确的图像目标显著图；
(a2)对获得的目标显著序列图进行轨迹关联算法，进而得到目标当前帧的图像坐标相对于图像中心的偏移量，即为目标的脱靶量信息。
优选地，所述步骤(a1)中，对于可见光摄像机采集到的序列图像，获得精确的图像目标显著图的具体过程为：
(a111)采用线性迭代聚类算法进行超像素分割以得到超像素图像；
(a112)定义最短测地距离dgeo(p，q)为：
式(1)中，p和q均表示两个像素点的集合，公式(1)表示从p中选出一个点p1，再从q中选出n-1个点p2，p3，...，pn，即可以求出一个距离和，再重复上述步骤，可以求出很多个距离和，求其中的最小值，即为最短测地距离。利用CIELab颜色空间里的欧氏距离，在计算得到每个超像素块的最短测地距离后，找出相邻且颜色相似的超像素块合并成相同的区域；再利用边界连通公式把靠近图像边界的区域显著性值降低，同时提升远离边界的区域显著性值，得到每个超像素块的初步显著值，进而得出初步显著图。
(a113)对于得到的初步显著图，采用自适应阈值图像分割算法来进行图像分割，将图像分成背景和目标两部分，即得到了精确的图像目标显著图。
优选地，所述步骤(a1)中，对于红外热像仪采集到的序列图像，获得精确的图像目标显著图的具体过程为：
(a121)利用红外像机采集的图像灰度信息，采用相邻像素之间灰度值对比度的方法来去背景以突出目标，具体步骤如下：
(a1211)不考虑图像边缘的情况下，对于每一个像素点，以该像素点为中心分别取大小为N×N和(N-1)×(N-1)的矩形框；
(a1212)求出N×N矩形框和(N-1)×(N-1)矩形框之间所有像素点灰度的均值mean；
(a1213)按照下式计算当前像素的灰度值：
其中D(x，y)为当前像素点的灰度值，D′(x，y)为恒虚警之后对应的灰度值，E为设置的阈值；
(a122)定义最短测地距离dgeo(p，q)，
利用灰度空间里的欧氏距离，计算得到每个超像素块的最短测地距离后，找出相邻且灰度相似的超像素块合并成相同的区域，进而得出初步显著图；
(a123)对于得到的初步显著图，采用自适应阈值图像分割算法来进行图像分割，将图像分成背景和目标两部分，即得到了精确的图像目标显著图。
优选地，所述步骤(a2)中的轨迹关联算法的具体步骤如下：
(a21)接收第一帧图像，经过测地显著性检测得到目标的连通域，并初始化轨迹参数；
(a22)接收新的图像后，以上一帧建立的轨迹中的每个目标位置对当前帧图像中对应的目标位置进行预测，预测公式如下：
式(4)中，下标k表示图像帧的序号，Xk+1、Xk、Xk-1、Xk-2分别为预测的下一帧、当前帧、前一帧、前两帧的目标位置；
(a23)在预测的位置进行轨迹关联匹配，匹配的原则包括前后帧目标之间的距离、面积、相似度、灰度均值的变化量，如果匹配成功，就将此目标更新到轨迹中，若匹配不成功，则将此目标新建为轨迹；在具体实施例过程中，匹配原则中的参数可以根据具体情况设置相应参数进行控制。
(a24)根据当前目标轨迹的置信度来进行目标轨迹的检验，当置信度大于αH，则确认此轨迹为目标，当置信度小于αL，则删除此目标轨迹。αH、αL为预先设置的阈值。
轨迹关联的作用是通过目标的轨迹，确定每一帧中目标在图像上的坐标位置，进而算出目标位置相对于图像中心点偏移量，即为目标的脱靶量信息。
为了更好理解本发明技术方案内容，下面对有关原理进行详细说明。
1、测量原理
跟踪测量***常用于跟踪飞行器，并实时测量其空间坐标，因而实质上是一个光电经纬仪。其采用方位俯仰运动结构，属于典型的地平式光电经纬仪。为了测量目标的位置信息，将跟踪测量器的旋转中心点作为原点，建立地面坐标系，如附图3所示。如有一目标某一时刻的位置在M点，其在水平面的投影为M′点，连接OM、OM′。欲确定M点的空间位置，则需要测量OM′与X轴夹角即方位角α、OM与水平面的夹角即俯仰角β、以及OM的长度L′，即可得到M点的坐标：
式(5)中，L′为测量目标到地面坐标系原点的距离，由激光测距机给出；α和β分别为待测目标在地面坐标系下的方位角和俯仰角，由跟踪测量器上装在方位轴和俯仰轴上的测角装置(旋转变压器)测出。这样就能测量出待测目标在当地坐标系下实时的空间坐标。
2、像机标定和坐标转换原理
本发明提出的跟踪测量***相当于经纬像机，涉及到的主要坐标系有：地面坐标系、转台初始坐标系、转台坐标系、摄像机坐标系和图像坐标系。各个坐标系之间的转换关系如下：
(1)地面坐标系和转台初始坐标系之间的关系
地面坐标系P(XW，YW，ZW)T与转台初始坐标系(XT，YT，ZT)T之间的关系可以分解成绕着坐标原点的旋转和平移，T表示矩阵或向量的转置符号，关系式如下：
式(6)中，R为旋转矩阵，Q为平移向量。若坐标系先绕X轴旋转Rx，再绕Y轴旋转Ry，再绕Z轴旋转Rz，则R可分解成Rx、Ry、Rz相乘，且其表达式如下：
我们将(XW，YW，ZW，1)T记作XW，(XT，YT，ZT，1)T记作XT，地面坐标系与转台初始坐标之间的关系TR记作HWT。则式(6)又可写为：
XT＝HWTXW (8)
(2)转台初始坐标系与转台坐标系之间的关系
设转台初始坐标系为XT，转台坐标系为XT′，由于转台初始坐标系与转台坐标系的坐标原点始终是重合的，故两个坐标系之间只有旋转而没有平移关系。当转台初始坐标系经过方位角α和俯仰角β的旋转得到转台坐标系时，它们之间的关系HTT′为：
XT′＝HTT′XT＝RX(β)RY(α)XT (9)
式(9)中RX(β)和RY(α)计算方法由式(7)可得。
(3)转台坐标系与摄像机坐标系之间的关系
设转台坐标系为XT′，摄像机坐标系为XC，由于摄像机与转台是相对固定的，所以它们之间的相对位置关系HT′C也是固定的：
XC＝HT′CXT′ (10)
(4)摄像机坐标系与图像坐标系之间的关系
设摄像机坐标系为(XC，YC，ZC)T，则摄像机坐标系与图像坐标系之间的投影关系满足中心透视投影成像模型：
式(11)中，(x，y，1)T为像点P的图像齐次坐标，记为x，K为摄像机的内参矩阵，(Cx，Cy)为像机的主点坐标，Fx、Fy分别为x、y方向上的等效焦距。
由上述可得，空间点XW到像点x的投影关系为：
ZCx＝KHT′CHTT′HWTXW＝MT′CHTT′HWTXW (12)
式(12)中MT′C为转台坐标系与图像坐标系之间的投影矩阵。由于转台初始坐标系与转台坐标系之间的旋转关系已知，故HTT′已知，要想实时求解出地面坐标系与摄像机图像坐标系之间的投影关系，关键在于投影矩阵MT′C和矩阵HWT的求解。
由于本发明的基于普通二维旋转平台的摄像机很难直接求解出矩阵HWT，故我们采用多次旋转的方法来标定像机。
假设摄像机在一次旋转之前的转台坐标系为OT1-XT1YT1ZT1，摄像机坐标系为OC1-XC1YC1ZC1，旋转HT1T2之后对应的转台坐标系和摄像机坐标系分别为OT2-XT2YT2ZT2和OC2-XC2YC2ZC2，可得到下式：
式(13)中，HWC1和HWC2分别为旋转前后世界坐标系和摄像机坐标系之间的关系，HT1C1和HT2C2分别为旋转前后转台坐标系和摄像机坐标系之间的关系，HTT1和HT1T2分别为旋转前后转台坐标系和转台初始坐标系之间的关系，HWT为转台初始坐标系和世界坐标系之间的关系。
结合式(13)可得：
由于摄像机和平台是相对固定的，两者之间的关系不随转台转动发生变化，因此有：
HT2C2＝HT1C1＝HT′C (15)
将式(15)带入式(14)可得：
式(16)中HWC1和HWC2分别为转台转动前后摄像机的外参数，可以利用常用的手眼标定的方法计算得到，HT1T2可由转台转动的方位角和俯仰角计算得到，故我们可以求解出HT′C。再将求得的HT′C带入式(14)中，即可得到像机任意时刻的外参数，再结合由Zhang’s标定法得到的像机内参数，可以实时确定世界坐标系与经纬像机之间的投影关系。至此，跟踪测量***中转台上像机的标定任务完成。
3、目标跟踪算法原理
本发明提出的一种基于主动视觉的多信源目标跟踪测量***，主要应用于对空条件下对各类型飞行器进行跟踪和测量，所以目标的背景较为简单。在此应用背景下，我们提出了“测地显著性检测+轨迹关联”的目标跟踪算法。由于本***有可见光和红外两套像机，故测地显著性检测算法针对两种情况也有不同的算法。
(1)测地显著性检测
测地线又称短程线或者大地线，定义为空间中两点的局域最短路径，在图像处理领域常用于图像显著性检测和图像分割检测等方面。
1)可见光图像
如附图4所示的可见光图像的测地显著性检测流程图，算法的步骤如下：
1.1)超像素分割
超像素的定义是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。我们采用简单线性迭代聚类算法SLIC(Simple Linear Iterative Clustering)进行局部聚类。先通过由CIELab颜色空间中的L、A、B向量以及x、y像素坐标表示的5维向量代替欧氏距离，再用经典的k-means聚类算法得到超像素图像。
1.2)测地线距离
定义在CIELab颜色空间里的欧氏距离：
式(17)中，dc、ds分别为颜色欧氏距离和空间坐标的欧氏距离，S为超像素的面积，m为权重值。
对于得到的包含n个超像素的图像，先计算相邻超像素(p，q)之间的CIELab颜色空间的欧氏距离dapp(p，q)，再定义最短测地距离dgeo(p，q)为：
在计算得到每个超像素块的最短测地距离后，找出彼此相邻且颜色相似的超像素块合并成相同的区域。实施例中可以根据具体情况确定相邻和颜色相似的具体指标。
定义边界连通公式如下：
式(19)中，区域Bnd表示图像边界超像素集合，区域V为测地距离合并的相似度区域。把靠近图像边界的区域显著性值降低，同时提升远离边界的区域显著性值，得到每个超像素块的初步显著值S(p)，进而得出初步显著图。
1.3)阈值分割
对于得到的初步显著图，采用自适应阈值图像分割算法(OTSU)来进行图像分割，它是按图像的灰度特性，将图像分成背景和目标两部分。这样就得到了精确的图像目标显著图。
2)红外图像
如附图5所示的红外图像的测地显著性检测流程图，该算法的步骤如下：
2.1)恒虚警
由于红外像机采集的图像只有灰度信息，采用相邻像素之间灰度值对比度的方法来去背景以突出目标。具体步骤如下：
2.1.1)不考虑图像边缘的情况下，对于每一个像素点，以该像素点为中心分别开大小为N×N和(N-1)×(N-1)的矩形框，实施例中N为整数，取值范围为7～15；
2.1.2)求出大框和小框之间所有像素点灰度的均值m。
2.1.3)按照式(20)计算当前像素的灰度值：
式(16)中，D(x，y)为当前像素点的灰度值，D′(x，y)为恒虚警之后对应的灰度值，E为设置的阈值。
2.2)测地线距离
定义在灰度空间里的欧氏距离：
式(21)中，dg和ds分别为灰度和空间坐标的欧氏距离，m为权重值。
对于经过恒虚警得到的图像，先计算相邻像素(p，q)之间的灰度空间的欧氏距离dgpp(p，q)，再定义最短测地距离dgeo(p，q)，
在计算得到每个超像素块的最短测地距离后，找出相邻且灰度相似的超像素块合并成相同的区域。
2.3)阈值分割
采用与1.3)相同步骤的自适应阈值图像分割算法(OTSU)来进行图像分割，这样就得到了精确的图像目标显著图。
如附图6所示，为轨迹关联算法流程图，根据当前目标轨迹的置信度来进行目标轨迹的检验，当置信度大于αH，则确认此轨迹为目标，当置信度小于αL，则删除此目标轨迹。
经过上述的测地显著性检测和轨迹关联，实现了对可见光和红外序列图像进行稳定地检测和跟踪。
采用本发明获得的有益效果：本发明所提出的一种基于主动视觉的多信源跟踪测量***，能够解决在视场范围大、全天候、跟踪测量精度高等要求下对目标进行跟踪及测量的实际工程问题，与其他目标跟踪方法相比具有以下比较明显的特点和优势。
1、相对于固定视场的跟踪测量***来说，本***能够实现全方位、全视场范围的跟踪测量，视场范围大；
2、本***的转台搭载了可见光摄像机和红外成像仪，充分利用多波段信息融合处理的优势，无论白天还是晚上都能对目标进行跟踪测量，具备全天候跟踪测量的能力；
3、能实现可见光目标和红外目标的稳定跟踪，具有跟踪迅速、目标跟踪精度高、目标检测和识别能力强、指向精度高、测距精度高等优点；
4、作用距离长。在能见度大于30km，相对湿度不大于70％的天气条件下，对于14m×4m的飞行类目标：可见光探测距离不小于20km，识别距离不小于10km；红外探测距离不小于20km，识别距离不小于10km；激光测距机测程不小于5km；
5、应用范围广。本***具有飞行器姿态识别、目标航迹探测功能，能广泛应用于飞行器的跟踪和测量场景，比如无人机跟踪监测、飞机起降过程中飞行轨迹、飞行姿态监控等方面；
6、所需硬件设备成熟，成本较低，具有很强的工程实用性，设备通用性强，方便使用。
附图说明
图1为本发明目标跟踪测量***组成结构框图；
图2为本发明目标跟踪测量***中的测量信号流图；
图3为测量坐标系(地面坐标系)示意图；
图4为可见光图像的测地显著性检测流程图；
图5为红外图像的测地显著性检测流程图；
图6为轨迹关联算法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，为本发明跟踪***组成结构框图；本发明提供了一种基于主动视觉的多信源目标跟踪测量***，该***包括光电组件和稳定平台；所述光电组件安装在稳定平台上；所述光电组件由可见光摄像机、红外热像仪、激光测距机、信息处理机和光电舱结构组成；所述可见光摄像机、红外热像仪、激光测距机和信息处理机均安装在光电舱结构内部；
所述稳定平台由方位运动组件、俯仰运动组件和控制组件组成；所述控制组件接收信息处理机发出的指令，控制方位运动组件和俯仰运动组件将视轴平稳指向目标。
如图2所示为本发明目标跟踪测量***中的测量信号流图；可见光摄像机获取目标的可见光信息后转换成可见光视频；红外热像仪获取目标的红外信息后转换为红外视频；激光测距机获取目标的距离信息；信息处理机将用目标跟踪方法处理可见光视频与红外视频得到的目标脱靶量信息传送给控制组件，利用稳定平台跟踪得到的目标指向信息和激光测距机传送的距离信息计算得到目标的地面坐标参数(即目标在当地坐标系下实时的空间坐标)。目标指向信息包括方位角和俯仰角，是通过稳定平台测量获取的；控制组件采集陀螺速度数据、稳定平台位置数据、信息处理机传递过来的目标脱靶量信息、以及目标的地面坐标参数，计算稳定平台的运动量，根据信息处理机的控制指令，驱动方位和俯仰运动组件转动，使得视轴平稳指向目标并使目标始终保持在拍摄图像的中央位置，并实时得到目标空间坐标。

Claims (8)

1.一种基于主动视觉的多信源目标跟踪测量***，其特征在于，该多信源目标跟踪测量***包括光电组件和稳定平台；所述光电组件安装在稳定平台上；
所述光电组件由可见光摄像机、红外热像仪、激光测距机、信息处理机和光电舱结构组成；所述可见光摄像机、红外热像仪、激光测距机和信息处理机均安装在光电舱结构内部；
所述稳定平台由方位运动组件、俯仰运动组件和控制组件组成；所述控制组件接收信息处理机发出的指令，控制方位运动组件和俯仰运动组件将视轴平稳指向目标。
2.一种基于主动视觉的多信源目标跟踪方法，其特征在于包括以下步骤：
(S1)可见光摄像机获取目标的可见光信息，并转换成可见光视频；红外热像仪获取目标的红外信息，并转换为红外视频；激光测距机获取目标的距离信息；
(S2)信息处理机处理可见光视频与红外视频得到目标脱靶量信息，并将目标脱靶量信息传送给控制组件；
(S3)利用稳定平台跟踪获取的目标指向信息和激光测距机传送的距离信息计算得到目标的地面坐标参数；
(S4)根据控制组件采集的陀螺速度数据、稳定平台位置数据、目标脱靶量信息和目标的地面坐标参数，计算稳定平台的运动量；信息处理机根据稳定平台的运动量生成控制指令，根据控制指令驱动方位运动组件和俯仰运动组件转动，使得可见光摄像机和红外热像仪的视轴指向目标，并使目标始终保持在拍摄图像的中央位置。
3.如权利要求1所述的一种基于主动视觉的多信源目标跟踪方法，其特征在于所述信息处理机处理可见光视频与红外视频得到目标脱靶量信息的具体过程为：
(a1)对于可见光摄像机和红外热像仪采集到的序列图像，进行测地显著性检测，进而获得精确的图像目标显著图；
(a2)对获得的目标显著序列图进行轨迹关联算法，进而得到目标当前帧的图像坐标相对于图像中心的偏移量，即为目标脱靶量信息。
4.根据权利要求3所述的一种基于主动视觉的多信源目标跟踪方法，其特征在于，所述步骤(a1)中，对于可见光摄像机采集到的序列图像，获得精确的图像目标显著图的具体过程为：
(a111)采用线性迭代聚类算法进行超像素分割以得到超像素图像；
(a112)定义最短测地距离dgeo(p，q)为：
其中dapp(pi，pi+1)表示相邻超像素(pi，pi+1)之间的CIELab颜色空间的欧氏距离，n表示超像素的总个数；
利用CIELab颜色空间里的欧氏距离，在计算得到每个超像素块的最短测地距离后，找出相邻且颜色相似的超像素块合并成相同的区域；再利用边界连通公式把靠近图像边界的区域显著性值降低，同时提升远离边界的区域显著性值，得到每个超像素块的初步显著值，进而得出初步显著图；
(a113)对于得到的初步显著图，采用自适应阈值图像分割算法来进行图像分割，将图像分成背景和目标两部分，即得到了精确的图像目标显著图。
5.根据权利要求3所述的一种基于主动视觉的多信源目标跟踪方法，其特征在于，所述步骤(a1)中，对于红外热像仪采集到的序列图像，获得精确的图像目标显著图的具体过程为：
(a121)利用红外像机采集的图像灰度信息，采用相邻像素之间灰度值对比度的方法来去背景以突出目标，具体步骤如下：
(a1211)不考虑图像边缘的情况下，对于每一个像素点，以该像素点为中心分别取大小为N×N和(N-1)×(N-1)的矩形框；
(a1212)求出N×N矩形框和(N-1)×(N-1)矩形框之间所有像素点灰度的均值mean；
(a1213)按照下式计算当前像素的灰度值：
其中D(x，y)为当前像素点的灰度值，D′(x，y)为恒虚警之后对应的灰度值，E为设置的阈值；
(a122)定义最短测地距离dgeo(p，q)，
其中dgpp(pi，pi+1)表示相邻超像素(pi，pi+1)之间的灰度空间的欧氏距离，n表示超像素的总个数；
利用灰度空间里的欧氏距离，计算得到每个超像素块的最短测地距离后，找出相邻且灰度相似的超像素块合并成相同的区域，进而得出初步显著图；
(a123)对于得到的初步显著图，采用自适应阈值图像分割算法来进行图像分割，将图像分成背景和目标两部分，即得到了精确的图像目标显著图。
6.根据权利要求3所述的一种基于主动视觉的多信源目标跟踪方法，其特征在于，所述步骤(a2)中的轨迹关联算法的具体步骤如下：
(a21)接收第一帧图像，经过测地显著性检测得到目标的连通域，并初始化轨迹参数；
(a22)接收新的图像后，以前一帧建立的轨迹中的每个目标对当前帧图像进行预测，预测公式如下：
式(4)中，下标k表示图像帧的序号，Xk+1、Xk、Xk-1、Xk-2分别为预测的下一帧、当前帧、前一帧、前两帧的目标位置；
(a23)在预测的位置进行轨迹关联匹配，如果匹配成功，就将此目标更新到轨迹中，若匹配不成功，则将此目标新建为轨迹；
(a24)根据当前目标轨迹的置信度来进行目标轨迹的检验，当置信度大于αH，则确认此轨迹为目标，当置信度小于αL，则删除此目标轨迹。
7.根据权利要求4所述的一种基于主动视觉的多信源目标跟踪方法，其特征在于，所述颜色空间里的欧氏距离：
其中，dc、ds分别为颜色欧氏距离和空间坐标的欧氏距离，S为超像素的面积，m为权重值。
8.根据权利要求5所述的一种基于主动视觉的多信源目标跟踪方法，其特征在于，所述灰度空间里的欧氏距离：
其中，dg、ds分别为灰度欧氏距离和空间坐标的欧氏距离，S为超像素的面积，m为权重值。
CN201811094592.2A 2018-09-19 2018-09-19 基于主动视觉的多信源目标跟踪测量***及跟踪方法 Pending CN109212545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811094592.2A CN109212545A (zh) 2018-09-19 2018-09-19 基于主动视觉的多信源目标跟踪测量***及跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811094592.2A CN109212545A (zh) 2018-09-19 2018-09-19 基于主动视觉的多信源目标跟踪测量***及跟踪方法

Publications (1)

Publication Number Publication Date
CN109212545A true CN109212545A (zh) 2019-01-15

Family

ID=64984681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811094592.2A Pending CN109212545A (zh) 2018-09-19 2018-09-19 基于主动视觉的多信源目标跟踪测量***及跟踪方法

Country Status (1)

Country Link
CN (1) CN109212545A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919007A (zh) * 2019-01-23 2019-06-21 绵阳慧视光电技术有限责任公司 一种生成红外图像标注信息的方法
CN109932727A (zh) * 2019-04-19 2019-06-25 洛阳顶扬光电技术有限公司 一种提高激光测距***中远距离测距精度的方法
CN110068827A (zh) * 2019-04-29 2019-07-30 西北工业大学 一种无人机自主目标测距的方法
CN110706273A (zh) * 2019-08-21 2020-01-17 成都携恩科技有限公司 一种基于无人机的实时塌方区域面积的测量方法
CN110929567A (zh) * 2019-10-17 2020-03-27 北京全路通信信号研究设计院集团有限公司 基于单目相机监控场景下目标的位置速度测量方法及***
CN111640141A (zh) * 2020-05-20 2020-09-08 山东神戎电子股份有限公司 一种基于热成像的低慢目标定位跟踪方法
CN112033372A (zh) * 2020-07-20 2020-12-04 河北汉光重工有限责任公司 无雷达引导的固定屏占比稳定自动跟踪方法
CN112546525A (zh) * 2020-12-09 2021-03-26 上海赛复智能科技有限公司 一种中红外信号与图像分析相结合的火焰定位方法
CN112630773A (zh) * 2020-12-16 2021-04-09 航天科工微电子***研究院有限公司 基于共架雷达复合探测的光电跟踪与控制装备
CN112747745A (zh) * 2020-12-25 2021-05-04 长春理工大学 一种目标特性参数测量装置及方法
CN112950677A (zh) * 2021-01-12 2021-06-11 湖北航天技术研究院总体设计所 图像跟踪仿真方法、装置、设备及存储介质
CN113075709A (zh) * 2021-03-24 2021-07-06 刘成 车载卫星导航方法、装置、存储介质及处理器
CN113608232A (zh) * 2021-06-30 2021-11-05 湖南宏动光电有限公司 一种激光动态扫描测距方法及***
CN113885312A (zh) * 2021-11-06 2022-01-04 深圳市明日***集成有限公司 光电跟踪***及方法
CN114167900A (zh) * 2021-11-19 2022-03-11 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪***标校方法及装置
CN117553756A (zh) * 2024-01-10 2024-02-13 中国人民解放军32806部队 基于目标跟踪的脱靶量计算方法、装置、设备及存储介质
CN117848354A (zh) * 2024-03-07 2024-04-09 长春理工大学 空间目标多模态信息融合光电探测定位定轨装置和方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972140A (zh) * 2010-09-07 2011-02-16 航天海鹰安全技术工程有限公司 热成像体温监控装置、***及方法
CN102314693A (zh) * 2011-07-27 2012-01-11 中国科学院长春光学精密机械与物理研究所 双模视频目标识别跟踪***
CN102833529A (zh) * 2012-09-19 2012-12-19 山东神戎电子股份有限公司 一种带测距稳像功能的多光谱监控***
CN103714553A (zh) * 2012-10-09 2014-04-09 杭州海康威视数字技术股份有限公司 一种多目标跟踪方法和装置
CN105959519A (zh) * 2016-05-31 2016-09-21 成都晶希科技有限公司 舰载声光电三合一执法取证***
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN106778635A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种基于视觉显著性的人体区域检测方法
CN107770492A (zh) * 2017-10-17 2018-03-06 北京中星时代科技有限公司 舰载多功能光电监视***
CN108008408A (zh) * 2017-11-24 2018-05-08 北京国泰蓝盾科技有限公司 搜索跟踪成像方法、装置及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972140A (zh) * 2010-09-07 2011-02-16 航天海鹰安全技术工程有限公司 热成像体温监控装置、***及方法
CN102314693A (zh) * 2011-07-27 2012-01-11 中国科学院长春光学精密机械与物理研究所 双模视频目标识别跟踪***
CN102833529A (zh) * 2012-09-19 2012-12-19 山东神戎电子股份有限公司 一种带测距稳像功能的多光谱监控***
CN103714553A (zh) * 2012-10-09 2014-04-09 杭州海康威视数字技术股份有限公司 一种多目标跟踪方法和装置
CN105959519A (zh) * 2016-05-31 2016-09-21 成都晶希科技有限公司 舰载声光电三合一执法取证***
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN106778635A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种基于视觉显著性的人体区域检测方法
CN107770492A (zh) * 2017-10-17 2018-03-06 北京中星时代科技有限公司 舰载多功能光电监视***
CN108008408A (zh) * 2017-11-24 2018-05-08 北京国泰蓝盾科技有限公司 搜索跟踪成像方法、装置及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨鑫 等: "基于L0平滑的超像素块最短测地距离的显著区域提取方法", 《光电子 激光》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919007A (zh) * 2019-01-23 2019-06-21 绵阳慧视光电技术有限责任公司 一种生成红外图像标注信息的方法
CN109919007B (zh) * 2019-01-23 2023-04-18 绵阳慧视光电技术有限责任公司 一种生成红外图像标注信息的方法
CN109932727B (zh) * 2019-04-19 2021-11-19 洛阳顶扬光电技术有限公司 一种提高激光测距***中远距离测距精度的方法
CN109932727A (zh) * 2019-04-19 2019-06-25 洛阳顶扬光电技术有限公司 一种提高激光测距***中远距离测距精度的方法
CN110068827A (zh) * 2019-04-29 2019-07-30 西北工业大学 一种无人机自主目标测距的方法
CN110706273A (zh) * 2019-08-21 2020-01-17 成都携恩科技有限公司 一种基于无人机的实时塌方区域面积的测量方法
CN110706273B (zh) * 2019-08-21 2023-04-21 成都携恩科技有限公司 一种基于无人机的实时塌方区域面积的测量方法
CN110929567A (zh) * 2019-10-17 2020-03-27 北京全路通信信号研究设计院集团有限公司 基于单目相机监控场景下目标的位置速度测量方法及***
CN110929567B (zh) * 2019-10-17 2022-09-27 北京全路通信信号研究设计院集团有限公司 基于单目相机监控场景下目标的位置速度测量方法及***
CN111640141A (zh) * 2020-05-20 2020-09-08 山东神戎电子股份有限公司 一种基于热成像的低慢目标定位跟踪方法
CN111640141B (zh) * 2020-05-20 2023-10-24 山东神戎电子股份有限公司 一种基于热成像的低慢目标定位跟踪方法
CN112033372A (zh) * 2020-07-20 2020-12-04 河北汉光重工有限责任公司 无雷达引导的固定屏占比稳定自动跟踪方法
CN112546525A (zh) * 2020-12-09 2021-03-26 上海赛复智能科技有限公司 一种中红外信号与图像分析相结合的火焰定位方法
CN112630773A (zh) * 2020-12-16 2021-04-09 航天科工微电子***研究院有限公司 基于共架雷达复合探测的光电跟踪与控制装备
CN112747745A (zh) * 2020-12-25 2021-05-04 长春理工大学 一种目标特性参数测量装置及方法
CN112950677A (zh) * 2021-01-12 2021-06-11 湖北航天技术研究院总体设计所 图像跟踪仿真方法、装置、设备及存储介质
CN113075709A (zh) * 2021-03-24 2021-07-06 刘成 车载卫星导航方法、装置、存储介质及处理器
CN113608232A (zh) * 2021-06-30 2021-11-05 湖南宏动光电有限公司 一种激光动态扫描测距方法及***
CN113608232B (zh) * 2021-06-30 2024-06-04 湖南宏动光电有限公司 一种激光动态扫描测距方法及***
CN113885312A (zh) * 2021-11-06 2022-01-04 深圳市明日***集成有限公司 光电跟踪***及方法
CN114167900A (zh) * 2021-11-19 2022-03-11 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪***标校方法及装置
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪***标校方法及装置
CN117553756A (zh) * 2024-01-10 2024-02-13 中国人民解放军32806部队 基于目标跟踪的脱靶量计算方法、装置、设备及存储介质
CN117553756B (zh) * 2024-01-10 2024-03-22 中国人民解放军32806部队 基于目标跟踪的脱靶量计算方法、装置、设备及存储介质
CN117848354A (zh) * 2024-03-07 2024-04-09 长春理工大学 空间目标多模态信息融合光电探测定位定轨装置和方法
CN117848354B (zh) * 2024-03-07 2024-05-31 长春理工大学 空间目标多模态信息融合光电探测定位定轨装置和方法

Similar Documents

Publication Publication Date Title
CN109212545A (zh) 基于主动视觉的多信源目标跟踪测量***及跟踪方法
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
US9070289B2 (en) System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US8416298B2 (en) Method and system to perform optical moving object detection and tracking over a wide area
US8666661B2 (en) Video navigation
CN102353377B (zh) 一种高空长航时无人机组合导航***及其导航定位方法
CN113485441A (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN105352509B (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN106056075A (zh) 基于无人机的社区网格化中重点人员识别及跟踪***
CN110926474A (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN110595476A (zh) 一种基于gps和图像视觉融合的无人机降落导航方法及装置
CN111670419A (zh) 用于自主导航的主动补充曝光设置
WO2020083103A1 (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN111426320B (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
CN113627473A (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
CN110706273B (zh) 一种基于无人机的实时塌方区域面积的测量方法
CN111913190B (zh) 一种基于彩色红外光谱共孔径成像的临近空间暗弱目标定向装置
CN109883433A (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN116520275A (zh) 探测追踪低慢小目标的雷达光电一体化方法和***
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及***
CN112950671A (zh) 一种无人机对运动目标实时高精度参数测量方法
CN109764864B (zh) 一种基于颜色识别的室内无人机位姿获取方法及***
CN113589848B (zh) 基于机器视觉的多无人机探测定位跟踪***及方法
WO2020243256A1 (en) System and method for navigation and geolocation in gps-denied environments
Alefs et al. Accurate speed measurement from vehicle trajectories using adaboost detection and robust template tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190115

RJ01 Rejection of invention patent application after publication