CN102968801A - 一种光电混合联合变换相关的运动目标跟踪方法 - Google Patents

一种光电混合联合变换相关的运动目标跟踪方法 Download PDF

Info

Publication number
CN102968801A
CN102968801A CN2012103579996A CN201210357999A CN102968801A CN 102968801 A CN102968801 A CN 102968801A CN 2012103579996 A CN2012103579996 A CN 2012103579996A CN 201210357999 A CN201210357999 A CN 201210357999A CN 102968801 A CN102968801 A CN 102968801A
Authority
CN
China
Prior art keywords
target
image
processing
correlation
light modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103579996A
Other languages
English (en)
Other versions
CN102968801B (zh
Inventor
钱义先
洪雪婷
邵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201210357999.6A priority Critical patent/CN102968801B/zh
Publication of CN102968801A publication Critical patent/CN102968801A/zh
Application granted granted Critical
Publication of CN102968801B publication Critical patent/CN102968801B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于光信息处理及数字图像处理技术领域,具体涉及一种光电混合联合变换相关的运动目标跟踪方法。该方法是利用快速实时光学相关原理对高速CCD采集的图像序列进行光学相关运算,进而获得运动图像的互相关峰,提取出相关峰的质心坐标,即可获得相邻图像帧之间的相对运动位移。本发明采用光学相关处理的方法,以光速进行运算,速度比纯数字电子处理提高数百倍,进而为实时跟踪奠定基础。该方法具有质心位置信息探测精度高。该方法兼有光学图像处理的高速、大容量、并行处理与数字处理技术的灵活性、精确性、可编程的优点,因此跟踪精度高实时性好。

Description

一种光电混合联合变换相关的运动目标跟踪方法
本发明涉及一种运动目标跟踪方法,尤其涉及一种光电混合联合变换相关的运动目标跟踪方法,其目的在于解决复杂背景下实时跟踪运动目标的难题,属于光信息处理及数字图像处理技术领域。
背景技术
目标跟踪是一项融合图像处理、模式识别、概率论及随机过程等多学科的复杂课题,其一直是计算机视觉领域的研究重点,广泛应用于航空航天、导弹制导、安防监控等领域。但由于成像视角、时间等变化引起光照的变化;不同时间内因相对运动造成目标成像发生旋转、缩放、形变的变化;目标高速运动造成的图像模糊等原因,使得运动目标实时跟踪十分困难。目前目标跟踪的方法主要有基于特征匹配、基于检测、基于滤波预测等三大类方法。其中比较优秀的有SIFT特征匹配、Meanshiff、粒子滤波等方法。其中SIFT特征匹配对目标旋转、缩放、变形等有很好的鲁棒性,但其计算量大,需要的存储空间也大;Meanshiff即均值漂移方法,使用核直方图作为目标模型可以抵抗部分边缘遮挡,但对全部遮挡失去鲁棒性;粒子滤波方法采用概率论方法预测目标位置,缺点是计算量大,定位精度不高。上述常用的方法均为纯数字处理,计算量大,造成实时跟踪困难。因此,本发明的一种光电混合联合变换相关的运动目标跟踪方法,利用光电混合相结合结合的方法,兼有光学图像处理的高速、大容量、并行处理与数字处理技术的灵活性、精确性、可编程的优点,因此,跟踪精度高、时性好。
发明内容
为了克服运动目标跟踪中计算量大、跟踪困难、跟踪实时性差的难题,本发明的一种光电混合联合变换相关的运动目标跟踪方法,其目的在于解决复杂背景下实时跟踪运动目标的难题。
本发明的一种光电混合联合变换相关的运动目标跟踪方法,技术特点是采用光学相关处理与数字处理相结合的混合处理方法。为达到上述目的,本发明的构思是:对高速CCD采集到的图像序列进行光学联合变换,然后获得两幅相邻序列图像的互相关峰,通过质心算法提取出互相关峰的质心坐标,即相邻目标图像的位置,就可以知道相邻目标图像之间的运动位移矢量,进而可以计算出跟踪时间内目标的运动轨迹,实现高精度实时跟踪。
根据上述发明构思,一种光电混合联合变换相关的运动目标跟踪方法,包含以下步骤:
步骤(1)首先利用高速CCD图像传感器获得目标的图像序列,将其存储在计算机1中,并将相邻图像并排输入到空间光调制器1中,其中当前帧为参考图像,下一帧为输入图像(目标图像)。
步骤(2)经过透镜1准直的激光(laser)照射空间光调制器1,并通过傅里叶变换透镜2,在其傅里叶透镜输出面上用CCD1探测器记录参考图像和目标图像的联合变换功率谱。
步骤(3)将该功率谱输入到计算机2内,经数字处理器处理再输入到空间光调制器2中,经另一路激光照射空间光调制器2和傅里叶变换透镜3,由CCD2探测器记录其相关峰。
步骤(4)探测并处理互相关峰的质心坐标,即目标图像和参考图像的质心坐标,即可以知道相邻两帧之间的相对运动矢量。
步骤(5)不断以下一帧代替当前帧作为参考图像,探测出序列图像的质心位置,即可处理出目标的运动轨迹,实现实时跟踪。
该方法同时兼有光学图像处理的高速(基本上按光速进行)、大容量、并行处理与数字处理技术的灵活性、精确性、可编程的优点,因此目标跟踪精度高、实时性好。
一种光电混合联合变换相关的运动目标跟踪方法,其主要包括由:高速CCD、CCD1、CCD2、激光器(laser)、透镜1、透镜2、透镜3、空间光调制器1、空间光调制器2、计算机1、计算机2、数字处理器组成。
所述高速CCD用于获取目标图像序列。
所述探测器CCD1、CCD2用于探测联合图像功率谱和相关峰。
所述数字处理用于数字处理出目标质心位置。
所述空间光调制器1和2用于显示图像。
所述激光用作***的光源。
附图说明
图1是本发明的基本原理图。
图2是目标跟踪时间位移曲线图。
具体实施方式
以下结合附图和实施例进行详述,但本发明绝非仅限所介绍的实施例。
如图1所示,一种光电混合联合变换相关的运动目标跟踪方法包括以下步骤:
步骤(1)首先利用高速CCD图像传感器获得目标的图像序列,存储在计算机1中,并将相邻图像并排输入到空间光调制器1中,其中当前帧为参考图像r(x,y),下一帧为输入图像(目标图像)t(x,y),所以联合图像为r(x,y)+t(x,y)。
步骤(2)将经过透镜1准直过的激光照射空间光调制器1,并通过傅里叶变换透镜2,在其傅里叶透镜输出面上用CCD1探测器记录参考图像和目标图像的联合变换功率谱,其联合功率谱S(u,v)数学表示式为
|S(u,v)|2=|R(u,v)|2+|T(u,v)|2
+R(u,v)T*(u,v)exp[-2iπuΔx-2iπv(2a+Δy)]
+T(u,v)R*(u,v)exp[2iπuΔx+2iπv(2a+Δy)]
式中S(u,v),R(u,v),T(u,v)分别代表s(x,y),r(x,y)和t(x,y)的傅里叶变换,(u,v)分别代表x和y方向在傅里叶平面上的空间坐标,其中x=λfu,y=λfv,λ和f分别代表激光的工作波长和透镜2的焦距。
步骤(3)然后将该功率谱输入到计算机2内,经数字处理器处理再输入到空间光调制器2中,经另一路激光照射空间光调制器2和傅里叶变换透镜3,由CCD2探测器记录其相关峰,其相关峰c(x,y)输出为
c ( x , y ) = r ( x , y ) ⊗ r ( x , y ) + t ( x , y ) ⊗ t ( x , y )
+ r ( x , y ) ⊗ t ( x , y ) × δ ( x + Δx , y + 2 a + Δy )
+ t ( x , y ) ⊗ r ( x , y ) × δ ( x - Δx , y - 2 a - Δy )
式中
Figure BSA00000782733500044
代表相关操作,δ代表狄拉克符合,Δx,Δy分别代表相邻两帧图像因运动产生的相对位移矢量,其代表位置信息。
步骤(4)探测并处理出互相关峰的质心坐标位置,即目标图像和参考图像的质心坐标,即可以知道相邻两帧之间的运动矢量。具体计算公式为:
( x c , y c ) = Σ ij X ij I ij W ij Σ ij I ij W ij
式中Iij为子窗口内的互相关峰影像,Xij为当前像元的行号或列号。
步骤(5)不断以下一帧代替当前帧作为参考图像,探测出序列图像的质心位置,即可处理出目标的运动轨迹,实现高精度实时跟踪。
本发明是利用快速实时光学相关原理对高速CCD采集的目标图像序列进行光学相关运算,实现图像位置信息的光电探测,处理速度比纯数字电子处理提高数百倍。进而为实时跟踪提供基础。同时该方法兼有光学图像处理的高速(基本上按光速进行)、大容量、并行处理与数字处理技术的灵活性、精确性、可编程的优点,因此,精度高、实时性好。

Claims (4)

1.本发明的一种光电混合联合变换相关的运动目标跟踪方法,其特征是包括以下步骤:
(1)首先利用高速CCD图像传感器获得目标的图像序列,并将相邻图像并排输入到空间光调制器1中,其中当前帧为参考图像,下一帧为输入图像(目标图像);
(2)经过透镜1准直的激光照射空间光调制器1,并通过傅里叶变换透镜2,在其傅里叶透镜输出面上用CCD1探测器记录参考图像和目标图像的联合变换功率谱;
(3)将该功率谱输入到计算机2内,经处理再输入到空间光调制器2中,经另一路激光照射空间光调制器2和傅里叶变换透镜3,由CCD2探测器记录其相关峰;
(4)探测并处理出互相关峰的质心位置坐标,即目标图像和参考图像的质心坐标;
(5)不断以下一帧代替当前帧作为参考图像,探测出序列图像的质心位置,即可处理出目标的运动轨迹,实现实时跟踪。
2.根据权利1要求所述,其特征在于:步骤(4)中的目标质心坐标是基于光学相关峰的基础上通过质心算法提取获得。
3.根据权利1要求所述,其特征在于:目标跟踪利用了光学处理的方法,即光学相关原理。
4.根据权利1要求所述,其特征在于:该方法是采用光电混合处理的跟踪方法。
CN201210357999.6A 2012-09-12 2012-09-12 一种光电混合联合变换相关的运动目标跟踪方法 Expired - Fee Related CN102968801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210357999.6A CN102968801B (zh) 2012-09-12 2012-09-12 一种光电混合联合变换相关的运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210357999.6A CN102968801B (zh) 2012-09-12 2012-09-12 一种光电混合联合变换相关的运动目标跟踪方法

Publications (2)

Publication Number Publication Date
CN102968801A true CN102968801A (zh) 2013-03-13
CN102968801B CN102968801B (zh) 2016-01-06

Family

ID=47798927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210357999.6A Expired - Fee Related CN102968801B (zh) 2012-09-12 2012-09-12 一种光电混合联合变换相关的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN102968801B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104100256A (zh) * 2013-04-15 2014-10-15 西安科技大学 基于图像处理技术的煤矿井下钻孔深度测量方法
CN107578388A (zh) * 2017-09-11 2018-01-12 陕西美星恒祺新能源科技有限公司 一种提高基于光电联合变换相关器的图像去模糊精度方法
CN111158010A (zh) * 2020-01-06 2020-05-15 航天金鹏科技装备(北京)有限公司 一种激光主动跟踪***及跟踪方法
WO2021228235A1 (zh) * 2020-05-15 2021-11-18 中国科学院合肥物质科学研究院 光电探测采集***和基于单像素探测器的质心探测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080329A1 (en) * 2008-09-29 2010-04-01 Hidetoshi Kawauchi Information processor and information processing method, display device, and program
CN102509277A (zh) * 2011-09-14 2012-06-20 浙江师范大学 光电混合联合变换相关的实时运动模糊图像复原方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080329A1 (en) * 2008-09-29 2010-04-01 Hidetoshi Kawauchi Information processor and information processing method, display device, and program
CN102509277A (zh) * 2011-09-14 2012-06-20 浙江师范大学 光电混合联合变换相关的实时运动模糊图像复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊超等: "基于光学相关的空间相机像移测量方法研究", 《光子学报》, vol. 37, no. 6, 30 June 2008 (2008-06-30), pages 1213 - 1216 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104100256A (zh) * 2013-04-15 2014-10-15 西安科技大学 基于图像处理技术的煤矿井下钻孔深度测量方法
CN104100256B (zh) * 2013-04-15 2017-04-12 西安科技大学 基于图像处理技术的煤矿井下钻孔深度测量方法
CN107578388A (zh) * 2017-09-11 2018-01-12 陕西美星恒祺新能源科技有限公司 一种提高基于光电联合变换相关器的图像去模糊精度方法
CN111158010A (zh) * 2020-01-06 2020-05-15 航天金鹏科技装备(北京)有限公司 一种激光主动跟踪***及跟踪方法
CN111158010B (zh) * 2020-01-06 2022-06-24 航天金鹏科技装备(北京)有限公司 一种激光主动跟踪***及跟踪方法
WO2021228235A1 (zh) * 2020-05-15 2021-11-18 中国科学院合肥物质科学研究院 光电探测采集***和基于单像素探测器的质心探测方法

Also Published As

Publication number Publication date
CN102968801B (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
Qiu et al. Deeplidar: Deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image
Zhang et al. Eye in the sky: Drone-based object tracking and 3d localization
Hee Lee et al. Motion estimation for self-driving cars with a generalized camera
CN103325112B (zh) 动态场景中运动目标快速检测方法
US10366480B2 (en) Super-resolution systems and methods
US20120201477A1 (en) Kinetic Super-Resolution Imaging
CN102968801A (zh) 一种光电混合联合变换相关的运动目标跟踪方法
EP3182372B1 (en) Method and system for estimating the position of a projection of a chief ray on a sensor of a light-field acquisition device
Cao Applying image registration algorithm combined with CNN model to video image stitching
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
Kong et al. Particle filter‐based vehicle tracking via HOG features after image stabilisation in intelligent drive system
Fitzgerald et al. Toward deep-space object detection in persistent wide field of view camera arrays
Neumann et al. Eyes from eyes: New cameras for structure from motion
Anandhalli et al. Vehicle detection and tracking for traffic management
Sheinin et al. Diffraction line imaging
US10373321B2 (en) Sun position tracking method based on black sun effect of image sensor, computer program stored in medium, and solar sensor using the same
Yue et al. An intelligent identification and acquisition system for UAVs based on edge computing using in the transmission line inspection
Saetchnikov et al. Robust SY-biLSTM object tracking method for on-road objects shoot from an unmanned aerial vehicle
CN102509277A (zh) 光电混合联合变换相关的实时运动模糊图像复原方法
Karaca et al. Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching
US11994365B2 (en) Projectile tracking and 3D traceback method
Lee et al. Instance segmentation in urban scenes using inverse perspective mapping of 3D point clouds and 2D images
Xie et al. Real-time reconstruction of unstructured scenes based on binocular vision depth
Jing et al. Static map building scheme for vision and lidar fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160106

Termination date: 20160912