CN110543015B - 一种非三维成像双目视觉红外图像目标跟踪装置与方法 - Google Patents

一种非三维成像双目视觉红外图像目标跟踪装置与方法 Download PDF

Info

Publication number
CN110543015B
CN110543015B CN201910845157.7A CN201910845157A CN110543015B CN 110543015 B CN110543015 B CN 110543015B CN 201910845157 A CN201910845157 A CN 201910845157A CN 110543015 B CN110543015 B CN 110543015B
Authority
CN
China
Prior art keywords
image sensor
target
image
target tracking
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910845157.7A
Other languages
English (en)
Other versions
CN110543015A (zh
Inventor
林海军
胡旭
张旭
郑兆恒
彭旺林
赵烟桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201910845157.7A priority Critical patent/CN110543015B/zh
Publication of CN110543015A publication Critical patent/CN110543015A/zh
Application granted granted Critical
Publication of CN110543015B publication Critical patent/CN110543015B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明一种非三维成像双目视觉红外图像目标跟踪装置与方法属于图像处理、目标跟踪技术领域。该装置包括沿光线传播方向依次设置的准直镜和半反半透镜，还包括设置在半反半透镜透射光路上的第一成像物镜和第一图像传感器，第一图像传感器的像面与第一成像物镜的焦平面重合；还包括设置在半反半透镜反射光路上的反射棱镜、第二成像物镜和第二图像传感器，第二图像传感器的像面与第二成像物镜的焦平面重合；第一图像传感器能够旋转；该方法首先利用第二图像传感器判断目标是否转动，在无转动的情况下，通过第一图像传感器获得的两个参数，来判断目标是否沿或垂直半径方向存在运动；本发明能够对非转动目标的二维运动方向进行识别，用于实现目标跟踪。

Description

一种非三维成像双目视觉红外图像目标跟踪装置与方法
技术领域
一种非三维成像双目视觉红外图像目标跟踪装置与方法属于图像处理、目标跟踪技术领域。
背景技术
视觉目标跟踪是计算机视觉中的一个重要研究方向，在视频监控，人机交互，无人驾驶等领域有着广泛的应用。
过去二三十年，机器视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。
然而，运动目标跟踪是一个极具挑战性的任务，因为对于运动目标而言，其运动的场景非常复杂并且经常发生变化，或是目标本身也会不断变化。那么如何在复杂场景中识别并跟踪不断变化的目标就成为一个挑战性的任务，在目标跟踪过程中，遮挡、形变、背景杂斑、尺度变换等都会影响目标跟踪，除此之外，光照、低分辨率、运动模糊、超出视野、旋转等因素也都会给目标跟踪带来困难。
对于军事目标的跟踪，例如在空旷的陆地上跟踪目标车辆，在海上跟踪舰船，具有重要的战略意义，往往利用目标温度异于背景的特性，跟踪这类目标往往采用红外图像，这样可以有效避免遮挡、背景杂斑等影响因素。
然而，目标在水平面内仍然会存在二维运动以及转动。由于我们仅关心军事目标的坐标，因此如何在转动影响下，获取目标的二位运动，是本领域亟待解决的技术问题。
发明内容
针对上述技术需求，本发明公开了一种非三维成像双目视觉红外图像目标跟踪装置与方法，同时还公开了一种双目视觉支架和目标转体判断方法，在目标在水平面内即存在二维运动又存在转体的时候，对目标二维运动方向进行判断。
本发明的目的是这样实现的：
一种非三维成像双目视觉红外图像目标跟踪装置，包括沿光线传播方向依次设置的准直镜和半反半透镜，还包括设置在半反半透镜透射光路上的第一成像物镜和第一图像传感器，所述第一图像传感器的像面与第一成像物镜的焦平面重合；还包括设置在半反半透镜反射光路上的反射棱镜、第二成像物镜和第二图像传感器，所述第二图像传感器的像面与第二成像物镜的焦平面重合；所述第一图像传感器能够以竖直方向为轴匀速旋转。
一种双目视觉支架，包括从上到下依次水平设置的上板和下板，所述上板和下板两侧通过连接杆连接，上板的顶部固定安装有第二图像传感器，下板上设置有通孔，在所述通孔内设置有与通孔过盈配合安装的轴承，所述轴承内圈过盈配合安装有转轴，所述转轴的下方通过联轴器连接电机，转轴的上方通过螺纹安装第一图像传感器；电机匀速旋转，带动转轴匀速旋转，进而带动第一图像传感器以竖直方向为轴匀速旋转。
一种非三维成像双目视觉红外图像目标跟踪方法，要求第一图像传感器在以竖直方向为轴匀速旋转条件下成像，转动角速度为ω；第二图像传感器在固定不动条件下成像；包括以下步骤：
步骤a、利用第二图像传感器来判断目标是否存在转体，如果：
是，返回步骤a；
否，进入步骤b；
步骤b、记录目标第n次进入第一图像传感器视场的时间tn,1和第n次离开第一图像传感器视场的时间tn,2；记录目标第n+1次进入第一图像传感器视场的时间tn+1,1和第n+1次离开第一图像传感器视场的时间tn+1,2；
步骤c、判断tn,2-tn,1与tn+1,2-tn+1,1之间的大小，如果：
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向远离目标跟踪装置；
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向靠近目标跟踪装置；
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向无运动；
所述半径方向为目标与目标跟踪装置的连线方向；
步骤d、判断
Figure BDA0002195018660000021
与
Figure BDA0002195018660000022
之间的大小，如果：
Figure BDA0002195018660000023
目标垂直半径方向顺第一图像传感器转动方向运动；
Figure BDA0002195018660000024
目标垂直半径方向逆第一图像传感器转动方向运动；
Figure BDA0002195018660000025
目标垂直半径方向无运动；
所述半径方向为目标与目标跟踪装置的连线方向。
一种基于图像的目标转体判断方法，包括以下步骤：
步骤a、在目标第n次进入第一图像传感器时，第二图像传感器成像，得到图像f1，在目标第n+1次进入第一图像传感器时，第二图像传感器成像，得到图像f2；
步骤b、对图像f1进行2×2扩展，得到图像f3；
步骤c、按照如下公式，计算
Figure BDA0002195018660000031
其中，M×N为f1或图像f2的分辨率；i和j分别表示图像的第i行和第j列；x＝1,2,…,M，y＝1,2,…,N；
步骤d、判断max[r(x,y)]是否小于阈值，如果：
是，目标不存在转体；
否，目标存在转体。
有益效果：
第一、本发明采用双目视觉技术，但与传统双目视觉不同的是，本发明的双目视觉是独立运行工作的，每一个摄像头负责处理各自的信息，这样的设置简化了双目视觉的标定等工作；
第二、本发明能够在不建立三维图像的基础上，将目标进入视场和离开视场视为有利因素，仅通过获取四个时间参数即可实现对目标两个维度运动方向的判断，计算简单，运行速度快，这有利于对高速运动目标进行跟踪；
第三、本发明仅通过一个核心公式即可判断目标是否存在转体，避免目标平移和转体同时存在时，给目标位置判断带来影响；
第四、本发明还提供了一种双目视觉支架的结构。
附图说明
图1是本发明非三维成像双目视觉红外图像目标跟踪装置的光路图。
图2是本发明双目视觉支架的结构示意图。
图中：1准直镜、2半反半透镜、3第一成像物镜、4第一图像传感器、5反射棱镜、6第二成像物镜、7第二图像传感器、11上板、12下板、13连接杆、14轴承、15转轴、16电机。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施方式一
本实施方式是非三维成像双目视觉红外图像目标跟踪装置的实施例。
本实施例的非三维成像双目视觉红外图像目标跟踪装置，光路图如图1所示。该装置包括沿光线传播方向依次设置的准直镜1和半反半透镜2，还包括设置在半反半透镜2透射光路上的第一成像物镜3和第一图像传感器4，所述第一图像传感器4的像面与第一成像物镜3的焦平面重合；还包括设置在半反半透镜2反射光路上的反射棱镜5、第二成像物镜6和第二图像传感器7，所述第二图像传感器7的像面与第二成像物镜6的焦平面重合；所述第一图像传感器4能够以竖直方向为轴匀速旋转。
具体实施方式二
本实施方式是双目视觉支架的实施例。
本实施例的双目视觉支架，结构示意图如图2所示，该双目视觉支架包括从上到下依次水平设置的上板11和下板12，所述上板11和下板12两侧通过连接杆13连接，上板11的顶部固定安装有第二图像传感器7，下板12上设置有通孔，在所述通孔内设置有与通孔过盈配合安装的轴承14，所述轴承14内圈过盈配合安装有转轴15，所述转轴15的下方通过联轴器连接电机16，转轴15的上方通过螺纹安装第一图像传感器4；电机16匀速旋转，带动转轴15匀速旋转，进而带动第一图像传感器4以竖直方向为轴匀速旋转。
需要说明的是，本实施例的双目视觉支架，既可以单独实施，也可以在具体实施例一的基础上实施。
具体实施方式三
本实施方式是非三维成像双目视觉红外图像目标跟踪方法的实施例。
本实施例的非三维成像双目视觉红外图像目标跟踪方法，要求第一图像传感器4在以竖直方向为轴匀速旋转条件下成像，转动角速度为ω；第二图像传感器7在固定不动条件下成像；包括以下步骤：
步骤a、利用第二图像传感器7来判断目标是否存在转体，如果：
是，返回步骤a；
否，进入步骤b；
步骤b、记录目标第n次进入第一图像传感器4视场的时间tn,1和第n次离开第一图像传感器4视场的时间tn,2；记录目标第n+1次进入第一图像传感器4视场的时间tn+1,1和第n+1次离开第一图像传感器4视场的时间tn+1,2；
步骤c、判断tn,2-tn,1与tn+1,2-tn+1,1之间的大小，如果：
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向远离目标跟踪装置；
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向靠近目标跟踪装置；
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向无运动；
所述半径方向为目标与目标跟踪装置的连线方向；
步骤d、判断
Figure BDA0002195018660000051
与
Figure BDA0002195018660000052
之间的大小，如果：
Figure BDA0002195018660000053
目标垂直半径方向顺第一图像传感器4转动方向运动；
Figure BDA0002195018660000054
目标垂直半径方向逆第一图像传感器4转动方向运动；
Figure BDA0002195018660000055
目标垂直半径方向无运动；
所述半径方向为目标与目标跟踪装置的连线方向。
需要说明的是，本实施例的双目视觉支架，在具体实施例一或具体实施例二的基础上实施。
具体实施方式四
本实施方式是基于图像的目标转体判断方法的实施例。
本实施例的基于图像的目标转体判断方法，包括以下步骤：
步骤a、在目标第n次进入第一图像传感器4时，第二图像传感器7成像，得到图像f1，在目标第n+1次进入第一图像传感器4时，第二图像传感器7成像，得到图像f2；
步骤b、对图像f1进行2×2扩展，得到图像f3；
步骤c、按照如下公式，计算
Figure BDA0002195018660000061
其中，M×N为f1或图像f2的分辨率；i和j分别表示图像的第i行和第j列；x＝1,2,…,M，y＝1,2,…,N；
步骤d、判断max[r(x,y)]是否小于阈值，如果：
是，目标不存在转体；
否，目标存在转体。
需要说明的是，本实施例的双目视觉支架，在具体实施例一、具体实施例二或具体实施例三的基础上实施。

Claims (1)

1.一种非三维成像双目视觉红外图像目标跟踪方法，在非三维成像双目视觉红外图像目标跟踪装置上实现，所述非三维成像双目视觉红外图像目标跟踪装置包括沿光线传播方向依次设置的准直镜(1)和半反半透镜(2)，还包括设置在半反半透镜(2)透射光路上的第一成像物镜(3)和第一图像传感器(4)，所述第一图像传感器(4)的像面与第一成像物镜(3)的焦平面重合；还包括设置在半反半透镜(2)反射光路上的反射棱镜(5)、第二成像物镜(6)和第二图像传感器(7)，所述第二图像传感器(7)的像面与第二成像物镜(6)的焦平面重合；所述非三维成像双目视觉红外图像目标跟踪装置还包括双目视觉支架，所述双目视觉支架包括从上到下依次水平设置的上板(11)和下板(12)，所述上板(11)和下板(12)两侧通过连接杆(13)连接，上板(11)的顶部固定安装有第二图像传感器(7)，下板(12)上设置有通孔，在所述通孔内设置有与通孔过盈配合安装的轴承(14)，所述轴承(14)内圈过盈配合安装有转轴(15)，所述转轴(15)的下方通过联轴器连接电机(16)，转轴(15)的上方通过螺纹安装第一图像传感器(4)；电机(16)匀速旋转，带动转轴(15)匀速旋转，进而带动第一图像传感器(4)以竖直方向为轴匀速旋转；
其特征在于，
所述第一图像传感器(4)能够以竖直方向为轴匀速旋转；要求第一图像传感器(4)在以竖直方向为轴匀速旋转条件下成像，转动角速度为ω；第二图像传感器(7)在固定不动条件下成像；
所述非三维成像双目视觉红外图像目标跟踪方法包括以下步骤：
步骤a、利用第二图像传感器(7)来判断目标是否存在转体，如果：
是，返回步骤a；
否，进入步骤b；
步骤b、记录目标第n次进入第一图像传感器(4)视场的时间tn,1和第n次离开第一图像传感器(4)视场的时间tn,2；记录目标第n+1次进入第一图像传感器(4)视场的时间tn+1,1和第n+1次离开第一图像传感器(4)视场的时间tn+1,2；
步骤c、判断tn,2-tn,1与tn+1,2-tn+1,1之间的大小，如果：
tn,2-tn,1＜tn+1,2-tn+1,1，目标沿半径方向远离目标跟踪装置；
tn,2-tn,1＞tn+1,2-tn+1,1，目标沿半径方向靠近目标跟踪装置；
tn,2-tn,1＝tn+1,2-tn+1,1，目标沿半径方向无运动；
所述半径方向为目标与目标跟踪装置的连线方向；
步骤d、判断
Figure FDA0003467926270000021
与
Figure FDA0003467926270000022
之间的大小，如果：
Figure FDA0003467926270000023
目标垂直半径方向顺第一图像传感器(4)转动方向运动；
Figure FDA0003467926270000024
目标垂直半径方向逆第一图像传感器(4)转动方向运动；
Figure FDA0003467926270000025
目标垂直半径方向无运动；
半径方向为目标与目标跟踪装置的连线方向。
CN201910845157.7A 2019-09-08 2019-09-08 一种非三维成像双目视觉红外图像目标跟踪装置与方法 Expired - Fee Related CN110543015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845157.7A CN110543015B (zh) 2019-09-08 2019-09-08 一种非三维成像双目视觉红外图像目标跟踪装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845157.7A CN110543015B (zh) 2019-09-08 2019-09-08 一种非三维成像双目视觉红外图像目标跟踪装置与方法

Publications (2)

Publication Number Publication Date
CN110543015A CN110543015A (zh) 2019-12-06
CN110543015B true CN110543015B (zh) 2022-02-18

Family

ID=68712841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845157.7A Expired - Fee Related CN110543015B (zh) 2019-09-08 2019-09-08 一种非三维成像双目视觉红外图像目标跟踪装置与方法

Country Status (1)

Country Link
CN (1) CN110543015B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334276A (zh) * 2007-06-27 2008-12-31 中国科学院自动化研究所 一种视觉测量方法与装置
CN106343950A (zh) * 2016-09-28 2017-01-25 天津工业大学 一种基于眼模型的眼底相机双目立体成像***
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的***和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105752580B (zh) * 2016-01-31 2017-07-04 西北农林科技大学 一种谷物单粒动态输送与双目图像采集装置
CN106227241A (zh) * 2016-08-01 2016-12-14 西北工业大学 一种运动平台双视场双回路扫描跟踪***及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334276A (zh) * 2007-06-27 2008-12-31 中国科学院自动化研究所 一种视觉测量方法与装置
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的***和方法
CN106343950A (zh) * 2016-09-28 2017-01-25 天津工业大学 一种基于眼模型的眼底相机双目立体成像***

Also Published As

Publication number Publication date
CN110543015A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
JP5010634B2 (ja) 移動体画像追尾装置
CN100373394C (zh) 基于仿生复眼的运动目标的检测方法
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测***及方法
JP4982407B2 (ja) 移動体画像追尾装置及び方法
CA2836697A1 (en) System, device and method for tracking position and orientation of vehicle, loading device and cargo in loading device operations
US11240436B2 (en) Machine vision system and method with steerable mirror
CN104616322A (zh) 船载红外目标图像辨识跟踪方法及其装置
EP2328341A1 (en) Long-distance target detection camera system
CN108303078A (zh) 一种基于立体视觉的全方向船舶防撞预警与导航***
CN105222758A (zh) 基于鸟类视觉特征的多运动目标搜索与定位装置及方法
CN107770492A (zh) 舰载多功能光电监视***
CN110543015B (zh) 一种非三维成像双目视觉红外图像目标跟踪装置与方法
JP2009260564A (ja) 移動体画像追尾装置
CN102682445B (zh) 一种仿蜥蜴亚目避役科生物视觉坐标提取算法
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN116158780A (zh) 一种对大尺寸目标进行多模态超声成像的方法
JP2686685B2 (ja) ロボットによる物体操作のための能動的カメラ探索装置
CN111798496B (zh) 一种视觉锁定方法和装置
CN111427383B (zh) 一种双目云台可变基线的控制方法
CN210327775U (zh) 基于三维光场技术的光学无人机监测***
WO2021028910A1 (en) A gimbal apparatus system and method for automated vehicles
JPH03174668A (ja) 全方位観測装置
KR20110125865A (ko) 이동 로봇의 자율 주행 방법 및 자율 주행 장치
Yu et al. The research on obstacle avoidance of hospital ward inspection robots in complex environment
KR102544345B1 (ko) 추적 장치 및 추적 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220218