CN105242689B - 一种基于光学反射的云台跟踪视觉*** - Google Patents
一种基于光学反射的云台跟踪视觉*** Download PDFInfo
- Publication number
- CN105242689B CN105242689B CN201510613850.3A CN201510613850A CN105242689B CN 105242689 B CN105242689 B CN 105242689B CN 201510613850 A CN201510613850 A CN 201510613850A CN 105242689 B CN105242689 B CN 105242689B
- Authority
- CN
- China
- Prior art keywords
- deflection device
- drive unit
- rotary drive
- optical
- optical deflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 56
- 230000004438 eyesight Effects 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于光学反射的云台跟踪视觉***,包括基于光学反射的云台、控制器、电脑和供电单元,基于光学反射的云台包括一个固定的相机,至少两面以上的光学反射设备,与光学反射设备数量一致的旋转驱动单元,光学反射设备固定在旋转驱动单元的转轴上,由旋转驱动单元控制其反射平面运动到任意角度,至少两面以上的光学反射设备的转轴不能都平行,从而构成两个或两个以上的自由度;经过标定,***与世界坐标系建立关系,可根据待观测物体的世界坐标信息进行跟踪,即使物体当前位置不在视野中,也可以迅速跟上;采用图像反馈的方法保持待观测物体的图像在视野中心,提高了观测的精度。
Description
技术领域
本发明属于机器视觉领域,具体地说,是一种用于对运动物体进行精确定位和追踪的基于镜面反射式的云台跟踪视觉***。
背景技术
现有的视觉***结构多种多样,采用的识别和跟踪算法也各有不同,其中包括一类基于光学反射原理对物体进行观测的***。有别于其它***中相机直接观测物体,这一类***采用平面镜、棱镜、光纤维等光学反射设备辅助相机进行观测。例如:潜水艇内使用的潜望镜就是一种常见的光学反射式视觉***,它利用两面垂直放置的平面镜改变视野范围,以便于水下的观察员观测水上情况。又例如:在医疗器械领域,用于对人眼视觉功能进行检查的仪器常采用全反射镜对被检查者的眼球进行全方位观测。然而,在这些现有的视觉***中,镜面以及相机的位姿一般是固定不变的,使得它们只能用于特定的场合,局限较大。
在军事、工业、体育、安全监控等领域,待观测物体往往处于运动状态,且运动范围广,运动速度快。要对这样的物体进行跟踪识别,就需要视觉***的观测范围跟随物体一起变化。东京大学的科学家已经研发出一种名叫“扫视镜”的新型云台视觉***。在这套***中,相机是固定的,相机外有两面可绕固定轴旋转的平面镜,待观测的物体经过这两面镜子反射进入相机。该***可观测高速运动的物体,但由于其内部跟踪算法完全基于图像反馈,相机未曾进行标定,***没有同世界坐标系建立联系,一旦待观测物体不在相机初始视野内,或者受到遮挡,***将无法继续对物体进行跟踪。
发明内容
本发明正是针对现有技术存在的缺陷,提出一种基于光学反射的云台视觉跟踪***,本发明是通过以下技术方案来实现的:
本发明公开了一种基于光学反射的云台视觉跟踪***,***包括基于光学反射的云台、控制器、电脑和供电单元,基于光学反射的云台包括一个固定的相机,至少两面以上的光学反射设备,与光学反射设备数量一致的旋转驱动单元,光学反射设备固定在旋转驱动单元的转轴上,由旋转驱动单元控制其反射平面运动到任意角度,至少两面以上的光学反射设备的转轴不能都平行,从而构成两个或两个以上的自由度,旋转驱动单元与控制器连接,接收控制器指令,并反馈旋转驱动单元的状态,控制器与电脑连接,同样接收指令和反馈状态,基于光学反射的云台也与电脑连接,将相机采集图像传送给电脑,所述基于光学反射的云台连接有供电单元。
本发明还公开了一种如基于光学反射的云台视觉跟踪***的方法,具体步骤如下:
1)、根据具体应用需求,设计各光学反射设备的旋转轴位置和方向,在强度合适的支架上搭建相机、光学反射设备、旋转驱动单元和其余***运行所需的设备,如外接供电单元、控制器等;
2)、对相机进行离线标定,根据标定结果建立各光学反射设备的转角与世界坐标中每个特征点的表格映射关系;
3)、在线工作时,当给出待观测物体的世界坐标位置信息,根据映射关系,得到各光学反射设备的转角,控制旋转驱动单元工作,通过转轴带动光学反射设备转动到所需角度,从而观测到该点;
4)、在线工作的同时,对待观测物体的图像进行识别,采用图像反馈算法,驱动光学反射设备微调,保持待观测物体的图像在视野中心。
本发明和现有技术相比,本发明的有益效果如下:
(1)采用相机不动,光学反射设备转动的方式追踪待观测物体,电机负载轻,响应速度更快;
(2)当采用两面反射设备构成***时,可追踪待观测物体的位置信息,而当采用三面及以上的反射设备构成***时,还可追踪待观测物体的姿态信息;
(3)经过标定,***与世界坐标系建立关系,可根据待观测物体的世界坐标信息进行跟踪,即使物体当前位置不在视野中,也可以迅速跟上;
(4)采用图像反馈的方法保持待观测物体的图像在视野中心,提高了观测的精度。
附图说明
图1是本发明***的结构示意图;
图2是采用n面基于光学反射设备的云台的结构示意图;
图3是基于光学反射的云台跟踪视觉***的实例示意图;
图4是本发明***整体控制示意框图;
图5是本发明图像反馈控制示意框图。
具体实施方式
下面根据附图,通过具体实施例对本发明的技术方案作进一步地说明:
图1是本发明***的结构示意图,基于光学反射的云台的旋转驱动单元与控制器连接,接收控制器指令,并反馈旋转驱动单元的状态,控制器与电脑连接,同样接收指令和反馈状态,基于光学反射的云台也与电脑连接,将相机采集图像传送给电脑,基于光学反射的云台连接有供电单元。
图2为采用n面光学反射设备的云台的结构示意图;***包括一个固定的相机,至少两面以上的光学反射设备,与光学反射设备数量一致的旋转驱动单元,光学反射设备固定在旋转驱动单元的转轴上,由旋转驱动单元通过转轴控制光学反射设备的反射平面运动到任意角度,至少两面以上的光学反射设备的转轴不能都平行,从而构成两个或两个以上的自由度。
图3是一种基于光学反射的云台的应用实例图;在该实例中,光学反射设备为平面镜,两面平面镜分别具有俯仰和偏转方向的自由度,相机看向第一面具有俯仰方向自由度的平面镜,旋转驱动单元为直流盘式电机。
图4为本发明***整体控制示意框图;离线标定建立转角与空间点映射是进行在线工作的前提。在离线标定中,采用传统的标定方法,如张正友标定法标定相机的内参。由于相机的内参仅由相机的内部结构和选定的焦距决定,因此无论进行多少次光学反射成像,相机的内参不变,标定得到的内参即为实际内参。然后在待观测物体可能的运动空间内以1cm为单位尺度,选取空间特征点,人工控制各光学反射设备转动,遍历所有特征点,从而建立转角与特征点之间的表格映射关系。如对图2中展示的应用实例进行离线标定,得到转角与特征点之间的部分映射关系如下表所示:
空间点坐标(x,y,z)(mm) | 第一面平面镜转角(rad) | 第二面平面镜转角(rad) |
(-500,-500,0) | 0.7320 | 0.9379 |
(-500,0,0) | 0.7356 | 0.8316 |
(-500,500,0) | 0.7404 | 0.7491 |
(0,-500,0) | 0.7867 | 0.9235 |
(0,0,0) | 0.7905 | 0.8236 |
(0,500,0) | 0.7940 | 0.7295 |
(500,-500,0) | 0.8624 | 0.9310 |
(500,0,0) | 0.8665 | 0.8127 |
(500,500,0) | 0.8660 | 0.7034 |
(-500,-500,100) | 0.7170 | 0.9178 |
(-500,0,100) | 0.7207 | 0.8296 |
(-500,500,100) | 0.7262 | 0.7455 |
(0,-500,100) | 0.7703 | 0.9235 |
(0,0,100) | 0.7743 | 0.8211 |
(0,500,100) | 0.7786 | 0.7249 |
(500,-500,100) | 0.8453 | 0.9313 |
(500,0,100) | 0.8496 | 0.8095 |
(500,500,100) | 0.8500 | 0.6974 |
在线工作时,当给出待观测物体的空间位置信息,控制单元根据上述的映射关系获得各光学反射设备的转角并驱动旋转驱动单元的执行;在线工作的同时识别待观测物体的图像,并采用图像反馈算法,PID控制微调设备转角,从而跟踪待观测物体的中心。
图5为图像反馈控制示意框图,本发明中,对相机采集的图像进行识别主要采用背景差分算法和基于HSV颜色特征[16]的目标分割算法。背景差分算法如下式所示:
其中Px,y表示像素点的平面坐标,Rx,y表示像素点的R通道取值,R0x,y表示背景图像的R通道取值,T为背景与非背景之间的容差。这里取R通道值,仅为举例而用,在实际应用中,应取待观测图像的目标特征通道值。进行目标的粗提取后,分别构建目标和背景在HSV颜色空间的特征直方图,再将背景特征直方图和目标特征直方图归一化后,可过滤目标特征直方图中的背景噪音,据此可从背景中分割出目标图像。
得到目标图像中心点像素坐标后,构造这样一个闭环控制***对其进行控制:设定值为光轴像素坐标,输出值为目标的中心点像素坐标,输出值由图像识别测量得到,执行机构为两面可转动的平面镜电机,被控对象为本发明中提出的云台,控制器部分写入程序中。其中的控制器部分选用比例(P)控制,目的是尽可能提高跟踪速度。其中PID控制器的算法由下式给出:
以上例举的仅是本发明的优选实施方式,本发明并不限于以上实施例,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围内。
Claims (1)
1.一种基于光学反射的云台视觉跟踪***,其特征在于,所述的***包括基于光学反射的云台、控制器、电脑和供电单元,所述的基于光学反射的云台包括一个固定的相机,至少两面以上的光学反射设备,与光学反射设备数量一致的旋转驱动单元,所述的光学反射设备固定在旋转驱动单元的转轴上,由旋转驱动单元控制其反射平面运动到任意角度,所述至少两面以上的光学反射设备的转轴不能都平行,从而构成两个或两个以上的自由度,所述的旋转驱动单元与控制器连接,接收控制器指令,并反馈旋转驱动单元的状态,所述的控制器与电脑连接,同样接收指令和反馈状态,所述基于光学反射的云台也与电脑连接,将相机采集图像传送给电脑,所述基于光学反射的云台连接有供电单元,所述的基于光学反射的云台视觉跟踪***的方法,具体步骤如下:
1)、根据具体应用需求,设计各光学反射设备的旋转轴位置和方向,在强度合适的支架上搭建相机、光学反射设备、旋转驱动单元和其余***运行所需的设备,外接供电单元、控制器和电脑;
2)、对相机进行离线标定,根据标定结果建立各光学反射设备的转角与世界坐标中每个特征点的表格映射关系;
3)、在线工作时,当给出待观测物体的世界坐标位置信息,根据映射关系,得到各光学反射设备的转角,控制旋转驱动单元工作,通过转轴带动光学反射设备转动到所需角度,从而观测到该点;
4)、在线工作的同时,对待观测物体的图像进行识别,采用图像反馈算法,驱动光学反射设备微调,保持待观测物体的图像在视野中心。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510613850.3A CN105242689B (zh) | 2015-09-23 | 2015-09-23 | 一种基于光学反射的云台跟踪视觉*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510613850.3A CN105242689B (zh) | 2015-09-23 | 2015-09-23 | 一种基于光学反射的云台跟踪视觉*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105242689A CN105242689A (zh) | 2016-01-13 |
CN105242689B true CN105242689B (zh) | 2019-03-26 |
Family
ID=55040365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510613850.3A Active CN105242689B (zh) | 2015-09-23 | 2015-09-23 | 一种基于光学反射的云台跟踪视觉*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105242689B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105657233B (zh) * | 2016-03-31 | 2018-11-27 | 北京格灵深瞳信息技术有限公司 | 一种云台摄像机和联动相机 |
CN105872325B (zh) * | 2016-03-31 | 2019-04-12 | 北京格灵深瞳信息技术有限公司 | 一种图像获取*** |
CN106027887B (zh) * | 2016-05-20 | 2019-01-25 | 北京格灵深瞳信息技术有限公司 | 针对旋镜云台的枪球联动控制的方法、装置及电子设备 |
CN105872475A (zh) * | 2016-05-20 | 2016-08-17 | 北京格灵深瞳信息技术有限公司 | 一种监控摄像装置 |
CN107918499B (zh) * | 2016-10-09 | 2022-09-06 | 北京墨土科技有限公司 | 光学定位***及方法、定位用光学观测设备 |
JP6439068B1 (ja) * | 2018-03-29 | 2018-12-19 | 株式会社日立製作所 | 移動体撮像装置、及び、移動体撮像方法 |
CN108960082A (zh) * | 2018-06-16 | 2018-12-07 | 南京理工大学 | 基于视觉伺服的除冰目标识别方法 |
CN111798514A (zh) * | 2020-06-29 | 2020-10-20 | 山东大学日照智能制造研究院 | 一种海洋牧场智能运动目标跟踪监测方法及*** |
CN114153108A (zh) * | 2021-10-22 | 2022-03-08 | 中国科学院自动化研究所 | 全向单目视觉装置、全向双目视觉装置及跟踪方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1304058A (zh) * | 1999-11-26 | 2001-07-18 | 李朝辉 | 摄像机扫描扩展云台 |
CN2462427Y (zh) * | 2000-12-11 | 2001-11-28 | 青岛市广播电视科学研究所 | 摄像机视野转换器 |
CN201426154Y (zh) * | 2009-05-19 | 2010-03-17 | 厦门金网科技有限公司 | 一种云台摄像机远程监控装置 |
CN101930628A (zh) * | 2010-09-21 | 2010-12-29 | 北京大学 | 基于单目摄像机和多平面镜折反射装置的运动捕捉方法 |
CN102261907A (zh) * | 2011-04-20 | 2011-11-30 | 北京大学 | 多平面镜反折射成像***中多视点极线几何测量方法 |
CN102368137A (zh) * | 2011-10-24 | 2012-03-07 | 北京理工大学 | 嵌入式标定立体视觉*** |
CN102419165A (zh) * | 2011-08-16 | 2012-04-18 | 福建汇川数码技术科技有限公司 | 基于激光与摄像机同轴实现的远程测距***的测距激光点定位方法 |
CN102645282A (zh) * | 2011-12-22 | 2012-08-22 | 中国兵器工业第五九研究所 | 一种基于红外热成像的绝热剪切破坏温度的在线检测方法和*** |
CN102981270A (zh) * | 2012-12-25 | 2013-03-20 | 中国科学院长春光学精密机械与物理研究所 | 一种无遮拦自适应变焦距光学***及其标定方法 |
CN103356293A (zh) * | 2013-08-05 | 2013-10-23 | 南京工业大学 | 具有可调角度和位置反射镜面的多光谱图像融合手术导航***及方法 |
CN104133346A (zh) * | 2014-07-24 | 2014-11-05 | 中国科学院光电技术研究所 | 一种适用于投影光刻机的实时检焦调焦方法 |
CN104359461A (zh) * | 2014-11-06 | 2015-02-18 | 中国人民解放军装备学院 | 一种可变结构的双目视觉测量***及参数确定方法 |
-
2015
- 2015-09-23 CN CN201510613850.3A patent/CN105242689B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1304058A (zh) * | 1999-11-26 | 2001-07-18 | 李朝辉 | 摄像机扫描扩展云台 |
CN2462427Y (zh) * | 2000-12-11 | 2001-11-28 | 青岛市广播电视科学研究所 | 摄像机视野转换器 |
CN201426154Y (zh) * | 2009-05-19 | 2010-03-17 | 厦门金网科技有限公司 | 一种云台摄像机远程监控装置 |
CN101930628A (zh) * | 2010-09-21 | 2010-12-29 | 北京大学 | 基于单目摄像机和多平面镜折反射装置的运动捕捉方法 |
CN102261907A (zh) * | 2011-04-20 | 2011-11-30 | 北京大学 | 多平面镜反折射成像***中多视点极线几何测量方法 |
CN102419165A (zh) * | 2011-08-16 | 2012-04-18 | 福建汇川数码技术科技有限公司 | 基于激光与摄像机同轴实现的远程测距***的测距激光点定位方法 |
CN102368137A (zh) * | 2011-10-24 | 2012-03-07 | 北京理工大学 | 嵌入式标定立体视觉*** |
CN102645282A (zh) * | 2011-12-22 | 2012-08-22 | 中国兵器工业第五九研究所 | 一种基于红外热成像的绝热剪切破坏温度的在线检测方法和*** |
CN102981270A (zh) * | 2012-12-25 | 2013-03-20 | 中国科学院长春光学精密机械与物理研究所 | 一种无遮拦自适应变焦距光学***及其标定方法 |
CN103356293A (zh) * | 2013-08-05 | 2013-10-23 | 南京工业大学 | 具有可调角度和位置反射镜面的多光谱图像融合手术导航***及方法 |
CN104133346A (zh) * | 2014-07-24 | 2014-11-05 | 中国科学院光电技术研究所 | 一种适用于投影光刻机的实时检焦调焦方法 |
CN104359461A (zh) * | 2014-11-06 | 2015-02-18 | 中国人民解放军装备学院 | 一种可变结构的双目视觉测量***及参数确定方法 |
Non-Patent Citations (4)
Title |
---|
基于一维标定物的反射折射摄像机标定方法;邓小明等;《计算机学报》;20070531;737-746 |
基于平面镜成像的单摄像机立体视觉传感器研究;冯晓锋等;《光学学报》;20140930;0915002-1至0915002-6 |
基于平面镜的相机-显示器快速标定方法;付生鹏等;《仪器仪表学报》;20131231;2770-2776 |
折反射全向相机镜面位姿的自标定方法;项志宇等;《光学学报》;20120130;0415001-1至0415001-8 |
Also Published As
Publication number | Publication date |
---|---|
CN105242689A (zh) | 2016-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105242689B (zh) | 一种基于光学反射的云台跟踪视觉*** | |
US10726576B2 (en) | System and method for identifying a camera pose of a forward facing camera in a vehicle | |
US10234278B2 (en) | Aerial device having a three-dimensional measurement device | |
KR101988083B1 (ko) | 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 | |
US6559931B2 (en) | Three-dimensional (3-D) coordinate measuring method, 3-D coordinate measuring apparatus, and large-structure building method | |
CN111801198B (zh) | 一种手眼标定方法、***及计算机存储介质 | |
CN105910535B (zh) | 一种用于舱段自动对接的单双目位姿偏差测量方法 | |
CN105953771B (zh) | 一种主动式经纬仪***及测量方法 | |
CN110622091A (zh) | 云台的控制方法、装置、***、计算机存储介质及无人机 | |
CN109581456A (zh) | 基于位置敏感探测器的无人机激光导航*** | |
CN114838668B (zh) | 一种隧道位移监测方法及*** | |
CN104034261A (zh) | 一种曲面法向测量装置和曲面法向测量方法 | |
CN108981608A (zh) | 一种新型线结构光视觉***及标定方法 | |
CN111780715A (zh) | 一种视觉测距方法 | |
CN104972147A (zh) | 一种柱面镜光学定轴***及方法 | |
CN115933718A (zh) | 一种融合全景slam与目标识别的无人机自主飞行技术方法 | |
JP2010078466A (ja) | マーカ自動登録方法及びシステム | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
CN113658221A (zh) | 一种基于单目相机的agv行人跟随方法 | |
JP2002318344A (ja) | 光学機器のオートフォーカシング方法および装置 | |
CN110969652B (zh) | 基于机械手单目相机充当双目立体视觉的拍摄方法及*** | |
Antonelli et al. | Depth estimation during fixational head movements in a humanoid robot | |
CN109993768B (zh) | 一种提高伺服跟踪实时性和精准性的空中目标测谱方法 | |
CN111201502B (zh) | 用于校准眼睛跟踪***的***和方法 | |
RU2019125525A (ru) | Способ внутреннего целеуказания с индикацией целей для образцов бронетанкового вооружения |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |