CN101276138B - 一种基线长度自动调节的双目立体摄像机 - Google Patents
一种基线长度自动调节的双目立体摄像机 Download PDFInfo
- Publication number
- CN101276138B CN101276138B CN2008101054037A CN200810105403A CN101276138B CN 101276138 B CN101276138 B CN 101276138B CN 2008101054037 A CN2008101054037 A CN 2008101054037A CN 200810105403 A CN200810105403 A CN 200810105403A CN 101276138 B CN101276138 B CN 101276138B
- Authority
- CN
- China
- Prior art keywords
- ccd image
- motor
- base length
- image sensors
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是一种基线长度自动调节的双目立体摄像机，用于机器人导航、三维重建等，属于机器视觉领域。它包括有立体成像部分、立体视觉信息处理部分和电机传动部分。立体成像部分包括两个CCD图像传感器，两个CCD图像传感器安装在支架上的两根平行滑竿上，其中的一个CCD图像传感器与电机传动部分相连，受其引导可以在支架上沿滑竿滑动，另一个CCD图像传感器与滑竿固定连接。立体视觉信息处理部分为一块嵌入式图像处理器，与两个CCD图像传感器相连，嵌入式图像处理器与电机传动部分相连。相对基线长度固定的双目摄像机，本发明增加了一个基线长度调节的自由度，可以在使用过程中变换基线的长度，以满足匹配或者跟踪等不同任务的要求。
Description
技术领域
本发明是一种基线长度自动调节的双目立体摄像机，用于机器人导航、三维重建等，属于机器视觉领域。
背景技术
立体视觉技术在移动机器人导航、多目标跟踪、三维测量和三维重建方面得到了广泛的应用。目前存在很多种应用于机器人的立体摄像机，如加拿大灰点公司(Point Grey Research Inc)生产的Bumblebee系列立体摄像机，Bumblebee2由两个并排的CCD图像传感器构成，镜头可为焦距为3.8mm或者6mm的微镜头，基线长度是12cm，通过1394线与PC机相连，图像匹配等算法在PC机上实现，可构建实时的深度图。美国Videre Design公司生产基线可以手动调节的双目立体摄像机，如STH-MDCS3-VAR型号的立体摄像机，由两个并排的CMOS图像传感器组成，基线长度可以在5-20cm之间调节，镜头可以选择各种C/CS接口的标准镜头，图像匹配等算法工作在PC机上实现，可以获得实时的深度图，另外的一种STH-MDCS3-VARX型号的摄像机，基线长度可以在18-60cm之间以步长7cm调节，其他各种参数与STH-MDCS3-VAR类似。湖南大学的王耀南，余洪山，梁昂，段峰的发明专利(专利申请号：03124756.3)---仿人多自由度立体双目视觉装置，其主要用途是自动获取三维环境信息，具有摄像机的水平旋转，仰俯动作，两个摄像机的聚散度调整四个自由度，可通过计算机控制***实现各运动部分快速、动态的交互调整，实现了类似人眼睛和头部的运动功能，具有一定的智能性。
目前双目立体摄像机主要存在以下问题：
双目立体摄像机的两个摄像机之间的距离，即基线长度是无法自动调节的，如上面所述，加拿大灰点公司(Point Grey Research Inc)生产的Bumblebee2的基线长度是固定的，Videre Design公司生产的STH-MDCS3-VAR(X)，基线长度虽然可以调节，但是这种调节是在使用之前进行的，无法在工作过程中实现调节。湖南大学王耀南等的发明专利---仿人多自由度立体双目视觉装置，两个摄像机虽然具有自动聚散度调整的功能，但是这种调整是凭借摄像机的旋转形成的，没有改变基线的长度，并且摄像机旋转之后会给图像匹配与深度计算等算法带来很大的难度。
发明内容：
本发明的目的在于克服现有技术的上述缺陷，提供一种基线长度可以自动调节的双目立体摄像机，本发明具有高精度的伺服控制性能，可以精确调节基线的长度，从而改变两个摄像机共同可视范围的大小，能有效计算图像的深度信息，可以应用于机器人导航、目标跟踪、三维重建等领域。
为了实现上述目的，本发明采取如下技术方案。它包括立体成像部分，立体视觉信息处理部分和电机传动部分。所述的立体成像部分包括两个CCD图像传感器，两个CCD图像传感器安装在支架上的两根平行滑竿上，其中的一个CCD图像传感器与电机传动部分相连，受其引导可以在支架上沿滑竿滑动，另一个CCD图像传感器与滑竿固定连接。所述的立体视觉信息处理部分为一块嵌入式图像处理器，与两个CCD图像传感器相连，接收来自两个CCD图像传感器的图像信息并进行处理；嵌入式图像处理器与电机传动部分相连。
所述的电机传动部分包括有电机、控制电机运动的运动控制卡和皮带，皮带与其中的一个CCD图像传感器通过连接块固定连接，运动控制卡与电机相连，用来驱动电机的运动，运动控制卡还与立体视觉信息处理部分的嵌入式图像处理器相连。
还包括有上位机，上位机分别与立体视觉信息处理部分和电机传动部分的运动控制卡相连。
所述的电机为带有电机编码器的直流伺服电机。
本发明的双目摄像机始终保持两个摄像机的光轴平行，两个摄像机的图像平面在同一个平面，满足最基本的双目立体几何关系，根据三角形相似原理，得出场景中某点的深度
其中f为焦距，b为基线距离，d为左右图像匹配得出的视差。当基线长度变换时，只需改变公式中的b值。同时从上面的深度计算公式可以看出，为提高深度值的精度可以增大基线长度b，基线长度增大时，两个摄像机的可视范围增大，有利于物体的搜索与跟踪，但是共同可视范围减少，由此场景点对应的视差值增大，为图像匹配增加了难度。根据上面的原理，根据不同时间不同地点的任务需要，可以实时的改变基线长度，在本发明中基线长度的调节范围为5～20cm。
本发明通过获取两个图像传感器的信息来完成多项任务。如可以获取空间物体的三维信息，跟踪空间中的某个目标。获取空间物体的三维信息的工作原理为：其中一个图像传感器的光轴在运动过程中始终与另外一个图像传感器的光轴平行，两个传感器的图像平面位于同一个平面上，空间中的一点在两个图像平面上的投影位置是不同的，其坐标差值称为视差，根据三角形相似原理，借助两个图像传感器之间的距离，即基线长度，可以获得空间该点的深度，同时结合摄像机定标技术可以得到这点的三维信息。跟踪空间中某个目标的工作原理为：首先需要在两个传感器的视野中寻找目标或者人为的指定某个目标，然后运用图像跟踪的算法，在当前视野中不断寻找，直到找到合适的目标。在各种应用情况下的各种任务中，需要的两个图像传感器之间的基线长度是不一样的，当基线长度大时，两个摄像机的共同可视范围小，其可视范围的并集较大，有利于目标的跟踪，但是这时候只能计算较远处目标的三维信息；当基线长度小时，两个摄像机的共同可视范围大，能计算较近处目标的三维信息，但是两个摄像机可视范围的并集比较小，不利于物体的搜索与跟踪。同时，通过公式
(f为焦距，b为基线距离，d为左右图像匹配得出的视差)可以看出，基线长度大的时候，计算出的物体的深度信息精度比较大，但是当基线长度大时，又给物体的匹配增加了难度。
本发明的有益效果在于相对基线长度固定的双目摄像机，本发明增加了一个基线长度调节的自由度，类似于人眼的会聚功能，这样可以让本发明在使用过程中自由的变换基线的长度，使本发明工作在适应各项任务的最佳状态，以满足匹配或者跟踪等不同任务的要求，同时这种基线长度的变化又没有对算法过程带来大的难度(从上面的公式看出只需改变其中一个值)，本发明可以适应较为复杂的视觉任务，具有一定的灵活性。
附图说明
图1为本发明的基本组成框图
图2为本发明的结构示意图
图3为本发明的立体视觉模型图
图4为本发明的功能结构方框图
图中：1、立体视觉信息处理部分，2、立体成像部分，3、电机传动部分，4、支架，5、CCD图像传感器，6、连接块，7、电机，8、从动轮，9、皮带，10、图像平面，11、基线，12、共同可视范围，13、上位机，14、运动控制卡。
具体实施方式
下面结合附图1～4对本发明作进一步说明：
本实施例包括立体视觉信息处理部分1、立体成像部分2和电机传动部分3。如图1所示，立体视觉信息处理部分1接收立体成像部分2采集的同步图像，实时的计算图像的深度图，立体视觉信息处理部分1根据任务和处理效果的需要，实时地把基线11的长度调整指令发送给电机传动部分3，电机传动部分3作用于立体成像部分1，实现两个CCD图像传感器5之间基线11长度的调整。如图3所示，两个CCD图像传感器5的图像平面10共面，当基线长度11调整时，两个图像传感器5的共同可视范围12会发生变化。
如图2所示，立体成像部分2包括两个CCD图像传感器5，安装在具有两根平行滑竿的支架4上，其中一个CCD图像传感器5固定在支架4上，另外一个可以由电机传动部分3引导在支架4上自由滑动。电机传动部分3包括一个直流伺服电机7，运动控制卡14和皮带9。电机7通过皮带9带动从动轮8转动，皮带9通过连接块6与一个CCD图像传感器5固定连接，由此电机7通过此连接带动一个CCD传感器5沿着滑竿滑动。
立体成像部分的CCD图像传感器5为逐行扫描方式，更适合于动态环境下图像的采集，可以配备各种型号的标准C/CS接口的镜头。
立体视觉信息处理部分1为一块嵌入式图像处理器，本实施例选用的是一块DSP处理器，上面配有编解码芯片、RS232串行接口和IEEE1394串行总线接口，该处理器既可以通过RS232接口与运动控制卡14相连实现电机7的控制，也可以与上层的上位机13通过1394接口相连实现图像信息的实时传输。
电机传动部分的电机7为直流伺服电机，设有电机编码器，通过皮带9与其中的一个CCD图像传感器5连接，可以精确定位图像传感器的位置。运动控制卡14上的RS232接口既可以与立体视觉信息处理部分1的DSP处理器相连也可以与上位机13相连，满足多种应用环境。
CCD图像传感器5采集的同步图像信息传输到立体视觉信息处理部分1，在立体视觉信息处理部分1完成两个图像的匹配工作，根据匹配效果的好坏确定基线11的长度，然后通过串口把基线11长度调节的指令发送给运动控制卡14，运动控制卡14驱动电机7，电机7通过皮带9，带动其中的一个图像传感器5到达指定的位置。同时立体视觉处理部分1还可以把图像传感器5采集到的图像或者处理过的图像通过1394接口发送给上位机13，上位机13可以做一些高层的工作，如跟踪目标，机器人的导航等，上位机13可以根据任务的需要调节基线11的长度，然后通过串口把指令发送给运动控制卡14，由运动控制卡14驱动电机7实现图像传感器5的运动。
Claims (4)
1.一种基线长度自动调节的双目立体摄像机，包括有立体成像部分(2)，所述的立体成像部分(2)包括有两个CCD图像传感器(5)；两个CCD图像传感器(5)的光轴始终保持平行，并且两个CCD图像传感器(5)的图像平面在同一个平面上；其特征在于：还包括有立体视觉信息处理部分(1)和电机传动部分(3)；其中：所述的立体视觉信息处理部分(1)为一块嵌入式图像处理器，与两个CCD图像传感器(5)相连，接收来自两个CCD图像传感器(5)的图像信息并进行处理，两个CCD图像传感器(5)安装在支架(4)上的两根平行滑竿上，其中的一个CCD图像传感器(5)与电机传动部分(3)相连，受其引导可在支架(4)上沿滑竿滑动，另一个CCD图像传感器(5)与滑竿固定连接；电机传动部分(3)与所述嵌入式图像处理器相连。
2.根据权利要求1所述的一种基线长度自动调节的双目立体摄像机，其特征在于：所述的电机传动部分(3)包括有电机(7)、控制电机(7)运动的运动控制卡(14)和皮带(9)，皮带(9)与其中的一个CCD图像传感器(5)通过连接块(6)固定连接，运动控制卡(14)与电机(7)相连，用来驱动电机(7)的运动，运动控制卡(14)与立体视觉信息处理部分(1)相连。
3.根据权利要求2所述的一种基线长度自动调节的双目立体摄像机，其特征在于：还包括有上位机(13)，上位机(13)分别与立体视觉信息处理部分(1)和电机传动部分(3)的运动控制卡(14)相连。
4.根据权利要求2所述的一种基线长度自动调节的双目立体摄像机，其特征在于：所述的电机(7)为带有电机编码器的直流伺服电机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101054037A CN101276138B (zh) | 2008-04-30 | 2008-04-30 | 一种基线长度自动调节的双目立体摄像机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101054037A CN101276138B (zh) | 2008-04-30 | 2008-04-30 | 一种基线长度自动调节的双目立体摄像机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101276138A CN101276138A (zh) | 2008-10-01 |
| CN101276138B true CN101276138B (zh) | 2010-11-24 |
Family
ID=39995693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101054037A Expired - Fee Related CN101276138B (zh) | 2008-04-30 | 2008-04-30 | 一种基线长度自动调节的双目立体摄像机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101276138B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883560A (zh) * | 2015-06-10 | 2015-09-02 | 京东方科技集团股份有限公司 | 双目立体视觉装置及其调节方法、装置和显示装置 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489149B (zh) * | 2008-12-25 | 2010-06-23 | 清华大学 | 双目立体视频采集*** |
| CN101762967B (zh) * | 2009-10-30 | 2012-10-03 | 广东威创视讯科技股份有限公司 | 拍摄辅助条、拍摄方法、图像拼接方法和拼接装置 |
| US8553934B2 (en) * | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
| CN103430095B (zh) * | 2011-03-18 | 2016-06-01 | 富士胶片株式会社 | 用于3d视频摄影的透镜*** |
| CN102905076B (zh) * | 2012-11-12 | 2016-08-24 | 深圳市维尚境界显示技术有限公司 | 一种3d立体拍摄智能控制的装置、***及其方法 |
| WO2016086379A1 (en) | 2014-12-04 | 2016-06-09 | SZ DJI Technology Co., Ltd. | Imaging system and method |
| CN105791662A (zh) * | 2014-12-22 | 2016-07-20 | 联想(北京)有限公司 | 电子设备和控制方法 |
| CN104834901B (zh) * | 2015-04-17 | 2018-11-06 | 北京海鑫科金高科技股份有限公司 | 一种基于双目立体视觉的人脸检测方法、装置及*** |
| TWI610250B (zh) * | 2015-06-02 | 2018-01-01 | 鈺立微電子股份有限公司 | 監測系統及其操作方法 |
| KR101841744B1 (ko) * | 2016-08-10 | 2018-03-23 | 주식회사 유엑스팩토리 | Cmos 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법 |
| CN106705941B (zh) * | 2016-12-09 | 2023-11-07 | 上海交通大学 | 双目视觉导航装置 |
| CN106851242A (zh) * | 2016-12-30 | 2017-06-13 | 成都西纬科技有限公司 | 一种实现运动相机3d视频直播的方法及*** |
| CN106851252A (zh) * | 2017-03-29 | 2017-06-13 | 武汉嫦娥医学抗衰机器人股份有限公司 | 自适应变基线双目立体相机*** |
| CN108810384A (zh) * | 2018-07-19 | 2018-11-13 | 柳景耀 | 一种3d摄像机 |
| CN109068118B (zh) * | 2018-09-11 | 2020-11-27 | 北京旷视科技有限公司 | 双摄模组的基线距离调整方法、装置及双摄模组 |
| CN109405737B (zh) * | 2018-10-10 | 2020-11-03 | 湖南科技大学 | 面向大尺寸测量的相机***及测量方法 |
| CN110059669A (zh) * | 2019-04-29 | 2019-07-26 | 四川农业大学 | 一种基于微处理器的智能割草机人边界识别方法 |
| CN111025137A (zh) * | 2019-12-13 | 2020-04-17 | 苏州华电电气股份有限公司 | 敞开式隔离开关状态感知装置 |
| CN112197746B (zh) * | 2020-09-16 | 2022-06-21 | 上海建工四建集团有限公司 | 一种清水砖墙表面风化程度智能检测设备及检测方法 |
| CN113259589B (zh) * | 2021-05-17 | 2023-05-02 | 中新国际联合研究院 | 一种基线自适应调整的双目相机智能感知方法及其装置 |
-
2008
- 2008-04-30 CN CN2008101054037A patent/CN101276138B/zh not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883560A (zh) * | 2015-06-10 | 2015-09-02 | 京东方科技集团股份有限公司 | 双目立体视觉装置及其调节方法、装置和显示装置 |
| CN104883560B (zh) * | 2015-06-10 | 2017-07-04 | 京东方科技集团股份有限公司 | 双目立体视觉装置及其调节方法、装置和显示装置 |
| US10194140B2 (en) | 2015-06-10 | 2019-01-29 | Boe Technology Group Co., Ltd. | Binocular stereo vision device, adjusting method and apparatus thereof and display device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101276138A (zh) | 2008-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101276138B (zh) | 一种基线长度自动调节的双目立体摄像机 | |
| CN201188667Y (zh) | 一种基线长度自动调节的双目立体摄像机 | |
| CN105082161B (zh) | 双目立体摄像机机器人视觉伺服控制装置及其使用方法 | |
| CN102073148B (zh) | 一种微小型结构件高精度视觉同轴光学对位装配*** | |
| CN105547153B (zh) | 基于双目视觉的插件元件针脚视觉定位方法及装置 | |
| CN106447705B (zh) | 应用于室内场景虚拟现实直播的多目立体视觉***及方法 | |
| CN105953771B (zh) | 一种主动式经纬仪***及测量方法 | |
| CN106933096B (zh) | 一种为第三方提供空间定位信息的自跟随机器人装置及方法 | |
| CN110567371B (zh) | 用于3d信息采集的光照控制*** | |
| CN202255404U (zh) | 一种室内移动机器人双目视觉导航*** | |
| CN105262946A (zh) | 一种三维双目相机云台实验装置 | |
| CN106179885B (zh) | 一种基于立体视觉引导的复杂工件点胶方法及装置 | |
| CN104298244A (zh) | 一种工业机器人三维实时高精度定位装置及方法 | |
| CN103048995A (zh) | 服务机器人广角式双目视觉识别与定位装置 | |
| CN103112015A (zh) | 一种适用于工业机器人的操作物位置姿态识别方法 | |
| CN103559734A (zh) | 双目成像三维视觉***装置及控制方法 | |
| CN108205314A (zh) | 基于立体视觉匹配的机器人导航装置及*** | |
| CN108989653A (zh) | 车载式自适应环境光和头部姿态的疲劳驾驶预警装置 | |
| CN109002008A (zh) | 一种基于单目视觉的十字滑台自动校准*** | |
| CN113618367B (zh) | 基于七自由度并联双模块机器人的多视觉空间装配*** | |
| Rougeaux et al. | Binocular tracking based on virtual horopters | |
| CN205785171U (zh) | 一种主动式经纬仪*** | |
| CN104007761A (zh) | 基于位姿误差的视觉伺服机器人的循迹控制方法及装置 | |
| CN108131533B (zh) | 用于获得最佳视场的双目相机位姿调节支架 | |
| CN102052894B (zh) | 一种潜望式影像测量仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101124 Termination date: 20110430 |