CN113781576B - 多自由度位姿实时调整的双目视觉检测***、方法、装置 - Google Patents
多自由度位姿实时调整的双目视觉检测***、方法、装置 Download PDFInfo
- Publication number
- CN113781576B CN113781576B CN202111031047.0A CN202111031047A CN113781576B CN 113781576 B CN113781576 B CN 113781576B CN 202111031047 A CN202111031047 A CN 202111031047A CN 113781576 B CN113781576 B CN 113781576B
- Authority
- CN
- China
- Prior art keywords
- binocular vision
- real
- pose
- time
- freedom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 144
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 238000006073 displacement reaction Methods 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006698 induction Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 10
- 238000004590 computer program Methods 0.000 claims 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000011089 mechanical engineering Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于机械工程技术领域，公开了一种多自由度位姿实时调整的双目视觉检测***、方法、装置，多自由度位姿实时调整双目视觉模块以及双目视觉实时标定模块；多自由度位姿实时调整双目视觉模块，包括感知单元、旋转控制单元、位移控制单元；用于进行视觉信息的感知；双目视觉实时标定模块，用于利用高清单目摄像头进行多自由度位姿实时调整双目视觉模块的标定。本发明能够同时实现双目视觉的自适应调节以及实时标定的稳定性。本发明在基本双目视觉***的基础上添加了伺服电机、电动推杆以及单目高清摄像头对感知摄像头进行实时的位姿评定，从而实现实时的标定，具有较高的鲁棒性，对于环境的适应性更强。
Description
技术领域
本发明属于机械工程技术领域，尤其涉及一种多自由度位姿实时调整的双目视觉检测***、方法、装置。
背景技术
目前，随着我国国民经济迅速发展，人们生活质量的提高，国家对智能制造，智能城市，智能园区等一系列智能技术越来越重视，体现人工智能的双目立体视觉越显重要，它在智能生产，交通监控，机器导航，航空航天，医学建模，视觉仿真，文物复原，非接触高精度测量等方面，提供包括虚拟视觉仿真，视觉识别与定位等技术，能够有效地提高生产效率和产品质量，降低运营成本和资源能源消耗。
双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双眼匹配上，使两张有视差的平面图产生有深度的立体图形，奠定了双目立体视觉发展的理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目立体视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作***的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。
基于双目视觉的三维重建，模仿人类的两只眼睛同时观察场景的方法，更加经济实用。目前已有的双目视觉***均采用基本参数固定的结构，在使用前进行标定即可使用，该类***具有固定的基线、焦距、视角等参数。因此在实际的使用过程中，双目视觉可以覆盖的视角范围是有限的，并会由于遮挡以及景深的变化而出现盲区以及精度下降的问题。精度是双目立体视觉测量***中需要解决的一个关键问题。而双目立体视觉测量***的标定精度是影响测量***精度的重要因素。
针对该类问题，已经有以下专利提出一些解决方案，具体如表1所示：
表1
| 专利号 | 技术方法 |
| CN205754553U | 提供了一种用于调节成像单元的位置的装置和双目视觉***。 |
| CN108953905A | 公开了一种双目视觉相机支撑结构及其位姿调整方法。 |
| CN109668021A | 公开了一种双目视觉精密调整支架。 |
| CN206648652U | 公开了一种平行双目视觉***的距离调整装置。 |
| CN108827246A | 提供了一种可精确调节的双目视觉装置。 |
| CN106595594A | 公开了一种可调节的双目视觉传感装置及方法。 |
| CN111981984A | 公开了一种基于双目视觉的旋转轴标定方法。 |
| CN111595292A | 公开了一种基于不等焦距的双目视觉测距方法。 |
| CN108282649A | 公开了一种基线位置可自由调节的双目视觉实验云台。 |
| CN111524174A | 公开了一种动平台动目标双目视觉三维构建方法。 |
| CN205748371U | 涉及双目视觉测量***中的一种定位调整装置。 |
以上专利虽然实现了双目视觉的参数可调，但是对应的调节工作只能在设备停止工作的状态下进行，因此当环境条件以及感知要求发生变化时，双目视觉设备无法进行实时的调整。除此之外，仅依靠位移传感器进行的相机位置计算以及后续的标定方案受设备故障以及环境震动等因素的影响较大，因此无法支持长时间的稳定工作。
通过上述分析，现有技术存在的问题及缺陷为：现有双目视觉***在实际应用过程中有效感知范围受限、存在视角盲区、无法实时自适应调节以及标定精度不稳定导致感知精度差。
解决以上问题及缺陷的难度为：
双目视觉***在实际应用过程中的一个重要基础就是准确可靠的标定，标定主要是为了解决双目相机由于生产以及安装过程中产生的误差造成的成像平面偏移旋转的问题，所以标定需要获取相机实际偏移的量。
目前已有的较为成熟的标定方式为张正友标定法，其标定原理为通过拍摄标准棋盘格图像信息进而推算出双目相机的相对位置关系，从而完成标定，是一种间接的标定方式，目前在双目相机实际使用过程中应用较多，但是该方案无法实时进行标定，具有很大的局限性。
目前双目相机的使用方式多为安装后使用前进行静态标定，之后进行使用，如果进行了重复安装或者在使用过程中发生了松动则需要进行重新标定，因此每次确定相机的位姿以及视角后就无法再进行调整。但是在实际使用中完全固定的两只摄像头所能够提供的视角范围是有限的，会由于障碍物的遮挡等外在因素进一步增大视野盲区，大大降低双目摄像头的感知识别能力。
因此双目相机的固定视角带来的局限性与相机实时调整所需的实时标定形成矛盾关系，即根据现有的相关方案以及技术无法同时满足双目相机视角的实时调节以及双目视觉***的实时标定。
解决以上问题及缺陷的意义为：
使现有的双目视觉***具有实时调整视角范围以及实时标定的能力，从根本上解决在实际应用过程中会出现的视角范围有限，障碍物遮挡造成的视觉感知能力下降的问题；与此同时使双目视觉***具有实时标定的能力，能够在调整视角的过程中依然保持立体视觉的有效检测计算。
本发明在实际应用过程中具有以下意义：
实现视角实时调整，可以通过位姿的调整检测到原本被遮挡的目标，具有更大的检测范围；
双目视觉***的基线长度实时可调，可以根据检测需求自适应改变基线的长度，从而提高立体视觉的精度；
具有平移以及旋转功能的双目视觉***可以通过图像拼接实现环视相机的功能，为视觉***的信息挖掘提供了更多的可能；
实时调整的双目视觉***可以获得连续的不同视角得到的周围环境的三维信息，不同视角获得的三位信息之间可以进行信息的融合以及相互修正，从而提高三维信息的识别精度。
发明内容
针对现有技术存在的问题，本发明提供了一种多自由度位姿实时调整的双目视觉检测***、方法、装置。
本发明是这样实现的，一种多自由度位姿实时调整的双目视觉检测***，包括：
多自由度位姿实时调整双目视觉模块以及双目视觉实时标定模块；
多自由度位姿实时调整双目视觉模块，包括感知单元、旋转控制单元、位移控制单元；用于进行视觉信息的感知；
双目视觉实时标定模块，用于利用高清单目摄像头进行多自由度位姿实时调整双目视觉模块的标定。
进一步，所述多自由度位姿实时调整双目视觉模块包括：
感知单元，用于利用分别设置于左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
旋转控制单元，用于利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转；
位移控制单元，用于利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动。
本发明的另一目的在于提供一种搭载所述多自由度位姿实时调整的双目视觉检测***的多自由度位姿实时调整的双目视觉检测装置，所述多自由度位姿实时调整的双目视觉检测装置设置有：
两个感知摄像头；
所述两个感知摄像头分别安装于两组双轴旋转平台上；所述两组双轴旋转平台分别安装于水平导轨的两个移动平台上。
进一步，所述双轴平台内设置有伺服电机。
进一步，所述水平导轨内设置有电动推杆。
进一步，所述多自由度位姿实时调整的双目视觉检测装置还包括：
设置于所述两个感知摄像头后方的单目高清摄像头，用于实时捕捉两只感应摄像头的位姿。
本发明的另一目的在于提供一种应用于所述多自由度位姿实时调整的双目视觉检测***的多自由度位姿实时调整的双目视觉检测方法，所述多自由度位姿实时调整的双目视觉检测方法包括：
步骤一，在实际使用过程中，完成安装后先进行一次相对于周围环境的初始标定，从而给伺服电机以及电动推杆赋上初始位置值；
步骤二，根据总***的识别要求初步确定合适的双目视觉***基线长度范围，再结合需要感知识别的目标的位置信息以及是否被遮挡的状态，获得双目视觉***实时的最佳基线长度以及左右摄像头的相对水平位置，接下来利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动达到***要求；
步骤三，根据总***的识别要求确定***在实际环境中的主要识别区域，同时结合视野中关键目标的障碍物遮挡情况确定左右摄像头的最佳空间视角，以获得最佳的识别状态，接下来利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转达到***要求；
步骤四，利用确定好位置以及角度的左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
步骤五，利用高清单目摄像头实时捕捉两只感应摄像头的位姿，与伺服电机以及电动推杆的位置反馈联合对双目***进行实时位姿计算，进行实时标定，并对双目视觉***进行相应的数据计算上的调整。
步骤六，计算左右摄像头的视差图，结合标定参数以及双目视觉***的基本参数进行深度计算，从而获得周围环境的三维信息；
步骤七，结合前后时刻获得的不同视角的周围环境信息进行三维点云的融合以及修正，从而提高对于环境的感知精度。
本发明的另一目的在于提供一种所述多自由度位姿实时调整的双目视觉检测***在位姿检测、导航、航测中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出了一种多自由度位姿实时调整的双目视觉检测***，能够同时实现双目视觉的自适应调节以及实时标定的稳定性。
本发明内用于感知检测的两只摄像头布置于导轨以及双轴支座上，通过伺服电机以及电动推杆进行位姿控制；此外在***后方布置了一只高清单目摄像头对视野范围内的用于检测的两只摄像头进行实时位姿的测量，对伺服电机以及电动推杆获得的摄像头位姿进行补偿，提高标定的精度以及鲁棒性。在实际使用过程中，本发明可以根据任务要求实时制定目标感知区域，并通过调节电动推杆以及伺服电机将双目***的最优感知区域与目标感知区域重合。与此同时通过伺服***返回的位姿参数以及高清摄像头返回的图像信息对用于感知检测的两只摄像头进行位姿计算，实时对双目***进行标定，保证***稳定有效地运行。本发明相比于现有的双目***具有最优感知区域实时自适应可调、标定精度高、鲁棒性好、环境适应性强等优点，可以满足不同使用场景下的感知需求。
本发明在基本双目视觉***的基础上添加了双轴平台，实现了双目视觉的视角范围实时可调以及摄像头位姿的实时评定；在基本双目视觉***的基础上添加了安装有电动推杆的水平导轨，实现双目摄像头水平位置以及双目视觉***的基线实时可调；通过双轴平台以及水平导轨内安装的伺服电机以及电动推杆实时评定双目摄像头的实时相对位姿从而实现双目视觉***的实时标定；添加了单目高清摄像头，进行双目摄像头的位姿辅助评定，从而提高实时标定的精度；通过添加双轴平台使原双目视觉***可以同时实现环视的功能。
对于总***需要识别目标的距离远近，本发明可以通过水平导轨电动推杆的运动实现双目视觉***基线长度的调整，以适应不同距离物体的感知以及深度计算；
对于在实际使用过程中出现的障碍物遮挡的问题，本发明可以通过调整感知摄像头的水平位置以及视角捕捉到原本被遮挡的目标，从而有效缩小双目***的盲区；
由于摄像头的视野范围映射到实际场景中可以分为识别精度较高的中心区域以及边缘区域，在实际使用过程中使中心区域与总***目标区域中心重合是理想状态，本发明相比于其他***具有实时位姿调节的能力，可以实现实时提高视野中心区域以及目标区域的重合度；
一般单个摄像头的视角范围是有限的，因此对于总***周围环境的感知一定是存在盲区的，即使是现有的双目视觉***也只能有限地增大视野，而无法彻底解决盲区问题，本发明提出的***可以根据总***需求在进行立体视觉的基础上实现总***周围全方位的视觉感知，使原本的双目***具有更全方位的视野范围，为后续的深一步信息挖掘提供了基础信息保证；
本发明在基本双目视觉***的基础上添加了伺服电机、电动推杆以及单目高清摄像头对感知摄像头进行实时的位姿评定，从而实现实时的标定，具有较高的鲁棒性，对于环境的适应性更强。
本发明在实际使用过程中，布置于双目相机后方的单目相机可以更换为普通的双目相机，均可以实现对于两只感知摄像头的位姿评定；
本发明提出的***在实际使用过程中可以根据总***的要求实现环视相机的功能，通过摄像头的旋转以及图像的拼接实现对于周围环境的全方位识别；
通过改变双目视觉***的基线长度，可以实现同时对于不同距离目标的准确识别，因为双目视觉***的有效识别距离由基线长度决定，短基线适合近距离的精准识别，长基线适合远距离的精准识别；
通过对于相机视角的俯仰调节，对于自动驾驶车辆平台而言，不仅可以识别路面信息，还可以同时完成空中目标的识别，该功能在特种作战中具有较大的实用意义。
附图说明
图1是本发明实施例提供的双目视觉基本原理示意简图。
图2是本发明实施例提供的多自由度双目视觉检测***水平布置示意图。
图3是本发明实施例提供的多自由度双目视觉检测***垂向布置示意图。
图4是本发明实施例提供的多自由度位姿实时调整的双目视觉检测***结构示意图。
图5是本发明实施例提供的多自由度位姿实时调整的双目视觉检测方法流程图。
图中：1、第一感知摄像头；2、第二感知摄像头；3、单目高清摄像头；4、第一伺服电机；5、移动平台；6、第二伺服电机；7、水平导轨；8、多自由度位姿实时调整双目视觉模块；9、双目视觉实时标定模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明具体提供了一种多自由度位姿实时调整的双目视觉检测***，下面结合附图对本发明作详细的描述。
如图1至图4所示，本发明实施例提供的多自由度位姿实时调整的双目视觉检测***包括：
多自由度位姿实时调整双目视觉模块8以及双目视觉实时标定模块9；
多自由度位姿实时调整双目视觉模块8，包括感知单元、旋转控制单元、位移控制单元；用于进行视觉信息的感知；
双目视觉实时标定模块9，用于利用高清单目摄像头进行多自由度位姿实时调整双目视觉模块的标定。
本发明实施例提供的多自由度位姿实时调整双目视觉模块8包括：
感知单元，用于利用分别设置于左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
旋转控制单元，用于利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转；
位移控制单元，用于利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动。
本发明实施例提供的多自由度位姿实时调整的双目视觉检测装置设置有：
第一感知摄像头1和第二感知摄像头2；
第一感知摄像头1和第二感知摄像头2分别安装于两组双轴旋转平台上；所述两组双轴旋转平台分别安装于水平导轨7的两个移动平台5上。
本发明实施例提供的两组双轴平台内分别设置有第一伺服电机4以及第二伺服电机6.
本发明实施例提供的水平导轨7内设置有电动推杆。
本发明实施例提供的多自由度位姿实时调整的双目视觉检测装置还包括：
设置于所述第一感知摄像头1和第二感知摄像头2后方的单目高清摄像头3，用于实时捕捉两只感应摄像头的位姿。
如图5所示，本发明实施例提供的多自由度位姿实时调整的双目视觉检测方法包括：
S101，利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动；
S102，利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转；
S103，利用确定好位置以及角度的左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
S104，利用高清单目摄像头实时捕捉两只感应摄像头的位姿，与伺服电机以及电动推杆联合对双目***进行实时位姿计算，进行实时标定。
下面结合具体实施例对本发明的技术方案做进一步说明。
实施例1：
第一部分：
1-1多自由度位姿实时调整双目视觉***
本发明在现有的双目视觉***的基本架构(相对位姿确定的两只单目摄像头)基础上添加了电动推杆控制的水平滑轨以及两个双轴调节平台。部件之间的从属关系以及安装位置如图2、图3所示：
部件1、2分别为左右侧的摄像头，构成本双目视觉***的基本架构，主要功能为感知环境并实时获得两组视觉信息；部件4、6分别为两组安装于双轴调节平台的伺服电机，构成本双目视觉***自适应调节的功能件的第一部分和第二部分，可以控制摄像头以及平台进行一定角度的旋转；部件7为安装有电动推杆的水平导轨，可以布置有两个可以实时水平移动的安装平台5，构成本双目视觉***自适应调节的功能件的第三部分，可以控制摄像头以及平台进行水平的位移运动。
部件1、2(感知摄像头)分别安装于两组双轴旋转平台上，实现摄像头视角的水平旋转以及俯仰运动；两组双轴旋转平台分别安装于水平导轨的两个移动平台上，实现摄像头视角的水平运动以及双目视觉***的基线长度调整。
在实际应用中，随着总***对于感知部分的实时需求，本发明提出的多自由度位姿实时调整的双目视觉检测***可以进行实时的调整，以实现最优的功能。
1-2双目视觉实时标定***
理想的双目视觉模型如图1所示，***内的两只感知摄像头中心线相互平行且在同一水平线上，而且两只摄像头的成像平面是共面的，但是在实际使用过程中由于安装出现的偏差，两只摄像头不可能达到理想的相对位姿状态，因此需要通过在计算过程中加入补偿量对整个***进行修正，该过程即为双目视觉的标定过程。
目前已有的双目视觉标定方法中最经典的为张正友标定法，即通过拍摄棋盘格的方式进行，该方法在固定位姿的双目视觉***中可以满足标定的要求，但是在相对位姿实时发生变化的***中则无法满足实时标定的要求。而仅依靠伺服电机以及导轨的电动推杆获得摄像头的相对位姿会存在一定的误差而且鲁棒性较差。
针对以上问题，本发明在双目视觉***的基础上添加了一只高清单目摄像头，如图2、3中的部件3所示，安装于双目摄像头后方，用于实时捕捉两只感应摄像头的位姿，与伺服电机以及电动推杆联合对双目***进行实时位姿计算，从而实现实时标定。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种多自由度位姿实时调整的双目视觉检测方法，其特征在于，所述多自由度位姿实时调整的双目视觉检测方法包括：
步骤一，利用设置有电动推杆的水平导轨控制摄像头以及双轴调节平台进行水平的位移运动；
步骤二，根据总***的识别要求初步确定合适的双目视觉***基线长度范围，再结合需要感知识别的目标的位置信息以及是否被遮挡的状态，获得双目视觉***实时的最佳基线长度以及左右摄像头的相对水平位置，接下来利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动达到***要求；
步骤三，根据总***的识别要求确定***在实际环境中的主要识别区域，同时结合视野中关键目标的障碍物遮挡情况确定左右摄像头的最佳空间视角，以获得最佳的识别状态，接下来利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转达到***要求；
步骤四，利用确定好位置以及角度的左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
步骤五，利用高清单目摄像头实时捕捉两只感应摄像头的位姿，与伺服电机以及电动推杆的位置反馈联合对双目***进行实时位姿计算，进行实时标定，并对双目视觉***进行相应的数据计算上的调整；
步骤六，计算左右摄像头的视差图，结合标定参数以及双目视觉***的基本参数进行深度计算，从而获得周围环境的三维信息；
步骤七，结合前后时刻获得的不同视角的周围环境信息进行三维点云的融合以及修正，从而提高对于环境的感知精度。
2.一种实施权利要求1所述多自由度位姿实时调整的双目视觉检测方法的多自由度位姿实时调整的双目视觉检测***，其特征在于，所述多自由度位姿实时调整的双目视觉检测***包括：
多自由度位姿实时调整双目视觉模块，包括感知单元、旋转控制单元、位移控制单元；用于进行视觉信息的感知；
双目视觉实时标定模块，用于利用高清单目摄像头进行多自由度位姿实时调整双目视觉模块的标定。
3.如权利要求2所述多自由度位姿实时调整的双目视觉检测***，其特征在于，所述多自由度位姿实时调整双目视觉模块包括：
感知单元，用于利用分别设置于左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
旋转控制单元，用于利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转；
位移控制单元，用于利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动。
4.一种搭载如权利要求2-3任意一项所述多自由度位姿实时调整的双目视觉检测***的多自由度位姿实时调整的双目视觉检测装置，其特征在于，所述多自由度位姿实时调整的双目视觉检测装置设置有：
两个感知摄像头；
所述两个感知摄像头分别安装于两组双轴旋转平台上；所述两组双轴旋转平台分别安装于水平导轨的两个移动平台上。
5.如权利要求4所述多自由度位姿实时调整的双目视觉检测装置，其特征在于，所述双轴旋转平台内设置有伺服电机。
6.如权利要求4所述多自由度位姿实时调整的双目视觉检测装置，其特征在于，所述水平导轨内设置有电动推杆。
7.如权利要求4所述多自由度位姿实时调整的双目视觉检测装置，其特征在于，所述多自由度位姿实时调整的双目视觉检测装置还包括：
设置于所述两个感知摄像头后方的单目高清摄像头，用于实时捕捉两只感应摄像头的位姿。
8.一种如权利要求2-3任意一项所述多自由度位姿实时调整的双目视觉检测***在位姿检测、导航、航测中的应用。
9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行如权利要求1所述多自由度位姿实时调整的双目视觉检测方法，包括下列步骤：
步骤一，利用设置有电动推杆的水平导轨控制摄像头以及双轴调节平台进行水平的位移运动；
步骤二，根据总***的识别要求初步确定合适的双目视觉***基线长度范围，再结合需要感知识别的目标的位置信息以及是否被遮挡的状态，获得双目视觉***实时的最佳基线长度以及左右摄像头的相对水平位置，接下来利用设置有电动推杆的水平导轨控制摄像头以及平台进行水平的位移运动达到***要求；
步骤三，根据总***的识别要求确定***在实际环境中的主要识别区域，同时结合视野中关键目标的障碍物遮挡情况确定左右摄像头的最佳空间视角，以获得最佳的识别状态，接下来利用两组安装于双轴调节平台的伺服电机控制摄像头以及平台进行一定角度的旋转达到***要求；
步骤四，利用确定好位置以及角度的左右两侧的感知摄像头感知环境并实时获得两组视觉信息；
步骤五，利用高清单目摄像头实时捕捉两只感应摄像头的位姿，与伺服电机以及电动推杆的位置反馈联合对双目***进行实时位姿计算，进行实时标定，并对双目视觉***进行相应的数据计算上的调整；
步骤六，计算左右摄像头的视差图，结合标定参数以及双目视觉***的基本参数进行深度计算，从而获得周围环境的三维信息；
步骤七，结合前后时刻获得的不同视角的周围环境信息进行三维点云的融合以及修正，从而提高对于环境的感知精度。
10.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1所述多自由度位姿实时调整的双目视觉检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031047.0A CN113781576B (zh) | 2021-09-03 | 2021-09-03 | 多自由度位姿实时调整的双目视觉检测***、方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031047.0A CN113781576B (zh) | 2021-09-03 | 2021-09-03 | 多自由度位姿实时调整的双目视觉检测***、方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781576A CN113781576A (zh) | 2021-12-10 |
| CN113781576B true CN113781576B (zh) | 2024-05-07 |
Family
ID=78840909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111031047.0A Active CN113781576B (zh) | 2021-09-03 | 2021-09-03 | 多自由度位姿实时调整的双目视觉检测***、方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781576B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116539068B (zh) * | 2023-07-03 | 2023-09-08 | 国网山西省电力公司电力科学研究院 | 一种视觉测量***柔性自检调节装置及方法 |
| CN116740183B (zh) * | 2023-08-15 | 2023-11-07 | 浙江大学 | 一种双视角舱***姿调整方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830906A (zh) * | 2018-05-31 | 2018-11-16 | 福州大学 | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 |
| CN109308693A (zh) * | 2018-08-29 | 2019-02-05 | 北京航空航天大学 | 由一台ptz相机构建的目标检测和位姿测量单双目视觉*** |
| CN110646016A (zh) * | 2019-11-11 | 2020-01-03 | 北京航空航天大学 | 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置 |
| CN111551151A (zh) * | 2020-06-04 | 2020-08-18 | 江苏集萃智能光电***研究所有限公司 | 基于双目视觉的临近空间飞行器相对位姿测量方法及装置 |
| US10869149B1 (en) * | 2020-02-24 | 2020-12-15 | Harman International Industries, Incorporated | Automatic calibration |
| CN112884832A (zh) * | 2021-03-12 | 2021-06-01 | 上海电机学院 | 一种基于多目视觉的智能小车轨迹预测方法 |
| CN113259589A (zh) * | 2021-05-17 | 2021-08-13 | 中新国际联合研究院 | 一种基线自适应调整的双目相机智能感知方法及其装置 |
-
2021
- 2021-09-03 CN CN202111031047.0A patent/CN113781576B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830906A (zh) * | 2018-05-31 | 2018-11-16 | 福州大学 | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 |
| CN109308693A (zh) * | 2018-08-29 | 2019-02-05 | 北京航空航天大学 | 由一台ptz相机构建的目标检测和位姿测量单双目视觉*** |
| CN110646016A (zh) * | 2019-11-11 | 2020-01-03 | 北京航空航天大学 | 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置 |
| US10869149B1 (en) * | 2020-02-24 | 2020-12-15 | Harman International Industries, Incorporated | Automatic calibration |
| CN111551151A (zh) * | 2020-06-04 | 2020-08-18 | 江苏集萃智能光电***研究所有限公司 | 基于双目视觉的临近空间飞行器相对位姿测量方法及装置 |
| CN112884832A (zh) * | 2021-03-12 | 2021-06-01 | 上海电机学院 | 一种基于多目视觉的智能小车轨迹预测方法 |
| CN113259589A (zh) * | 2021-05-17 | 2021-08-13 | 中新国际联合研究院 | 一种基线自适应调整的双目相机智能感知方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781576A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2612097B2 (ja) | ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| CN103292695B (zh) | 一种单目立体视觉测量方法 | |
| CN113781576B (zh) | 多自由度位姿实时调整的双目视觉检测***、方法、装置 | |
| CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 | |
| CN108594245A (zh) | 一种目标物运动监测***及方法 | |
| US20140118500A1 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
| US20150187140A1 (en) | System and method for image composition thereof | |
| CN105424006A (zh) | 基于双目视觉的无人机悬停精度测量方法 | |
| CN103337069B (zh) | 基于复合摄像机的高质量三维彩色图像获取方法及装置 | |
| CN111161358B (zh) | 一种用于结构光深度测量的相机标定方法和装置 | |
| CN102155923A (zh) | 基于立体靶标的拼接测量方法及*** | |
| CN105378794A (zh) | 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法 | |
| Nienaber et al. | A comparison of low-cost monocular vision techniques for pothole distance estimation | |
| CN114745529B (zh) | 一种投影仪单tof梯形校正的方法和投影仪 | |
| CN107767424A (zh) | 多相机***的标定方法、多相机***及终端设备 | |
| An et al. | Building an omnidirectional 3-D color laser ranging system through a novel calibration method | |
| CN110136047B (zh) | 一种车载单目图像中静止目标三维信息获取方法 | |
| CN105004324A (zh) | 一种具有三角测距功能的单目视觉传感器 | |
| CN111811462A (zh) | 极端环境下大构件便携式视觉测距***及方法 | |
| CN110044266B (zh) | 基于散斑投影的摄影测量*** | |
| Lemkens et al. | Multi RGB-D camera setup for generating large 3D point clouds | |
| Grudziński et al. | Stereovision tracking system for monitoring loader crane tip position | |
| CN103685936A (zh) | 宽视场摄像机图像的校准和扭曲恢复 | |
| Chen et al. | Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |