CN111829435A - 一种多双目相机与线激光协同检测方法 - Google Patents
一种多双目相机与线激光协同检测方法 Download PDFInfo
- Publication number
- CN111829435A CN111829435A CN201910793994.XA CN201910793994A CN111829435A CN 111829435 A CN111829435 A CN 111829435A CN 201910793994 A CN201910793994 A CN 201910793994A CN 111829435 A CN111829435 A CN 111829435A
- Authority
- CN
- China
- Prior art keywords
- binocular camera
- camera
- binocular
- line laser
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种多双目相机与线激光协同检测方法，包括以下步骤：架设双目相机模组；对各双目相机的左右摄像头进行立体标定；分别获取被测物体的左图像和右图像，进行立体校正，匹配点对，根据左右视图视差，计算得到被测物体的三维信息；进行位姿关系的坐标转换；融合同一时刻的实时深度图像数据和实时姿态数据，分别计算各坐标系的三维位置，以得到完整的三维数据。双目相机模组安装在平台的同一平面上，且呈一字型排列安装。本发明采用多组线激光与双目相机的模组平行安装于一平面进行物体检测，获取三维坐标后进行三维重建、数据融合，采用多模组协同扫描的方式大大加快了测量速度，提高了测量效率，测量精度也比传统单双目相机精度更高。
Description
技术领域
本发明涉及物体三维信息检测技术领域，具体涉及一种多双目相机与线激光协同检测方法。
背景技术
双目视觉是计算机的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、目标物体检测等领域得到了广泛的应用。
双目立体视觉使用一个或两个CCD或CMOS数码相机，从不同角度拍摄被测物体同一表面，通过计算空间点在两幅图像中的视差，获得该点的三维坐标。这种测量方法需要确定空间同一点在两幅或多幅不同角度拍摄的图像上的相应位置。扫描一个物体就需要收集物体表面的信息，使用激光器向物体表面投射激光光线，激光光线被物体表面反射后被相机采集，采集后的图像上的激光条纹可以提供密集物体表面点的信息。
在普通的双目视觉拍摄范围内，通过不同视角图像匹配和三角测量原理，计算出空间内所有点的三维坐标数据，立体相机获得三维数据的精度完全依赖图像匹配的精度，而图像匹配的精度受光照、被测空间等因素影响较大，同时因为线激光从上方或侧方发射,一次检测只能获取某一视面中的物体三维信息，会因为无法全方位拍摄存在一定的盲区，严重影响三维检测的精度。激光扫描仪只能获得激光线上点的三维坐标数据，需要移动激光扫描仪或被扫描物体，通过拼接才能获得被扫描空间内所有点的三维数据，整个***成本较高；总而言之，目前市场上还没有同时具备高精度、低价格、拍摄范围大及空间分辨率的三维数据获取产品。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种多双目相机与线激光协同检测装置及方法，通过将多组双目相机模组平行安装于一平面，对被测物体进行检测，多条激光以及多个双目相机同时扫描检测并进行图像处理与三维位姿信息的计算提取的方法，实现物体的快速、高精度检测。
本发明的目的及解决其技术问题是采用以下技术方案来实现的：
一种多双目相机与线激光协同检测方法，包括以下步骤：
S1：以被测物体所在平台为基准面，在基准面上方架设由双目相机和线激光发射器组成的双目相机模组，使双目相机能够摄取到激光线，双目相机和线激光发射器的位置保持相对固定。
S2：对各双目相机的左摄像头和右摄像头进行立体标定。
S3：每个所述双目相机模组通过双目相机的左摄像头和右摄像头分别获取被测物体的左图像和右图像，对左图像和右图像进行立体校正；
对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对；
根据所述线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到被测物体的三维信息。
S4：对多个双目相机进行位姿关系的坐标转换，即换算到同一个坐标系下。
S5：融合同一时刻的每个所述双目相机模组获取的被测物体的实时深度图像数据和实时姿态数据，分别计算对应标定物在各个双目立体相机坐标系的三维位置，以得到完整的三维数据。
优选的，在所述步骤S1中，所述双目相机模组安装在被测物体平台的同一平面上，且呈一字型排列安装。
优选的，在所述步骤S1中，所述双目相机模组的数量为两组以上。
优选的，在所述步骤S1中，所述线激光发射器内置于所述双目相机中，或所述线激光发射器外挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光发射器与所述双目相机采用分体式安装。
优选的，在所述步骤S2中，对各双目相机的左摄像头和右摄像头进行立体标定；包括内参矩阵K和畸变矩阵D的计算：
对于每一幅图像及其对应的标定棋盘格角点，通过矩阵方法可以求得B的最小二乘解，并进一步解得相机内参K。根据多幅图像的棋盘格角点进一步求出最优解，最优解即为使下述方程最小的解：
考虑径向畸变畸变的情况下，上述优化问题转化为下式的最小化问题：
使用Levenberg-Marquardt的方法，利用第一幅图像得到的解作为初始值，进而迭代得到最优解。
优选的，在所述步骤S2中，所述双目相机模组开始工作时协同工作，保持时序同步，即在同一时间通过外部触发信号设置各双目相机模组同时触发，或上位机触发各双目相机进入流模式，且在同一时刻同时设置各双目立体相机计时器清零，一个主相机发送触发信号，从相机接受触发信号后同时工作。
优选的，在所述步骤S4中，根据各所述双目相机模组之间的距离和被测物体移动的速度，计算各双目相机模组所属坐标系之间x轴方向的距离，通过x轴方向距离求得被测物体在各双目相机模组所述坐标系的三维坐标。
优选的，在所述步骤S4中，所述双目立体相机模组分别获取到被测物体的三维数据，将多组三维数据以统一标定坐标系为原点，立体匹配各组视图的相同特征，得到被测物体的整体三维数据。
有益效果
本发明采用多组线激光与双目相机的模组平行安装于一平面进行物体检测，有效利用激光的高亮度、高直线性提高了测量方法的抗干扰能力，获取三维坐标后进行三维重建、数据融合，采用多模组协同扫描的方式大大加快了测量速度，提高了测量效率，测量精度也比传统单双目相机精度更高。
附图说明
图1为一种多双目相机与线激光协同检测方法的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在本发明的描述中，需要说明的是，术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。
在本实施例中，一种多双目相机与线激光协同检测方法，包括以下步骤：
S1：以被测物体所在平台为基准面，在基准面上方架设由双目相机和线激光发射器组成的双目相机模组，使双目相机能够摄取到激光线，双目相机和线激光发射器的位置保持相对固定。
S2：对各双目相机的左摄像头和右摄像头进行立体标定。
S3：每个所述双目相机模组通过双目相机的左摄像头和右摄像头分别获取被测物体的左图像和右图像，对左图像和右图像进行立体校正；
对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对；
根据所述线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到被测物体的三维信息。
S4：对多个双目相机进行位姿关系的坐标转换，即换算到同一个坐标系下。
S5：融合同一时刻的每个所述双目相机模组获取的被测物体的实时深度图像数据和实时姿态数据，分别计算对应标定物在各个双目立体相机坐标系的三维位置，以得到完整的三维数据。
采用多组双目相机与线激光组成的模组实时采集被测物体以及线激光的图像，将采集到的图像信息发送给图像处理器进行处理，完成左右图像的立体匹配，进行三维重建和各双目相机模组坐标的数据融合，拟合出被测物体的完整三维位姿信息。
优选的，在所述步骤S1中，所述双目相机模组安装在被测物体平台的同一平面上，且呈一字型排列安装。
优选的，在所述步骤S1中，所述双目相机模组的数量为两组以上。
优选的，在所述步骤S1中，所述线激光发射器内置于所述双目相机中，或所述线激光发射器外挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光发射器与所述双目相机采用分体式安装。
在所述步骤S2中，对各双目相机的左摄像头和右摄像头进行立体标定；包括内参矩阵K和畸变矩阵D的计算：
对于每一幅图像及其对应的标定棋盘格角点，通过矩阵方法可以求得B的最小二乘解，并进一步解得相机内参K。根据多幅图像的棋盘格角点进一步求出最优解，最优解即为使下述方程最小的解：
考虑径向畸变畸变的情况下，上述优化问题转化为下式的最小化问题：
使用Levenberg-Marquardt的方法，利用第一幅图像得到的解作为初始值，进而迭代得到最优解。
优选的，在所述步骤S2中，对双目相机的左摄像头和右摄像头进行立体标定，得到双目相机的内参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T：
对双目相机的左摄像头和右摄像头分别进行标定，得到双目相机的内参矩阵A、左摄像头的旋转矩阵R1和右摄像头的旋转矩阵Rr，以及左摄像头的平移向量T1和右摄像头的平移向量Tr；
通过如下公式计算得到左摄像头和右摄像头之间的旋转矩阵R和平移向量T：
优选的，在所述步骤S2中，所述双目相机模组开始工作时协同工作，保持时序同步，即在同一时间通过外部触发信号设置各双目相机模组同时触发，或上位机触发各双目相机进入流模式，且在同一时刻同时设置各双目立体相机计时器清零，一个主相机发送触发信号，从相机接受触发信号后同时工作。
在本实施例中，对所述左钢筋端面轮廓图像和所述右钢筋端面轮廓图像进行立体校正包括：
将所述旋转矩阵R分解为两个旋转矩阵r1和rr，其中r1和rr通过假设将所述左摄像头和所述右摄像头各旋转一半使所述左摄像头和所述右摄像头的光轴平行而得到；
对所述左钢筋端面轮廓图像和所述右钢筋端面轮廓图像进行行对准通过下式实现：
其中，Rrect为使行对准的旋转矩阵：
旋转矩阵Rrect由极点e1方向开始，以所述左钢筋端面轮廓图像的原点为主，所述左摄像头至所述右摄像头的平移向量的方向为主点方向：
e1与e2正交，将e1归一化到单位向量：
其中，Tx为平移向量T在双目相机所处平面内水平方向的分量，Ty为平移向量T在双目相机所处平面内竖直方向的分量；
e3与e1和e2正交，e3通过如下公式计算得到：
e3＝e2×e1
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，所述左摄像头和所述右摄像头在其所处平面内需要旋转的角度，0≤α≤180°；对于所述左摄像头，使其绕e3方向旋转α'，对于右相机，使其绕e3方向旋转α”。
优选的，在所述步骤S4中，根据各所述双目相机模组之间的距离和被测物体移动的速度，计算各双目相机模组所属坐标系之间x轴方向的距离，通过x轴方向距离求得被测物体在各双目相机模组所述坐标系的三维坐标。
优选的，在所述步骤S4中，所述双目立体相机模组分别获取到被测物体的三维数据，将多组三维数据以统一标定坐标系为原点，立体匹配各组视图的相同特征，得到被测物体的整体三维数据。
有益效果
本发明采用多组线激光与双目相机的模组平行安装于一平面进行物体检测，有效利用激光的高亮度、高直线性提高了测量方法的抗干扰能力，获取三维坐标后进行三维重建、数据融合，采用多模组协同扫描的方式大大加快了测量速度，提高了测量效率，测量精度也比传统单双目相机精度更高。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书，可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种多双目相机与线激光协同检测方法，其特征在于，包括以下步骤：
S1：以被测物体所在平台为基准面，在基准面上方架设由双目相机和线激光发射器组成的双目相机模组，使双目相机能够摄取到激光线，双目相机和线激光发射器的位置保持相对固定。
S2：对各双目相机的左摄像头和右摄像头进行立体标定。
S3：每个所述双目相机模组通过双目相机的左摄像头和右摄像头分别获取被测物体的左图像和右图像，对左图像和右图像进行立体校正；
对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对；
根据所述线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到被测物体的三维信息。
S4：对多个双目相机进行位姿关系的坐标转换，即换算到同一个坐标系下。
S5：融合同一时刻的每个所述双目相机模组获取的被测物体的实时深度图像数据和实时姿态数据，分别计算对应标定物在各个双目立体相机坐标系的三维位置，以得到完整的三维数据。
2.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S1中，所述双目相机模组安装在被测物体平台的同一平面上，且呈一字型排列安装。
3.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S1中，所述双目相机模组的数量为两组以上。
4.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S1中，所述线激光发射器内置于所述双目相机中，或所述线激光发射器外挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光发射器与所述双目相机采用分体式安装。
5.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S2中，对各双目相机的左摄像头和右摄像头进行立体标定；包括内参矩阵K和畸变矩阵D的计算：
对于每一幅图像及其对应的标定棋盘格角点，通过矩阵方法可以求得B的最小二乘解，并进一步解得相机内参K。根据多幅图像的棋盘格角点进一步求出最优解，最优解即为使下述方程最小的解：
考虑径向畸变畸变的情况下，上述优化问题转化为下式的最小化问题：
使用Levenberg-Marquardt的方法，利用第一幅图像得到的解作为初始值，进而迭代得到最优解。
6.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S2中，所述双目相机模组开始工作时协同工作，保持时序同步，即在同一时间通过外部触发信号设置各双目相机模组同时触发，或上位机触发各双目相机进入流模式，且在同一时刻同时设置各双目立体相机计时器清零，一个主相机发送触发信号，从相机接受触发信号后同时工作。
7.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S4中，根据各所述双目相机模组之间的距离和被测物体移动的速度，计算各双目相机模组所属坐标系之间x轴方向的距离，通过x轴方向距离求得被测物体在各双目相机模组所述坐标系的三维坐标。
8.根据权利要求1所述的一种多双目相机与线激光协同检测方法，其特征在于，在所述步骤S4中，所述双目立体相机模组分别获取到被测物体的三维数据，将多组三维数据以统一标定坐标系为原点，立体匹配各组视图的相同特征，得到被测物体的整体三维数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910793994.XA CN111829435A (zh) | 2019-08-27 | 2019-08-27 | 一种多双目相机与线激光协同检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910793994.XA CN111829435A (zh) | 2019-08-27 | 2019-08-27 | 一种多双目相机与线激光协同检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111829435A true CN111829435A (zh) | 2020-10-27 |
Family
ID=72911655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910793994.XA Pending CN111829435A (zh) | 2019-08-27 | 2019-08-27 | 一种多双目相机与线激光协同检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111829435A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112461127A (zh) * | 2020-11-05 | 2021-03-09 | 渤海造船厂集团有限公司 | 一种双曲外板成型检测装置及方法 |
| CN113269823A (zh) * | 2021-05-18 | 2021-08-17 | Oppo广东移动通信有限公司 | 深度数据获取方法、装置、存储介质与电子设备 |
| CN114882120A (zh) * | 2022-05-13 | 2022-08-09 | 迈润智能科技(上海)有限公司 | 基于双目图像处理的海洋结构物摇荡测量***及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971353A (zh) * | 2014-05-14 | 2014-08-06 | 大连理工大学 | 采用激光辅助大型锻件测量图像数据的拼接方法 |
| CN107063129A (zh) * | 2017-05-25 | 2017-08-18 | 西安知象光电科技有限公司 | 一种阵列式并行激光投影三维扫描方法 |
| CN107621226A (zh) * | 2017-07-18 | 2018-01-23 | 深圳大学 | 多目立体视觉的三维扫描方法及*** |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN109974623A (zh) * | 2018-09-13 | 2019-07-05 | 北京伟景智能科技有限公司 | 基于线激光和双目视觉的三维信息获取方法和装置 |
-
2019
- 2019-08-27 CN CN201910793994.XA patent/CN111829435A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971353A (zh) * | 2014-05-14 | 2014-08-06 | 大连理工大学 | 采用激光辅助大型锻件测量图像数据的拼接方法 |
| CN107063129A (zh) * | 2017-05-25 | 2017-08-18 | 西安知象光电科技有限公司 | 一种阵列式并行激光投影三维扫描方法 |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN107621226A (zh) * | 2017-07-18 | 2018-01-23 | 深圳大学 | 多目立体视觉的三维扫描方法及*** |
| CN109974623A (zh) * | 2018-09-13 | 2019-07-05 | 北京伟景智能科技有限公司 | 基于线激光和双目视觉的三维信息获取方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112461127A (zh) * | 2020-11-05 | 2021-03-09 | 渤海造船厂集团有限公司 | 一种双曲外板成型检测装置及方法 |
| CN113269823A (zh) * | 2021-05-18 | 2021-08-17 | Oppo广东移动通信有限公司 | 深度数据获取方法、装置、存储介质与电子设备 |
| CN114882120A (zh) * | 2022-05-13 | 2022-08-09 | 迈润智能科技(上海)有限公司 | 基于双目图像处理的海洋结构物摇荡测量***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110044300B (zh) | 基于激光器的两栖三维视觉探测装置及探测方法 | |
| CN111750806B (zh) | 一种多视角三维测量***及方法 | |
| CN102364299B (zh) | 一种多个结构光投影三维型面测量头的标定技术 | |
| CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| US7196719B2 (en) | Angled axis machine vision system and method | |
| CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
| CN109544628B (zh) | 一种指针式仪表的准确读数识别***及方法 | |
| CN111854636B (zh) | 一种多相机阵列三维检测***和方法 | |
| CN111829435A (zh) | 一种多双目相机与线激光协同检测方法 | |
| CN108288291A (zh) | 基于单点标定物的多相机标定 | |
| CN109443245B (zh) | 一种基于单应性矩阵的多线结构光视觉测量方法 | |
| CN109827521B (zh) | 一种快速多线结构光视觉测量***标定方法 | |
| CN111815716A (zh) | 一种参数标定方法及相关装置 | |
| CN107941153B (zh) | 一种激光测距优化标定的视觉*** | |
| CN114998499A (zh) | 一种基于线激光振镜扫描的双目三维重建方法及*** | |
| CN111854622B (zh) | 一种大视场光学动态变形测量方法 | |
| CN110763140B (zh) | 一种非平行光轴高精度双目测距方法 | |
| CN108180888A (zh) | 一种基于可转动摄像头的距离检测方法 | |
| CN111721194A (zh) | 一种多激光线快速检测方法 | |
| CN117073579A (zh) | 基于条纹投影结构光双目三维测量***与方法 | |
| Su et al. | Obtaining obstacle information by an omnidirectional stereo vision system | |
| CN112686960B (zh) | 一种基于光线追迹的相机入瞳中心及视线方向的标定方法 | |
| CN209978890U (zh) | 一种多激光线快速检测*** | |
| CN114359365A (zh) | 一种具有高分辨率的汇聚式双目视觉测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201027 |