CN117419640A - 基于双目立体视觉的空间点三维坐标测量方法 - Google Patents
基于双目立体视觉的空间点三维坐标测量方法 Download PDFInfo
- Publication number
- CN117419640A CN117419640A CN202311303687.1A CN202311303687A CN117419640A CN 117419640 A CN117419640 A CN 117419640A CN 202311303687 A CN202311303687 A CN 202311303687A CN 117419640 A CN117419640 A CN 117419640A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- camera
- measurement
- matrix
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005259 measurement Methods 0.000 claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000013519 translation Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000000523 sample Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000002955 isolation Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000000691 measurement method Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000002474 experimental method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双目立体视觉的空间点三维坐标测量方法，以解决双目视觉技术中存在的难以在中远距离尺度上实现高精度三坐标检测、相机坐标系难以转换到世界坐标系等技术难题，属于仪器科学与测量领域。在本发明中，利用双目视觉***，通过相机标定获取相机的本征参数与位置关系，并结合机械靶标LED光点信息，通过广义逆矩阵方法获取关键旋转矩阵，利用差分方式获取平移向量，并通过牛顿梯度下降连续迭代的方式，实现了对于空间坐标点的三维高精度测量与转换。实践证明，本发明提升了双目测量技术中空间点测量精度，满足了现实工业领域与自动驾驶领域对提高空间离散点定位精度的迫切需求。
Description
技术领域
本发明涉及仪器科学与测量领域，尤其涉及一种工业领域迫切需求的工件表面离散点定位与坐标测量技术。
背景技术
空间点坐标测量技术是仪器领域的一个重要研究课题，可以应用于自动驾驶、工件几何长度测量、空间坐标配准等领域。在点坐标测量技术领域中，一般有三坐标测量机检测、激光仪测量、机械臂测量、视觉测量。其中三坐标测量机、激光测量装置价格昂贵，难以普及；机械臂装置操作复杂并且难以在有遮挡的工件内部中进行测量。相比之下，视觉测量具有着巨大的应用潜力，同时随着目标检测等技术的发展，视觉测量具有着越来越大的应用前景与研究价值。
视觉测量技术中，主要包含单目视觉测量、双目视觉测量、多目视觉测量技术。其中单目视觉测量缺乏深度信息，难以实现对坐标点三维空间的坐标定位；多目视觉测量技术需要多次相机标定，操作复杂繁琐，同时增加测量成本，并且需要先计算公共视场，增加了计算复杂度。相比之下，双目视觉技术能够获取深度信息，同时具有成熟简单的相机标定方法，对空间点检测领域具有着很大的优势。然而，该技术目前难以在中远距离尺度上实现高精度三坐标检测，同时伴随着相机坐标系难以转换到世界坐标系等技术问题。
目前为止，因为双目视觉测量技术中存在上述关键技术问题，现有方法中都不能够良好的满足现实应用中对于空间离散点坐标三维测量的紧迫需求。
发明内容
为了解决上述技术问题，本发明提供了一种基于双目立体视觉的空间点三维坐标测量方法，可以改善双目视觉测量技术存在的关键问题，满足工业领域对提高空间离散点坐标三维测量精度的迫切需求。
在公开的技术方法中，包含基于多光点靶标的三坐标测量***、基于牛顿梯度下降的空间坐标转换算法。
基于多光点靶标的三坐标测量***由7个独立且不共平面的LED光点、机械圆球探头、光耦隔离触发按键、LED供电电源等部件组成。
基于多光点靶标的三坐标测量***中，首先需要对双目相机进行调焦与相机标定，然后调整光圈大小，控制曝光量。在此基础上，设置相机脉冲信号触发方式，采集到空间光点图像后，利用极线矫正方法，实现光点的匹配与对应，从而实现光点匹配。在此基础上，利用坐标点三维计算方法，获取7个光点在相机坐标系下的空间坐标。
在此基础上，由7个光点已知的三维空间点，结合靶标标定后的参数信息，通过冗余信息建立信息矩阵，利用广义逆矩阵算法推导靶标探头质心坐标。
基于牛顿梯度下降的空间坐标转换算法中，在获取探头质心坐标后，进行相机坐标系与世界坐标系的空间变换，通过在空间点区域多次采集离散点，依次获得相机坐标系与世界坐标系下若干离散点的坐标矩阵信息，通过侧倾角、俯仰角、偏航角建立坐标系的旋转矩阵。
在此基础上，结合均值差分信息，获取不含平移向量的坐标差分矩阵。通过利用牛顿偏导，计算坐标转换梯度信息，利用连续迭代的方式，获取相机坐标系与世界坐标系的旋转矩阵。通过旋转关系矩阵，计算多个坐标点坐标的均值，结合旋转矩阵信息，获取误差最小条件下的坐标平移矩阵。
与现有方案相比，本方案具有以下技术优点：
本发明针对双目视觉测量技术中存在的难以在中远距离尺度上实现高精度三坐标检测、相机坐标系难以转换到世界坐标系等问题，提出了一种基于双目立体视觉的空间点三维坐标测量方法。本发明建立了基于多光点靶标的三坐标测量***、基于牛顿梯度下降的空间坐标转换算法，提升了中远距离下空间离散点三坐标测量精度，同时保证了误差的可溯源性。综合来看，该发明提高了双目视觉检测技术对于空间离散点的三坐标测量精度，回应了现实工业领域与自动驾驶领域对提高空间离散点定位精度的迫切需求。
附图说明
图1为基于多光点靶标的三坐标测量***的多光点靶标的机械结构示意图；
图2为基于多光点靶标的三坐标测量***的靶标中7个LED光点供电的电路图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提出的基于双目立体视觉的空间点三维坐标测量方法，包含基于多光点靶标的三坐标测量***、基于牛顿梯度下降的空间坐标转换算法。
在本发明公开的基于多光点靶标的三坐标测量***中，包含着红外谱段滤光片、双目立体视觉***、多光点靶标(如图1所示)。在接通电源后，利用电路装置(如图2所示)控制红外LED光点亮度。对两相机进行调焦，并进行相机标定，获取相机的本征参数与相对位置信息，然后安装红外滤光片，并在实验中设置相机曝光参数。随后，利用海克斯康等坐标测量产品，对多光点靶标进行标定，获取其7个光点的三维坐标信息，同时获取靶标探头的质心坐标。
在上述基础上，设置脉冲触发的方式，利用手持按钮输入触发信号，双目立体视觉***进行图像的采集。获取到图像后，利用极线矫正方法，矫正图像使得同一点落在左右相机同一条水平线上。然后利用下式获取左右相机采集到图像的7个光点质心：
其中xi、yi为光点区域内各个点的像素平面坐标、pi为各个点的灰度值、n为光点区域内所有的点。
在此基础上，利用坐标匹配算法，实现左右相机图像中光点的坐标匹配，并建立与靶标坐标系下坐标的联系关系，然后利用下式计算：
其中X1、Y1、X2分别为左右相机上对应坐标点的x值、y值，可以通过计算光点质心坐标求出；r1-r9为相机之间的坐标旋转矩阵因子、f1与f2为左右相机的焦距参数、tx与tz为左右相机之间的平移向量因子，可以通过相机标定方法求出。
经过上述步骤，可以获得多个光点在相机坐标系下的三维空间坐标。因为不同光点在相机坐标系下位置关系与其在靶标坐标系下一致，为此提出采用广义逆矩阵的方法获取靶标坐标系下探头质心坐标。方法如下：
设LED光点坐标在相机坐标系下坐标为
设其在靶标坐标系下坐标为
可以获得探头上探头质心坐标为
为了降低误差因子，计算7个坐标点的中心位置，为
其中i＝1、2。可得
P1-C1＝k3×3×(P2-C2)
其中左式由于信息冗余，因此采用广义逆矩阵，获取旋转矩阵参数
k3×3＝(P1-C1)×pinv(P2-C2)
并利用中心信息，获取相机坐标系与靶标坐标系的位移向量如下
b3×1＝C1-k3×3×C2
至此，建立了相机坐标系与靶标坐标系的线性映射规则，从而可以通过标定参数，获取到靶标探头在相机坐标系下的位置关系。
在获取靶标探头质心在世界坐标系下的坐标，本发明提出了基于牛顿梯度下降的空间坐标转换算法。获得了m个空间点在相机坐标系下空间点坐标与世界坐标系下空间点坐标后，可以建立相机坐标系下坐标为
同时可以建立世界坐标系下坐标为
考虑到线性代数性质，当m＝4时可以建立坐标转换关系，当m≥5时，输入信息有冗余性，为此采用m＝6时进行牛顿法的坐标转换。
通过差分的方式，消去各个坐标中的中心坐标，则可以获得
其中为中心坐标。
构建函数如下：
则E是以θx、θy、θz为变量的误差矩阵，其中R为
拟通过调整θx、θy、θz参数，使得下式成立
因为待优化表达式为θx、θy、θz的连续函数，故当函数取到极值点时，对应优化函数对各个参数的偏导数趋近于0。因此采用迭代的方式计算，选取不共线的3个点，计算旋转矩阵初值为
获取θx、θy、θz参数为
随即利用牛顿迭代思想优化相关参数
其中LR为一确定参数，数学求导信息为
最后，算法经多次迭代，在均小于给定阈值(0.0001)时，停止迭代，并认为此时已经获取了旋转矩阵的关键旋转因子，从而可以求解相机坐标系至世界坐标系的坐标转换关系，实现坐标转换。
本发明方法所提出的多光点靶标的三坐标测量***进行了仿真实验测试，结合实验条件，预计单点测量误差约为3.7mm，本方法利用冗余信息进行拟合测量，进行了10万次仿真测量，仿真实验结果如下表1所示：
表1
可以看出，本方法利用冗余信息的方法显著的降低了误差，通过冗余信息，实现了高精度离散点坐标测量。
本发明方法所提出的基于双目立体视觉的空间点三维坐标测量方法，在4.5m处进行了单点重复性实验。误差均值为0.10mm、误差标准差为0.07mm、最大误差为0.33mm，证明了方法的稳定性。
本发明方法所提出的基于双目立体视觉的空间点三维坐标测量方法，在2.0-4.5m处上60个离散点处进行了实验，单点重复性误差小于1.5mm，证明了方法鲁棒性。
Claims (9)
1.基于双目立体视觉的空间点三维坐标测量方法，其特征在于：由基于多光点靶标的三坐标测量***、基于牛顿梯度下降的空间坐标转换算法组成。
2.根据权利要求1所述的基于多光点靶标的三坐标测量***，其特征在于：由7个独立且不共平面的LED光点、机械圆球探头、光耦隔离触发按键、LED供电电源等部件组成，通过触发按键生成跳变信号以实现双目图像的同时同步图像采集。
3.根据权利要求1所述的基于多光点靶标的三坐标测量***，其特征在于：需要进行双目相机的标定，获取相机主点信息、焦距信息、相机间的位置转换关系，并通过极线矫正的方式校正左右相机采集到的图像。
4.根据权利要求1所述的基于多光点靶标的三坐标测量***，其特征在于：利用坐标匹配的方法，获取左右图像与机械靶标上LED光点的对应映射关系，并利用质心求解的方法，获取LED光点在左右图像上的质心位置，从而采用空间离散点位置解算方法获取7个光点在相机坐标系下的空间坐标位置。
5.根据权利要求1所述的基于多光点靶标的三坐标测量***，其特征在于：通过拼接离散光点在相机坐标系下的三维坐标，形成三维坐标矩阵并与靶标坐标系上光点位置关系形成空间坐标映射关系，通过差分均值与进行矩阵广义逆运算的方式，求解靶标坐标系与相机坐标系间的旋转平移关系，进而推导靶标探头质心在相机坐标系下的空间三维坐标。
6.根据权利要求1所述的基于牛顿梯度下降的空间坐标转换算法，其特征在于：通过差分的方式减小测量误差的影响，利用测倾角、偏摆角、巡航角构建旋转正交矩阵，并建立优化矩阵，并确立最小二范数的误差优化函数。
7.根据权利要求1所述的基于牛顿梯度下降的空间坐标转换算法，其特征在于：在确立最小二范数的误差优化函数的基础上，通过不共线的三个空间离散点，拼接组成3×3的坐标矩阵，采用矩阵逆运算的方式获取旋转正交矩阵关键角度初值。
8.根据权利要求1所述的基于牛顿梯度下降的空间坐标转换算法，其特征在于：在确立旋转正交矩阵关键角度初值的基础上，通过牛顿梯度下降的方法实现数值迭代，通过多次参数更新逼近于理论真值，当误差参数小于给定阈值后，停止迭代，获取关键旋转矩阵参数信息。
9.根据权利要求1所述的基于牛顿梯度下降的空间坐标转换算法，其特征在于：在获取关键旋转矩阵参数信息的基础上，利用7光点坐标计算中心信息，从而求解最小误差条件下的平移向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311303687.1A CN117419640A (zh) | 2023-10-10 | 2023-10-10 | 基于双目立体视觉的空间点三维坐标测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311303687.1A CN117419640A (zh) | 2023-10-10 | 2023-10-10 | 基于双目立体视觉的空间点三维坐标测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117419640A true CN117419640A (zh) | 2024-01-19 |
Family
ID=89529255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311303687.1A Pending CN117419640A (zh) | 2023-10-10 | 2023-10-10 | 基于双目立体视觉的空间点三维坐标测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117419640A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117928386A (zh) * | 2024-03-22 | 2024-04-26 | 四川拓及轨道交通设备股份有限公司 | 一种便携式双目接触网几何参数检测***及方法 |
-
2023
- 2023-10-10 CN CN202311303687.1A patent/CN117419640A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117928386A (zh) * | 2024-03-22 | 2024-04-26 | 四川拓及轨道交通设备股份有限公司 | 一种便携式双目接触网几何参数检测***及方法 |
| CN117928386B (zh) * | 2024-03-22 | 2024-05-31 | 四川拓及轨道交通设备股份有限公司 | 一种便携式双目接触网几何参数检测***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111156925B (zh) | 基于线结构光和工业机器人的大构件三维测量方法 | |
| CN107883870B (zh) | 基于双目视觉***和激光跟踪仪测量***的全局标定方法 | |
| CN109323650B (zh) | 测量***中视觉图像传感器与光点测距传感器测量坐标系的统一方法 | |
| CN109000558A (zh) | 一种大视场非接触三维点坐标测量方法及设备 | |
| CN109916304B (zh) | 镜面/类镜面物体三维测量***标定方法 | |
| CN112985293B (zh) | 一种单像机双球面镜镜像双目视觉测量***和测量方法 | |
| CN111220126A (zh) | 一种基于点特征和单目相机的空间物***姿测量方法 | |
| Wang et al. | An efficient calibration method of line structured light vision sensor in robotic eye-in-hand system | |
| CN109978960B (zh) | 基于摄影测量的高精度屏幕-相机位姿标定方法 | |
| CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN111811433B (zh) | 基于红蓝正交条纹的结构光***标定方法及装置和应用 | |
| CN117419640A (zh) | 基于双目立体视觉的空间点三维坐标测量方法 | |
| CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
| CN106709955A (zh) | 基于双目立体视觉的空间坐标系标定***和方法 | |
| CN105004324A (zh) | 一种具有三角测距功能的单目视觉传感器 | |
| CN109212497A (zh) | 一种空间六自由度车载雷达天线位姿偏差测量及对接方法 | |
| CN109341559A (zh) | 一种基于双目视觉原理的航空发动机机匣变形测量方法 | |
| CN114459345B (zh) | 基于视觉空间定位的飞机机身位置姿态检测***及方法 | |
| CN110211175B (zh) | 准直激光器光束空间位姿标定方法 | |
| Wu et al. | A calibration method for spatial pose of a laser beam | |
| CN209459599U (zh) | 一种基于双目视觉原理的航空发动机机匣变形测量装置 | |
| Liu et al. | Portable light pen 3D vision coordinate measuring system-probe tip center calibration | |
| Zou et al. | Extrinsic calibration method for 3D scanning system with four coplanar laser profilers | |
| CN107478172B (zh) | 基于双目视觉的激光三维曲线轮廓定位投影方法 | |
| CN111044039B (zh) | 基于imu的单目目标区域自适应高精度测距装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |