CN114066998A - 一种基于双目视觉的水火弯板三维测量方法 - Google Patents
一种基于双目视觉的水火弯板三维测量方法 Download PDFInfo
- Publication number
- CN114066998A CN114066998A CN202111392754.2A CN202111392754A CN114066998A CN 114066998 A CN114066998 A CN 114066998A CN 202111392754 A CN202111392754 A CN 202111392754A CN 114066998 A CN114066998 A CN 114066998A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- calibration
- measurement method
- dimensional measurement
- binocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 15
- 238000005452 bending Methods 0.000 title claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000011426 transformation method Methods 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract 7
- 238000000034 method Methods 0.000 claims description 18
- 238000010438 heat treatment Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目视觉的水火弯板三维测量方法，本方案中采用了无人机搭载双目相机的方式来增加拍摄的灵活性，减少了对弯板尺寸的限制，同时降低了成本；其次，基于高斯权重的Census变换方法，可以在双目匹配中提高匹配的准确率，同时对整体的明暗变化并不敏感，因此即使左右影像亮度不一致，也能够得到较好的匹配效果；最后，在传统的Canny算法的基础上，加入了45°和135°两个方向，也就是整体四个方向进行计算，从而突出梯度差较弱的边缘。
Description
技术领域
本发明涉及水火弯板三维测量技术，具体涉及一种基于双目视觉的水火弯板三维测量方法。
背景技术
目前对水火弯板进行三维测量的方式，如公开号为CN104359415B的发明专利《一种水火弯板角变形量测量方法及***》，通常是使用固定尺寸的器材，或者说框架，将水火弯板放置在其中，利用直线移动的相机对其进行测量。然而，该方式对测量对象有着较大的限制，且还不能随时移动，局限性很大。在测量过程中，传统的棋盘格标定法会提取出一些错误和冗余的点，对相机的内参和外参的提取带来了很大的麻烦。
在进行计算时，传统的Census变换范围是像素的方形领域，由于空间中物体的某一区域在双目照片中的像并不是完全一样的，因此对应像素的方形邻域也不会完全一样，这些问题都会导致Census匹配代价不准确。
同样的，传统的Canny算法只会考虑x，y两个方向的梯度差，弱化了边缘，对后期的点云拼接增加了难度。而Ransac算法耗时较长，配准错误较多，效率低下，时间成本较高，精度也无法达到要求。
发明内容
发明目的：本发明的目的是提供一种测量精度高、误差小、人工劳动成本投入低的基于双目视觉的水火弯板三维测量方法。
技术方案：本发明所述的一种基于双目视觉的水火弯板三维测量方法，包括以下步骤：
(1)采用无人机搭载双目相机进行拍摄，对相机进行标定和畸变矫正得到相机的内参和外参；
(2)在对照片进行极线校正后在右照片中找到左照片中所有像素的匹配像素点，得到视差图后分别以Census匹配代价和Canny算法进行代价匹配计算和边缘检测，在进行Canny算法时加入45°和135°两个方向的计算梯度；
(3)基于高斯权重的Census变换方法进行点云坐标计算、点云去噪、点云拼接和表面三维重建，最终完成弯板的三维重建。
在上述技术方案中，采用了无人机搭载双目相机的方式来增加拍摄的灵活性，减少了对弯板尺寸的限制，同时降低了成本；其次，基于高斯权重的Census变换方法，可以在双目匹配中提高匹配的准确率，同时对整体的明暗变化并不敏感，因此即使左右影像亮度不一致，也能够得到较好的匹配效果；最后，在传统的Canny算法的基础上，加入了45°和135°两个方向，也就是整体四个方向进行计算，从而突出梯度差较弱的边缘。
优选的，采用张氏标定法对相机进行标定和畸变矫正。
优选的，对相机进行标定和畸变校正的具体过程为，首先准备标定图片，对每一张标定图片提取角点信息，随后对每一张标定图片进一步提取亚像素角点信息，然后在棋盘标定图上绘制找到的内角点，进行相机标定，之后对标定结果进行评价，查看标定效果利用标定结果对棋盘图进行矫正。
优选的，进行Canny算法时同时加入otsu双阈值分割进行边缘检测，减少边缘的多余线条，这样同样可以降低边缘检测的误差。
优选的，Otsu双阈值算法求取阈值g公式为：g＝ω0(μ0-μ)2+ω1(μ1-μ)2+ωw(μ2-μ)2，其中，g为最大值时，即可得到两个阈值，随后将阈值分割后的图像进行均值锐化处理，得到边缘图像。
优选的，Canny算法的流程为：输入原始图像，通过自适应中值滤波对图片进行平化处理，之后计算x，y，45°和135°四个方向梯度G，公式为：
优选的，在步骤(3)中，点云坐标计算、点云去噪、点云拼接和表面三维重建的具体步骤为，首先通过视差图和摄影***的参数计算得到目标表面的稠密点云，随后通过视差图对点云进行去噪，并对去噪点云进行点云拼接。
优选的，点云拼接基于SAC_IA粗配准和NDT+ICP精配准的点云拼接方法，同时在ICP中加入KD tree，该方式能够保留弯板的局部特性，增加精确度，KD_tree可以加快搜索，减少了运行时间，提高了工作效率。
有益效果：本发明与现有技术相比，其具有的优点：1、采用双目视觉的方式减小了对弯板尺寸的限制；2、基于高斯权重的Census变换方法可以在双目匹配中提高匹配的准确率；3、在Canny算法的基础上加入45°和135°两个方向，从而可以突出梯度差较弱的边缘，进而提高测量精度。
附图说明
图1为本发明中加权Census变换模板；
图2为本发明中步骤(2)的具体流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
所述的基于双目视觉的水火弯板三维测量方法，包括以下步骤：
(1)首先采用无人机搭载双目相机的方式进行拍摄，同时根据张氏标定法对相机进行标定和畸变矫正得到相机的内参和外参，该标定和畸变矫正的具体过程为：首先准备标定图片，对每一张标定图片提取角点信息，随后对每一张标定图片进一步提取亚像素角点信息，然后在棋盘标定图上绘制找到的内角点，进行相机标定，之后对标定结果进行评价，查看标定效果利用标定结果对棋盘图进行矫正；
(2)然后采用双目匹配的方法，在对照片进行极线校正后在右照片中找到左照片中所有像素的匹配像素点，从而得到视差图，以Census匹配代价和Canny算法分别进行代价匹配计算和边缘检测；
传统的Census变换范围是像素的方形邻域，由于空间中物体的某一区域在双目照片中的像并不是完全一样的，因此对应像素的方形邻域也不会完全一样。这样会导致Census匹配代价不准确，由此采用了基于高斯权重的Census变换方法，从而在双目匹配中提高匹配的准确率，而且在使用同样的二进制存储量的情况下，感受野也更大，如图1所示，该图为加权Census变换模板；
同时，在进行Canny算法时，还加入45°和135°两个方向的计算梯度，并加入otsu双阈值分割进行边缘检测，从而减少边缘多余的线条，其具体算法流程为：输入原始图像，通过自适应中值滤波对图片进行平滑处理，之后计算x，y，45°和135°四个方向梯度G：
随后采用otsu双阈值分割对经非极大值之后的图像进行处理，确定分割的最佳阈值g：g＝ω0(μ0-μ)2+ω1(μ1-μ)2+ωw(μ2-μ)2，在g为最大值时，就可以选出两个与之，然后将阈值分割后的图像进行均值锐化处理，最后得到边缘图像，如图2所示，该图为本步骤中的图像处理过程；
(3)以基于高斯权重的Census变换方法进行点云坐标计算、点云去噪、点云拼接和表面三维重建，最终完全弯板的三维重建，其具体过程为，首先通过视差图和摄影***的参数计算得到目标表面的稠密点云，然后通过视差图对点云进行去噪，并对去噪点云进行点云拼接，该点云拼接基于SAC_IA粗配准和NDT+ICP精配准的点云拼接方法，同时在ICP中加入KD tree。
Claims (8)
1.一种基于双目视觉的水火弯板三维测量方法，其特征在于，包括以下步骤：
(1)采用无人机搭载双目相机进行拍摄，对相机进行标定和畸变矫正得到相机的内参和外参；
(2)在对照片进行极线校正后在右照片中找到左照片中所有像素的匹配像素点，得到视差图后分别以Census匹配代价和Canny算法进行代价匹配计算和边缘检测，在进行Canny算法时加入45°和135°两个方向的计算梯度；
(3)基于高斯权重的Census变换方法进行点云坐标计算、点云去噪、点云拼接和表面三维重建，最终完成弯板的三维重建。
2.根据权利要求1所述的基于双目视觉的水火弯板三维测量方法，其特征在于，在步骤(1)中，采用张氏标定法对相机进行标定和畸变校正。
3.根据权利要求2所述的基于双目视觉的水火弯板三维测量方法，其特征在于，对相机进行标定和畸变校正的具体过程为，首先准备标定图片，对每一张标定图片提取角点信息，随后对每一张标定图片进一步提取亚像素角点信息，然后在棋盘标定图上绘制找到的内角点，进行相机标定，之后对标定结果进行评价，查看标定效果利用标定结果对棋盘图进行矫正。
4.根据权利要求1所述的基于双目视觉的水火弯板三维测量方法，其特征在于，在步骤(2)中，进行Canny算法时同时加入otsu双阈值分割进行边缘检测，减少边缘的多余线条。
5.根据权利要求4所述的基于双目视觉的水火弯板三维测量方法，其特征在于，所述Otsu双阈值算法求取阈值g公式为：g＝ω0(μ0-μ)2+ω1(μ1-μ)2+ωw(μ2-μ)2，其中，g为最大值时，即可得到两个阈值，随后将阈值分割后的图像进行均值锐化处理，得到边缘图像。
6.根据权利要求1所述的基于双目视觉的水火弯板三维测量方法，其特征在于，所述的Canny算法的流程为：输入原始图像，通过自适应中值滤波对图片进行平化处理，之后计算x，y，45°和135°四个方向梯度G，公式为：
7.根据权利要求1所述的基于双目视觉的水火弯板三维测量方法，其特征在于，在步骤(3)中，点云坐标计算、点云去噪、点云拼接和表面三维重建的具体步骤为，首先通过视差图和摄影***的参数计算得到目标表面的稠密点云，随后通过视差图对点云进行去噪，并对去噪点云进行点云拼接。
8.根据权利要求7所述的基于双目视觉的水火弯板三维测量方法，其特征在于，所述的点云拼接基于SAC_IA粗配准和NDT+ICP精配准的点云拼接方法，同时在ICP中加入KD tree。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111392754.2A CN114066998A (zh) | 2021-11-23 | 2021-11-23 | 一种基于双目视觉的水火弯板三维测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111392754.2A CN114066998A (zh) | 2021-11-23 | 2021-11-23 | 一种基于双目视觉的水火弯板三维测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114066998A true CN114066998A (zh) | 2022-02-18 |
Family
ID=80279352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111392754.2A Pending CN114066998A (zh) | 2021-11-23 | 2021-11-23 | 一种基于双目视觉的水火弯板三维测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066998A (zh) |
-
2021
- 2021-11-23 CN CN202111392754.2A patent/CN114066998A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633536B (zh) | 一种基于二维平面模板的相机标定方法及*** | |
| CN108230397B (zh) | 多目摄像机标定与校正方法和装置、设备、程序和介质 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| WO2018209968A1 (zh) | 摄像机标定方法及*** | |
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN105374019B (zh) | 一种多深度图融合方法及装置 | |
| CN101630406B (zh) | 摄像机的标定方法及摄像机标定装置 | |
| CN107844750A (zh) | 一种水面全景图像目标检测识别方法 | |
| CN109961417B (zh) | 图像处理方法、装置及移动装置控制方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN114998773B (zh) | 适用于无人机***航拍图像的特征误匹配剔除方法及*** | |
| CN112233189B (zh) | 多深度相机外部参数标定方法、装置及存储介质 | |
| CN112929626A (zh) | 一种基于智能手机影像的三维信息提取方法 | |
| CN116957987A (zh) | 一种多目极线校正方法、装置、计算机设备及存储介质 | |
| CN108520541B (zh) | 一种广角摄像机的标定方法 | |
| CN112017259B (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
| CN113643427A (zh) | 一种双目测距及三维重建方法 | |
| CN111311658B (zh) | 双光成像***图像配准方法及相关装置 | |
| CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
| CN117333367A (zh) | 基于图像局部特征的图像拼接方法、***、介质及装置 | |
| CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |