CN113409236A - 一种基于双目视觉的钢拱架铰接孔检测方法及其应用 - Google Patents

一种基于双目视觉的钢拱架铰接孔检测方法及其应用 Download PDF

Info

Publication number
CN113409236A
CN113409236A CN202010610109.2A CN202010610109A CN113409236A CN 113409236 A CN113409236 A CN 113409236A CN 202010610109 A CN202010610109 A CN 202010610109A CN 113409236 A CN113409236 A CN 113409236A
Authority
CN
China
Prior art keywords
hinge hole
steel arch
binocular vision
interest
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010610109.2A
Other languages
English (en)
Inventor
朱国力
黄海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010610109.2A priority Critical patent/CN113409236A/zh
Publication of CN113409236A publication Critical patent/CN113409236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于隧道施工相关技术领域,并具体公开了一种基于双目视觉的钢拱架铰接孔检测方法及其应用。该方法包括:标定双目视觉***,得到两相机的内、外参矩阵和畸变系数,以及两相机坐标系之间的刚体变换矩阵;利用双目视觉***采集左、右两侧待测钢拱架的原始图像,并使用畸变系数对其进行去畸变处理,以此得到更新图像;分别对两个更新图像进行模板匹配,得到铰接孔的感兴趣区域;对两个感兴趣区域进行预处理得到边缘轮廓;经过筛选获得铰接孔圆心在对应原始图像中的坐标,最终根据其计算铰接孔圆心的世界坐标。本发明具有测量速度快、精度高的优势,可帮助机械手抓取钢拱架进行自动化拼接,进而节省人力、保证施工安全。

Description

一种基于双目视觉的钢拱架铰接孔检测方法及其应用
技术领域
本发明属于隧道施工相关技术领域,更具体地,涉及一种基于双目视觉的钢拱架铰接孔检测方法及其应用。
背景技术
岩石隧道掘进机(TBM)是指在常压情况下全断面开挖岩石的高度机械化刀盘式机头掘进机,其集掘进、支护、出渣等功能为一体,是隧道施工中的重要设备。隧道支护作为掘进过程中的必要一环,起着支撑岩壁、防止坍塌、保护施工人员生命安全的重要作用。当前隧道支护主要采用弧形钢拱架,配合锚杆、钢筋网、钢筋排进行固定,然后喷射混凝土,实现加强支护。由于钢拱架成圆弧状,体积较大,又是金属材质,在空间有限的隧道中过于笨重,导致钢拱架的拼装成为支护中的一大难点。
目前钢拱架的成环拼装已有专门的钢拱架拼装机完成,但在两钢拱架对准拼接时,仍然是靠人工完成。众多工人一起合力搬运两钢拱架,使两钢拱架端面对齐,并由人眼判断是否对准,此种方法不仅费时费力,而且效率低,精度不高,严重影响掘进速度,而且无法保证施工安全,威胁工人们的身体健康。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于双目视觉的钢拱架铰接孔检测方法及其应用,其中该方法利用双目视觉技术实现了对钢拱架铰接孔的位置检测,具有测量速度快、精度高的优势,可帮助机械手抓取钢拱架进行自动化拼接,进而达到节省人力、保证施工安全的目的。
为实现上述目的,按照本发明的一个方面,提出了一种基于双目视觉的钢拱架铰接孔检测方法,该方法包括如下步骤:
S1标定双目视觉***,得到两相机的内、外参矩阵和畸变系数,以及两相机坐标系之间的刚体变换矩阵;
S2利用所述双目视觉***采集左、右两侧待测钢拱架的原始图像,并使用步骤S1获得的畸变系数对两个所述原始图像进行去畸变处理,以此得到更新图像;
S3分别对两个所述更新图像进行模板匹配,得到所述更新图像中铰接孔的感兴趣区域;
S4分别对两个所述感兴趣区域进行预处理,得到感兴趣区域内所有的边缘轮廓;
S5将所述边缘轮廓拟合为椭圆并进行筛选,选取拟合程度最高的边缘轮廓作为该侧的铰接孔轮廓,从而获得铰接孔圆心在其对应侧原始图像中的坐标;
S6根据所述铰接孔圆心在对应侧原始图像中的坐标以及步骤S1获得的内、外参矩阵和刚体变换矩阵,得到铰接孔圆心的世界坐标,以此完成钢拱架铰接孔的测量工作。
作为进一步优选地,步骤S1中,利用棋盘格标定所述双目视觉***。
作为进一步优选地,步骤S1中,所述畸变系数包括径向畸变系数和切向畸变系数;所述刚体变换矩阵包括旋转变换矩阵和平移变换矩阵。
作为进一步优选地,步骤S3中,先根据图像金字塔原理将所述更新图像进行缩小,然后再根据缩小后的所述更新图像进行模板匹配。
作为进一步优选地,分别采用如下子步骤对左、右两侧的感兴趣区域进行预处理:
S41采用高斯滤波去除所述感兴趣区域的噪声;
S42对去除噪声的感兴趣区域进行图像增强,以消除待测钢拱架表面反光形成的光斑,同时增大所述铰接孔边缘处的对比度;
S43利用Canny算法提取增强后的感兴趣区域的边缘并进行连接,以获得感兴趣区域内所有的边缘轮廓。
作为进一步优选地,步骤S41中,利用核大小为5、7或9的高斯滤波去除所述感兴趣区域的噪声。
作为进一步优选地,步骤S42中,将去除噪声的感兴趣区域的像素灰度值乘以2.5-3.0,并将灰度值大于255的像素点统一为255。
作为进一步优选地,分别采用如下子步骤获得铰接孔圆心在左、右两侧原始图像中的坐标:
S51利用最小二乘法将得到的边缘轮廓拟合为椭圆,并利用椭圆的长、短轴长度大于200、小于450的信息对上述边缘轮廓进行初步筛选;
S52将经过初步筛选后的边缘轮廓上的所有点代入其对应的椭圆中并进行求和,以得到各个边缘轮廓的拟合程度;
S53将拟合程度最高的边缘轮廓作为铰接孔轮廓,并将其对应的椭圆中心坐标作为铰接孔圆心在对应侧感兴趣区域中的坐标,进而获得所述铰接孔圆心在对应侧原始图像中的坐标。
按照本发明的另一方面,提供了一种实现上述方法的双目视觉***。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1.本发明利用双目视觉技术实现了对钢拱架铰接孔的位置检测,具有测量速度快、精度高的优势,可帮助机械手抓取钢拱架进行自动化拼接,进而节省人力,并且保证施工安全;
2.此外,本发明在钢拱架铰接孔的轮廓提取过程中,通过高斯滤波、图像增强、边缘提取、轮廓筛选等一系列图像预处理过程,准确获得铰接孔的轮廓,并用最小二乘法将其拟合成椭圆,此过程不需要复杂的椭圆拟合算法,具有方法简单、准确可靠、耗时短、速度快等优势。
附图说明
图1是本发明提供的基于双目视觉的钢拱架铰接孔测量方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例了一种基于双目视觉的钢拱架铰接孔检测方法,该方法包括如下步骤:
(1)搭建双目视觉***,根据钢拱架、机械手位姿情况将两相机平行摆放,相距300mm左右,距离钢拱架650mm,相机为1200万像素的COMS相机,镜头焦距为16mm;相机上下各摆放一个条形光源,该光源尺寸为 300x30mm;
(2)根据张正友标定法,利用双目视觉***采集11-14对棋盘格左、右图像,标定得到该双目视觉***左、右相机的内、外参矩阵,径向畸变系数k1,k2,k3,切向畸变系数p1,p2,以及右相机坐标系相对于左相机坐标系的刚体转换矩阵,包括旋转变换矩阵R和平移变换矩阵T;
(3)利用双目视觉***采集钢拱架左、右图像,视场范围为250× 187.5mm左右,确保能够拍到钢拱架铰接孔及其一定的移动范围,将条形光源对准钢拱架进行打光,并调节光源控制器使得光源亮度合适,用左、右相机同时采集钢拱架图像,并使用标定得到的径向畸变系数和切向畸变系数对图像进行去畸变处理,以此得到更新图像;
(4)先根据图像金字塔原理,将图像缩小为原图的1/4后,再使用基于灰度的模板匹配法,分别对左、右缩小后的更新图像进行模板匹配,找到其与模板图像最相似的部分,得到左、右更新图像中铰接孔的感兴趣区域;
(5)对感兴趣区域进行预处理,首先用核大小为5、7或9的高斯滤波去除噪声,然后进行图像线性增强,所有像素灰度值乘以2.5-3.0,灰度值大于255的统一取为255,使铰接孔表面变亮,消除凹凸不平的金属表面反光形成的光斑,同时增大圆孔边缘处的对比度,接着提取边缘,并用大小为7-11的椭圆核对边缘二值图进行闭操作,从而将某些断开的边缘连接成一个整的轮廓,以获得感兴趣区域内所有的边缘轮廓;
(6)利用最小二乘法将每一条边缘轮廓拟合成一个椭圆,并利用以下信息对边缘轮廓进行初步筛选:边缘轮廓包含点数需大于600,边缘轮廓对应拟合椭圆的长、短轴长度应大于200、小于450;然后将初步筛选后的边缘轮廓上的所有点代入各自的椭圆方程并求和,得到各边缘轮廓的椭圆拟合程度FD,拟合程度最好的边缘轮廓即为铰接孔轮廓,其对应的椭圆中心坐标即为铰接孔圆心在感兴趣区域中的坐标(uroi,vroi);对于椭圆公式 Ax2+Bxy+Cy2+Dx+Ey+F=0,其拟合程度FD公式如下:
Figure RE-GDA0002762746470000051
其中,N为轮廓点数,(xi,yi)为轮廓上点的坐标,A、B、C、D、E、F代表椭圆方程系数,FD代表拟合程度;
将铰接孔圆心在感兴趣区域中的坐标(uroi,vroi)加上感兴趣区域左上角在原图中的坐标(u0,v0),得到铰接孔圆心在原始图像中的坐标,即:
Figure RE-GDA0002762746470000052
式中,(u,v)为铰接孔圆心在原始图像中的坐标;
(7)由得到的铰接孔圆心在左、右原始图像中的坐标(u1,v1)和(u2,v2),以及两相机的内、外参矩阵和刚体变换矩阵,求解如下方程组得到铰接孔圆心的世界坐标(X,Y,Z),其中m1矩阵和m2矩阵分别由左、右相机的内参矩阵乘以外参矩阵得到,
Figure RE-GDA0002762746470000061
式中,
Figure RE-GDA0002762746470000062
为m1矩阵中第i行,第j列的数字,
Figure RE-GDA0002762746470000063
为m2矩阵中第i行,第j列的数。
按照本发明的另一方面,提供了一种实现上述方法的双目视觉***。该双目视觉***括两个相机、两个镜头、两个条形光源、光源控制器和计算机,光源用于给钢拱架的铰接孔打光,光源控制器调节光源亮度,相机和镜头用于采集图像,并传送给计算机进行处理。
综上,本发明利用非接触性的双目视觉技术对钢拱架铰接孔进行检测,具有速度快,精度高,安全可靠等优点,有助于实现钢拱架拼接的自动化。
本领域的技术人员容易理解,以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于双目视觉的钢拱架铰接孔检测方法,其特征在于,该方法包括如下步骤:
S1标定双目视觉***,得到两相机的内、外参矩阵和畸变系数,以及两相机坐标系之间的刚体变换矩阵;
S2利用所述双目视觉***采集左、右两侧待测钢拱架的原始图像,并使用步骤S1获得的畸变系数对两个所述原始图像进行去畸变处理,以此得到更新图像;
S3分别对两个所述更新图像进行模板匹配,得到所述更新图像中铰接孔的感兴趣区域;
S4分别对两个所述感兴趣区域进行预处理,得到感兴趣区域内所有的边缘轮廓;
S5将所述边缘轮廓拟合为椭圆并进行筛选,选取拟合程度最高的边缘轮廓作为该侧的铰接孔轮廓,从而获得铰接孔圆心在其对应侧原始图像中的坐标;
S6根据所述铰接孔圆心在其对应侧原始图像中的坐标以及步骤S1获得的内、外参矩阵和刚体变换矩阵,得到铰接孔圆心的世界坐标,以此完成钢拱架铰接孔的测量工作。
2.如权利要求1所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,步骤S1中,利用棋盘格标定所述双目视觉***。
3.如权利要求1所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,步骤S1中,所述畸变系数包括径向畸变系数和切向畸变系数;所述刚体变换矩阵包括旋转变换矩阵和平移变换矩阵。
4.如权利要求1所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,步骤S3中,先根据图像金字塔原理将所述更新图像进行缩小,然后再根据缩小后的所述更新图像进行模板匹配。
5.如权利要求1所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,分别采用如下子步骤对左、右两侧的感兴趣区域进行预处理:
S41采用高斯滤波去除所述感兴趣区域的噪声;
S42对去除噪声的感兴趣区域进行图像增强,以消除待测钢拱架表面反光形成的光斑,同时增大所述铰接孔边缘处的对比度;
S43利用Canny算法提取增强后的感兴趣区域的边缘并进行连接,以获得感兴趣区域内所有的边缘轮廓。
6.如权利要求5所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,步骤S41中,利用核大小为5、7或9的高斯滤波去除所述感兴趣区域的噪声。
7.如权利要求5所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,步骤S42中,将去除噪声的感兴趣区域的像素灰度值乘以2.5-3.0,并将灰度值大于255的像素点统一为255。
8.如权利要求1~7任一项所述的基于双目视觉的钢拱架铰接孔检测方法,其特征在于,分别采用如下子步骤获得铰接孔圆心在左、右两侧原始图像中的坐标:
S51利用最小二乘法将得到的边缘轮廓拟合为椭圆,并利用椭圆的长、短轴长度大于200、小于450的信息对上述边缘轮廓进行初步筛选;
S52将经过初步筛选后的边缘轮廓上的所有点代入其对应的椭圆中并进行求和,以得到各个边缘轮廓的拟合程度;
S53将拟合程度最高的边缘轮廓作为铰接孔轮廓,并将其对应的椭圆中心坐标作为铰接孔圆心在对应侧感兴趣区域中的坐标,进而获得所述铰接孔圆心在对应侧原始图像中的坐标。
9.一种实现如权利要求1~8任一项所述的基于双目视觉的钢拱架铰接孔测量方法的双目视觉***。
CN202010610109.2A 2020-06-29 2020-06-29 一种基于双目视觉的钢拱架铰接孔检测方法及其应用 Pending CN113409236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010610109.2A CN113409236A (zh) 2020-06-29 2020-06-29 一种基于双目视觉的钢拱架铰接孔检测方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010610109.2A CN113409236A (zh) 2020-06-29 2020-06-29 一种基于双目视觉的钢拱架铰接孔检测方法及其应用

Publications (1)

Publication Number Publication Date
CN113409236A true CN113409236A (zh) 2021-09-17

Family

ID=77677390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010610109.2A Pending CN113409236A (zh) 2020-06-29 2020-06-29 一种基于双目视觉的钢拱架铰接孔检测方法及其应用

Country Status (1)

Country Link
CN (1) CN113409236A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567989A (zh) * 2011-11-30 2012-07-11 重庆大学 基于双目立体视觉的空间定位方法
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及***
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN109163657A (zh) * 2018-06-26 2019-01-08 浙江大学 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN109493313A (zh) * 2018-09-12 2019-03-19 华中科技大学 一种基于视觉的钢卷定位方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567989A (zh) * 2011-11-30 2012-07-11 重庆大学 基于双目立体视觉的空间定位方法
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及***
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN109163657A (zh) * 2018-06-26 2019-01-08 浙江大学 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN109493313A (zh) * 2018-09-12 2019-03-19 华中科技大学 一种基于视觉的钢卷定位方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱国力等: "三维姿态测量***的安装误差", 《华中科技大学学报(自然科学版)》 *
江诚: "基于双目视觉的钢拱架位姿测量技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技II辑》 *

Similar Documents

Publication Publication Date Title
CN107798330B (zh) 一种焊缝图像特征信息提取方法
CN114119553B (zh) 一种以十字激光为基准的双目视觉异面圆孔检测方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN111645074A (zh) 一种机器人抓取定位方法
CN110480127A (zh) 一种基于结构光视觉传感的焊缝跟踪***及方法
CN110717872A (zh) 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取***
CN113160162B (zh) 应用于工件的孔识别方法、孔识别装置和孔处理设备
CN114897864A (zh) 基于数模信息的工件检测及缺陷判断方法
CN112194011A (zh) 一种基于双目视觉的塔吊自动装载方法
CN1565000A (zh) 用于外表检测的图像处理方法
CN113146172A (zh) 一种基于多视觉的检测与装配***及方法
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN115880296B (zh) 基于机器视觉的预制构件质量检测方法及装置
CN115830018B (zh) 基于深度学习与双目视觉的碳素块检测方法及***
CN114219802B (zh) 一种基于图像处理的蒙皮连接孔孔位检测方法
CN114677340B (zh) 一种基于图像边缘的混凝土表面粗糙度的检测方法
CN114663433A (zh) 滚轮罐耳运行状态检测方法、装置、计算机设备及介质
AU741107B2 (en) Bar angle measurement system
CN114820475A (zh) 边缘识别方法、***、晶圆加工装置及晶圆与加工台同心状态确定方法
CN113409236A (zh) 一种基于双目视觉的钢拱架铰接孔检测方法及其应用
CN111178296B (zh) 多工件视觉定位和识别方法
CN111145254B (zh) 一种基于双目视觉的门阀毛坯定位方法
CN116594351A (zh) 一种基于机器视觉的数控加工单元***
CN114932292B (zh) 一种窄间隙被动视觉焊缝跟踪方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210917

WD01 Invention patent application deemed withdrawn after publication