CN114964007A - 一种焊缝尺寸视觉测量与表面缺陷检测方法 - Google Patents

一种焊缝尺寸视觉测量与表面缺陷检测方法 Download PDF

Info

Publication number
CN114964007A
CN114964007A CN202210623677.5A CN202210623677A CN114964007A CN 114964007 A CN114964007 A CN 114964007A CN 202210623677 A CN202210623677 A CN 202210623677A CN 114964007 A CN114964007 A CN 114964007A
Authority
CN
China
Prior art keywords
image
camera
light
welding seam
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210623677.5A
Other languages
English (en)
Inventor
黄圣超
范剑英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210623677.5A priority Critical patent/CN114964007A/zh
Publication of CN114964007A publication Critical patent/CN114964007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种焊缝尺寸视觉测量与表面缺陷检测方法，属于视觉检测算法领域。视觉检测技术还存在检测精度、缺陷识别率低的问题，而提出一种焊缝尺寸视觉测量与表面缺陷检测方法，本发明包括：搭建硬件检测***；进行检测***的标定；利用搭建并标定后的检测***获取结构光条纹图像，并进行结构光条纹图像的预处理操作；结构光中心线定位方法与特征点提取；采用三维重建算法，完成被测焊缝材料的重建与缺陷识别。本发明在保证检测***稳定、精度较高的情况下，在尽可能减少算法运算量的前提下，保证实现更高运算速度。

Description

一种焊缝尺寸视觉测量与表面缺陷检测方法
技术领域
本发明涉及一种视觉检测方法，特别涉及一种焊缝尺寸视觉测量与表面缺陷检测方法。
背景技术
焊接涉及到各种工业领域，包括航空航天、交通运输、建筑、金属制造等各个行业。在焊接过程中，由于各种环境因素以及操作不当，导致焊接质量无法达到令人满意的程度。焊缝缺陷检测是必不可少的环节。传统的焊缝缺陷检测，主要是通过人工检测完成，这种完全依靠于人眼判断往往检测精度较差，耗时较长，而且随着检测时间增加，人眼疲劳程度增加会导致检测精度降低，效率较差。
近几年随着计算机技术和数字图像处理技术的不断发展，通过机器视觉来获取图像识别的方式是当前的研究需要，机器视觉相当于机器人的“眼睛”，其涉及到光学成像、人工智能、机电一体化等技术，是借助光学装置和非接触的传感器获得被测物体的特征图像，并且通过计算机从图像中获取信息、实时处理，进而实现检测和控制的装置。机器视觉检测技术具有安全可靠、检测精度高、可在复杂的环境中运行等优点，有着广泛的应用，涉及带钢、手机屏幕、纺织等众多行业。
目前，视觉检测主要集中在物体表面检测、识别以及目标跟踪，焊缝检测主要集中在焊缝的表面，主要存在的问题例如是：
需要多种检测手段相结合的问题；或者需从不同的角度对焊缝进行拍照，而且要保证实验环境光照充足，虽然能够较好的实现焊缝检测，但是实验过程过度依赖实验员的重复操作，鲁棒性较差的问题；或者只能实现焊缝咬边缺陷的检测，检测效果有待改进的问题；或者缺陷表达效果不够直观，仅能依靠轮廓示意图表示缺陷位置的问题；或者是利用点激光器进行检测，并且需要对区域进行10次以上的检测才可以判定缺陷，检测过程复杂，需要进一步改进的问题。
因此，现有视觉检测技术还存在检测精度、缺陷识别率低等问题。
发明内容
本发明的目的是为了解决视觉检测技术还存在检测精度、缺陷识别率低的问题，而提出一种焊缝尺寸视觉测量与表面缺陷检测方法。
一种焊缝尺寸视觉测量与表面缺陷检测方法，所述方法通过以下步骤实现：
步骤一、搭建硬件检测***；
硬件***包括单线激光发射器、CCD摄像头、精密位移台以及计算机；单线激光发射器发出的线激光投射到焊缝表面，通过步进电机驱动精密位移台上被测焊缝材料移动，实现单线激光发射器扫描焊缝；
步骤二、进行检测***的标定；
***标定主要包括相机标定与结构光标定两个部分；通过相机标定获取相机准确的内部参数以及外部参数，内部参数包括相机的中心点、焦距和畸变参数，外部参数即相机在世界坐标中的相对位置；通过结构光标定获取单线激光发射器发出的结构光与CCD摄像头之间的相对位置关系；
步骤三、利用搭建并标定后的检测***获取结构光条纹图像，并进行结构光条纹图像的预处理操作；
预处理主要包括结构光条纹图像的灰度变化、二值化、图像滤波、图像分割、形态学处理和ROI提取过程；
步骤四、结构光中心线定位方法与特征点提取；
采用改进的亚像素定位算法完成中心线定位提取；通过提取特征点确定结构光中心线的几何特征；
步骤五、采用三维重建算法，完成被测焊缝材料的重建与缺陷识别；
对三维重建后的焊缝图像进行数据分析，根据得到的三维重建图像，以及对于焊缝尺寸、缺陷的定义来判断焊缝是否符合使用要求，焊缝尺寸包括焊缝的宽度、高度尺寸，缺陷包括焊缝表面气孔、咬边。
优选地，步骤二所述的进行检测***的标定的过程为：
设计相机投影测量模型如式(2-1)所示；
Figure BDA0003677871530000021
式中n为常比例系数，[u，v]T为目标点图像坐标，R为3×3的旋转矩阵，t为3×1的平移矩阵，M1，M2为摄像机的内参和外参，fx和fy分别为相机在x、y方将焦距参数，cx和cy为成像主点；[xc，yc，zc]T是相机坐标系下的三维坐标；
坐标为(x，y)，实际情况下考虑畸变的坐标为
Figure BDA0003677871530000022
则二者的数学关系式如式(2-2) 所示；
Figure BDA0003677871530000031
其中δx和δy表示非线性畸变值，非线性畸变值与非畸变点关系如式(2-3)所示；
Figure BDA0003677871530000032
其中k1、k2为径向畸变系数；
摄像机的标点结束后，得到相机的内外参数，对激光的光平面进行标定，通过光条上的特征点，建立起光平面和图像平面之间的联系，从而求得光条上的特征点在图像平面坐标系上的坐标值；通常球阀是在两个不同高度分别拍摄一张光条的图像，提取出光条的中心点作为特征点，设图像平面坐标系下，特征点的作为(ui，vi)，由式(2-1)相机标定参数方程可得到式(2-4)的变换方程；
Figure BDA0003677871530000033
式中，
Figure BDA0003677871530000034
为光平面中特征点的坐标，令M＝M1M2，且由相机标定可求得M，其表示如(2-5)所示；
Figure BDA0003677871530000035
将式(2-4)展开，可得式(3-9)；
Figure BDA0003677871530000036
将(2-6)消失去n可得式(3-10)；
Figure BDA0003677871530000037
分别采集两个不同高度下的光条特征点，并将所有点拟合成光平面，即可获得到光平面在图像平面坐标系下的光平面方程，从而得到激光器和相机的相对位置关系。
优选地，所述的图像预处理步骤包括：
采用三角测量法，单线激光器的激光斜入射照射焊缝，工业CCD相机位于焊缝的正上方，焊缝部分处在CCD相机视野的中心，单线激光器发出的线激光投射到物体表面，经过反射，CCD摄像头的透镜接收到被测物表面反射光，在CCD相机镜片上形成光条；基于焊缝与母版之间存在的高度差，在透镜上的反射光也产生位移，根据三角形的相似原理以及相机内部和相机与激光器之间一些距离参数可以求得焊缝的具体尺寸；
设激光光束与被测基准面发现的夹角为γ，反射光束AA′与法线的夹角为θ，与CCD内部光敏单元夹角为ω，入射光点A到透镜中心点O的距离为L1，成像点A′与透镜中心点之间的成像距离为L2；做两条垂线，垂足分别为C和D；待测物体表面之间高度差的变化为y时，相应CCD上光斑移动距离为x；利用三角形相似定理根据公式(3-1)求出y的大小；
Figure BDA0003677871530000041
其中|B′D|＝x sinω，|BC|＝|AB|sin(θ+γ)，|OA′|＝L2，|OA|＝L1，|DA′|＝xcosω， |AC|＝|AB|cos(θ+γ)，
Figure BDA0003677871530000042
将以上参数代入式(3-2)整理后可得到测量距离公式(1-2)；
Figure BDA0003677871530000043
图像处理部分具体包括两大部分：对结构光图进行图像预处理，以及对结构光特征点提取；其中，图像预处理包括灰度变化、滤波去噪、阈值分割、形态学处理等；结构光特征提取包括中心线提取、特征点提取，最后进行三维重建；本申请改进传统去噪算法，实现噪声有效剔除；
首先通过相机采集到的待测图像；将图像转换成易于处理的灰度图像，利用改进的图像滤波技术将图像中的噪声剔除；之后进行图像分割，其目的是将图像中具有相同特征的区域进行分类最终将目标部分进行提取；形态学处理的目的是将断裂的结构光进行修复，保证结构光的连续性，形态学处理的内容主要为腐蚀和膨胀；ROI提取最重要的目的是为了减少图像处理的负担，提高图像处理的速度，并且能够避免非ROI区域的干扰。
优选地，所述的三维重建步骤为：
选取合适的特征点提取方法同样重要；获取到处理后的结构光图像，之后被测物体在工作台上通过步进电机以特定的方向和速度移动，同时CCD相机工作，连续的对焊缝表面进行扫描获得视差图，最后进行三维重建。
优选地，所述的对于焊缝的检测主要分为两大部分，一是对于焊缝表面尺寸的测量，包括测量焊缝的熔宽和余高，这两个量值不均会导致焊缝处承载力以及所受应力不均匀，因而需要判断这些物理量是否超限，确定是否影响焊缝质量；二是对于焊缝表面裂缝、气孔等缺陷检测，判断缺陷是否存在。
本发明的有益效果为：
硬件***主要包括单线激光发射器、CCD摄像头、精密位移台、计算机图像处理等部分，***的检测原理是：在环境不受其他条件以及人为的影响下，位移台以特定的方向和速度移动，利用摄像机将待检测工件转换成图像信号传送给计算机处理，然后经过图像预处理后获取清晰、低噪声的结构光图像，根据三维测量算法处理后得到焊缝的三维信息并重构焊缝，再进行缺陷判断，确定是否满足焊缝标准要求。
本发明是通过提取焊缝的特征点并结合其焊缝缺陷的特征，设计并实现金属表面焊缝缺陷检测***。其预期达到的具体目标如下：
1)搭建单线结构光扫描三维测量***。通过***标定，以保证激光器与CCD相机实现结构光测量的准确性，并且使采集到的焊缝图像具有高分辨率、低噪声的特性。
2)在图像处理中，根据实际的情况改进合适的图像去噪算法，确保图像清晰、噪声较低。
3)通过结构光三维测量***，完成焊缝熔宽、余高的测量；通过结构光三维数据，构建焊缝三维形貌图，再通过条纹特征点的选取，构建裂缝、气孔、咬边等焊缝缺陷。
4)改进中心条纹定位算法，有效地提取结构光图的中心线和特征点，为焊缝的三维重建以及缺陷识别奠定基础，实现焊缝缺陷的识别。在结构光图像上，单线结构光的宽度会覆盖多个像素宽度，至少存在一个像素误差，采用改进的亚像素定位技术和相应算法可以有效提高中心条纹的定位精度。
5)在保证检测***稳定、精度较高的情况下，在尽可能减少算法运算量的前提下，保证实现更高运算速度。
附图说明
图1为本发明方法原理示意图；
图2为本发明涉及的标定流程图；
图3为本发明涉及的斜射式结构图；
图4为本发明涉及的斜射式测量光束示意图；
图5为本发明涉及的结构光图预处理流程图；
图6为本发明涉及的三维重建流程图。
具体实施方式
具体实施方式一：
本实施方式的一种焊缝尺寸视觉测量与表面缺陷检测方法，如图1所示，所述方法通过以下步骤实现：
步骤一、搭建硬件检测***；
硬件***包括单线激光发射器、CCD摄像头、精密位移台以及计算机；单线激光发射器发出的线激光投射到焊缝表面，通过步进电机驱动精密位移台上被测焊缝材料移动，实现单线激光发射器扫描焊缝，步进电机每驱动一个步长，CCD摄像头摄取一幅结构光条纹图像，以用于：将获取到的结构光条纹图像传输到计算机进行后续的图像处理，并利用三角法测量原理获取结构光条纹图像三维数据；
步骤二、进行检测***的标定；
***标定主要包括相机标定与结构光标定两个部分；通过相机标定获取相机准确的内部参数以及外部参数，内部参数包括相机的中心点、焦距和畸变参数，外部参数即相机在世界坐标中的相对位置；通过结构光标定获取单线激光发射器发出的结构光与CCD摄像头之间的相对位置关系，为后续的三维测量提供准确参数基础；
步骤三、利用搭建并标定后的检测***获取结构光条纹图像，并进行结构光条纹图像的预处理操作；
预处理主要包括结构光条纹图像的灰度变化、二值化、图像滤波、图像分割、形态学处理和ROI(region of interest，感兴趣区域)提取等过程；
步骤四、结构光中心线定位方法与特征点提取；
中心线定位提取是提高三维测量与重建精度的关键。由于预处理后的结构光条纹具有一定的宽度，一般情况下有几十个像素的宽度，针对这个问题，采用改进的亚像素定位算法完成中心线定位提取，以提高三维测量精度，并减少数据的处理量，同时，不能破坏光条的连接性与特征性；通过提取特征点确定结构光中心线的几何特征，为三维重建提供有效三维数据；
步骤五、采用三维重建算法，完成被测焊缝材料的重建与缺陷识别；
对三维重建后的焊缝图像进行数据分析，根据得到的三维重建图像，以及对于焊缝尺寸、缺陷的定义来判断焊缝是否符合使用要求，焊缝尺寸包括焊缝的宽度、高度尺寸等参数，缺陷包括焊缝表面气孔、咬边等缺陷。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的一种焊缝尺寸视觉测量与表面缺陷检测方法，步骤二所述的进行检测***的标定的过程为：
相机标定主要分为传统标定法、自适应标定法和主动视觉标定法。传统摄像机标定法是在某种摄像机的几何成像模型下，通过一维、二维、或三维的标定靶物，获得标定靶物上面所需要的特征点的世界三维坐标，再用摄像机拍摄若干所处位置不同的标定靶物照片，经过图像处理和一系列数学变换得到图像二维坐标和世界三维坐标的映射关系，获得摄像机的内外参数。优点是标定精度较高，但是需要高精度的标定靶物。自标定方法是在不适合使用标定靶物的场合，利用摄像机在不同位置拍摄某一静止场景的多幅不同图像来获得相机参数。该方法优点是应用范围广，灵活性强，但是标定精度较低，易受到噪声影响。主动视觉摄像机标定同样不需要标定靶物，而是使用精密控制台控制摄像机做特定的运动如平移、旋转等，在这个过程中拍摄多幅关联的图像，利用这些图像和摄像机的运动参数来计算得到摄像机的内外参数。该方法虽然鲁棒性较好，标定精度较高，但是实验条件较为苛刻，需要足够的运动空间。
基于对于焊缝测量精度要求较高，以及现有的实验条件，选择传统的摄像机标定中的张正友标定法获得相机内部参数。之后再将非线性畸变因素引入标定模型中，进一步提高标定精度。设计相机投影测量模型如式(2-1)所示；
Figure BDA0003677871530000071
式中n为常比例系数，[u，v]T为目标点图像坐标，R为3×3的旋转矩阵，t为3×1的平移矩阵，M1，M2为摄像机的内参和外参，fx和fy分别为相机在x、y方将焦距参数，cx和cy为成像主点(光轴和成像平面交点)；[xc，yc，zc]T是相机坐标系下的三维坐标；
在理想情况下不考虑畸变的坐标为(x，y)，实际情况下考虑畸变的坐标为
Figure BDA0003677871530000072
则二者的数学关系式如式(2-2)所示；
Figure BDA0003677871530000081
其中δx和δy表示非线性畸变值，非线性畸变值与非畸变点关系如式(2-3)所示；
Figure BDA0003677871530000082
其中k1、k2为径向畸变系数，在相机标定过程中非线性畸变因素还包括离心畸变和薄棱镜畸变，但是引入过多的非线性畸变参数并不能提高相机标定的精度，反而会导致标定的结果不稳定，所以本申请只考虑径向畸变；
摄像机的标点结束后，得到相机的内外参数，对激光的光平面进行标定，通过光条上的特征点，建立起光平面和图像平面之间的联系，从而求得光条上的特征点在图像平面坐标系上的坐标值；通常球阀是在两个不同高度分别拍摄一张光条的图像，提取出光条的中心点作为特征点，设图像平面坐标系下，特征点的作为(ui，vi)，由式(2-1)相机标定参数方程可得到式(2-4)的变换方程；
Figure BDA0003677871530000083
式中，
Figure BDA0003677871530000084
为光平面中特征点的坐标，令M＝M1M2，且由相机标定可求得M，其表示如(2-5)所示；
Figure BDA0003677871530000085
将式(2-4)展开，可得式(3-9)；
Figure BDA0003677871530000086
将(2-6)消失去n可得式(3-10)；
Figure BDA0003677871530000091
分别采集两个不同高度下的光条特征点，并将所有点拟合成光平面，即可获得到光平面在图像平面坐标系下的光平面方程，从而得到激光器和相机的相对位置关系；***标定流程图如图2所示。
具体实施方式三：
与具体实施方式二不同的是，本实施方式的一种焊缝尺寸视觉测量与表面缺陷检测方法，所述的图像预处理步骤包括：
采用三角测量法，其视觉传感器的结构示意图如图3所示。单线激光器的激光斜入射照射焊缝，工业CCD相机位于焊缝的正上方，焊缝部分处在CCD相机视野的中心，以减少采集图像的畸变，提高测量精度。
单线激光器发出的线激光投射到物体表面，经过反射，CCD摄像头的透镜接收到被测物表面反射光，在CCD相机镜片上形成光条；基于焊缝与母版之间存在的高度差，在透镜上的反射光也产生位移，根据三角形的相似原理以及相机内部和相机与激光器之间一些距离参数可以求得焊缝的具体尺寸；三角测量原理如图4所示；
设激光光束与被测基准面发现的夹角为γ，反射光束AA′与法线的夹角为θ，与CCD内部光敏单元夹角为ω，入射光点A到透镜中心点O的距离为L1，成像点A′与透镜中心点之间的成像距离为L2；做两条垂线，垂足分别为C和D；待测物体表面之间高度差的变化为y时，相应CCD上光斑移动距离为x；利用三角形相似定理根据公式(3-1)求出y的大小；
Figure BDA0003677871530000092
其中|B′D|＝x sinω，|BC|＝|AB|sin(θ+γ)，|OA′|＝L2，|OA|＝L1，|DA′|＝xcosω， |AC|＝|AB|cos(θ+γ)，
Figure BDA0003677871530000093
将以上参数代入式(3-2)整理后可得到测量距离公式(1-2)；
Figure BDA0003677871530000094
图像处理部分具体包括两大部分：对结构光图进行图像预处理，以及对结构光特征点提取；其中，图像预处理包括灰度变化、滤波去噪、阈值分割、形态学处理等；结构光特征提取包括中心线提取、特征点提取，最后进行三维重建；本申请改进传统去噪算法，实现噪声有效剔除；对于结构光图像处理的算法流程图如图3所示。
首先通过相机采集到的待测图像；将图像转换成易于处理的灰度图像，利用改进的图像滤波技术将图像中的噪声剔除；之后进行图像分割，其目的是将图像中具有相同特征的区域进行分类最终将目标部分进行提取；形态学处理的目的是将断裂的结构光进行修复，保证结构光的连续性，形态学处理的内容主要为腐蚀和膨胀；ROI(感兴趣区域)提取最重要的目的是为了减少图像处理的负担，提高图像处理的速度，并且能够避免非ROI区域的干扰。
具体实施方式四：
与具体实施方式三不同的是，本实施方式的一种焊缝尺寸视觉测量与表面缺陷检测方法，所述的三维重建步骤为：
三维重建流程如图4所示。通过上述步骤获取到预处理的图像后，根据其图像特点利用合适的算法进行结构光图中心线的提取，结构光中心线提取的方法主要有中心坐标法、质心法、形态学细化法、曲线拟合法等每种方法都有其优缺点以及使用场景，本申请为了提高结构光中心线提取精度，提出了一种改进的亚像素定位算法；特征点的提取与中心线提取的目的相同，是为了提高三维重建后图像的精度做准备，所以选取合适的特征点提取方法同样重要；获取到处理后的结构光图像，之后被测物体在工作台上通过步进电机以特定的方向和速度移动，同时CCD相机工作，连续的对焊缝表面进行扫描获得视差图，最后进行三维重建。
图4三维重建流程图。
具体实施方式五：
与具体实施方式四不同的是，本实施方式的一种焊缝尺寸视觉测量与表面缺陷检测方法，所述的对于焊缝的检测主要分为两大部分，一是对于焊缝表面尺寸的测量，包括测量焊缝的焊缝宽度(熔宽)和焊缝高度(余高)，这两个量值不均会导致焊缝处承载力以及所受应力不均匀，因而需要判断这些物理量是否超限，确定是否影响焊缝质量；二是对于焊缝表面裂缝、气孔等缺陷检测，判断缺陷是否存在
本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (5)

1.一种焊缝尺寸视觉测量与表面缺陷检测方法，其特征在于：所述方法通过以下步骤实现：
步骤一、搭建硬件检测***；
硬件***包括单线激光发射器、CCD摄像头、精密位移台以及计算机；单线激光发射器发出的线激光投射到焊缝表面，通过步进电机驱动精密位移台上被测焊缝材料移动，实现单线激光发射器扫描焊缝；
步骤二、进行检测***的标定；
***标定主要包括相机标定与结构光标定两个部分；通过相机标定获取相机准确的内部参数以及外部参数，内部参数包括相机的中心点、焦距和畸变参数，外部参数即相机在世界坐标中的相对位置；通过结构光标定获取单线激光发射器发出的结构光与CCD摄像头之间的相对位置关系；
步骤三、利用搭建并标定后的检测***获取结构光条纹图像，并进行结构光条纹图像的预处理操作；
预处理主要包括结构光条纹图像的灰度变化、二值化、图像滤波、图像分割、形态学处理和ROI提取过程；
步骤四、结构光中心线定位方法与特征点提取；
采用改进的亚像素定位算法完成中心线定位提取；通过提取特征点确定结构光中心线的几何特征；
步骤五、采用三维重建算法，完成被测焊缝材料的重建与缺陷识别；
对三维重建后的焊缝图像进行数据分析，根据得到的三维重建图像，以及对于焊缝尺寸、缺陷的定义来判断焊缝是否符合使用要求，焊缝尺寸包括焊缝的宽度、高度尺寸，缺陷包括焊缝表面气孔、咬边。
2.根据权利要求1所述的一种焊缝尺寸视觉测量与表面缺陷检测方法，其特征在于：步骤二所述的进行检测***的标定的过程为：
设计相机投影测量模型如式(2-1)所示；
Figure FDA0003677871520000011
式中n为常比例系数，[u，v]T为目标点图像坐标，R为3×3的旋转矩阵，t为3×1的平移矩阵，M1，M2为摄像机的内参和外参，fx和fy分别为相机在x、y方将焦距参数，cx和cy为成像主点；[xc，yc，zc]T是相机坐标系下的三维坐标；
坐标为(x，y)，实际情况下考虑畸变的坐标为
Figure FDA0003677871520000021
则二者的数学关系式如式(2-2)所示；
Figure FDA0003677871520000022
其中δx和δy表示非线性畸变值，非线性畸变值与非畸变点关系如式(2-3)所示；
Figure FDA0003677871520000023
其中k1、k2为径向畸变系数；
摄像机的标点结束后，得到相机的内外参数，对激光的光平面进行标定，通过光条上的特征点，建立起光平面和图像平面之间的联系，从而求得光条上的特征点在图像平面坐标系上的坐标值；通常球阀是在两个不同高度分别拍摄一张光条的图像，提取出光条的中心点作为特征点，设图像平面坐标系下，特征点的作为(ui，vi)，由式(2-1)相机标定参数方程可得到式(2-4)的变换方程；
Figure FDA0003677871520000024
式中，
Figure FDA0003677871520000025
为光平面中特征点的坐标，令M＝M1M2，且由相机标定可求得M，其表示如(2-5)所示；
Figure FDA0003677871520000026
将式(2-4)展开，可得式(3-9)；
Figure FDA0003677871520000031
将(2-6)消失去n可得式(3-10)；
Figure FDA0003677871520000032
分别采集两个不同高度下的光条特征点，并将所有点拟合成光平面，即可获得到光平面在图像平面坐标系下的光平面方程，从而得到激光器和相机的相对位置关系。
3.根据权利要求2所述的一种焊缝尺寸视觉测量与表面缺陷检测方法，其特征在于：所述的图像预处理步骤包括：
采用三角测量法，单线激光器的激光斜入射照射焊缝，工业CCD相机位于焊缝的正上方，焊缝部分处在CCD相机视野的中心，单线激光器发出的线激光投射到物体表面，经过反射，CCD摄像头的透镜接收到被测物表面反射光，在CCD相机镜片上形成光条；基于焊缝与母版之间存在的高度差，在透镜上的反射光也产生位移，根据三角形的相似原理以及相机内部和相机与激光器之间一些距离参数可以求得焊缝的具体尺寸；
设激光光束与被测基准面发现的夹角为γ，反射光束AA′与法线的夹角为θ，与CCD内部光敏单元夹角为ω，入射光点A到透镜中心点O的距离为L1，成像点A′与透镜中心点之间的成像距离为L2；做两条垂线，垂足分别为C和D；待测物体表面之间高度差的变化为y时，相应CCD上光斑移动距离为x；利用三角形相似定理根据公式(3-1)求出y的大小；
Figure FDA0003677871520000033
其中|B′D|＝x sin ω,|BC|＝|AB|sin(θ+γ),|OA′|＝L2,|OA|＝L1，|DA′|＝x cosω，|AC|＝|AB|cos(θ+γ)，
Figure FDA0003677871520000034
将以上参数代入式(3-2)整理后可得到测量距离公式(1-2)；
Figure FDA0003677871520000035
图像处理部分具体包括两大部分：对结构光图进行图像预处理，以及对结构光特征点提取；其中，图像预处理包括灰度变化、滤波去噪、阈值分割、形态学处理等；结构光特征提取包括中心线提取、特征点提取，最后进行三维重建；本申请改进传统去噪算法，实现噪声有效剔除；
首先通过相机采集到的待测图像；将图像转换成易于处理的灰度图像，利用改进的图像滤波技术将图像中的噪声剔除；之后进行图像分割，其目的是将图像中具有相同特征的区域进行分类最终将目标部分进行提取；形态学处理的目的是将断裂的结构光进行修复，保证结构光的连续性，形态学处理的内容主要为腐蚀和膨胀；ROI提取最重要的目的是为了减少图像处理的负担，提高图像处理的速度，并且能够避免非ROI区域的干扰。
4.根据权利要求3所述的一种焊缝尺寸视觉测量与表面缺陷检测方法，其特征在于：所述的三维重建步骤为：
选取合适的特征点提取方法同样重要；获取到处理后的结构光图像，之后被测物体在工作台上通过步进电机以特定的方向和速度移动，同时CCD相机工作，连续的对焊缝表面进行扫描获得视差图，最后进行三维重建。
5.根据权利要求4所述的一种焊缝尺寸视觉测量与表面缺陷检测方法，其特征在于：所述的对于焊缝的检测主要分为两大部分，一是对于焊缝表面尺寸的测量，包括测量焊缝的熔宽和余高，这两个量值不均会导致焊缝处承载力以及所受应力不均匀，因而需要判断这些物理量是否超限，确定是否影响焊缝质量；二是对于焊缝表面裂缝、气孔等缺陷检测，判断缺陷是否存在。
CN202210623677.5A 2022-06-03 2022-06-03 一种焊缝尺寸视觉测量与表面缺陷检测方法 Pending CN114964007A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210623677.5A CN114964007A (zh) 2022-06-03 2022-06-03 一种焊缝尺寸视觉测量与表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210623677.5A CN114964007A (zh) 2022-06-03 2022-06-03 一种焊缝尺寸视觉测量与表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114964007A true CN114964007A (zh) 2022-08-30

Family

ID=82972326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210623677.5A Pending CN114964007A (zh) 2022-06-03 2022-06-03 一种焊缝尺寸视觉测量与表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114964007A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561250A (zh) * 2022-11-21 2023-01-03 北京云航智信新能源科技有限公司 一种流水线式焊缝三维成像缺陷自动检测装置
CN116295021A (zh) * 2023-05-25 2023-06-23 齐鲁工业大学(山东省科学院) 一种单目线结构光***中相机与激光器位置关系计算方法
CN117934466A (zh) * 2024-03-21 2024-04-26 上海渺知科技有限公司 一种三维模型辅助电磁光融合成像金属结构检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561250A (zh) * 2022-11-21 2023-01-03 北京云航智信新能源科技有限公司 一种流水线式焊缝三维成像缺陷自动检测装置
CN115561250B (zh) * 2022-11-21 2023-02-28 北京云航智信新能源科技有限公司 一种流水线式焊缝三维成像缺陷自动检测装置
CN116295021A (zh) * 2023-05-25 2023-06-23 齐鲁工业大学(山东省科学院) 一种单目线结构光***中相机与激光器位置关系计算方法
CN117934466A (zh) * 2024-03-21 2024-04-26 上海渺知科技有限公司 一种三维模型辅助电磁光融合成像金属结构检测方法
CN117934466B (zh) * 2024-03-21 2024-06-04 上海渺知科技有限公司 一种三维模型辅助电磁光融合成像金属结构检测方法

Similar Documents

Publication Publication Date Title
CN107578464B (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN114964007A (zh) 一种焊缝尺寸视觉测量与表面缺陷检测方法
CN107014294B (zh) 一种基于红外图像的接触网几何参数检测方法及***
CN114119553B (zh) 一种以十字激光为基准的双目视觉异面圆孔检测方法
CN109801333B (zh) 体积测量方法、装置、***及计算设备
CN108986070B (zh) 一种基于高速视频测量的岩石裂缝扩展实验监测方法
CN104930985B (zh) 基于时空约束的双目视觉三维形貌测量方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN113310987B (zh) 一种隧道衬砌表面检测***及方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN111609801A (zh) 一种基于机器视觉的多尺寸工件厚度测量方法及***
CN114252449B (zh) 一种基于线结构光的铝合金焊缝表面质量检测***及方法
Hua et al. 3D reconstruction of concrete defects using optical laser triangulation and modified spacetime analysis
CN115096206A (zh) 一种基于机器视觉的零件尺寸高精度测量方法
CN115482195A (zh) 一种基于三维点云的列车部件变形检测方法
Lu et al. Vision-based structural displacement measurement under ambient-light changes via deep learning and digital image processing
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
Feng et al. Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection
CN116560062B (zh) 显微镜对焦防碰撞控制方法
CN117710588A (zh) 一种基于视觉测距先验信息的三维目标检测方法
CN116361947B (zh) 一种侵彻大尺寸钢筋混凝土内外部三维建模的方法
CN105783782B (zh) 表面曲率突变光学轮廓测量方法
Gao et al. Development of a high-speed videogrammetric measurement system with application in large-scale shaking table test
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法
CN206583440U (zh) 一种投影图像视距检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination