CN113989199A - 一种基于深度学习的双目窄对接焊缝检测方法 - Google Patents
一种基于深度学习的双目窄对接焊缝检测方法 Download PDFInfo
- Publication number
- CN113989199A CN113989199A CN202111194728.9A CN202111194728A CN113989199A CN 113989199 A CN113989199 A CN 113989199A CN 202111194728 A CN202111194728 A CN 202111194728A CN 113989199 A CN113989199 A CN 113989199A
- Authority
- CN
- China
- Prior art keywords
- binocular
- dimensional
- weld
- image
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于深度学习的双目窄对接焊缝检测方法,包括以下步骤:基于投影仪投射条纹结构光与被动光,采集焊缝图像、获取焊件点云;基于图像二值化处理与双目一致性修正进行二维数据标注;构建基于空间信息挖掘的二维焊缝提取模型,提取二维焊缝;基于双目视觉模型将二维像素映射为三维空间坐标。基于焊件点云与焊缝点局部邻域特征信息进行位姿估计。本发明的双目窄对接焊缝检测***实现了精准高效的焊缝提取;具体为一种精准且可靠的自动化数据标注方法;具体为一种焊缝提取网络,实现了提取焊缝二维坐标辅助三维焊缝定位。本发明为实现更精准高效的窄对接焊缝检测提供了必要的策略。
Description
技术领域
本发明涉及一种基于深度学习的双目窄对接焊缝检测方法,属于图像处理技术领域。
背景技术
激光焊接是一种非接触式焊接,具有深熔透,精度高,焊接接头热影响区小等特点,这使得焊件的损耗和变形可以降至最低。近年来,随着工业激光器的发展以及科研人员对焊接工艺的深入研究,激光焊接已经在汽车工业、造船业、航空航天业等领域得到应用。然而随着激光焊接技术的广泛应用,高精度焊件的窄对接焊缝检测成为一个亟待解决的问题。高精度焊件一般紧密对接在一起,焊缝特征不明显,无法通过常用的焊缝检测手段进行检测,这严重影响了激光焊接的效率。
发明内容
本发明目的在于提供一种基于深度学习的双目窄对接焊缝检测方法。
为了解决上述技术问题,本发明提供一种基于深度学习的双目窄对接焊缝检测方法,其具体技术方案如下:
检测窄对接焊缝的方法,包括以下步骤:
步骤一:基于投影仪投射条纹结构光与被动光,采集焊缝图像、获取焊件点云;
步骤二:基于图像二值化处理与双目一致性修正进行二维数据标注;
步骤三:构建基于空间信息挖掘的二维焊缝提取模型,提取二维焊缝;
步骤四:基于双目视觉模型将焊缝二维像素映射为三维空间坐标;
步骤五:基于焊件点云与焊缝点局部邻域特征信息进行位姿估计。
进一步的,步骤一中,由条纹编码传感***模块中的投影仪将一组被动光和条纹结构光投射到焊件上,触发相机采集对应的被动光图像和条纹结构光图像。投影仪投射的光波段为450nm,投射中心与焊件的入射角为60°,同时双目相机光轴保持60°分别置于焊缝两侧。
采用相移形貌测量Phase shifting profilometry(PSP)和相位展开算法解析被调制的相位得到无歧义的相位,最后通过***标定数据计算得出被测目标的点云信息。
进一步的,步骤二中,采用自适应灰度阈值对图像二值化处理,像素的灰度阈值与其邻域的灰度值的关系如公式(1)所示,
其中,i,j分别为图像的行和列;f(i,j)为第i行j列像素的灰度值;K为计算邻域的大小;C为经验常量;m,n分别为图像的行列位置;T为计算的阈值。
进一步的,步骤二中,采用基于相位变换的双目一致性修正算法,使用条纹结构光将双目相机的像素对齐,去除冗余的焊缝边缘像素点,实现焊缝位置的精准修正。二值化图像在空间映射后会出现无信息像素点,需要对映射结果闭运算处理进行填充,焊缝修正算法如公式(2)所示,
其中,Pcam,Pwarp分别为相机图像和映射后的图像,B为闭运算卷积内核。
进一步的,步骤三中,分析左右相机图像的不同尺度特征,结合标注数据进行空间信息约束以及像素位置约束,构建二维焊缝提取模型。
进一步的,步骤四中,基于空间信息挖掘的二维焊缝提取网络(SWENet),减少了计算量,保证网络拥有足够的全局和细节感知能力。
采用Encoder-Decoder结构,包括下采样模块,反卷积模块以及特征提取模块。特征提取模块结构使用两组3×1、1×3的一维卷积来减少计算量,两个卷积之间的ReLU增加网络的学习能力,此外交错使用空洞卷积来使更多的上下文信息进入下一层。
为了实现更精准的预测,让网络学习到图像特征信息以及双目空间结构信息,本文使用两个不同空间角度的label对预测结果进行约束。对模型约束的Loss函数如公式(3)所示,
Loss=
1/2Cross(Pr′,Pr″)+1/2Cross(Warp(Pl)·B,Pr′)+1/2Cross(Pl,Pl″)+
1/2Cross(Warp(Pr′)·B,Pl″) (3)
式中Cross为交叉熵损失函数,评估预测误差大小;Warp为左右像素映射函数;Pr′、Pr″、Pl″分别为预测结果、右相机label以及左相机label,B为闭运算卷积内核。
为了进一步减小模型预测误差,采用双目一致性分别对预测结果进行修正来得到精确的二维焊缝位置。右相机焊缝位置的推理公式如公式(4)所示,其中Pr′、Pl分别为左右相机的预测结果。
进一步的,步骤五中,对左右相机进行标定得到相机的图像坐标系与世界坐标系之间的对应关系,实现二维像素到三维空间位置的映射,如公式(5)所示,
式中(u1,v1),(u2,v2)分别为左右相机中的对应像素点,M1,M2为左右相机投影矩阵,(X,Y,Z)为三维空间点,Z1,Z2为缩放常量。将上式消去M1,M2可得,
采用最近邻迭代法将得到的多线宽三维焊缝细化为单线宽路径:取多线宽点云上任意点F,F附近的点可以近似为方向为L*的矢量,计算与F距离小于d的点的集合β,通过计算β中各点与F点的矢量角可以将集合分为两部分β1,β2,
然后取β_1,β_2中距离F最远的两点F1、F2,再分别以F1、F2为中心点向两个方向重复上述步骤直到不能继续,即可得到单线宽的焊缝路径。
采用焊缝点局部邻域特征信息对位姿进行实时调整以提高焊接质量,计算每个焊缝点的局部邻域,对每个邻域计算其协方差矩阵C,
本发明的相对于现有技术具有显著效果:
1、实现了精准高效的焊缝提取;2设计了一种精准且可靠的自动化数据标注方法;3设计了一种焊缝提取网络,实现了提取焊缝二维坐标辅助三维焊缝定位;4、本发明为实现更精准高效的窄对接焊缝检测提供了必要的策略。
附图说明
图1是本发明整体实验***装置示意图。
图2是本发明双目条纹传感器***示意图。
图3是本发明数据获取的流程图。
图4是本发明通过条纹相位分析从图像中获取点云的流程图。
图5是本发明二维数据标注流程图。
图6是本发明自适应灰度阈值与固定灰度阈值二值化的比较图。
图7是本发明双目一致性修正流程图。
图8是本发明二维焊缝提取网络的模型结构图。
图9是本发明实验的标定板。
图10是本发明的标准件及点云图片。
图11是本发明未使用双目自约束的焊缝提取误差图。
图12是本发明使用双目自约束的焊缝提取误差图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
本发明的一种基于深度学习的双目窄对接焊缝检测方法,包括以下步骤:
首先,由条纹编码传感***模块中的投影仪将一组被动光和条纹结构光投射到焊件上,触发相机采集对应的被动光图像和条纹结构光图像。投影仪投射的光波段为450nm,投射中心与焊件的入射角为60°,同时双目相机光轴保持60°分别置于焊缝两侧。
采用相移形貌测量Phase shifting profilometry(PSP)和相位展开算法解析被调制的相位得到无歧义的相位,最后通过***标定数据计算得出被测目标的点云信息。
采用自适应灰度阈值对焊缝进行二值化,像素的灰度阈值与其邻域的灰度值的关系如公式(1)所示,
其中,i,j分别为图像的行和列;f(i,j)为第i行j列像素的灰度值;K为计算邻域的大小;C为经验常量;m,n分别为图像的行列位置;T为计算的阈值;
采用基于相位变换的双目一致性修正算法,使用条纹结构光将双目相机的像素对齐,去除冗余的焊缝边缘像素点,实现焊缝位置的精准修正。二值化图像在空间映射后会出现无信息像素点,需要对映射结果闭运算处理进行填充,焊缝修正算法如公式(2)所示,
其中,Pcam,Pwarp分别为相机图像和映射后的图像,B为闭运算卷积内核。
然后,分析左右相机图像的不同尺度特征,结合标注数据进行空间信息约束以及像素位置约束,构建二维焊缝提取模型。
基于空间信息挖掘的二维焊缝提取网络(SWENet),减少了计算量,保证网络拥有足够的全局和细节感知能力。
采用Encoder-Decoder结构,包括下采样模块,反卷积模块以及特征提取模块。特征提取模块结构使用两组3×1、1×3的一维卷积来减少计算量,两个卷积之间的ReLU增加网络的学习能力,此外交错使用空洞卷积来使更多的上下文信息进入下一层。
为了实现更精准的预测,让网络学习到图像特征信息以及双目空间结构信息,本文使用两个不同空间角度的label对预测结果进行约束。对模型约束的Loss函数如公式(3)所示,
Loss=
1/2Cross(Pr,Pr″)+1/2Cross(Warp(Pl)·B,Pr′)+1/2Cross(Pl′,Pl″)+
1/2Cross(Warp(Pr′)·B,Pl″) (3)
式中Cross为交叉熵损失函数,评估预测误差大小;Warp为左右像素映射函数;Pr′、Pr″、Pl′分别为预测结果、右相机label以及左相机label,B为闭运算卷积内核。
最后,为了进一步减小模型预测误差,采用双目一致性分别对预测结果进行修正来得到精确的二维焊缝位置。右相机焊缝位置的推理公式如公式(4)所示,其中Pr′、Pl′分别为左右相机的预测结果。
对左右相机进行标定得到相机的图像坐标系与世界坐标系之间的对应关系,实现二维像素到三维空间位置的映射,如公式(5)所示,
式中(u1,v1),(u2,v2)分别为左右相机中的对应像素点,M1,M2为左右相机投影矩阵,(X,Y,Z)为三维空间点,Z1,Z2为缩放常量。将上式消去M1,M2可得,
采用最近邻迭代法将得到的多线宽三维焊缝细化为单线宽路径:取多线宽点云上任意点F,F附近的点可以近似为方向为L*的矢量,计算与F距离小于d的点的集合β,通过计算β中各点与F点的矢量角可以将集合分为两部分β1,β2,
然后取β_1,β_2中距离F最远的两点F1、F2,再分别以F1、F2为中心点向两个方向重复上述步骤直到不能继续,即可得到单线宽的焊缝路径。
采用焊缝点局部邻域特征信息对位姿进行实时调整以提高焊接质量,计算每个焊缝点的局部邻域,对每个邻域计算其协方差矩阵C,
本***采用经典的张定友平面标定法对双目相机进行标定,最终得到相机的内外参数。为了获取精准的标定结果,实验中使用比棋盘格精度更高的圆形标定板进行标定,圆心距为4mm。***标定完成后,使用两块有固定厚度的标准件进行精度测试,通过***扫描标准件可以获取其点云数据,然后对得到的点云分别进行平面拟合,对比两块标准件实际厚度与拟合平面计算的厚度来得到***误差。本***分别获取了视野中5个不同位置的标准件点云,计算得到的误差如图11所示。除了***的测量精度外,***分辨率也影响窄对接焊缝的提取精度。本实验***获得的点云点距约为0.065mm,适用于0.3mm的焊缝提取。使用塞尺将窄对接焊缝宽度限制在0.3mm(由于工件加工误差,实际宽度会在0.3mm范围波动),将提取的焊缝与人工标注的焊缝位置进行对比,可以得到焊缝的提取误差。如图12所示,使用双目自约束的焊缝提取误差,平均误差为0.0155,其中63.63%点的误差为零,其余点的误差均在一个点距之内。表明双目自约束使焊缝提取精度有比较大提升,误差波动范围比较集中。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (7)
1.一种基于深度学习的双目窄对接焊缝检测方法,其特征在于,包括以下步骤:
步骤一:基于投影仪投射条纹结构光与被动光,采集焊缝图像、获取焊件点云;
步骤二:基于图像二值化处理与双目一致性修正进行二维数据标注;
步骤三:构建基于空间信息挖掘的二维焊缝提取模型,提取二维焊缝;
步骤四:基于双目视觉模型将焊缝二维像素映射为三维空间坐标;
步骤五:基于焊件点云与焊缝点局部邻域特征信息进行位姿估计。
2.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法,其特征在于:步骤一具体为:由条纹编码传感***模块中的投影仪将一组被动光和条纹结构光投射到焊件上,触发相机采集对应的被动光图像和条纹结构光图像;投影仪投射的光波段为450nm,投射中心与焊件的入射角为60°,同时双目相机光轴保持60°分别置于焊缝两侧;
采用相移形貌测量Phase shifting profilometry和相位展开算法解析被调制的相位得到无歧义的相位,最后通过***标定数据计算得出被测目标的点云信息。
5.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法,其特征在于:步骤三中,分析左右相机图像的不同尺度特征,结合标注数据进行空间信息约束以及像素位置约束,构建二维焊缝提取模型。
6.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法,其特征在于:步骤三中,基于空间信息挖掘的二维焊缝提取网络SWENet,减少了计算量,保证网络拥有足够的全局和细节感知能力;
采用Encoder-Decoder结构,包括下采样模块,反卷积模块以及特征提取模块;特征提取模块结构使用两组3×1、1×3的一维卷积来减少计算量,两个卷积之间的ReLU增加网络的学习能力,此外交错使用空洞卷积来使更多的上下文信息进入下一层;
为了实现更精准的预测,让网络学习到图像特征信息以及双目空间结构信息,本文使用两个不同空间角度的label对预测结果进行约束;对模型约束的Loss函数如公式(3)所示,
Loss=1/2Cross(Pr′,Pr″)+1/2Cross(Warp(Pl′)·B,Pr″)+1/2Cross(Pl′,Pl″)+1/2Cross(Warp(Pr′)·B,Pl″) (3)
式中Cross为交叉熵损失函数,评估预测误差大小;Warp为左右像素映射函数;Pr′、Pr″、Pl″分别为预测结果、右相机label以及左相机label,B为闭运算卷积内核;
为了进一步减小模型预测误差,采用双目一致性分别对预测结果进行修正来得到精确的二维焊缝位置;右相机焊缝位置的推理公式如公式(4)所示,其中Pr′、Pl′分别为左右相机的预测结果;
7.根据权利要求1所述的基于深度学习的双目窄对接焊缝检测方法,其特征在于:步骤四中,对左右相机进行标定得到相机的图像坐标系与世界坐标系之间的对应关系,实现二维像素到三维空间位置的映射,如公式(5)所示,
式中(u1,v1),(u2,v2)分别为左右相机中的对应像素点,M1,M2为左右相机投影矩阵,(X,Y,Z)为三维空间点,Z1,Z2为缩放常量;将上式消去M1,M2可得,
采用最近邻迭代法将得到的多线宽三维焊缝细化为单线宽路径:取多线宽点云上任意点F,F附近的点可以近似为方向为L*的矢量,计算与F距离小于d的点的集合β,通过计算β中各点与F点的矢量角可以将集合分为两部分β1,β2,
然后取β_1,β_2中距离F最远的两点F1、F2,再分别以F1、F2为中心点向两个方向重复上述步骤直到不能继续,即可得到单线宽的焊缝路径;
采用焊缝点局部邻域特征信息对位姿进行实时调整以提高焊接质量,计算每个焊缝点的局部邻域,对每个邻域计算其协方差矩阵C,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111194728.9A CN113989199A (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的双目窄对接焊缝检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111194728.9A CN113989199A (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的双目窄对接焊缝检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113989199A true CN113989199A (zh) | 2022-01-28 |
Family
ID=79738475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111194728.9A Pending CN113989199A (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的双目窄对接焊缝检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989199A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115229374A (zh) * | 2022-07-07 | 2022-10-25 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
CN115294105A (zh) * | 2022-09-28 | 2022-11-04 | 南京理工大学 | 一种多层多道焊接余高预测方法 |
CN118096729A (zh) * | 2024-04-19 | 2024-05-28 | 南京理工大学 | 一种基于二维—深度信息融合的焊缝识别方法 |
-
2021
- 2021-10-13 CN CN202111194728.9A patent/CN113989199A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115229374A (zh) * | 2022-07-07 | 2022-10-25 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
CN115229374B (zh) * | 2022-07-07 | 2024-04-26 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
CN115294105A (zh) * | 2022-09-28 | 2022-11-04 | 南京理工大学 | 一种多层多道焊接余高预测方法 |
CN115294105B (zh) * | 2022-09-28 | 2023-04-07 | 南京理工大学 | 一种多层多道焊接余高预测方法 |
CN118096729A (zh) * | 2024-04-19 | 2024-05-28 | 南京理工大学 | 一种基于二维—深度信息融合的焊缝识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113989199A (zh) | 一种基于深度学习的双目窄对接焊缝检测方法 | |
CN111505606B (zh) | 多相机与激光雷达***相对位姿检校方法及装置 | |
CN112184711B (zh) | 一种光伏组件缺陷检测和定位方法及*** | |
US6690841B2 (en) | Method and apparatus for image registration | |
CN102472609B (zh) | 位置和姿势校准方法及设备 | |
JPH10253322A (ja) | 空間内で物体を位置指定する方法および装置 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
CN110702025B (zh) | 一种光栅式双目立体视觉三维测量***及方法 | |
Chen et al. | A self-recalibration method based on scale-invariant registration for structured light measurement systems | |
Zhong et al. | Stereo-rectification and homography-transform-based stereo matching methods for stereo digital image correlation | |
CN102798349A (zh) | 一种基于等灰度线搜索的三维表面提取方法 | |
CN112815843A (zh) | 一种3d打印过程中工件表面打印偏差的在线监测方法 | |
CN116468764A (zh) | 基于超点空间引导的多视图工业点云高精度配准*** | |
CN116625258A (zh) | 链条间距测量***及链条间距测量方法 | |
Wang et al. | The 3D narrow butt weld seam detection system based on the binocular consistency correction | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
Meng et al. | Defocused calibration for large field-of-view binocular cameras | |
CN113418927A (zh) | 基于线结构光的汽车模具视觉检测***及检测方法 | |
CN114140534A (zh) | 一种用于激光雷达与相机的联合标定方法 | |
CN113160416A (zh) | 一种用于煤流检测的散斑成像装置及方法 | |
CN112163294A (zh) | 一种圆柱度误差快速评定方法 | |
Xue et al. | Reparability measurement of vision sensor in active stereo visual system | |
KR20240056516A (ko) | 카메라 교정을 위한 카메라 모델을 생성하는 방법 및 시스템 | |
Spruck et al. | Quality assurance of weld seams using laser triangulation imaging and deep neural networks | |
CN107941147B (zh) | 大型***三维坐标非接触在线测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |