CN117689663B - 一种用于焊接机器人的视觉检测方法及*** - Google Patents
一种用于焊接机器人的视觉检测方法及*** Download PDFInfo
- Publication number
- CN117689663B CN117689663B CN202410154431.7A CN202410154431A CN117689663B CN 117689663 B CN117689663 B CN 117689663B CN 202410154431 A CN202410154431 A CN 202410154431A CN 117689663 B CN117689663 B CN 117689663B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- welding
- midpoint
- welding area
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 272
- 238000001514 detection method Methods 0.000 title abstract description 19
- 230000000007 visual effect Effects 0.000 title abstract description 10
- 230000007547 defect Effects 0.000 claims abstract description 77
- 238000009499 grossing Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 48
- 230000008859 change Effects 0.000 claims description 9
- 238000011179 visual inspection Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 20
- 238000003708 edge detection Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000002893 slag Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000007254 oxidation reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010309 melting process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种用于焊接机器人的视觉检测方法及***,通过分析焊接机器人采集到的焊缝图像中焊接区域的纹理特征,获取焊接区域中心线的纹理连续一致程度;根据焊接区域与非焊接区域之间的色彩差异得到焊接区域中心线的色彩丰富差异度;根据色彩丰富差异度与焊接区域每个像素点的灰度值及位置特征得到焊接区域像素点的缺陷特征显著权重,根据缺陷特征显著权重得到各像素点的自适应平滑因子;根据各像素点的自适应平滑因子结合非局部均值滤波算法对焊缝图像进行去噪,结合神经网络对去噪后焊缝图像进行缺陷识别,改善了非局部均值滤波算法对焊缝图像的去噪效果,提高了焊接机器人对焊缝缺陷检测精度。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种用于焊接机器人的视觉检测方法及***。
背景技术
焊接机器人是一种自动化的焊接设备,能够根据焊接路径自动执行焊接任务,具有较高的焊接效率。但在执行焊接任务时,需要预先设置焊接电流、电压和速度等工艺参数,不适合的工艺参数会使焊缝质量降低,增加焊缝开裂或脆性断裂的风险。因此,需要使用视觉识别检测对焊缝进行识别,获取缺陷类别并调整工艺参数。为增强图像质量提高缺陷识别精度,可对焊缝图像进行去噪处理。
非局部均值滤波算法作为常用的图像去噪算法,可用于对焊缝图像去噪以提高图像质量,但使用同一平滑参数对焊缝图像的不同区域进行去噪时无法兼顾去噪效果和焊缝缺陷边缘细节保留,缺陷部分仍存在形态模糊现象,降低了焊缝缺陷识别精度。
综上所述,本发明提出一种用于焊接机器人的视觉检测方法及***,对焊接机器人采集的焊缝图像进行去噪处理,通过对焊接区域的纹理特征进行分析,构建焊接区域各像素点的缺陷特征显著权重,结合焊缝图像噪声的标准方差自适应获取图像中各像素点平滑因子,结合非局部均值滤波算法对图像进行去噪,通过神经网络对去噪后的焊缝图像进行缺陷检测,提高了焊接机器人对焊缝缺陷的检测精度。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种用于焊接机器人的视觉检测方法及***,所采用的技术方案具体如下:
第一方面,本发明实施例提供了一种用于焊接机器人的视觉检测方法,该方法包括以下步骤:
采集焊缝图像;获取焊缝图像的边缘图像;
将边缘图像中长度最长的两条边缘线分别作为焊缝图像中焊接区域的上、下边界线;通过动态时间规整算法获取上边界线上各像素点在下边界线上的匹配像素点;根据匹配像素点得到各初始中点及拟合中点;根据各初始中点及拟合中点的位置变化得到各拟合中点的纹理偏移差异度;根据各拟合中点的纹理偏移差异度得到焊接区域中心线的纹理连续一致程度;获取RGB焊缝图像中R、G、B通道图像中各像素点的邻域;根据各像素点的邻域得到各通道图像中心线上各像素点的色彩丰富对比度;根据纹理连续一致程度及中心线上各像素点的色彩丰富对比度得到各通道图像中焊接区域中心线的色彩丰富对比度;根据色彩丰富对比度得到焊接区域中心线的色彩丰富差异度;根据色彩丰富差异度及焊接区域中各像素点的位置变化得到焊接区域中各像素点的缺陷特征显著权重;根据缺陷特征显著权重得到焊缝图像中各像素点的自适应平滑因子;
根据各像素点的自适应平滑因子结合非局部均值滤波算法对焊缝图像进行去噪得到去噪后的焊缝图像;通过神经网络对去噪后的焊缝图像进行缺陷识别。
优选的,所述根据匹配像素点得到各初始中点及拟合中点,具体为:
将上边界线上各像素点与所属匹配像素点作为各边界点组;将各边界点组中像素点连线的中点作为各初始中点;对所有初始中点进行拟合得到曲线作为焊接区域的中心线;将中心线上各像素点作为各拟合中点。
优选的,所述根据各初始中点及拟合中点的位置变化得到各拟合中点的纹理偏移差异度,具体包括:
获取各拟合中点及初始中点的邻域;对于各拟合中点,获取距离最近的初始中点,记为最近初始中点;计算拟合中点与最近初始中点之间的欧氏距离;计算拟合中点邻域内各像素点与最近初始中点邻域内对应像素点之间灰度值的差值绝对值;计算所有所述差值绝对值的均值;计算所述均值与所述欧氏距离的比值;将所述比值作为拟合中点的纹理偏移差异度。
优选的,所述根据各拟合中点的纹理偏移差异度得到焊接区域中心线的纹理连续一致程度,具体包括:
通过sobel算子获取各拟合中点的梯度方向对应的角度值,记为梯度方向角度值;计算中心线上各相邻拟合中点之间的梯度方向角度值的差值平方;计算所有所述差值平方的均值;计算所有拟合中点的纹理偏移差异度的和值;计算所述均值与所述和值的比值,将所述比值作为焊接区域中心线的纹理连续一致程度。
优选的,所述根据各像素点的邻域得到各通道图像中心线上各像素点的色彩丰富对比度,具体包括:
在各通道图像中,获取中心线及上、下边界线上各像素点的邻域中所有像素点灰度值的信息熵;
对于中心线上各像素点,计算中心线上像素点与上、下边界线上各像素点之间所述信息熵的差值绝对值;计算所有所述差值绝对值的平均值;将所述平均值作为中心线上像素点的色彩丰富对比度。
优选的,所述根据纹理连续一致程度及中心线上各像素点的色彩丰富对比度得到各通道图像中焊接区域中心线的色彩丰富对比度,具体包括:
计算中心线上所有像素点的色彩丰富对比度的平均值;计算中心线的纹理连续一致程度与所述平均值的乘积;将所述乘积作为各通道图像中焊接区域中心线的色彩丰富对比度。
优选的,所述根据色彩丰富对比度得到焊接区域中心线的色彩丰富差异度,具体包括:将所有通道图像中焊接区域中心线的色彩丰富对比度的平均值作为焊接区域中心线的色彩丰富差异度。
优选的,所述根据色彩丰富差异度及焊接区域中各像素点的位置变化得到焊接区域中各像素点的缺陷特征显著权重,具体包括:
对于焊接区域中各像素点,将像素点到中心线上各像素点的欧氏距离最小值作为像素点到中心线的欧氏距离;计算像素点到中心线的欧氏距离与灰度值的乘积;计算所述乘积与中心线的色彩丰富差异度的比值;将所述比值作为像素点的缺陷特征显著权重。
优选的,所述根据缺陷特征显著权重得到焊缝图像中各像素点的自适应平滑因子,具体包括:
对于焊接区域中各像素点,将焊缝图像噪声的标准方差的平方与像素点的缺陷特征显著权重的乘积作为像素点的自适应平滑因子;对于非焊接区域中各像素点,将焊缝图像噪声的标准方差的平方作为像素点的自适应平滑因子。
第二方面,本发明实施例还提供了一种用于焊接机器人的视觉检测***,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明实施例至少具有如下有益效果:
本发明通过机器视觉结合焊接机器人的图像采集设备获取焊接机器人产生的焊缝图像,通过分析焊缝图像中焊接区域的纹理特征,自适应获取图像中各像素点的平滑因子,结合非局部均值滤波算法对图像进行去噪,通过神经网络对去噪后的焊缝图像进行缺陷检测,解决了图像受噪声影响导致焊缝中缺陷部分边界不清晰及细节部分模糊的问题,避免了采用非局部均值滤波去噪时由于平滑参数固定导致无法兼顾去噪效果和焊缝缺陷边缘细节保留的问题,提高了焊缝图像清晰度,提高了焊接机器人对焊接区域的缺陷检测精度;
本发明通过分析焊接机器人产生的焊接区域的纹理特征,获取焊接区域中心线的纹理连续一致程度;根据焊接区域与非焊接区域之间的色彩差异得到焊接区域中心线的色彩丰富差异度;根据色彩丰富差异度与焊接区域每个像素点的灰度值及位置特征得到焊接区域像素点的缺陷特征显著权重,根据缺陷特征显著权重得到各像素点的自适应平滑因子;根据各像素点的自适应平滑因子结合非局部均值滤波算法对焊缝图像进行去噪,结合神经网络对去噪后焊缝图像进行缺陷识别,改善了非局部均值滤波算法对焊缝图像的去噪效果,解决了使用同一平滑参数对焊缝图像的不同区域进行去噪时效果较差的问题,提高了焊接机器人对焊缝缺陷识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种用于焊接机器人的视觉检测方法的步骤流程图;
图2为焊接区域上、下边界线及中心线示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于焊接机器人的视觉检测方法及***,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于焊接机器人的视觉检测方法及***的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种用于焊接机器人的视觉检测方法的步骤流程图,该方法包括以下步骤:
步骤S001,采集焊缝图像。
在背景光线充足并且无干扰物的场景下,使用安装于焊接机器人上相机对机器人所焊接工件的焊缝进行拍摄,拍摄过程中确保图像中有且仅有一条焊缝,避免焊接机器人采集到的图像中存在多条焊缝造成焊缝质量检测结果与焊缝无法一一对应的问题,获得RGB色彩空间下的焊缝图像。具体图像采集方式实施者可自行设定,本实施例不做具体限定。
步骤S002,对焊接区域的特征进行分析,构建焊接区域中各像素点的缺陷特征显著权重,根据缺陷特征显著权重得到各像素点的自适应平滑因子,结合非局部均值滤波算法得到去噪后焊缝图像。
焊接机器人在对焊接工件进行焊接工作时,焊缝可能会存在一些焊接缺陷问题,焊缝检测中常见的缺陷为气孔、夹渣和裂纹等,这些缺陷的存在会破坏焊缝的纹理结构,使缺陷部分的焊缝的纹理呈现不均匀的现象。特别是,当缺陷形态明显时,焊缝的宽度不再处处等宽,纹理偏移程度较大。基于上述分析,先将焊接机器人采集到的RGB空间下的焊缝图像转换为灰度图像,采用Canny算子对焊缝图像的灰度图像进行边缘检测得到焊缝图像的边缘图像,其中灰度图像转换及边缘检测为公知技术,具体过程不再赘述。
由于焊接机器人在焊接过程中,焊接区域会受到焊接机器人产生的短时间高温影响,发生熔化及冷却,焊接区域在高温熔化过程中发生氧化反应,导致焊接区域发生颜色变化,与非焊接区域颜色差别明显,所以焊接区域与非焊接区域的边界较为明显,容易通过边缘检测获取焊接区域的边界线,同时由于边缘检测可以检测到焊接冷却时产生的冷却花纹,而焊接区域的边界长度远大于焊接冷却花纹长度,因此将边缘图像中长度最长的两条边缘线作为焊接区域的两条边界线,如图2所示,分别记为上、下边界线、/>;上、下两条边界线之间的区域即为焊接区域。通过动态时间规整算法获取与上边界线上各像素点相匹配的下边界线像素点,记为匹配像素点,匹配方式为通过计算欧氏距离进行匹配,即对于上边界线上各像素点,以像素点q为例,分别计算像素点q与下边界线上每个像素点之间的欧氏距离,将最小欧氏距离对应的下边界线像素点作为像素点q的匹配像素点。其中,动态时间规整算法为公知技术,具体过程不再赘述。
将上边界线上的像素点记为上边界像素点,将下边界线上的像素点记为下边界像素点。将每个上边界像素点与其对应的下边界线上的匹配像素点组成的组合作为每个边界点组。对于每个边界点组,将边界点组中两个像素点进行连接,将连线的中点作为初始中点。将所有初始中点通过最小二乘法进行拟合得到的曲线作为焊接区域的中心线,将中心线上的各像素点作为各拟合中点,获取焊接区域中心线上像素点数量,即拟合中点的数量,记为k。
由于焊接机器人的焊接过程为自动化焊接过程,正常情况下焊接机器人产生的焊缝宽度应处处相等,而若焊缝等宽,则每个初始中点均应落在焊接区域中心线上,且与焊接区域中心线上的对应点的纹理相似性较高。因此,首先计算每个拟合中点到每个初始中点之间的欧氏距离,获取每个拟合中点的距离最近的初始中点,记为最近初始中点。然后分别以每个初始中点及拟合中点为中心像素点构建每个初始中点及拟合中点的/>邻域,记为第一邻域,需要说明的是,/>取值实施者可自行设定,本实施例将n的值设定为3。根据焊接区域中心线上每个拟合中点与对应最近初始中点之间的欧氏距离及邻域内像素点灰度分布的相似程度构建每个拟合中点的纹理偏移差异度,以分析焊接机器人产生的焊缝是否存在变形,纹理偏移差异度的表达式为:
式中,为拟合中点/>的纹理偏移差异度,/>表示焊接区域的中心线,/>表示中心线/>上第z个像素点,即第z个拟合中点,N为拟合中点/>第一邻域内非中心像素点个数,/>为拟合中点/>第一邻域内第/>个非中心像素点的灰度值,/>为拟合中点/>的最近初始中点,/>表示焊接区域的边界线,/>为初始中点/>第一邻域内第s个像素点的灰度值,/>为拟合中点/>与初始中点/>之间的欧氏距离。拟合中点与距离最近的初始中点之间的欧氏距离越大且对应邻域内像素点之间的灰度值相差越大,说明拟合中点与对应最近初始中点之间的相似性越小,则纹理偏移差异度越大,焊接区域中心线上的像素点纹理偏移程度越大,焊接机器人产生的焊缝存在缺陷的可能性越大。
当焊接机器人在焊接过程中存在焊接缺陷时,焊缝区域的纹理分布呈现不均匀特征,造成焊接区域中心线上像素点的纹理偏移程度大、不再具有连续相似性的特点,使用sobel算子对焊接区域中心线上的像素点进行梯度方向检测,获取各拟合中点的梯度方向对应的角度值/>,记为梯度方向角度值,使用sobel算子获取像素点的梯度方向为公知技术,具体过程不再赘述。根据每个拟合中点的梯度方向,计算焊接区域中心线/>的纹理连续一致程度/>,表达式为:
式中,为焊接区域中心线/>的纹理连续一致程度;/>为焊接区域中心线/>上第/>个像素点的梯度方向角度值,即第z个拟合中点的梯度方向角度值;/>为焊接区域中心线/>上第/>个像素点的梯度方向角度值,即第/>个拟合中点的梯度方向角度值;/>为焊接区域中心线/>上的像素点数量,即拟合中点数量;/>为拟合中点/>的纹理偏移差异度;/>为以自然常数为底的指数函数。
焊接区域中心线上相邻两像素点之间的方向梯度相差越小,纹理偏移差异度越大,说明焊接区域中心线上相邻像素点的纹理越混乱,则纹理连续一致程度越小,焊接区域中心线的纹理越不均匀,焊接机器人在焊接过程中越可能存在焊接缺陷。
焊接机器人进行焊接时,由于高温引起的氧化反应会使纹理一致性较高的焊缝表面形成氧化物层,氧化物在光线照射下会呈现出不同的颜色,使焊接区域呈现出丰富的颜色。
因此,对于焊接机器人采集的RGB焊缝图像,获取其R、G、B通道图像,需要说明的是,获取RGB图像的R、G、B通道图像为公知技术,具体过程不再赘述。在R、G、B通道图像中分别以每个像素点为中心像素点构建每个像素点的邻域,记为第二邻域,需要说明的是,/>取值实施者可自行设定,本实施例将/>的值设定为5。
焊接区域边界线的两侧分别为色彩较为丰富的焊接区域和色彩较为单一的金属结构区域。因此,可以根据焊接区域边界线、/>与焊接区域中心线/>的色彩丰富程度之间的差异判断焊接区域与金属结构区域之间的色彩丰富程度的差异。以R通道图像为例,焊接机器人产生的焊接区域中,焊接区域中心线/>在/>通道图像中的色彩丰富对比度/>的表达式为:
式中,为R通道图像中焊接区域中心线/>的色彩丰富对比度,k为中心线上像素点数量,/>为中心线上第z个像素点的色彩丰富对比度,/>为焊接区域中心线的纹理连续一致程度,g、h分别为R通道图像中焊接区域上、下边界线上像素点数量,为R通道图像中焊接区域中心线/>上第/>个像素点/>的第二邻域中所有像素点灰度值的信息熵,/>、/>分别为R通道图像中焊接区域上边界线/>上第/>个像素点/>、下边界线上第y个像素点的第二邻域中所有像素点灰度值的信息熵。
通过上述方式分别获取G、B通道图像中焊接区域中心线的色彩丰富对比度、/>。将R、G、B三个通道图像中焊接区域中心线/>的色彩丰富对比度的均值作为焊接区域中心线/>的色彩丰富差异度/>。
对于焊接机器人产生的焊接区域,边界线上的像素点与焊接区域中心线上的像素点邻域内像素点灰度值的信息熵相差越大、焊接区域中心线的纹理连续一致程度越大,说明焊接机器人产生的焊缝纹理越均匀,焊接区域中心线的纹理越均匀且与焊接区域边缘线的色彩丰富程度相差较大,焊接区域中心线的色彩丰富差异度越大,焊接区域与金属结构相比颜色越丰富、纹理越均匀,焊接机器人焊接时出现焊接缺陷的可能性越小。
对于焊接区域的像素点来说,气孔、夹渣和裂纹等焊接机器人可能产生的焊接缺陷处的像素点在灰度图像中灰度值较大,且焊接区域的像素点越靠近焊接区域中心线越能继承焊接区域中心线的色彩丰富差异度。对于焊接区域中每个像素点p,将像素点p到中心线上各像素点的欧氏距离的最小值作为像素点p到中心线的欧氏距离,基于上述分析,以像素点p为例,焊接机器人产生的焊接区域中各像素点的缺陷特征显著权重,表达式为:
式中,为焊接区域中像素点p的缺陷特征显著权重;/>为像素点p的灰度值;为像素点p到中心线/>的欧氏距离;/>为焊接区域中心线/>的色彩丰富差异度。
当焊接区域的像素点灰度值越大,距离焊接区域中心线的距离越远且焊接区域中心线的色彩丰富差异度越小时,说明该像素点处的色彩越不丰富、纹理越不均匀,则缺陷特征显著因子越大,焊接机器人产生的焊缝中的缺陷特征越明显。
焊接区域中缺陷部分的清晰度会直接影响焊接机器人对缺陷类型的判断,而传统的非局部均值滤波算法无法兼顾去噪效果和缺陷部分边界的清晰度问题。非局部均值滤波算法中平滑参数过小,噪声滤除不干净;平滑参数过大,边缘部分不能清晰展示,极大影响焊接机器人对焊缝质量的判断,因此,本实施例使用缺陷特征显著权重对非局部均值滤波算法中相似度权重计算公式中的平滑因子进行改进,对于焊接机器人采集的焊缝图像,在图像噪声的标准方差的基础上添加缺陷特征显著权重,以像素点/>为例,获取焊缝图像中各像素点的自适应平滑因子/>:
式中,为焊缝图像中像素点/>的自适应平滑因子;/>为焊缝图像中像素点的缺陷特征显著权重;/>为整个焊缝图像噪声的标准方差;/>为焊接区域;/>为非焊接区域。
当缺陷特征显著权重越大,说明该像素点的缺陷特征越明显,缺陷程度越大,则自适应平滑因子越大,计算所得相似性权重越小,越能保留缺陷细节,焊接机器人越容易对缺陷区域进行识别。
根据焊接机器人采集的焊缝图像中各像素点的自适应平滑因子采用非局部均值滤波算法对各像素点的灰度值进行计算,得到各像素点的新灰度值,根据各像素点的新灰度值组成的图像即为去噪后的焊缝图像。其中,非局部均值滤波算法为公知技术,具体过程不再赘述。
步骤S003,通过神经网络对去噪后焊缝图像进行缺陷识别。
使用Yolov5神经网络模型对去噪后图像进行焊接缺陷识别和分类,首先制作一个包含缺陷和非缺陷样本的焊缝图像数据集,对包含缺陷的焊缝图像进行标注,根据气孔、夹渣和裂纹等缺陷的特征标注缺陷的边界框和类别信息;使用准备好的数据集输入Yolov5神经网络模型进行训练,输出缺陷的边界框和类别概率。将焊接机器人负载训练好的模型,从而焊接机器人使用训练好的模型对去噪后的焊缝图像进行缺陷识别和分类。需要说明的是,Yolov5神经网络模型以及训练过程为公知技术,具体过程不再赘述。
基于与上述方法相同的发明构思,本发明实施例还提供了一种用于焊接机器人的视觉检测***,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种用于焊接机器人的视觉检测方法中任意一项所述方法的步骤。
综上所述,本发明实施例提供了一种用于焊接机器人的视觉检测方法,通过机器视觉结合焊接机器人的图像采集设备获取焊接机器人产生的焊缝图像,通过分析焊缝图像中焊接区域的纹理特征,自适应获取图像中各像素点的平滑因子,结合非局部均值滤波算法对图像进行去噪,通过神经网络对去噪后的焊缝图像进行缺陷检测,解决了图像受噪声影响导致焊缝中缺陷部分边界不清晰及细节部分模糊的问题,避免了采用非局部均值滤波去噪时由于平滑参数固定导致无法兼顾去噪效果和焊缝缺陷边缘细节保留的问题,提高了焊缝图像清晰度,提高了焊接机器人对焊接区域的缺陷检测精度;
本实施例通过分析焊接机器人产生的焊接区域的纹理特征,获取焊接区域中心线的纹理连续一致程度;根据焊接区域与非焊接区域之间的色彩差异得到焊接区域中心线的色彩丰富差异度;根据色彩丰富差异度与焊接区域每个像素点的灰度值及位置特征得到焊接区域像素点的缺陷特征显著权重,根据缺陷特征显著权重得到各像素点的自适应平滑因子;根据各像素点的自适应平滑因子结合非局部均值滤波算法对焊缝图像进行去噪,结合神经网络对去噪后焊缝图像进行缺陷识别,改善了非局部均值滤波算法对焊缝图像的去噪效果,解决了使用同一平滑参数对焊缝图像的不同区域进行去噪时效果较差的问题,提高了焊接机器人对焊缝缺陷识别精度。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种用于焊接机器人的视觉检测方法,其特征在于,所述:
采集焊缝图像;获取焊缝图像的边缘图像;
将边缘图像中长度最长的两条边缘线分别作为焊缝图像中焊接区域的上、下边界线;通过动态时间规整算法获取上边界线上各像素点在下边界线上的匹配像素点;根据匹配像素点得到各初始中点及拟合中点;根据各初始中点及拟合中点的位置变化得到各拟合中点的纹理偏移差异度;根据各拟合中点的纹理偏移差异度得到焊接区域中心线的纹理连续一致程度;获取RGB焊缝图像中R、G、B通道图像中各像素点的邻域;根据各像素点的邻域得到各通道图像中心线上各像素点的色彩丰富对比度;根据纹理连续一致程度及中心线上各像素点的色彩丰富对比度得到各通道图像中焊接区域中心线的色彩丰富对比度;根据色彩丰富对比度得到焊接区域中心线的色彩丰富差异度;根据色彩丰富差异度及焊接区域中各像素点的位置变化得到焊接区域中各像素点的缺陷特征显著权重;根据缺陷特征显著权重得到焊缝图像中各像素点的自适应平滑因子;
根据各像素点的自适应平滑因子结合非局部均值滤波算法对焊缝图像进行去噪得到去噪后的焊缝图像;通过神经网络对去噪后的焊缝图像进行缺陷识别;
所述根据各初始中点及拟合中点的位置变化得到各拟合中点的纹理偏移差异度,具体包括:
获取各拟合中点及初始中点的邻域;对于各拟合中点,获取距离最近的初始中点,记为最近初始中点;计算拟合中点与最近初始中点之间的欧氏距离;计算拟合中点邻域内各像素点与最近初始中点邻域内对应像素点之间灰度值的差值绝对值;计算所有所述差值绝对值的均值;计算所述均值与所述欧氏距离的比值;将所述比值作为拟合中点的纹理偏移差异度;
所述根据各拟合中点的纹理偏移差异度得到焊接区域中心线的纹理连续一致程度,具体包括:
通过sobel算子获取各拟合中点的梯度方向对应的角度值,记为梯度方向角度值;计算中心线上各相邻拟合中点之间的梯度方向角度值的差值平方;计算所有所述差值平方的均值;计算所有拟合中点的纹理偏移差异度的和值;计算所述均值与所述和值的比值,将所述比值作为焊接区域中心线的纹理连续一致程度;
所述根据各像素点的邻域得到各通道图像中心线上各像素点的色彩丰富对比度,具体包括:
在各通道图像中,获取中心线及上、下边界线上各像素点的邻域中所有像素点灰度值的信息熵;
对于中心线上各像素点,计算中心线上像素点与上、下边界线上各像素点之间所述信息熵的差值绝对值;计算所有所述差值绝对值的平均值;将所述平均值作为中心线上像素点的色彩丰富对比度;
所述根据色彩丰富对比度得到焊接区域中心线的色彩丰富差异度,具体包括:将所有通道图像中焊接区域中心线的色彩丰富对比度的平均值作为焊接区域中心线的色彩丰富差异度;
所述根据色彩丰富差异度及焊接区域中各像素点的位置变化得到焊接区域中各像素点的缺陷特征显著权重,具体包括:
对于焊接区域中各像素点,将像素点到中心线上各像素点的欧氏距离最小值作为像素点到中心线的欧氏距离;计算像素点到中心线的欧氏距离与灰度值的乘积;计算所述乘积与中心线的色彩丰富差异度的比值;将所述比值作为像素点的缺陷特征显著权重;
所述根据缺陷特征显著权重得到焊缝图像中各像素点的自适应平滑因子,具体包括:
对于焊接区域中各像素点,将焊缝图像噪声的标准方差的平方与像素点的缺陷特征显著权重的乘积作为像素点的自适应平滑因子;对于非焊接区域中各像素点,将焊缝图像噪声的标准方差的平方作为像素点的自适应平滑因子。
2.如权利要求1所述的一种用于焊接机器人的视觉检测方法,其特征在于,所述根据匹配像素点得到各初始中点及拟合中点,具体为:
将上边界线上各像素点与所属匹配像素点作为各边界点组;将各边界点组中像素点连线的中点作为各初始中点;对所有初始中点进行拟合得到曲线作为焊接区域的中心线;将中心线上各像素点作为各拟合中点。
3.如权利要求1所述的一种用于焊接机器人的视觉检测方法,其特征在于,所述根据各像素点的邻域得到各通道图像中心线上各像素点的色彩丰富对比度,具体包括:
在各通道图像中,获取中心线及上、下边界线上各像素点的邻域中所有像素点灰度值的信息熵;
对于中心线上各像素点,计算中心线上像素点与上、下边界线上各像素点之间所述信息熵的差值绝对值;计算所有所述差值绝对值的平均值;将所述平均值作为中心线上像素点的色彩丰富对比度。
4.一种用于焊接机器人的视觉检测***,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-3任意一项方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410154431.7A CN117689663B (zh) | 2024-02-04 | 2024-02-04 | 一种用于焊接机器人的视觉检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410154431.7A CN117689663B (zh) | 2024-02-04 | 2024-02-04 | 一种用于焊接机器人的视觉检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117689663A CN117689663A (zh) | 2024-03-12 |
CN117689663B true CN117689663B (zh) | 2024-04-26 |
Family
ID=90135763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410154431.7A Active CN117689663B (zh) | 2024-02-04 | 2024-02-04 | 一种用于焊接机器人的视觉检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117689663B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218771A (zh) * | 2013-03-07 | 2013-07-24 | 天津大学 | 基于自回归模型深度恢复的参数自适应选取方法 |
CN110969611A (zh) * | 2019-12-03 | 2020-04-07 | 广州特种承压设备检测研究院 | 管道焊缝缺陷检测方法、装置、***及存储介质 |
KR20200039130A (ko) * | 2018-10-05 | 2020-04-16 | 광주과학기술원 | 이미지 처리 장치의 디노이징 방법 및 이를 위한 피처 생성 방법 |
CN113436168A (zh) * | 2021-06-25 | 2021-09-24 | 重庆邮电大学 | 一种用于工业焊缝x光图中的裂纹缺陷检测方法 |
CN113989168A (zh) * | 2021-11-02 | 2022-01-28 | 华北电力大学(保定) | 一种针对椒盐噪声的自适应非局部均值滤波方法 |
CN116012357A (zh) * | 2023-02-09 | 2023-04-25 | 河南职业技术学院 | 基于机器视觉的汽车圆形拖车孔气纹缺陷检测方法 |
CN116168026A (zh) * | 2023-04-24 | 2023-05-26 | 山东拜尔检测股份有限公司 | 基于计算机视觉的水质检测方法及*** |
WO2023134792A2 (zh) * | 2022-12-15 | 2023-07-20 | 苏州迈创信息技术有限公司 | 一种led灯芯缺陷检测方法 |
CN116703920A (zh) * | 2023-08-07 | 2023-09-05 | 济宁市华祥石墨制品有限公司 | 基于图像处理的石墨保温桶裂纹检测方法 |
CN116990323A (zh) * | 2023-09-26 | 2023-11-03 | 睿同科技有限公司 | 一种高精密印刷版视觉检测*** |
CN117237335A (zh) * | 2023-11-10 | 2023-12-15 | 惠汕绿创(江苏)科技有限公司 | 基于机器视觉的光伏钢结构组件检测方法 |
CN117314912A (zh) * | 2023-11-29 | 2023-12-29 | 山东贞元汽车车轮有限公司 | 一种焊管表面焊接缺陷视觉检测方法及*** |
CN117372402A (zh) * | 2023-10-31 | 2024-01-09 | 重庆长安汽车股份有限公司 | 一种焊缝缺陷检测方法、装置、计算机设备及存储介质 |
-
2024
- 2024-02-04 CN CN202410154431.7A patent/CN117689663B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218771A (zh) * | 2013-03-07 | 2013-07-24 | 天津大学 | 基于自回归模型深度恢复的参数自适应选取方法 |
KR20200039130A (ko) * | 2018-10-05 | 2020-04-16 | 광주과학기술원 | 이미지 처리 장치의 디노이징 방법 및 이를 위한 피처 생성 방법 |
CN110969611A (zh) * | 2019-12-03 | 2020-04-07 | 广州特种承压设备检测研究院 | 管道焊缝缺陷检测方法、装置、***及存储介质 |
CN113436168A (zh) * | 2021-06-25 | 2021-09-24 | 重庆邮电大学 | 一种用于工业焊缝x光图中的裂纹缺陷检测方法 |
CN113989168A (zh) * | 2021-11-02 | 2022-01-28 | 华北电力大学(保定) | 一种针对椒盐噪声的自适应非局部均值滤波方法 |
WO2023134792A2 (zh) * | 2022-12-15 | 2023-07-20 | 苏州迈创信息技术有限公司 | 一种led灯芯缺陷检测方法 |
CN116012357A (zh) * | 2023-02-09 | 2023-04-25 | 河南职业技术学院 | 基于机器视觉的汽车圆形拖车孔气纹缺陷检测方法 |
CN116168026A (zh) * | 2023-04-24 | 2023-05-26 | 山东拜尔检测股份有限公司 | 基于计算机视觉的水质检测方法及*** |
CN116703920A (zh) * | 2023-08-07 | 2023-09-05 | 济宁市华祥石墨制品有限公司 | 基于图像处理的石墨保温桶裂纹检测方法 |
CN116990323A (zh) * | 2023-09-26 | 2023-11-03 | 睿同科技有限公司 | 一种高精密印刷版视觉检测*** |
CN117372402A (zh) * | 2023-10-31 | 2024-01-09 | 重庆长安汽车股份有限公司 | 一种焊缝缺陷检测方法、装置、计算机设备及存储介质 |
CN117237335A (zh) * | 2023-11-10 | 2023-12-15 | 惠汕绿创(江苏)科技有限公司 | 基于机器视觉的光伏钢结构组件检测方法 |
CN117314912A (zh) * | 2023-11-29 | 2023-12-29 | 山东贞元汽车车轮有限公司 | 一种焊管表面焊接缺陷视觉检测方法及*** |
Non-Patent Citations (5)
Title |
---|
A Geometric Structure Based Non Local Mean Image Denoising Algorithm;Lei Shi;《IEEE Access》;20230830;第11卷;91145-91156 * |
Adaptive colour-guided non-local means algorithm for compound noise reduction of depth maps;Mostafa M.lbrahim 等;《IET Image Process》;20200911;第14卷(第12期);2768-2779 * |
一种自适应的非局部均值图像去噪算法;李洪均;谢正光;李蕴华;王伟;;《计算机应用与软件》;20131215;第30卷(第12期);43-47+51 * |
基于图像分割的非局部均值去噪算法;徐苏;周颖;;《计算机应用》;20170710;第37卷(第07期);2078-2083 * |
基于机器视觉的油气管道焊缝检测识别***研究;王思杰;《中国优秀硕士学位论文全文数据库工程科技I辑》;20201215;B019-108 * |
Also Published As
Publication number | Publication date |
---|---|
CN117689663A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886298B (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
CN108637435A (zh) | 一种基于视觉与弧压传感的三维焊缝跟踪***及方法 | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN107038446B (zh) | 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法 | |
CN107798330A (zh) | 一种焊缝图像特征信息提取方法 | |
CN106846344A (zh) | 一种基于边缘完备度的图像分割最优识别方法 | |
CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及*** | |
CN111696107A (zh) | 一种实现闭合连通域的熔池轮廓图像提取方法 | |
CN112053376B (zh) | 一种基于深度信息的工件焊缝识别方法 | |
CN112304960B (zh) | 一种基于深度学习的高分辨率图像物体表面缺陷检测方法 | |
CN114821114A (zh) | 一种基于视觉***的坡口切割机器人图像处理方法 | |
JP2012013675A (ja) | 鋼管内部腐食解析装置及び腐食解析方法 | |
CN106934800A (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
CN115330645A (zh) | 一种焊接图像增强方法 | |
CN113012149A (zh) | 一种智能清洗机器人路径规划方法及*** | |
CN112862744A (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
CN111932490A (zh) | 一种用于工业机器人的视觉***抓取信息提取方法 | |
CN115330646A (zh) | 一种用于健身器材喷漆工艺的金属构件检查方法 | |
CN117689663B (zh) | 一种用于焊接机器人的视觉检测方法及*** | |
CN116563276B (zh) | 一种化纤长丝在线缺陷检测方法及检测*** | |
CN113240668A (zh) | 一种基于图像数字特征分布的生成熔池图像质量评估方法 | |
CN113319013A (zh) | 一种基于机器视觉的苹果智能分拣的方法 | |
CN112529103A (zh) | 一种基于双向熔池几何及纹理特征融合的熔透识别方法 | |
CN111882549A (zh) | 一种灰绿色细小异纤自动检测识别方法及检测识别*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |