CN115880302A - 基于图像分析的仪表盘焊接质量检测方法 - Google Patents

基于图像分析的仪表盘焊接质量检测方法 Download PDF

Info

Publication number
CN115880302A
CN115880302A CN202310213152.9A CN202310213152A CN115880302A CN 115880302 A CN115880302 A CN 115880302A CN 202310213152 A CN202310213152 A CN 202310213152A CN 115880302 A CN115880302 A CN 115880302A
Authority
CN
China
Prior art keywords
target
filtering
point
pixel point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310213152.9A
Other languages
English (en)
Other versions
CN115880302B (zh
Inventor
胡继红
陈驰
谢君
楼利飞
吴泽琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Allytech Technology Co ltd
Original Assignee
Hangzhou Allytech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Allytech Technology Co ltd filed Critical Hangzhou Allytech Technology Co ltd
Priority to CN202310213152.9A priority Critical patent/CN115880302B/zh
Publication of CN115880302A publication Critical patent/CN115880302A/zh
Application granted granted Critical
Publication of CN115880302B publication Critical patent/CN115880302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及基于图像分析的仪表盘焊接质量检测方法,该方法包括:获取待检测仪表盘的焊接区域的焊缝灰度图像;从焊缝灰度图像中筛选出满足起始条件的像素点;确定滤波起始点对应的目标均匀指标矩阵;对滤波起始点和滤波起始点对应的目标邻域内的各个像素点进行分类;从滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别中筛选出滤波起始点所在的类别;对焊缝灰度图像进行自适应形态学滤波;对目标焊缝图像进行分割处理;对待检测仪表盘进行焊接质量检测。本发明通过对焊缝灰度图像进行图像数据处理,提高了对仪表盘焊接质量检测的准确度,应用于对仪表盘焊接质量检测。

Description

基于图像分析的仪表盘焊接质量检测方法
技术领域
本发明涉及图像数据处理技术领域,具体涉及基于图像分析的仪表盘焊接质量检测方法。
背景技术
在仪表盘的生产过程中,往往需要采用超声波对材料进行焊接。采用超声波对材料进行焊接的方法主要为:通过超声波高频振动,将电能转化为热能使材料融化,最终完成仪表盘的部件的焊接。然而,在焊接过程中,由于多种因素,如对超声波振动频率控制不当,可能导致焊接温度过高,使焊接位置产生烧灼,从而导致焊接位置除了熔接痕之外还存在烧灼痕。由于烧灼痕与熔接痕对仪表盘的不良影响程度往往不同,因此,对仪表盘焊接质量检测时往往需要对仪表盘焊接区域内的熔接痕和烧灼痕进行准确分割。目前,对仪表盘焊接质量检测时,通常采用的方式为:获取的仪表盘焊接区域图像,对仪表盘焊接区域图像进行分割,得到熔接痕区域和烧灼痕区域,并根据得到的熔接痕区域和烧灼痕区域,对仪表盘焊接质量检测。对图像进行分割时,通常采用的方式为:将图像输入神经网络,通过神经网络,实现对图像的分割。
然而,当采用上述对图像进行分割的方式,对仪表盘焊接区域图像进行分割时,经常会存在如下技术问题:
由于熔接痕和烧灼痕之间往往存在粘连区域,所以仪表盘焊接区域图像中的熔接痕区域和烧灼痕区域之间的边界往往不明显,因此直接将获取的仪表盘焊接区域图像输入神经网络,通过神经网络,对仪表盘焊接区域图像进行分割时,往往导致对熔接痕区域和烧灼痕区域的分割不准确,从而导致对仪表盘焊接质量检测的准确度低下。
发明内容
本发明的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本发明的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
为了解决对仪表盘焊接质量检测的准确度低下的技术问题,本发明提出了基于图像分析的仪表盘焊接质量检测方法。
本发明提供了基于图像分析的仪表盘焊接质量检测方法,该方法包括:
获取待检测仪表盘的焊接区域的焊缝灰度图像;
从所述焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合;
根据所述滤波起始点集合中的每个滤波起始点和所述滤波起始点对应的预先设置的目标邻域,确定所述滤波起始点对应的目标均匀指标矩阵;
根据所述滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对所述滤波起始点和所述滤波起始点对应的目标邻域内的各个像素点进行分类,得到所述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别;
对于所述滤波起始点集合中的每个滤波起始点,从所述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别中筛选出所述滤波起始点所在的类别,作为所述滤波起始点对应的待滤波像素点类别;
根据预先设置的目标滤波核和所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对所述焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像;
对所述目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域;
根据所述目标烧灼痕区域和所述目标熔接痕区域,对所述待检测仪表盘进行焊接质量检测。
进一步地,所述从所述焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合,包括:
对于所述焊缝灰度图像中的每个像素点,对所述像素点与所述像素点对应的参考像素点之间的灰度差值的绝对值进行归一化,得到所述像素点对应的目标灰度差异,其中,所述像素点对应的参考像素点是所述像素点所在列中所述像素点的下一个像素点;
当所述焊缝灰度图像中的像素点对应的目标灰度差异大于预先设置的差异阈值时,认定像素点满足起始条件,将像素点确定为滤波起始点,得到滤波起始点集合。
进一步地,所述根据所述滤波起始点集合中的每个滤波起始点和所述滤波起始点对应的预先设置的目标邻域,确定所述滤波起始点对应的目标均匀指标矩阵,包括:
将所述滤波起始点和所述滤波起始点对应的目标邻域中的各个像素点,确定为目标初始像素点,得到所述滤波起始点对应的目标初始像素点集合;
对所述滤波起始点对应的目标初始像素点集合中的每个目标初始像素点进行均匀情况分析处理,得到所述目标初始像素点对应的目标初始均匀指标;
将所述滤波起始点对应的目标初始像素点集合中的各个目标初始像素点对应的目标初始均匀指标,组合为所述滤波起始点对应的初始矩阵;
对所述滤波起始点对应的初始矩阵中的各个元素进行归一化,得到所述滤波起始点对应的目标均匀指标矩阵。
进一步地,所述对所述滤波起始点对应的目标初始像素点集合中的每个目标初始像素点进行均匀情况分析处理,得到所述目标初始像素点对应的目标初始均匀指标,包括:
确定所述目标初始像素点对应的目标邻域内的每个像素点对应的目标频率,其中,像素点对应的目标频率等于该像素点对应的第一数量与目标邻域内像素点的数量的比值,像素点对应的第一数量为目标初始像素点对应的目标邻域内与该像素点对应的灰度值相同的像素点的数量;
根据所述目标初始像素点对应的目标邻域内的各个像素点对应的目标频率,确定所述目标初始像素点对应的目标灰度熵;
对所述目标初始像素点对应的目标灰度熵进行指数化,得到所述目标初始像素点对应的指数灰度熵;
将所述目标初始像素点对应的指数灰度熵的倒数,确定为所述目标初始像素点对应的目标初始均匀指标。
进一步地,滤波起始点对应的目标均匀指标矩阵的中心元素是该滤波起始点对应的目标均匀指标,滤波起始点对应的目标均匀指标矩阵中除了中心元素之外的元素是该滤波起始点对应的目标邻域内的像素点对应的目标均匀指标;
所述根据所述滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对所述滤波起始点和所述滤波起始点对应的目标邻域内的各个像素点进行分类,得到所述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别,包括:
从所述滤波起始点对应的目标均匀指标矩阵中筛选出大于或等于预先设置的均匀阈值的目标均匀指标,作为第一均匀指标,得到所述滤波起始点对应的第一均匀指标集合;
将所述滤波起始点对应的第一均匀指标集合中的各个第一均匀指标对应的像素点,确定为熔接痕像素点,得到所述滤波起始点对应的熔接痕像素点类别;
将所述滤波起始点对应的目标均匀指标矩阵中除了所述滤波起始点对应的第一均匀指标集合之外的目标均匀指标,作为第二均匀指标,得到所述滤波起始点对应的第二均匀指标集合;
将所述滤波起始点对应的第二均匀指标集合中的各个第二均匀指标对应的像素点,确定为烧灼痕像素点,得到所述滤波起始点对应的烧灼痕像素点类别。
进一步地,所述根据预先设置的目标滤波核和所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对所述焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像,包括:
根据所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别中的每个待滤波像素点对应的目标均匀指标和所述待滤波像素点对应的预先设置的参考邻域,确定所述待滤波像素点对应的方向选择必要性;
对所述滤波起始点集合中的每个滤波起始点进行以下处理:
将所述滤波起始点标记为目标滤波像素点;
从所述滤波起始点对应的参考滤波点集合中筛选出方向选择必要性最大的像素点,作为必要滤波点,将必要滤波点标记为目标滤波像素点,其中,所述滤波起始点对应的参考滤波点集合中的像素点是所述滤波起始点对应的待滤波像素点类别中除了所述滤波起始点之外的像素点;
将所述滤波起始点更新为必要滤波点,当更新后的滤波起始点对应的参考滤波点集合中存在待标记像素点集合时,确定待标记像素点集合中的各个待标记像素点对应的方向选择必要性,并从待标记像素点集合中筛选出方向选择必要性最大的待标记像素点,作为必要滤波点,将必要滤波点标记为目标滤波像素点,重复目标滤波像素点标记步骤,直至更新后的滤波起始点对应的参考滤波点集合中不存在待标记像素点,其中,待标记像素点集合中的待标记像素点是未被标记为目标滤波像素点的像素点;
按照被标记的顺序,根据目标滤波核,对所述焊缝灰度图像中的各个目标滤波像素点进行形态学滤波,得到目标焊缝图像。
进一步地,所述根据所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别中的每个待滤波像素点对应的目标均匀指标和所述待滤波像素点对应的预先设置的参考邻域,确定所述待滤波像素点对应的方向选择必要性,包括:
将所述待滤波像素点对应的参考邻域中的各个像素点对应的灰度值的均值,确定为所述待滤波像素点对应的目标灰度均值;
将所述待滤波像素点对应的参考邻域中的各个像素点对应的灰度值与所述待滤波像素点对应的灰度值的差值的绝对值的和,确定为所述待滤波像素点对应的邻域灰度差异;
对所述待滤波像素点对应的邻域灰度差异与目标灰度均值的比值进行指数化,得到所述待滤波像素点对应的第一选择必要性;
将所述待滤波像素点对应的第一选择必要性与目标均匀指标的绝对值的乘积,确定为所述待滤波像素点对应的方向选择必要性。
进一步地,所述对所述目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域,包括:
将所述目标焊缝图像输入预先训练完成的焊缝分割网络,通过所述焊缝分割网络,得到目标烧灼痕区域和目标熔接痕区域。
进一步地,所述焊缝分割网络的训练过程,包括:
获取样本灰度图像集合和所述样本灰度图像集合中的每个样本灰度图像对应的样本烧灼痕区域和样本熔接痕区域;
对所述样本灰度图像集合中的每个样本灰度图像进行自适应形态学滤波,确定所述样本灰度图像对应的第一样本图像,得到第一样本图像集合;
将第一样本图像集合确定为焊缝分割网络的训练集;
将第一样本图像集合中的第一样本图像对应的样本烧灼痕区域和样本熔接痕区域,确定为焊缝分割网络的训练标签;
构建焊缝分割网络;
根据焊缝分割网络的训练集和训练标签,对构建的焊缝分割网络进行训练,得到训练完成的焊缝分割网络。
进一步地,所述根据所述目标烧灼痕区域和所述目标熔接痕区域,对所述待检测仪表盘进行焊接质量检测,包括:
将所述目标烧灼痕区域中像素点的数量与所述目标熔接痕区域中像素点的数量的比值,确定为焊接缺陷指标;
当所述焊接缺陷指标大于预先设置的焊接缺陷阈值时,判定所述待检测仪表盘的焊接质量不合格;
当所述焊接缺陷指标小于或等于所述焊接缺陷阈值时,判定所述待检测仪表盘的焊接质量合格。
本发明具有如下有益效果:
本发明的一种基于图像分析的仪表盘焊接质量检测方法,通过对焊缝灰度图像进行图像数据处理,解决了对仪表盘焊接质量检测的准确度低下的技术问题,提高了对仪表盘焊接质量检测的准确度。首先,获取待检测仪表盘的焊接区域的焊缝灰度图像,可以便于后续基于焊缝灰度图像,对待检测仪表盘的焊接情况进行分析。接着,从上述焊缝灰度图像中筛选出滤波起始点集合,可以提高后续对焊缝灰度图像进行自适应形态学滤波的准确度。然后,由于烧灼痕区域和熔接痕区域内像素点的均匀程度往往不同,所以确定滤波起始点对应的目标均匀指标矩阵,可以便于后续分离烧灼痕区域和熔接痕区域,从而可以提高烧灼痕区域和熔接痕区域确定的准确度。再者,确定滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别,可以清楚滤波起始点对应的目标邻域内的各个像素点的类别,进而可以确定滤波起始点周围像素点的情况,可以便于后续筛选滤波起始点对应的目标邻域内可能需要进行滤波的像素点。继续,筛选出滤波起始点对应的待滤波像素点类别,可以便于后续对焊缝灰度图像进行精确的自适应形态学滤波。之后,对焊缝灰度图像进行自适应形态学滤波,往往可以使不同区域之间的边界更加明显,因此,可以使目标焊缝图像中的烧灼痕区域和熔接痕区域之间的边界更加明显,可以便于后续分割目标烧灼痕区域和目标熔接痕区域,可以提高目标烧灼痕区域和目标熔接痕区域确定的准确度。而后,对上述目标焊缝图像进行分割处理,可以提高目标烧灼痕区域和目标熔接痕区域确定的准确度。因此,本发明通过对焊缝灰度图像进行自适应形态学滤波,可以使烧灼痕区域和熔接痕区域之间的边界更加明显,可以便于分割烧灼痕区域和熔接痕区域,相较于直接对焊缝灰度图像进行烧灼痕区域和熔接痕区域分割,本发明提高了烧灼痕区域和熔接痕区域确定的准确度,从而提高了对仪表盘焊接质量检测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为根据本发明的基于图像分析的仪表盘焊接质量检测方法的流程图;
图2为根据本发明的滤波起始点对应的目标邻域示意图;
图3为根据本发明的目标滤波核示意图;
图4为根据本发明的焊缝灰度图像的示意图;
图5为根据本发明的目标焊缝图像的示意图。
其中,附图标记包括:第一像素点201、第二像素点202、第三像素点203、第四像素点204、滤波起始点205、第五像素点206、第六像素点207、第七像素点208和第八像素点209。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明提供了基于图像分析的仪表盘焊接质量检测方法,该方法包括以下步骤:
获取待检测仪表盘的焊接区域的焊缝灰度图像;
从焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合;
根据滤波起始点集合中的每个滤波起始点和滤波起始点对应的预先设置的目标邻域,确定滤波起始点对应的目标均匀指标矩阵;
根据滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对滤波起始点和滤波起始点对应的目标邻域内的各个像素点进行分类,得到滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别;
对于滤波起始点集合中的每个滤波起始点,从滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别中筛选出滤波起始点所在的类别,作为滤波起始点对应的待滤波像素点类别;
根据预先设置的目标滤波核和滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像;
对目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域;
根据目标烧灼痕区域和目标熔接痕区域,对待检测仪表盘进行焊接质量检测。
下面对上述各个步骤进行详细展开:
参考图1,示出了根据本发明的基于图像分析的仪表盘焊接质量检测方法的一些实施例的流程。该基于图像分析的仪表盘焊接质量检测方法,包括以下步骤:
步骤S1,获取待检测仪表盘的焊接区域的焊缝灰度图像。
在一些实施例中,可以获取待检测仪表盘的焊接区域的焊缝灰度图像。
其中,待检测仪表盘可以是待焊接质量检测的仪表盘。焊接区域可以是进行焊接的区域。焊接区域可以由烧灼痕区域和熔接痕区域组成。烧灼痕区域可以是烧灼痕所在的区域。熔接痕区域可以是熔接痕所在的区域。焊缝灰度图像可以是待检测仪表盘的焊接区域的灰度图像。
作为示例,可以通过相机,采集待检测仪表盘的焊接区域的表面图像,对该表面图像进行灰度化,得到焊缝灰度图像。
需要说明的是,获取焊缝灰度图像可以便于后续基于焊缝灰度图像,对待检测仪表盘进行焊接质量检测。
步骤S2,从焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合。
在一些实施例中,可以从上述焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合。
作为示例,本步骤可以包括以下步骤:
第一步,对于上述焊缝灰度图像中的每个像素点,对上述像素点与上述像素点对应的参考像素点之间的灰度差值的绝对值进行归一化,得到上述像素点对应的目标灰度差异。
其中,上述像素点对应的参考像素点可以是上述像素点所在列中上述像素点的下一个像素点。
例如,像素点对应的目标灰度差异对应的公式可以为:
Figure SMS_1
其中,
Figure SMS_2
是上述焊缝灰度图像中第j列像素点中的第i个像素点对应的目标灰度 差异。j是上述焊缝灰度图像中像素点的列号。i是上述焊缝灰度图像中第j列像素点中像素 点的序号,也是上述焊缝灰度图像中像素点的行号。
Figure SMS_6
是对
Figure SMS_8
进行归一化,
Figure SMS_4
的取值范围可以为[0,1]。
Figure SMS_5
Figure SMS_7
的绝对值。
Figure SMS_9
是上述焊缝灰度图像中第j列像素点中的第i个像素点对应的 灰度值。
Figure SMS_3
是上述焊缝灰度图像中第j列像素点中的第i+1个像素点对应的灰度值。第j 列像素点中的第i+1个像素点可以是第j列像素点中的第i个像素点对应的参考像素点。第j 列像素点中的第i+1个像素点和第i个像素点相邻,并且第i+1个像素点可以在第i个像素点 的下面。
需要说明的是,
Figure SMS_10
越大,往往说明第j列像素点中的第i个像 素点与第i+1个像素点之间的灰度差异越大。
第二步,当上述焊缝灰度图像中的像素点对应的目标灰度差异大于预先设置的差异阈值时,认定像素点满足起始条件,将像素点确定为滤波起始点,得到滤波起始点集合。
其中,差异阈值可以是预先设置的阈值。例如,差异阈值可以是0.7。当像素点对应的目标灰度差异大于差异阈值时,可以认为该像素点满足起始条件。
需要说明的是,由于焊缝灰度图像中的目标粘连区域内的灰度值往往存在波动,所以目标粘连区域内的像素点对应的目标灰度差异往往较大,因此得到的滤波起始点往往可能是目标粘连区域内的像素点,可以便于后续消除烧灼痕区域和熔接痕区域之间的粘连区域,可以使烧灼痕区域和熔接痕区域之间的边界更加明显。目标粘连区域可以是烧灼痕区域和熔接痕区域之间的粘连区域。
步骤S3,根据滤波起始点集合中的每个滤波起始点和滤波起始点对应的预先设置的目标邻域,确定滤波起始点对应的目标均匀指标矩阵。
在一些实施例中,可以根据上述滤波起始点集合中的每个滤波起始点和上述滤波起始点对应的预先设置的目标邻域,确定上述滤波起始点对应的目标均匀指标矩阵。
其中,目标邻域可以是预先设置的邻域。例如,目标邻域可以是5×5邻域。
作为示例,本步骤可以包括以下步骤:
第一步,将上述滤波起始点和上述滤波起始点对应的目标邻域中的各个像素点,确定为目标初始像素点,得到上述滤波起始点对应的目标初始像素点集合。
第二步,对上述滤波起始点对应的目标初始像素点集合中的每个目标初始像素点进行均匀情况分析处理,得到上述目标初始像素点对应的目标初始均匀指标。
例如,对上述滤波起始点对应的目标初始像素点集合中的每个目标初始像素点进行均匀情况分析处理,得到上述目标初始像素点对应的目标初始均匀指标可以包括以下子步骤:
第一子步骤,确定上述目标初始像素点对应的目标邻域内的每个像素点对应的目标频率。
其中,像素点对应的目标频率可以等于该像素点对应的第一数量与目标邻域内像素点的数量的比值。像素点对应的第一数量可以为目标初始像素点对应的目标邻域内与该像素点对应的灰度值相同的像素点的数量。
第二子步骤,根据上述目标初始像素点对应的目标邻域内的各个像素点对应的目标频率,确定上述目标初始像素点对应的目标灰度熵。
第三子步骤,对上述目标初始像素点对应的目标灰度熵进行指数化,得到上述目标初始像素点对应的指数灰度熵。
第四子步骤,将上述目标初始像素点对应的指数灰度熵的倒数,确定为上述目标初始像素点对应的目标初始均匀指标。
比如,确定目标初始像素点对应的目标初始均匀指标对应的公式可以为:
Figure SMS_11
其中,
Figure SMS_13
是上述滤波起始点集合中的第t个滤波起始点对应的目标初始像素点集 合中的第r个目标初始像素点对应的目标初始均匀指标。t是上述滤波起始点集合中滤波起 始点的序号。r是第t个滤波起始点对应的目标初始像素点集合中目标初始像素点的序号。
Figure SMS_15
是以自然常数为底的
Figure SMS_18
的指数。
Figure SMS_14
是目标邻域内像素点的数量。k是目标邻域内像素点的序号。
Figure SMS_16
是上述滤波起始点集合中 的第t个滤波起始点对应的目标初始像素点集合中的第r个目标初始像素点对应的目标邻 域内的第k个像素点对应的目标频率。
Figure SMS_19
是以a为底数的
Figure SMS_20
的对数。a大于1。如a 可以为2。
Figure SMS_12
是上述滤波起始点集合中的第t个滤波起始点对应的 目标初始像素点集合中的第r个目标初始像素点对应的目标灰度熵。
Figure SMS_17
是上述滤波起始点集合中的第t个滤波起始点对应的目标 初始像素点集合中的第r个目标初始像素点对应的指数灰度熵。
需要说明的是,
Figure SMS_21
越大,往往说明第t个滤波起始点对应的 目标初始像素点集合中的第r个目标初始像素点对应的目标邻域内灰度值的混乱程度越 大。
Figure SMS_22
可以放大第r个目标初始像素点对应的目标邻域内灰度 值的混乱程度,可以便于分析。因此
Figure SMS_23
越大,第r个目标初始像素点对 应的目标邻域内灰度值的混乱程度往往越小,往往越均匀。由于烧灼痕区域和熔接痕区域 内灰度值均匀程度往往不同,因此确定目标初始像素点对应的目标初始均匀指标,可以便 于后续判断目标初始像素点所在的区域类型。
第三步,将上述滤波起始点对应的目标初始像素点集合中的各个目标初始像素点对应的目标初始均匀指标,组合为上述滤波起始点对应的初始矩阵。
其中,滤波起始点对应的初始矩阵中元素的数量可以等于该滤波起始点对应的目标初始像素点集合中目标初始像素点的数量。滤波起始点对应的初始矩阵的中心元素可以是该滤波起始点对应的目标初始均匀指标。滤波起始点对应的初始矩阵中除了中心元素之外的元素可以是该滤波起始点对应的目标邻域内的像素点对应的目标初始均匀指标。
例如,当目标邻域为3×3邻域时,如图2所示,滤波起始点205对应的目标邻域可以包括:第一像素点201、第二像素点202、第三像素点203、第四像素点204、第五像素点206、第六像素点207、第七像素点208和第八像素点209。滤波起始点205对应的目标初始像素点集合可以包括:滤波起始点205、第一像素点201、第二像素点202、第三像素点203、第四像素点204、第五像素点206、第六像素点207、第七像素点208和第八像素点209。
滤波起始点205对应的初始矩阵可以为:
Figure SMS_24
其中,
Figure SMS_26
是第一像素点201对应的目标初始均匀指标。
Figure SMS_28
是第二像素点202对应 的目标初始均匀指标。
Figure SMS_31
是第三像素点203对应的目标初始均匀指标。
Figure SMS_27
是第四像素点 204对应的目标初始均匀指标。
Figure SMS_29
是滤波起始点205对应的目标初始均匀指标。
Figure SMS_32
是第五 像素点206对应的目标初始均匀指标。
Figure SMS_33
是第六像素点207对应的目标初始均匀指标。
Figure SMS_25
是第七像素点208对应的目标初始均匀指标。
Figure SMS_30
是第八像素点209对应的目标初始均匀指 标。
第四步,对上述滤波起始点对应的初始矩阵中的各个元素进行归一化,得到上述滤波起始点对应的目标均匀指标矩阵。
其中,目标均匀指标矩阵中的元素可以是目标均匀指标。目标均匀指标可以是进行归一化后的目标初始均匀指标。
例如,可以通过premnmx函数,对滤波起始点对应的初始矩阵中的各个元素进行归一化,得到该滤波起始点对应的目标均匀指标矩阵。其中,目标均匀指标矩阵中的元素的取值范围可以是[-1,1]。
需要说明的是,通过premnmx函数,对滤波起始点对应的初始矩阵中的各个元素进行归一化,可以便于后续处理。
步骤S4,根据滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对滤波起始点和滤波起始点对应的目标邻域内的各个像素点进行分类,得到滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别。
在一些实施例中,可以根据上述滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对上述滤波起始点和上述滤波起始点对应的目标邻域内的各个像素点进行分类,得到上述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别。
其中,滤波起始点对应的目标均匀指标矩阵的中心元素可以是该滤波起始点对应的目标均匀指标。滤波起始点对应的目标均匀指标可以是对该滤波起始点对应的目标初始均匀指标进行归一化后,得到的指标。滤波起始点对应的目标均匀指标矩阵中除了中心元素之外的元素可以是该滤波起始点对应的目标邻域内的像素点对应的目标均匀指标。像素点对应的目标均匀指标可以是对该像素点对应的目标初始均匀指标进行归一化后,得到的指标。烧灼痕像素点类别中的像素点可以是滤波起始点周围偏向为烧灼痕的像素点。熔接痕像素点类别可以是滤波起始点周围偏向为熔接痕的像素点。
作为示例,本步骤可以包括以下步骤:
第一步,从上述滤波起始点对应的目标均匀指标矩阵中筛选出大于或等于预先设置的均匀阈值的目标均匀指标,作为第一均匀指标,得到上述滤波起始点对应的第一均匀指标集合。
其中,均匀阈值可以是预先设置的阈值。例如,均匀阈值可以是0。
第二步,将上述滤波起始点对应的第一均匀指标集合中的各个第一均匀指标对应的像素点,确定为熔接痕像素点,得到上述滤波起始点对应的熔接痕像素点类别。
第三步,将上述滤波起始点对应的目标均匀指标矩阵中除了上述滤波起始点对应的第一均匀指标集合之外的目标均匀指标,作为第二均匀指标,得到上述滤波起始点对应的第二均匀指标集合。
第四步,将上述滤波起始点对应的第二均匀指标集合中的各个第二均匀指标对应的像素点,确定为烧灼痕像素点,得到上述滤波起始点对应的烧灼痕像素点类别。
需要说明的是,烧灼痕区域内的灰度值相对于熔接痕区域内的灰度值往往较为混乱,因此通过均匀阈值,对滤波起始点和滤波起始点对应的目标邻域内的各个像素点进行分类,可以提高滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别确定的准确度。
步骤S5,对于滤波起始点集合中的每个滤波起始点,从滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别中筛选出滤波起始点所在的类别,作为滤波起始点对应的待滤波像素点类别。
在一些实施例中,对于上述滤波起始点集合中的每个滤波起始点,可以从上述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别中筛选出上述滤波起始点所在的类别,作为上述滤波起始点对应的待滤波像素点类别。
作为示例,当滤波起始点所在的类别为烧灼痕像素点类别时,将烧灼痕像素点类别确定为该滤波起始点对应的待滤波像素点类别,此时烧灼痕像素点类别中的像素点即为待滤波像素点。当滤波起始点所在的类别为熔接痕像素点类别时,将熔接痕像素点类别确定为该滤波起始点对应的待滤波像素点类别,此时熔接痕像素点类别中的像素点即为待滤波像素点。
需要说明的是,筛选出滤波起始点对应的待滤波像素点类别,可以便于后续对焊缝灰度图像进行精确的自适应形态学滤波。
步骤S6,根据预先设置的目标滤波核和滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像。
在一些实施例中,可以根据预先设置的目标滤波核和上述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对上述焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像。
其中,目标滤波核可以是预先设置的滤波核。例如,目标滤波核可以是3×2的滤波核。比如,目标滤波核可以如图3所示。
作为示例,本步骤可以包括以下步骤:
第一步,根据上述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别中的每个待滤波像素点对应的目标均匀指标和上述待滤波像素点对应的预先设置的参考邻域,确定上述待滤波像素点对应的方向选择必要性。
其中,参考邻域可以是预先设置的邻域。参考邻域可以与目标邻域相同。例如,参考邻域可以是5×5邻域。
例如,根据上述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别中的每个待滤波像素点对应的目标均匀指标和上述待滤波像素点对应的预先设置的参考邻域,确定上述待滤波像素点对应的方向选择必要性可以包括以下子步骤:
第一子步骤,将上述待滤波像素点对应的参考邻域中的各个像素点对应的灰度值的均值,确定为上述待滤波像素点对应的目标灰度均值。
第二子步骤,将上述待滤波像素点对应的参考邻域中的各个像素点对应的灰度值与上述待滤波像素点对应的灰度值的差值的绝对值的和,确定为上述待滤波像素点对应的邻域灰度差异。
第三子步骤,对上述待滤波像素点对应的邻域灰度差异与目标灰度均值的比值进行指数化,得到上述待滤波像素点对应的第一选择必要性。
第四子步骤,将上述待滤波像素点对应的第一选择必要性与目标均匀指标的绝对值的乘积,确定为上述待滤波像素点对应的方向选择必要性。
比如,确定待滤波像素点对应的方向选择必要性对应的公式可以为:
Figure SMS_34
其中,
Figure SMS_36
是上述滤波起始点集合中的第t个滤波起始点对应的待滤波像素点类别 中的第y个待滤波像素点对应的方向选择必要性。t是上述滤波起始点集合中滤波起始点的 序号。y是第t个滤波起始点对应的待滤波像素点类别中待滤波像素点的序号。
Figure SMS_39
是上述 滤波起始点集合中的第t个滤波起始点对应的待滤波像素点类别中的第y个待滤波像素点 对应的目标均匀指标。
Figure SMS_43
Figure SMS_37
的绝对值。e是自然常数。
Figure SMS_38
是上述滤波起 始点集合中的第t个滤波起始点对应的待滤波像素点类别中的第y个待滤波像素点对应的 第一选择必要性。
Figure SMS_41
是参考邻域中像素点的数量。
Figure SMS_45
是上述滤波起始点集合中的第t个 滤波起始点对应的待滤波像素点类别中的第y个待滤波像素点对应的目标灰度均值。
Figure SMS_35
是上述滤波起始点集合中的第t个滤波起始点对应的待滤波像素点类别中的第y个待滤波 像素点对应的参考邻域中的第h个像素点对应的灰度值。h是第y个待滤波像素点对应的参 考邻域中的像素点的序号。
Figure SMS_40
是上述滤波起始点集合中的第t个滤波起始点对应的待滤波 像素点类别中的第y个待滤波像素点对应的灰度值。
Figure SMS_42
是上述滤波起始点 集合中的第t个滤波起始点对应的待滤波像素点类别中的第y个待滤波像素点对应的邻域 灰度差异。
Figure SMS_44
是上述滤波起始点集合中的第t个滤波起始点对应的待滤波像 素点类别中的第y个待滤波像素点对应的第一选择必要性。
需要说明的是,
Figure SMS_46
越大,往往说明第y个待滤波像素点越可能是烧灼痕像素点 或熔接痕像素点。
Figure SMS_47
越大,往往说明第y个待滤波像素点对应的参考邻域内的灰 度值越混乱。
Figure SMS_48
可以放大第y个待滤波像素点对应的参考邻域内灰度值混乱 程度,可以便于后续处理。因此,
Figure SMS_49
越大,往往说明第y个待滤波像素 点越需要进行形态学滤波。
第二步,对上述滤波起始点集合中的每个滤波起始点进行以下处理,可以包括以下子步骤:
第一子步骤,将上述滤波起始点标记为目标滤波像素点。
第二子步骤,从上述滤波起始点对应的参考滤波点集合中筛选出方向选择必要性最大的像素点,作为必要滤波点,将必要滤波点标记为目标滤波像素点。
其中,上述滤波起始点对应的参考滤波点集合中的像素点可以是上述滤波起始点对应的待滤波像素点类别中除了上述滤波起始点之外的像素点。
第三子步骤,将上述滤波起始点更新为必要滤波点,当更新后的滤波起始点对应的参考滤波点集合中存在待标记像素点集合时,确定待标记像素点集合中的各个待标记像素点对应的方向选择必要性,并从待标记像素点集合中筛选出方向选择必要性最大的待标记像素点,作为必要滤波点,将必要滤波点标记为目标滤波像素点,重复目标滤波像素点标记步骤,直至更新后的滤波起始点对应的参考滤波点集合中不存在待标记像素点。
其中,待标记像素点集合中的待标记像素点可以是未被标记为目标滤波像素点的像素点。
第三步,按照被标记的顺序,根据目标滤波核,对上述焊缝灰度图像中的各个目标滤波像素点进行形态学滤波,得到目标焊缝图像。
其中,对目标滤波像素点进行形态学滤波时,该目标滤波像素点可以位于目标滤波核的左上角。被标记的顺序可以是进行形态学滤波的顺序。
例如,当焊缝灰度图像中存在3个目标滤波像素点时,对焊缝灰度图像中的各个目标滤波像素点进行形态学滤波可以包括以下步骤:
首先,可以通过目标滤波核,对焊缝灰度图像中第一个被标记的目标滤波像素点进行形态学滤波。
比如,通过目标滤波核,对第一个被标记的目标滤波像素点进行形态学滤波时,可以使第一个被标记的目标滤波像素点处于目标滤波核的左上角,处于目标滤波核中元素为0的像素点进行形态学滤波时不参与计算,处于目标滤波核中元素为1的像素点进行形态学滤波时参与计算。
接着,可以通过目标滤波核,对焊缝灰度图像中第二个被标记的目标滤波像素点进行形态学滤波。
最后,可以通过目标滤波核,对焊缝灰度图像中第三个被标记的目标滤波像素点进行形态学滤波,得到目标焊缝图像。
需要说明的是,形态学滤波为现有技术,可以通过形态学操作核(滤波核)进行不同先后顺序以及不同次数的形态学膨胀、形态学腐蚀等操作,可以达到对图像滤波的目的。本发明通过对焊缝灰度图像进行分析,确定滤波起始点和进行形态学滤波的顺序,可以提高滤波起始点和进行形态学滤波的顺序确定的准确度,从而可以对焊缝灰度图像中的各个目标滤波像素点进行精确的形态学滤波,进而可以提高目标焊缝图像确定的准确度。通过方向选择必要性,确定被标记的顺序,可以提高被标记顺序的准确度,进而可以提高目标焊缝图像确定的准确度,可以适当减少目标焊缝图像中的烧灼痕区域和熔接痕区域之间的粘连区域,可以使目标焊缝图像中的烧灼痕区域和熔接痕区域之间的边界更加明显。
步骤S7,对目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域。
在一些实施例中,可以对上述目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域。
其中,目标烧灼痕区域可以是目标焊缝图像中的烧灼痕区域。目标熔接痕区域可以是目标焊缝图像中的熔接痕区域。
需要说明的是,由于目标焊缝图像中的烧灼痕区域和熔接痕区域之间的边界比较明显,所以对目标焊缝图像进行分割处理,相较于直接对焊缝灰度图像进行分割处理,提高了目标烧灼痕区域和目标熔接痕区域确定的准确度。
作为示例,可以将上述目标焊缝图像输入预先训练完成的焊缝分割网络,通过上述焊缝分割网络,得到目标烧灼痕区域和目标熔接痕区域。其中,焊缝分割网络可以是语义分割网络。焊缝分割网络可以用于分割出烧灼痕区域和熔接痕区域。
可选地,焊缝分割网络的训练过程可以包括以下步骤:
第一步,获取样本灰度图像集合和上述样本灰度图像集合中的每个样本灰度图像对应的样本烧灼痕区域和样本熔接痕区域。
其中,样本灰度图像集合中的样本灰度图像可以是仪表盘的焊接区域的灰度图像。样本灰度图像的尺寸可以与焊缝灰度图像的尺寸相等。样本灰度图像对应的样本烧灼痕区域和样本熔接痕区域可以是样本灰度图像中的烧灼痕区域和熔接痕区域。
第二步,对上述样本灰度图像集合中的每个样本灰度图像进行自适应形态学滤波,确定上述样本灰度图像对应的第一样本图像,得到第一样本图像集合。
例如,可以将样本灰度图像确定为焊缝灰度图像,执行步骤S2至步骤S6,得到的目标焊缝图像,即为该样本灰度图像对应的第一样本图像。
第三步,将第一样本图像集合确定为焊缝分割网络的训练集。
第四步,将第一样本图像集合中的第一样本图像对应的样本烧灼痕区域和样本熔接痕区域,确定为焊缝分割网络的训练标签。
第五步,构建焊缝分割网络。
例如,可以构建语义分割网络,作为焊缝分割网络。
第六步,根据焊缝分割网络的训练集和训练标签,对构建的焊缝分割网络进行训练,得到训练完成的焊缝分割网络。
其中,焊缝分割网络训练过程的loss函数可以为交叉熵损失函数。
步骤S8,根据目标烧灼痕区域和目标熔接痕区域,对待检测仪表盘进行焊接质量检测。
在一些实施例中,可以根据上述目标烧灼痕区域和上述目标熔接痕区域,对上述待检测仪表盘进行焊接质量检测。
作为示例,本步骤可以包括以下步骤:
第一步,将上述目标烧灼痕区域中像素点的数量与上述目标熔接痕区域中像素点的数量的比值,确定为焊接缺陷指标。
第二步,当上述焊接缺陷指标大于预先设置的焊接缺陷阈值时,判定上述待检测仪表盘的焊接质量不合格。
其中,焊接缺陷阈值可以是预先设置的阈值。例如,焊接缺陷阈值可以是0.3。待检测仪表盘的焊接质量不合格可以表征待检测仪表盘的焊接不符合焊接要求。
第三步,当上述焊接缺陷指标小于或等于上述焊接缺陷阈值时,判定上述待检测仪表盘的焊接质量合格。
其中,待检测仪表盘的焊接质量合格可以表征待检测仪表盘的焊接符合焊接要求。
需要说明的是,焊接缺陷指标越大,往往说明目标烧灼痕区域相较于目标熔接痕区域越大,并且目标烧灼痕区域往往是由于焊接温度过高,产生的焊接缺陷,目标熔接痕区域可能是正常焊接产生的焊接区域,因此,焊接缺陷指标越大,往往说明待检测仪表盘的焊接质量越不好。
可选地,可以通过分析目标烧灼痕区域和目标熔接痕区域的大小和形状,判断待检测仪表盘的缺陷情况,进而实现对待检测仪表盘进行焊接质量检测。
可选地,根据目标焊缝图像,对待检测仪表盘进行焊接质量检测可以包括以下步骤:
第一步,将上述目标焊缝图像输入预先训练完成的焊缝缺陷识别网络,通过上述焊缝缺陷识别网络,判断上述待检测仪表盘是否存在焊缝缺陷。
其中,焊缝缺陷识别网络可以是采用Encoder-Decoder结构的神经网络。焊缝缺陷识别网络可以用于判断仪表盘是否存在焊缝缺陷。
第二步,当判断上述待检测仪表盘存在焊缝缺陷时,判定上述待检测仪表盘的焊接质量不合格。
其中,待检测仪表盘的焊接质量不合格可以表征待检测仪表盘的焊接不符合焊接要求。
第三步,当判断上述待检测仪表盘不存在焊缝缺陷时,判定上述待检测仪表盘的焊接质量合格。
其中,待检测仪表盘的焊接质量合格可以表征待检测仪表盘的焊接符合焊接要求。
可选地,焊缝缺陷识别网络的训练过程可以包括以下步骤:
第一步,获取样本焊缝灰度图像集合和上述样本焊缝灰度图像集合中的每个样本焊缝灰度图像对应的目标判断。
其中,样本焊缝灰度图像集合中的样本焊缝灰度图像可以是仪表盘的焊接区域的灰度图像。样本焊缝灰度图像的尺寸可以与焊缝灰度图像的尺寸相等。样本焊缝灰度图像对应的目标判断可以是对该样本焊缝灰度图像对应的仪表盘是否存在焊缝缺陷的判断。
第二步,对上述样本焊缝灰度图像集合中的每个样本焊缝灰度图像进行自适应形态学滤波,确定上述样本焊缝灰度图像对应的目标样本图像,得到目标样本图像集合。
例如,可以将样本焊缝灰度图像确定为焊缝灰度图像,执行步骤S2至步骤S6,得到的目标焊缝图像,即为该样本焊缝灰度图像对应的目标样本图像。
第三步,将目标样本图像集合确定为焊缝缺陷识别网络的训练集。
第四步,将目标样本图像集合中的目标样本图像对应的目标判断,确定为焊缝缺陷识别网络的训练标签。
第五步,构建焊缝缺陷识别网络。
例如,可以构建Encoder-Decoder结构的神经网络,作为焊缝缺陷识别网络。
第六步,根据焊缝缺陷识别网络的训练集和训练标签,对构建的焊缝缺陷识别网络进行训练,得到训练完成的焊缝缺陷识别网络。
其中,焊缝缺陷识别网络训练过程的loss函数可以为交叉熵损失函数。
可选地,焊缝灰度图像可以如图4所示,对该焊缝灰度图像进行自适应形态学滤波,得到的目标焊缝图像可以如图5所示。图5相较于图4来说,边界更加明显,后续可以对图5所示的目标焊缝图像进行分割处理,并基于分割结果判断待检测仪表盘的焊接质量。
综上,首先,获取焊缝灰度图像可以便于后续基于焊缝灰度图像,对待检测仪表盘进行焊接质量检测。接着,由于焊缝灰度图像中的目标粘连区域内的灰度值往往存在波动,所以目标粘连区域内的像素点对应的目标灰度差异往往较大,因此得到的滤波起始点往往可能是目标粘连区域内的像素点,可以便于后续消除烧灼痕区域和熔接痕区域之间的粘连区域,可以使烧灼痕区域和熔接痕区域之间的边界更加明显。目标粘连区域可以是烧灼痕区域和熔接痕区域之间的粘连区域。然后,由于烧灼痕区域和熔接痕区域内灰度值均匀程度往往不同,因此确定目标初始像素点对应的目标初始均匀指标,可以便于后续判断目标初始像素点所在的区域类型。再者,筛选出滤波起始点对应的待滤波像素点类别,可以便于后续对焊缝灰度图像进行精确的自适应形态学滤波。继续,通过方向选择必要性,确定被标记的顺序,可以提高被标记顺序的准确度,进而可以提高目标焊缝图像确定的准确度,可以适当减少目标焊缝图像中的烧灼痕区域和熔接痕区域之间的粘连区域,可以使目标焊缝图像中的烧灼痕区域和熔接痕区域之间的边界更加明显。之后,由于目标焊缝图像中的烧灼痕区域和熔接痕区域之间的边界比较明显,所以对目标焊缝图像进行分割处理,相较于直接对焊缝灰度图像进行分割处理,提高了目标烧灼痕区域和目标熔接痕区域确定的准确度。最后,焊接缺陷指标越大,往往说明目标烧灼痕区域相较于目标熔接痕区域越大,并且目标烧灼痕区域往往是由于焊接温度过高,产生的焊接缺陷,目标熔接痕区域可能是正常焊接产生的焊接区域,所以,焊接缺陷指标越大,往往说明待检测仪表盘的焊接质量越不好。因此,本发明提高了目标烧灼痕区域和目标熔接痕区域确定的准确度,进而提高了对待检测仪表盘进行焊接质量检测的准确度。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,包括以下步骤:
获取待检测仪表盘的焊接区域的焊缝灰度图像;
从所述焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合;
根据所述滤波起始点集合中的每个滤波起始点和所述滤波起始点对应的预先设置的目标邻域,确定所述滤波起始点对应的目标均匀指标矩阵;
根据所述滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对所述滤波起始点和所述滤波起始点对应的目标邻域内的各个像素点进行分类,得到所述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别;
对于所述滤波起始点集合中的每个滤波起始点,从所述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别中筛选出所述滤波起始点所在的类别,作为所述滤波起始点对应的待滤波像素点类别;
根据预先设置的目标滤波核和所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对所述焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像;
对所述目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域;
根据所述目标烧灼痕区域和所述目标熔接痕区域,对所述待检测仪表盘进行焊接质量检测。
2.根据权利要求1所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述从所述焊缝灰度图像中筛选出满足起始条件的像素点,作为滤波起始点,得到滤波起始点集合,包括:
对于所述焊缝灰度图像中的每个像素点,对所述像素点与所述像素点对应的参考像素点之间的灰度差值的绝对值进行归一化,得到所述像素点对应的目标灰度差异,其中,所述像素点对应的参考像素点是所述像素点所在列中所述像素点的下一个像素点;
当所述焊缝灰度图像中的像素点对应的目标灰度差异大于预先设置的差异阈值时,认定像素点满足起始条件,将像素点确定为滤波起始点,得到滤波起始点集合。
3.根据权利要求1所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述根据所述滤波起始点集合中的每个滤波起始点和所述滤波起始点对应的预先设置的目标邻域,确定所述滤波起始点对应的目标均匀指标矩阵,包括:
将所述滤波起始点和所述滤波起始点对应的目标邻域中的各个像素点,确定为目标初始像素点,得到所述滤波起始点对应的目标初始像素点集合;
对所述滤波起始点对应的目标初始像素点集合中的每个目标初始像素点进行均匀情况分析处理,得到所述目标初始像素点对应的目标初始均匀指标;
将所述滤波起始点对应的目标初始像素点集合中的各个目标初始像素点对应的目标初始均匀指标,组合为所述滤波起始点对应的初始矩阵;
对所述滤波起始点对应的初始矩阵中的各个元素进行归一化,得到所述滤波起始点对应的目标均匀指标矩阵。
4.根据权利要求3所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述对所述滤波起始点对应的目标初始像素点集合中的每个目标初始像素点进行均匀情况分析处理,得到所述目标初始像素点对应的目标初始均匀指标,包括:
确定所述目标初始像素点对应的目标邻域内的每个像素点对应的目标频率,其中,像素点对应的目标频率等于该像素点对应的第一数量与目标邻域内像素点的数量的比值,像素点对应的第一数量为目标初始像素点对应的目标邻域内与该像素点对应的灰度值相同的像素点的数量;
根据所述目标初始像素点对应的目标邻域内的各个像素点对应的目标频率,确定所述目标初始像素点对应的目标灰度熵;
对所述目标初始像素点对应的目标灰度熵进行指数化,得到所述目标初始像素点对应的指数灰度熵;
将所述目标初始像素点对应的指数灰度熵的倒数,确定为所述目标初始像素点对应的目标初始均匀指标。
5.根据权利要求1所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,滤波起始点对应的目标均匀指标矩阵的中心元素是该滤波起始点对应的目标均匀指标,滤波起始点对应的目标均匀指标矩阵中除了中心元素之外的元素是该滤波起始点对应的目标邻域内的像素点对应的目标均匀指标;
所述根据所述滤波起始点集合中的每个滤波起始点对应的目标均匀指标矩阵,对所述滤波起始点和所述滤波起始点对应的目标邻域内的各个像素点进行分类,得到所述滤波起始点对应的烧灼痕像素点类别和熔接痕像素点类别,包括:
从所述滤波起始点对应的目标均匀指标矩阵中筛选出大于或等于预先设置的均匀阈值的目标均匀指标,作为第一均匀指标,得到所述滤波起始点对应的第一均匀指标集合;
将所述滤波起始点对应的第一均匀指标集合中的各个第一均匀指标对应的像素点,确定为熔接痕像素点,得到所述滤波起始点对应的熔接痕像素点类别;
将所述滤波起始点对应的目标均匀指标矩阵中除了所述滤波起始点对应的第一均匀指标集合之外的目标均匀指标,作为第二均匀指标,得到所述滤波起始点对应的第二均匀指标集合;
将所述滤波起始点对应的第二均匀指标集合中的各个第二均匀指标对应的像素点,确定为烧灼痕像素点,得到所述滤波起始点对应的烧灼痕像素点类别。
6.根据权利要求5所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述根据预先设置的目标滤波核和所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别,对所述焊缝灰度图像进行自适应形态学滤波,得到目标焊缝图像,包括:
根据所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别中的每个待滤波像素点对应的目标均匀指标和所述待滤波像素点对应的预先设置的参考邻域,确定所述待滤波像素点对应的方向选择必要性;
对所述滤波起始点集合中的每个滤波起始点进行以下处理:
将所述滤波起始点标记为目标滤波像素点;
从所述滤波起始点对应的参考滤波点集合中筛选出方向选择必要性最大的像素点,作为必要滤波点,将必要滤波点标记为目标滤波像素点,其中,所述滤波起始点对应的参考滤波点集合中的像素点是所述滤波起始点对应的待滤波像素点类别中除了所述滤波起始点之外的像素点;
将所述滤波起始点更新为必要滤波点,当更新后的滤波起始点对应的参考滤波点集合中存在待标记像素点集合时,确定待标记像素点集合中的各个待标记像素点对应的方向选择必要性,并从待标记像素点集合中筛选出方向选择必要性最大的待标记像素点,作为必要滤波点,将必要滤波点标记为目标滤波像素点,重复目标滤波像素点标记步骤,直至更新后的滤波起始点对应的参考滤波点集合中不存在待标记像素点,其中,待标记像素点集合中的待标记像素点是未被标记为目标滤波像素点的像素点;
按照被标记的顺序,根据目标滤波核,对所述焊缝灰度图像中的各个目标滤波像素点进行形态学滤波,得到目标焊缝图像。
7.根据权利要求6所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述根据所述滤波起始点集合中的各个滤波起始点对应的待滤波像素点类别中的每个待滤波像素点对应的目标均匀指标和所述待滤波像素点对应的预先设置的参考邻域,确定所述待滤波像素点对应的方向选择必要性,包括:
将所述待滤波像素点对应的参考邻域中的各个像素点对应的灰度值的均值,确定为所述待滤波像素点对应的目标灰度均值;
将所述待滤波像素点对应的参考邻域中的各个像素点对应的灰度值与所述待滤波像素点对应的灰度值的差值的绝对值的和,确定为所述待滤波像素点对应的邻域灰度差异;
对所述待滤波像素点对应的邻域灰度差异与目标灰度均值的比值进行指数化,得到所述待滤波像素点对应的第一选择必要性;
将所述待滤波像素点对应的第一选择必要性与目标均匀指标的绝对值的乘积,确定为所述待滤波像素点对应的方向选择必要性。
8.根据权利要求1所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述对所述目标焊缝图像进行分割处理,得到目标烧灼痕区域和目标熔接痕区域,包括:
将所述目标焊缝图像输入预先训练完成的焊缝分割网络,通过所述焊缝分割网络,得到目标烧灼痕区域和目标熔接痕区域。
9.根据权利要求8所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述焊缝分割网络的训练过程,包括:
获取样本灰度图像集合和所述样本灰度图像集合中的每个样本灰度图像对应的样本烧灼痕区域和样本熔接痕区域;
对所述样本灰度图像集合中的每个样本灰度图像进行自适应形态学滤波,确定所述样本灰度图像对应的第一样本图像,得到第一样本图像集合;
将第一样本图像集合确定为焊缝分割网络的训练集;
将第一样本图像集合中的第一样本图像对应的样本烧灼痕区域和样本熔接痕区域,确定为焊缝分割网络的训练标签;
构建焊缝分割网络;
根据焊缝分割网络的训练集和训练标签,对构建的焊缝分割网络进行训练,得到训练完成的焊缝分割网络。
10.根据权利要求1所述的一种基于图像分析的仪表盘焊接质量检测方法,其特征在于,所述根据所述目标烧灼痕区域和所述目标熔接痕区域,对所述待检测仪表盘进行焊接质量检测,包括:
将所述目标烧灼痕区域中像素点的数量与所述目标熔接痕区域中像素点的数量的比值,确定为焊接缺陷指标;
当所述焊接缺陷指标大于预先设置的焊接缺陷阈值时,判定所述待检测仪表盘的焊接质量不合格;
当所述焊接缺陷指标小于或等于所述焊接缺陷阈值时,判定所述待检测仪表盘的焊接质量合格。
CN202310213152.9A 2023-03-08 2023-03-08 基于图像分析的仪表盘焊接质量检测方法 Active CN115880302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310213152.9A CN115880302B (zh) 2023-03-08 2023-03-08 基于图像分析的仪表盘焊接质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310213152.9A CN115880302B (zh) 2023-03-08 2023-03-08 基于图像分析的仪表盘焊接质量检测方法

Publications (2)

Publication Number Publication Date
CN115880302A true CN115880302A (zh) 2023-03-31
CN115880302B CN115880302B (zh) 2023-05-23

Family

ID=85761972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310213152.9A Active CN115880302B (zh) 2023-03-08 2023-03-08 基于图像分析的仪表盘焊接质量检测方法

Country Status (1)

Country Link
CN (1) CN115880302B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363136A (zh) * 2023-06-01 2023-06-30 山东创元智能设备制造有限责任公司 一种机动车部件自动化生产在线筛选方法及***
CN116385476A (zh) * 2023-06-05 2023-07-04 青岛星跃铁塔有限公司 基于视觉检测的铁塔质量分析方法
CN116433669A (zh) * 2023-06-14 2023-07-14 山东兴华钢结构有限公司 基于机器视觉的抗震结构钢架焊缝质量检测方法
CN116735612A (zh) * 2023-08-15 2023-09-12 山东精亿机械制造有限公司 一种精密电子元器件焊接缺陷检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667462A (zh) * 2020-05-12 2020-09-15 常熟理工学院 一种焊接缺陷中弱小目标的自动检测方法与***
DE102019131437A1 (de) * 2019-11-21 2021-05-27 Volume Graphics Gmbh Computerimplementiertes Verfahren zur Segmentierung von Messdaten aus einer Messung eines Objekts
CN113592828A (zh) * 2021-08-03 2021-11-02 南京市特种设备安全监督检验研究院 基于工业内窥镜的无损检测方法及***
WO2022084640A1 (fr) * 2020-10-22 2022-04-28 Arianegroup Sas Procede de détection de défauts lors d'une fabrication additive par laser, dispositif de traitement de données, programme d'ordinateur et support de stockage pour la mise en œuvre du procédé
WO2022170706A1 (zh) * 2021-02-09 2022-08-18 广东拓斯达科技股份有限公司 用于模具监视的缺陷检测方法、装置、设备及介质
CN115063404A (zh) * 2022-07-27 2022-09-16 建首(山东)钢材加工有限公司 基于x射线探伤的耐候钢焊缝质量检测方法
CN115082464A (zh) * 2022-08-22 2022-09-20 南通翡利达液压科技有限公司 除尘机焊接过程中焊缝数据的识别方法及***
CN115222743A (zh) * 2022-09-21 2022-10-21 山东汇智家具股份有限公司 基于视觉的家具表面喷漆缺陷检测方法
CN115311301A (zh) * 2022-10-12 2022-11-08 江苏银生新能源科技有限公司 一种pcb板焊点缺陷检测方法
CN115439481A (zh) * 2022-11-09 2022-12-06 青岛平电锅炉辅机有限公司 基于图像处理的除氧器焊接质量检测方法
CN115457035A (zh) * 2022-11-10 2022-12-09 山东鲁旺机械设备有限公司 基于机器视觉的建筑吊篮焊接质量检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019131437A1 (de) * 2019-11-21 2021-05-27 Volume Graphics Gmbh Computerimplementiertes Verfahren zur Segmentierung von Messdaten aus einer Messung eines Objekts
CN111667462A (zh) * 2020-05-12 2020-09-15 常熟理工学院 一种焊接缺陷中弱小目标的自动检测方法与***
WO2022084640A1 (fr) * 2020-10-22 2022-04-28 Arianegroup Sas Procede de détection de défauts lors d'une fabrication additive par laser, dispositif de traitement de données, programme d'ordinateur et support de stockage pour la mise en œuvre du procédé
WO2022170706A1 (zh) * 2021-02-09 2022-08-18 广东拓斯达科技股份有限公司 用于模具监视的缺陷检测方法、装置、设备及介质
CN113592828A (zh) * 2021-08-03 2021-11-02 南京市特种设备安全监督检验研究院 基于工业内窥镜的无损检测方法及***
CN115063404A (zh) * 2022-07-27 2022-09-16 建首(山东)钢材加工有限公司 基于x射线探伤的耐候钢焊缝质量检测方法
CN115082464A (zh) * 2022-08-22 2022-09-20 南通翡利达液压科技有限公司 除尘机焊接过程中焊缝数据的识别方法及***
CN115222743A (zh) * 2022-09-21 2022-10-21 山东汇智家具股份有限公司 基于视觉的家具表面喷漆缺陷检测方法
CN115311301A (zh) * 2022-10-12 2022-11-08 江苏银生新能源科技有限公司 一种pcb板焊点缺陷检测方法
CN115439481A (zh) * 2022-11-09 2022-12-06 青岛平电锅炉辅机有限公司 基于图像处理的除氧器焊接质量检测方法
CN115457035A (zh) * 2022-11-10 2022-12-09 山东鲁旺机械设备有限公司 基于机器视觉的建筑吊篮焊接质量检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YE Z 等: "Segmentation of Welding Defect Image Based on Exponential Cross Entropy and Improved PCNN", ADVANCED MATERIALS RESEARCH *
张翔松 等: "X射线环焊缝图像降噪及增强方法研究", 激光杂志 *
龚凯学;汪镭;潘永东;康琦;***;: "金属片激光焊接区域的识别与质量检测", 微型电脑应用 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363136A (zh) * 2023-06-01 2023-06-30 山东创元智能设备制造有限责任公司 一种机动车部件自动化生产在线筛选方法及***
CN116363136B (zh) * 2023-06-01 2023-08-11 山东创元智能设备制造有限责任公司 一种机动车部件自动化生产在线筛选方法及***
CN116385476A (zh) * 2023-06-05 2023-07-04 青岛星跃铁塔有限公司 基于视觉检测的铁塔质量分析方法
CN116385476B (zh) * 2023-06-05 2023-08-18 青岛星跃铁塔有限公司 基于视觉检测的铁塔质量分析方法
CN116433669A (zh) * 2023-06-14 2023-07-14 山东兴华钢结构有限公司 基于机器视觉的抗震结构钢架焊缝质量检测方法
CN116433669B (zh) * 2023-06-14 2023-08-18 山东兴华钢结构有限公司 基于机器视觉的抗震结构钢架焊缝质量检测方法
CN116735612A (zh) * 2023-08-15 2023-09-12 山东精亿机械制造有限公司 一种精密电子元器件焊接缺陷检测方法
CN116735612B (zh) * 2023-08-15 2023-11-07 山东精亿机械制造有限公司 一种精密电子元器件焊接缺陷检测方法

Also Published As

Publication number Publication date
CN115880302B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN115880302A (zh) 基于图像分析的仪表盘焊接质量检测方法
US20230419472A1 (en) Defect detection method, device and system
CN109242853B (zh) 一种基于图像处理的pcb缺陷智能检测方法
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN101915769B (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
CN114926463B (zh) 一种适用于芯片电路板的生产质量检测方法
CN115690108B (zh) 一种基于图像处理的铝合金杆生产质量评估方法
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN111383227A (zh) 基于神经网络的刀具磨损类型识别方法及磨损值测定方法
CN115049669A (zh) 金属缺陷识别方法
CN115082466B (zh) 一种pcb表面焊点缺陷检测方法及***
CN116777907A (zh) 一种钣金件质量检测方法
CN115719332A (zh) 一种焊接质量检测方法
CN113538603B (zh) 一种基于阵列产品的光学检测方法、***和可读存储介质
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN115082429B (zh) 一种基于图像处理的铝棒缺陷检测方法
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
CN115184380A (zh) 基于机器视觉的印刷电路板焊点异常检测方法
CN115861307B (zh) 基于人工智能的筋膜枪供电驱动板焊接故障检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN100410964C (zh) 三面滚动指纹的采集和拼接方法
CN114972353B (zh) 一种金属高压特种管件质量评估方法及***
CN114742832B (zh) 一种MiniLED薄板的焊接缺陷检测方法
CN108447051B (zh) 一种基于计算机视觉的金属产品表面缺陷等级评定方法
JP4379913B2 (ja) 画質検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant