CN117649406A - 密封钉焊接缺陷检测方法、装置、设备及存储介质 - Google Patents
密封钉焊接缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117649406A CN117649406A CN202410116762.1A CN202410116762A CN117649406A CN 117649406 A CN117649406 A CN 117649406A CN 202410116762 A CN202410116762 A CN 202410116762A CN 117649406 A CN117649406 A CN 117649406A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- prompt information
- visual field
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 151
- 238000003466 welding Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000007789 sealing Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 210
- 238000001514 detection method Methods 0.000 claims abstract description 136
- 238000005493 welding type Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000015654 memory Effects 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 42
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006978 adaptation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种密封钉焊接缺陷检测方法、装置、设备及存储介质,该方法包括:获取待处理的目标图像,其中,目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;根据目标视觉域提示信息对目标图像进行处理,得到目标提示图像,其中,目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,目标领域图像集合中包括与目标焊接类型对应的多个密封钉焊接图像;利用缺陷检测模型对目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,缺陷检测模型包括采用目标领域图像集合之外的其他领域图像集合预训练得到的模型。根据本申请实施例提供的方案,可以提高模型的泛化性,进而可以提高模型检测准确率。
Description
技术领域
本申请涉及工业视觉缺陷检测技术领域,特别是涉及一种密封钉焊接缺陷检测方法、装置、设备及存储介质。
背景技术
在新能源技术领域中,密封钉被广泛应用于各种锂电池的工业制造场景,以确保锂电池产品的密封性和安全性。然而,在密封钉焊接过程中难免会出现焊接缺陷,如何提高密封钉焊接缺陷检测结果的准确性,是提高电池产品密封性和安全性的重要前提。
目前,相关技术中利用原有密封钉焊接图像样本集合训练得到的用于检测密封钉焊接缺陷的缺陷检测模型,在面对模型训练时未见过的新的焊接类型下的密封钉焊接图像时模型的泛化性较差,使得模型检测准确率较低。
发明内容
本申请提供一种密封钉焊接缺陷检测方法、装置、设备及存储介质,其能提高模型的泛化性,进而可以提高模型检测准确率。
第一方面,本申请提供了一种密封钉焊接缺陷检测方法,该方法包括:获取待处理的目标图像,其中,所述目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像,其中,所述目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,所述目标领域图像集合中包括与所述目标焊接类型对应的多个密封钉焊接图像;利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,所述缺陷检测模型包括采用所述目标领域图像集合之外的其他领域图像集合预训练得到的模型。
这样,通过利用目标领域图像集合中针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像,确定与该目标领域图像集合对应的目标视觉域提示信息,进而在利用其他领域图像集合预训练的缺陷检测模型对与目标焊接类型对应的目标图像进行缺陷检测时,可先根据该目标视觉域提示信息对目标图像进行处理,再利用该缺陷检测模型对处理得到的目标提示图像进行焊接缺陷检测。这样,由于在使用预训练的缺陷检测模型对新的目标焊接类型的密封钉焊接图像进行缺陷检测时,采用了针对该目标焊接类型的图像级别的视觉域提示,因此可以提高模型在目标焊接类型的密封钉焊接图像缺陷检测上的泛化性,进而可以提高模型检测准确率。
在一些实施例中,在根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像之前,所述方法还包括:从所述目标领域图像集合中获取第一图像;根据第一视觉域提示信息对第一图像进行处理,得到第一提示图像;利用所述缺陷检测模型对所述第一提示图像进行密封钉焊接缺陷检测,得到第一预测结果;对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息;根据所述第二视觉域提示信息对第二图像进行处理,得到第二提示图像,所述第二图像基于所述第一图像确定;利用所述缺陷检测模型对所述第二提示图像进行密封钉焊接缺陷检测,得到第二预测结果;基于所述第一预测结果和所述第二预测结果之间的差异,更新所述第一视觉域提示信息,得到目标视觉域提示信息。
这样,通过采用教师-学生框架,以无监督训练的方式逐步更新视觉域提示信息,从而可以实现对新的目标领域图像集合的持续适应。另外,由于现实工业场景下获得的大量密封钉焊接图像都是无标注的,而图像标注过程费时费力,且成本高,因此,本申请实施例所采用的无监督的训练方式也可以减少数据标注过程,节省时间和人力物力资源,降低成本。
在一些实施例中,所述对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息,包括:获取历史更新得到的目标视觉域提示信息,得到历史视觉域提示信息;基于所述历史视觉域提示信息,按照指数移动平均算法对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息。
这样,通过上述指数移动平均算法对第一视觉域提示信息进行平滑处理,以得到第二视觉域提示信息,可以使第二视觉域提示信息的优化效果更加明显,进而基于该第二视觉域提示信息可得到更准确的第二检测结果,提高对视觉域提示信息的训练更新效率。
在一些实施例中,在根据所述第二视觉域提示信息对第二图像进行处理之前,所述方法还包括:对所述第一图像进行增强处理,得到所述第二图像。
这样,通过利用第二视觉域提示信息对与第一图像类似的第二图像进行处理,可以提高后续更新得到的视觉域提示信息的鲁棒性。
在一些实施例中,所述目标视觉域提示信息包括目标域特定提示信息和目标域无关提示信息;所述基于所述第一预测结果和所述第二预测结果之间的差异,更新所述第一视觉域提示信息,得到目标视觉域提示信息,包括:基于所述第一预测结果和所述第二预测结果确定域特定提示损失值和域无关提示损失值;根据所述域特定提示损失值更新所述第一视觉域提示信息中的域特定提示信息,得到所述目标域特定提示信息;根据所述域无关提示损失值更新所述第一视觉域提示信息中的域无关提示信息,得到所述目标域无关提示信息。
这样,通过同时使用域特定提示信息和域无关提示信息,可以有效地适应不断变化的目标领域图像集合。其中,域特定提示信息有助于捕捉领域特定的知识,而域无关提示信息则有助于保持领域共享的知识,降低了在适应过程中可能出现的过拟合、灾难性遗忘和误差累积等问题的风险。
在一些实施例中,基于所述第一预测结果和所述第二预测结果确定域无关提示损失值,包括:基于所述第一预测结果和所述第二预测结果确定第一损失值;获取历史领域图像集合对应的域特定提示损失值和域无关提示损失值,得到历史视觉域提示损失值;根据所述历史视觉域提示损失值,确定与所述目标领域图像集合对应的稳态正则化损失值;根据所述第一损失值和所述稳态正则化损失值,确定域无关提示损失值。
这样,通过在域无关提示信息更新过程中使用额外的稳态正则化损失值,可以利用稳态正则化机制,限制域无关提示信息中参数对于领域变化的敏感性,确保域无关提示信息不会过于适应任何单一领域,而是捕获更为普遍且可转移的知识,从而促进域无关提示信息学习到更通用的知识。
在一些实施例中,所述根据所述历史视觉域提示损失值,确定与所述目标领域图像集合对应的稳态正则化损失值,包括:根据所述历史视觉域提示损失值,确定所述历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性;基于所述历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性以及每个参数在不同时刻的差异值,确定与所述目标视觉域提示信息中每个参数对应的稳态因子;根据所述稳态因子确定所述目标视觉域提示信息的稳态正则化损失值。
这样,通过上述过程可计算得到稳态正则化损失值,以惩罚敏感参数的更新,防止域无关提示信息过度适应特定领域,从而促进其学习更通用的知识。
在一些实施例中,在利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果之后,所述方法还包括:获取所述缺陷检测模型针对所述目标检测结果输出的目标预测置信度;在所述目标预测置信度与历史预测置信度之间的差值大于预设阈值的情况下,更新所述稳态正则化损失值。
这样,通过上述域偏移检测过程,可以使模型能够自动检测到新的领域,进而持续适应到新的领域图像集合中,进一步提高模型的自动泛化能力。
第二方面,本申请提供了一种密封钉焊接缺陷检测装置,该装置包括:图像获取模块,用于获取待处理的目标图像,其中,所述目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;图像处理模块,用于根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像,其中,所述目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,所述目标领域图像集合中包括与所述目标焊接类型对应的多个密封钉焊接图像;缺陷检测模块,用于利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,所述缺陷检测模型包括采用所述目标领域图像集合之外的其他领域图像集合预训练得到的模型。
第三方面,本申请提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的密封钉焊接缺陷检测方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的密封钉焊接缺陷检测方法的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的密封钉焊接缺陷检测方法的流程示意图;
图2是本申请提供的一种密封钉焊接图像的示意图;
图3是本申请提供的一种模型检测过程的示意图;
图4是本申请提供的一种训练更新过程的示意图;
图5是本申请一个实施例提供的密封钉焊接缺陷检测装置的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前,相关技术中所采用的密封钉焊接缺陷检测方式,通常是在大量已标注的密封钉焊接图像样本上进行模型训练,得到训练好的模型后,利用该训练好的模型对密封钉焊接图像进行缺陷检测。但是,由于密封钉的焊接类型多种多样,因此,模型在对训练时未见过的新的焊接类型下的密封钉焊接图像进行缺陷检测时,模型的泛化性较差,使得模型检测准确率较低。
为了解决上述技术问题,本申请实施例提供了一种密封钉焊接缺陷检测方法、装置、设备及存储介质。其中,本申请实施例提供的密封钉焊接缺陷检测方法,通过利用目标领域图像集合中针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像,确定与该目标领域图像集合对应的目标视觉域提示信息,进而在利用其他领域图像集合预训练的缺陷检测模型对与目标焊接类型对应的目标图像进行缺陷检测时,可先根据该目标视觉域提示信息对目标图像进行处理,再利用该缺陷检测模型对处理得到的目标提示图像进行焊接缺陷检测。这样,由于在使用预训练的缺陷检测模型对新的目标焊接类型的密封钉焊接图像进行缺陷检测时,采用了针对该目标焊接类型的图像级别的视觉域提示,因此可以提高模型在目标焊接类型的密封钉焊接图像缺陷检测上的泛化性,进而可以提高模型检测准确率。
下面对本申请实施例提供的密封钉焊接缺陷检测方法进行详细介绍。该密封钉焊接缺陷检测方法可应用于检测密封钉焊接缺陷的应用场景,该密封钉焊接缺陷检测方法可以由具有计算能力的电子设备执行。其中,电子设备可以包括手机、电脑等终端设备,也可以包括服务器等设备。
图1是本申请一个实施例提供的密封钉焊接缺陷检测方法的流程示意图。如图1所示,该密封钉焊接缺陷检测方法具体可以包括如下步骤:
S110、获取待处理的目标图像,其中,目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;
S120、根据目标视觉域提示信息对目标图像进行处理,得到目标提示图像,其中,目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,目标领域图像集合中包括与目标焊接类型对应的多个密封钉焊接图像;
S130、利用缺陷检测模型对目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,缺陷检测模型包括采用目标领域图像集合之外的其他领域图像集合预训练得到的模型。
由此,通过利用目标领域图像集合中针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像,确定与该目标领域图像集合对应的目标视觉域提示信息,进而在利用其他领域图像集合预训练的缺陷检测模型对与目标焊接类型对应的目标图像进行缺陷检测时,可先根据该目标视觉域提示信息对目标图像进行处理,再利用该缺陷检测模型对处理得到的目标提示图像进行焊接缺陷检测。这样,由于在使用预训练的缺陷检测模型对新的目标焊接类型的密封钉焊接图像进行缺陷检测时,采用了针对该目标焊接类型的图像级别的视觉域提示,因此可以提高模型在目标焊接类型的密封钉焊接图像缺陷检测上的泛化性,进而可以提高模型检测准确率。
下面介绍上述各个步骤的具体实现方式。
在一些实施方式中,在S110中,目标图像可以是针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像,例如图2所示的密封钉焊接图像。其中,目标焊接类型可以是除缺陷检测模型在预训练时使用的训练样本中已有的焊接类型之外的其他任一焊接类型。
在一些实施方式中,在S120中,目标领域图像集合中可以包括多个密封钉焊接图像,例如图2所示的密封钉焊接图像。该目标领域图像集合中的密封钉焊接图像可以是针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像。
示例性地,在需要利用已训练好的缺陷检测模型,对新的目标焊接类型所对应的密封钉焊接图像进行缺陷检测的情况下,可从该目标焊接类型对应的目标领域图像集合中获取一部分图像,以用于学习目标领域图像集合所对应的图像级别视觉提示,以便模型能够根据该提示更好地适应目标领域图像集合。
另外,目标领域图像集合可以是动态变化的,可以根据最新采集的密封钉焊接图像更新目标领域图像集合。
在一些实施方式中,目标视觉域提示信息可以是用于对目标领域图像集合中特有的特征,以及不同领域图像集合之间共享的特征进行提示的信息。该视觉域提示信息可帮助缺陷检测模型持续适应不同焊接类型所对应的领域图像集合,提高模型的泛化性。
在本申请的一些示例中,视觉域提示信息具体可以包括域特定提示信息和域无关提示信息。其中,域特定提示信息也即DSP(Domain-Specific Prompt,域特定提示)信息,旨在从特定领域图像集合中提取该领域特有的知识,引导模型在适应过程中专注于该领域中的特定特征和模式。域无关提示信息也即DAP(Domain-Agnostic Prompt,域无关提示)信息,旨在持续适应不同领域图像集合的过程中保持领域共享的知识,帮助模型保留在不同领域之间保持一致的特征和模式。
示例性地,目标视觉域提示信息可以是可学习的参数矩阵,也即可随着目标领域图像集合中所包含的图像的特征改变而进行改变,以实现对目标领域图像集合的持续适应。例如,可以从目标领域图像集合中获取一部分图像作为训练样本,对模型进行无监督训练,进而逐步更新目标视觉域提示信息中包含的参数,以实现对目标焊接类型所对应的密封钉焊接图像的适应。
另外,在一些实施方式中,在得到与目标领域图像集合对应的目标视觉域提示信息后,可根据该目标视觉域提示信息对目标图像进行处理,处理方式可以包括将目标视觉域提示信息中的参数矩阵与目标图像对应的特征矩阵逐点相加,从而构造得到目标提示图像。
示例性地,如图3所示,在目标视觉域提示信息31包括目标域特定提示信息311和目标域无关提示信息312的情况下,可分别将目标域特定提示信息311对应的参数矩阵和目标域无关提示信息312对应的参数矩阵,与目标图像对应的特征矩阵逐点相加,实现将目标域特定提示信息311和目标域无关提示信息312应用于目标图像32,构造得到叠加有目标域特定提示信息311和目标域无关提示信息312的目标提示图像33。
在一些实施方式中,在S130中,缺陷检测模型可以是采用除目标领域图像集合之外的其他领域图像集合预训练得到的模型,其中,其他领域图像集合中可以包括除目标焊接类型之外其他任意一个或多个焊接类型所对应的密封钉焊接图像。也即,该缺陷检测模型可以是已在现有的密封钉焊接图像训练样本上预训练好的模型,即源域模型。并且,在将该缺陷检测模型应用于目标图像集合中时可不再对该缺陷检测模型本身的参数进行调整。
另外,最终得到的目标检测结果可包括以下至少一项:该目标图像中所示的密封钉是否存在焊接缺陷,目标图像中的每个像素点中存在密封钉焊接缺陷的几率,以及目标图像中确定存在的密封钉焊接缺陷的区域位置等。
示例性地,如图3所示,在得到目标提示图像33后,可将该目标提示图像33输入至缺陷检测模型34中,利用缺陷检测模型34对该目标提示图像33进行密封钉焊接缺陷检测,进而可输出得到目标检测结果35。
基于此,为了使缺陷检测模型持续适应目标领域图像集合,可利用教师-学生框架逐步更新确定视觉域提示信息。在一些实施方式中,在上述S120之前,本申请实施例提供的密封钉焊接缺陷检测方法还可以包括:
从目标领域图像集合中获取第一图像;
根据第一视觉域提示信息对第一图像进行处理,得到第一提示图像,所述第一图像包括所述至少一个图像中的任一图像;
利用缺陷检测模型对第一提示图像进行密封钉焊接缺陷检测,得到第一预测结果;
对第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息;
根据第二视觉域提示信息对第二图像进行处理,得到第二提示图像,第二图像基于第一图像确定;
利用缺陷检测模型对第二提示图像进行密封钉焊接缺陷检测,得到第二预测结果;
基于第一预测结果和第二预测结果之间的差异,更新第一视觉域提示信息,得到目标视觉域提示信息。
这里,第一视觉域提示信息可以是任意一次训练更新目标视觉域提示信息的过程中更新之前的原始视觉域提示信息。第一图像可以是从目标领域图像集合中选取的一部分图像中的任一图像,也即该次训练更新目标视觉域提示信息的过程中所使用的图像。
示例性地,可将第一视觉域提示信息的参数矩阵与第一图像对应的特征矩阵逐点相加,得到第一提示图像,并将第一提示图像输入至上述缺陷检测模型中,利用该缺陷检测模型对第一提示图像进行缺陷检测,进而可输出得到第一预测结果,该第一预测结果例如可包括第一图像中的每个像素点中存在密封钉焊接缺陷的几率,以及第一图像中确定存在的密封钉焊接缺陷的区域位置等等。
另外,第二视觉域提示信息可以是由第一视觉域提示信息进行优化处理后得到的信息,例如平滑处理。第二图像可以就是第一图像,也可以是基于第一图像生成的其他图像。
示例性地,可将第二视觉域提示信息的参数矩阵与第二图像对应的特征矩阵逐点相加,得到第二提示图像,并将第二提示图像输入至上述缺陷检测模型中,利用该缺陷检测模型对第二提示图像进行缺陷检测,进而可输出得到第二预测结果,该第二预测结果例如可包括第二图像中的每个像素点中密封钉存在焊接缺陷的几率,以及第二图像中确定存在的焊接缺陷的区域位置等。
由于第二视觉域提示信息比第一视觉域提示信息更优,因此,可将利用第一视觉域提示信息对第一图像进行处理,以及经过模型检测后得到第一预测结果的过程作为学生,而将利用第二视觉域提示信息对第二图像进行处理,以及经过模型检测后得到第二预测结果的过程作为教师,实现对目标视觉域提示信息的无监督训练更新过程。
示例性地,可将第二预测结果作为标签,进而基于第一预测结果与第二预测结果之间的差异,更新第一视觉域提示信息中的参数。按照上述过程经过多次无监督训练后,待训练完成即可得到与目标领域图像集合对应的视觉域提示信息,也即目标视觉域提示信息。
这样,通过采用教师-学生框架,以无监督训练的方式逐步更新目标视觉域提示信息,从而可以实现对新的目标领域图像集合的持续适应。另外,由于现实工业场景下获得的大量密封钉焊接图像都是无标注的,而图像标注过程费时费力,且成本高,因此,本申请实施例所采用的无监督的训练方式也可以减少数据标注过程,节省时间和人力物力资源,降低成本。
基于此,为了提高目标视觉域提示信息的优化效果,本申请实施例中在对第一视觉域提示信息进行平滑处理以确定第二视觉域提示信息时,具体可采用指数移动平均算法来进行平滑处理。在一些实施方式中,上述对第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息,具体可以包括:
获取历史更新得到的目标视觉域提示信息,得到历史视觉域提示信息;
基于历史视觉域提示信息,按照指数移动平均算法对第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息。
这里,为了得到更加准确的目标视觉域提示信息,本申请实施例可针对目标领域图像集合对目标视觉域提示信息进行多次更新,每次更新可得到一个目标视觉域提示信息,并作为下一次更新过程中所使用的第一视觉域提示信息。另外,每次更新可记录相应的更新时间,以方便后续按照时间序列获取历史视觉域提示信息。
示例性地,可按照指数移动平均算法,采用如下公式(1)计算第二视觉域提示信息。
其中,为时间为t时的更新过程中所使用的第二视觉域提示信息;/>为时间为t时的更新过程中所使用的第一视觉域提示信息,也即t时刻的上一时刻t-1时刻更新后得到的历史视觉域提示信息;/>为时间为t-1时的更新过程中所使用的第二视觉域提示信息;/>为参考权重,具体可根据实际场景需求进行设置。
这样,通过上述指数移动平均算法对第一视觉域提示信息进行平滑处理,以得到第二视觉域提示信息,可以使第二视觉域提示信息的优化效果更加明显,进而基于该第二视觉域提示信息可得到更准确的第二检测结果,提高对目标视觉域提示信息的训练更新效率。
另外,为了进一步提高第二检测结果的准确性,在本申请的一些实施方式中,在上述根据第二视觉域提示信息对第二图像进行处理之前,本申请实施例提供的密封钉焊接缺陷检测方法还可以包括:
对第一图像进行增强处理,得到第二图像。
这里,增强处理可以包括更改第一图像的亮度、对比度等处理,以得到更多的与第一图像类似的图像数据,例如第二图像。基于此,利用第二视觉域提示信息对与第一图像类似的第二图像进行处理,可以提高后续更新得到的目标视觉域提示信息的鲁棒性。
另外,在目标视觉域提示信息包括目标域特定提示信息和目标域无关提示信息的情况下,在本申请的一些实施方式中,上述基于第一预测结果和第二预测结果之间的差异,更新第一视觉域提示信息,得到目标视觉域提示信息,具体可以包括:
基于第一预测结果和第二预测结果确定域特定提示损失值和域无关提示损失值;
根据域特定提示损失值更新第一视觉域提示信息中的域特定提示信息,得到目标域特定提示信息;
根据域无关提示损失值更新第一视觉域提示信息中的域无关提示信息,得到目标域无关提示信息。
这里,可采用预设损失函数,根据第一预测结果和第二预测结果计算域特定提示损失值和域无关提示损失值。其中,预设损失函数可用于衡量第一预测结果中的概率分布与作为标签的第二预测结果中的概率分布之间的差异,该预设损失函数例如可以包括交叉熵损失函数。
示例性地,可采用如下公式(2)计算域特定提示损失值。
其中,表示域特定提示信息,/>表示域特定提示损失值,/>表示第一图像,/>表示对第一图像进行随机增强处理后得到的第二图像,/>表示学生网络,/>表示教师网络。
在得到域特定提示损失值后,可基于该域特定提示损失值调整第一视觉域提示信息中的域特定提示信息所对应的参数矩阵中的参数,以更新该域特定提示信息。经多次调整和更新后,即可得到适应于目标领域图像集合的目标域特定提示信息。
此外,对于域无关提示信息对应的域无关提示损失值,则可在上述过程的基础上,进一步添加额外的损失值,以抑制对领域敏感的参数,从而有助于提取与领域无关的知识,即不特定于任何特定领域且可以推广到不同领域的知识。
在得到域无关提示损失值后,可基于该域无关提示损失值调整第一视觉域提示信息中的域无关提示信息所对应的参数矩阵中的参数,以更新该域无关提示信息。经多次调整和更新后,即可得到适应于目标领域图像集合的目标域无关提示信息。
这样,通过同时使用域特定提示信息和域无关提示信息,可以有效地适应不断变化的目标领域图像集合。其中,域特定提示信息有助于捕捉领域特定的知识,而域无关提示信息则有助于保持领域共享的知识,降低了在适应过程中可能出现的过拟合、灾难性遗忘和误差累积等问题的风险。
基于上述各个实施方式,为了更好地描述整个训练更新过程,下面结合图4举一个例子。
例如,如图4所示,在一次训练更新过程中,对于教师-学生框架中的学生网络,可将从目标领域图像集合中取出的作为训练数据的任意第一图像411,与第一视觉域提示信息412中的域特定提示信息和域无关提示信息进行逐点相加,根据域特定提示信息和域无关提示信息中各个参数的坐标来应用于第一图像413,从而创建出第一提示图像413。将第一提示图像413输入到缺陷检测模型430中,即可输出得到第一预测结果414。
另外,还可对第一图像411进行数据增强,得到第二图像421,并对第一视觉域提示信息412中的域特定提示信息和域无关提示信息分别进行指数移动平均处理,得到第二视觉域提示信息422。对于教师-学生框架中的教师网络,可将第二图像421与第二视觉域提示信息422中的域特定提示信息和域无关提示信息进行逐点相加,根据域特定提示信息和域无关提示信息中各个参数的坐标来应用于第二图像421,从而创建出第二提示图像423。将第二提示图像423输入到缺陷检测模型430中,即可输出得到第二预测结果424。
基于该第一预测结果414和第二预测结果424,可确定出域特定提示损失值和域无关提示损失值/>,利用该域特定提示损失值/>可对第一视觉域提示信息412中的域特定提示信息进行更新,利用该域无关提示损失值/>可对第一视觉域提示信息412中的域无关提示信息进行更新。这样,就完成了一次训练更新过程。
基于此,为了实现抑制对领域敏感的参数在域无关提示信息中所起的作用,可在计算域无关提示损失值时加入额外的稳态正则化损失值。在本申请的一些实施方式中,上述基于第一预测结果和第二预测结果确定域无关提示损失值,具体可以包括:
基于第一预测结果和第二预测结果确定第一损失值;
获取历史领域图像集合对应的域特定提示损失值和域无关提示损失值,得到历史视觉域提示损失值;
根据历史视觉域提示损失值,确定与目标领域图像集合对应的稳态正则化损失值;
根据第一损失值和稳态正则化损失值,确定域无关提示损失值。
这里,第一损失值的确定方式可以与上述域特定提示损失值的确定方式相同,也即,例如可采用如上述公式(2)所示的交叉熵损失函数,根据第一预测结果和第二预测结果计算该第一损失值,作为域无关提示损失值的一部分。
另外,历史领域图像集合例如可以包括在目标领域图像集合之前,模型所适应过的各个领域图像集合。
示例性地,可针对目标领域图像集合之前模型所适应过的各个领域图像集合,获取每个领域图像集合在某个训练更新时间所对应的域特定提示损失值和域无关提示损失值之和,作为该领域图像集合所对应的历史视觉域提示损失值,进而利用每个领域图像集合分别对应的历史视觉域提示损失值,确定出对领域敏感的参数,进而计算与目标领域图像集合对应的稳态正则化损失值,利用该稳态正则化损失值对这些敏感参数进行惩罚,并稳定地更新与领域无关的参数,以巩固领域无关的知识。
在一些示例中,在计算得到第一损失值和稳态正则化损失值后,可根据如下公式(3)计算域无关提示损失值。
其中,表示域特定提示信息,/>表示域无关提示损失值,/>表示稳态正则化损失值,/>表示第一图像,/>表示对第一图像进行随机增强处理后得到的第二图像,/>表示学生网络,/>表示教师网络。
这样,通过在域无关提示信息更新过程中使用额外的稳态正则化损失值,可以利用稳态正则化机制,限制域无关提示信息中参数对于领域变化的敏感性,确保域无关提示信息不会过于适应任何单一领域,而是捕获更为普遍且可转移的知识,从而促进域无关提示信息学习到更通用的知识。
基于此,在一些实施方式中,上述根据历史视觉域提示损失值,确定与目标领域图像集合对应的稳态正则化损失值,具体可以包括:
根据历史视觉域提示损失值,确定历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性;
基于历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性以及每个参数在不同时刻的差异值,确定与目标视觉域提示信息中每个参数对应的稳态因子;
根据稳态因子确定目标视觉域提示信息的稳态正则化损失值。
示例性地,为了衡量视觉域提示信息中每个参数对不同领域变化的敏感性,可定义如下梯度公式(4)。
其中,表示时间为t时的视觉域提示信息中的参数,/>表示时间为t时的视觉域提示信息中参数对应的梯度值,/>表示时间为t时更新训练过程中所得到的总损失值,也即域特定提示损失值和域无关提示损失值之和。
基于此,可使用参数重要性来量化每个参数对总损失值的贡献。例如,可利用如下公式(5)计算每个参数的参数重要性。
其中,表示历史领域图像集合/>中第/>个参数的参数重要性。/>和/>分别为历史领域图像集合/>及其相邻的上一个历史领域图像集合中的某个参数更新时间点。
另外,还可根据如下公式(6)计算历史领域图像集合中参数在不同更新时间点之间的差异值。
其中,表示历史领域图像集合/>中第/>个参数在更新时间点t和t-1之间的差异值,/>表示历史领域图像集合/>中第/>个参数在更新时间点t时的值,/>表示历史领域图像集合/>中第/>个参数在更新时间点t-1时的值。
基于此,可根据上述历史领域图像集合中第/>个参数对应的参数重要性/>以及在不同更新时间点之间的差异值/>,计算该第/>个参数所对应的稳态因子。例如,可根据如下公式(7)计算稳态因子。
其中,表示当前目标领域图像集合,/>表示目标领域图像集合/>之前的每个领域图像集合,/>表示目标领域图像集合对应的视觉域提示信息中第/>个参数对应的稳态因子。为了避免出现/>的情况,这里可引入/>到稳态因子中,其中,/>的值例如可以为0.01。
由上述公式(7)可知,较小意味着参数的值稍微发生变化,当/>较大时,参数对总损失值的贡献则更为显著。因此,当/>相对较小或/>相对较大时,可认为第/>个参数对领域的变化敏感。
基于此,可根据如下公式(8)计算稳态正则化损失值。
其中,用于控制稳态正则化损失值对域无关提示损失值的贡献度,其值可根据实际应用场景的需要进行设置,/>表示当前目标领域图像集合对应的视觉域提示信息中的参数,/>表示目标领域图像集合之前上一个目标领域图像集合对应的视觉域提示信息中的参数。
这样,通过上述过程可计算得到稳态正则化损失值,以惩罚敏感参数的更新,防止域无关提示信息过度适应特定领域,从而促进其学习更通用的知识。
另外,需要注意的是,当进入新的领域时,将会更新,而/>也将设置为0,从而更新稳态正则化损失值。因此,可基于模型输出的检测结果的预测置信度,来判定当前的目标领域图像集合是否已发生域偏移,即待检测的密封钉焊接图像是否已经属于新的领域图像集合中的图像。
基于此,在一些实施方式中,在上述S130之后,本申请实施例提供的密封钉焊接缺陷检测方法还可以包括:
获取缺陷检测模型针对目标检测结果输出的目标预测置信度;
在目标预测置信度与历史预测置信度之间的差值大于预设阈值的情况下,更新稳态正则化损失值。
这里,缺陷检测模型每次在输出检测结果时可同时输出该检测结果对应的预测置信度。基于此,在缺陷检测模型完成对目标图像的检测后,在输出目标检测结果的同时,还可输出针对该目标检测结果的目标预测置信度。
示例性地,可根据如下公式(9)计算目标预测置信度与历史预测置信度之间的差值。
其中,表示目标预测置信度,/>表示模型在输出目标预测置信度之前上一次输出的针对上一次待检测图像的预测置信度,也即历史预测置信度,表示目标预测置信度与历史预测置信度之间的差值。当/>大于预设阈值S时,可判定目标领域图像集合已发生域偏移,此时,/>和/>将会更新,进而使得稳态正则化损失值发生更新。
这样,通过上述域偏移检测过程,可以使模型能够自动检测到新的领域,进而持续适应到新的领域图像集合中,进一步提高模型的自动泛化能力。
需要说明的是,上述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于相同的发明构思,本申请还提供了一种密封钉焊接缺陷检测装置。具体结合图5进行详细说明。
图5是本申请一个实施例提供的密封钉焊接缺陷检测装置的结构示意图。
如图5所示,该密封钉焊接缺陷检测装置500可以包括:
图像获取模块501,用于获取待处理的目标图像,其中,所述目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;
图像处理模块502,用于根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像,其中,所述目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,所述目标领域图像集合中包括与所述目标焊接类型对应的多个密封钉焊接图像;
缺陷检测模块503,用于利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,所述缺陷检测模型包括采用所述目标领域图像集合之外的其他领域图像集合预训练得到的模型。
下面对上述密封钉焊接缺陷检测装置500进行详细说明,具体如下所示:
在其中一些实施例中,所述密封钉焊接缺陷检测装置500还包括:
第一获取模块,用于从所述目标领域图像集合中获取第一图像;
第一处理模块,用于根据第一视觉域提示信息对第一图像进行处理,得到第一提示图像,所述第一图像包括所述至少一个图像中的任一图像;
第一检测模块,用于利用所述缺陷检测模型对所述第一提示图像进行密封钉焊接缺陷检测,得到第一预测结果;
平滑处理模块,用于对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息;
第二处理模块,用于根据所述第二视觉域提示信息对第二图像进行处理,得到第二提示图像,所述第二图像基于所述第一图像确定;
第二检测模块,用于利用所述缺陷检测模型对所述第二提示图像进行密封钉焊接缺陷检测,得到第二预测结果;
第一更新模块,用于基于所述第一预测结果和所述第二预测结果之间的差异,更新所述第一视觉域提示信息,得到目标视觉域提示信息。
在其中一些实施例中,所述平滑处理模块包括:
第一获取子模块,用于获取历史更新得到的目标视觉域提示信息,得到历史视觉域提示信息;
第一处理子模块,用于基于所述历史视觉域提示信息,按照指数移动平均算法对所述第一视觉域提示信息进行平滑处理,得到所述第二视觉域提示信息。
在其中一些实施例中,所述平滑处理模块还包括:
第二处理子模块,用于在根据所述第二视觉域提示信息对第二图像进行处理之前,对所述第一图像进行增强处理,得到所述第二图像。
在其中一些实施例中,所述目标视觉域提示信息包括目标域特定提示信息和目标域无关提示信息。
基于此,所述第一更新模块包括:
第一确定子模块,用于基于所述第一预测结果和所述第二预测结果确定域特定提示损失值和域无关提示损失值;
第一更新子模块,用于根据所述域特定提示损失值更新所述第一视觉域提示信息中的域特定提示信息,得到目标域特定提示信息;
第二更新子模块,用于根据所述域无关提示损失值更新所述第一视觉域提示信息中的域无关提示信息,得到目标域无关提示信息。
在其中一些实施例中,第一确定子模块包括:
第一确定单元,用于基于所述第一预测结果和所述第二预测结果确定第一损失值;
第一获取单元,用于获取历史领域图像集合对应的域特定提示损失值和域无关提示损失值,得到历史视觉域提示损失值;
第二确定单元,用于根据所述历史视觉域提示损失值,确定与所述目标领域图像集合对应的稳态正则化损失值;
第三确定单元,用于根据所述第一损失值和所述稳态正则化损失值,确定域无关提示损失值。
在其中一些实施例中,所述第二确定单元包括:
第一确定子单元,用于根据所述历史视觉域提示损失值,确定所述历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性;
第二确定子单元,用于基于所述历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性以及每个参数在不同时刻的差异值,确定与所述目标视觉域提示信息中每个参数对应的稳态因子;
第三确定子单元,用于根据所述稳态因子确定所述目标视觉域提示信息的稳态正则化损失值。
在其中一些实施例中,所述密封钉焊接缺陷检测装置500还包括:
置信度获取模块,用于在利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果之后,获取所述缺陷检测模型针对所述目标检测结果输出的目标预测置信度;
损失更新模块,用于在所述目标预测置信度与历史预测置信度之间的差值大于预设阈值的情况下,更新所述稳态正则化损失值。
由此,通过利用目标领域图像集合中针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像,确定与该目标领域图像集合对应的目标视觉域提示信息,进而在利用其他领域图像集合预训练的缺陷检测模型对与目标焊接类型对应的目标图像进行缺陷检测时,可先根据该目标视觉域提示信息对目标图像进行处理,再利用该缺陷检测模型对处理得到的目标提示图像进行焊接缺陷检测。这样,由于在使用预训练的缺陷检测模型对新的目标焊接类型的密封钉焊接图像进行缺陷检测时,采用了针对该目标焊接类型的图像级别的视觉域提示,因此可以提高模型在目标焊接类型的密封钉焊接图像缺陷检测上的泛化性,进而可以提高模型检测准确率。
图6是本申请一个实施例提供的电子设备的结构示意图。
电子设备600可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit ,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在综合网关容灾设备的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。
在特定实施例中,存储器可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现上述实施例中的任意一种密封钉焊接缺陷检测方法。
在一些示例中,电子设备600还可包括通信接口603和总线610。其中,如图6所示,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线610可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
示例性的,电子设备600可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等。
该电子设备600可以执行本申请实施例中的密封钉焊接缺陷检测方法,从而实现结合图1至图5描述的密封钉焊接缺陷检测方法和装置。
另外,结合上述实施例中的密封钉焊接缺陷检测方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种密封钉焊接缺陷检测方法。计算机可读存储介质的示例包括非暂态计算机可读存储介质,如便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件等。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或***。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种密封钉焊接缺陷检测方法,其特征在于,包括:
获取待处理的目标图像,其中,所述目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;
根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像,其中,所述目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,所述目标领域图像集合中包括与所述目标焊接类型对应的多个密封钉焊接图像;
利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,所述缺陷检测模型包括采用所述目标领域图像集合之外的其他领域图像集合预训练得到的模型。
2.根据权利要求1所述的方法,其特征在于,在根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像之前,所述方法还包括:
从所述目标领域图像集合中获取第一图像;
根据第一视觉域提示信息对第一图像进行处理,得到第一提示图像;
利用所述缺陷检测模型对所述第一提示图像进行密封钉焊接缺陷检测,得到第一预测结果;
对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息;
根据所述第二视觉域提示信息对第二图像进行处理,得到第二提示图像,所述第二图像基于所述第一图像确定;
利用所述缺陷检测模型对所述第二提示图像进行密封钉焊接缺陷检测,得到第二预测结果;
基于所述第一预测结果和所述第二预测结果之间的差异,更新所述第一视觉域提示信息,得到目标视觉域提示信息。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息,包括:
获取历史更新得到的目标视觉域提示信息,得到历史视觉域提示信息;
基于所述历史视觉域提示信息,按照指数移动平均算法对所述第一视觉域提示信息进行平滑处理,得到第二视觉域提示信息。
4.根据权利要求2或3所述的方法,其特征在于,在根据所述第二视觉域提示信息对第二图像进行处理之前,所述方法还包括:
对所述第一图像进行增强处理,得到所述第二图像。
5.根据权利要求2所述的方法,其特征在于,所述目标视觉域提示信息包括目标域特定提示信息和目标域无关提示信息;
所述基于所述第一预测结果和所述第二预测结果之间的差异,更新所述第一视觉域提示信息,得到目标视觉域提示信息,包括:
基于所述第一预测结果和所述第二预测结果确定域特定提示损失值和域无关提示损失值;
根据所述域特定提示损失值更新所述第一视觉域提示信息中的域特定提示信息,得到所述目标域特定提示信息;
根据所述域无关提示损失值更新所述第一视觉域提示信息中的域无关提示信息,得到所述目标域无关提示信息。
6.根据权利要求5所述的方法,其特征在于,基于所述第一预测结果和所述第二预测结果确定域无关提示损失值,包括:
基于所述第一预测结果和所述第二预测结果确定第一损失值;
获取历史领域图像集合对应的域特定提示损失值和域无关提示损失值,得到历史视觉域提示损失值;
根据所述历史视觉域提示损失值,确定与所述目标领域图像集合对应的稳态正则化损失值;
根据所述第一损失值和所述稳态正则化损失值,确定域无关提示损失值。
7.根据权利要求6所述的方法,其特征在于,所述根据所述历史视觉域提示损失值,确定与所述目标领域图像集合对应的稳态正则化损失值,包括:
根据所述历史视觉域提示损失值,确定所述历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性;
基于所述历史领域图像集合对应的视觉域提示信息中每个参数的参数重要性以及每个参数在不同时刻的差异值,确定与所述目标视觉域提示信息中每个参数对应的稳态因子;
根据所述稳态因子确定所述目标视觉域提示信息的稳态正则化损失值。
8.根据权利要求6或7所述的方法,其特征在于,在利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果之后,所述方法还包括:
获取所述缺陷检测模型针对所述目标检测结果输出的目标预测置信度;
在所述目标预测置信度与历史预测置信度之间的差值大于预设阈值的情况下,更新所述稳态正则化损失值。
9.一种密封钉焊接缺陷检测装置,其特征在于,包括:
图像获取模块,用于获取待处理的目标图像,其中,所述目标图像包括针对采用目标焊接类型焊接的密封钉所采集的密封钉焊接图像;
图像处理模块,用于根据目标视觉域提示信息对所述目标图像进行处理,得到目标提示图像,其中,所述目标视觉域提示信息包括基于目标领域图像集合确定得到的视觉域提示信息,所述目标领域图像集合中包括与所述目标焊接类型对应的多个密封钉焊接图像;
缺陷检测模块,用于利用缺陷检测模型对所述目标提示图像进行密封钉焊接缺陷检测,得到目标检测结果,其中,所述缺陷检测模型包括采用所述目标领域图像集合之外的其他领域图像集合预训练得到的模型。
10.一种电子设备,其特征在于,包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1至8任意一项所述的密封钉焊接缺陷检测方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至8任意一项所述的密封钉焊接缺陷检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410116762.1A CN117649406B (zh) | 2024-01-29 | 2024-01-29 | 密封钉焊接缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410116762.1A CN117649406B (zh) | 2024-01-29 | 2024-01-29 | 密封钉焊接缺陷检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117649406A true CN117649406A (zh) | 2024-03-05 |
CN117649406B CN117649406B (zh) | 2024-06-07 |
Family
ID=90046288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410116762.1A Active CN117649406B (zh) | 2024-01-29 | 2024-01-29 | 密封钉焊接缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117649406B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109283182A (zh) * | 2018-08-03 | 2019-01-29 | 江苏理工学院 | 一种电池焊点缺陷的检测方法、装置及*** |
CN111681232A (zh) * | 2020-06-10 | 2020-09-18 | 厦门理工学院 | 基于语义分割的工业焊接图像缺陷的检测方法 |
KR102230886B1 (ko) * | 2020-03-19 | 2021-03-22 | 동의대학교 산학협력단 | 이미지인식 기반의 프로젝션용접 결함 검출시스템 |
CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
US20220088719A1 (en) * | 2020-12-17 | 2022-03-24 | Shenzhenshi Yuzhan Precision Technology Co., Ltd. | Method, apparatus, and non-transitory computer readable medium for detecting welding defects of workpieces |
CN115496728A (zh) * | 2022-09-23 | 2022-12-20 | 章鱼博士智能技术(上海)有限公司 | 一种密封钉缺陷检测方法及*** |
CN116309576A (zh) * | 2023-05-19 | 2023-06-23 | 厦门微亚智能科技有限公司 | 一种锂电池焊缝缺陷检测方法、***及存储介质 |
CN116642887A (zh) * | 2023-05-05 | 2023-08-25 | 广东奥普特科技股份有限公司 | 一种焊印缺陷检测方法及焊印缺陷检测*** |
-
2024
- 2024-01-29 CN CN202410116762.1A patent/CN117649406B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109283182A (zh) * | 2018-08-03 | 2019-01-29 | 江苏理工学院 | 一种电池焊点缺陷的检测方法、装置及*** |
KR102230886B1 (ko) * | 2020-03-19 | 2021-03-22 | 동의대학교 산학협력단 | 이미지인식 기반의 프로젝션용접 결함 검출시스템 |
CN111681232A (zh) * | 2020-06-10 | 2020-09-18 | 厦门理工学院 | 基于语义分割的工业焊接图像缺陷的检测方法 |
US20220088719A1 (en) * | 2020-12-17 | 2022-03-24 | Shenzhenshi Yuzhan Precision Technology Co., Ltd. | Method, apparatus, and non-transitory computer readable medium for detecting welding defects of workpieces |
CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
CN115496728A (zh) * | 2022-09-23 | 2022-12-20 | 章鱼博士智能技术(上海)有限公司 | 一种密封钉缺陷检测方法及*** |
CN116642887A (zh) * | 2023-05-05 | 2023-08-25 | 广东奥普特科技股份有限公司 | 一种焊印缺陷检测方法及焊印缺陷检测*** |
CN116309576A (zh) * | 2023-05-19 | 2023-06-23 | 厦门微亚智能科技有限公司 | 一种锂电池焊缝缺陷检测方法、***及存储介质 |
Non-Patent Citations (1)
Title |
---|
黄明海: "《焊接质量无损检测智能监测***规划与开发》", 《优秀硕士论文》, 27 November 2016 (2016-11-27) * |
Also Published As
Publication number | Publication date |
---|---|
CN117649406B (zh) | 2024-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112581463A (zh) | 图像缺陷的检测方法、装置、电子设备、存储介质及产品 | |
CN110362814B (zh) | 一种基于改进损失函数的命名实体识别方法及装置 | |
CN110263824B (zh) | 模型的训练方法、装置、计算设备及计算机可读存储介质 | |
CN111931844B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111311485B (zh) | 图像处理方法及相关装置 | |
CN111860255A (zh) | 驾驶检测模型的训练、使用方法、装置、设备及介质 | |
CN116952958B (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN105913429B (zh) | 智能终端用户视觉感知响应时延指标的计算方法 | |
CN111126209B (zh) | 车道线检测方法及相关设备 | |
CN115734029A (zh) | 一种终端适配性判断方法、装置、电子设备及存储介质 | |
CN114440858B (zh) | 移动机器人定位丢失检测方法、***、设备及存储介质 | |
CN113269307B (zh) | 神经网络训练方法以及目标重识别方法 | |
CN114549136A (zh) | 供应链用户信用评价方法、装置、设备及计算机存储介质 | |
CN113191270B (zh) | 抛洒事件检测方法、装置、电子设备及存储介质 | |
CN113935386A (zh) | 一种目标检测方法及装置 | |
CN117649406B (zh) | 密封钉焊接缺陷检测方法、装置、设备及存储介质 | |
CN116611482B (zh) | 模型训练方法、装置、电子设备及介质 | |
CN113140012A (zh) | 图像处理方法、装置、介质及电子设备 | |
CN113052874A (zh) | 目标跟踪方法及装置、电子设备和存储介质 | |
CN115239733B (zh) | 裂缝检测方法、装置、终端设备以及存储介质 | |
CN116630277A (zh) | 一种基于持续学习的pcb板缺陷检测方法及装置 | |
CN114841255A (zh) | 检测模型的训练方法、装置、设备、存储介质及程序产品 | |
CN112614168B (zh) | 一种目标人脸跟踪方法、装置、电子设备及存储介质 | |
CN114241752A (zh) | 场端拥堵提示方法、装置、设备及计算机可读存储介质 | |
CN114229637A (zh) | 电梯楼层确定方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |