CN113674277B

CN113674277B - 无监督域适应的表面缺陷区域分割方法、装置及电子设备

Info

Publication number: CN113674277B
Application number: CN202111230003.0A
Authority: CN
Inventors: 弭宝瞳; 梁循
Original assignee: Beijing Jushi Intelligent Technology Co ltd
Current assignee: Beijing Jushi Intelligent Technology Co ltd
Priority date: 2021-10-22
Filing date: 2021-10-22
Publication date: 2022-02-22
Anticipated expiration: 2041-10-22
Also published as: CN113674277A

Abstract

本申请涉及无监督域适应的表面缺陷区域分割方法、装置及电子设备，属于工业检测技术领域，本申请的方法包括，获取目标表面图像；利用训练好的缺陷区域分割模型对所述目标表面图像进行缺陷区域分割处理；其中，所述缺陷区域分割模型的训练过程包括：获取与所述目标表面图像属于同一应用场景的目标域图像；根据所述目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像；利用所述具有目标域图像数据分布特性的源域图像对模型进行有监督训练，得到所述训练好的缺陷区域分割模型。本申请有助于更高效的提升在各种应用场景下分割模型的性能，从而提升在具体应用场景下对图像进行区域缺陷分割的精确度。

Description

无监督域适应的表面缺陷区域分割方法、装置及电子设备

技术领域

本申请属于工业检测技术领域，具体涉及一种无监督域适应的表面缺陷区域分割方法、装置及电子设备。

背景技术

工业生产过程中，需要对相关产品进行表面缺陷检测。举例而言，在钢材的生产加工过程中，容易受到原材料、轧制设备、工人操作技术等众多因素的影响，导致孔洞、擦伤、夹杂、划痕、锟印等多种缺陷的产生，这些缺陷的存在影响钢材外观的同时还会对它的抗腐蚀性、耐磨性和疲劳强度等性能造成影响，严重降低钢材质量，因此需要在生产加工过程中及时、准确的检测出钢材表面缺陷，以便分析其产生的原因，进而消除缺陷产生的根源。

在上述表面缺陷检测中，涉及到对表面缺陷区域的分割。现有相关技术中，是采用类似U-Net的编码器-解码器网络结构，在给定大量人工标注缺陷区域的训练数据集上对模型进行训练，得到缺陷区域分割模型，利用训练后的模型对采集的表面图像进行处理，以对缺陷区域进行分割提取的。

但现有相关方法仅仅考虑到缺陷区域分割模型学习的训练数据集（源域）图像数据分布和模型推理的测试场景（目标域）图像数据分布一致的情况。在实际应用场景中，由于不同场景下，存在视角、遮挡和光照条件的变化，人们所构建的缺陷区域分割数据集的场景覆盖范围很有限，用于模型训练的源域数据分布和实际应用的目标域数据分布往往存在差异，导致模型性能的严重下降。而基于实际应用的目标域数据进行人工标注，再基于标注的数据重新进行模型训练（监督学习），又会需要大量标记数据，从而导致整体效率不高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种无监督域适应的表面缺陷区域分割方法、装置及电子设备，采用具体的模型训练方式，有助于更高效的提升在各种应用场景下分割模型的性能。

为实现以上目的，本申请采用如下技术方案：

第一方面，

本申请提供一种无监督域适应的表面缺陷区域分割方法，该方法包括：

获取目标表面图像；

利用训练好的缺陷区域分割模型对所述目标表面图像进行缺陷区域分割处理；

其中，所述缺陷区域分割模型的训练过程包括：

获取与所述目标表面图像属于同一应用场景的目标域图像；

根据所述目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像；

利用所述具有目标域图像数据分布特性的源域图像对模型进行有监督训练，得到所述训练好的缺陷区域分割模型。

可选地，所述根据所述目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像，包括：

分别对所述目标域图像和所述原始源域图像进行傅里叶变换，得到原始源域图像所对应的第一幅度谱和第一相位谱，以及得到目标域图像所对应的第二幅度谱和第二相位谱；

将第一幅度谱中低频部分数据替换为第二幅度谱中低频部分数据，得到替换后的第三幅度谱；

根据所述第三幅度谱和所述第一相位谱进行傅里叶逆变换，将逆变换后得到的图像作为所述具有目标域图像数据分布特性的源域图像；

其中，所述低频部分数据为幅度谱中频率小于等于预设门限频率的谱图数据。

可选地，所述方法还包括：

确定应用场景；

基于确定出的应用场景，确定所述预设门限频率的取值。

可选地，所述预设门限频率的取值为幅度谱频率范围上限值的三分之一。

可选地，所述将第一幅度谱中低频部分数据替换为第二幅度谱中低频部分数据，得到替换后的第三幅度谱，具体为：

以幅度谱的中点为圆心，预设长度为半径，在第二幅度谱上确定要抠取的圆形区域，其中，所述预设长度基于所述预设门限频率确定；

提取第二幅度谱上所述圆形区域所对应的谱图，将所述谱图对应替换到所述第一幅度谱中，以得到所述第三幅度谱。

可选地，所述缺陷区域分割模型为PSPnet模型或U-Net模型。

第二方面，

本申请提供一种无监督域适应的表面缺陷区域分割装置，所述装置包括：

获取模块，用于获取目标表面图像；

分割处理模块，用于利用训练好的缺陷区域分割模型对所述目标表面图像进行缺陷区域分割处理；

训练模块，用于对所述缺陷区域分割模型进行训练，其具体配置为：

获取与所述目标表面图像属于同一应用场景的目标域图像；

利用所述具有目标域图像数据分布特性的源域图像对模型进行有监督训练。

第三方面，

本申请提供一种电子设备，包括：

存储器，其上存储有可执行程序；

处理器，用于执行所述存储器中的所述可执行程序，以实现上述所述方法的步骤。

本申请采用以上技术方案，至少具备以下有益效果：

本申请技术方案通过在模型训练过程中，通过目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像，利用具有目标域图像数据分布特性的源域图像对模型进行有监督训练，采用该具体的模型训练方式，有助于更高效的提升在各种应用场景下分割模型的性能，从而提升在具体应用场景下对图像进行缺陷区域分割的精确度。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为本申请一个实施例提供的无监督域适应的表面缺陷区域分割方法的流程示意图；

图2为本申请一个实施例中模型训练过程的说明示意图；

图3为本申请一个实施例提供的无监督域适应的表面缺陷区域分割装置的结构示意图；

图4为本申请一个实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

如背景技术中所述，在工业检测应用中，需要对相关产品进行表面缺陷检测。现有相关方法仅仅考虑到缺陷区域分割模型学习的训练数据集（源域）图像数据分布和模型推理的测试场景（目标域）图像数据分布一致的情况。

而在实际应用场景中，由于不同场景下，存在视角、遮挡和光照条件的变化，人们所构建的缺陷区域分割数据集的场景覆盖范围很有限，用于模型训练的源域数据分布和实际应用的目标域数据分布往往存在差异，导致模型性能的严重下降。而基于实际应用的目标域数据进行人工标注，再基于标注的数据重新进行模型训练（监督学习），又会需要大量标记数据，从而导致整体效率不高。

针对于此，本申请提出一种无监督域适应的表面缺陷区域分割方法。如图1所示，在一实施例中，该方法包括：

步骤S210，获取目标表面图像；

举例而言，该实施例的应用场景为硅钢带生产场景，该场景下需对硅钢带进行表面缺陷检测，生产现场具体配置有摄像装置，通过摄像装置来拍摄获取要输入检测处理***的硅钢带的表面图像（即目标表面图像）。

之后继续如图1所示，进行步骤S220，利用训练好的缺陷区域分割模型对目标表面图像进行缺陷区域分割处理，以实现对表面缺陷区域的分割。

举例而言，这里的缺陷区域分割模型可为PSPnet模型或U-Net模型（或者说采用类似U-Net的编码器-解码器网络结构的模型），这些模型的具体结构可现于现有公开技术资料，本申请这里就不进行赘述了。

不同于现有技术的是，该实施例中，如图1所示，上述缺陷区域分割模型的训练过程包括：

步骤S110，获取与目标表面图像属于同一应用场景的目标域图像；

这里继续前文的举例，这里的同一应用场景，即相应的指在前文提到的硅钢带生产中的检测应用场景，获取过程为通过具体配置的摄像装置来拍摄获取钢带表面图像（目标域图像），容易理解的是由于拍摄视角、遮挡和光照条件是一致的，得到的目标域图像与实际要进行检测的图像具有相同的“风格”（数据分布一致）。

之后进行步骤S120，根据目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像，举例而言，实际中，可利用一张目标域图像分别对多张原始源域图像进行处理，对应得到多张具有目标域图像数据分布特性的源域图像；

容易理解的是，这里带有标注的原始源域图像，指在其他应用场景下，人们为训练模型所构建的训练数据集中的图像。该步骤中，通过进行具体的处理，可得到具有目标域图像数据分布特性的源域图像（其中，原始的标注信息不受影响），或者说使处理后的图像具有目标域图像“风格”。

再之后，进行步骤S130，利用步骤S120中具有目标域图像数据分布特性的源域图像对模型进行有监督训练，得到训练好的缺陷区域分割模型。

容易理解的是，采用具有目标域图像数据分布特性的源域图像对模型进行有监督训练，得到的训练好的模型在目标域图像对应的应用场景下，性能更好，可实现更高精度的缺陷区域分割。且采用上述方式，不需要对实际应用的目标域数据进行人工标注，再基于标注的数据进模型训练（监督学习），这样本申请的实现方式整体上效率更高。

本申请的技术方案，通过在模型训练过程中，通过目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像，利用具有目标域图像数据分布特性的源域图像对模型进行有监督训练，采用该种模型训练方式，有助于更高效的提升在各种应用场景下分割模型的性能，从而提升在具体应用场景下对图像进行缺陷区域分割的精确度。

为便于理解本申请的技术方案，下面以另一实施例对本申请的技术方案进行介绍说明。

该实施例中，与前文实施例类似，同样包括：

步骤一，获取目标表面图像；

步骤二，利用训练好的缺陷区域分割模型对所述目标表面图像进行缺陷区域分割处理，以实现对表面缺陷区域的分割。

在该实施例中，上述缺陷区域分割模型的训练过程包括：

步骤1，获取与目标表面图像属于同一应用场景的目标域图像；

之后进行步骤2，根据目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像；

具体的，步骤2中，如图2所示，分别对目标域图像和原始源域图像进行傅里叶变换，得到原始源域图像所对应的第一幅度谱（对应于图2中源域幅值）和第一相位谱（对应于图2中源域相位），以及得到目标域图像所对应的第二幅度谱（对应于图2中目标域幅值）和第二相位谱（对应于图2中目标域相位）；

将第一幅度谱中低频部分数据替换为第二幅度谱中低频部分数据，得到替换后的第三幅度谱（图2中未示出），其中，低频部分数据为幅度谱中频率小于等于预设门限频率的谱图数据；

根据第三幅度谱和第一相位谱进行傅里叶逆变换，将逆变换后得到的图像作为具有目标域图像数据分布特性的源域图像；

为进一步提高方法对场景的针对性，保证精度，不同应用场景中对应的门限频率取值应是有所针对的，作为一种具体的实施方式，步骤2上述过程中，针对门限频率取值，在方法实现中，可先确定应用场景，再基于确定出的应用场景，确定预设门限频率的取值，而为方法实施的便利性，可以预先配置应用场景和门限频率取值对应关系，基于该对应关系实现预设门限频率取值的确定。

作为一种具体的实施方式，针对预设门限频率的取值，还可通过配置，使预设门限频率的取值为幅度谱频率范围上限取值的三分之一，该种方式也可得到较好的最终效果，并有利于方法在更多场景（如对应关系未涉及的场景）的适用性。

作为一种具体的实施方式，步骤2上述过程中，将第一幅度谱中低频部分数据替换为第二幅度谱中低频部分数据，得到替换后的第三幅度谱，具体为：

以幅度谱的中点为圆心，预设长度为半径，在第二幅度谱上确定要抠取的圆形区域，其中，预设长度基于预设门限频率确定；

提取第二幅度谱上所述圆形区域所对应的谱图，将谱图对应替换到第一幅度谱中，以得到第三幅度谱。

再之后，进行步骤3，利用步骤2中具有目标域图像数据分布特性的源域图像对模型进行有监督训练，得到训练好的缺陷区域分割模型。

该实施例中，在具有目标域图像数据分布特性的源域图像的过程，具体采用基于傅里叶变换并进行低频部分数据替换的方案，相比相关技术中采用生成对抗网络（GAN）实现无监督机器学习的方式，实现简单高效，有利于整体技术方案在工业现场的推广应用。

图3为本申请一个实施例提供的无监督域适应的表面缺陷区域分割装置的结构示意图，如图3所示，该无监督域适应的表面缺陷区域分割装置300包括：

获取模块301，用于获取目标表面图像；

分割处理模块302，用于利用训练好的缺陷区域分割模型对目标表面图像进行缺陷区域分割处理；

训练模块303，用于对缺陷区域分割模型进行训练，训练模块303具体配置为：

获取与目标表面图像属于同一应用场景的目标域图像；

根据目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像；

利用具有目标域图像数据分布特性的源域图像对模型进行有监督训练。

进一步地，训练模块303的具体配置过程中，根据目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像，包括：

分别对目标域图像和原始源域图像进行傅里叶变换，得到原始源域图像所对应的第一幅度谱和第一相位谱，以及得到目标域图像所对应的第二幅度谱和第二相位谱；

其中，低频部分数据为幅度谱中频率小于等于预设门限频率的谱图数据。

进一步地，训练模块303具体配置过程中，将第一幅度谱中低频部分数据替换为第二幅度谱中低频部分数据，得到替换后的第三幅度谱，具体为：

提取第二幅度谱上圆形区域所对应的谱图，将谱图对应替换到所述第一幅度谱中，以得到第三幅度谱。

进一步地，训练模块303还包括预设门限频率确定子模块（图中未示出），该预设门限频率确定子模块被配置为：

确定应用场景；基于确定出的应用场景，确定所述预设门限频率的取值。

作另一种具体的实施方式，预设门限频率确定子模块，被配置为，

获取幅度谱的频率范围信息，将幅度谱频率范围上限值的三分之一作为预设门限频率的取值。

关于上述相关实施例中的无监督域适应的表面缺陷区域分割装置300，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4为本申请一个实施例提供的电子设备的结构示意图，如图4所示，该电子设备400包括：

存储器401，其上存储有可执行程序；

处理器402，用于执行存储器401中的可执行程序，以实现上述方法的步骤。

关于上述实施例中的电子设备400，其处理器402执行存储器401中的程序的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种无监督域适应的表面缺陷区域分割方法，其特征在于，包括：

获取目标表面图像；

其中，所述缺陷区域分割模型的训练过程包括：

获取与所述目标表面图像属于同一应用场景的目标域图像；

利用所述具有目标域图像数据分布特性的源域图像对模型进行有监督训练，得到所述训练好的缺陷区域分割模型；

其中，

所述根据所述目标域图像对带有标注的原始源域图像进行处理，得到具有目标域图像数据分布特性的源域图像，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定应用场景；

基于确定出的应用场景，确定所述预设门限频率的取值。

3.根据权利要求1所述的方法，其特征在于，所述预设门限频率的取值为幅度谱频率范围上限值的三分之一。

4.根据权利要求1所述的方法，其特征在于，所述将第一幅度谱中低频部分数据替换为第二幅度谱中低频部分数据，得到替换后的第三幅度谱，具体为：

5.根据权利要求1所述的方法，其特征在于，所述缺陷区域分割模型为PSPnet模型或U-Net模型。

6.一种无监督域适应的表面缺陷区域分割装置，其特征在于，包括：

获取模块，用于获取目标表面图像；

获取与所述目标表面图像属于同一应用场景的目标域图像；

利用所述具有目标域图像数据分布特性的源域图像对模型进行有监督训练；

其中，

7.一种电子设备，其特征在于，包括：

存储器，其上存储有可执行程序；

处理器，用于执行所述存储器中的所述可执行程序，以实现权利要求1-5中任一项所述方法的步骤。