CN114612453B - 基于深度学习和稀疏表示模型的基建表面缺陷检测方法 - Google Patents

Abstract

本发明公开了基于深度学习和稀疏表示模型的基建表面缺陷检测方法，由以下步骤组成：利用缺陷训练集和正常训练集对卷积神经网络模型进行训练；利用训练后的卷积神经网络模型进行特征提取，并输入到稀疏表示模型中，求解每一张图像关于正常特征字典D_nor和缺陷特征字典的重构误差r_nor，将待测图像特征集f_test与正常特征字典D_nor输入到稀疏表示模型中计算得到稀疏系数α_nor和重构误差t_nor，当t_nor＞δ_nor时，将待测图像特征集f_test与缺陷特征字典D_def输入到稀疏表示模型中计算得到稀疏系数α_def和重构误差t_def；当t_nor＞t_def＞δ_def时，得出待测图像为缺陷样本；本发明利用稀疏表示模型在小样本条件下实现物体表面缺陷高精度检测，能够克服现有的物体表面缺陷检测技术对训练样本依赖程度高的问题。

Description

基于深度学习和稀疏表示模型的基建表面缺陷检测方法

技术领域

本发明属于缺陷检测技术领域，尤其涉及基于深度学习和稀疏表示模型的基建表面缺陷检测方法。

背景技术

随着我国社会经济的不断发展以及生产制造业的不断进步，不断涌现的各种类型的产品、设备以及设施极大满足了人们的生产与生活的需求，并逐渐成为人们日常生活中不可或缺的一部分。但这些产品、设备以及设施在使用过程中，由于折损老化、人工操作不当以及自然破坏等原因，会不可避免地产生缺陷。例如：电子产品中PCB板材的蚀刻缺陷、工业钢材的表面缺陷、木制材料的表面缺陷以及基础设施的表面缺陷等。这些物体表面缺陷会对产品的性能以及使用安全造成不同程度的影响，严重的还可能会危及到使用者的生命安全。因此，对物体表面缺陷进行有效地检测对提高社会生产生活的安全具有十分重要的实际意义。在目前一些工业和民用建筑的桥梁、隧道以及公路等许多基础设施上经常能够观察到裂缝缺陷的存在，其中一些裂缝缺陷的存在会使得基础设施的使用安全得不到保障。

早期的物体表面缺陷检测主要通过人工目视或者人工操作特定仪器观测并进行人工判读来实现。由于此方法对操作人员的依赖性较大，同时还存在效率低、劳动强度大、易受人工经验以及主观因素影响的缺点。针对人工检测的诸多弊端，研究人员提出了通过图像处理进行物体表面缺陷检测的方法。随着深度学习的引入，涌现出了一批高效、高准确度的缺陷检测方法。此类缺陷检测方法利用神经网络对待检测图像的特征进行高维度建模，自主学习图像中的底层纹理以及高层语义特征，获得图像中更加丰富的表征信息和对图像的多层次描述，从而对图像中是否存在缺陷进行高效、高准确度的检测。

基于深度学习的缺陷检测方法通常采用有监督的学习方法，即需要大量的有标签的训练样本(包括正常样本和缺陷样本)对网络模型进行训练。然而，在很多实际应用场景中，缺陷样本的获取比较困难，往往难以获得足够数量的训练用缺陷样本，导致网络模型欠拟合，进而在检测过程中无法对缺陷样本进行有效检测。同时，由于缺陷样本的多样性，即使采用高效的特征表示方法也无法基于数量有限的缺陷样本实现缺陷特征的有效表示，因此，小样本条件下，基于深度学习的检测方法无法对缺陷(特别是未被训练样本涵盖的新类型缺陷)进行有效检测。

发明内容

本发明的目的是提供基于深度学习和稀疏表示模型的基建表面缺陷检测方法，以解决小样本条件下的物体表面缺陷检测难的问题。

本发明采用以下技术方案：基于深度学习和稀疏表示模型的基建表面缺陷检测方法，由以下步骤组成：

步骤S1：采集基建表面的图像形成图像集，将图像集中存在缺陷的图像归为一类形成缺陷样本集，将图像集中表现正常的图像归为一类形成正常样本集；将缺陷样本集分为缺陷训练集和缺陷验证集，将正常图像集分为正常训练集和正常验证集；

步骤S2：利用缺陷训练集和正常训练集对卷积神经网络模型进行训练；

步骤S3：利用训练后的卷积神经网络模型对缺陷训练集和正常训练集的特征进行分别提取得到缺陷特征字典D_def和正常特征字典D_nor；

步骤S4：利用训练后的卷积神经网络模型对正常验证集进行特征提取得到正常验证集特征f^top，将正常特征字典D_nor与正常验证集特征f^top输入到稀疏表示模型中，求解正常验证集中每一张图像关于正常特征字典D_nor的重构误差r_nor，设定正常特征字典阈值δ_nor，并保证正常验证集中90％图像的重构误差r_nor＜正常特征字典阈值δ_nor；

步骤S5：利用训练后的卷积神经网络模型对缺陷验证集进行特征提取得到缺陷验证集特征v_def，将缺陷特征字典D_def与缺陷验证集特征v_def输入到稀疏表示模型中，求解缺陷验证集中每一张图像关于缺陷特征字典的重构误差r_def，设定缺陷特征字典阈值δ_def，并保证缺陷验证集中90％图像的重构误差r_def＜缺陷特征字典阈值δ_def；

步骤S6：利用训练后的卷积神经网络模型对待测图像进行特征提取得到待测图像特征集f_test，将待测图像特征集f_test与正常特征字典D_nor输入到稀疏表示模型中计算得到稀疏系数α_nor和重构误差t_nor，

步骤S7：当t_nor＞δ_nor时，将待测图像特征集f_test与缺陷特征字典D_def输入到稀疏表示模型中计算得到稀疏系数α_def和重构误差t_def；

步骤S8：当t_nor＞t_def＞δ_def时，得出待测图像为缺陷样本。

进一步地，步骤S4中，计算重构误差r_nor时，需要先计算稀疏系数α_nor，其计算方法为：

假设利用卷积神经网络提取到的特征表示为f，正常特征字典表示为其中，d₁表示正常特征字典的维度，n₁表示正常特征字典的规模，利用稀疏表示模型，首先求得f与D_nor间的稀疏系数：

其中||*||₂、||*||₀分别表示L₂范数和L₀范数，α_nor表示稀疏系数，K表示稀疏度，即α_nor中非零元素个数不得多于K个。

进一步地，，步骤S4中，计算重构误差r_nor的方法为：

利用求得的稀疏系数α_nor，计算f与D_nor间的重构误差：

r_nor＝||f-D_norα_nor||₂ (式2)。

进一步地，步骤S5中，计算重构误差r_def时，需要先计算稀疏系数α_def，其计算方法为：

假设利用卷积神经网络提取到的特征表示为f，缺陷特征字典表示为其中，d₂表示缺陷特征字典的维度，n₂表示缺陷特征字典的规模，利用稀疏表示模型，首先求得f与缺陷特征字典D_def间的稀疏系数：

其中||*||₂、||*||₀分别表示L₂范数和L₀范数，α_def表示稀疏系数，K表示稀疏度，即α_def中非零元素个数不得多于K个。

进一步地，步骤S5中，计算重构误差r_def的方法为：

利用求得的稀疏系数α_def，计算特征f与缺陷特征字典D_def间的重构误差：

r_def＝||f-D_defα_def||₂ (式4)。

本发明的有益效果是：本发明能够实现物体表面缺陷自动化检测，避免因为人工检测带来的检测结果的误差甚至错误；采用深度学习技术，可以利用卷积神经网络模型从图像中自动学习图像特征，无需人工设计特征学习算法；利用稀疏表示模型在小样本条件下实现物体表面缺陷高精度检测，能够克服现有的物体表面缺陷检测技术对训练样本依赖程度高的问题；能够克服现有物体表面缺陷检测技术无法在检测过程中对未被训练样本覆盖的缺陷类型进行有效检测的问题；采用稀疏表示算法，能够仅利用相应字典中的少数原子实现原始信号的近似表示，这对于实现小样本条件下的物体表面缺陷检测任务具有一定的启发性。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明针对缺陷样本稀缺条件下物体表面缺陷的高精度自动化检测问题，设计了基于深度学习和稀疏表示模型的物体表面自动缺陷检测方法，对物体表面是否存在缺陷进行判断。该算法能够有效降低物体表面缺陷检测过程中对训练样本数量(特别是缺陷样本数量)的依赖，提高自动化检测的检测精度。同时，相关研究成果还能够有效降低维护工作的成本，提高维护对象的使用安全性，具有一定的实用价值与较为广阔的应用前景。

本发明公开了基于深度学习和稀疏表示模型的基建表面缺陷检测方法，由以下步骤组成：

步骤S1：采集基建表面的图像形成图像集，将图像集中存在缺陷的图像归为一类形成缺陷样本集，将图像集中表现正常的图像归为一类形成正常样本集；将缺陷样本集分为缺陷训练集、缺陷验证集，将正常图像集分为正常训练集、正常验证集；

步骤S2：利用缺陷训练集和正常训练集对卷积神经网络模型进行训练；

步骤S3：利用训练后的卷积神经网络模型对缺陷训练集和正常训练集的特征进行分别提取得到缺陷特征字典D_def和正常特征字典D_nor；其中，提取特征时提取的是全连接层的特征，

步骤S4：利用训练后的卷积神经网络模型对正常验证集进行特征提取得到正常验证集特征f^top，将正常特征字典D_nor与正常验证集特征f^top输入到稀疏表示模型中，求解正常验证集中每一张图像关于正常特征字典的重构误差r_nor，设定正常特征字典阈值δ_nor，并保证正常验证集中90％图像的重构误差r_nor＜正常特征字典阈值δ_nor；

步骤S5：利用训练后的卷积神经网络模型对缺陷验证集进行特征提取得到缺陷验证集特征v_def，将缺陷特征字典D_def与缺陷验证集特征v_def输入到稀疏表示模型中，求解缺陷验证集中每一张图像关于缺陷特征字典的重构误差r_def，设定缺陷特征字典阈值δ_def，并保证缺陷验证集中90％图像的重构误差r_def＜缺陷特征字典阈值δ_def；

步骤S6：利用训练后的卷积神经网络模型对待测图像进行特征提取得到待测图像特征集f_test，将待测图像特征集f_test与正常特征字典D_nor输入到稀疏表示模型中计算得到稀疏系数α_nor和重构误差t_nor，

步骤S7：当t_nor＞δ_nor时，将待测图像特征集f_test与缺陷特征字典D_def输入到稀疏表示模型中计算得到稀疏系数α_def和重构误差t_def；

步骤S8：当t_nor＞t_def＞δ_def时，得出待测图像为缺陷样本。

其中，所述步骤S4中，计算重构误差r_nor时，需要先计算稀疏系数α_nor，其计算方法为：

假设利用卷积神经网络提取到的特征表示为f，正常特征字典表示为其中，d₁表示正常特征字典的维度，n₁表示正常特征字典的规模，利用稀疏表示模型，首先求得f与D_nor间的稀疏系数：

其中||*||₂、||*||₀分别表示L₂范数和L₀范数，α_nor表示稀疏系数，K表示稀疏度，即α_nor中非零元素个数不得多于K个；

其中，所述步骤S4中，计算重构误差r_nor的方法为：

利用求得的稀疏系数α_nor，计算f与D_nor间的重构误差：

r_nor＝||f-D_norα_nor||₂ (式2)

其中，所述步骤S5中，计算重构误差r_def时，需要先计算稀疏系数α_def，其计算方法为：

假设利用卷积神经网络提取到的特征表示为f，缺陷特征字典表示为其中，d₂表示缺陷特征字典的维度，n₂表示缺陷特征字典的规模，利用稀疏表示模型，首先求得f与缺陷特征字典D_def间的稀疏系数：

其中||*||₂、||*||₀分别表示L₂范数和L₀范数，α_def表示稀疏系数，K表示稀疏度，即α_def中非零元素个数不得多于K个。

其中，所述步骤S5中，计算重构误差r_def的方法为：

利用求得的稀疏系数α_def，计算特征f与缺陷特征字典D_def间的重构误差：

r_def＝||f-D_defα_def||₂ (式4)

实施例1

本实施例应用于基建表面裂纹缺陷的检测，选用的数据集是通过线上收集和线下采集的混凝土基建图像，一共包含890张图像。首先对收集到的图像进行分类，没有裂纹缺陷的样本归为正常样本形成正常样本集，有裂纹缺陷的样本归为缺陷样本形成缺陷样本集。

因此该实例中，包含645个正常样本，205个缺陷样本，对645个正常样本的正常样本集进行划分得到正常训练集和正常验证集，对205个缺陷样本分为缺陷训练集、缺陷验证集。其中，正常训练集中包含500个正常样本，正常验证集中包含100个正常样本；缺陷训练集中包含60个缺陷样本，缺陷验证集中包含 100个缺陷样本。

利用缺陷训练集和正常训练集分别对VGG19网络模型进行训练，利用训练好的卷积神经网络模型提取训缺陷训练集和正常训练集中每张图像的特征，利用网络最后一层输出f^top作为图像特征，将每张图像的特征按列排列构成正常特征字典D_nor和缺陷特征字典D_def。

利用训练后的卷积神经网络模型对正常验证集进行特征提取得到正常验证集特征f^top，将正常特征字典D_nor与正常验证集特征f^top输入到稀疏表示模型中，求解正常验证集中每一张图像关于正常特征字典的重构误差r_nor，设定正常特征字典阈值δ_nor，并保证正常验证集中90％图像的重构误差r_nor＜正常特征字典阈值δ_nor。

利用训练后的卷积神经网络模型对缺陷验证集进行特征提取得到缺陷验证集特征v_def，将缺陷特征字典D_def与缺陷验证集特征v_def输入到稀疏表示模型中，求解缺陷验证集中每一张图像关于缺陷特征字典的重构误差r_def，设定缺陷特征字典阈值δ_def，并保证缺陷验证集中90％图像的重构误差r_def＜缺陷特征字典阈值δ_def。

利用训练后的卷积神经网络模型对待测图像进行特征提取得到待测图像特征集，将待测图像特征集f_test与正常特征字典D_nor输入到稀疏表示模型中计算得到稀疏系数α_nor和重构误差t_nor。

当t_nor＞δ_nor时，将待测图像特征集f_test与缺陷特征字典D_def输入到稀疏表示模型中计算得到稀疏系数α_def和重构误差t_def；当t_nor＞t_def＞δ_def时，得出待测图像为缺陷样本。

采用本发明中的方法，对基建表面缺陷进行检测，检测准确率为95.556％，检测漏检率为6.667％。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于深度学习和稀疏表示模型的基建表面缺陷检测方法，其特征在于，由以下步骤组成：

步骤S1：采集基建表面的图像形成图像集，将图像集中存在缺陷的图像归为一类形成缺陷样本集，将图像集中表现正常的图像归为一类形成正常样本集；将缺陷样本集分为缺陷训练集和缺陷验证集，将正常图像集分为正常训练集和正常验证集；

步骤S2：利用缺陷训练集和正常训练集对卷积神经网络模型进行训练；

步骤S3：利用训练后的卷积神经网络模型对缺陷训练集和正常训练集的特征进行分别提取得到缺陷特征字典D_def和正常特征字典D_nor；

步骤S4：利用训练后的卷积神经网络模型对正常验证集进行特征提取得到正常验证集特征f^top，将正常特征字典D_nor与正常验证集特征f^top输入到稀疏表示模型中，求解正常验证集中每一张图像关于正常特征字典D_nor的重构误差r_nor，设定正常特征字典阈值δ_nor，并保证正常验证集中90％图像的重构误差r_nor＜正常特征字典阈值δ_nor；

步骤S5：利用训练后的卷积神经网络模型对缺陷验证集进行特征提取得到缺陷验证集特征v_def，将缺陷特征字典D_def与缺陷验证集特征v_def输入到稀疏表示模型中，求解缺陷验证集中每一张图像关于缺陷特征字典的重构误差r_def，设定缺陷特征字典阈值δ_def，并保证缺陷验证集中90％图像的重构误差r_def＜缺陷特征字典阈值δ_def；

步骤S6：利用训练后的卷积神经网络模型对待测图像进行特征提取得到待测图像特征集f_test，将待测图像特征集f_test与正常特征字典D_nor输入到稀疏表示模型中计算得到稀疏系数α_nor和重构误差t_nor，

步骤S7：当t_nor＞δ_nor时，将待测图像特征集f_test与缺陷特征字典D_def输入到稀疏表示模型中计算得到稀疏系数α_def和重构误差t_def；

步骤S8：当t_nor＞t_def＞δ_def时，得出待测图像为缺陷样本。

2.根据权利要求1所示的基于深度学习和稀疏表示模型的基建表面缺陷检测方法，其特征在于，所述步骤S4中，计算重构误差r_nor时，需要先计算稀疏系数α_nor，其计算方法为：

假设利用卷积神经网络提取到的特征表示为f，正常特征字典表示为其中，d₁表示正常特征字典的维度，n₁表示正常特征字典的规模，利用稀疏表示模型，首先求得f与D_nor间的稀疏系数：

其中||*||₂、||*||₀分别表示L₂范数和L₀范数，α_nor表示稀疏系数，K表示稀疏度，即α_nor中非零元素个数不得多于K个。

3.根据权利要求2所示的基于深度学习和稀疏表示模型的基建表面缺陷检测方法，其特征在于，所述步骤S4中，计算重构误差r_nor的方法为：

利用求得的稀疏系数α_nor，计算f与D_nor间的重构误差：

r_nor＝||f-D_norα_nor||₂ (式2)。

4.根据权利要求1所示的基于深度学习和稀疏表示模型的基建表面缺陷检测方法，其特征在于，所述步骤S5中，计算重构误差r_def时，需要先计算稀疏系数α_def，其计算方法为：

假设利用卷积神经网络提取到的特征表示为f，缺陷特征字典表示为其中，d₂表示缺陷特征字典的维度，n₂表示缺陷特征字典的规模，利用稀疏表示模型，首先求得f与缺陷特征字典D_def间的稀疏系数：

其中||*||₂、||*||₀分别表示L₂范数和L₀范数，α_def表示稀疏系数，K表示稀疏度，即α_def中非零元素个数不得多于K个。

5.根据权利要求4所示的基于深度学习和稀疏表示模型的基建表面缺陷检测方法，其特征在于，所述步骤S5中，计算重构误差r_def的方法为：

利用求得的稀疏系数α_def，计算特征f与缺陷特征字典D_def间的重构误差：

r_def＝||f-D_defα_def||₂ (式4)。