CN112102229A - 一种基于深度学习的工业ct检测缺陷的智能识别方法 - Google Patents

Abstract

一种基于深度学习的工业CT检测缺陷的智能识别方法，采集工业CT检测图像；对工业CT检测图像进行处理，得到深度学习数据集；搭建U‑net网络；U‑net网络训练；利用训练好的U‑net网络对新的工业CT检测图像的缺陷进行自动识别。本发明无需复杂的特征提取过程，可以将工业CT检测图像直接输入到U‑net网络中，大大减少了预处理的难度；由于通过卷积操作采用局部感受野和权值共享技术减少了参数空间，大幅度降低了算法的复杂度；本发明采用U‑net网络进行工业CT检测缺陷识别，具有高准确率、低危害性缺陷漏检率和高灵敏度的特点。

Description

一种基于深度学习的工业CT检测缺陷的智能识别方法

技术领域

本发明涉及缺陷的智能识别方法，具体涉及一种基于深度学习的工业CT检测缺陷的智能识别方法。

背景技术

工业计算机断层扫描成像技术(Industrial Computed Tomography)，简称为工业CT技术，CT重建基本理论被提出后，随着科学技术的发展和进步，工业CT设备的性能逐年提高，成本逐渐下降，工业CT技术得到了迅猛发展，被认为是目前最佳的无损检测手段。工业CT技术结合了计算机、自动控制、机械、光学物理等多项技术，它可以保证被检测物体在不被物理破坏的情况下获得物体的断层图像，是目前发展国防科技、航空航天技术及大型项目必不可少的技术，已广泛应用于航天、航空、军事、核能、石油、电子、机械、新材料研究、海关及考古等多种领域。

工业CT切片图像在成像过程中易受噪声、伪影等因素影响，导致缺陷图像部分区域对比度很低、灰度范围狭窄、灰度变化不明显以及缺陷边缘往往较为模糊等特点，这些特点直接影响缺陷分割与识别的可靠性，导致缺陷的识别精度以及缺陷的识别率低。目前，仍采用人工的方式对工业CT检测图片中的缺陷进行判定，这种方法虽然简单易行，但是其评定完全依赖于检测人员的经验，个体差异大，人工评估眼睛疲劳、标准理解等人为因素影响，使得漏检或者误检概率极大。

发明内容

本发明的目的在于提供一种基于深度学习的工业CT检测缺陷的智能识别方法，以解决工业CT缺陷检测人工评定时完全依赖于检测人员的经验，个体差异大，人工评估眼睛疲劳、标准理解等人为因素影响，使得漏检或者误检概率极大的问题，通过建立工业CT缺陷自动识别模型U-Net网络，以卷积和池化运算提取缺陷特征，融合缺陷的深层特征和浅层特征，经多次反卷积操作实现融合特征的精准定位，得到缺陷区域的二值图像，从而实现端到端的图像语义分割，最终实现工业CT检测缺陷的高准确率、低危害性缺陷漏检率和高灵敏度射线检测。

为实现上述目的，本发明采用如下技术方案予以实现：

一种基于深度学习的工业CT检测缺陷的智能识别方法，包括以下步骤：

步骤1：采集工业CT检测图像；

步骤2：对工业CT检测图像进行处理，得到深度学习数据集；

步骤3：搭建U-net网络；

步骤4；利用深度学习数据集对U-net网络进行训练；

步骤5：利用训练好的U-net网络对新的工业CT检测图像的缺陷进行自动识别。

本发明进一步的改进在于，步骤2)的具体过程为：在工业CT检测图像中选取数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像作为图像集，然后将图像集分为测试集和训练集，测试集和训练集中均包括数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像，测试集和训练集组成深度学习数据集。

本发明进一步的改进在于，步骤3)的具体过程如下：

一、下采样过程：

1)将CT断层图像进行2次卷积操作，得到第一卷积图像，然后将第一卷积图像进行最大池化操作，得到第一最大池化层；

2)对第一最大池化层进行2次卷积操作，得到第二卷积图像，然后将第二卷积图像进行最大池化操作，得到第二最大池化层；

3)对第二最大池化层进行2次卷积操作，得到第三卷积图像，然后将第三卷积图像进行最大池化操作，得到第三最大池化层；

4)对第三最大池化层进行2次卷积操作，得到第四卷积图像，然后将第四卷积图像进行最大池化操作，得到第四最大池化层；

5)对第四最大池化层进行2次卷积操作，得到缺陷的环境信息图像；

二、上采样过程：

a)对缺陷的环境信息图像进行反卷积操作，得到第一反卷积图像，然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接，进行卷积操作；

b)将步骤a)进行卷积操作后的图像进行反卷积操作，得到第二反卷积图像，然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接，进行卷积操作；

c)将步骤b)进行卷积操作后的图像进行反卷积操作，得到第三反卷积图像，然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接，进行卷积操作；

d)将步骤c)进行卷积操作后的图像进行反卷积操作，得到第四反卷积图像，然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接，进行卷积操作；

e)将CT断层图像进行复制和剪裁，然后与步骤d)进行卷积操作后的图像拼接，再进行三次卷积操作，得到特征图；

f)最后在特征图上增加Softmax层。

本发明进一步的改进在于，上采样和下采样中的每次卷积操作采用下式进行：

式中：

为卷积层l的输出张量；l为卷积层的标号；

为卷积层l的输入张量；

f_m,n为尺寸为H×W的卷积核；H为高度，W为宽度；

i为张量的横坐标，j为张量的纵坐标；

m为卷积核的横坐标，n为卷积核的纵坐标。

本发明进一步的改进在于，上采样和下采样中的每次最大池化操作采用下式进行：

x_i,j＝Max{x_{i×s+k，j×s+k}}，k＝0,1,…,K

式中：x_i,j为图像坐标(i,j)最大池化后的结果；s为滑动步长，K为局部区域边长。

本发明进一步的改进在于，Softmax层的表达式为:

式中：pk(x)是第k类的对像素点x的分类结果，α_k(x)代表像素x在特征图中的第k层激活值；K是像素点的类别总数。

本发明进一步的改进在于，步骤4)的具体过程为：首先初始化U-net网络的所有参数，并向U-net网络中输入训练集和测试集，然后进行前向传播训练，根据训练结果计算U-net网络在测试集上的准确率，并判断准确率是否达到预定值或是否达到预定的训练次数，若达到预定值或达到预定的训练次数，则结束训练，反之进行反向传播训练，计算权重和偏置值，根据计算的权重和偏置值更新权重和偏置值，将更新后的权重和偏置值代入U-net网络再进行前向传播训练，直至误差最小。

本发明进一步的改进在于，误差采用损失函数进行计算。

本发明进一步的改进在于，损失函数为交叉熵损失函数Loss，具体如下：

其中，y为期望输出，

为真实输出。

本发明进一步的改进在于，采用下式更新权重和偏置值：

式中：W_t为当前U-net网络的权重，b_t为当前U-net网络的偏置值；

W_t+1为更新后的U-net网络的权重，b_t+1为更新后的U-net网络的偏置值；

η为学习率；

t为迭代次数。

与现有技术相比，本发明具有的有益效果：

第一：本发明无需复杂的特征提取过程，可以将工业CT检测图像直接输入到U-net网络中，大大减少了预处理的难度；

第二：由于通过卷积操作采用局部感受野和权值共享技术减少了参数空间，大幅度降低了算法的复杂度；

第三：本发明采用U-net网络进行工业CT检测缺陷识别，具有高准确率、低危害性缺陷漏检率和高灵敏度的特点；

第四：相对于传统的缺陷识别模型，U-net网络具有更强大的特征表达能力，泛化能力强、鲁棒性较好。本发明提出利用U-net网络学习输入工业CT检测图像中的特征信息，进行检测缺陷的分类识别。

进一步的，构建U-net网络时，下采样和上采样过程中采用次抽样技术增强了网络鲁棒性，能容忍图像一定程度的畸变。

进一步的，本发明通过建立工业CT缺陷自动识别模型即U-net网络，以卷积和池化运算提取缺陷特征，融合缺陷的深层特征和浅层特征，经多次反卷积操作实现融合特征的精准定位，得到缺陷已分类好的图片，从而实现端到端的图像语义分割，最终实现工业CT检测缺陷的高准确率、低危害性缺陷漏检率和高灵敏度射线检测。

附图说明

图1是工业CT检测图像；

图2是本发明基于深度学习的工业CT检测缺陷的智能识别流程图；

图3是U-net网络结构；

图4是U-net训练流程；

为了更清楚的说明本发明实施案例或现有技术中的技术方案，下面将对实施例中所需使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施案例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

具体实施方式

下面结合具体的事例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

如图2所示，本发明提供的基于深度学习的工业CT检测缺陷的智能识别方法，该方法包含工业CT检测缺陷图像的处理和基于深度学习网络模型进行缺陷识别两部分，具体包括如下步骤：

第一部分：工业CT检测缺陷图像的获取及处理

步骤1：工业CT检测图像的采集。采用的GE公司的微纳米焦点CT采集CT断层图像，CT断层图像如图1所示。

步骤2：深度学习数据集准备。在工业CT检测图像中选取数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像作为图像集，然后将图像集分为测试集和训练集，测试集和训练集中均包括数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像。

具体的，所采集的工业CT检测图像尺寸较大，且同一幅图像中包含多种缺陷。本发明从采集的800幅CT断层图像中随机选取700幅，截取具有裂纹、气孔、夹杂存在的目标区域和正常增材制件断层区域的20000幅图像。采用双线性插值法将截取的图像尺寸缩小并标准化，使所截取的图像大小为28×28像素，通过图像增强算法(包括亮度变换、水平翻转等)扩充到70000幅图像，一定程度上提升了数据集的多样性。然后对70000幅图像进行人工分类筛选，以避免数据样本选取的单一性和误选性，从而得到深度学习数据集。整个数据集全部用于U-net网络的模型训练、参数优化和结果测试，分别从正常、裂纹、气孔和夹杂4类图像中各随机选择15000幅，组成60000幅样本图像的训练集，剩余10000幅样本图像作为测试集。

第二部分：基于深度学习网络模型进行缺陷识别

步骤3：U-net网络搭建。

U-net网络是一个基于CNN的图像分割网络，主要用于医学图像分割上，网络最初提出时是用于细胞壁的分割，之后在肺结节检测以及眼底视网膜上的血管提取等方面都有着出色的表现。所搭建的U-net网络结构如图3所示，U-net网络结构是对称的，形似英文字母U所以被称为U-net。从整体来看，U-net网络采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。

整个U-net网络的构建过程具体如下：

下采样过程，包括以下步骤：

1)将CT断层图像进行2次卷积操作，得到第一卷积图像，然后将第一卷积图像进行最大池化操作，得到第一最大池化层；

2)对第一最大池化层进行2次卷积操作，得到第二卷积图像，然后将第二卷积图像进行最大池化操作，得到第二最大池化层；

3)对第二最大池化层进行2次卷积操作，得到第三卷积图像，然后将第三卷积图像进行最大池化操作，得到第三最大池化层；

4)对第三最大池化层进行2次卷积操作，得到第四卷积图像，然后将第四卷积图像进行最大池化操作，得到第四最大池化层；

5)对第四最大池化层进行2次卷积操作，得到缺陷的环境信息图像；

具体的，假设最初输入的图像大小为：572×572的灰度图(即CT断层图像)，经过2次3×3×64(64个卷积核，得到64个特征图)的卷积核进行卷积操作变为568×568×64大小，然后进行2×2的最大池化操作变为248×248×64。按照上述过程重复进行4次(一次包括2次卷积操作与1次最大池化操作)，即进行(3×3卷积+2×2池化)×4次，在每进行一次池化之后的第一个3×3卷积操作，3×3卷积核数量成倍增加。达到最底层时即第4次最大池化之后，图像变为32×32×512大小，然后再进行2次的3×3×1024的卷积操作，最后变化为28×28×1024的大小的图像。

上采样过程，包括以下步骤：

1)对缺陷的环境信息图像进行反卷积操作，得到第一反卷积图像，然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接，进行卷积操作；

2)将步骤1)进行卷积操作后的图像进行反卷积操作，得到第二反卷积图像，然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接，进行卷积操作；

3)将步骤2)进行卷积操作后的图像进行反卷积操作，得到第三反卷积图像，然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接，进行卷积操作；

4)将步骤3)进行卷积操作后的图像进行反卷积操作，得到第四反卷积图像，然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接，进行卷积操作；

5)将步骤4)进行卷积操作后的图像进行复制和剪裁，然后与CT断层图像拼接，再进行三次卷积操作，得到特征图；

6)最后在特征图上增加一层Softmax层。

具体过程为：此时图像的大小为28×28×1024，首先进行2×2的反卷积操作，得到大小为56×56×512反卷积图像，然后对第四卷积图像进行复制和剪裁(copy and crop)，然后与反卷积图像拼接起来得到56×56×1024大小的图像，然后再进行3×3×512的卷积操作。按照上述过程重复进行4次，即进行(2×2反卷积+3×3卷积)×4次，在每进行一次拼接之后的第一个3×3卷积操作，3×3卷积核数量成倍减少。达到最上层时即第4次反卷积之后，图像变为392×392×64的大小，对CT断层图像进行复制和剪裁然后与392×392×64大小的图像拼接得到392×392×128的大小，然后再进行两次3×3×64的卷积操作，得到388×388×64大小的图像，最后再进行一次1×1×2的卷积操作，得到两张特征图。

得到的特征图中会有每个像素所属类别的概率，通过Softmax函数结合所有特征图求出该像素所属类别的最大概率即像素所属类别，从而产生了一张已经分类的图片。

上采样和下采样中的每次卷积操作采用下式进行：

式中：

为卷积层l的输出张量；l为卷积层的标号；

为卷积层l的输入张量；

f_m,n为尺寸为H×W的卷积核；H为高度，W为宽度；

i为张量的横坐标，j为张量的纵坐标；

m为卷积核的横坐标，n为卷积核的纵坐标。

上采样和下采样中的每次最大池化操作采用下式进行：

x_i,j＝Max{x_{i×s+k，j×s+k}}，k＝0,1,…,K

式中：x_i,j为图像坐标(i,j)最大池化后的结果；s为滑动步长，K为局部区域边长。

Softmax层的表达式为:

式中：pk(x)是第k类的对像素点x的分类结果，就是概率；α_k(x)代表代表像素x在特征图中的第k层激活值，也就是表示每一像素点x对应特征通道(k)的得分；K是像素点的类别总数。

步骤4；U-net网络训练和参数优化。将工业CT检测缺陷图片输入搭建好的U-net网络进行训练，优化深度学习网络的参数使识别效果达到最优。

如图4所示，训练具体过程为：首先初始化U-net网络各项参数，并向U-net网络中输入训练集、测试集(包含工业CT检测图片和相应的缺陷类别标签)，然后进行前向传播训练，计算各层误差，训练的目标是使误差降到最小。通过损失函数度量误差的大小，所采用的损失函数为交叉熵损失函数Loss，具体如下：

其中y为期望输出，

为真实输出，根据交叉熵损失函数Loss来反向传播。

按照下式更新参数：

式中：

W_t为当前U-net网络的权重，b_t为当前U-net网络的偏置值；

W_t+1为更新后的U-net网络的权重，b_t+1为更新后的U-net网络的偏置值；

η为学习率，设置为0.01；

t为迭代次数。

参数更新一次迭代次数加1，迭代学习1000轮，每隔100轮打印验证集的准确率并保存U-net网络参数，最终获得训练好的U-net网络。

每次训练时，根据训练结果计算U-net网络在测试集上的准确率，并判断准确率是否达到预定值或是否达到预定的训练次数，若达到预定值或达到预定的训练次数，则结束训练，反之进行反向传播训练，计算相应权重和偏置值，根据计算的权重和偏置值调整各层的权重和偏置值，将调整后的权重和偏置值代入U-net网络再进行前向传播训练使误差降到最小。

如此往复训练直到达到终止条件(准确率达到预定值或达到预定的训练次数，准确率的预定值基于网络性能和工程实际来综合选取)。

步骤5：对工业CT检测图像进行自动识别。U-net网络训练好之后就可以将新的工业CT检测图像输入U-net网络，网络通过学习到的缺陷特征对新的工业CT检测图像的缺陷进行自动识别和分类。

经典缺陷识别主要流程是先对输入图像进行预处理即去噪、增强以及剪裁伸缩等，然后利用滑动窗口方法对图像进行候选区域筛选，接着对候选区域进行特征提取，最后利用分类算法对提取的特征进行分类，分类方法包括AdaBoost，SVM等，分类结果用来判断候选区域中的目标所属类别，通过目标类别再对目标进行边框回归。典型的缺陷识别模型有很多不足，例如不同特征需要选择不同的分类器，因此鲁棒性不是太强。相对于传统的缺陷识别模型，基于深度学习的缺陷识别模型具有更强大的特征表达能力，泛化能力强、鲁棒性较好。深度学习的性能很大程度上取决于网络的结构，对于不同类型的数据和问题，目前已发展了多种不同的网络结构模型。本发明提出利用U-net网络学习输入数据中的特征信息，进行检测缺陷的分类识别。

本发明采用缺陷自动识别可以实现缺陷的快速识别与分类，减少人员工作时间，避免人为因素对缺陷评定的失误，对于提高工业CT检测的质量及效率具有重要意义。

本发明通过基于U-net网络对已标注好的图片进行学习，不断调整网络参数，使得网络能对未知类别的缺陷进行识别，从而实现对工业CT检测图片进行智能化的分析和判别。利用上述方法，结合网络数据库端应用，为检测人员提供在线或离线工件缺陷识别***。二者结合能够减轻检测人员的工作负担，提供高效准确的工业辅助诊断，从而提高工业CT检测的精确性和效率，降低缺陷漏检率。

Claims (10)

1.一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，包括以下步骤：

步骤1：采集工业CT检测图像；

步骤2：对工业CT检测图像进行处理，得到深度学习数据集；

步骤3：搭建U-net网络；

步骤4；利用深度学习数据集对U-net网络进行训练；

步骤5：利用训练好的U-net网络对新的工业CT检测图像的缺陷进行自动识别。

2.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，步骤2)的具体过程为：在工业CT检测图像中选取数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像作为图像集，然后将图像集分为测试集和训练集，测试集和训练集中均包括数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像，测试集和训练集组成深度学习数据集。

3.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，步骤3)的具体过程如下：

一、下采样过程：

1)将CT断层图像进行2次卷积操作，得到第一卷积图像，然后将第一卷积图像进行最大池化操作，得到第一最大池化层；

2)对第一最大池化层进行2次卷积操作，得到第二卷积图像，然后将第二卷积图像进行最大池化操作，得到第二最大池化层；

3)对第二最大池化层进行2次卷积操作，得到第三卷积图像，然后将第三卷积图像进行最大池化操作，得到第三最大池化层；

4)对第三最大池化层进行2次卷积操作，得到第四卷积图像，然后将第四卷积图像进行最大池化操作，得到第四最大池化层；

5)对第四最大池化层进行2次卷积操作，得到缺陷的环境信息图像；

二、上采样过程：

a)对缺陷的环境信息图像进行反卷积操作，得到第一反卷积图像，然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接，进行卷积操作；

b)将步骤a)进行卷积操作后的图像进行反卷积操作，得到第二反卷积图像，然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接，进行卷积操作；

c)将步骤b)进行卷积操作后的图像进行反卷积操作，得到第三反卷积图像，然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接，进行卷积操作；

d)将步骤c)进行卷积操作后的图像进行反卷积操作，得到第四反卷积图像，然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接，进行卷积操作；

e)将CT断层图像进行复制和剪裁，然后与步骤d)进行卷积操作后的图像拼接，再进行三次卷积操作，得到特征图；

f)最后在特征图上增加Softmax层。

4.根据权利要求3所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，上采样和下采样中的每次卷积操作采用下式进行：

式中：

为卷积层l的输出张量；l为卷积层的标号；

为卷积层l的输入张量；

f_m，n为尺寸为H×W的卷积核；H为高度，W为宽度；

i为张量的横坐标，j为张量的纵坐标；

m为卷积核的横坐标，n为卷积核的纵坐标。

5.根据权利要求3所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，上采样和下采样中的每次最大池化操作采用下式进行：

x_i，j＝Max{x_{i×s+k，j×s+k}}，k＝0，1，...，K

式中：x_i，j为图像坐标(i，j)最大池化后的结果；s为滑动步长，K为局部区域边长。

6.根据权利要求3所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，Softmax层的表达式为：

式中：pk(x)是第k类的对像素点x的分类结果，α_k(x)代表像素x在特征图中的第k层激活值；K是像素点的类别总数。

7.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，步骤4)的具体过程为：首先初始化U-net网络的所有参数，并向U-net网络中输入训练集和测试集，然后进行前向传播训练，根据训练结果计算U-net网络在测试集上的准确率，并判断准确率是否达到预定值或是否达到预定的训练次数，若达到预定值或达到预定的训练次数，则结束训练，反之进行反向传播训练，计算权重和偏置值，根据计算的权重和偏置值更新权重和偏置值，将更新后的权重和偏置值代入U-net网络再进行前向传播训练，直至误差最小。

8.根据权利要求7所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，误差采用损失函数进行计算。

9.根据权利要求8所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，损失函数为交叉熵损失函数Loss，具体如下：

其中，y为期望输出，

为真实输出。

10.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法，其特征在于，采用下式更新权重和偏置值：

式中：W_t为当前U-net网络的权重，b_t为当前U-net网络的偏置值；

W_t+1为更新后的U-net网络的权重，b_t+1为更新后的U-net网络的偏置值；

η为学习率；

t为迭代次数。

Images