CN111915603A - 一种含噪声ebsd数据中无噪声相图的人工智能预测方法 - Google Patents

Abstract

本发明提供一种含噪声EBSD数据中无噪声相图的人工智能预测方法，涉及EBSD数据处理及人工智能应用技术领域。通过深度学习方法建立EBSD的Band Contrast map(BC图)与phase map(相图)之间的对应关系。为使模型可以通过输入含噪声的BC图预测其对应的无噪声相图，模型训练时将噪声人工引入到训练数据中，应用深度学习建立起噪声BC图像与无噪声相图之间的关系。该方法大幅提升了EBSD噪声数据的可利用价值，相比于EBSD处理软件，该方法预测的相图具有更高的精度。基于此模型可以通过输入含噪声BC图像直接预测得到无噪声的相图，使低质量高噪声的EBSD数据具有更高的可利用价值，提升了EBSD方法对于噪声的鲁棒性，降低了由于噪声造成无效数据带来的时间和经济损失。

Description

一种含噪声EBSD数据中无噪声相图的人工智能预测方法

技术领域

本发明涉及EBSD数据处理及人工智能应用技术领域，尤其涉及一种含噪声EBSD数据中无噪声相图的人工智能预测方法。

背景技术

20世纪90年代以来，随着晶体微区取向和晶体结构的分析技术的快速进步，电子背散射花样(Electron Back-scattering Patterns，简称EBSP)已在材料微观组织结构及微织构表征中广泛应用，该技术也被称为电子背散射衍射(Electron BackscatteredDiffraction，简称EBSD)。EBSD技术能够实现全自动采集微区取向信息，具有样品制备较简单，数据采集速度快，分辨率高等特点，为快速定量统计研究材料的微观组织结构和织构奠定了基础，已成为材料研究中一种有效的分析手段，广泛应用于多种多晶体材料领域用以研究取向关系信息、相变过程、界面性能以及相鉴定等。在实际EBSD实验过程中，为获得高空间解析率及高图像质量往往需要调节众多仪器参数，例如，扫描步长、扫描速率和曝光时间等。但是，由于每种材料之间具有不同的物理和化学性质导致最优实验参数变化不一。同时受到实验者对实验材料了解程度及仪器操作经验限制，往往在EBSD实验中获得一些低质量的实验结果。其中，图像含有大量噪声是最常见的一种低质量EBSD结果，并且多种因素都可以导致实验图像中出现噪声点，例如低空间识别率、不合适的曝光时间和加速电压等等。含噪声的低质量数据一方面会影响处理后图像的完整性，另一方面噪声量大时会影响定量化结果的精度，导致实验结果无效，造成研究人员在经济和时间上的损失。虽然EBSD数据处理软件具有降噪功能，例如Channel 5软件。但是该类软件降噪原理依旧是基于扫描数据收集的取向信息进行近似判定，在实际应用中处理大噪声数据时易出现误标定的问题，影响处理结果的精度。

近些年来，基于深度学习方法的图像识别技术快速发展并且在材料科学领域也取得一些应用成果，例如美国卡内基梅隆大学的DeCost等应用PixelNet网络同样以像素级别的精度分类的高碳钢中不同的显微组织；德国宇航研究中心的Seyed Majid Azimi等人应用全连接神经网络以像素级别的精度在SEM照片中分割出不同的相，并将不同的相自动标注不同颜色进行区分。当前图像识别方法在显微组织识别方面的成果已经很好的证实了其强大的学习和预测能力。同时研究还发现，基于神经网络的图像识别方法在应用过程中表现出了优良的抗噪声干扰能力。基于深度学习方法具有的优良显微组织识别能力和抗噪声干扰能力，因而该方法十分适用于处理含有噪声的EBSD图像结果。

发明内容

针对现有技术的不足，本发明提供一种含噪声EBSD数据中无噪声相图的人工智能预测方法，通过深度学习方法建立EBSD的Band Contrast map(BC图)与phase map(相图)之间的对应关系。为使模型可以通过输入含噪声的BC图预测其对应的无噪声相图，模型训练时将噪声人工引入到训练数据中，进而获得具有优良抗噪声能力的深度学习模型。

本发明所采取的技术方案是：

一种含噪声EBSD数据中无噪声相图的人工智能预测方法，包括以下步骤：

步骤1：应用EBSD实验采集目标材料的BC图和相图数据，数据集中包含的BC图及其相图不低于N组，建立目标材料的数据集，向BC图中加入噪声，具体步骤如下：

步骤1.1：在目标材料的不同区域进行EBSD实验，实验组数不低于N组，应用EBSD数据处理软件获得每组实验数据的BC图及相图。

步骤1.2：应用深度学习软件向原始BC图像中添加随机盐椒噪声，添加噪声后BC图像的信噪比设置为i，相图图像不做处理；

步骤2：对目标材料的BC图和相图数据进行预处理并建立训练数据集；

步骤2.1：应用图像处理软件对含盐椒噪声的BC图及相图进行切分，形成M个P×P像素的子图，处理后共计获得M×N个子图；所述切分的过程中保证BC图与相应的相图具有严格的像素点对应关系；子图以6：4比例划分为训练数据集和测试数据集，即60％的BC图(input)及对应的相图(output)被划分进训练数据集；40％的BC图(input)及对应的相图(output)被划分进测试数据集。

步骤2.2：采用数据增强的方法分别将训练数据集中全部样本分别顺时针翻转90°，180°和270°，随后将这些翻转后的图像添加至原始训练数据集，使训练数据集的样本数量增加3倍，处理后以含有盐椒噪声的BC图像做为深度学习模型的输入，相应的相图作为深度学习模型的输出；

步骤3：根据步骤2扩充后的训练数据集建立U-Net深度学习模型；训练好的深度学习模型通过输入含噪声的BC图获得无噪声的相图；

步骤3.1建立U-Net深度学习模型，模型由压缩路径和扩展路径构成，在压缩路径中包含4个卷积层，每个卷积层后面跟随一个最大池化操作；扩展路径中包含4个反卷积层，每个反卷积后面跟随一个上卷积操作；每个卷积层与对应的反卷积层之间使用一个“跳跃层”进行连接。

所述卷积层均采用3×3卷积核，激活函数选择ReLU，ReLU公式近似推导如下：

f(x)＝≈max(0,x)

其中x为输入数值，提升模型的收敛速率及精度，采用批量归一化(BatchNormalization)处理数据，伪代码如下：

y_i←γm_i+β≡BN_γ,β(x_i)

其中，x_i为第i个数据，m为数据量，μ_B为批量数据均值；

为批量数据的方差；m_i为批量数据归一化结果；ξ为常数；BN表示归一化转换网络，γ和β为该网络中的训练参数；y_i为归一化数据引入缩放和平移操作后的数据，即最终输出结果。

步骤3.2：将步骤2中深度学习模型的输入数据和输出数据分别输入深度学习模型中，采用Adam优化器对深度学习模型进行训练，并进行参数优化；

所述Adam优化器公式运算逻辑如下：

所述Adam优化器的公式参数设定：

为g_t的元素乘操作；α为学习率；β₁,β₂∈[0,1)为矩估计的指数衰减率；f(θ)为参数θ的随机目标函数值；θ₀为初始的参数向量；m₀←0为初始第一矩向量；v₀←0为第二矩向量；t←0为时间步长；

所述Adam优化器的优化过程：

当θ_t未收敛时：{t←t+1，g_t←▽_θf_t(θ_t-1)获得新一轮的梯度值；

m_t←β₁·m_t-1+(1-β₁)·g_t更新第一矩向量；

v_t←β₂·v_t-1+(1-β₂)·g_t ²更新第二矩向量；

计算偏差校正的第一矩向量；

计算偏差校正的第二矩向量；

更新参数；}

优化过程结束；优化过程中采用Mean Square Error(MSE)做为深度学习模型性能的评价指标；设置深度学习模型训练的迭代次数为t。

步骤3.3对深度学习模型训练完毕后，应用测试集中图像数据测试模型的对新数据的预测能力，预测精度使用MIoU指标评价，所述MIoU指标评价表征模型预测结果与实际结果之间不同相的重合比例，公式如下：

其中n_ab表示类别a被预测为类别b的数量；n_cl代表分类任务的类别数量；t_a＝∑_bn_ab为类别a的所有像素点数量；若测试集中数据预测结果的MIoU均值大于75％，则模型精度达到应用要求；否则返回到步骤3.2，通过调节优化器学习率、更换训练过程评价函数、调节迭代次数重新对深度学习模型进行训练，直至满足应用要求。

步骤4：深度学习模型的应用；通过深度学习模型的训练建立噪声BC图像与相图之间的准确对应关系，在深度学习模型应用过程中，将实验中获得的含有噪声的BC图像按照步骤2中的方法将其切分为P×P像素的子图，将这些子图输入到深度学习模型中预测得到对应的无噪声相图，将预测的无噪声相图应用深度学习软件拼接成原始大小的图像。

采用上述技术方案所产生的有益效果在于：

本发明提供一种含噪声EBSD数据中无噪声相图的人工智能预测方法，应用深度学习建立起噪声BC图像与无噪声相图之间的关系。该方法大幅提升了EBSD噪声数据的可利用价值，相比于EBSD处理软件，该方法预测的相图具有更高的精度。基于此模型可以通过输入含噪声BC图像直接预测得到无噪声的相图，使低质量高噪声的EBSD数据具有更高的可利用价值，提升了EBSD方法对于噪声的鲁棒性，降低了由于噪声造成无效数据带来的时间和经济损失。

附图说明

图1为本发明人工智能预测方法总体流程图；

图2为本发明实施例U-Net模型结构示意图；

图3为本发明实施例人工智能模型对不同噪声程度的EBSD数据的相图预测结果示意图。

具体实施方式

下面结合附图对本发明具体实施方式加以详细的说明。

一种含噪声EBSD数据中无噪声相图的人工智能预测方法，如图1所示，包括以下步骤：

步骤1：应用EBSD实验采集目标材料的BC图和相图，建立目标材料的数据集；

通过EBSD实验采集BC图和相图数据，数据集中包含的BC图及其相图不低于N组，向BC图中加入噪声，所述噪声为模拟实验中产生的噪声数据，具体步骤如下：

步骤1.1：在目标材料的不同区域进行EBSD实验，实验组数不低于N组，应用EBSD数据处理软件Channel 5获得每组实验数据的BC图及相图。

本实施例中采用双相钢(铁素体+马氏体)作为目标材料，采集数据的实验组数为10组。

步骤1.2：应用深度学习软件Open CV工具箱向原始BC图像中添加随机盐椒噪声，添加噪声后BC图像的信噪比设置为i，相图图像不做处理，在本实施例中处理后图像的信噪比i＝0.5；

步骤2：数据预处理及训练数据集的建立；

步骤2.1：应用图像处理软件Photo Shop软件对含盐椒噪声的BC图及相图进行切分，形成M个P×P像素的子图，处理后共计获得M×N个子图；所述切分的过程中保证BC图与相应的相图具有严格的像素点对应关系；子图以6：4比例划分为训练数据集和测试数据集，即60％的BC图(input)及对应的相图(output)被划分进训练数据集；40％的BC图(input)及对应的相图(output)被划分进测试数据集。

在本实施例中将图像数据切分128×128像素的小图像，即P＝128。10组图像数据经切分中形成400个子图，即M＝400；其中240张子图(240张BC图和240张对应的相图)被划分为训练集，160张子图(160张BC图和160张对应的相图)被划分为测试集。

步骤2.2：采用数据增强的方法分别将训练数据集中全部样本分别顺时针翻转90°，180°和270°，随后将这些翻转后的图像添加至原始训练数据集，使训练数据集的样本数量增加3倍，处理后以含有盐椒噪声的BC图像做为深度学习模型的输入，相应的相图作为深度学习模型的输出；

本实例中通过数据增强方法后训练集中样本数量增加至960张。

步骤3：根据步骤2扩充后的训练数据集建立U-Net深度学习模型，由于当前训练数据集包含图像数据量有限，因而选择了适用于小样本问题的U-Net模型，模型的结构如图2所示；训练好的深度学习模型通过输入含噪声的BC图获得无噪声的相图；

步骤3.1建立U-Net深度学习模型，模型由压缩路径和扩展路径构成，在压缩路径中包含4个卷积层，每个卷积层后面跟随一个最大池化操作；扩展路径中包含4个反卷积层，每个反卷积后面跟随一个上卷积操作；每个卷积层与对应的反卷积层之间使用一个“跳跃层”进行连接。反卷积过程参数与卷积操作一致，卷积核为卷积操作用卷积核的转置操作结果。卷积与反卷积过程之间采用跳跃层(Skip Layer)进行连接，这样操作可以使卷积过程中提取的特征直接叠加至反卷积过程的图像重构中，使图像的大量细节细心得以保留，充分利用小样本数据。

所述卷积层均采用3×3卷积核，激活函数选择ReLU，ReLU公式近似推导如下：

f(x)＝≈max(0,x)

其中x为输入数值，提升模型的收敛速率及精度，采用批量归一化(BatchNormalization)处理数据，伪代码如下：

y_i←γm_i+β≡BN_γ,β(x_i)

其中，x_i为第i个数据，m为数据量，μ_B为批量数据均值；

为批量数据的方差；m_i为批量数据归一化结果；ξ为常数；BN表示归一化转换网络，γ和β为该网络中的训练参数；y_i为归一化数据引入缩放和平移操作后的数据，即最终输出结果。

步骤3.2：将步骤2中深度学习模型的输入数据和输出数据分别输入深度学习模型中，采用Adam优化器对深度学习模型进行训练，并进行参数优化；

所述Adam优化器公式运算逻辑如下：

所述Adam优化器的公式参数设定：

为g_t的元素乘操作；α为学习率；β₁,β₂∈[0,1)为矩估计的指数衰减率；f(θ)为参数θ的随机目标函数值；θ₀为初始的参数向量；m₀←0为初始第一矩向量；v₀←0为第二矩向量；t←0为时间步长；

所述Adam优化器的优化过程：

当θ_t未收敛时：{t←t+1，g_t←▽_θf_t(θ_t-1)获得新一轮的梯度值；

m_t←β₁·m_t-1+(1-β₁)·g_t更新第一矩向量；

v_t←β₂·v_t-1+(1-β₂)·g_t ²更新第二矩向量；

计算偏差校正的第一矩向量；

计算偏差校正的第二矩向量；

更新参数；}

优化过程结束；优化过程中采用Mean Square Error(MSE)做为深度学习模型性能的评价指标；设置深度学习模型训练的迭代次数为t。

在本实施例中优化器Adam中学习率α设置为10^-3，模型训练中的评价函数选择MSE，模型迭代次数t＝5000。

步骤3.3对深度学习模型训练完毕后，应用测试集中图像数据测试模型的对新数据的预测能力，预测精度使用MIoU指标评价，所述MIoU指标评价表征模型预测结果与实际结果之间不同相的重合比例，公式如下：

其中n_ab表示类别a被预测为类别b的数量；n_cl代表分类任务的类别数量；t_a＝∑_bn_ab为类别a的所有像素点数量；若测试集中数据预测结果的MIoU均值大于75％，则模型精度达到应用要求；否则返回到步骤3.2，通过调节优化器学习率、更换训练过程评价函数、调节迭代次数重新对深度学习模型进行训练，直至满足应用要求。

本实例中应用上述数据及模型参数，训练得到模型对测试集数据的预测结果MIoU均值为88.7％。

步骤4：深度学习模型的应用；

通过深度学习模型的训练建立噪声BC图像与相图之间的准确对应关系，在深度学习模型应用过程中，将实验中获得的含有噪声的BC图像按照步骤2中的方法将其切分为M个P×P像素的子图，将这些子图输入到深度学习模型中预测得到对应的无噪声相图，随后再将预测的无噪声相图应用深度学习软件拼接成原始大小的图像。

在本实施例中，通过在EBSD实验中对同一位置采用不同的曝光时间获得含不同噪声数量的数据。选取的曝光时间分别为1ms，2ms，3ms以及40ms。将含有噪声的BC图像按照步骤2中的方法将其切分为12个128×128像素的子图，将这些子图输入到模型中预测得到它们对应的无噪声的相图，随后再将这些预测的相图应用OpenCV工具箱拼接成原始大小的图像，结果如图3所示。从图中可以看到：对于大噪声数据(1ms和2ms)，处理软件降噪后的结果存在大量误标定的数据点，而当前人工智能模型的预测结果十分准确，成功根据大噪声BC图预测了相图。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (3)

1.一种含噪声EBSD数据中无噪声相图的人工智能预测方法，其特征在于：包括以下步骤：

步骤1：应用EBSD实验采集目标材料的BC图和相图数据，数据集中包含的BC图及其相图不低于N组，建立目标材料的数据集，向BC图中加入噪声，具体步骤如下：

步骤1.1：在目标材料的不同区域进行EBSD实验，实验组数不低于N组，应用EBSD数据处理软件获得每组实验数据的BC图及相图；

步骤1.2：应用深度学习软件向原始BC图像中添加随机盐椒噪声，添加噪声后BC图像的信噪比设置为i，相图图像不做处理；

步骤2：对目标材料的BC图和相图数据进行预处理并建立训练数据集；

步骤3：根据步骤2扩充后的训练数据集建立U-Net深度学习模型；训练好的深度学习模型通过输入含噪声的BC图获得无噪声的相图；

步骤4：深度学习模型的应用；通过深度学习模型的训练建立噪声BC图像与相图之间的准确对应关系，在深度学习模型应用过程中，将实验中获得的含有噪声的BC图像按照步骤2中的方法将其切分为P×P像素的子图，将这些子图输入到深度学习模型中预测得到对应的无噪声相图，将预测的无噪声相图应用深度学习软件拼接成原始大小的图像。

2.根据权利要求1所述的一种结合EBSD与深度学习方法的钢铁材料组织定量化方法，其特征在于，所述步骤2具体包括：

步骤2.1：应用图像处理软件对含盐椒噪声的BC图及相图进行切分，形成M个P×P像素的子图，处理后共计获得M×N个子图；所述切分的过程中保证BC图与相应的相图具有严格的像素点对应关系；子图以6：4比例划分为训练数据集和测试数据集，即60％的BC图(input)及对应的相图(output)被划分进训练数据集；40％的BC图(input)及对应的相图(output)被划分进测试数据集；

步骤2.2：采用数据增强的方法分别将训练数据集中全部样本分别顺时针翻转90°，180°和270°，随后将这些翻转后的图像添加至原始训练数据集，使训练数据集的样本数量增加3倍，处理后以含有盐椒噪声的BC图像做为深度学习模型的输入，相应的相图作为深度学习模型的输出。

3.根据权利要求1所述的一种结合EBSD与深度学习方法的钢铁材料组织定量化方法，其特征在于，所述步骤3具体包括：

步骤3.1建立U-Net深度学习模型，模型由压缩路径和扩展路径构成，在压缩路径中包含4个卷积层，每个卷积层后面跟随一个最大池化操作；扩展路径中包含4个反卷积层，每个反卷积后面跟随一个上卷积操作；每个卷积层与对应的反卷积层之间使用一个“跳跃层”进行连接；

所述卷积层均采用3×3卷积核，激活函数选择ReLU，ReLU公式近似推导如下：

f(x)＝≈max(0,x)

其中x为输入数值，提升模型的收敛速率及精度，采用批量归一化(BatchNormalization)处理数据，伪代码如下：

y_i←γm_i+β≡BN_γ,β(x_i)

其中，x_i为第i个数据，m为数据量，μ_B为批量数据均值；

为批量数据的方差；m_i为批量数据归一化结果；ξ为常数；BN表示归一化转换网络，γ和β为该网络中的训练参数；y_i为归一化数据引入缩放和平移操作后的数据，即最终输出结果；

步骤3.2：将步骤2中深度学习模型的输入数据和输出数据分别输入深度学习模型中，采用Adam优化器对深度学习模型进行训练，并进行参数优化；

所述Adam优化器公式运算逻辑如下：

所述Adam优化器的公式参数设定：

为g_t的元素乘操作；α为学习率；β₁,β₂∈[0,1)为矩估计的指数衰减率；f(θ)为参数θ的随机目标函数值；θ₀为初始的参数向量；m₀←0为初始第一矩向量；v₀←0为第二矩向量；t←0为时间步长；

所述Adam优化器的优化过程：

当θ_t未收敛时：{t←t+1，g_t←▽_θf_t(θ_t-1)获得新一轮的梯度值；

m_t←β₁·m_t-1+(1-β₁)·g_t更新第一矩向量；

v_t←β₂·v_t-1+(1-β₂)·g_t ²更新第二矩向量；

计算偏差校正的第一矩向量；

计算偏差校正的第二矩向量；

更新参数；}

优化过程结束；优化过程中采用Mean Square Error(MSE)做为深度学习模型性能的评价指标；设置深度学习模型训练的迭代次数为t；

步骤3.3对深度学习模型训练完毕后，应用测试集中图像数据测试模型的对新数据的预测能力，预测精度使用MIoU指标评价，所述MIoU指标评价表征模型预测结果与实际结果之间不同相的重合比例，公式如下：

其中n_ab表示类别a被预测为类别b的数量；n_cl代表分类任务的类别数量；t_a＝∑_bn_ab为类别a的所有像素点数量；若测试集中数据预测结果的MIoU均值大于75％，则模型精度达到应用要求；否则返回到步骤3.2，通过调节优化器学习率、更换训练过程评价函数、调节迭代次数重新对深度学习模型进行训练，直至满足应用要求。

Images