CN110009019A - 磁性材料裂纹智能检测***及方法 - Google Patents

Abstract

本发明磁性材料裂纹智能检测***，包括：数据采集模块；深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的材料断层裂纹的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；测量模块；卷积神经网络算法模块；训练库：包括基础数据库、深入学习库和成熟型断层裂纹特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。

Description

磁性材料裂纹智能检测***及方法

技术领域

本发明涉及显微镜设备及基于显微镜设备的检测技术，具体的，其展示一种磁性材料裂纹智能检测***及方法。

背景技术

电力零配件生产行业如电子变压器、电感器件等厂家，其材料生产线或者材料使用过程中对磁性材料本身质量要求很高，尤其是精细材料加工和精细试验所用到的材料，要求更为严格。

实际工程中，磁性材料断层裂纹肉眼难以发现，而如果使用显微镜确实能够观察断层裂纹的情况，但由于太过精微，兼之人类自身记忆带来的缺陷，不容易识别并总结这类断层裂纹质量问题，使得这类测量带有主观因素造成的误差增大。

因此我们希望通过图像领域的人工智能技术解决此项目提出的问题。

因此，有必要提供一种磁性材料裂纹智能检测***及方法来解决上述问题。

发明内容

本发明的目的是提供一种磁性材料裂纹智能检测***，其通过机器视觉人工智能检测技术，对待识别的磁性材料进行图像识别，在高倍率的显微图像基础上采用深度学习技术不断训练软件对于各种磁性材料断层图像组成的目标检测过程，对感兴趣的磁性材料断层裂纹进行分类识别，最终达到对该类磁性材料断层裂纹的智能高精度识别和检测，为磁性材料断层裂纹检测提供有意义的方法。

技术方案如下：

一种磁性材料裂纹智能检测***，包括：

数据采集模块：从显微镜设备采集图像；

深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的材料断层裂纹的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；

测量模块：即测量算法，包括点测定、直线测定、圆测定、多边形面积测定、不规则面积测定；

卷积神经网络算法模块：对材料断层处包含裂纹的图像的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；

训练库：包括基础数据库、深入学习库和成熟型断层裂纹特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；

以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。

进一步的，还包括用户界面：可视化图像采集设备属性读取、设置界面，包括分辨率等属性；可视化测量界面，包括手动测量，划线；智能识别开启、选择图片、选择特定材料裂纹图片等人工配置选项。

进一步的，还包括图像预识别模块：负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能。

本发明的目的之二是提供一种磁性材料裂纹智能检测方法。

具体方案如下：

一种磁性材料裂纹智能检测方法，步骤如下：

1）数据采集模块实时采集显微镜设备的图像数据；

2）用户通过用户界面模块或者手动配置用于材料裂纹图像识别的学习训练基础特征图片库；

3）提取图像特征，进行图像优化，得到特征数据；

4）对图像特征进行分类识别，对该磁性材料的各种裂纹情况（图像）分类训练；

5）运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到所有包含图像中不同裂纹的特征结果和上下文数据；

6）输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。

进一步的，获取待检测磁性材料高清高倍率图像并进行预处理；

预处理包括如下步骤：

A1） 将待检测磁性材料的高清高倍率图像进行尺寸变换至预设大小；

A2）将步骤A1）中尺寸变换后的图像进行边缘检测得到边缘图像；

A3）对边缘图像进行霍夫变换并提取检测区域得到长条形图像；

A4）将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。

进一步的，将预处理后的图像输入至预先训练好的材料断层裂纹检测模型进行结构检测得到磁性材料上指定类型材料断层裂纹明显或可能存在的位置，并给出该位置为目标材料断层裂纹的置信度；材料指定的材料断层裂纹目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标材料断层裂纹位置以及置信度。

进一步的，目标材料断层裂纹检测模型的训练方法步骤为：

B1）建立本文所述的深度网络；

B2）采集海量或尽可能大量的该材料断层裂纹图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的RECT(x,y,width,height)，得到数据样本；

B3）将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；

B4）将步骤B3）得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。

与现有技术相比，本发明可以直接输入原始图像进行材料的材料断层裂纹检测，最终输出该图像中是否存在该类型材料断层裂纹样本，若存在，则给出该材料材料断层裂纹位置的坐标及其置信度。任意输入一张待检测图片，该图片为生产材料的显微镜高清高倍率材料断层裂纹图，经过上述所有目标检测步骤后，获得目标检测结束输出的图像，该图像中标注着检测目标的坐标位置与属于目标材料断层裂纹的置信度。经过大量训练，目标材料断层裂纹的识别率达到95%。

附图说明

图1是本发明的结构示意图。

图2是本发明的流程示意图。

具体实施方式

实施例：

请参阅图1至图2，本实施例展示一种磁性材料裂纹智能检测***，包括：

数据采集模块：从显微镜设备采集图像；

深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的材料断层裂纹的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；

测量模块：即测量算法，包括点测定、直线测定、圆测定、多边形面积测定、不规则面积测定；

卷积神经网络算法模块：对材料断层处包含裂纹的图像的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；

训练库：包括基础数据库、深入学习库和成熟型断层裂纹特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；

以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。

还包括用户界面：可视化图像采集设备属性读取、设置界面，包括分辨率等属性；可视化测量界面，包括手动测量，划线；智能识别开启、选择图片、选择特定材料裂纹图片等人工配置选项。

还包括图像预识别模块：负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能。

利用本实施例进行检测，步骤如下：

1）数据采集模块实时采集显微镜设备的图像数据；

2）用户通过用户界面模块或者手动配置用于材料裂纹图像识别的学习训练基础特征图片库；

3）提取图像特征，进行图像优化，得到特征数据；

4）对图像特征进行分类识别，对该磁性材料的各种裂纹情况（图像）分类训练；

5）运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到所有包含图像中不同裂纹的特征结果和上下文数据；

6）输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。

获取待检测磁性材料高清高倍率图像并进行预处理；

预处理包括如下步骤：

A1） 将待检测磁性材料的高清高倍率图像进行尺寸变换至预设大小；

A2）将步骤A1）中尺寸变换后的图像进行边缘检测得到边缘图像；

A3）对边缘图像进行霍夫变换并提取检测区域得到长条形图像；

A4）将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。

将预处理后的图像输入至预先训练好的材料断层裂纹检测模型进行结构检测得到磁性材料上指定类型材料断层裂纹明显或可能存在的位置，并给出该位置为目标材料断层裂纹的置信度；材料指定的材料断层裂纹目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标材料断层裂纹位置以及置信度。

目标材料断层裂纹检测模型的训练方法步骤为：

B1）建立本文所述的深度网络；

B2）采集海量或尽可能大量的该材料断层裂纹图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的RECT(x,y,width,height)，得到数据样本；

B3）将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；

B4）将步骤B3）得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。

其中：特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；

卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图；

局部响应归一化层采用5像素*5像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图；

最大池化层采用5像素*5像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图；

平均池化层采用5像素*5像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，上述精确的特征图即最终对应的特征提取基本单元输出的特征图；

经过5个依次级联的特征提取基本单元最终输出特征图像。

5个依次级联的特征提取基本单元中的卷积层计算方式如下：

第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30。

第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60。

第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90。

第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128。

第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。

分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器。

第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量。

第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量。

分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于待识别材料断层裂纹类型并给出属于该类型材料断层裂纹的置信度。

回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的目标材料断层裂纹位置信息。

搭建深度网络。对于一个深度学习神经网络，特征是分类的依据，特征选取的越有代表性，则分类结果越好，因此该步骤是对上一步提取出的待检测区域进行特征提取，得到待检测图像的有效特征，以便后续网络进行分类、回归。

本方案使用深度学习目标检测领域中的最前沿算法，Faster-RCNN算法思想，搭建了适于材料指定材料断层裂纹检测的深度学习网络。将目标检测的四个基本步骤(候选区域生成，特征提取，分类，位置精修)统一到同一个深度网络框架之内。重复性计算开支极大地减小并在GPU中完成，从而大大提高了运行速度。

卷积层是利用卷积核在图像上滑动，对图像进行卷积操作。卷积操作可以用来对图像做边缘检测，锐化，模糊等，在此处用于对图像特征的提取。在本方案中，通过控制卷积核的大小来控制各层提取不同的特征，而每个卷积核(就是个矩阵)中每个元素通过训练部分确定，即训练时需要修改权重。对图像进行卷积操作，是对图像区域中的每个像素分别于卷积核的每个元素对应相乘，所有乘积之和作为区域中心像素的新值。

局部响应归一化层是对图像领域内(5*5像素)的每个像素值进行均值和方差的归一化，达到消除背景和光照影响，突出特征的作用。均值和方差的归一化即，将原始图像领域内每个像素值集归一化为均值为0、方差1的数据，这样的数据具有良好的度量性。归一化公式为：

z＝χ-μ/σ

其中z表示归一化之后的值，x表示归一化前的像素值，μ表示输入图像领域内像素值的均值，σ表示输入图像领域内像素值的方差。

最大池化层是对邻域内(本方案使用3*3的区域)所有像素值求最大值，可以缩小数据量，同时实现对提取的特征的平移不变性。

平均池化层是对邻域内(本方案使用3*3的区域)所有像素值球平均值，可以缩小数据量，同时增强提取的特征对微小形变的鲁棒性。

在该网络中，每输入一张图片便可以得到256张特征图输出，在提取好的特征图上生成候选框，候选框的作用是用来判断某一区域是否可能存在目标，随后对这些候选框进行分类与回归，分类的作用是判断每个候选框内是否包括待检测的物体，回归的作用是将所有可能包含待检测物体的候选框进行组合、合并，并对位置进行修正。进行候选框分类与回归的网络结构由两个全连接层完成，每个全连接层的节点数为1024个。至此该软件即完成了对一张图片的特征提取，同时生成了候选框，并对可能包含待检测材料断层裂纹的候选框进行了分类，并给出了回归参数。

全连接层是该层的任意一个节点，都和下一层的所有节点有连接，这样下一层的输出就和上一层的所有输入有关。而由于第一个全连接层与特征提取网络的输出相连，也就是使得最终的输出与所有提取出的特征有关。全连接层的每个节点的权重需要通过反向传播法训练确定。

由于全连接层的存在，使得最终输出与每个特征都相关，但有时训练样本可能不能代表被识别的所有情况，就可能出现过拟合情况。dropout层通过随机地隐藏一些全连接层的节点增加来防止过拟合，增强泛化能力。

SoftmaxWithLoss层仅在训练时存在，是对全连接层最终输出结果的评价，用来计算分类器分类结果与真实值之间的差距。

分类器最终输出每一个位置上属于前景(待检测物体)和背景的概率；窗口器最终输出每一个位置上应该平移缩放的参数。

对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。

对采集图片的特征提取就到此完成，同时生成了候选框，并对可能包含待检测材料断层裂纹的候选框进行了分类，并给出了回归参数。

样本标记和模型训练

经过前面的技术手段标记出存在目标材料断层裂纹的区域，给出存在目标材料断层裂纹区域的起点坐标与终点坐标后，将大量标记好的样本送入深度网络中进行训练，其训练过程可概括为：

首先考察训练集中的每张图像；

C1)对每个标定的真值候选区域，与其重叠比例最大的候选框记为前景样本；

C2)对C1)剩余的候选框，如果其与某个标定重叠比例大于0.7，记为前景样本。如果其与任意一个标定的重叠比例都小于0.3，记为背景样本；

C3)对C1), C2)剩余的候选框，弃去不用；

C4)跨越图像边界的候选框弃去不用；

随后将所有提取到的特征及生成的候选框送入分类与回归网络中，便可以得到每个候选框属于前景和背景的概率以及用以回归的参数。将这些得到的结果与真实值(人工标记的结果)进行对比，使用代价函数来评价识别值与真实值的差异，最后通过神经网络通用的反向迭代算法，调整网络中的各个链接权值，使得分类误差和回归误差同时最小化。

利用已训练的模型识别某材料的材料断层裂纹。

与现有技术相比，本发明可以直接输入原始图像进行材料的材料断层裂纹检测，最终输出该图像中是否存在该类型材料断层裂纹样本，若存在，则给出该材料材料断层裂纹位置的坐标及其置信度。任意输入一张待检测图片，该图片为生产材料的显微镜高清高倍率材料断层裂纹图，经过上述所有目标检测步骤后，获得目标检测结束输出的图像，该图像中标注着检测目标的坐标位置与属于目标材料断层裂纹的置信度。经过大量训练，目标材料断层裂纹的识别率达到95%。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种磁性材料裂纹智能检测***，其特征在于：包括：

数据采集模块：从显微镜设备采集图像；

深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的材料断层裂纹的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；

测量模块：即测量算法，包括点测定、直线测定、圆测定、多边形面积测定、不规则面积测定；

卷积神经网络算法模块：对材料断层处包含裂纹的图像的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；

训练库：包括基础数据库、深入学习库和成熟型断层裂纹特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；

以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。

2.根据权利要求1所述的一种磁性材料裂纹智能检测***，其特征在于：还包括用户界面：可视化图像采集设备属性读取、设置界面，包括分辨率等属性；可视化测量界面，包括手动测量，划线；智能识别开启、选择图片、选择特定材料裂纹图片等人工配置选项。

3.根据权利要求2所述的一种磁性材料裂纹智能检测***，其特征在于：还包括用户界面：还包括图像预识别模块：负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能。

4.一种磁性材料裂纹智能检测方法，其特征在于：其利用权利要求1所述的磁性材料裂纹智能检测***进行磁性材料裂纹智能检测，步骤如下：

1)数据采集模块实时采集显微镜设备的图像数据；

2)用户通过用户界面模块或者手动配置用于材料裂纹图像识别的学习训练基础特征图片库；

3)提取图像特征，进行图像优化，得到特征数据；

4)对图像特征进行分类识别，对该磁性材料的各种裂纹情况(图像)分类训练；

5)运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到所有包含图像中不同裂纹的特征结果和上下文数据；

6)输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。

5.根据权利要求4所述的一种磁性材料裂纹智能检测方法，其特征在于：获取待检测磁性材料高清高倍率图像并进行预处理；

预处理包括如下步骤：

A1)将待检测磁性材料的高清高倍率图像进行尺寸变换至预设大小；

A2)将步骤A1)中尺寸变换后的图像进行边缘检测得到边缘图像；

A3)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；

A4)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。

6.根据权利要求5所述的一种磁性材料裂纹智能检测方法，其特征在于：将预处理后的图像输入至预先训练好的材料断层裂纹检测模型进行结构检测得到磁性材料上指定类型材料断层裂纹明显或可能存在的位置，并给出该位置为目标材料断层裂纹的置信度；材料指定的材料断层裂纹目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标材料断层裂纹位置以及置信度。

7.根据权利要求6所述的一种磁性材料裂纹智能检测方法，其特征在于：目标材料断层裂纹检测模型的训练方法步骤为：

B1)建立本文所述的深度网络；

B2)采集海量或尽可能大量的该材料断层裂纹图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的RECT(x,y,width,height)，得到数据样本；

B3)将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；

B4)将步骤B3)得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。