CN115471713A - 基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，包括：获取含有页岩草莓状黄铁矿的页岩样品的发射扫描场图像；对所述发射扫描场图像进行标记，得到图像分割网络所需的标注数据集；构建maskRCNN实例分割网络模型；采用标注数据集进行训练，输出图像尺寸及分割图像；对分割图像进行处理，得到发射扫描场图像对应的边框范围信息和蒙版图像；构建卷积神经网络，并对边框范围信息和蒙版图像进行文字识别和粒径测量。通过上述方案，本发明具有逻辑简单、准确可靠等优点，在图像识别统计技术领域具有很高的实用价值和推广价值。

Description

基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法

技术领域

本发明涉及图像识别统计技术领域，尤其是基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法。

背景技术

在页岩气勘探领域，因为沉积环境的变化对草莓状黄铁矿粒径大小的制约非常明显，因此，利用草莓状黄铁矿粒径方式对沉积古环境的重建是非常重要的环节。目前，现有技术中对于草莓状黄铁矿的统计通常采用人工方式，即在得到页岩的微观扫描电镜照片后(或者直接在扫描电镜下)，通过人工的方式对视域内的草莓状黄铁矿的直径进行测量。该方法不仅需要研究人员的专注度，同时也要求研究人员花费大量的时间进行细致观察，存在耗时费力、统计不全、损害视力等缺点。需要说明的是，页岩中草莓状黄铁矿属于微纳米级别；传统的方式是无法进行准确可靠测量。

众所周知，近年来深度学习已经在粒度统计等方面取得了突破性的进展：如专利号为CN201711338870.X、名称为基于U-Net深度学习网络的粒度检测分析方法，该发明运用视觉粒块粒度检测技术和深度学习理论，利用U-Net深度学习网络，建立粒度检测模型，从而实现对粒度分布分析。但是，该方法主要针对日常生活和工农业生产中如面粉、水泥、塑料、造纸、橡胶、陶瓷、药品等的应用，其粒度较大，介于厘米-米级别，而页岩中草莓状黄铁矿属于微纳米级别，该方法无法对页岩中的草莓状黄铁矿进行精细而准确的粒径统计，无法适应高精度的科研和生产需求。

再如：专利号为201810202367.X、发明专利名称为一种基于深度学***均值，可得到每个矿石的粒度。但是，该方法主要解决的是工业生产中有色金属冶炼所遇到的矿石解离过程中粒度检测方法，针对的主要是岩矿石的粒度，尺度较为宏观，介于厘米-米级别。不适用于页岩这种低孔低渗储层中扫描电镜下草莓状黄铁矿粒径的准确测量和统计。

因此，急需要提出一种逻辑简单、准确可靠的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法。

发明内容

针对上述问题，本发明的目的在于提供基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，本发明采用的技术方案如下：

基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其包括以下步骤：

获取含有页岩草莓状黄铁矿的页岩样品的发射扫描场图像；

对所述发射扫描场图像进行标记，得到图像分割网络所需的标注数据集；

构建mask R CNN实例分割网络模型；所述mask R CNN实例分割网络模型由ResNet残差网络和faster R-CNN内的RPN特征提取网络共同组成骨干网络；在骨干网络内添加Mask网络作为头部网络；所述头部网络为预测分支，并进行边界框识别；

采用标注数据集进行训练，输出图像尺寸及分割图像；

对分割图像进行处理，得到发射扫描场图像对应的边框范围信息和蒙版图像；

构建卷积神经网络，并对边框范围信息和蒙版图像进行文字识别和粒径测量；

设定mask R CNN实例分割网络模型和卷积神经网络的总损失函数。

优选地，所述ResNet残差网络为ResNet50残差网络或ResNet101残差网络或ResNet152残差网络。

进一步地，所述页岩草莓状黄铁矿粒径测量方法还包括：对图像分割网络所需的标注数据集中的发射扫描场图像进行旋转、裁剪、变换亮度、加噪中的一种或几种处理。

优选地，对所述发射扫描场图像进行标记，包括第一标签、第二标签和第三标签；所述第一标签为草莓状黄铁矿；所述第二标签为发射扫描场图像的比例尺；所述第三标签为扫描电镜下测量的草莓状黄铁矿粒径大小。

进一步地，对分割图像进行处理，得到发射扫描场图像对应的边框范围信息和蒙版图像，包括：

将mask R CNN实例分割网络模型输出的分割图像利用卷积处理或尺寸变化恢复至该图像的原有尺寸，并获得对应的边框范围信息；

分离第一标签和第二标签所分割的位置数据，并生成含有草莓状黄铁矿与比例尺的单独的蒙版图像。

进一步地，所述页岩草莓状黄铁矿粒径测量方法还包括：

利用MINIST训练集和第三标签组成卷积神经网络的第二训练集；

对第二训练集内的图像进行灰度转换和二值化预处理，得到黑底白字的图像；

将预处理后的第二训练集输入至卷积神经网络，识别获得文字；

求得文字的比例尺刻度值；

利用比例尺刻度值和识别的比例尺像素值与识别的草莓状黄铁矿像素值进行值比与换算，其表达式为：

其中，M表示草莓状黄铁矿的预测粒径；C表示比例尺刻度；P_C表示比例尺长度像素值；P_M表示草莓状黄铁矿的中线像素值。

更进一步地，所述页岩草莓状黄铁矿粒径测量方法还包括：

对分割图像进行边缘检测，获取图像中对应轮廓线，并得到数个轮廓边框；

对任一轮廓线所划分的区域进行像素值计算；

识别并获得草莓状黄铁矿的轮廓边框的两对角线的中点位置，求得草莓状黄铁矿的轮廓边框的像素值长度。

优选地，所述总损失函数的表达式为：

L＝L₁+L₂

其中，L₁表示mask R CNN实例分割网络模型的损失函数；所述L₂表示卷积神经网络的损失函数；

所述mask R CNN实例分割网络模型的损失函数的表达式为：

L₁＝L_RPN+L_{fast_rcnn}+L_mask

其中，L₁表示mask R CNN实例分割网络模型的损失函数；L_RPN表示faster R-CNN内的RPN特征提取网络的损失值；L_{fast_rcnn}表示fasterR-CNN网络的损失值；L_mask表示mask网络的损失值；

所述卷积神经网络的损失函数的表达式为：

L₂＝L_cnn+L_M

其中，L_cnn为卷积神经网络文字识别网络的损失值，L_M为预测的粒径大小与预测的误差大小的损失值。

更进一步地，所述mask R CNN实例分割网络模型和卷积神经网络的任一项损失值采用二分类交叉熵损失函数求得，其表达式为：

L_BCE＝-w×(P_label×ln(P_pred)+(1-P_label)×ln(1-P_pred))

其中，L_BCE表示二分类交叉熵损失函数；w表示权重；P_label表示标签的预测值，P_Pred表示网络预测值。

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地对扫描电镜照片的草莓状黄铁矿进行边界标注，且其具有草莓状黄铁矿标签、发射扫描场图像的比例尺标签和扫描电镜下测量的草莓状黄铁矿粒径大小标签，其为后期识别计算提供保证。

(2)本发明巧妙地对训练图像进行旋转、裁剪、变换亮度、加噪等手段来增加样本训练集的数据量。

(3)本发明巧妙地采用mask R CNN实例分割网络模型，其由mask R CNN实例分割网络模型由ResNet残差网络和faster R-CNN内的RPN特征提取网络共同组成骨干网络；在骨干网络内添加Mask网络作为头部网络；所述头部网络为预测分支，并进行边界框识别。该mask R CNN实例分割网络模型的优势是可以同时完成识别与分割的任务，并且能准确可靠进行图像分割和边框范围信息输出。

(4)本发明在损失函数添加了粒径差异项，即预测的粒径大小与预测的误差大小的损失值，其有效地提升了识别准确率。

(5)本发明巧妙地生成蒙版图像，并进行灰度转换与二值化预处理，再转换为黑底白字的图像，以便于对文字进行准确可靠识别，再通过文字的比例尺长度像素值与识别的草莓状黄铁矿的像素值进行值比与换算，求得草莓状黄铁矿的准确尺寸。

(6)本发明采用组合式的网络模型，第一部分的mask r cnn网络识别分割草莓状黄铁矿和比例尺；而第二部分为cnn卷积神经网络，其识别刻度数字，并根据识别的结果进行粒径自动换算。

(7)本发明巧妙地对分割图像进行边缘检测，获得草莓状黄铁矿的轮廓区域，获取识别的草莓状黄铁矿轮廓边框两对角线的中点位置，并求得草莓状黄铁矿的像素值长度，进而获得准确的像素值，为换算提供保障。

综上所述，本发明具有逻辑简单、准确可靠等优点，在图像识别统计技术领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的逻辑流程图。

图2为本发明的训练样本图像。

图3为本发明的分割标记图像。

图4为本发明的测量输出图像。

图5为本发明网络模型结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本本实施例中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

如图1至图5所示，本实施例提供了一种基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其包括以下步骤：

第一步，获取页岩草莓状黄铁矿图像，建立训练集样本：

(1)对页岩样品进行氩离子抛光，并在高分辨率场发射扫描电镜下对氩离子抛光样品进行成像，得到页岩样品的发射扫描场(FE-SEM)图像，该图像类型为灰度图像，图像中含有实验参数与比例尺大小等文字信息；

(2)建立图像分割网络所需的标注数据集，样本集共建立三个标签：第一标签、第二标签和第三标签，其中，第一标签为草莓状黄铁矿，人工对扫描电镜照片的草莓状黄铁矿进行边界标注，若单张图片中存在多个样本，因mask R CNN网络为实例分割框架，所以多个样本需单独生成标注标签用于网络训练。第二标签为图片比例尺，将比例尺线段及刻度标注为比例尺标签，样本集图像格式转换为png格式。第三标签是扫描电镜下测量的草莓状黄铁矿粒径大小，该标签数据类型为数字。

(3)对发射扫描场图像进行含目标特征的区域识别与分割，以需要确保深度学习所需的训练集数据量；例如，对训练所需的图像进行旋转和/或裁剪和/或变换亮度和/或加噪等手段来增加样本训练集的数据量。

(4)准备实例分割组合网络的输入样本集所需的格式，该格式中包含样本集标签、定位框、分割区域位置、图片名称、高宽等信息。完成的样本集应包含训练集、验证集图片及其单独的标签数据，其中训练集验证集的比例为7：3为最佳。

第二步，搭建实例分割组合网络对进行训练：

在本实施例中，实例分割组合网络的第一部分为mask R CNN实例分割网络；第二部分为卷积神经网络。其中，第一部分由ResNet残差网络和faster R-CNN内的RPN特征提取网络共同组成骨干网络；在骨干网络内添加Mask网络作为头部网络；所述头部网络为预测分支，并进行边界框识别。其中，ResNet残差网络优选为ResNet50残差网络或ResNet101残差网络或ResNet152残差网络。在搭建网络后，需要对ResNet残差网络进行预训练参数设定。

在本实施例中，按相似的图像高宽比的采样图片组成一个批次用于训练集训练。另外，验证集采用单个样本进行验证。

本实施例的实例分割组合网络的总损失函数为：

L＝L₁+L₂

其中，L₁表示mask R CNN实例分割网络模型的损失函数；所述L₂表示卷积神经网络的损失函数。

本实施例中，mask R CNN实例分割网络模型的损失函数的表达式为：

L₁＝L_RPN+L_{fast_rcnn}+L_mask

其中，L₁表示mask R CNN实例分割网络模型的损失函数；L_RPN表示faster R-CNN内的RPN特征提取网络的损失值；L_{fast_rcnn}表示faster R-CNN网络的损失值；L_mask表示mask网络的损失值。

在本实施例中，卷积神经网络的损失函数的表达式为：

L₂＝L_cnn+L_M

其中，L_cnn为卷积神经网络文字识别网络的损失值，L_M为预测的粒径大小与预测的误差大小的损失值。

在本实施例中，mask R CNN实例分割网络模型和卷积神经网络的任一项损失值采用二分类交叉熵损失函数求得，以评价网络训练效果，其表达式为：

L_BCE＝-w×(P_label×ln(P_pred)+(1-P_label)×ln(1-P_pred))

其中，L_BCE表示二分类交叉熵损失函数；w表示权重；P_label表示标签的预测值，P_Pred表示网络预测值。

在本实施例中，mask R CNN实例分割网络输出原样本尺寸的图像尺寸及分割数据，即输出的分割图像。

第三步，对第二步中的分割数据进行处理：

(1)将输出分割图像利用卷积或尺寸变化恢复到图像原有尺寸，获取网络输出的边框范围信息；

(2)分离第一标签和第二标签所分割的位置数据，单独生成每个对象的蒙版图像与对应标签；若存在多个草莓状黄铁矿对象，每个对象单独识别生成蒙版图像。

第四步，构建卷积神经网络，并对分割图像进行文字识别：

(1)利用卷积神经网络进行比例尺刻度文字识别，在此，卷积神经网络的训练集为MINIST训练集和第三标签的图像，对所有训练集图像进行灰度转换与二值化预处理后，转换位为黑底白字的图像进行识别。

(2)按相似的图像高宽比的采样图片组成一个批次，并进行训练。

(3)利用识别文字的比例尺长度像素值与识别的草莓状黄铁矿像素值进行值比与换算。

在此，本实施例对分割图像进行边缘检测，获取图像中物理对应轮廓线，对每个轮廓进行区域像素值大小的计算，比例尺主要获取其长度及其水平方向像素值。本实施例中，识别获得草莓状黄铁矿轮廓边框两对角线的中点位置，测量草莓状黄铁矿的像素值长度进行输出，换算求得草莓状黄铁矿的实际粒径M，其表达式为：

其中，M表示草莓状黄铁矿的预测粒径；C表示比例尺刻度；P_C表示比例尺长度像素值；P_M表示草莓状黄铁矿的中线像素值。

具体案例如下：

对页岩样品进行氩离子抛光，并在高分辨率场发射扫描电镜下对氩离子抛光样品进行成像，得到页岩样品的发射扫描场(FE-SEM)图像，该图像类型为灰度图像，图片类型为tiff格式，图像大小为1024*943像素，图像中含有实验参数与比例尺大小等文字信息，详见附图2。对样本的发射扫描场图像进行标记。

在本实施例中，对图像进行含目标特征的区域识别与分割，需要确保深度学习所需的训练集数据量。那么，对训练图像进行旋转、裁剪、变换亮度、加噪等手段来增加样本训练集的数据量。样本集中共存在5054张样本，其中同时含草莓状黄铁矿和比例尺的样本1275张，含草莓状黄铁矿的样本2890张，含比例尺的样本为889张。训练集和测试集按7：3的比例共分为3538：1516张，其中分割标记图像见附图3。

在本实施例中，优化器采用随机梯度下降(SGD)优化器，设置初始学习率为0.02，设置学习率随着训练次数增加衰减，衰减参数为1e-4，动量优化参数为0.9，设置循环次数为600次。

本实施例的网络识别正确率为85.37％，以图4为例，识别获得草莓状黄铁矿粒径为2.73微米，在保留两位小数点情况下与扫描电镜的测量的实际粒径保持一致，符合测量要求。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (9)

1.基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，包括以下步骤：

获取含有页岩草莓状黄铁矿的页岩样品的发射扫描场图像；

对所述发射扫描场图像进行标记，得到图像分割网络所需的标注数据集；

构建mask R CNN实例分割网络模型；所述mask R CNN实例分割网络模型由ResNet残差网络和faster R-CNN内的RPN特征提取网络共同组成骨干网络；在骨干网络内添加Mask网络作为头部网络；所述头部网络为预测分支，并进行边界框识别；

采用标注数据集进行训练，输出图像尺寸及分割图像；

对分割图像进行处理，得到发射扫描场图像对应的边框范围信息和蒙版图像；

构建卷积神经网络，并对边框范围信息和蒙版图像进行文字识别和粒径测量；

设定mask R CNN实例分割网络模型和卷积神经网络的总损失函数。

2.根据权利要求1所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，所述ResNet残差网络为ResNet50残差网络或ResNet101残差网络或ResNet152残差网络。

3.根据权利要求1所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，还包括：对图像分割网络所需的标注数据集中的发射扫描场图像进行旋转、裁剪、变换亮度、加噪中的一种或几种处理。

4.根据权利要求1～3任一项所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，对所述发射扫描场图像进行标记，包括第一标签、第二标签和第三标签；所述第一标签为草莓状黄铁矿；所述第二标签为发射扫描场图像的比例尺；所述第三标签为扫描电镜下测量的草莓状黄铁矿粒径大小。

5.根据权利要求4所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，对分割图像进行处理，得到发射扫描场图像对应的边框范围信息和蒙版图像，包括：

将mask R CNN实例分割网络模型输出的分割图像利用卷积处理或尺寸变化恢复至该图像的原有尺寸，并获得对应的边框范围信息；

分离第一标签和第二标签所分割的位置数据，并生成含有草莓状黄铁矿与比例尺的单独的蒙版图像。

6.根据权利要求4所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，还包括：

利用MINIST训练集和第三标签组成卷积神经网络的第二训练集；

对第二训练集内的图像进行灰度转换和二值化预处理，得到黑底白字的图像；

将预处理后的第二训练集输入至卷积神经网络，识别获得文字；

求得文字的比例尺刻度值；

利用比例尺刻度值和识别的比例尺像素值与识别的草莓状黄铁矿像素值进行值比与换算，其表达式为：

其中，M表示草莓状黄铁矿的预测粒径；C表示比例尺刻度；P_C表示比例尺长度像素值；P_M表示草莓状黄铁矿的中线像素值。

7.根据权利要求6所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，还包括：

对分割图像进行边缘检测，获取图像中对应轮廓线，并得到数个轮廓边框；

对任一轮廓线所划分的区域进行像素值计算；

识别并获得草莓状黄铁矿的轮廓边框的两对角线的中点位置，求得草莓状黄铁矿的轮廓边框的像素值长度。

8.根据权利要求4所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，所述总损失函数的表达式为：

L＝L₁+L₂

其中，L₁表示mask R CNN实例分割网络模型的损失函数；所述L₂表示卷积神经网络的损失函数；

所述mask R CNN实例分割网络模型的损失函数的表达式为：

L₁＝L_RPN+L_{fast_rcnn}+L_mask

其中，L₁表示mask R CNN实例分割网络模型的损失函数；L_RPN表示faster R-CNN内的RPN特征提取网络的损失值；L_{fast_rcnn}表示faster R-CNN网络的损失值；L_mask表示mask网络的损失值；

所述卷积神经网络的损失函数的表达式为：

L₂＝L_cnn+L_M

其中，L_cnn为卷积神经网络文字识别网络的损失值，L_M为预测的粒径大小与预测的误差大小的损失值。

9.根据权利要求8所述的基于卷积神经网络的页岩草莓状黄铁矿粒径测量方法，其特征在于，所述mask R CNN实例分割网络模型和卷积神经网络的任一项损失值采用二分类交叉熵损失函数求得，其表达式为：

L_BCE＝-w×(P_label×ln(P_pred)+(1-P_label)×ln(1-P_pred))

其中，L_BCE表示二分类交叉熵损失函数；w表示权重；P_label表示标签的预测值，P_Pred表示网络预测值。

Images