CN114897816A - 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 - Google Patents
基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 Download PDFInfo
- Publication number
- CN114897816A CN114897816A CN202210497249.2A CN202210497249A CN114897816A CN 114897816 A CN114897816 A CN 114897816A CN 202210497249 A CN202210497249 A CN 202210497249A CN 114897816 A CN114897816 A CN 114897816A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- network
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 229910052500 inorganic mineral Inorganic materials 0.000 title claims abstract description 36
- 239000011707 mineral Substances 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 31
- 239000013618 particulate matter Substances 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003706 image smoothing Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 22
- 229920002472 Starch Polymers 0.000 description 9
- 235000019698 starch Nutrition 0.000 description 9
- 239000008107 starch Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003921 particle size analysis Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进掩膜的Mask R‑CNN矿物颗粒识别以及粒度检测方法，属于图像识别技术领域。本发明包括s1：采集图像，标注数据并进行数据增强，制作数据集；s2：将图像经过主干网络和特征金字塔网络提取特征，通过轻量级的区域建议网络，得到初始物体建议框，根据初始建议框进一步分类和回归得到最终预测框，并根据预测框使用语义分割得到预测掩膜；s3：设置训练过程的超参数并对网络进行训练，得到位置、种类和预测掩膜，并对模型效果进行评价；s4：对网络输出的掩膜进行修改，使输出掩膜的边缘为实际颗粒物的边缘；s5：利用获得的掩膜计算颗粒物的实际面积、粒径以及统计颗粒物对应的尺寸分布。本发明能够提高颗粒物识别及粒度检测的准确度。
Description
技术领域
本发明涉及图像识别技术领域，更具体地说，涉及基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，用于对颗粒物进行分类识别和测量尺寸。
背景技术
矿物颗粒作为加工过程中一个重要的表现形式，识别矿物颗粒的分类可以为矿物分析测定提供帮助，并且可以反映出颗粒物加工工艺的精度。在矿物分析领域，可以根据颗粒物表面特征进行分类，进一步粗略分析矿物的成分。在矿物颗粒加工中，可以根据颗粒物在图像上的尺寸计算实际的粒度，为加工提供建议。对于矿物颗粒的判断通常是利用人工的方法，根据经验对矿物类别进行判断，并粗略估计矿物颗粒的尺寸。一些情况下需要用到机械装置或是筛网进行接触式测量，这样效率低下，并且精度容易受测量状态的影响。
随着机器视觉的发展，对物体进行检测的通用检测模型被广泛的关注与应用。传统的图像检测方法经常被用来处理颗粒物的识别，最常用的是利用分水岭变换进行分割，其是把图像分割成独立的封闭区域，再根据各个区域大小进行颗粒物粒度分析。分水岭算法在不同环境配置不同的参数时容易出现欠分割和过分割。
随着机器学习的发展，深度神经网络有着巨大的进步。语义分割网络被用到矿物颗粒的分割检测中，利用网络对图像上每个像素进行分类，可以分辨出属于颗粒物的像素，进而把颗粒物像素分割出来。但是语义分割网络不能具体的分割出每个单独颗粒物，仍然需要后处理来区分个例。对于此实例分割网络可以较好的完成对每个颗粒物的分割，但是实例分割网络预测的物体的掩膜精度并不高，用在检测整体颗粒物粒度时会出现较大的偏差。
综上，利用深度学习检测模型用于对颗粒物进行测量会出现以下两点问题：首先是利用深度学习模型进行颗粒物的识别会产生漏检，第二是利用深度学习模型检测到的物体掩膜不够准确，主要表现的原因就是分割得到的物体掩膜是由特征层决定的；而网络的特征层通常为固定尺寸，并且相对于原图有着放缩的尺寸误差。
经检索，中国专利申请号202111027701.0，申请日2021年9月2日，发明创造名称为：基于Mask R-CNN的淀粉颗粒识别方法；该申请案基于热台-偏光显微观察的淀粉糊化图像数据采集，通过算法依次进行淀粉糊化数据集构建，Mask R-CNN模型构建及训练，淀粉糊化过程颗粒检测，淀粉颗粒数量统计。其中，算法由淀粉图像二值化算法、淀粉糊化数据集构建算法、神经网络训练算法、淀粉颗粒检测算法等构成。但该申请案是利用Mask R-CNN对淀粉糊化进行检测，与关于矿物颗粒的识别和粒度检测存在本质区别。
发明内容
1.发明要解决的技术问题
本发明提供了一种基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，本发明的目的在于提高颗粒物识别及粒度检测的准确度。且本发明通过利用深度学习模型的识别效果，结合图像处理的较高精度的测量方法实现了对批量矿物颗粒的识别与粒度测量。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，包括以下步骤：
步骤s1：采集矿物颗粒物图像，标注数据并进行数据增强，制作数据集；
步骤s2：将图像经过主干网络和特征金字塔网络提取特征，然后通过轻量级的区域建议网络，得到初始的物体建议框，根据初始建议框进一步的分类和回归得到最终预测框，并根据预测框使用语义分割得到预测掩膜；
步骤s3：设置训练过程的超参数并对网络进行训练，对图像进行预测，得到位置、种类和预测掩膜，并对模型效果进行评价；
步骤s4：对网络输出的掩膜进行优化，使输出掩膜的边缘为实际颗粒物的边缘；
步骤s5：对图像采集***进行矫正，利用获得的掩膜计算颗粒物的实际面积、粒径以及统计颗粒物对应的尺寸分布。
更进一步地，步骤s1将图像从RGB格式转换到HSV格式，通过对HSV不同通道进行调整，采用不同的图像变换方法随机采用不同方式组合变换，把图像扩充成多组图像，所述调整包括对图像的亮度、饱和度、色调、不均匀光照、阴影生成、亮点生成、随机噪声生成、图像平滑和图像滤波进行调整。
更进一步地，步骤s2使用通道注意力机制加强的DenseBlock作为主干网络，该主干网络由多层卷积层组成，除第一层之外的卷积层是把该层之前所有的卷积层的输出拼接作为输入，表示为N＝Concatenate(M1,M2,…,Mi,…,Mn)，其中Mi为模块中第i层的输入，也是第i-1层的输出，由Mi层经过卷积得到Mi+1层；卷积层表示为Mi+1＝Conv2D(Mi)。
更进一步地，步骤s2中通道注意力机制是通过全局池化选取特征层中不同通道的值然后经过一维全连接层，接着将全连接层与特征层的值进行相乘突出相应通道；全局池化包括全局最大池化和全局平均池化，经过全局池化层之后，两边分别接入神经元数目为h的全连接层，把两个全连接层的输出结果进行Add相加，得到全连接层；利用得到的全连接层与DenseBlock的输出相乘，全连接层中的参数与对应通道的特征层进行相乘，增强通道的特征层。
更进一步地，步骤s2中，经过主干网络之后，设计特征金字塔使用密集连接形式，把主干特征网络中不同尺度的特征层进行不同尺度的采样，把采样后的特征层拼接融合作为输出的特征层；通过特征金字塔网络把高层的特征层与低层的特征层进行融合，得到不同维度的融合特征层；把特征金字塔网络中的融合特征层输入到区域建议网络，区域建议网络把特征图上的像素点作为特征点，在每个特征点使用长宽不同锚框作为先验物体框的位置；区域建议网络根据输入的特征层得到一组包含物***置与置信度的数组，把数组中的位置与置信度进行解码得到候选位置，选取置信度较高的候选位置；然后利用RoIAlign获得候选位置的特征图作为感兴趣区域，对感兴趣区域使用卷积网络输出物体类别与物***置，使用物体的位置裁剪对应特征金字塔中的特征层并进行语义分割得到输出的掩膜。
更进一步地，步骤s4基于Mask R-CNN的检测效果，对输出的掩膜进行修改，使输出掩膜的边缘为实际颗粒物的边缘，具体地：
1)对步骤s1所述的图像进行标注，利用标注的标签，设置超参数对模型进行训练；
2)根据输入的图像得到预测的颗粒物的位置Boxes、类别Classes和掩膜Maskspre；利用网络预测推理的结果，对掩膜进行生成与选择；
3)调整网络预测的物体框Box，利用预测框根据原图选取感兴趣区域RoI；
4)感兴趣区域包含颗粒物的图像，对感兴趣区域进行边缘检测，得到检测的边缘线；
5)利用检测到的边缘线把整个感兴趣区域分割成若干相互分离的区域，相互分离的区域为颗粒物的候选掩膜Maskcandidate，候选掩膜中包含颗粒物的掩膜以及其他干扰的掩膜，选取颗粒物的掩膜进行组合输出；
6)利用模型预测的掩膜与候选掩膜求相交，相交的部分为物体的一部分，表示为Maskintersect＝Maskcandidate∩Maskspre；当掩膜相交部分占对应候选掩膜整体的比例超过阈值时，计算表示为T＝Maskintersect/Maskcandidate，表示该候选掩膜属于物体的一部分，表示为Maskselected；当掩膜相交部分占对应候选掩膜整体的比例小于阈值时，表示该候选掩膜不属于物体的一部分，进行舍弃；
7)选出所有占比大于阈值的候选掩膜Maskselected，被选出的候选掩膜通过图像处理开操作和闭操作把分离的掩膜融合得到最终的掩膜Masks。
更进一步地，步骤s5使用棋盘格标定板，拍摄若干幅标定板图像，对拍摄的棋盘格的图像进行角点检测，得到一系列的图像点；根据物体的对象点与图像点通过针孔相机模型与映射变换计算畸变系数，旋转平移向量和相机矩阵，并对图像进行畸变矫正。
更进一步地，对矫正之后的图像，根据像素当量计算实际尺寸与图像尺寸的对应关系，像素当量表示为k＝d/D，d表示物体的实际尺寸，D表示物体在图像中所占像素数；掩膜面积计算为Smask＝len(pi∈mask)，其中pi表示属于掩膜的像素，len()表示统计数目；并跟像素当量计算掩膜实际面积为Strue＝k2Smask；粒径计算为对掩膜进行拟合椭圆，根据拟合椭圆的长短轴计算掩膜的粒径
a、b表示拟合椭圆的长短轴，根据像素当量计算颗粒物实际的粒径尺寸为Dtrue＝kDmask；
尺寸分布为统计不同尺寸区间的颗粒物的数目与占比，计算颗粒物尺寸分布的过程为：首先统计在尺寸区间ai-ai+1内颗粒物的数目，表示为Ci＝len(Si)；接着根据每个尺寸区间的颗粒物计算整体占比，占比表示为Pi＝Ci/ΣCi；根据占比得到某个尺寸的频率，根据所有尺寸区间的颗粒物占比构成颗粒物整体的尺寸分布。
更进一步地，使用改进掩膜的Mask R-CNN对未标注的数据进行识别，并用识别的结果标注数据，然后人工进行修正，扩充整体数据集；使用得到的数据集进行训练，并微调训练中的超参数，得到训练模型；对得到的训练模型使用单独的测试数据集进行评价，重复执行训练模型过程，直到模型检测效果的评价稳定不变，使用最后的训练权重作为最终使用的权重。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
(1)相对于传统的深度学习目标检测方法，本发明利用额外的处理进行掩膜的生成，由于相对于原图进行的像素级的边缘处理，可以较高的精度进行后续的测量步骤，整体的测量精度较高。本发明的改进掩膜的Mask R-CNN矿物颗粒检测识别以及粒度检测方法，结合Mask R-CNN网络的检测效果的能力和图像处理进行较高精度测量的能力，用于对矿物颗粒物检测较为精准的面积、粒径尺寸以及尺寸分布，并且可以转换到颗粒物实际的尺寸。
(2)训练数据作为模型检测的基础，提高符合实际情况的数据能够改善模型的表现。在此采用图像变换不同的训练样本，对数据进行增强。本发明的改进掩膜的Mask R-CNN矿物颗粒检测识别以及粒度检测方法，采用图像变换增加图像数据量并且使得模型适应不同光照的图像；通过模拟不同光照变化，对图像进行随机的组合变化，增加了数据量并提升了模型检测过程中的泛化能力。
(3)本发明的改进掩膜的Mask R-CNN矿物颗粒检测识别以及粒度检测方法，其使用的DenseBlock可以利用不同深度的卷积后的特征层，使得不同深度的特征层同样向后传播；而通道注意力机制利用全局池化加上全连接可以对不同特征层产生不同的响应，进而可以增强相应的特征层的响应，增强网络层的表达能力。
附图说明
图1为本发明的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法的流程示意图；
图2为本发明的通道注意力机制加强的DenseBlock模块示意图；
图3为本发明中密集连接拼接特征金字塔示意图；
图4为本发明的掩膜改进的具体过程图；
图5为本发明中颗粒物图像检测示意图；
图6为本发明中颗粒物椭圆拟合示意图；
图7为本发明中统计颗粒物面积与粒径占比曲线图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
结合图1，本实施例提出的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，具体包含以下步骤：
步骤s1：选择图像采集硬件，并采集矿物颗粒物图像，标注数据并进行数据增强，制作数据集。具体地：
选择工业相机与照明光源，本实施例选择彩色相机与圆顶光源。通过工业相机采集若干图像，并且改变光照情况再次进行拍摄。使用图像变换来扩充数据，模拟不同光照情况进行图像变换。
首先使用OpenCV工具把图像从RGB格式转换到HSV格式，公式如下：
V＝max(R,G,B)
通过对HSV不同通道进行调整，对图像整体进行亮度的调整、饱和度的调整、图像色调的调整、不均匀光照、阴影生成、亮点生成、随机噪声生成、图像平滑和图像滤波。对于上述不同的图像变换方法随机采用不同方式组合变换，把图像扩充成多组图像。对所有的图像进行标注，利用labelme工具进行掩膜的标注，得到标注的json文件。把所有图像与标注组成整个数据集。
步骤s2：图像输入主干网络，是将图像抽象成数据的过程，为了更好地描述图像中物体的特征通常需要特征描述更适合该类物体的模型。Mask R-CNN网络是首先把图像经过主干网络和特征金字塔网络提取特征，然后通过轻量级的区域建议网络，得到初始的物体建议框，根据初始建议框进一步的分类和回归得到最终预测框，并根据预测框使用语义分割得到预测掩膜。
本实施例把图像输入改进的Mask R-CNN模型中，该Mask R-CNN模型使用通道注意力机制加强的DenseBlock作为主干网络。
输入模型的图像被放缩到512×512的尺寸，其中图像的长边放缩到512大小，图像的短边按照长边的放缩比例进行缩放，其余位置填充0，把放缩后的图像作为模型的输入图像。把图像输入Mask R-CNN中，首先是经过主干特征提取网络，DenseBlock模块如图2所示，由多层卷积层组成，除第一层之外的卷积层是把该层之前所有的卷积层的输出拼接作为输入，表示为N＝Concatenate(M1,M2,…,Mi,…,Mn)，其中Mi为模块中第i层的输入，也是第i-1层的输出，由Mi层经过卷积得到Mi+1层；卷积层表示为Mi+1＝Conv2D(Mi)，卷积中可选参数有通道数，卷积核尺寸和偏置参数的使用。
通道注意力机制是通过全局池化选取特征层中不同通道的值然后经过一维全连接层，接着将全连接层与特征层的值进行相乘突出相应某些通道，如图2所示。全局池化包括全局最大池化和全局平均池化，分别表示为M1×1×h＝GlobalMaxPooling(Mm×n×h)和M1×1×h＝GlobalAveragePooling(Mm×n×h)，全局池化输入的特征层维度为m×n×h，输出的特征层维度是1×1×h；经过全局池化层之后，两边分别接入神经元数目为h的全连接层，把两个全连接层的输出结果进行Add相加，得到的维度是1×1×h全连接层；利用得到的全连接层与DenseBlock的输出相乘，全连接层中的参数与对应通道的特征层进行相乘，增强一些通道的特征层。
经过主干网络之后，通过特征金字塔网络把高层的特征层与低层的特征层进行融合，得到不同维度的融合特征层；此处特征金字塔使用密集连接形式，把主干特征网络中不同尺度的特征层进行不同尺度的采样，把采样后的特征层拼接融合作为输出的特征层，结构如图3所示。把特征金字塔网络中的融合特征层输入到区域建议网络，区域建议网络把特征图上的像素点作为特征点，在每个特征点使用9个长宽不同锚框作为先验物体框的位置；区域建议网络根据输入的特征层得到一组包含物***置与置信度的数组，把数组中的位置与置信度进行解码得到一些候选位置，选取置信度较高的候选位置；然后利用RoIAlign获得候选位置的特征图作为感兴趣区域，对感兴趣区域使用卷积网络输出物体类别与物***置，使用物体的位置裁剪对应特征金字塔中的特征层并进行语义分割得到输出的掩膜。
步骤s3：设置训练过程的超参数并对网络进行训练。使用网络可以得到颗粒物的位置、种类以及预测掩膜；并对模型效果进行评价。
设置超参数，其中包含激活函数、损失函数、学***均精度AP和交并比IoU。
步骤s4：经典的图像处理算法能够精确的分割出物体的边缘，但是不易区分出单个实例。基于深度学习的目标检测模型能够识别出相互独立的物体，由于进行实例分割的步骤是对于特征层进行的，而特征层相对于原图有着一定程度的变形与放缩，所以分割出物体的精度有着一定误差。为了解决这个问题，对网络输出的掩膜进行优化，使用传统图像的方法后处理生成掩膜，此时的掩膜为处理原图的掩膜，即为物体真实边缘的掩膜。本实施例提出的方法利用了深度学习对于颗粒物识别的鲁棒性，并且结合了图像处理对物体边缘处理的准确性。
具体地，基于Mask R-CNN的检测效果，主要对输出的掩膜进行修改，使输出掩膜的边缘为实际颗粒物的边缘。改进的Mask R-CNN网络架构的掩膜生成部分的流程如图4所示。
1)通过上述步骤对模型进行训练。
2)根据输入的图像得到预测的颗粒物的位置Boxes、类别Classes和掩膜Maskspre；下面利用网络预测推理的结果，对掩膜进行生成与选择；
3)首先调整网络预测的物体框Box，利用预测框根据原图选取感兴趣区域RoI；
4)感兴趣区域包含颗粒物的图像，对感兴趣区域进行边缘检测，得到检测的边缘线；这些边缘线一部分是属于颗粒物真实的边缘的，另一部分是属于其他纹理图案的；
5)利用这些检测到的边缘线把整个感兴趣区域分割成若干相互分离的区域，这些相互分离的区域为颗粒物的候选掩膜Maskcandidate，候选掩膜中包含颗粒物的掩膜以及其他干扰的掩膜，需要选取颗粒物的掩膜进行组合输出；
6)接着利用模型预测的掩膜与候选掩膜进行求相交，相交的部分为物体的一部分，表示为Maskintersect＝Maskcandidate∩Maskspre；当掩膜相交部分占对应候选掩膜整体的比例超过阈值(阈值设置为0.7)时，计算表示为T＝Maskintersect/Maskcandidate，表示该候选掩膜属于物体的一部分，表示为Maskselected；当掩膜相交部分占对应候选掩膜整体的比例小于阈值时，表示该候选掩膜不属于物体的一部分，进行舍弃；
7)选出所有占比大于阈值的候选掩膜Maskselected，把被选出的候选掩膜通过图像处理开操作和闭操作把分离的掩膜融合得到最终的掩膜Masks。最终的输出掩膜是根据边缘检测得到的，并且是利用网络预测的掩膜进行选择，能够更准确地表示该物体的边界，检测结果如图5所示。
步骤s5：物体经过镜头成像到相机中会产生一定量的畸变，利用计算成像对图进行矫正能够减小最终测量误差。根据图像中的像素尺寸与实际空间对应的尺寸进行计算可以得到检测目标物的尺寸，利用这种非接触测量方法可以无损的检测目标物。本实施例对图像采集***进行矫正，利用获得的掩膜计算颗粒物的实际面积、粒径以及统计颗粒物对应的尺寸分布。
具体地，使用棋盘格标定板，拍摄若干幅标定板图像；本实施例使用OpenCV中的工具对拍摄的棋盘格的图像进行角点的检测，得到一系列的图像点；根据物体的对象点与图像点通过针孔相机模型与映射变换计算畸变系数，旋转平移向量和相机矩阵，并对图像进行畸变矫正。
对矫正之后的图像，根据像素当量计算实际尺寸与图像尺寸的对应关系，像素当量表示为k＝d/D，d表示物体的实际尺寸，D表示物体在图像中所占像素数。掩膜面积计算为Smask＝len(pi∈mask)，其中pi表示属于掩膜的像素，len()表示统计数目；并跟像素当量计算掩膜实际面积为Strue＝k2Smask。粒径计算步骤为对掩膜进行拟合椭圆，拟合步骤是首先计算颗粒物最小外接矩形，然后计算矩形内切椭圆；根据拟合椭圆的长短轴计算掩膜的粒径
a、b表示拟合椭圆的长短轴，如图6所示，根据像素当量计算颗粒物实际的粒径尺寸为Dtrue＝kDmask。
尺寸分布为统计检测到的颗粒物按照尺寸分类的数目统计，即是统计不同尺寸区间的颗粒物的数目与占比。具体计算过程如图4所示，计算颗粒物尺寸分布的过程为：首先统计在尺寸区间ai-ai+1(其中0<i<N，N为总分类数目)内颗粒物的数目，表示为Ci＝len(Si)(其中ai<Si<ai+1)；接着根据每个尺寸区间的颗粒物计算整体占比，占比表示为Pi＝Ci/ΣCi；根据占比得到某个尺寸的频率，根据所有尺寸区间的颗粒物占比构成颗粒物整体的尺寸分布，如图7所示。
步骤s6：使用改进掩膜的Mask R-CNN对未标注的数据进行识别，并用识别的结果标注数据，然后人工进行修正，这样扩充整体数据集。具体的过程是，利用改进掩膜的MaskR-CNN对待标注图像进行识别，得到图像上所有预测的颗粒物的位置、分类和掩膜；把掩膜进行提取轮廓，并进行数据点采样，选取20个点作为该掩膜的表示；把采样点写入json文件，并把位置和类别同样匹配写入json文件中；对所有待标注图像进行标注，然后使用labelme打开json文件进行人工检查，对未标注的颗粒物进行标注，对标注错误的颗粒物进行改正；最后把所有的标注的数据组成数据集。使用得到的数据集进行训练，并微调训练中的超参数，得到训练模型。
步骤s7：对步骤s6得到的训练模型使用单独的测试数据集进行评价，重复执行步骤s6直到模型检测效果的评价稳定不变。使用最后的训练权重作为最终使用的权重。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (9)
1.基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于，包括以下步骤：
步骤s1：采集矿物颗粒物图像，标注数据并进行数据增强，制作数据集；
步骤s2：将图像经过主干网络和特征金字塔网络提取特征，然后通过轻量级的区域建议网络，得到初始的物体建议框，根据初始建议框进一步的分类和回归得到最终预测框，并根据预测框使用语义分割得到预测掩膜；
步骤s3：设置训练过程的超参数并对网络进行训练，对图像进行预测，得到位置、种类和预测掩膜，并对模型效果进行评价；
步骤s4：对网络输出的掩膜进行优化，使输出掩膜的边缘为实际颗粒物的边缘；
步骤s5：对图像采集***进行矫正，利用获得的掩膜计算颗粒物的实际面积、粒径以及统计颗粒物对应的尺寸分布。
2.根据权利要求1所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s1将图像从RGB格式转换到HSV格式，通过对HSV不同通道进行调整，采用不同的图像变换方法随机采用不同方式组合变换，把图像扩充成多组图像，所述调整包括对图像的亮度、饱和度、色调、不均匀光照、阴影生成、亮点生成、随机噪声生成、图像平滑和图像滤波进行调整。
3.根据权利要求2所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s2使用通道注意力机制加强的DenseBlock作为主干网络，该主干网络由多层卷积层组成，除第一层之外的卷积层是把该层之前所有的卷积层的输出拼接作为输入，表示为N＝Concatenate(M1,M2,…,Mi,…,Mn)，其中Mi为模块中第i层的输入，也是第i-1层的输出，由Mi层经过卷积得到Mi+1层；卷积层表示为Mi+1＝Conv2D(Mi)。
4.根据权利要求3所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s2中通道注意力机制是通过全局池化选取特征层中不同通道的值然后经过一维全连接层，接着将全连接层与特征层的值进行相乘突出相应通道；全局池化包括全局最大池化和全局平均池化，经过全局池化层之后，两边分别接入神经元数目为h的全连接层，把两个全连接层的输出结果进行Add相加，得到全连接层；利用得到的全连接层与DenseBlock的输出相乘，全连接层中的参数与对应通道的特征层进行相乘，增强通道的特征层。
5.根据权利要求4所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s2中，经过主干网络之后，通过特征金字塔网络把高层的特征层与低层的特征层进行融合，得到不同维度的融合特征层；此处特征金字塔使用密集连接形式，把主干特征网络中不同尺度的特征层进行不同尺度的采样，把采样后的特征层拼接融合作为输出的特征层；把特征金字塔网络中的融合特征层输入到区域建议网络，区域建议网络把特征图上的像素点作为特征点，在每个特征点使用长宽不同锚框作为先验物体框的位置；区域建议网络根据输入的特征层得到一组包含物***置与置信度的数组，把数组中的位置与置信度进行解码得到候选位置，选取置信度较高的候选位置；然后利用RoIAlign获得候选位置的特征图作为感兴趣区域，对感兴趣区域使用卷积网络输出物体类别与物***置，使用物体的位置裁剪对应特征金字塔中的特征层并进行语义分割得到输出的掩膜。
6.根据权利要求5所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s4基于Mask R-CNN的检测效果，对输出的掩膜进行修改，使输出掩膜的边缘为实际颗粒物的边缘，具体地：
1)对步骤s1所述的图像进行标注，利用标注的标签，设置超参数对模型进行训练；
2)根据输入的图像得到预测的颗粒物的位置Boxes、类别Classes和掩膜Maskspre；利用网络预测推理的结果，对掩膜进行生成与选择；
3)调整网络预测的物体框Box，利用预测框根据原图选取感兴趣区域RoI；
4)感兴趣区域包含颗粒物的图像，对感兴趣区域进行边缘检测，得到检测的边缘线；
5)利用检测到的边缘线把整个感兴趣区域分割成若干相互分离的区域，相互分离的区域为颗粒物的候选掩膜Maskcandidate，候选掩膜中包含颗粒物的掩膜以及其他干扰的掩膜，选取颗粒物的掩膜进行组合输出；
6)利用模型预测的掩膜与候选掩膜求相交，相交的部分为物体的一部分，表示为Maskintersect＝Maskcandidate∩Maskspre；当掩膜相交部分占对应候选掩膜整体的比例超过阈值时，计算表示为T＝Maskintersect/Maskcandidate，表示该候选掩膜属于物体的一部分，表示为Maskselected；当掩膜相交部分占对应候选掩膜整体的比例小于阈值时，表示该候选掩膜不属于物体的一部分，进行舍弃；
7)选出所有占比大于阈值的候选掩膜Maskselected，被选出的候选掩膜通过图像处理开操作和闭操作把分离的掩膜融合得到最终的掩膜Masks。
7.根据权利要求6所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s5使用棋盘格标定板，拍摄若干幅标定板图像，对拍摄的棋盘格的图像进行角点检测，得到一系列的图像点；根据物体的对象点与图像点通过针孔相机模型与映射变换计算畸变系数，旋转平移向量和相机矩阵，并对图像进行畸变矫正。
8.根据权利要求7所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：对矫正之后的图像，根据像素当量计算实际尺寸与图像尺寸的对应关系，像素当量表示为k＝d/D，d表示物体的实际尺寸，D表示物体在图像中所占像素数；掩膜面积计算为Smask＝len(pi∈mask)，其中pi表示属于掩膜的像素，len()表示统计数目；并跟像素当量计算掩膜实际面积为Strue＝k2Smask；粒径计算为对掩膜进行拟合椭圆，根据拟合椭圆的长短轴计算掩膜的粒径
a、b表示拟合椭圆的长短轴，根据像素当量计算颗粒物实际的粒径尺寸为Dtrue＝kDmask；
尺寸分布为统计不同尺寸区间的颗粒物的数目与占比，计算颗粒物尺寸分布的过程为：首先统计在尺寸区间ai-ai+1内颗粒物的数目，表示为Ci＝len(Si)；接着根据每个尺寸区间的颗粒物计算整体占比，占比表示为Pi＝Ci/ΣCi；根据占比得到某个尺寸的频率，根据所有尺寸区间的颗粒物占比构成颗粒物整体的尺寸分布。
9.根据权利要求2-8任一项所述的基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法，其特征在于：数据的扩充与模型的训练，使用改进掩膜的Mask R-CNN对未标注的数据进行检测，并用识别的结果标注数据，然后人工进行修正，扩充整体数据集；使用得到的数据集进行训练，并微调训练中的超参数，得到训练模型；对得到的训练模型使用单独的测试数据集进行评价，重复执行训练模型过程，直到模型检测效果的评价稳定不变，使用最后的训练权重作为最终使用的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210497249.2A CN114897816B (zh) | 2022-05-09 | 2022-05-09 | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210497249.2A CN114897816B (zh) | 2022-05-09 | 2022-05-09 | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897816A true CN114897816A (zh) | 2022-08-12 |
| CN114897816B CN114897816B (zh) | 2024-06-14 |
Family
ID=82721653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210497249.2A Active CN114897816B (zh) | 2022-05-09 | 2022-05-09 | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897816B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115519809A (zh) * | 2022-09-28 | 2022-12-27 | 广东汇发塑业科技有限公司 | 一种高阻隔生物降解地膜的制备方法及其制备的地膜 |
| CN116258715A (zh) * | 2023-05-15 | 2023-06-13 | 北京中超伟业信息安全技术股份有限公司 | 一种粉尘回收方法、装置及电子设备 |
| CN116563244A (zh) * | 2023-05-11 | 2023-08-08 | 中国食品药品检定研究院 | 一种亚可见颗粒质控方法、***及设备 |
| CN116563835A (zh) * | 2023-05-11 | 2023-08-08 | 梅卡曼德（北京）机器人科技有限公司 | 转运方法、转运设备和电子设备 |
| CN116563249A (zh) * | 2023-05-11 | 2023-08-08 | 中国食品药品检定研究院 | 一种眼内注射剂的亚可见颗粒质控方法、***及设备 |
| CN116977827A (zh) * | 2023-09-25 | 2023-10-31 | 中国检验认证集团山东有限公司 | 一种基于人工智能的铁矿石检测方法和*** |
| CN117612061A (zh) * | 2023-11-09 | 2024-02-27 | 中科微至科技股份有限公司 | 一种用于叠件分离的包裹堆叠状态视觉检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948712A (zh) * | 2019-03-20 | 2019-06-28 | 天津工业大学 | 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 |
| CN111832608A (zh) * | 2020-05-29 | 2020-10-27 | 上海海事大学 | 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 |
| CN113449743A (zh) * | 2021-07-12 | 2021-09-28 | 西安科技大学 | 一种煤尘颗粒特征提取方法 |
| US20220084181A1 (en) * | 2020-09-17 | 2022-03-17 | Evonik Operations Gmbh | Qualitative or quantitative characterization of a coating surface |
-
2022
- 2022-05-09 CN CN202210497249.2A patent/CN114897816B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948712A (zh) * | 2019-03-20 | 2019-06-28 | 天津工业大学 | 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 |
| CN111832608A (zh) * | 2020-05-29 | 2020-10-27 | 上海海事大学 | 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 |
| US20220084181A1 (en) * | 2020-09-17 | 2022-03-17 | Evonik Operations Gmbh | Qualitative or quantitative characterization of a coating surface |
| CN113449743A (zh) * | 2021-07-12 | 2021-09-28 | 西安科技大学 | 一种煤尘颗粒特征提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭艳军;周哲;林贺洵;刘小辉;陈丹丘;祝佳琪;伍峻琦;: "基于深度学习的智能矿物识别方法研究", 地学前缘, no. 05, 9 June 2020 (2020-06-09) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115519809A (zh) * | 2022-09-28 | 2022-12-27 | 广东汇发塑业科技有限公司 | 一种高阻隔生物降解地膜的制备方法及其制备的地膜 |
| CN116563244A (zh) * | 2023-05-11 | 2023-08-08 | 中国食品药品检定研究院 | 一种亚可见颗粒质控方法、***及设备 |
| CN116563835A (zh) * | 2023-05-11 | 2023-08-08 | 梅卡曼德（北京）机器人科技有限公司 | 转运方法、转运设备和电子设备 |
| CN116563249A (zh) * | 2023-05-11 | 2023-08-08 | 中国食品药品检定研究院 | 一种眼内注射剂的亚可见颗粒质控方法、***及设备 |
| CN116563835B (zh) * | 2023-05-11 | 2024-01-26 | 梅卡曼德（北京）机器人科技有限公司 | 转运方法、转运设备和电子设备 |
| CN116563244B (zh) * | 2023-05-11 | 2024-04-23 | 中国食品药品检定研究院 | 一种亚可见颗粒质控方法、***及设备 |
| CN116258715A (zh) * | 2023-05-15 | 2023-06-13 | 北京中超伟业信息安全技术股份有限公司 | 一种粉尘回收方法、装置及电子设备 |
| CN116977827A (zh) * | 2023-09-25 | 2023-10-31 | 中国检验认证集团山东有限公司 | 一种基于人工智能的铁矿石检测方法和*** |
| CN117612061A (zh) * | 2023-11-09 | 2024-02-27 | 中科微至科技股份有限公司 | 一种用于叠件分离的包裹堆叠状态视觉检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897816B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114897816B (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN110210463B (zh) | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN110770752A (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
| CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
| CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析***及方法 | |
| CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
| CN108734200B (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| CN112036500A (zh) | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 | |
| CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
| CN111339975A (zh) | 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法 | |
| CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN111178121B (zh) | 基于空间特征和深度特征强化技术的害虫图像定位识别方法 | |
| CN112464983A (zh) | 一种用于苹果树叶病害图像分类的小样本学习方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |