CN111028253B - 一种铁精粉分割方法及分割装置 - Google Patents

一种铁精粉分割方法及分割装置 Download PDF

Info

Publication number
CN111028253B
CN111028253B CN201911164824.1A CN201911164824A CN111028253B CN 111028253 B CN111028253 B CN 111028253B CN 201911164824 A CN201911164824 A CN 201911164824A CN 111028253 B CN111028253 B CN 111028253B
Authority
CN
China
Prior art keywords
convolution
attention
module
result
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911164824.1A
Other languages
English (en)
Other versions
CN111028253A (zh
Inventor
张德政
赵悦
张桃红
谢永红
任继平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201911164824.1A priority Critical patent/CN111028253B/zh
Publication of CN111028253A publication Critical patent/CN111028253A/zh
Application granted granted Critical
Publication of CN111028253B publication Critical patent/CN111028253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种铁精粉分割方法及分割装置，能够将铁精粉从铁精粉图像中完整准确地提取出来。所述方法包括：获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；利用获取的训练样本集训练分割网络SegNet；利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。本发明涉及矿石筛选技术领域。

Description

一种铁精粉分割方法及分割装置
技术领域
本发明涉及矿石筛选技术领域，特别是指一种铁精粉分割方法及分割装置。
背景技术
铁精粉是一种生成球团矿的原料，其含铁量决定着铁精粉的质量。在国内，矿粉在我国资源丰富，储量大，却有很多颗粒小，品种复杂的矿石混杂在其中，导致我国的矿粉资源虽然产量丰富，但是质量不尽如人意，会影响成球性和成分的稳定性。因此，国内不少企业采用的矿粉大多是进口的，但是随着需求的扩大，对于进口矿的数量越来越多。由于铁矿资源有限，原料的供应不足，不得不转向国内市场。同时我国钢铁行业向着高质量、精加工方向发展，作为原料的铁精粉的质量必须要适应该种变化。
传统的铁精粉品味分析技术一般使用化学或者物理方法，时间、人力成本都比较高。深度学习是应用广泛并且新颖的一种机器学习方法，也是一种高效的算法，利用从不同层次提取的特征作为识别的基础从而得到所属分类，可以有效解决传统铁精粉耗时、耗力等缺点，同时还能很好的保证以较低的成本达到较高的准确率和减少维护成本。
由于铁精粉和混在其中的其他矿石形状、颜色、纹理、体积有诸多相似之处，有一些用肉眼都是很难分辨的；另外，有些铁精粉和矿石的体积非常小，以及呈现在图片里的面积所占的像素极其少，属于小目标。加之，小目标由于所含的信息少，容易在池化以及卷积的过程中忽略所含有的信息，同时现有语义分割方法对于边缘特征(由于边缘定位不准确)和小目标信息的提取相对比较困难，所以对于边缘像素点以及小面积的像素点的分类的准确性较大范围内部像素点的分类准确性要差，不利于完整的提取出铁精粉这个目标物体。
发明内容
本发明要解决的技术问题是提供一种铁精粉分割方法及分割装置，以解决现有技术所存在的铁精粉和混在其中的其他矿石之间的特征差异小、目标体积过小或边缘定位不准确，导致无法完整准确地提取铁精粉的问题。
为解决上述技术问题，本发明实施例提供一种铁精粉分割方法，包括：
获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
利用获取的训练样本集训练分割网络SegNet；
利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
进一步地，在利用获取的训练样本集训练分割网络SegNet之前，所述方法还包括：
对获取的铁精粉图像及对应的标注图进行一致的分割处理；
对分割处理后的铁精粉图像及对应的标注图进行图像增强处理。
进一步地，图像增强处理包括：旋转、翻转、放大、缩小、平移中的一种或多种。
进一步地，所述分割网络SegNet包括：编码器以及基于注意力机制模块的解码器；
所述编码器，用于对输入图像进行卷积、批量归一化和池化处理，提取特征图；
所述解码器，用于对编码器输出的特征图提取空间注意力特征、上采样、提取通道注意力特征、对提取的空间注意力特征和通道注意力特征进行拼接、卷积和批量归一化处理，并输出铁精粉图像每个像素点的类别。
进一步地，所述解码器包括：第一注意力机制模块、与第一注意力机制模块相连的第一卷积归一化模块、与第一卷积归一化模块相连的第二注意力机制模块、与第二注意力机制模块相连的第二卷积归一化模块、与第二卷积归一化模块相连的第三注意力机制模块、与第三注意力机制模块相连的第三卷积归一化模块、与第三卷积归一化模块相连的第四注意力机制模块、与第四注意力机制模块相连的第四卷积归一化模块、与第四卷积归一化模块相连的分类器模块；
其中，每个注意力机制模块包括：空间注意力单元、与空间注意力单元相连的上采样层、与上采样层相连的通道注意力单元、与通道注意力单元相连的拼接单元；
每个卷积归一化模块包括：若干个由卷积层和批量归一化层相连的网络结构，其中，每个卷积层后面紧跟一个线性整流函数ReLU。
进一步地，所述空间注意力单元，用于对接收到的相邻批量归一化层输出的特征图进行卷积和逆卷积操作，将逆卷积结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做卷积操作后进行相加，将相加结果经过线性整流函数ReLU、卷积、sigmoid和上采样操作后，将上采样结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做乘法，并对乘法结果执行卷积、批量归一化操作，提取空间注意力特征，其中，sigmoid表示双曲正切S型函数。
进一步地，所述通道注意力单元，用于对上采样层的输出结果进行卷积操作，利用全局池化层做卷积结果进行压缩操作，根据压缩结果，利用两个全连接层建模通道间的相关性并通过调整矩阵的维度和形状的操作恢复特征维度，对恢复维度的特征图和卷积结果做乘法，提取通道注意力特征。
进一步地，所述利用获取的训练样本集训练分割网络SegNet包括：
利用获取的训练样本集训练分割网络SegNet，并以最小化分割网络SegNet的损失函数为目标函数，优化分割网络SegNet。
进一步地，分割网络SegNet的损失函数为：
Figure BDA0002287156410000031
其中，Lfl表示损失值；α表示平衡因子；γ表示调节因子；y’表示预测输出值；y表示训练样本的标签。
本发明实施例还提供一种铁精粉分割装置，包括：
获取模块，用于获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
建立模块，用于建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
训练模块，用于利用获取的训练样本集训练分割网络SegNet；
分割模块，用于利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
本发明的上述技术方案的有益效果如下：
上述方案中，为了获取小目标所含有的特征以及更多的与其他矿石有差异的特征信息，在原分割网络SegNet的基础上增加了通道注意力，并为了获取更多的边缘信息以及更好的定位目标物体，在原分割网络SegNet的基础上增加了空间注意力，这样，利用利用训练好的基于空间注意力和通道注意力的分割网络SegNet，能够将铁精粉从获取的传送过程中的待分割铁精粉图像中完整准确地提取出来，从而提高铁精粉提取精度和工作效率，并达到生成高质量球团矿原料的目的。
附图说明
图1为本发明实施例提供的铁精粉分割方法的流程示意图；
图2为本发明实施例提供的基于注意力机制模块的分割网络SegNet的结构示意图；
图3为本发明实施例提供的空间注意力单元的工作流程示意图；
图4为本发明实施例提供的通道注意力单元的工作流程示意图；
图5为本发明实施例提供的铁精粉分割装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的铁精粉和混在其中的其他矿石之间的特征差异小、目标体积过小或边缘定位不准确，导致无法完整准确地提取铁精粉的问题，提供一种铁精粉分割方法及分割装置。
实施例一
如图1所示，本发明实施例提供的铁精粉分割方法，包括：
S101，获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
S102，建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
S103，利用获取的训练样本集训练分割网络SegNet；
S104，利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
本发明实施例所述的铁精粉分割方法，为了获取小目标所含有的特征以及更多的与其他矿石有差异的特征信息，在原分割网络SegNet的基础上增加了通道注意力，并为了获取更多的边缘信息以及更好的定位目标物体，在原分割网络SegNet的基础上增加了空间注意力，这样，利用利用训练好的基于空间注意力和通道注意力的分割网络SegNet，能够将铁精粉从获取的传送过程中的待分割铁精粉图像中完整准确地提取出来，从而提高铁精粉提取精度和工作效率，并达到生成高质量球团矿原料的目的。
本实施例中，SegNet为用于图像分割的深度卷积编码器-解码器架构。
在前述铁精粉分割方法的具体实施方式中，进一步地，在利用获取的训练样本集训练分割网络SegNet之前，所述方法还包括：
对获取的铁精粉图像及对应的标注图进行一致的分割处理；
对分割处理后的铁精粉图像及对应的标注图进行图像增强处理。
本实施例中，首先可以通过高清的工业相机获取传送过程中的铁精粉图像，然后选取部分铁精粉图像，通过领域专家进行人工标注，得到选取的铁精粉图像的标注图，将选取的铁精粉图像和对应的标注图作为训练样本集；将其他的铁精粉图像作为测试样本集，所述测试样本集用于测试训练好的分割网络SegNet分割的准确度。
本实施例中，假设，获取的原始铁精粉图像大小为2592*1944，设置图像分割后的尺寸为256*256，同时对每张训练样本图像对应的标注图也做一致的分割处理。
本实施例中，图像增强处理包括：旋转、翻转、放大、缩小、平移中的一种或多种；例如，随机旋转图像一定角度，改变图像内容的朝向；沿着水平或者垂直方向翻转图像；按照一定的比例放大或者缩小图像；在图像平面上对图像进行平移。
在前述铁精粉分割方法的具体实施方式中，进一步地，所述分割网络SegNet包括：编码器(encoder)以及基于注意力机制模块的解码器(encoder)；
所述编码器，用于对输入图像进行卷积、批量归一化和池化处理，提取特征图；
所述解码器，用于对编码器输出的特征图提取空间注意力特征、上采样、提取通道注意力特征、对提取的空间注意力特征和通道注意力特征进行拼接、卷积和批量归一化处理，并输出铁精粉图像每个像素点的类别。
本实施例中，在encoder中进行特征的提取，decoder用于对提取的特征进行分析处理。
本实施例中，如图2所示，先对encoder进行简要说明：
1)encoder包括：5个卷积归一化模块(1、2、3、4、5)和4个最大池化层max pool(1、2、3、4)，每个卷积归一化模块包括：若干个由卷积层(conv)和批量归一化层(BN)相连的网络结构，每个卷积层后面紧跟一个线性整流函数(Rectified Linear Unit,ReLU)，其中，ReLU为一种激活函数；
2)卷积归一化模块1、2各包括2个由卷积层和批量归一化层相连的网络结构；卷积归一化模块3、4、5各包括3个由卷积层和批量归一化层相连的网络结构；因此，encoder一共有13个卷积层；
3)卷积归一化模块1与最大池化层1相连，最大池化层1与卷积归一化模块2相连，卷积归一化模块2与最大池化层2相连，最大池化层2与卷积归一化模块3相连，卷积归一化模块3与最大池化层3相连，最大池化层3与卷积归一化模块4相连，卷积归一化模块4与最大池化层4相连，最大池化层4与卷积归一化模块5相连；
4)卷积层用于对图像进行特征提取，批归一化层用于缓解深层网络中“梯度弥散”的问题，池化层可以逐步减少网络训练参数及避免分割网络SegNet过拟合。由于encoder中卷积和池化的操作，逐渐增加特征通道的数量，逐渐减小特征图的大小，目的是为了提取到更为准确的特征。
本实施例中，如图2所示，对decoder进行简要说明：
1)decoder包括：第一注意力机制模块、与第一注意力机制模块相连的第一卷积归一化模块、与第一卷积归一化模块相连的第二注意力机制模块、与第二注意力机制模块相连的第二卷积归一化模块、与第二卷积归一化模块相连的第三注意力机制模块、与第三注意力机制模块相连的第三卷积归一化模块、与第三卷积归一化模块相连的第四注意力机制模块、与第四注意力机制模块相连的第四卷积归一化模块、与第四卷积归一化模块相连的分类器模块(conv+softmax)；也就是说，decoder包括4个注意力机制模块(第一、第二、第三、第四)、4个卷积归一化模块(第一、第二、第三、第四)和1个分类器模块，其中，每个卷积归一化模块包括：若干个由卷积层和批量归一化层相连的网络结构，每个卷积层后面紧跟一个线性整流函数ReLU；
2)每个注意力机制模块包括：空间注意力(Spatial Attention)单元、与空间注意力单元相连的上采样层(upsampling)、与上采样层相连的通道注意力(Channel-wiseAttention)单元、与通道注意力单元相连的拼接单元(concatenate)，因此，decoder使用4个上采样层；
本实施例中，Spatial Attention可以增加空间特征的提取，Channel-wiseAttention可以增加通道特征的提取。在每一个上采样层前加入Spatial Attention单元，每一个上采样层后加入Channel-wise Attention单元，紧接着通过拼接单元把空间注意力单元和通道注意力单元提取的特征进行拼接，传送给之后的卷积层；这样就可以使该网络能够获得更多的上下文信息，使得分割结果更加准确。需要注意的是，进行拼接的两个特征图的尺寸和通道数量需要一致；
3)第一、第二、第三卷积归一化模块各包括3个由卷积层和批量归一化层相连的网络结构；第四卷积归一化模块包括2个由卷积层和批量归一化层相连的网络结构；因此，encoder一共有11个卷积层；
4)上采样层逐层上采样到设置的特征大小，在decoder中，每一次上采样后，特征通道数量都会减半，特征图的大小都会加倍，这样可以恢复原分辨率大小的图像。
5)分类器模块由一个conv和softmax组成，用于对第四卷积归一化模块的输出进行处理，产生非线性变换，输出铁精粉图像每个像素点的类别。
在前述铁精粉分割方法的具体实施方式中，进一步地，如图3所示，所述空间注意力单元，用于对接收到的相邻批量归一化层输出的特征图(y)进行卷积和逆卷积(ConvTranspose)操作，将逆卷积结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图(z)做卷积操作后进行相加(add)，将相加结果经过线性整流函数ReLU、卷积、双曲正切S型函数(sigmoid)和上采样操作提取更多的特征后，将上采样结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图(z)做乘法(Multiply)，也就是将权重加到每个特征上，可以使图片局部的重要信息能够通过变换而被提取出来；然后对乘法结果执行卷积、批量归一化操作，提取空间注意力特征。
在前述铁精粉分割方法的具体实施方式中，进一步地，如图4所示，所述通道注意力单元，用于对上采样层的输出结果(y)进行卷积操作，利用全局池化层做卷积结果进行压缩操作，根据压缩结果，利用全连接层(dense)1、全连接层2建模通道间的相关性并通过调整矩阵的维度和形状(Reshape)的操作恢复特征维度(即：先通过全连接层1将特征维度降低到输入的1/16，然后经过ReLU激活后再通过全连接层2、Reshape操作升回到原来的维度)，输出和输入特征同样数目的权重，对恢复维度的特征图和卷积结果做乘法，将权重加权到每个通道的特征上，提取通道注意力特征。这样做可以使提取的通道注意力特征具有更多的非线性，从而更好地拟合通道间复杂的相关性，同时极大地减少了参数量和计算量。
在前述铁精粉分割方法的具体实施方式中，进一步地，所述利用获取的训练样本集训练分割网络SegNet包括：
利用获取的训练样本集训练分割网络SegNet，并以最小化分割网络SegNet的损失函数为目标函数，优化分割网络SegNet。
本实施例中，分割网络SegNet的损失函数为：
Figure BDA0002287156410000081
其中，y表示铁精粉标识。
其中，Lfl表示损失值；α表示平衡因子，用来平衡正负样本本身的数量比例不均；γ表示调节因子，使得分割网络更关注于困难的、错分的样本；y’表示分割网络SegNet的预测输出值，y’的取值在0-1之间；y表示训练样本的标签，1表示铁精粉样本，0表示背景样本。
本实施例中，正样本是指属于某一类别的样本，负样本是指不属于某一类别的样本，此时正样本就是铁精粉样本，负样本就是背景样本。
本实施例中，α和γ均为可以调节的超参数，y'为分割网络SegNet的预测结果，其值介于(0-1)之间，当y＝1时，y'趋于1，表示容易识别的正样本，它对权重的贡献趋于0；当y＝0时，y'趋于0，表示容易识别的负样本，它对权重的贡献趋于0。因此，损失函数Lfl能够解决类别不平衡的问题，不仅降低了背景类的权重，还降低了容易识别的正样本/负样本(easy positive/negative)的权重。
本实施例中，可以使用优化器随机梯度下降(stochastic gradient descent，SGD)优化分割网络SegNet，其中，学习率为0.1，学习率衰减值(decay)的值设为1e-4，动量参数(momentum)的值为0.9，momentum表示要在多大程度上保留原来的更新方向，这个值在0-1之间。
本实施例中，对待分割铁精粉图像，先对其进行分割、图像增强处理，然后再利用训练好的模型对图像增强后的待分割铁精粉图像进行分割，输出每个像素点的类别，其中，类别用0、1表示，0表示背景，1表示铁精粉。
实施例二
本发明还提供一种铁精粉分割装置的具体实施方式，由于本发明提供的铁精粉分割装置与前述铁精粉分割方法的具体实施方式相对应，该铁精粉分割装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述铁精粉分割方法具体实施方式中的解释说明，也适用于本发明提供的铁精粉分割装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图5所示，本发明实施例还提供一种铁精粉分割装置，包括：
获取模块11，用于获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
建立模块12，用于建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
训练模块13，用于利用获取的训练样本集训练分割网络SegNet；
分割模块14，用于利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别。
本发明实施例所述的铁精粉分割装置，为了获取小目标所含有的特征以及更多的与其他矿石有差异的特征信息，在原分割网络SegNet的基础上增加了通道注意力，并为了获取更多的边缘信息以及更好的定位目标物体，在原分割网络SegNet的基础上增加了空间注意力，这样，利用利用训练好的基于空间注意力和通道注意力的分割网络SegNet，能够将铁精粉从获取的传送过程中的待分割铁精粉图像中完整准确地提取出来，从而提高铁精粉提取精度和工作效率，并达到生成高质量球团矿原料的目的。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种铁精粉分割方法，其特征在于，包括：
获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
利用获取的训练样本集训练分割网络SegNet；
利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别；
其中，所述分割网络SegNet包括：编码器以及基于注意力机制模块的解码器；
所述编码器，用于对输入图像进行卷积、批量归一化和池化处理，提取特征图；
所述解码器，用于对编码器输出的特征图提取空间注意力特征、上采样、提取通道注意力特征、对提取的空间注意力特征和通道注意力特征进行拼接、卷积和批量归一化处理，并输出铁精粉图像每个像素点的类别；
其中，所述解码器包括：第一注意力机制模块、与第一注意力机制模块相连的第一卷积归一化模块、与第一卷积归一化模块相连的第二注意力机制模块、与第二注意力机制模块相连的第二卷积归一化模块、与第二卷积归一化模块相连的第三注意力机制模块、与第三注意力机制模块相连的第三卷积归一化模块、与第三卷积归一化模块相连的第四注意力机制模块、与第四注意力机制模块相连的第四卷积归一化模块、与第四卷积归一化模块相连的分类器模块；
其中，每个注意力机制模块包括：空间注意力单元、与空间注意力单元相连的上采样层、与上采样层相连的通道注意力单元、与通道注意力单元相连的拼接单元；
每个卷积归一化模块包括：若干个由卷积层和批量归一化层相连的网络结构，其中，每个卷积层后面紧跟一个线性整流函数ReLU；
其中，所述空间注意力单元，用于对接收到的相邻批量归一化层输出的特征图进行卷积和逆卷积操作，将逆卷积结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做卷积操作后进行相加，将相加结果经过线性整流函数ReLU、卷积、sigmoid和上采样操作后，将上采样结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做乘法，并对乘法结果执行卷积、批量归一化操作，提取空间注意力特征，其中，sigmoid表示双曲正切S型函数；
其中，所述通道注意力单元，用于对上采样层的输出结果进行卷积操作，利用全局池化层做卷积结果进行压缩操作，根据压缩结果，利用两个全连接层建模通道间的相关性并通过调整矩阵的维度和形状的操作恢复特征维度，对恢复维度的特征图和卷积结果做乘法，提取通道注意力特征。
2.根据权利要求1所述的铁精粉分割方法，其特征在于，在利用获取的训练样本集训练分割网络SegNet之前，所述方法还包括：
对获取的铁精粉图像及对应的标注图进行一致的分割处理；
对分割处理后的铁精粉图像及对应的标注图进行图像增强处理。
3.根据权利要求2所述的铁精粉分割方法，其特征在于，图像增强处理包括：旋转、翻转、放大、缩小、平移中的一种或多种。
4.根据权利要求1所述的铁精粉分割方法，其特征在于，所述利用获取的训练样本集训练分割网络SegNet包括：
利用获取的训练样本集训练分割网络SegNet，并以最小化分割网络SegNet的损失函数为目标函数，优化分割网络SegNet。
5.根据权利要求4所述的铁精粉分割方法，其特征在于，分割网络SegNet的损失函数为：
Figure FDA0004154507440000021
其中，Lfl表示损失值；α表示平衡因子；γ表示调节因子；y,表示预测输出值；y表示训练样本的标签。
6.一种铁精粉分割装置，其特征在于，包括：
获取模块，用于获取传送过程中的铁精粉图像及对应的标注图作为训练样本集；
建立模块，用于建立基于注意力机制模块的分割网络SegNet，其中，注意力机制包括：空间注意力和通道注意力；
训练模块，用于利用获取的训练样本集训练分割网络SegNet；
分割模块，用于利用训练好的分割网络SegNet对待分割的铁精粉图像进行分割，输出铁精粉图像每个像素点的类别；
其中，所述分割网络SegNet包括：编码器以及基于注意力机制模块的解码器；
所述编码器，用于对输入图像进行卷积、批量归一化和池化处理，提取特征图；
所述解码器，用于对编码器输出的特征图提取空间注意力特征、上采样、提取通道注意力特征、对提取的空间注意力特征和通道注意力特征进行拼接、卷积和批量归一化处理，并输出铁精粉图像每个像素点的类别；
其中，所述解码器包括：第一注意力机制模块、与第一注意力机制模块相连的第一卷积归一化模块、与第一卷积归一化模块相连的第二注意力机制模块、与第二注意力机制模块相连的第二卷积归一化模块、与第二卷积归一化模块相连的第三注意力机制模块、与第三注意力机制模块相连的第三卷积归一化模块、与第三卷积归一化模块相连的第四注意力机制模块、与第四注意力机制模块相连的第四卷积归一化模块、与第四卷积归一化模块相连的分类器模块；
其中，每个注意力机制模块包括：空间注意力单元、与空间注意力单元相连的上采样层、与上采样层相连的通道注意力单元、与通道注意力单元相连的拼接单元；
每个卷积归一化模块包括：若干个由卷积层和批量归一化层相连的网络结构，其中，每个卷积层后面紧跟一个线性整流函数ReLU；
其中，所述空间注意力单元，用于对接收到的相邻批量归一化层输出的特征图进行卷积和逆卷积操作，将逆卷积结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做卷积操作后进行相加，将相加结果经过线性整流函数ReLU、卷积、sigmoid和上采样操作后，将上采样结果和在编码器中与之对应的具有相同数量特征的批量归一化层输出的特征图做乘法，并对乘法结果执行卷积、批量归一化操作，提取空间注意力特征，其中，sigmoid表示双曲正切S型函数；
其中，所述通道注意力单元，用于对上采样层的输出结果进行卷积操作，利用全局池化层做卷积结果进行压缩操作，根据压缩结果，利用两个全连接层建模通道间的相关性并通过调整矩阵的维度和形状的操作恢复特征维度，对恢复维度的特征图和卷积结果做乘法，提取通道注意力特征。
CN201911164824.1A 2019-11-25 2019-11-25 一种铁精粉分割方法及分割装置 Active CN111028253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164824.1A CN111028253B (zh) 2019-11-25 2019-11-25 一种铁精粉分割方法及分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164824.1A CN111028253B (zh) 2019-11-25 2019-11-25 一种铁精粉分割方法及分割装置

Publications (2)

Publication Number Publication Date
CN111028253A CN111028253A (zh) 2020-04-17
CN111028253B true CN111028253B (zh) 2023-05-30

Family

ID=70206469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164824.1A Active CN111028253B (zh) 2019-11-25 2019-11-25 一种铁精粉分割方法及分割装置

Country Status (1)

Country Link
CN (1) CN111028253B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950586A (zh) * 2021-03-02 2021-06-11 攀钢集团攀枝花钢铁研究院有限公司 一种lf炉钢渣红外识别方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325911A (zh) * 2018-08-27 2019-02-12 北京航空航天大学 一种基于注意力增强机制的空基铁轨检测方法
CN110059717A (zh) * 2019-03-13 2019-07-26 山东大学 用于乳腺钼靶数据集的卷积神经网络自动分割方法及***
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN109325911A (zh) * 2018-08-27 2019-02-12 北京航空航天大学 一种基于注意力增强机制的空基铁轨检测方法
CN110059717A (zh) * 2019-03-13 2019-07-26 山东大学 用于乳腺钼靶数据集的卷积神经网络自动分割方法及***
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵欣欣 ; 钱胜胜 ; 刘晓光 ; .基于卷积神经网络的铁路桥梁高强螺栓缺失图像识别方法.中国铁道科学.(第04期),全文. *

Also Published As

Publication number Publication date
CN111028253A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN113837193B (zh) 一种基于改进U-Net网络的锌浮选泡沫图像分割方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及***
CN112819837B (zh) 一种基于多源异构遥感影像的语义分割方法
CN110991359A (zh) 基于多尺度深度卷积神经网络的卫星图像目标检测方法
CN107392230A (zh) 一种具备极大化知识利用能力的半监督图像分类方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN112926486A (zh) 一种舰船小目标的改进RFBnet目标检测算法
CN111028253B (zh) 一种铁精粉分割方法及分割装置
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN116385374A (zh) 基于卷积神经网络的细胞计数方法
CN114092467A (zh) 一种基于轻量化卷积神经网络的划痕检测方法及***
CN112784894B (zh) 一种岩石薄片显微图像自动标注方法
CN115035371A (zh) 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN110175548A (zh) 基于注意力机制和通道信息的遥感图像建筑物提取方法
CN104050673B (zh) 一种基于K‑means图像分割的深度图提取方法
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及***
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法
CN114494703B (zh) 一种智能车间场景目标轻量级语义分割方法
CN116091862A (zh) 一种画质识别方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant