CN114897835B - 一种基于图像的煤炭产品灰分实时检测*** - Google Patents

一种基于图像的煤炭产品灰分实时检测*** Download PDF

Info

Publication number
CN114897835B
CN114897835B CN202210528705.5A CN202210528705A CN114897835B CN 114897835 B CN114897835 B CN 114897835B CN 202210528705 A CN202210528705 A CN 202210528705A CN 114897835 B CN114897835 B CN 114897835B
Authority
CN
China
Prior art keywords
module
input
convolution
output
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210528705.5A
Other languages
English (en)
Other versions
CN114897835A (zh
Inventor
俞和胜
倪超
杨小琳
张克非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202210528705.5A priority Critical patent/CN114897835B/zh
Publication of CN114897835A publication Critical patent/CN114897835A/zh
Application granted granted Critical
Publication of CN114897835B publication Critical patent/CN114897835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像的煤炭产品灰分实时检测***，属于煤炭质量检测领域。包括图像采集***、灰分检测***，图像采集***主要包括多个工业相机、给相机补充照明的灯光设备和数据采集模块，用于产品图像的采集；灰分检测***主要包括图像识别模块、数据库模块，工业相机设备安装于需要采集产品图像的皮带、浮选设备等的正上方，数据采集模块控制工业相机完成图像的采集,并将采集到的图像发送至灰分检测***；图像识别模块对采集到的产品图像进行分析，给出相应的产品灰分值；数据库模块对检测结果进行输出。该发明能够实现实时的煤炭灰分检测，且不存在采制样过程，可以极大的减少工人的工作强度，为煤炭分选过程的实时调控建立基础。

Description

一种基于图像的煤炭产品灰分实时检测***
技术领域
本发明提供一种基于图像的煤炭产品灰分实时检测***，属于煤炭分选领域。
背景技术
煤炭作为一种重要的化石燃料，在我国的一次能源中具有很大的占比。煤炭产品的灰分不仅是评价煤炭产品质量的重要指标之一，也是生产过程设备参数选择、以及相关机构和企业进行煤炭加工利用、贸易计价等的基础指标。
近年来，智能矿山、智能开采等概念和相关政策的提出，明确了煤炭行业的发展要向自动化、智能化的方向迈进。然而，现有的慢灰、快灰、基于射线等灰分检测方法，由于存在精度低、速度慢、人工成本高、环境污染大、对人体有害等诸多问题，难以满足自动化生产的需要。缺乏快速、准确的煤炭灰分检测方法，已经严重限制了煤炭分选过程的自动化、智能化进程，一种新的煤炭产品灰分检测方法急需被提出。
随着机器学***。与此同时，在煤炭分选领域，长期以来均有学者尝试使用煤炭产品的图像来检测产品灰分，然而由于技术条件的限制，相关研究的进展十分缓慢，鲜有相关研究被应用到实际生产中去。近年来机器学习技术的快速发展，为煤炭产品图像分析提供了新的强有力的技术手段，使得基于煤炭产品图像预测产品灰分成为了可能。
发明内容
针对现有技术的不足之处，本发明提供了一种基于图像的煤炭产品灰分实时检测***，用以解决煤炭生产过程中，缺乏快速准确安全的煤炭产品灰分检测方法的问题，为煤炭分选过程的自动化和智能化提供了基础。
为实现上述技术目的，本发明提出了一种基于图像的煤炭产品灰分实时检测***，包括图像采集***和灰分检测***，图像采集***将采集到的图像信息发送给灰分检测***进行检测识别；
所述图像采集***包括：工业相机单元，设置在工业相机两侧的灯光单元，与工业相机连接的数据采集单元；
工业相机单元设置在生产现场的产品皮带正上方，或浮选柱的正上方，用以采集产品皮带或浮选柱中煤炭产品的图像，通过调整工业相机与煤炭产品的高度距离，从而确保工业相机能够采集到煤炭产品的全样；
灯光单元设置在工业相机的周围，用以为工业相机单元的拍摄提供多角度下的均匀稳定照明，以防止工业相机采集的煤炭产品图像中出现阴影；
数据采集单元包括相机控制单元和数据传输单元；
相机控制单元，用以设置相机的曝光时间、增益、白平衡、采样间隔；
数据传输单元，用以将采集到的产品图像通过网线等介质发送到部署了灰分检测***的计算机上；
所述灰分检测***包括：图像识别单元和数据库单元；
图像识别单元，用于对采集到的煤炭产品图像进行分析，给出煤炭产品的灰分值，并且在使用工程中，利用收集到的全部数据更新深度学习模型的参数，以保证深度学习模型的预测精度，从而随着使用实现自我学习不断提高识别精度；
数据库单元包括数据储存单元和交换单元；
数据储存单元，用以存储所有采集到的煤炭产品图像信息，所有检测得到的煤炭产品灰分值，供后续查看、分析和以及图像识别单元的读取和自我学习；
交换单元，用以将数据储存单元内的数据转化为通用文件格式进行导入和导出，便于数据的备份和共享；
数据采集单元中的相机控制单元控制工业相机单元和工业相机单元匹配收集煤炭产品的图像，之后将图像通过数据传输单元发送给图像识别单元和数据库单元，其中图像识别单元利用内部的深度学习模型进行识别，并将是被后的数据存储入数据库单元。
进一步，图像识别单元包括深度学习模型CAPNet，该模型直接将工业相机拍摄得到的300*300的3通道彩色煤炭产品图像作为输入，输出对应的灰分值；
深度学习模型CAPNet包括顺序连接的一个模块1、n个串联的模块2和一个模块3，n为大于等于2的整数，具体数值通过参数寻优确定；模块1接受相机拍摄得到的煤炭产品的图像作为输入，输出一个可以代表原始煤炭产品的图像的矩阵；n个模块2为串联连接，第一个模块2接受模块1的输出作为输入，后续模块2接受前一个模块2的输出作为输入，模块2的输出为可以代表原始输入的局部特征和整体特征的两个矩阵；模块3接受模块2的输出作为输入，输出灰分值。
进一步，所述的模块1用于过滤掉输入数据中的部分无用信息，并降低其分辨率，减少后续步骤的计算量；模块1由一个卷积层、一个归一化层和一个激活函数串联构成，其输入为卷积层输入，输出为激活函数的输出；其中，卷积层包含128个大小为7*7、步长为3的卷积核，用于过滤掉输入图像信息中的无用信息，并降低图像的分辨率；归一化层用于对卷积层输出的结果进行归一化变换，使其始终具有相似的取值范围和分布，以加速模型训练过程；激活函数为非线性函数relu，用于为模型引入非线性特征；
所述的模块2包括预处理模块、卷积模块、注意力模块，其输入即为预处理模块的输入，输出为卷积模块、注意力模块的输出；预处理模块通过两次独立的卷积、求和操作，将输入的两个矩阵融合为一个矩阵，分别作为卷积模块、注意力模块的输入，当使用模块1的输出作为模块2的输入时，预处理模块的两个输入均对应于模块1的输出，当使用上一个模块2的输出作为模块2的输入时，预处理模块的输入1、输入2对应于上一个模块2的输出1、输出2；卷积模块与注意力模块并联布置，前者用于提取输入中的局部特征，后者用于提取输入中的整体特征，两者都接受一个矩阵作为输入，输出一个代表输入特征的矩阵；
所述预处理模块包含四个并联布置的卷积核大小为1*1、步长为1的卷积层，其中第一、第二个卷积层的卷积核数量为N1，第三、第四个卷积层的卷积核数量为N2，N1、N2为大于0的整数，N1、N2值通过参数寻优选取效果最好的值作为最终结果；第一、第三个卷积层接受模块2的输入1作为输入，第二、第四个卷积层接受模块2的输入2作为输入；将第一、第二个卷积层的输出相加，得到一个矩阵，用作卷积模块的输入；同样的，将第二、第四个卷积层的输出相加，得到注意力模块的输入；
所述卷积模块，包含分支1和分支2，分支1由一个归一化层、一个由N1个大小为1*1、步长为2的卷积核构成的卷积层串联构成；分支2由一个归一化层、一个由N1个大小为3*3、步长为2的卷积核构成的卷积层、一个激活函数、另一个归一化层、一个由N1个大小为3*3、步长为1的卷积核构成的卷积层串联构成；将分支1、分支2的输出相加后送入激活函数，得到卷积模块的输出，即模块2的输出1；
所述注意力模块，其输入首先经过一个归一化层、一个Double Attention层、另一个归一化层、一个包含N2个神经元的全连接层，然后，将注意力模块的输入与上述全连接层的输出相加后送入激活函数，再将激活函数的输出送入一个核尺寸2*2、步长为2的深度卷积层，得到注意力模块的输出，即模块2的输出2；
所述Double Attention层，其表达式为：
f(x)＝[Asoftmax(B)T]softmax(V)
式中，A、B、V为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，T为转置操作，softmax函数的作用为将输入数据的取值范围调整至0到1；
所述模块3，用于将输入映射到灰分值；模块3接受模块2的输出1和输出2作为输入1和输入2，输出灰分值；输入1和输入2首先各经过由一个Residual Attention层、一个包含256个神经元的全连接层、一个包含128个神经元的全连接层、一个包含1个神经元的全连接层串联连接的分支；然后将两个分支的输出沿最后一个维度拼接到一起，经过一个包含1个神经元的全连接层，得到模块3的输出，即对煤炭产品图像识别出来的灰分值；
所述Residual Attention层，用于替代全局池化层，以获得更有代表性的特征向量，其表达式为：
f(x)＝mean(A)+λ×max(A)
式中，A为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，λ为一个常数，该处设置为0.3，mean、max代表对输入数据沿最后一个维度进行取平均值、最大值操作。
进一步，深度学习模型CAPNet的训练方法：
首先对CAPNet模型进行训练：首先将收集到的全部煤炭产品图像进行人工标注，给全部煤炭产品图像标注对应的灰分值作为原始数据，之后根据比例：64：16：20划分为训练集、验证集、测试集，分别用于CAPNet模型的训练、验证和测试；
设定CAPNet模型的损失函数为MAE，损失函数值越小越好，其表达式为：
Figure BDA0003645356470000041
式中，n为训练样本总数，yi、
Figure BDA0003645356470000042
分别为样本真值和模型的输出值；
选择Nadam函数作为CAPNet模型的优化函数，优化函数Nadam的学习率设为0.001，设定CAPNet模型的迭代次数为300，每次迭代后，使用验证集测试CAPNet模型性能，遍历300此的迭代结果，选取迭代结果总损失函数MAE最小的CAPNet模型作为最优模型；
模型训练结束后，使用测试集测试最优模型的性能，以R2作为评价指标，其输出值小于1，值越接近1，效果越好，其表达式为：
Figure BDA0003645356470000043
式中，n为训练样本总数，yi、
Figure BDA0003645356470000044
分别为样本真值和模型的输出值。
与现有技术相比，本发明具有以下有益效果：
1)本***能够实现在线的灰分检测，有利于实现生产过程的实时调控，保证产品质量；
2)本***部署简单、使用容易，不会对现有的生产过程造成影响，可以适应复杂的现场环境；
3)识别过程不存在采制样过程，避免了传统方法对工人的健康造成的威胁，且有助于降低工人的劳作强度，避免环境污染；
附图说明
图1为本发明——基于图像的煤炭产品灰分实时检测***工作流程示意图；
图2为本发明的CAPNet模型结构示意图：
图3为本发明的CAPNet模型中的模块1的结构示意图；
图4为本发明的CAPNet模型中的模块2的结构示意图；
图5为本发明的CAPNet模型中的模块3的结构示意图；
图6为本发明***适配浮选柱的安装位置示意图；
图7为本发明***适配产品皮带的安装位置示意图。
具体实施方式
下面结合附图对本发明的实施例做进一步说明：
实施例1：以实验室浮选柱作为实验对象，部署灰分检测***，用于检测浮选精煤的灰分。该***包括图像采集***和灰分检测***；
所述图像采集***包括：工业相机单元，设置在工业相机两侧的灯光单元，与工业相机连接的数据采集单元；
工业相机单元设置在生产现场的产品皮带正上方，或浮选柱的正上方，用以采集产品皮带或浮选柱中煤炭产品的图像，通过调整工业相机与煤炭产品的高度距离，从而确保工业相机能够采集到煤炭产品的全样；
灯光单元设置在工业相机的周围，用以为工业相机单元的拍摄提供多角度下的均匀稳定照明，以防止工业相机采集的煤炭产品图像中出现阴影；
数据采集单元包括相机控制单元和数据传输单元；
相机控制单元，用以设置相机的曝光时间、增益、白平衡、采样间隔；
数据传输单元，用以将采集到的产品图像通过网线等介质发送到部署了灰分检测***的计算机上；
所述灰分检测***包括：图像识别单元和数据库单元；
图像识别单元，用于对采集到的煤炭产品图像进行分析，给出煤炭产品的灰分值，并且在使用工程中，利用收集到的全部数据更新模型的参数，以保证模型的预测精度，从而随着使用实现自我学习不断提高识别精度；
数据库单元包括数据储存单元和交换单元；
数据储存单元，用以存储所有采集到的煤炭产品图像信息，所有检测得到的煤炭产品灰分值，供后续查看、分析和以及图像识别单元的读取和自我学习；
交换单元，用以将数据储存单元内的数据转化为通用文件格式进行导入和导出，便于数据的备份和共享；
数据采集单元中的相机控制单元控制工业相机单元和工业相机单元匹配收集煤炭产品的图像，之后将图像通过数据传输单元发送给图像识别单元和数据库单元，其中图像识别单元利用内部的深度学习模型进行识别，并将是被后的数据存储入数据库单元。
进一步，图像识别单元包括深度学习模型CAPNet，该模型直接将工业相机拍摄得到的300*300的3通道彩色煤炭产品图像作为输入，输出对应的灰分值；
深度学习模型CAPNet包括顺序连接的一个模块1、n个串联的模块2和一个模块3，n为大于等于2的整数，具体数值通过参数寻优确定；模块1接受相机拍摄得到的煤炭产品的图像作为输入，输出一个可以代表原始煤炭产品的图像的矩阵；n个模块2为串联连接，第一个模块2接受模块1的输出作为输入，后续模块2接受前一个模块2的输出作为输入，模块2的输出为可以代表原始输入的局部特征和整体特征的两个矩阵；模块3接受模块2的输出作为输入，输出灰分值。
进一步，所述的模块1用于过滤掉输入数据中的部分无用信息，并降低其分辨率，减少后续步骤的计算量；模块1由一个卷积层、一个归一化层和一个激活函数串联构成，其输入为卷积层输入，输出为激活函数的输出；其中，卷积层包含128个大小为7*7、步长为3的卷积核，用于过滤掉输入图像信息中的无用信息，并降低图像的分辨率；归一化层用于对卷积层输出的结果进行归一化变换，使其始终具有相似的取值范围和分布，以加速模型训练过程；激活函数为非线性函数relu，用于为模型引入非线性特征；
所述的模块2包括预处理模块、卷积模块、注意力模块，其输入即为预处理模块的输入，输出为卷积模块、注意力模块的输出；预处理模块通过两次独立的卷积、求和操作，将输入的两个矩阵融合为一个矩阵，分别作为卷积模块、注意力模块的输入，当使用模块1的输出作为模块2的输入时，预处理模块的两个输入均对应于模块1的输出，当使用上一个模块2的输出作为模块2的输入时，预处理模块的输入1、输入2对应于上一个模块2的输出1、输出2；卷积模块与注意力模块并联布置，前者用于提取输入中的局部特征，后者用于提取输入中的整体特征，两者都接受一个矩阵作为输入，输出一个代表输入特征的矩阵；
所述预处理模块包含四个并联布置的卷积核大小为1*1、步长为1的卷积层，其中第一、第二个卷积层的卷积核数量为N1，第三、第四个卷积层的卷积核数量为N2，N1、N2为大于0的整数，N1、N2值通过参数寻优选取效果最好的值作为最终结果；第一、第三个卷积层接受模块2的输入1作为输入，第二、第四个卷积层接受模块2的输入2作为输入；将第一、第二个卷积层的输出相加，得到一个矩阵，用作卷积模块的输入；同样的，将第二、第四个卷积层的输出相加，得到注意力模块的输入；
所述卷积模块，包含分支1和分支2，分支1由一个归一化层、一个由N1个大小为1*1、步长为2的卷积核构成的卷积层串联构成；分支2由一个归一化层、一个由N1个大小为3*3、步长为2的卷积核构成的卷积层、一个激活函数、另一个归一化层、一个由N1个大小为3*3、步长为1的卷积核构成的卷积层串联构成；将分支1、分支2的输出相加后送入激活函数，得到卷积模块的输出，即模块2的输出1；
所述注意力模块，其输入首先经过一个归一化层、一个Double Attention层、另一个归一化层、一个包含N2个神经元的全连接层，然后，将注意力模块的输入与上述全连接层的输出相加后送入激活函数，再将激活函数的输出送入一个核尺寸2*2、步长为2的深度卷积层，得到注意力模块的输出，即模块2的输出2；
所述Double Attention层，其表达式为：
f(x)＝[Asoftmax(B)T]softmax(V)
式中，A、B、V为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，T为转置操作，softmax函数的作用为将输入数据的取值范围调整至0到1；
所述模块3，用于将输入映射到灰分值；模块3接受模块2的输出1和输出2作为输入1和输入2，输出灰分值；输入1和输入2首先各经过由一个Residual Attention层、一个包含256个神经元的全连接层、一个包含128个神经元的全连接层、一个包含1个神经元的全连接层串联连接的分支；然后将两个分支的输出沿最后一个维度拼接到一起，经过一个包含1个神经元的全连接层，得到模块3的输出，即对煤炭产品图像识别出来的灰分值；
所述Residual Attention层，用于替代全局池化层，以获得更有代表性的特征向量，其表达式为：
f(x)＝mean(A)+λ×max(A)
式中，A为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，λ为一个常数，该处设置为0.3，mean、max代表对输入数据沿最后一个维度进行取平均值、最大值操作。
进一步，深度学习模型CAPNet的训练方法：
首先对CAPNet模型进行训练：首先将收集到的全部煤炭产品图像进行人工标注，给全部煤炭产品图像标注对应的灰分值作为原始数据，之后根据比例：64：16：20划分为训练集、验证集、测试集，分别用于CAPNet模型的训练、验证和测试；
设定CAPNet模型的损失函数为MAE，损失函数值越小越好，其表达式为：
Figure BDA0003645356470000071
式中，n为训练样本总数，yi、
Figure BDA0003645356470000072
分别为样本真值和模型的输出值；
选择Nadam函数作为CAPNet模型的优化函数，优化函数Nadam的学习率设为0.001，设定CAPNet模型的迭代次数为300，每次迭代后，使用验证集测试CAPNet模型性能，遍历300此的迭代结果，选取迭代结果总损失函数MAE最小的CAPNet模型作为最优模型；
模型训练结束后，使用测试集测试最优模型的性能，以R2作为评价指标，其输出值小于1，值越接近1，效果越好，其表达式为：
Figure BDA0003645356470000081
式中，n为训练样本总数，yi、
Figure BDA0003645356470000082
分别为样本真值和模型的输出值。
该例中，通过参数寻优，确定模块2的数量n的值为2，两个模块2的N1、N2的值依次为64和96、128和192；
该例中，共收集到9205组原始数据，将其用于模型的训练、验证和测试。使用测试集检测得到的模型的性能，结果为：R2＝0.926。
实施例2：以协庄洗煤厂的产品皮带作为实验对象，部署灰分检测***，用于检测精煤产品的灰分。该***包括图像采集***和灰分检测***；
所述图像采集***包括：工业相机单元，设置在工业相机两侧的灯光单元，与工业相机连接的数据采集单元；
工业相机单元设置在生产现场的产品皮带正上方，或浮选柱的正上方，用以采集产品皮带或浮选柱中煤炭产品的图像，通过调整工业相机与煤炭产品的高度距离，从而确保工业相机能够采集到煤炭产品的全样；
灯光单元设置在工业相机的周围，用以为工业相机单元的拍摄提供多角度下的均匀稳定照明，以防止工业相机采集的煤炭产品图像中出现阴影；
数据采集单元包括相机控制单元和数据传输单元；
相机控制单元，用以设置相机的曝光时间、增益、白平衡、采样间隔；
数据传输单元，用以将采集到的产品图像通过网线等介质发送到部署了灰分检测***的计算机上；
所述灰分检测***包括：图像识别单元和数据库单元；
图像识别单元，用于对采集到的煤炭产品图像进行分析，给出煤炭产品的灰分值，并且在使用工程中，利用收集到的全部数据更新模型的参数，以保证模型的预测精度，从而随着使用实现自我学习不断提高识别精度；
数据库单元包括数据储存单元和交换单元；
数据储存单元，用以存储所有采集到的煤炭产品图像信息，所有检测得到的煤炭产品灰分值，供后续查看、分析和以及图像识别单元的读取和自我学习；
交换单元，用以将数据储存单元内的数据转化为通用文件格式进行导入和导出，便于数据的备份和共享。
进一步，图像识别单元包括深度学习模型CAPNet，该模型直接将工业相机拍摄得到的300*300的3通道彩色煤炭产品图像作为输入，输出对应的灰分值；
深度学习模型CAPNet包括顺序连接的一个模块1、n个串联的模块2和一个模块3，n为大于等于2的整数，具体数值通过参数寻优确定；模块1接受相机拍摄得到的煤炭产品的图像作为输入，输出一个可以代表原始煤炭产品的图像的矩阵；n个模块2为串联连接，第一个模块2接受模块1的输出作为输入，后续模块2接受前一个模块2的输出作为输入，模块2的输出为可以代表原始输入的局部特征和整体特征的两个矩阵；模块3接受模块2的输出作为输入，输出灰分值。
进一步，所述的模块1用于过滤掉输入数据中的部分无用信息，并降低其分辨率，减少后续步骤的计算量；模块1由一个卷积层、一个归一化层和一个激活函数串联构成，其输入为卷积层输入，输出为激活函数的输出；其中，卷积层包含128个大小为7*7、步长为3的卷积核，用于过滤掉输入图像信息中的无用信息，并降低图像的分辨率；归一化层用于对卷积层输出的结果进行归一化变换，使其始终具有相似的取值范围和分布，以加速模型训练过程；激活函数为非线性函数relu，用于为模型引入非线性特征；
所述的模块2包括预处理模块、卷积模块、注意力模块，其输入即为预处理模块的输入，输出为卷积模块、注意力模块的输出；预处理模块通过两次独立的卷积、求和操作，将输入的两个矩阵融合为一个矩阵，分别作为卷积模块、注意力模块的输入，当使用模块1的输出作为模块2的输入时，预处理模块的两个输入均对应于模块1的输出，当使用上一个模块2的输出作为模块2的输入时，预处理模块的输入1、输入2对应于上一个模块2的输出1、输出2；卷积模块与注意力模块并联布置，前者用于提取输入中的局部特征，后者用于提取输入中的整体特征，两者都接受一个矩阵作为输入，输出一个代表输入特征的矩阵；
所述预处理模块包含四个并联布置的卷积核大小为1*1、步长为1的卷积层，其中第一、第二个卷积层的卷积核数量为N1，第三、第四个卷积层的卷积核数量为N2，N1、N2为大于0的整数，N1、N2值通过参数寻优选取效果最好的值作为最终结果；第一、第三个卷积层接受模块2的输入1作为输入，第二、第四个卷积层接受模块2的输入2作为输入；将第一、第二个卷积层的输出相加，得到一个矩阵，用作卷积模块的输入；同样的，将第二、第四个卷积层的输出相加，得到注意力模块的输入；
所述卷积模块，包含分支1和分支2，分支1由一个归一化层、一个由N1个大小为1*1、步长为2的卷积核构成的卷积层串联构成；分支2由一个归一化层、一个由N1个大小为3*3、步长为2的卷积核构成的卷积层、一个激活函数、另一个归一化层、一个由N1个大小为3*3、步长为1的卷积核构成的卷积层串联构成；将分支1、分支2的输出相加后送入激活函数，得到卷积模块的输出，即模块2的输出1；
所述注意力模块，其输入首先经过一个归一化层、一个Double Attention层、另一个归一化层、一个包含N2个神经元的全连接层，然后，将注意力模块的输入与上述全连接层的输出相加后送入激活函数，再将激活函数的输出送入一个核尺寸2*2、步长为2的深度卷积层，得到注意力模块的输出，即模块2的输出2；
所述Double Attention层，其表达式为：
f(x)＝[Asoftmax(B)T]softmax(V)
式中，A、B、V为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，T为转置操作，softmax函数的作用为将输入数据的取值范围调整至0到1；
所述模块3，用于将输入映射到灰分值；模块3接受模块2的输出1和输出2作为输入1和输入2，输出灰分值；输入1和输入2首先各经过由一个Residual Attention层、一个包含256个神经元的全连接层、一个包含128个神经元的全连接层、一个包含1个神经元的全连接层串联连接的分支；然后将两个分支的输出沿最后一个维度拼接到一起，经过一个包含1个神经元的全连接层，得到模块3的输出，即对煤炭产品图像识别出来的灰分值；
所述Residual Attention层，用于替代全局池化层，以获得更有代表性的特征向量，其表达式为：
f(x)＝mean(A)+λ×max(A)
式中，A为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，λ为一个常数，该处设置为0.3，mean、max代表对输入数据沿最后一个维度进行取平均值、最大值操作。
进一步，深度学习模型CAPNet的训练方法：
首先对CAPNet模型进行训练：首先将收集到的全部煤炭产品图像进行人工标注，给全部煤炭产品图像标注对应的灰分值作为原始数据，之后根据比例：64：16：20划分为训练集、验证集、测试集，分别用于CAPNet模型的训练、验证和测试；
设定CAPNet模型的损失函数为MAE，损失函数值越小越好，其表达式为：
Figure BDA0003645356470000101
式中，n为训练样本总数，yi、
Figure BDA0003645356470000102
分别为样本真值和模型的输出值；
选择Nadam函数作为CAPNet模型的优化函数，优化函数Nadam的学习率设为0.001，设定CAPNet模型的迭代次数为300，每次迭代后，使用验证集测试CAPNet模型性能，遍历300此的迭代结果，选取迭代结果总损失函数MAE最小的CAPNet模型作为最优模型；
模型训练结束后，使用测试集测试最优模型的性能，以R2作为评价指标，其输出值小于1，值越接近1，效果越好，其表达式为：
Figure BDA0003645356470000111
式中，n为训练样本总数，yi、
Figure BDA0003645356470000112
分别为样本真值和模型的输出值。
该例中，通过参数寻优，确定模块2的数量n的值为4，四个模块2的N1、N2的值依次为64和32、128和64、192和96、256和128；
该例中，共收集到精煤产品数据2687组，将其用于模型的训练、验证和测试。使用测试集检测得到的模型的性能，结果为：R2＝0.131。
为验证该***的自我学习功能的有效性，进一步引入原煤、矸石产品数据加入原有数据中作为原始数据，共得到8079组数据，将其用于模型的训练、验证和测试。使用测试集检测得到的模型的性能，结果为：R2＝0.972，进而证明了自我学习功能的有效性。

Claims (2)

1.一种基于图像的煤炭产品灰分实时检测***，其特征在于：包括图像采集***和灰分检测***，图像采集***将采集到的图像信息发送给灰分检测***进行检测识别；
所述图像采集***包括：工业相机单元，设置在工业相机两侧的灯光单元，与工业相机连接的数据采集单元；
工业相机单元设置在生产现场的产品皮带正上方，或浮选柱的正上方，用以采集产品皮带或浮选柱中煤炭产品的图像，通过调整工业相机与煤炭产品的高度距离，从而确保工业相机能够采集到煤炭产品的全样；
灯光单元设置在工业相机的周围，用以为工业相机单元的拍摄提供多角度下的均匀稳定照明，以防止工业相机采集的煤炭产品图像中出现阴影；
数据采集单元包括相机控制单元和数据传输单元；
相机控制单元，用以设置相机的曝光时间、增益、白平衡、采样间隔；
数据传输单元，用以将采集到的产品图像通过网线介质发送到部署了灰分检测***的计算机上；
所述灰分检测***包括：图像识别单元和数据库单元；
图像识别单元，用于对采集到的煤炭产品图像进行分析，给出煤炭产品的灰分值，并且在使用工程中，利用收集到的全部数据更新深度学习模型的参数，以保证深度学习模型的预测精度，从而随着使用实现自我学习不断提高识别精度；
数据库单元包括数据储存单元和交换单元；
数据储存单元，用以存储所有采集到的煤炭产品图像信息，所有检测得到的煤炭产品灰分值，供后续查看、分析和以及图像识别单元的读取和自我学习；
交换单元，用以将数据储存单元内的数据转化为通用文件格式进行导入和导出，便于数据的备份和共享；
数据采集单元中的相机控制单元控制工业相机单元和工业相机单元匹配收集煤炭产品的图像，之后将图像通过数据传输单元发送给图像识别单元和数据库单元，其中图像识别单元利用内部的深度学习模型进行识别，并将是被后的数据存储入数据库单元；
图像识别单元包括深度学习模型CAPNet，该模型直接将工业相机拍摄得到的300*300的3通道彩色煤炭产品图像作为输入，输出对应的灰分值；
深度学习模型CAPNet包括顺序连接的一个模块1、n个串联的模块2和一个模块3，n为大于等于2的整数，具体数值通过参数寻优确定；模块1接受相机拍摄得到的煤炭产品的图像作为输入，输出一个可以代表原始煤炭产品的图像的矩阵；n个模块2为串联连接，第一个模块2接受模块1的输出作为输入，后续模块2接受前一个模块2的输出作为输入，模块2的输出为可以代表原始输入的局部特征和整体特征的两个矩阵；模块3接受模块2的输出作为输入，输出灰分值；
所述的模块1用于过滤掉输入数据中的部分无用信息，并降低其分辨率，减少后续步骤的计算量；模块1由一个卷积层、一个归一化层和一个激活函数串联构成，其输入为卷积层输入，输出为激活函数的输出；其中，卷积层包含128个大小为7*7、步长为3的卷积核，用于过滤掉输入图像信息中的无用信息，并降低图像的分辨率；归一化层用于对卷积层输出的结果进行归一化变换，使其始终具有相似的取值范围和分布，以加速模型训练过程；激活函数为非线性函数relu，用于为模型引入非线性特征；
所述的模块2包括预处理模块、卷积模块、注意力模块，其输入即为预处理模块的输入，输出为卷积模块、注意力模块的输出；预处理模块通过两次独立的卷积、求和操作，将输入的两个矩阵融合为一个矩阵，分别作为卷积模块、注意力模块的输入，当使用模块1的输出作为模块2的输入时，预处理模块的两个输入均对应于模块1的输出，当使用上一个模块2的输出作为模块2的输入时，预处理模块的输入1、输入2对应于上一个模块2的输出1、输出2；卷积模块与注意力模块并联布置，前者用于提取输入中的局部特征，后者用于提取输入中的整体特征，两者都接受一个矩阵作为输入，输出一个代表输入特征的矩阵；
所述预处理模块包含四个并联布置的卷积核大小为1*1、步长为1的卷积层，其中第一、第二个卷积层的卷积核数量为N1，第三、第四个卷积层的卷积核数量为N2，N1、N2为大于0的整数，N1、N2值通过参数寻优选取效果最好的值作为最终结果；第一、第三个卷积层接受模块2的输入1作为输入，第二、第四个卷积层接受模块2的输入2作为输入；将第一、第二个卷积层的输出相加，得到一个矩阵，用作卷积模块的输入；同样的，将第二、第四个卷积层的输出相加，得到注意力模块的输入；
所述卷积模块，包含分支1和分支2，分支1由一个归一化层、一个由N1个大小为1*1、步长为2的卷积核构成的卷积层串联构成；分支2由一个归一化层、一个由N1个大小为3*3、步长为2的卷积核构成的卷积层、一个激活函数、另一个归一化层、一个由N1个大小为3*3、步长为1的卷积核构成的卷积层串联构成；将分支1、分支2的输出相加后送入激活函数，得到卷积模块的输出，即模块2的输出1；
所述注意力模块，其输入首先经过一个归一化层、一个DoubleAttention层、另一个归一化层、一个包含N2个神经元的全连接层，然后，将注意力模块的输入与上述全连接层的输出相加后送入激活函数，再将激活函数的输出送入一个核尺寸2*2、步长为2的深度卷积层，得到注意力模块的输出，即模块2的输出2；
所述DoubleAttention层，其表达式为：
f(x)＝[Asoftmax(B)T]softmax(V)
式中，A、B、V为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，T为转置操作，softmax函数的作用为将输入数据的取值范围调整至0到1；
所述模块3，用于将输入映射到灰分值；模块3接受模块2的输出1和输出2作为输入1和输入2，输出灰分值；输入1和输入2首先各经过由一个ResidualAttention层、一个包含256个神经元的全连接层、一个包含128个神经元的全连接层、一个包含1个神经元的全连接层串联连接的分支；然后将两个分支的输出沿最后一个维度拼接到一起，经过一个包含1个神经元的全连接层，得到模块3的输出，即对煤炭产品图像识别出来的灰分值；
所述ResidualAttention层，用于替代全局池化层，以获得更有代表性的特征向量，其表达式为：
f(x)＝mean(A)+λ×max(A)
式中，A为对输入进行卷积操作所得结果：卷积核大小1*1，步长1，数量与输入的维度相同，λ为一个常数，该处设置为0.3，mean、max代表对输入数据沿最后一个维度进行取平均值、最大值操作。
2.根据权利要求1所述的基于图像的煤炭产品灰分实时检测***，其特征在于：深度学习模型CAPNet的训练方法：
首先对CAPNet模型进行训练：首先将收集到的全部煤炭产品图像进行人工标注，给全部煤炭产品图像标注对应的灰分值作为原始数据，之后根据比例：64：16：20划分为训练集、验证集、测试集，分别用于CAPNet模型的训练、验证和测试；
设定CAPNet模型的损失函数为MAE，损失函数值越小越好，其表达式为：
式中，n为训练样本总数，yi、分别为样本真值和模型的输出值；
选择Nadam函数作为CAPNet模型的优化函数，优化函数Nadam的学习率设为0.001，设定CAPNet模型的迭代次数为300，每次迭代后，使用验证集测试CAPNet模型性能，遍历300此的迭代结果，选取迭代结果总损失函数MAE最小的CAPNet模型作为最优模型；
模型训练结束后，使用测试集测试最优模型的性能，以R2作为评价指标，其输出值小于1，值越接近1，效果越好，其表达式为：
式中，n为训练样本总数，yi、分别为样本真值和模型的输出值。
CN202210528705.5A 2022-05-16 2022-05-16 一种基于图像的煤炭产品灰分实时检测*** Active CN114897835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528705.5A CN114897835B (zh) 2022-05-16 2022-05-16 一种基于图像的煤炭产品灰分实时检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528705.5A CN114897835B (zh) 2022-05-16 2022-05-16 一种基于图像的煤炭产品灰分实时检测***

Publications (2)

Publication Number Publication Date
CN114897835A CN114897835A (zh) 2022-08-12
CN114897835B true CN114897835B (zh) 2023-04-28

Family

ID=82722911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528705.5A Active CN114897835B (zh) 2022-05-16 2022-05-16 一种基于图像的煤炭产品灰分实时检测***

Country Status (1)

Country Link
CN (1) CN114897835B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753912A (zh) * 2020-06-28 2020-10-09 中国矿业大学 一种基于深度学习的煤泥浮选精煤灰分预测方法
CN112950632A (zh) * 2021-04-18 2021-06-11 吉林大学 一种基于高光谱成像技术和卷积神经网络的煤炭质量检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109269951B (zh) * 2018-09-06 2021-12-03 山西智卓电气有限公司 基于图像的浮选尾煤灰分、浓度、粗颗粒含量检测方法
CN114219960A (zh) * 2021-12-16 2022-03-22 哈尔滨工业大学 基于多学习器优化的XGBoost的小样本条件下空间目标ISAR图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753912A (zh) * 2020-06-28 2020-10-09 中国矿业大学 一种基于深度学习的煤泥浮选精煤灰分预测方法
CN112950632A (zh) * 2021-04-18 2021-06-11 吉林大学 一种基于高光谱成像技术和卷积神经网络的煤炭质量检测方法

Also Published As

Publication number Publication date
CN114897835A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN105678332A (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及***
CN111562612B (zh) 一种基于注意力机制的深度学习微震事件识别方法及***
CN112950632B (zh) 一种基于高光谱成像技术和卷积神经网络的煤炭质量检测方法
CN115862073B (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN113191452B (zh) 一种基于深度学习的煤灰分在线检测***及其检测方法
CN111709477A (zh) 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN110059765B (zh) 一种矿物智能识别分类***与方法
CN111949535A (zh) 基于开源社区知识的软件缺陷预测装置及方法
CN113128335A (zh) 微体古生物化石图像检测、分类及发现方法、***及应用
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及***
Zhang et al. Automatic classification of marine plankton with digital holography using convolutional neural network
CN114548268A (zh) 基于原型网络的小样本垃圾图像分类方法
CN112947080B (zh) 一种基于场景参数变换的智能决策模型性能评估***
CN113533220A (zh) 一种基于高光谱成像技术的煤炭种类识别方法
CN114897835B (zh) 一种基于图像的煤炭产品灰分实时检测***
CN114295967A (zh) 一种基于迁移神经网络的模拟电路故障诊断方法
CN117523394A (zh) 一种基于聚合特征增强网络的sar船舰检测方法
CN116524341A (zh) 一种基于量化蒸馏的水下目标识别方法
CN113724233B (zh) 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法
CN111242909A (zh) 一种基于卷积神经网络的建筑弃土粒度分布快速识别方法
CN115861235A (zh) 一种基于多特征数据融合的浮选尾煤灰分预测方法
CN111881030B (zh) 基于可理解特征变异的智能交通数据测试样本生成方法
CN112712007A (zh) 一种基于DCNN-Inception网络识别汽车尾气遥感数据的算法
CN112183182A (zh) 针对输电线路的缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant