CN115818166A - 轮斗连续***无人值守自动控制方法及其*** - Google Patents

Abstract

本申请公开了一种轮斗连续***无人值守自动控制方法及其***，其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化；然后，通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息，并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征，以此来进行所述原煤图像中的大尺寸原煤判断。这样，可以准确地进行原煤超过预定尺寸的大块检测，进而控制生成防堵塞预警提示以提醒操作人员介入，以防止破碎***堵塞停运。

Description

轮斗连续***无人值守自动控制方法及其***

技术领域

本申请涉及智能化控制技术领域，且更为具体地，涉及一种轮斗连续***无人值守自动控制方法及其***。

背景技术

板式给料机也称为板式喂料机，是一种连续输送物料的机械，可以沿水平或倾斜方向向破碎机、料斗车或其它工作机械连续配给和转运物料，适用于大中型原煤开采生产线中松散、块状、量大喂料工序，尤其对运送大块、高温和尖锐的物料最为适合，可在高温高湿恶劣环境中可靠工作，并能在露天和潮湿恶劣的环境下可靠地工作。

目前，板式给料机的运行方式大多数仍采用人工操作的方式进行控制，但是人工作业仍存在作业精度低、作业不规范、作业效率低等问题，而随着近些年轮斗连续***的发展，使得板式给料机的无人值守控制方式得到了有效利用。但是，现今在使用无人值守的板式给料机给破碎***转运开采的原煤物料时，由于原煤物料有大有小，尺寸不一，因此可能会因物料的尺寸过大而导致破碎***的堵塞停运，进而带来严重的后果。

因此，期望一种优化的轮斗连续***无人值守自动控制方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种轮斗连续***无人值守自动控制方法及其***，其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化；然后，通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息，并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征，以此来进行所述原煤图像中的大尺寸原煤判断。这样，可以准确地进行原煤超过预定尺寸的大块检测，进而控制生成防堵塞预警提示以提醒操作人员介入，以防止破碎***堵塞停运。

根据本申请的一个方面，提供了一种轮斗连续***无人值守自动控制方法，其特征在于，包括：

获取由摄像头采集的原煤图像；

将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；

将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；

将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；

将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及

基于所述分类结果，生成防堵塞预警提示。

在上述轮斗连续***无人值守自动控制方法中，所述基于对抗生成网络的去粉尘生成器包括生成器和鉴别器；其中，所述将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像，包括：将所述原煤图像输入基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。

在上述轮斗连续***无人值守自动控制方法中，所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图，包括：使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行激活处理以得到激活特征图。

在上述轮斗连续***无人值守自动控制方法中，所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图，包括：从所述第一卷积神经网络模型的第i层提取浅层特征图；从所述第一卷积神经网络模型的第j层提取深层特征图；以及，使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。

在上述轮斗连续***无人值守自动控制方法中，所述第i层为所述第一卷积神经网络模型的第一层至第六层；所述第j层与所述第i层之间的比值大于等于5。

在上述轮斗连续***无人值守自动控制方法中，所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图，包括：使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图；将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。

在上述轮斗连续***无人值守自动控制方法中，所述将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块，包括：使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果；其中，所述公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，其中，W₁到W_n为权重矩阵，B₁到B_n为偏置向量，Project(F)为所述原煤空间增强特征图投影为向量。

在上述轮斗连续***无人值守自动控制方法中，还包括训练步骤：对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练；其中，所述训练步骤，包括：获取训练数据，所述训练数据包括训练原煤图像，以及，所述原煤图像中是否存在超过预定尺寸的大块的分类结果；将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像；将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图；将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图；将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值；基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，计算多分布二元分类质量损失函数值；以及，计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。

在上述轮斗连续***无人值守自动控制方法中，所述基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，计算多分布二元分类质量损失函数值，包括：基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，以如下公式计算所述多分布二元分类质量损失函数值；其中，所述公式为：

其中，M₁到M_n是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，M_r是参考矩阵，softmax_i(M_i-M_r)表示矩阵的分类结果，‖·‖₁表示向量的1范数。

根据本申请的另一方面，提供了一种轮斗连续***无人值守自动控制***，其特征在于，包括：

图像获取模块，用于获取由摄像头采集的原煤图像；

生成原煤图像获取模块，用于将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；

原煤图像特征提取模块，用于将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；

空间注意力模块，用于将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；

原煤尺寸检测结果生成模块，用于将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及

预警提示模块，用于基于所述分类结果，生成防堵塞预警提示。

与现有技术相比，本申请提供的轮斗连续***无人值守自动控制方法及其***，其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化；然后，通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息，并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征，以此来进行所述原煤图像中的大尺寸原煤判断。这样，可以准确地进行原煤超过预定尺寸的大块检测，进而控制生成防堵塞预警提示以提醒操作人员介入，以防止破碎***堵塞停运。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的轮斗连续***无人值守自动控制方法的场景示意图。

图2为根据本申请实施例的轮斗连续***无人值守自动控制方法的流程图。

图3为根据本申请实施例的轮斗连续***无人值守自动控制方法的架构示意图。

图4为根据本申请实施例的轮斗连续***无人值守自动控制方法中所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图的流程图。

图5为根据本申请实施例的轮斗连续***无人值守自动控制方法中训练步骤的流程图。

图6为根据本申请实施例的轮斗连续***无人值守自动控制***的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，目前，板式给料机的运行方式大多数仍采用人工操作的方式进行控制，但是人工作业仍存在作业精度低、作业不规范、作业效率低等问题，而随着近些年轮斗连续***的发展，使得板式给料机的无人值守控制方式得到了有效利用。但是，现今在使用无人值守的板式给料机给破碎***转运开采的原煤物料时，由于原煤物料有大有小，尺寸不一，因此可能会因物料的尺寸过大而导致破碎***的堵塞停运，进而带来严重的后果。因此，期望一种优化的轮斗连续***无人值守自动控制方案，其能够对于超过预定标准的大尺寸原煤进行准确地检测，以控制生成预警提示来防止破碎***堵塞停运。

目前，深度学***。

近年来，深度学习以及神经网络的发展为超过预定尺寸的原煤检测提供了新的解决思路和方案。

相应地，由于传统的原煤大尺寸检测方案需要将原煤通过检测设备进行尺寸测量，亦或是通过漏斗装置以筛除大尺寸的原煤，这无疑都给开采***增加了负担。考虑到原煤的尺寸大小可以通过图像进行判断，因此，在本申请的技术方案中，期望通过摄像头采集的原煤图像来进行原煤超过预定尺寸的大块检测，但是由于图像中可能会拍摄到很多无用的杂乱信息，并且图像中的原煤尺寸很难以肉眼进行检测，这对于原煤图像的特征提取以及尺寸检测增加了难度，同时在原煤开采的应用场景中会存在着大量的粉层，这也对于原煤超过预定尺寸标注的大块检测带来了困难。

基于此，在本申请的技术方案中，期望利用机器视觉的人工智能控制技术来对当前原煤图像进行预处理，以提取大块原煤信息，进行特征匹配，进而能够自动识别板式给料机上的大块，发出报警，提醒操作人员介入，防止破碎***堵塞停运。具体地，在本申请的技术方案中，通过人工智能算法来对于原煤图像进行去粉层的图像优化后，提取出所述优化后原煤图像的深浅融合特征信息，并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于所述板式给料机上的大尺寸原煤特征，以此来进行所述原煤图像中的大尺寸原煤判断。这样，能够准确地进行原煤超过预定尺寸的大块检测，进而控制生成防堵塞预警提示以提醒操作人员介入，防止破碎***堵塞停运。

具体地，在本申请的技术方案中，首先，通过摄像头采集原煤图像。接着，考虑到由于在原煤开采场所中会存在大量的粉层而造成原煤块在原煤图像中的清晰度无法满足检测要求，进而影响检测结果的精准度。因此，在本申请的技术方案中，进一步将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像。特别地，这里，所述基于对抗生成网络的去粉尘生成器包含鉴别器和生成器，其中，所述生成器用于生成去粉层的图像，所述鉴别器用于计算去粉层的生成图像和真实图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有去粉层功能的生成器，即所述去粉尘生成器。进而，再将所述原煤图像输入所述基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。

然后，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述生成原煤图像的局部隐含特征。特别地，在本申请的技术方案中，考虑到在对于所述生成原煤图像进行特征提取时，由于原煤的形状、尺寸等浅层特征都会对于破碎产生影响，而在本申请的技术方案中需要聚焦于原煤的尺寸等浅层特征，但是卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型对所述生成原煤图像进行处理，具体地，将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述包含深浅特征融合模块的卷积神经网络模型能够保留所述原煤图像中的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高原煤尺寸检测的精度。

进一步地，考虑到在所述原煤图像中，会存在有较多的不同原煤块，而本申请对于原煤的尺寸检测所需要聚焦的是在所述板式给料机上的原煤尺寸特征信息，因此，进一步再将所述原煤特征图通过空间注意力模块中进行空间位置特征的聚焦，以得到原煤空间增强特征图。接着，将所述原煤空间增强特征图通过分类器以得到用于表示原煤图像中是否存在超过预定尺寸的大块的分类结果，进而基于所述分类结果，生成防堵塞预警提示。

特别地，在本申请的技术方案中，这里，在将所述原煤特征图通过空间注意力模块得到所述原煤空间增强特征图时，由于所述空间注意力模块对所述原煤特征图的沿通道的每个特征矩阵进行了空间特征关联的强化，这使得所述原煤空间增强特征图的沿通道的每个原煤空间增强特征矩阵的局部特征分布间的关联度变差，从而影响了所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。

这可以通过对每个原煤空间增强特征矩阵施加权重来增强其间的关联度，但是，如果所述权重作为超参数来通过训练得到，则会增加模型的训练负担，因此，本申请的申请人考虑引入多分布二元分类质量损失函数，表示为：

其中，M₁到M_n是各个原煤空间增强特征矩阵，M_r是参考矩阵，例如设置为所有原煤空间增强特征矩阵的均值矩阵，softmax_i(M_i-M_r)表示矩阵的分类结果，‖·‖₁表示向量的1范数。

这里，为了避免待分类的所述原煤空间增强特征图的多个原煤空间增强特征矩阵在多分布分类时由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别域的收敛困难，通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式，来预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样，通过以此对模型进行训练，就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题，并改进所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。这样，能够准确地进行原煤超过预定尺寸的大块检测，进而在检测出大尺寸的原煤物料时控制生成防堵塞预警提示以提醒操作人员介入，防止破碎***堵塞停运。

基于此，本申请提供了一种轮斗连续***无人值守自动控制方法，其包括：获取由摄像头采集的原煤图像；将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及，基于所述分类结果，生成防堵塞预警提示。

图1为根据本申请实施例的轮斗连续***无人值守自动控制方法的场景示意图。如图1所示，在该应用场景中，首先，获取由摄像头(例如，如图1中所示意的C)采集的原煤图像(例如，如图1中所示意的M)；然后，将获取的原煤图像输入至部署有轮斗连续***无人值守自动控制算法的服务器(例如，如图1中所示意的S)中，其中服务器能够基于轮斗连续***无人值守自动控制算法对所述原煤图像进行处理，以生成用于表示原煤图像中是否存在超过预定尺寸的大块的分类结果，并基于所述分类结果，生成防堵塞预警提示。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2为根据本申请实施例的轮斗连续***无人值守自动控制方法的流程图。如图2所示，根据本申请实施例的轮斗连续***无人值守自动控制方法，包括步骤：S110，获取由摄像头采集的原煤图像；S120，将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；S130，将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；S140，将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；S150，将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及，S160，基于所述分类结果，生成防堵塞预警提示。

图3为根据本申请实施例的轮斗连续***无人值守自动控制方法的架构示意图。如图3所示，在该网络架构中，首先，获取由摄像头采集的原煤图像；然后，将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；接着，将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；然后，将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；接着，将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及，最后，基于所述分类结果，生成防堵塞预警提示。

具体地，在步骤S110中，获取由摄像头采集的原煤图像。如前所述，目前，板式给料机的运行方式大多数仍采用人工操作的方式进行控制，但是人工作业仍存在作业精度低、作业不规范、作业效率低等问题，而随着近些年轮斗连续***的发展，使得板式给料机的无人值守控制方式得到了有效利用。但是，现今在使用无人值守的板式给料机给破碎***转运开采的原煤物料时，由于原煤物料有大有小，尺寸不一，因此可能会因物料的尺寸过大而导致破碎***的堵塞停运，进而带来严重的后果。因此，期望一种优化的轮斗连续***无人值守自动控制方案，其能够对于超过预定标准的大尺寸原煤进行准确地检测，以控制生成预警提示来防止破碎***堵塞停运。

目前，深度学***。

近年来，深度学习以及神经网络的发展为超过预定尺寸的原煤检测提供了新的解决思路和方案。

相应地，由于传统的原煤大尺寸检测方案需要将原煤通过检测设备进行尺寸测量，亦或是通过漏斗装置以筛除大尺寸的原煤，这无疑都给开采***增加了负担。考虑到原煤的尺寸大小可以通过图像进行判断，因此，在本申请的技术方案中，期望通过摄像头采集的原煤图像来进行原煤超过预定尺寸的大块检测，但是由于图像中可能会拍摄到很多无用的杂乱信息，并且图像中的原煤尺寸很难以肉眼进行检测，这对于原煤图像的特征提取以及尺寸检测增加了难度，同时在原煤开采的应用场景中会存在着大量的粉层，这也对于原煤超过预定尺寸标注的大块检测带来了困难。

基于此，在本申请的技术方案中，期望利用机器视觉的人工智能控制技术来对当前原煤图像进行预处理，以提取大块原煤信息，进行特征匹配，进而能够自动识别板式给料机上的大块，发出报警，提醒操作人员介入，防止破碎***堵塞停运。具体地，在本申请的技术方案中，通过人工智能算法来对于原煤图像进行去粉层的图像优化后，提取出所述优化后原煤图像的深浅融合特征信息，并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于所述板式给料机上的大尺寸原煤特征，以此来进行所述原煤图像中的大尺寸原煤判断。这样，能够准确地进行原煤超过预定尺寸的大块检测，进而控制生成防堵塞预警提示以提醒操作人员介入，防止破碎***堵塞停运。

具体地，在本申请的技术方案中，首先，通过摄像头采集原煤图像。应可以理解，由于原煤的尺寸有大有小，在通过摄像头采集原煤图像时，会有部分原煤被遮挡而无法被采集到。因此，在本申请一具体示例中，设置多个摄像头，以从多个角度采集原煤图像，以使得被遮挡的原煤可以在其他角度被采集到图像。

具体地，在步骤S120中，将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像。接着，考虑到由于在原煤开采场所中会存在大量的粉层而造成原煤块在原煤图像中的清晰度无法满足检测要求，进而影响检测结果的精准度。

因此，在本申请的技术方案中，进一步将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像。特别地，这里，所述基于对抗生成网络的去粉尘生成器包含鉴别器和生成器，其中，所述生成器用于生成去粉层的图像，所述鉴别器用于计算去粉层的生成图像和真实图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有去粉层功能的生成器，即所述去粉尘生成器。进而，再将所述原煤图像输入所述基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。

应可以理解，对抗生成网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型和判别模型的互相博弈学习产生相当好的输出。其中，对抗生成网络模型使用一组真实的图片作为输入，试图生成能够以假乱真的类似图片。方法是先由生成器随机的生成图片，之后由判别器判定图片是否为真实的。由于在所有的抗生成网络模型模型，都可以分为生成器和判别器两个部分，训练的过程是先训练生成器，等到训练一定时间后再固定生成器训练判别器，这使得抗生成网络模型不同与传统的机器学习的训练过程，更加不稳定，而这也是抗生成网络模型模型之后的改进版要优化的部分。

具体地，在步骤S130中，将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图。然后，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述生成原煤图像的局部隐含特征。

特别地，在本申请的技术方案中，考虑到在对于所述生成原煤图像进行特征提取时，由于原煤的形状、尺寸等浅层特征都会对于破碎产生影响，而在本申请的技术方案中需要聚焦于原煤的尺寸等浅层特征，但是卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。

因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型对所述生成原煤图像进行处理，具体地，将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述包含深浅特征融合模块的卷积神经网络模型能够保留所述原煤图像中的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高原煤尺寸检测的精度。

进一步地，所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图，包括：使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行激活处理以得到激活特征图。

其中，从所述第一卷积神经网络模型的第i层提取浅层特征图；从所述第一卷积神经网络模型的第j层提取深层特征图；以及，使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。

更进一步地，所述第i层为所述第一卷积神经网络模型的第一层至第六层；所述第j层与所述第i层之间的比值大于等于5。

具体地，在步骤S140，将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图。进一步地，考虑到在所述原煤图像中，会存在有较多的不同原煤块，而本申请对于原煤的尺寸检测所需要聚焦的是在所述板式给料机上的原煤尺寸特征信息，因此，进一步再将所述原煤特征图通过空间注意力模块中进行空间位置特征的聚焦，以得到原煤空间增强特征图。

应可以理解，注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask,mask上的值的权重。一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。

更具体地，在本申请实施例中，图4为根据本申请实施例的轮斗连续***无人值守自动控制方法中所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图的流程图，如图4所示，所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图，包括：S210，使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图；S220，将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；S230，将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，S240，计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。

具体地，在步骤S150和步骤S160中，将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；并基于所述分类结果，生成防堵塞预警提示。接着，将所述原煤空间增强特征图通过分类器以得到用于表示原煤图像中是否存在超过预定尺寸的大块的分类结果，进而基于所述分类结果，生成防堵塞预警提示。

进一步地，使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果；其中，所述公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，其中，W₁到W_n为权重矩阵，B₁到B_n为偏置向量，Project(F)为所述原煤空间增强特征图投影为向量。

进一步地，所述轮斗连续***无人值守自动控制方法，还包括训练步骤：对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。图5为根据本申请实施例的轮斗连续***无人值守自动控制方法中训练步骤的流程图，如图5所示，所述训练步骤，包括：S310，获取训练数据，所述训练数据包括训练原煤图像，以及，所述原煤图像中是否存在超过预定尺寸的大块的分类结果；S320，将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像；S330，将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图；S340，将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图；S350，将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值；S360，基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，计算多分布二元分类质量损失函数值；以及，S370，计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。

特别地，在本申请的技术方案中，这里，在将所述原煤特征图通过空间注意力模块得到所述原煤空间增强特征图时，由于所述空间注意力模块对所述原煤特征图的沿通道的每个特征矩阵进行了空间特征关联的强化，这使得所述原煤空间增强特征图的沿通道的每个原煤空间增强特征矩阵的局部特征分布间的关联度变差，从而影响了所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。

这可以通过对每个原煤空间增强特征矩阵施加权重来增强其间的关联度，但是，如果所述权重作为超参数来通过训练得到，则会增加模型的训练负担，因此，本申请的申请人考虑引入多分布二元分类质量损失函数，也就是，基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，以如下公式计算所述多分布二元分类质量损失函数值；其中，所述公式为：

其中，M₁到M_n是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，M_r是参考矩阵，softmax_i(M_i-M_r)表示矩阵的分类结果，‖·‖₁表示向量的1范数。

这里，为了避免待分类的所述原煤空间增强特征图的多个原煤空间增强特征矩阵在多分布分类时由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别域的收敛困难，通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式，来预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样，通过以此对模型进行训练，就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题，并改进所述原煤空间增强特征图通过分类器进行分类的训练速度和分类结果准确性。这样，能够准确地进行原煤超过预定尺寸的大块检测，进而在检测出大尺寸的原煤物料时控制生成防堵塞预警提示以提醒操作人员介入，防止破碎***堵塞停运。

综上，基于本申请实施例的轮斗连续***无人值守自动控制方法及其***被阐明，其通过基于对抗生成网络的去粉尘生成器对于原煤图像进行去粉层的图像优化；然后，通过包含深浅特征融合模块的第一卷积神经网络模型提取所述优化后原煤图像的深浅融合特征信息，并基于注意力机制来聚焦于所述原煤图像的深浅融合特征中关于板式给料机上的大尺寸原煤特征，以此来进行所述原煤图像中的大尺寸原煤判断。这样，可以准确地进行原煤超过预定尺寸的大块检测，进而控制生成防堵塞预警提示以提醒操作人员介入，以防止破碎***堵塞停运。

示例性***

图6为根据本申请实施例的轮斗连续***无人值守自动控制***的框图。如图6所示，根据本申请实施例的轮斗连续***无人值守自动控制***100，包括：图像获取模块110，用于获取由摄像头采集的原煤图像；生成原煤图像获取模块120，用于将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；原煤图像特征提取模块130，用于将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；空间注意力模块140，用于将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；原煤尺寸检测结果生成模块150，用于将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及，预警提示模块160，用于基于所述分类结果，生成防堵塞预警提示。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述基于对抗生成网络的去粉尘生成器包括生成器和鉴别器；其中，所述生成原煤图像获取模块，用于：将所述原煤图像输入基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述原煤图像特征提取模块，用于：使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行激活处理以得到激活特征图。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述原煤图像特征提取模块，包括：从所述第一卷积神经网络模型的第i层提取浅层特征图；从所述第一卷积神经网络模型的第j层提取深层特征图；以及，使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述第i层为所述第一卷积神经网络模型的第一层至第六层；所述第j层与所述第i层之间的比值大于等于5。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述空间注意力模块，包括：使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图；将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述原煤尺寸检测结果生成模块，包括：使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果；其中，所述公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，其中，W₁到W_n为权重矩阵，B₁到B_n为偏置向量，Project(F)为所述原煤空间增强特征图投影为向量。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，还包括训练模块：用于对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练；其中，所述训练模块，包括：训练图像获取单元，用于获取训练数据，所述训练数据包括训练原煤图像，以及，所述原煤图像中是否存在超过预定尺寸的大块的分类结果；训练生成原煤图像获取单元，用于将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像；训练原煤图像特征提取单元，用于将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图；训练空间注意力单元，用于将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图；训练原煤尺寸检测结果生成单元，用于将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值；质量损失函数值计算单元，用于基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，计算多分布二元分类质量损失函数值；以及，训练单元，用于计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。

在一个实施例中，在上述轮斗连续***无人值守自动控制***100中，所述质量损失函数值计算单元，计算多分布二元分类质量损失函数值，包括：基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，以如下公式计算所述多分布二元分类质量损失函数值；其中，所述公式为：

其中，M₁到M_n是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，M_r是参考矩阵，softmax_i(M_i-M_r)表示矩阵的分类结果，‖·‖₁表示向量的1范数。

这里，本领域技术人员可以理解，上述轮斗连续***无人值守自动控制***100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的轮斗连续***无人值守自动控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的轮斗连续***无人值守自动控制***100可以实现在各种无线终端中，例如用于轮斗连续***无人值守自动控制***的服务器等。在一个示例中，根据本申请实施例的轮斗连续***无人值守自动控制***100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该轮斗连续***无人值守自动控制***100可以是该无线终端的操作***中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该轮斗连续***无人值守自动控制***100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该轮斗连续***无人值守自动控制***100与该无线终端也可以是分立的设备，并且该轮斗连续***无人值守自动控制***100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种轮斗连续***无人值守自动控制方法，其特征在于，包括：

获取由摄像头采集的原煤图像；

将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；

将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；

将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；

将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及

基于所述分类结果，生成防堵塞预警提示。

2.根据权利要求1所述的轮斗连续***无人值守自动控制方法，其特征在于，所述基于对抗生成网络的去粉尘生成器包括生成器和鉴别器；

其中，所述将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像，包括：

将所述原煤图像输入基于对抗生成网络的去粉尘生成器的生成器以得到所述生成原煤图像。

3.根据权利要求2所述的轮斗连续***无人值守自动控制方法，其特征在于，所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图，包括：

使用所述包含深浅特征融合模块的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对所述输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行池化处理以得到池化特征图；以及

对所述池化特征图进行激活处理以得到激活特征图。

4.根据权利要求3所述的轮斗连续***无人值守自动控制方法，其特征在于，所述将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图，包括：

从所述第一卷积神经网络模型的第i层提取浅层特征图；

从所述第一卷积神经网络模型的第j层提取深层特征图；以及

使用所述深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述原煤特征图。

5.根据权利要求4所述的轮斗连续***无人值守自动控制方法，其特征在于，所述第i层为所述第一卷积神经网络模型的第一层至第六层；所述第j层与所述第i层之间的比值大于等于5。

6.根据权利要求5所述的轮斗连续***无人值守自动控制方法，其特征在于，所述将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图，包括：

使用所述空间注意力模块的卷积编码部分对所述原煤特征图进行深度卷积编码以得到原煤卷积特征图；

将所述原煤卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；

将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及

计算所述空间注意力特征图和所述原煤卷积特征图的按位置点乘以得到所述原煤空间增强特征图。

7.根据权利要求6所述的轮斗连续***无人值守自动控制方法，其特征在于，所述将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块，包括：使用所述分类器以如下公式对所述原煤空间增强特征图进行处理以得到所述分类结果；

其中，所述公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，其中，W₁到W_n为权重矩阵，B₁到B_n为偏置向量，Project(F)为所述原煤空间增强特征图投影为向量。

8.根据权利要求7所述的轮斗连续***无人值守自动控制方法，其特征在于，还包括训练步骤：对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练；

其中，所述训练步骤，包括：

获取训练数据，所述训练数据包括训练原煤图像，以及，所述原煤图像中是否存在超过预定尺寸的大块的分类结果；

将所述训练原煤图像通过所述基于对抗生成网络的去粉尘生成器以得到训练生成原煤图像；

将所述训练生成原煤图像通过所述包含深浅特征融合模块的第一卷积神经网络模型以得到训练原煤特征图；

将所述训练原煤特征图通过所述空间注意力模块以得到训练原煤空间增强特征图；

将所述训练原煤空间增强特征图通过所述分类器以得到分类损失函数值；

基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，计算多分布二元分类质量损失函数值；以及

计算所述分类损失函数值和所述多分布二元分类质量损失函数值的加权和作为损失函数值来分别对所述基于对抗生成网络的去粉尘生成器、所述包含深浅特征融合模块的第一卷积神经网络模型、所述空间注意力模块和所述分类器进行训练。

9.根据权利要求8所述的轮斗连续***无人值守自动控制方法，其特征在于，所述基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，计算多分布二元分类质量损失函数值，包括：

基于所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，以如下公式计算所述多分布二元分类质量损失函数值；

其中，所述公式为：

其中，M₁到M_n是所述训练原煤空间增强特征图沿通道维度的各个训练原煤空间增强特征矩阵，M_r是参考矩阵，softmax_i(M_i-M_r)表示矩阵的分类结果，‖·‖₁表示向量的1范数。

10.一种轮斗连续***无人值守自动控制***，其特征在于，包括：

图像获取模块，用于获取由摄像头采集的原煤图像；

生成原煤图像获取模块，用于将所述原煤图像通过基于对抗生成网络的去粉尘生成器以得到生成原煤图像；

原煤图像特征提取模块，用于将所述生成原煤图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到原煤特征图；

空间注意力模块，用于将所述原煤特征图通过空间注意力模块以得到原煤空间增强特征图；

原煤尺寸检测结果生成模块，用于将所述原煤空间增强特征图通过分类器以得到分类结果，所述分类结果用于表示原煤图像中是否存在超过预定尺寸的大块；以及

预警提示模块，用于基于所述分类结果，生成防堵塞预警提示。

Images