CN109919994A - 一种基于深度学习图像处理的采煤机滚筒自动调高*** - Google Patents

Abstract

本发明公开了一种基于深度学习图像处理的采煤机滚筒自动调高***，包括摄像模块、图像处理模块、高度预测模块、结果输出模块，其中摄像模块拍摄采煤机工作面煤岩图像并输入到图像处理模块，图像处理模块对煤岩图像进行识别处理并将结果输入高度预测模块，高度预测模块根据图像处理模块输出的煤岩界面高度信息预测出生产过程未来的煤岩界面高度，结果输出模块将控制量输入采煤机滚筒高度控制器，依据预测结果调节滚筒高度，实现对采煤机滚筒的自动调高。

Description

一种基于深度学习图像处理的采煤机滚筒自动调高***

技术领域

本发明属于采煤转隔壁技术领域，特别地涉及一种基于深度学习图像处理的采煤机滚筒自动调高***。

背景技术

采煤机作为采煤工作面关键设备，在采煤生产过程中具有重要意义，截割滚筒高度的调整与控制是采煤机在井下工作面采煤时人工操控采煤机的关键工序，采煤机截割滚筒高度控制的准确性直接决定着煤炭含矸量、煤炭回收率、顶底板的平整性。所以采煤机滚筒自动调高技术使采煤机自动控制***的核心技术。近年来，国产采煤机在结构、牵引方式、主控***等方面都有长足的发展，然而采煤机滚筒的自动调高技术一直没有实质性的突破，传统采煤机截割策略需要频繁人工调整摇臂高度导致效率和精度低，已成为工作面自动化进程的瓶颈。

发明内容

针对传统采煤机截割策略需要频繁人工调整摇臂高度导致效率和精度低的弊端，本发明的目的在于提供一种基于深度学习图像处理的采煤机滚筒自动调高***，采用深度学习方法代替人眼视觉判断，实现采煤机滚筒高度的全自动调节。

本发明的目的是通过以下技术方案实现的：一种基于深度学习图像处理的采煤机滚筒自动调高***，包括摄像模块、图像处理模块、高度预测模块、结果输出模块：

1)摄像模块；

摄像模块拍摄采煤机工作面煤岩图像，在训练过程阶段需要标记对应标记图像的煤岩界面并进行数据预处理用于训练，在生产过程阶段则对待处理图像进行预处理用于预测；

所述的预处理按公式(1)进行图像预处理：

其中x代表样本图像，x(i,j)为图像(i,j)处的像素值，mean(x)为图像像素平均值，为图像像素标准差，x'(x,j)为预处理后(i,j)处的像素值；

2)图像处理模块；图像处理模块由卷积神经网络构成，其作用为识别煤岩界面的高度；

2.1)卷积神经网络的结构包括：

2.1.1)卷积层：卷积核在输入的特征图上滑动，卷积核参数与特征图数据作卷积操作，卷积操作公式如下，其中*代表卷积操作，in^k为输入到第k层的特征图，out^k为第k层输出的特征图，W^k和b^k为第k层的卷积参数：

out^k＝in^k*W^k+b^k (2)

2.1.2)全连接层：用于将输入的特征图进行提纯为维数与类别数相等的特征向量；

2.1.3)非线性变换层：网络中每个卷积层之后都将采用公式(3)所示的激活函数，其中中z代表输入的特征图：

2.1.4)池化层：用到了最大值池化和全局平均池化两种池化方式，全局平均池化用在最后一个卷积层之后，其他地方都采用最大值池化；

2.1.5)连接块：连接块由多个连接层组成，连接层又是由卷积层、池化层和非线性变换层构成；连接块中的每个连接层与其他所有连接层都相连接，其输入由之前的所有卷积层的输入构成，而其输出也将作为所有之后的卷积层的输入，用公式表示为：

l_m＝δ_m(l_m-1，l_m-2，...，l₁) (4)

公式(4)中(l_m-1，l_m-2，...，l₁)代表前面所有连接层的输出堆叠而成的特征图，δ_m()代表对输入特征图进行的由卷积和非线性变换组合而成的操作，其中卷积操作都先补零使输入输出的特征图大小一致。

2.2)所构建卷积神经网络的结构为：

2.2.1)卷积池化层一：对输入图像作卷积，卷积核个数为64、大小为7×7、移动步数为2，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2，最后输出的特征图维数为32×32×64；

2.2.2)连接块一：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

2.2.3)卷积池化层二：对连接块一的输出作卷积，卷积核个数为136、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

2.2.4)连接块二：包含12个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

2.2.5)识别层：对连接块二的输出作全局平均池化得到特征向量，再用全连接层对该向量进行降维，全连接层神经元数与目标类别数相等，最后采用sigmoid函数输出识别的煤岩界面高度；

将摄像模块中得到的预处理后的训练样本集输入到构造的网络中进行训练，得到训练好的图像处理模块；

3)高度预测模块：高度预测模块接收图像处理模块输出的煤岩界面高度信息，并预测生产过程未来的煤岩界面高度，本发明采用LSTM来实现这个功能；

3.1)LSTM模型。LSTM的核心算法是通过三个控制门来控制单元的状态，从而控制单元的长短时记忆。其具体含义如下：

3.1.1)遗忘门。遗忘门负责生成记忆权重fgate_t来控制上一时刻的状态C_t-1有多少保存到当前时刻的单元状态C_t，记忆权重计算公式如下：

fgate_t＝σ(F[h_t-1,p_t]+bf) (4)

其中，F是遗忘门的权重矩阵，h_t-1是上一时刻的隐层状态，p_t为当前时刻t的网络输入值，bf为遗忘门偏置，σ为Sigmoid函数。

3.1.2)输入门。输入门负责生成输入权重i_t及当前时刻输入单元状态并控制输入单元状态有多少输入到当前时刻的单元状态C_t，输入权重igate_t和输入单元状态的计算公式如下：

igate_t＝σ(I[h_t-1,p_t]+bi) (5)

其中，I为输入门权重矩阵，bi为输入门偏置；C为输入状态权重矩阵，bc为输入状态偏置，tanh为双曲正切函数。

3.1.3)生成当前单元状态Cin_t。当前状态由遗忘门fgate_t、上一时刻单元状态Cin_t-1、输入门igate_t和当前输入单元状态共同决定，其计算公式为：

3.1.4)输出门。输出门负责生成输出权重ogate_t控制当前单元状态Cin_t有多少作为当前时刻的隐层输出h_t。其计算公式为：

ogate_t＝σ(O[h_t-1,p_t]+bo) (8)

h_t-1＝ogate_t*tanh(Cin_t) (9)

其中，O为输出门权重矩阵，h_t-1是上一时刻的隐层状态，p_t为当前时刻t的网络输入值，bo为输出状态偏置，tanh为双曲正切函数。

3.2)训练阶段，设置好LSTM的输入维度、隐层维度、隐层节点数、隐层数量等网络结构参数后，将图像处理模块处理后得到的训练样本输入LSTM网络进行训练，即得到了高度预测模块；

3.3)预测阶段，将生产过程拍摄的采煤机工作界面待处理图像，经过预处理，进入图像处理模块后，输入到训练好的高度预测模块，即得到了生产过程未来的煤岩界面高度的预测结果；

4)结果输出模块：将高度预测模块输出的生产过程未来的煤岩界面高度的预测结果传输给采煤机的滚筒高度控制机构，实现采煤机滚筒自动调高。

本发明的有益效果是：采用非触式方法进行自动调高，具有结构简单、容易设置的特点；采用深度学习方法，可以实时判断煤岩界面位置进行在线调高。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面根据附图具体说明本发明。

参照图1，一种基于深度学习图像处理的采煤机滚筒自动调高***，包括摄像模块、图像处理模块、高度预测模块、结果输出模块：

4)摄像模块；

摄像模块拍摄采煤机工作面煤岩图像，在训练过程阶段需要标记对应标记图像的煤岩界面并进行数据预处理用于训练，在生产过程阶段则对待处理图像进行预处理用于预测；

所述的预处理按公式(1)进行图像预处理：

其中x代表样本图像，x(i,j)为图像(i,j)处的像素值，mean(x)为图像像素平均值，为图像像素标准差，x'(x,j)为预处理后(i,j)处的像素值；

5)图像处理模块；图像处理模块由卷积神经网络构成，其作用为识别煤岩界面的高度；

2.1)卷积神经网络的结构包括：

2.1.1)卷积层：卷积核在输入的特征图上滑动，卷积核参数与特征图数据作卷积操作，卷积操作公式如下，其中*代表卷积操作，in^k为输入到第k层的特征图，out^k为第k层输出的特征图，W^k和b^k为第k层的卷积参数：

out^k＝in^k*W^k+b^k (2)

2.1.2)全连接层：用于将输入的特征图进行提纯为维数与类别数相等的特征向量；

2.1.3)非线性变换层：网络中每个卷积层之后都将采用公式(3)所示的激活函数，其中中z代表输入的特征图：

2.1.4)池化层：用到了最大值池化和全局平均池化两种池化方式，全局平均池化用在最后一个卷积层之后，其他地方都采用最大值池化；

2.1.5)连接块：连接块由多个连接层组成，连接层又是由卷积层、池化层和非线性变换层构成；连接块中的每个连接层与其他所有连接层都相连接，其输入由之前的所有卷积层的输入构成，而其输出也将作为所有之后的卷积层的输入，用公式表示为：

l_m＝δ_m(l_m-1，l_m-2，...，l₁) (4)

公式(4)中(l_m-1，l_m-2，...，l₁)代表前面所有连接层的输出堆叠而成的特征图，δ_m()代表对输入特征图进行的由卷积和非线性变换组合而成的操作，其中卷积操作都先补零使输入输出的特征图大小一致。

2.2)所构建卷积神经网络的结构为：

2.2.1)卷积池化层一：对输入图像作卷积，卷积核个数为64、大小为7×7、移动步数为2，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2，最后输出的特征图维数为32×32×64；

2.2.2)连接块一：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

2.2.3)卷积池化层二：对连接块一的输出作卷积，卷积核个数为136、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

2.2.4)连接块二：包含12个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

2.2.5)识别层：对连接块二的输出作全局平均池化得到特征向量，再用全连接层对该向量进行降维，全连接层神经元数与目标类别数相等，最后采用sigmoid函数输出识别的煤岩界面高度；

将摄像模块中得到的预处理后的训练样本集输入到构造的网络中进行训练，得到训练好的图像处理模块；

6)高度预测模块：高度预测模块接收图像处理模块输出的煤岩界面高度信息，并预测生产过程未来的煤岩界面高度，本发明采用LSTM来实现这个功能；

3.1)LSTM模型。LSTM的核心算法是通过三个控制门来控制单元的状态，从而控制单元的长短时记忆。其具体含义如下：

3.1.1)遗忘门。遗忘门负责生成记忆权重fgate_t来控制上一时刻的状态C_t-1有多少保存到当前时刻的单元状态C_t，记忆权重计算公式如下：

fgate_t＝σ(F[h_t-1,p_t]+bf) (4)

其中，F是遗忘门的权重矩阵，h_t-1是上一时刻的隐层状态，p_t为当前时刻t的网络输入值，bf为遗忘门偏置，σ为Sigmoid函数。

3.1.2)输入门。输入门负责生成输入权重i_t及当前时刻输入单元状态并控制输入单元状态有多少输入到当前时刻的单元状态C_t，输入权重igate_t和输入单元状态的计算公式如下：

igate_t＝σ(I[h_t-1,p_t]+bi) (5)

其中，I为输入门权重矩阵，bi为输入门偏置；C为输入状态权重矩阵，bc为输入状态偏置，tanh为双曲正切函数。

3.1.3)生成当前单元状态Cin_t。当前状态由遗忘门fgate_t、上一时刻单元状态Cin_t-1、输入门igate_t和当前输入单元状态共同决定，其计算公式为：

3.1.4)输出门。输出门负责生成输出权重ogate_t控制当前单元状态Cin_t有多少作为当前时刻的隐层输出h_t。其计算公式为：

ogate_t＝σ(O[h_t-1,p_t]+bo) (8)

h_t-1＝ogate_t*tanh(Cin_t) (9)

其中，O为输出门权重矩阵，h_t-1是上一时刻的隐层状态，p_t为当前时刻t的网络输入值，bo为输出状态偏置，tanh为双曲正切函数。

3.2)训练阶段，设置好LSTM的输入维度、隐层维度、隐层节点数、隐层数量等网络结构参数后，将图像处理模块处理后得到的训练样本输入LSTM网络进行训练，即得到了高度预测模块；

3.3)预测阶段，将生产过程拍摄的采煤机工作界面待处理图像，经过预处理，进入图像处理模块后，输入到训练好的高度预测模块，即得到了生产过程未来的煤岩界面高度的预测结果；

4)结果输出模块：将高度预测模块输出的生产过程未来的煤岩界面高度的预测结果传输给采煤机的滚筒高度控制机构，实现采煤机滚筒自动调高。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于深度学习图像处理的采煤机滚筒自动调高***，其特征在于，它包括摄像模块、图像处理模块、高度预测模块、结果输出模块。

2.根据权利要求1所述基于深度学习图像处理的采煤机滚筒自动调高***，其特征在于，所述摄像模块拍摄采煤机工作面煤岩图像，在训练过程阶段需要标记对应标记图像的煤岩界面并进行数据预处理用于训练，在生产过程阶段则对待处理图像进行预处理用于预测；

所述的预处理按公式(1)进行图像预处理：

其中x代表样本图像，x(i,j)为图像(i,j)处的像素值，mean(x)为图像像素平均值，为图像像素标准差，x'(x,j)为预处理后(i,j)处的像素值。

3.根据权利要求1所述基于深度学习图像处理的采煤机滚筒自动调高***，其特征在于，所述图像处理模块由卷积神经网络构成，其作用为识别煤岩界面的高度；

所述卷积神经网络的结构包括：

(A)卷积层：卷积核在输入的特征图上滑动，卷积核参数与特征图数据作卷积操作，卷积操作公式如下，其中*代表卷积操作，in^k为输入到第k层的特征图，out^k为第k层输出的特征图，W^k和b^k为第k层的卷积参数：

out^k＝in^k*W^k+b^k (2)

(B)全连接层：用于将输入的特征图进行提纯为维数与类别数相等的特征向量；

非线性变换层：网络中每个卷积层之后都将采用公式(3)所示的激活函数，其中中z代表输入的特征图：

(C)池化层：用到了最大值池化和全局平均池化两种池化方式，全局平均池化用在最后一个卷积层之后，其他地方都采用最大值池化；

(D)连接块：连接块由多个连接层组成，连接层又是由卷积层、池化层和非线性变换层构成；连接块中的每个连接层与其他所有连接层都相连接，其输入由之前的所有卷积层的输入构成，而其输出也将作为所有之后的卷积层的输入，用公式表示为：

l_m＝δ_m(l_m-1，l_m-2，...，l₁) (4)

公式(4)中(l_m-1，l_m-2，...，l₁)代表前面所有连接层的输出堆叠而成的特征图，δ_m()代表对输入特征图进行的由卷积和非线性变换组合而成的操作，其中卷积操作都先补零使输入输出的特征图大小一致。

所构建卷积神经网络的结构为：

(a)卷积池化层一：对输入图像作卷积，卷积核个数为64、大小为7×7、移动步数为2，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2，最后输出的特征图维数为32×32×64；

(b)连接块一：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

(c)卷积池化层二：对连接块一的输出作卷积，卷积核个数为136、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

(d)连接块二：包含12个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

(e)识别层：对连接块二的输出作全局平均池化得到特征向量，再用全连接层对该向量进行降维，全连接层神经元数与目标类别数相等，最后采用sigmoid函数输出识别的煤岩界面高度；

将摄像模块中得到的预处理后的训练样本集输入到构造的网络中进行训练，得到训练好的图像处理模块。

4.根据权利要求1所述基于深度学习图像处理的采煤机滚筒自动调高***，其特征在于，所述高度预测模块接收图像处理模块输出的煤岩界面高度信息，并预测生产过程未来的煤岩界面高度，采用LSTM来实现这个功能；

(1)LSTM模型。LSTM的核心算法是通过三个控制门来控制单元的状态，从而控制单元的长短时记忆。其具体含义如下：

(1.1)遗忘门。遗忘门负责生成记忆权重fgate_t来控制上一时刻的状态C_t-1有多少保存到当前时刻的单元状态C_t，记忆权重计算公式如下：

fgate_t＝σ(F[h_t-1,p_t]+bf) (4)

其中，F是遗忘门的权重矩阵，h_t-1是上一时刻的隐层状态，p_t为当前时刻t的网络输入值，bf为遗忘门偏置，σ为Sigmoid函数。

(1.2)输入门。输入门负责生成输入权重i_t及当前时刻输入单元状态并控制输入单元状态有多少输入到当前时刻的单元状态C_t，输入权重igate_t和输入单元状态的计算公式如下：

igate_t＝σ(I[h_t-1,p_t]+bi) (5)

其中，I为输入门权重矩阵，bi为输入门偏置；C为输入状态权重矩阵，bc为输入状态偏置，tanh为双曲正切函数。

(1.3)生成当前单元状态Cin_t。当前状态由遗忘门fgate_t、上一时刻单元状态Cin_t-1、输入门igate_t和当前输入单元状态共同决定，其计算公式为：

(1.4)输出门。输出门负责生成输出权重ogate_t控制当前单元状态Cin_t有多少作为当前时刻的隐层输出h_t。其计算公式为：

ogate_t＝σ(O[h_t-1,p_t]+bo) (8)

h_t-1＝ogate_t*tanh(Cin_t) (9)

其中，O为输出门权重矩阵，h_t-1是上一时刻的隐层状态，p_t为当前时刻t的网络输入值，bo为输出状态偏置，tanh为双曲正切函数。

(2)训练阶段，设置好LSTM的输入维度、隐层维度、隐层节点数、隐层数量等网络结构参数后，将图像处理模块处理后得到的训练样本输入LSTM网络进行训练，即得到了高度预测模块；

(3)预测阶段，将生产过程拍摄的采煤机工作界面待处理图像，经过预处理，进入图像处理模块后，输入到训练好的高度预测模块，即得到了生产过程未来的煤岩界面高度的预测结果。

5.根据权利要求1所述基于深度学习图像处理的采煤机滚筒自动调高***，其特征在于，所述结果输出模块将高度预测模块输出的生产过程未来的煤岩界面高度的预测结果传输给采煤机的滚筒高度控制机构，实现采煤机滚筒自动调高。