CN113240663B - 一种基于边缘响应融合算法的传送带矿石粒度检测方法 - Google Patents

Abstract

本发明为一种基于边缘响应融合算法的传送带矿石粒度检测方法，包括以下步骤：(1)使用工业相机实时拍摄传送带上的矿石图像；(2)对采集的图像进行图像灰度化、去噪和图像二值化的预处理；(3)使用形态学的方法对二值化图像优化、距离变换；(4)采取改进的HED网络边缘检测和基于距离变换的分水岭算法相结合的边缘响应融合算法对矿石图像进行有效分割；(5)调用OpenCV库中的部分函数对分割后的图像进行粒度分析计算；(6)将矿石粒度信息实时传输至破碎机控制***。本发明通过计算得出的精确的矿石粒度大小，能够为破碎机的相关参数调节提供重要参考，降低矿石破碎机的故障发生概率，提高矿山的生产效率。

Description

一种基于边缘响应融合算法的传送带矿石粒度检测方法

技术领域

本发明属于采矿技术领域，同时属于计算机应用领域、深度学习领域，涉及矿石粒度的自动检测，特别涉及一种基于边缘响应融合算法的传送带矿石粒度检测方法。

背景技术

在采矿行业中，破碎站矿石的破碎效果能直接反映***的效率。******后的矿石装往卡车后将矿石运输至破碎站完成2次破碎，这一工作主要由破碎机完成，破碎机破碎完成后由传送带输送至其它站点。破碎机参数的调节与矿石粒度的大小密切相关，如何确定破碎后的传送带上矿石粒度大小以便适当调节破碎机参数对矿山生产具有重要意义。人工筛分作为一种传统方法，在矿区已经沿用多年，不仅效率低下，而且无形中增加了开采成本，不适应于矿山的智能化发展。目前已有许多基于视觉与图像处理技术的矿石粒度检测方法应用到部分矿山开发中，以便及时地将破碎机参数调整至最佳，降低能耗、节约成本；为矿山生产带来可观的经济效益。

应用计算机视觉与图像处理技术测定传送带上矿石粒度在应用的过程中也出现了许多问题。由于矿山环境复杂，光照无法达到理想要求，使得获取的矿石图片质量低下，充满噪声；且传送带上矿石粒度大小不一，不同矿石粘连在一起，这些都给图像分割带来了巨大的困难。常用的基于阈值分割的算法很难取到最佳的阈值，这往往会导致无法将图像分割到理想效果。分水岭算法作为一种经典分割算法，无法有效解决矿石的粘连问题，容易造成过分割和欠分割现象的发生。

发明内容

为了克服上述现有技术的缺点，针对现有矿石图像分割算法不准确问题，本发明的目的在于提供一种基于边缘响应融合算法的传送带矿石粒度检测方法，应用深度学习与传统方法相结合，将两种分割结果作一个“与”运算，发挥各自的优点，填补各自边缘检测的空缺，对分割效果进行了优化，通过准确的图像分割获取矿石的粒度信息，从而调节破碎机参数，降低破碎机的故障率，提高矿山生产效率，节约开采成本。

为了实现上述目的，本发明采用的技术方案是：

一种基于边缘响应融合算法的传送带矿石粒度检测方法，包括以下步骤：

步骤(1)，使用工业相机实时拍摄传送带上的矿石图像；

步骤(2)，对采集的图像进行预处理，包括图像灰度化、去噪和图像二值化；

步骤(3)，对预处理后的图像进行二值化图像优化、距离变换；

步骤(4)，采用改进的HED网络边缘检测和基于距离变换的分水岭算法相结合的边缘响应融合算法对矿石图像进行有效分割；

步骤(5)，利用分割后的图像对矿石的粒度特征参数进行计算，得到矿石的粒度信息。

与现有技术相比，本发明提出的基于边缘响应融合算法的传送带矿石粒度检测方法，将基于改进的HED边缘检测方法与基于距离变换的分水岭算法结合起来，得到更为准确的传送带矿石图像分割图，进而获取到矿石的粒度信息，并将粒度信息反馈给破碎机的控制***，调整破碎机的破碎孔径、矿石进入破碎机的速度以及转子速度等容易造成破碎机发生严重故障的因素。通过计算分割图得到精确的矿石粒度信息，从而大大降低破碎机的故障率，提高矿山的生产效率，节约开采成本。

附图说明

图1为本发明基于边缘响应融合算法的传送带矿石粒度检测方法实现流程图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明为一种基于边缘响应融合算法的传送带矿石粒度检测方法，基于语义分割技术的传送带矿石图像粒度检测算法，将改进的HED网络边缘检测算法与基于距离变换的分水岭算法相结合，获取矿石的分割图像，并调用OpenCV的部分函数求取矿石的粒度大小。

本发明的具体步骤如下：

步骤(1)，在传送带上安装工业相机，使用工业相机实时拍摄传送带上的矿石图像，并将图片传入后台***，一般随机抓取拍摄即可。

为了获取更好的分割效果，首先需要拍取质量较好的传送带矿石照片，好的照片会使得预处理后的效果更好，减少外在因素而导致分割不理想的影响。

步骤(2)，对采集的图像进行预处理，包括图像灰度化、去噪和图像二值化。具体地：

a.灰度化处理即将图像的各个像素点的灰度值调节到RGB分量的平均值。也就是对矿石图像的每个像素点的RGB取平均值，使得RGB的值相等，达到图像增强的效果，将有用的图像信息增强化。

b.由于矿山环境恶劣，采集的传送带矿石图像往往充满噪声，导致后期的分割效果不理想，为了解决这一问题，往往采取滤波的方法对图像进行去噪。本发明采用双边滤波方法进行去噪，通过邻域的像素值的加权组合决定输出像素的值，在保留矿石边缘的同时，能够达到最好的去噪效果。

双边滤波是一种基于Gauss的滤波方法，具有很强的实用性。其具体的做法是将图像的亮度信息和Gauss函数作乘积优化滤波权系数，再将得到的系数与图像作卷积运算，能够最大限度地保留图像的边缘信息。双边滤波的去噪效果取决于空间距离和像素差值，其邻域像素的加权组合可由下式表示：

权重系数w(i,j,k,l)由定义域核d(i,j,k,l)和值域核r(i,j,k,l)的乘积决定。

σ_d和σ_r是基于高斯函数的标准差，学名为空间邻近度因子和亮度临近度因子，可用于控制双边滤波器的性能。利用加权平均值代替像素的灰度值，此法能够很好地表示灰度值差距小的像素，适用于颜色相近的不同矿石颗粒。σ_d和σ_r是影响去噪效果的决定因素，因此，如何对二者取合适的值是双边滤波的关键步骤。经过多次的实验，最终取σ_d＝30，σ_r＝0.05时的滤波效果最优。

c.使用基于积分图像的自适应阈值化算法对图像进行二值化，主要用积分图像方法对图像进行阈值化，最后得到的二值化图像H(n)可由下面的公式表示：

式中t的取值为15，像素点在矩形框内的灰度均值决定了二值化的阈值，其中灰度均值average(x,y)由下式决定：

步骤(3)，对预处理后的图像进行二值化图像优化、距离变换。具体地：

应用积分图像的方法获得二值化图像，由于矿石石块形状极不规则，二值化后的图像仍然会存在孔洞、毛刺等孤立点，这些都会导致分割的结果不准确。使用数学形态学的方法对二值化的图像进行优化，图像进行膨胀、腐蚀运算，去除图像中的“空洞”以及孤立的噪声点，主要步骤为：

第一步：对图像设置结构元素值，并对其做简单的开闭运算，以减少少部分明显的孔洞和噪声点。

第二步：利用腐蚀重建的方法求得原图像的补图像。

第三步：对补图像进行优化，紧接着作开运算，得到最终的优化图像。

实验证明，利用数学形态学的方法能够有效的优化二值化图像，使得矿石的边缘部分更加平滑，且膨胀的操作能够有效地填补部分空洞，使分割结果更加准确。

之后对二值化的图像进行距离变换，即处理图像邻域的像素点，减少过分割。

步骤(4)，采用改进的HED网络边缘检测和基于距离变换的分水岭算法相结合的边缘响应融合算法实时边缘检测，对矿石图像进行有效分割。具体地：

本发明使用的改进HED网络，在原始的网络基础上，对其进行了小部分的改进。由于原始的HED网络特征提取层主要是基于VGG网络的，其中包含了较多的池化层，池化层在提取图像特征的同时虽能增大感受野，但会使特征图的大小减小，导致分辨率降低。与此同时，矿石特征图中的一些边缘信息也会丢失，会影响分割的精度。

改进后的HED网络对第三个和第四个池化层进行了删减，使得能够提取更多的语义特征更为丰富的网络高层图像信息，提取的边缘更为精细，结合基于距离变换的分水岭算法能够很好地弥补由于矿石粘连所造成的过分割与欠分割问题。同时，对侧边的反卷积层作了对应的修改；并将剩下的池化层替换为空洞卷积，增大感受野。两步改进操作不仅能够使提取的矿石边缘更加精细，还减小了参数设计的工作量，获取更多的矿石图像全局信息，为后续的边缘融合提供了有效边缘。

空洞卷积的表达式可由下式表示：

n＝k+(k-1)×(d-1)

式中，k为卷积核的大小；p为卷积过程中的填充数；s为卷积步长；d为空洞卷积采样率；i为输入的特征图的大小，n和o分别是空洞卷积之后的新卷积核大小和输出特征图大小；

改进的HED网络的损失函数为：

其中，L_side(W,w)为边缘的输出代价，α_m为每个侧边的损失函数的权值，

为每个侧边的损失函数，W为网络中所有参数的集合，w为侧输出网络中的权重参数，m为当前层数，n为总层数，w^(m)为第m层侧输出的网络权重参数。

网络使用交叉熵函数对每次的迭代进行优化，表达式如下：

(W,w,h)^*＝argmin(L_side(W,w)+L_fuse(W,w，h))

在矿区采集的传送带矿石图片经过一系列的预处理后，使用labelme软件对图像进行标注，标注后的图像经过裁剪、反转、缩放等一系列数据增强操作将样本数量进行扩充，最终按8:2的比例将数据集划分为训练集和测试集，将像素统一调整至512x512大小，在具备4张RTX2080显卡的计算机，编程语言为Python，OpenCV为Python3.5环境下训练5000次，每100次进行一次迭代，batch_size设置为1。保留最优的训练权重，并对测试集进行测试，将结果保留。

由于传送带矿石堆叠严重，且不同大小的矿石粘连在一起，单靠一种分割方法难以准确地对其分割，会存在严重的过分割和欠分割，因此考虑将两种方法得到的结果进行融合。

改进的HED网络会在矿石堆叠严重处无法分割粘连颗粒，而分水岭算法擅长分割粘连颗粒，二者刚好可以互补。本发明采用距离变换的分水岭算法分割粘连颗粒，其实质是距离变换与分水岭变换配合使用，直接分水岭分割矿石图像容易产生过分割。对得到的二值化图像进行距离变换，能够有效减少过分割。其主要对邻域内像素产生作用，度量方法通常有两种，四邻域d⁽⁴⁾和八邻域d⁽⁸⁾。从一个像素背景点p(j,k)到前景像素点p(l,m)的最小邻近距离计算方式如下：

d⁽⁴⁾(l,m)＝min(|l-j|+|m-k|)

d⁽⁸⁾(l，m)＝min{max(|l-j|)，|m-k|}

l、m、j、k为坐标值，d⁽⁴⁾(l,m)表示四邻域d⁽⁴⁾度量方法计算的最小邻近距离，d⁽⁸⁾(l,m)表示八邻域d⁽⁸⁾度量方法计算的最小邻近距离。

将距离变换后的二值化图应用分水岭算法，得到矿石分割图，与采用改进的HED网络得到的矿石边缘分割图像相融合，图像的融合即将两种结果做一个“与”算法，将两个分割图实现有效合并，得到最终的分割图。分水岭算法能够有效弥补HED网络在粘连处分割能力的不足，HED网络则能弥补分水岭参数设计过于复杂的特点。

步骤(5)，利用分割后的图像对矿石的粒度特征参数进行分析计算，得到矿石的粒度信息。具体地：

调用OpenCV库，计算矿石颗粒的面积、周长和总数量等特征信息。可利用findContours算法查找分割图中所有的矿石颗粒轮廓；利用boundingRect算法求得每个矿石轮廓的最小外接矩形；利用contourArea算法计算每个轮廓的面积；利用arcLength算法计算每个轮廓的周长。

在此基础上，还可进一步包括：

步骤(6)，将得到的矿石粒度信息实时传输至破碎机控制***，根据粒度的大小调节破碎口径、进出料的速度等可能导致破碎机发生故障的参数。

综上，本发明通过融合算法获取高精度传送带矿石分割图像，并依据图像计算出精确的矿石粒度大小，能够为破碎机的相关参数调节提供重要参考，降低矿石破碎机的故障发生概率，提高矿山的生产效率，节约开采成本。

Claims (6)

1.一种基于边缘响应融合算法的传送带矿石粒度检测方法，其特征在于，包括以下步骤：

步骤(1)，使用工业相机实时拍摄传送带上的矿石图像；

步骤(2)，对采集的图像进行预处理，包括图像灰度化、去噪和图像二值化；

步骤(3)，对预处理后的图像进行二值化图像优化、距离变换；

步骤(4)，采用改进的HED网络边缘检测和基于距离变换的分水岭算法相结合的边缘响应融合算法对矿石图像进行有效分割；

所述改进的HED网络是在HED原网络的基础上减少了两个池化层，并对应修改侧边的反卷积层，将剩下的池化层替换为空洞卷积，增大感受野；所述空洞卷积的表达式如下：

n＝k+(k-1)×(d-1)

式中，k为卷积核的大小；p为卷积过程中的填充数；s为卷积步长；d为空洞卷积采样率；i为输入的特征图的大小，n和o分别是空洞卷积之后的新卷积核大小和输出特征图大小；

改进的HED网络的损失函数为：

其中，L_side(W,w)为边缘的输出代价，α_m为每个侧边的损失函数的权值，

为每个侧边的损失函数，W为网络中所有参数的集合，w为侧输出网络中的权重参数，m为当前层数，n′为总层数，w^(m)为第m层侧输出的网络权重参数；

将距离变换后的二值化图应用分水岭算法，得到矿石分割图，与采用改进的HED网络得到的矿石边缘分割图像相融合，得到最终的分割图，其中图像的融合即将两种结果做一个“与”算法；所述分水岭算法中，从一个像素背景点p(j,k′)到前景像素点p(l,m′)的最小邻近距离计算方式如下：

d⁽⁴⁾(l,m′)＝min(|l-j|+|m′-k′|)

d⁽⁸⁾(l,m′)＝min{max(|l-j|),|m′-k′|}

l、m′、j、k′为坐标值，d⁽⁴⁾(l,m′)表示四邻域d⁽⁴⁾度量方法计算的最小邻近距离，d⁽⁸⁾(l,m′)表示八邻域d⁽⁸⁾度量方法计算的最小邻近距离；

步骤(5)，利用分割后的图像对矿石的粒度特征参数进行计算，得到矿石的粒度信息。

2.根据权利要求1所述基于边缘响应融合算法的传送带矿石粒度检测方法，其特征在于，所述步骤(2)中，图像灰度化是将图像的各个像素点的灰度值调节到RGB分量的平均值；去噪是使用双边滤波对图像进行去噪处理，通过邻域的像素值的加权组合决定输出像素的值；图像二值化使用基于积分图像的自适应阈值化算法实现。

3.根据权利要求1或2所述基于边缘响应融合算法的传送带矿石粒度检测方法，其特征在于，所述步骤(3)中，使用形态学的方法对二值化图像优化，并对二值化的图像进行距离变换。

4.根据权利要求3所述基于边缘响应融合算法的传送带矿石粒度检测方法，其特征在于，所述形态学方法为对图像进行膨胀、腐蚀运算，去除图像中的“空洞”以及孤立的噪声点，使图像边缘更加光滑，距离变换为处理图像邻域的像素点，减少过分割。

5.根据权利要求1所述基于边缘响应融合算法的传送带矿石粒度检测方法，其特征在于，所述步骤(5)中，调用OpenCV库，利用findContours算法查找分割图中所有的矿石颗粒轮廓；利用boundingRect算法求得每个矿石轮廓的最小外接矩形；利用contourArea算法计算每个轮廓的面积；利用arcLength算法计算每个轮廓的周长。

6.根据权利要求1所述基于边缘响应融合算法的传送带矿石粒度检测方法，其特征在于，所述步骤(5)之后，将得到的矿石粒度信息实时传输至破碎机控制***，根据粒度的大小调节可能导致破碎机发生故障的参数。

Images