CN115375672A

CN115375672A - 一种基于改进型YOLOv4算法的煤矸检测方法

Info

Publication number: CN115375672A
Application number: CN202211117363.4A
Authority: CN
Inventors: 刘杰辉; 乔洪超; 薛应芳; 晋纪岩; 赵海潮
Original assignee: Hebei University of Engineering
Current assignee: Hebei University of Engineering
Priority date: 2022-09-14
Filing date: 2022-09-14
Publication date: 2022-11-22

Abstract

本发明提出了一种基于改进型YOLOv4算法的煤矸检测方法，使用k‑means++聚类算法优化数据集，获得适合煤矸目标尺寸锚点框，优化目标框；用ghostnet轻量化模块更换YOLOv4的主干网络来简化了网络结构和提高检测速度；引入CBAM注意力模块增强面对矿井下复杂环境的特征提取能力，提高了检测精度；引入深度可分离卷积代替模型骨干网络中的3

3普通卷积，简化模型结构，提高了检测速度。最后对改进的YOLOv4进行训练，得到最终的网络模型。该方法有效的提升了煤矸检测的检测精度和检测速度，简化了网络模型，解决在复杂环境下小目标异物难以检测的问题。

Description

一种基于改进型YOLOv4算法的煤矸检测方法

技术领域

本发明涉及检测识别领域，尤其涉及一种基于改进型YOLOv4算法的煤矸检测方法。

背景技术

在煤矿生产中常常伴有大量的矸石，这些矸石如不及时处理掉会影响煤炭的品质，故在开采后的煤矿中分拣出矸石能够有效提高煤炭的品质。传统的针对煤矸识别的检测方法有人工检测法，射线法和图像识别方法。人工检测法主要是依靠工人辨别，效率低，浪费了大量的人力资源。射线法是基于煤和非煤异物的所含元素对能量吸收系数的不同来辨别的。这种方法运用于矿井下输送带的异物检测，成本昂贵，并且射线法对井下工人也会造成伤害。

随着机器视觉技术迅速发展，图像识别技术应用于异物检测的领域中。人们基于煤矸在灰度、纹理、反射光线等方面的物理性质差异提取特征来识别煤矸。由于煤矸形态多样，特征差异不明显，人工提取特征，易受矿井下的环境影响，难以应用于实际工况条件下。目前，单阶段目标检测算法在众多算法中效果显著，杜京义等在YOLOv3的基础上，替换了主干网络，优化损失函数，加入了双向特征金字塔，提高了模型异物识别的检测精度。任国强等设计Fast-YOLOv3算法，加入了反卷积网络和Stipic数据增强方法，检测速度和检测精度得到了提升。矿井下受粉尘、光照、水汽等影响和输送带高速运动仍然是异物难以检测所面对的主要问题。

发明内容

为了解决现有技术中存在的问题，本发明提出了一种基于改进型YOLOv4算法的煤矸检测方法，使用k-means++聚类算法优化数据集，获得适合煤矸目标尺寸锚点框，优化目标框；用ghostnet轻量化模块更换YOLOv4的主干网络来简化了网络结构和提高检测速度；引入CBAM注意力模块增强面对矿井下复杂环境的特征提取能力，提高了检测精度；引入深度可分离卷积代替模型骨干网络中的3

一种基于改进型YOLOv4算法的煤矸检测方法，具体包括，

步骤1：采集煤矿煤矸分选皮带上的煤矸图像用于制作煤矸数据集，利用标注软件标注数据集，利用数据增强算法扩充数据集；

步骤2：建立基于改进YOLOv4的煤矸目标检测模型，将YOLOv4的主干网络更换为Ghostnet模块，变换为轻量级网络模型，将Ghostnet模块中的深度可分离卷积分为两步，第一步为逐通道卷积，该卷积每个通道对输入特征层某一层进行卷积操作，生成特征图的通道数与输入的通道数相同，第二步为逐点卷积，通过逐点卷积进行通道调整特征融合；在改进的YOLOv4模型主干输出的三个有效特征层中通过引入CBAM注意力模块***空间和通道注意力机制；对数据集使用k-means++聚类算法，获得适合煤矸目标尺寸锚点框；

步骤3：训练步骤2中构建的改进YOLOv4算法的煤矸目标检测模型，将采集的煤矸图像中的训练集和验证集送入构建的基于改进YOLOv4算法的煤矸目标检测模型中进行训练；对训练后的改进YOLOv4算法的煤矸检测模型进行性能评估与评价，得到收敛良好的网络模型；

步骤4：评估模型，根据训练后得到的基于改进YOLOv4算法的煤矸目标检测模型，对模型的平均检测精度、检测速度进行评估；

步骤5：将步骤4中评估后的满足煤矿实际工况的基于改进YOLOv4算法的煤矸检测模型应用于选矸机器人实际煤矸目标检测中。

进一步的1，步骤1中采集煤矿煤矸分选皮带上的煤矸图像用于制作煤矸数据集为，使用CCD相机采集煤矿带式输送机皮带的煤矸图像制作用于训练的数据集，所有图像中的煤和矸石均标注出区域和类别信息。

进一步的1，步骤1中的煤矸图像，通过翻转、镜像的方式来增加不同角度的图像，扩充数据集；利用的煤矸数据集建立煤矸目标检测训练集、验证集，根据8：2的比例划分煤矸数据集，即随机选取80％的煤矸图像作为训练集，随机选取20％的煤矸图像作为验证集。

进一步的1，采用mosaic算法实现煤矸图像的数据增强，通过将四张图片随机缩放、随机裁剪、随机排布的方式进行拼接。

进一步的2，利用Ghostnet模块中的引入深度可分离卷积代替模型骨干网络中的3

3普通卷积，进一步简化模型结构。

进一步的2，Ghostnet模块采用标准的卷积计算得到部分基础特征层, 再利用Ghostnet模块得到Ghost特征层，把基础特征层与Ghost特征层进行堆叠并输出。

进一步的2，CBAM注意力模型由通道和空间两部分组成；通道注意力机制首先对输入进来的特征图同时分别进行全局平均池化和全局最大池化，生成两个特征图；将得到的特征层进行相加，在经过sigmoid函数激活，生成最终的通道注意力所需的特征；将通道注意力模块输出的特征图作为空间注意力模块的输入特征，将输入进来的特征层基于通道做一个全局平均池化和全局最大池化会得到生成两个特征图；特征层在通道上进行拼接操作，利用卷积进行降维处理，sigmoid激活，最后生成空间注意力模块所需要的特征；将通道与空间两模块分别输出的特征图进行相加，与骨干网络的输出特征图进行融合操作，融合操作之后的特征图输入到YOLOv4网络的neck层。

进一步的3，设置训练参数，采训练迭代次数为300次，前50次利用冻结方式训练，学***滑。

本发明提出了一种基于改进型YOLOv4算法的煤矸检测方法，该方法有效的提升了煤矸检测的检测精度和检测速度，简化了网络模型，解决在复杂环境下小目标异物难以检测的问题。

附图说明

图1是改进YOLOv4算法的煤矸目标检测方法流程图

图2是改进型YOLOv4算法的网络结构图；

图3是改进YOLOv4算法的煤矸目标检测方法效果图

具体实施方式

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义或者说明，本文所使用的所有的技术和科学术语都属于本申请的技术领域的技术人员通常理解的含义相同。本文在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1-3所示，本发明实施例提供一种基于改进型YOLOv4算法的煤矸检测方法。

如附图1所示，本实施例的改进型YOLOv4算法的煤矸检测方法的流程图，具体包括：

步骤1：采集煤矿煤矸分选皮带上的煤矸图像用于制作煤矸数据集，利用标注软件标注数据集，利用数据增强算法扩充数据集。

使用CCD相机采集煤矿带式输送机皮带的煤矸图像制作用于训练的数据集，共有1023张图像，包含煤和矸石目标约为20000个，所有图像中的煤和矸石均用labelimg软件标注出区域和类别信息。

使用CCD相机采集煤矿带式输送机皮带的煤矸图像，通过翻转、镜像等方式来增加不同角度的图像，扩充数据集。利用的煤矸数据集建立煤矸目标检测训练集、验证集，根据8：2的比例划分煤矸数据集，即随机选取80％的煤矸图像作为训练集，随机选取20％的煤矸图像作为验证集。

基于labelimg软件对煤矸数据集的样本数据进行标签作业，检测的目标包括煤炭（coal）和矸石（waste）两类。通过labelimg框选出煤矸，并且标注出类别信息，即标明目标区域的类别为包括煤炭coal或者矸石waste。

采用mosaic算法实现煤矸图像的数据增强，通过将四张图片随机缩放、随机裁剪、随机排布的方式进行拼接。增加数据集背景的多样性，进而提高训练的模型的泛化能力。

步骤2：建立基于改进YOLOv4的煤矸目标检测模型。

YOLOv4目标检测算法在实际生产过程中表现出良好的稳定性，其检测精度和检测速度具有突出的优势，本实例结合煤矸识别的实际过程，对现有的YOLOv4网络结构进行优化，构建YOLOv4轻量化模型识别煤矸，减少参数量和计算量，增强特征提取能力，提高煤矸识别的检测精度和检测速度。

YOLOv4目标检测模型采用CSPDarknet53主干网络提取特征，输入图像经过CSPDarknet53网络结构进行特征提取输出三个大小为52×52、26×26、13×13的特征图；特征图输入进颈部网络neck用于进一步整合特征，颈部网络neck包含SPP模块、特征融合FPN模块，特征图输入进SPP模块，经过空间金字塔得到池化特征图，将骨干网络输出的特征图与池化特征图进行特征融合。头部head多分类器模块基于特征融合模块输出多尺度的融合特征进行分类目标检测，将52×52、26×26、13×13三个尺度的融合特征输入进YOLOhead中进行分类目标检测。

如附图2所示改进型YOLOv4算法的网络结构图，改进型YOLOv4算法的网络结构中的Inputs表示输入，本实施例中的输入为416×416大小的图片。

本发明对YOLOv4模型进行了改进，设计了Ghostnet—YOLOv4网络模型，将YOLOv4的主干网络更换为Ghostnet模块，变换为轻量级网络模型，减少了参数量，提高了检测速度。引入深度可分离卷积代替模型骨干网络中的3

3普通卷积，简化模型结构，提高了检测速度。

Ghostnet模块利用线性变换的原理，首先采用标准的卷积计算得到部分基础特征层，再利用Ghostnet模块得到Ghost特征层，把基础特征层与Ghost特征层进行堆叠并输出。此结构大大减少了参数量，提高了计算速度；Ghostnet模块中的深度可分离卷积分为两步，第一步逐通道卷积，该卷积每个通道对输入特征层某一层进行卷积操作，生成特征图的通道数与输入的通道数相同。第二步为逐点卷积，通过逐点卷积进行通道调整特征融合。这样的卷积方式可以简化网络结构，减少计算能力。

在改进的YOLOv4模型主干输出的三个有效特征层中***空间和通道注意力机制。引入CBAM注意力模块增强矿井下复杂环境目标的特征提取能力，提高了检测精度，提高在复杂环境下小目标煤矸检测能力。

CBAM注意力模型由通道和空间两部分组成。通道注意力机制的实现首先对输入进来的特征图同时分别进行全局平均池化和全局最大池化，生成两个特征图。将得到的特征层进行相加，在经过sigmoid函数激活，生成最终的通道注意力所需的特征。将通道注意力模块输出的特征图作为空间注意力模块的输入特征，将输入进来的特征层基于通道做一个全局平均池化和全局最大池化会得到生成两个特征图。特征层在通道上进行拼接操作，利用卷积进行降维处理，sigmoid激活，最后生成空间注意力模块所需要的特征。将通道与空间两模块分别输出的特征图进行相加，与骨干网络的输出特征图进行融合操作，融合操作之后的特征图输入到YOLOv4网络的neck层；

对数据集使用k-means++聚类算法，获得适合煤矸目标尺寸锚点框，确定目标框。

K-means++按照如下的思想选取K个聚类中心：假设已经选取了n个初始聚类中心(0<n<K)，则在选取第n+1个聚类中心时：距离当前n个聚类中心越远的点会有更高的概率被选为第n+1个聚类中心。K-means++聚类算法的流程如下：（1）输入数据集中输送带上的异物和煤的宽高集合T和聚类中心K。（2）在集合T中随机选取一个点作为集合初始聚类中心

。（3）计算初始聚类中心

与集合中其它各点的距离

Figure RE-RE-RE-RE-968853DEST_PATH_IMAGE005

Figure RE-RE-RE-RE-678183DEST_PATH_IMAGE006

,计算每个样本被选为下一个聚类中心的概率

Figure RE-RE-RE-RE-300926DEST_PATH_IMAGE007

Figure RE-RE-RE-RE-852605DEST_PATH_IMAGE008

从集合T中利用轮盘法选出新的聚类中心，不断重复此过程，找出K个聚类中心。

步骤3：训练步骤2中构建的改进YOLOv4算法的煤矸目标检测模型。

设置训练参数，采训练迭代次数为300次，前50次利用冻结方式训练，学***滑。

将采集的煤矸图像中的训练集和验证集送入构建的基于改进YOLOv4算法的煤矸目标检测模型中进行训练；

设置自适应缩放图片尺寸为416x416，根据网络设定的输入尺寸大小实现自适应煤矸图像检测训练集和验证集图片的自适应缩放；

根据设置好的训练参数来训练基于改进YOLOv4算法的煤矸目标检测模型；

训练后的改进YOLOv4算法的煤矸检测模型，进行性能评估与评价，得到收敛良好的网络模型；

将设置的测试集输送至训练好的基于改进YOLOv4算法的煤矸检测模型中，测试基于改进YOLOv4算法的煤矸检测模型性能；

步骤4：评估模型

根据训练的基于改进YOLOv4算法的煤矸目标检测模型，从平均检测精度、检测速度等评价指标对模型进行评估；

通过设置相应参数将训练集中的样本图像输入改进型YOLOv4算法中，设置迭代步数，训练得到煤矸检测的最佳的权重文件。通过采用CIoU的边框损失函数来不断调节网络训练的方向，通过计算验证集的map值来验证训练是否达到预期的效果，通过对训练的权重文件进行筛选挑选出最佳的权重文件，并将其加载至改进型YOLOv4算法中作为检测煤矸的模型。

步骤5：将步骤4中评估的满足煤矿实际工况的基于改进YOLOv4算法的煤矸检测模型应用于选矸机器人实际煤矸目标检测中。

如附图3说明在本发明技术方案的检测下，矸石和预设的异物等的种类判断概率较高，能够准确的检测出异物的种类，表明本文所提出的算法的检测效果较好，能够应用于实际工况条件下的异物检测过程中。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替执行。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，包括，

2.根据权利要求1所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，步骤1中采集煤矿煤矸分选皮带上的煤矸图像用于制作煤矸数据集为，使用CCD相机采集煤矿带式输送机皮带的煤矸图像制作用于训练的数据集，所有图像中的煤和矸石均标注出区域和类别信息。

3.根据权利要求2所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，步骤1中的煤矸图像，通过翻转、镜像的方式来增加不同角度的图像，扩充数据集；利用的煤矸数据集建立煤矸目标检测训练集、验证集，根据8：2的比例划分煤矸数据集，即随机选取80％的煤矸图像作为训练集，随机选取20％的煤矸图像作为验证集。

4.根据权利要求3所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，采用mosaic算法实现煤矸图像的数据增强，通过将四张图片随机缩放、随机裁剪、随机排布的方式进行拼接。

5.根据权利要求1所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，利用Ghostnet模块中的引入深度可分离卷积代替模型骨干网络中的3

3普通卷积，进一步简化模型结构。

6.根据权利要求5所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，Ghostnet模块采用标准的卷积计算得到部分基础特征层, 再利用Ghostnet模块得到Ghost特征层，把基础特征层与Ghost特征层进行堆叠并输出。

7.根据权利要求6所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，CBAM注意力模型由通道和空间两部分组成；通道注意力机制首先对输入进来的特征图同时分别进行全局平均池化和全局最大池化，生成两个特征图；将得到的特征层进行相加，在经过sigmoid函数激活，生成最终的通道注意力所需的特征；将通道注意力模块输出的特征图作为空间注意力模块的输入特征，将输入进来的特征层基于通道做一个全局平均池化和全局最大池化会得到生成两个特征图；特征层在通道上进行拼接操作，利用卷积进行降维处理，sigmoid激活，最后生成空间注意力模块所需要的特征；将通道与空间两模块分别输出的特征图进行相加，与骨干网络的输出特征图进行融合操作，融合操作之后的特征图输入到YOLOv4网络的neck层。

8.根据权利要求1所述的一种基于改进型YOLOv4算法的煤矸检测方法，其特征在于，训练步骤2中构建的改进YOLOv4算法的煤矸目标检测模型包括设置训练参数，采训练迭代次数为300次，前50次利用冻结方式训练，学***滑。