CN108596163A

CN108596163A - 一种基于cnn和vlad的煤岩识别方法

Info

Publication number: CN108596163A
Application number: CN201810748171.0A
Authority: CN
Inventors: 刘晓阳; 吕红杰
Original assignee: China University of Mining and Technology Beijing CUMTB
Current assignee: China University of Mining and Technology Beijing CUMTB
Priority date: 2018-07-10
Filing date: 2018-07-10
Publication date: 2018-09-28

Abstract

本发明公开了一种基于CNN和VLAD的煤岩识别方法，该方法通过将采集的煤岩图像经过预处理，输入到深度卷积神经网络AlexNet中，提取图像高层特征；使用不同初始化方法对提取的图像特征进行聚类，构建视觉词典；通过计算特征间残差和的方法对图像特征进行局部聚合，最后将每幅图像表示为单一列向量的形式输入到支持向量机，进行识别器的训练；在识别过程中，提取待识别煤岩图像特征，输入训练好的分类器，实现对煤岩图像的判别。该方法受光照因素影响低，对噪声的鲁棒性强，正确识别率高，稳定性好。

Description

一种基于CNN和VLAD的煤岩识别方法

技术领域

本发明涉及一种基于CNN和VLAD的煤岩识别方法，用于煤炭开采过程中的煤岩图像识别，具体的说是属于图像处理与模式识别技术领域。

背景技术

煤炭是我国国家能源的主要来源之一，也是国家经济的重要支柱之一。近年来，我国的煤炭产量都居于国际领先地位，且煤炭消耗量巨大。

煤岩识别是指通过各种技术手段使***自动判别煤和岩石。实现采煤工作面的煤岩自动识别是研究煤炭开采的重要内容之一，若能有效解决煤岩识别问题则是向无人化综采工作面迈出了至关重要的一步。同时，煤岩识别技术还广泛应用于滚筒采煤、掘进、综采放顶煤过程控制、煤矸分选等生产环节。采煤过程中，煤岩识别的关键在于将工作面煤壁上的煤与岩石有效的区分开，已经出现的多种煤岩识别方法包括雷达探测法、γ射线探测法、红外探测法、记忆截割法等，这些方法各有优缺点，但都需要安装大量传感器进行识别，一方面设备的安装复杂，浪费人力和物力；另一方面针对不同煤炭开采环境，需要选取不同传感器，而传感器本身也易出现故障和失灵，导致***难以维护。

为解决上述问题，研究精度高、鲁棒性强的煤岩识别方法至关重要。随着计算机视觉技术的不断增强，以及深度学习技术的发展，研究以图像为基础的煤岩识别方法具有重要意义。由于煤炭和岩石在颜色、光泽、纹理等方面存在较大差异，通过挖掘煤岩数字图像中的视觉信息进行煤岩图像分类具有实际意义。但是传统煤岩图像识别方法计算复杂度高，识别精度低，鲁棒性差，受到煤岩样本图像影响较大。基于图像的煤岩识别方法在稳定性和识别率上还有待提高。

需要一种高效、稳定且识别率高的煤岩图像识别方法，以解决现有煤岩图像识别技术中的固有问题，提高煤岩识别性能。

发明内容

因此，本发明的目的在于提供一种基于CNN和VLAD算法的煤岩图像识别方法，该方法将深度卷积神经网络作为特征提取器，能够表征图像高层特征，然后将所提取的特征通过不同初始化方法进行聚类，获得视觉词典，利用VLAD算法对特征进行整合，从而进行分类。识别率高，鲁棒性强，实时性好，有利于提高煤岩识别正确率，保障井下安全作业。

本发明所述的煤岩识别方法采用如下技术方案实现，包括样本训练阶段和煤岩识别阶段，具体步骤如下：

A.在样本的训练阶段，分别采集煤样本图像和岩样本图像若干张，构成煤岩图像样本集，记为D，其中煤样本图像和岩样本图像各占一半，图像大小统一设置为224×224，分别取2/3煤样本图像和2/3岩样本图像作为训练样本集，剩下的图像作为测试样本集；

B.对样本训练集中的煤样本图像和岩样本图像进行特征提取，步骤如下：

(1)将训练集中的样本图像输入到经过预训练的AlexNet深度卷积神经网络中，对每幅图像提取网络第5层256个大小为13×13的特征图；

(2)对256个特征图，每幅图中相同位置的特征值顺序排列为一个256维的特征向量，构成13×13个特征向量；

(3)以C种不同的初始化方法对所述256维的特征向量进行聚类运算，所述聚类运算中，给定簇的数量为k，其中C＝1,2,3…；

(4)把每个特征向量分配给距离它最近的簇中心，得到C组不同的聚类形式，每组包含k个簇；

(5)计算每个簇中所有特征向量与簇中心的残差和，以各所述残差和为元素，C种初始化方法分别得到一个VLAD特征向量表示；

(6)对所述的VLAD特征向量表示进行符号方根和归一化处理，进一步将C组不同的VLAD特征平整化为一个特征向量；

(7)对步骤(6)中得到的特征向量进行降维和白化处理，得到降维后的特征向量；

C.将降维后的特征向量输入支持向量机，进行分类器的训练；

D.将测试集样本中的煤样本图像和岩样本图像按照步骤A和步骤B的方法进行特征向量的提取，然后输入由步骤C得到的训练好的分类器，测试煤岩图像的识别精度；

E.对于待识别煤岩图像，经过图像预处理，提取图像特征向量(步骤B中求得)输入(步骤C中求得)训练好的分类器中，根据分类器输出结果判别煤岩类型。

进一步地，所述的经过预训练的AlexNet深度卷积神经网络是在ILSVR2012数据集上训练好的深度网络模型，包含5个卷积层和3个全连接层，在本发明中，舍弃了AlexNet网络后三层全连接层，剩下的5个卷积层直接作为特征提取器进行煤岩图像的特征提取。

进一步地，步骤(3)中，所述的以C种不同的初始化方法进行聚类运算，其初始化方法为随机初始化，簇中心的选择符合均匀分布，采用K-means聚类运算。

进一步地，步骤(4)中，所述的簇的集合表示为S_c,m，即

S_c,m＝{f_i,j|m＝argmin_p‖f_i，j-μ_c，p‖}

表示把每个特征向量分配到距离它最近的簇中心的集合，其中，f_i，j表示特征图中第i行第j列的特征点对应的256维特征向量，1≤i≤13，1≤j≤13，m表示簇中心，m＝{1,2，…k}，μ_c，p表示第c种初始化聚类方法中，第p簇的簇中心对应的特征向量，c＝{1，2，…C}，‖·‖为L₂范数，用于计算特征向量f_i,j与簇中心μ_c,p之间的距离。

进一步地，步骤(5)中，所述的残差和的计算方法为：

其中，v_c,m表示残差和；f_i,j表示特征图中第i行第j列的特征点对应的256维特征向量；S_c,m表示第c种初始化聚类方法中，第m簇的集合；μ_c,m表示第c种初始化聚类方法中，第m簇的簇中心对应的特征向量。

进一步地，所述的VLAD特征向量表示为，F_c＝[v_c,1,v_c,2…v_c,k]，步骤(6)中对F_c中每一个元素v_c,i执行符号方根和归一化处理的方法为：

进一步地，步骤6中，所述的C个类的VLAD特征平整化为一个特征向量

进一步地，所述的步骤(7)中，使用主成分分析的方法对特征向量进行降维和白化处理。

进一步地，所述的步骤C中，选择径向基函数作为分类器核函数，进行二分类非线性支持向量机的训练。

进一步地，所述的步骤D中，通过调整参数，保证分类器的识别精度达到95％以上，若识别精度较低，则通过增加训练样本数量、对样本图像进行数据增强，进行分类器的进一步训练。

本发明从神经网络的中间层提取出特征，然后对这些特征进行处理，再结合传统的聚类方法实现煤岩识别。k-means聚类方法效果好坏和它的初始化方法有很大关系，所以本发明采用不同的初始化方法来减少影响。然后用VLAD的方法(主要是对聚类后的特征进行局部聚合)求残差求得每幅图像单一的特征向量表示。该方法受光照因素影响低，对噪声的鲁棒性强，正确识别率高，稳定性好。

附图说明

图1是本发明所述煤岩识别方法的基本流程图。

图2是本发明所述煤岩图像特征提取过程示意图。

具体实施方式

本发明公开了一种基于CNN(convolutional neural network，卷积神经网络)和VLAD(vector of locally aggregated descriptors，局部特征聚合描述符)的煤岩识别方法，附图1是基于CNN和VLAD的煤岩识别方法的基本流程图，附图2是本发明所述煤岩识别方法的特征提取过程示意图，参见附图进行具体描述。

参照图1，本发明的煤岩图像识别方法总体流程为：

A.在样本的训练阶段，分别采集煤样本图像和岩样本图像若干张，构成煤岩图像样本集，记为D，其中煤样本图像D1和岩样本图像D2各占一半，D1＝D2，图像大小统一设置为224×224，分别取2/3煤样本图像和2/3岩样本图像作为训练样本集，剩下的图像作为测试样本集，对样本集D中所有图像进行类别标号，类别标号集设为L，用于分类器的训练和测试；

B.对样本训练集中的煤样本图像和岩样本图像进行特征提取；

C.将降维后的特征向量输入支持向量机，进行分类器的训练。

本实施例选择径向基函数作为分类器核函数，进行二分类非线性支持向量机的训练。选择支持向量机进行特征分类，其优势在于，可以将图像特征映射至高维空间，解决特征的线性不可分问题，利于分类。

D.将测试集样本中的煤样本图像和岩样本图像按照步骤A和步骤B的方法进行特征向量的提取，然后输入由步骤C得到的训练好的分类器，测试煤岩图像的识别精度。

可以通过调整参数，保证分类器的识别精度达到95％以上，若识别精度较低，则通过增加训练样本数量、对样本图像进行数据增强，进行分类器的进一步训练。

其中，步骤B进行特征提取的具体过程如下：

(1)将训练集中的样本图像输入到经过预训练的AlexNet深度卷积神经网络中，对每幅图像提取网络第5层256个大小为13×13的特征图.

本实施例中，经过预训练的AlexNet深度卷积神经网络是在ILSVR2012数据集上训练好的深度网络模型，包含5个卷积层和3个全连接层，在本发明中，舍弃了AlexNet网络后三层全连接层，剩下的5个卷积层直接作为特征提取器进行煤岩图像的特征提取。

(2)对256个特征图，每幅图中相同位置的特征值按照网络第5层卷积层输出的顺序排列为一个256维的特征向量，构成13×13个特征向量；

(3)以C种不同的初始化方法对所述256维的特征向量进行聚类运算，所述聚类运算中，给定簇的数量为k，其中C＝1,2,3…。

所述的以C种不同的初始化方法进行聚类运算，其初始化方法为随机初始化，并且作为簇中心的特征向量的选择服从均匀分布，同时采用K-means聚类运算。

(4)把每个特征向量分配给距离它最近的簇中心，得到C组不同的聚类形式，每组包含k个簇。

簇的集合表示为S_c,m，即

S_c，m＝{f_i,j|m＝arg min_p‖f_i,j-μ_c,p‖}

表示把每个特征向量分配到距离它最近的簇中心的集合，其中，f_i,j表示特征图中第i行第j列的特征点对应的256维特征向量，f_i,j∈R²⁵⁶，1≤i≤13,1≤j≤13，m表示簇中心，m＝{1,2，…k}，μ_c，p表示第c种初始化聚类方法中，第p簇的簇中心对应的特征向量，c＝{1，2，…C}，‖·‖为L₂范数，用于计算特征向量f_i,j与簇中心μ_c,p之间的距离。

特征向量f_i,j表示为f_i,j＝(x₁,x₂,…,x₁₆₉)，μ_c,p表示为μ_c,p＝(y₁,y₂,…,y₁₆₉)，特征向量f_i,j与簇中心μ_c,p之间的距离计算公式为：

(5)计算每个簇中所有特征向量f_i，j与簇中心的残差和，即：

则每种不同的初始化方法分别得到一个VLAD特征向量表示，记为F_c：

F_c＝[v_c,1,v_c,2…v_c,k]

(6)对VLAD特征向量表示F_c(c＝{1,2，…C})，进行符号方根和归一化处理，即对F_c中每一个元素v_c,i执行操作：

进一步将C个类的VLAD特征平整化为一个向量

至此，每幅图像被表示为一个向量的形式；

(7)使用主成分分析的方法对步骤(6)中得到的特征向量，进行降维和白化处理，得到降维后的特征向量

一般特征提取是用一些传统的算法，或者把图像经过神经网络的训练，直接由神经网络得出分类结果。本发明是从神经网络的中间层提取出特征，然后对这些特征进行处理，再结合传统的聚类方法实现煤岩识别。k-means聚类方法效果好坏和它的初始化方法有很大关系，所以本发明采用不同的初始化方法来减少影响。然后用VLAD的方法(主要是对聚类后的特征进行局部聚合)求残差求得每幅图像单一的特征向量表示。

Claims

1.一种基于CNN和VLAD的煤岩识别方法，其特征在于，包括以下步骤：

A.在样本的训练阶段，分别采集煤样本图像和岩样本图像若干张，其中煤样本图像和岩样本图像各占一半，分别取2/3煤样本图像和2/3岩样本图像作为训练样本集，剩下的图像作为测试样本集；

(1)将训练集中的样本图像输入到经过预训练的AlexNet深度卷积神经网络中，对每幅样本图像提取网络第5层256个大小为13×13的特征图；

(2)对256个特征图，每幅样本图像中相同位置的特征值顺序排列为一个256维的特征向量，构成13×13个特征向量；

E.对于待识别煤岩图像，经过图像预处理，提取根据步骤B得到的图像特征向量输入根据步骤C得到的训练好的分类器中，根据分类器输出结果判别煤岩类型。

2.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，所述的经过预训练的AlexNet深度卷积神经网络是在ILSVR2012数据集上训练好的深度网络模型，包含5个卷积层和3个全连接层，在本发明中，舍弃了AlexNet网络后三层全连接层，剩下的5个卷积层直接作为特征提取器进行煤岩图像的特征提取。

3.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，步骤(3)中，C种不同的初始化方法为随机初始化，同时采用K-means聚类运算。

4.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，步骤(4)中，簇的集合表示为S_c，m，即

S_c，m＝{f_i，j|m＝argmin_p‖f_i，j-μ_c，p‖}

表示把每个特征向量分配到距离它最近的簇中心的集合，其中，f_i,j表示特征图中第i行第j列的特征点对应的256维特征向量，1≤i≤13,1≤j≤13，m表示簇中心，m＝{1,2，…k}，μ_c,p表示第c种初始化聚类方法中，第p簇的簇中心对应的特征向量，c＝{1，2，…C}，‖·‖为L₂范数，用于计算特征向量f_i,j与簇中心μ_c,p之间的距离。

5.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，步骤(5)中，残差和的计算方法为：

其中，v_c，m表示残差和；f_i,j表示特征图中第i行第j列的特征点对应的256维特征向量；S_c,m表示第c种初始化聚类方法中，第m簇的集合；μ_c,m表示第c种初始化聚类方法中，第m簇的簇中心对应的特征向量。

6.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，所述VLAD特征向量表示为，F_c＝[v_c,1,v_c,2…v_c,k]，步骤(6)中对F_c中每一个元素v_c,i执行符号方根和归一化处理的方法为：

7.根据权利要求6所述的基于CNN和VLAD的煤岩识别方法，其特征在于，C个类的VLAD特征平整化为一个特征向量

8.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，步骤(7)中，使用主成分分析的方法对特征向量进行降维和白化处理。

9.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，步骤C中，选择径向基函数作为分类器核函数，进行二分类非线性支持向量机的训练。

10.根据权利要求1所述的基于CNN和VLAD的煤岩识别方法，其特征在于，步骤D中，通过调整参数，保证分类器的识别精度达到95％以上，若识别精度较低，则通过增加训练样本数量、对样本图像进行数据增强，进行分类器的进一步训练。