CN110097060B - 一种面向树干图像的开集识别方法 - Google Patents

Abstract

本发明公开了一种面向树干图像的开集识别方法，包括以下步骤：(1)设计CNN模型，采用部分训练样本训练CNN模型后，并构造特征提取器；(2)对经特征提取器提取的特征图，计算特征图之间的相似度，并采用DBSCAN算法对特征图进行聚类；(3)根据特征图之间的相似度和特征图的聚类结果设计Loss函数，并根据该Loss函数优化特征提取器的参数和相似度函数的权重参数；(4)将待分类的树干图像输入至优化的特征提取器中，再利用优化的相似度函数计算输出的特征图之间的相似度，最后根据计算获得的相似度值获得对特征图的DBSCAN聚类结果。该开集识别方法能够很好地实现对未知类别的树干图像的开集识别。

Description

一种面向树干图像的开集识别方法

技术领域

本发明属于人工智能领域的深度学习算法与开集识别研究领域，具体涉及一种面向树干图像的开集识别方法。

背景技术

长久以来，开集识别方法一直是深度学习领域的一个研究热点。这种方法旨在从数据中发现未知样本并从中提取有用的特征信息，在信号识别和人脸检测方面具有广泛的应用。Jain等提出了基于多分类SVM的开集识别方法，他们使用SVM对概率决策分数进行学习，并通过设置概率阈值来拒绝未知样本。Bendale等提出了利用深度神经网络进行开集识别的方法，他们引入了OpenMax层，并用该层来估计输入样本属于未知类的概率。Ge等利用GAN生成未知样本，再使用这些数据训练神经网络，然后将其与OpenMax层结合，同时也使用一个阈值来拒绝未知样本。Kuniaki等使用对抗训练方法为已知类别和未知样本设立边界，并训练生成器使目标样本远离边界。这种方法在Office、VisDA和digits数据集上均取得了比较好的实验结果。

相似度计算是用来衡量数据间相似或相异程度的一种方法。两个事物越接近，它们的相似性度量也就越大，而两个事物越疏远，它们的相似性度量也就越小。不同的相似度计算方法从不同层面反映了数据的接近程度。常用的相似度算法包括欧氏距离、曼哈顿距离、明可夫斯基距离、皮尔逊相关系数、余弦相似度、Jaccard相似系数等，这些计算方法用数量化的方式对数据间的相似程度进行了描述，以便其他算法对这些数据进行分类。

聚类是将物理或抽象对象的集合分成由类似的对象组成多个类的过程。聚类通常按照对象间的相似性进行分组，因此如何描述对象间的相似性是聚类的重要前提。K-means算法是一种经典的聚类算法，这种方法的计算复杂度较低，且在各种数据集上均能取得较好的聚类效果。然而，算法中的聚类个数K往往需要人为给定，这限制了K-means在实际场景中的应用范围。基于密度的聚类方法能自动确定类簇个数，DBSCAN算法是这类方法的典型代表，它通过引入密度可达的概念，将大于某一密度的点定义为核心点，相邻核心点相互直接可达，所有相互可达的点形成一个类簇，有效弥补了K-means算法的不足，并增强了对噪声点的处理能力。

卷积神经网络是包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络仿照生物的视觉机制进行构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能以较小的计算量来提取图像的特征。随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速的发展，并被大量应用于计算机视觉、自然语言处理等领域。

发明内容

本发明的目的是设计一种面向树干图像的开集识别方法，通过训练自行设计的CNN模型得到图像的特征提取器，结合相似度计算方法和DBSCAN算法确定loss函数，通过训练对特征提取器的参数进行进一步修正，最终在测试集上对所有类别的数据进行特征提取并聚类，从而实现对树干图像的开集识别。

本发明的技术方案为：

一种面向树干图像的开集识别方法，包括以下步骤：

(1)设计面向树干图像的CNN模型，采用部分训练样本对CNN模型进行训练后，并根据训练的CNN模型构造特征提取器；

(2)对经特征提取器提取的特征图，计算特征图之间的相似度，并根据相似度值，采用DBSCAN算法对特征图进行聚类；

(3)根据特征图之间的相似度和特征图的聚类结果设计Loss函数，并根据该Loss函数以及剩下的训练样本对特征提取器的参数以及相似度函数的权重参数进行优化；

(4)将待分类的树干图像输入至优化的特征提取器中，经计算获得对应的特征图，再利用优化的相似度函数计算特征图之间的相似度，最后根据计算获得的相似度值获得对特征图的DBSCAN聚类结果。

本发明提供的向树干图像的开集识别方法能够利用特征提取器准确提取不同类别间差异性特征，并能通过DBSCAN算法捕捉未知类簇，实现对树干数据集的开集识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明提供的面向树干图像的开集识别方法的流程图；

图2是本发明构建的CNN模型的结构示意图；

图3是实验例中用于训练的4类树干的实际图像；

图4是实验例中用于开集识别的另外3类树干的实际图像。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明结合卷积神经网络和基于密度的聚类算法，提供了一种面向树干图像的开集识别方法，利用已知类别的树干图像对特征提取器以及相似度函数进行训练，利用训练好的特征提取器以及相似度函数，再结合聚类方法能够对未知类别的树干图像进行识别，即实现对树干图像的开集识别。

如图1所示，本发明提供的面向树干图像的开集识别方法，包含以下步骤：

S101，设计面向树干图像的CNN模型。

经实验多次探讨，为了提升提取树干图像特征的全面性和准确性，设计如图2所示的CNN模型，具体地，CNN模型包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第一全连接层、第二全连接层以及输出层，其中，输入层的尺寸为256×256×3，即要求输入3个颜色通道表示、尺寸为256×256的树干图像；第一卷积核的模板尺寸为11×11，通道数为64，卷积步长为4，经过第一卷积操作后图像的尺寸变为64×64×64；第一卷积层后连接的第一最大池化层的池化步长为2，经过第一池化后，树干图像的尺寸变为32×32×64；第二卷积核的模板尺寸为5×5，通道数为128，经过第二卷积操作后的图像尺寸为32×32×128；第二卷积层后连接第二最大池化层的池化步长为2，经过第二池化后，树干图像的尺寸变为16×16×128；第三卷积核的模板尺寸为3×3，通道数为192，经过第三卷积操作后的图像尺寸为16×16×192；第三卷积层后连接的第三最大池化层的池化步长为2，经过第三池化后，树干图像的尺寸变为8×8×192；第四卷积核的尺寸为3×3，通道数为256，经过第四卷积操作后的图像尺寸为8×8×256；第四卷积层后连接第一全连接层，经过第一全局平均后的图像变为256个神经元，第二层全连接层则将256个神经元映射至128个神经元，最后将这128个神经元和输出层相连，经softmax之后即得到输出结果，输出层的神经元的个数与分类的类别个数相对应。

S102，利用部分训练样本对CNN模型进行训练，并构造特征提取器。

在设计好CNN模型后，即对CNN模型进行训练，具体地，采用包含部分树干类别的树干图像以及对应的树干图像实际类标组成的训练样本对CNN模型进行训练，训练时的损失函数为预测类标与实际类标的交叉熵：

其中，p(i)表示第i个树干图像的实际类标，q(i)表示第i个树干图像经CNN模型计算输出的预测类标，交叉熵L越小，则表示树干图像与对树干图像提取的特征图分布越接近，即CNN模型的预测结果越准确。

在获得训练好的CNN模型后，去除CNN模型中的第二全连接层，剩下的网络结构以及对应的网络结构参数构成树干图像的特征提取器。

S103，对经特征提取器提取的特征图，计算特征图之间的相似度，并根据相似度值，采用DBSCAN算法对特征图进行聚类。

经特征提取器提取获得特征图后，发现特征图之间为存在一定的相似度差异，为了从多角度地衡量不同数据间的相似度差异，本发明采用余弦相似度和空间相似度线性叠加的方式，获得两个特征图之间的相似度，具体地，相似度的计算公式为：

D(A_i,A_j)＝-α[d(A_i,A_j)_c+1]/2+βd(A_i,A_j)_n (2)

其中，d(A_i,A_j)_c表示第i个特征图A_i和第j个特征图A_j之间的余弦相似度，它使用两个向量间的夹角来描述两个特征图之间的差异性，具体地，d(A_i,A_j)_c为：

从公式(3)可得，d(A_i,A_j)_c的取值为[-1,1]，d(A_i,A_j)_c的值越小，则特征图A_i和第j个特征图A_j的相似性越小。

为了便于之后DBSCAN算法的使用，在公式(2)中对进行一定的处理，即采用-[d(A_i,A_j)_c+1]/2代替函数D(A_i,A_j)中的d(A_i,A_j)_c进行计算，此时-[d(A_i,A_j)_c+1]/2的取值范围为[0,1]，且-[d(A_i,A_j)_c+1]/2的值越小，则特征图A_i和第j个特征图A_j的相似性越大，除此之外，这样处理能够保证D(A_i,A_j)始终为正。

d(A_i,A_j)_n表示第i个特征图A_i和第j个特征图A_j之间的欧氏距离，即为空间相识度值，用来衡量两个特征图在多维空间中的绝对距离，其计算公式为：

其中，r表示特征图A_i和特征图A_j的数据维度，

和

分别表示特征图A_i和特征图A_j在第k维上的值，

表示特征图A_i和特征图A_j在第k维上归一化后的距离。从公式(4)容易得到，d(A_i,A_j)_n的取值为[0,1]，d(A_i,A_j)_n的值越小，则特征图A_i和特征图A_j的相似性越大。

在公式(2)中，α和β为两个权重系数，用来调节欧氏距离和余弦相似度在相似度计算中的所占比重，且有α≥0,β≥0,α+β＝1，初始情况下，令α＝β＝0.5，后续迭代的过程中权重参数α和β将被得到优化。

在获得特征图之间的相似度后，根据相似度值，采用DBSCAN算法对特征图进行聚类，具体地，DBSCAN算法包括：

定义1(Eps邻域)：对于一个特征图A_i，特征图A_i的Eps邻域定义为以特征图A_i为核心，以Eps为半径的超球体区域，即

N_Eps(A_i)＝{A_j∈M|D(A_i,A_j)≤Eps} (5)

其中，M表示全体特征图集合；

定义2(核心点与边界点)：对于一个特征图A_i，给定一个整数minPts，若特征图A_i的Eps邻域内的对象满足

|N_Eps(A_i)|≥minPts (6)

则称特征图A_i为(Eps,minPts)条件下的核心点；

定义3(密度直达)：若特征图A_i位于特征图A_j的Eps邻域内，且A_j是核心对象，则称特征图A_i由特征图A_j密度直达；

定义4(密度可达)：对于特征图A_i和特征图A_j，若存在样本序列p₁,p₂,...,p_t,p_t+1,...,p_T，满足p₁＝A_i，p_T＝A_j，且p_t+1由p_t密度直达，则称A_j由A_i密度可达；即密度可达是具有传递性的密度直达；

当Eps,minPts被确定后，对于经特征提取器提取的特征图，由任意一个特征图作为核心点为起始，将与该核心点密度可达的所有特征图构成一个类簇，当所有核心点均被划分至某一类簇时，聚类完毕，此时类簇个数将自动被确定。

S104，设计Loss函数，并根据Loss函数优化特征提取器参数。

在设计Loss函数时，根据S103的聚类结果，选取所有类簇的核心点进行Loss函数的计算，并使用基于梯度的优化方法对loss函数进行优化，具体地，Loss函数为：

其中，H表示所有核心点的集合，g(A_i,A_j)为符号函数，当特征图A_i和特征图A_j属于同一个类簇时，则g(A_i,A_j)＝1；当特征图A_i和特征图A_j不属于同一个类簇时，则g(A_i,A_j)＝-1。由此可知，L′的目的是让相同簇核心点之间的距离尽量小，不同簇核心点之间的距离尽量大，从而训练特征提取器以提高聚类效果。

利用剩下的训练样本以及确定的Loss函数，采用梯度下降算法对特征提取器进行参数优化，优化后的特征提取器能够加强对各个树干类别的差异性特征提取。

S105，优化相似度函数的权重参数。

在对特征提取器进行优化时，当L′趋于稳定时，停止对特征提取器的参数优化，即获得优化的特征提取器。在优化特征提取器之后，再进行相似度函数D(A_i,A_j)中权重参数α和β的优化，由于α≥0,β≥0,α+β＝1，则相似度函数D(A_i,A_j)写成：

D(A_i,A_j)＝-α[d(A_i,A_j)_c+1]/2+(1-α)d(A_i,A_j)_n (8)

首先，现令Δα＝0.1，从初始值α₀＝0.5开始，分别计算在α₀处、在α₀+Δα处和α₀-Δα处的聚类准确率，选取聚类准确率最高时对应的α作为α₁；

然后，根据α₁与α₀更新Δα，并计算在α₁处、在α₁+Δα处和α₁-Δα处的聚类准确率，选取聚类准确率最高时对应的α作为α₂，重复迭代过程以下过程：即根据α_m与α_m-1更新Δα，并计算在α_m处、在α_m+Δα处和α_m-Δα处的聚类准确率，选取聚类准确率最高时对应的α作为α_m+1，直到找到最优的α为止，这样就获得了最优的α、β＝1-α以及优化的相似度函数D(A_i,A_j)。

在计算聚类准备率时，根据特征图对应的实际类标以及获得聚类结果来计算聚类准确率。

S106，应用时，将待分类的树干图像输入至优化的特征提取器中，经计算获得对应的特征图，再利用优化的相似度函数计算特征图之间的相似度，最后根据计算获得的相似度值获得对特征图的DBSCAN聚类结果。

S107，输出聚类结果。

实验例

为了验证上述面向树干图像的开集识别方法的分类效果，将上述开集识别方法在实际采集的树干据集上进行实验。

树干数据集是团队自行统计收集的数据集，该数据集包含13种树干，每种树干含有约200～500张树干RPG图像。实验中，选取前7类树干作为测试对象进行实验。为了使该数据集达到可训练的要求，通过随机截取部分树干对该类树干图像进行数据扩充，接着进行灰度化处理，最后将所有树干图象处理为256×256大小。最终得到每种树干500张图片、一共3500张树干的数据集。实验中，使用如图3所示的前4种树干的数据的前80％(共1600张图片)作为训练集对CNN模型进行训练，并将4类树干后20％的数据和其他三类(即如图4所示的类别树干图像)的20％数据(共700张图片)作为测试集以检测开集识别的效果。经统计，最终的聚类准确率达到了64.3％，平均聚类纯度为61.5％。三类开集树干的聚类准确率分别为58％，54％和49％。

该实验例充分表明了本发明提供的面向树干图像的开集识别方法能够很好地实现对未知类别的树干图像的开集识别。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向树干图像的开集识别方法，包括以下步骤：

(1)设计面向树干图像的CNN模型，采用部分训练样本对CNN模型进行训练后，并根据训练的CNN模型构造特征提取器；

(2)对经特征提取器提取的特征图，计算特征图之间的相似度，并根据相似度值，采用DBSCAN算法对特征图进行聚类；

采用DBSCAN算法对特征图进行聚类包括：

定义1(Eps邻域)：对于一个特征图A_i，特征图A_i的Eps邻域定义为以特征图A_i为核心，以Eps为半径的超球体区域，即

N_Eps(A_i)＝{A_j∈M|D(A_i,A_j)≤Eps} (1)

其中，M表示全体特征图集合；

定义2(核心点)：对于一个特征图A_i，给定一个整数minPts，若特征图A_i的Eps邻域内的对象满足

|N_Eps(A_i)|≥min Pts (2)

则称特征图A_i为(Eps,minPts)条件下的核心点；

定义3(密度直达)：若特征图A_i位于特征图A_j的Eps邻域内，且A_j是核心对象，则称特征图A_i由特征图A_j密度直达；

定义4(密度可达)：对于特征图A_i和特征图A_j，若存在样本序列p₁,p₂,...,p_t,p_t+1,...,p_T，满足p₁＝A_i，p_T＝A_j，且p_t+1由p_t密度直达，则称A_j由A_i密度可达；即密度可达是具有传递性的密度直达；

当Eps,minPts被确定后，对于经特征提取器提取的特征图，由任意一个特征图作为核心点为起始，将与该核心点密度可达的所有特征图构成一个类簇，当所有核心点均被划分至某一类簇时，聚类完毕，此时类簇个数将自动被确定；

(3)根据特征图之间的相似度和特征图的聚类结果设计Loss函数，并根据该Loss函数以及剩下的训练样本对特征提取器的参数以及相似度函数的权重参数进行优化；

Loss函数为：

其中，H表示所有核心点的集合，g(A_i,A_j)为符号函数，当特征图A_i和特征图A_j属于同一个类簇时，则g(A_i,A_j)＝1；当特征图A_i和特征图A_j不属于同一个类簇时，则g(A_i,A_j)＝-1；

利用剩下的训练样本以及确定的Loss函数，采用梯度下降算法对特征提取器进行参数优化；

在优化特征提取器之后，再进行相似度函数D(A_i,A_j)中权重参数α和β的优化，由于α≥0,β≥0,α+β＝1，则相似度函数D(A_i,A_j)写成：

D(A_i,A_j)＝-α[d(A_i,A_j)_c+1]/2+(1-α)d(A_i,A_j)_n (4)

首先，先令Δα＝0.1，从初始值α₀＝0.5开始，分别计算在α₀处、在α₀+Δα处和α₀-Δα处的聚类准确率，选取聚类准确率最高时对应的α作为α₁；

然后，根据α₁与α₀更新Δα，并计算在α₁处、在α₁+Δα处和α₁-Δα处的聚类准确率，选取聚类准确率最高时对应的α作为α₂，重复以下迭代过程：即根据α_m与α_m-1更新Δα，并计算在α_m处、在α_m+Δα处和α_m-Δα处的聚类准确率，选取聚类准确率最高时对应的α作为α_m+1，直到找到最优的α为止，这样就获得了最优的α、β＝1-α以及优化的相似度函数D(A_i,A_j)；

(4)将待分类的树干图像输入至优化的特征提取器中，经计算获得对应的特征图，再利用优化的相似度函数计算特征图之间的相似度，最后根据计算获得的相似度值获得对特征图的DBSCAN聚类结果。

2.如权利要求1所述的面向树干图像的开集识别方法，其特征在于，CNN模型包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第一全连接层、第二全连接层以及输出层，其中，输入层的尺寸为256×256×3，即要求输入3个颜色通道表示、尺寸为256×256的树干图像；第一卷积核的模板尺寸为11×11，通道数为64，卷积步长为4，经过第一卷积操作后图像的尺寸变为64×64×64；第一卷积层后连接的第一最大池化层的池化步长为2，经过第一池化后，树干图像的尺寸变为32×32×64；第二卷积核的模板尺寸为5×5，通道数为128，经过第二卷积操作后的图像尺寸为32×32×128；第二卷积层后连接第二最大池化层的池化步长为2，经过第二池化后，树干图像的尺寸变为16×16×128；第三卷积核的模板尺寸为3×3，通道数为192，经过第三卷积操作后的图像尺寸为16×16×192；第三卷积层后连接的第三最大池化层的池化步长为2，经过第三池化后，树干图像的尺寸变为8×8×192；第四卷积核的尺寸为3×3，通道数为256，经过第四卷积操作后的图像尺寸为8×8×256；第四卷积层后连接第一全连接层，经过第一全局平均后的图像变为256个神经元，第二层全连接层则将256个神经元映射至128个神经元，最后将这128个神经元和输出层相连，经softmax之后即得到输出结果，输出层的神经元的个数与分类的类别个数相对应。

3.如权利要求2所述的面向树干图像的开集识别方法，其特征在于，步骤(1)中，采用包含部分树干类别的树干图像以及对应的树干图像实际类标组成的训练样本对CNN模型进行训练，训练时的损失函数为预测类标与实际类标的交叉熵：

其中，p(i)表示第i个树干图像的实际类标，q(i)表示第i个树干图像经CNN模型计算输出的预测类标；

在获得训练好的CNN模型后，去除CNN模型中的第二全连接层，剩下的网络结构以及对应的网络结构参数构成树干图像的特征提取器。

4.如权利要求1所述的面向树干图像的开集识别方法，其特征在于，采用余弦相似度和空间相似度线性叠加的方式，获得两个特征图之间的相似度，具体地，相似度的计算公式为：

D(A_i,A_j)＝-α[d(A_i,A_j)_c+1]/2+βd(A_i,A_j)_n (6)

其中，d(A_i,A_j)_c表示第i个特征图A_i和第j个特征图A_j之间的余弦相似度，d(A_i,A_j)_n表示第i个特征图A_i和第j个特征图A_j之间的欧氏距离，α和β为两个权重系数，用来调节欧氏距离和余弦相似度在相似度计算中的所占比重，且有α≥0,β≥0,α+β＝1。

5.如权利要求1所述的面向树干图像的开集识别方法，其特征在于，采用-[d(A_i,A_j)_c+1]/2代替函数D(A_i,A_j)中的d(A_i,A_j)_c进行计算，以保证D(A_i,A_j)始终为正。

6.如权利要求1所述的面向树干图像的开集识别方法，其特征在于，在计算聚类准备率时，根据特征图对应的实际类标以及获得聚类结果来计算聚类准确率。

Images