CN110163247A - 基于深度最近类均值的模型设计方法及增量气味分类方法 - Google Patents

Abstract

本发明公开了一种基于深度最近类均值的模型设计方法及增量气味分类方法，该方法包括以下步骤：设计深度神经网络模型；其中，所述深度神经网络模型包括：输入层、至少一个隐藏层、全连接层和Softmax功能层；然后将深度神经网络模型中的全连接层替换为NCM层得到深度最近类均值模型。本发明实施例提供的一种基于深度最近类均值的模型设计方法及增量气味分类方法，结合了深度神经网络和最近的类均值分类器的优点，并且消除了它们各自的局限，可以实现无缝地容纳新的气味类别，而不需要重新训练。该方法计算量小，适用范围广。

Description

基于深度最近类均值的模型设计方法及增量气味分类方法

技术领域

本发明实施例涉及气体检测技术领域，尤其涉及一种基于深度最近类均值的模型设计方法及增量气味分类方法。

背景技术

电子鼻(E-nose)的气味识别在许多应用中起着重要作用，例如医学中的检测和诊断，寻找药物和***物，食品生产链中的质量控制和定位气体能源。一些基于气味的分类算法(如中草药识别，药物诊断和危险品搜索)需要随着时间的推移更新他们的知识，因为他们面对不断更新的气味。这些任务被视为增量气味分类，其中训练数据集中的样本和类别的数量逐渐增加。为了处理增量气味分类任务，非增量算法必须从头开始重新训练，而增量学习算法只需要在新的气味类别到来时更新。非增量和增量学习之间的区别如图1 所示。

为了解决分类问题中的新类，可以考虑无模型分类器，例如K-最近邻 (KNN)和最近类均值(NCM)分类器。KNN是一种高度非线性分类器，能够达到与其他更复杂的分类方法相当的准确率。它通过简单地向数据库添加新的训练样本(新类)来集成新类，可以直接用于分类。这种简单的处理成本使它不仅需要存储所有训练样本，而且还具有很大的预测计算负担。这限制了KNN在许多实际情况中的应用。与KNN方法相比，NCM是一种更有效的分类器。但是，NCM只是一个线性分类器。它不能直接应用于某些复杂的分类任务(例如气味分类和基于视觉的模式识别)，其中类别的边界在数据空间中是非线性的。为了提高NCM的能力，T.Mensink等提出了一种度量学***均度量学习(NCMML)，其中样本被强制定义为比投影空间中的其他类均值更接近其类均值。度量学习通过线性投影将高维图像投影到低维空间。它对高尺寸样品(例如图像)有效，但不适合气味数据，因为气味的样本尺寸较低(约5至10)。M.Ristin等人提出了一种基于NCM 的新型随机森林，称为最近类均值森林(NCMF)，其中每个节点的决策由在该节点观察到的一小类随机子集形成。他们还介绍了更新森林结构的策略，以便整合新的训练样本。NCMF需要大型新训练图像来训练森林的每个节点。尽管如此，由于测量气味比拍照要困难得多，新类样本的气味识别量相对较小。

除了新样品的量很小之外，增量气味分类的另一个困难是气体传感器对物理环境(例如温度，湿度和压力)还有气体浓度、异常气味敏感。气体传感器测量的数据可能包括信号噪声，偏移，漂移等。气体传感器的这些偏差严重阻碍了电子鼻在现实环境中的应用。为了解决这个问题，深度学习算法是一个合适的选择。深度学习可以提取深层特征，改善辨别方面并抑制原始数据的无关变量。因此，它有助于减少或消除气体传感器的信号噪声，偏移和漂移，最终提高气味识别的准确性。深度学习的这一优势已经在许多其他领域得到证明，如语音识别，视觉对象识别，物体检测和自然语言理解。

随着人工智能的发展，越来越多的机器学习算法被提出并用于气味识别。L.Zhang等提出的判别子空间学习，针对多个电子鼻的气味识别和基于超限学习机的异常气味检测的自我表达。罗德里格兹等人使用支持向量机(SVM) 来校准气体传感器阵列。迪克森等人比较了气味识别中五种模式识别算法的性能：欧几里德距质心(EDC)，线性判别分析(LDA)，二次判别分析(QDA)，学习矢量量化(LVQ)和支持向量机(SVM)。但是，大多数以前的气味分类方法假设训练数据集是静态的。

要处理动态增长的数据集，使用无模型方法是一个明智的选择。经典的无模型方法包括K-近邻(KNN)，核密度估计(KDE)和最近类均值分类器 (NCM)。KNN通过首先计算来执行分类任务测试样本与所有培训之间的距离样本以获得其最近邻居然后进行它的分类。KNN难以处理大型数据集。一个原因是它需要大的存储空间来保存所有样品。另一个问题每个测试样本进行分类有很大的计算负担。最近类均值(NCM)分类器可以看作是KNN的变体。它不是保存所有样本，而是按平均值表示类(中心)他们的样品。与 KNN相比，NCM需要减少存储空间和计算量。但是，它是线性的分类器，不适合高度非线性分类任务(例如气味分类)。

发明内容

本发明提供一种基于深度最近类均值的模型设计方法及增量气味分类方法，以解决现有技术的不足。

为实现上述目的，本发明提供以下的技术方案：

第一方面，本发明设计一种深度最近类均值模型，所述方法包括以下步骤：

设计深度神经网络模型；其中，所述深度神经网络模型包括：输入层、至少一个隐藏层、全连接层和Softmax功能层；

将所述深度神经网络模型中的所述全连接层替换为NCM层，得到深度最近类均值模型。

进一步地，所述深度最近类均值模型中，在所述将所述深度神经网络模型中的所述全连接层替换为NCM层，得到深度最近类均值模型的步骤之后，所述方法还包括以下步骤：

选取深度最近类均值模型的训练数据和测试数据；其中，所述训练数据包括初始训练阶段数据和更新训练阶段数据，所述测试数据包括初始测试阶段数据和更新测试阶段数据；

初始训练阶段，初始气味数据集在深度最近类均值模型上进行训练，在此阶段学习到神经网络的参数；而在更新训练阶段，当新气味输入时，它们将被神经网络转换为特征向量。这些新特征向量将用于更新DNCM分类器的参数；

对已经训练好的所述深度最近类均值模型进行测试，并计算测试误差；

比较所述深度最近类均值模型的测试误差和预设精度期望值的大小，当测试误差小于预设精度期望值时，训练结束。

第二方面，本发明提供一种基于深度最近类均值模型的增量气味分类方法，所述方法包括上述第一方面所述的一种基于深度最近类均值的模型设计方法的所有步骤，还包括以下步骤：

采集气味数据；

对采集到的气味数据通过传感器阵列进行采样，获得传感器阵列信号；

将所述气味数据输入到预先训练完成的深度最近类均值模型中，由所述深度最近类均值模型中的Softmax功能层进行特征分类。

本发明实施例提供的一种基于深度最近类均值的模型设计方法及增量气味分类方法，结合了深度神经网络和最近的类均值分类器的优点，并且消除了它们各自的局限，可以实现无缝地容纳新的气味类别，而不需要重新训练。该方法计算量小，适用范围广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是无增量机器学习与增量机器学习的区别示意图；

图2是DNN模型和DNCM模型的结构示意图；

图3是本发明实施例一提供的一种基于深度最近类均值的模型设计方法以及训练方案的流程示意图；

图4是本发明实施例一提供的一种基于深度最近类均值模型的增量气味分类方法的流程示意图。

具体实施方式

为了完整的描述本发明实施例提供的技术方案，并且易于被用户理解，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

近年来，越来越多的机器学习算法已应用于气味识别。这些气味识别算法通常假设训练数据集是静态的。然而，对于一些气味识别任务，气味数据集是动态增长的，其中不仅训练样本而且类别的数量随时间增加。受此关注的启发，我们提出了一种深度最近类均值(DNCM)模型，该模型结合了深度学习框架和最近类模型(NCM)方法。DNCM不仅可以利用深度神经网络提取深层特征，而且非常适合集成新类。实验证明，所提出的DNCM模型对于增量气味分类是有效且高效的，特别是对于仅具有少量训练样例的新类别。

如果深度神经网络用于增量气味分类，需要解决两个问题。第一，现有的深度神经网络无法有效地动态处理不断增长的数据集，其中不仅有训练集样本，而且类别的数量随着时间的推移而增加。这意味着他们必须从头开始训练添加了新类的训练集。第二，深度神经网络一般需要大量表现良好的训练数据集。但是，在增量气味识别中，新类的数据集通常很小。

为了应对这两个问题，我们提出了一种深度增量学***均值(DNCM)模型，该方法结合了深度神经网络和最近的类均值分类器的优点，DNCM模型的结构如图2所示。DNCM将最近类均值模型嵌入为图层(NCM图层)在深度神经网络中。NCM层可以通过添加新方法，毫不费力地融合新样品上，所以它可以解决第一个难题。处理第二个问题，我们把整个训练程序分成了两个阶段。在第一阶段，确保隐藏层DNCM可以提取正确的功能，这是一项相对较大的训练数据集用于训练DNCM。在第二阶段，新气味样本仅用于训练NCM层参数，不用于训练隐藏层。NCM层的参数很小，因为它们只是每个类的手段。所以，虽然是新类的数据集相对较小，模型的泛化精度没有明显恶化。

据我们所知，现有技术中没有深度学习算法能够进行增量学习。这意味着当训练数据集添加新类时，必须从头开始训练它们。这促使我们尝试将标准深度神经网络扩展到增量学习模型，以便它可以无缝地集成新类而不是重新训练。

增量学习，使用场景是没有统一提供随机的训练数据，但按顺序提供类的标签。

增量学习也与迁移学习有关，从一个或多个源任务中提取知识将知识应用于目标任务。在电子鼻中社区，迁移学习主要集中在处理上气体传感器的离散，漂移和扰动。深度神经网络也是常用的迁移学习工具。一些增量学习方法建立在迁移学习上。多类迁移增量学习(MULTIPLLE)是一种基于迁移学习和最小二乘支持向量机(LSSVM)的增量学习方法。它把迁移学习作为一种以N+1目标类约束要接近到N个子集源的分类器。

我们的工作主要受到使用转移学习的启发，并将深度学习方法作为特征提取器。在一方面，我们提出的DNCM利用深度神经网络从气体传感器信号中提取特征以便处理气体传感器的不稳定性。另一方面，它可以无缝整合新的气味类别而不是重新训练。DNCM结合了深层神经网络的优势和最近类均值方法的优点，并且消除了它们各自的局限。

受迁移学***均值(中心)。虚线同心圆代表新类的平均值(中心)。NCM层的输出是矢量在特征向量和类的平均值之间的距离。整个训练程序包括两个步骤。首先，DNCM在初始数据集上进行训练，在此阶段学习了神经网络的参数。其次，当新类的样本可用时，它们将被神经网络转换为特征向量。这些新特征向量将用于更新 DNCM的分类器。

我们考虑增加多类气味识别场景，在这种场景中新类逐渐变得可用。我们建立的深度最近类均值(DNCM)模型提供了一个扩展深度神经网络的框架(DNN)到增量学习模型。通常，DNN可以分解为四个部分：输入层，隐藏层，全连层，softmax功能层，参见图2中的(a)；与采用完全连接的DNN 相比，在图层中，我们提出的DNCM使用NCM层代替全连层，参见图2中的(b)。在DNCM中，隐藏层负责将原始气体数据转换为特征向量。当新类可用，NCM层通过添加集成它们新类，而不需要再训练。Softmax函数用于计算每个类的概率气味的可能归属。隐藏层是用深度特征提取器f(·)来计算特征矢量v_i的x_i。DNCM模型学习的过程可以分为两个阶段：初始训练阶段和更新训练阶段。

更具体地说，我们执行以下程序以使用DNCM预测新气味x_i。首先将x_i输入到深度特征提取器f(·)(定义为下式)，然后通过以下方式获得特征向量v_i：

v_i＝f(x_i)＝φ_h(W_h-1×φ_h-1(...φ₁(W₀×x_i)...))；

其中φ_j(·)是第J隐藏层的非线性函数。W_j是连接第j-1层和第j层隐藏层的权矩阵。

然后NCM层将输出v_i和每类的中心C_k之间距离d_ik：

d_ik＝d(v_i，c_k)；

其中d(v_i，c_k)是v_i和c_k之间的距离函数。距离d_ik将被转换为概率形式 softmax函数，表示为p(c_k|x_i)：

DNCM将气味x分配给具有最大概率的类k^*∈{1，…，K}。

此外，我们将介绍DNCM的损失函数：

其中，是训练集，t_ik是向量t_i的第k个元素，它是对应于γ_i的独热向量。DNCM神经网络的最优参数正在解决优化问题：

上式是寻找最优解决方案使得参数矩阵W最小化(v_i与其自身类的均值之间的距离)和同时最大化(v_i与其均值之间的距离之和)。所以，优化损失函数相当于在特征空间最小化类内紧凑并同时最大化类间分离。

A.在初始训练阶段，有一个大的相关初始训练集，由n个标记其中是某一时刻气体传感器所收集的气味信号，是标记的类别标记。初始数据集是静态的，这意味着它在训练之前可用。DNCM的神经网络将在初始训练阶段进行训练。

算法1:DNCM初始训练算法

参数w

B.更新训练阶段

更新训练旨在处理新类问题。新类的样本是开放式的潮流，(x₁，y₁)， (x₂，y₂)，DNCM利用隐藏层来得到每个x′_is的特征向量v_i，然后是NCM 层利用v_i来更新c_yt(类y_i均值)。程序流程可以用几乎为零的成本不断重复，这使得DNCM可以无缝容纳新的气味。总结了该算法在算法2中。

算法2:DNCM的更新训练算法

新类的均值：{c_K+1，c_K+2，…}

实施例一

如图3所示，本发明实施例一提供一种深度最近类均值模型的设计方法，所述方法包括以下步骤：

S101、设计深度神经网络模型；其中，所述深度神经网络模型包括：输入层、至少一个隐藏层、全连接层和Softmax功能层；

S102、将所述深度神经网络模型中的所述全连接层替换为NCM层，得到深度最近类均值模型。

优选的，在所述将所述深度神经网络模型中的所述全连接层替换为NCM 层，得到深度最近类均值模型的步骤之后，所述方法还包括以下模型训练步骤：

选取深度最近类均值模型的训练数据和测试数据；其中，所述训练数据包括初始训练阶段数据和更新训练阶段数据，所述测试数据包括初始测试阶段数据和更新测试阶段数据；

将选取的初始训练阶段数据和更新训练阶段数据导入到所述深度最近类均值模型中，对所述深度最近类均值模型进行训练；

将选取的初始测试阶段数据和更新测试阶段数据导入到已经训练好的所述深度最近类均值模型中，对已经训练好的所述深度最近类均值模型进行测试，并计算测试误差；

比较所述深度最近类均值模型的测试误差和预设精度期望值的大小，当测试误差小于预设精度期望值时，训练结束。

进一步的，上述模型训练步骤可具体为：

选取深度最近类均值模型的训练数据和测试数据；其中，所述训练数据包括初始训练阶段数据和更新训练阶段数据，所述测试数据包括初始测试阶段数据和更新测试阶段数据；

初始训练阶段，初始气味数据集在深度最近类均值模型上进行训练，在此阶段学习到神经网络的参数；而在更新训练阶段，当新气味输入时，它们将被神经网络转换为特征向量。这些新特征向量将用于更新DNCM分类器的参数；

对已经训练好的所述深度最近类均值模型进行测试，并计算测试误差；

比较所述深度最近类均值模型的测试误差和预设精度期望值的大小，当测试误差小于预设精度期望值时，训练结束。

本发明实施例提供的一种基于深度最近类均值的模型设计方法，结合了深度神经网络和最近的类均值分类器的优点，并且消除了它们各自的局限，可以实现无缝地容纳新的气味类别，而不需要重新训练。该方法计算量小，适用范围广。

实施例二

如图4所示，本发明实施例二提供一种基于深度最近类均值模型的增量气味分类方法，所述方法包括实施例一所述的一种深度最近类均值模型的设计方法的所有内容，还包括以下步骤：

S201、采集气味数据；

S202、对采集到的气味数据通过传感器阵列进行采样，获得传感器阵列信号；

S203、将所述气味数据输入到预先训练完成的深度最近类均值模型中，由所述深度最近类均值模型中的Softmax功能层进行特征分类。

本发明实施例提供的一种基于深度最近类均值模型的增量气味分类方法，结合了深度神经网络和最近的类均值分类器的优点，并且消除了它们各自的局限，可以实现无缝地容纳新的气味类别，而不需要重新训练。该方法计算量小，适用范围广。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于深度最近类均值模型设计方法，其特征在于，所述方法包括以下步骤：

设计深度神经网络模型；其中，所述深度神经网络模型包括：输入层、至少一个隐藏层、全连接层和Softmax功能层；

将所述深度神经网络模型中的所述全连接层替换为NCM层，得到深度最近类均值模型。

2.根据权利要求1所述的基于深度最近类均值的模型设计方法，其特征在于，在所述将所述深度神经网络模型中的所述全连接层替换为NCM层，得到深度最近类均值模型的步骤之后，所述方法还包括以下步骤：

选取深度最近类均值模型的训练数据和测试数据；其中，所述训练数据包括初始训练阶段数据和更新训练阶段数据，所述测试数据包括初始测试阶段数据和更新测试阶段数据；

将选取的初始训练阶段数据和更新训练阶段数据导入到所述深度最近类均值模型中，对所述深度最近类均值模型进行训练；

将选取的初始测试阶段数据和更新测试阶段数据导入到已经训练好的所述深度最近类均值模型中，对已经训练好的所述深度最近类均值模型进行测试，并计算测试误差；

比较所述深度最近类均值模型的测试误差和预设精度期望值的大小，当测试误差小于预设精度期望值时，训练结束。

3.一种基于深度最近类均值模型的增量气味分类方法，其特征在于，所述方法包括权利要求1或2所述的一种基于深度最近类均值的模型设计方法的所有步骤，还包括以下步骤：

采集气味数据；

对采集到的气味数据通过传感器阵列进行采样，获得传感器阵列信号；

将所述气味数据输入到预先训练完成的深度最近类均值模型中，由所述深度最近类均值模型中的Softmax功能层进行特征分类。