CN111340132A - 一种基于da-svm的机器嗅觉模式识别方法 - Google Patents
一种基于da-svm的机器嗅觉模式识别方法 Download PDFInfo
- Publication number
- CN111340132A CN111340132A CN202010161893.3A CN202010161893A CN111340132A CN 111340132 A CN111340132 A CN 111340132A CN 202010161893 A CN202010161893 A CN 202010161893A CN 111340132 A CN111340132 A CN 111340132A
- Authority
- CN
- China
- Prior art keywords
- svm
- machine
- new
- data set
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008786 sensory perception of smell Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012706 support-vector machine Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 27
- 210000002569 neuron Anatomy 0.000 claims description 19
- 238000012567 pattern recognition method Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000007774 longterm Effects 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 239000007789 gas Substances 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- YXFVVABEGXRONW-UHFFFAOYSA-N Toluene Chemical compound CC1=CC=CC=C1 YXFVVABEGXRONW-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 1
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- IKHGUXGNUITLKF-XPULMUKRSA-N acetaldehyde Chemical compound [14CH]([14CH3])=O IKHGUXGNUITLKF-XPULMUKRSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035943 smell Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0031—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/0047—Organic compounds
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/0054—Ammonia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Combustion & Propulsion (AREA)
- Immunology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于DA‑SVM的机器嗅觉模式识别方法，该方法包括以下几个步骤：1、获取嗅觉***的原始数据集S 1 ，归一化并人工给数据集贴标签；2、构造深度自编码机，剔除数据集S 1 的标签列并将剩余的数据作为DA的输入，经迭代训练获得降维后的特征数据集；3、将步骤2中得到的特征数据集再次贴上步骤1中的标签，生成新的数据集S 2 ；4、将S 2 送入一个支持向量机模型进行训练，经多次调参建立SVM分类器；5、利用SVM分类器即可实现嗅觉***的模式识别。本发明能够解决机器嗅觉***在大样本、高维特征、多类别、长期漂移等方面的问题，提高机器嗅觉感知的准确度。
Description
技术领域
本发明涉及机器嗅觉***，具体涉及一种联合深度自编码机和支持向量机的 嗅觉感知分类器。
背景技术
机器嗅觉是一种模拟生物嗅觉工作原理的新颖仿生检测技术，机器嗅觉*** 通常由交叉敏感的化学传感器阵列和适当的计算机模式识别算法组成，可用于检 测、分析和鉴别各种气味。一个完整的机器嗅觉***一般包含气体传感器阵列硬 件设备和一套面向传感信号和数据处理的模式识别技术。其中，模式识别技术主 要为建立合适的机器学习模型，进而对被测气体的组成成分和浓度信息或对被测 目标的气味进行判断，实现仿生或机器嗅觉的功能。
然而，现有的机器嗅觉***在实际的气体识别或气味判断应用中表现得仍然 不尽人意，一方面由于嗅觉传感器随着使用时间的增长而发生毒化或退化，而使 得其响应信号逐渐离其应有的数值，这种漂移使得电子鼻的识别精度降低，甚至 变得不可靠；另一方面，嗅觉模式识别常采用大量数据训练一个分类器，引入大 量的噪声干扰，还要面对传感信号之间存在高维、多变量干扰问题，使得真正有 用的特征信号被淹没或难以提取，最终影响机器嗅觉***的识别效果，
为了改进机器嗅觉***的性能，ZL201610120715.X公开了一种基于深度信 念网络特征提取的电子鼻模式识别方法，ZL201110340338.8公开了基于多重自组 织神经网络的电子鼻在线漂移抑制方法，ZL201610216768.1公开了目标域迁移 极限学习的电子鼻气体识别方法。然而，这些方法主要是为了建立基于深度神经 网络的分类器模型，它们需要通过大量的神经元来对数据进行分类。直接采用深 度学习方法或神经网络的分类器，尽管精度有所提升，但相对于传统机器学习分 类器还是过于复杂，在诸多的低功耗低计算芯片上的应用上也受限。
发明内容
为了解决上述问题，本发明提供一种联合深度自编码机和支持向量机(DeepAutoencoder-Support Vector Machine，DA-SVM)的机器嗅觉模式识别方法，该 方法所建立的DA-SVM分类器能够利用深度自编码器实现大样本数据的自动降 维和有效特征提取，同时又建立了基于SVM浅层分类器的机器嗅觉模式识别模 型，使得该方法最终能够在大样本(≥10000)、高维特征(≥100)、多类别、长 期漂移问题等方面，提高机器嗅觉感知的准确度。
为实现上述目的，本发明通过以下技术方案实现：
一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，包括以下步骤：
步骤一、获取嗅觉***的原始数据集，归一化并人工给数据集贴标签，数据 集可记为:S1＝{(x1,y1),(x2,y2)……(xm,ym)}，其中，(xi,yi)为第i个样本对， i＝1,…,m，xi为样本原始数据的特征，yi为对应的标签，m为样本数；
步骤二、构造深度自动编码机(DA)，剔除步骤一中S1的标签列(yi)并将剩 余的特征集(xi)作为该网络的输入，经过多次迭代训练后可输出新的特征集
上标o表示新的数据；
步骤三、将步骤二中得到的特征
贴上步骤一中的标签(yi)，生成新的数 据集，可表示为
步骤四、将步骤三的新数据集S2送入一个支持向量机模型(SVM)进行训练， 经多次调参直至模型误差降至合理的区间，求得SVM分类器模型的参数；
步骤五、利用步骤四的SVM模型参数即可实现嗅觉***的模式识别。
进一步地，所述步骤一中的数据预处理中采用Min-Max函数进行归一化，将 原始值x映射成在区间[0,1]中的标准值，该处理可解决不同的嗅觉信号的量纲问 题。同时，步骤一中的标签yi采用独热编码形式，该编码形式采用气体类别特征 有多少取值，就用多少维来表示该特征。
进一步地，所述步骤二中深度自动编码器算法框架按照如下形式进行构建， 具体如下：
首先，构建含有一个输入层、一个输出层，n个隐含层(2≤n≤20)的深 度自动编码机网络，初始化改网络结构，并确定节点数[128,6,64]，即输入层上 有128个神经元,输出层包含6个神经元，隐藏层64个神经元；
其次，编码降维：将输入层和第一隐含层的神经元节点连接，按照公式 f(x)＝f(wixi+bi)将输入层和第一隐含层进行编码，wi为权重矩阵，bi为偏置 项，f为编码的映射函数，重复该编码步骤直至连接最中间的隐含层；
最后，解码重构：将最中间的隐藏层与后续隐含层的神经元连接，按照公式
进行层层重构，直至连接到最后的输出层，g为解码的映射 函数，上标T表示向量的转置，重构过程依据函数g将解码出一个与原来尺寸大小 一样的向量。
优选地，所述步骤二的DA权重的训练过程需要利用损失函数(Loss Function) 来衡量迭代计算的误差，最终获取最优参数；这里，选用的损失函数为交叉熵损 失函数为
其中，
为标签真值标签y的预 测值；按照损失最小化准则
来不断优化参数Q，最终达 到最优解的QNew，符号Q表示所有权值wi和偏置bi构成的参数集，QNew表示更新 后的参数集，argminQ表示求解关于参数Q的最小(minimize)寻优算法(algorithm) 缩写。该损失函数相比于其他损失函数，曲线整体呈单调性，损失越大，梯度越 大，可便于梯度下降反向传播和优化。
进一步地，所述参数QNew按照Adam自适应学习率梯度下降法进行优化， Adam算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的 自适应性学习率，进而实现梯度下降的参数更新，具体按照如下公式进行：
其中，
和
分别代表第一时刻平均值和第二时刻方差值，mt和vt分别为一阶矩梯度动量和二阶矩梯度动量，α1和α2为各自的衰减系数，分别取值0.9和0.999， QNew-1为相对于QNew的上一次更新参数，γ为自定义的学习率，上下标t表示第t 次迭代计算，θ为防止分母为0而取的极小值，通常取10e-8。
所述步骤三中的新特征集
直接选用自动编码器最中间隐藏层输出的数 据作为最终选取的特征，用这些具有代表性的特征构成新数据集S2。
所述步骤四中SVM分类器的训练和调参过程同样需要利用损失函数来计算 模型误差，以衡量调参是否达到最优；这里，选用折页损失函数(Hinge Loss)来 确定误差，定义为：
其中，yi为标签真值，
为预测的 点到分离超平面的距离。
进一步地，所述步骤四中的训练调参是指调节SVM模型中的两个重要参数 c(惩罚因子)和gamma(高斯核)，可采用十折交叉验证(10-fold cross-validation) 的方式来确定最优的参数，模型参数调整还具有以下特征：模型求解方法选用的 为自适应学习率梯度下降法(Adam)，初始动量设置为0.9，初始步长(学习率)设置 为0.1，迭代周期设置为1000。
进一步地，所述步骤五中的嗅觉模式识别方法还具备以下特征：当机器嗅觉 ***仅获取可新的样本时，重复上述步骤一和步骤二进行特征提取，然后利用步 骤四中已获取的SVM分类器即可对新样本实现识别；然而，当机器嗅觉***新 获取的是大量的带标签样本时，需重复步骤一至步骤四，从而实现DA和SVM模 型的重新训练以更新模型。
相对于现有技术，本发明的有益效果在于：
本发明提供了一种联合深度自编码机和支持向量机的机器嗅觉模式识别方 法，即能够利用自编码机进行自动降维并提取特征，同时又采用了现实中较为简 单可靠的SVM分类器进行识别，使得该方法最终能够在大样本、高维特征、多 类别、长期漂移等多方面的问题，提高机器嗅觉***的模式识别性能。相比于其 他直接使用深度神经网络进行机器嗅觉模式识别的方法，如采用深度信念网络、 多重自组织神经网络、以及深度卷积神经网络等，本发明方法避免了训练复杂或 高维度的分类器，采用有效的低维特征来训练相对简单的SVM分类器，这在实 际应用中面对多是大样本的机器嗅觉***时的实用性更强。
附图说明
图1为本发明的实施步骤流程图。
图2为本发明的自动编码器原理图。
图3为本发明一个实例的测试结果图。
具体实施方式
下面结合附图和具体实施方式，进一步阐述本发明，但本发明的保护范围不 局限于所述实施案例。
一种基于DA-SVM的机器嗅觉模式识别方法，如图1所示，包括以下步骤
步骤一、获取嗅觉***的原始数据集，归一化并人工给数据集贴标签，数据 集可记为:S1＝{(x1,y1),(x2,y2)……(xm,ym)}，其中，(xi,yi)为第i个样本对， xi为样本原始数据的特征，yi为对应的标签，m为样本数；
步骤二、构造自动编码机，剔除步骤一中S1的标签列(yi)并将剩余的特征集 (xi)作为该网络的输入，经过多次迭代训练后可输出新的特征集
步骤三、将步骤二中得到的特征
贴上步骤一中的标签(yi)，生成新的数 据集，可表示为
步骤四、将步骤三的新数据集S2送入一个支持向量机SVM进行训练，经多 次调参直至模型误差降至合理的区间，求得SVM分类器模型的参数。
步骤五、利用步骤四的SVM模型参数即可实现嗅觉***的模式识别。
所述步骤一中的数据预处理中采用Min-Max函数进行归一化，将原始值x映 射成在区间[0,1]中的标准值，该处理可解决不同的嗅觉信号的量纲问题。同时， 步骤一中的标签yi采用独热编码形式，该编码形式采用气体类别特征有多少取值， 就用多少维来表示该特征。
在本发明的一个实例中，步骤一中标签总共有6种气体，第一种气体采取独 热编码形式为[1,0,0,0,0,0]，第二种气体为[0,1,0,0,0,0]，依次类推。
所述步骤二中深度自动编码器算法框架按照如下形式进行构建，如图2所示， 具体如下：
首先，构建含有一个输入层、一个输出层，n个隐含层(2≤n≤20)的深 度自动编码机网络，初始化改网络结构，并确定节点数[128,6,64]，即输入层上 有128个神经元,输出层包含6个神经元，隐藏层64个神经元；
其次，编码降维：将输入层和第一隐含层的神经元节点连接，按照公式 f(x)＝f(wixi+bi)将输入层和第一隐含层进行编码，wi为权重矩阵，bi为偏置 项，f为编码的映射函数，重复该编码步骤直至连接最中间的隐含层；
最后，解码重构：将最中间的隐藏层与后续隐含层的神经元连接，按照公式
进行层层重构，直至连接到最后的输出层，重构的过程通 过函数g将解码出一个与原来尺寸大小一样的向量。
进一步地，所述步骤二的网络权重的更新训练过程中，采用的损失函数(LossFunction)为交叉熵损失函数
其中，
为预测输出，y为标签真值。按照损失最小化准则 
来不断优化参数Q，最终达到最优解的QNew，符号Q表 示所有权值wi和偏置bi构成的参数集，QNew表示更新后的参数集。该损失函数相 比于其他损失函数，曲线整体呈单调性，损失越大，梯度越大，可便于梯度下降 反向传播和优化。
进一步地，所述步骤二中参数QNew按照Adam自适应学***方的期望值α2，按照如下 公式进行梯度下降的参数更新：
其中，
和
分别代表第一时刻平均值和第二时刻方差值，QNew-1为相对于QNew的上一次更新参数，γ为自定义的学习率，θ为防止分母为0而取的极小值，通常 取10e-8。
在本发明的一个实例中，所述步骤二中的自编码机的构建可基于keras的深度 学习算法框架实现，keras是一个基于Python语言编写的开源人工神经网络库，适 合本发明机器嗅觉***的模型设计、调试、评估、应用和可视化等。
所述步骤三中的新特征集
直接选用自动编码器最中间隐藏层输出的数 据作为最终选取的特征，用这些具有代表性的特征构成新数据集S2。
所述步骤四中SVM分类器的训练过程中，采用折页损失函数(Hinge Loss)来 确定误差，定义为：
其中，yi为标签真值，
为预测的 点到分离超平面的距离；
进一步地，所述步骤四中的训练调参是指调节SVM模型中的两个重要参数 c(惩罚因子)和gamma(高斯核)，可采用十折交叉验证(10-fold cross-validation) 的方式来确定最优的参数，模型参数调整还具有以下特征：模型求解方法选用的 为自适应学习率梯度下降法(Adam)，初始动量设置为0.9，初始步长(学习率)设置 为0.1，迭代周期设置为1000。
在本发明一个较佳的实例中，步骤四中的SVM分类器模型训练与调参可采用Scikit-learn机器学***均值，这样可以防止模型的过拟合。
所述步骤五中的嗅觉模式识别方法还具备以下特征：当机器嗅觉***仅获取 可新的样本时，重复上述步骤一和步骤二进行特征提取，然后利用步骤四中已获 取的SVM分类器即可对新样本实现识别；然而，当机器嗅觉***新获取的是大 量的带标签样本时，需重复步骤一至步骤四，从而实现DA和SVM模型的重新训 练以更新模型。
为了更好说明本发明的整体效果，还选取了一个公开的机器嗅觉数据库UCIRepository[http://archive.ics.uci.edu/ml/datasets/Gas+Sensor+Array+Drift+Dataset] 进行测试验证，该数据库耗时3年采集了13910个样本，采集了包含丙酮，乙醇，乙醛，乙烯，氨气以及甲苯在内的6种分析物，每个样本为含有128个维度的特征 向量。利用该数据库，本发明同样参照文献[Vergara A,Vembu S,Ayhan T,et al. Chemical gassensor drift compensation using classifier ensembles.Sensors and Actuators B:Chemical,2012,166:320-329]的操作方式，通过将所有数据集分成10 个批次，对比测试了4种不同的模式识别方法，如图3所示，测试1为常规的SVM 识别算法，测试2为增加bagging的识别算法，测试3为本发明的DA-SVM模式识 别算法，测试4为基于随机森林模型的识别算法。本次测试的硬件平台为一台便 携式计算机平台，该平台具备一块GTX 1060Ti的图形处理器(GPU)、内存RAM 6.0GB，能够满足以上所有测试和算法的训练要求。
从图3的最终实测结果可以观测到：测试1的常规SVM分类器和测试4的随机 森林分类器在气体识别中的效果不相上下，平均正确率指标分别约为84％和82％， 最差正确率分别约为68％和59％；测试2的bagging模式识别算法性能最差，特别 是稳定性最差，如批次2和批次10的精度差异可达80％多；而本发明的测试3采用 的DA-SVM分类器的平均正确率高达96％，相比于其他算法有着很大的优势，并 且在本次测试中，所建立的DA部分能够将单个样本的128个维度特征自动降至64 个，而结果中最差的性能依然保持了90％的正确率。
以上所述为本发明的一个实施例子，并不用于限制本发明。凡在本发明的原 则之内，所做的等同替换，均应包含在本发明的保护范围之内。本发明未做详细 阐述的内容属于本专业领域技术人员公知的已有技术。
Claims (10)
1.一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，包括以下几个步骤：
步骤一、获取嗅觉***的原始数据集S1，归一化并给数据集贴标签；
步骤二、构造深度自动编码机，剔除步骤一中原始数据集S1的标签列并将剩余的数据作为该网络的输入，经过多次迭代训练后可输出新的特征数据集；
步骤三、将步骤二中得到的新的特征数据集再次贴上步骤一中的标签，生成新的数据集S2；
步骤四、将步骤三的新数据集S2送入一个支持向量机模型进行训练，经多次调参直至模型误差降至合理的区间，求得SVM分类器模型的参数；
步骤五、利用步骤四的SVM模型参数即可实现嗅觉***的模式识别。
2.根据权利要求1所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤一中采用Min-Max函数进行归一化，将原始值映射成在区间[0,1]中的标准值。
3.根据权利要求1所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤一中的标签采用独热编码形式。
4.根据权利要求1所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤二中深度自动编码机算法框架按照如下形式进行构建，具体如下：
首先，构建含有一个输入层、一个输出层，n个隐含层的深度自动编码机网络，2≤n≤20，初始化改网络结构，并确定节点数[128,6,64]，即输入层上有128个神经元,输出层包含6个神经元，隐藏层64个神经元；
其次，编码降维：将输入层和第一隐含层的神经元节点连接，按照公式f(x)＝f(wixi+bi)将输入层和第一隐含层进行编码，wi为权重矩阵，bi为偏置项，f为编码的映射函数，xi为样本原始数据的特征，重复该编码步骤直至连接最中间的隐含层；
最后，解码重构：将最中间的隐藏层与后续隐含层的神经元连接，按照公式
进行层层重构，直至连接到最后的输出层，g为解码的映射函数，上标T表示向量的转置，重构过程依据函数g将解码出一个与原来尺寸大小一样的向量。
5.根据权利要求1所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤二中迭代训练过程利用损失函数来衡量迭代计算的误差，最终获取最优参数；所述损失函数选用的交叉熵损失函数为
其中，
为标签真值标签y的预测值；按照损失最小化准则
来不断优化参数Q，最终达到最优解的QNew，符号Q表示所有权值wi和偏置bi构成的参数集，QNew表示更新后的参数集，argminQ表示求解关于参数Q的最小寻优算法缩写。
6.根据权利要求5所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述参数QNew按照Adam自适应学习率梯度下降法进行优化，Adam算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，进而实现梯度下降的参数更新，具体按照如下公式进行：
其中，
和
分别代表第一时刻平均值和第二时刻方差值，mt和vt分别为一阶矩梯度动量和二阶矩梯度动量，α1和α2为各自的衰减系数，分别取值0.9和0.999，QNew-1为相对于QNew的上一次更新参数，γ为自定义的学习率，上下标t表示第t次迭代计算，θ为防止分母为0而取的极小值，通常取10e-8。
7.根据权利要求1或4所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤三中的新特征集直接选用自动编码器最中间隐藏层输出的数据作为最终选取的特征，用这些具有代表性的特征构成新数据集S2。
8.根据权利要求1所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤四中SVM分类器的训练过程中，采用折页损失函数来确定误差，定义为：
其中，yi为标签真值，
为预测的点到分离超平面的距离。
9.根据权利要求6所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤四中的训练调参是指调节SVM模型中的两个重要参数惩罚因子和高斯核，采用十折交叉验证的方式来确定最优的参数，模型参数调整还具有以下特征：模型求解方法选用的为自适应学习率梯度下降法，初始动量设置为0.9，初始步长设置为0.1，迭代周期设置为1000。
10.根据权利要求1所述的一种基于DA-SVM的机器嗅觉模式识别方法，其特征在于，所述步骤五中的嗅觉模式识别方法还具备以下特征：当机器嗅觉***仅获取可新的样本时，重复步骤一和步骤二进行特征提取，然后利用步骤四中已获取的SVM分类器即可对新样本实现识别；然而，当机器嗅觉***新获取的是大量的带标签样本时，需重复步骤一至步骤四，从而实现DA和SVM模型的重新训练以更新模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010161893.3A CN111340132B (zh) | 2020-03-10 | 2020-03-10 | 一种基于da-svm的机器嗅觉模式识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010161893.3A CN111340132B (zh) | 2020-03-10 | 2020-03-10 | 一种基于da-svm的机器嗅觉模式识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340132A true CN111340132A (zh) | 2020-06-26 |
| CN111340132B CN111340132B (zh) | 2024-02-02 |
Family
ID=71182212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010161893.3A Active CN111340132B (zh) | 2020-03-10 | 2020-03-10 | 一种基于da-svm的机器嗅觉模式识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340132B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112367338A (zh) * | 2020-11-27 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 恶意请求检测方法及装置 |
| CN113378935A (zh) * | 2021-06-11 | 2021-09-10 | 中国石油大学(华东) | 一种用于气体的嗅觉智能识别方法 |
| CN113808197A (zh) * | 2021-09-17 | 2021-12-17 | 山西大学 | 一种基于机器学习的工件自动抓取***及方法 |
| WO2023035745A1 (zh) * | 2021-09-08 | 2023-03-16 | 汉王科技股份有限公司 | 嗅觉受体筛选、模型训练、酒类产品鉴定的方法与装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1482453A (zh) * | 2003-07-11 | 2004-03-17 | 华东理工大学 | 一种基于模块化组合神经网络的机器嗅觉气味识别方法 |
| CN103544392A (zh) * | 2013-10-23 | 2014-01-29 | 电子科技大学 | 基于深度学习的医学气体识别方法 |
| CN105913079A (zh) * | 2016-04-08 | 2016-08-31 | 重庆大学 | 基于目标域迁移极限学习的电子鼻异构数据识别方法 |
| CN108760829A (zh) * | 2018-03-20 | 2018-11-06 | 天津大学 | 一种基于仿生嗅球模型和卷积神经网络的电子鼻识别方法 |
-
2020
- 2020-03-10 CN CN202010161893.3A patent/CN111340132B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1482453A (zh) * | 2003-07-11 | 2004-03-17 | 华东理工大学 | 一种基于模块化组合神经网络的机器嗅觉气味识别方法 |
| CN103544392A (zh) * | 2013-10-23 | 2014-01-29 | 电子科技大学 | 基于深度学习的医学气体识别方法 |
| CN105913079A (zh) * | 2016-04-08 | 2016-08-31 | 重庆大学 | 基于目标域迁移极限学习的电子鼻异构数据识别方法 |
| CN108760829A (zh) * | 2018-03-20 | 2018-11-06 | 天津大学 | 一种基于仿生嗅球模型和卷积神经网络的电子鼻识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| SOUHIR BEDOUI, HEKMET SAMET AND MOUNIR SAMET: "Gases Identification with Support Vector Machines Technique (SVMs)", 《1ST INTERNATIONAL CONFERENCE ON ADVANCED TECHNOLOGIES FOR SIGNAL AND IMAGE PROCESSING - ATSIP\'2014》 * |
| 余炜等: "基于在线支持向量机的电子鼻模式识别算法", 《西北大学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112367338A (zh) * | 2020-11-27 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 恶意请求检测方法及装置 |
| CN113378935A (zh) * | 2021-06-11 | 2021-09-10 | 中国石油大学(华东) | 一种用于气体的嗅觉智能识别方法 |
| WO2023035745A1 (zh) * | 2021-09-08 | 2023-03-16 | 汉王科技股份有限公司 | 嗅觉受体筛选、模型训练、酒类产品鉴定的方法与装置 |
| CN113808197A (zh) * | 2021-09-17 | 2021-12-17 | 山西大学 | 一种基于机器学习的工件自动抓取***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340132B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340132A (zh) | 一种基于da-svm的机器嗅觉模式识别方法 | |
| CN108228716B (zh) | 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法 | |
| Yan et al. | Correcting instrumental variation and time-varying drift: A transfer learning approach with autoencoders | |
| CN103544392B (zh) | 基于深度学习的医学气体识别方法 | |
| CN107316046A (zh) | 一种基于增量补偿动态自适应增强的故障诊断方法 | |
| KR20180125905A (ko) | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 | |
| CN112418395B (zh) | 一种基于生成对抗网络的气体传感器阵列漂移补偿方法 | |
| CN111103325B (zh) | 一种基于集成神经网络学习的电子鼻信号漂移补偿方法 | |
| CN106548016A (zh) | 基于张量时域相关性分解模型的时间序列分析方法 | |
| CN111309909B (zh) | 一种基于混合模型的文本情感分类方法 | |
| US20220268964A1 (en) | Method Of Predicting Amount Of Precipitation Based On Deep Learning | |
| CN110880369A (zh) | 基于径向基函数神经网络的气体标志物检测方法及应用 | |
| Liu et al. | Review on algorithm design in electronic noses: Challenges, status, and trends | |
| CN114512191A (zh) | 一种基于迁移成分分析的青霉素浓度预测方法 | |
| CN115049026A (zh) | 基于gsnnr的空间非平稳性关系的回归分析方法 | |
| Shi et al. | Feature extraction and classification of cataluminescence images based on sparse coding convolutional neural networks | |
| CN114548281A (zh) | 一种基于无监督自适应权重的心脏数据异常检测方法 | |
| CN114863209A (zh) | 类别比例引导的无监督领域适应建模方法、***、设备及介质 | |
| CN106528679A (zh) | 基于多线性自回归模型的时间序列分析方法 | |
| CN116626753B (zh) | 一种基于多模态神经网络的微地震事件识别方法及*** | |
| CN112580539A (zh) | 基于psvm-lstm的电子鼻信号长期漂移抑制方法 | |
| CN114897047B (zh) | 基于深度字典的多传感器数据漂移检测方法 | |
| CN115579068A (zh) | 一种基于预训练和深度聚类的宏基因组物种重建方法 | |
| CN115083511A (zh) | 基于图表示学习与注意力的***基因调控特征提取方法 | |
| Osowski et al. | Mining data of noisy signal patterns in recognition of gasoline bio-based additives using electronic nose |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |