CN109493287A - 一种基于深度学习的定量光谱数据分析处理方法 - Google Patents
一种基于深度学习的定量光谱数据分析处理方法 Download PDFInfo
- Publication number
- CN109493287A CN109493287A CN201811179747.2A CN201811179747A CN109493287A CN 109493287 A CN109493287 A CN 109493287A CN 201811179747 A CN201811179747 A CN 201811179747A CN 109493287 A CN109493287 A CN 109493287A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- convolutional layer
- convolution kernel
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 29
- 238000007405 data analysis Methods 0.000 title claims abstract description 11
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000004611 spectroscopical analysis Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 9
- 230000003595 spectral effect Effects 0.000 abstract description 9
- 238000010183 spectrum analysis Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 abstract 1
- 239000002689 soil Substances 0.000 description 11
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 6
- 229910052799 carbon Inorganic materials 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 1
- 238000001237 Raman spectrum Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于深度学习的定量光谱数据分析处理方法。本发明不需要对数据进行预处理，能够从原始光谱数据中学习到有效信息和背景信息，提高定量光谱分析的准确度。本发明通过三个卷积层提取光谱数据中的高维特征，在第二层采用1×1的卷积核，能够降维和减少计算量，并且在第三个卷积层采用三种不同大小的卷积核，能够从原始光谱数据中学习到隐含在光谱数据中的不同大小的特征。本发明没有对数据做预处理，可以直接处理原始数据，当测试集光谱与训练集的光谱噪声分布不同时，本发明的泛化能力较高。
Description
技术领域
本发明属于光谱分析领域，具体涉及了一种基于深度学习的定量光谱数据分析处理方法。
背景技术
化学计量学的发展促进了光谱分析在农产品、药品、石油和土壤等领域的应用，目前已经被广泛应用于红外光谱和拉曼光谱的定性与定量分析中。传统的化学计量学数据分析过程包括光谱预处理和建立校正模型两个步骤。光谱预处理主要用于去除光谱数据中的噪声，提高模型的预测精度。一方面，光谱预处理主要有基线校正、散射校正、平滑和归一化等四个步骤，每个步骤又有不同的数据处理方法，通过试错法选择预处理方法的组合会增加建模过程的复杂度，耗费更多时间。另一方面，光谱数据的采集环境、采集仪器或者样本来源发生变化时，数据中的噪声分布也会随之发生变化。原有的预处理方法应用于新的数据时不能有效去除噪声并且会引入新的噪声，致使模型的预测效果变差。
深度学习是一种数据驱动的学习方式，模型可以从原始数据中自动学习到数据中蕴藏的低维特征和高维特征。传统的人工神经网络在进行光谱数据分析时，往往需要先用主成分分析等方法进行降维，而且人工神经网络由于参数量较多容易出现过拟合现象。卷积神经网络具有局部连接、权值共享等特点可以充分提取数据中的局部特征并且防止过拟合。现有的卷积神经网络模型仍然需要进行光谱预处理，或者只是作为一种特征提取方法。Acquarelli等人提出了一种一层的卷积神经网络定性分析模型，但是该模型仍然是在经过预处理后的光谱数据上效果较好(J.Acquarelli.，T.v.,Laarhoven，J.,Gerretzen，T.N.,Tran，L.M.C.,Buydens，E.,Marchiori，Convolutional Neural Networks forVibrational Spectroscopic Data Analysis，2017)。Malek等人提出了一种卷积神经网络的定量分析模型，但是在该模型中卷积神经网络被用于特征提取，提取的特征后在回归模型中进行训练(S.,Malek，F.,Melgani，Y.,Bazi，One-dimensional convolutional neuralnetworks for spectroscopic signal regression，2017)。
发明内容
为了弥补现有的化学计量学建模方法的不足，本发明提出了一种基于深度学习的定量光谱数据分析处理方法。本发明方法是一种数据驱动的建模方法，不需要数据预处理，可以在不从原始光谱数据中去除背景噪声的情况下，通过不同大小的卷积核提取不同大小的特征，输出预测结果，提高预测的准确度。
如图1所示，本发明所采用的技术方案是：
步骤1)：构建一维卷积神经网络模型，并且优化计算获得模型的超参数；
步骤2)：用样品已知预测值的光谱数据输入到卷积神经网络模型中，采用Adam优化方法结合反向传播方法训练获得模型的权重，经过多轮训练后得到一个最优模型，获得训练后的模型；
步骤3)：将样品未知预测值的光谱数据输入到训练后的模型，输出获得光谱数据的预测值结果。
现有的光谱数据均是进行数据预处理，去除背景信息，然后利用有效信息采用偏最小二乘(PLS)、人工神经网络(ANN)等方法建立校正模型。
而本发明建立特殊结构的卷积神经网络模型，直接对未去除背景信息的完整的原始光谱数据进行处理，获得了很好的检测精度。
本发明样本是包括土壤、动物饲料和谷物等。一条光谱曲线对应一份土壤或者一份动物饲料样品或者一份谷物样品。
所述的步骤1)中，具体为：
1.1)如图2所示，卷积神经网络模型主要由输入层、卷积层1、卷积层2、卷积层3、拉伸层、全连接层和输出层依次连接构成；输入层中输入原始的全波段光谱曲线；
第一个卷积层包含一个卷积模块，使用8个卷积核，所有卷积核大小相同；
第二个卷积层采用两个卷积模块和一个池化模块的三个并列的模块，第一个卷积层的输出分别输入到两个卷积模块和一个池化模块中，每个卷积模块使用一种卷积核，两个卷积模块的卷积核不同，每个卷积模块均含有4个1×1×8的卷积核，池化模块中含有4个并列的最大池化结构；
第三个卷积层采用四个卷积模块，四个卷积模块分别使用四种不同的卷积核，第一个卷积模块包含四个1×1×8的第一种卷积核，第二个卷积模块包含四个p×1×4的第二种卷积核，第三个卷积模块包含四个q×1×4的第三种卷积核，第四个卷积模块包含四个1×1×4的第四种卷积核，p和q分别表示第二种卷积核和第三种卷积核的长度，其中第一种卷积核的输出输入到第三个卷积层的第一个卷积模块，第二个卷积层的两个卷积模块和一个池化模块分别输入到第三个卷积层的后三个卷积模块中；拉伸层进行将第三个卷积层的输出拉伸成一维特征向量的操作；
所述卷积神经网络模型的目标函数loss由均方误差和第二范数正则化函数组成：
其中，λ目标函数的正则化系数，w是模型的权重；
1.2)采用随机网格搜索方法优化卷积层的卷积核大小和步长，包括第一层卷积层的卷积核的大小和步长，第三层卷积层的两个卷积核的大小和步长，第二层卷积层的卷积核大小和步长为固定值；具体是采用随机网格搜索方法在以下超参数搜索空间内搜索卷积层中的超参数，采用五折交叉验证选择获得一组由超参数构成的最优超参数组合；
上述三个卷积层中不同卷积核的大小和步长的范围如下：第一层卷积层中的卷积核大小范围是2-19，卷积核步长范围是2-9；第二层卷积层中的第一种卷积核长度设定为1，第一种卷积核步长设定为1，第二层卷积层中的第二种卷积核长度设定为1，第二种卷积核步长设定为1；第三层卷积层中的第一种卷积核长度设定为1，第三层卷积层中的第二种卷积核长度p大小范围是2-5，第二层卷积层中的第三种卷积核长度q大小范围是6-9，第三个卷积层中四种卷积核步长范围2-9。
模型的三个卷积层和全连接层的激活函数为Leaky ReLU函数，模型的输出层不具有激活函数。
输出层的最后一层神经元个数为1。
所述步骤2)中，将样品已知参考值的光谱数据输入到卷积神经网络模型中采用Adam方法结合反向传播算方法训练获得模型的权重，训练轮数为5000轮。
所述步骤3)中，通过模型输出预测每一条光谱曲线对应的预测值。
预测值例如可以为土壤的有机碳含量，动物饲料的蛋白质含量、谷物样品的蛋白质含量等。
具体实施中，将所有数据分为训练集和测试集，用训练集进行模型训练，将训练好的模型保存，并将测试集的原始光谱数据输入到训练好的模型中进行预测。对于模型效果评价，输出测试集R2和RMSEP。
本发明的有益效果是：
本发明不需要对数据进行预处理，能够学习到隐含在数据中的有效光谱信息和背景信息，提高定量光谱分析的准确度。本发明通过三个卷积层提取光谱数据中的高维特征，并且在第三个卷积层采用三种不同大小的卷积核，能够从原始光谱数据中学习到隐含在光谱数据中的不同大小的特征。本发明没有对数据做预处理，可以直接处理原始数据，当测试集光谱与训练集的光谱噪声分布不同时，本发明的泛化能力较高。
附图说明
图1为本发明的建模流程图；
图2为模型的定量分析结构图。
具体实施方式
为更好理解本发明，下面结合实施例对本发明做进一步详细说明，但本发明要求保护的范围并不局限于实施例表示的范围。以下进行的实施例，在Python软件上运行。下面结合附图和实施例对本发明做进一步说明。
实施例：
本实施例应用于近红外光谱的定量分析，预测土壤的有机碳含量。所选取的数据集为土壤的公开数据集。土壤样本来源于美国、非洲、亚洲和南美洲和欧洲等地区，单个土体中只采集一个样本，共有3793个土体的光谱数据，分为训练集样本2502个和测试集样本1291个。使用FieldSpec Pro-FR spectrometer光谱仪采集光谱数据，光谱数据的波段范围是350到2500nm。所有土壤样本的最小有机碳含量是0，最大有机碳含量是241.6g kg-1，平均有机碳含量是11.97g kg-1，有机碳含量的标准差是20.87g kg-1。
如图1所示步骤，上述实施例过程具体如下：
1)将训练集数据输入到模型中。
2)优化模型的超参数，模型的结构如图2所示，具体包括：包含三个卷积层，分别命名为卷积层1、卷积层2和卷积层3，拉伸层、全连接层和输出层。模型的第一个卷积层中使用了8个卷积核，最优卷积核大小为9，步长为5。第三个卷积层采用四个卷积模块，使用了16个卷积核，分别是四种不同大小的卷积核，包含一个1×1×8的卷积核，第二种和第三种卷积核大小分别为5和7，四种卷积核的步长都为3。全连接层的神经元个数是64。输出层中神经元的个数为1(图2)。
3)模型的超参数固定后，再次用所有的训练集数据来训练模型的参数。通过反向传播算法在训练集上训练模型的权重值。模型训练5000轮。
4)模型训练好以后，终止训练，保存最优的模型，并在测试集上测试模型的效果。输出每一条待测光谱的预测值和模型在测试集上的R2和RMSEP。
5)利用传统的PLS-LDA和PCA-ANN方法对经过预处理和没有经过预处理的原始土壤光谱分别进行预测，得到最好的结果是PCA-ANN在没有经过预处理的原始光谱的预测，其RMSEP是11.59，R2是0.72，而通过本发明提出的方法对没有经过预处理的原始光谱进行预测，其预测RMSEP是8.88，R2是0.84。通过比较可以看出，该方法在没有经过数据预处理的原始光谱上的预测精度高于传统的经过预处理和没有经过预处理的建模方法，可以提高近红外光谱对土壤样品预测的准确率。测试集样本和训练集样本来自于不同的地区，测试集的预测精度仍然较高，体现了本发明较好的泛化能力。
对比例：
对比该模型在经过预处理的数据上的结果，过程如下：
1)将训练集数据输入到模型中。
2)优化模型的超参数，模型的结构如图2所示，具体包括：包含三个卷积层，分别命名为卷积层1、卷积层2和卷积层3，拉伸层、全连接层和输出层。模型的第一个卷积层中使用了8个卷积核，最优卷积核大小为9，步长为5。第三个卷积层采用四个卷积模块，使用了16个卷积核，分别是四种不同大小的卷积核，包含一个1×1×8的卷积核，第二种和第三种卷积核大小分别为5和7，四种卷积核的步长是3。全连接层的神经元个数是64。输出层中神经元的个数为1(图2)。
3)模型的超参数固定后，再次用所有的训练集数据来训练模型的参数。通过反向传播算法在训练集上训练模型的权重值。模型训练5000轮。
4)模型训练好以后，终止训练，保存最优的模型，并在测试集上测试模型的效果。输出每一条待测光谱的预测值和模型在测试集上的R2和RMSEP。
5)通过本发明提出的方法对经过预处理的原始光谱进行预测，其预测RMSEP是12.92，R2是0.65。通过比较可以看出，本发明方法在经过数据预处理的光谱上的预测精度比在原始光谱的预测精度差。
Claims (5)
1.一种基于深度学习的定量光谱数据分析处理方法，其特征在于方法包含如下步骤：
步骤1)：构建一维卷积神经网络模型，并且优化计算获得模型的超参数；
步骤2)：用样品已知预测值的光谱数据输入到卷积神经网络模型中，训练获得模型的权重，经过多轮训练后得到一个最优模型，获得训练后的模型；
步骤3)：将样品未知预测值的光谱数据输入到训练后的模型，输出获得光谱数据的预测值结果。
2.根据权利要求1所述的一种基于深度学习的定量光谱数据分析处理方法，其特征在于：所述的步骤1)中，具体为：
1.1)卷积神经网络模型主要由输入层、卷积层(1)、卷积层(2)、卷积层(3)、拉伸层、全连接层和输出层依次连接构成；输入层中输入原始的全波段光谱曲线；
第一个卷积层包含一个卷积模块，使用8个卷积核，所有卷积核大小相同；
第二个卷积层采用两个卷积模块和一个池化模块的三个并列的模块，第一个卷积层的输出分别输入到两个卷积模块和一个池化模块中，每个卷积模块使用一种卷积核，两个卷积模块的卷积核不同，每个卷积模块均含有4个1×1×8的卷积核，池化模块中含有4个并列的最大池化结构；
第三个卷积层采用四个卷积模块，四个卷积模块分别使用四种不同的卷积核，第一个卷积模块包含四个1×1×8的第一种卷积核，第二个卷积模块包含四个p×1×4的第二种卷积核，第三个卷积模块包含四个q×1×4的第三种卷积核，第四个卷积模块包含四个1×1×4的第四种卷积核，p和q分别表示第二种卷积核和第三种卷积核的长度，其中第一种卷积核的输出输入到第三个卷积层的第一个卷积模块，第二个卷积层的两个卷积模块和一个池化模块分别输入到第三个卷积层的后三个卷积模块中；拉伸层进行将第三个卷积层的输出拉伸成一维特征向量的操作；
所述卷积神经网络模型的目标函数loss由均方误差和第二范数正则化函数组成：
其中，λ目标函数的正则化系数，w是模型的权重；
1.2)采用随机网格搜索方法优化卷积层的卷积核大小和步长，包括第一层卷积层的卷积核的大小和步长，第三层卷积层的两个卷积核的大小和步长，第二层卷积层的卷积核大小和步长为固定值；具体是采用随机网格搜索方法在以下超参数搜索空间内搜索卷积层中的超参数，采用五折交叉验证选择获得一组由超参数构成的最优超参数组合；
上述三个卷积层中不同卷积核的大小和步长的范围如下：第一层卷积层中的卷积核大小范围是2-19，卷积核步长范围是2-9；第二层卷积层中的第一种卷积核长度设定为1，第一种卷积核步长设定为1，第二层卷积层中的第二种卷积核长度设定为1，第二种卷积核步长设定为1；第三层卷积层中的第一种卷积核长度设定为1，第三层卷积层中的第二种卷积核长度p大小范围是2-5，第二层卷积层中的第三种卷积核长度q大小范围是6-9，第三个卷积层中四种卷积核步长范围2-9。
3.根据权利要求2所述的一种基于深度学习的定量光谱数据分析处理方法，其特征在于：模型的三个卷积层和全连接层的激活函数为Leaky ReLU函数，模型的输出层不具有激活函数。
4.根据权利要求1所述的一种基于深度学习的定量光谱数据分析处理方法，其特征在于：所述步骤2)中，将样品已知参考值的光谱数据输入到卷积神经网络模型中采用Adam方法结合反向传播算方法训练获得模型的权重，训练轮数为5000轮。
5.根据权利要求1所述的一种基于深度学习的定量光谱数据分析处理方法，其特征在于：所述步骤3)中，通过模型输出预测每一条光谱曲线对应的预测值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811179747.2A CN109493287B (zh) | 2018-10-10 | 2018-10-10 | 一种基于深度学习的定量光谱数据分析处理方法 |
| US17/274,436 US20220051074A1 (en) | 2018-10-10 | 2019-08-20 | Quantitative spectral data analysis and processing method based on deep learning |
| PCT/CN2019/101573 WO2020073737A1 (zh) | 2018-10-10 | 2019-08-20 | 一种基于深度学习的定量光谱数据分析处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811179747.2A CN109493287B (zh) | 2018-10-10 | 2018-10-10 | 一种基于深度学习的定量光谱数据分析处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109493287A true CN109493287A (zh) | 2019-03-19 |
| CN109493287B CN109493287B (zh) | 2022-03-15 |
Family
ID=65690134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811179747.2A Active CN109493287B (zh) | 2018-10-10 | 2018-10-10 | 一种基于深度学习的定量光谱数据分析处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220051074A1 (zh) |
| CN (1) | CN109493287B (zh) |
| WO (1) | WO2020073737A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110208211A (zh) * | 2019-07-03 | 2019-09-06 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
| CN110554161A (zh) * | 2019-10-12 | 2019-12-10 | 无锡中科水质环境技术有限公司 | 一种基于鱼类行为信号的水质监测方法 |
| CN110705372A (zh) * | 2019-09-10 | 2020-01-17 | 中国科学院上海技术物理研究所 | 基于深度学习卷积神经网络的libs多成分定量反演方法 |
| CN110726813A (zh) * | 2019-10-12 | 2020-01-24 | 浙江大学 | 基于双层集成神经网络的电子鼻预测方法 |
| WO2020073737A1 (zh) * | 2018-10-10 | 2020-04-16 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
| CN112326619A (zh) * | 2020-11-12 | 2021-02-05 | 中国计量大学 | 一种基于双光谱技术的微流控农药残留检测方法 |
| CN112862077A (zh) * | 2021-02-25 | 2021-05-28 | 燕山大学 | 多模光纤结合深度学习网络替代传统光谱仪的***及方法 |
| CN112883901A (zh) * | 2021-03-12 | 2021-06-01 | 北京睿芯高通量科技有限公司 | 一种基于ResNet的天体光谱分类方法及其*** |
| CN113945537A (zh) * | 2021-09-27 | 2022-01-18 | 桂林电子科技大学 | 一种高准确度近红外光谱定量模型建立方法 |
| CN114002167A (zh) * | 2021-11-02 | 2022-02-01 | 浙江大学 | 一种深度学习水果光谱分析模型更新方法 |
| CN115859029A (zh) * | 2022-11-29 | 2023-03-28 | 长沙理工大学 | 基于二维重构的光谱定量分析方法 |
| CN117030628A (zh) * | 2023-06-27 | 2023-11-10 | 浙江大学 | 一种中药浸膏质量高光谱智能分析方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3088459B1 (fr) * | 2018-11-13 | 2021-09-17 | Pierre Chapelle | Procede pour l’apprentissage d’une machine automatique apte a determiner des caracteristiques d’elements vegetaux. |
| CN112633307A (zh) * | 2019-10-08 | 2021-04-09 | 中强光电股份有限公司 | 用于光谱仪的自动化模型训练装置和自动化模型训练方法 |
| CN111222465B (zh) * | 2019-11-07 | 2023-06-13 | 深圳云天励飞技术股份有限公司 | 基于卷积神经网络的图像分析方法及相关设备 |
| CN111797971A (zh) * | 2020-05-27 | 2020-10-20 | 北京迈格威科技有限公司 | 应用卷积神经网络进行数据处理的方法、装置和电子*** |
| CN111767521A (zh) * | 2020-06-22 | 2020-10-13 | 中国石油化工股份有限公司 | 一种基于卷积神经网络与长短期记忆网络的输油泵滚动轴承状态评估方法 |
| CN111898469B (zh) * | 2020-07-09 | 2024-04-26 | 西北大学 | 一种基于缩放卷积层的信号时频特征提取方法及装置 |
| CN112986210B (zh) * | 2021-02-10 | 2021-12-17 | 四川大学 | 一种尺度自适应的微生物拉曼光谱检测方法及*** |
| US20220343140A1 (en) * | 2021-04-23 | 2022-10-27 | Samsung Display Co., Ltd. | Systems and methods for identifying manufacturing defects |
| CN113959974B (zh) * | 2021-09-27 | 2024-06-07 | 桂林电子科技大学 | 一种普适性近红外光谱模型的传递方法 |
| CN114397297B (zh) * | 2022-01-19 | 2024-01-23 | 河南中烟工业有限责任公司 | 一种烤烟淀粉含量的快速无损检测方法 |
| CN115979973B (zh) * | 2023-03-20 | 2023-06-16 | 湖南大学 | 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法 |
| CN116561590B (zh) * | 2023-07-10 | 2023-10-03 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
| CN116663437B (zh) * | 2023-08-02 | 2023-11-21 | 中国人民解放军战略支援部队航天工程大学 | 一种基于深度神经网络的频谱测绘图构建方法和*** |
| CN117092050B (zh) * | 2023-09-13 | 2024-02-27 | 佛山科学技术学院 | 基于光谱多模态时序学习的煤泥浮选灰分检测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102929A (zh) * | 2014-07-25 | 2014-10-15 | 哈尔滨工业大学 | 基于深度学习的高光谱遥感数据分类方法 |
| CN105300895A (zh) * | 2015-11-05 | 2016-02-03 | 浙江大学 | 一种利用特征点切线夹角预警马铃薯发芽缺陷的方法 |
| CN106706546A (zh) * | 2016-12-28 | 2017-05-24 | 中山市腾创贸易有限公司 | 一种基于红外和拉曼光谱数据的人工智能学习物质分析方法 |
| US20180159877A1 (en) * | 2016-12-07 | 2018-06-07 | General Electric Company | Multi-mode boundary selection for threat detection in industrial asset control system |
| CN108241870A (zh) * | 2016-12-23 | 2018-07-03 | 赫克斯冈技术中心 | 用于分配测量数据内特定的感兴趣类别的方法 |
| CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种基于卷积神经网络的高光谱遥感图像分类方法及*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107255647A (zh) * | 2017-05-10 | 2017-10-17 | 中国科学院合肥物质科学研究院 | 基于x射线荧光光谱和深度对抗学习的土壤微量元素含量分析预测方法 |
| CN108388917A (zh) * | 2018-02-26 | 2018-08-10 | 东北大学 | 一种基于改进深度学习模型的高光谱图像分类方法 |
| CN109493287B (zh) * | 2018-10-10 | 2022-03-15 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
-
2018
- 2018-10-10 CN CN201811179747.2A patent/CN109493287B/zh active Active
-
2019
- 2019-08-20 US US17/274,436 patent/US20220051074A1/en active Pending
- 2019-08-20 WO PCT/CN2019/101573 patent/WO2020073737A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102929A (zh) * | 2014-07-25 | 2014-10-15 | 哈尔滨工业大学 | 基于深度学习的高光谱遥感数据分类方法 |
| CN105300895A (zh) * | 2015-11-05 | 2016-02-03 | 浙江大学 | 一种利用特征点切线夹角预警马铃薯发芽缺陷的方法 |
| US20180159877A1 (en) * | 2016-12-07 | 2018-06-07 | General Electric Company | Multi-mode boundary selection for threat detection in industrial asset control system |
| CN108241870A (zh) * | 2016-12-23 | 2018-07-03 | 赫克斯冈技术中心 | 用于分配测量数据内特定的感兴趣类别的方法 |
| CN106706546A (zh) * | 2016-12-28 | 2017-05-24 | 中山市腾创贸易有限公司 | 一种基于红外和拉曼光谱数据的人工智能学习物质分析方法 |
| CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种基于卷积神经网络的高光谱遥感图像分类方法及*** |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073737A1 (zh) * | 2018-10-10 | 2020-04-16 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
| CN110208211B (zh) * | 2019-07-03 | 2021-10-22 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
| CN110208211A (zh) * | 2019-07-03 | 2019-09-06 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
| CN110705372A (zh) * | 2019-09-10 | 2020-01-17 | 中国科学院上海技术物理研究所 | 基于深度学习卷积神经网络的libs多成分定量反演方法 |
| CN110705372B (zh) * | 2019-09-10 | 2023-05-05 | 中国科学院上海技术物理研究所 | 基于深度学习卷积神经网络的libs多成分定量反演方法 |
| CN110554161A (zh) * | 2019-10-12 | 2019-12-10 | 无锡中科水质环境技术有限公司 | 一种基于鱼类行为信号的水质监测方法 |
| CN110726813A (zh) * | 2019-10-12 | 2020-01-24 | 浙江大学 | 基于双层集成神经网络的电子鼻预测方法 |
| CN110726813B (zh) * | 2019-10-12 | 2021-04-27 | 浙江大学 | 基于双层集成神经网络的电子鼻预测方法 |
| CN112326619A (zh) * | 2020-11-12 | 2021-02-05 | 中国计量大学 | 一种基于双光谱技术的微流控农药残留检测方法 |
| CN112862077B (zh) * | 2021-02-25 | 2022-08-30 | 燕山大学 | 多模光纤结合深度学习网络替代传统光谱仪的***及方法 |
| CN112862077A (zh) * | 2021-02-25 | 2021-05-28 | 燕山大学 | 多模光纤结合深度学习网络替代传统光谱仪的***及方法 |
| CN112883901A (zh) * | 2021-03-12 | 2021-06-01 | 北京睿芯高通量科技有限公司 | 一种基于ResNet的天体光谱分类方法及其*** |
| CN113945537A (zh) * | 2021-09-27 | 2022-01-18 | 桂林电子科技大学 | 一种高准确度近红外光谱定量模型建立方法 |
| CN114002167A (zh) * | 2021-11-02 | 2022-02-01 | 浙江大学 | 一种深度学习水果光谱分析模型更新方法 |
| CN115859029A (zh) * | 2022-11-29 | 2023-03-28 | 长沙理工大学 | 基于二维重构的光谱定量分析方法 |
| CN115859029B (zh) * | 2022-11-29 | 2023-09-15 | 长沙理工大学 | 基于二维重构的光谱定量分析方法 |
| CN117030628A (zh) * | 2023-06-27 | 2023-11-10 | 浙江大学 | 一种中药浸膏质量高光谱智能分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020073737A1 (zh) | 2020-04-16 |
| CN109493287B (zh) | 2022-03-15 |
| US20220051074A1 (en) | 2022-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493287A (zh) | 一种基于深度学习的定量光谱数据分析处理方法 | |
| Feng et al. | Investigation on data fusion of multisource spectral data for rice leaf diseases identification using machine learning methods | |
| CN103278464B (zh) | 鱼肉检测方法和装置 | |
| Ni et al. | Variable weighted convolutional neural network for the nitrogen content quantization of Masson pine seedling leaves with near-infrared spectroscopy | |
| CN109632693A (zh) | 一种基于blstm-rnn的太赫兹光谱识别方法 | |
| CN110991064B (zh) | 土壤重金属含量反演模型生成方法、***及反演方法 | |
| CN108875913A (zh) | 一种基于卷积神经网络的松茸快速无损检测***及方法 | |
| CN110907393B (zh) | 植物盐碱胁迫程度检测方法及装置 | |
| Bendel et al. | Evaluating the suitability of hyper-and multispectral imaging to detect foliar symptoms of the grapevine trunk disease Esca in vineyards | |
| CN112098358B (zh) | 基于四元数卷积神经网络的近红外光谱并行融合定量检测方法 | |
| Cheng et al. | Development of multi-disturbance bagging Extreme Learning Machine method for cadmium content prediction of rape leaf using hyperspectral imaging technology | |
| Hu et al. | Detecting different pesticide residues on Hami melon surface using hyperspectral imaging combined with 1D-CNN and information fusion | |
| Shao et al. | A new approach to discriminate varieties of tobacco using vis/near infrared spectra | |
| CN108344701A (zh) | 基于高光谱技术的石蜡等级定性分类与定量回归方法 | |
| Prasher et al. | Analysis of DenseNet201 with SGD optimizer for diagnosis of multiple rice leaf diseases | |
| Fu et al. | Nondestructive evaluation of Zn content in rape leaves using MSSAE and hyperspectral imaging | |
| Prilianti et al. | Deep chemometrics for nondestructive photosynthetic pigments prediction using leaf reflectance spectra | |
| Shen et al. | Single convolutional neural network model for multiple preprocessing of Raman spectra | |
| Zhang et al. | Hyperspectral model based on genetic algorithm and SA-1DCNN for predicting Chinese cabbage chlorophyll content | |
| Jin et al. | A Novel Tran_NAS Method for the Identification of Fe-and Mg-Deficient Pear Leaves from N-and P-Deficient Pear Leaf Data | |
| Zhang et al. | Hyperspectral imaging combined with CNN for maize variety identification | |
| Wang et al. | Determination of watermelon soluble solids content based on visible/near infrared spectroscopy with convolutional neural network | |
| Gao et al. | Study on deep learning model for online estimation of chlorophyll content based on near ground multispectral feature bands | |
| Li et al. | HSI combined with CNN model detection of heavy metal Cu stress levels in apple rootstocks | |
| Xiao et al. | Visible and near-infrared spectroscopy and deep learning application for the qualitative and quantitative investigation of nitrogen status in cotton leaves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |