CN106126879B - 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 - Google Patents
一种基于稀疏表示技术的土壤近红外光谱分析预测方法 Download PDFInfo
- Publication number
- CN106126879B CN106126879B CN201610416698.4A CN201610416698A CN106126879B CN 106126879 B CN106126879 B CN 106126879B CN 201610416698 A CN201610416698 A CN 201610416698A CN 106126879 B CN106126879 B CN 106126879B
- Authority
- CN
- China
- Prior art keywords
- soil
- sample
- spectroscopic data
- training
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于稀疏表示技术的土壤近红外光谱分析预测方法,与现有技术相比解决了无法对土壤成分进行大批量综合分析的缺陷。本发明包括以下步骤:训练样本土壤集的获取和预处理;构造基于稀疏表示的分类预测模型;测试样本的获取和预处理;将测试土壤样本的光谱数据特征向量输入构造的分类预测模型,完成对测试样本土壤成分的分类预测。本发明基于稀疏表示框架来进行土壤近红外光谱分析预测,提高了近红外光谱土壤主要成分预测的精度和模型的鲁棒性。
Description
技术领域
本发明涉及数据分析处理技术领域,具体来说是一种基于稀疏表示技术的土壤近红外光谱分析预测方法。
背景技术
我国大部分农田面临成分不足、土壤退化严重的问题,需要改造的中低产田面积大、分布广,了解并掌握农田土壤成分信息有着十分现实和迫切的需求,但想要完全掌握农田成分信息又十分困难,其存在多方面的原因。由于农田成分含量是变化的,从长期看,土壤成分分布是一个动态过程,导致土壤成分的丰缺和分布不均匀。如何利用现代科技手段及时准确获取土壤成分含量信息,制定合理的施肥策略,保证农业正常生产以及保护环境和提高作物产量具有特别重要的现实意义。可见近红外光谱(350-2500nm)检测技术具有检测速度快、多指标同时测定、无污染、成本低和操作简单等优点。可见近红外光谱分析技术能在几分钟内就能获取待测样品中多种成分含量信息,这一点是传统化学方法检测所达不到的,多种组分同时测量,检测过程中也不需要添加任何试剂,不会对环境造成二次污染,是一种检测速度快、无损、无污染和实时的检测分析技术,将近红外光谱分析技术应用于土壤成分检测领域具有十分重要的现实意义。因此利用近红外光谱分析技术实现对土壤成分的综合数据分析已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中无法对土壤成分进行大批量综合分析的缺陷,提供一种基于稀疏表示技术的土壤近红外光谱分析预测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于稀疏表示技术的土壤近红外光谱分析预测方法,包括以下步骤:
训练样本土壤集的获取和预处理;使用光谱仪在密封暗室内采集不同训练土壤样本集的光谱数据,并对其进行预处理,形成训练样本土壤集的光谱特征矩阵;
构造基于稀疏表示的分类预测模型;
测试样本的获取和预处理;使用光谱仪获取测试土壤样本的光谱数据,对测试样本土壤扫描40次取平均值;对测试样本土壤采用与训练样本相同的光谱数据预处理方法,得到测试土壤样本的光谱数据特征向量;
将测试土壤样本的光谱数据特征向量输入构造的分类预测模型,完成对测试样本土壤成分的分类预测。
所述的训练样本土壤集的获取和预处理包括以下步骤:
在密封暗室内使用光谱仪采集不同训练土壤样本集的光谱数据,对各训练样本土壤分别扫描40次取平均值;
对光谱数据进行基线校正处理;
采样正交信号校正法对光谱数据进行预处理操作;
采用卷积平滑法进行滤波消除噪声,构成训练样本集的光谱特征矩阵。
所述的构造基于稀疏表示的分类预测模型包括以下步骤:
使用降维方法将训练样本土壤集的光谱数据特征矩阵和测试样本土壤的光谱数据特征向量投影到低维特征空间,得到A∈RD×c和y∈RD,
其中光谱特征矩阵A=[A1,A2,…An],n表示土壤训练样本集的类别数,表示训练样本中的第i类的土壤光谱数据矩阵,ni表示此类训练样本的个数;c=n1+n2+...+nn,c表示所有训练样本的数目,ai,j∈RD×1表示第i类别中的第j(j=1,2,...,ni)个训练样本的D维光谱数据特征向量;
分别对A的列和y进行归一化处理;
通过稀疏表示框架解l1模最小化问题,获得识别结果:
满足y=Ax或||y-Ax||2<ε
其中ε是与有界能量的噪声项相关的参数,x是稀疏系数向量,λ是分组稀疏对目标函数重要性的调节参数,xi包含了与第i类所有训练样本有关的系数;
计算残差,可得预测结果:
最优解表示为测试土壤的成分可根据所属类别的训练样本土壤成分进行预测。
有益效果
本发明的一种基于稀疏表示技术的土壤近红外光谱分析预测方法,与现有技术相比基于稀疏表示框架来进行土壤近红外光谱分析预测,提高了近红外光谱土壤主要成分预测的精度和模型的鲁棒性。
附图说明
图1为本发明的方法流程图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于稀疏表示技术的土壤近红外光谱分析预测方法,包括以下步骤:
第一步,训练样本土壤集的获取和预处理。使用光谱仪在密封暗室内采集不同训练土壤样本集的光谱数据,并对其进行预处理,形成训练样本土壤集的光谱特征矩阵。其包括以下步骤:
(1)在密封暗室内使用光谱仪采集不同训练土壤样本集的光谱数据,对各训练样本土壤分别扫描40次取平均值。采用ASD公司的FieldSpec Pro FR光谱仪获取不同训练土壤样本集的光谱数据,波长范围350~2500nm,采样间隔2nm,为了避免在测量过程中由于自然光造成的影响,整个光谱检测是在密封的暗室内进行的,对各训练样本土壤分别扫描40次取平均值。
(2)对光谱数据进行基线校正处理。由于仪器、样品背景或其它因素影响,在光谱分析中会经常出现谱图的偏移或漂移现象,将光谱数据进行基线校正的目的就是扣除仪器背景或飘移对信号的影响,基线校正最常用的解决办法就是一阶或者二阶导数处理,一阶主要解决基线的偏移,二阶主要解决基线的漂移。
(3)采样正交信号校正法对光谱数据进行预处理操作。考虑浓度阵的影响,可进一步采用正交信号校正方法对光谱数据做预处理操作,采用Direct Orthogonalization算法,即直接将光谱阵与正交阵正交来滤除无关的信号,步骤如下:
A、将原始校正集光谱阵X(n×m)和浓度阵Y(n×1)进行均值化或者标准化处理;
B、计算M=X'Y(Y'Y)-1;
C、计算Z=X-YM';
D、对Z进行主成分分析,取前f个需正交处理的得分矩阵Tf和载荷矩阵Pf;
E、计算新的
F、
G、对于预测向量xnew,由载荷Pf求出校正后的光谱T=xnewPf,x'OD=xnew-TP′f。
(4)采用卷积平滑法进行滤波消除噪声,构成训练样本集的光谱特征矩阵。使用Savitzky-Golay卷积平滑法进行滤波,Savitzky-Golay卷积平滑法和移动平均平滑法的基本思想是类似的,不使用简单的平均,而是通过多项式来对移动窗口内的数据进行多项式最小二乘拟合,其实质就是一种加权平均法,更强调中心点的作用。
经过上述预处理最终构成训练样本土壤集的光谱特征矩阵。
第二步,构造基于稀疏表示的分类预测模型。其具体步骤如下:
(1)使用降维方法将训练样本土壤集的光谱数据特征矩阵和测试样本土壤的光谱数据特征向量投影到低维特征空间,降维方法可以是测量矩阵或者主成分分析(PCA),得到A∈RD×c和y∈RD。
其中光谱特征矩阵A=[A1,A2,…An],n表示土壤训练样本集的类别数,表示训练样本中的第i类的土壤光谱数据矩阵,ni表示此类训练样本的个数;c=n1+n2+...+nn,c表示所有训练样本的数目,ai,j∈RD×1表示第i类别中的第j(j=1,2,...,ni)个训练样本的D维光谱数据特征向量。
(2)分别对A的列和y进行归一化处理。
(3)在预测分类中,训练数据的特征字典矩阵有一种结构性,即每一类土壤的所有训练光谱数据集形成这个字典不同的分组,把分类预测问题转换成一个结构性的稀疏恢复问题-寻找测试样本土壤在字典中最小数量分组的表示,因为理想情况下,希望测试样本的非零重建系数能够限制在特定分类对应的字典原子子集上。把整体稀疏表示的模型和最小化非零重构向量个数的分组稀疏模型相结合,通过稀疏表示框架解最小化问题。
因为l0优化问题是个NP-hard问题,所以转化为解决下面这个凸优化问题:
通过稀疏表示框架解l1模最小化问题,获得识别结果:
满足y=Ax或||y-Ax||2<ε
其中ε是与有界能量的噪声项相关的参数,x是稀疏系数向量,λ是分组稀疏对目标函数重要性的调节参数,xi包含了与第i类所有训练样本有关的系数。把整体稀疏和分组稀疏同时考虑在内不仅在整体上即分组内部产生稀疏性,在分组间同样会产生稀疏性。
(4)计算残差,可得预测结果:
最优解表示为测试土壤的成分可根据所属类别的训练样本土壤成分进行预测。
第三步,测试样本的获取和预处理。使用光谱仪获取测试土壤样本的光谱数据,对测试样本土壤扫描40次取平均值;同样对测试样本土壤采用与训练样本相同的光谱数据预处理方法,得到测试土壤样本的光谱数据特征向量。
第四步,将测试土壤样本的光谱数据特征向量输入构造的分类预测模型,完成对测试样本土壤成分的分类预测。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.一种基于稀疏表示技术的土壤近红外光谱分析预测方法,其特征在于,包括以下步骤:
11)训练样本土壤集的获取和预处理;使用光谱仪在密封暗室内采集不同训练土壤样本集的光谱数据,并对其进行预处理,形成训练样本土壤集的光谱特征矩阵;
12)构造基于稀疏表示的分类预测模型;
13)测试样本的获取和预处理;使用光谱仪获取测试土壤样本的光谱数据,对测试样本土壤扫描40次取平均值;对测试样本土壤采用与训练样本相同的光谱数据预处理方法,得到测试土壤样本的光谱数据特征向量;
14)将测试土壤样本的光谱数据特征向量输入构造的分类预测模型,完成对测试样本土壤成分的分类预测。
2.根据权利要求1所述的一种基于稀疏表示技术的土壤近红外光谱分析预测方法,其特征在于,所述的训练样本土壤集的获取和预处理包括以下步骤:
21)在密封暗室内使用光谱仪采集不同训练土壤样本集的光谱数据,对各训练样本土壤分别扫描40次取平均值;
22)对光谱数据进行基线校正处理;
23)采样正交信号校正法对光谱数据进行预处理操作;
24)采用卷积平滑法进行滤波消除噪声,构成训练样本集的光谱特征矩阵。
3.根据权利要求1所述的一种基于稀疏表示技术的土壤近红外光谱分析预测方法,其特征在于,所述的构造基于稀疏表示的分类预测模型包括以下步骤:
31)使用降维方法将训练样本土壤集的光谱数据特征矩阵和测试样本土壤的光谱数据特征向量投影到低维特征空间,得到A∈RD×c和y∈RD,
其中光谱特征矩阵A=[A1,A2,…An],n表示土壤训练样本集的类别数,表示训练样本中的第i类的土壤光谱数据矩阵,ni表示此类训练样本的个数;c=n1+n2+...+nn,c表示所有训练样本的数目,ai,j∈RD×1表示第i类别中的第j(j=1,2,...,ni)个训练样本的D维光谱数据特征向量;
32)分别对A的列和y进行归一化处理;
33)通过稀疏表示框架解l1模最小化问题,获得识别结果:
满足y=Ax或||y-Ax||2<ε
其中ε是与有界能量的噪声项相关的参数,x是稀疏系数向量,λ是分组稀疏对目标函数重要性的调节参数,xi包含了与第i类所有训练样本有关的系数;
34)计算残差,可得预测结果:
最优解表示为测试土壤的成分可根据所属类别的训练样本土壤成分进行预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610416698.4A CN106126879B (zh) | 2016-06-07 | 2016-06-07 | 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610416698.4A CN106126879B (zh) | 2016-06-07 | 2016-06-07 | 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106126879A CN106126879A (zh) | 2016-11-16 |
CN106126879B true CN106126879B (zh) | 2018-09-28 |
Family
ID=57269925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610416698.4A Active CN106126879B (zh) | 2016-06-07 | 2016-06-07 | 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106126879B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657264B (zh) * | 2017-06-09 | 2020-11-06 | 南京师范大学 | 一种基于knn分类进行土壤剖面类型识别方法 |
CN107748144A (zh) * | 2017-11-13 | 2018-03-02 | 中国科学院昆明植物研究所 | 快速测定土壤碳氮及其稳定同位素的中红外光谱检测*** |
CN108169162B (zh) * | 2017-12-13 | 2021-01-19 | 安徽农业大学 | 一种茶园土壤肥力水平的快速评价方法 |
CN111985673A (zh) * | 2019-05-22 | 2020-11-24 | 三菱重工业株式会社 | 预测装置、预测***、预测方法以及记录介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104237158A (zh) * | 2014-09-04 | 2014-12-24 | 浙江科技学院 | 一种具有普适性的近红外光谱定性分析方法 |
CN105095562A (zh) * | 2015-05-29 | 2015-11-25 | 中国石油天然气股份有限公司 | 一种预测土壤轻烃指标的方法及装置 |
CN105354867A (zh) * | 2015-11-27 | 2016-02-24 | 中国矿业大学(北京) | 自适应冗余字典压缩感知的高光谱图像压缩算法研究 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2550808A2 (en) * | 2010-03-24 | 2013-01-30 | Mritunjay Singh | Method and system for robust and flexible extraction of image information using color filter arrays |
-
2016
- 2016-06-07 CN CN201610416698.4A patent/CN106126879B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104237158A (zh) * | 2014-09-04 | 2014-12-24 | 浙江科技学院 | 一种具有普适性的近红外光谱定性分析方法 |
CN105095562A (zh) * | 2015-05-29 | 2015-11-25 | 中国石油天然气股份有限公司 | 一种预测土壤轻烃指标的方法及装置 |
CN105354867A (zh) * | 2015-11-27 | 2016-02-24 | 中国矿业大学(北京) | 自适应冗余字典压缩感知的高光谱图像压缩算法研究 |
Also Published As
Publication number | Publication date |
---|---|
CN106126879A (zh) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106124449B (zh) | 一种基于深度学习技术的土壤近红外光谱分析预测方法 | |
CN106126879B (zh) | 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 | |
CN110174359B (zh) | 一种基于高斯过程回归的航空高光谱影像土壤重金属浓度评估方法 | |
CN102435564B (zh) | 一种基于三波段光谱指数估测植物氮含量的方法 | |
CN107219188B (zh) | 一种基于改进dbn的近红外光谱分析纺织品棉含量的方法 | |
CN107421894A (zh) | 基于无人机高光谱反演土壤中重金属污染监测方法 | |
CN105486655B (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
CN110376139A (zh) | 基于地面高光谱的土壤有机质含量定量反演方法 | |
CN104596957A (zh) | 基于可见光近红外光谱技术的土壤铜含量估算方法 | |
CN106815643A (zh) | 基于随机森林迁移学习的红外光谱模型传递方法 | |
CN101059426A (zh) | 基于近红外光谱技术无损测量茶叶中茶多酚含量的方法 | |
CN101520412A (zh) | 基于独立分量分析和遗传神经网络的近红外光谱分析方法 | |
CN103983617A (zh) | 一种基于小波变换改进激光探针定量分析的方法 | |
CN105784672A (zh) | 一种基于双树复小波算法的毒品检测仪标准化方法 | |
CN103854305A (zh) | 一种基于多尺度建模的模型传递方法 | |
CN111965140B (zh) | 基于特征峰的波长点重组方法 | |
CN106918565A (zh) | 基于室内标样高光谱特征的土壤重金属Cd含量反演建模及其光谱响应特征波段识别方法 | |
CN104749132A (zh) | 一种测定面粉中偶氮甲酰胺的含量的方法 | |
CN113552080B (zh) | 一种超光谱遥感地表大气相对湿度的实时反演算法 | |
CN105203498A (zh) | 一种基于lasso的近红外光谱变量选择方法 | |
CN103543132B (zh) | 一种基于小波变换的煤质特性测量方法 | |
CN113252583B (zh) | 一种基于枯草植被指数计算高寒枯草覆盖度的方法 | |
WO2020248961A1 (zh) | 一种无参考值的光谱波数选择方法 | |
CN105510427A (zh) | 一种用于多种元素同位素双稀释剂技术的数值处理方法 | |
CN103018178A (zh) | 基于局部保持投影的红外光谱仪校准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |