CN101806728B - 基于模拟退火算法的近红外光谱特征波长的选择方法 - Google Patents
基于模拟退火算法的近红外光谱特征波长的选择方法 Download PDFInfo
- Publication number
- CN101806728B CN101806728B CN 201010123934 CN201010123934A CN101806728B CN 101806728 B CN101806728 B CN 101806728B CN 201010123934 CN201010123934 CN 201010123934 CN 201010123934 A CN201010123934 A CN 201010123934A CN 101806728 B CN101806728 B CN 101806728B
- Authority
- CN
- China
- Prior art keywords
- wave number
- number point
- window width
- simulated annealing
- new explanation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明公开一种基于模拟退火算法的近红外光谱特征波长的选择方法,挑选最少波数点数,重复随机选择k个波数点;建立校正集和预测集的初始PLS模型,计算对应初始PLS模型的交互验证均方根误差值;用模拟退火算法从全光谱中选择同校正集化学值高度相关的最优k个波数点,使窗口宽度动态递增以确保模拟退火保算法得到全局最优解;结束时比较各个窗口宽度下波数点集合对应的建模效果,得出最佳窗口宽度和最佳波数点组合,建立最终PLS模型。本发明通过窗口宽度动态递增,消除人工指定窗口宽度带来的主观因素影响,采用Metropolis准则判断入选波数点的重要性,既保证算法快速收敛,又避免了模拟退火算法陷入局部最优解而错过全局最优解,具有更高的可靠性和精度。
Description
技术领域
本发明涉及一种近红外光谱特征波长的选择方法,特指用于农产品或食品检测的基于模拟退火算法的近红外光谱特征波长的选择方法。
背景技术
近红外光谱技术是一种高速、精确和绿色的光谱分析技术,被广泛运用于农产品品质检测、食品分析等方面。近红外光谱技术的基本原理是近红外光谱中包含分子中单个化学键基频震动的倍频和合频信息,主要是含氢基团X-H(H为C、N、O)的倍频和合频震动的叠加。将光谱与样品质量参数进行关联,确定两者的定量或定性关系即校正模型,通过将未知样品近红外光谱和校正模型可预测样品的定量或定性信息。近红外光谱技术拥有众多优点,但其不足之处是:近红外光谱技术是一种间接的分析技术,光谱中包含了大量的信息,但信息强度低且谱峰重叠,如何高效的从全光谱中选择同样品高度相关的特征波长,是得到最优近红外光谱模型的关键,为了克服上述不足,需对近红外光谱的特征波长进行选择。
申请号为200510038528.9,名称为“基于间隔偏最小二乘法的农产品、食品近红外光谱谱区选择方法”的专利申请公开一种基于间隔偏最小二乘法的农产品、食品近红外光谱区间选择方法,该方法按照建模者的经验,将全光谱划分为若干个子区间,分别用每个子区间内包含的所有波数点集合建立偏最小二乘模型,如此每个子区间对以一个偏最小二乘模型,选择建模效果最好的区间作为特征子区间,并以该区间对应的偏最小二乘模型作为近红外光谱的间隔偏最小二乘模型。该方法能够运用于实际运用,但是该方法的不足之处是;区间的划分是依照个人经验进行的,缺乏科学依据;假设了特征波长都集中在所划分的某个子区间内,且子区间内所有的波数点都是特征波数点,即没有对子区间内的波数点进行取舍,而实际建模过程中难以满足如上假设。在近红外波长选择过程中,往往是特征波长的个数及分布位置不确定,建模中要确定特征波长的个数和分布位置,可以采用组合排列的知识来解决,如全光谱共有10个波数点为例,设共有1个特征波长,则有c10 1种解;设共有2个特征波长,则有c10 2种解,设共有3个特征波长,则有c10 3种解,依次类推,可以得到许多解,最后选择一个效果最好的解作为特征波长。利用排列组合来求解,虽然可以克服间隔偏最小二乘法选择波长子区间的不足,但是这个求解方式计算量很巨大,计算量随着全光谱波数点数增加呈指数级增长,无法应用于实际建模过程。
模拟退火算法是基于Mote Carlo迭代求解策略的一种随机寻优算法,其出发点是基于物理退火过程与组合优化之间的相似性。模拟退火算法由一较高初温开始,利用具有概率突跳性的Metropolis抽样策略在待选解组合中进行随机搜索,伴随温度不断下降重复抽样过程,最终得到问题的全局最优解,适用解决大规模组合优化问题。
发明内容
本发明的目的是为克服上述现有技术的不足,提出了一种基于模拟退火算法优选近红外光谱特征波长的方法,延续排列组合的特征波数点求解并降低计算量。
本发明采用的技术方案是包含如下步骤:先对近红外光谱进行预处理,包括对校正集和预测集样本的划分;从预处理后的近红外光谱的全光谱中挑选最少波数点数,重复随机选择k个波数点;用被选中的k个不相同的波数点建立校正集和预测集的初始PLS模型,计算对应初始PLS模型的交互验证均方根误差值RMSECV,用于模拟退火算法中目标函数值的计算过程;然后采用模拟退火算法从全光谱中选择同校正集化学值高度相关的最优k个波数点,使窗口宽度动态递增以确保模拟退火保算法得到全局最优解;最后重复上述步骤,在模拟退火算法结束时比较各个窗口宽度下波数点集合对应的建模效果,得出最佳窗口宽度和最佳波数点组合,建立校正集和预测集的最终PLS模型。
本发明采用上述技术方案的有益效果是:通过窗口宽度动态递增,消除人工指定窗口宽度带来的主观因素影响,使得窗口宽度的选择具有科学依据;采用Metropolis准则判断入选波数点的重要性,既保证了算法快速收敛,同时又避免了模拟退火算法陷入局部最优解而错过全局最优解。基于模拟退火算法优选波长点建立的光谱模型,具有更高的可靠性和精度。
附图说明
以下结合附图和具体实施方式对本发明作进一步详细说明。
图1是本发明方法的流程图;
图2是新解转移概率曲线图;
图3是Metropolis接受准则示意图。
具体实施方式
本发明先对近红外光谱进行预处理,常用的光谱预处理方法有SNV(标准正交变换)、MSC(多元散射校正)、小波变换等,光谱预处理过程还包括对校正集和预测集样本的划分。预处理后的近红外光谱是指用适当的消噪方法处理农产品、食品原始近红光谱后得到的光谱,可消除数据采集过程中仪器信号漂移,环境条件波动引起的噪声。消噪方法包括标准正交变化、多元散射校正、中心化、一阶/二阶导数预处理方法等。
对预处理后的近红外光谱,在算法开始运行时,从全光谱中挑选最少波数点数,指定模拟退火算法的起始点,此时的窗口宽度为初始窗口宽度k。当初始窗口宽度为k。时,随机从全光谱中选择k个波数点,被选中的k个波数点中,两两不能相同,即不重复随机选择k个波数点。用被选中的k个波数点,建立校正集和预测集的初始PLS(偏最小二乘法)模型,计算对应初始PLS模型的交互验证均方根误差值RMSECV、预测集均方根误差、校正集相关系数、预测集相关系数等建模参数,得到的交互验证均方根误差值RMSECV用于模拟退火算法中目标函数值的计算过程。采用模拟退火算法选择出最优k个波数点后,窗口宽度动态递增以确保算法可以得到全局最优解,然后重复上述过程并在算法结束时比较各个窗口宽度下波数点集合对应的建模效果,得出最佳窗口宽度和最佳波数点组合,建立校正集和预测集的最终PLS模型。
上述采用模拟退火算法选取最优k个波数点,是模拟固体退火现象中固体随着自身温度下降而逐渐达到稳定状态的原理,从全光谱中选择同校正集化学值高度相关的k个波数点,在采用模拟退火算法选择最优k个波数点前先需确定如下参数:
(1)目标函数f(x):目标函数的作用是判断当前解x的质量,一般情况下f(x)值越高,代表当前解x质量越好。模拟退火算法的目标是优选特征波数点集合,当前被选入的波数点集合被看成是当前解x,目标函数f(x)定义为1/(1+RMSECV),其中RMSECV为入选波数点PLS校正模型对应的交互验证均方根误差。
(2)起始温度t0:对应于固体退火过程中的初始温度,通常设置初始温度为200~1000度。
(3)温度衰减函数g(α):用于控制固体退火过程中的温度冷却速率,通常设tk+1=tkg(α)=αtk,α取值范围通常为0.5~0.99。
(4)结束温度tf:当退火温度达到结束温度时,固体将达到某一稳定状态,固体退火过程结束,一般设置退火温度tf为0度左右。
(5)马尔可夫链长度Lk:指当温度为t时,算法搜索迭代的次数。
(6)Metropolis(人名)接受新解准则:Metropolis准则根据旧解、新解对应的目标函数,判断旧解、新解中哪个解是重要解,如果新解被认为是重要解,则用新解取代旧解进入下一次迭代;反之则维持旧解不变。针对优选特征波长问题,假设第m次迭代过程中选入了k个波数点,记为旧解x,在第m+1次迭代过程中,在旧解x的基础上替换少数波数点得到新解y;旧解x、新解y对应的目标函数值分别为f(x)和f(y),那么基于如下Metropolis准则判断旧解x、新解y的重要性:当f(y)>f(x)时,新解y为重要解,否则判断下式是否成立,其中Pt是新解转移概率,r由范围为0~1的均匀概率密度函数随机产生;如果上式成立,则认为新解y是重要解,否则认为旧解x是重要解。
(7)初始窗口宽度ko:表示算法从全光谱中选择的最少特征波数点个数。
(8)结束窗口宽度kf:表示算法从全光谱中选择的最多特征波数点个数。
(9)窗口宽度递增步长kd:表示窗口动态递增过程中每次窗口增长的宽度。
(10)波数点交换个数cn:表示由旧解产生新解过程中,两者之间变动的波数点个数。
采用模拟退火算法选择最优k个波数点具体步骤如下:
(1)温度为t=to时,从全光谱中随机选择k(初始窗口宽度)个波数点作为旧解x;
(2)在旧解x和未选中的剩余波数点中随机选择cn个波数点,交换后产生新解y;
(3)计算新解y、旧解x的目标函数值f(y)、f(x);
(4)根据(3)的计算结果,采用Metropolis接受新解准则判断新解y、旧解x的重要性;
(5)判断迭代次数是否等于马尔可夫链长度Lk,如果不等于则重复步骤(2)~(5);如果等于,则执行下步骤(6);
(6)根据温度衰减函数降低冷却温度t;
(7)判断是否达到结束温度tf,没有达到结束则重复执行(2)~(7),否则执行步骤(8);
(8)以窗口宽度步长kd递增窗口宽度,重复执行(2)~(8),直至达到结束窗口宽度kf进入步骤(9);
(9)返回最佳窗口宽度和特征波数点组合。
如图1所示,本发明的具体步骤如下:
(1)当窗口宽度k=ko时,随机从全光谱中挑选出k个不相同的波数点,作为初始解x,,该解是算法在全局范围内搜索最优解的出发点。
(2)确定初始解x后,退火温度t从起始温度t0开始,根据温度衰减函数g(α)徐徐降低,每当温度t降低时,程序执行Lk次马尔可夫链寻找当前温度对应的优化解。
(3)搜寻优化解的详细过程如下:在旧解x包含的波数点和没有选入x的剩余波数点中分别选择cn个波数点进行交换,把交换波数点后得到的解称为新解y。根据目标函数分别计算旧解x、新解y对应的目标函数值f(x)、f(y),将计算所得的f(x)、f(y)代入Metropolis准则中判断x、y的重要性,如果y为重要解,则用新解y代替旧解x执行下一次马尔科夫链;如果y不是重要解,则保持旧解x不变并执行下一次马尔科夫链。
(4)反复执行上述过程至退火温度达到结束温度时,保存当前窗口宽度k=k0时对应的最优解,并按k=k+kd的方式递增,按照相同步骤计算新窗口宽度对应的最优解,重复上述过程直到窗口宽度k大于结束窗口宽度kf。此时已经得到了不同窗口宽度k∈[k0,kf]对应的优化解.
(5)从上述优化解中选择目标函数值最大的解记为xk,xk为近红外光谱的全局最优特征波数点集合,下标k为取得最优解时对应的最优窗口宽度。
(6)根据选出的全局最优解建立校正集与预测集的最终PLS模型。
图2显示了新解转移概率曲线图,新解转移概率由根据函数计算,Pt受到两方面因素影响,分别是新解y、旧解x目标函数差和退火温度t。下面结合图2中的曲线详细说明这两个参数是如何影响Pt。图2中横坐标代表新解y、旧解x目标函数差,纵坐标代表新解转移概率Pt;图2中y=e0.1x对应的曲线表示退火温度t=10,用于讨论退火温度较低时的情况,y=e0.05x对应的曲线表示退火温度t=20,用于讨论退火温度较高时的情况。先讨论横坐标为正的情况,即f(y)-f(x)>0(新解y优于旧解x),此时pt>1,必然有pt>r∈[0,1]成立,新解被接受,与实际情况符合。当横坐标为负的情况时,即f(y)-f(x)<0(新解y不优于旧解x),不妨假设x’=f(y)-f(x)<0对应图中垂直于X轴的虚线,由图中虚线可以看出,t=20时对应的pt要高于t=10时对应的pt,在温度高时,恶化解(新解y)被接受的概率要高于退火温度低时。由此可以得出如下结论,在采用模拟退火算法优选特征波长的前期,退火温度较高,恶化解被接受的概率较高,能有效的防止算法陷入局部最优解;在采用模拟退火算法优选特征波长的后期,退火温度较低,恶化解被接受的概率较小,有利用算法的平稳收敛。
图3显示了Metropolis准则判断新解旧解重要性的过程。将新解转移概率pt和随机概率密度函数r∈[0,1]进行比较,如果pt>r成立则表示新解被接受,否则维持旧解不变。具体判断过程如下:(1)Metropolis准则首先计算旧解x新解y对应的目标函数值f(x)f(y);(2)生产随机概率密度函数值r;(3)计算新解转移概率;(4)比较新解转移概率pt和随机概率函数值r的大小,若pt大于或者等于r,则用新解代替旧解,否则,旧解保持不变。根据此准则可以得出如下:Metropolis准则不但可以接受优化解,而且能够以一定的概率接受恶化解,为避免算法陷入局部最优解提供了保障。
Claims (1)
1.一种基于模拟退火算法的近红外光谱特征波长的选择方法,其特征是包括如下步骤:
1)对近红外光谱进行预处理,包括对校正集和预测集样本的划分;
2)从预处理后的近红外光谱的全光谱中挑选最少波数点数,重复随机选择k个波数点;
3)用被选中的k个不相同的波数点建立校正集和预测集的初始PLS模型,计算对应的初始PLS模型的交互验证均方根误差值RMSECV,模拟退火算法中目标函数值的计算过程;
4)采用模拟退火算法从全光谱中选择同校正集化学值高度相关的最优k个波数点,使窗口宽度动态递增以确保模拟退火算法得到全局最优解;
采用模拟退火算法选择最优k个波数点前先需确定如下参数:
目标函数f(x):为优选特征波数点集合,当前被选入的波数点集合被看成是当前解x,目标函数f(x)定义为1/(1+RMSECV);
起始温度t0:对应于固体退火过程中的初始温度,为200~1000度;
温度衰减函数g(α):用于控制固体退火过程中的温度冷却速率,设tk+1=tkg(α)=αtk,α取值范围通常为0.5~0.99;
结束温度tf:为0度左右;
马尔可夫链长度Lk:当温度为t时,算法搜索迭代的次数;
Metropolis接受新解准则:根据旧解x、新解y对应的目标函数f(x)、f(y)判断旧解、新解中哪个解是重要解,如果新解被认为是重要解,则用新解取代旧解进入下一次迭代,反之则维持旧解不变;
初始窗口宽度ko:模拟退火算法从全光谱中选择的最少特征波数点个数;
结束窗口宽度kf:从全光谱中选择的最多特征波数点个数;
窗口宽度递增步长kd:窗口动态递增过程中每次窗口增长的宽度;
波数点交换个数cn:由旧解x产生新解y过程中两者之间变动的波数点个数;
采用模拟退火算法选择最优k个波数点具体步骤如下:
(1)温度为t=to时,从全光谱中随机选择k个波数点作为旧解x;
(2)在旧解x和未选中的剩余波数点中随机选择cn个波数点,交换后产生新解y;
(3)计算新解y、旧解x的目标函数值f(y)、f(x);
(4)根据步骤(3)的计算结果采用Metropolis接受新解准则判断新解y、旧解x的重要性;
(5)判断迭代次数是否等于马尔可夫链长度Lk,如果不等于则重复步骤(2)~(5);如果等于,则执行下步骤(6);
(6)根据温度衰减函数降低冷却温度t;
(7)判断是否达到结束温度tf,没有达到结束温度则重复执行(2)~(7),否则执行步骤(8);
(8)以窗口宽度步长kd递增窗口宽度,重复执行(2)~(8),直至达到结束窗口宽度kf,进入步骤(9);
(9)返回最佳窗口宽度和特征波数点组合;
5)重复步骤4),在模拟退火算法结束时比较各个窗口宽度下波数点集合对应的建模效果,得出最佳窗口宽度和最佳波数点组合,建立校正集和预测集的最终PLS模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010123934 CN101806728B (zh) | 2010-03-12 | 2010-03-12 | 基于模拟退火算法的近红外光谱特征波长的选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010123934 CN101806728B (zh) | 2010-03-12 | 2010-03-12 | 基于模拟退火算法的近红外光谱特征波长的选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101806728A CN101806728A (zh) | 2010-08-18 |
CN101806728B true CN101806728B (zh) | 2011-12-21 |
Family
ID=42608619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010123934 Expired - Fee Related CN101806728B (zh) | 2010-03-12 | 2010-03-12 | 基于模拟退火算法的近红外光谱特征波长的选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101806728B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102928382B (zh) * | 2012-11-12 | 2015-04-22 | 江苏大学 | 基于改进型模拟退火算法的近红外光谱特征波长选择方法 |
CN104020124B (zh) * | 2014-05-29 | 2016-08-24 | 暨南大学 | 基于吸收率择优的分光波长筛选方法 |
CN104155262B (zh) * | 2014-08-20 | 2017-01-11 | 浙江中烟工业有限责任公司 | 一种烟草水溶性糖近红外定量模型中光谱范围的选择方法 |
CN106644983B (zh) * | 2016-12-28 | 2019-12-31 | 浙江大学 | 一种基于pls-vip-aco算法的光谱波长选择方法 |
CN113112031A (zh) * | 2021-03-03 | 2021-07-13 | 河北科技大学 | 一种基于模拟退火算法的无人机任务分配方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1271094A (zh) * | 2000-04-30 | 2000-10-25 | 王世迪 | 无运动部件、自动校标的平行单色光光谱检测法 |
CN1715880A (zh) * | 2005-08-03 | 2006-01-04 | 北京农业信息技术研究中心 | 一种便携式植物氮素和水分含量的无损检测方法及测量仪器 |
-
2010
- 2010-03-12 CN CN 201010123934 patent/CN101806728B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1271094A (zh) * | 2000-04-30 | 2000-10-25 | 王世迪 | 无运动部件、自动校标的平行单色光光谱检测法 |
CN1715880A (zh) * | 2005-08-03 | 2006-01-04 | 北京农业信息技术研究中心 | 一种便携式植物氮素和水分含量的无损检测方法及测量仪器 |
Non-Patent Citations (1)
Title |
---|
周瑛等.用模拟退火算法设计光学有限脉冲响应滤波器.《光学学报》.2003,第23卷(第8期),1000-1003. * |
Also Published As
Publication number | Publication date |
---|---|
CN101806728A (zh) | 2010-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101806728B (zh) | 基于模拟退火算法的近红外光谱特征波长的选择方法 | |
CN111222549B (zh) | 一种基于深度神经网络的无人机故障预测方法 | |
CN103344600B (zh) | 一种蚁群优化算法的近红外光谱特征波长选择方法 | |
CN101832909B (zh) | 基于模拟退火-遗传算法近红外光谱特征子区间选择方法 | |
CN109299501B (zh) | 一种基于工作流的振动光谱分析模型优化方法 | |
WO2016155241A1 (zh) | 基于Kalman滤波器的容量预测方法、***和计算机设备 | |
JP6611822B2 (ja) | 質量分析によって不明微生物亜群を一組の参照亜群の中から同定する方法 | |
CN101872444A (zh) | 一种结合中期修正策略的间歇过程批到批优化方法 | |
CN110726694A (zh) | 光谱变量梯度集成遗传算法的特征波长选择方法和*** | |
CN112614021B (zh) | 一种基于已建隧道信息智能识别的隧道围岩地质信息预测方法 | |
CN111310990A (zh) | 一种基于改进灰色组合模型的轨道质量预测方法及*** | |
CN113362913A (zh) | 一种基于随机森林回归的汽油辛烷值损失预测及优化方法 | |
US20210004727A1 (en) | Hyper-parameter tuning method for machine learning algorithms using pattern recognition and reduced search space approach | |
TW202123098A (zh) | 深度神經網路超參數選擇方法及電子裝置 | |
CN114611582B (zh) | 一种基于近红外光谱技术分析物质浓度的方法及*** | |
CN107976417B (zh) | 一种基于红外光谱的原油种类识别方法 | |
TWI428581B (zh) | 辨識光譜的方法 | |
CN101807228B (zh) | 基于模拟退火算法的近红外光谱波长子区间选择方法 | |
CN117095771B (zh) | 一种高精度光谱测量数据优化处理方法 | |
CN109283169A (zh) | 一种鲁棒的拉曼光谱峰识别方法 | |
CN116735527A (zh) | 一种近红外光谱优化方法、装置、***以及存储介质 | |
CN108827905B (zh) | 一种基于局部加权Lasso的近红外模型在线更新方法 | |
CN115114838B (zh) | 基于粒子群算法思想和模拟退火策略的光谱特征波长选择方法 | |
CN115824996A (zh) | 基于近红外光谱的烟叶常规化学成分通用模型建模方法 | |
CN102539370B (zh) | 一种多组分气体傅立叶变换红外光谱在线分析滤波方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111221 Termination date: 20120312 |