CN103018178A - 基于局部保持投影的红外光谱仪校准方法 - Google Patents
基于局部保持投影的红外光谱仪校准方法 Download PDFInfo
- Publication number
- CN103018178A CN103018178A CN2012105196781A CN201210519678A CN103018178A CN 103018178 A CN103018178 A CN 103018178A CN 2012105196781 A CN2012105196781 A CN 2012105196781A CN 201210519678 A CN201210519678 A CN 201210519678A CN 103018178 A CN103018178 A CN 103018178A
- Authority
- CN
- China
- Prior art keywords
- instrument
- subspace
- master
- infrared
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种基于局部保持投影的红外光谱仪校准方法,包括:采集主、从仪器标样集的红外光谱图;采集到的主、从仪器标样集的红外光谱图建立反映主、从仪器红外光谱图差异的子空间局部保持投影变换矩阵;利用子空间局部保持投影变换矩阵,得到主、从仪器标样集的红外光谱图之间的对应变换关系,并将从仪器上的红外光谱图变换到主仪器上;利用主仪器校正集上建立的多元校正模型对变换后的红外光谱图进行预测,使得主仪器模型能够成功应用于从仪器红外光谱图,即实现模型转移。本发明所设计的基于局部保持投影的红外光谱仪校准方法操作简单,校正预测准确度高,并且具有相当的可靠性,能够有效地消除谱图中的非线性因素、噪声等冗余特征的影响。
Description
技术领域
本发明涉及红外光谱模型转移技术领域,特别是涉及一种基于局部保持投影的红外光谱仪校准方法。
背景技术
红外光谱技术因其快速、准确和无损而被广泛应用于工业领域。光谱多元校正技术能够有效地用于物质成分含量检测和在线过程监测。但是多元校正模型在实际应用中常常会受到局限,这主要是由于已经建立的多元校正模型无法有效地应用于新的环境条件下观测的谱图或不同仪器采集的谱图。重新校正方法可以克服这个局限,但是它每次都需要重新建立模型,这种方法的代价相当大,并且费时费力。
模型转移(model transfer)[1]是解决上述模型推广问题的一种有效方法,它将在一台仪器上建立的定性或定量校正模型可靠地移植到其它相同或类似的仪器上使用,或将在某一条件下建立的模型用于同一台仪器另一条件下采集的谱图,其本质就是消除量测信号之间的不一致性使得其适合于同一个模型。模型转移在实际应用中起到很重要的作用,它提供了一种可能,使得人们可以根据已有模型分析未来的样本,而不需要重新建立模型[2]。
目前,模型转移主要有两种途径。从预处理的角度来看,对主、从仪器的谱图进行预处理,消除与所测样品无关的信息,使得主、从仪器的差异变小或消除,从而使得主仪器的模型能够直接应用于从仪器,这类方法包括基线校正、导数变换、正态变量变换、多元散射校正、有限脉冲响应滤波、正交信号校正[3]、小波变换[4]和广义最小二乘[5]等。从光谱变换的角度来看,寻找一个变换矩阵将从仪器光谱响应映射到主仪器,实现模型共享,代表性的方法有直接标准化和分段直接标准化[6]。
但是,预处理方法可能导致谱图信息损失,从而无法完全消除不同仪器谱图间差异。光谱变换方法如分段直接标准化方法可能会受到正态噪声的干扰。基于局部保持投影的模型转移方法能够有效克服噪声的影响,目前还未见成熟的技术与文献。此外,仪器型号的不同,以及采集环境的变化,会导致不同仪器采集的谱图之间出现各种复杂的差异,如何通过变换手段有效消除这些差异是模型转移技术的一个难题。
[1]Feudale R N,Woody N A,Tan H,et al.Transfer of multivariatecalibration models:a review.Chemometrics and Intelligent LaboratorySystems,2002,64(2),181-192
[2]Bouveresse E,Hartmann C,Massart D L.Standardization ofNear-Infrared Spectrometric Instruments.Analytical Chemistry,1996,68,982-990
[3]Wold S,Antti H,Lindgren F,et al.Orthogonal signalcorrect ion of near-infrared spectra.Chemometrics and IntelligentLaboratorySystems,1998,44(1-2),175-185
[4]Tan H W,Brown S D.Wavelet hybrid direct standardization ofnear-infrared multivariate calibrations.Journal of Chemometrics,2001,15(8),647-663
[5]Martens H,M,Wise B M,et al.Prewhitening of data bycovariance-weighted pre-processing.Journal of Chemometrics,2003,17(3),153-165
[6]Wang Y,Veltkamp D J,Kowalski B R.Multivariate InstrumentStandardization.Analytical Chemistry,1991,63(23),2750–2756
发明内容
本发明所要解决的技术问题是提供一种快速有效、方便便捷、重复性好的基于局部保持投影的红外光谱仪校准方法。
本发明为了解决上述技术问题设计了如下技术方案:本发明设计了一种基于局部保持投影的红外光谱仪校准方法,包括如下具体步骤:
步骤(1):采集主、从仪器标样集的红外光谱图;
步骤(2):利用步骤(1)中采集到的主、从仪器标样集的红外光谱图建立反映主、从仪器红外光谱图差异的子空间局部保持投影变换矩阵;
步骤(3):利用步骤(2)中建立的子空间局部保持投影变换矩阵,得到主、从仪器标样集的红外光谱图之间的对应变换关系;利用该对应变换关系将从仪器上的红外光谱图变换到主仪器上;
步骤(4):在主仪器校正集上建立光谱与浓度间的多元校正模型,利用该多元校正模型对步骤(3)中变换后的红外光谱图进行预测,使得主仪器模型能够成功应用于从仪器红外光谱图,即实现模型转移。
作为本发明的一种优化方法:所述步骤(2)包括如下具体处理:
步骤(21):将主、从仪器标样集的红外光谱图分别构成矩阵Xms和Xss,将红外光谱图矩阵Xms和Xss分别进行子空间局部保持投影变换,利用公式Lm=XmsU和Ls=XssV得到子空间变量Lm和Ls,其中U和V定义为局部保持投影矩阵;
步骤(22):建立子空间变量Lm和Ls之间的变换关系Lm=LsF1,并建立主仪器子空间变量Lm与主仪器标样集Xms之间的变换关系Xms=LmF2,将上述关系代入得,Xms=XssVF1F2,从而得到子空间局部保持投影变换矩阵为F=VF1F2。
作为本发明的一种优化方法:所述步骤(3)包括如下具体处理:
步骤(31):利用公式Xms=XssVF1F2与局部保持投影方法计算得到局部保持投影矩阵U和V,并得到子空间变量Lm和Ls,利用最小二乘回归或奇异值分解方法求解子空间变量Lm和Ls之间的变换关系Lm=LsF1和主仪器子空间变量Lm与主仪器标样集Xms之间的变换关系Xms=LmF2,得到矩阵F1和F2,从而得到变换矩阵F=VF1F2,即为主、从仪器标样集的红外光谱图之间的对应变换关系;
步骤(32):进行子空间投影得到子空间投影后矩阵Ls,un=Xs,unV;
步骤(33):将步骤(32)中的子空间投影后矩阵变换到对应的主仪器子空间变量得到矩阵Lm,un=Ls,unF1;
本发明与现有技术相比具有如下优点:
1.本发明所设计的基于局部保持投影的红外光谱仪校准方法完全基于选定的标样数据,算法求解过程中仅涉及权重参数,该参数取值稳定,无需人工调节,操作简单;
2.本发明所设计的基于局部保持投影的红外光谱仪校准方法能够揭示高维光谱数据的内在结构,将其嵌入到一个低维流形,有效地保持了光谱数据的局部结构,消除了噪声等干扰因素的影响,提高了模型转移的稳健性;
3.本发明所设计的基于局部保持投影的红外光谱仪校准方法易于推广到非线性核空间,因而基于局部保持投影的模型转移方法能够有效地消除谱图之间的非线性干扰。
附图说明
图1是本发明所设计的基于局部保持投影的红外光谱仪校准方法的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明:
下面首先给出局部保持投影模型:
给定观测数据x1,x2,…xm∈Rn,局部保持投影变换寻求一个投影矩阵A,将这m个点映射为y1,y2,…,ym∈Rl(l<<n),使得yi能够表示xi,yi=ATxi。
局部保持投影算法分为如下几步:
1.构造邻接图:设图G由m个结点组成。根据k近邻原则,如果样本xi是xj的k近邻或者样本xj是xi的k近邻,则用一条边将结点i和j连接起来。
2.选择权重:设W为一个大小为m×m的稀疏权重矩阵。Wij为连接顶点i和j的边上的权重,如果顶点i和j不连接,则Wij为0。权重有两种定义方式:
(a)Heat kernel。如果顶点i和j连接,
(b)0-1权重。当且仅当顶点i和j连接时,Wij=1。
3.特征映射:计算下面的广义特征向量问题的特征值和特征向量,
XLXTa=λXDXTa
其中D为对角矩阵,其对角元Dii=∑jWij。L=D-W为拉普拉斯矩阵。记a0,a1,…,al-1为上述广义特征向量问题的解,其对应的广义特征值满足λ0<λ1<…<λl-1。可以得到投影映射形式为:
xi→yi=ATxi,A=(a0,a1,…al-1)
其中,yi∈Rl是一个l维向量,A是一个n×l矩阵,
应用局部保持投影模型,本发明可以建立起反映红外光谱主、从仪器间差异的变换矩阵。
如图1所示:本发明设计了一种基于局部保持投影的红外光谱仪校准方法,包括如下具体步骤:
步骤(1):采集主、从仪器标样集的红外光谱图;
针对所要处理的对象,选定具有代表性的标样。标样集要求能够涵盖谱图的,标样的数目不能太少,最好有15个。标样用于标定仪器,因此应该尽量稳定,能够完全刻画仪器的差异。选定标样后,分别在主仪器和从仪器上进行采集,得到标样集对应的主、从仪器红外光谱图矩阵。
步骤(2):利用步骤(1)中采集到的主、从仪器标样集的红外光谱图建立反映主、从仪器红外光谱图差异的子空间局部保持投影变换矩阵;
所述步骤(2)包括如下具体处理:
步骤(21):将主、从仪器标样集的红外光谱图分别构成矩阵Xms和Xss,将红外光谱图矩阵Xms和Xss分别进行子空间局部保持投影变换,利用公式Lm=XmsU和Ls=XssV得到子空间变量Lm和Ls,其中U和V定义为局部保持投影矩阵;
步骤(22):建立子空间变量Lm和Ls之间的变换关系Lm=LsF1,并建立主仪器子空间变量Lm与主仪器标样集Xms之间的变换关系Xms=LmF2,将上述关系代入得,Xms=XssVF1F2,从而得到子空间局部保持投影变换矩阵为F=VF1F2。
步骤(3):利用步骤(2)中建立的子空间局部保持投影变换矩阵,得到主、从仪器标样集的红外光谱图之间的对应变换关系;利用该对应变换关系将从仪器上的红外光谱图变换到主仪器上;
所述步骤(3)包括如下具体处理:
步骤(31):利用公式Xms=XssVF1F2与局部保持投影方法计算得到局部保持投影矩阵U和V,并得到子空间变量Lm和Ls,利用最小二乘回归或奇异值分解方法求解子空间变量Lm和Ls之间的变换关系Lm=LsF1和主仪器子空间变量Lm与主仪器标样集Xms之间的变换关系Xms=LmF2,得到矩阵F1和F2,从而得到变换矩阵F=VF1F2,即为主、从仪器标样集的红外光谱图之间的对应变换关系;
步骤(32):进行子空间投影得到子空间投影后矩阵Ls,un=Xs,unV;
步骤(33):将步骤(32)中的子空间投影后矩阵变换到对应的主仪器子空间变量得到矩阵Lm,un=Ls,unF1;
步骤(33):将步骤(32)中的矩阵变换到主仪器上得到
步骤(4):在主仪器校正集上建立光谱与浓度间的多元校正模型,利用该多元校正模型对步骤(3)中变换后的红外光谱图进行预测,使得主仪器模型能够成功应用于从仪器红外光谱图,即实现模型转移。
步骤(4):在主仪器校正集上建立光谱与浓度间的多元校正模型,利用该模型对已变换到主仪器状态的从仪器未知样品谱图进行预测,通过谱图的转移变换实现主仪器模型的共享,只需要在主仪器上建立模型,同时从仪器谱图通过变换也可以使用该模型,相当于主仪器模型转移到从仪器上。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于局部保持投影的红外光谱仪校准方法,其特征在于,包括如下具体步骤:
步骤(1):采集主、从仪器标样集的红外光谱图;
步骤(2):利用步骤(1)中采集到的主、从仪器标样集的红外光谱图建立反映主、从仪器红外光谱图差异的子空间局部保持投影变换矩阵;
步骤(3):利用步骤(2)中建立的子空间局部保持投影变换矩阵,得到主、从仪器标样集的红外光谱图之间的对应变换关系;利用该对应变换关系将从仪器上的红外光谱图变换到主仪器上;
步骤(4):在主仪器校正集上建立光谱与浓度间的多元校正模型,利用该多元校正模型对步骤(3)中变换后的红外光谱图进行预测,使得主仪器模型能够成功应用于从仪器红外光谱图,即实现模型转移。
2.根据权利要求1所述的基于局部保持投影的红外光谱仪校准方法,其特征在于,所述步骤(2)包括如下具体处理:
步骤(21):将主、从仪器标样集的红外光谱图分别构成矩阵Xms和Xss,将红外光谱图矩阵Xms和Xss分别进行子空间局部保持投影变换,利用公式Lm=XmsU和Ls=XssV得到子空间变量Lm和Ls,其中U和V定义为局部保持投影矩阵;
步骤(22):建立子空间变量Lm和Ls之间的变换关系Lm=LsF1,并建立主仪器子空间变量Lm与主仪器标样集Xms之间的变换关系Xms=LmF2,将上述关系代入得,Xms=XssVF1F2,从而得到子空间局部保持投影变换矩阵为F=VF1F2。
3.根据权利要求2所述的基于局部保持投影的红外光谱仪校准方法,其特征在于,所述步骤(3)包括如下具体处理:
步骤(31):利用公式Xms=XssVF1F2与局部保持投影方法计算得到局部保持投影矩阵U和V,并得到子空间变量Lm和Ls,利用最小二乘回归或奇异值分解方法求解子空间变量Lm和Ls之间的变换关系Lm=LsF1和主仪器子空间变量Lm与主仪器标样集Xms之间的变换关系Xms=LmF2,得到矩阵F1和F2,从而得到变换矩阵F=VF1F2,即为主、从仪器标样集的红外光谱图之间的对应变换关系;
步骤(32):进行子空间投影得到子空间投影后矩阵Ls,un=Xs,unV;
步骤(33):将步骤(32)中的子空间投影后矩阵变换到对应的主仪器子空间变量得到矩阵Lm,un=Ls,unF1;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105196781A CN103018178A (zh) | 2012-12-06 | 2012-12-06 | 基于局部保持投影的红外光谱仪校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105196781A CN103018178A (zh) | 2012-12-06 | 2012-12-06 | 基于局部保持投影的红外光谱仪校准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103018178A true CN103018178A (zh) | 2013-04-03 |
Family
ID=47967031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012105196781A Pending CN103018178A (zh) | 2012-12-06 | 2012-12-06 | 基于局部保持投影的红外光谱仪校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103018178A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103837484A (zh) * | 2014-02-24 | 2014-06-04 | 广西科技大学 | 一种用于消除光谱乘性随机误差的角度化多变量分析方法 |
CN104483019A (zh) * | 2014-12-01 | 2015-04-01 | 北京振兴计量测试研究所 | 真空紫外成像光谱仪的校准方法及校准装置 |
CN105842190A (zh) * | 2016-03-17 | 2016-08-10 | 浙江中烟工业有限责任公司 | 一种基于谱回归的近红外模型转移方法 |
CN106872397A (zh) * | 2016-12-29 | 2017-06-20 | 深圳市芭田生态工程股份有限公司 | 一种基于已有校正模型快速检测农产品化学组分的方法 |
CN107179294A (zh) * | 2017-07-31 | 2017-09-19 | 西安文理学院 | 一种基于子空间分析的近红外光谱分析方法 |
CN109444066A (zh) * | 2018-10-29 | 2019-03-08 | 山东大学 | 基于光谱数据的模型转移方法 |
CN111579526A (zh) * | 2020-06-08 | 2020-08-25 | 贵州中烟工业有限责任公司 | 一种表征近红外仪器差异和校正的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996032631A1 (en) * | 1995-04-13 | 1996-10-17 | Pfizer Inc. | Calibration tranfer standards and methods |
CN1483141A (zh) * | 2000-09-18 | 2004-03-17 | ����ҽѧ�ɷ�����˾ | 表征频谱仪并提供定标模型的方法 |
US20040176922A1 (en) * | 1999-11-23 | 2004-09-09 | James Samsoondar | Method for calibrating spectrophotometric apparatus |
CN101832922A (zh) * | 2010-05-19 | 2010-09-15 | 中国农业大学 | 一种有机肥产品近红外模型转移方法 |
-
2012
- 2012-12-06 CN CN2012105196781A patent/CN103018178A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996032631A1 (en) * | 1995-04-13 | 1996-10-17 | Pfizer Inc. | Calibration tranfer standards and methods |
US20040176922A1 (en) * | 1999-11-23 | 2004-09-09 | James Samsoondar | Method for calibrating spectrophotometric apparatus |
CN1483141A (zh) * | 2000-09-18 | 2004-03-17 | ����ҽѧ�ɷ�����˾ | 表征频谱仪并提供定标模型的方法 |
CN101832922A (zh) * | 2010-05-19 | 2010-09-15 | 中国农业大学 | 一种有机肥产品近红外模型转移方法 |
Non-Patent Citations (2)
Title |
---|
JIANGTAO PENG, ET AL: "Near-infrared calibration transfer based on spectral regression", 《SPECTROCHIMICA ACTA PART A》 * |
李华等: "改进的K/S算法对近红外光谱模型传递影响的研究", 《光谱学与光谱分析》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103837484A (zh) * | 2014-02-24 | 2014-06-04 | 广西科技大学 | 一种用于消除光谱乘性随机误差的角度化多变量分析方法 |
CN103837484B (zh) * | 2014-02-24 | 2016-08-17 | 广西科技大学 | 一种用于消除光谱乘性随机误差的角度化多变量分析方法 |
CN104483019A (zh) * | 2014-12-01 | 2015-04-01 | 北京振兴计量测试研究所 | 真空紫外成像光谱仪的校准方法及校准装置 |
CN105842190A (zh) * | 2016-03-17 | 2016-08-10 | 浙江中烟工业有限责任公司 | 一种基于谱回归的近红外模型转移方法 |
CN105842190B (zh) * | 2016-03-17 | 2018-12-11 | 浙江中烟工业有限责任公司 | 一种基于谱回归的近红外模型转移方法 |
CN106872397A (zh) * | 2016-12-29 | 2017-06-20 | 深圳市芭田生态工程股份有限公司 | 一种基于已有校正模型快速检测农产品化学组分的方法 |
CN107179294A (zh) * | 2017-07-31 | 2017-09-19 | 西安文理学院 | 一种基于子空间分析的近红外光谱分析方法 |
CN107179294B (zh) * | 2017-07-31 | 2019-09-03 | 西安文理学院 | 一种基于子空间分析的近红外光谱分析方法 |
CN109444066A (zh) * | 2018-10-29 | 2019-03-08 | 山东大学 | 基于光谱数据的模型转移方法 |
CN109444066B (zh) * | 2018-10-29 | 2020-04-14 | 山东大学 | 基于光谱数据的模型转移方法 |
CN111579526A (zh) * | 2020-06-08 | 2020-08-25 | 贵州中烟工业有限责任公司 | 一种表征近红外仪器差异和校正的方法 |
CN111579526B (zh) * | 2020-06-08 | 2023-05-30 | 贵州中烟工业有限责任公司 | 一种表征近红外仪器差异和校正的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103018178A (zh) | 基于局部保持投影的红外光谱仪校准方法 | |
CN105352895B (zh) | 高光谱遥感数据植被信息提取方法 | |
CN104062257B (zh) | 一种基于近红外光谱测定溶液中总黄酮含量的方法 | |
CN103196838B (zh) | 一种海岸河口富营养化高光谱遥感监测方法 | |
CN105486655B (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
CN105784672A (zh) | 一种基于双树复小波算法的毒品检测仪标准化方法 | |
CN104897607A (zh) | 便携式近红外光谱食品建模与快速检测一体化方法和*** | |
Appleby et al. | Testing isotropy in the local Universe | |
CN104596957A (zh) | 基于可见光近红外光谱技术的土壤铜含量估算方法 | |
Pan et al. | Simultaneous and rapid measurement of main compositions in black tea infusion using a developed spectroscopy system combined with multivariate calibration | |
CN103854305A (zh) | 一种基于多尺度建模的模型传递方法 | |
CN104020127A (zh) | 一种利用近红外光谱快速测量烟叶中无机元素的方法 | |
CN113466143B (zh) | 土壤养分反演方法、装置、设备及介质 | |
Jiang et al. | Qualitative and quantitative analysis in solid-state fermentation of protein feed by FT-NIR spectroscopy integrated with multivariate data analysis | |
Shen et al. | Rapid and real-time detection of moisture in black tea during withering using micro-near-infrared spectroscopy | |
CN108827909B (zh) | 基于可见近红外光谱与多目标融合的土壤快速分类方法 | |
CN106126879B (zh) | 一种基于稀疏表示技术的土壤近红外光谱分析预测方法 | |
Thornley et al. | The feasibility of leaf reflectance-based taxonomic inventories and diversity assessments of species-rich grasslands: a cross-seasonal evaluation using waveband selection | |
Liang et al. | Study of sample temperature compensation in the measurement of soil moisture content | |
CN105631176A (zh) | 一种基于双树复小波分段直接标准化的模型传递方法 | |
CN103868858A (zh) | 一种确定盐渍土主导盐分光谱响应最佳波段的方法 | |
CN114002162A (zh) | 土壤有机碳含量估算方法、设备、存储介质及程序产品 | |
CN103115884A (zh) | 一种化妆品中对羟基苯甲酸酯的测定方法 | |
CN104182953A (zh) | 像元解混逆过程:规格化多端元分解的高光谱重构方法 | |
Ross Kunz et al. | Multivariate calibration maintenance and transfer through robust fused LASSO |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130403 |