CN102854151A - 一种光谱分析中样品集划分的化学计量学方法 - Google Patents

Abstract

本发明公开了一种光谱分析中样品集划分的化学计量学方法。计算参考化学值和每一个波长上的光谱吸光度的相关系数，在全谱范围内找到相关最高的波长点；分别对样品的参考化学值和光谱数据进行归一化处理；基于归一化处理的数据，设计把参考化学值最大和最小的2个样品，以及吸光度值最大和最小的2个样品放入定标集，并把相应次大次小值的4个样品放入预测集；对剩余的样品做充分多次的随机划分，基于最高相关波长点，对每一次划分分别计算定标集和预测集样品的化学值和吸光度的相关系数，如果某一个划分的定标集相关系数和预测集相关系数充分接近，则选择这个划分用来建立光谱分析模型。本发明为光谱分析的模型优化提供了良好的数据基础。

Description

一种光谱分析中样品集划分的化学计量学方法

技术领域

本发明涉及光谱分析中的样品集划分技术领域，具体涉及一种用于定标集和预测集划分的化学计量学方法。 

背景技术

光谱分析是根据物质的光谱通过定性或者定量分析来确定物质的化学成分及其含量的方法，由于其具有快速、灵敏、无创的优点。目前应用的光谱分析主要有红外光谱分析、紫外光谱分析、拉曼光谱分析等。特别是近红外(NIR)光谱分析技术以其简便快速、非破坏性、实时在线、多成分同时检测等特点在环境、食品、农业、生物医学等众多领域具有应用优势。 

光谱分析需要把全部待分析样品划分为定标集和预测集。首先利用定标集样品的参考化学值(C)和光谱吸光度(A)来建立定标模型；然后结合预测集样品的光谱吸光度，利用定标模型计算预测集样品的成分含量预测值，通过比较预测集样品的预测值和参考化学值来评价模型的预测效果。定标模型是基于样品的光谱吸光度和参考化学值的数据来建立、优化和评价的。然而，在光谱测量过程中，由于实验环境、操作技能、仪器精度等原因，光谱吸光度有可能产生漂移、倾斜等各方面的噪音；同样的，在化学值测量方面，常规的化学测量方法也不可避免地带来***噪音、环境噪音、操作噪音等，使得数据存在测量误差，导致所建立的定标模型很难得到理想的预测效果。 

实验表明，由于各种噪音的存在，定标集和预测集的不同划分会造成模型预测效果的变化很大，模型参数(如光谱分析波段、平滑模式、PLS因子数等)也会受到影响。为了找到一个良好的划分，提高模型的适用率，在定标集和预测集划分的过程中，考虑如何选取信噪比较高的波长点，以此为基点做出定标集和预测集良好的划分，是光谱分析的一个关键研究课题。 

发明内容

本发明所要解决的技术问题是为光谱分析提供一种样品划分的化学计量学方法，采用该方法能够为光谱分析的模型优化做出良好的数据准备。该方法适用于紫外可见(UV)、近红外(NIR)、中红外(MIR)、拉曼(Raman)等光谱分析领域，已经在柚子皮果胶的NIR分析、土壤有机质总氮的NIR分析、废水化学需氧量的MIR分析、血液血红蛋白的MIR分析中得到验证。 

具体步骤为： 

1)数据归一化 

a)参考化学值的归一化 

$C_m=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{C}_j,---\left(1\right)$

$\mathrm{norm}\left(C_j\right)=\frac{C_j}{\sqrt{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(C_j-\stackrel{\‾}{C})}^2}}\stackrel{\mathrm{\Δ}}{=}{C}_n\left(j\right),$ j=1,2....N，(2) 

b)光谱数据的归一化 

i＝1,2....P,(3) 

i＝1,2....P,j=1,2….N，(4) 

$\left|A_j\right|=\sqrt{\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{\left(\mathrm{norm}\left(A_{\mathrm{ij}}\right)\right)}^2}\stackrel{\mathrm{\Δ}}{=}{A}_n\left(j\right),$ j=1,2....N，(5) 

其中，N为样品个数，P为波长点个数；C_j为样品j的参考化学值，C_m为所有样品的参考化学值均值，C_n(j)=norm(C_j)为该样品的参考化学值经过归一化计算之后的化学值数据；A_ij为样品j在第i个波长的吸光度值，A_i,m为该样品在第i个波长处的吸光度平均值，norm(A_ij)为该样品在第i个波长处的吸光度值经过归一化计算之后的吸光度值；A_n(j)=|A_j|为样品j的吸光度向量的模； 

基于上述参考化学值和吸光度的归一化计算，每个样品对应有一个C_n(j)和一个A_n(j)；根据琅勃比尔定律，基于所有样品的C_n(j)和A_n(j)(j=1,2,...,N)，回归计算每个样品的化学值预测值C’_n(j)，随后计算每个样品的归一化数据回归偏差，即RDND,进一步对所有样品计算RDND的平均值，即RDND_Ave； 

RDND(j)=|C’_n(j)-C_n(j)|,                (6) 

2)最值和次值样品的划分 

为了定标预测模型能够具有保证良好的相关性，原则上需要把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品放入定标集，把具有C_n(j)次大值和次小值的2个样品和具有A_n(j)次大值和次小值的2个样品放入预测集；然而，这其中所选择的样品可能有若干个是相同的，需要做相应 的选择处理；具体操作过程如下： 

把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品作为最值集合，记为SZ；同时把具有C_n(j)次大值和次小值的2样品和具有A_n(j)次大值和次小值的2样品作为次值集合，记为SC；首先假设SZ和SC的内部样品均不相同，设定每个集合内部的样品个数为4，下面针对SZ和SC的交集进行讨论，以确定最值样品的划分； 

如果SZ∩SC为空集，即SZ和SC互相之间没有相同的样品，则SZ所有样品放入定标集，SC所有样品放入预测集；进一步记录SZ内部具有相同样品的个数s₁和SC内部具有相同样品的个数s₂，即s₁，s₂∈{0,1,2}； 

如果SZ∩SC不为空集，则记录SZ∩SC内部样品的个数s₃，s₃=1,2,3,4，把SZ∩SC内部每一个样品的RDND分别与RDND_Ave比较大小，如果某个样品的RDND>RDND_Ave，则该样品选择放入定标集，否则将该样品选择放入预测集；然后，把SZ∩Cs(SC)内部所有样品放入定标集，把Cs(SZ)∩SC内部所有样品放入预测集，并分别记录SZ∩Cs(SC)内部和Cs(SZ)∩SC内部具有相同样品的个数s₁和s₂，即s₁，s₂∈{0,1,2}；其中Cs是补集运算符； 

3)剩余样品的划分原则 

经过最值样品的划分以后，剩余样品个数为N-8+s₁+s₂+s₃。关于剩余样品的划分，基于最高相关的原则，分别计算每一个波长点i的光谱数据和参考化学值的相关系数R(i)， 

$R\left(i\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(C_j-C_m)(A_{\mathrm{ij}}-A_{i,m})}{\sqrt{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(C_j-C_m)}^2\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(A_{\mathrm{ij}}-A_{i,m})}^2}},$ i＝1,2....P,(7) 

从所有的波长点中找到最大的R_note=max{R(i),i＝1,2....P}，并记录R_note所在的波长点序号i_note； 

对剩余的样品做足够多次的随意划分，对每一次划分，选取第i_note个波长点处的光谱数据{A_note}，结合样品的参考化学值，分别在定标集内和预测集内计算相关系数R_Cset和R_Pset； 

$R_{\mathrm{Cset}}=\frac{\underset{j=1}{\overset{L}{\mathrm{\Σ}}}(C_{L\left(j\right)}-C_{\mathrm{Lm}})(A_{\mathrm{note},L\left(j\right)}-A_{\mathrm{note},\mathrm{Lm}})}{\sqrt{\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(C_{L\left(j\right)}-C_{\mathrm{Lm}})}^2\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(A_{\mathrm{note},L\left(j\right)}-A_{\mathrm{note},\mathrm{Lm}})}^2}},---\left(8\right)$

$R_{\mathrm{Pset}}=\frac{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}(C_{K\left(j\right)}-C_{\mathrm{Km}})(A_{\mathrm{note},K\left(j\right)}-A_{\mathrm{note},\mathrm{Km}})}{\sqrt{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{(C_{K\left(j\right)}-C_{\mathrm{Km}})}^2\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{(A_{\mathrm{note},K\left(j\right)}-A_{\mathrm{note},\mathrm{Km}})}^2}},---\left(9\right)$

其中L、K分别为定标集和预测集样品数量，即L+K＝N；C_Lm，C_Km分别为定标集和预测集样品化学值平均值，A_note，L(j)为定标集中第j个样品在第i_note个波长点上的光谱数据，A_note，Lm为定标集样品在第i_note个波长点上的光谱数据均值，A_note,K(j)为预测集中第j个样品在第i_note个波长点上的光谱数据，A_note,Km为预测集样品在第i_note个波长点上的光谱数据均值； 

计算R_Cset和R_Pset之间的绝对偏差，即Absolute offset of correlation coefficients,简称AOC： 

AOC=|R_Cset-R_Pset|,(10) 

选择AOC足够小的一个划分作为以下建立近红外光谱分析模型的划分； 

按照这种划分方法，设计把全部待分析样品按照2:1的比例划分为定标集和预测集；根据设定的AOC选择合适的划分。 

本发明的化学计量学方法对全部样品的光谱数据和参考化学值数据进行降噪、归一、关联等技术处理，并进行样品划分。对于归一化降噪后的数据，通过光谱吸光度和化学值相结合进行计算，基于最高相关波长点的光谱数据进行划分，使得定标模型具有较高的决定系数，同时，通过比较定标集和预测集的内部相关系数，保证划分之后定标集和预测集具有一定的相关相似程度。在这样的划分下建立定标模型，可以得到良好的预测效果。在这个意义下，本发明提出的化学计量学方法为光谱分析的模型优化提供了良好的数据基础；该方法适用于红外、紫外、拉曼等光谱分析的数据建模优化及模型验证***，为优选连续波段、离散波长组合，以及原光谱、导数光谱的峰值优选等模型优化过程提供良好的数据准备。 

附图说明：

图1为本发明一种光谱分析中样品集划分的化学计量学方法的工作流程图。 

图中：最值和次值样品划分方法的具体流程由图2进行说明。 

图2为最值和次值样品划分方法的流程图；是图1中的子图。 

图3为本发明实施例中寻找最高相关光谱数据点的相关系数图。 

图中：全谱段范围是10000-4000cm^-1，包含了可见光和近红外谱段，以每个波长点的光谱数据结合样品的参考化学值来计算相关系数，从而找到最高相关的光谱数据点是8058cm^-1，样品的划分是基于该点的光谱数据和化学值来进行，依此，在一定程度上可以保证定标模型具有较高的相关性。 

具体实施方式

实施例： 

以柚子皮果胶的近红外分析为例，共有118个柚子皮样品(N＝118)，每个样品通过光谱实验测量得到3114个波长点(P=3114)的光谱值，按照大约2:1的比例，定标集分配78个样品(L=78)，预测集分配40个样品(K＝40)；采用本发明的方法对样品进行划分，具体步骤： 

1)数据归一化 

a)参考化学值的归一化 

基于已知的118个柚子皮样品(编号从1到118)的果胶化学值，首先由(1)式计算平均数C_m=4.987(%)，进一步根据平均数C_m，由(2)式计算每个样品的化学值归一化数值C_n(j)。 

b)光谱数据的归一化 

基于已知的118个柚子皮样品在3114个波长点上的光谱数据，由(3)式计算每个波长上的光谱平均数A_i,m，进一步根据平均数A_i,m，由(4)式计算每个样品在每个波长上的归一化光谱数值norm(A_ij)，然后把每个样品在所有波长点上的光谱数值视为该样品的光谱数值向量，进一步根据(5)式计算每个样品的光谱数值向量的模A_n(j)。 

基于上述参考化学值和吸光度的归一化计算，每个样品对应有一个C_n(j)和一个A_n(j)。根据琅勃比尔定律，基于所有样品的C_n(j)和A_n(j)(j=1,2,...,118)，回归计算每个样品的化学值预测值C’_n(j)，随后根据(6)式计算每个样品的归一化数据回归偏差RDND,并进一步对所有样品计算RDND的平均值RDND_Ave。 

2)最值样品的划分 

为了定标预测模型能够具有保证良好的相关性，原则上需要把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品放入定标集， 把具有C_n(j)次大值和次小值的2个样品和具有A_n(j)次大值和次小值的2个样品放入预测集；然而，这其中所选择的样品可能有若干个是相同的，需要做相应的选择处理；具体操作过程如下： 

假设SZ和SC的内部样品均不相同，设定每个集合内部的样品个数为4；把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品作为最值集合SZ，即SZ={98,66,98,16}，同时把具有C_n(j)次大值和次小值的2个样品和具有A_n(j)次大值和次小值的2个样品作为最值集合SC，即SC={85,81,85,13}。 

显然，SZ∩SC为空集(即SZ和SC互相之间没有相同的样品)，则SZ所有样品放入定标集，SC所有样品放入预测集；进一步记录SZ内部具有相同样品的个数s₁=1和SC内部具有相同样品的个数s₂=1。 

3)剩余样品的划分原则 

经过最值样品的划分以后，剩余样品个数为112；关于剩余的划分，基于最高相关的原则，由(7)式分别计算每一个波长点i的光谱数据和参考化学值的相关系数R(i)，从所有的波长点中找到最大的R_note=max{R(i),i＝1,2,…,3114}=0.6332，并记录R_note所在的波长是8058cm^-1，对应波长点序号i_note=1009。 

对剩余的112个样品做足够多次的随机划分，对每一次划分，选取第1009个波长点处的光谱数据{A_note}，结合样品的参考化学值{C_note}，根据(8)式和(9)式分别在定标集内和预测集内计算相关系数R_Cset和R_Pset，并进一步由(10)式计算R_Cset和R_Pset之间的绝对偏差(AOC)，选择AOC<10^-5的一个划分用于建立近红外光谱分析模型。 

作为比较，另外采用完全随机的方法对样品进行划分；采用偏最小二乘法(PLS)，分别对本发明的划分方法和完全随机划分方法所得到的定标集和预测集样品数据建立近红外定标模型，并对模型预测效果进行比较(见表1)；结果表明，采用本发明的划分方法进行定标集和预测集样品的划分可以提高模型的预测结果，改善近红外的检测能力。 

表1基于PLS模型的两种划分方法的比较 

注：RMSEC为定标集样品的预测偏差 

RMSEP为预测集样品的预测偏差 

R_C为定标集样品的预测相关系数 

R_P为预测集样品的预测相关系数 。

Claims (1)

1.一种光谱分析中样品集划分的化学计量学方法，其特征在于具体步骤为：

1)数据归一化

a)参考化学值的归一化

$C_m=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}_j,---\left(1\right)$

$\mathrm{norm}\left(C_j\right)=\frac{C_j}{\sqrt{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(C_j-\stackrel{\&OverBar;}{C})}^2}}\stackrel{\mathrm{\&Delta;}}{=}{C}_n\left(j\right),$ j=1,2....N，           (2)

b)光谱数据的归一化

i＝1,2....P,           (3)

i＝1,2....P,j=1,2….N，(4)

$\left|A_j\right|=\sqrt{\underset{i=1}{\overset{P}{\mathrm{\&Sigma;}}}{\left(\mathrm{norm}\left(A_{\mathrm{ij}}\right)\right)}^2}\stackrel{\mathrm{\&Delta;}}{=}{A}_n\left(j\right),$ j=1,2....N，           (5)

其中，N为样品个数，P为波长点个数；C_j为样品j的参考化学值，C_m为所有样品的参考化学值均值，C_n(j)=norm(C_j)为该样品的参考化学值经过归一化计算之后的化学值数据；A_ij为样品j在第i个波长的吸光度值，A_i,m为该样品在第i个波长处的吸光度平均值，norm(A_ij)为该样品在第i个波长处的吸光度值经过归一化计算之后的吸光度值；A_n(j)=|A_j|为样品j的吸光度向量的模；

基于上述参考化学值和吸光度的归一化计算，每个样品对应有一个C_n(j)和一个A_n(j)；根据琅勃比尔定律，基于所有样品的C_n(j)和A_n(j)(j=1,2,...,N)，回归计算每个样品的化学值预测值C’_n(j)，随后计算每个样品的归一化数据回归偏差，即RDND,进一步对所有样品计算RDND的平均值，即RDND_Ave；

RDND(j)=|C’_n(j)-C_n(j)|,       (6)

2)最值和次值样品的划分

为了定标预测模型能够具有保证良好的相关性，原则上需要把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品放入定标集，把具有C_n(j)次大值和次小值的2个样品和具有A_n(j)次大值和次小值的2个样品放入预测集；然而，这其中所选择的样品可能有若干个是相同的，需要做相应的选择处理；具体操作过程如下：

把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品作为最值集合，记为SZ；同时把具有C_n(j)次大值和次小值的2样品和具有A_n(j)次大值和次小值的2样品作为次值集合，记为SC；首先假设SZ和SC的内部样品均不相同，设定每个集合内部的样品个数为4，下面针对SZ和SC的交集进行讨论，以确定最值样品的划分；

如果SZ∩SC为空集，即SZ和SC互相之间没有相同的样品，则SZ所有样品放入定标集，SC所有样品放入预测集；进一步记录SZ内部具有相同样品的个数s₁和SC内部具有相同样品的个数s₂，即s₁，s₂∈{0,1,2}；

如果SZ∩SC不为空集，则记录SZ∩SC内部样品的个数s₃，s₃=1,2,3,4，把SZ∩SC内部每一个样品的RDND分别与RDND_Ave比较大小，如果某个样品的RDND>RDND_Ave，则该样品选择放入定标集，否则将该样品选择放入预测集；然后，把SZ∩Cs(SC)内部所有样品放入定标集，把Cs(SZ)∩SC内部所有样品放入预测集，并分别记录SZ∩Cs(SC)内部和Cs(SZ)∩SC内部具有相同样品的个数s₁和s₂，即s₁，s₂∈{0,1,2}；其中Cs是补集运算符；

3)剩余样品的划分原则

经过最值样品的划分以后，剩余样品个数为N-8+s₁+s₂+s₃。关于剩余样品的划分，基于最高相关的原则，分别计算每一个波长点i的光谱数据和参考化学值的相关系数R(i)，

$R\left(i\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}(C_j-C_m)(A_{\mathrm{ij}}-A_{i,m})}{\sqrt{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(C_j-C_m)}^2\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(A_{\mathrm{ij}}-A_{i,m})}^2}},$ i＝1,2….P,(7)

从所有的波长点中找到最大的R_note=max{R(i),i＝1,2....P}，并记录R_note所在的波长点序号i_note；

对剩余的样品做足够多次的随意划分，对每一次划分，选取第i_note个波长点处的光谱数据{A_note}，结合样品的参考化学值，分别在定标集内和预测集内计算相关系数R_Cset和R_Pset；

$R_{\mathrm{Cset}}=\frac{\underset{j=1}{\overset{L}{\mathrm{\&Sigma;}}}(C_{L\left(j\right)}-C_{\mathrm{Lm}})(A_{\mathrm{note},L\left(j\right)}-A_{\mathrm{note},\mathrm{Lm}})}{\sqrt{\underset{j=1}{\overset{L}{\mathrm{\&Sigma;}}}{(C_{L\left(j\right)}-C_{\mathrm{Lm}})}^2\underset{j=1}{\overset{L}{\mathrm{\&Sigma;}}}{(A_{\mathrm{note},L\left(j\right)}-A_{\mathrm{note},\mathrm{Lm}})}^2}},---\left(8\right)$

$R_{\mathrm{Pset}}=\frac{\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}(C_{K\left(j\right)}-C_{\mathrm{Km}})(A_{\mathrm{note},K\left(j\right)}-A_{\mathrm{note},\mathrm{Km}})}{\sqrt{\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{(C_{K\left(j\right)}-C_{\mathrm{Km}})}^2\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{(A_{\mathrm{note},K\left(j\right)}-A_{\mathrm{note},\mathrm{Km}})}^2}},---\left(9\right)$

其中L、K分别为定标集和预测集样品数量，即L+K＝N；C_Lm，C_Km分别为定标集和预测集样品化学值平均值，A_note，L(j)为定标集中第j个样品在第i_note个波长点上的光谱数据，A_note，Lm为定标集样品在第i_note个波长点上的光谱数据均值，A_note,K(j)为预测集中第j个样品在第i_note个波长点上的光谱数据，A_note,Km为预测集样品在第i_note个波长点上的光谱数据均值；

计算R_Cset和R_Pset之间的绝对偏差，即Absolute offset of correlation coefficients,简称AOC：

AOC=|R_Cset-R_Pset|,(10)

选择AOC足够小的一个划分作为以下建立近红外光谱分析模型的划分；

按照这种划分方法，设计把全部待分析样品按照2:1的比例划分为定标集和预测集；根据设定的AOC选择合适的划分。

Images