CN106018331A - 多通道光谱***的稳定性评价方法及预处理优化方法 - Google Patents

Abstract

本发明公开了一种多通道光谱***的稳定性评价方法及预处理优化方法，稳定性评价方法是：通过计算样品的动态吸光度矩阵、动态偏差谱，得到一稳定性评价指标。预处理优化方法是：建立一预处理方法数据库，计算各种预处理方法对应的原光谱及其校正谱的稳定性评价指标，对原光谱及其校正谱分别建立基于PLS方法的定标预测模型，计算得到近红外预测值与实测值之间的误差和相关性，最后根据稳定性评价指标、误差和相关性，确定最优的用于后续近红外光谱仪检测时的预处理方法。本发明客观地评价***的整体稳定性，选择最优的预处理方法用于后续近红外光谱仪检测，使得检测信号更加准确，对于研制低成本近红外仪器以及近红外技术的规模化应用具有重要价值。

Description

多通道光谱***的稳定性评价方法及预处理优化方法

技术领域

本发明涉及多通道近红外光谱研究领域，特别涉及一种多通道光谱***的稳定性评价方法及预处理优化方法。

背景技术

近红外是介于可见与中红外之间的电磁波。随着化学计量学和计算机技术的发展，现代近红外光谱分析技术以其简便、快速和易于实现在线分析等优点，在农业、食品、环境、生物医学等领域得到广泛应用。全波段通用型近红外仪器的技术已经比较成熟、但仪器体积大、价格昂贵，主要适用于实验室检测，不便于近红外光谱技术的规模化应用。

传统的通用型近红外仪器通常基于单个光源，采用光栅或滤光片等方式进行分光，各波长吸光度的动态偏差谱之间的相关性较高。传统上，波长信噪比是近红外仪器稳定性及预测性能的评价指标。为了降低近红外仪器成本，实现近红外技术的规模化应用，具有多光源、多个分立波长的多通道光谱仪(如，半导体激光器型近红外仪器)是当前低成本近红外仪器的重要研发方向，但对于多光源光谱***，各波长吸光度的动态偏差谱之间的相关性较低，各波长的信噪比难以评价***的整体稳定性，仅提升各波长通道的信噪比难以改进仪器的整体预测性能。

发明内容

本发明的一个目的在于克服现有技术的缺点与不足，提供一种多通道光谱***的稳定性评价方法，该方法提出一个用于表征每个分立波长的***稳定性评价指标，通过该指标可以准确评价***的整体稳定性，可用于后续多通道光谱***的质量评定。

本发明的一个目的在于提供一种基于上述稳定性评价方法的预处理优化方法，该方法利用上述稳定性评价指标，可以对预处理方法进行预先筛选，从而得到最优的预处理方法用于后续的信号处理，使得多通道光谱***的精度得到较大提升，据此提升近红外预测能力。

本发明的目的通过以下的技术方案实现：多通道光谱***的稳定性评价方法，包括步骤：

S1、选择代表性样品，重复测试样品的近红外光谱：设近红外光谱仪具有m个分立波长，对装好固定的样品连续测试其光谱n次，得到样品的动态吸光度矩阵如下：

A＝(a_k,i)_m×n,k＝1,2,…,m,i＝1,2,…,n；

S2、计算样品的动态偏差谱：

首先计算样品的平均光谱如下：

$\stackrel{\→}{a}={(a_1,a_2,...,a_m)}^T,a_k=\frac{\underset{i=1}{\overset{n}{\Σ}}{a}_{k,i}}{n},k=1,2,...,m;$

计算样品相对于平均光谱的偏差谱矩阵：

D＝(d_k,i)_m×n,d_k,i＝a_k,i-a_k,k＝1,2,…,m,i＝1,2,…,n；

进一步得到对应于每个分立波长的动态偏差谱：

${\stackrel{\→}{d}}_k=(d_{k,1},d_{k,2},...,d_{k,n}),k=1,2,...,m;$

S3、确定稳定性评价指标：首先计算任意两个分立波长动态偏差谱的相关系数，得到相关矩阵R如下：

R＝(R_p,q)_m×m,p＝1,2,…,m,q＝1,2,…,m；

其中，R_p,q表示的是第p个分立波长动态偏差谱和第q个分立波长动态偏差谱的相关系数；计算对应第k个分立波长的m-1个相关系数的均值R_k,Ave、标准差R_k,SD，k＝1,2,…,m；

最后得到每个分立波长的稳定性评价指标：

${\tilde{R}}_k=R_{k,Ave}-R_{k,SD},k=1,2,...,m;$

其中，值越大，表示***越稳定。

一种基于上述稳定性评价方法的预处理优化方法，包括步骤：

S1、建立一预处理方法数据库，数据库中存储各种预处理方法，同时各预处理方法中涉及的各个参数选值范围也一定；

S2、采用近红外光谱仪对待检测样品连续测试其光谱n次；

S3、采用预处理方法数据库中的各种预处理方法分别对上述光谱进行处理，得到对应的校正谱，计算原光谱及其校正谱的稳定性评价指标；

S4、对原光谱及其校正谱分别建立基于PLS方法的定标预测模型，根据模型计算得到近红外预测值与实测值之间的误差和相关性；

S5、选择同时满足下列条件的预处理方法作为优选方法：稳定性评价指标大于预设的第一阈值，误差小于预设的第二阈值，相关性大于预设的第三阈值；如果满足条件的有多个，则选择稳定性评价指标最高的那个方法；

S6、最后将优选方法作为后续近红外光谱仪检测时的预处理方法。

优选的，在预处理优化方法中，在采用近红外光谱仪对待检测样品连续测试其光谱n次后，先利用近红外光谱仪自身所带的方法计算当前的信噪比；如果信噪比小于预设的第四阈值，则执行步骤S3，否则，直接采用近红外光谱仪进行检测。

优选的，所述预处理方法数据库中包括SG平滑(Savitzky-Golay平滑)方法、标准正态变量变换、多元散射校正、归一化等。

优选的，所述步骤S3的具体步骤是：

收集充分的代表性样品，利用近红外光谱仪采集光谱数据，同时采用标准分析方法测定样品的该指标理化值；

将收集到的样品随机划分为定标集、预测集，定标集用于建立基于偏最小二乘(PLS)方法的近红外定量分析模型，预测集用于评估模型的预测效果；

采用预测均方根误差(RMSEP)、相关系数(R_P)分别评价近红外预测值与实测值之间的误差和相关性，其公式如下：

$RMSEP=\sqrt{\frac{\underset{i=1}{\overset{M}{\Σ}}{({\tilde{C}}_i-C_i)}^2}{M-1}},$

$R_P=\frac{\underset{i=1}{\overset{M}{\Σ}}({\tilde{C}}_i-{\tilde{C}}_{AVE})(C_i-C_{AVE})}{\sqrt{\underset{i=1}{\overset{M}{\Σ}}{({\tilde{C}}_i-{\tilde{C}}_{AVE})}^2}\·\sqrt{\underset{i=1}{\overset{M}{\Σ}}{(C_i-C_{AVE})}^2}},$

其中，C_i分别为第i个预测样品的预测值和实测值；C_AVE分别为预测值和实测值的平均值；M为预测样品的个数；RMSEP值越小说明模型的精度越高，R_P值越大说明预测值和实测值的相关性越高。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明提出了一种新的稳定性评价指标，可以客观地评价***的整体稳定性，相较于传统的各波长的信噪比，更适用于多光源光谱***整体稳定性评价。

2、本发明根据提出的稳定性评价指标，进一步提出了预处理优化方法，通过该方法，可以选择最优的预处理方法用于后续近红外光谱仪检测，使得检测信号更加准确，对于研制低成本近红外仪器以及近红外技术的规模化应用具有重要参考价值。

附图说明

图1为玉米粉样品重复测试20次的原始光谱。

图2为样品重复测试20次原始光谱的动态偏差谱。

图3为样品重复测试20次的SG校正谱。

图4为样品重复测试20次SG校正谱的动态偏差谱。

图5为268个玉米粉样品原始光谱。

图6为268个玉米粉样品SG校正谱。

图7(a)为玉米水分原始谱预测值与实测值的比较。

图7(b)为玉米水分SG校正谱预测值与实测值的比较。

图8为本实施例预处理优化方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例以NLD-D1半导体激光器型近红外仪器(广州讯动网络科技有限公司，中国)为例，测试样品：玉米粉样品(饲料原料)，检测指标：水分。该仪器采用了11个分立波长(简称通道，m＝11)的半导体激光器，对应可以采集到样品11个波长的吸光度，重复测试样品次数n为20。以此提出多通道光谱***的稳定性评价方法及预处理优化方法的具体步骤。

本实施例多通道光谱***的稳定性评价方法，包括步骤：

1、选择具有代表性的玉米粉样品，重复测试样品次数n为20，获取11个通道的动态吸光度，如图1所示。

动态吸光度矩阵如下：

A＝(a_k,i)_m×n,k＝1,2,…,m,i＝1,2,…,n。(1)

2、计算样品的动态偏差谱。

计算样品的平均光谱如下：

$\stackrel{\→}{a}={(a_1,a_2,...,a_m)}^T,a_k=\frac{\underset{i=1}{\overset{n}{\Σ}}{a}_{k,i}}{n},k=1,2,...,m.---\left(2\right)$

计算样品相对于平均光谱的偏差谱矩阵：

D＝(d_k,i)_m×n,d_k,i＝a_k,i-a_k,k＝1,2,…,m,i＝1,2,…,n，(3)

进一步得到对应于每个分立波长的动态偏差谱，如图2所示：

${\stackrel{\→}{d}}_k=(d_{k,1},d_{k,2},...,d_{k,n}),k=1,2,...,m.---\left(4\right)$

3、确定稳定性评价指标

首先计算任意两个分立波长动态偏差谱的相关系数，得到相关矩阵R如下：

R＝(R_p,q)_m×m,p＝1,2,…,m,q＝1,2,…,m；

其中，R_p,q表示的是第p个分立波长动态偏差谱和第q个分立波长动态偏差谱的相关系数；计算对应第k个分立波长的m-1个相关系数的均值R_k,Ave、标准差R_k,SD，k＝1,2,…,m；

最后得到每个分立波长的稳定性评价指标：

${\tilde{R}}_k=R_{k,Ave}-R_{k,SD},k=1,2,...,m;$

其中，值越大，表示***越稳定。

采用上述方法，计算原光谱的相关矩阵R_Origin如下：

$R_{origin}=\left[\begin{array}{ccccccccccc}1.00& 0.90& -0.11& 0.88& 0.76& 0.08& -0.48& -0.53& -0.15& -0.51& -0.20\\ 0.90& 1.00& 0.18& 0.94& 0.84& 0.17& -0.53& -0.58& -0.18& -0.37& 0.03\\ -0.11& 0.18& 1.00& 0.11& 0.11& -0.06& -0.22& -0.35& -0.24& 0.56& 0.74\\ 0.88& 0.94& 0.11& 1.00& 0.88& 0.23& -0.49& -0.52& -0.08& -0.24& 0.04\\ 0.76& 0.84& 0.11& 0.88& 1.00& 0.57& -0.15& -0.16& 0.25& -0.22& 0.24\\ 0.08& 0.17& -0.06& 0.23& 0.57& 1.00& 0.66& 0.63& 0.71& -0.15& 0.35\\ -0.48& -0.53& -0.22& -0.49& -0.15& 0.66& 1.00& 0.92& 0.66& 0.00& 0.12\\ -0.53& -0.58& -0.35& -0.52& -0.16& 0.63& 0.92& 1.00& 0.79& 0.02& 0.10\\ -0.15& -0.18& -0.24& -0.08& 0.25& 0.71& 0.66& 0.79& 1.00& 0.09& 0.26\\ -0.51& -0.37& 0.56& -0.24& -0.22& -0.15& 0.00& 0.02& 0.09& 1.00& 0.62\\ -0.20& 0.03& 0.74& 0.04& 0.24& 0.35& 0.12& 0.10& 0.26& 0.62& 1.00\end{array}\right]$

原光谱的***稳定性评价指标如表1。

表1.原光谱的***稳定性评价指标

可见，每个值均较小，各通道动态偏差谱的相关性较低，表明该光谱***的整体稳定性较差，因此需要优选一种适当的预处理方法，改进光谱***的整体稳定性，进一步提升模型的预测能力。下面结合图8，对本实施例的预处理优化方法进行具体的说明。

1、建立一预处理方法数据库。

预处理方法数据库中可以包括SG平滑方法、标准正态变量变换、多元散射校正、归一化等各种现有的方法，每种方法中涉及的各个参数选值范围也预先设定，在使用时，从上述预处理方法中选择一种最优的方法。

SG方法把w(奇数)个连续波长作为一个平滑窗口，在窗口内用多项式对吸光度数据做最小二乘拟合，得到相应的多项式系数，然后计算出该窗口中心波长的吸光度及其各阶导数的校正值。使窗口在全谱范围内移动，由此得到原光谱的SG校正谱(前后两端的波长分别采用后向、前向拟合的校正办法)。SG平滑可以有效消除基线漂移、倾斜等噪音。SG方法采用3个参数，分别是导数阶数s、多项式次数t(t>s)和平滑点数w。根据3个参数的不同组合，可以得到不同模式的SG平滑光谱预处理方法。本实施例中，限定预处理方法数据库中仅包括上述不同参数组合得到的SG平滑光谱预处理方法，其中，导数阶数s选值范围为0、1、2、3，多项式次数t选值范围为2、3、4、5、6，平滑点数w选值范围为5、7、9、11，由于t>s，故共有68种SG平滑模式。也就是说，本实施例方法数据库中包括68种预处理方法，下面就采用本实施例的预处理优化方法从中选择一种最优的来用于后续的检测。

2、采用近红外光谱仪对待检测样品连续测试其光谱n次。

3、分别计算68种SG模式的***稳定性评价指标。

下面以导数阶数s为2、多项式次数t为4、平滑点数w为5为例，首先计算样品重复测试20次的SG校正谱，如图3所示。

进一步得到其动态偏差谱，如图4所示。

得到相关矩阵R_SG。

$R_{SG}=\left[\begin{array}{ccccccccccc}1.00& 0.98& 0.84& 0.87& 0.94& 0.93& 0.99& 0.98& 1.00& 0.99& 0.99\\ 0.98& 1.00& 0.86& 0.85& 0.96& 0.94& 0.99& 1.00& 0.98& 0.99& 0.99\\ 0.84& 0.86& 1.00& 0.99& 0.81& 0.81& 0.86& 0.85& 0.84& 0.87& 0.85\\ 0.87& 0.85& 0.99& 1.00& 0.79& 0.80& 0.86& 0.85& 0.87& 0.86& 0.87\\ 0.94& 0.96& 0.81& 0.79& 1.00& 0.92& 0.95& 0.96& 0.94& 0.95& 0.95\\ 0.93& 0.94& 0.81& 0.80& 0.92& 1.00& 0.95& 0.94& 0.93& 0.95& 0.93\\ 0.99& 0.99& 0.86& 0.86& 0.95& 0.95& 1.00& 0.99& 0.99& 1.00& 0.98\\ 0.98& 1.00& 0.85& 0.85& 0.96& 0.94& 0.99& 1.00& 0.98& 0.99& 0.99\\ 1.00& 0.98& 0.84& 0.87& 0.94& 0.93& 0.99& 0.98& 1.00& 0.99& 0.99\\ 0.99& 0.99& 0.87& 0.86& 0.95& 0.95& 1.00& 0.99& 0.99& 1.00& 0.98\\ 0.99& 0.99& 0.85& 0.87& 0.95& 0.93& 0.98& 0.99& 0.99& 0.98& 1.00\end{array}\right]$

进一步得到SG校正谱的***稳定性评价指标，如表2所示。

表2.SG校正谱的***稳定性评价指标

可见，每个值均有大幅度的提高，各通道动态偏差谱的相关性较高，表明该光谱***的整体稳定性变得较好。

4、对原光谱及其SG校正谱分别建立基于PLS方法的玉米粉样品水分指标的近红外定量分析模型(定标预测模型)。

收集玉米粉样品共268个作为样品集，其中定标样品个数为140，预测样品个数128。图5和图6分别是原始光谱图和对应SG校正谱(s＝2，t＝4，w＝5)。

分别对定标集的原始谱和SG校正谱建立基于PLS的近红外定量分析模型，预测集用于评估模型的预测效果；采用预测均方根误差(RMSEP)、相关系数(RP)分别评价近红外预测值与实测值之间的差和相关性，其公式如下：

$RMSEP=\sqrt{\frac{\underset{i=1}{\overset{M}{\Σ}}{({\tilde{C}}_i-C_i)}^2}{M-1}},$

$R_P=\frac{\underset{i=1}{\overset{M}{\Σ}}({\tilde{C}}_i-{\tilde{C}}_{AVE})(C_i-C_{AVE})}{\sqrt{\underset{i=1}{\overset{M}{\Σ}}{({\tilde{C}}_i-{\tilde{C}}_{AVE})}^2}\·\sqrt{\underset{i=1}{\overset{M}{\Σ}}{(C_i-C_{AVE})}^2}},$

其中，C_i分别为第i个预测样品的预测值和实测值；C_AVE分别为预测值和实测值的平均值；M为预测样品的个数；RMSEP值越小说明模型的精度越高，R_P值越大说明预测值和实测值的相关性越高。

建模结果如表3所示，预测值与实测值的比较如图7(a)和图7(b)所示。

表3.原始光谱与SG校正谱PLS模型的预测效果

从表2，表3，图7(a)和图7(b)可以看出，当原始样品光谱数据经过特定S-G平滑模式处理后的稳定性评价指标显著提升的同时，其定量分析模型预测均方根误差(RMSEP)降低，预测值和实测值的相关系数(RP)提高，

5、预先设置第一阈值、第二阈值第三阈值，选择同时满足下列条件的预处理方法作为优选方法：稳定性评价指标大于第一阈值，误差小于第二阈值，相关性大于第三阈值。如果满足条件的有多个，则选择稳定性评价指标最高的那个方法。

6、最后将优选方法作为后续近红外光谱仪在检测该种样品时的预处理方法。

通过本实施例可以得知，值既可以有效评价多通道光谱***的稳定性，同时也为提升其近红外预测能力提供了适当的方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.多通道光谱***的稳定性评价方法，其特征在于，包括步骤：

S1、选择代表性样品，重复测试样品的近红外光谱：设近红外光谱仪具有m个分立波长，对装好固定的样品连续测试其光谱n次，得到样品的动态吸光度矩阵如下：

A＝(a_k,i)_m×n,k＝1,2,…,m,i＝1,2,…,n；

S2、计算样品的动态偏差谱：

首先计算样品的平均光谱如下：

$\stackrel{\→}{a}={(a_1,a_2,...,a_m)}^T,a_k=\frac{\underset{i=1}{\overset{n}{\Σ}}{a}_{k,i}}{n},k=1,2,...,m;$

计算样品相对于平均光谱的偏差谱矩阵：

D＝(d_k,i)_m×n,d_k,i＝a_k,i-a_k,k＝1,2,…,m,i＝1,2,…,n；

进一步得到对应于每个分立波长的动态偏差谱：

${\stackrel{\→}{d}}_k=(d_{k,1},d_{k,2},...,d_{k,n}),k=1,2,...,m;$

S3、确定稳定性评价指标：首先计算任意两个分立波长动态偏差谱的相关系数，得到相关矩阵R如下：

R＝(R_p,q)_m×m,p＝1,2,…,m,q＝1,2,…,m；

其中，R_p,q表示的是第p个分立波长动态偏差谱和第q个分立波长动态偏差谱的相关系数；计算对应第k个分立波长的m-1个相关系数的均值R_k,Ave、标准差R_k,SD，k＝1,2,…,m；

最后得到每个分立波长的稳定性评价指标：

${\tilde{R}}_k=R_{k,Ave}-R_{k,SD},k=1,2,...,m;$

其中，值越大，表示***越稳定。

2.一种基于权利要求1所述稳定性评价方法的预处理优化方法，其特征在于，包括步骤：

S1、建立一预处理方法数据库，数据库中存储各种预处理方法，同时各预处理方法中涉及的各个参数选值范围也一定；

S2、采用近红外光谱仪对待检测样品连续测试其光谱n次；

S3、采用预处理方法数据库中的各种预处理方法分别对上述光谱进行处理，得到对应的校正谱，计算原光谱及其校正谱的稳定性评价指标；

S4、对原光谱及其校正谱分别建立基于PLS方法的定标预测模型，根据模型计算得到近红外预测值与实测值之间的误差和相关性；

S5、选择同时满足下列条件的预处理方法作为优选方法：稳定性评价指标大于预设的第一阈值，误差小于预设的第二阈值，相关性大于预设的第三阈值；如果满足条件的有多个，则选择稳定性评价指标最高的那个方法；

S6、最后将优选方法作为后续近红外光谱仪检测时的预处理方法。

3.根据权利要求2所述预处理优化方法，其特征在于，在预处理优化方法中，在采用近红外光谱仪对待检测样品连续测试其光谱n次后，先利用近红外光谱仪自身所带的方法计算当前的信噪比；如果信噪比小于预设的第四阈值，则执行步骤S3，否则，直接采用近红外光谱仪进行检测。

4.根据权利要求2所述预处理优化方法，其特征在于，所述预处理方法数据库中包括SG平滑方法、标准正态变量变换、多元散射校正、归一化。

5.根据权利要求2所述预处理优化方法，其特征在于，所述步骤S3的具体步骤是：

收集充分的代表性样品，利用近红外光谱仪采集光谱数据，同时采用标准分析方法测定样品的该指标理化值；

将收集到的样品随机划分为定标集、预测集，定标集用于建立基于偏最小二乘方法的近红外定量分析模型，预测集用于评估模型的预测效果；

采用预测均方根误差RMSEP、相关系数R_P分别评价近红外预测值与实测值之间的误差和相关性，其公式如下：

$RMSEP=\sqrt{\frac{\underset{i=1}{\overset{M}{\Σ}}{({\tilde{C}}_i-C_i)}^2}{M-1}},$

$R_P=\frac{\underset{i=1}{\overset{M}{\Σ}}({\tilde{C}}_i-{\tilde{C}}_{AVE})(C_i-C_{AVE})}{\sqrt{\underset{i=1}{\overset{M}{\Σ}}{({\tilde{C}}_i-{\tilde{C}}_{AVE})}^2}\·\sqrt{\underset{i=1}{\overset{M}{\Σ}}{(C_i-C_{AVE})}^2}},$

其中，C_i分别为第i个预测样品的预测值和实测值；C_AVE分别为预测值和实测值的平均值；M为预测样品的个数；RMSEP值越小说明模型的精度越高，R_P值越大说明预测值和实测值的相关性越高。