CN107132198A - 一种近红外光谱数据预处理方法 - Google Patents
一种近红外光谱数据预处理方法 Download PDFInfo
- Publication number
- CN107132198A CN107132198A CN201710254279.XA CN201710254279A CN107132198A CN 107132198 A CN107132198 A CN 107132198A CN 201710254279 A CN201710254279 A CN 201710254279A CN 107132198 A CN107132198 A CN 107132198A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- msc
- subinterval
- near infrared
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 35
- 238000001228 spectrum Methods 0.000 claims description 30
- 239000000126 substance Substances 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012417 linear regression Methods 0.000 claims 1
- 238000004611 spectroscopical analysis Methods 0.000 abstract description 12
- 238000002835 absorbance Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010183 spectrum analysis Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 abstract description 3
- 241000208125 Nicotiana Species 0.000 description 6
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 6
- 235000019504 cigarettes Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- SNICXCGAKADSCV-JTQLQIEISA-N (-)-Nicotine Chemical compound CN1CCC[C@H]1C1=CC=CN=C1 SNICXCGAKADSCV-JTQLQIEISA-N 0.000 description 2
- 229960002715 nicotine Drugs 0.000 description 2
- SNICXCGAKADSCV-UHFFFAOYSA-N nicotine Natural products CN1CCCC1C1=CC=CN=C1 SNICXCGAKADSCV-UHFFFAOYSA-N 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010986 on-line near-infrared spectroscopy Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了属于近红外光谱分析技术领域，尤其涉及一种近红外光谱数据预处理的新方法。一种近红外光谱数据预处理方法，该方法采用的是分段使用多元散射校正来对近红外光谱数据进行预处理，消除了局部波长点吸光度值对全波段光谱数据的影响，采用该方法可以很好的消除固定颗粒大小不均匀、表面散射对近红外漫反射的影响，提高近红外光谱数据的信噪比。对于近红外光谱数据预处理建立预测精度高的模型具有重要的意义，有助于近红外光谱分析技术的推广和应用。
Description
技术领域
本发明公开了属于近红外光谱分析技术领域，尤其涉及一种近红外光谱数据预处理的新方法，主要用于建立近红外定量和定性模型时对近红外光谱数据的预处理。
背景技术
近红外光谱技术具有分析速度快、样本制作简单的特点，目前，近红外光谱技术在烟草、中药、食品领域得以实际应用,随着近红外光谱技术应用范围不断拓展，大量相对准确的近红外定量模型需要建立，一个预测精度高、稳定性好的模型受近红外光谱数据的影响较大。近红外光谱数据除含有样品自身的化学信息外，还包含其他无关信息和噪声，如样品背景和杂散光等。因此，在建立近红外定量模型时，旨在消除光谱数据无关信息和噪声的预处理方法变得十分关键和必要。多元散射校正(MSC)方法主要是用来消除固定颗粒大小不均匀、表面散射对近红外漫反射的影响。传统的多元散射校正方法是针对全波段光谱数据进行多元散射校正，该方法的缺点是，全波段光谱数据进行多元散射校正时得到的结果受局部波长点对应的吸光度值影响较大。
发明内容
本发明的目的是寻找一种光谱数据预处理的新方法，传统的多元散射校正方法是针对全波段光谱数据进行散射校正，该方法的缺点是全波段光谱数据进行多元散射校正时得到的结果受局部波长点对应的吸光度值影响较大。本发明是为了解决传统多元散射校正的缺点，而提出一种新的光谱数据预处理方法来对光谱数据进行预处理。
为了实现上述的目的，本发明采用了以下的技术方案：
一种近红外光谱数据预处理方法，该方法包括以下的步骤：
1)采集样本的近红外光谱数据；
2)采用经典方法检测样本的化学值数据；
3)每个样本的近红外光谱数据为x(1×m)，m为连续波长变量数；
4)将连续波长变量(m)分成k个子区间；
5)计算样品光谱数据每个子区间的平均光谱
6)对一条光谱x(1×m)的子区间光谱xi与对应的子区间平均光谱进行线性回归，用最小二乘法求取b0和b；
7)计算一条光谱子区间的多元散射校正光谱xi,msc＝(xi-b0)/b；
8)得到一条光谱经过多元散射校正预处理后的光谱xmsc＝[x1,msc,x2,msc,…,xk,msc]；
9)最后将得到的近红外光谱预处理后的数据和化学值对应建立近红外定量模型并对该模型进行评价。
作为进一步改进，所述步骤4)将波长变量(m)分成k个子区间，具体方法是：设置每个子区间宽度为w，那么k＝m/w，当m/w的结果是小数时，k的取值是m/w的整数加1。因此，xi(1×w)，当m/w的结果是小数时，那么
作为进一步改进，所述步骤5)计算样品光谱数据每个子区间的平均光谱具体方法是：将所有样本光谱都分成k个子区间，然后分别计算每个子区间的平均光谱
作为进一步改进，所述步骤8)得到一条光谱经过多元散射校正预处理后的光谱xmsc＝[x1,msc,x2,msc,…,xk,msc]，具体方法是：将每个子区间依次组合成全波段的多元散射校正数据，xmsc(1×m)＝[x1,msc,x2,msc,…,xk,msc]。
本发明采用的是分段使用多元散射校正来对近红外光谱数据进行预处理，消除了局部波长点吸光度值对全波段光谱数据的影响，采用该方法可以很好的消除固定颗粒大小不均匀、表面散射对近红外漫反射的影响，提高近红外光谱数据的信噪比。对于近红外光谱数据预处理建立预测精度高的模型具有重要的意义，有助于近红外光谱分析技术的推广和应用。
附图说明
图1是原始近红外光谱图。
图2是化学值分布图。
图3是经分段多元散射校正处理之后光谱图。
图4是导数预处理光谱图。
图5是导数预处理后建立的近红外模型真实值和预测值对比图。
图6是分段多元散射校正后建立的近红外模型真实值和预测值对比图。
图7外部验证对比图。
具体实施方式
下面采用附图和实施例对本发明作进一步说明。
本实例采用烟草在线近红外光谱作为测试对象，对一种新的近红外光谱数据预处理方法进行详细的说明。
1)采集样本的近红外光谱数据，具体过程：在线近红外光谱仪安装在原烟铺叶生产皮带上，生产过程中原烟经过在线近红外探头，在线近红外光谱仪采集原烟近红外光谱数据。在线近红外光谱仪设置每5秒钟生成一条光谱数据，5秒内抓取1个样本并标号，放入自封袋，共取样358个样本，光谱数据见图1。
2)采用经典方法检测样本的化学值数据，具体过程：将样本烟叶去梗、剪碎放入烘箱中，烘箱温度设置为40℃，烘干3小时，将从烘箱中取出的烟叶放入干燥器中进行冷却到常温，之后将烟叶样本用粉碎机进行粉碎，过40目的筛子，最后利用流动分析仪检测烟叶的烟碱含量，烟碱值见图2。
3)生成的一条光谱数据为x(1×256)，256为连续波长点数。
4)将256个连续波长点对应的吸光度值的子区间宽度设置为50，那么k＝6。
5)对原始近红外光谱数据进行分段多元散射校正处理，处理后的图见图3。
6)对原始近红外光谱数据进行导数预处理，导数参数选择1阶导，平滑点选择13，拟合方程的次数选择1次，处理后的结果见图4。
7)将两种预处理后的近红外光谱数据与化学值分别建立两个模型，建模方法为PLS(偏最小二乘法)，波长选择方法为CARS(自适应竞争重加权采样法)，选择前面的光谱258条作为建模集，后面100条光谱作为验证集，PLS的参数选择成分数为12。其中，R是相关系数，SE是标准误差，RSD是相对标准差。
8)外部验证对比表：
Claims (4)
1.一种近红外光谱数据预处理方法，其特征在于该方法包括以下的步骤：
1)采集样本的近红外光谱数据；
2)采用经典方法检测样本的化学值数据；
3)每个样本的近红外光谱数据为x(1×m)，m为连续波长变量数；
4)将连续波长变量(m)分成k个子区间；
5)计算样品光谱数据每个子区间的平均光谱
6)对一条光谱x(1×m)的子区间光谱xi与对应的子区间平均光谱进行线性回归，用最小二乘法求取b0和b；
7)计算一条光谱子区间的多元散射校正光谱xi,msc＝(xi-b0)/b；
8)得到一条光谱经过多元散射校正预处理后的光谱xmsc＝[x1,msc,x2,msc,…,xk,msc]；
9)最后将得到的近红外光谱预处理后的数据和化学值对应建立近红外定量模型并对该模型进行评价。
2.根据权利要求1所述的一种近红外光谱数据预处理方法，其特征在于所述步骤4)将波长变量(m)分成k个子区间具体方法是：设置每个子区间宽度为w，那么k＝m/w，当m/w的结果是小数时，k的取值是m/w的整数加1；xi(1×w)，当m/w的结果是小数时，那么
3.根据权利要求1所述的一种近红外光谱数据预处理方法，其特征在于所述步骤5)计算样品光谱数据每个子区间的平均光谱具体方法是：将所有样本光谱都分成k个子区间，然后分别计算每个子区间的平均光谱
4.根据权利要求1所述的一种近红外光谱数据预处理方法，其特征在于所述步骤8)得到一条光谱经过多元散射校正预处理后的光谱xmsc＝[x1,msc,x2,msc,…,xk,msc]，具体方法是：将每个子区间依次组合成全波段的多元散射校正数据，xmsc(1×m)＝[x1,msc,x2,msc,…,xk,msc]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710254279.XA CN107132198A (zh) | 2017-04-18 | 2017-04-18 | 一种近红外光谱数据预处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710254279.XA CN107132198A (zh) | 2017-04-18 | 2017-04-18 | 一种近红外光谱数据预处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107132198A true CN107132198A (zh) | 2017-09-05 |
Family
ID=59715527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710254279.XA Pending CN107132198A (zh) | 2017-04-18 | 2017-04-18 | 一种近红外光谱数据预处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107132198A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110702482A (zh) * | 2019-10-23 | 2020-01-17 | 云南烟叶复烤有限责任公司楚雄复烤厂 | 烟草化学成分离线近红外检测监控样品的制作及其应用 |
| CN113686811A (zh) * | 2021-08-26 | 2021-11-23 | 四川启睿克科技有限公司 | 一种基于双传感器的光谱数据处理方法 |
| CN113884185A (zh) * | 2021-09-10 | 2022-01-04 | 中国科学院合肥物质科学研究院 | 一种曲面成像光谱仪光谱弯曲实时校正读取方法和装置 |
| CN114062306A (zh) * | 2021-10-25 | 2022-02-18 | 华东理工大学 | 一种近红外光谱数据分段预处理方法 |
| CN116388733A (zh) * | 2023-05-26 | 2023-07-04 | 奥谱天成（厦门）光电有限公司 | 一种适用于近红外水果无损检测的光谱预处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100036795A1 (en) * | 2005-10-13 | 2010-02-11 | Busch Kenneth W | Classification of Fabrics by Near-Infrared Spectroscopy |
| CN104020135A (zh) * | 2014-06-18 | 2014-09-03 | 中国科学院重庆绿色智能技术研究院 | 基于近红外光谱的校正模型建模方法 |
| CN104931453A (zh) * | 2015-06-12 | 2015-09-23 | 湖北省农业科学院果树茶叶研究所 | 一种基于近红外光谱技术预测绿茶摊青叶含水量的方法 |
| CN106198446A (zh) * | 2016-06-22 | 2016-12-07 | 中国热带农业科学院热带作物品种资源研究所 | 近红外光谱快速测定艾纳香叶粉中左旋龙脑含量的方法 |
-
2017
- 2017-04-18 CN CN201710254279.XA patent/CN107132198A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100036795A1 (en) * | 2005-10-13 | 2010-02-11 | Busch Kenneth W | Classification of Fabrics by Near-Infrared Spectroscopy |
| CN104020135A (zh) * | 2014-06-18 | 2014-09-03 | 中国科学院重庆绿色智能技术研究院 | 基于近红外光谱的校正模型建模方法 |
| CN104931453A (zh) * | 2015-06-12 | 2015-09-23 | 湖北省农业科学院果树茶叶研究所 | 一种基于近红外光谱技术预测绿茶摊青叶含水量的方法 |
| CN106198446A (zh) * | 2016-06-22 | 2016-12-07 | 中国热带农业科学院热带作物品种资源研究所 | 近红外光谱快速测定艾纳香叶粉中左旋龙脑含量的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙柏玲: ""基于红外光谱的慈竹材性预测及其竹原纤维识别研究"", 《中国博士学位论文全文数据库（电子期刊）》 * |
| 秦玉华: ""烟叶通用近红外定量模型稳健性研究"", 《中国博士学位论文全文数据库（电子期刊）》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110702482A (zh) * | 2019-10-23 | 2020-01-17 | 云南烟叶复烤有限责任公司楚雄复烤厂 | 烟草化学成分离线近红外检测监控样品的制作及其应用 |
| CN113686811A (zh) * | 2021-08-26 | 2021-11-23 | 四川启睿克科技有限公司 | 一种基于双传感器的光谱数据处理方法 |
| CN113686811B (zh) * | 2021-08-26 | 2023-11-03 | 四川启睿克科技有限公司 | 一种基于双传感器的光谱数据处理方法 |
| CN113884185A (zh) * | 2021-09-10 | 2022-01-04 | 中国科学院合肥物质科学研究院 | 一种曲面成像光谱仪光谱弯曲实时校正读取方法和装置 |
| CN113884185B (zh) * | 2021-09-10 | 2023-11-24 | 中国科学院合肥物质科学研究院 | 一种曲面成像光谱仪光谱弯曲实时校正读取方法和装置 |
| CN114062306A (zh) * | 2021-10-25 | 2022-02-18 | 华东理工大学 | 一种近红外光谱数据分段预处理方法 |
| CN114062306B (zh) * | 2021-10-25 | 2024-04-05 | 华东理工大学 | 一种近红外光谱数据分段预处理方法 |
| CN116388733A (zh) * | 2023-05-26 | 2023-07-04 | 奥谱天成（厦门）光电有限公司 | 一种适用于近红外水果无损检测的光谱预处理方法及装置 |
| CN116388733B (zh) * | 2023-05-26 | 2023-08-22 | 奥谱天成（厦门）光电有限公司 | 一种适用于近红外水果无损检测的光谱预处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107132198A (zh) | 一种近红外光谱数据预处理方法 | |
| Ren et al. | Multi-variable selection strategy based on near-infrared spectra for the rapid description of dianhong black tea quality | |
| CN109100321A (zh) | 一种卷烟叶组配方维护方法 | |
| Jiang et al. | A fully convolutional neural network-based regression approach for effective chemical composition analysis using near-infrared spectroscopy in cloud | |
| Ren et al. | Using near-infrared hyperspectral imaging with multiple decision tree methods to delineate black tea quality | |
| Li et al. | Geographical traceability of wild Boletus edulis based on data fusion of FT-MIR and ICP-AES coupled with data mining methods (SVM) | |
| CN103120361B (zh) | 一种基于化学成分分布规律的烟叶分切方法 | |
| CN105445421B (zh) | 一种通过外观指标预测片烟醇化过程中感官质量的方法 | |
| CN106501208A (zh) | 一种基于近红外光谱特征的烟叶风格相似性分类方法 | |
| CN107796782A (zh) | 基于烟叶特征光谱一致性度量的复烤质量稳定性评价方法 | |
| CN103411906B (zh) | 珍珠粉和贝壳粉的近红外光谱定性鉴别方法 | |
| CN104792652A (zh) | 一种黄芪药材多指标快速检测方法 | |
| CN105138834A (zh) | 基于近红外光谱波数k均值聚类的烟草化学值定量方法 | |
| Bi et al. | Quality evaluation of flue-cured tobacco by near infrared spectroscopy and spectral similarity method | |
| CN106529584A (zh) | 一种烤烟香型和品质判定的智能评价方法 | |
| CN105740898A (zh) | 一种利用光谱特征向量结合主成分分析建立分类模型的方法 | |
| CN108169165A (zh) | 基于太赫兹光谱和图像信息融合的麦芽糖混合物定量分析方法 | |
| CN110132879A (zh) | 一种基于近红外光谱的烤烟香韵鉴别方法 | |
| CN112801300A (zh) | 预测烟草样品香气量的方法、装置和计算机可读取介质 | |
| CN103344713A (zh) | 一种基于随机森林法分析致香物在烤烟香型分类中的重要性及预测香型的方法 | |
| CN106950192A (zh) | 一种基于近红外光谱分析技术的植物蛋白饮料中主要成分含量快速检测的方法 | |
| CN112595692A (zh) | 一种水果总糖含量预测模型的建立方法及水果总糖含量的预测方法 | |
| Zhao et al. | Exploring the use of Near-infrared spectroscopy as a tool to predict quality attributes in prickly pear (Rosa roxburghii Tratt) with chemometrics variable strategy | |
| CN109324016A (zh) | 一种复烤片烟香型风格的判定方法 | |
| CN107121408A (zh) | 食用植物油品种的快速无损鉴别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170905 |
|
| RJ01 | Rejection of invention patent application after publication |