CN112986169A - 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法 - Google Patents

一种基于采样轮廓波变换的紫外光谱污染物分类检测方法 Download PDF

Info

Publication number
CN112986169A
CN112986169A CN202110267079.4A CN202110267079A CN112986169A CN 112986169 A CN112986169 A CN 112986169A CN 202110267079 A CN202110267079 A CN 202110267079A CN 112986169 A CN112986169 A CN 112986169A
Authority
CN
China
Prior art keywords
pollutant
spectrum
sample
matrix
test sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110267079.4A
Other languages
English (en)
Inventor
赖一行
杨浩
张嘉维
李文涛
钟楚圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong New Generation Industrial Internet Innovation Technology Co ltd
Original Assignee
Guangdong New Generation Industrial Internet Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong New Generation Industrial Internet Innovation Technology Co ltd filed Critical Guangdong New Generation Industrial Internet Innovation Technology Co ltd
Priority to CN202110267079.4A priority Critical patent/CN112986169A/zh
Publication of CN112986169A publication Critical patent/CN112986169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/33Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,包括以下步骤:步骤一,已知污染物测量;步骤二,分类模型建立;步骤三,样本获取;步骤四,浓度测量;步骤五,光谱检测;步骤六,数据处理;步骤七,浓度模型建立;步骤八,分类检测;步骤九,浓度确定;该发明通过对样本数据进行平滑处理、导数处理和SNV处理,大大降低了样本中的噪声和干扰,有利于降低分类测量的误差,该发明不仅仅通过分类模型对样本中含有的污染物进行检测分类,而且同时利用浓度模型根据紫外线的吸光度得出污染物的浓度,有利于提高该发明的实用性,通过光谱直接对比分析法来快速对污染物种类进行区分,有利于提高工作效率。

Description

一种基于采样轮廓波变换的紫外光谱污染物分类检测方法
技术领域
本发明涉及水质监测技术领域,具体为一种基于采样轮廓波变换的紫外光谱污染物分类检测方法。
背景技术
紫外光谱又称紫外和可见光谱,简写为UV,是一种在有机化学中应用最广泛的测定分子结构的方法。
紫外光谱的应用范围十分广泛,随着现代科技的不断进步,在水质检测中也有应用,市面上水中的污染物分类检测一般采用湿化学法,极易造成二次污染,从而诞生了基于采样轮廓波变换的紫外光谱污染物分类检测方法,然而市面上的分类检测方法在检测过程中容易受到检测样品中杂散光的影响,对检测结果造成干扰,增大了检测的误差,同时检测时单单对样品中的污染种类进行检测,无法判断污染物的浓度,实用性较低,并且在分类检测过程中,费时费力,大大降低了分类检测的效率。
发明内容
本发明的目的在于提供一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,包括以下步骤:步骤一,已知污染物测量;步骤二,分类模型建立;步骤三,样本获取;步骤四,浓度测量;步骤五,光谱检测;步骤六,数据处理;步骤七,浓度模型建立;步骤八,分类检测;步骤九,浓度确定;
其中在上述步骤一中,首先取用UV光谱仪对含有单一污染物的标准水样进行检测分析,得到标准污染物的光谱特征,并且建立标准污染物的光谱矩阵作为参考;
其中在上述步骤二中,将步骤一中得到的标准污染物的光谱矩阵带入支持向量机中,经过数据的不断迭代学习得到分类模型;
其中在上述步骤三中,获取多份需要检测的未知污染物作为样本;
其中在上述步骤四中,将步骤三中的未知污染物样本按照7∶3的比例分成实验样本和测试样本,将实验样本利用重铬酸钾滴定法测量其COD值,并且生成实验样本COD值的数据矩阵;
其中在上述步骤五中,将步骤四中的实验样本和测试样本分别利用UV光谱仪进行测量,得到未知污染物的光谱特征,并分别建立实验样本的光谱矩阵和测试样本的光谱矩阵;
其中在上述步骤六中,将步骤五中得到的实验样本的光谱矩阵和测试样本的光谱矩阵分别进行平滑处理、导数处理和SNV处理,处理完成后备用;
其中在上述步骤七中,将步骤六中处理完成的实验样本的光谱矩阵作为训练集,测试样本的光谱矩阵作为测试集,将训练集以及步骤步骤三中测量得到的实验样本COD值的数据矩阵分别利用计算机进行迭代计算,得到浓度模型;
其中在上述步骤八中,将步骤五中得到的测试样本的光谱矩阵带入步骤二中得到的分类模型中,从而得到测试样本中的污染物种类;
其中在上述步骤九中,将步骤五中得到的测试样本的光谱矩阵带入步骤七中得到的浓度模型中,得到测试样本的污染物浓度数据。
根据上述技术方案,所述步骤六中,平滑处理的算法为移动平均法或Savitzky-Go-lay卷积平滑法。
根据上述技术方案,所述步骤六中,导数处理为一阶导数或者二阶导数其中的一种。
根据上述技术方案,所述步骤六中,SNV处理的公式为:,其中是第i个样本的平均值,m为紫外光谱曲线的波长点数,i是样本数。
根据上述技术方案,所述步骤七中,利用COD值作为有机污染物的浓度指标。
根据上述技术方案,所述步骤七中,迭代计算的算法为偏最小二乘PLS。
根据上述技术方案,所述步骤八中,分类模型的分类方法为光谱直接对比分析法,即将测试样本的光谱矩阵与单一污染物的参考矩阵进行线性相关,拟合直线作为标准,若在0.99以上,则说明测试样本中具有该单一污染物。
与现有技术相比,本发明所达到的有益效果是:
1.该发明通过对样本数据进行平滑处理、导数处理和SNV处理,大大降低了样本中的噪声和散射的干扰,减少了光谱之间的叠加和干扰的现象,有利于提升光谱的清晰度,有利于降低分类测量的误差。
2.该发明不仅仅通过分类模型对样本中含有的污染物进行检测分类,而且同时利用浓度模型根据紫外线的吸光度得出污染物的浓度,有利于提高该发明的实用性。
3.该发明通过光谱直接对比分析法来快速对污染物种类进行区分,有利于提高工作效率,并且采用拟合直线来对比,有利于提高准确度。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,包括以下步骤:步骤一,已知污染物测量;步骤二,分类模型建立;步骤三,样本获取;步骤四,浓度测量;步骤五,光谱检测;步骤六,数据处理;步骤七,浓度模型建立;步骤八,分类检测;步骤九,浓度确定;
其中在上述步骤一中,首先取用UV光谱仪对含有单一污染物的标准水样进行检测分析,得到标准污染物的光谱特征,并且建立标准污染物的光谱矩阵作为参考;
其中在上述步骤二中,将步骤一中得到的标准污染物的光谱矩阵带入支持向量机中,经过数据的不断迭代学习得到分类模型;
其中在上述步骤三中,获取多份需要检测的未知污染物作为样本;
其中在上述步骤四中,将步骤三中的未知污染物样本按照7∶3的比例分成实验样本和测试样本,将实验样本利用重铬酸钾滴定法测量其COD值,并且生成实验样本COD值的数据矩阵;
其中在上述步骤五中,将步骤四中的实验样本和测试样本分别利用UV光谱仪进行测量,得到未知污染物的光谱特征,并分别建立实验样本的光谱矩阵和测试样本的光谱矩阵;
其中在上述步骤六中,将步骤五中得到的实验样本的光谱矩阵和测试样本的光谱矩阵分别进行平滑处理、导数处理和SNV处理,处理完成后备用,且平滑处理的算法为移动平均法或Savitzky-Go-lay卷积平滑法,导数处理为一阶导数或者二阶导数其中的一种,SNV处理的公式为:,其中是第i个样本的平均值,m为紫外光谱曲线的波长点数,i是样本数;
其中在上述步骤七中,将步骤六中处理完成的实验样本的光谱矩阵作为训练集,测试样本的光谱矩阵作为测试集,将训练集以及步骤步骤三中测量得到的实验样本COD值的数据矩阵分别利用计算机进行迭代计算,且迭代计算的算法为偏最小二乘PLS,得到浓度模型,且利用COD值作为有机污染物的浓度指标;
其中在上述步骤八中,将步骤五中得到的测试样本的光谱矩阵带入步骤二中得到的分类模型中,从而得到测试样本中的污染物种类,且分类模型的分类方法为光谱直接对比分析法,即将测试样本的光谱矩阵与单一污染物的参考矩阵进行线性相关,拟合直线作为标准,若在0.99以上,则说明测试样本中具有该单一污染物;
其中在上述步骤九中,将步骤五中得到的测试样本的光谱矩阵带入步骤七中得到的浓度模型中,得到测试样本的污染物浓度数据。
基于上述,本发明的优点在于,本发明通过对样本数据进行平滑处理,降低了数据的噪声,通过导数处理,降低了光谱的叠加和干扰,通过SNV处理,提升了光谱的清晰度,有利于降低分类检测的误差,同时通过分类模型以及浓度模型,有利于分别对污染物进行分类,计算其浓度,有利于提高实用性,并且在分类的过程中利用光谱直接对比分析法进行分类,有利于提高工作效率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,包括以下步骤:步骤一,已知污染物测量;步骤二,分类模型建立;步骤三,样本获取;步骤四,浓度测量;步骤五,光谱检测;步骤六,数据处理;步骤七,浓度模型建立;步骤八,分类检测;步骤九,浓度确定;其特征在于:
其中在上述步骤一中,首先取用UV光谱仪对含有单一污染物的标准水样进行检测分析,得到标准污染物的光谱特征,并且建立标准污染物的光谱矩阵作为参考;
其中在上述步骤二中,将步骤一中得到的标准污染物的光谱矩阵带入支持向量机中,经过数据的不断迭代学习得到分类模型;
其中在上述步骤三中,获取多份需要检测的未知污染物作为样本;
其中在上述步骤四中,将步骤三中的未知污染物样本按照7∶3的比例分成实验样本和测试样本,将实验样本利用重铬酸钾滴定法测量其COD值,并且生成实验样本COD值的数据矩阵;
其中在上述步骤五中,将步骤四中的实验样本和测试样本分别利用UV光谱仪进行测量,得到未知污染物的光谱特征,并分别建立实验样本的光谱矩阵和测试样本的光谱矩阵;
其中在上述步骤六中,将步骤五中得到的实验样本的光谱矩阵和测试样本的光谱矩阵分别进行平滑处理、导数处理和SNV处理,处理完成后备用;
其中在上述步骤七中,将步骤六中处理完成的实验样本的光谱矩阵作为训练集,测试样本的光谱矩阵作为测试集,将训练集以及步骤步骤三中测量得到的实验样本COD值的数据矩阵分别利用计算机进行迭代计算,得到浓度模型;
其中在上述步骤八中,将步骤五中得到的测试样本的光谱矩阵带入步骤二中得到的分类模型中,从而得到测试样本中的污染物种类;
其中在上述步骤九中,将步骤五中得到的测试样本的光谱矩阵带入步骤七中得到的浓度模型中,得到测试样本的污染物浓度数据。
2.根据权利要求1所述的一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,其特征在于:所述步骤六中,平滑处理的算法为移动平均法或Savitzky-Go-lay卷积平滑法。
3.根据权利要求1所述的一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,其特征在于:所述步骤六中,导数处理为一阶导数或者二阶导数其中的一种。
4.根据权利要求1所述的一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,其特征在于:所述步骤六中,SNV处理的公式为:,其中是第i个样本的平均值,m为紫外光谱曲线的波长点数,i是样本数。
5.根据权利要求1所述的一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,其特征在于:所述步骤七中,利用COD值作为有机污染物的浓度指标。
6.根据权利要求1所述的一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,其特征在于:所述步骤七中,迭代计算的算法为偏最小二乘PLS。
7.根据权利要求1所述的一种基于采样轮廓波变换的紫外光谱污染物分类检测方法,其特征在于:所述步骤八中,分类模型的分类方法为光谱直接对比分析法,即将测试样本的光谱矩阵与单一污染物的参考矩阵进行线性相关,拟合直线作为标准,若在0.99以上,则说明测试样本中具有该单一污染物。
CN202110267079.4A 2021-03-11 2021-03-11 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法 Pending CN112986169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267079.4A CN112986169A (zh) 2021-03-11 2021-03-11 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267079.4A CN112986169A (zh) 2021-03-11 2021-03-11 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法

Publications (1)

Publication Number Publication Date
CN112986169A true CN112986169A (zh) 2021-06-18

Family

ID=76335080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267079.4A Pending CN112986169A (zh) 2021-03-11 2021-03-11 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法

Country Status (1)

Country Link
CN (1) CN112986169A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103267739A (zh) * 2013-05-07 2013-08-28 浙江大学 一种基于光谱技术的水产养殖废水有机物浓度测量方法
CN103712939A (zh) * 2013-12-30 2014-04-09 张显超 一种基于紫外可见光谱的污染物浓度拟合方法
CN103776789A (zh) * 2014-02-26 2014-05-07 张显超 一种基于紫外可见光谱的未知污染物预警方法
CN107122733A (zh) * 2017-04-25 2017-09-01 西安电子科技大学 基于nsct和sae的高光谱图像分类方法
CN107169471A (zh) * 2017-06-07 2017-09-15 深圳市创艺工业技术有限公司 一种基于图像融合的指纹识别***
CN107316013A (zh) * 2017-06-14 2017-11-03 西安电子科技大学 基于nsct变换和dcnn的高光谱图像分类方法
CN110702648A (zh) * 2019-09-09 2020-01-17 浙江大学 基于非下采样轮廓波变换的荧光光谱污染物分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103267739A (zh) * 2013-05-07 2013-08-28 浙江大学 一种基于光谱技术的水产养殖废水有机物浓度测量方法
CN103712939A (zh) * 2013-12-30 2014-04-09 张显超 一种基于紫外可见光谱的污染物浓度拟合方法
CN103776789A (zh) * 2014-02-26 2014-05-07 张显超 一种基于紫外可见光谱的未知污染物预警方法
CN107122733A (zh) * 2017-04-25 2017-09-01 西安电子科技大学 基于nsct和sae的高光谱图像分类方法
CN107169471A (zh) * 2017-06-07 2017-09-15 深圳市创艺工业技术有限公司 一种基于图像融合的指纹识别***
CN107316013A (zh) * 2017-06-14 2017-11-03 西安电子科技大学 基于nsct变换和dcnn的高光谱图像分类方法
CN110702648A (zh) * 2019-09-09 2020-01-17 浙江大学 基于非下采样轮廓波变换的荧光光谱污染物分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴元清 等: "水体有机污染物浓度检测中的紫外光谱分析方法", 《光谱学与光谱分析》 *
黄平捷 等: "基于SPA和多分类SVM的紫外-可见光光谱饮用水有机污染物判别方法研究", 《光谱学与光谱分析》 *

Similar Documents

Publication Publication Date Title
CN108108889A (zh) 一种水质监测数据在线处理方法及装置
CN109187392B (zh) 一种基于分区建模的锌液痕量金属离子浓度预测方法
CN106918567B (zh) 一种测量痕量金属离子浓度的方法和装置
CN111239071A (zh) 一种光谱法海水硝酸盐浓度检测方法
CN110108658B (zh) 一种污染气体红外光谱识别方法及***
CN115810403B (zh) 一种基于环境特征信息评估水质污染的方法
CN111198165A (zh) 一种基于光谱数据标准化进行水质参数的测定方法
CN102072767A (zh) 基于波长相似性共识回归红外光谱定量分析方法和装置
CN112504983A (zh) 一种基于浊度色度补偿的硝酸盐浓度预测方法
CN110231328B (zh) 一种基于半峰高距离法的拉曼光谱定量分析方法
Ju et al. Rapid Identification of Atmospheric Gaseous Pollutants Using Fourier‐Transform Infrared Spectroscopy Combined with Independent Component Analysis
CN113686811A (zh) 一种基于双传感器的光谱数据处理方法
Yao et al. Moving-window bis-correlation coefficients method for visible and near-infrared spectral discriminant analysis with applications
CN112986169A (zh) 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法
CN117129466A (zh) 一种水利工程材料含水率检测方法
CN110887798A (zh) 基于极端随机树的非线性全光谱水体浊度定量分析方法
CN111521577A (zh) 一种以二氧化碳峰面积为参比的红外光谱定量分析方法
CN116380869A (zh) 一种基于自适应稀疏分解的拉曼光谱去噪方法
CN111141809A (zh) 一种基于非接触式电导信号的土壤养分离子含量检测方法
CN112858208A (zh) 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法
CN114062306B (zh) 一种近红外光谱数据分段预处理方法
CN115586145A (zh) 一种基于光谱技术的钢铁冶金行业废水重金属监测方法
Aguilera et al. PLS and PCR methods in the assessment of coastal water quality
CN112326619A (zh) 一种基于双光谱技术的微流控农药残留检测方法
CN215493143U (zh) 一种多光谱结合pls-da区分植物叶色细微差别的***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication