CN115389439B - 基于大数据的河流污染物监测方法及*** - Google Patents

基于大数据的河流污染物监测方法及*** Download PDF

Info

Publication number
CN115389439B
CN115389439B CN202211332805.7A CN202211332805A CN115389439B CN 115389439 B CN115389439 B CN 115389439B CN 202211332805 A CN202211332805 A CN 202211332805A CN 115389439 B CN115389439 B CN 115389439B
Authority
CN
China
Prior art keywords
water quality
river
data
water
pollutant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211332805.7A
Other languages
English (en)
Other versions
CN115389439A (zh
Inventor
王陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Changli Shangyang Technology Co ltd
Original Assignee
Hunan Changli Shangyang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Changli Shangyang Technology Co ltd filed Critical Hunan Changli Shangyang Technology Co ltd
Priority to CN202211332805.7A priority Critical patent/CN115389439B/zh
Publication of CN115389439A publication Critical patent/CN115389439A/zh
Application granted granted Critical
Publication of CN115389439B publication Critical patent/CN115389439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/33—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及河流污染物监测的技术领域，揭露了一种基于大数据的河流污染物监测方法及***，方法包括：对所采集河流水体样本水质进行形式化表示；对形式化表达的水质数据进行预处理；对预处理后的水质数据进行谱特征提取得到水质特征参数；构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中；将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，得到监测河流是否存在污染物以及污染物来源。本发明实现河流水体样本水质的形式化表示，对形式化表示结果进行特征提取，实现河流水质类别的识别以及河流中是否存在污染物以及污染物来源的识别监测。

Description

基于大数据的河流污染物监测方法及***
技术领域
本发明涉及河流污染物监测的技术领域，尤其涉及一种基于大数据的河流污染物监测方法及***。
背景技术
药残留和病原菌是河流中重要的微污染源，通过水体循环并经食物链的传导最终威胁人类健康，传统河流污染物监测方法需要采集河流数据并进行多轮过滤，对过滤出的物质进行污染分析，无法对河流进行实时的污染物监测。针对该问题，本专利提出一种基于大数据的河流污染物监测方法及***，实现对河流污染物的实时精确监测。
发明内容
有鉴于此，本发明提供一种基于大数据的河流污染物监测方法，目的在于1）利用立体光谱将实时采样的河流水体样本数据转换为矩阵形式，并使用多项式滤波方法对矩阵形式的水质数据进行滤波处理，实现光谱转换过程中产生噪声的过滤，得到可用且精准的矩阵形式水质数据，并可实现河流的实时监测；2）通过对矩阵形式的水质数据进行膨胀腐蚀处理，并提取特征向量，将所提取特征向量作为水质特征向量，实现水质特征的快速提取，通过构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，基于大数据技术获取的不同水质不同污染物来源的污染水质特征参数，将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，并准确识别出污染物来源，从而针对污染物来源确定更为有效的河流治理以及防护方案。
实现上述目的，本发明提供的一种基于大数据的河流污染物监测方法，包括以下步骤：
S1：采集河流水体样本，并对河流水体样本水质进行形式化表示，其中立体光谱为所述水质形式化表达的主要方法；
S2：对形式化表达的水质数据进行预处理，得到预处理后的水质数据；
S3：对预处理后的水质数据进行谱特征提取得到水质特征参数，其中数学形态学膨胀腐蚀操作为所述谱特征提取的主要方法；
S4：构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，所述变权水质污染物识别模型以提取得到的水质特征参数为输入，以水质类别为输出；
S5：将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，否则不存在。
作为本发明的进一步改进方法：
可选地，所述S1步骤中采集河流水体样本，并对河流水体样本水质进行形式化表示，包括：
实时采集正处于污染物监测状态河流的河流水体样本，相邻河流水体样本采集时刻的间隔时间为t，利用光谱仪对采集到的河流水体样本水质进行形式化表示，在本发明实施例中，所选取的光谱仪型号为海洋Maya 2000Pro光谱仪，测量波段为200~800纳米；
所述形式化表示流程为：
S11：光谱仪向河流水体样本发生不同波长的紫外线，河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱，其中不同波长的紫外线即为不同波长的发射光谱；在本发明实施例中，所述分子为不同化学成分；
对于河流水体样本水质中的任意第i种分子
Figure 871832DEST_PATH_IMAGE001
，所对应的紫外线波长为/>
Figure 804759DEST_PATH_IMAGE002
，其中所述分子/>
Figure 117DEST_PATH_IMAGE001
通过吸收对应波长/>
Figure 820568DEST_PATH_IMAGE002
的紫外线能量实现能级跃迁，由基态跃迁为激发态；
分子
Figure 50561DEST_PATH_IMAGE001
吸收对应波长/>
Figure 154390DEST_PATH_IMAGE002
的紫外线能量/>
Figure 102623DEST_PATH_IMAGE003
为：
Figure 225300DEST_PATH_IMAGE004
其中：
Figure 76843DEST_PATH_IMAGE003
表示分子/>
Figure 118618DEST_PATH_IMAGE001
进行能级跃迁的所需能量；
h表示普朗克常数，c表示光速；
S12：计算河流水体样本中不同分子的吸光度，其中分子
Figure 928048DEST_PATH_IMAGE001
的吸光度/>
Figure 447891DEST_PATH_IMAGE005
为：
Figure 622783DEST_PATH_IMAGE006
其中：
Figure 366617DEST_PATH_IMAGE007
表示紫外线向分子/>
Figure 522399DEST_PATH_IMAGE001
的入射光强，/>
Figure 986878DEST_PATH_IMAGE008
表示紫外线向分子/>
Figure 780390DEST_PATH_IMAGE001
的出射光强；
S13：构建河流水体样本水质的立体光谱w：
Figure 196591DEST_PATH_IMAGE009
其中：
Figure 809974DEST_PATH_IMAGE010
表示分子/>
Figure 600117DEST_PATH_IMAGE001
接收对应波长/>
Figure 513716DEST_PATH_IMAGE002
紫外线进行能级跃迁过程中的反射光谱，反射光谱的波长为/>
Figure 100817DEST_PATH_IMAGE011
；
n表示河流水体样本水质中分子的种类数；
Figure 342443DEST_PATH_IMAGE012
表示波长为/>
Figure 273358DEST_PATH_IMAGE002
的紫外线发射光谱；
S14：将立体光谱w转换为立体光谱矩阵W，将立体光谱矩阵W作为形式化表达的水质数据D，所述水质数据D为矩阵形式，矩阵的行数为
Figure 805577DEST_PATH_IMAGE013
，矩阵的列数为/>
Figure 94739DEST_PATH_IMAGE013
，其中所述立体光谱矩阵W中的行序表示紫外线发射波长序列，列序表示反射光谱对应波长的序列，矩阵中的元素表示在固定反射光谱和发射光谱下的光谱强度，即矩阵中对应波长为/>
Figure 948294DEST_PATH_IMAGE002
的行A，以及对应波长为/>
Figure 292688DEST_PATH_IMAGE014
的列B，矩阵中位置为(A，B)的元素值为/>
Figure 944992DEST_PATH_IMAGE015
。
可选地，所述S2步骤中对形式化表达的水质数据进行预处理，包括：
对形式化表达的水质数据D进行预处理，所述预处理流程为：
S21：构建长度为
Figure 841273DEST_PATH_IMAGE013
的滑动窗口，利用p次的多项式对滑动窗口内的数据点进行拟合，去除水质数据D中的噪声，所述p次的多项式为：
Figure 90114DEST_PATH_IMAGE016
其中：
Figure 362833DEST_PATH_IMAGE017
表示p次的多项式，x表示输入多项式的值，/>
Figure 604065DEST_PATH_IMAGE018
表示多项式的拟合系数；
S22：将水质数据D中每一行数据输入到滑动窗口中，其中
Figure 812192DEST_PATH_IMAGE019
表示水质数据D中第z行第c列的数据，/>
Figure 374760DEST_PATH_IMAGE020
)表示水质数据D的第z行数据，
Figure 687055DEST_PATH_IMAGE021
；
S23：滑动窗口根据输入的每一行数据，计算得到该行数据的多项式拟合系数，其中基于第z行数据的多项式拟合系数计算结果
Figure 549838DEST_PATH_IMAGE022
为：
Figure 286456DEST_PATH_IMAGE023
Figure 477266DEST_PATH_IMAGE024
其中：
T表示转置；
S24：计算得到水质数据D中第z行数据的滤波降噪处理后结果
Figure 593252DEST_PATH_IMAGE025
：
Figure 576121DEST_PATH_IMAGE026
S25：重复步骤S22-S24，得到每行数据的滤波降噪处理结果，并构成滤波降噪预处理后的水质数据
Figure 483640DEST_PATH_IMAGE027
：/>
Figure 427326DEST_PATH_IMAGE028
其中水质数据
Figure 579958DEST_PATH_IMAGE027
即为预处理后的水质数据。
可选地，所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数，包括：
对预处理后的水质数据
Figure 653219DEST_PATH_IMAGE027
进行谱特征提取得到水质特征参数，所述水质特征参数的提取流程为：
S31：对预处理后的水质数据
Figure 374050DEST_PATH_IMAGE027
进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：
Figure 162621DEST_PATH_IMAGE029
Figure 118945DEST_PATH_IMAGE030
Figure 46712DEST_PATH_IMAGE031
其中：
Figure 938444DEST_PATH_IMAGE032
表示膨胀腐蚀处理后的水质数据；
Figure 450197DEST_PATH_IMAGE033
表示膨胀处理，C表示膨胀矩阵，在本发明实施例中，所述膨胀处理的流程为用膨胀矩阵的中心点依次扫描待膨胀矩阵的元素，待膨胀矩阵的被扫描元素的取值为膨胀矩阵所有效覆盖的待膨胀矩阵元素的最大值，其中膨胀矩阵中元素值为1的元素可以有效覆盖待膨胀矩阵元素；
Figure 443167DEST_PATH_IMAGE034
表示腐蚀处理，F表示腐蚀矩阵，在本发明实施例中，所述腐蚀处理的流程为用腐蚀矩阵的中心点依次扫描待腐蚀矩阵的元素，待腐蚀矩阵的被扫描元素的取值为腐蚀矩阵所有效覆盖的待腐蚀矩阵元素的最小值，其中腐蚀矩阵中元素值为1的元素可以有效覆盖待腐蚀矩阵元素；
S32：计算矩阵
Figure 255135DEST_PATH_IMAGE035
，并计算矩阵Q的协方差矩阵/>
Figure 678288DEST_PATH_IMAGE036
：
Figure 552703DEST_PATH_IMAGE037
S33：计算得到协方差矩阵
Figure 231856DEST_PATH_IMAGE036
的第u个特征值/>
Figure 367171DEST_PATH_IMAGE038
：
Figure 102172DEST_PATH_IMAGE039
其中：
I表示单位矩阵；
选取所计算得到的协方差矩阵
Figure 322937DEST_PATH_IMAGE036
最大的10个特征值
Figure 657710DEST_PATH_IMAGE040
，并计算所选取特征值所对应的特征向量为：/>
Figure 178690DEST_PATH_IMAGE041
其中：
Figure 209226DEST_PATH_IMAGE042
表示特征值/>
Figure 58233DEST_PATH_IMAGE043
所对应的特征向量，并将/>
Figure 698162DEST_PATH_IMAGE042
作为水质特征向量，/>
Figure 41025DEST_PATH_IMAGE044
；
S34：将水质特征向量拼接为水质特征参数
Figure 740996DEST_PATH_IMAGE045
。
可选地，所述S4步骤中构建变权水质污染物识别模型，包括：
构建变权水质污染物识别模型，所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层；
输入层用于接收水质特征参数，并将水质特征参数输入到变权聚类层，其中水质特征参数由多个水质特征向量组成；
变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权，并基于水质特征向量的权重进行水质特征向量的聚类处理，得到若干个聚类簇，将聚类簇输入到分类层中；
分类层用于接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
在本发明实施例中，所述每个水质类别所对应河流的标准水质特征向量模板的构建流程为：采集同一水质类别的不同河流的水体样本进行混合，其中所选取河流包括不存在污染物的河流、存在较多污染物的河流，将混合数据进行形式化表示、预处理以及水质特征向量提取，并取所提取若干水质特征向量的向量均值作为该水质类别的标准水质特征向量模板。
可选地，所述S4步骤中将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，包括：
将水质特征参数
Figure 172240DEST_PATH_IMAGE046
输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，其中基于模型的水质类别识别流程为：
S41：变权水质污染物识别模型的输入层接收水质特征参数
Figure 442291DEST_PATH_IMAGE046
，并将水质特征参数
Figure 813230DEST_PATH_IMAGE046
输入到变权聚类层中；
S42：变权聚类层计算水质特征参数
Figure 418523DEST_PATH_IMAGE046
中每个水质特征向量的权重，其中水质特征向量/>
Figure 868221DEST_PATH_IMAGE047
的权重/>
Figure 256477DEST_PATH_IMAGE048
表示为：
Figure 839512DEST_PATH_IMAGE049
其中：
Figure 146865DEST_PATH_IMAGE050
表示水质特征向量/>
Figure 457761DEST_PATH_IMAGE047
的标准差；
S43：从水质特征参数
Figure 10227DEST_PATH_IMAGE046
中随机选取k个水质特征向量作为初始聚类簇中心，k<10；
S44：计算其他非聚类簇中心到聚类簇中心的加权欧式距离，其中非聚类簇中心表示水质特征参数中不为聚类簇中心的水质特征向量，所述加权欧式距离表示在计算得到两个水质特征向量的欧式距离后，分别乘以两个水质特征向量的权重；
S45：计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值，并在簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心，返回步骤S44，直到每个聚类簇均无法选取新的聚类簇中心，得到k个聚类簇以及k个聚类簇中心，变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层；
S46：模型中的分类层接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
可选地，所述S5步骤中将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，包括：
将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值
Figure 683654DEST_PATH_IMAGE051
，则说明所采集河流水体存在污染，否则不存在污染，其中相似性判别的公式为：
Figure 801390DEST_PATH_IMAGE053
其中：
e表示所采集河流水体样本的水质特征参数的水质类别；
Figure 458636DEST_PATH_IMAGE054
表示水质类别e的污染物h导致的污染河流的污染水质特征参数；
Figure 549214DEST_PATH_IMAGE055
表示水质特征参数/>
Figure 483672DEST_PATH_IMAGE046
中不同水质特征向量的均值，/>
Figure 132828DEST_PATH_IMAGE056
表示污染水质特征参数/>
Figure 510326DEST_PATH_IMAGE054
中不同污染水质特征向量的均值；
Figure 903130DEST_PATH_IMAGE057
表示所采集河流水体样本的水质特征参数/>
Figure 459139DEST_PATH_IMAGE046
与相同水质类别e的由污染物h导致的污染水质特征参数/>
Figure 13617DEST_PATH_IMAGE058
的相似性判别结果，/>
Figure 786401DEST_PATH_IMAGE059
，H表示污染物的种类数，若/>
Figure 12589DEST_PATH_IMAGE057
大于指定相似阈值/>
Figure 282159DEST_PATH_IMAGE051
，则说明所采集河流水体存在污染，污染来源为污染物h。
为了解决上述问题，本发明提供一种基于大数据的河流污染物监测***，所述***包括：
河流数据形式化表示装置，用于采集河流水体样本，并对河流水体样本水质进行形式化表示；
数据处理模块，用于对形式化表达的水质数据进行预处理，得到预处理后的水质数据，对预处理后的水质数据进行谱特征提取得到水质特征参数；
污染物监测装置，用于构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，并确定污染来源。
相对于现有技术，本发明提出一种基于大数据的河流污染物监测方法，该技术具有以下优势：
首先，本方案提出一种河流水体样本的形式化表示方法，通过实时采集正处于污染物监测状态河流的河流水体样本，利用光谱仪向河流水体样本发生不同波长的紫外线，河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱，其中不同波长的紫外线即为不同波长的发射光谱；对于河流水体样本水质中的任意第i种分子
Figure 273118DEST_PATH_IMAGE001
，所对应的紫外线波长为/>
Figure 648646DEST_PATH_IMAGE002
，其中所述分子/>
Figure 258619DEST_PATH_IMAGE001
通过吸收对应波长/>
Figure 412388DEST_PATH_IMAGE002
的紫外线能量实现能级跃迁，由基态跃迁为激发态；
分子
Figure 810134DEST_PATH_IMAGE001
吸收对应波长/>
Figure 557510DEST_PATH_IMAGE002
的紫外线能量/>
Figure 328763DEST_PATH_IMAGE003
为：
Figure 212406DEST_PATH_IMAGE004
其中：
Figure 279588DEST_PATH_IMAGE003
表示分子/>
Figure 874780DEST_PATH_IMAGE001
进行能级跃迁的所需能量；
h表示普朗克常数，c表示光速；计算河流水体样本中不同分子的吸光度，其中分子
Figure 685610DEST_PATH_IMAGE060
的吸光度/>
Figure 656714DEST_PATH_IMAGE061
为：
Figure 160377DEST_PATH_IMAGE006
其中：
Figure 446127DEST_PATH_IMAGE062
表示紫外线向分子/>
Figure 795069DEST_PATH_IMAGE060
的入射光强，/>
Figure 276472DEST_PATH_IMAGE063
表示紫外线向分子/>
Figure 685457DEST_PATH_IMAGE060
的出射光强；构建河流水体样本水质的立体光谱w：
Figure 724082DEST_PATH_IMAGE064
其中：
Figure 939032DEST_PATH_IMAGE065
表示分子/>
Figure 478204DEST_PATH_IMAGE060
接收对应波长/>
Figure 58090DEST_PATH_IMAGE066
紫外线进行能级跃迁过程中的反射光谱，反射光谱的波长为/>
Figure 990536DEST_PATH_IMAGE067
；n表示河流水体样本水质中分子的种类数；/>
Figure 681281DEST_PATH_IMAGE068
表示波长为/>
Figure 606118DEST_PATH_IMAGE066
的紫外线发射光谱；将立体光谱w转换为立体光谱矩阵W，将立体光谱矩阵W作为形式化表达的水质数据D，所述水质数据D为矩阵形式，矩阵的行数为/>
Figure 622484DEST_PATH_IMAGE069
，矩阵的列数为/>
Figure 635702DEST_PATH_IMAGE069
，其中所述立体光谱矩阵W中的行序表示紫外线发射波长序列，列序表示反射光谱对应波长的序列，矩阵中的元素表示在固定反射光谱和发射光谱下的光谱强度。本方案利用立体光谱将实时采样的河流水体样本数据转换为矩阵形式，从而可以使用多项式滤波方法对矩阵形式的水质数据进行滤波处理，实现光谱转换过程中产生噪声的过滤，得到可用且精准的矩阵形式水质数据，并可实现河流的实时监测。
因此，本方案提出一种河流污染物识别方法，通过构建变权水质污染物识别模型，变权聚类层计算水质特征参数
Figure 536662DEST_PATH_IMAGE046
中每个水质特征向量的权重，其中水质特征向量/>
Figure 83050DEST_PATH_IMAGE047
的权重
Figure 768853DEST_PATH_IMAGE048
表示为：
Figure 502322DEST_PATH_IMAGE049
其中：
Figure 177279DEST_PATH_IMAGE070
表示水质特征向量/>
Figure 578174DEST_PATH_IMAGE071
的标准差；从水质特征参数/>
Figure 434878DEST_PATH_IMAGE072
中随机选取k个水质特征向量作为初始聚类簇中心；计算其他非聚类簇中心到聚类簇中心的加权欧式距离；计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值，并在簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心，返回步骤S44，直到每个聚类簇均无法选取新的聚类簇中心，得到k个聚类簇以及k个聚类簇中心，变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层；模型中的分类层接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值/>
Figure 921223DEST_PATH_IMAGE073
，则说明所采集河流水体存在污染，否则不存在污染，其中相似性判别的公式为：
Figure 898406DEST_PATH_IMAGE074
其中：e表示所采集河流水体样本的水质特征参数的水质类别；
Figure 920851DEST_PATH_IMAGE054
表示水质类别e的污染物h导致的污染河流的污染水质特征参数；/>
Figure 449921DEST_PATH_IMAGE075
表示水质特征参数/>
Figure 414377DEST_PATH_IMAGE072
中不同水质特征向量的均值，/>
Figure 460830DEST_PATH_IMAGE056
表示污染水质特征参数/>
Figure 931257DEST_PATH_IMAGE054
中不同污染水质特征向量的均值；/>
Figure 506595DEST_PATH_IMAGE057
表示所采集河流水体样本的水质特征参数/>
Figure 731646DEST_PATH_IMAGE072
与相同水质类别e的由污染物h导致的污染水质特征参数/>
Figure 50632DEST_PATH_IMAGE076
的相似性判别结果，/>
Figure 546205DEST_PATH_IMAGE077
，H表示污染物的种类数，若/>
Figure 387384DEST_PATH_IMAGE057
大于指定相似阈值/>
Figure 601196DEST_PATH_IMAGE073
，则说明所采集河流水体存在污染，污染来源为污染物h。本方案通过对矩阵形式的水质数据进行膨胀腐蚀处理，并提取特征向量，将所提取特征向量作为水质特征向量，实现水质特征的快速提取，通过构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，基于大数据技术获取的不同水质不同污染物来源的污染水质特征参数，将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，并准确识别出污染物来源，从而针对污染物来源确定更为有效的河流治理以及防护方案。
附图说明
图1为本发明一实施例提供的一种基于大数据的河流污染物监测方法的流程示意图；
图2为本发明一实施例提供的基于大数据的河流污染物监测***的功能模块图；
图3为本发明一实施例提供的实现基于大数据的河流污染物监测方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于大数据的河流污染物监测方法。所述基于大数据的河流污染物监测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于大数据的河流污染物监测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1：
S1：采集河流水体样本，并对河流水体样本水质进行形式化表示，其中立体光谱为所述水质形式化表达的主要方法。
所述S1步骤中采集河流水体样本，并对河流水体样本水质进行形式化表示，包括：
实时采集正处于污染物监测状态河流的河流水体样本，相邻河流水体样本采集时刻的间隔时间为t，利用光谱仪对采集到的河流水体样本水质进行形式化表示；
所述形式化表示流程为：
S11：光谱仪向河流水体样本发生不同波长的紫外线，河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱，其中不同波长的紫外线即为不同波长的发射光谱；在本发明实施例中，所述分子为不同化学成分；
通过吸收对应波长
Figure 956829DEST_PATH_IMAGE002
的紫外线能量实现能级跃迁，由基态跃迁为激发态；
分子
Figure 838066DEST_PATH_IMAGE001
吸收对应波长/>
Figure 755207DEST_PATH_IMAGE002
的紫外线能量/>
Figure 426622DEST_PATH_IMAGE003
为：
Figure 212044DEST_PATH_IMAGE004
其中：
Figure 915164DEST_PATH_IMAGE003
表示分子/>
Figure 268785DEST_PATH_IMAGE001
进行能级跃迁的所需能量；
h表示普朗克常数，c表示光速；
S12：计算河流水体样本中不同分子的吸光度，其中分子
Figure 161917DEST_PATH_IMAGE001
的吸光度/>
Figure 157555DEST_PATH_IMAGE005
为：
Figure 216647DEST_PATH_IMAGE006
其中：
Figure 364338DEST_PATH_IMAGE007
表示紫外线向分子/>
Figure 243301DEST_PATH_IMAGE001
的入射光强，/>
Figure 544095DEST_PATH_IMAGE008
表示紫外线向分子/>
Figure 457693DEST_PATH_IMAGE001
的出射光强；
S13：构建河流水体样本水质的立体光谱w：
Figure 245127DEST_PATH_IMAGE009
其中：
Figure 752332DEST_PATH_IMAGE010
表示分子/>
Figure 417668DEST_PATH_IMAGE001
接收对应波长/>
Figure 952817DEST_PATH_IMAGE002
紫外线进行能级跃迁过程中的反射光谱，反射光谱的波长为/>
Figure 943776DEST_PATH_IMAGE011
；
n表示河流水体样本水质中分子的种类数；
Figure 436812DEST_PATH_IMAGE012
表示波长为/>
Figure 436998DEST_PATH_IMAGE002
的紫外线发射光谱；
S14：将立体光谱w转换为立体光谱矩阵W，将立体光谱矩阵W作为形式化表达的水质数据D，所述水质数据D为矩阵形式，矩阵的行数为
Figure 934975DEST_PATH_IMAGE013
，矩阵的列数为/>
Figure 598300DEST_PATH_IMAGE013
。
S2：对形式化表达的水质数据进行预处理，得到预处理后的水质数据。
所述S2步骤中对形式化表达的水质数据进行预处理，包括：
对形式化表达的水质数据D进行预处理，所述预处理流程为：
S21：构建长度为
Figure 939151DEST_PATH_IMAGE013
的滑动窗口，利用p次的多项式对滑动窗口内的数据点进行拟合，去除水质数据D中的噪声，所述p次的多项式为：
Figure 851350DEST_PATH_IMAGE016
其中：
Figure 594047DEST_PATH_IMAGE017
表示p次的多项式，x表示输入多项式的值，/>
Figure 693853DEST_PATH_IMAGE018
表示多项式的拟合系数；
S22：将水质数据D中每一行数据输入到滑动窗口中，其中
Figure 397366DEST_PATH_IMAGE019
表示水质数据D中第z行第c列的数据，/>
Figure 473776DEST_PATH_IMAGE020
)表示水质数据D的第z行数据，
Figure 858531DEST_PATH_IMAGE021
；
S23：滑动窗口根据输入的每一行数据，计算得到该行数据的多项式拟合系数，其中基于第z行数据的多项式拟合系数计算结果
Figure 237560DEST_PATH_IMAGE022
为：
Figure 54468DEST_PATH_IMAGE023
Figure 934568DEST_PATH_IMAGE024
其中：
T表示转置；
S24：计算得到水质数据D中第z行数据的滤波降噪处理后结果
Figure 792803DEST_PATH_IMAGE025
：
Figure 700323DEST_PATH_IMAGE026
S25：重复步骤S22-S24，得到每行数据的滤波降噪处理结果，并构成滤波降噪预处理后的水质数据
Figure 644008DEST_PATH_IMAGE078
：/>
Figure 563685DEST_PATH_IMAGE028
其中水质数据
Figure 401060DEST_PATH_IMAGE027
即为预处理后的水质数据。
S3：对预处理后的水质数据进行谱特征提取得到水质特征参数，其中数学形态学膨胀腐蚀操作为所述谱特征提取的主要方法。
所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数，包括：
对预处理后的水质数据
Figure 121891DEST_PATH_IMAGE027
进行谱特征提取得到水质特征参数，所述水质特征参数的提取流程为：
S31：对预处理后的水质数据
Figure 238358DEST_PATH_IMAGE027
进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：
Figure 335627DEST_PATH_IMAGE029
Figure 528973DEST_PATH_IMAGE030
Figure 686285DEST_PATH_IMAGE031
其中：
Figure 696573DEST_PATH_IMAGE032
表示膨胀腐蚀处理后的水质数据；
Figure 722167DEST_PATH_IMAGE033
表示膨胀处理，C表示膨胀矩阵；
Figure 143921DEST_PATH_IMAGE034
表示腐蚀处理，F表示腐蚀矩阵；
S32：计算矩阵
Figure 98233DEST_PATH_IMAGE035
，并计算矩阵Q的协方差矩阵/>
Figure 238227DEST_PATH_IMAGE036
：
Figure 34888DEST_PATH_IMAGE037
S33：计算得到协方差矩阵
Figure 435783DEST_PATH_IMAGE036
的第u个特征值/>
Figure 295416DEST_PATH_IMAGE038
：
Figure 922707DEST_PATH_IMAGE039
其中：
I表示单位矩阵；
选取所计算得到的协方差矩阵
Figure 24524DEST_PATH_IMAGE036
最大的10个特征值
Figure 919405DEST_PATH_IMAGE040
，并计算所选取特征值所对应的特征向量为：
Figure 448476DEST_PATH_IMAGE041
其中：
Figure 828641DEST_PATH_IMAGE042
表示特征值/>
Figure 235614DEST_PATH_IMAGE043
所对应的特征向量，并将/>
Figure 345522DEST_PATH_IMAGE042
作为水质特征向量，/>
Figure 544028DEST_PATH_IMAGE044
；
S34：将水质特征向量拼接为水质特征参数
Figure 145911DEST_PATH_IMAGE045
。/>
S4：构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，所述变权水质污染物识别模型以提取得到的水质特征参数为输入，以水质类别为输出。
所述S4步骤中构建变权水质污染物识别模型，包括：
构建变权水质污染物识别模型，所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层；
输入层用于接收水质特征参数，并将水质特征参数输入到变权聚类层，其中水质特征参数由多个水质特征向量组成；
变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权，并基于水质特征向量的权重进行水质特征向量的聚类处理，得到若干个聚类簇，将聚类簇输入到分类层中；
分类层用于接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
在本发明实施例中，所述每个水质类别所对应河流的标准水质特征向量模板的构建流程为：采集同一水质类别的不同河流的水体样本进行混合，其中所选取河流包括不存在污染物的河流、存在较多污染物的河流，将混合数据进行形式化表示、预处理以及水质特征向量提取，并取所提取若干水质特征向量的向量均值作为该水质类别的标准水质特征向量模板。
所述S4步骤中将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，包括：
将水质特征参数
Figure 356575DEST_PATH_IMAGE046
输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，其中基于模型的水质类别识别流程为：
S41：变权水质污染物识别模型的输入层接收水质特征参数
Figure 320989DEST_PATH_IMAGE046
，并将水质特征参数
Figure 332807DEST_PATH_IMAGE046
输入到变权聚类层中；
S42：变权聚类层计算水质特征参数
Figure 779575DEST_PATH_IMAGE046
中每个水质特征向量的权重，其中水质特征向量/>
Figure 230148DEST_PATH_IMAGE047
的权重/>
Figure 81692DEST_PATH_IMAGE048
表示为：
Figure 529991DEST_PATH_IMAGE049
其中：
Figure 299993DEST_PATH_IMAGE050
表示水质特征向量/>
Figure 819836DEST_PATH_IMAGE047
的标准差；
S43：从水质特征参数
Figure 165367DEST_PATH_IMAGE046
中随机选取k个水质特征向量作为初始聚类簇中心；
S44：计算其他非聚类簇中心到聚类簇中心的加权欧式距离，其中非聚类簇中心表示水质特征参数中不为聚类簇中心的水质特征向量，所述加权欧式距离表示在计算得到两个水质特征向量的欧式距离后，分别乘以两个水质特征向量的权重；
S45：计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值，并在簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心，返回步骤S44，直到每个聚类簇均无法选取新的聚类簇中心，得到k个聚类簇以及k个聚类簇中心，变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层；
S46：模型中的分类层接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
S5：将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，否则不存在。
所述S5步骤中将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，包括：
将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值
Figure 879507DEST_PATH_IMAGE079
，则说明所采集河流水体存在污染，否则不存在污染，其中相似性判别的公式为：
Figure 943278DEST_PATH_IMAGE080
其中：
e表示所采集河流水体样本的水质特征参数的水质类别；
Figure 765347DEST_PATH_IMAGE054
表示水质类别e的污染物h导致的污染河流的污染水质特征参数；
Figure 90018DEST_PATH_IMAGE055
表示水质特征参数/>
Figure 348961DEST_PATH_IMAGE046
中不同水质特征向量的均值，/>
Figure 260547DEST_PATH_IMAGE056
表示污染水质特征参数/>
Figure 387772DEST_PATH_IMAGE054
中不同污染水质特征向量的均值；
Figure 675272DEST_PATH_IMAGE057
表示所采集河流水体样本的水质特征参数/>
Figure 760908DEST_PATH_IMAGE046
与相同水质类别e的由污染物h导致的污染水质特征参数/>
Figure 894212DEST_PATH_IMAGE058
的相似性判别结果，/>
Figure 700494DEST_PATH_IMAGE059
，H表示污染物的种类数，若/>
Figure 734178DEST_PATH_IMAGE057
大于指定相似阈值/>
Figure 99038DEST_PATH_IMAGE051
，则说明所采集河流水体存在污染，污染来源为污染物h。
实施例2：
如图2所示，是本发明一实施例提供的基于大数据的河流污染物监测***的功能模块图，其可以实现实施例1中的基于大数据的河流污染物监测方法。
本发明所述基于大数据的河流污染物监测***100可以安装于电子设备中。根据实现的功能，所述基于大数据的河流污染物监测***可以包括河流数据形式化表示装置101、数据处理模块102及污染物监测装置103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
河流数据形式化表示装置101，用于采集河流水体样本，并对河流水体样本水质进行形式化表示；
数据处理模块102，用于对形式化表达的水质数据进行预处理，得到预处理后的水质数据，对预处理后的水质数据进行谱特征提取得到水质特征参数；
污染物监测装置103，用于构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，并确定污染来源。
详细地，本发明实施例中所述基于大数据的河流污染物监测***100中的所述各模块在使用时采用与上述的图1中所述的基于大数据的河流污染物监测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3：
如图3所示，是本发明一实施例提供的实现基于大数据的河流污染物监测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（用于实现河流污染物监测的程序12等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
采集河流水体样本，并对河流水体样本水质进行形式化表示；
对形式化表达的水质数据进行预处理，得到预处理后的水质数据；
对预处理后的水质数据进行谱特征提取得到水质特征参数；
构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别；
将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，否则不存在。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于大数据的河流污染物监测方法，其特征在于，所述方法包括：
S1：采集河流水体样本，并对河流水体样本水质进行形式化表示；
所述采集河流水体样本，并对河流水体样本水质进行形式化表示，包括：
实时采集正处于污染物监测状态河流的河流水体样本，相邻河流水体样本采集时刻的间隔时间为t，利用光谱仪对采集到的河流水体样本水质进行形式化表示；
所述形式化表示流程为：
S11：光谱仪向河流水体样本发生不同波长的紫外线，河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱，其中不同波长的紫外线即为不同波长的发射光谱；
对于河流水体样本水质中的任意第i种分子
Figure DEST_PATH_IMAGE001
，所对应的紫外线波长为
Figure DEST_PATH_IMAGE002
，其中所述分子
Figure 745480DEST_PATH_IMAGE001
通过吸收对应波长
Figure 193779DEST_PATH_IMAGE002
的紫外线能量实现能级跃迁，由基态跃迁为激发态；
分子
Figure 380040DEST_PATH_IMAGE001
吸收对应波长
Figure 306408DEST_PATH_IMAGE002
的紫外线能量
Figure DEST_PATH_IMAGE003
为：
Figure DEST_PATH_IMAGE004
其中：
Figure 199409DEST_PATH_IMAGE003
表示分子
Figure 723669DEST_PATH_IMAGE001
进行能级跃迁的所需能量；
h表示普朗克常数，c表示光速；
S12：计算河流水体样本中不同分子的吸光度，其中分子
Figure 521861DEST_PATH_IMAGE001
的吸光度
Figure DEST_PATH_IMAGE005
为：
Figure DEST_PATH_IMAGE006
其中：
Figure DEST_PATH_IMAGE007
表示紫外线向分子
Figure 596127DEST_PATH_IMAGE001
的入射光强，
Figure DEST_PATH_IMAGE008
表示紫外线向分子
Figure 405951DEST_PATH_IMAGE001
的出射光强；
S13：构建河流水体样本水质的立体光谱w：
Figure DEST_PATH_IMAGE009
其中：
Figure DEST_PATH_IMAGE010
表示分子
Figure 41725DEST_PATH_IMAGE001
接收对应波长
Figure 530475DEST_PATH_IMAGE002
紫外线进行能级跃迁过程中的反射光谱，反射光谱的波长为
Figure DEST_PATH_IMAGE011
；
n表示河流水体样本水质中分子的种类数；
Figure DEST_PATH_IMAGE012
表示波长为
Figure 408433DEST_PATH_IMAGE002
的紫外线发射光谱；
S14：将立体光谱w转换为立体光谱矩阵W，将立体光谱矩阵W作为形式化表达的水质数据D，所述水质数据D为矩阵形式，矩阵的行数为
Figure DEST_PATH_IMAGE013
，矩阵的列数为
Figure 368036DEST_PATH_IMAGE013
；
S2：对形式化表达的水质数据进行预处理，得到预处理后的水质数据，包括：
对形式化表达的水质数据D进行预处理，所述预处理流程为：
S21：构建长度为
Figure 329039DEST_PATH_IMAGE013
的滑动窗口，利用p次的多项式对滑动窗口内的数据点进行拟合，去除水质数据D中的噪声，所述p次的多项式为：
Figure DEST_PATH_IMAGE014
其中：
Figure DEST_PATH_IMAGE015
表示p次的多项式，x表示输入多项式的值，
Figure DEST_PATH_IMAGE016
表示多项式的拟合系数；
S22：将水质数据D中每一行数据输入到滑动窗口中，其中
Figure DEST_PATH_IMAGE017
表示水质数据D中第z行第c列的数据，
Figure DEST_PATH_IMAGE018
表示水质数据D的第z行数据，
Figure DEST_PATH_IMAGE019
；
S23：滑动窗口根据输入的每一行数据，计算得到该行数据的多项式拟合系数，其中基于第z行数据的多项式拟合系数计算结果
Figure DEST_PATH_IMAGE020
为：
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
其中：
T表示转置；
S24：计算得到水质数据D中第z行数据的滤波降噪处理后结果
Figure DEST_PATH_IMAGE023
：
Figure DEST_PATH_IMAGE024
S25：重复步骤S22-S24，得到每行数据的滤波降噪处理结果，并构成滤波降噪预处理后的水质数据
Figure DEST_PATH_IMAGE025
：
Figure DEST_PATH_IMAGE026
其中水质数据
Figure 856752DEST_PATH_IMAGE025
即为预处理后的水质数据；
S3：对预处理后的水质数据进行谱特征提取得到水质特征参数；
S4：构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别；
S5：将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，否则不存在。
2.如权利要求1所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数，包括：
对预处理后的水质数据
Figure 663033DEST_PATH_IMAGE025
进行谱特征提取得到水质特征参数，所述水质特征参数的提取流程为：
S31：对预处理后的水质数据
Figure 211564DEST_PATH_IMAGE025
进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：
Figure DEST_PATH_IMAGE027
Figure DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE029
其中：
Figure DEST_PATH_IMAGE030
表示膨胀腐蚀处理后的水质数据；
Figure DEST_PATH_IMAGE031
表示膨胀处理，C表示膨胀矩阵；
Figure DEST_PATH_IMAGE032
表示腐蚀处理，F表示腐蚀矩阵；
S32：计算矩阵
Figure DEST_PATH_IMAGE033
，并计算矩阵Q的协方差矩阵
Figure DEST_PATH_IMAGE034
：
Figure DEST_PATH_IMAGE035
S33：计算得到协方差矩阵
Figure 736611DEST_PATH_IMAGE034
的第u个特征值
Figure DEST_PATH_IMAGE036
：
Figure DEST_PATH_IMAGE037
其中：
I表示单位矩阵；
选取所计算得到的协方差矩阵
Figure 606478DEST_PATH_IMAGE034
最大的10个特征值
Figure DEST_PATH_IMAGE038
，并计算所选取特征值所对应的特征向量为：
Figure DEST_PATH_IMAGE039
其中：
Figure DEST_PATH_IMAGE040
表示特征值
Figure DEST_PATH_IMAGE041
所对应的特征向量，并将
Figure 793615DEST_PATH_IMAGE040
作为水质特征向量，
Figure DEST_PATH_IMAGE042
；
S34：将水质特征向量拼接为水质特征参数
Figure DEST_PATH_IMAGE043
。
3.如权利要求1所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S4步骤中构建变权水质污染物识别模型，包括：
构建变权水质污染物识别模型，所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层；
输入层用于接收水质特征参数，并将水质特征参数输入到变权聚类层，其中水质特征参数由多个水质特征向量组成；
变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权，并基于水质特征向量的权重进行水质特征向量的聚类处理，得到若干个聚类簇，将聚类簇输入到分类层中；
分类层用于接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
4.如权利要求3所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S4步骤中将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，包括：
将水质特征参数
Figure DEST_PATH_IMAGE044
输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，其中基于模型的水质类别识别流程为：
S41：变权水质污染物识别模型的输入层接收水质特征参数
Figure 432537DEST_PATH_IMAGE044
，并将水质特征参数
Figure 469764DEST_PATH_IMAGE044
输入到变权聚类层中；
S42：变权聚类层计算水质特征参数
Figure 322532DEST_PATH_IMAGE044
中每个水质特征向量的权重，其中水质特征向量
Figure 736196DEST_PATH_IMAGE040
的权重
Figure DEST_PATH_IMAGE045
表示为：
Figure DEST_PATH_IMAGE046
其中：
Figure DEST_PATH_IMAGE047
表示水质特征向量
Figure 964046DEST_PATH_IMAGE040
的标准差；
S43：从水质特征参数
Figure 313119DEST_PATH_IMAGE044
中随机选取k个水质特征向量作为初始聚类簇中心，k<10；
S44：计算其他非聚类簇中心到聚类簇中心的加权欧式距离，所述加权欧式距离表示在计算得到两个水质特征向量的欧式距离后，分别乘以两个水质特征向量的权重；
S45：计算每个聚类簇中非聚类簇中心到聚类簇中心的加权欧式距离均值，并在聚类簇中选取使得降低加权欧式距离均值的非聚类簇中心作为新的聚类簇中心，返回步骤S44，直到每个聚类簇均无法选取新的聚类簇中心，得到k个聚类簇以及k个聚类簇中心，变权聚类层将k个聚类簇以及k个聚类簇中心发送到分类层；
S46：模型中的分类层接收聚类簇，并将每个聚类簇的聚类中心依次与每个水质类别所对应河流的标准水质特征向量模板进行欧式距离计算，选取距离最小的标准水质向量模板所对应的水质类别作为水质特征参数所对应河流的水质类别。
5.如权利要求4所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S5步骤中将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，包括：
将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值
Figure DEST_PATH_IMAGE048
，则说明所采集河流水体存在污染，否则不存在污染，其中相似性判别的公式为：
Figure DEST_PATH_IMAGE049
其中：
e表示所采集河流水体样本的水质特征参数的水质类别；
Figure DEST_PATH_IMAGE050
表示水质类别e的污染物h导致的污染河流的污染水质特征参数；
Figure DEST_PATH_IMAGE051
表示水质特征参数
Figure 921693DEST_PATH_IMAGE044
中不同水质特征向量的均值，
Figure DEST_PATH_IMAGE052
表示污染水质特征参数
Figure 279993DEST_PATH_IMAGE050
中不同污染水质特征向量的均值；
Figure DEST_PATH_IMAGE053
表示所采集河流水体样本的水质特征参数
Figure 690246DEST_PATH_IMAGE044
与相同水质类别e的由污染物h导致的污染水质特征参数
Figure DEST_PATH_IMAGE054
的相似性判别结果，
Figure DEST_PATH_IMAGE055
，H表示污染物的种类数，若
Figure 649368DEST_PATH_IMAGE053
大于指定相似阈值
Figure 309019DEST_PATH_IMAGE048
，则说明所采集河流水体存在污染，污染来源为污染物h。
6.一种基于大数据的河流污染物监测***，其特征在于，所述***包括：
河流数据形式化表示装置，用于采集河流水体样本，并对河流水体样本水质进行形式化表示；
数据处理模块，用于对形式化表达的水质数据进行预处理，得到预处理后的水质数据，对预处理后的水质数据进行谱特征提取得到水质特征参数；
污染物监测装置，用于构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，并确定污染来源，以实现一种如权利要求1-5任意一项所述的基于大数据的河流污染物监测方法。
CN202211332805.7A 2022-10-28 2022-10-28 基于大数据的河流污染物监测方法及*** Active CN115389439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211332805.7A CN115389439B (zh) 2022-10-28 2022-10-28 基于大数据的河流污染物监测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211332805.7A CN115389439B (zh) 2022-10-28 2022-10-28 基于大数据的河流污染物监测方法及***

Publications (2)

Publication Number Publication Date
CN115389439A CN115389439A (zh) 2022-11-25
CN115389439B true CN115389439B (zh) 2023-03-24

Family

ID=84115187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211332805.7A Active CN115389439B (zh) 2022-10-28 2022-10-28 基于大数据的河流污染物监测方法及***

Country Status (1)

Country Link
CN (1) CN115389439B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810403B (zh) * 2023-01-30 2023-05-16 北京英视睿达科技股份有限公司 一种基于环境特征信息评估水质污染的方法
CN117195059B (zh) * 2023-11-06 2024-02-27 上海炯测环保技术有限公司 一种供水管网水体污染快速检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105352928A (zh) * 2015-11-14 2016-02-24 常州大学 一种基于三维荧光光谱的水污染快速识别和定量分析的方法
CN106525762A (zh) * 2016-11-07 2017-03-22 航天恒星科技有限公司 一种基于自适应模型的水质监测方法和水质监测装置
CN109523510B (zh) * 2018-10-11 2021-05-04 浙江大学 基于多光谱遥感影像的河道水质空间异常区域检测方法
RU2726291C1 (ru) * 2019-10-14 2020-07-10 Акционерное Общество "Концерн "Океанприбор" Способ обнаружения и классификации гидроакустических сигналов шумоизлучения морского объекта
CN110765941B (zh) * 2019-10-23 2022-04-26 北京建筑大学 一种基于高分遥感影像的海水污染区域识别方法和设备
CN112381369B (zh) * 2020-11-02 2022-09-23 河海大学 基于在线光谱识别的水体污染溯源和风险预测评估方法
CN113267462A (zh) * 2021-04-29 2021-08-17 清华苏州环境创新研究院 一种应用紫外光谱对水体有机污染特征进行表征的方法
CN113281323B (zh) * 2021-06-29 2024-01-26 集美大学 一种复杂体系中有机污染物特征信息提取方法及其快速检测方法、***
CN113916847B (zh) * 2021-07-20 2024-04-09 江苏省扬州环境监测中心 一种基于光谱技术和线性支持向量算法的水质检测方法

Also Published As

Publication number Publication date
CN115389439A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN115389439B (zh) 基于大数据的河流污染物监测方法及***
Dunderdale et al. Photovoltaic defect classification through thermal infrared imaging using a machine learning approach
Caner et al. Efficient embedded neural-network-based license plate recognition system
Pan et al. Intelligent fault identification for industrial automation system via multi-scale convolutional generative adversarial network with partially labeled samples
CN110717368A (zh) 一种纺织品定性分类方法
CN112712108B (zh) 一种拉曼光谱多元数据分析方法
EP3798924A1 (en) System and method for classifying manufactured products
CN114998838B (zh) 一种危化品智能存储柜实时监测方法与装置
CN105043998B (zh) 一种鉴别玉米单倍体的方法
CN111797396B (zh) 恶意代码可视化及变种检测方法、装置、设备及存储介质
CN115984269B (zh) 一种非侵入式局部水生态安全检测方法与***
CN113421546A (zh) 基于跨被试多模态的语音合成方法及相关设备
CN117607120A (zh) 基于改进型ResNext模型的食品添加剂拉曼光谱检测方法和装置
Cui et al. A novel strategy for identifying oil pollutants based on excitation-emission matrix fluorescence spectroscopy and Zernike moments
US20200279148A1 (en) Material structure analysis method and material structure analyzer
CN106936561B (zh) 一种侧信道攻击防护能力评估方法和***
CN116973344A (zh) 一种基于图神经网络模型的古陶瓷检测方法及装置
CN110718270B (zh) 基因测序结果类型的检测方法、装置、设备及存储介质
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN116580176A (zh) 基于轻量化网络MobileViT的车载CAN总线异常检测方法
CN115436343A (zh) 异源激光诱导击穿光谱之间的迁移和标准化方法及***
CN115796231A (zh) 一种时态分析的超短期风速预测方法
CN112052881B (zh) 基于多尺度近端特征拼接的高光谱图像分类模型的装置
Nag et al. CNN based approach for post disaster damage assessment
CN116883852B (zh) 一种基于高光谱的岩芯数据获取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant