CN116364203A - 一种基于深度学习的水质预测方法、***和装置 - Google Patents

一种基于深度学习的水质预测方法、***和装置 Download PDF

Info

Publication number
CN116364203A
CN116364203A CN202310336542.5A CN202310336542A CN116364203A CN 116364203 A CN116364203 A CN 116364203A CN 202310336542 A CN202310336542 A CN 202310336542A CN 116364203 A CN116364203 A CN 116364203A
Authority
CN
China
Prior art keywords
water quality
data
quality prediction
input
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310336542.5A
Other languages
English (en)
Inventor
郑志强
王立新
翁智
刘昱峰
丁昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University
Original Assignee
Inner Mongolia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University filed Critical Inner Mongolia University
Priority to CN202310336542.5A priority Critical patent/CN116364203A/zh
Publication of CN116364203A publication Critical patent/CN116364203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于深度学习的水质预测方法、***和装置。水质预测方法包括如下步骤：S1：采集水质数据。S2：对水质数据进行预处理。S3：建立基于LSTM网络的水质预测模型。对水质预测模型进行训练，保留满足测试精度的模型参数。通过水质预测模型输出预测数据。S4：将水质数据与预测结果以数字或图形的方式进行实时显示。本发明的水质预测方法可以同时对多类数据进行深入分析，采用多类水质数据对水质预测模型进行训练，最大程度的保留各类数据之间的相关性，剔除冗余信息，以使最终的水质预测结果更能清楚的反映出各类数据的影响，提高预测精度，简化运算过程，提高预测的实时性。

Description

一种基于深度学习的水质预测方法、***和装置
技术领域
本发明涉及一种，特别是涉及一种基于深度学习的水质预测方法、一种基于深度学习的水质预测***和一种基于深度学习的水质预测装置。
背景技术
在水质监测领域，通过无线传感器网络建立实时水质预报***，将来自气象部门官网的环境数据纳入实时预报***，采用集中式拓扑结构来自动远程连续收集数据，并通过通用分组无线服务连接，将感测到的数据传输到数据库，以滑动窗口方式建立预测模型，融合气象数据实现对水文数据的预测。
传统统计学水质预测算法利用数学原理建模，主流模型采用如自回归移动平均模型(ARIMA)、向量自回归模型(VAR)等，要求时间序列必须平稳。传统深度学习算法被广泛应用于数据分析预测，但其对于数据量有极大要求。现有的水质预测模型只针对单一水质变量进行模型训练，缺少利用水体数据内在关联性进行分析预测，预测的结果不能准确表现出水质的变化趋势。
发明内容
基于此，有必要针对现有的水质预测方法由于对水质数据分析不够充分且多种水质数据不能有效结合，导致预测精度低的问题，提供一种基于深度学习的水质预测方法、***和装置。
本发明通过以下技术方案实现：一种基于深度学习的水质预测方法包括如下步骤：
S1：采集水质数据。水质数据包括PH值、氨氮含量、溶解氧含量、磷含量和高锰酸盐指数。
S2：将水质数据按照性质分别划分到PH值数据集、氨氮含量数据集、溶解氧含量数据集、磷含量数据集和高锰酸盐指数数据集中。对每个数据集中的水质数据分别进行预处理。预处理的方法具体如下：
S21：采用三次样条差值法对水质数据中的缺失数据进行插补。
S22：采用移动平均滤波法对水质数据进行滤波，得到对应的滤波数据。
S3：建立基于LSTM网络的水质预测模型。将滤波数据划分为训练集和测试集，训练集中的水质数据作为输入，对水质预测模型进行训练。将测试集中的水质数据作为输入对水质预测模型进行验证，保留满足测试精度的模型参数。将滤波数据输入水质预测模型，得到对应的预测数据。水质预测模型的构建方法具体如下：
S31：采用偏最小二乘法对滤波数据进行特征提取，得到对应的特征数据Y＝{(x1，y1)，(x2，y2)，(x3，y3)，……，(xN，yN)}。
S32：构建支持向量机。
S33：采用LSTM网络对支持向量机的参数进行寻优处理。
S34：在水质预测模型中添加残差网络，对LSTM网络进行跳层链接，输出最终的预测结果。
S4：将水质数据与预测结果以数字或图形的方式进行实时显示。
上述水质预测方法可以同时对多类数据进行深入分析，通过三次样条差值法对缺失的水质数据进行插补，并采用移动平均滤波去除噪声数据，使用于预测的水质数据更加有效，采用多类水质数据对水质预测模型进行训练，最大程度的保留各类数据之间的相关性，以使最终的水质预测结果更能清楚的反映出各类数据的影响，预测精度更高。同时，采用偏最小二乘法提取水质数据的特征，不仅保留了数据中的重要信息，在保持预测精度的同时，将输入数据整体简化，优化运算过程，提高水质预测的效率。
在其中一个实施例中，三次样条差值法的步骤具体如下：
S211：以时间为横轴、水质数据值为纵轴建立平面坐标系，将数据集中的水质数据映射到平面坐标系中形成多个坐标点。
S212：将多个坐标点沿横轴方向划分到多个连续的区间，每个区间的两个端点均落在坐标点上。
S213：在每个区间上构建一个三次方程曲线，三次方程曲线经过对应区间内的所有坐标点，且相邻的三次方程曲线平滑衔接。
S214：将每个缺失数据的时间信息输入对应的三次方程曲线，得到对应的水质数据值，实现对所有缺失数据的插补。
在其中一个实施例中，设置滤波长度为L，根据时间顺序对每个水质数据设置权重，对前L个水质数据进行加权平均运算得到滤波数据。
在其中一个实施例中，偏最小二乘法的具体步骤如下：
S311：将滤波数据作为输入集X，对应的特征作为输出集Y。分别对输入集X和输出集Y进行数据标准化处理。
S312：分别提取出输入集的主成分t1和输出集的主成分u1，并使t1和u1的协方差最大。
S313：分别建立X对于t1的回归方程以及Y对于u1的回归方程。分别利用两个回归方程的残差矩阵继续提取输入集的主成分ti和输出集的主成分ui，并建立对应的回归方程。
S314：分别利用两个回归方程的残差矩阵继续提取输入集的主成分tk和输出集的主成分uk，并建立对应的回归方程。
S315：当提取的主成分满足精度需求时，建立输入集X、输出集Y分别关于主成分tk和主成分uk之间的回归方程。将多个回归方程转化为输入集X与输出集Y之间的最终回归方程。
在其中一个实施例中，支持向量机的构建方法如下：
S321：设置目标函数。目标函数表达为：
Figure BDA0004156628880000031
s.t.|yi-(ωTxi+b)|≤ε，i＝1,2,3，……，N
式中，ω为回归超平面的法向量，b为位移，ε为样本点到超平面的最小距离的最大值，N为样本点数量。
S322：在目标函数中加入松弛变量，进而将目标函数转换为优化问题。优化问题表达为：
Figure BDA0004156628880000032
s.t.-ε-ξi ∨≤yi-(ωTxi+b)≤ε+ξi ∧，ξi ∨、ξi ∧≥0
式中，C为惩罚项，ξi ∨、ξi ∧分别为上下界的松弛变量。
S323：采用拉格朗日函数将优化问题转换为对偶问题。对偶问题表达为：
Figure BDA0004156628880000033
Figure BDA0004156628880000034
式中，α＝(α1，α2，α3，……，αN，)为拉格朗日乘子，且αi≥0。
S324：采用核函数将输入的特征数据集映射到高维空间，进而将根据最优解计算出对应的分类决策函数。分类决策函数表达为：
Figure BDA0004156628880000035
式中，α*为对偶问题的最优解，b*为原目标函数的最优解，x为测试点，Φ表示映射。
在其中一个实施例中，核函数采用高斯核函数，将分类决策函数转换为最终分类决策函数：
Figure BDA0004156628880000041
式中，τ为超参数。
在其中一个实施例中，LSTM网络包括遗忘门、输入门和输出门。遗忘门的输入为上一时刻的状态向量ht-1与当前时刻的输入xt，输出为一个与传输带状态向量大小相同且每个元素均在0到1之间的向量ft。向量ft表达为：
ft＝σ(Wf[ht-1，xt]+bf)
式中，σ为Sigmoid激活函数，Wf为参数矩阵，bf为偏置项。
输入门用于产生需要更新的新信息并生成新的候选值。新信息it和候选值
Figure BDA0004156628880000042
分别表达为：
it＝σ(Wi[ht-1，xt]+bi)
Figure BDA0004156628880000043
式中，tanh为tanh激活函数，Wc、Wi为参数矩阵，bi、bc为偏置项。
输出门用于决定最终的输出结果。输出结果ht表达为：
ht＝ot*tanh(Ct)
ot＝σ(Wo[ht-1，xt]+bo)
式中，Wo为参数矩阵，bo为偏置项。
在其中一个实施例中，将遗忘门与输入门的操作进行结合，得到新状态向量Ct的运算公式为：
Figure BDA0004156628880000044
式中，Ct-1为上一时刻的状态向量。
本发明还提供一种基于深度学习的水质预测***，水质预测***包括采集模块、预处理模块和水质预测模型。
采集模块用于采集水质数据。预处理模块包括缺失处理模块和滤波处理模块。缺失处理模块采用三次样条差值法对水质数据中的缺失数据进行插补。滤波处理模块采用移动平均滤波法对水质数据进行滤波，得到对应的滤波数据。水质预测模型包括特征提取模块、支持向量机、LSTM网络和残差模块。特征提取模块采用偏最小二乘法提取滤波数据的特征数据。支持向量机用于根据输入的特征数据输出对应的预测数据。LSTM网络用于对支持向量机的参数进行寻优处理。残差模块用于解决LSTM网络的梯度消失问题，优化LSTM网络的前后向传播的流畅性。
本发明还提供一种基于深度学习的水质预测装置，水质预测装置包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机程序，水质预测装置中的各功能模块采用上述的基于深度学习的水质预测***的方式完成部署，处理器执行计算机程序时，实现上述的基于深度学习的水质预测方法的步骤，进而实现对待测水源水质的精准预测。
相较于现有技术，本发明具有如下有益效果：
1.本发明的水质预测方法可以同时对多类数据进行深入分析，通过三次样条差值法对缺失的水质数据进行插补，并采用移动平均滤波去除噪声数据，使用于预测的水质数据更加有效，采用多类水质数据对水质预测模型进行训练，最大程度的保留各类数据之间的相关性，以使最终的水质预测结果更能清楚的反映出各类数据的影响，预测精度更高。同时，采用偏最小二乘法提取水质数据的特征，不仅保留了数据中的重要信息，在保持预测精度的同时，将输入数据整体简化，优化运算过程，提高水质预测的效率。
附图说明
图1为本发明实施例1的基于深度学习的水质预测方法的步骤图；
图2为图1中水质预测模型的预测流程图；
图3为图1中LSTM网络的结构示意图；
图4为应用于图1的基于深度学习的水质预测方法的水质预测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“安装于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。当一个组件被认为是“固定于”另一个组件，它可以是直接固定在另一个组件上或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例1
请参阅图1和图2，图1为本发明实施例1的基于深度学习的水质预测方法的步骤图；图2为图1中水质预测模型的预测流程图。基于深度学习的水质预测方法包括如下步骤：
S1：采集水质数据。在本实施例中，水质数据包括PH值、氨氮含量、溶解氧含量、磷含量和高锰酸盐指数。水质数据的采集方法具体如下：将多个用于探测水质信号的传感器放置到待探测的水源中，实时接收每个传感器探测的水质信号，并将水质信号转换为数字形式的水质数据。其中，PH值和溶解氧含量采用电极式传感器探测，传感器的监测探头可直接放入水中。采用RS485标准传输协议，可通过软件修改地址、波特率、校准等指标保障与数据传输网络匹配。高锰酸盐指数、磷含量和氨氮含量采用集成传感器探测，集成传感器内嵌入通信传输模块，通信传输接口可与数据预测网络直接相连。各传感器数据设置采集周期为两小时，实现水质数据的实时更新。
S2：对水质数据进行预处理，并将水质数据划分为训练集和测试集。预处理的方法具体如下：
S21：采用三次样条差值法对水质数据中的缺失数据进行插补。根据水质数据的类型将水质数据划分为多个数据集，如分别将采集的水质数据划分为PH值数据集、氨氮含量数据集、溶解氧含量数据集、磷含量数据集和高锰酸盐指数数据集。对每个数据集内的水质数据进行缺失数据处理。缺失数据的处理方法如下：
S211：以时间为横轴、水质数据值为纵轴建立平面坐标系，将数据集中的水质数据映射到平面坐标系中形成多个坐标点。设水质数据的采集周期为T，采集的水质数据依次记为P1、P2、P3、……、Pn，对应的时刻依次记为T1、T2、T3、……、Tn。则水质数据集可以记为XP＝{xp1、xp2、xp3、……、xpn}，其中xpi＝(Ti，Pi)，i＝1,2,3，……，n。
S212：将多个坐标点沿横轴方向划分到多个连续的区间，每个区间的两个端点均落在坐标点上。如将水质数据集划分为m个区间，则其中第一个区间记为【xp1，xpA】，第二区间记为【xpA，xpB】，……，第m个区间记为【xpj，xpn】，其中1＜A＜B＜……＜j＜n。
S213：在每个区间上构建一个三次方程曲线，三次方程曲线经过对应区间内的所有坐标点，且相邻的三次方程曲线平滑衔接。其中，平滑衔接是指，相邻的两个区间的三次方程曲线在连接处的取值相同，且两个三次方程曲线的一阶导数和二阶导数也相同。
S214：将每个缺失数据的时间信息输入对应的三次方程曲线，得到对应的水质数据值，实现对所有缺失数据的插补。在采集的水质数据中，由于采集过程中存在的异常状况，导致水质数据存在缺失，在将水质数据映射为坐标点时，同样成为缺失的坐标点。此时，将缺失数据所处的时刻代入对应区间的三次方程曲线中，则可以计算出对应的数据值。这样就可以将计算出的数据值***数据集中的对应位置上，形成对水质数据的插补。
S22：采用移动平均滤波法对水质数据中的噪声数据进行平滑处理。移动平均滤波基于统计规律，将连续的采样数据看成一个长度固定为L的队列，在新的一次测量后，前一队列的首数据去掉，其余L-1个数据依次前移，并将新的采样数据***，作为新队列的尾。然后对新的队列进行取平均运算，并将其结果做为本次测量的结果。
本实施例中，由于不同时间的水质数据对于预测值的影响程度不同，因此，采用加权移动平均滤波对水质数据进行处理。具体的，设置滤波长度为L，即每次参与运算的水质数据为L(L为奇数)个，分别记为S1、S2、S3、……、SL，根据时间顺序对每个水质数据设置权重，分别记为w1、w2、w3、……、wL，所有权重的总和为1。则对应的滤波数据可以记为S(L-1)/2＝(S1w1+S2w2+S3w3+……+SLwL)/L。每获取一个水质数据后，将首个水质数据删除。对处于前一时间长度T内的所有水质数据进行加权平均运算得到滤波数据。如继续获取水质数据SL+1，则参与运算的水质数据转换为S2、S3、……、SL、SL+1，对应的滤波数据记为S(L+1)/2＝(S2w1+S3w2+……+SLwL-1+SL+1wL)/L。
S3：建立基于LSTM网络的水质预测模型，将训练集中的水质数据作为输入，对水质预测模型进行训练，将测试集中的水质数据作为输入对水质预测模型进行验证，保留满足测试精度的模型参数。将滤波数据输入水质预测模型，得到对应的预测数据。水质预测模型的训练方法如下：
S31：采用偏最小二乘法对水质数据进行特征提取。偏最小二乘法的具体步骤如下：
S311：将滤波数据作为输入集X＝{S1、S2、S3、……、SP}，对应的特征作为输出集Y。设输入集X中包括p个水质数据(自变量)，输出集Y中包括q个特征数据(因变量)，分别对输入集X和输出集Y进行数据标准化处理，得到对应的数据矩阵E0和F0。
S312：分别提取出输入集的主成分t1和输出集的主成分u1，并使t1和u1的协方差最大。在概率论和统计学中，协方差用于衡量两个变量的总体误差。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。t1和u1的协方差最大，则两者的变化趋势越接近。
S313：分别建立X对于t1的回归方程以及Y对于u1的回归方程。
Figure BDA0004156628880000071
式中，E1、F1均为残差矩阵，p1、r1为回归系数向量，且：
Figure BDA0004156628880000072
S314：分别利用两个回归方程的残差矩阵继续提取输入集的主成分tk和输出集的主成分uk，并建立对应的回归方程。其中，回归方程表达为：
Figure BDA0004156628880000081
式中，Ek-1、Eki、Fk-1、Fk均为回归方程的残差矩阵，k＝2,3,4，……，p，pk、rk分别为回归系数向量，可以表达为：
Figure BDA0004156628880000082
S315：当提取的主成分满足精度需求时，建立输入集X、输出集Y分别关于主成分tk和主成分uk之间的回归方程。将多个回归方程转化为输入集X与输出集Y之间的回归方程。假设刚好在第M个回归方程满足预测精度，则对第1～M个回归方程进行整合，得到最终的回归方程为：
Figure BDA0004156628880000083
式中，M为X的秩，wM为第M个特征向量。
S32：构建支持向量机，将特征数据输入支持向量机进行全局最优求解，进而得到水质预测模型。
S321：设置目标函数。首先，假设输入的特征数据集Y＝{(x1，y1)，(x2，y2)，(x3，y3)，……，(xN，yN)}线性可分，可以设置超平面对特征数据集进行划分，超平面表达为：ωTxi+b＝0。最大化样本点与超平面的间隔，也即求解凸二次规划问题，得到目标函数为：
Figure BDA0004156628880000084
s.t.|yi-(ψTxi+b)|≤ε，i＝1,2,3，……，N
式中，ω为回归超平面的法向量，b为位移，ε为样本点到超平面的最小距离的最大值，N为样本点数量。
S322：在目标函数中加入松弛变量，用以描述样本点偏离超平面的程度，则目标函数可以转换为优化问题形式：
Figure BDA0004156628880000085
s.t.-ε-ξi ∨≤yi-(ωTxi+b)≤ε+ξi ∧，ξi ∨、ξi ∧≥0
式中，C为惩罚项，ξi ∨、ξi ∧分别为上下界的松弛变量。
S323：采用拉格朗日函数将上述优化问题转换为对偶问题。首先定义凸二次规划的拉格朗日函数为：
Figure BDA0004156628880000091
式中，α＝(α1，α2，α3，……，αN，)为拉格朗日乘子，且αi≥0。
则对偶问题表达为：
Figure BDA0004156628880000092
Figure BDA0004156628880000093
计算出上述对偶问题的最优解为：
α*＝(α1 *，α2 *，α3 *，……，αN *)T
则计算出原目标函数的最优解为：
Figure BDA0004156628880000094
Figure BDA0004156628880000095
Figure BDA0004156628880000096
S324：采用核函数将输入的特征数据集映射到高维空间，进而将根据最优解计算出对应的超平面以及分类决策函数。由于特征数据集具有非线性，不能在二维空间内划分，因此需要通过核函数将特征数据集中的样本点映射到三维空间中。则原本的分类决策函数：
Figure BDA0004156628880000097
映射为：
Figure BDA0004156628880000098
式中，Φ表示映射。
本实施例采用高斯核函数，对应的最终分类决策函数为：
Figure BDA0004156628880000101
式中，τ为超参数。
S33：采用LSTM网络对支持向量机的参数进行寻优处理。在支持向量机的构建过程中，惩罚项、松弛变量和超参数等对于最终的预测结果造成直接影响，通过深度学习算法进行寻优处理，以提高最终的预测精度。
请结合图3，其为图1中LSTM网络的结构示意图。LSTM网络(长短期记忆网络)包括遗忘门、输入门和输出门。遗忘门包含一个Sigmoid操作和一个ElementwiseMultiplication(两个同样大小矩阵对应元素相乘，得到一个新的同样大小的矩阵)操作，用于遗忘不重要的信息。遗忘门的输入为上一时刻的状态向量ht-1与当前时刻的输入xt，输出为一个与传输带状态向量大小相同且每个元素均在0到1之间的向量ft。向量ft可以表达为：
ft＝σ(Wf[ht-1，xt]+bf)
式中，σ为Sigmoid激活函数，Wf为参数矩阵，bf为偏置项。
输入门用于产生需要更新的新信息。首先，将上一时刻的状态向量ht-1与当前时刻的输入xt进行拼接，通过sigmoid层决定哪些值用来更新，即生成新信息，通过tanh层生成新的候选值
Figure BDA0004156628880000102
具体的，新信息it和候选值/>
Figure BDA0004156628880000103
可以表达为：
it＝σ(Wi[ht-1，xt]+bi)
Figure BDA0004156628880000104
式中，tanh为tanh激活函数，Wc、Wi为参数矩阵，bi、bc为偏置项。
将遗忘门与输入门的操作进行结合，得到新状态向量Ct的运算公式为：
Figure BDA0004156628880000105
式中，Ct-1为上一时刻的状态向量。
输出门决定最终的输出结果，首先通过sigmoid层得到一个初始输出ot，随后使用tanh层将Ct值缩放至-1到1之间，再与sigmoid层的输出逐对相乘，得到最终的输出。则最终的输出结果ht表达为：
ht＝ot*tanh(Ct)
ot＝σ(Wo[ht-1，xt]+bo)
式中，Wo为参数矩阵，bo为偏置项。
LSTM网络是一种特殊的RNN模型，主要解决在长序列训练过程中的梯度消失和梯度***问题。与普通的RNN模型相比，LSTM能够在较长序列中有更好的表现。
S34：对预测数据进行残差分析，得到最终的预测结果。随着LSTM网络层数的加深，目标函数越来越容易陷入局部最优解，同时，随着层数增加，梯度消失问题更加严重，使得原理输出层的网络参数得不到有效的学习。残差网络包括多个残差单元。残差单元可以以跳层连接的形式实现，即将单元的输入直接与单元输出加在一起，然后再激活。残差分析解决了LSTM神经网络的梯度消失或梯度***的问题，使得信息前后向传播更加顺畅。
S4：将预测结果与水质数据以数字形式或图像形式进行实时显示。具体的，可以将采集的水质数据以及预测结果转换为数字形式，进而绘制成水质变化曲线，用以直观地展示出待测水源的水质变化趋势。同时也可以实时查看水质的历史数据。在其他实施例中，也可以直接以数字或表格形式对水质数据和预测结果进行实时显示。
本实施例通过对待测水源进行实时探测，获取相关的水质数据，通过三次样条差值法对缺失的水质数据进行插补，并采用移动平均滤波去除噪声数据，使用于预测的水质数据更加有效。随后，采用偏最小二乘法提取水质数据的特征，不仅保留了数据中的重要信息，保持预测结果的精确度，同时将输入数据整体简化，优化运算过程，提高水质预测的效率。通过构建支持向量机，并采用LSTM网络对支持向量机的参数进行寻优处理，在水质数据的样本量较少的前提下，实现对水质的高精度预测。水质数据包含多个种类，而这些不同类的水质数据之间相互影响，仅从单一的水质变量进行分析预测，难以达到实际的预测精度。
本实施例可以同时对多类数据进行深入分析，采用多类水质数据对水质预测模型进行训练，最大程度的保留各类数据之间的相关性，以使最终的水质预测结果更能清楚的反映出各类数据的影响，预测精度更高。采用本实施例的水质预测方法构建天地一体的生态环境监测网络，通过对多源数据融合与智能分析，可以健全大数据辅助社会治理机制，为流域生态建设高质量发展提供决策依据。
请结合图4，其为应用于图1的基于深度学习的水质预测方法的水质预测装置的结构示意图。为了实现上述基于深度学习的水质预测方法，使其应用在现有的水质检测设备中，本实施例还提供一种基于深度学习的水质预测***，水质预测***包括采集模块、预处理模块、水质预测模型和显示模块。
采集模块用于采集水质数据。其中，水质数据包括PH值、氨氮含量、溶解氧含量、磷含量和高锰酸盐指数等。PH值和溶解氧含量可以采用电极式传感器探测，传感器的监测探头可直接放入水中。高锰酸盐指数、磷含量和氨氮含量采用集成传感器探测，集成传感器内嵌入通信传输模块，通信传输接口可与预处理模块直接相连。
预处理模块包括缺失处理模块和滤波处理模块。缺失处理模块采用三次样条差值法对水质数据中的缺失数据进行插补。三次样条差值法的步骤如下：一、将水质数据一一映射为平面坐标系中的坐标点。二、对多个坐标点划分为若干个连续的区间，且每个区间的端点均落在对应的坐标点上。三、在每个区间内构建一条穿过区间内所有坐标点的三次曲线。相连的曲线之间平滑衔接，也即一阶导数、二阶导数均相同。四、对于确实的数据，根据其时间信息，在对应的三次曲线中计算出相应的数值，进而对水质数据进行插补。
滤波处理模块采用移动平均滤波法对水质数据进行滤波，得到对应的滤波数据。移动平均滤波法的步骤如下：一、设置滤波长度L，也即每次参与运算的水质数据的数量L。将当前的水质数据与之前的L-1个连续的水质数据作为一个队列。二、对当前队列内的L个水质数据进行加权平均运算，也即按照数据的前后顺序，对每个水质数据赋予权重，将每个水质数据与对应的权重相乘，最后计算均值作为输出的当前滤波数据。每次获取新的水质数据后，将前一序列内的首个数据删除，并将新的水质数据添加为末尾数据，随后按照顺序重新赋予当前序列中每个水质数据权重，计算对应的滤波数据。
水质预测模型包括特征提取模块、支持向量机和LSTM网络。特征提取模块采用偏最小二乘法提取滤波数据的特征数据。偏最小二乘法的步骤如下：一、将滤波数据作为输入集，待提取的特征数据作为输出集。分别对输入集和输出集进行标准化处理。二、分别提取出输入集和输出集的主成分，并使两者的协方差最大。主成分尽可能携带对应输入集和输出集的重要信息。三、分别建立输入集和输出集对相应的主成分的回归方程，若第一主成分对应的回归方程已满足精度需求，则直接将回归方程转化为输入集与输出集之间的最终回归方程。否则，采用回归方程的残差矩阵继续提取输入集和输出集的主成分，并建立对应的回归方程，直至回归方程满足精度需求，将已建立的全部回归方程进行整合，转化为输入集与输出集之间的最终回归方程。
支持向量机用于根据输入的特征数据输出对应的预测数据。支持向量机的构建方法如下：一、将特征数据集映射到平面坐标系中得到对应的多个样本点，通过构建超平面使数据均匀划分为两个区域。最大化样本点与超平面的间隔得到对应的目标函数。二、在目标函数中加入松弛变量，将目标函数转换为优化问题的形式，再采用拉格朗日函数将哟花问题转换为对偶问题。对对偶问题进行最优求解，进而根据最优求解的结果进一步对原目标函数进行最优求解。三、采用核函数将样本点映射到三维空间中，得到最终的分类函数，也即支持向量机模型。
LSTM网络用于对支持向量机的参数进行寻优处理。LSTM网络包括遗忘门、输入门和输出门。遗忘门用于遗忘不重要的信息，根据前一状态向量和当前输入，输出对应的向量。输入门用于产生更新的信息，包括新信息和候选值。输出门用于输出最终的预测结果，也即更优的支持向量机参数。
残差模块用于解决LSTM网络的梯度消失问题，优化LSTM网络的前后向传播的流畅性。
显示模块用于将预测结果与水质数据以数字形式或图像形式进行实时显示，让人可以更加直观的了解到相关水域的水质变化情况，进而针对水质的变化趋势做出相应的应对措施。
为了实现上述的基于深度学习的水质预测方法，并将之应用在现有的水质探测设备中，以实现对水质数据的实时处理，更加精准地预测出水质变化的趋势，本实施例还提供一种基于深度学习的水质预测装置。水质预测装置包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行计算机程序时，实现如上述的基于深度学习的水质预测方法的步骤，进而实现对待测水源的水质预测，提高水质预测的精度及水质数据的处理速度。
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过***总线相互通信连接的存储器、处理器。
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作***和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，进而实现上述的基于深度学习的水质预测方法的步骤，进而实现对待测水源的水质预测，提高水质预测的精度及水质数据的处理速度。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的水质预测方法，其特征在于，其包括如下步骤：
S1：采集水质数据；所述水质数据包括PH值、氨氮含量、溶解氧含量、磷含量和高锰酸盐指数；
S2：将所述水质数据按照性质分别划分到PH值数据集、氨氮含量数据集、溶解氧含量数据集、磷含量数据集和高锰酸盐指数数据集中；对每个数据集中的水质数据分别进行预处理；预处理的方法具体如下：
S21：采用三次样条差值法对所述水质数据中的缺失数据进行插补；
S22：采用移动平均滤波法对所述水质数据进行滤波，得到对应的滤波数据；
S3：建立基于LSTM网络的水质预测模型；将所述滤波数据划分为训练集和测试集，所述训练集中的水质数据作为输入，对所述水质预测模型进行训练；将所述测试集中的水质数据作为输入对所述水质预测模型进行验证，保留满足测试精度的模型参数；将所述滤波数据输入所述水质预测模型，得到对应的预测数据；所述水质预测模型的构建方法具体如下：
S31：采用偏最小二乘法对所述滤波数据进行特征提取，得到对应的特征数据Y＝{(x1，y1)，(x2，y2)，(x3，y3)，……，(xN，yN)}；
S32：构建支持向量机；
S33：采用LSTM网络对所述支持向量机的参数进行寻优处理；
S34：在所述水质预测模型中添加残差网络，对所述LSTM网络进行跳层连接；所述残差网络用于解决所述LSTM网络的梯度消失问题，优化所述LSTM网络的前后向传播的流畅性；
S4：将所述水质数据与所述预测结果以数字或图像的方式进行实时显示。
2.根据权利要求1所述的基于深度学习的水质预测方法，其特征在于，在步骤S21中，所述三次样条差值法的步骤具体如下：
S211：以时间为横轴、水质数据值为纵轴建立平面坐标系，将所述数据集中的水质数据映射到所述平面坐标系中形成多个坐标点；
S212：将多个所述坐标点沿横轴方向划分到多个连续的区间，每个所述区间的两个端点均落在所述坐标点上；
S213：在每个区间上构建一个三次方程曲线，所述三次方程曲线经过对应区间内的所有坐标点，且相邻的所述三次方程曲线平滑衔接；
S214：将每个缺失数据的时间信息输入对应的三次方程曲线，得到对应的水质数据值，实现对所有缺失数据的插补。
3.根据权利要求1所述的基于深度学***均运算得到滤波数据。
4.根据权利要求1所述的基于深度学习的水质预测方法，其特征在于，在步骤S31中，偏最小二乘法的具体步骤如下：
S311：将滤波数据作为输入集X，对应的特征作为输出集Y；分别对所述输入集X和所述输出集Y进行数据标准化处理；
S312：分别提取出输入集的主成分t1和输出集的主成分u1，并使t1和u1的协方差最大；
S313：分别建立X对于t1的回归方程以及Y对于u1的回归方程；分别利用两个回归方程的残差矩阵继续提取输入集的主成分ti和输出集的主成分ui，并建立对应的回归方程；
S314：分别利用两个回归方程的残差矩阵继续提取输入集的主成分tk和输出集的主成分uk，并建立对应的回归方程；
S315：当提取的主成分满足精度需求时，建立输入集X、输出集Y分别关于主成分tk和主成分uk之间的回归方程；将多个所述回归方程转化为输入集X与输出集Y之间的最终回归方程。
5.根据权利要求1所述的基于深度学习的水质预测方法，其特征在于，在步骤S32中，所述支持向量机的构建方法如下：
S321：设置目标函数；所述目标函数表达为：
Figure FDA0004156628840000021
s.t.|yi-(ωTxi+b)|≤ε，i＝1,2,3，……，N
式中，ω为回归超平面的法向量，b为位移，ε为样本点到超平面的最小距离的最大值，N为样本点数量；
S322：在所述目标函数中加入松弛变量，进而将所述目标函数转换为优化问题；所述优化问题表达为：
Figure FDA0004156628840000022
s.t.-ε-ξi ∨≤yi-(ωTxi+b)≤ε+ξi ∧，ξi ∨、ξi ∧≥0
式中，C为惩罚项，ξi ∨、ξi ∧分别为上下界的松弛变量；
S323：采用拉格朗日函数将所述优化问题转换为对偶问题；所述对偶问题表达为：
Figure FDA0004156628840000031
Figure FDA0004156628840000032
式中，α＝(α1，α2，α3，……，αN，)为拉格朗日乘子，且αi≥0；
S324：采用核函数将输入的特征数据集映射到高维空间，进而将根据最优解计算出对应的分类决策函数；所述分类决策函数表达为：
Figure FDA0004156628840000033
式中，α*为对偶问题的最优解，b*为原目标函数的最优解，x为测试点，Φ表示映射。
6.根据权利要求5所述的基于深度学习的水质预测方法，其特征在于，在步骤S324中，所述核函数采用高斯核函数，将所述分类决策函数转换为最终分类决策函数：
Figure FDA0004156628840000034
式中，τ为超参数。
7.根据权利要求1所述的基于深度学习的水质预测方法，其特征在于，在步骤S33中，所述LSTM网络包括遗忘门、输入门和输出门；
所述遗忘门的输入为上一时刻的状态向量ht-1与当前时刻的输入xt，输出为一个与传输带状态向量大小相同且每个元素均在0到1之间的向量ft；所述向量ft表达为：
ft＝σ(Wf[ht-1，xt]+bf)
式中，σ为Sigmoid激活函数，Wf为参数矩阵，bf为偏置项；
所述输入门用于产生需要更新的新信息并生成新的候选值；所述新信息it和所述候选值
Figure FDA0004156628840000035
分别表达为：
it＝σ(Wi[ht-1，xt]+bi)
Figure FDA0004156628840000036
式中，tanh为tanh激活函数，Wc、Wi为参数矩阵，bi、bc为偏置项；
所述输出门用于决定最终的输出结果；所述输出结果ht表达为：
ht＝ot*tanh(Ct)
ot＝σ(Wo[ht-1，xt]+bo)
式中，Wo为参数矩阵，bo为偏置项。
8.根据权利要求7所述的基于深度学习的水质预测方法，其特征在于，在步骤S33中，将所述遗忘门与所述输入门的操作进行结合，得到新状态向量Ct的运算公式为：
Figure FDA0004156628840000041
式中，Ct-1为上一时刻的状态向量。
9.一种基于深度学习的水质预测***，其采用如权利要求1至8中任意一项所述的基于深度学习的水质预测方法，其特征在于，所述水质预测***包括：
采集模块，其用于采集水质数据；
预处理模块，其包括缺失处理模块和滤波处理模块；所述缺失处理模块采用三次样条差值法对所述水质数据中的缺失数据进行插补；所述滤波处理模块采用移动平均滤波法对所述水质数据进行滤波，得到对应的滤波数据；
水质预测模型，其包括特征提取模块、支持向量机、LSTM网络和残差模块；所述特征提取模块采用偏最小二乘法提取所述滤波数据的特征数据；所述支持向量机用于根据输入的所述特征数据输出对应的预测数据；所述LSTM网络用于对所述支持向量机的参数进行寻优处理；所述残差模块用于解决所述LSTM网络的梯度消失问题，优化所述LSTM网络的前后向传播的流畅性。
10.一种基于深度学习的水质预测装置，其特征在于，其包括存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述水质预测装置中的各功能模块采用如权利要求9所述的基于深度学习的水质预测***的方式完成部署，所述处理器执行所述计算机程序时，实现如权利要求1至8中任意一项所述的基于深度学习的水质预测方法的步骤，进而实现对待测水源水质的精准预测。
CN202310336542.5A 2023-03-31 2023-03-31 一种基于深度学习的水质预测方法、***和装置 Pending CN116364203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310336542.5A CN116364203A (zh) 2023-03-31 2023-03-31 一种基于深度学习的水质预测方法、***和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310336542.5A CN116364203A (zh) 2023-03-31 2023-03-31 一种基于深度学习的水质预测方法、***和装置

Publications (1)

Publication Number Publication Date
CN116364203A true CN116364203A (zh) 2023-06-30

Family

ID=86936184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310336542.5A Pending CN116364203A (zh) 2023-03-31 2023-03-31 一种基于深度学习的水质预测方法、***和装置

Country Status (1)

Country Link
CN (1) CN116364203A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195135A (zh) * 2023-11-01 2023-12-08 潍坊德瑞生物科技有限公司 一种水污染异常溯源检测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195135A (zh) * 2023-11-01 2023-12-08 潍坊德瑞生物科技有限公司 一种水污染异常溯源检测方法及***
CN117195135B (zh) * 2023-11-01 2024-02-27 潍坊德瑞生物科技有限公司 一种水污染异常溯源检测方法及***

Similar Documents

Publication Publication Date Title
CN112101480B (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN110648014B (zh) 一种基于时空分位数回归的区域风电预测方法及***
Lian et al. A novel data-driven tropical cyclone track prediction model based on CNN and GRU with multi-dimensional feature selection
CN108399248A (zh) 一种时序数据预测方法、装置及设备
CN111612243A (zh) 交通速度预测方法、***及存储介质
CN107832897A (zh) 一种基于深度学习的股票市场预测方法
CN114220271A (zh) 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质
CN110957015A (zh) 电子医疗记录数据的缺失值填充方法
CN114297036A (zh) 数据处理方法、装置、电子设备及可读存储介质
CN115495991A (zh) 一种基于时间卷积网络的降水区间预测方法
Zhu et al. A coupled model for dam foundation seepage behavior monitoring and forecasting based on variational mode decomposition and improved temporal convolutional network
CN116364203A (zh) 一种基于深度学习的水质预测方法、***和装置
CN115374903A (zh) 一种基于高速公路传感网布设的长期路面监测数据增强方法
CN116502161A (zh) 一种基于动态超图神经网络的异常检测方法
Zhang et al. Remaining useful life prediction for rolling bearings with a novel entropy-based health indicator and improved particle filter algorithm
CN116777452B (zh) 智能电表的预付费***及其方法
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置
Xu et al. Residual autoencoder-LSTM for city region vehicle emission pollution prediction
CN112215495A (zh) 一种基于长短时记忆神经网络的污染源贡献度计算方法
CN116306277A (zh) 一种滑坡位移预测方法、装置及相关组件
CN115963788A (zh) 多采样率工业过程关键质量指标在线预测方法
Qi et al. A stock index prediction framework: Integrating technical and topological mesoscale indicators
CN113011657A (zh) 进行台风水位预测的方法、装置、电子设备及存储介质
CN112232557A (zh) 基于长短期记忆网络的转辙机健康度短期预测方法
CN115859202B (zh) 一种非平稳时序数据流场景下的异常检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination