CN107153874B - 水质预测方法及*** - Google Patents

水质预测方法及*** Download PDF

Info

Publication number
CN107153874B
CN107153874B CN201710233920.1A CN201710233920A CN107153874B CN 107153874 B CN107153874 B CN 107153874B CN 201710233920 A CN201710233920 A CN 201710233920A CN 107153874 B CN107153874 B CN 107153874B
Authority
CN
China
Prior art keywords
predicted
water quality
water area
water
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710233920.1A
Other languages
English (en)
Other versions
CN107153874A (zh
Inventor
李振波
吴静
李晨
朱玲
岳峻
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201710233920.1A priority Critical patent/CN107153874B/zh
Publication of CN107153874A publication Critical patent/CN107153874A/zh
Application granted granted Critical
Publication of CN107153874B publication Critical patent/CN107153874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种水质预测方法及***,所述方法使用ARIMA自回归积分滑动平均模型与BP神经网络相结合的方法对水质时间序列数据的预测。本发明所述方案可以对待预测水域大量水质数据进行预测,具有预测范围大、精度高和速度快的特点,便于多水源监管、水质预警、水污染治理。

Description

水质预测方法及***
技术领域
本发明涉及环境预测技术领域,更具体地,涉及水质预测方法及***。
背景技术
目前,水质预测是实现水***的柔性管理、防治水污染的前提工作。复杂水域的水环境涉及的环境影响因素较多,正是因为环境***的复杂性,环境模拟的数学模型建立就具有不确定性和复杂性的特点,同时局限了预测方法的应用。环境问题复杂多样,环境介质有不同的类型,如天气因素可以决定河流山川的水流速、浊度等。使用历史数据,可通过不同的预测方法推求环境变量与待预测水质指标之间的非线性关系或待预测水质指标本身随时间的变化规律。目前,比较常用的预测方法有水质模拟预测、神经网络模型预测、时间序列预测法和灰色预测模型法和基于混沌理论的水质预测法等5大类。
水域的季节性变化明显,受人类活动和水文气象条件的双重影响,利用上也存在众多难度,这就需要我们及时地监测相应流域的的水量与水质变化状况。流域水质的影响因子为PH、溶解氧(DO)、电导率(EC)、浊度(TU)、氨氮(NH3-N)、化学需氧量(COD)、总磷(TP)、总氮(TN)等8个水质参数,从目前来看这些参数基本能满足水质预测要求。对其中溶解氧、氨氮、总磷、总氮的预测,不论对不同流域的污染治理、水源管理都具有重要意义。利用采集的时间序列水质数据,分析监测数据,利用模型预测等是具有可行性的。
现有技术中,Wedding and Cios提出了一个使用径向基函数网络(RBF)和Box-Jenkins模型相结合的方法;Pelikan等和Ginzburg和Horn提出了结合一些前馈神经网络的方法来改善时间序列预测的准确性;一些混合模型也已经出现,如使用自动回归滑动平均模型(ARIMA)和人工神经网络(ANNs)相结合的方法应用于时间序列预测;Chen and Wang构造了组合模型,合并季节性自回归综合移动平均(SARIMA)和支持向量机,用于季节性时间序列模型预测;Zhou and Hu提出了一种基于灰色和Box-Jenkins自回归移动平均模型的混合建模和预测方法。Tseng等提议使用结合了季节性ARIMA(SARIMA)模型和反向传播神经网络的SARIMABP混合模型来预测季节性时间序列数据。Mehdi Khashei等使用ARIMA与ANN的混合模型来对时间序列数据进行预测。
但上述现有技术并没有对于水质预测上起到明显精准预测的有益效果,其预测结果远远不能达到相应的使用标准。
发明内容
本发明为克服上述问题或者至少部分地解决上述问题,提供水质预测方法及***,使用将ARIMA自回归积分滑动平均模型与BP神经网络相结合的方法实现对水质预测。
根据本发明的一个方面,提供水质预测方法,包括:
步骤1,基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;
步骤2,将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
进一步,所述步骤1进一步包括:
基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型;基于待预测水域水质参数的输入数据,利用所述水质线性数据预测模型,获取所述待预测水域水质参数预测值。
进一步,所述步骤1进一步包括:
基于待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,训练得到水质非线性数据预测模型;基于待预测水域气象因素的输入数据,利用所述水质非线性数据预测模型,获取所述待预测水域气象因素预测值;
进一步,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型的步骤进一步包括:
判断待预测水域历史气象因素时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;计算所述ARMA(p,q)自回归积分滑动平均模型的系数和阶数;计算所述ARIMA自回归积分滑动平均模型的参数。
进一步,所述基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,训练得到水质非线性数据预测模型的步骤进一步包括:
基于待预测水域历史气象因素时间序列数据,利用反向传播算法对BP神经网络模型的权值和偏差进行反复的调整训练,当网络输出层的误差平方和小于阈值时,保存所述BP神经网络模型的权值和偏差。
进一步,所述步骤1前还包括:删除所述待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据中的空缺值。
进一步,ARIMA自回归积分滑动平均模型ARIMA自回归积分滑动平均模型计算所述ARIMA自回归积分滑动平均模型的参数的步骤后还包括:将建立ARIMA自回归积分滑动平均模型过程中的出错数据,结合所述待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,获取所述待预测水域气象因素预测值。
进一步,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型的步骤进一步包括:
S111,采用ADF单位根检验来判断待预测水域历史气象因素时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;
S112,利用自相关函数和偏自相关函数计算所述ARMA(p,q)自回归积分滑动平均模型的系数和阶数;利用最小二乘法计算所述ARIMA自回归积分滑动平均模型的参数。
进一步,所述步骤1前还包括:
S0,对待预测水域历史气象因素进行数据预处理,得到各气象因素中主成分的以下值中至少一种:特征值、贡献率和累计贡献率。
根据本发明的一个方面,提供一种水质预测***,包括:
预测模块,用于基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;
叠加模块,用于将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
本申请提出水质预测方法及***,所述方法使用ARIMA自回归积分滑动平均模型与BP神经网络相结合的方法对水质时间序列数据的预测。本发明所述方案具有对可以对待预测水域大量水质数据进行预测,具有预测范围大、精度高和速度快的特点,便于多水源监管、水质预警、水污染治理。
附图说明
图1根据本发明实施例水质预测方法的整体流程示意图;
图2根据本发明实施例水质预测方法的流程示意图;
图3为根据本发明实施例水质预测***的整体框架示意图;
图4为根据本发明实施例水质预测方法的装置示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
首先,对本发明出现的相关名词进行说明。
ARIMA自回归积分滑动平均模型:全称为自回归积分滑动平均模型(Autoregressive Integrated Moving Average Model,简记ARIMA),是由博克思(Box)和詹金斯(Jenkins)于70年代初提出一著名时间序列预测方法,所以又称为box-jenkins模型、博克思-詹金斯法。其中ARIMA(p,d,q)称为差分自回归移动平均模型,AR是自回归,p为自回归项;MA为移动平均,q为移动平均项数,d为时间序列成为平稳时所做的差分次数。所谓ARIMA自回归积分滑动平均模型,是指将非平稳时间序列转化为平稳时间序列,然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。ARIMA自回归积分滑动平均模型根据原序列是否平稳以及回归中所含部分的不同,包括移动平均过程(MA)、自回归过程(AR)、自回归移动平均过程(ARMA)以及ARIMA过程。
如图1,示出本发明一个具体实施例中一种水质预测方法整体流程示意图。总体上,包括:
步骤1,基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;
步骤2,将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
在本发明另一个具体实施例中,一种水质预测方法,所述步骤1进一步包括:
基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型;基于待预测水域水质参数的输入数据,利用所述水质线性数据预测模型,获取所述待预测水域水质参数预测值。
在本发明另一个具体实施例中,一种水质预测方法,所述步骤1进一步包括:
基于待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,训练得到水质非线性数据预测模型;基于待预测水域气象因素的输入数据,利用所述水质非线性数据预测模型,获取所述待预测水域气象因素预测值;
在本发明另一个具体实施例中,一种水质预测方法,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型的步骤进一步包括:
判断待预测水域历史气象因素时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;计算所述ARMA(p,q)自回归积分滑动平均模型的系数和阶数;计算所述ARIMA自回归积分滑动平均模型的参数。
在本发明另一个具体实施例中,一种水质预测方法,所述基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,训练得到水质非线性数据预测模型的步骤进一步包括:
基于待预测水域历史气象因素时间序列数据,利用反向传播算法对BP神经网络模型的权值和偏差进行反复的调整训练,当网络输出层的误差平方和小于阈值时,保存所述BP神经网络模型的权值和偏差。
在本发明另一个具体实施例中,一种水质预测方法,所述步骤1前还包括:删除所述待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据中的空缺值。
在本发明另一个具体实施例中,一种水质预测方法,计算所述ARIMA自回归积分滑动平均模型的系数和阶数;计算所述ARIMA自回归积分滑动平均模型的参数的步骤后还包括:将建立ARIMA自回归积分滑动平均模型过程中的出错数据,结合所述待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,获取所述待预测水域气象因素预测值。
在本发明另一个具体实施例中,一种水质预测方法,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型的步骤进一步包括:
S111,采用ADF单位根检验来判断待预测水域历史气象因素时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;
S112,利用自相关函数和偏自相关函数计算所述ARMA(p,q)自回归积分滑动平均模型的系数和阶数;利用最小二乘法计算所述ARIMA自回归积分滑动平均模型的参数。
在本发明另一个具体实施例中,一种水质预测方法,所述步骤1前还包括:
S0,对待预测水域历史气象因素进行数据预处理,得到各气象因素中主成分的以下值中至少一种:特征值、贡献率和累计贡献率。
在本发明另一个具体实施例中,一种水质预测方法,所述BP神经网络为基于Levenberg-Marquardt算法训练的BP神经网络。
如图2,在本发明另一个具体实施例中,一种水质预测方法。
对采集的待预测流域水质数据,水质数据的预测可能不容易被独立的模型实验,因为水质时间序列数据可能包括多种季节性等特点,异方差性或非高斯误差。对于时间序列水质数据有:线性和非线性序列。线性数据使用ARIMA自回归积分滑动平均模型预测,对于非线性数据,使用LM-BP神经网络预测,最后得出预测结果。考虑到水质数据其中大部分是非线性数据,则在LM-BP神经网络中加入气象因素对模型进行训练。概水质数据时间序列预测方法步骤如图2所示。
对于采集的原始水质数据PH、溶解氧(DO)、电导率(EC)、浊度(TU)、氨氮(NH3-N)、化学需氧量(COD)、总磷(TP)、总氮(TN)等水质参数,以及采集到的气象因素,比如气温、风速、降雨量,大气压强等等气象因子,采用删除空缺值的方法对水质数据和气象因素数据做预理。
气象因素的每个变量都在不同程度上反映了水质预测的某些信息,并且指标之间相互有一定的相关性,因而所得的统计数据反映的信息在一定程度上有重叠,采用主成分分析技术则可以剔除冗余信息。采用主成分分析对降水量、温度、风速、湿度、气压等天气因素进行数据预处理,得到各主成分的特征值,贡献率及累计贡献率。多变量天气因子经过主成分分析后,提取天气因素特征量,实现高维到低维的简化,可以简化数据结构,在保证预测精度的前提下,有效提高预测效率。
ARIMA自回归积分滑动平均模型建模时,首先采用ADF(Augmented Dickey-Fuller)单位根检验来判断数据的平稳性。水质数据一般为非平稳数据,数据经过d次差分处理,建立ARIMA(p,d,q)模型,采用自相关函数(ACF)、偏自相关函数(PACF)来判别ARIMA(p,q)模型的系数和阶数,然后使用最小二乘法对ARIMA自回归积分滑动平均模型进行参数估计,检验ARIMA自回归积分滑动平均模型是否合适,获得满意的ARIMA自回归积分滑动平均模型。把经过删除空缺值后的时间序列水质数据输入到ARIMA自回归积分滑动平均模型中,ARIMA自回归积分滑动平均模型对其中线性序列数据进行预测。
其中经过ARIMA自回归积分滑动平均模型的出错数据,也就是剩余非线性序列数据,同时结合经过主成分分析后的天气因素特征量作为LM-BP神经网络模型的输入。建立神经网络模型是选择BP算法(反向传播算法)使用反向传播算法对网络的权值和偏差进行反复的调整训练,使输出的向量与期望向量尽可能地接近,当网络输出层的误差平方和小于指定的误差时训练完成,保存网络的权值和偏差。由于非线性隐层单元的存在,导致网络存在多个最小点,所以学习过程不一定能保证达到全局最小,使得实际输出和理想输出之间有一定的偏差。采用Levenberg-Marguardt(LM)优化算法解决学习过程收敛速度慢、对一些复杂问题训练时间很长和数据庞大等问题。本模型采用三层网络结构,包括输入层、隐含层和输出层。其然后精选出大量水质数据和天气因素数据作为样本集来训练网络,通过多次训练与测试,一直到获得满意的网络模型为止。
最后将ARIMA自回归积分滑动平均模型与LM-BP神经网络模型结果在待预测各时间点的值进行相加,得到水质预测结果。
下面分别介绍主成分分析、ARIMA自回归积分滑动平均模型、LM-BP神经网络模型三个方面的内容。
1.主成分分析步骤:
各个因素之间都存在一定的相关关系,信息互嵌,直接使用会造成信息冗余,增加计算复杂度,延长预测时间,影响计算速度和预测效率。因此,有必要对这些气象因素进行预处理。主成分分析是综合处理这种问题的一种强有力的工具,能在相关分析基础上,用较少新变量代替原来较多旧变量,而且使这些较少的新变量尽可能多地保留原来变量所反映的信息。
对于采集的气象因素有n个样本,每个样本共有p个天气因子变量,构成一个n×p阶的数据矩阵:
主成分分析步骤:
(1)对数据标准化,将原始天气因素数据标准化为[0,1]之间的有效数据;
(2)计算相关系数矩阵;
式中:rij(i,j=1,2,…,p)为原变量的xi与xj之间的相关系数,其计算式为:
(3)计算特征值与特征向量首先解特征方程|λI-R|=0,通常用雅可比法求出特征值λi(i=1,2,…,p),并使其按大小顺序排列,即λ1≥λ2≥…≥λp≥0;然后分别求出对应于特征值λi的特征向量ei(i=1,2,…,p)。要求,rij=rji其中eij表示ei的第j个分量。
(4)计算主成分贡献率及累计贡献率
主成分zi的贡献率为:
累计贡献率为:
一般取累计贡献率达到85%~95%的特征值λ12,…,λm所对应的第一、第二,…,第m(m≤p)个主成分。
(5)新样本矩阵的构造定义:记x1,x2,…,xp为原变量指标,z1,z2,…,zm(m≤p)为新变量指标,根据下面两式计算得出每一个主成分的各样本值。
则新样本矩阵为:
计算出特征值,得到特征向量,将特征向量与非线性水质时间序列数据作为LM-BP神经网络的输入。
2.ARIMA自回归积分滑动平均模型
全称为自回归积分滑动平均模型(Autoregressive Integrated Moving AverageModel,简记ARIMA),是由博克思(Box)和詹金斯(Jenkins)于70年代初提出一著名时间序列预测方法,所以又称为box-jenkins模型、博克思-詹金斯法。其中ARIMA(p,d,q)称为差分自回归移动平均模型,AR是自回归,p为自回归项;MA为移动平均,q为移动平均项数,d为时间序列成为平稳时所做的差分次数。所谓ARIMA自回归积分滑动平均模型,是指将非平稳时间序列转化为平稳时间序列,然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。ARIMA自回归积分滑动平均模型根据原序列是否平稳以及回归中所含部分的不同,包括移动平均过程(MA)、自回归过程(AR)、自回归移动平均过程(ARIMA)以及ARIMA过程。ARIMA是当前时间序列分析中最通用的方法,它是先通过差分运算,把长期趋势、固定周期等信息提取出来,将非平稳序列变为平稳序列后进行分析的过程。
ARIMA自回归积分滑动平均模型将预测指标随时间推移而形成的数据序列看作是一个随机序列,这组随机变量所具有的依存关系体现着原始数据在时间上的延续性,它既受外部因素的影响,又有自身变动规律。ARIMA自回归积分滑动平均模型可以对线性水质时间序列数据进行预测。
建立ARIMA时间序列模型包括四个步骤:
(1)数据的平稳性处理
ARIMA自回归积分滑动平均模型建模时,首先采用ADF(Augmented Dickey-Fuller)单位根检验来判断数据的平稳性。采取差分的形式处理非平稳数据,进行差分的次数就是ARIMA(p,d,q)模型中的阶数d。时间序列数据被平稳化处理后,ARIMA(p,d,q)模型就转化为ARIMA(p,q)模型。
序列能通过d次差分后变成平稳序列则建立ARIMA(p,d,p)模型:
wt=φ1wt-12wt-2+…+φpwt-p+δ+ut1ut-12ut-2+…+θqut-q
W表示时间序列数据,δ是常数,表示序列数据无0均值化,ut为白噪声序列。
(2)模型识别
在时间序列分析中,采用自相关函数(ACF)、偏自相关函数(PACF)来判别ARIMA(p,q)模型的系数和阶数。自相关函数(ACF)描述时间序列观测值与其过去的观测值之间的线性相关性。偏自相关函数(PACF)描述在给定中间观测值的条件下时间序列观测值与其过去的观测值之间的线性相关性。
(3)参数估计
时间序列分析模型的阶数确定后,然后用最小二乘法对ARIMA自回归积分滑动平均模型进行参数估计。
(4)模型验证
验证所拟合的时间序列模型的参数估计值是否有显著性和验证所拟合的时间序列模型的残差序列是否是白噪声序列,即残差序列的独立性检验。
3.LM-BP神经网络算法
建模是选择LM算法的BP神经网络模型,然后精选大量水质数据和天气因素数据作为样本来训练网络,通过多次训练与测试,直至获得满意的网络模型。由于水质指标预测具有复杂的输入输出非线性隐性关系,需要通过大量的样本学习和训练才能得到有用的模型。将利用主成分分析技术降维处理的气象因素和非线性水质时间序列数据作为神经网络的输入。根据神经网络的数据处理特点,需要对输入数据进行归一化处理。
水质非线性时间序列数据预测模型建模步骤具体如下:
(1)统计分析确定预测对象及其影响因子,并对影响因子做主成分分析,用少数不相关因子代替;
(2)对数据进行归一化处理;
(3)建立三层网络预测模型,包括输入层、隐含层和输出层;
(4)使用样本集对LM-BP神经网络的训练,训练出初始网络;
(5)利用剩余样本进行测试,得到网络预测模型;
LM算法是一种利用标准的数值优化技术的快速算法,它是梯度下降法与高斯一牛顿法的相结合,是高斯一牛顿法的一种改进形式,它既有高斯一牛顿法的局部收敛性,又具有梯度下降法的全局特性。标准的LM-BP算法为:
设误差目标函数为:
其中
aij=tij-yij (2)
为网络误差向量,vi(x)为误差向量。由牛顿法:
则:
尽管牛顿法具有收敛迅速的优点,但由于每次迭代计算中不能保证Hessian矩阵F2(x)都可逆,则可用JT(x)J(x)+S(x)近似代替F2(x),式中J(x)为a(x)的雅可比(Jacobian)矩阵。为a(x)为的误差矩阵。
可以证明:
当解靠近极值点时:
S(x)=0 (7)
则:
Δ(x)=-[JT(x)J(x)]-1JT(x)a(x) (8)
将(8)式进行改进,使其既包含高斯-牛顿法又具有梯度下降法的混合形式。公式为:
Δ(x)=-[JT(x)J(x)+IU]-1·JT(x)a(x) (9)
式中:I为单位矩阵,U为比例系数,若U接近于0时,则为高斯-牛顿法,若U值较大时,近似于梯度下降法通常的调整策略是算法开始时U取一小的正值,如果某一步不能减少误差目函数F(x)的值,则U乘以一个大于1的步进因子θ,即U=Uθ,如果某一步产生了更小的F(x),则U在下一步除以θ,即U=U/θ.
LM算法可以使BP神经网络模型更快收敛,获得有效的预测结果。
图3中,示出一个具体实施例中,一种水质预测***的整体框架示意图。整体上,包括:
预测模块A1,用于基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;
叠加模块A2,用于将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于:基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型;基于待预测水域水质参数的输入数据,利用所述水质线性数据预测模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,训练得到水质非线性数据预测模型;基于待预测水域气象因素的输入数据,利用所述水质非线性数据预测模型,获取所述待预测水域气象因素预测值。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于:
判断待预测水域历史气象因素时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;计算所述ARMA(p,q)自回归积分滑动平均模型的系数和阶数;计算所述ARIMA自回归积分滑动平均模型的参数。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于:基于待预测水域历史气象因素时间序列数据,利用反向传播算法对BP神经网络模型的权值和偏差进行反复的调整训练,
当网络输出层的误差平方和小于阈值时,保存所述BP神经网络模型的权值和偏差。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于:删除所述待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据中的空缺值。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于将建立ARIMA自回归积分滑动平均模型过程中的出错数据,结合所述待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,获取所述待预测水域气象因素预测值。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于:采用ADF单位根检验来判断待预测水域历史气象因素时间序列数据的平稳性:经过d次差分处理,建立ARIMA自回归积分滑动平均模型;利用自相关函数和偏自相关函数计算所述ARIMA自回归积分滑动平均模型的系数和阶数;利用最小二乘法计算所述ARIMA自回归积分滑动平均模型的参数。
在本发明另一个具体实施例中,一种水质预测***,所述预测模块还用于对待预测水域历史气象因素进行数据预处理,得到各气象因素中主成分的以下值中至少一种:特征值、贡献率和累计贡献率。
图4是示出本申请实施例的水质预测方法的设备的结构框图。
参照图4,所述水质预测方法的测试设备,包括:处理器(processor)401、存储器(memory)402、通信接口(Communications Interface)403和总线404;
其中,
所述处理器401、存储器402、通信接口403通过所述总线404完成相互间的通信;
所述通信接口403用于该测试设备与水质预测方法的通信设备之间的信息传输;
所述处理器401用于调用所述存储器402中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:步骤1,基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;步骤2,将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:步骤1,基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;步骤2,将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:步骤1,基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数预测值;基于待预测水域历史气象因素时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素预测值;步骤2,将所述待预测水域气象因素预测值和所述待预测水域水质参数预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的水质预测方法的设备等实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本发明所述基于BP神经网络和ARIMA自回归积分滑动平均模型的水质时间序列预测方法,对采集的待预测流域水质参数时间序列数据和天气因素数据进行预处理,将历史数据中的缺失数据删除,并将气象因素数据进行主成分分析,做降维处理;将经过预处理的待预测流域水质参数时间序列数据分为训练样本集和测试样本集,以训练样本集前若干连续单位时间的水质参数值作为ARIMA自回归积分滑动平均模型输入,以下一单位时间的水质参数值作为输出,对ARIMA自回归积分滑动平均模型用测试样本集对训练后的模型进行检验,获得基于ARIMA自回归积分滑动平均模型的水质参数时间序列预测模型;其中经过ARIMA自回归积分滑动平均模型后剩余的非线性数据和经过主成分分析的天气因素数据共同作为BP神经网络模型的输入,训练LM-BP神经网络模型,再测试样本集检验,获得合适的BP神经网络模型;最后可使用ARIMA自回归积分滑动平均模型和BP神经网络模型对新的水质参数时间序列数据进行预测,预测结果在待预测各时间点的值进行相加,获得更精确的预测结果。
基于LM-BP神经网络和ARIMA自回归积分滑动平均模型的水质时间序列预测方法可应用于不同流域的PH、溶解氧(DO)、电导率(EC)、浊度(TU)、氨氮(NH3-N)、化学需氧量(COD)、总磷(TP)、总氮(TN)等水质参数的预测,预测精度高,范围广,具有良好的鲁棒性。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种水质预测方法,其特征在于,包括:
步骤1,基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数第一预测值;基于待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据,利用BP神经网络模型,获取所述待预测水域水质参数第二预测值;
步骤2,将所述待预测水域水质参数第一预测值和所述待预测水域水质参数第二预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果;
其中,所述步骤1进一步包括:
基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型;基于待预测水域水质参数的输入数据,利用所述水质线性数据预测模型,获取所述待预测水域水质参数第一预测值;
其中,所述步骤1进一步包括:
基于待预测水域水质参数历史时间序列数据,利用LM-BP神经网络模型,训练得到水质非线性数据预测模型;基于待预测水域气象因素时间序列数据的输入数据,利用所述水质非线性数据预测模型,获取所述待预测水域水质参数第二预测值;
其中,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型的步骤进一步包括:
判断待预测水域水质参数历史时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;计算所述ARIMA(p,q)自回归积分滑动平均模型的系数和阶数;计算所述ARIMA自回归积分滑动平均模型的参数;
其中,p为自回归项;MA为移动平均,q为移动平均项数,d为时间序列成为平稳时所做的差分次数。
2.如权利要求1所述的方法,其特征在于,所述基于待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据,利用BP神经网络模型,训练得到水质非线性数据预测模型的步骤进一步包括:
基于待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据,利用反向传播算法对BP神经网络模型的权值和偏差进行反复的调整训练,当网络输出层的误差平方和小于阈值时,保存所述BP神经网络模型的权值和偏差。
3.如权利要求1或2任一所述的方法,其特征在于,所述步骤1前还包括:删除所述待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据中的空缺值。
4.如权利要求1所述的方法,其特征在于,ARIMA自回归积分滑动平均模型ARIMA自回归积分滑动平均模型计算所述ARIMA自回归积分滑动平均模型的参数的步骤后还包括:将建立ARIMA自回归积分滑动平均模型过程中的出错数据,结合所述待预测水域历史气象因素时间序列数据,利用LM-BP神经网络模型,获取所述待预测水域水质参数第二预测值。
5.如权利要求1所述的方法,其特征在于,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型的步骤进一步包括:
S111,采用ADF单位根检验来判断待预测水域水质参数历史时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;
S112,利用自相关函数和偏自相关函数计算所述ARIMA(p,q)自回归积分滑动平均模型的系数和阶数;利用最小二乘法计算所述ARIMA自回归积分滑动平均模型的参数。
6.如权利要求1所述的方法,其特征在于,所述步骤1前还包括:
S0,对待预测水域历史气象因素进行数据预处理,得到各气象因素中主成分的以下值中至少一种:特征值、贡献率和累计贡献率。
7.一种水质预测方法***,其特征在于,包括:
预测模块,用于基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,获取所述待预测水域水质参数第一预测值;基于待预测水域历史气象因素时间序列数据和待预测水域水质参数历史时间序列数据,利用BP神经网络模型,获取所述待预测水域气象因素第二预测值;
叠加模块,用于将所述待预测水域水质参数第一预测值和所述待预测水域水质参数第二预测值在待预测各时间点的值进行相加,得到所述待预测水域的水质预测结果;
其中,所述预测模块进一步用于基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型;基于待预测水域水质参数的输入数据,利用所述水质线性数据预测模型,获取所述待预测水域水质参数第一预测值;
所述预测模块进一步用于基于待预测水域水质参数历史时间序列数据,利用LM-BP神经网络模型,训练得到水质非线性数据预测模型;基于待预测水域气象因素时间序列数据的输入数据,利用所述水质非线性数据预测模型,获取所述待预测水域水质参数第二预测值;
其中,所述基于待预测水域水质参数历史时间序列数据,利用ARIMA自回归积分滑动平均模型,训练得到水质线性数据预测模型具体包括:
判断待预测水域水质参数历史时间序列数据的平稳性:经过d次差分处理,建立ARIMA(p,d,q)自回归积分滑动平均模型;计算所述ARIMA(p,q)自回归积分滑动平均模型的系数和阶数;计算所述ARIMA自回归积分滑动平均模型的参数;
其中,p为自回归项;MA为移动平均,q为移动平均项数,d为时间序列成为平稳时所做的差分次数。
CN201710233920.1A 2017-04-11 2017-04-11 水质预测方法及*** Active CN107153874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710233920.1A CN107153874B (zh) 2017-04-11 2017-04-11 水质预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710233920.1A CN107153874B (zh) 2017-04-11 2017-04-11 水质预测方法及***

Publications (2)

Publication Number Publication Date
CN107153874A CN107153874A (zh) 2017-09-12
CN107153874B true CN107153874B (zh) 2019-12-20

Family

ID=59793705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710233920.1A Active CN107153874B (zh) 2017-04-11 2017-04-11 水质预测方法及***

Country Status (1)

Country Link
CN (1) CN107153874B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053054B (zh) * 2017-11-22 2020-09-01 中国农业大学 一种河流水质预测方法
CN108345955A (zh) * 2017-11-24 2018-07-31 北京国网富达科技发展有限责任公司 一种输电线路覆冰短期预测方法、装置及存储介质
CN107832569B (zh) * 2017-12-14 2021-06-25 云南省水利水电勘测设计研究院 一种准确插补延长设计站水文特征值的处理方法
CN109388863B (zh) * 2018-09-21 2023-05-26 国网天津市电力公司 一种基于arima模型的分布式光伏出力功率预测方法
CN109583645A (zh) * 2018-11-28 2019-04-05 上海电力学院 一种公共楼宇短期负荷预测方法
CN110045771B (zh) * 2019-04-19 2020-12-08 淮阴工学院 一种鱼塘水质智能监测***
CN111985670A (zh) * 2019-05-24 2020-11-24 中移(苏州)软件技术有限公司 一种水产养殖监控方法、装置及存储介质
CN111458471B (zh) * 2019-12-19 2023-04-07 中国科学院合肥物质科学研究院 一种基于图神经网络的水域检测预警方法
CN111260117B (zh) * 2020-01-10 2022-03-25 燕山大学 一种基于气象因子的ca-narx水质预测方法
CN111612032A (zh) * 2020-04-08 2020-09-01 深圳市水务科技有限公司 一种数据处理方法及***
CN112288192A (zh) * 2020-11-23 2021-01-29 深圳市维度数据科技股份有限公司 一种环保监测预警方法及***
CN112633584B (zh) * 2020-12-29 2022-06-21 中国地质大学(武汉) 基于改进的LSTM-seq2seq模型的河流突发水污染事故水质预测方法
CN112861242A (zh) * 2021-03-17 2021-05-28 辽宁工程技术大学 一种基于混合智能算法对非高斯脉动风速预测方法
CN113077019B (zh) * 2021-06-07 2021-09-17 芯视界(北京)科技有限公司 污染类型识别方法及装置和存储介质
CN113780356B (zh) * 2021-08-12 2023-08-08 北京金水永利科技有限公司 基于集成学习模型的水质预测方法及***
CN114021778A (zh) * 2021-10-15 2022-02-08 金茂数字科技有限公司 一种基于智慧物联的智慧环境管理方法和***
CN114282639B (zh) * 2021-12-24 2024-02-02 上海应用技术大学 基于混沌理论和bp神经网络的水华预警方法
CN117350601B (zh) * 2023-12-06 2024-04-16 北京英视睿达科技股份有限公司 水质预测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577694A (zh) * 2013-11-07 2014-02-12 广东海洋大学 一种基于多尺度分析的水产养殖水质短期组合预测方法
CN103886218A (zh) * 2014-04-08 2014-06-25 北京工商大学 基于多元非平稳时间序列分析与神经网络及支持向量机补偿的湖库藻类水华预测方法
CN103942457A (zh) * 2014-05-09 2014-07-23 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法
CN104992244A (zh) * 2015-07-08 2015-10-21 中国民用航空总局第二研究所 一种基于sarima和rbf神经网络集成组合模型的机场货运量预测分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577694A (zh) * 2013-11-07 2014-02-12 广东海洋大学 一种基于多尺度分析的水产养殖水质短期组合预测方法
CN103886218A (zh) * 2014-04-08 2014-06-25 北京工商大学 基于多元非平稳时间序列分析与神经网络及支持向量机补偿的湖库藻类水华预测方法
CN103942457A (zh) * 2014-05-09 2014-07-23 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法
CN104992244A (zh) * 2015-07-08 2015-10-21 中国民用航空总局第二研究所 一种基于sarima和rbf神经网络集成组合模型的机场货运量预测分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A hybrid neural network and ARIMA model for water quality time series prediction;Durdu O¨mer Faruk;《Engineering Applications of Artificial Intelligence》;20091028;第586-594页 *
Water quality prediction based on a novel hybrid model of ARIMA and RBF neural network;Weihui Deng 等;《IEEE》;20150806;第33-40页 *
基于时间序列ARIMA与BP神经网络的组合预测模型;翟静 等;《理论新探》;20160407(第4期);第29-32页 *

Also Published As

Publication number Publication date
CN107153874A (zh) 2017-09-12

Similar Documents

Publication Publication Date Title
CN107153874B (zh) 水质预测方法及***
Sun et al. Using Bayesian deep learning to capture uncertainty for residential net load forecasting
CN107765347B (zh) 一种高斯过程回归和粒子滤波的短期风速预测方法
CN109472110A (zh) 一种基于lstm网络和arima模型的航空发动机剩余使用寿命预测方法
WO2019080367A1 (zh) 一种机械设备健康状态评估方法
CN106529145A (zh) 一种基于arima‑bp神经网络的桥梁监测数据预测方法
CN109917777B (zh) 基于混合多采样率概率主成分分析模型的故障检测方法
CN111754042A (zh) 基于高斯回归的大气污染物浓度的预测方法及装置
CN107516279B (zh) 一种网络舆情自动预警的方法
CN111310981A (zh) 一种基于时间序列的水库水位趋势预测方法
CN112800616A (zh) 基于比例加速退化建模的设备剩余寿命自适应预测方法
CN112348290A (zh) 河流水质预测方法、装置、存储介质及设备
Oshodi et al. Comparing univariate techniques for tender price index forecasting: Box-Jenkins and neural network model
Mokarram et al. Net-load forecasting of renewable energy systems using multi-input LSTM fuzzy and discrete wavelet transform
CN116187203A (zh) 一种流域水质预测方法、***、电子设备及存储介质
WO2017071369A1 (zh) 一种预测用户离网的方法和设备
CN113158448A (zh) 一种船舶***设备阈值的自适应计算方法
CN116384843B (zh) 数字能源氮气站的能效评估模型训练方法及其监测方法
CN117521512A (zh) 一种基于多尺度贝叶斯卷积Transformer模型的轴承剩余使用寿命预测方法
CN116611552B (zh) 一种基于目标监测数据的船舶交通流量预测方法及***
CN116719984A (zh) 一种智慧燃气数据管理方法、物联网***和存储介质
CN114564487B (zh) 预报预测相结合的气象栅格数据更新方法
CN113780356B (zh) 基于集成学习模型的水质预测方法及***
CN113435927B (zh) 用户意愿预测方法、装置、设备和存储介质
JP2016520220A (ja) 隠れ属性モデル推定装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant