CN113159456A - 水质预测方法、装置、电子设备及存储介质 - Google Patents

水质预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113159456A
CN113159456A CN202110544949.8A CN202110544949A CN113159456A CN 113159456 A CN113159456 A CN 113159456A CN 202110544949 A CN202110544949 A CN 202110544949A CN 113159456 A CN113159456 A CN 113159456A
Authority
CN
China
Prior art keywords
water quality
data
neural network
quality prediction
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110544949.8A
Other languages
English (en)
Inventor
苗春葆
张静桥
李莅涵
陈焕盛
秦东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Clear Technology Co Ltd
Original Assignee
3Clear Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Clear Technology Co Ltd filed Critical 3Clear Technology Co Ltd
Publication of CN113159456A publication Critical patent/CN113159456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种水质预测方法、装置、电子设备及计算机可读存储介质。水质预测方法包括步骤:基于神经网络模型建立水质预测模型,其中所述神经网络模型为长短时记忆神经网络模型(LSTM)、循环神经网络模型(RNN)、反向传播神经网络模型(BP)、卷积神经网络模型(CNN)中的一种或多种的组合;基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型;基于所述水质预测模型预测水质。本发明的技术方案由于充分地考虑了与水质监测目标数据相关的潜在特征因子数据的影响,并灵活的应用这些数据,合理的发现其可以提供的特征,提升了模型模拟精准程度。

Description

水质预测方法、装置、电子设备及存储介质
技术领域
本发明涉及环境保护技术领域,具体地涉及一种水质预测方法、装置、电子设备及存储介质。
背景技术
现有的河流湖泊水质预测方法大多以单因子的历史数据作为训练样本进行曲线拟合。这种方法在譬如金融等数据比较成熟的行业中具有较高的实用性,但在基于自动监测站的水质预测中,由于监测水质直接&间接影响因素众多、现有的数据量不足以找出稳定的规律,单因子预测的方法往往无法满足预测精准度的需求。同时,由于现阶段水质监测的历史数据质量参差不齐、监测仪器宕机时有发生、监测结果异常值较多,所以很容易由于数据问题影响预测结果的精准性。
目前,水质的模拟预测分析主要利用了机理模型、概念模型、黑箱模型三种方式。在机理模型中通过对污染物在水体迁移过程的生物化反应公式化的推解,实现以数字化的形式将其迁移中变化过程可视化的展示;概念模型中也采用了机理参数,但部分或全部参数之间的关系并没有遵守物理公式,而是用统计规律总结出的经验公式;黑箱模型模型则是忽略了污染物扩散传输的机理,仅通过对监测数据在统计层面的分析来总结规律,形成算法模型。上述三种模型在应用于预测时都遵循了构建模型、率定参数、带入边界条件输出的方式。
长短时记忆神经网络模型作为机器学习的一种,起源于统计模型,属于黑箱模型的一种形式。相比于经典的统计模型,其拥有的自动学习机制能够在数据量足够大的情况下通过输入、遗忘、输出的方式来不断选择性优化记忆,能够有效的把握住长期数据中历史数据对于现状的影响。这使得其在于大数据的环境中广泛的应用。
近几年来,随着水质自动监测站的不断铺设,监测频率越来越高,庞大的数据量为网络模型在水质预测中提供了良好的基础。
现有技术中,一项名称为“基于混合长短时记忆神经网络的水质指标预测方法”的中国发明专利申请(公开号CN110852515A),该专利采用了一套常规的基于监督学***滑处理、归一化处理、划分特征序列、输入网络模型进行预测模拟的流程,从历史数据的变化规律中总结归纳出未来多个时间点的水质值,实现水质指标预测(见图1)。该专利申请中以单因子的历史数据作为训练样本进行曲线拟合。这种方法在譬如金融等数据比较成熟的行业中具有较高的实用性,但在基于自动监测站的水质预测中,由于现阶段历史数据质量参差不齐、仪器宕机时有发生、监测结果异常值较多,所以很容易由于数据问题影响预测结果的精准性。该专利申请中,一方面采用了基于仪器参数&机理判断的异常数据判断机制,另一方面采用了以多因子作为特征拟合曲线的技术,将单个异常值对模拟的影响有效降低。
一项名称为“一种混合优化BP神经网络的湖泊水质预测模型构建方法”的中国发明专利申请(公开号CN109740286A),该发明专利申请中通过数据导出、空数据删除、水质指标筛选、多模型构建、模型效果评估的方式得出基于遗传算法GA和粒子群算法PSO混合优化的BP神经网络模型能够提高水质指标参数预测准确率。该发明专利申请指出了监测数据质量问题,但在数据预处理过程中仅将空缺数据进行了删除处理,会导致数据在时间轴上的不连续性,无法很好的反应出数据变化的规律。同时,在水质指标参数的筛选过程中,该专利提出根据水环境经验筛选指标,但并未对指标进行组合处理,并不能很好的发挥出相关指标的作用。
发明内容
有鉴于此,本发明提供一种水质预测方法、装置、设备及存储介质,采用了基于仪器参数上下限&经验判断的正则表达的方式来删减异常值,并根据数据量分别利用平滑曲线或卷积网络进行填充,来提升数据质量;采用了以多因子作为特征拟合曲线方式,同时结合机理特性对因子进行组合,使特征能够合理有效的被利用;采取将模拟值带入模型循环迭代的方式输出预测结果,并随着监测数据推送实时更新的方式,相比一次性输出所有预测结果,提升了预测的精准程度。
为此,本发明实施例提供如下技术方案:
根据本发明一方面,提供一种水质预测方法,其特征在于,包括如下步骤:
基于神经网络模型建立水质预测模型,其中所述神经网络模型为长短时记忆神经网络模型(LSTM)、循环神经网络模型(RNN)、反向传播神经网络模型(BP,BackPropagation)、卷积神经网络模型(CNN)中的一种或多种的组合;
基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型;
基于所述水质预测模型预测水质。
进一步地,所述基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型包括:
获取历史水质监测目标数据和对应的水质相关数据;对历史水质监测目标数据和所述对应的水质相关数据进行预处理;对水质相关数据进行组合,并对水质相关数据和水质相关数据组合后数据进行筛选作为所述潜在特征因子数据;对所述历史水质监测目标数据和所述潜在特征因子数据进行归一化处理和数据重组;将进行归一化处理和数据重组后获得的数据划分为训练集和测试集;根据所述训练集的数据训练所述水质预测模型,并优化所述水质预测模型的参数。
进一步地,所述获取历史水质监测目标数据和对应的水质相关数据,包括获取目标监测站点所在空间监测断面水质监测目标数据、目标监测站点所在空间位置上游监测断面水质监测目标数据、流量流速监测数据、重点企业排污数据、以及气象降雨数据。
进一步地,所述对历史水质监测目标数据和所述对应的水质相关数据进行预处理,包括:
标准化数据格式;获取数据时间轴长度并按照监测频率为数据添加时间戳;根据监测仪器参数上下限值、专业人员经验上限值利用正则表达判断异常值并做删除处理;检索数据缺失并进行插值填充,数据量大于设定数据量阈值时用卷积神经网络模型模拟填充,数据量小于所述设定数据量阈值时采用平均值、近邻值填充。
进一步地,所述对水质相关数据进行组合,并对水质相关数据和水质相关数据组合后数据进行筛选作为潜在特征因子数据,包括:
根据水质机理特性对水质相关数据进行组合;根据水质相关数据、水质相关数据组合后数据与历史水质监测目标数据相关性来筛选有效特征因子数据和无用特征因子数据,并为有效特征因子数据设置权重值。
进一步地,所述基于所述水质预测模型预测水质,包括:
水质预测模型输出一个模拟值之后,判断模拟数量是否满足指定输出数量,若不满足指定输出数量则将本次输出的模拟值输入所述水质预测模型作为样本数据进行下一个预测值的模拟,直至满足指定输出数量。
进一步地,所述基于所述水质预测模型预测水质,包括:
获取同步监测获得的水质监测目标数据和潜在特征因子数据;用同步监测获得的水质监测目标数据和潜在特征因子数据替换对应时间的预测值输入到所述水质预测模型从而获得水质预测数据并输出。
根据本发明另一方面,提供了一种水质预测装置,包括:
构建模块,用于基于神经网络模型建立水质预测模型,其中所述神经网络模型为长短时记忆神经网络模型(LSTM)、循环神经网络模型(RNN)、BP(Back Propagation)神经网络模型、卷积神经网络模型(CNN)中的一种或多种的组合;训练模块,用于基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型;预测模块,用于基于所述水质预测模型预测水质。
根据本发明另一方面,提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述任意一项水质预测方法。
根据本发明另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述任意一项水质预测方法。
根据本发明的技术方案的水质预测方法、装置、设备及存储介质,由于充分地考虑了与水质监测目标数据相关的潜在特征因子数据的影响,并灵活的应用这些数据,合理的发现其可以提供的特征,提升了模型模拟精准程度。当然,实施本发明的任意一项产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图中的部件不是成比例绘制的,而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分,附图中对应部分可能被放大,即,使其相对于在依据本发明实际制造的示例性装置中的其它部件变得更大。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1示出了现有技术的一种水质预测方法的步骤示意图;
图2示出了根据本发明的另外一个实施例的一种水质预测方法的步骤示意图;
图3示出了根据本发明的一个实施例的一种水质预测方法的部分步骤子步骤示意图;
图4示出了根据本发明的一个实施例的一种水质预测方法的部分步骤子步骤示意图;
图5示出了根据本发明的一个实施例的一种水质预测方法的部分步骤子步骤示意图;
图6示出了根据本发明的一个实施例的一种水质预测方法的部分步骤子步骤示意图;
图7示出了根据本发明的一个实施例的一种水质预测方法的具体步骤示意图;
图8示出了根据本发明一个实施例的水质预测装置的示意图;
图9示出了根据本发明的一个实施例的一种水质预测电子设备示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
根据本发明一方面,提供一种水质预测方法,在一个实施例中,参见图2,包括如下步骤:
S1:基于神经网络模型建立水质预测模型;
S2:基于历史水质监测目标数据和潜在特征因子数据,训练水质预测模型;
S3:基于水质预测模型预测水质;
步骤S1中神经网络模型可为长短时记忆神经网络模型(LSTM)、其他循环神经网络模型(RNN)、反向传播神经网络模型(BP,Back Propagation)、卷积神经网络模型(CNN)中的一种,也可为上述多种通过适当方式的组合。
水质监测目标数据是指选定的一个水质监测数据,是可用于直接判定划分水质等级的依据指标数据,选自如总氮、总磷、氨氮、化学需氧量COD、溶解氧DO等指标数据,可根据国标阈值方法直接划定水质;对应的水质相关数据包括与选定的水质监测数据相关的其他水质监测数据(也是可用于直接判定划分水质等级的依据指标数据,但未选定为水质监测目标数据),以及水质监测目标数据以外的其他相关数据如流量流速监测数据、该区域或流域重点企业排污数据、该区域或流域范围气象降雨同期历史数据。水质监测数据包括但不限于以下项目:水温、pH、溶解氧、高锰酸盐、化学需氧量、五日生化需氧量、氨氮、总磷、总氮、铜、锌、氟化物、硒、砷、汞、镉、六价铬、铅、铁、锰、氰化物、挥发酚、石油苯酚类、阴离子表面活性剂、硫化物、大肠杆菌、硫酸盐、硝酸盐。上述潜在特征因子数据是指与水质监测目标数据相关的数据,包括重点企业排污数据如排放量(日)或排放流量(小时平均)、排水水质(总氮、总磷、氨氮、化学需氧量COD、溶解氧DO)、排水速度、排口空间位置等信息,气象降雨数据如大气压、蒸散发、降雨、云量、风力、风速、光照强度等,以及水质监测目标数据以外的其他水质监测数据。
本发明由于充分地考虑了与水质监测目标数据相关的潜在特征因子数据的影响,并灵活的应用这些数据,并合理的发现其可以提供的特征,提升了模型模拟精准程度。
在一些实施例中,参见图2、图3,步骤S2:基于历史水质监测目标数据和潜在特征因子数据,训练水质预测模型,包括:
步骤S21:获取历史水质监测目标数据和对应的水质相关数据;
步骤S22:对历史水质监测目标数据和对应的水质相关数据进行预处理;
步骤S23:对水质相关数据进行组合,并对水质相关数据和水质相关数据组合后数据进行筛选作为潜在特征因子数据;
步骤S24:对历史水质监测目标数据和潜在特征因子数据进行归一化处理和数据重组;
步骤S25:将进行归一化处理和数据重组后获得的数据划分为训练集和测试集;
步骤S26:根据训练集的数据训练水质预测模型,并优化水质预测模型的参数。
上述步骤S23中,先对水质相关数据进行组合再对其进行相关性分析,这种组合不仅是污染排放企业监测数据等拆分相乘和划区相加等的组合,也包括对如气象和排污等特征因子分配权重来进行无量纲组合,对水质相关数据进行组合包括但不限于:常规无效一级指标数据(水质相关数据)经过非线性变换后获得特征数据;几个水质相关数据经过复合产生二级或高阶特征数据;高阶多项式函数对多项一级特征指标数据(水质相关数据)产生的高阶特征数据,以及对上述数据进一步组合。这有利于选择出更好地潜在特征因子,从而提高模拟的精准度。
在一些实施例中,参见图3,步骤S21:获取历史水质监测目标数据和对应的水质相关数据,包括获取目标监测站点所在空间监测断面水质监测目标数据、目标监测站点所在空间位置上游监测断面水质监测目标数据、流量流速监测数据、重点企业排污数据、以及气象降雨数据。
上述数据是根据实践经验从数据可获得性、相关性等方面较优的优选数据项目。
在一些实施例中,参见图3、图4,步骤S22:对历史水质监测目标数据和对应的水质相关数据进行预处理,包括:
步骤S221:标准化数据格式;
步骤S222:获取数据时间轴长度并按照监测频率为数据添加时间戳;
步骤S223:根据监测仪器参数上下限值、专业人员经验上限值利用正则表达判断异常值并做删除处理;
步骤S224:检索数据缺失并进行插值填充,数据量大于设定数据量阈值时用卷积神经网络模型模拟填充,数据量小于设定数据量阈值时采用平均值、近邻值填充等平滑曲线方法进行填充。
采用本实施例的数据删除和填充方法,可以更准确高效删除异常数据并在较多情景下更好地做数据填充,降低数据异常、缺失对模拟结果的干扰。
在一些实施例中,参见图3、图5,步骤S23:对水质相关数据进行组合,并对水质相关数据和水质相关数据组合后数据进行筛选作为潜在特征因子数据,包括:
S231:根据水质机理特性对水质相关数据进行组合;
S232:根据水质相关数据、水质相关数据组合后数据与历史水质监测目标数据相关性来筛选有效特征因子数据和无用特征因子数据,并为有效特征因子数据设置权重值。
根据机理特性进行组合的方式减少了误判和过拟合的风险,同时避免了单个因子误导或被忽略,比如污染质量=水质*流量,单独的只用水质数据或流量数据来判断河流污染情况都是不准确的。
在一些实施例中,基于水质预测模型预测水质,包括:
水质预测模型输出一个模拟值之后,判断模拟数量是否满足指定输出数量,若不满足指定输出数量则将本次输出的模拟值输入水质预测模型作为样本数据进行下一个预测值的模拟,直至满足指定输出数量。
通过循环的方式逐步一个一个推出模拟值,可以更好地切合实际的应用场景,满足实际的需求,增强了实用性。比如,本发明的技术方案更好地适应于对于目前对水质预测提出的3天精准预测、7天允许有适量误差的应用需求(预报一般以四个小时为一个时间单元,特定输出数量对应于特定预报时长)。模型利用准备好的特征因子数据,进行多组神经网络模型训练,取得多组模型;预测阶段利用多组模型进行预测,输出数量若不满足预报需求,将此轮预报输出数据反馈回神经网络作为输入数据,进一步预报输出下一批预测数据;如此循环几轮,每次输出的预报数据拼接上一轮结果为整体的预报输出结果,当预测输出结果满足预报输出数量要求时结束滚动预报功能,将最终的预测输出结果返回。
在一些实施例中,参见图2、图6,步骤S3:基于水质预测模型预测水质,包括:
S31:获取同步监测获得的水质监测目标数据和潜在特征因子数据;
S32:用同步监测获得的水质监测目标数据和潜在特征因子数据替换对应时间的预测值输入到水质预测模型获得的水质预测数据并输出。
通过循环的方式逐步一个一个推出模拟值,并且随实时数据不断推送用同步检测的数据替换预测值输入到水质预测模型,可以提高预测的准确度。比如相对于现有技术中有的都是一次性输出3天24个时间节点的所有模拟值,本发明的技术方***度要更高。
下面结合具体应用场景的例子,对本发明的水质预测方法做更具体的说明。参见图7,具体实施本发明的方法,可包括如下主要的步骤:
步骤1:获取数据。
步骤2:标准化数据格式。
步骤3:获取全部时间范围并添加时间戳。
步骤4:处理异常值。
步骤5:缺失时序数据填充。
步骤6:多维特征组合筛选。
步骤7:数据重组&归一化。
步骤8:划分训练集&测试集。
步骤9:调用LSTM模型。
步骤10:输出模拟值。
步骤1,数据获取:获取包括但不限于目标监测站点所在空间位置上游监测断面水质监测目标数据、流量流速监测数据、重点企业排污数据、气象降雨数据。在非脚本化运行状态,上述数据可由人工制备;当集成调用时,可通过SQL查询目标数据库目标字段或事先建立模型所需的数据集来推送数据。
步骤2,标准化数据格式:通过pandas工具中的DataFrame功能格式化数据。可自定义函数将时间\日期字段划分成'%Y-%m-%d%H:%M:%S'形式。
步骤3,获取全部时间范围并添加时间戳:获取数据时间轴长度并按照监测频率为数据添加时间戳,目前一般水质监测频率为4小时一组。
步骤4,异常值处理:异常值处理的正则式由两部分组成。第一部分根据仪器的参数而定,监测仪器在监测不同的目标污染物时都会有监测上下限,首先将超出上下限的值进行筛除;第二部分则根据环保从业人员的经验制定,初始默认范围可以设置的比较大,比如总磷浓度值超过999mg/L。具体的范围可开放接口由使用人员判断,比如根据以往观察某条河水质中总氮不会超出50mg/L,则将其设置为上线阈值。
步骤5,填补缺失时间戳、数据:检索缺失数据并可对其进行插值填充,此处可选择多种插值填充的方式,比如数据总量大的情况下可以选择卷积神经网络模型模拟填充,数据量小时可以利用平均值、近邻值等填充,视数据长度、频率、质量而定。
步骤6,多维特征数据组合、筛选:除模拟目标值外,其他数据均可被用作潜在特征因子,将其他维度特征作为预测标签,根据物理公式将一些因子组合成为新的特征因子作为标签,并根据每项特征的相关性来筛选有效特征和无用特征,并为有效特征设置权重值。在应用时,为提高模型的交互性,该模块开放接口允许使用者制定新的特征组合规则。
步骤7,数据重组和归一化:利用Scaler函数将数据归一化处理至0-1的范围之内,利用特征标签修饰输入数据,利用reshape函数重组数据,并设置计算时间步长。
步骤8,划分训练集和测试集:将所有时序数据按照一定比例(默认0.8)划分为训练集(80%)和测试集(20%),此处理方式的优点在于随着数据量(样本)的不断增多,该模型的模拟准确程度也会不断上升。
步骤9,调用LSTM模型:将样本数据以编译并导入LSTM模型,此处默认设置输出层神经元为1(Dense),损失函数为MSE,优化函数为adam。步骤9中调用的长短时记忆的LSTM模型可有多种替代模型,比如RNN,BP神经网络、卷积网络等。
步骤10,输出模拟值:输出第一个模拟值之后,判断模拟数量是否满足指定输出数量,若不满足则将本次输出的模拟值加入模型之中作为样本数据进行第二个预测值的模拟,直到满足输出需求。
需要说明的是,上述具体应用场景从另外角度描述了本发明的实施方法,其中有一些目前权利要求书中未限定的技术特征。
根据本发明一种实施方式,提供了一种水质预测装置。在一个实施例中,参见图8,水质预测装置包括:
构建模块M1,用于基于神经网络模型建立水质预测模型,其中神经网络模型为长短时记忆神经网络模型(LSTM)、循环神经网络模型(RNN)、BP(Back Propagation)神经网络模型、卷积神经网络模型(CNN)中的一种或多种的组合;
训练模块M2,用于基于历史水质监测目标数据和潜在特征因子数据,训练水质预测模型;
预测模块M3,用于基于水质预测模型预测水质。
具体实施时,以上各个模块和单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现。以上各个模块和单元可以有更具体的功能和结构,具体实施可参见前面的方法实施例,在此不再赘述。
由于本装置的模块,可以执行本申请实施例所提供的任意一种水质预测方法的步骤,因此,可以实现本申请实施例所提供的任意一种水质预测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。以上各个操作的具体实施可参见前面的实施例,在此也不再赘述。
根据本发明一个实施方式,提供了一种水质预测电子设备。在一个实施例中,参见图9,电子设备400包括至少一个处理器401;以及与至少一个处理器401通信连接的存储器402;其中,存储器402存储有可被至少一个处理器401执行的指令,指令被至少一个处理器401执行,以使至少一个处理器401执行上述任意一项水质预测方法。该电子设备可以是智能手机、平板电脑等设备。在本实施例中,电子设备400中的处理器401会将一个或一个以上的应用程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现上述任意一种水质预测方法的步骤。
由于该存储器402中所存储的指令,可以执行本申请实施例所提供的任意一种水质预测方法的步骤,因此,可以实现本申请实施例所提供的任意一种水质预测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。以上各个操作的具体实施可参见前面的实施例,在此也不再赘述。
根据本发明一个实施方式,提供了一种计算机可读存储介质。本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任意一种水质预测方法的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等,更具体来说,可包括静态随机存取存储器(Static Random-Access Memory,SRAM)和动态随机存取存储器(Dynamic Random AccessMemory,DRAM)等具体类别。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任意一种水质预测方法的步骤,因此,可以实现本申请实施例所提供的任意一种水质预测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。以上各个操作的具体实施可参见前面的实施例,在此也不再赘述。
根据以上描述,故本发明的技术效果是:提供一种水质预测方法、装置、电子设备及计算机可读存储介质,相比于现有的技术,本发明在实际应用过程中对环境有更强的适应性,一方面,以已有的同步监测数据作为标签来拟合数据能够保证模拟结果的最低下限满足模拟准确程度要求;另一方面,在数据源充足的情况下,本发明能够灵活的应用到这些数据,并合理的发现其可以提供的特征,使模型模拟精准程度进一步提升。同时,对于目前对水质预测提出的3天精准预测,7天允许有适量误差的应用需求,现有技术因为一次性产出所有结果而很难保证输出的一致性,而本发明中的模拟值迭代方法能够保证模拟数值变化处在合理的范围之中,满足应用需求。
以上所述仅为本申请的实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本申请的保护范围之内。
本领域技术人员可以理解,以上描述并不构成对装置的限定,可以包括比更多或更少的部件,或者组合某些部件,或者不同的部件布置。
需要说明的是,在本申请的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语或下标“一”“二”“1”“2”“n”“n-”等并不必然表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度,而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种水质预测方法,其特征在于,包括步骤:
基于神经网络模型建立水质预测模型,其中所述神经网络模型为长短时记忆神经网络模型(LSTM)、循环神经网络模型(RNN)、反向传播(BP)神经网络模型、以及卷积神经网络模型(CNN)中的一种或多种的组合;
基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型;
基于所述水质预测模型预测水质。
2.根据权利要求1所述的水质预测方法,其特征在于,所述基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型包括:
获取历史水质监测目标数据和对应的水质相关数据;
对历史水质监测目标数据和所述对应的水质相关数据进行预处理;
对水质相关数据进行组合,并对水质相关数据和水质相关数据组合后数据进行筛选作为所述潜在特征因子数据;
对所述历史水质监测目标数据和所述潜在特征因子数据进行归一化处理和数据重组;
将进行归一化处理和数据重组后获得的数据划分为训练集和测试集;
根据所述训练集的数据训练所述水质预测模型,并优化所述水质预测模型的参数。
3.根据权利要求2所述的水质预测方法,其特征在于,所述获取历史水质监测目标数据和对应的水质相关数据,包括获取目标监测站点所在空间监测断面水质监测目标数据、目标监测站点所在空间位置上游监测断面水质监测目标数据、流量流速监测数据、重点企业排污数据、以及气象降雨数据。
4.根据权利要求2所述的水质预测方法,其特征在于,所述对历史水质监测目标数据和所述对应的水质相关数据进行预处理,包括:
标准化数据格式;
获取数据时间轴长度并按照监测频率为数据添加时间戳;
根据监测仪器参数上下限值、专业人员经验上限值利用正则表达判断异常值并做删除处理;
检索数据缺失并进行插值填充,数据量大于设定数据量阈值时用卷积神经网络模型模拟填充,数据量小于所述设定数据量阈值时采用平均值、近邻值填充。
5.根据权利要求2所述的水质预测方法,其特征在于,所述对水质相关数据进行组合,并对水质相关数据和水质相关数据组合后数据进行筛选作为潜在特征因子数据,包括:
根据水质机理特性对水质相关数据进行组合;
根据水质相关数据、水质相关数据组合后数据与历史水质监测目标数据相关性来筛选有效特征因子数据和无用特征因子数据,并为有效特征因子数据设置权重值。
6.根据权利要求1所述的水质预测方法,其特征在于,所述基于所述水质预测模型预测水质,包括:
水质预测模型输出一个模拟值之后,判断模拟数量是否满足指定输出数量,若不满足指定输出数量则将本次输出的模拟值输入所述水质预测模型作为样本数据进行下一个预测值的模拟,直至满足指定输出数量。
7.根据权利要求1至6中任一项所述的水质预测方法,其特征在于,所述基于所述水质预测模型预测水质,包括:
获取同步监测获得的水质监测目标数据和潜在特征因子数据;
用同步监测获得的水质监测目标数据和潜在特征因子数据替换对应时间的预测值输入到所述水质预测模型从而获得水质预测数据并输出。
8.一种水质预测装置,其特征在于,包括:
构建模块,用于基于神经网络模型建立水质预测模型,其中所述神经网络模型为长短时记忆神经网络模型(LSTM)、循环神经网络模型(RNN)、反向传播(BP)神经网络模型、以及卷积神经网络模型(CNN)中的一种或多种的组合;
训练模块,用于基于历史水质监测目标数据和潜在特征因子数据,训练所述水质预测模型;
预测模块,用于基于所述水质预测模型预测水质。
9.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述权利要求1-7中任一项所述的水质预测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1至7任一项所述的水质预测方法。
CN202110544949.8A 2020-09-30 2021-05-19 水质预测方法、装置、电子设备及存储介质 Pending CN113159456A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011073712 2020-09-30
CN2020110737128 2020-09-30

Publications (1)

Publication Number Publication Date
CN113159456A true CN113159456A (zh) 2021-07-23

Family

ID=76876465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110544949.8A Pending CN113159456A (zh) 2020-09-30 2021-05-19 水质预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113159456A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791186A (zh) * 2021-08-12 2021-12-14 北京金水永利科技有限公司 一种选择水质异常报警监测因子的方法及其***
CN114031147A (zh) * 2021-11-02 2022-02-11 航天环保(北京)有限公司 利用波裂解纳米材料提升水质的方法及***
CN114414751A (zh) * 2021-12-15 2022-04-29 华能煤炭技术研究有限公司 一种地下水质检测方法及***
CN114417740A (zh) * 2022-03-30 2022-04-29 青岛杰瑞工控技术有限公司 一种深海养殖态势感知方法
CN115545678A (zh) * 2022-11-29 2022-12-30 浙江贵仁信息科技股份有限公司 一种基于水环境画像与污染物溯源的水质监测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073797A (zh) * 2011-02-23 2011-05-25 江南大学 基于pso和svm混合算法识别太湖入湖河流水质主要影响因素的分析方法
CN105389980A (zh) * 2015-11-09 2016-03-09 上海交通大学 基于长短时记忆递归神经网络的短时交通流预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073797A (zh) * 2011-02-23 2011-05-25 江南大学 基于pso和svm混合算法识别太湖入湖河流水质主要影响因素的分析方法
CN105389980A (zh) * 2015-11-09 2016-03-09 上海交通大学 基于长短时记忆递归神经网络的短时交通流预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘晶晶等: "K-Similarity 降噪的LSTM 神经网络水质多因子预测模型", 《计算机***应用》 *
袁国富等: "《陆地生态***水环境观测指标与规范》", 30 October 2019, 中国环境出版集团 *
贾磊: "多元因子分析模型在河流健康评价中的应用-以苏子河水质特性研究为例", 《长江科学院院报》 *
黄云锴等: "《多元地学信息***研发与应用》", 31 January 2013, 冶金工业出版社 *
黑马程序员: "《python数据分析与应用:从数据获取到可视化》", 31 January 2019, 中国铁道出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791186A (zh) * 2021-08-12 2021-12-14 北京金水永利科技有限公司 一种选择水质异常报警监测因子的方法及其***
CN114031147A (zh) * 2021-11-02 2022-02-11 航天环保(北京)有限公司 利用波裂解纳米材料提升水质的方法及***
CN114414751A (zh) * 2021-12-15 2022-04-29 华能煤炭技术研究有限公司 一种地下水质检测方法及***
CN114414751B (zh) * 2021-12-15 2024-05-10 华能煤炭技术研究有限公司 一种地下水质检测方法及***
CN114417740A (zh) * 2022-03-30 2022-04-29 青岛杰瑞工控技术有限公司 一种深海养殖态势感知方法
CN115545678A (zh) * 2022-11-29 2022-12-30 浙江贵仁信息科技股份有限公司 一种基于水环境画像与污染物溯源的水质监测方法

Similar Documents

Publication Publication Date Title
CN113159456A (zh) 水质预测方法、装置、电子设备及存储介质
Suchithra et al. Improving the prediction accuracy of soil nutrient classification by optimizing extreme learning machine parameters
Tan et al. Ultra-short-term industrial power demand forecasting using LSTM based hybrid ensemble learning
CN113962364A (zh) 一种基于深度学习的多因素用电负荷预测方法
CN108960488B (zh) 一种基于深度学习与多源信息融合的饱和负荷空间分布精准预测方法
Li et al. A novel combined prediction model for monthly mean precipitation with error correction strategy
CN106649479A (zh) 一种基于概率图的变压器状态关联规则挖掘方法
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN111008726A (zh) 一种电力负荷预测中类图片转换方法
CN114169434A (zh) 一种负荷预测方法
CN113537469A (zh) 一种基于LSTM网络和Attention机制的城市需水预测方法
CN115660725A (zh) 多维度能源用户画像的刻画方法
CN117439053A (zh) 一种Stacking集成模型电量预测方法、装置、存储介质
Pan et al. A novel probabilistic modeling framework for wind speed with highlight of extremes under data discrepancy and uncertainty
Raja et al. Drought prediction and validation for desert region using machine learning methods
CN115936185A (zh) 基于dcnn-lstm-ae-am的短期电力负荷和碳排放量预测方法及***
Shen et al. An interval analysis scheme based on empirical error and MCMC to quantify uncertainty of wind speed
CN114915563A (zh) 一种网络流量预测方法和***
CN113723670A (zh) 变时间窗口的光伏发电功率短期预测方法
Yang Intelligent informatization early warning analysis of agricultural economy based on support vector sequential regression model
Ghimire et al. Probabilistic-based electricity demand forecasting with hybrid convolutional neural network-extreme learning machine model
Liu et al. A GCN-based adaptive generative adversarial network model for short-term wind speed scenario prediction
Mohapatra et al. Comparative approaches by using machine learning algorithms in crop yield prediction
CN114742258B (zh) 可迁移的居民家庭用电负荷场景预测方法
Huo et al. Missing Data Dynamic Forecasting of Fuzzy Time Series Based on Gaussian Mixture Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723