CN113409167B - 一种水质异常分析方法及装置 - Google Patents

一种水质异常分析方法及装置 Download PDF

Info

Publication number
CN113409167B
CN113409167B CN202110952069.4A CN202110952069A CN113409167B CN 113409167 B CN113409167 B CN 113409167B CN 202110952069 A CN202110952069 A CN 202110952069A CN 113409167 B CN113409167 B CN 113409167B
Authority
CN
China
Prior art keywords
water quality
sequence
data
data set
abnormity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110952069.4A
Other languages
English (en)
Other versions
CN113409167A (zh
Inventor
嵇晓燕
肖建军
杨凯
孙宗光
贺鹏
王姗姗
安新国
李亚男
徐鹏
王正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinshui Yongli Technology Co ltd
CHINA NATIONAL ENVIRONMENTAL MONITORING CENTRE
Original Assignee
Beijing Jinshui Yongli Technology Co ltd
CHINA NATIONAL ENVIRONMENTAL MONITORING CENTRE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinshui Yongli Technology Co ltd, CHINA NATIONAL ENVIRONMENTAL MONITORING CENTRE filed Critical Beijing Jinshui Yongli Technology Co ltd
Priority to CN202110952069.4A priority Critical patent/CN113409167B/zh
Publication of CN113409167A publication Critical patent/CN113409167A/zh
Application granted granted Critical
Publication of CN113409167B publication Critical patent/CN113409167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18Water
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Water Supply & Treatment (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Public Health (AREA)
  • Biochemistry (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请公开一种水质异常分析方法及装置。所述方法包括采集历史水质断面数据,建立水质特征断面数据集;计算断面数据集中的历史水质特征与目的水质特征的关联特征,根据历史水质特征和关联特征构建水质异常模型;采集当前时刻水质数据,将当前时刻水质数据输入水质异常模型进行水质异常分析。本申请通过构建可以精准发现水质异常的水质异常模型,适用于不同流域不同断面的多种水质指标的异常分析,实现了水质数据异常的精准判断,降低了异常数据的漏报率以及误报率,为水环境质量的管理工作提供数据支持。

Description

一种水质异常分析方法及装置
技术领域
本申请涉及水质异常报警领域,尤其涉及一种水质异常分析方法及装置。
背景技术
水环境监测数据作为水环境质量的真实反映。及时准确的发现数据中的异常有助于发现水环境中的污染,对水环境管理提供指导作用。处理水质数据异常的方法就是对指标建立固定阈值或者动态阈值。当数据的变化范围再阈值内,则认定为正常。当不在阈值范围内,则认定为数据发生异常,从而进行预警。
考虑到影响水环境的因素比较复杂,流域、断面、各个指标之间的数值差异性较大。基于阈值类的异常数据监测方法,就需要为每个指标建立相应的阈值,工作量较大,不能很好的推广应用,而且基于阈值类的方法没有考虑到水环境的变化,从而会导致数据异常的漏报和错报。
发明内容
本申请提供了一种水质异常分析方法,包括:
采集历史水质断面数据,建立水质特征断面数据集;
计算断面数据集中的历史水质特征与目的水质特征的关联特征,根据历史水质特征和关联特征构建水质异常模型;
采集当前时刻水质数据,将当前时刻水质数据输入水质异常模型进行水质异常分析。
如上所述的水质异常分析方法,其中,计算断面数据集中的历史水质特征与目的水质特征的关联特征,具体包括如下子步骤:
将历史水质特征预处理构成特征序列;
计算特征序列与目的水质序列之间的灰色关联系数和皮尔逊系数;
根据灰色关联系数和皮尔逊系数计算关联特征。
如上所述的水质异常分析方法,其中,根据历史水质特征和关联特征构建水质异常模型,具体包括如下子步骤:
构建模型参数网,将采集的历史水质数据序列和关联特征序列作为输入数据集,将当前时刻的水质指标数据作为输出数据集;
将输入数据集划分为训练、测试、验证数据集,使用训练集、测试集和验证数据集对模型参数网进行训练,得到初级水质异常模型;
计算初级水质异常模型对验证数据集的预测结果序列,并计算与验证数据集的输出序列的差值序列;
根据差值序列建立最终水质异常模型。
如上所述的水质异常分析方法,其中,根据差值序列建立最终水质异常模型,具体包括如下子步骤:
对差值序列进行近似正态分布检验;
如果不满足检验,则返回重新构建参数网训练模型;
如果满足验证,则计算差值变化范围,获得正常水质数据的区间值;
根据采集的历史水质数据序列和正常水质数据的区间值训练最终水质异常模型,输出水质异常情况。
如上所述的水质异常分析方法,其中,计算差值变化范围,获得正常水质数据的区间值,具体为:
①初始化差值变化范围
Figure 459885DEST_PATH_IMAGE001
②令差值序列均值为a,计算差值序列在区间[a-t,a+t]的个数l;
③令差值序列长度为L,当l≤L*0.95时,t+=0.001*a;
④获取正常水质数据的区间值为[a-t,a+t]。
本申请还提供一种水质异常分析装置,包括:
数据采集模块,采集历史水质断面数据,建立水质特征断面数据集;以及采集当前时刻水质数据;
关联特征计算模块,计算断面数据集中的历史水质特征与目的水质特征的关联特征;
水质异常模型构建模块,根据历史水质特征和关联特征构建水质异常模型;
水质异常分析模块,将当前时刻水质数据输入水质异常模型进行水质异常分析。
如上所述的水质异常分析装置,其中,关联特征计算模块,具体用于:将历史水质特征预处理构成特征序列;计算特征序列与目的水质序列之间的灰色关联系数和皮尔逊系数;根据灰色关联系数和皮尔逊系数计算关联特征。
如上所述的水质异常分析装置,其中,水质异常模型构建模块,具体包括:
模型参数网构建子模块,用于构建模型参数网,将采集的历史水质数据序列和关联特征序列作为输入数据集,将当前时刻的水质指标数据作为输出数据集;
水质异常模型训练子模块,用于将输入数据集划分为训练、测试、验证数据集,使用训练集、测试集和验证数据集对模型参数网进行训练,得到初级水质异常模型;
最终水质异常模型构建子模块,用于计算初级水质异常模型对验证数据集的预测结果序列,并计算与验证数据集的输出序列的差值序列;根据差值序列建立最终水质异常模型。
如上所述的水质异常分析装置,其中,最终水质异常模型构建子模块,具体包括:
近似正态分布检验单元,用于对差值序列进行近似正态分布检验;如果不满足检验,则返回重新构建参数网训练模型;如果满足验证,则触发差值变化范围计算单元;
差值变化范围计算模块单元,用于计算差值变化范围,获得正常水质数据的区间值;
最终水质异常模型构建子单元,用于根据采集的历史水质数据序列和正常水质数据的区间值训练最终水质异常模型,输出水质异常情况。
如上所述的水质异常分析装置,其中,差值变化范围计算模块单元,具体用于:①初始化差值变化范围
Figure 6404DEST_PATH_IMAGE002
;②令差值序列均值为a,计算差值序列在区间[a-t,a+t]的个数l;③令差值序列长度为L,当l≤L*0.95时,t+=0.001*a;④获取正常水质数据的区间值为[a-t,a+t]。
本申请实现的有益效果如下:本申请通过构建可以精准发现水质异常的水质异常模型,适用于不同流域不同断面的多种水质指标的异常分析,实现了水质数据异常的精准判断,降低了异常数据的漏报率以及误报率,为水环境质量的管理工作提供数据支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种水质异常分析方法流程图;
图2是本申请实施例二提供的一种水质异常分析装置示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,本申请实施例一提供一种水质异常分析方法,包括:
步骤110、采集历史水质断面数据,建立水质特征断面数据集;
历史水质断面数据为当前时刻之前的同一时间点或同一时间段内所采集的不同水质对象,包括水质数据、水文数据、气象数据、时间数据等,采集大量的历史水质断面数据构建水质特征断面数据集;例如,采集前n个时刻的水质数据,包括采集t1时间点或(0~t1)时间段的水质数据A1、水文数据B1、气象数据C1、时间数据D1,t2时间点或(t1~t2)时间段的水质数据A2、水文数据B2、气象数据C2、时间数据D2,tn时间点的水质数据An、水文数据Bn、气象数据Cn、时间数据Dn,构建的水质特征断面数据集为W={(A1,B1,C1,D1),(A1,B1,C1,D1),…,(A1,B1,C1,D1)}。
步骤120、计算断面数据集中的历史水质特征与目的水质特征的关联特征,根据历史水质特征和关联特征构建水质异常模型;
其中,计算断面数据集中的历史水质特征与目的水质特征的关联特征,具体包括如下子步骤:
Step11、将历史水质特征预处理构成特征序列k
具体地,将历史水质特征中的时间特征转化为年、月、日、时特征,加入所在水期特征、是否降水等特征,构成特征序列k
Step12、计算特征序列与目的水质序列之间的灰色关联系数和皮尔逊系数;
采用下式计算灰色关联系数
Figure 914317DEST_PATH_IMAGE003
和皮尔逊系数
Figure 643108DEST_PATH_IMAGE004
Figure 79905DEST_PATH_IMAGE005
Figure 644879DEST_PATH_IMAGE006
其中,
Figure 90904DEST_PATH_IMAGE007
为特征序列k与目的水质序列h之间的灰色关联系数,
Figure 690512DEST_PATH_IMAGE008
为特征序列k与目的水质序列h之间的灰色关联系数序列,
Figure 314523DEST_PATH_IMAGE009
为目的水质序列h构成的灰色关联系数序列;
Figure 632371DEST_PATH_IMAGE010
为特征序列k与目的水质序列h之间的皮尔逊系数,
Figure 350929DEST_PATH_IMAGE011
为特征序列k与目的水质序列h之间的皮尔逊系数序列,
Figure 70623DEST_PATH_IMAGE012
为目的水质序列h构成的皮尔逊系数序列。
Step13、根据灰色关联系数和皮尔逊系数计算关联特征;
具体地,计算灰色关联系数
Figure 114802DEST_PATH_IMAGE013
和皮尔逊系数
Figure 919947DEST_PATH_IMAGE014
加权后的数值
Figure 707775DEST_PATH_IMAGE015
Figure 531243DEST_PATH_IMAGE016
Figure 746324DEST_PATH_IMAGE015
不小于0.5的特征作为关联特征。
本申请实施例中,根据历史水质特征和关联特征构建水质异常模型,具体包括如下子步骤:
Step21、构建模型参数网,将采集的历史水质数据序列和关联特征序列作为输入数据集,将当前时刻的水质指标数据作为输出数据集;
Step22、将输入数据集划分为训练、测试、验证数据集,使用训练集、测试集和验证数据集对模型参数网进行训练,得到初级水质异常模型;
具体地,针对每个参数组合,当测试数据集误差和训练数据集误差都不再降低并且两个数据集的误差相近时,停止模型训练,选择验证数据集的误差最小的模型作为初级水质异常模型。
Step23、计算初级水质异常模型对验证数据集的预测结果序列,并计算与验证数据集的输出序列的差值序列;
Step24、根据差值序列建立最终水质异常模型;
具体地,根据差值序列建立最终水质异常模型,具体包括如下子步骤:
Step241、对差值序列S进行近似正态分布检验,当不满足检验时,返回执行Step21,重新构建参数网训练模型,如果满足验证,则执行Step242;
Step242、计算差值变化范围t,获得正常水质数据的区间值;
其中,计算差值变化范围,获得正常水质数据的区间值,具体为:
①初始化差值变化范围
Figure 773186DEST_PATH_IMAGE017
②令差值序列均值为a,计算差值序列在区间[a-t,a+t]的个数l
③令差值序列长度为L,当l≤L*0.95时,t+=0.001*a
④获取正常水质数据的区间值为[a-t,a+t]。
Step243、根据采集的历史水质数据序列和正常水质数据的区间值训练最终水质异常模型,输出水质异常情况;
具体地,从历史水质数据序列中提取异常水质数据、异常水文数据、异常气象数据、异常时间数据等特征,以及从正常水质数据中提取正常水质数据、正常水文数据、正常气象数据、正常时间数据等特征,构建水质特征向量集
Figure 364704DEST_PATH_IMAGE018
,其中,
Figure 793411DEST_PATH_IMAGE019
为水质特征向量,
Figure 179393DEST_PATH_IMAGE020
Figure 959131DEST_PATH_IMAGE021
Figure 88761DEST_PATH_IMAGE022
分别表示异常水质数据、异常水文数据、异常气象数据、异常时间数据特征,
Figure 119777DEST_PATH_IMAGE023
分别表示正常水质数据、正常水文数据、正常气象数据、正常时间数据特征;
将水质特征向量集输入预测模型,训练预测模型得到不同的子分类模型
Figure 942240DEST_PATH_IMAGE024
,分别利用各个子分类模型
Figure 678114DEST_PATH_IMAGE025
对水质特征向量集进行分类,通过分类结果
Figure 611435DEST_PATH_IMAGE026
估计得到各个子分类模型
Figure 749156DEST_PATH_IMAGE024
的权重的集合
Figure 8099DEST_PATH_IMAGE027
;通过粒子群优化算法计算各个子分类模型
Figure 496849DEST_PATH_IMAGE024
的权重集合
Figure 968282DEST_PATH_IMAGE028
中每个权重对应的最优值;通过各个子分类模型
Figure 475355DEST_PATH_IMAGE029
和其对应的权重的最优值
Figure 639620DEST_PATH_IMAGE030
组合确定水质异常情况。
步骤130、采集当前时刻水质数据,将当前时刻水质数据输入水质异常模型进行水质异常分析;
具体地,上述用前n时刻的历史水质数据构建了水质异常模型后,采集第n+1时刻的水质数据,将其输入水质异常模型后,输出水质异常情况Sn+1,然后与正常水质数据的区间值作比较,若:
Figure 350087DEST_PATH_IMAGE031
其中,
Figure 359632DEST_PATH_IMAGE032
Figure 737523DEST_PATH_IMAGE033
分别为水质指标n+1时刻模型的预测值和真实监测值;若S n+1 在a-t和a+t之间,则水质正常,若S n+1 小于a-t或者S n+1 大于a+t,则水质异常。
实施例二
如图2所示,本申请实施例一提供一种水质异常分析装置200,包括:数据采集模块210、关联特征计算模块220、水质异常模型构建模块230和水质异常分析模块240;
数据采集模块210,采集历史水质断面数据,建立水质特征断面数据集;以及采集当前时刻水质数据;
关联特征计算模块220,计算断面数据集中的历史水质特征与目的水质特征的关联特征;
水质异常模型构建模块230,根据历史水质特征和关联特征构建水质异常模型;
水质异常分析模块240,将当前时刻水质数据输入水质异常模型进行水质异常分析。
其中,关联特征计算模块220,具体用于:将历史水质特征预处理构成特征序列;计算特征序列与目的水质序列之间的灰色关联系数和皮尔逊系数;根据灰色关联系数和皮尔逊系数计算关联特征。
水质异常模型构建模块230,具体包括:
模型参数网构建子模块231,用于构建模型参数网,将采集的历史水质数据序列和关联特征序列作为输入数据集,将当前时刻的水质指标数据作为输出数据集;
初级水质异常模型训练子模块232,用于将输入数据集划分为训练、测试、验证数据集,使用训练集、测试集和验证数据集对模型参数网进行训练,得到初级水质异常模型;
最终水质异常模型构建子模块233,用于计算初级水质异常模型对验证数据集的预测结果序列,并计算与验证数据集的输出序列的差值序列;根据差值序列建立最终水质异常模型。
具体地,最终水质异常模型构建子模块233,具体包括:
近似正态分布检验单元2331,用于对差值序列进行近似正态分布检验;如果不满足检验,则返回重新构建参数网训练模型;如果满足验证,则触发差值变化范围计算单元;
差值变化范围计算模块单元2332,用于计算差值变化范围,获得正常水质数据的区间值;
最终水质异常模型构建子单元2333,用于根据采集的历史水质数据序列和正常水质数据的区间值训练最终水质异常模型,输出水质异常情况。
其中,差值变化范围计算模块单元2332,具体用于:①初始化差值变化范围
Figure 807110DEST_PATH_IMAGE034
;②令差值序列均值为a,计算差值序列在区间[a-t,a+t]的个数l;③令差值序列长度为L,当l≤L*0.95时,t+=0.001*a;④获取正常水质数据的区间值为[a-t,a+t]。
与上述实施例对应的,本发明实施例提供一种计算机存储介质,包括:至少一个存储器和至少一个处理器;
存储器用于存储一个或多个程序指令;
处理器,用于运行一个或多个程序指令,用以执行一种水质异常分析方法。
与上述实施例对应的,本发明实施例提供一种计算机可读存储介质,计算机存储介质中包含一个或多个程序指令,一个或多个程序指令用于被处理器执行一种水质异常分析方法。
本发明所公开的实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行上述的水质异常分析方法。
在本发明实施例中,处理器可以是一种集成电路芯片,具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息,结合其硬件完成上述方法的步骤。
存储介质可以是存储器,例如可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。
其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称ROM)、可编程只读存储器(Programmable ROM,简称PROM)、可擦除可编程只读存储器(Erasable PROM,简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM,简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,简称SRAM)、动态随机存取存储器(Dynamic RAM,简称DRAM)、同步动态随机存取存储器(Synchronous DRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM,简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时,可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (3)

1.一种水质异常分析方法,其特征在于,包括:
采集历史水质断面数据,建立水质特征断面数据集;
计算断面数据集中的历史水质特征与目的水质特征的关联特征,根据历史水质特征和关联特征构建水质异常模型;
采集当前时刻水质数据,将当前时刻水质数据输入水质异常模型进行水质异常分析;
计算断面数据集中的历史水质特征与目的水质特征的关联特征,具体包括如下子步骤:
将历史水质特征预处理构成特征序列;
计算特征序列与目的水质序列之间的灰色关联系数和皮尔逊系数;具体采用下式计算灰色关联系数
Figure 589196DEST_PATH_IMAGE001
和皮尔逊系数
Figure 232667DEST_PATH_IMAGE002
Figure 302254DEST_PATH_IMAGE003
Figure 765597DEST_PATH_IMAGE004
其中,
Figure 578832DEST_PATH_IMAGE001
为特征序列k与目的水质序列h之间的灰色关联系数,
Figure 811230DEST_PATH_IMAGE005
为特征序列k与目的水质序列h之间的灰色关联系数序列,
Figure 317298DEST_PATH_IMAGE006
为目的水质序列h构成的灰色关联系数序列;
Figure 2357DEST_PATH_IMAGE002
为特征序列k与目的水质序列h之间的皮尔逊系数,
Figure 884862DEST_PATH_IMAGE007
为特征序列k与目的水质序列h之间的皮尔逊系数序列,
Figure 971767DEST_PATH_IMAGE008
为目的水质序列h构成的皮尔逊系数序列;
根据灰色关联系数和皮尔逊系数计算关联特征;计算灰色关联系数
Figure 130960DEST_PATH_IMAGE001
和皮尔逊系数
Figure 303315DEST_PATH_IMAGE009
加权后的数值
Figure 723932DEST_PATH_IMAGE010
Figure 930922DEST_PATH_IMAGE011
,将
Figure 513214DEST_PATH_IMAGE010
不小于0.5的特征作为关联特征;
根据历史水质特征和关联特征构建水质异常模型,具体包括如下子步骤:
构建模型参数网,将采集的历史水质数据序列和关联特征序列作为输入数据集,将当前时刻的水质指标数据作为输出数据集;
将输入数据集划分为训练、测试、验证数据集,使用训练集、测试集和验证数据集对模型参数网进行训练,得到初级水质异常模型;
计算初级水质异常模型对验证数据集的预测结果序列,并计算与验证数据集的输出序列的差值序列;
根据差值序列建立最终水质异常模型;
根据差值序列建立最终水质异常模型,具体包括如下子步骤:
对差值序列进行近似正态分布检验;
如果不满足检验,则返回重新构建参数网训练模型;
如果满足验证,则计算差值变化范围,获得正常水质数据的区间值;
根据采集的历史水质数据序列和正常水质数据的区间值训练最终水质异常模型,输出水质异常情况。
2.如权利要求1所述的水质异常分析方法,其特征在于,计算差值变化范围,获得正常水质数据的区间值,具体为:
①初始化差值变化范围t=0;
②令差值序列均值为a,计算差值序列在区间[a-t,a+t]的个数l
③令差值序列长度为L,当l≤L*0.95时,t+=0.001*a;
④获取正常水质数据的区间值为[a-t,a+t]。
3.一种水质异常分析装置,其特征在于,包括:
数据采集模块,采集历史水质断面数据,建立水质特征断面数据集;以及采集当前时刻水质数据;
关联特征计算模块,计算断面数据集中的历史水质特征与目的水质特征的关联特征;
水质异常模型构建模块,根据历史水质特征和关联特征构建水质异常模型;
水质异常分析模块,将当前时刻水质数据输入水质异常模型进行水质异常分析;
关联特征计算模块,具体用于:将历史水质特征预处理构成特征序列;计算特征序列与目的水质序列之间的灰色关联系数和皮尔逊系数;根据灰色关联系数和皮尔逊系数计算关联特征;
其中,采用下式计算灰色关联系数
Figure 438444DEST_PATH_IMAGE012
和皮尔逊系数
Figure 397173DEST_PATH_IMAGE013
Figure 193091DEST_PATH_IMAGE014
Figure 461130DEST_PATH_IMAGE015
其中,
Figure 608077DEST_PATH_IMAGE016
为特征序列k与目的水质序列h之间的灰色关联系数,
Figure 370497DEST_PATH_IMAGE005
为特征序列k与目的水质序列h之间的灰色关联系数序列,
Figure 286500DEST_PATH_IMAGE017
为目的水质序列h构成的灰色关联系数序列;
Figure 210594DEST_PATH_IMAGE018
为特征序列k与目的水质序列h之间的皮尔逊系数,
Figure 844838DEST_PATH_IMAGE019
为特征序列k与目的水质序列h之间的皮尔逊系数序列,
Figure 145369DEST_PATH_IMAGE020
为目的水质序列h构成的皮尔逊系数序列;
计算灰色关联系数
Figure 447037DEST_PATH_IMAGE021
和皮尔逊系数
Figure 542032DEST_PATH_IMAGE022
加权后的数值
Figure 414305DEST_PATH_IMAGE023
Figure 518527DEST_PATH_IMAGE024
,将
Figure 143543DEST_PATH_IMAGE023
不小于0.5的特征作为关联特征;
水质异常模型构建模块,具体包括:
模型参数网构建子模块,用于构建模型参数网,将采集的历史水质数据序列和关联特征序列作为输入数据集,将当前时刻的水质指标数据作为输出数据集;
水质异常模型训练子模块,用于将输入数据集划分为训练、测试、验证数据集,使用训练集、测试集和验证数据集对模型参数网进行训练,得到初级水质异常模型;
最终水质异常模型构建子模块,用于计算初级水质异常模型对验证数据集的预测结果序列,并计算与验证数据集的输出序列的差值序列;根据差值序列建立最终水质异常模型;
最终水质异常模型构建子模块,具体包括:
近似正态分布检验单元,用于对差值序列进行近似正态分布检验;如果不满足检验,则返回重新构建参数网训练模型;如果满足验证,则触发差值变化范围计算单元;
差值变化范围计算模块单元,用于计算差值变化范围,获得正常水质数据的区间值;
最终水质异常模型构建子单元,用于根据采集的历史水质数据序列和正常水质数据的区间值训练最终水质异常模型,输出水质异常情况。
CN202110952069.4A 2021-08-19 2021-08-19 一种水质异常分析方法及装置 Active CN113409167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110952069.4A CN113409167B (zh) 2021-08-19 2021-08-19 一种水质异常分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110952069.4A CN113409167B (zh) 2021-08-19 2021-08-19 一种水质异常分析方法及装置

Publications (2)

Publication Number Publication Date
CN113409167A CN113409167A (zh) 2021-09-17
CN113409167B true CN113409167B (zh) 2021-11-30

Family

ID=77688846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110952069.4A Active CN113409167B (zh) 2021-08-19 2021-08-19 一种水质异常分析方法及装置

Country Status (1)

Country Link
CN (1) CN113409167B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781019B (zh) * 2021-11-12 2022-02-08 中国环境监测总站 一种监测数据自动筛选融合的方法及装置
CN116308952B (zh) * 2023-03-08 2023-09-22 浪潮智慧科技有限公司 一种基于无人船的水质监测方法及设备
CN116500240B (zh) * 2023-06-21 2023-12-29 江西索立德环保服务有限公司 一种土壤环境质量监测方法、***及可读存储介质
CN117524497A (zh) * 2023-10-26 2024-02-06 曙光云计算集团有限公司 数据处理方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101728183B1 (ko) * 2012-07-06 2017-04-18 한국전자통신연구원 수리 모형을 사용한 실시간 수질 예측 장치 및 방법
CN106872657B (zh) * 2017-01-05 2018-12-14 河海大学 一种多变量水质参数时序数据异常事件检测方法
CN109711590B (zh) * 2017-10-26 2021-06-18 中国电信股份有限公司 渔业水质分析监测方法、装置和***
CN112651665B (zh) * 2021-01-14 2022-12-20 浙江鸿程计算机***有限公司 一种基于图神经网络的地表水水质指标预测方法和装置

Also Published As

Publication number Publication date
CN113409167A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113409167B (zh) 一种水质异常分析方法及装置
CN113496104B (zh) 基于深度学习的降水预报订正方法及***
CN111310968A (zh) 一种基于互信息的lstm神经网络循环水文预报方法
CN110686633B (zh) 一种滑坡位移预测方法、装置及电子设备
CN108399248A (zh) 一种时序数据预测方法、装置及设备
CN111126704A (zh) 基于多图卷积和记忆网络的多区域降水量预测模型构建方法
CN111288973B (zh) 海表流速获取方法、装置、计算机设备和存储介质
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及***
CN113507118B (zh) 一种风电功率预测方法及***
CN114911788B (zh) 一种数据插补方法、装置及存储介质
CN117371337B (zh) 一种基于数字孪生的水利模型构建方法及***
CN109961030A (zh) 路面修补信息检测方法、装置、设备及存储介质
CN113505923A (zh) 一种地区电网短期负荷预测方法及***
CN114037184A (zh) 收益评价指标的预测方法、装置、介质、设备及程序产品
CN113962465A (zh) 降水预报方法、设备、装置及存储介质
CN113487223B (zh) 一种基于信息融合的风险评估方法和评估***
CN115310648A (zh) 一种基于多气象变量模型识别的中长期风电功率组合预测方法
CN110866672B (zh) 数据处理方法、装置、终端及介质
CN112949947A (zh) 一种基于卷积长短期记忆网络的电力故障预警方法及***
CN116740586A (zh) 冰雹识别方法、装置、电子设备及计算机可读存储介质
Liu et al. Gridded statistical downscaling based on interpolation of parameters and predictor locations for summer daily precipitation in North China
CN116364203A (zh) 一种基于深度学习的水质预测方法、***和装置
CN111368837A (zh) 一种图像质量评价方法、装置、电子设备及存储介质
WO2022222230A1 (zh) 基于机器学习的指标预测方法、装置、设备及存储介质
CN114169646A (zh) 水华预测方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant