CN113435547B - 一种水质指标融合数据异常检测方法及*** - Google Patents
一种水质指标融合数据异常检测方法及*** Download PDFInfo
- Publication number
- CN113435547B CN113435547B CN202110992212.2A CN202110992212A CN113435547B CN 113435547 B CN113435547 B CN 113435547B CN 202110992212 A CN202110992212 A CN 202110992212A CN 113435547 B CN113435547 B CN 113435547B
- Authority
- CN
- China
- Prior art keywords
- data
- index
- water quality
- abnormal
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 224
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 230000004927 fusion Effects 0.000 title claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims abstract description 175
- 238000012544 monitoring process Methods 0.000 claims abstract description 85
- 230000005856 abnormality Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012417 linear regression Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000002352 surface water Substances 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 231100000357 carcinogen Toxicity 0.000 description 1
- 239000003183 carcinogenic agent Substances 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 150000002222 fluorine compounds Chemical class 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 150000002825 nitriles Chemical class 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 150000002989 phenols Chemical class 0.000 description 1
- 125000005575 polycyclic aromatic hydrocarbon group Chemical group 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 150000003568 thioethers Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请提供一种水质指标融合数据异常检测方法及***,该方法包括如下步骤:获取水质监测历史融合数据和当前时刻水质自动站监测数据;根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型;将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别输出第一异常数据、第二异常数据和第三异常数据;根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值。本申请对多层次的水质指标数据进行异常值检测,对当前水质情况和水质改善情况进行评价。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种水质指标融合数据异常检测方法及***。
背景技术
目前,对水质数据进行异常值检测的算法,主要是利用基于统计原理的极值分析方法,假设水质数据满足正态分布,利用三倍标准差法、四分位数判断法、固定阈值法等极值分析方法,针对每个指标各自计算出合理的区间,当超过区间的上限或者低于区间的下限,则认定该数据为异常值,从而进行数据序列中异常值的筛选。
基于极值分析的方法对单一水质指标的数据进行异常值监测,此分析方法仅适用于数据分布近似于正态分布的情形。但就水质指标数据而言,因为数据呈现的周期性以及趋势性,其分布大多是不规则的偏态分布或多峰分布,应用此方法会导致将正常的水质数据认定为异常值,或者将异常值认定为正常值。此外,水环境中的很多水质指标是具有相关性的,仅对单一的指标数据进行异常值检测,不能发现数据指标组合发生的异常信息,另外,需要对当前水质情况和水质改善情况进行评价,以为水质的整治提供有力的支持。
发明内容
本申请的目的在于提供一种水质指标融合数据异常检测方法及***, 对全指标、关联指标、单一指标等多层次的水质指标数据进行异常值检测,检测异常数据,提前预判水环境要发生的恶化,保证水环境质量监测数据的客观真实性,为水环境管理工作提供数据决策支持,对当前水质情况和水质改善情况进行评价,为水质的整治提供有力的支持。
为达到上述目的,本申请提供一种水质指标融合数据异常检测方法,该方法包括如下步骤:获取水质监测历史融合数据和当前时刻水质自动站监测数据;根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型;将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别输出第一异常数据、第二异常数据和第三异常数据;根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值。
如上的,其中,一种水质指标融合数据异常检测方法还包括如下步骤:根据第一异常数据、第二异常数据和第三异常数据,对待评估水域的水质改善情况进行评估,计算待评估水域的水质改善值。
如上的,其中,根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型的方法包括如下步骤:从水质监测历史融合数据中,选取个全指标样本数据作为子数据集,将子数据集放入一棵孤立树的根节点;其中,为孤立树设定高度限制;在子数据集中随机选择一个指标数据,并随机产生一个切割点;将当前所选指标数据中小于切割点的点放在当前节点的左分支,大于或等于切割点的点放在当前节点的右分支,形成新的叶子节点;在左分支节点和右分支节点不断构造新的叶子节点,直到叶子节点上只有一个指标数据、节点上的指标数据所有特征都相同或孤立树已经生长到了所设定的高度限制。
如上的,其中,建立全指标孤立森林检测模型的方法还包括如下步骤:计算孤立森林中所有全指标样本数据的异常分数。
如上的,其中,根据水质监测历史融合数据,建立关联指标异常检测模型的方法包括如下步骤:从水质监测历史融合数据中选取关联指标数据集合;根据关联指标数据集合,建立关联指标异常检测模型。
如上的,其中,根据关联指标数据集合,建立关联指标异常检测模型包括如下子步骤:计算自动站样本点到所有其他自动站样本点的距离;计算自动站样本点的第距离;表示自动站样本点与自动站样本点的距离;获取所有自动站样本点的第距离邻域;第距离邻域内包括与自动站样本点的距离为不大于第距离的所有自动站样本点;计算自动站样本点的可达距离;根据自动站样本点的可达距离,计算所有自动站样本点的局部可达密度;根据局部可达密度,计算自动站样本点的局部离群因子。
如上的,其中,根据水质监测历史融合数据,建立单指标动态阈值模型,包括如下步骤:从水质监测历史融合数据中选取单指标样本数据;将单指标样本数据的指标数据时间序列定义为,时刻数定义为,根据指标数据时间序列建立线性回归模型;根据线性回归模型,计算下一时刻指标数据的动态阈值区间。
本申请还提供一种水质指标融合数据异常检测***,其特征在于,该***包括:数据获取装置,用于获取水质监测历史融合数据和当前时刻水质自动站监测数据;模型建立模块,用于根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型;异常数据获取模块,用于将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别获取第一异常数据、第二异常数据和第三异常数据;数据处理器,用于根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值。
本申请实现的有益效果如下:
(1)本申请建立了一套针对多指标、关联指标、单指标的多层次异常值检测方法,有效提升地表水环境监测数据中的异常值检测正确率,降低了异常值检测的误检率和漏检率,保证了监测数据的真实性、客观性,同时为提前发现水环境即将发生恶化提供了数据支持。
(2)本申请根据获取的第一异常数据、第二异常数据和第三异常数据对待评估水域的水质进行评估和水质改善情况进行评估,从而实现对水质情况的综合评估,根据待评估水域的功能用途,判断当前待评估水质的水质情况是否符合其功能用途,根据水质改善情况,判断水质的改善是否符合要求,以实现对水质情况进行更好的管理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种水质指标融合数据异常检测方法的流程图。
图2为本申请实施例的建立全指标孤立森林检测模型的方法流程图。
图3为本申请实施例的建立关联指标异常检测模型的方法流程图。
图4为本申请实施例的选取关联指标数据集合的方法流程图。
图5为本申请实施例的一种水质指标融合数据异常检测***的结构示意图。
附图标记:10-数据获取装置;20-模型建立模块;30-异常数据获取模块;40-数据处理器;100-水质指标融合数据异常检测***。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
如图1所示,本申请提供一种水质指标融合数据异常检测方法,该方法包括如下步骤:
步骤S1,获取水质监测历史融合数据和当前时刻水质自动站监测数据。
其中,水质监测历史融合数据包括历史水质自动站监测数据和历史手工水质指标采集数据。历史水质自动站监测数据为采用自动水质监测设备对水质进行自动监测的数据;历史手工水质指标采集数据为采用手工方式对水质进行采集得到的数据。
步骤S2,根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型。
具体的,根据水质监测历史融合数据的全指标数据建立全指标孤立森林模型,全指标数据包括多个指标的全部数据,例如全指标数据为9个指标数据的集合。指标数据包括:铅、铬等重金属含量、化学指标(例如:水温、悬浮物、浊度、透明度及电导率等物理指标,PH值、总碱(酸)度、总硬度等)、溶解氧含量、其他有害物质(例如:挥发酚、氰化物、油类、氟化物、硫化物以及有机农药、多环芳烃等致癌物质)、以及微生物学指标(例如细菌总数、大肠菌群等)等。
如图2所示,作为本发明的一个具体实施例,根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型的方法包括如下步骤:
其中,子数据集中包括多个全指标数据,每个全指标数据包括多个指标数据。
步骤S250,计算孤立森林中所有全指标样本数据的异常分数。
步骤S250包括如下子步骤:
步骤S251,计算单个孤立树的平均路径长度。
具体的,单个孤立树的平均路径长度的计算公式为:
步骤S252,根据单个孤立树的平均路径长度,计算全指标样本数据的异常得分。
如图3所示,作为本发明的一个具体实施例,根据水质监测历史融合数据,建立关联指标异常检测模型的方法包括如下步骤:
步骤S310,从水质监测历史融合数据中选取关联指标数据集合。
如图4所示,步骤S310包括如下子步骤:
步骤S311,从水质监测历史融合数据中选取水质监测站最近一年的手工水质指标采集数据。
步骤S312,对每个手工水质指标采集数据进行初始化,形成新的指标序列。
步骤S313,采用灰色关联法,计算所有手工水质指标采集数据间的灰色关联度。
步骤S314,选择灰色关联度大于0.6的手工水质指标采集数据,作为手工水质关联指标数据。
步骤S315,根据手工水质关联指标数据,获取每一个手工水质关联指标数据对应的关联指标的水质自动站监测数据,形成一个数据集,作为关联指标数据集合。
步骤S320,根据关联指标数据集合,建立关联指标异常检测模型。
步骤S320包括如下子步骤:
其中,自动站样本点指的是水质自动站监测数据的样本数据。
步骤S325,根据自动站样本点的可达距离,计算所有自动站样本点的局部可达密度。
自动站样本点的局部可达密度计算公式为:
步骤S326,根据局部可达密度,计算自动站样本点的局部离群因子。
自动站样本点的局部离群因子的计算公式为:
如果局部离群因子越接近1,说明自动站样本点与其邻域点密度差不多,自动站样本点可能和其邻域同属一簇;如果局部离群因子越小于1,说明自动站样本点的密度高于其邻域点密度,自动站样本点为密集点;如果这个局部离群因子越大于1,说明自动站样本点的密度小于其邻域点密度,自动站样本点越可能是异常点。
作为本发明的一个具体实施例,根据水质监测历史融合数据,建立单指标动态阈值模型,包括如下步骤:
步骤T1,从水质监测历史融合数据中选取单指标样本数据。
具体的,剔除水质监测历史融合数据中的异常数据,选取单指标样本数据。
步骤T1包括如下步骤:
步骤T110,针对各个指标数据,计算当前断面的前12条手工水质指标采集数据的平均值,作为第一均值数据。
步骤T120,基于水质自动站监测数据,计算前三个月水质自动站监测数据的平均值,作为第一滑动均值数据,以及前一个月水质自动站监测数据的平均值,作为第二滑动均值数据。
具体的,获取剔除异常数据后前三个月的水质自动站监测数据,计算获取的前三个月的水质自动站监测数据的平均值作为第一滑动均值数据;获取剔除异常数据后前一个月的水质自动站监测数据,计算获取的前一个月的水质自动站监测数据的平均值作为第二滑动均值数据。
步骤T130,将得到的第一均值数据、第一滑动均值数据和第二滑动均值数据结合当前时刻之前的多个时刻(优选为:当前时刻前6个时刻)的指标数据形成各个指标的指标数据时间序列,作为单指标样本数据。
指标数据时间序列包括多个时刻的指标数据。
具体的,动态阈值区间的计算公式为:
步骤S3,将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别输出第一异常数据、第二异常数据和第三异常数据。
作为本发明的一个具体实施例,获取第一异常数据的方法为:
将当前时刻水质自动站监测数据输入到全指标孤立森林检测模型中,采用欧式距离计算公式,计算当前时刻水质自动站监测数据和所有历史全指标样本数据的距离,获取距离最近的样本数据的异常得分,将获取距离最近的样本数据的异常得分作为当前时刻水质自动站监测数据的异常分数,若当前时刻水质自动站监测数据的异常分数接近于1时,则将当前时刻水质自动站监测数据视为第一异常数据,否则,视为正常数据。
作为本发明的一个具体实施例,获取第二异常数据的方法为:
将当前时刻水质自动站监测数据输入到关联指标异常检测模型中,计算自动站样本点的局部离群因子,若自动站样本点的局部离群因子超过预设阈值,则定义自动站样本点的数据为第二异常数据,否则,为正常数据。
作为本发明的一个具体实施例,获取第三异常数据的方法为:
步骤S4,根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值。
步骤S4包括如下子步骤:
步骤S410,获取待评估水域范围内的所有水质监测站点在预设时间段内获取数据的第一异常数据、第二异常数据和第三异常数据。
步骤S420,根据获取的第一异常数据、第二异常数据和第三异常数据,计算待评估水域的水质恶劣评估总分值。
具体的,待评估水域的水质恶劣评估总分值的计算公式如下:
其中,Y表示待评估水域的水质恶劣评估总分值;表示获取第一异常数据的准确度因子;表示获取第二异常数据的准确度因子;表示获取第三异常数据的准确度因子;表示获取第一异常数据的总数量;Q表示获取第二异常数据的总数量;D表示获取第三异常数据的总数量;表示所有水质监测站点的总数量;i表示获取第i个第一异常数据;j表示第一异常数据中第j个指标数据;N表示第一异常数据中指标数据的总种类数量;表示第i个第一异常数据中第j个指标数据的恶劣因子;表示第i个第一异常数据中第j个指标数据的实测值;表示第i个第一异常数据中第j个指标数据的标准值;q表示第q个第二异常数据;e表示第二异常数据中第e个指标数据;E表示第二异常数据中指标数据的总种类数量;表示第q个第二异常数据中第e个指标数据的恶劣因子;表示第q个第二异常数据中第e个指标数据的实测值;表示第q个第二异常数据中第e个指标数据的标准值;表示第d个第三异常数据的恶劣因子;表示第d个第三异常数据的实测值;表示第d个第三异常数据的标准值;表示第一异常数据、第二异常数据和第三异常数据中彼此重复的指标数据的总个数。
其中,第一异常数据为全指标数据,第二异常数据为关联指标数据,第三异常数据为单指标数据。
步骤S5,根据第一异常数据、第二异常数据和第三异常数据,对待评估水域的水质改善情况进行评估,计算待评估水域的水质改善值。
具体的,待评估水域的水质改善值的计算公式为:
其中,表示待评估水域的水质改善值;表示第个时刻;表示采集水质数据的总时刻数;表示获取第一异常数据的准确度因子;表示获取第二异常数据的准确度因子;表示获取第三异常数据的准确度因子;表示获取第一异常数据的总数量;N表示第一异常数据中指标数据的总种类数量;Q表示获取第二异常数据的总数量;E表示第二异常数据中指标数据的总种类数量;D表示获取第三异常数据的总数量;表示第i个第一异常数据中第j个指标数据的权重;表示第q个第二异常数据中第e个指标数据的权重;表示第d个第三异常数据中指标数据的权重;表示第个时刻获取的第i个第一异常数据中第j个指标数据的实测值;表示第个时刻获取的第i个第一异常数据中第j个指标数据的实测值;表示第个时刻获取的第q个第二异常数据中第e个指标数据的实测值;表示第个时刻获取的第q个第二异常数据中第e个指标数据的实测值;表示第个时刻获取的第d个第三异常数据的实测值;表示第个时刻获取的第d个第三异常数据的实测值。
实施例二
如图5所示,本申请还提供一种水质指标融合数据异常检测***100,该***包括:
数据获取装置10,用于获取水质监测历史融合数据和当前时刻水质自动站监测数据;
模型建立模块20,用于根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型;
异常数据获取模块30,用于将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别输出第一异常数据、第二异常数据和第三异常数据;
数据处理器40,用于根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值。
数据处理器40,还用于根据第一异常数据、第二异常数据和第三异常数据,对待评估水域的水质改善情况进行评估,计算待评估水域的水质改善值。
其中,待评估水域的水质恶劣评估总分值的计算公式如下:
其中,Y表示待评估水域的水质恶劣评估总分值;表示获取第一异常数据的准确度因子;表示获取第二异常数据的准确度因子;表示获取第三异常数据的准确度因子;表示获取第一异常数据的总数量;Q表示获取第二异常数据的总数量;D表示获取第三异常数据的总数量;表示所有水质监测站点的总数量;i表示获取第i个第一异常数据;j表示第一异常数据中第j个指标数据;N表示第一异常数据中指标数据的总种类数量;表示第i个第一异常数据中第j个指标数据的恶劣因子;表示第i个第一异常数据中第j个指标数据的实测值;表示第i个第一异常数据中第j个指标数据的标准值;q表示第q个第二异常数据;e表示第二异常数据中第e个指标数据;E表示第二异常数据中指标数据的总种类数量;表示第q个第二异常数据中第e个指标数据的恶劣因子;表示第q个第二异常数据中第e个指标数据的实测值;表示第q个第二异常数据中第e个指标数据的标准值;表示第d个第三异常数据的恶劣因子;表示第d个第三异常数据的实测值;表示第d个第三异常数据的标准值;表示第一异常数据、第二异常数据和第三异常数据中彼此重复的指标数据的总个数。
其中,待评估水域的水质改善值的计算公式为:
其中,表示待评估水域的水质改善值;表示第个时刻;表示采集水质数据的总时刻数;表示获取第一异常数据的准确度因子;表示获取第二异常数据的准确度因子;表示获取第三异常数据的准确度因子;表示获取第一异常数据的总数量;N表示第一异常数据中指标数据的总种类数量;Q表示获取第二异常数据的总数量;E表示第二异常数据中指标数据的总种类数量;D表示获取第三异常数据的总数量;表示第i个第一异常数据中第j个指标数据的权重;表示第q个第二异常数据中第e个指标数据的权重;表示第d个第三异常数据中指标数据的权重;表示第个时刻获取的第i个第一异常数据中第j个指标数据的实测值;表示第个时刻获取的第i个第一异常数据中第j个指标数据的实测值;表示第个时刻获取的第q个第二异常数据中第e个指标数据的实测值;表示第个时刻获取的第q个第二异常数据中第e个指标数据的实测值;表示第个时刻获取的第d个第三异常数据的实测值;表示第个时刻获取的第d个第三异常数据的实测值。
其中,第一异常数据为全指标数据,第二异常数据为关联指标数据,第三异常数据为单指标数据。
本申请实现的有益效果如下:
(1)本申请建立了一套针对多指标、关联指标、单指标的多层次异常值检测方法,有效提升地表水环境监测数据中的异常值检测正确率,降低了异常值检测的误检率和漏检率,保证了监测数据的真实性、客观性,同时为提前发现水环境即将发生恶化提供了数据支持。
(2)本申请根据获取的第一异常数据、第二异常数据和第三异常数据对待评估水域的水质进行评估和水质改善情况进行评估,从而实现对水质情况的综合评估,根据待评估水域的功能用途,判断当前待评估水质的水质情况是否符合其功能用途,根据水质改善情况,判断水质的改善是否符合要求,以实现对水质情况进行更好的管理。
上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理的内所做的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。
Claims (10)
1.一种水质指标融合数据异常检测方法,其特征在于,该方法包括如下步骤:
获取水质监测历史融合数据和当前时刻水质自动站监测数据;
根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型;
将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别输出第一异常数据、第二异常数据和第三异常数据;
根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值;
其中,待评估水域的水质恶劣评估总分值的计算公式如下:
其中,Y表示待评估水域的水质恶劣评估总分值;表示获取第一异常数据的准确度因子;表示获取第二异常数据的准确度因子;表示获取第三异常数据的准确度因子;表示获取第一异常数据的总数量;Q表示获取第二异常数据的总数量;D表示获取第三异常数据的总数量;表示所有水质监测站点的总数量;i表示获取第i个第一异常数据;j表示第一异常数据中第j个指标数据;N表示第一异常数据中指标数据的总种类数量;表示第i个第一异常数据中第j个指标数据的恶劣因子;表示第i个第一异常数据中第j个指标数据的实测值;表示第i个第一异常数据中第j个指标数据的标准值;q表示第q个第二异常数据;e表示第二异常数据中第e个指标数据;E表示第二异常数据中指标数据的总种类数量;表示第q个第二异常数据中第e个指标数据的恶劣因子;表示第q个第二异常数据中第e个指标数据的实测值;表示第q个第二异常数据中第e个指标数据的标准值;表示第d个第三异常数据的恶劣因子;表示第d个第三异常数据的实测值;表示第d个第三异常数据的标准值;表示第一异常数据、第二异常数据和第三异常数据中彼此重复的指标数据的总个数。
2.根据权利要求1所述的水质指标融合数据异常检测方法,其特征在于,该方法还包括如下步骤:
根据第一异常数据、第二异常数据和第三异常数据,对待评估水域的水质改善情况进行评估,计算待评估水域的水质改善值。
4.根据权利要求3所述的水质指标融合数据异常检测方法,其特征在于,建立全指标孤立森林检测模型的方法还包括如下步骤:
计算孤立森林中所有全指标样本数据的异常分数。
5.根据权利要求4所述的水质指标融合数据异常检测方法,其特征在于,孤立森林中所有全指标样本数据的异常分数的计算方法为:
计算单个孤立树的平均路径长度;
根据单个孤立树的平均路径长度,计算全指标样本数据的异常得分。
7.根据权利要求1所述的水质指标融合数据异常检测方法,其特征在于,根据水质监测历史融合数据,建立关联指标异常检测模型的方法包括如下步骤:
从水质监测历史融合数据中选取关联指标数据集合;
根据关联指标数据集合,建立关联指标异常检测模型。
10.一种水质指标融合数据异常检测***,其特征在于,该***包括:
数据获取装置,用于获取水质监测历史融合数据和当前时刻水质自动站监测数据;
模型建立模块,用于根据获取的水质监测历史融合数据,建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型;
异常数据获取模块,用于将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中,分别获取第一异常数据、第二异常数据和第三异常数据;
数据处理器,用于根据第一异常数据、第二异常数据和第三异常数据,对当前时刻水质进行评估,计算待评估水域的水质恶劣评估总分值;
其中,待评估水域的水质恶劣评估总分值的计算公式如下:
其中,Y表示待评估水域的水质恶劣评估总分值;表示获取第一异常数据的准确度因子;表示获取第二异常数据的准确度因子;表示获取第三异常数据的准确度因子;表示获取第一异常数据的总数量;Q表示获取第二异常数据的总数量;D表示获取第三异常数据的总数量;表示所有水质监测站点的总数量;i表示获取第i个第一异常数据;j表示第一异常数据中第j个指标数据;表示第一异常数据中指标数据的总种类数量;表示第i个第一异常数据中第j个指标数据的恶劣因子;表示第i个第一异常数据中第j个指标数据的实测值;表示第i个第一异常数据中第j个指标数据的标准值;q表示第q个第二异常数据;e表示第二异常数据中第e个指标数据;E表示第二异常数据中指标数据的总种类数量;表示第q个第二异常数据中第e个指标数据的恶劣因子;表示第q个第二异常数据中第e个指标数据的实测值;表示第q个第二异常数据中第e个指标数据的标准值;表示第d个第三异常数据的恶劣因子;表示第d个第三异常数据的实测值;表示第d个第三异常数据的标准值;表示第一异常数据、第二异常数据和第三异常数据中彼此重复的指标数据的总个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110992212.2A CN113435547B (zh) | 2021-08-27 | 2021-08-27 | 一种水质指标融合数据异常检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110992212.2A CN113435547B (zh) | 2021-08-27 | 2021-08-27 | 一种水质指标融合数据异常检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113435547A CN113435547A (zh) | 2021-09-24 |
CN113435547B true CN113435547B (zh) | 2021-11-16 |
Family
ID=77798190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110992212.2A Active CN113435547B (zh) | 2021-08-27 | 2021-08-27 | 一种水质指标融合数据异常检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113435547B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114039886A (zh) * | 2021-10-19 | 2022-02-11 | 国网山东省电力公司日照供电公司 | 基于四分差和自相关性分析的数据正确性辨识方法及装置 |
CN114022052B (zh) * | 2022-01-04 | 2022-05-03 | 北京英视睿达科技股份有限公司 | 水质异常监测方法、装置、存储介质及计算机设备 |
CN114527249B (zh) * | 2022-01-17 | 2024-03-19 | 南方海洋科学与工程广东省实验室(广州) | 一种水质监测数据质量控制方法及*** |
CN116011894B (zh) * | 2023-03-28 | 2023-06-02 | 河北长发铝业股份有限公司 | 一种铝合金棒生产数据管理*** |
CN116933186B (zh) * | 2023-09-14 | 2023-11-24 | 江苏新路德建设有限公司 | 基于数据驱动的污水管网堵塞实时监测方法 |
CN117030964A (zh) * | 2023-10-07 | 2023-11-10 | 哈尔滨凯纳科技股份有限公司 | 一种用于水质分析仪的控制***及方法 |
CN117282261B (zh) * | 2023-11-23 | 2024-02-23 | 天津恩纳社环保有限公司 | 一种微生物废气处理*** |
CN117874653B (zh) * | 2024-03-11 | 2024-05-31 | 武汉佳华创新电气有限公司 | 一种基于多源数据的电力***安全监测方法及*** |
CN118133211B (zh) * | 2024-05-07 | 2024-07-09 | 山东世纪智慧农业科技有限公司 | 基于多维传感器的黑皮鸡枞菌菌棒污染评估方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504901A (zh) * | 2014-12-29 | 2015-04-08 | 浙江银江研究院有限公司 | 一种基于多维数据的交通异常点检测方法 |
CN110969556A (zh) * | 2019-09-30 | 2020-04-07 | 上海仪电(集团)有限公司中央研究院 | 机器学习多维度多模型融合河道水质异常检测方法及装置 |
CN111507376A (zh) * | 2020-03-20 | 2020-08-07 | 厦门大学 | 一种基于多种无监督方法融合的单指标异常检测方法 |
CN111553468A (zh) * | 2020-05-15 | 2020-08-18 | 南京大学 | 一种准确预测污水处理厂出水水质的方法 |
CN111740991A (zh) * | 2020-06-19 | 2020-10-02 | 上海仪电(集团)有限公司中央研究院 | 一种异常检测方法及*** |
-
2021
- 2021-08-27 CN CN202110992212.2A patent/CN113435547B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504901A (zh) * | 2014-12-29 | 2015-04-08 | 浙江银江研究院有限公司 | 一种基于多维数据的交通异常点检测方法 |
CN110969556A (zh) * | 2019-09-30 | 2020-04-07 | 上海仪电(集团)有限公司中央研究院 | 机器学习多维度多模型融合河道水质异常检测方法及装置 |
CN111507376A (zh) * | 2020-03-20 | 2020-08-07 | 厦门大学 | 一种基于多种无监督方法融合的单指标异常检测方法 |
CN111553468A (zh) * | 2020-05-15 | 2020-08-18 | 南京大学 | 一种准确预测污水处理厂出水水质的方法 |
CN111740991A (zh) * | 2020-06-19 | 2020-10-02 | 上海仪电(集团)有限公司中央研究院 | 一种异常检测方法及*** |
Non-Patent Citations (2)
Title |
---|
大连市重要江河湖泊水功能区达标评价研究;赵云;《水资源开发与管理》;20191231;第2-3节 * |
春节期间凉水河流域典型污水处理厂进水水质分析;宋晓雅;《给水排水增刊》;20210430;第47卷;摘要 * |
Also Published As
Publication number | Publication date |
---|---|
CN113435547A (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113435547B (zh) | 一种水质指标融合数据异常检测方法及*** | |
US20200356902A1 (en) | Machine learning-based patent quality metric | |
Nelson et al. | Genomewide analysis of admixture and adaptation in the Africanized honeybee | |
Berner et al. | Genomics of adaptive divergence with chromosome‐scale heterogeneity in crossover rate | |
MacKenzie et al. | Occupancy as a surrogate for abundance estimation | |
Pool et al. | Inference of historical changes in migration rate from the lengths of migrant tracts | |
Hoti et al. | Bayesian mapping of genotype× expression interactions in quantitative and qualitative traits | |
JP2008059270A (ja) | プロセス異常診断装置及びプロセス監視システム | |
CN107402547A (zh) | 基于离群点分析的设备异常检测方法及*** | |
CN102339347A (zh) | 用于技术***的计算机辅助分析的方法 | |
Zhang et al. | Mapping multiple quantitative trait loci by Bayesian classification | |
Fitzpatrick et al. | Genomics for genetic rescue | |
Maebe et al. | Microsatellite analysis of museum specimens reveals historical differences in genetic diversity between declining and more stable Bombus species | |
CN111667122A (zh) | 一种农产品品种农药残留的风险评估方法 | |
Douglas et al. | Biodiversity of Central Alpine Coregonus (Salmoniformes): impact of one‐hundred years of management | |
CN116485020A (zh) | 一种基于大数据的供应链风险识别预警方法、***及介质 | |
CN112906738A (zh) | 一种水质检测及处理方法 | |
Esnault et al. | Development of a potato cultivar (Solanum tuberosum L.) core collection, a valuable tool to prospect genetic variation for novel traits | |
CN116246705B (zh) | 全基因组测序数据的分析方法和装置 | |
CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
Aldridge et al. | Genetic and morphological patterns show variation in frequency of hybrids between Ipomopsis (Polemoniaceae) zones of sympatry | |
CN112329944B (zh) | 一种基于历史模型多样性的数据流概念漂移检测方法 | |
CN110807174B (zh) | 一种基于统计分布的污水厂厂群出水分析及异常识别方法 | |
CN110517731A (zh) | 基因检测质量监控数据处理方法和*** | |
Zimmerman et al. | A genetic warning system for a hierarchically structured wildlife monitoring framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |