CN112036075A - 一种基于环境监测数据关联关系的异常数据判定方法 - Google Patents

一种基于环境监测数据关联关系的异常数据判定方法 Download PDF

Info

Publication number
CN112036075A
CN112036075A CN202010801821.0A CN202010801821A CN112036075A CN 112036075 A CN112036075 A CN 112036075A CN 202010801821 A CN202010801821 A CN 202010801821A CN 112036075 A CN112036075 A CN 112036075A
Authority
CN
China
Prior art keywords
data
model
hidden layer
abnormal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010801821.0A
Other languages
English (en)
Inventor
孙康
尤洋
郭月
郑皓皓
秦少立
汪太明
孟双双
张霞
杨子成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncere Information Technology Co ltd
CHINA NATIONAL ENVIRONMENTAL MONITORING CENTRE
Original Assignee
Suncere Information Technology Co ltd
CHINA NATIONAL ENVIRONMENTAL MONITORING CENTRE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suncere Information Technology Co ltd, CHINA NATIONAL ENVIRONMENTAL MONITORING CENTRE filed Critical Suncere Information Technology Co ltd
Priority to CN202010801821.0A priority Critical patent/CN112036075A/zh
Publication of CN112036075A publication Critical patent/CN112036075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于环境监测数据关联关系的异常数据判定方法，主要包括：首先监测数据分为训练数据、验证数据和测试数据，用训练数据构建模型，再用验证数据根据MAE选择模型的最佳参数；模型构建并完成调试后，经过测试数据测试，嵌入环境监测平台。在监测平台上根据实时监测数据与模型给出下一时刻的预测值，计算预测结果与真实值的绝对值bia，bia与MAE±30％真实值比较后判断实测值是否异常。本发明充分考虑了气象条件对监测数据的影响，以及监测数据的时间连续性和变化特点，最终解决多源监测数据缺少自动化质量控制手段的问题，实现了自动化、智能化的对可疑数据进行筛选和判断功能，保障了数据的质量，为后期数据使用和环境预报预警提供有力支撑。

Description

一种基于环境监测数据关联关系的异常数据判定方法
技术领域
本发明涉及环境实时监测的数据质量控制技术领域，主要用于颗粒物和气态污染物实时监测数据的异常值自动判断。
背景技术
对于大气环境数据质量的控制和监测，目前使用数据筛选方法大多采用手工形式，即通过绘制日均图、月均图判断各监测指标的异常波动和离群程度等。这样的方法增加了大量的人力资源，面对海量的监测数据，人工审核往往会有遗漏的情况。鉴于环境监测仪器输出监测物的浓度指标一般以分钟或小时为单位，人工手动审核数据存在一定的滞后性，通过自动化的审核机制可以做到实时对数据进行质量控制。
针对大气监测数据缺少自动化质量控制手段的状况，现依据环境监测总站数据监控和复合采用的技术方案设计算法，实现大气环境监测数据自动化智能质量控制技术，解决多源监测数据缺少自动化质量控制手段的问题，使大气监测设备的质量控制遵从同一套方法体系，推进监测设备远程自动化质控技术的发展。
发明内容
本发明的目的在于提供一种基于环境监测数据关联关系的异常数据判定方法，以解决多源监测数据缺少自动化质量控制手段等问题。
一种基于环境监测数据关联关系的异常数据判定方法，包括以下步骤：
S1.对历史数据及待分析的环境监测数据进行预处理：对历史数据及待分析的环境监测数据监测数据用数采软件判断缺失值和异常值，再替换缺失值和异常值；
S2.将数据划分为训练数据、验证数据，并将训练数据和验证数据转换为模型所需的序列数据；其中训练集和验证集数据均包括正常数据以及人工标识为异常的数据，其异常原因包括数据突升/突降、未出现昼夜变化、持续性低值等，异常数据判断均与前后监测数据连续性相关；训练集和验证集数据的比例可以是7:3；
S3.用训练数据构建模型，再用验证数据根据平均绝对误差MAE选择模型的最佳参数；模型构建并完成调试后，嵌入环境监测平台中，t-1时刻的待分析的环境监测数据ct-true作为输入数据，不断得到t时刻的预测值ct-pre；
S4.将预测值ct-pre与t时刻的待分析的环境监测数据ct-true比较，求出绝对值bia，与MAE±30％真实值的经验误差相比，来判定异常，超过该范围的数据即标记为异常数据，此过程中MAE随输入数据变化，因此阈值为动态阈值。
其中bia＝|ct-pre-ct-true|。
优选的，步骤S1所述替换缺失值和异常值的方法包括：
S11.线性插值的插值函数为一次多项式，首先假设已知函数y＝f(x)在区间[a,b]上(n+1)个互异点xi(i＝0,1,2,3...,n)上的值分别为yi，求多项式：
Figure BDA0002627671220000021
使满足
Figure BDA0002627671220000022
由解析几何可知：
Figure BDA0002627671220000023
其中x0、x1、y0、y1——已知的统计数据
x——x0,x1间的任何数据
y——与x对应的插值数据；
S12.利用缺失或异常值前后2个时刻的数据，根据以上公式进行线性插值。
优选的，环境监测数据包括气象五参数气压、温度、湿度、风向、风速和污染物浓度。
优选的，将步骤S1中历史数据及待分析的环境监测数据按照季节和地域分组，分别构建每个污染物对应的二维表
Figure BDA0002627671220000024
现有的监测数据为小时监测数据，由于环境监测数据的地域性和季节性特点强，因此将全国数据按照区域(东北、西北、华北、华中、华南、东南、西南)、季节(春、夏、秋、冬)划分；小时监测数据中经数采软件判断出的异常值及缺失值使用线性插值法自动替换，最后构建成不同区域、不同季节每个污染物对应的二维表，用于构建各自的模型。
优选的，步骤S3中训练数据构建模型，包括以下步骤：建模过程中，使用t时刻的某污染物浓度和气象条件
Figure BDA0002627671220000031
作为输入，t+1时刻的某污染物浓度和气象条件
Figure BDA0002627671220000032
作为输出，使用训练集数据
Figure BDA0002627671220000033
经过学习后得到t+1时刻的污染物浓度和气象条件；
模型构建时经过输入层、隐藏层和输出层，隐藏层中可以选择保留t1、t2......t时刻的信息，并将其作为输入信息作用于t+1时刻；各单元的计算步骤和方法如下：
输入门：
Figure BDA0002627671220000034
遗忘门：
Figure BDA0002627671220000035
输出门：
Figure BDA0002627671220000036
当前时刻隐藏层候选记忆单元值：
Figure BDA0002627671220000037
当前时刻隐藏层记忆单元状态值：
Figure BDA0002627671220000038
当前时刻隐藏层输出值：
Figure BDA0002627671220000039
i、φ、ω分别是输入门、遗忘门和输出门，h为隐藏层输出，c为隐藏层记忆单元值，θ、σ分别表示几个门的非线性激活函数，θ一般取tanh函数，σ一般为logistic sigmoid函数，
Figure BDA00026276712200000310
表示输入-输入门权重矩阵，
Figure BDA00026276712200000311
表示上一时刻隐藏层单元-输入门权重矩阵，
Figure BDA00026276712200000312
表示输入门-隐藏层记忆单元权重矩阵，
Figure BDA00026276712200000313
是输入层-遗忘门的权重矩阵，
Figure BDA00026276712200000314
是上一时刻隐藏层单元-遗忘门的权重矩阵，
Figure BDA00026276712200000315
是隐藏层记忆单元-遗忘门的权重矩阵，
Figure BDA00026276712200000316
是输入层-输出门权重矩阵，
Figure BDA00026276712200000317
是上一时刻隐藏层单元-输出门的权重矩阵，
Figure BDA00026276712200000318
是隐藏层记忆单元-输出门的权重矩阵，
Figure BDA00026276712200000319
是输入层-隐藏层记忆单元的权重矩阵，
Figure BDA00026276712200000320
是上一时刻隐藏层单元到隐藏层记忆单元的权重矩阵，
Figure BDA00026276712200000321
分别是输入门、遗忘门、输出门和隐藏层记忆单元的偏置。
考虑到样本中数据间的时间关联性强这一特点，在几种常用机器学习算法中选择了RNN-LSTM模型，此模型可利用输入序列的时间信息，提高时间序列数据的预测准确率。在普通多层BP神经网络基础上，增加了隐藏层各单元间的横向联系，通过一个权重矩阵，可以将上一个时间序列的神经单元的输出作为当前的神经单元的输入，从而使神经网络具备了记忆功能。
优选的训练集数据，作为模型输入，完成了模型构建；步骤S3中利用验证数据根据平均绝对误差MAE选择模型的最佳参数的方法为：验证数据作为模型输入，将模型预测值cpre与真实值cture对比，采用平均绝对误差(MAE)评价，当MAE最小时得到最优的模型参数；
Figure BDA0002627671220000041
其中，n代表样本数，ctrue代表真实值，cpre代表预测值。
与现有异常数据检测手段相比，本发明用人工审核后的历史数据作为训练数据构建神经网络模型，再用验证数据，根据MAE选择模型的最佳参数；模型构建并完成调试后，嵌入环境监测平台，根据实时监测数据与模型给出下一时刻的预测值，来判断下一时刻监测值是否异常。本发明将机器学习、数据挖掘的方法应用于环境监测领域，实现了计算机数据科学与环境监测交叉学科的融合创新，针对规模大且内部规则复杂程度高的监测数据，通过学习来建立分析***。并且构建模型时，充分考虑了气象条件对监测数据的影响，以及监测数据的时间连续性和变化特点，测试结果也体现了模型预测值与实际监测值拟合度好。最终解决多源监测数据缺少自动化质量控制手段的问题，实现自动化、智能化的对可疑数据进行筛选和判断功能，使大气监测设备的质量控制遵从同一套方法体系，保障监测数据的质量，推进监测设备远程自动化质控技术的发展，为后期数据使用和环境预报预警提供有力支撑。
附图说明
图1是本发明基于环境监测数据关联关系的异常数据判定方法的流程图；
图2是RNN-LSTM模型构建示意图；
图3是预测效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
实施例1
本实施例依据某地2019年9月到10月的大气污染物监测数据(部分污染物数据和气象数据见表1)，对11月监测数据进行异常检测。
模型执行步骤如下：
第一步：对大气污染物数据及对应的气象数据进行预处理，包括其中数采软件自动识别的缺失值、异常值(采样时长不足导致)等的插值处理，并将人工审核为异常的数据进行标记,详细见表2。
其中自动替换缺失值和异常值包括：
S11.首先假设已知函数y＝f(x)在区间[a,b]上(n+1)个互异点xi(i＝0,1,2,3...,n)上的值分别为yi，求多项式：
Figure BDA0002627671220000051
使满足
Figure BDA0002627671220000052
由解析几何可知：
Figure BDA0002627671220000053
其中x0、x1、y0、y1——已知的统计数据
x——x0,x1间的任何数据
y——与x对应的插值数据。
第二步：将以上9月份数据作为训练数据，10月份数据作为验证数据，11月数据作为测试数据，并将训练和验证数据转换为模型所需的序列数据格式。
第三步：构建基于RNN-LSTM的神经网络，将训练数据输入模型，模型将根据训练数据的预测误差来自动调整网络参数(包括网络节点的权重和阈值)，直至训练过程结束。训练时采用标准的3层网络，1输入层(6个输入节点)+1隐藏层+1输出层(1个输出节点)；同时根据验证数据效果来调整模型超参数(包括模型的隐藏层节点数、学习率等等)，其中PM10模型隐藏层节点数为500，PM2.5模型隐藏层节点为300，CO模型隐藏层节点数为200，NO2模型隐藏层节点为100，O3模型隐藏层节点为100，SO2模型隐藏层节点为100。图2模型构建的流程。
模型公式为：
输入门：
Figure BDA0002627671220000061
遗忘门：
Figure BDA0002627671220000062
输出门：
Figure BDA0002627671220000063
当前时刻隐藏层候选记忆单元值：
Figure BDA0002627671220000064
当前时刻隐藏层记忆单元状态值：
Figure BDA0002627671220000065
当前时刻隐藏层输出值：
Figure BDA0002627671220000066
第四步：将11月测试数据输入训练好的模型中，并将预测数据与实测值进行比对，部分测试数据效果图3。
采用平均绝对误差评价，其中CO约为0.08，NO2约为6.85，O3约为10.45，PM10约为7.80，PM2.5约为4.97，SO2约为3.38。MAE的大小与测试数据的尺度有关，总体11月份数据测试结果较好。
第五步：根据预测值与实测值之间差值的绝对值来进行数据异常的判断，超过模型预测误差MAE±30％实测值的数据，将被模型判定为异常数据。模型输出的部分预测值、bia和MAE值如表3所示，模型异常判断的部分结果如表4所示。
表1某地部分污染物数据和气象数据
Figure BDA0002627671220000067
Figure BDA0002627671220000071
Figure BDA0002627671220000081
注：其中NA表示缺失数据，RM为人工审核为异常数据
表2数据前处理后
Figure BDA0002627671220000082
Figure BDA0002627671220000091
Figure BDA0002627671220000101
接表2
时间 SO<sub>2</sub>_MARK NO<sub>2</sub>_MARK O<sub>3</sub>_MARK CO_MARK PM<sub>10</sub>_MARK PM<sub>2.5</sub>_MARK
2019-09-13 01:00 0 0 0 0 0 0
2019-09-13 02:00 0 0 0 0 0 0
2019-09-13 03:00 0 0 0 0 0 0
2019-09-13 04:00 0 0 0 0 0 0
2019-09-13 05:00 0 0 0 0 0 0
2019-09-13 06:00 0 0 0 0 0 0
2019-09-13 07:00 0 0 0 0 0 0
2019-09-13 08:00 0 0 0 0 0 0
2019-09-13 09:00 0 0 0 0 0 0
2019-09-13 10:00 0 0 0 0 0 0
2019-09-13 11:00 0 0 0 0 0 0
2019-09-13 12:00 0 0 0 0 0 0
2019-09-13 13:00 0 0 0 0 0 0
2019-09-13 14:00 0 0 0 0 0 0
2019-09-13 15:00 0 0 0 0 0 0
2019-09-13 16:00 0 0 0 0 0 0
2019-09-13 17:00 0 0 1 0 0 0
2019-09-13 18:00 0 0 0 0 0 0
2019-09-13 19:00 0 0 0 0 0 0
2019-09-13 20:00 0 0 0 0 0 0
2019-09-13 21:00 0 0 0 0 0 0
2019-09-13 22:00 0 0 0 0 0 0
2019-09-13 23:00 0 0 0 0 0 0
2019-09-14 00:00 0 0 0 0 0 0
表3模型判断的NO2部分时刻预测数据、实测数据、MAE及bia值
Figure BDA0002627671220000102
Figure BDA0002627671220000111
注：NO2_Mark列中1表示模型判断为异常数据
表4模型最终判断的部分异常污染物数据
Figure BDA0002627671220000112
Figure BDA0002627671220000121

Claims (6)

1.一种基于环境监测数据关联关系的异常数据判定方法，其特征在于，包括以下步骤：
S1.对历史数据及待分析的环境监测数据进行预处理：对历史数据及待分析的环境监测数据用数采软件判断缺失值和异常值，再替换缺失值和异常值；
S2.将处理后的历史数据划分为训练数据、验证数据，并将训练数据和验证数据转换为模型所需的序列数据；
S3.用训练数据构建模型，再用验证数据根据MAE选择模型的最佳参数；模型构建并完成调试后，嵌入环境监测平台中，t-1时刻的待分析的环境监测数据ct-1-true作为输入数据，不断得到t时刻的预测值ct-pre；
S4.将预测值ct-pre与t时刻的待分析的环境监测数据ct-true比较，求出绝对值bia与MAE±30％真实值的经验误差相比，来判定异常，超过范围的数据即标记为异常数据
其中bia＝|ct-pre-ct-true|。
2.根据权利要求1所述基于环境监测数据关联关系的异常数据判定方法，其特征在于，步骤S1所述替换缺失值和异常值的方法包括：
S11.首先假设已知函数y＝f(x)在区间[a,b]上(n+1)个互异点xi(i＝0,1,2,3...,n)上的值分别为yi，求多项式：
Figure FDA0002627671210000011
使满足
Figure FDA0002627671210000012
由解析几何可知：
Figure FDA0002627671210000013
其中x0、x1、y0、y1——已知的统计数据
x——x0,x1间的任何数据
y——与x对应的插值数据；
S12.利用缺失或异常值前后2个时刻的数据，根据以上公式进行插值。
3.根据权利要求1所述基于环境监测数据关联关系的异常数据判定方法，其特征在于，环境监测数据包括气象五参数气压、温度、湿度、风向、风速和污染物浓度。
4.根据权利要求3所述基于环境监测数据关联关系的异常数据判定方法，其特征在于，将步骤S1中历史数据及待分析的环境监测数据按照季节和地域分组，分别构建每个污染物对应的二维表
Figure FDA0002627671210000021
5.根据权利要求4述基于环境监测数据关联关系的异常数据判定方法，其特征在于，步骤S3中训练数据构建模型，包括以下步骤：使用t时刻的某污染物浓度和气象条件
Figure FDA0002627671210000022
作为输入，t+1时刻的某污染物浓度和气象条件
Figure FDA0002627671210000023
作为输出，使用训练集数据
Figure FDA0002627671210000024
经过学习后得到t+1时刻的污染物浓度和气象条件；
模型构建时经过输入层、隐藏层和输出层，隐藏层中可以选择保留t1、t2......t时刻的信息，并将其作为输入信息作用于t+1时刻；各单元的计算步骤和方法如下：
输入门：
Figure FDA0002627671210000025
遗忘门：
Figure FDA0002627671210000026
输出门：
Figure FDA0002627671210000027
当前时刻隐藏层候选记忆单元值：
Figure FDA0002627671210000028
当前时刻隐藏层记忆单元状态值：
Figure FDA0002627671210000029
当前时刻隐藏层输出值：
Figure FDA00026276712100000210
i、φ、ω分别是输入门、遗忘门和输出门，h为隐藏层输出，c为隐藏层记忆单元值，θ、σ分别表示几个门的非线性激活函数，θ一般取tanh函数，σ一般为lOgistic sigmOid函数，
Figure FDA00026276712100000211
表示输入-输入门权重矩阵，
Figure FDA00026276712100000212
表示上一时刻隐藏层单元-输入门权重矩阵，
Figure FDA00026276712100000213
表示输入门-隐藏层记忆单元权重矩阵，
Figure FDA00026276712100000214
是输入层-遗忘门的权重矩阵，
Figure FDA00026276712100000215
是上一时刻隐藏层单元-遗忘门的权重矩阵，
Figure FDA00026276712100000216
是隐藏层记忆单元-遗忘门的权重矩阵，
Figure FDA00026276712100000217
是输入层-输出门权重矩阵，
Figure FDA00026276712100000218
是上一时刻隐藏层单元-输出门的权重矩阵，
Figure FDA0002627671210000031
是隐藏层记忆单元-输出门的权重矩阵，
Figure FDA0002627671210000032
是输入层-隐藏层记忆单元的权重矩阵，
Figure FDA0002627671210000033
是上一时刻隐藏层单元到隐藏层记忆单元的权重矩阵，
Figure FDA0002627671210000034
分别是输入门、遗忘门、输出门和隐藏层记忆单元的偏置。
6.根据权利要求4述基于环境监测数据关联关系的异常数据判定方法，其特征在于，步骤S3中验证数据选择模型的最佳参数MAE的方法为：验证数据作为模型输入，将模型预测值cpre与真实值cture对比，采用MAE评价，当MAE最小时得到最优的模型参数；
Figure FDA0002627671210000035
其中，n代表样本数，ctrue代表真实值，cpre代表预测值。
CN202010801821.0A 2020-08-11 2020-08-11 一种基于环境监测数据关联关系的异常数据判定方法 Pending CN112036075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010801821.0A CN112036075A (zh) 2020-08-11 2020-08-11 一种基于环境监测数据关联关系的异常数据判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010801821.0A CN112036075A (zh) 2020-08-11 2020-08-11 一种基于环境监测数据关联关系的异常数据判定方法

Publications (1)

Publication Number Publication Date
CN112036075A true CN112036075A (zh) 2020-12-04

Family

ID=73578362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010801821.0A Pending CN112036075A (zh) 2020-08-11 2020-08-11 一种基于环境监测数据关联关系的异常数据判定方法

Country Status (1)

Country Link
CN (1) CN112036075A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613233A (zh) * 2020-12-18 2021-04-06 中国环境监测总站 基于单分类支持向量机模型发现环境监测异常数据的算法
CN112767653A (zh) * 2020-12-21 2021-05-07 武汉达梦数据技术有限公司 一种地质灾害专业监测数据获取方法及***
CN113434854A (zh) * 2021-08-26 2021-09-24 中国电子信息产业集团有限公司 一种基于沙箱环境生成数据元件的方法及存储介质
CN113569324A (zh) * 2021-08-03 2021-10-29 招商局重庆交通科研设计院有限公司 边坡形变监测异常数据分析与优化方法
CN114035553A (zh) * 2021-11-16 2022-02-11 湖南机电职业技术学院 基于***辨识和拟合度的控制***故障检测方法及装置
CN114638290A (zh) * 2022-03-07 2022-06-17 廖彤 基于边缘计算和bp神经网络的环境监测仪器故障预测方法
CN114826988A (zh) * 2021-01-29 2022-07-29 中国电信股份有限公司 时序数据的异常检测和参数填补的方法及装置
CN115080909A (zh) * 2022-07-15 2022-09-20 深圳市城市交通规划设计研究中心股份有限公司 影响物联感知设备数据的分析方法、电子设备及存储介质
CN116576553A (zh) * 2023-07-11 2023-08-11 韦德电子有限公司 一种空气调节机数据优化采集方法及***
CN117074627A (zh) * 2023-10-16 2023-11-17 三科智能(山东)集团有限公司 基于人工智能的医疗实验室空气质量监测***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149819A (zh) * 2007-10-31 2008-03-26 山东省科学院海洋仪器仪表研究所 气象要素实时数据中奇异值的剔除方法
US20120226653A1 (en) * 2009-09-24 2012-09-06 Mclaughlin Michael John Method of contaminant prediction
CN103336906A (zh) * 2013-07-15 2013-10-02 哈尔滨工业大学 环境传感器的采集数据流中连续异常检测的抽样gpr方法
CN105303051A (zh) * 2015-11-11 2016-02-03 中国科学院遥感与数字地球研究所 一种空气污染物浓度预测方法
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109302410A (zh) * 2018-11-01 2019-02-01 桂林电子科技大学 一种内部用户异常行为检测方法、***及计算机存储介质
CN109738939A (zh) * 2019-03-21 2019-05-10 蔡寅 一种地震前兆数据异常检测方法
CN110008979A (zh) * 2018-12-13 2019-07-12 阿里巴巴集团控股有限公司 异常数据预测方法、装置、电子设备及计算机存储介质
CN111144286A (zh) * 2019-12-25 2020-05-12 北京工业大学 一种融合emd和lstm的城市pm2.5浓度预测方法
CN111241673A (zh) * 2020-01-07 2020-06-05 北京航空航天大学 用于噪声环境工业设备的健康状态预测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149819A (zh) * 2007-10-31 2008-03-26 山东省科学院海洋仪器仪表研究所 气象要素实时数据中奇异值的剔除方法
US20120226653A1 (en) * 2009-09-24 2012-09-06 Mclaughlin Michael John Method of contaminant prediction
CN103336906A (zh) * 2013-07-15 2013-10-02 哈尔滨工业大学 环境传感器的采集数据流中连续异常检测的抽样gpr方法
CN105303051A (zh) * 2015-11-11 2016-02-03 中国科学院遥感与数字地球研究所 一种空气污染物浓度预测方法
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109302410A (zh) * 2018-11-01 2019-02-01 桂林电子科技大学 一种内部用户异常行为检测方法、***及计算机存储介质
CN110008979A (zh) * 2018-12-13 2019-07-12 阿里巴巴集团控股有限公司 异常数据预测方法、装置、电子设备及计算机存储介质
CN109738939A (zh) * 2019-03-21 2019-05-10 蔡寅 一种地震前兆数据异常检测方法
CN111144286A (zh) * 2019-12-25 2020-05-12 北京工业大学 一种融合emd和lstm的城市pm2.5浓度预测方法
CN111241673A (zh) * 2020-01-07 2020-06-05 北京航空航天大学 用于噪声环境工业设备的健康状态预测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613233A (zh) * 2020-12-18 2021-04-06 中国环境监测总站 基于单分类支持向量机模型发现环境监测异常数据的算法
CN112767653A (zh) * 2020-12-21 2021-05-07 武汉达梦数据技术有限公司 一种地质灾害专业监测数据获取方法及***
CN114826988A (zh) * 2021-01-29 2022-07-29 中国电信股份有限公司 时序数据的异常检测和参数填补的方法及装置
CN113569324A (zh) * 2021-08-03 2021-10-29 招商局重庆交通科研设计院有限公司 边坡形变监测异常数据分析与优化方法
CN113434854A (zh) * 2021-08-26 2021-09-24 中国电子信息产业集团有限公司 一种基于沙箱环境生成数据元件的方法及存储介质
CN114035553A (zh) * 2021-11-16 2022-02-11 湖南机电职业技术学院 基于***辨识和拟合度的控制***故障检测方法及装置
CN114035553B (zh) * 2021-11-16 2023-11-24 湖南机电职业技术学院 基于***辨识和拟合度的控制***故障检测方法及装置
CN114638290A (zh) * 2022-03-07 2022-06-17 廖彤 基于边缘计算和bp神经网络的环境监测仪器故障预测方法
CN114638290B (zh) * 2022-03-07 2024-04-30 廖彤 基于边缘计算和bp神经网络的环境监测仪器故障预测方法
CN115080909A (zh) * 2022-07-15 2022-09-20 深圳市城市交通规划设计研究中心股份有限公司 影响物联感知设备数据的分析方法、电子设备及存储介质
CN115080909B (zh) * 2022-07-15 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 影响物联感知设备数据的分析方法、电子设备及存储介质
CN116576553A (zh) * 2023-07-11 2023-08-11 韦德电子有限公司 一种空气调节机数据优化采集方法及***
CN116576553B (zh) * 2023-07-11 2023-09-22 韦德电子有限公司 一种空气调节机数据优化采集方法及***
CN117074627A (zh) * 2023-10-16 2023-11-17 三科智能(山东)集团有限公司 基于人工智能的医疗实验室空气质量监测***
CN117074627B (zh) * 2023-10-16 2024-01-09 三科智能(山东)集团有限公司 基于人工智能的医疗实验室空气质量监测***

Similar Documents

Publication Publication Date Title
CN112036075A (zh) 一种基于环境监测数据关联关系的异常数据判定方法
CN108426812B (zh) 一种基于记忆神经网络的pm2.5浓度值预测方法
Lindemann et al. Anomaly detection and prediction in discrete manufacturing based on cooperative LSTM networks
CN111814956B (zh) 一种基于多维度二次特征提取的多任务学习的空气质量预测方法
CN111179591B (zh) 一种路网交通时序特征数据质量诊断与修复方法
CN110716512A (zh) 一种基于燃煤电站运行数据的环保装备性能预测方法
CN112733443B (zh) 一种基于虚拟监测点的供水管网模型参数优化校核方法
CN114169254A (zh) 基于短期建筑能耗预测模型的异常能耗诊断方法及***
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN115860286B (zh) 一种基于时序门机制的空气质量预测方法及***
CN114154619A (zh) 一种基于cnn和bilstm的船舶轨迹预测方法
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及***
CN115759488A (zh) 一种基于边缘计算的碳排放监测预警分析***及其方法
CN112348290A (zh) 河流水质预测方法、装置、存储介质及设备
CN114004397A (zh) 一种计及多因素影响的地区能源消费态势预测方法及装置
CN114217025B (zh) 评估空气质量浓度预测中气象数据对其影响的分析方法
Wang et al. Pm2. 5 prediction based on neural network
CN114462717A (zh) 一种基于改进gan与lstm的小样本气体浓度预测方法
CN114648095A (zh) 一种基于深度学习的空气质量浓度反演方法
CN114239990A (zh) 一种基于时间序列分解和lstm的时间序列数据预测方法
CN112986393A (zh) 一种桥梁拉索损伤的检测方法和***
CN117350146A (zh) 一种基于ga-bp神经网络的排水管网健康性评价方法
CN115907204A (zh) 麻雀搜索算法优化bp神经网络的林木蒸腾耗水预测方法
CN113108949B (zh) 一种基于模型融合的探空仪温度传感器误差预测方法
CN115296298A (zh) 一种风电场功率预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination