CN115983725B - 一种基于移动站监测数据的污染物空间分布趋势挖掘方法 - Google Patents

一种基于移动站监测数据的污染物空间分布趋势挖掘方法 Download PDF

Info

Publication number
CN115983725B
CN115983725B CN202310269429.XA CN202310269429A CN115983725B CN 115983725 B CN115983725 B CN 115983725B CN 202310269429 A CN202310269429 A CN 202310269429A CN 115983725 B CN115983725 B CN 115983725B
Authority
CN
China
Prior art keywords
data
grid
score
peak
mean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310269429.XA
Other languages
English (en)
Other versions
CN115983725A (zh
Inventor
韩科
牟华侨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Guolan Zhongtian Environmental Technology Group Co ltd
Original Assignee
Sichuan Guolan Zhongtian Environmental Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Guolan Zhongtian Environmental Technology Group Co ltd filed Critical Sichuan Guolan Zhongtian Environmental Technology Group Co ltd
Priority to CN202310269429.XA priority Critical patent/CN115983725B/zh
Publication of CN115983725A publication Critical patent/CN115983725A/zh
Application granted granted Critical
Publication of CN115983725B publication Critical patent/CN115983725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于移动站监测数据的污染物空间分布趋势挖掘方法，属于环境监测领域，通过获取移动监测站的环境污染检测数据并进行预处理；根据预处理后的数据进行单个移动监测站单小时数据挖掘，得到单个移动监测站在测量时间段内的打分和均值数据，重复该操作直至得到所有移动监测站的打分和均值数据并进行存储；对多个移动监测站多小时监测数据进行数据挖掘并合并，得到的每种污染物热力评分数据。本发明利用车载移动监测站测得数据，有效的挖掘出一段时间以来每种污染物在该地区主要影响的范围和污染的严重程度。确保下一步可以针对不同污染物和不同地区定制对应的环保管控策略，显著提高了执法查处的科学性和效能。

Description

一种基于移动站监测数据的污染物空间分布趋势挖掘方法
技术领域
本发明涉及环境保护技术领域，具体涉及一种基于移动站监测数据的污染物空间分布趋势挖掘方法。
背景技术
近年来，随着国家对于环境监测行业的政策倾斜和资金投入加大，各级环保部门采取了多种监测和治理的措施，并取得了较为显著的成效。多地采用基于传感器的小型化监测设备，以实现对目标区域空气污染状况的全天候细粒度监测。
随着大数据、云计算、人工智能、物联网等技术的高速发展，近年来多地在各种交通工具上安装了小型的大气污染移动监测装置，监测其行驶沿途的大气污染状况，保证了监测数据在时间和空间上的覆盖率。
本发明利用车载移动监测站测得数据，有效的挖掘出一段时间以来每种污染物在该地区主要影响的范围和污染的严重程度。确保下一步可以针对不同污染物和不同地区定制对应的环保管控策略，显著提高了执法查处的科学性和效能。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于移动站监测数据的污染物空间分布趋势挖掘方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于移动站监测数据的污染物空间分布趋势挖掘方法，包括如下步骤：
S1、获取移动监测站的环境污染检测数据并进行预处理；
S2、根据预处理后的环境污染检测数据进行单个移动监测站单小时数据挖掘，得到单个移动监测站在测量时间段内的打分和均值数据；
S3、重复S1和S2直至得到所有移动监测站的打分和均值数据并进行存储，对多个移动监测站多小时监测数据进行数据挖掘并合并，得到每种污染物热力评分数据。
进一步的，其特征在于，所述S1具体包括如下步骤：
S11、读取移动监测站的环境监测数据并进行格式转换；
S12、对所读取的环境监测数据进行异常数据剔除；
S13、根据剔除异常数据后的环境污染检测数据计算所测得的大气污染六参数据的IAQI值；
S14、根据环境污染检测数据的经纬度信息计算每个测量点所属的网格号。
进一步的，所述S12中异常数据包括监测异常值、清理空值以及不在地理经纬度范围内的数据。
进一步的，所述S2中单个移动监测站单小时数据挖掘的具体方式为：
S21、将单个移动监测站单小时数据按时间进行排序，获得每个移动监测站先后顺序经过的网格号；
S22、对每个网格内的测量数据取均值，其中，IAQI最大的污染物的值为该网格的AQI值；
S23、获取移动监测站每一种污染物在每个网格内的峰值、峰值显著性和峰值参数
S24、按照比例对每个峰值进行打分，并将打分结果和网格内测量数据的均值进行存储。
进一步的，所述S23中峰值参数的计算方式为：
Figure SMS_1
Figure SMS_2
其中，
Figure SMS_3
为峰值显著性，/>
Figure SMS_4
为显著性初始分，peak_mean_radio为每个峰值与***设定的构成无污染的参考值之间的比例，mean为求均值操作。
进一步的，所述S24中按照比例对每个峰值进行打分的具体方式为：
Figure SMS_5
其中，
Figure SMS_6
为每个峰值的得分，/>
Figure SMS_7
为显著性初始分，peak_mean_radio为每个峰值与***设定的构成无污染的参考值之间的比例，
Figure SMS_8
为峰值显著性。
进一步的，所述S3具体包括如下步骤：
S31、取出所存储的移动监测站的打分结果和网格内测量数据的均值并合并至数据框架中；
S32、按照小时和网格进行聚合，计算每个网格内的总分和打分率；
S33、根据每小时每个网格的总分、打分率和打分数量计算每小时的每个网格3*3范围内的全局平均分、打分率；
S34、根据S33的计算结果统计每个网格出现过的峰值次数并归一化，并计算每个网格在当前时段的总分；
S35、删除总分最高的前0.5%的网格数据，得到污染物在当前时间段内各个区域的污染评分热力数据。
进一步的，所述S32中
每个网格内的总分的计算方式为：
Figure SMS_9
其中，
Figure SMS_10
为网格总分，mean为求均值操作，score_count为有打分的峰值的数量；
每个网格内打分率的计算方式为：
Figure SMS_11
其中，
Figure SMS_12
为网格打分率，/>
Figure SMS_13
为一个网格在一小时存在的所有峰值数量。
进一步的，所述S33中全局平均分的计算方式为：
Figure SMS_14
其中，mean_score为该网格在此时间段内的全局平均分，
Figure SMS_15
为一个网格在一小时存在的所有峰值数量，/>
Figure SMS_16
为网格总分。
进一步的，所述S34中每个网格在当前时段的总分的计算方式为;
Figure SMS_17
其中，
Figure SMS_18
为每个网格在当前时段的总分，mean_score为该网格在此时间段内的全局平均分，/>
Figure SMS_19
为网格打分率，/>
Figure SMS_20
为归一化的每个网格出现过的峰值次数。
本发明具有以下有益效果：
本发明利用车载移动监测站测得数据，有效的挖掘出一段时间以来每种污染物在该地区主要影响的范围和污染的严重程度。确保下一步可以针对不同污染物和不同地区定制对应的环保管控策略，显著提高了执法查处的科学性和效能。
附图说明
图1为本发明一种基于移动站监测数据的污染物空间分布趋势挖掘方法流程示意图。
图2为本发明实施例单个移动监测站单小时数据挖掘流程示意图。
图3为本发明实施例多个移动监测站多小时监测数据进行数据挖掘流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
一种基于移动站监测数据的污染物空间分布趋势挖掘方法，如图1所示，包括如下步骤：
S1、获取移动监测站的环境污染检测数据并进行预处理；
本实施例里由Python3.7.3实现，使用了numpy、 pandas、 numba、sklearn等包。操作***为Windows10，硬件环境为i7-10700 8核CPU，16G内存。
在本实施例中，传入任务时间后读取该消失移动监测站的测量数据，将读取的测量数据转换为Pandas DataFrame格式后，进行以下数据预处理。
S2、根据预处理后的数据进行单个移动监测站单小时数据挖掘，得到单个移动监测站在测量时间段内的打分和均值数据；
在本实施例中，根据预处理后的数据计算移动站的速度和加速度，对单个移动监测站每小时测得数据的污染点位挖掘和评分。将一小时的监测数据网格化，求出每个移动站按时间顺序经过每个网格测量的每种污染物的平均值，对所有网格均值进行峰值查找，并得到每个峰值的显著性数据。具体方式如图2所示，包括如下步骤：
S21、将单个移动监测站单小时数据按时间进行排序，获得每个移动监测站先后顺序经过的网格号；
S22、对每个网格内的测量数据取均值，其中，IAQI最大的污染物的值为该网格的AQI值；
S23、获取移动监测站每一种污染物在每个网格内的峰值、峰值显著性和峰值参数，在本实施例里，峰值参数的计算方式为：
Figure SMS_21
Figure SMS_22
其中，
Figure SMS_23
为峰值显著性，/>
Figure SMS_24
为显著性初始分，peak_mean_radio为每个峰值与***设定的构成无污染的参考值之间的比例，mean为求均值操作。
S24、按照比例对每个峰值进行打分，并将打分结果和网格内测量数据的均值进行存储。
本实施例里按照如下的参数比例对峰值进行打分，参数均为显著性数据的一部分，
Figure SMS_25
其中，
Figure SMS_26
为每个峰值的得分，/>
Figure SMS_27
为显著性初始分，peak_mean_radio为每个峰值与***设定的构成无污染的参考值之间的比例，
Figure SMS_28
为峰值显著性。
S3、重复S1和S2直至得到所有移动监测站的打分和均值数据并进行存储，对多个移动监测站多小时监测数据进行数据挖掘并合并，得到的每种污染物热力评分数据。
多个移动监测站长时间监测数据的挖掘结果合并，生成每种污染物的污染评分热力数据。由于本发明基于一段时间的监测数据进行挖掘，所以需要对多个移动站多小时数据进行合并，为了兼容数据缺失的情况，需要对合并后的数据再次统计出每个网格的总得分和打分率，在最后删除极端异常打分后，得到的便是每个网格的每种污染物评分热力数据，具体流程如图3所示，包括如下步骤:
S31、取出所存储的移动监测站的打分结果和网格内测量数据的均值并合并至数据框架中；
S32、按照小时和网格进行聚合，计算每个网格内的总分和打分率。
在本实施例里，每个网格内的总分的计算方式为：
Figure SMS_29
其中，
Figure SMS_30
为网格总分，mean为求均值操作，score_count为有打分的峰值的数量；
通过每小时每个网格的峰值数量与数据总量相除，得到该小时该网格的打分率，计算公式为：
Figure SMS_31
其中，
Figure SMS_32
为网格打分率，/>
Figure SMS_33
为一个网格在一小时存在的所有峰值数量。
S33、根据每小时每个网格的总分、打分率和打分数量计算每小时的每个网格3*3范围内的全局平均分、打分率和有效平均分；
在本实施例里，通过网格的总分除以网格的数据总量，得到网格的全局平均分，由于全局平均分中包含了一些不存在峰值的数据，所以全局平均分与前文的平均分数值不同，全局平均分的计算公式为：
Figure SMS_34
其中，mean_score为该网格在此时间段内的全局平均分。
S34、根据S33的计算结果统计每个网格出现过的峰值次数并归一化，并计算每个网格在当前时段的总分；
本实施例里，在求得每个网格附近3*3网格范围内的平均分mean_score和打分率score_count_freq后，统计每个网格有数据的小时数量hour_count并将该数据归一化，根据附近3*3网格范围的平均分和打分率计算这个网格的总分grid_score，计算公式为：
Figure SMS_35
其中，
Figure SMS_36
为每个网格在当前时段的总分，
Figure SMS_37
为归一化的每个网格出现过的峰值次数。
S35、删除总分最高的前0.5%的网格数据，得到污染物在当前时间段内各个区域的污染评分热力数据。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于移动站监测数据的污染物空间分布趋势挖掘方法，其特征在于，包括如下步骤：
S1、获取移动监测站的环境污染检测数据并进行预处理；
S2、根据预处理后的环境污染检测数据进行单个移动监测站单小时数据挖掘，得到单个移动监测站在测量时间段内的打分和均值数据；
S3、重复S1和S2直至得到所有移动监测站的打分和均值数据并进行存储；对多个移动监测站多小时监测数据进行数据挖掘并合并，得到每种污染物热力评分数据,具体包括如下步骤：
S31、取出所存储的移动监测站的打分结果和网格内测量数据的均值并合并至数据框架中；
S32、按照小时和网格进行聚合，计算每个网格内的总分和打分率,每个网格内的总分的计算方式为：
Figure FDA0004231007320000011
其中，score_sum为网格总分，mean为求均值操作，score_count为有打分的峰值的数量；
每个网格内打分率的计算方式为：
Figure FDA0004231007320000012
其中，score_count_freq为网格打分率，all_count为一个网格在一小时存在的所有峰值数量；
S33、根据每小时每个网格的总分、打分率和打分数量计算每小时的每个网格3*3范围内的全局平均分、打分率,全局平均分的计算方式为：
Figure FDA0004231007320000021
其中，mean_score为该网格在此时间段内的全局平均分，all_count为一个网格在一小时存在的所有峰值数量，score_sum为网格总分；
S34、根据S33的计算结果统计每个网格出现过的峰值次数并归一化，并计算每个网格在当前时段的总分,每个网格在当前时段的总分的计算方式为；grid_score
其中，grid_score为每个网格在当前时段的总分，mean_score为该网格在此时间段内的全局平均分，score_count_freq为网格打分率，Normalization_hour_count为归一化的每个网格出现过的峰值次数；
S35、删除总分最高的前0.5％的网格数据，得到污染物在当前时间段内各个区域的污染评分热力数据。
2.根据权利要求1所述的基于移动站监测数据的污染物空间分布趋势挖掘方法，其特征在于，所述S1具体包括如下步骤：
S11、读取移动监测站的环境监测数据并进行格式转换；
S12、对所读取的环境监测数据进行异常数据剔除；
S13、根据剔除异常数据后的环境污染检测数据计算所测得的大气污染六参数据的IAQI值；
S14、根据环境污染检测数据的经纬度信息计算每个测量点所属的网格号。
3.根据权利要求2所述的基于移动站监测数据的污染物空间分布趋势挖掘方法，其特征在于，所述S12中异常数据包括监测异常值、清理空值以及不在地理经纬度范围内的数据。
4.根据权利要求1所述的基于移动站监测数据的污染物空间分布趋势挖掘方法，其特征在于，所述S2中单个移动监测站单小时数据挖掘的具体方式为：
S21、将单个移动监测站单小时数据按时间进行排序，获得每个移动监测站先后顺序经过的网格号；
S22、对每个网格内的测量数据取均值，其中，IAQI最大的污染物的值为该网格的AQI值；
S23、获取移动监测站每一种污染物在每个网格内的峰值、峰值显著性和峰值参数
S24、按照比例对每个峰值进行打分，并将打分结果和网格内测量数据的均值进行存储。
5.根据权利要求4所述的基于移动站监测数据的污染物空间分布趋势挖掘方法，其特征在于，所述S23中峰值参数的计算方式为：
peak_mean_radio＝峰值÷mean(峰值)
prominences_mean_radio＝prominences÷mean(prominences)
其中，prominences为峰值显著性，prominences_mean_radio为显著性初始分，peak_mean_radio为每个峰值与***设定的构成无污染的参考值之间的比例，mean为求均值操作。
6.根据权利要求4所述的基于移动站监测数据的污染物空间分布趋势挖掘方法，其特征在于，所述S24中按照比例对每个峰值进行打分的具体方式为：
score＝prominences_mean_radio+0.7*peak_mean_radio+0.7
*promonences
其中，score为每个峰值的得分，prominences_mean_radio为显著性初始分，peak_mean_radio为每个峰值与***设定的构成无污染的参考值之间的比例，prominences为峰值显著性。
CN202310269429.XA 2023-03-20 2023-03-20 一种基于移动站监测数据的污染物空间分布趋势挖掘方法 Active CN115983725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310269429.XA CN115983725B (zh) 2023-03-20 2023-03-20 一种基于移动站监测数据的污染物空间分布趋势挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310269429.XA CN115983725B (zh) 2023-03-20 2023-03-20 一种基于移动站监测数据的污染物空间分布趋势挖掘方法

Publications (2)

Publication Number Publication Date
CN115983725A CN115983725A (zh) 2023-04-18
CN115983725B true CN115983725B (zh) 2023-06-16

Family

ID=85965164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310269429.XA Active CN115983725B (zh) 2023-03-20 2023-03-20 一种基于移动站监测数据的污染物空间分布趋势挖掘方法

Country Status (1)

Country Link
CN (1) CN115983725B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117709208B (zh) * 2024-02-05 2024-04-16 四川国蓝中天环境科技集团有限公司 一种人为排放污染物的大气环境容量计算方法
CN117829614B (zh) * 2024-03-06 2024-05-07 四川国蓝中天环境科技集团有限公司 一种基于多源数据融合的工业企业排污风险分级计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118129A (zh) * 2018-11-02 2019-01-01 孙扬 一种大气污染物精准溯源识别***及方法
CN110389982A (zh) * 2019-07-25 2019-10-29 东北师范大学 一种基于空气质量数据的时空模式可视分析***及方法
CN112418737A (zh) * 2020-12-16 2021-02-26 南京大学 一种区域水环境管理平台
CN113269421A (zh) * 2021-05-14 2021-08-17 深圳市懿水淘科技有限公司 一种基于自动监测站数据与遗传算法的大气污染溯源计算方法
CN114359002A (zh) * 2022-03-21 2022-04-15 四川国蓝中天环境科技集团有限公司 基于移动监测趋势挖掘的大气污染小尺度溯源方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766549A (zh) * 2021-01-07 2021-05-07 清华大学 一种空气污染物浓度预报方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118129A (zh) * 2018-11-02 2019-01-01 孙扬 一种大气污染物精准溯源识别***及方法
CN110389982A (zh) * 2019-07-25 2019-10-29 东北师范大学 一种基于空气质量数据的时空模式可视分析***及方法
CN112418737A (zh) * 2020-12-16 2021-02-26 南京大学 一种区域水环境管理平台
CN113269421A (zh) * 2021-05-14 2021-08-17 深圳市懿水淘科技有限公司 一种基于自动监测站数据与遗传算法的大气污染溯源计算方法
CN114359002A (zh) * 2022-03-21 2022-04-15 四川国蓝中天环境科技集团有限公司 基于移动监测趋势挖掘的大气污染小尺度溯源方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Research on Spatial Distribution Characteristics of High Haze Pollution Industries Such as Thermal Power Industry in the Beijing-Tianjin-Hebei Region;Jingkun Zhou 等;《Energies》;第15卷(第18期);第1-23页 *
基于移动观测的城市街道峡谷大气污染物时空分布特征;崔爱伟 等;《生态学杂志》;第41卷(第10期);第2035-2042页 *
复杂河流水系水质评价及污染物时空分布特征研究;柳超;《中国博士学位论文全文数据库 工程科技Ⅰ辑》(第5期);第B027-98页 *

Also Published As

Publication number Publication date
CN115983725A (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN115983725B (zh) 一种基于移动站监测数据的污染物空间分布趋势挖掘方法
CN103631681B (zh) 一种在线修复风电场异常数据的方法
CN103208187B (zh) 一种检测车辆超速的方法
CN108318630B (zh) 一种城市空气质量实时监测***和预警方法
CN106546280A (zh) 移动式交通环境空气质量监测***
CN110430578B (zh) 基于移动终端数据实现小区方位角预测的方法
CN106780540B (zh) 面向光伏发电的地基云图云层跟踪及预警方法
CN110726850A (zh) 基于风向分解的铁路横风预警***及横风强度计算方法
CN103559774A (zh) 基于物联网的地震报警***
CN111060654A (zh) 一种基于数字孪生的无人机大气污染实时监测预警平台
CN108828332B (zh) 一种计算雷电定位***探测效率的方法
CN112730737A (zh) 一种基于非道路移动机械远程监控数据的排放计算方法
CN112637802A (zh) 基于无线网络的电力灾害监测节点巡检器
CN115655730A (zh) 重型柴油车PEMS测试中NOx排放的计算方法
CN103093044A (zh) 输电线路覆冰舞动分布图测绘方法
CN110969798A (zh) 一种输电线路山火预警方法及***
CN113077094B (zh) 一种基于lstm-gcn的臭氧预测方法
CN107609280B (zh) 一种时间区间的确定方法以及终端
CN111681429B (zh) 基于gps数据的恶劣天气下脆弱路段识别方法及***
CN215066967U (zh) 一种闪电定位装置
CN114662320A (zh) 基于卫星观测下的碳排放检测***
CN102455428B (zh) 一种传输管线***中点设施的定位方法与装置
CN109471910B (zh) 一种基于移动传感器的电网gis精细预警***
Chen et al. Online anomalous taxi trajectory detection based on multidimensional criteria
CN117591907B (zh) 基于密集型空气质量微站监测的污染发生及传播感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant