CN117871790B - 基于多种数据融合的路边监测站数据分析和交通溯源方法 - Google Patents
基于多种数据融合的路边监测站数据分析和交通溯源方法 Download PDFInfo
- Publication number
- CN117871790B CN117871790B CN202410272448.2A CN202410272448A CN117871790B CN 117871790 B CN117871790 B CN 117871790B CN 202410272448 A CN202410272448 A CN 202410272448A CN 117871790 B CN117871790 B CN 117871790B
- Authority
- CN
- China
- Prior art keywords
- data
- traffic
- feature
- pollutant concentration
- air pollutant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000007405 data analysis Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 239000000809 air pollutant Substances 0.000 claims abstract description 110
- 231100001243 air pollutant Toxicity 0.000 claims abstract description 110
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 230000008859 change Effects 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 239000002893 slag Substances 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 claims description 6
- 239000013618 particulate matter Substances 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000001556 precipitation Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- MGWGWNFMUOTEHG-UHFFFAOYSA-N 4-(3,5-dimethylphenyl)-1,3-thiazol-2-amine Chemical compound CC1=CC(C)=CC(C=2N=C(N)SC=2)=C1 MGWGWNFMUOTEHG-UHFFFAOYSA-N 0.000 claims description 3
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims description 3
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 claims description 3
- 238000003915 air pollution Methods 0.000 claims description 3
- 239000003738 black carbon Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 229910002091 carbon monoxide Inorganic materials 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- JCXJVPUVTGWSNB-UHFFFAOYSA-N nitrogen dioxide Inorganic materials O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 239000000356 contaminant Substances 0.000 description 18
- 239000003344 environmental pollutant Substances 0.000 description 12
- 231100000719 pollutant Toxicity 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000007637 random forest analysis Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000009021 linear effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000005085 air analysis Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/0037—NOx
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/004—CO or CO2
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/0042—SO2 or SO3
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
- G01N33/0063—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display using a threshold to release an alarm or displaying means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
- G01N33/0067—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display by measuring the rate of variation of the concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Combustion & Propulsion (AREA)
- Environmental & Geological Engineering (AREA)
- Dispersion Chemistry (AREA)
- Environmental Sciences (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多种数据融合的路边监测站数据分析和交通溯源方法,涉及空气质量分析技术领域。该方法包括获取路边监测站监测的空气污染物浓度,以及路边监测站所在区域的交通数据和气象数据;对空气污染物浓度、交通数据和气象数据进行空间细粒度和时间细粒度处理;建立道路交通空气污染物浓度变化分析模型,对处理后的空气污染物浓度、交通数据和气象数据进行分析,确定交通数据和气象数据与空气污染物浓度的映射关系;根据交通数据和气象数据与空气污染物浓度的映射关系,确定交通数据和气象数据对空气污染物浓度的影响关系。本发明可以提高移动源污染监测分析和溯源的可解释性和准确性。
Description
技术领域
本发明涉及空气质量分析技术领域,具体涉及一种基于多种数据融合的路边监测站数据分析和交通溯源方法。
背景技术
目前围绕道路交通空气质量监测站浓度变化特点的分析大都以监测数据的相关性分析和特征重要性分析为核心。然而相关性分析只适用于线性变量,不能满足大气这种复杂***,因为在大气***中单一特征(如湿度)对污染物浓度的影响往往是非线性的,并且受其他特征的影响。特征重要性可以比较各特征对污染物浓度的影响大小,但是现有的特征重要性方法如树模型特征重要性,只提供一个重要性的数值,无法揭示特征是如何对污染物浓度产生影响的,缺乏可解释性,难以为移动源精准管控提供指导。
发明内容
针对现有技术中的上述不足,本发明提供了一种基于多种数据融合的路边监测站数据分析和交通溯源方法。
为了达到上述发明目的,本发明采用的技术方案为:
一种基于多种数据融合的路边监测站数据分析和交通溯源方法,包括以下步骤:
获取路边监测站监测的空气污染物浓度,以及路边监测站所在区域的交通数据和气象数据;
对空气污染物浓度、交通数据和气象数据进行空间细粒度和时间细粒度处理;
建立道路交通空气污染物浓度变化分析模型,对处理后的空气污染物浓度、交通数据和气象数据进行分析,确定交通数据和气象数据与空气污染物浓度的映射关系;
根据交通数据和气象数据与空气污染物浓度的映射关系,确定交通数据和气象数据对空气污染物浓度的影响关系。
可选地,所述空气污染物浓度具体包括:
空气污染指数、细颗粒物、可吸入颗粒物、黑碳、一氧化碳、二氧化硫、臭氧以及二氧化氮每小时的浓度。
可选地,所述交通数据具体包括:
交通拥堵数据、交通流量数据和运渣车数量数据。
可选地,所述气象数据具体包括:
气温、降水、风速风向、湿度、大气压、太阳辐射和水汽压。
可选地,对交通数据和气象数据进行空间细粒度处理具体包括以下步骤:
设定路边监测站的栅格化监测网格;
获取路边监测站在栅格化监测网格内的气象数据;
根据道路的经纬度信息和栅格化监测网格的经纬度信息匹配位于栅格化监测网格内的道路,根据匹配道路的交通拥堵指数确定栅格化监测网格内的交通拥堵数据;
根据道路卡口设备的经纬度信息和栅格化监测网格的经纬度信息匹配位于栅格化监测网格内的道路卡口设备,根据匹配道路卡口设备采集的交通流量确定栅格化监测网格内的交通流量数据;
根据运渣车的轨迹数据和栅格化监测网格的经纬度信息筛选位于栅格化监测网格内的运渣车轨迹,根据运渣车轨迹的控制行驶距离确定栅格化监测网格内的运渣车数量数据。
可选地,对空气污染物浓度、交通数据和气象数据进行时间细粒度处理具体包括以下步骤:
按照不同数据采集时长设置数据时间细粒度,分别获取不同数据时间细粒度下的空气污染物浓度、交通数据和气象数据。
可选地,建立道路交通空气污染物浓度变化分析模型具体包括以下步骤:
采用机器学习方法对每种空气污染物建立一个对应的道路交通空气污染物浓度变化分析模型;
以同一空间细粒度和时间细粒度下的交通数据和气象数据作为模型输入,以同一空间细粒度和时间细粒度下的空气污染物浓度作为模型输出,对构建的各个道路交通空气污染物浓度变化分析模型进行训练。
可选地,所述根据交通数据和气象数据与空气污染物浓度的映射关系,确定交通数据和气象数据对空气污染物浓度的影响关系,具体包括以下步骤:
将同一空间细粒度和时间细粒度下的交通数据和气象数据中各个交通特征数据和气象特征数据进行任意组合,建立特征联盟;
按照各个特征数据加入特征联盟的顺序,计算新加入特征联盟的特征数据对特征联盟的边际贡献度;
根据各个特征数据对所有特征联盟的边际贡献度将空气污染物浓度分配给各个特征数据,确定各个特征数据对空气污染物浓度的贡献度;
根据各个特征数据对空气污染物浓度的贡献度,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行局部解释和全局解释。
可选地,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行局部解释具体包括:
根据单样本各个特征数据对空气污染物浓度的贡献度,生成单样本特征贡献图。
可选地,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行全局解释具体包括:
根据所有样本的单样本特征贡献图生成全局特征贡献图,确定交通数据中各个交通特征数据以及气象数据中各个气象特征数据的重要性排序关系以及对空气污染物浓度的正负影响关系;
根据各个特征数据对空气污染物浓度的贡献度,生成各个特征的特征贡献依赖图;
根据特征贡献依赖图确定交通数据和气象数据中各个交通特征数据以及气象特征数据对空气污染物浓度的相互影响关系。
本发明具有以下有益效果:
本发明聚焦于小尺度上的道路交通空气分析,对原始数据进行相应的空间细粒度和时间细粒度处理,避免了因为空间范围过大和多种数据之间时间偏移带来的误差;另外相较于传统的相关性分析和特征重要性分析,本发明引入SHAP值理论对模型进解释,通过特征贡献度将污染物浓度分配给各个特征,使得决策者可以直观看到各个特征对污染物浓度的贡献,基于此分析特征对污染物浓度的线性和非线性影响,并且还可以通过特征依赖图分析各个特征之间相互影响,使得可以抓取到一些更深层次的相互影响关系,从而提高移动源污染监测分析和溯源的可解释性和准确性,为移动源精准管控提供参考。
附图说明
图1为本发明中基于多种数据融合的路边监测站数据分析和交通溯源方法的流程示意图;
图2为本发明中道路交通空气污染物浓度变化分析模型的结构示意图;
图3为本发明中全局特征贡献图的示意图;
图4为本发明中特征贡献依赖图的示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,本发明实施例提供了一种基于多种数据融合的路边监测站数据分析和交通溯源方法,包括以下步骤S1至S4:
S1、获取路边监测站监测的空气污染物浓度,以及路边监测站所在区域的交通数据和气象数据;
在本发明的一个可选实施例中,本实施例通过步骤S1获取待分析的原始数据,包括路边监测站的监测数据,以及路边监测站所在区域的交通数据和气象数据。
本实施例中获取的路边监测站的监测数据具体是道路交通空气质量监测站记录的每小时各污染物的浓度。在一个优选地实施例中,空气污染物浓度具体包括:空气污染指数、细颗粒物、可吸入颗粒物、黑碳、一氧化碳、二氧化硫、臭氧以及二氧化氮每小时的浓度。
本实施例中获取的路边监测站所在区域的交通数据具体包括:交通拥堵数据、交通流量数据和运渣车数量数据。
本实施例中获取的路边监测站所在区域的气象数据具体包括:气温、降水、风速风向、湿度、大气压、太阳辐射和水汽压。
本实施例通过采集上述多类交通数据和气象数据,充分考虑了交通数据与气象数据对空气污染物浓度的相互影响作用,能够提高空气污染物浓度数据分析和溯源的全面性和准确性。
S2、对空气污染物浓度、交通数据和气象数据进行空间细粒度和时间细粒度处理;
在本发明的一个可选实施例中,本实施例通过步骤S2对交通数据和气象数据进行空间细粒度处理,具体包括以下步骤:
设定路边监测站的栅格化监测网格;
获取路边监测站在栅格化监测网格内的气象数据;
根据道路的经纬度信息和栅格化监测网格的经纬度信息匹配位于栅格化监测网格内的道路,根据匹配道路的交通拥堵指数确定栅格化监测网格内的交通拥堵数据;
根据道路卡口设备的经纬度信息和栅格化监测网格的经纬度信息匹配位于栅格化监测网格内的道路卡口设备,根据匹配道路卡口设备采集的交通流量确定栅格化监测网格内的交通流量数据;
根据运渣车的轨迹数据和栅格化监测网格的经纬度信息筛选位于栅格化监测网格内的运渣车轨迹,根据运渣车轨迹的控制行驶距离确定栅格化监测网格内的运渣车数量数据。
本实施例通过步骤S2对空气污染物浓度、交通数据和气象数据进行时间细粒度处理具体包括以下步骤:
按照不同数据采集时长设置数据时间细粒度,分别获取不同数据时间细粒度下的空气污染物浓度、交通数据和气象数据。
具体而言,本实施例对步骤S1获取的分析数据进行空间细粒度和时间细粒度处理。
本实施例针对道路交通空气污染物,所分析的范围是道路交通空气质量监测站所在的1km*1km的栅格化网格,需对步骤S1获取的分析数据的空间细粒度进行处理。
本实施例利用栅格化网格对气象数据进行空间处理的方法为:
对气象数据进行栅格化处理,获取路边监测站所在1km*1km网格的气象数据。
本实施例利用栅格化网格对交通数据进行空间处理的方法为:
对交通拥堵数据进行空间处理,包括根据道路的经纬度信息和网格的经纬度信息,通过geopandas软件匹配位于网格内的道路,对道路的交通拥堵指数进行平均得到网格的交通拥堵数据。
对交通流量数据进行空间处理,包括根据道路卡口设备的经纬度信息和网格的经纬度信息,通过geopandas软件选择网格内的卡口设备,根据匹配道路卡口设备采集的交通流量并对位于网格内卡口拍到的车辆按照车牌号去重得到网格的交通流量数据。
对运渣车数量数据进行空间处理,包括对运渣车的GPS轨迹数据进行筛选,选择位于网格内的运渣车轨迹,对于网格内每辆运渣车,对其GPS轨迹点按照空间行驶最大距离进行判断是否为活跃运渣车,统计网格内的活跃运渣车数量得到网格的运渣车数量数据。
在本实施例中,步骤S1获取的分析数据来自多种数据监测设备,由于网路延迟等原因,难免导致多种数据之间存在数据偏移的问题。另外,各特征对污染物浓度的影响存在明显的滞后现象。对此,本实施例通过调整时间细粒度的方式,来降低由于数据偏移造成的误差。本实施例设置数据时间细粒度为2h,3h,4h,6h,12h,24h。各个细粒度的数据等于其所包含的小时数据的平均。
S3、建立道路交通空气污染物浓度变化分析模型,对处理后的空气污染物浓度、交通数据和气象数据进行分析,确定交通数据和气象数据与空气污染物浓度的映射关系;
在本发明的一个可选实施例中,本实施例通过步骤S3建立道路交通空气污染物浓度变化分析模型具体包括以下步骤:
采用机器学习方法对每种空气污染物建立一个对应的道路交通空气污染物浓度变化分析模型;
以同一空间细粒度和时间细粒度下的交通数据和气象数据作为模型输入,以同一空间细粒度和时间细粒度下的空气污染物浓度作为模型输出,对构建的各个道路交通空气污染物浓度变化分析模型进行训练。
具体而言,本实施例建立的道路交通空气污染物浓度变化分析模型如图2所示;本实施例针对每个路边监测站的每种空气污染物分别建立一个道路交通空气污染物浓度变化分析模型,可以具体采用随机森林模型。
本实施例采用的建立道路交通空气污染物浓度变化分析模型的技术路线为:如果一段时间内气象特征好(或差),交通特征差(或好),那么该时间段内的污染物浓度会更高(或低)。这样就可以通过随机森林模型,实现从输入(气象特征,交通特征)到输出(污染物浓度)的回归映射。
S4、根据交通数据和气象数据与空气污染物浓度的映射关系,确定交通数据和气象数据对空气污染物浓度的贡献度。
在本发明的一个可选实施例中,通过步骤S3中的道路交通空气污染物浓度变化分析模型,可以确定在特定气象特征和交通特征的情况下,各污染物的浓度。然而这依旧是一个黑盒模型,其无法确定从输入到输出映射的细节,缺乏可解释性。因此本实施例采用SHAP值理论对训练得到的随机森林模型进行解释。
本实施例通过步骤S4根据交通数据和气象数据与空气污染物浓度的映射关系,确定交通数据和气象数据对空气污染物浓度的影响关系,具体包括以下步骤:
将同一空间细粒度和时间细粒度下的交通数据和气象数据中各个交通特征数据和气象特征数据进行任意组合,建立特征联盟;
按照各个特征数据加入特征联盟的顺序,计算新加入特征联盟的特征数据对特征联盟的边际贡献度;
根据各个特征数据对所有特征联盟的边际贡献度将空气污染物浓度分配给各个特征数据,确定各个特征数据对空气污染物浓度的贡献度;
根据各个特征数据对空气污染物浓度的贡献度,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行局部解释和全局解释。
其中,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行局部解释具体包括:
根据单样本各个特征数据对空气污染物浓度的贡献度,生成单样本特征贡献图。
其中,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行全局解释具体包括:
根据所有样本的单样本特征贡献图生成全局特征贡献图,确定交通数据中各个交通特征数据以及气象数据中各个气象特征数据的重要性排序关系以及对空气污染物浓度的正负影响关系;
根据各个特征数据对空气污染物浓度的贡献度,生成各个特征的特征贡献依赖图;
根据特征贡献依赖图确定交通数据和气象数据中各个交通特征数据以及气象特征数据对空气污染物浓度的相互影响关系。
具体而言,本实施例采用的SHAP值方法是一种根据玩家对总支出的贡献度来为玩家分配支出的方法,玩家在联盟中合作并从这种合作中获得一定的收益。对于每个样本实例,其中“总支出”就是随机森林模型对该实例的预测值,“玩家”是实例各个特征的取值,“收益”是该实例的实际预测减去所有实例的平均预测。在本实施例的模型中,“总支出”即为模型预测的污染物浓度,“玩家”就是实例气象特征和交通特征的值,“收益”是该实例的预测的污染物浓度的预测值减去所有实例预测的污染物浓度的平均值。
本实施例的特征贡献度根据每个特征对污染物浓度的边际贡献度来将收益分配给各个特征。这里将任意数量特征的组合称为特征联盟。假设考虑各个特征加入特征联盟的顺序,新加入的特征对特征联盟收益的贡献度就是边际贡献度。
本实施例中特征i对空气污染物浓度的贡献度的计算方法为:
其中,表示特征i对空气污染物浓度的贡献度,N!表示所有特征组合的排列,N表示特征数量,S表示所有特征组合中的一种特征组合,/>表示特征组合S的排列,/>表示不在特征组合S中除特征i之外的其他特征组合的排列,表示特征i加入特征组合S的边际贡献度,/>表示除特征i之外的其他特征。
本实施例通过上述计算方法可以得到单样本中交通数据和气象数据中每个特征对空气污染物浓度的贡献度,从而生成单样本特征贡献图;单样本特征贡献图是对于单个实例的局部解释,可以体现各个特征对实例预测值的影响关系。
在本实施例中,特征贡献度可以对单个样本进行局部解释,也可以将所有样本一起进行全局解释。本实施例根据所有样本的交通数据和气象数据中所有特征对空气污染物浓度的贡献度,生成全局特征贡献图,如图3所示,其中纵轴表示各个特征,横轴表示特征贡献度。根据图3可以清楚的看到,对于风速特征,特征值小的时候,特征贡献度为正值,特征值大的时候,特征贡献度为负值,这表明风速于污染物浓度呈负向相关性。对于一些相关性不明显的变量,如湿度,可能是由于其对污染物浓度的影响是非线性的,可以根据特征依赖图进一步分析它对污染物浓度的影响。
图4展示了湿度对PM2.5污染物的SHAP特征依赖图,其中横轴的湿度为百分比值,纵轴的降水单位为毫米;根据图4可以清楚的看到湿度对污染物浓度的影响是非线性的。当湿度值小于75时,随着湿度增大会对污染物浓度产生正的影响,即增大污染物浓度,而当湿度值超过75后,随着湿度增大会对污染物浓度产生负的影响,即使得污染物浓度降低。这和传统气象理论是一致的,在湿度大的情况下,会导致PM2.5浓度的增长。而在高湿的情况下,空气中水汽含量增多,会使得PM2.5吸附在水滴上,使得水滴增重下落。另外,在高湿的情况下大概率会有降雨,雨水对PM2.5有冲刷作用,从图4中可以看出,当有降雨时,湿度的SHAP值会比较低。
基于以上关于特征贡献度的原理和解释,本实施例对于随机森林模型的分析和溯源的方法包括:
A.输出随机森林模型的全局特征贡献图,分析各个特征的特征贡献度进行重要性排序,对于特征重要性排名靠前的气象特征和交通特征,分析各个特征对污染物浓度的影响是线性关系还是非线性关系。
B.对于A中对污染物浓度影响为非线性的特征,输出该特征的特征贡献依赖图进一步分析特征如何对污染物浓度产生影响。
C.结合特征贡献依赖图,分析交通特征在不同气象特征取值下对污染物浓度的影响效果。
D.根据现有气象理论知识,分析从A,B中得到的分析结果是否有现有的理论知识相符合。
E.对于不符合现有气象理论的特征,从站点地理位置,周围情况分析出现偏差的原因。对于目前还未形成定论的特征对污染物浓度的影响,分析结论接近哪种气象理论。
F.结合以上的分析,形成针对站点的最终分析和溯源结论。
本发明提供了上述一种基于多类交通数据融合的路边监测站数据分析和溯源方法,该方法基于多类交通数据和气象数据,使用随机森林模型搭建道路交通空气污染物浓度变化分析模型,开展道路交通空质量监测数据、道路交通流量关联分析研究,并在此基础上引入SHAP值理论对模型进行解释。通过全局特征贡献图,在输出各特征重要性排序的同时,还显示了预测变量与目标变量的正负关系。通过特征贡献依赖图,展示目标和变量之间的关系是线性的、单调的还是更复杂的。除此之外,特征贡献度还能够通过特征贡献依赖图展示各特征之间的互相影响,揭示不同特征之间复杂的共同作用关系。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (9)
1.一种基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,包括以下步骤:
获取路边监测站监测的空气污染物浓度,以及路边监测站所在区域的交通数据和气象数据;
对空气污染物浓度、交通数据和气象数据进行空间细粒度和时间细粒度处理;
建立道路交通空气污染物浓度变化分析模型,对处理后的空气污染物浓度、交通数据和气象数据进行分析,确定交通数据和气象数据与空气污染物浓度的映射关系;
根据交通数据和气象数据与空气污染物浓度的映射关系,确定交通数据和气象数据对空气污染物浓度的影响关系,具体包括以下步骤:
将同一空间细粒度和时间细粒度下的交通数据和气象数据中各个交通特征数据和气象特征数据进行任意组合,建立特征联盟;
按照各个特征数据加入特征联盟的顺序,计算新加入特征联盟的特征数据对特征联盟的边际贡献度;
根据各个特征数据对所有特征联盟的边际贡献度将空气污染物浓度分配给各个特征数据,确定各个特征数据对空气污染物浓度的贡献度;其中特征i对空气污染物浓度的贡献度的计算方法为:
其中,表示特征i对空气污染物浓度的贡献度,N!表示所有特征组合的排列,N表示特征数量,S表示所有特征组合中的一种特征组合,/>表示特征组合S的排列,表示不在特征组合S中除特征i之外的其他特征组合的排列,表示特征i加入特征组合S的边际贡献度,/>表示除特征i之外的其他特征;
根据各个特征数据对空气污染物浓度的贡献度,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行局部解释和全局解释。
2.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,所述空气污染物浓度具体包括:
空气污染指数、细颗粒物、可吸入颗粒物、黑碳、一氧化碳、二氧化硫、臭氧以及二氧化氮每小时的浓度。
3.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,所述交通数据具体包括:
交通拥堵数据、交通流量数据和运渣车数量数据。
4.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,所述气象数据具体包括:
气温、降水、风速风向、湿度、大气压、太阳辐射和水汽压。
5.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,对交通数据和气象数据进行空间细粒度处理具体包括以下步骤:
设定路边监测站的栅格化监测网格;
获取路边监测站在栅格化监测网格内的气象数据;
根据道路的经纬度信息和栅格化监测网格的经纬度信息匹配位于栅格化监测网格内的道路,根据匹配道路的交通拥堵指数确定栅格化监测网格内的交通拥堵数据;
根据道路卡口设备的经纬度信息和栅格化监测网格的经纬度信息匹配位于栅格化监测网格内的道路卡口设备,根据匹配道路卡口设备采集的交通流量确定栅格化监测网格内的交通流量数据;
根据运渣车的轨迹数据和栅格化监测网格的经纬度信息筛选位于栅格化监测网格内的运渣车轨迹,根据运渣车轨迹的控制行驶距离确定栅格化监测网格内的运渣车数量数据。
6.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,对空气污染物浓度、交通数据和气象数据进行时间细粒度处理具体包括以下步骤:
按照不同数据采集时长设置数据时间细粒度,分别获取不同数据时间细粒度下的空气污染物浓度、交通数据和气象数据。
7.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,建立道路交通空气污染物浓度变化分析模型具体包括以下步骤:
采用机器学习方法对每种空气污染物建立一个对应的道路交通空气污染物浓度变化分析模型;
以同一空间细粒度和时间细粒度下的交通数据和气象数据作为模型输入,以同一空间细粒度和时间细粒度下的空气污染物浓度作为模型输出,对构建的各个道路交通空气污染物浓度变化分析模型进行训练。
8.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行局部解释具体包括:
根据单样本各个特征数据对空气污染物浓度的贡献度,生成单样本特征贡献图。
9.根据权利要求1所述的基于多种数据融合的路边监测站数据分析和交通溯源方法,其特征在于,对道路交通空气污染物浓度变化分析模型确定的交通数据和气象数据与空气污染物浓度的映射关系进行全局解释具体包括:
根据所有样本的单样本特征贡献图生成全局特征贡献图,确定交通数据中各个交通特征数据以及气象数据中各个气象特征数据的重要性排序关系以及对空气污染物浓度的正负影响关系;
根据各个特征数据对空气污染物浓度的贡献度,生成各个特征的特征贡献依赖图;
根据特征贡献依赖图确定交通数据和气象数据中各个交通特征数据以及气象特征数据对空气污染物浓度的相互影响关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410272448.2A CN117871790B (zh) | 2024-03-11 | 2024-03-11 | 基于多种数据融合的路边监测站数据分析和交通溯源方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410272448.2A CN117871790B (zh) | 2024-03-11 | 2024-03-11 | 基于多种数据融合的路边监测站数据分析和交通溯源方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117871790A CN117871790A (zh) | 2024-04-12 |
CN117871790B true CN117871790B (zh) | 2024-05-17 |
Family
ID=90579452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410272448.2A Active CN117871790B (zh) | 2024-03-11 | 2024-03-11 | 基于多种数据融合的路边监测站数据分析和交通溯源方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117871790B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118072872B (zh) * | 2024-04-17 | 2024-06-25 | 四川国蓝中天环境科技集团有限公司 | 一种基于多特征融合的空气质量监测站点中观溯源方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010016476A (ko) * | 2000-12-13 | 2001-03-05 | 구윤서 | 인터넷을 이용한 실시간 대기배출시설 종합관리 시스템 |
CN110766257A (zh) * | 2018-07-28 | 2020-02-07 | 华中科技大学 | 一种评估人群空气污染物短期暴露浓度的方法 |
WO2021056160A1 (zh) * | 2019-09-23 | 2021-04-01 | 广州禾信仪器股份有限公司 | 一种VOCs污染的溯源方法 |
KR20210086326A (ko) * | 2019-12-31 | 2021-07-08 | 한국환경정책평가연구원 | 지역별 미세먼지 농도 예측방법 및 시스템 |
CN114511087A (zh) * | 2022-04-19 | 2022-05-17 | 四川国蓝中天环境科技集团有限公司 | 一种基于双模型的空气质量空间推断方法及*** |
CN114819704A (zh) * | 2022-05-16 | 2022-07-29 | 山东天星北斗信息科技有限公司 | 一种移动源污染物排放溯源方法及*** |
CN115481694A (zh) * | 2022-09-26 | 2022-12-16 | 南京星环智能科技有限公司 | 一种训练样本集的数据增强方法、装置、设备及存储介质 |
CN117077843A (zh) * | 2023-07-27 | 2023-11-17 | 北京工业大学 | 基于CBAM-CNN-Transformer的时空注意力细粒度PM2.5浓度预测方法 |
CN117423032A (zh) * | 2023-10-20 | 2024-01-19 | 大连理工大学 | 时空细粒度人体动作时序分割方法、电子设备和计算机可读存储介质 |
CN117454729A (zh) * | 2023-11-13 | 2024-01-26 | 交通运输部规划研究院 | 一种大气污染贡献度预测方法、装置及可读存储介质 |
CN117494034A (zh) * | 2023-08-11 | 2024-02-02 | 合肥工业大学 | 基于交通拥堵指数和多源数据融合的空气质量预测方法 |
CN117541070A (zh) * | 2023-10-24 | 2024-02-09 | 北京科技大学 | 基于机器学习与博弈论的油井多层合采产量劈分方法 |
-
2024
- 2024-03-11 CN CN202410272448.2A patent/CN117871790B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010016476A (ko) * | 2000-12-13 | 2001-03-05 | 구윤서 | 인터넷을 이용한 실시간 대기배출시설 종합관리 시스템 |
CN110766257A (zh) * | 2018-07-28 | 2020-02-07 | 华中科技大学 | 一种评估人群空气污染物短期暴露浓度的方法 |
WO2021056160A1 (zh) * | 2019-09-23 | 2021-04-01 | 广州禾信仪器股份有限公司 | 一种VOCs污染的溯源方法 |
KR20210086326A (ko) * | 2019-12-31 | 2021-07-08 | 한국환경정책평가연구원 | 지역별 미세먼지 농도 예측방법 및 시스템 |
CN114511087A (zh) * | 2022-04-19 | 2022-05-17 | 四川国蓝中天环境科技集团有限公司 | 一种基于双模型的空气质量空间推断方法及*** |
CN114819704A (zh) * | 2022-05-16 | 2022-07-29 | 山东天星北斗信息科技有限公司 | 一种移动源污染物排放溯源方法及*** |
CN115481694A (zh) * | 2022-09-26 | 2022-12-16 | 南京星环智能科技有限公司 | 一种训练样本集的数据增强方法、装置、设备及存储介质 |
CN117077843A (zh) * | 2023-07-27 | 2023-11-17 | 北京工业大学 | 基于CBAM-CNN-Transformer的时空注意力细粒度PM2.5浓度预测方法 |
CN117494034A (zh) * | 2023-08-11 | 2024-02-02 | 合肥工业大学 | 基于交通拥堵指数和多源数据融合的空气质量预测方法 |
CN117423032A (zh) * | 2023-10-20 | 2024-01-19 | 大连理工大学 | 时空细粒度人体动作时序分割方法、电子设备和计算机可读存储介质 |
CN117541070A (zh) * | 2023-10-24 | 2024-02-09 | 北京科技大学 | 基于机器学习与博弈论的油井多层合采产量劈分方法 |
CN117454729A (zh) * | 2023-11-13 | 2024-01-26 | 交通运输部规划研究院 | 一种大气污染贡献度预测方法、装置及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117871790A (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112182064B (zh) | 一种污染物来源分析方法、装置、电子设备及存储介质 | |
CN117871790B (zh) | 基于多种数据融合的路边监测站数据分析和交通溯源方法 | |
CN105181898B (zh) | 基于大密度部署传感器的大气污染监控及管理方法及*** | |
CN108227041B (zh) | 基于站点实测数据和模式结果的水平能见度预报方法 | |
WO2018214060A1 (zh) | 一种城市小尺度空气质量指数预测方法与*** | |
CN110909483A (zh) | 一种基于网格化数据的点源大气污染物排放清单校验方法 | |
CN110598953A (zh) | 一种时空相关的空气质量预测方法 | |
He et al. | Numerical model-based artificial neural network model and its application for quantifying impact factors of urban air quality | |
Lu et al. | Characteristics of ventilation coefficient and its impact on urban air pollution | |
CN113436045A (zh) | 大气污染多尺度融合溯源方法、装置和可读存储介质 | |
CN111696369A (zh) | 一种基于多源地理空间大数据的全市道路分时分车型交通流预测方法 | |
CN110261272B (zh) | 基于地理探测和pca对pm2.5浓度分布的关键影响因子筛选方法 | |
CN111612064B (zh) | Pm2.5污染气团溯源方法、装置、电子设备及存储介质 | |
CN112906941B (zh) | 面向动态相关空气质量时间序列的预测方法及*** | |
CN114218976B (zh) | 臭氧前体物高值区精细化排放源追溯定位方法和*** | |
CN112991132B (zh) | Pm2.5和臭氧协同管控区域识别方法及装置 | |
CN112084231A (zh) | 一种大气温室气体在线观测数据的本底筛分方法 | |
CN116626233A (zh) | 基于多源数据融合的大气污染溯源方法、终端及存储介质 | |
CN114357058A (zh) | 一种臭氧污染溯源方法 | |
CN113578956B (zh) | 一种土壤治理植物的确定方法及装置 | |
CN114822709A (zh) | 大气污染多粒度精准成因分析方法及装置 | |
CN113420984A (zh) | 空气污染源区的确定方法 | |
CN117291343A (zh) | 一种基于空天地监测网络的大气污染防治管控*** | |
Cao et al. | A machine-learning-based classification method for meteorological conditions of ozone pollution | |
CN115482930A (zh) | 一种臭氧污染对人体健康影响的数值预报方法,***和储存介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |