CN109492830B - 一种基于时空深度学习的移动污染源排放浓度预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的移动污染源排放浓度预测方法，本发明根据移动污染源污染物的区域时空分布特点，提出基于注意力机制的卷积长短期记忆神经网络预测方法。首先，通过分析站点之间的Granger因果关系并开发超参数高斯向量权重函数以确定空间自相关变量作为输入特征的一部分。其次，使用卷积神经网络来提取LSTM网络使用的数据的时空间特征，同时注意力模型分别用于加权特征图和通道以增强特征的有效性。最后，基于深度LSTM的时间序列预测器，用于学习大气污染物浓度的长期和短期依赖性。本发明从历史大气污染物数据中提取固有的有用特征，并将辅助数据纳入所提出的模型中以提高性能，从而浓度预测方法。

Description

一种基于时空深度学习的移动污染源排放浓度预测方法

技术领域

本发明涉及一种数据驱动的预测方法，尤其涉及一种基于时空深度学习的移动污染源排放浓度预测方法。

背景技术

大气污染，尤其是移动污染源超细颗粒物和挥发性有机物(Volatile OrganicCompounds，VOCs)造成的大范围雾霾已经成为我国最突出的环境问题之一。超细颗粒物和VOCs不仅对人体健康具有严重的直接危害，同时作为PM_2.5的重要前体物和光化学烟雾的主要组成部分，对复合大气污染的形成起着至关重要的作用。因此，监控移动污染源超细颗粒物和VOCs的排放量，是减少雾霾天气和光化学烟雾污染，改善区域城市大气环境质量的有效手段之一。有必要了解这些污染物的来源和数量，以尽量减少大气污染对健康的不利影响。在空间维度上，对不同地区的污染物变化的特征进行分析，剖析污染物浓度在时间和空间上的差异性及形成原因，进而提高污染物浓度的预测的效率和准确可靠性，为政府控制大气污染以及交通管控、生活出行提供决策依据。

通常，空气污染过程通常涉及相互作用的多种类型的污染物，并且受到局部反应，空气污染物浓度的时空演变特性和混杂因素的影响，例如风和湿度的方向。因此，对空气污染物浓度预测的研究仍面临以下两个挑战：(1)LSTM网络一般用于时间特征提取，但其缺点是当输入序列具有长期依赖性和复杂性任务的时，存在差异性。模型难以学习合理的矢量表示，使模型的学习效率较差；(2)空气污染因果路径在自然界的不同位置之间是复杂的。监测站之间的相关性很复杂，因为它可能受到地理，自然过程，大气现象或其他因素的影响。

发明内容

本发明针对现有技术中预测空气污染物浓度的准确性不高的问题，提供了一种基于时空深度学习的移动污染源排放浓度预测方法。

一种基于时空深度学习的移动污染源排放浓度预测方法，包括以下步骤：

步骤1：利用格兰杰因果分析解决时空相关性问题，格兰杰因果关系作为衡量时间序列之间相互作用的指标，近几十年来一直备受青睐。对于复杂的空间因素，使用格兰杰因果关系来分析空气浓度的时间序列。将一个监测站的空气污染物的时间序列定义为Y_i，另一个监测点的时间序列为X_i。格兰杰因果关系的格式和零假设是：

这是N_d空间聚类的邻域集(采用K-Means算法来考虑所有空间因素对监测点进行聚类)；ε_t是一个白高斯随机向量，n是时间戳的数量，向量Φ_i是对应的权重Y_i；μ_i表示空间位置X_i和Y_i之间的空间权重。

然而，大气污染物对不同环境条件的依赖性也不同，污染物在扩散过程中易受风向影响。因此，有必要研究不同监测点之间不同风向下不同污染物的时空因果关系。基于以下实例如图1，可以看到空间和时间之间的因果分析应该反映两个方面：1)时空结构的依赖性，它反映了各种污染物在空间和时间上的传播；2)可预测性，表明不同的环境条件可能导致不同的时空因果关系。

针对X_i和Y_i的空间权重μ_i，将风向和距离与空气污染物的浓度扩散过程相结合，提出了一种基于高斯核函数的超参数高斯权重向量，可以描述为：

其中α(j)是学习率，其中d_X/d_Y和θ_XY分别代表距离变量和角度变量。距离可以通过欧几里德距离直接计算。使用F检验来确定第一个公式是否比第二个公式更重要。如果是，X_i是Y_i的因果关系，所以X_i可以用于预测Y_i.注意，使用了一个带宽参数σ，它表示变换后的方向和距离效应之间的折衷；

步骤2：空间/时间特征提取，使用历史空气污染物浓度数据建立一个时空关系为三维矩阵作为CNN的输入。假设S监测站S_i＝{s₁,s₂,…,s₂₅}的总数按空间顺序排列在路段上。S站可以提供一组时间检测数据D_i＝{d_t-r,…,d_t-2,d_t-1}，其中在每个时间点t记录的检测数据是

D是时间检测数据，S是监测站，并且ο是属性。根据道路上监测点的空间和时间分布组合了所有数据，得到了一个大小为M＝{S,D,ο}的三维数据矩阵。本文的预测问题可以定义为：对于给定的一组监测站S在给定的不同时间间隔，将其最新的最大时间步骤{t-r,…,t-2,t-1}历史数据用于时空相关性建模和空气污染物浓度预测。为了提高效率，在模型的第二和第三卷积层之后添加批量标准化。这里使用非线性激活函数SELU函数，SELU具有更好的收敛性并且可以有效地避免梯度消失的问题，这在Klambauer等人中具体讨论。

步骤3：建立特征图注意力模型，使用卷积核进行卷积运算以获得输出空间和时间特征映射。在注意力模型中，F＝{f(1),f(2),…,f(j)}是卷积层的输出隐藏特征映射，即j∈R卷积核的数量。使用以下等式通过等式计算：

F′＝W⊙F

这里，W＝{ω₁,ω₂,…,ω_j}是一组权重矩阵，其大小与特征映射相同。产生W的注意力模型由三个具有步幅1的卷积层组成。第一卷积层具有k×s滤波器，卷积核尺寸为5×5，第二和第三层具有k个滤波器，卷积核尺寸为3×3，并且每个卷积层有100个滤波器。⊙是元素的乘积。

步骤4：建立信道注意力模型，输入模型的三维时空数据矩阵包含许多不同的属性，不同的属性对模型的预测性能有不同的影响。期望将这34种有用信息集成到机器学习模型中，进行有监督的学习和分析，实现准确的预测。同时，来自卷积层的不同信道输出一定对模型具有不相同的影响。因此，对不同的信道进行加权，以提高特征对模型预测性能的有效性。

对于输入特征映射F＝{f(1),f(2),…,f(j)}，其中j是特征映射中的通道数，在F中执行最大池化操作以获得每个通道C＝{c₁,c₂,…,c_j}的最大值。注意力机制将产生注意权重向量V和加权表示F′如下等式计算.

c_i＝maxf(j)

V＝softmax(C)

F′＝V⊙F

步骤5：多个监测点空气污染浓度预测，从卷积和合并处理获得加权时间特征和空间特征之后，可以通过F_ST＝F′_s⊕F′_t逐元素地添加两个特征图并将它们压缩成一维特征X＝(x₁,x₂,…,x_t)。这些特征被分解为连续的组件并馈送到重复的LSTM单元以进行时间分析。随后使用LSTM层从X＝(x₁,x₂,…,x_t)提取时间信息输入，并且另一输入是从最后时间步骤开始的隐藏单元h_t-1。Attention-CNN-LSTM的前向训练过程可以用以下等式表示：

f_t＝σ(W_f·g[h_t-1,x_t]+b_f)

i_t＝σ(W_i·g[h_t-1,x_t]+b_i)

C_t＝f_t×C_t-1+i_t×tanh(W_C·g[h_t-1,x_t]+b_C)

o_t＝σ(W_o·g[h_t-1,x_t]+b_o)

h_t＝o_t·tanh(C_t)

其中i_t，o_t和f_t分别表示输入门，输出门和遗忘门的激活；C_t和h_t分别表示每个细胞和记忆块的激活载体；W和b分别表示权重矩阵和偏差矢量。然后，仅将LSTM的最后一步的输出馈送到完全连接的层中，用于时空空气污染预测。

训练结束，模型的权值参数确定，此时的模型在使用格兰杰因果分析空间相关性分析中加入风向影响因素，使用注意力模型来权衡隐藏特征以增强特征的有效性，将实时的气象信息、污染物信息以及时间戳信息作为移动污染源排放物浓度输入到模型中，模型即可输出未来24小时多尺度预测的浓度结果。

本发明的预测方法中，使用了分析站点之间的格兰杰因果关系，并生成空间数据作为相对站点和时空属性，使用普通卷积单元提取空间特征和时间特征，并通过使用注意力机制对特征进行加权，通过堆叠多层LSTM，可以逐层自动提取具有长期依赖性的空间相关污染物数据的特征，并且可以使用融合特征来预测空气污染物浓度的多尺度时间序列预测。该方法实现了更高的准确性和稳定性。

附图说明

图1为大气污染物浓度空间相关性分析图；

图2为基于时空深度学习移动污染源浓度预测模型结构图。

具体实施方式

如图1和图2所示，本发明具体实现如下：

考虑到25个监测站之间的时空相关性和监测站的历史状态，选择了两个或多个CNN层来从历史空气污染物数据中提取长期跨度学习的内在特征，然后使用单热编码。该方法对每小时数据进行编码，并将提取的特征与当前的气象数据和相关的污染物数据相结合，以提高模型的预测性能。使用两个分支来提取空间特征和时间特征，然后使用注意模型来权衡隐藏特征以增强特征的有效性。通过堆叠多层LSTM，可以逐层自动提取具有长期依赖性的空间相关污染物数据的特征，并且可以使用融合特征来预测空气污染物的多尺度时间序列预测。

步骤1：利用格兰杰因果分析解决时空相关性问题，格兰杰因果关系作为衡量时间序列之间相互作用的指标，近几十年来一直备受青睐。对于复杂的空间因素，使用格兰杰因果关系来分析空气浓度的时间序列。将一个监测站的空气污染物的时间序列定义为Y_i，另一个监测点的时间序列为X_i。格兰杰因果关系的格式和零假设是：

这是N_d空间聚类的邻域集(采用K-Means算法来考虑所有空间因素对监测点进行聚类)；ε_t是一个白高斯随机向量，n是时间戳的数量，向量Φ_i是对应的权重Y_i；μ_i表示空间位置X_i和Y_i之间的空间权重。

然而，大气污染物对不同环境条件的依赖性也不同，污染物在扩散过程中易受风向影响。因此，有必要研究不同监测点之间不同风向下不同污染物的时空因果关系。基于以下实例如图1，可以看到空间和时间之间的因果分析应该反映两个方面：1)时空结构的依赖性，它反映了各种污染物在空间和时间上的传播；2)可预测性，表明不同的环境条件可能导致不同的时空因果关系。

针对X_i和Y_i的空间权重μ_i，将风向和距离与空气污染物的浓度扩散过程相结合，提出了一种基于高斯核函数的超参数高斯权重向量，可以描述为：

其中α(j)是学习率，其中d_X/d_Y和θ_XY分别代表距离变量和角度变量。距离可以通过欧几里德距离直接计算。使用F检验来确定第一个公式是否比第二个公式更重要。如果是，X_i是Y_i的因果关系，所以X_i可以用于预测Y_i；注意，使用了一个带宽参数σ，它表示变换后的方向和距离效应之间的折衷。

步骤2：空间/时间特征提取，使用历史空气污染物浓度数据建立一个时空关系为三维矩阵作为CNN的输入。假设S监测站S_i＝{s₁,s₂,…,s₂₅}的总数按空间顺序排列在路段上。S站可以提供一组时间检测数据D_i＝{d_t-r,…,d_t-2,d_t-1}，其中在每个时间点t记录的检测数据是

D是时间检测数据，S是监测站，并且ο是属性。根据道路上监测点的空间和时间分布组合了所有数据，得到了一个大小为M＝{S,D,ο}的三维数据矩阵。本文的预测问题可以定义为：对于给定的一组监测站S在给定的不同时间间隔，将其最新的最大时间步骤{t-r,…,t-2,t-1}历史数据用于时空相关性建模和空气污染物浓度预测。为了提高效率，在模型的第二和第三卷积层之后添加批量标准化。这里使用非线性激活函数SELU函数，SELU具有更好的收敛性并且可以有效地避免梯度消失的问题。

步骤3：建立特征图注意力模型，使用卷积核进行卷积运算以获得输出空间和时间特征映射。在注意力模型中，F＝{f(1),f(2),…,f(j)}是卷积层的输出隐藏特征映射，即j∈R卷积核的数量。使用以下等式通过等式计算：

F′＝W⊙F

这里，W＝{ω₁,ω₂,…,ω_j}是一组权重矩阵，其大小与特征映射相同。产生W的注意力模型由三个具有步幅1的卷积层组成。第一卷积层具有k×s滤波器，卷积核尺寸为5×5，第二和第三层具有k个滤波器，卷积核尺寸为3×3，并且每个卷积层有100个滤波器。⊙是元素的乘积。

步骤4：建立信道注意力模型，输入模型的三维时空数据矩阵包含许多不同的属性，不同的属性对模型的预测性能有不同的影响。期望将这34种有用信息集成到机器学习模型中，进行有监督的学习和分析，实现准确的预测。同时，来自卷积层的不同信道输出一定对模型具有不相同的影响。因此，对不同的信道进行加权，以提高特征对模型预测性能的有效性。

对于输入特征映射F＝{f(1),f(2),…,f(j)}，其中j是特征映射中的通道数，在F中执行最大池化操作以获得每个通道C＝{c₁,c₂,…,c_j}的最大值。注意力机制将产生注意权重向量V和加权表示F′如下等式计算.

c_i＝maxf(j)

V＝softmax(C)

F′＝V⊙F

步骤5：多个监测点空气污染浓度预测，从卷积和合并处理获得加权时间特征和空间特征之后，可以通过F_ST＝F′_s⊕F′_t逐元素地添加两个特征图并将它们压缩成一维特征X＝(x₁,x₂,…,x_t)。这些特征被分解为连续的组件并馈送到重复的LSTM单元以进行时间分析。随后使用LSTM层从X＝(x₁,x₂,…,x_t)提取时间信息输入，并且另一输入是从最后时间步骤开始的隐藏单元h_t-1。Attention-CNN-LSTM的前向训练过程可以用以下等式表示：

f_t＝σ(W_f·g[h_t-1,x_t]+b_f)

i_t＝σ(W_i·g[h_t-1,x_t]+b_i)

C_t＝f_t×C_t-1+i_t×tanh(W_C·g[h_t-1,x_t]+b_C)

o_t＝σ(W_o·g[h_t-1,x_t]+b_o)

h_t＝o_t·tanh(C_t)

其中i_t，o_t和f_t分别表示输入门，输出门和遗忘门的激活；C_t和h_t分别表示每个细胞和记忆块的激活载体；W和b分别表示权重矩阵和偏差矢量。然后，仅将LSTM的最后一步的输出馈送到完全连接的层中，用于时空空气污染预测。

训练结束，模型的权值参数确定，此时的模型在使用格兰杰因果分析空间相关性分析中加入风向影响因素，使用注意力模型来权衡隐藏特征以增强特征的有效性，将实时的气象信息、污染物信息以及时间戳信息作为移动污染源排放物浓度输入到模型中，模型即可输出未来24小时多尺度预测的浓度结果。

步骤7：对训练得到的时空深度学习模型进行分析和对比，经分析和对比，相比于其他已有的方法，用基于时空深度学习的预测模型可以更好地对解决的移动污染源排放物浓度时空相关性，且具有较好的预测准确度。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于时空深度学习的移动污染源排放浓度预测方法，其特征在于：该方法具体包括以下步骤：

步骤1：利用格兰杰因果分析解决时空相关性问题，对于复杂的空间因素，使用格兰杰因果关系来分析空气浓度的时间序列；将一个监测站的空气污染物的时间序列定义为Y_i，另一个监测点的时间序列为X_i；格兰杰因果关系的格式和零假设是：

其中N_d空间聚类的邻域集，ε_t是一个白高斯随机向量，n是时间戳的数量，向量Φ_i是对应的权重Y_i，μ_i表示空间位置X_i和Y_i之间的空间权重；

针对X_i和Y_i的空间权重μ_i，将风向和距离与空气污染物的浓度扩散过程相结合，提出了一种基于高斯核函数的超参数高斯权重向量，描述为：

其中α(j)是学习率，其中d_X/d_Y和θ_XY分别代表距离变量和角度变量，距离通过欧几里德距离直接计算，使用F检验来确定格兰杰因果关系的格式和零假设计算公式是否比超参数高斯权重向量计算公式更重要；如果是，X_i是Y_i的因果关系，所以X_i可以用于预测Y_i，带宽参数σ，它表示变换后的方向和距离效应之间的折衷；

步骤2：空间/时间特征提取，使用历史空气污染物浓度数据建立一个时空关系的三维矩阵，作为CNN的输入；假设S监测站S_i＝{s₁,s₂,…,s₂₅}的总数按空间顺序排列在路段上；S站可以提供一组时间检测数据D_i＝{d_t-r,…,d_t-2,d_t-1}，其中在每个时间点t记录的检测数据是

D是时间检测数据，S是监测站，并且ο是属性；根据道路上监测点的空间和时间分布组合了所有数据，得到了一个大小为M＝{S,D,ο}的三维数据矩阵；由此预测问题定义为：对于给定的一组监测站S在给定的不同时间间隔，将其最新的最大时间步骤{t-r,…,t-2,t-1}历史数据用于时空相关性建模和空气污染物浓度预测；为了提高效率，在模型的第二和第三卷积层之后添加批量标准化；

步骤3：建立特征图注意力模型，使用卷积核进行卷积运算以获得输出空间和时间特征映射；在注意力模型中，F＝{f(1),f(2),…,f(j)}是卷积层的输出隐藏特征映射，即j∈R卷积核的数量；使用以下等式通过等式计算：

F′＝W⊙F

这里，W＝{ω₁,ω₂,…,ω_j}是一组权重矩阵，其大小与特征映射相同；产生W的注意力模型由三个具有步幅1的卷积层组成；第一卷积层具有k×s滤波器，卷积核尺寸为5×5，第二和第三层具有k个滤波器，卷积核尺寸为3×3，并且每个卷积层有100个滤波器；⊙是元素的乘积；

步骤4：建立信道注意力模型

对于输入特征映射F＝{f(1),f(2),…,f(j)}，其中j是特征映射中的通道数，在F中执行最大池化操作以获得每个通道C＝{c₁,c₂,…,c_j}的最大值；注意力机制将产生注意权重向量V和加权表示F′如下等式计算.

c_i＝maxf(j)

V＝softmax(C)

F′＝V⊙F

步骤5：多个监测点空气污染浓度预测，从卷积和合并处理获得加权时间特征和空间特征之后，通过F_ST＝F′_s⊕F′_t逐元素地添加两个特征图并将它们压缩成一维特征X＝(x₁,x₂,…,x_t)；这些特征被分解为连续的组件并馈送到重复的LSTM单元以进行时间分析；随后使用LSTM层从X＝(x₁,x₂,…,x_t)提取时间信息输入，并且另一输入是从最后时间步骤开始的隐藏单元h_t-1；Attention-CNN-LSTM的前向训练过程可以用以下等式表示：

f_t＝σ(W_f·g[h_t-1,x_t]+b_f)

i_t＝σ(W_i·g[h_t-1,x_t]+b_i)

C_t＝f_t×C_t-1+i_t×tanh(W_C·g[h_t-1,x_t]+b_C)

o_t＝σ(W_o·g[h_t-1,x_t]+b_o)

h_t＝o_t·tanh(C_t)

其中i_t，o_t和f_t分别表示输入门，输出门和遗忘门的激活，C_t和h_t分别表示每个细胞和记忆块的激活载体，W和b分别表示权重矩阵和偏差矢量；然后，仅将LSTM的最后一步的输出馈送到完全连接的层中，用于时空空气污染预测；

训练结束，模型的权值参数确定，此时的模型在使用格兰杰因果分析空间相关性分析中加入风向影响因素，使用注意力模型来权衡隐藏特征以增强特征的有效性，将实时的气象信息、污染物信息以及时间戳信息作为移动污染源排放物浓度输入到模型中，模型即可输出未来24小时多尺度预测的浓度结果。

Images