CN102496266B - 一种交通流数据预处理方法 - Google Patents

Abstract

本发明公开了一种交通流数据预处理方法，属于数据处理技术领域。该方法包括以下步骤：S1：对采集到的交通流数据进行数据清洗；S2：对经过清洗的数据进行数据校验；S3：对经过校验的数据进行数据修正；S4：对经过修正的数据进行数据修补；S5：对经过修补的数据进行数据滤波；S6：对经过滤波的数据进行数据历史趋势更新。该方法能够对城市道路、高速公路等交通流数据进行预处理，并能够应用于数据采集***上的交通流数据预处理。

Description

一种交通流数据预处理方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种交通流数据预处理方法。

背景技术

近年来，我国汽车产销量年年创出新高，家庭汽车拥有量逐年翻番。由于汽车的快速增长引发的交通拥堵、交通事故频发。特别是交通拥堵，目前各大城市都面临交通拥堵问题，尤其是上下班高峰、假期出行高峰，而且随着拥堵时间的增长，导致各条相关路段均拥堵加重，甚至导致全城的交通瘫痪，给广大出行者带来极大的不便、也给当地的交通管理部门增加了交通疏导工作。

发明内容

为了解决上述问题，本发明提出了一种能够对城市道路、高速公路等交通流数据进行预处理，并能够应用于数据采集***上的交通流数据预处理方法。

本发明提供的交通流数据预处理方法包括以下步骤：

S1：对采集到的交通流数据进行数据清洗；

S2：对经过清洗的数据进行数据校验；

S3：对经过校验的数据进行数据修正；

S4：对经过修正的数据进行数据修补；

S5：对经过修补的数据进行数据滤波；

S6：对经过滤波的数据进行数据历史趋势更新。

作为优选，所述数据清洗包括数据异常过滤和阈值过滤。

作为优选，所述数据校验包括对数据进行判断，从而确定数据是否丢失或者数据是否存在错误。

作为优选，在所述数据判断过程中，判断的数据包括交通量、平均速度和占有率。

作为优选，所述数据判断的依据是时间戳和消息序列戳。

作为优选，所述数据修正包括对历史趋势数据和实际检测数据的加权估计修正处理和对相邻时间段平均值的加权估计修正处理。

作为优选，所述数据修补包括历史同期数据对比修补，相邻设备实时检测数据修补，相邻车道基于时间的数据修补，相邻车道基于空间的断面车道的数据修补。

作为优选，所述数据滤波是对所述经过修补的数据进行指数平滑计算，从而得出平滑数据。

作为优选，所述历史数据趋势更新是对数据进行存储，从而不断更新所述平滑数据。

本发明提供的交通流数据预处理方法的有益效果在于：

本发明提供的交通流数据预处理方法能够对城市道路、高速公路等交通流数据进行预处理，将本发明提供的交通流数据预处理方法应用于数据采集***，能够对交通流数据进行预处理，最终将交通流数据进行存储、分析、上报、显示，可以为交通管理部门及出行者提供各路段当前的交通状态，从而促进交通通行路径选择，提高交通通行能力。

具体实施方式

为了深入了解本发明，下面结合具体实施例对本发明进行详细说明。

本发明提供的交通流数据预处理方法包括以下步骤：

S1：对采集到的交通流数据进行数据清洗，包括数据异常过滤和阈值过滤。

其中，

异常过滤，是指将交通流量、速度及占有率为负或者为空的数据排除。

阈值过滤，包括参数独立判断和参数序列判断。

参数独立判断阈值过滤是指将处于参数独立判断要求范围之外的数据排除。

参数序列判断阈值过滤是指将不满足参数序列判断要求的数据排除。

S2：对经过清洗的数据进行数据校验，依据时间戳和消息序列戳，对交通量、平均速度和占有率进行判断，从而确定数据是否丢失或者数据是否存在错误。

S3：对经过校验的数据进行数据修正，包括对历史趋势数据和实际检测数据的加权估计进行修复和对相邻时间段平均值的加权估计进行修复。

对相邻时间段平均值的加权估计进行修复的公式为：

$y\left(t\right)=\frac{y(t-n)+y(t-n+1)+...+y(t-1)}{n}$

其中，

n，计算平均值所取的数据个数；

S4：对经过修正的数据进行数据修补，包括历史同期数据对比修补，相邻设备实时检测数据修补，相邻车道基于时间的数据修补，相邻车道基于空间的断面车道的数据修补。

其中，

历史同期数据对比修补的公式为：

X(k)(t)＝α×X(t)+(1-α)×X(k-1)(t)；

相邻设备实时检测数据修补的公式为：

D(k)(t)＝β×D(k-1)(t)+(1-β)×D(k+1)(t)；

相邻车道基于时间的数据修补的公式为：

X(k)(t)＝γ×X(t)+(1-γ)×X(k-1)(t)；

相邻车道基于空间的断面车道的数据修补的公式为：

D(k)(t)＝δ×D(k-1)(t)+(1-δ)×D(k+1)(t)；

其中，

α，β，γ，δ，加权系数；

X(k-1)(t)，原t时刻历史趋势数据；

X(t)，t时刻实际检测数据；

X(k)(t)，现t时刻历史趋势数据；

D(k-1)(t)，t时刻上游设备数据；

D(k+1)(t)，t时刻下游设备数据；

D(k)(t)，t时刻当前设备数据。

S5：对经过修补的数据进行数据滤波，即对所述经过修补的数据进行指数平滑计算，从而得出平滑数据。

S6：对经过滤波的数据进行数据历史趋势更新，即对数据进行存储，从而不断更新所述平滑数据。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种交通流数据预处理方法，包括以下步骤：

S1：对采集到的交通流数据进行数据清洗；

S2：对经过清洗的数据进行数据校验；

S3：对经过校验的数据进行数据修正；

S4：对经过修正的数据进行数据修补；

S5：对经过修补的数据进行数据滤波；

S6：对经过滤波的数据进行数据历史趋势更新；

所述数据清洗包括数据异常过滤和阈值过滤；

所述数据校验包括对数据进行判断，从而确定数据是否丢失或者数据是否存在错误；所述数据判断的依据是时间戳和消息序列戳；

其特征在于，

所述数据修补包括历史同期数据对比修补，相邻设备实时检测数据修补，相邻车道基于时间的数据修补，相邻车道基于空间的断面车道的数据修补；

其中，

历史同期数据对比修补的公式为：

X(k)(t)＝α×X(t)+(1-α)×X(k-1)(t)；

相邻设备实时检测数据修补的公式为：

D(k)(t)＝β×D(k-1)(t)+(1-β)×D(k+1)(t)；

相邻车道基于时间的数据修补的公式为：

X(k)(t)＝γ×X(t)+(1-γ)×X(k-1)(t)；

相邻车道基于空间的断面车道的数据修补的公式为：

D(k)(t)＝δ×D(k-1)(t)+(1-δ)×D(k+1)(t)；

其中，

α，β，γ，δ，加权系数；

X(k-1)(t)，原t时刻历史趋势数据；

X(t)，t时刻实际检测数据；

X(k)(t)，现t时刻历史趋势数据；

D(k-1)(t)，t时刻上游设备数据；

D(k+1)(t)，t时刻下游设备数据；

D(k)(t)，t时刻当前设备数据。

2.根据权利要求1所述的方法，其特征在于，在所述数据判断过程中，判断的数据包括交通量、平均速度和占有率。

3.根据权利要求1所述的方法，其特征在于，所述数据修正包括对历史趋势数据和实际检测数据的加权估计修正处理和对相邻时间段平均值的加权估计修正处理。

4.根据权利要求2所述的方法，其特征在于，所述数据滤波是对所述经过修补的数据进行指数平滑计算，从而得出平滑数据。

5.根据权利要求4所述的方法，其特征在于，所述数据历史趋势更新是对数据进行存储，从而不断更新所述平滑数据。