CN102881162A

CN102881162A - 大规模交通信息的数据处理及融合方法

Info

Publication number: CN102881162A
Application number: CN2012103750744A
Authority: CN
Inventors: 汪祖云; 杜博文; 张善海; 王立勋; 张燕; 周一新
Original assignee: Beijing Galaxy Golden Star Technology Development Co Ltd; BEIJING TRAFFIC INFORMATION CENTER; Beihang University
Current assignee: Beijing Galaxy Golden Star Technology Development Co Ltd; BEIJING TRAFFIC INFORMATION CENTER; Beihang University
Priority date: 2012-09-29
Filing date: 2012-09-29
Publication date: 2013-01-16
Anticipated expiration: 2032-09-29
Also published as: CN102881162B

Abstract

本发明公开了一种大规模交通信息的数据处理及融合方法，属于交通信息实时处理技术，包括：根据测试车及各个传感器采集到的多源交通数据获得真值***的标准数据，并确定参数的动态赋值方法；剔除传感器采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源交通数据实时分级信息融合。本发明通过建立真值***获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性，并在融合过程中考虑交通事件、交通管制、占地施工、交通事故给数据带来的影响。

Description

大规模交通信息的数据处理及融合方法

技术领域

本发明涉及智能交通***的交通信息实时处理技术领域，特别涉及一种大规模交通信息的数据处理及融合方法。

背景技术

信息融合最早应用于军事领域，是组合多源信息和数据完成目标检测、关联、状态评估的多层次、多方面的过程。这种信息融合的目的是获得准确的目标识别、完整而及时的战场态势和威胁评估。随着传感器技术、计算机科学和信息技术的发展，各种面向复杂应用背景的多传感器***大量涌现，使得多渠道的信息获取、处理和融合成为可能，并且在金融管理、心理评估和预测、医疗诊断、气象预报、组织管理决策、机器人视觉、交通管制、遥感遥测等诸多领域，人们都认识到把多个数据源中的信息综合起来能够提高工作的成绩。因此，多源信息融合技术在军事领域和民用领域得到了广泛的重视和成功的应用，其理论和方法已成为智能信息处理及控制的一个重要研究方向。

现有技术更集中在数据级信息融合，其直接对未经预处理的传感器原始观测数据进行综合和分析。优点是保持了尽可能多的客体信息，基本不发生信息丢失或遗漏；缺点是处理数据太多，耗费时间太长，实时性差。另一种信息融合是特征级信息融合，亦称文件级信息融合，是对已经过传感器初步预处理之后，在传感器实现基本特征提取、提供文件报告的基础上执行的综合分析处理。其优点是既保持足够数量的重要信息，又已经过可容许的数据压缩，大大稀释了数据量，可以提高处理过程的实时性；而且特别有价值的是在模式识别、图像分析、计算机视觉等现代高技术应用中，实际都以特征提取为基础，都已在这方面开展大量工作。特征级信息融合的缺点是，不可避免地会有某些信息损失，因而需对传感器预处理提出较严格的要求。

由于交通数据的多源性，必须运用一种有效的方法合理协调多源数据，充分综合有用信息，提高在多变环境中正确决策的能力。数据融合技术是一种可满足该要求的良好工具。交通数据的多源性和复杂性要求交通信息处理必须拥有数据融合技术，这样才能提供交通信息的稳健性。

现有的交通数据融合技术更集中在数据级信息融合，融合过程未对数据根据传感器的稳定性进行分级，并且未对传感器采集到的数据进行校验剔除，数据逐级融合，在融合过程中并未考虑交通事件、交通管制、占地施工、交通事故给数据带来的影响。

发明内容

有鉴于此，本发明的目的在于提供一种大规模交通信息的数据处理及融合方法，用于实现交通信息数据的高效融合。

本发明提供了一种大规模交通信息的数据处理及融合方法，包括：

根据测试车及各个传感器采集到的多源交通数据获得真值***的标准数据，并确定参数的动态赋值方法；剔除所述传感器采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源交通数据实时分级信息融合。

本发明通过建立真值***获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性，并在融合过程中考虑交通事件、交通管制、占地施工、交通事故给数据带来的影响。经该融合过程，实现融合的快速、准确、可靠等效果，真值***解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题；还充分考虑交通事件、交通管制、占地施工、交通事故，克服了因以上因素对数据造成的影响。

附图说明

图1为本发明实施例提供的大规模交通信息的数据处理及融合方法流程图；

图2为本发明实施例中对参数动态赋值的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

本发明实施例提供的交通数据融合过程能够实现融合的快速、准确、可靠等效果，真值***解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题；还充分考虑交通事件、交通管制、占地施工、交通事故，克服了因以上因素对数据造成的影响。

图1为本发明实施例提供的大规模交通信息的数据处理及融合方法流程图，包括以下步骤：

步骤101、获得真值***，并确定D-S（Dempster-Sharer证据理论多源数据融合方法）中参数的动态赋值方法。

所述真值***标准数据是通过多辆高采样率的测试车，在不同时段多次测试，并获得时段t的平均值，作为标准值：

X_i，j(t)代表第i辆测试车的第j次在时段t测试的测量值，n辆车进行m次测量。

图2为对参数动态赋值的方法流程图，包括以下步骤：

步骤1011、将时段t测试车采集到的数据及各个传感器采集到的数据，拆分出出租车数据、公交车数据、微波/线圈数据、视频监控数据，以及车牌识别数据，作为时段t各类交通信息数据。由于不同的采集设备均能采集到同一类型的数据，但是各个采集设备采集精度及其受影响因素不同，因此，在后续步骤中会出现分步融合。

步骤1012、分别以出租车数据、公交车数据、微波/线圈数据、视频监控数据及车牌识别数据在时段t的平均值为标准值计算其标准差：

D (X) = \sqrt{\frac{1}{N} \underset{i = 1, . .}{Σ} {(Xi - E (X))}^{2}}

其中，E(X)为t时段测试得到所有数据的平均值，X_i表示各类数据的第i个测试数据。

标准差反应数据的离散程度，即数据的稳定程度。

步骤1013、使用所述标准差以及标准值，分别获得每类数据的正态分布图，确定可信区间（即生成数据接收区间），根据正态曲线，计算数据在可信区间的概率：

P (a < X < b) = {&Integral;}_{a}^{b} \frac{1}{D (X) \sqrt{2 Π}} e^{\frac{1}{2} {(\frac{X - E (X)}{D (x)})}^{2}}

其中，a,b分别表示测试数据偏离标准值X的左右可接受数据的界限值，D(X)为标准差，E(X)为平均值。

步骤1014、以所述数据在可信区间的概率对每类数据基本概率赋值函数m(A)赋值。例如出租车数据基本概率赋值函数m(A)赋值过程为m(A)=P(a<A<b)，A代表出租车数据，P(a<A<b)代表出租车采集数据在可信区间的概率，如上计算。

步骤102、剔除传感器采集到的数据集合中的异常数据。步骤101是测试车在正常情况下多次测试获得的数据，为数据融合过程中的各类数据初始参数赋值做准备。而在现实情况中由于各种因素会导致数据的异常，因此，实际传感器采集到数据之后首先要进行异常数据剔除，以下是对实际数据进行的处理。

分别计算时段t对应分类（包括出租车数据、公交车数据、微波/线圈数据、视频监控数据及车牌识别数据）交通信息数据X（X是实际环境下采集到的数据，101步骤叙述X是在测试车及采集器一切正常的环境下的数据）与历史信息数据H。H是对过去一年的交通信息数据（包括出租车数据、公交车数据、微波/线圈数据、视频监控数据及车牌识别数据）的存储。计算X、H的数学期望E(X)、E(H)，计算时段t各类交通信息数据X与过去一年同期历史信息数据H的标准差D(X)、D(H)，如果：

（1）针对时段t各个传感器以及测试车采集到的交通信息数据，数学期望E(X)与数学期望E(H)差值在设定阀值th范围内，且D(X)与D(H)差值同样在设定阀值th′内，则认为该时刻数据没有发生异常；

（2）针对时段t各个传感器以及测试车采集到的交通信息数据，数学期望E(X)与数学期望E(H)超出设定阀值th，但D(X)与D(H)差值在设定阀值th′内，则等待下一时段的交通信息数据X″生成；如果下一时段的交通信息数据D(X)与D(X″)有较大差异，超出设定阀值th′，则认为时段t的交通信息发生异常，并将异常数据剔除掉。

在较佳实施例中，th阈值设定为th=E(H)/2,th′=D(X)/2。

步骤103、历史数据的补偿。每天各个传感器以及测试车采集到的交通信息数据经过步骤102后得到的数据存储起来，作为历史数据，为未来出现数据缺失时作为补偿数据。

根据历史数据，分别计算相同天内各类交通信息数据的路网平均速度，包括出租车数据路网平均速度、公交车数据平均速度、微波/线圈数据平均速度，生成交通趋势曲线。

每天各个传感器以及测试车采集到数据后，及时对数据进行初步处理（剔除数据中的异常数据）过程中，查找相邻Z个时间段内的包含的Q个交通数据文件（即前面分类存储的具有相似交通趋势曲线的交通数据），计算每一个时间段交通数据文件的路网平均速度，并将该平均速度视为一个点，平滑连接Z个点生成交通信息曲线片段。将该曲线片段与相同时间段内的历史数据进行匹配，找出最为相似的P条曲线作为辅助信息源，其中Z、P和Q是根据算法、历史统计、实践、经验、***性能得出的函数值，Z表示时间段，Q表示Z个时间段内生成的文件量，P表示最相似的曲线数量。相邻Ｚ个时间段，以一小时为单位，24个时间段。一般数据采集每五分钟生成一个数据，一个时间段会生成12个数据文件，Ｑ按24个时间段算会生成288个取值，P取值为1即可。

根据各个传感器以及测试车采集到的各类交通信息数据的时间属性，从以上步骤中获得的辅助信息源中查找与交通数据缺失的路链具有相同唯一编号、相同时间属性的历史数据对补偿区域中空缺信息路链进行填补。其中时间属性包含星期周期和该时刻所处的时间窗特性。之所以数据会出现缺失，一方面是由于异常数据剔除有可能造成数据的不连续，另一方面是由于各个数据源设备由于外界因素或人为因素短暂失效造成数据不能及时采集或采集误差较大。而后者尤为重要。

步骤104、对完成数据补偿的多源交通数据（此处的多源数据包括经过剔除以及数据补偿后的出租车数据、公交车数据、微波/线圈数据、视频监控数据，以及车牌识别数据）实时分级信息融合。前面三个步骤是实时分级信息融合的基础，步骤101产生真值***为分级信息融合确定各类别数据融合时的融合参数，并为步骤102异常数据的剔除提供标准数据，步骤103对于数据缺失的路链或数据缺失时间段进行数据补偿，以步骤102与步骤103产生的数据作为多源交通信息数据的数据源，以下步骤中使用的数据均是经过步骤101、102、103处理的数据。

为了保障数据精度和覆盖率，首先融合大规模多样的出租车数据和公交车数据，再融合微波/线圈数据以及车牌识别数据。步骤如下：

D-S证据理论中最基本的概念是建立辨识框架，记作U，辨识框架中的元素满足互不相容的条件。命题A对函数m的赋值m（A）是集合到的影射，若函数m满足如下条件：

m(Ф)=0

对

&ForAll; A &Element; 2^{u},

m(A)≥0，且

\underset{A &Element; 2^{U}}{Σ} m (A) = 1

则称m(A)为A的基本概率赋值函数(BPAF)。其中Ф表示空集，m(A)表示对命题A的精确信任程度，表示了对A的直接支持。

在以下步骤中，对于出租车数据、公交车数据、微波/线圈数据、视频监控数据以及车牌识别数据的初始化，同样采用步骤1014的方式对基本概率赋值函数赋值。步骤1013得到的是在正常情况下通过测试车获得的对各类数据在可信区间的概率，较少考虑到突发事件、道路维修等对采集到的数据值范围的影响，因此在以下融合过程中，还要考虑到突发事件，道路维修等。

步骤1041、首先融合出租车与公交车数据。由于GPS等设备的高使用率，可以保障数据精度和覆盖率。

根据步骤1014得到的出租车数据和公交车数据获得数据的基本概率赋值函数的初始值，表示为m₁（A）和m₂（A）；

记融合的数据为U，出租车数据与公交车数据分别为U₁和U₂；

U = U_{1} * \frac{m_{1} (A)}{m_{1} (A) + m_{2} (A)} + U_{2} * \frac{m_{2} (A)}{m_{1} (A) + m_{2} (A)}

U即为出租车和公交车信息融合后的所得值，融合后的U的精确信任程度为：

m (A) = \frac{\underset{A_{1} \cap A_{2} = A}{Σ} m_{1} (A_{1}) m_{2} (A_{2})}{\underset{A_{1} \cap A_{2} &NotEqual; Φ}{Σ} m_{1} (A_{1}) m_{2} (A_{2})} = m_{1} (A_{1}) &CirclePlus; m_{2} (A_{2})

步骤1042、融入微波/线圈数据。微波/线圈数据进一步保障数据的稳定性和可靠性。

根据步骤1014得到的微波/线圈数据的基本概率赋值函数的初始值m₃（A）；

记融合的数据为K，步骤1041获得融合数据为K₁（即1014获得的U值），微波/线圈数据为K₂；

K = K_{1} * \frac{m (A)}{m (A) + m_{3} (A)} + K_{2} * \frac{m_{3} (A)}{m (A) + m_{3} (A)}

K为出租车、公交车以及微波/线圈数据融合后的所得值，融合后的K的精确信任程度为：

m_{k} (K) = \frac{\underset{K 1 \cap K 2 = K 2}{Σ} m_{1} (K_{1}) m_{2} (K_{2})}{\underset{K 1 \cap K 2 &NotEqual; Φ}{Σ} m_{1} (K_{1}) m_{2} (K_{2})} = m_{1} (K_{1}) &CirclePlus; m_{2} (K_{2})

步骤1043、融入车牌识别数据。交叉口区域一般会装有高清摄像头，融入高清摄像头车牌识别数据可以保证卡口路段通过的数据的精确可靠性。方法同步骤1042。

步骤1044、融入主干路、快速路、次干路信号灯配时数据。交叉口区域一般会装有高清摄像头，交叉路口由于车辆汇集，对车辆行驶速度有较大影响，融入高清摄像头车牌识别数据可以保证卡口路段通过的数据的精确可靠性，主干路、快速路、次干路路段间数据受信号灯配时数据的影响较大，分别融入高清摄像头数据与信号灯配时数据可进一步提高数据准确性。由于信号灯的干扰，车辆在路链上的行驶时间和速度会有所变化，采集到的数据值的范围应适当放大，即步骤1013计算时应适当放宽区间[a，b]的范围，融合方法同步骤1042。

步骤1045、融入交通事件、交通管制、站路施工、交通事故数据。由于交通事件、交通管制、站路施工、交通事故对数据的影响，对出租车，公交车，微波/线圈等采集到的数据值的范围应适当放大，即步骤1013计算时应适当放宽区间[a,b]的范围，同上。

以上方法充分考虑了多种采集方式的稳定性、准确性和可靠性。建立真值***获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性，并在融合过程中考虑交通事件、交通管制、占地施工、交通事故给数据带来的影响。

经以上步骤的融合过程，实现融合的快速、准确、可靠等效果，真值***解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题。充分考虑交通事件、交通管制、占地施工、交通事故，克服了因以上因素对数据造成的影响。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种大规模交通信息的数据处理及融合方法，其特征在于，包括：

2.根据权利要求1所述的大规模交通信息的数据处理及融合方法，其特征在于，所述获得真值***的标准数据的步骤具体包括：

通过多辆高采样率的测试车，在不同时段多次测试，并获得时段t的平均值，作为标准值：

其中，X_i，j(t)表示第i辆测试车的第j次在时段t测试的测量值，n辆车进行m次测量。

3.根据权利要求2所述的大规模交通信息的数据处理及融合方法，其特征在于，所述确定参数的动态赋值方法的步骤具体包括：

将时段t测试车采集到的数据及各个传感器采集到的数据，拆分出出租车数据、公交车数据、微波/线圈数据、视频监控数据以及车牌识别数据，作为时段t的各类交通信息数据；

分别以出租车数据、公交车数据、微波/线圈数据、视频监控数据及车牌识别数据在时段t的平均值为标准值计算其标准差：

D (X) = \sqrt{\frac{1}{N} \underset{i = 1, . .}{Σ} {(Xi - E (X))}^{2}}

其中，E(X)为t时段测试得到所有数据的平均值，X_i表示各类数据的第i个测试数据；

使用所述标准值及标准差，分别获得每类数据的正态分布图，确定可信区间，根据正态曲线，计算数据在可信区间的概率：

P (a < X < b) = {&Integral;}_{a}^{b} \frac{1}{D (X) \sqrt{2 Π}} e^{\frac{1}{2} {(\frac{X - E (X)}{D (x)})}^{2}}

其中，a,b分别表示测试数据偏离标准值X的左右可接受数据的界限值，D(X)为标准差，E(X)为平均值；

以所述数据在可信区间的概率对每类数据基本概率赋值函数m(A)进行赋值，赋值过程为m(A)=P(a<A<b)，A表示每类数据，P(a<A<b)表示每类数据在可信区间的概率。

4.根据权利要求3所述的大规模交通信息的数据处理及融合方法，其特征在于，所述剔除传感器采集到的数据集合中的异常数据的步骤具体包括：

分别计算时段t对应分类交通信息数据X与历史信息数据H，计算X、H的数学期望E(X)、E(H)，计算时段t各类交通信息数据X与过去一年同期历史信息数据H的标准差D(X)、D(H)，如果：

数学期望E(X)与数学期望E(H)差值在设定阀值th范围内，且D(X)与D(H)差值同样在设定阀值th′内，则该时刻数据没有发生异常；

数学期望E(X)与数学期望E(H)超出设定阀值th，但D(X)与D(H)差值在设定阀值th′内，则等待下一时段的交通信息数据X″生成；如果下一时段的交通信息数据D(X)与D(X″)的差异超出设定阀值th′，则时段t的交通信息发生异常，并将异常数据剔除掉。

5.根据权利要求4所述的大规模交通信息的数据处理及融合方法，其特征在于，所述阈值th与th′设定为：th=E(H)/2,th′=D(X)/2。

6.根据权利要求4或5所述的大规模交通信息的数据处理及融合方法，其特征在于，所述历史数据的补偿步骤具体包括：

每天各个传感器以及测试车采集到数据后，查找相邻Z个时间段内的包含的Q个交通数据文件，计算每一个时间段交通数据文件的路网平均速度，并将该平均速度视为一个点，平滑连接Z个点生成交通信息曲线片段；将该曲线片段与相同时间段内的历史数据进行匹配，找出最为相似的P条曲线作为辅助信息源，其中，Z表示时间段，Q表示Z个时间段内生成的文件量，P表示最相似的曲线数量；

根据各个传感器以及测试车采集到的各类交通信息数据的时间属性，从所述辅助信息源中查找与交通数据缺失的路链具有相同唯一编号、相同时间属性的历史数据对补偿区域中空缺信息路链进行填补。

7.根据权利要求6所述的大规模交通信息的数据处理及融合方法，其特征在于，所述对完成数据补偿的多源交通数据实时分级信息融合的步骤具体包括融合出租车与公交车数据：

获得出租车数据和公交车数据的基本概率赋值函数的初始值，表示为m₁（A）和m₂（A）；

设出租车和公交车数据融合后的所得值为U，出租车数据与公交车数据分别为U1和U2；则

U = U_{1} * \frac{m_{1} (A)}{m_{1} (A) + m_{2} (A)} + U_{2} * \frac{m_{2} (A)}{m_{1} (A) + m_{2} (A)}

U的精确信任程度为：

m (A) = \frac{\underset{A_{1} \cap A_{2} = A}{Σ} m_{1} (A_{1}) m_{2} (A_{2})}{\underset{A_{1} \cap A_{2} &NotEqual; Φ}{Σ} m_{1} (A_{1}) m_{2} (A_{2})} = m_{1} (A_{1}) &CirclePlus; m_{2} (A_{2}) .

8.根据权利要求7所述的大规模交通信息的数据处理及融合方法，其特征在于，所述对完成数据补偿的多源交通数据实时分级信息融合的步骤进一步包括融合微波/线圈数据：

获得微波/线圈数据的基本概率赋值函数的初始值，表示为m₃（A）；

设置融合的数据为K，所述出租车和公交车数据融合后的所得值为K₁，微波/线圈数据为K₂；

K = K_{1} * \frac{m (A)}{m (A) + m_{3} (A)} + K_{2} * \frac{m_{3} (A)}{m (A) + m_{3} (A)}

m_{k} (K) = \frac{\underset{K 1 \cap K 2 = K 2}{Σ} m_{1} (K_{1}) m_{2} (K_{2})}{\underset{K 1 \cap K 2 &NotEqual; Φ}{Σ} m_{1} (K_{1}) m_{2} (K_{2})} = m_{1} (K_{1}) &CirclePlus; m_{2} (K_{2}) .

9.根据权利要求8所述的大规模交通信息的数据处理及融合方法，其特征在于，所述对完成数据补偿的多源交通数据实时分级信息融合的步骤进一步包括融合车牌识别数据、视频监控数据以及交通事件、交通管制、站路施工、交通事故数据。