CN103035123A - 一种交通轨迹数据中异常数据获取方法及*** - Google Patents

Abstract

本发明适用于智能交通技术领域，提供了一种交通轨迹数据中异常数据获取方法及***，所述方法包括：获取待分析的交通轨迹的GPS数据；确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；统计每个子区域中包含的GPS数据点的个数；分析与每个子区域中GPS数据点匹配的虚拟路径；根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。本发明通过异常数据判断过程不需要依赖额外的数据库，因此降低了使用数据库的成本和数据分析过程的消耗，且实现过程简单。

Description

一种交通轨迹数据中异常数据获取方法及***

技术领域

本发明属于智能交通技术领域，尤其涉及一种交通轨迹数据中异常数据获取方法及***。

背景技术

近年来城市机动车的数量急速增长，引发了许多诸如堵车、停车难、打车难等严重影响老百姓出行质量的问题。同时城市的交通网络也日趋复杂，对一个完善的管理***的要求越来越高。在未来构建智能城市的蓝图中，智能交通可谓是重中之重。智能交通最核心的部分是了解机动车行驶的规律，并以此进行路段规划和交通管理。智能交通的实现必然是建立在对大量车辆的真实行驶数据进行海量数据分析之上的。车载GPS设备在城市交通中的普及使得获取车辆的位置信息变为可行。典型的例子如出租车的GPS信息。所有出租车都会将其行驶过程中的GPS数据传送回出租车服务公司的服务器以方便总部调度，从而可以汇集大量遍布城市交通网络的GPS信息。基于出租车行驶数据的交通相关的问题研究和服务开发已在政府、企业、和学术界展开。使用车辆的海量GPS数据要面临的首要问题，是如何发现和处理大量数据中的异常元素。造成异常数据的原因是多方面的：首先民用GPS设备在精度上的限制使得GPS数据常散布在真实位置的一定范围内；其次GPS设备会因为如多路径（multi-path effect)等GPS定位方法的问题给出偏差较大的GPS数据；另外，GPS设备本身可能由于缺少维护并没有正常工作，这在大量车辆的情况中还是较为常见的。使用错误的GPS数据会影响后续分析交通状况的结果，因此对GPS数据中的异常元素进行排除具有很重要的意义。

现有技术对GPS数据中的异常元素进行排除的方法主要是借助GPS数据之外的信息来对GPS数据的好坏进行判断。例如，可获取城市的范围信息，包括出租车所服务的城市的边界，以及在内的山、河、湖、海等车辆无法通行的区域，从而可认定越界或是在禁区的GPS数据为坏数据；另外，可通过车辆的GPS数据计算该车的平均速度，如果此速度值异常大，比如远远高于机动车辆在城市内的行驶限速，则可认为此GPS数据存在错误。此外，还有有不少研究使用道路匹配技术，即一种借助城市地理信息（GIS）将所有的GPS数据点匹配到具体的城市道路上的技术，并将难以合理匹配的GPS数据认定为错误数据。上述方法中，使用城市范围信息的方法十分粗糙，不能对在可行驶区域内的GPS数据进行判断。使用计算车辆平均速度的方法可以判断部分由多路径原因产生的错误数据和非正常工作GPS设备产生的错误数据，但应用范围偏窄。使用GIS进行道路匹配的方法不但要求精确的GIS道路信息，而且在处理匹配时需要做大量的概率分析从而影响了方法的性能。

综上，现有技术的对GPS数据中的异常元素进行排除的方法需要借助GPS数据之外的信息来对GPS数据的好坏进行判断，并且判断过程复杂。

发明内容

本发明实施例的目的在于提供一种交通轨迹数据中异常数据获取方法，旨在解决现有技术的对GPS数据中的异常元素进行排除的方法需要借助GPS数据之外的信息来对GPS数据的好坏进行判断，并且判断过程复杂的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本发明实施例是这样实现的，一种交通轨迹数据中异常数据获取方法，所述方法包括：

获取待分析的交通轨迹的GPS数据；

确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计每个子区域中包含的GPS数据点的个数；

分析与每个子区域中GPS数据点匹配的虚拟路径；

根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

本发明实施例还提供了一种交通估计数据中异常数据获取***，所述方法包括：

GPS数据获取单元，用于获取待分析的交通轨迹的GPS数据；

确定单元，用于确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计单元，用于统计每个子区域中包含的GPS数据点的个数；

分析单元，用于分析与每个子区域中GPS数据点匹配的虚拟路径；

异常数据获取单元，用于根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

本发明实施例与现有技术相比，有益效果在于：获取待分析的交通轨迹的GPS数据，确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域，统计每个子区域中包含的GPS数据点的个数，分析与每个子区域中GPS数据点匹配的虚拟路径，根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据，异常数据判断过程不需要依赖额外的数据库，因此降低了使用数据库的成本和数据分析过程的消耗，且实现过程简单。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的交通轨迹数据中异常数据获取方法的实现的流程图；

图2是本发明实施例一提供的获取每一子区域中的GPS数据是否为异常数据的实现的流程图；

图3a是本发明实施例一提供的现有技术方法去除异常数据后的交通轨迹数据的示意图；

图3b是本发明实施例一提供的使用本发明方法去除异常数据后的交通轨迹数据的示意图；

图4是本发明实施例二提供的交通轨迹数据中异常数据获取***的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例提供了一种交通轨迹数据中异常数据获取方法，所述方法包括：

获取待分析的交通轨迹的GPS数据；

确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计每个子区域中包含的GPS数据点的个数；

分析与每个子区域中GPS数据点匹配的虚拟路径；

根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

本发明实施例还提供了一种交通估计数据中异常数据获取***，所述方法包括：

GPS数据获取单元，用于获取待分析的交通轨迹的GPS数据；

确定单元，用于确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计单元，用于统计每个子区域中包含的GPS数据点的个数；

分析单元，用于分析与每个子区域中GPS数据点匹配的虚拟路径；

异常数据获取单元，用于根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的交通轨迹数据中异常数据获取方法的实现的流程图，详述如下：

在S101中，获取待分析的交通轨迹的GPS数据；

本实施例中，GPS数据通常以（经度、纬度）的形式表达，可以作为以经纬度绘制的二维地图上的点。

在S102中，确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

本实施例中，S102具体可以采用以下方式实现：

1、确定所述GPS数据分布的最小矩形区域，所述矩形的竖边平行于经线，矩形的横边平行于纬线；

2、以等距经线族和等距纬线族将所述最小矩形区域划分多个子区域，所述每个子区域为矩形。

本实施例中，所述最小区域及子区域的形状可以为方形、圆形、矩形等，可以根据实际处理需要确定不同的最小区域的形状。

本实施例中，可以通过网格将所述区域划分成多个子区域，优选的，采用等间距网格，划分出大小相同的出子区域，从而为后续使用一致的判断标准对所有子区域进行处理提供基础；另外通过等间距网格以任意设置每个子区域的大小，优选的，每个子区域为矩形的最长边的长度小于平均道路宽度的5倍，以保证每个子区域包含的道路轨迹基本上只有一条，且该道路估计在该子区域内近似呈现呈直线形，当然，也不能太小至丢失道路轨迹的方向信息。例如，可以设置每个子区域的最长边的长度不超过200米，即大约五倍城市机动车道路的平均宽度。

以下给出一个划分的示例，但不以此示例的情况为限：假设GPS数据分布的地理区域的最小矩形区域为A，矩形的竖边平行于经线，矩形的横边平行于纬线，矩形的经度范围为（h_min,h_max)，纬度范围为（l_min,l_max)，通过所述等距经线族和等距纬线族划分最小矩形区域A成子区域集为{a_i|i=1,2...NxM}，其中，i为***给每个子区域的唯一编号，M为经线方向划分的子区域的个数，N为纬线方向划分的子区域的个数，每个子区域亦为矩形区域。

在S103中，统计每个子区域中包含的GPS数据点的个数；

本实施例中，在最小矩形区域的（h_min,h_max)，纬度范围为（l_min,l_max)内，确定所有子区域a_i的边界，对每个GPS数据点进行判断，判断其所述的子区域，进而统计每个子区域中包含的GPS数据点的个数。

本实施例中，因为交通轨迹数据量巨大，在统计过程中，优选的，采用并行处理的方式对每个GPS数据点进行判断。

进一步的，可以使用Hadoop并行数据处理***进行GPS数据点的分析和整理，其中，编号依靠Hadoop中的Map运算，而通过Hadoop中的Reduce运算获取每个子区域包含的GPS数据点的个数，从而获取一系列以子区域的编号命名的小文件，所述每个小文件包含属于一个子区域中的包含的GPS数据的信息，例如，GPS数据点的个数，每个GPS数据点的经纬度信息，以及其它附加信息，例如在分析出租车轨迹时需要加入的点的时间戳和所属车辆的编号。在S104中，分析与每个子区域中GPS数据点匹配的虚拟路径；

在S104中，分析与每个子区域中GPS数据点匹配的虚拟路径。

本实施例中，优选的，可以通过线性回归分析，获取与每个子区域中GPS数据点匹配的虚拟路径，例如，通过对每个子区域的GPS数据点进行线性回归分析，可以获得与每个子区域中GPS数据点最匹配的虚拟路径的斜率。如果该子区域中存在一条真实道路，则拟合虚拟路径应该与道路吻合；反之，如果该子区域不存在真实道路，其中的GPS数据点全部是错误的数据，此时获取的虚拟路径的方向随机。

本实施例中，在分析过程中，优选的，仍然可以采用并行处理的方式获取与每个子区域中GPS数据点匹配的虚拟路径。

进一步的，仍然可以使用S103中提及的Hadoop的框架，具体的，可以将回归分析过程放于Reduce阶段，获取当前子区域内的GPS数据点匹配的虚拟路径。

在S105中，根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

本实施例中，S105具体可以采用以下方式实现，具体实现思想为：首先每个子区域必须包含足够多的数据点才可继续对其进行分析，如果子区域包含的数据点非常多，则认为该子区域的可信度很高，可直接判断该子区域包含正确信息；反之，如果该子区域包含的数据点的个数很少，可直接判断该子区域包含的GPS数据为异常数据，请参阅图2示出了本发明实施例一提供的获取每一子区域中的GPS数据是否为异常数据的实现的流程图，详述如下：

在S201中，判断当前子区域的GPS数据点的个数是否大于第一阈值，若否，则执行S205，若是，则执行S202。

在S202中，判断当前子区域的GPS数据点的个数是否大于第二阈值，其中，所述第一阈值小于第二阈值，若否，则执行S203，若是，则执行S204。

在S203中，判断当前子区域中所有GPS数据点与虚拟路径的垂直距离的标准差是否大于标准差阈值，若否，则执行S204，若是，则执行S205；

本实施例中，当前子区域中所有GPS数据点与虚拟路径的垂直距离的标准差的计算过程如下：计算所有GPS数据点与所述虚拟路径的垂直距离，以及所有GPS数据点与所述虚拟路径的垂直距离的平均值，根据所述所有GPS数据点与所述虚拟路径的垂直距离以及所有GPS数据点与所述虚拟路径的垂直距离的平均值计算所有GPS数据点与虚拟路径的垂直距离的标准差。

本实施例中，如果所有的GPS数据点都完美分布在真实道路之上，通过回归分析出的虚拟路径等同于真实路径，所有GPS数据点到虚拟路径的垂直距离应小于道路宽度的一半，因此所求得的标准差应同样小于标准差阈值。如果标准差偏大，则表明子区域不存在真实路径的可能性为高。

在S204中，判定当前子区域的所有GPS数据点为正常GPS数据点。

在S205中，判定当前子区域的所有GPS数据点为异常GPS数据点；

上述三个阈值：第一阈值、第二阈值及标准差阈值的确定是通过对所有子区域相关信息的统计分析得到的，具体可以使用的分析方法包括区间比例法，即分布在阈值分割区间的GPS数据点个数满足给定的比例。

以下给出数据通过本实施例提供的异常数据获取方法对交通轨迹数据进行处理的结果：数据来源于深圳市在2010年8月一个月内20000辆出租车的运营数据，每辆出租车每一分钟向数据处理中心发送一条信息，信息格式为（纬度、经度、车载状态、时间）。数据的存储格式为普通文本文件。每一个文件储存了一辆出租车以时间排序的GPS信息。全部数据包含20000个文本文件，总大小约为50G。可见，通过使用本发明方法，结合Hadoop分布式文件处理***，全部数据可以在不超过20分钟内完成错误侦测和排除工作（取决于用于存储和分析数据的服务器性能），可以得到比传统方法更好的结果。如下所示，图3a为现有技术方法去除异常数据后的交通轨迹数据的示意图；图3b为使用本发明方法去除异常数据后的交通轨迹数据的示意图。可见，使用本发明方法约占总数20%的数据点得到了排除，去除了大部分分布在合理道路之外的数据点。

本实施例中，获取待分析的交通轨迹的GPS数据，确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域，统计每个子区域中包含的GPS数据点的个数，分析与每个子区域中GPS数据点匹配的虚拟路径，根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据，异常数据判断过程不需要依赖额外的数据库，因此降低了使用数据库的成本和数据分析过程的消耗，且实现过程简单。

另外，本发明实施例中判断过程中采用的相应的技术手段还可以带来以下有益效果：

1、通过划分成多个细分的子区域，降低了个子区域之间的耦合度，从而使得对海量数据的分析过程可以并行完成，通过并行处理方式处理每个子区域的GPS数据，有效提高了异常数据判断的过程。

2、以城市道路宽度为尺度标准对城市的区域进行矩形网格划分，可以保证每个矩形子区域内包含的道路轨迹基本是唯一的，且呈直线。

3、结合GPS数据点在子区域的累积数量和虚拟路径轨迹的统计分析相结合的综合判断方法，可以有效提高对异常数据判断的准确率。

实施例二

图4示出了本发明实施例二提供的交通轨迹数据中异常数据获取***的结构图，为了便于说明，仅示出了与本发明实施例相关的部分，该***可以是内置于交通估计处理设备中的软件单元、硬件单元或者软硬结合单元。

所述方法包括：GPS数据获取单元41、确定单元42、统计单元43、分析单元44以及异常数据获取单元45。

GPS数据获取单元41，用于获取待分析的交通轨迹的GPS数据；

确定单元42，用于确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计单元43，用于统计每个子区域中包含的GPS数据点的个数；

分析单元44，用于分析与每个子区域中GPS数据点匹配的虚拟路径；

异常数据获取单元45，用于根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

可选的，所述确定单元42包括：

确定模块，用于确定所述GPS数据分布的最小矩形区域，所述矩形的竖边平行于经线，矩形的横边平行于纬线；

划分模块，用于以等距经线族和等距纬线族将所述最小矩形区域划分多个子区域，所述每个子区域为矩形。

可选的，所述每个子区域为矩形的最长边的长度小于平均道路宽度的2倍。

可选的，所述分析单元44，具体用于通过线性回归分析，获取与每个子区域中GPS数据点匹配的虚拟路径。

可选的，所述异常数据获取单元45，具体用于判断当前子区域的GPS数据点的个数是否大于第一阈值；

若小于等于第一阈值，当前子区域的所有GPS数据点为异常GPS数据点；

若大于第一阈值，则判断当前子区域的GPS数据点的个数是否大于第二阈值时；

若小于等于第二阈值，则判断当前子区域中所有GPS数据点与虚拟路径的垂直距离的标准差是否大于标准差阈值，若小于等于标准差阈值，则当前子区域的所有GPS数据点为正常GPS数据点，若大于标准差阈值，则当前子区域的所有GPS数据点为异常GPS数据点，其中，所述第一阈值小于第二阈值；

若大于第二阈值，则当前子区域的所有GPS数据点为正常GPS数据点。

本发明实施例提供的交通轨迹数据中异常数据获取***可以使用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

值得注意的是，上述***实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交通轨迹数据中异常数据获取方法，其特征在于，所述方法包括：

获取待分析的交通轨迹的GPS数据；

确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计每个子区域中包含的GPS数据点的个数；

分析与每个子区域中GPS数据点匹配的虚拟路径；

根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

2.如权利要求1所述的方法，其特征在于，所述确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域具体为：

确定所述GPS数据分布的最小矩形区域，所述矩形的竖边平行于经线，矩形的横边平行于纬线；

以等距经线族和等距纬线族将所述最小矩形区域划分多个子区域，所述每个子区域为矩形。

3.如权利要求2所述的方法，其特征在于，所述每个子区域为矩形的最长边的长度小于平均道路宽度的2倍。

4.如权利要求1所述的方法，其特征在于，所述分析与每个子区域中GPS数据点匹配的虚拟路径具体为：

通过线性回归分析，获取与每个子区域中GPS数据点匹配的虚拟路径。

5.如权利要求1所述的方法，其特征在于，所述根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据具体为：

判断当前子区域的GPS数据点的个数是否大于第一阈值；

若小于等于第一阈值，当前子区域的所有GPS数据点为异常GPS数据点；

若大于第一阈值，则判断当前子区域的GPS数据点的个数是否大于第二阈值时；

若小于等于第二阈值，则判断当前子区域中所有GPS数据点与虚拟路径的垂直距离的标准差是否大于标准差阈值，若小于等于标准差阈值，则当前子区域的所有GPS数据点为正常GPS数据点，若大于标准差阈值，则当前子区域的所有GPS数据点为异常GPS数据点，其中，所述第一阈值小于第二阈值；

若大于第二阈值，则当前子区域的所有GPS数据点为正常GPS数据点。

6.一种交通估计数据中异常数据获取***，其特征在于，所述方法包括：

GPS数据获取单元，用于获取待分析的交通轨迹的GPS数据；

确定单元，用于确定所述GPS数据分布的最小区域，并将所述区域划分成多个面积相等的子区域；

统计单元，用于统计每个子区域中包含的GPS数据点的个数；

分析单元，用于分析与每个子区域中GPS数据点匹配的虚拟路径；

异常数据获取单元，用于根据所述每个子区域中包含的GPS数据点的个数以及虚拟路径，获取每一子区域中的GPS数据是否为异常数据。

7.如权利要求6所述的***，其特征在于，所述确定单元包括：

确定模块，用于确定所述GPS数据分布的最小矩形区域，所述矩形的竖边平行于经线，矩形的横边平行于纬线；

划分模块，用于以等距经线族和等距纬线族将所述最小矩形区域划分多个子区域，所述每个子区域为矩形。

8.如权利要求6所述的***，其特征在于，所述每个子区域为矩形的最长边的长度小于平均道路宽度的5倍。

9.如权利要求6所述的***，其特征在于，分析单元，具体用于通过线性回归分析，获取与每个子区域中GPS数据点匹配的虚拟路径。

10.如权利要求6所述的***，其特征在于，所述异常数据获取单元，具体用于判断当前子区域的GPS数据点的个数是否大于第一阈值；

若小于等于第一阈值，当前子区域的所有GPS数据点为异常GPS数据点；

若大于第一阈值，则判断当前子区域的GPS数据点的个数是否大于第二阈值时；

若小于等于第二阈值，则判断当前子区域中所有GPS数据点与虚拟路径的垂直距离的标准差是否大于标准差阈值，若小于等于标准差阈值，则当前子区域的所有GPS数据点为正常GPS数据点，若大于标准差阈值，则当前子区域的所有GPS数据点为异常GPS数据点，其中，所述第一阈值小于第二阈值；

若大于第二阈值，则当前子区域的所有GPS数据点为正常GPS数据点。

Images