CN103902838B

CN103902838B - 一种基于云计算的tmis车流测定方法及***

Info

Publication number: CN103902838B
Application number: CN201410154973.0A
Authority: CN
Inventors: 鲍侠; 杜振军
Original assignee: BEIJING TAILEDE INFORMATION TECHNOLOGY Co Ltd
Current assignee: BEIJING TAILEDE INFORMATION TECHNOLOGY Co Ltd
Priority date: 2014-04-17
Filing date: 2014-04-17
Publication date: 2018-06-01
Anticipated expiration: 2034-04-17
Also published as: CN103902838A

Abstract

本发明涉及一种基于云计算的TMIS车流测定方法及***。该方法包括：1）基于云平台搭建分布式存储资源池，通过TMIS采集并存储与车流推算相关的监测数据；2）通过并行处理架构对采集到的监测数据进行预处理；3）在并行处理架构下编写车流推算算法，利用静态数据计算长期车流推算的结果；4）在分布式环境下利用静态数据和动态数据推算出每个站点对应的实时车流推算的结果；5）通过云平台对外提供车流推算查询服务。该***包括采集层，存储层，引擎层，业务层，web服务层。本发明利用云平台获取TMIS***中车流推算所需要的各种数据，利用并行计算对数据进行快速处理，能够实现铁路运输的长期和实时车流推算和测定。

Description

一种基于云计算的TMIS车流测定方法及***

技术领域

本发明提供一种基于云计算的TMIS车流测定方法及***，涉及铁路运输管理信息、铁路知识库、分布式存储、并行计算、数据分析、机器学习等技术领域，用于解决铁路运输管理数据面临的车流推算问题。

背景技术

铁路运输管理信息***（TMIS，Transportation Management InformationSystem）主要包括：确报、货票、运输计划、车辆、编组站、货运站、区段站、分局调度、货车实时追踪、机车实时追踪、集装箱实时追踪、日常运输统计、现在车及车流推算、军交运输等子***。统一管理全路计算机网络，将全路部、局、分局、主要站段的计算机设备联成一个整体，采集所属全部运输设备的相关数据，如日常运输数据、位置数据等，形成了完整的铁路运输管理数据。

车流推算或称车流测定是进行车流调整的重要条件和有效手段，只有准确推算未来车流的动向与区段通过、机车供应等运输能力和临客增减、施工安排、自然灾害等情况，才能有预见地采取有效的车流调整措施。车流推算又分为长期推算和实时推算，长期推算是根据货运计划、调度计划等数据，完成对车站、分界站的车流估计；实时车流推算是根据当前的货车实时跟踪、车站现存车情况而进行的针对各个车站、分界站的实时的车流推算。

TMIS***可以为实现及时、准确的车流推算/车流测定，更好地为运输生产组织、行车调度指挥提供决策依据。铁路局运输调度车流推算及调整***的总体目标是以车流组织为核心，以十八点运输统计、月度运输计划静态信息为基点，以列车工作计划、分界***接车流变化、货运装卸组织等动态信息为依据，依托计算机、通信网络设备，实现铁路局车流推算及调整。通过对列车工作计划、分界口车流出入、货运等动态数据的采集、传输、接收、入库的实时处理和存储管理，完成各阶段、各种车流日常推算及远期车流推算。但现有的车流测定方法一般采用手工推算车流的方式，存在人力浪费、实时性差、难以处理实时监测的数据的问题和缺点。

发明内容

本发明的目的是针对铁路运输管理信息***进行补充和优化，利用云平台获取TMIS***中车流推算所需要的各种数据，包括静态数据和动态数据，利用并行计算对数据进行快速处理，以实现铁路运输的长期和实时车流推算。

云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。本发明基于虚拟化技术建立数据中心，将铁路运输产生的数据集中存储到云平台上。借助云平台的并行计算架构进行对运输数据进行统一的管理和分析，包括数据存储、建立索引、简单数据统计、深度数据挖掘和辅助决策等服务。结合云平台对TMIS提供的数据进行分析处理，可以实现车流测定（或称车流推算）功能，以更好的满足铁路运输***各个站段的计划、调度的编制和实施，减少运输中的风险，提高运输安全。

具体来说，本发明采用的技术方案如下：

一种基于云计算的TMIS车流测定方法，其步骤包括：

1）基于云平台搭建分布式存储资源池，通过TMIS的数据采集接口采集与车流推算相关的监测数据，并存储到分布式存储资源池中；

2）通过并行处理架构对采集到的监测数据进行预处理，包括对静态数据进行预处理和对动态数据进行预处理；

3）在并行处理架构下编写车流推算算法，利用预处理后的静态数据计算出长期车流推算的结果；

4）在分布式环境下对预处理后的静态数据和动态数据进行计算，推算出每个站点对应的实时车流推算的结果；

5）通过云平台对外提供车流推算结果的查询服务，包括长期车流推算和实时车流推算的接口。

进一步地，步骤1）所述的分布式存储资源池包括分布式文件***（HDFS）、列式数据库（HBase）和关系数据库集群，形成一体化的，可以满足车流推算不同所需要类型的数据的存储需求。

进一步地，步骤1）所述的监测数据具有很强的时序性，对采集到的同一时刻的数据赋予相同的时间戳。

进一步地，步骤1）所述云平台通过内部网络与TMIS连接。TMIS采集的与车流推算相关的数据具有采集点多、采集频率高、时序性、实时性强的特点，在数据存储和处理的过程中要求云平台可以快速的存储、处理数据，并能够实时的进行车流推算，以满足现场需求。为满足该应用要求，首先将采集的监测数据存储到HBase集群中，HDFS无法满足大量的小文件实时存储需求，因此需要使用HBase进行实时存储，然后通过编写脚本，定期的将HBase中的数据压缩存储到HDFS中。为了后续分布式处理的需要，可以将不同的监测数据进行分类，分别存储在不同监测HBase服务器上，便于并行处理。

进一步地，步骤1）所述云平台可以基于虚拟化集群搭建，通过在物理集群中搭建虚拟资源池，屏蔽底层硬件的差异，然后在统一的环境里搭建云计算平台。通过虚拟化计划可以更好的利用已有资源，避免资源的浪费。

进一步地，步骤2）所述的数据预处理，包括对格式化、半格式化、非格式化数据进行转换，以便于平台对数据进行存储和处理。

进一步地，步骤2）所述的静态数据包括线路、车站、站线设备等基础数据；机车、货车、货物、运输要求等运输数据；年度计划、技术计划、月度计划、日班计划、调度计划、装卸计划等数据；步骤2）所述的动态数据主要包括包括对各个站段、分界口、在途列车的实时统计数据。

进一步地，步骤3）所述的并行处理架构基于MapReduce，通过编写MapReduce程序可以实现集群的并行计算，避免了开发人员将精力过多的浪费在资源分配、容错处理、并行化等处理上，从而可以专注于业务逻辑的开发。步骤3）可以借助Hive、Pig等高等MapReduce编程语言，对获取的数据进行简单的操作，如在站车统计等。所述的MapReduce利用分布式内存实现，因为在预处理和推算的过程中数据需要不断的进行读入、写出，原有的MapReduce使用磁盘作为数据读取的介质，会严重影响数据计算的速度，不符合车流实时推算的需求，通过内存进行读写可以显著提高数据处理的速度。

进一步地，步骤3）所述的长期车流推算是根据TMIS提供的各种静态数据，然后根据车站现存车情况、日班计划、在途列车、作业计划等数据推算出，在一定时间区间内，某一个车站的接车数、在站车数和出车数。

进一步地，步骤4）所述的实时车流推算，除了长期车流推算所需要的信息外，还需要运输动态数据，包括列车、机车、货物的时空分布等，以应变在突发情况下造成的各种与计划不一致的运输状态，这就需要根据实时采集到的运输状态信息进行实时的车流推算。

进一步地，步骤4）采用的车流推算算法需要在并行计算架构下实现，以提高计算的速度，因为数据采集的频率较高，并且需要针对所有的站点、分解口进行车流推算，因此需要大量的计算。步骤4）针对某一个站点进行计算时，需要从HBase中获取时间戳在一定范围的监测数据，计算在某一时间段内所有列车的运行情况，包括位置、速度等。通过匹配车站所在的位置区段与所有车辆的位置信息，可以推算出该车站的车流情况。步骤4）得出的车流推算直接保存在HDFS上，需要编写脚本将数据存储到关系数据库集群中，并在关系数据库中建立以车站、时间等常用查询的索引策略，以便于用户可以直接通过数据库客户端进行查询操作。进一步地，步骤4）在进行数据处理之后，经过一段时间的计算，在某一时间戳之前的监测数据，不再需要进行计算处理，这部分数据可以通过压缩处理，将Hbase中的数据转换为一个单独的大文件，存储在HDFS中。

进一步地，步骤5）所述的查询接口以webservice的方式提供，采用Json或者XML格式进行结果反馈。

一种实现上述方法的基于云计算的TMIS车流测定***，其包括：

采集层，用于采集TMIS中存储的与车流推算相关的静态和动态监测数据，为车流推算供数据支撑；

存储层，用于对采集的海量的TMIS监测数据进行存储，包括HDFS分布式文件***、HBase列式数据库和关系数据库集群，实现对非结构化、半结构化和结构化数据的大规模存储；

引擎层，实现对TMIS数据的处理，包括建立索引、数据统计和深度挖掘；

业务层，实现长期车流推算和实时车流推算功能；

web服务层，实现web服务集群，通过互联网发布车流测定的结果。

进一步地，所述引擎层包括MapReduce引擎、Hive引擎、Pig引擎、Java引擎和Oracle引擎。

本发明利用云计算对铁路运输数据进行存储、管理、分析，通过高可扩展的存储及计算架构对车流推算/车流测定相关的数据进行存储和快速处理、统计分析，并提供查询服务接口。与现有技术相比，优点如下：

1）本发明实现了对TMIS采集的监测数据进行存储和处理，并利用云平台实现了车流的长期推算和实时推算，为车量实时调度提供了可靠依据，保障了车辆的运行安全。

2）本发明通过并行处理架构，可以实现对海量数据的快速计算，解决海量数据造成的统计、分析困难问题。

3）本发明通过获取货运计划、日班计划、技术计划、装卸计划等静态数据，利用车流推算算法，实现长期车流推算，为计划的编制、调整、调度提供依据。

4）本发明通过获取TMIS采集到的实时数据，包括在站车情况、在途车等实时数据，结合各种货运计划，可以针对不同的车站、分界站推算出某一个时间区段内，该站的车流情况。

5）本发明通过云服务的方式对外提供长期车流推算和实时车流推算的查询接口。本发明还可以与其它铁路运输信息集成平台集成，直接从铁路运输信息集成平台获取数据，然后通过该平台将车流推算的结果展示出来。

附图说明

图1是本发明的云计算平台架构图。

图2是本发明的车流测定***的整体架构图。

图3是车流推算的数据流图。

图4是车流推算分布式处理示意图。

具体实施方式

下面通过具体实施和附图，对本发明做进一步说明。

本发明基于云计算技术对车流推算相关数据进行存储和管理，如图1所示，主要包括分布式文件***、列式数据库、关系数据库集群、并行处理架构、内存数据库等模块，完成对静态数据和海量动态数据的存储、预处理、计算和分析等功能。***还可以选择以虚拟机方式部署集群，虚拟机更易于集群的管理和数据的备份。

***基于Hadoop和Oracle搭建，借助Hadoop的分布式文件***HDFS和并行处理架构MapReduce，可以对海量数据进行有效的存储和高效的处理。通过搭建Oracle RAC实时响应集群，可以实现对海量结构化数据的快速存储和读取。Oracle数据主要是用来接受TMIS传输的实时数据，并根据用户及***的需求定期的将Oracle RAC中的数据转移到扩展性更好的Hadoop集群中。

Hadoop利用分布式文件***可以实现对海量数据的存储，用户通过编写MapReduce程序，可以方便快速的实现对长期及实时车流推算的快速计算。

图2是***的整体架构图，包括采集层、存储层、引擎层、业务层及web服务层，分别又包含不同的功能单元。

采集层用于采集TMIS中存储的数据包括确报数据、货票数据、运输计划、车站调度数据、基本运行图、日常统计数据、机车数据、货车数据等，这些数据作为云平台进行存储和处理的数据，为车流推算供数据支撑。

存储层用于对海量的TMIS数据进行存储，包括HDFS分布式文件***、HBase列式数据库、Orace实时应用集群三个部分，实现对非结构化、半结构化和结构化数据的大规模存储。

引擎层主要实现对TMIS数据的处理，包括建立索引、数据统计、深度挖掘等。为了便于用户的可定制开发，***提供了多种开发引擎，包括MapReduce引擎、Hive、Pig引擎、Java引擎和Oracle引擎。

业务层主要实现对长期车流推算和实时车流推算功能。

web服务层用于实现web服务集群，通过互联网发布车流推算的结果。

图3是***的基本数据流图，车流推算***根据***当前采集到的列车部分情况进行确定，推算的是某一个车站某一段时间内的车流量。需要统计出当前时刻列车的部分情况，以及在站车及在途车的位置、速度、行驶计划等。

1）车流的到达时间推算：

这里设有m个列车L（L1,L2..Lm）被标识驶向车站S，列车的行驶速度为V(V1,V2..Vm)；列车当前与车站S之间的距离标识为D（D1,D2,..Dm）；列车本身的车流量标记为Qi。

列车分为在站和在途中两种状态，两种状态分别有自己的计算公式：

在站：则列车Li到S站的距离D为，该站与S站之间的距离；

在途：则列车Li到S站的距离为当前位置到S站之间的距离，在具有实时定位功能的列车中，可以直接通过定位，然后计算实时距离。当没有实时距离的时候需要根据列车的速度，离站时间等因素来计算列车当前的位置，从而获得距离D。

根据这些信息再加上列车运行时的作业计划，包括装卸车时间、列车检修时间等，就可以计算出列车Li到达S站的具体时间，具体计算公式如下：

到达时间:

T_di=D_i/V_i+T_li

其中T_di为列车L_i到达时间，T_li为列车L_i在车站中作业时间；

则对于站点S来说在T[T1,T2]时间范围内的到站车流量为，到达S站时间Td在[T1,T2]时间范围内的所有方向的列车的集合。

2）车流的去向推算：

车流的去向分为两类，一类是到站自卸；一类是S只是作为中转站；

设S站出发的列车分为n个方向分别表示为P(P1,P2,..Pn)；在某个时间段[T1,T2]，S站在某个方向上出站列车流量的计算公式可以表示为：

其中Tic为到达S站的列车出站时间，出战时间可以根据列车运行计划以及到站时间、作业计划等进行推算。通过上述步骤可以实现车流推算的能力；

车流推算可以细分为重车车流推算、空车车流推算、机车车流推算等，这些车流推算均可以依据上述公式进行计算得出。

该***需要对所有的车站、分解站进行车流推算，为了满足车流推算的实时性需求，采用并行处理架构实现上述的车流推算算法。图4描述了车流推算在MapReduce架构上的实现，即Hbase中的监测数据是如何结合算法进行分布式计算的。MapReduce分为两个阶段，分别是Map阶段和Reduce阶段。监测数据存储在HBase集群中，从n台Hbase服务器（即Hregion-1～Hregion-n）上并行地读取Ts时刻的静态和动态监测数据。通过Map阶段将这些数据进行分类和聚合，每个列车的相关数据作为一个单独的处理单元，一共有m个列车（即L1～Lm），对应m个待处理数据单元。Reduce阶段编写车流推算的算法实现，并行的对列车进行单独的计算，这样就可以计算出目标时间Ts各个列车的位置信息。各个站点可以根据列车的位置信息和静态数据判断列车是否在站，从而进行车流推算。图4中Tt是指在时刻t的推算结果。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims

1.一种基于云计算的TMIS车流测定方法，其步骤包括：

1)基于云平台搭建分布式存储资源池，通过TMIS的数据采集接口采集与车流推算相关的监测数据，并存储到分布式存储资源池中；通过将采集的监测数据存储于HBase中实现大量小文件的实时存储，并通过编写脚本定期将HBase中的数据压缩存储到HDFS中；为了后续分布式存储的需要，将不同的监测数据进行分类，分别存储在不同监测HBase服务器上，便于并行处理；

2)通过并行处理架构对采集到的监测数据进行预处理，包括对静态数据进行预处理和对动态数据进行预处理；

3)在并行处理架构下编写车流推算算法，利用预处理后的静态数据计算出长期车流推算的结果；设有m个列车L，其中L为L1,L2……Lm，被标识驶向车站S，列车的行驶速度为V，其中V为V1，V2……Vm，列车当前与车站S之间的距离标识为D，其中D为D1，D2……Dm，列车本身的车流量标记为Qi，则进行车流推算的计算公式如下:

a)车流的到达时间为：T_di＝D_i/V_i+T_li，其中T_di为列车L_i到达时间,T_li为列车L_i在车站中的作业时间；

b)在[T1,T2]时间范围内的到达S站的车流量为：

其中Ti∈[T1,T2]；

c)在[T1,T2]时间范围内S站在某个方向上出站列车流量为：

其中Tic∈[T1,T2]；

其中Tic为到达S站的列车的出站时间；

4)在分布式环境下对预处理后的静态数据和动态数据进行计算，推算出每个站点对应的实时车流推算的结果；针对某一站点进行计算时，从HBase中获取时间戳在一定范围的监测数据，计算在某一时间段内所有列车的运行情况，通过匹配车站所在的位置区段与所有车辆的位置信息推算出该车站的车流情况；得出的车流推算结果直接保存在HDFS上，通过编写脚本将数据存储到关系数据库集群中；在某一时间戳之前的监测数据，不再需要进行计算处理，这部分数据通过压缩处理，将Hbase中的数据转换为一个单独的大文件，存储在HDFS中；

5)通过云平台对外提供车流推算结果的查询服务，包括长期车流推算和实时车流推算的接口。

2.如权利要求1所述的方法，其特征在于：步骤1)所述的分布式存储资源池包括HDFS分布式文件***、HBase列式数据库和关系数据库集群；所述云平台基于虚拟化集群搭建，通过在物理集群中搭建虚拟资源池屏蔽底层硬件的差异，然后在统一的环境里搭建云平台。

3.如权利要求1所述的方法，其特征在于：步骤2)所述预处理包括对格式化、半格式化、非格式化数据进行转换，以便于云平台对数据进行存储和处理；所述静态数据包括基础数据、运输数据和计划数据，其中基础数据包括线路、车站、站线设备数据；运输数据包括机车、货车、货物、运输要求数据，计划数据包括年度计划、技术计划、月度计划、日班计划、调度计划、装卸计划数据；所述动态数据包括对各个站段、分界口、在途列车的实时统计数据。

4.如权利要求1所述的方法，其特征在于：步骤3)所述并行处理架构基于MapReduce实现，通过编写MapReduce程序实现集群的并行计算，所述MapReduce利用分布式内存实现。

5.如权利要求1所述的方法，其特征在于：步骤4)针对某一个站点进行计算时，从HBase中获取时间戳在一定范围的监测数据，计算在某一时间段内所有列车的运行情况，通过匹配车站所在的位置区段与所有车辆的位置信息推算出该车站的车流情况；得出的车流推算结果直接保存在HDFS上，通过编写脚本将数据存储到关系数据库集群中，并在关系数据库中建立常用查询的索引策略，以便于用户可以直接通过数据库客户端进行查询操作。

6.如权利要求1所述的方法，其特征在于：步骤5)所述接口以webservice的方式提供，采用Json或者XML格式进行结果反馈。

7.一种实现权利要求1所述方法的基于云计算的TMIS车流测定***，其特征在于，包括：

业务层，实现长期车流推算和实时车流推算功能；

8.如权利要求7所述的***，其特征在于，所述采集层采集的数据包括：确报数据、货票数据、运输计划、车站调度数据、基本运行图、日常统计数据、机车数据、货车数据。

9.如权利要求7所述的***，其特征在于：所述引擎层包括MapReduce引擎、Hive引擎、Pig引擎、Java引擎和Oracle引擎。