CN101609610B - 一种航班信息数据采集器及其处理方法 - Google Patents

Abstract

本发明涉及一种航班信息数据采集器及其处理方法。本发明属于民航技术领域。一种航班信息数据采集器，有电源、微处理器、输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元组成，微处理器连接控制输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元。航班信息数据采集器处理方法，其从航空公司、机场、空管的多样化网站上、业务***数据库中、共享数据服务的数据源上定时设置采集获取航班信息；对采集到的数据依据定制模板进行抽取，获取需要的定制信息，数据信息打包成文件，投递和存储。本发明形成统一、完整、一致的数据形式，实现数据交换与共享，为发布、决策提供完整、准确、及时的数据信息。

Description

一种航班信息数据采集器及其处理方法

技术领域

本发明属于民航技术领域，特别是涉及一种航班信息数据采集器及其处理方法。

背景技术

目前，在基于服务架构的民航综合信息管理平台研究建设中的数据来源有航空公司、机场、空管局等，各数据源存在数据概念不明确，不全面，不及时等问题；且不同数据来源业务单位的***可能是异构的，网络环境也是异构的，实现的技术也是异构的，这种信息分散、缺少有效的互连互通机制的状况，阻碍了行业内信息的交流与共享，不能充分、高效发挥信息对生产运营的促进作用，难以实现行业内的协同决策。一旦出现紧急情况，监管部门缺少有效的方式全方位获取及时的生产运营状况信息，难以协调有关部门实施有效的应急指挥。

发明内容

本发明为解决现有技术存在的问题，提供了一种航班信息数据采集器及其处理方法。

本发明要解决现有技术问题，首先采集分散在各部门的民航生产信息，对信息进行规范梳理，形成统一、完整、一致的数据形式，在此基础上实现面向公众的信息发布和面向行业单位及监管部门的决策支持和应急指挥。

本发明目的之一是提供一种把航空公司，空管，机场的网站上、业务***、共享数据服务商的综合信息，分类别、有层次、完整、准确、及时地采集并传递到民航公众信息服务平台的数据库中等特点的航班信息数据采集器。

本发明航班信息数据采集器采用如下技术方案：

一种航班信息数据采集器，其特点是：有电源、微处理器、输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元组成，微处理器连接控制输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元，数据获取单元由通信单元连接采集分散在航空公司、机场、空管的网站、业务***、共享服务上的民航信息，微处理器连接控制对信息进行规范抽取、获取定制信息的数据处理单元，微处理器连接控制以消息的形式投递获取数据的通信单元和获取数据存储的数据存储单元。

本发明航班信息数据采集器还可以采用如下技术措施：

所述的航班信息数据采集器，其特点是：数据获取单元，内置主动采集获取模块和被动采集获取模块；主动采集获取模块，为数据源参数设置信息和分类获取航班信息的模块；被动采集获取模块为对主动投递数据源传输数据的实时物理接收，并进行数据解压、数据来源特征识别，再交由数据处理单元抽取处理的模块。

所述的航班信息数据采集器，其特点是：数据处理单元，内置定制抽取模板，定制抽取模板为抽取规则、业务引擎，进行内容识别与抽取，识别和确定数据范围，进行数据转换，再分析整理形成按规则定义后的数据，压缩处理，生成打包成标准文件格式、进行数据投递或直接交由数据存储单元存储处理的模块。

所述的航班信息数据采集器，其特点是：数据存储单元，是对打包成标准文件格式、进行数据投递或直接交由数据存储单元存储处理的模块。

所述的航班信息数据采集器，其特点是：输入控制单元，为触摸屏式手写输入方式，对采集源添加、修改、停/启控制，对采集模板、参数输入调整设置单元；显示单元，为显示数据信息，监控采集过程，分析采集结果的LCD彩色液晶模块。

所述的航班信息数据采集器，其特点是：数据通信单元，为通信方式内置FTP/S、HTTP/S、POP3/SMTP、XFB通信协议支持和无线通信模块；有图形化界面；有采用多协议方式进行多源异构数据的采集、接收来源数据采集通讯接口；有连接外存储设备，是数据采集获取单元进行存储和外存储设备的存储设备通讯接口。

航班信息采集器，为跨越各种软硬件平台、多样化网站、多种类业务***数据库、各种共享数据服务和多元采集方式之间的差异，提供了有效的技术途径和工具。能够存取并更新在不同的操作***、硬件平台上，存储于不同数据库中的，基于各种数据格式标准或平文格式的数据。它能把实时的、事件驱动的及完全集成的应用数据交换与数据库直接连接、把开放式接口设计、可扩展性及灵活性有机的结合在一起，并且在通信上可以综合使用FTP/S、HTTP/S、POP3/SMTP、XFB等通信协议。

封装各种数据采集逻辑，形成多样采集中间件，实现多样化网站、多种类业务***数据库、各种共享数据服务等多个异构***数据源的数据采集。

本发明目的之二是提供一种把航空公司，空管，机场的网站上、业务***、共享数据服务商的综合信息，分类别、有层次、完整、准确、及时地采集并传递到民航公众信息服务平台的数据库中，为公众及行业部门的服务请求提供准确及时的信息等特点的航班信息数据采集器的处理方法。

本发明航班信息数据采集器的处理方法采用如下技术方案：

所述的航班信息数据采集器处理方法，其特点是：数据采集器从航空公司、机场、空管的多样化网站上、业务***数据库中、共享数据服务的数据源上定时设置采集获取航班信息；对采集到的数据依据定制模板进行抽取，获取需要的定制信息，并把数据信息打包成文件，以消息的形式投递、存储，并对采集过程监控，分析采集结果。

本发明航班信息数据采集器的处理方法还可以采用如下技术措施：

所述的航班信息数据采集器处理方法，其特点是：网站采集信息处理，添加停用启用数据源，在每个网站数据源配置文件中配置其URL地址、参数、编码、页面抽取内容匹配设置和采集频率；数据获取单元根据配置中的URL地址、参数，以HTTP请求的方式向航空公司、空管、机场的网站请求查询，解析页面模块以XML格式对查询的结果HTML页面进行具体内容项解析，数据抽取模块对解析后的数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

所述的航班信息数据采集器处理方法，其特点是：业务***数据库中数据采集信息处理，内置Oracle、SQL Server、Sybase数据驱动模块，配置抽取数据类型、数据表，通过触发器或数据库日志文件监视方式实现生产数据发生更新时，向数据更新监听进程发送数据更新通知，并存储数据到临时表中，数据抽取模块对临时表数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

所述的航班信息数据采集器处理方法，其特点是：共享数据服务数据采集信息处理，根据共享数据服务FTP、Web Service数据源的服务地址、参数、采集频率、数据类型、抽取模板设置信息，定期调用Web服务的方法来获取航班数据信息，对Web服务响应的结果，数据抽取模块对解析后的数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

航班信息数据采集器被动数据采集处理，内置消息中间件处理机制，基于JMS规范监听接收发过来的数据文件，然后调用数据解析引擎实现对数据的解析转换处理，并依据业务规则进行校验；数据抽取模块对解析转换后的数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

航班信息数据采集器处理方法，其数据信息内容有：航班信息：航班计划信息、航班动态信息、机场交通信息、地面服务信息、跑道信息、餐食信息、机务相关信息、旅客流量信息、货邮流量信息、气象信息；采集参数：采集频率、投递地址、用户名、密码；采集源信息：采集源名称、抽取模板识别信息、停/启状态、文件命名规则、数据源类别；采集日志：记录时间、采集数据源、采集次数、采集开始时间、采集结束时间、采集结果存储路径、抽取开始时间/结束时间、抽取投递文件路径、投递开始时间/结束时间、投递状态、抽取状态、采集状态。

本发明航班信息数据采集器处理方法，数据流转换的功能是将接收的数据流转成XML格式的数据。然后进行XML数据格式校验操作。原始格式数据处理的功能是对接收到的数据按照业务数据的原始格式进行处理，生成标准的DML数据。数据转换处理的功能是对接收到的数据按照数据中心数据库的格式进行处理，生成标准的DML数据。数据加载的功能是对接收到的数据进行加载到数据库中。

为了在“数据源是多种多样，数据格式各不相同”的数据环境下，使数据采集器正常运行，而且能够满足将来整个***的业务和处理功能的扩展需求。数据采集器的各项运行参数可以灵活设置，动态加载。

原始格式数据在数据采集过程中，可以在多个关键处理点，进行数据保存操作。以保证数据采集过程中出现异常情况，如：断电、网络通讯中断、数据中心数据库不能写入等情况，数据不会丢失。在异常情况解除以后，仍然可以正常进行数据采集处理，包括在异常期间的收到的数据。

本发明特征：

1、不同数据来源业务单位的***可能是异构的，网络环境也是异构的，实现的技术也是异构的，数据采集功能就是负责采集来自不同数据源的数据，统一处理，为后续的数据传输工作提供数据准备。针对不同数据源，封装各种数据采集方式，形成采集中间件，实现多个异构、多元***数据源的数据采集。

1.1按照数据采集的方式划分，分为主动获取数据和被动获取数据两种方式。主动获取，定时主动获取网站、业务***数据库、共享数据服务上数据信息，再依据模板抽取设置进行数据检查、抽取、转换处理；被动获取数据，数据采集器向各部门消息中间件订阅消息主题，消息中间件通过配置订阅方的地址，会主动向数据采集器发送XML消息，数据采集器接受XML消息，把取得的数据进行过滤，抽取转换；以XML文件方式为接口，支持数字证书和加密算法，支持传输协议的实施。

1.2数据库设计

1.2.1航班信息：航班计划信息、航班动态信息、机场交通信息、地面服务信息、跑道信息、餐食信息、机务相关信息、旅客流量信息、货邮流量信息、气象信息；

1.2.2采集参数：采集频率、投递地址、用户名、密码；

1.2.3采集源信息：采集源名称、抽取模板识别信息、停/启状态、文件命名规则、数据源类别；

1.2.4采集日志：记录时间、采集数据源、采集次数、采集开始时间、采集结束时间、采集结果存储路径、抽取开始时间、抽取结束时间、抽取投递文件路径、投递开始时间、投递结束时间、投递状态码、抽取状态码、采集状态码。

2、异常处理策略

2.1轮询程序运行异常，定时监测轮询程序运行状态，若发生异常需要重启定时轮询程序并根据记录的日志时刻按时间戳重新发送更新数据查询请求，并根据数据更新请求发送时刻与最新的数据更新时间戳，对定时轮询起始时刻进行修正，并记录相关日志；

2.2请求访问异常，当访问Web Service、HTTP等数据服务超时或出错时，记录相关日志。

2.3压缩文件生成异常，重启压缩程序进行文件压缩，并记录相关日志。

本发明具有的优点和积极效果：

航班信息数据采集器及其处理方法，由于采用本发明全新的技术方案，将空管、机场、航空公司等生产单位的相关信息以一定的业务规则采集到平台数据库中，采集获取、发送和接收不必在线等待，同时将来各个生产***的变更与升级不会对采集带来影响，易于维护；可方便地支持多种程序开发语言，能够兼容各种应用程序。将来任何一方可能的生产***升级或换代等调整，都不会影响采集的生产与维护，只需相应修改配置即可对信息进行规范梳理，形成统一、完整、一致的数据形式，实现数据交换与共享，并为信息发布、决策支持等提供完整、准确、及时的数据服务。

附图说明

图1航班信息数据采集器结构示意图；

图2航班信息数据采集器数据处理总体流程图；

图3航班信息采集器网站数据采集处理流程图；

图4航班信息采集器抽取转换数据处理流程图；

图5航班信息采集器投递存储数据处理流程图。

图中，1-通信接口，2-电源，3-手写输入显示屏，4-无线通信，5-停启开关。

具体实施方式

为能进一步了解本发明的技术内容、特点及功效，兹列举以下实例，并配合附图详细说明如下：

参照附图1、图2、图3、图4和图5。

实施例1

一种航班信息数据采集器，有电源2、停启开关5、微处理器、输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元组成，微处理器连接控制输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元，数据获取单元由通信接口1连接采集分散在航空公司、机场、空管的网站、业务***、共享服务上的民航信息，微处理器连接控制对信息进行规范抽取、获取定制信息的数据处理单元，微处理器连接控制以消息的形式投递获取数据的无线通信4单元和获取数据存储的数据存储单元。

数据获取单元，内置主动采集获取模块和被动采集获取模块；主动采集获取模块，为数据源参数设置信息和分类获取航班信息的模块；被动采集获取模块为对主动投递数据源传输数据的实时物理接收，并进行数据解压、数据来源特征识别，再交由数据处理单元抽取处理的模块。

数据处理单元，内置定制抽取模板，定制抽取模板为抽取规则、业务引擎，进行内容识别与抽取，识别和确定数据范围，进行数据转换，再分析整理形成按规则定义后的数据，压缩处理，生成打包成标准XML文件格式、进行数据投递或直接交由数据存储单元存储处理的模块。

数据存储单元，是对打包成标准XML文件格式、进行数据投递或直接交由数据存储单元存储处理的模块。存储包括各采集获取来源数据的接收分类临时二级存储及对投递数据、永久存储失败的采集处理数据的临时二级存储。

输入控制单元，为触摸屏式手写输入方式，对采集源添加、修改、停/启控制，对采集模板、参数输入调整设置单元；显示单元，为显示数据信息，监控采集过程模块，有分析采集结果的LCD彩色液晶手写输入显示屏3。

数据通信单元，为通信方式内置FTP/S、HTTP/S、POP3/SMTP、XFB通信协议支持和无线通信模块；有图形化界面；有采用多协议方式进行多源异构数据的采集、接收来源数据采集通讯接口；有连接外存储设备，是数据采集获取单元进行存储和外存储设备的存储设备通讯接口。

实施例2

航班信息数据采集器处理方法：数据采集器从航空公司、机场、空管的多样化网站上、业务***数据库中、共享数据服务的数据源上定时设置采集获取航班信息；对采集到的数据依据定制模板进行抽取，获取需要的定制信息，并把数据信息打包成XML格式文件，以消息的形式投递、存储，并对采集过程监控，分析采集结果。

网站采集信息处理，添加停用启用数据源，在每个网站数据源配置文件中配置其URL地址、参数、编码、页面抽取内容匹配设置和采集频率；数据获取单元根据配置中的URL地址、参数，以HTTP请求的方式向航空公司、空管、机场的网站请求查询，解析页面模块以XML格式对查询的结果HTML页面进行具体内容项解析，数据抽取模块对解析后的数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

业务***数据库中数据采集信息处理，内置Oracle、SQL Server、Sybase数据驱动模块，配置抽取数据类型、数据表，通过触发器或数据库日志文件监视方式实现生产数据发生更新时，向数据更新监听进程发送数据更新通知，并存储数据到临时表中，数据抽取模块对临时表数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

共享数据服务数据采集信息处理，根据共享数据服务FTP、Web Service数据源的服务地址、参数、采集频率、数据类型、抽取模板设置信息，定期调用Web服务的方法来获取航班数据信息，对Web服务响应的结果，数据抽取模块对解析后的数据依据模板配置进行抽取，并按照数据交换标准组装成XML格式进行投递、存储。

实施例3

国航综合信息平台提供Web服务，航班信息采集器通过定期调用Web服务的方法来获取生产数据：其获取数据的执行过程如下：

(1)首先有一个航班信息采集器定时(间隔1分钟)调用国航提供的Web服务(数据查询)，调用参数包含数据的更新时间作为查询约束条件。

(2)对Web服务响应的结果进行校验，如果数据正确，数据抽取单元需要将收到的数据持久化，以用作备份，同时调用数据投递、存储统进行数据传输投递存储；如果数据校验失败，则需要重新调用国航提供的Web服务。

(3)航班信息采集器调用利用数据投递完成数据的传输；当数据传输成功后，传输子接收发一个回执；数据采集器收到回执后，将备份在本地的消息删除。

实施例4

南航网站提供航班动态信息查询服务，航班信息采集器根据配置数据源URL，构造Http Post请求，然后结合Xml配置中的需要查询的节点解析响应结果(html文件)，并调用数据抽取模块将解析后的数据按照标准进行XML格式组织，通过数据投递模块将组织好的数据进投递、存储。采集速度性能优化解决方法：根据班期时刻表，每次轮回采集数据范围为预起前1小时开始采集预起，预落，实起数据；有预起变动则采集随之变化推迟，有实起则根据飞行时间段，测算预计降落时间，提前30分钟采集实降(按飞行时间6小时内提前30分钟，6小时以上提前1小时，12小时以上提前1.5小时采集实降)。采集航班动态信息遵循各航班已实降或取消，或共享航班则停止采集，无实降则每次轮回都要采集的基本原则。

本发明的软硬件***构成和实施过程：

航班信息数据采集器及其处理方法，有电源***、微处理器、输入控制单元、显示单元、通信单元、数据采集获取单元、数据处理单元、数据投递存储单元共同组成采集器设备；实现定时设置从现有航空公司、机场、空管的网站上、业务***数据库中、共享数据服务等数据源上采集获取航班信息。对采集到的数据依据定制模板进行抽取，获取需要的定制信息；为了展示数据交换标准的可行性，数据采集器将获取的数据打包成XML文件，以消息的形式投递、存储，形成统一、完整、一致的数据形式，为实现数据整合、交换与共享和信息发布、决策支持等提供完整、准确、及时的数据服务。

1、利用输入控制、显示单元提供的管理界面设置采集参数信息、数据源信息、抽取模板、校验规则、投递地址信息及存储设置信息。

2、设置通信协议，保障采集器与数据源、投递地址及数据存储的网络能够正常通信，然后启动采集开关。

3、数据采集获取单元，读取采集参数、数据源信息，主动采集获取模块，根据数据源参数设置信息，构造采集轮询列表信息，分类获取航班信息，并把采集回的数据信息交由数据处理单元抽取处理；被动采集获取模块实现对主动投递数据源传输数据的实时物理接收，并进行数据解压、数据来源特征识别，交由数据处理单元抽取处理。

4、数据抽取转换处理单元，内置定制抽取模板，根据抽取规则、业务引擎，进行内容识别与抽取，识别和确定数据范围，进行数据转换，再分析整理形成按规则定义后的数据，压缩处理，生成打包成标准XML文件格式、进行数据投递或直接交由数据存储单元存储处理。

5、数据投递存储单元，存储包括各采集获取来源数据的接收分类临时二级存储及对投递数据、永久存储失败的采集处理数据的临时二级存储；该处理对打包成标准XML文件格式、进行数据投递或直接交由数据存储单元存储处理。

6、在显示模块LCD彩色液晶模块显示数据信息，可查看采集日志信息，监控采集过程，分析采集结果。

数据结构：航班信息：航班计划信息、航班动态信息、机场交通信息、地面服务信息、跑道信息、餐食信息、机务相关信息、旅客流量信息、货邮流量信息、气象信息；采集参数：采集频率、投递地址、用户名、密码；采集源信息：采集源名称、抽取模板识别信息、停/启状态、文件命名规则、数据源类别；采集日志：记录时间、采集数据源、采集次数、采集开始时间、采集结束时间、采集结果存储路径、抽取开始时间、抽取结束时间、抽取投递文件路径、投递开始时间、投递结束时间、投递状态码、抽取状态码、采集状态码。

Claims (4)

1.一种航班信息数据采集器，其特征是：有电源、微处理器、输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元组成，微处理器连接控制输入控制、显示单元、通信单元、数据获取单元、数据处理单元和数据存储单元，数据获取单元由通信单元连接采集分散在航空公司、机场、空管的网站、业务***、共享服务上的民航信息，微处理器连接控制对信息进行规范抽取、获取定制信息的数据处理单元，微处理器连接控制以消息的形式投递获取数据的通信单元和获取数据存储的数据存储单元；数据获取单元，内置主动采集获取模块和被动采集获取模块；主动采集获取模块，为数据源参数设置信息和分类获取航班信息的模块；被动采集获取模块为对主动投递数据源传输数据的实时物理接收，并进行数据解压、数据来源特征识别，再交由数据处理单元抽取处理的模块。

2.根据权利要求1所述的航班信息数据采集器，其特征是：数据处理单元，内置定制抽取模板，定制抽取模板为抽取规则、业务引擎，进行内容识别与抽取，识别和确定数据范围，进行数据转换，再分析整理形成按规则定义后的数据，压缩处理，生成打包成标准文件格式、进行数据投递或直接交由数据存储单元存储处理的模块。

3.根据权利要求1所述的航班信息数据采集器，其特征是：输入控制单元，为触摸屏式手写输入方式，对采集源添加、修改、停/启控制，对采集模板、参数输入调整设置单元；显示单元，为显示数据信息，监控采集过程，分析采集结果的LCD彩色液晶模块。

4.根据权利要求1所述的航班信息数据采集器，其特征是：数据通信单元，为通信方式内置FTP/S、HTTP/S、POP3/SMTP、XFB通信协议支持和无线通信模块；有图形化界面；有采用多协议方式进行多源异构数据的采集、接收来源数据采集通讯接口；有连接外存储设备，是数据采集获取单元进行存储和外存储设备的存储设备通讯接口。

Images