CN110138828A - 机场动态终端实时数据监控处理方法 - Google Patents
机场动态终端实时数据监控处理方法 Download PDFInfo
- Publication number
- CN110138828A CN110138828A CN201910275089.5A CN201910275089A CN110138828A CN 110138828 A CN110138828 A CN 110138828A CN 201910275089 A CN201910275089 A CN 201910275089A CN 110138828 A CN110138828 A CN 110138828A
- Authority
- CN
- China
- Prior art keywords
- data
- real time
- position data
- terminal
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/164—Adaptation or special uses of UDP protocol
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明所述机场动态终端实时数据监控处理方法,针对民航领域的业务应用需求,建立机场地面服务人员与终端实时位置数据的处理新机制,以灵活地调节存储与传输频率,优化上传数据以节省空间和提高处理效率,在使用上满足机场地面综合化高标准管理需求。实时数据监控处理方法包括有以下步骤,1)在终端模块缓存实时位置数据;将5‑15分钟之内的位置数据,实时地写入终端模块的缓存区中,同时将超过时限的过期数据被清除出缓存区;2)按配置的上传频率将位置数据上传至主站;每次上传的位置数据,是在上传间隔时间之内的所有位置数据的平均值,数据被存储于大数据平台;3)针对特殊场景,临时提高位置数据的上传频率。
Description
技术领域
本发明涉及一种机场动态终端实时位置数据的监控***及其监控处理方法,属于民用航空运输的大数据处理平台领域。
背景技术
目前国内民航领域的机场内部组织结构较为复杂,为了能够工作人员、保障车辆以及进出港航班信息进行精细化管理与调控,需要实时地处理上述人员与移动工作终端的位置数据,以作为后续派工、违章预警等重要环节的管理依据。
现有机场动态终端实时数据的种类与数量均较多,在保障数据实时性要求的前提下通常的频次为一秒一次。粗略算来每天就有几十GB容量的数据需要进行存储、转发以及处理,因此现有技术中主要存在的问题是,采集终端数据众多、采集频率较高,采集的数据量过大,给后续传输、应用、存储模块带来了巨大压力。
如何对采集的原始位置数据进行更有效地预处理,直接决定了调度***决策调度以及后续历史查询、违章预警判断、轨迹回放等的最终效果。
有鉴于此,特提出本专利申请。
发明内容
本发明所述机场动态终端实时数据监控处理方法,设计目的在于解决上述现有技术存在的问题而针对民航领域的业务应用需求,建立机场地面服务人员与终端实时位置数据的处理新机制,以灵活地调节存储与传输频率,优化上传数据以节省空间和提高处理效率,在使用上满足机场地面综合化高标准管理需求。
所述机场动态终端实时数据监控处理方法,主要包括有以下执行步骤:
1)在终端模块缓存实时位置数据;
将5-15分钟之内的位置数据,实时地写入终端模块的缓存区中,同时将超过时限的过期数据被清除出缓存区;
2)按配置的上传频率将位置数据上传至主站;
每次上传的位置数据,是在上传间隔时间之内的所有位置数据的平均值,数据被存储于大数据平台;
3)针对特殊场景,临时提高位置数据的上传频率。
进一步地,在主站与动态终端之间的数据通讯基于UDP协议,以满足位置数据上送的实时性和节省流量有一定的要求。采用UDP协议,一方面UDP通讯协议跨平台跨语言兼容了平板、手持终端、工控机、单片机等不同类型终端和不同的开发语言;另一方面,UDP无连接、无状态、减少了通讯协议本身带来的流量消耗。
进一步地,在所述步骤2)、步骤3)中,动态终端上送至主站的位置数据中包括有以下控制节点,起始码、终端ID、控制字、经度、纬度、速度、方向、序列号和结束码。
基于相同的设计构思,在所述步骤2)、步骤3)中,主站下达终端改变位置数据上送频率的命令数据中包括以下控制节点,起始码、终端ID、控制字、上送频率、序列号和结束码。
综上内容,所述机场动态终端实时数据监控处理方法具有的优点是:
1、通过在终端装置做缓存控制位置数据上送频率,以及特殊场景临时提高终端的位置数据上送频率的方式,减少了主站***带宽、CPU等性能压力,并保证了上层应用***对特殊场景的高密度位置数据需求。
2、针对大量终端装置长期运行产生海量历史数据的问题,采用Oracle按天自动分区的设计,以及历史数据Hadoop存储的方案,并且通过IO多路复用模型优化,解决了历史数据存储、查询与回放的网速压力。
3、采用IO多路复用模型,更好地利用CPU资源而提高了实时数据处理效率。
4、在传输数据上采用Protobuf框架高压缩方式,有效地实现了机场实时大数据的传输与存储,数据处理效率较高,使得终端APP以及网页客户端在使用时无明显的延迟。
附图说明
图1是机场动态终端实时数据监控处理***示意图;
图2是机场动态终端实时数据监控处理方法的流程图;
具体实施方式
下面结合附图和实施例对本发明作进一步地说明。
实施例1,如图1和图2所示,所述机场动态终端实时数据监控处理***,采用JavaEE体系,在功能模块切分部署方面参考使用微服务架构,不同部署节点之间使用Http请求和MQ方式通讯。
从功能划分上,实时数据监控处理***分为以下主要模块:
主站,为核心业务子***,负责调度派工等管理业务、与终端直接交互并对终端下达指令和接收终端上传的数据;
即时通讯后台,负责整体即时通讯消息收发处理;
大数据平台,按天自动分区存储实时数据以备查询与回放;
无线站坪消息后台,负责车辆、人员、航空飞行器实时位置状态管理;
GPS服务端,提供地图服务;
终端模块,安装在人员和动态终端中,负责终端业务功能操作。
基于上述实时数据监控处理***,安装或携带于航班、车辆和人员的动态终端通过GPS服务端获取实时的位置数据。
在数据的存储上,本申请在大数据平台上采用了Oracle按天自动分区的设计,以及历史数据Hadoop存储的方案,以应对每天生成的海量实时位置数据、避免因采用单表设计而导致单表***的使用问题、保障历史查询的完整与准确性;
针对存储日期较早的位置数据,由于访问频次较低,则通过Sqoop同步导入到Hadoop集群中。
所述的机场动态终端实时数据监控处理方法包括以下执行步骤:
1)在终端模块缓存实时位置数据;
在终端模块上可缓存10分钟之内的位置数据,并且实时地将最新位置数据写入缓存区中,超过时限的过期数据被清除出缓存区;
2)按配置的上传频率将位置数据上传至主站;
如可根据需求选择每秒、每2秒、每5秒等频次,每次上传的位置数据是上传间隔时间之内的位置数据的平均值;由主站统一地存储于大数据平台,以由此可解决大量终端同时向主站发送高频数据带来的传输与存储压力。
3)针对特殊场景,临时提高位置数据的上传频率;
所针对的特殊场景,是指需要获取航班、车辆和人员的高密度位置信息的场景。即通过实时的位置信息判断航班、车辆和人员是否处于特殊场景;
若处于特殊场景,则临时提高位置数据的上传频率。
所述特殊场景,包括但不仅限于以下场景:
场景一、判断车辆是否靠近航空器有效范围之内,即实时地计算车辆与航空器之间的位置距离;
当车辆和航空器的位置小于100米时,主站下达命令将终端位置数据上送频率调高至每秒10次;当车辆和航空器位置再次大于100米时,主站下达命令将上送频率恢复至每秒1次。
场景二、判断车辆是否出现违章可能;如当车辆速度超过30千米/小时时、或者车辆位置处于限定区域(限定区域为主站所配置的经纬度范围之内)时,主站下达命令将终端位置数据上送频率提高至每秒10次;当车辆速度再次小于30千米/小时、且车辆位置不在限定区域之内时,主站下达命令以将上送频率恢复至每秒1次。
场景三、判断航空器是否处于进、出机位;如判断航空器GPS速度大于0、航空器与机位中心之间的距离(机位中心位置的经纬度在主站进行专门地配置)小余50 米时,主站下达命令以将终端位置数据上送频率调高至每秒10次;当航空器GPS速度等于0、或航空器与机位中心之间的距离大于50米时,主站下达命令以将上送频率恢复至每秒1次。
在上述步骤2)、步骤3)中,实时位置数据的上送方式采用无线网络,即采用UDP 协议进行主站与动态终端之间的通讯,以满足位置数据上送的实时性和节省流量有一定的要求。
在数据格式方面,可采用以下自定义规约。
1、终端上送至主站的位置数据的数据帧格式如下:
起始码 | 终端ID | 控制字 | 经度 | 纬度 | 速度 | 方向 | 序列号 | 结束码 |
5AH | 4字节 | 01H | 4字节 | 4字节 | 4字节 | 4字节 | 4字节 | A5H |
其中,起始码固定为5AH一个字节;终端ID,为4个字节的无符号整型,高字节在前,低字节在后;控制字,以01H表示终端向主站上送位置数据;经度、纬度、速度和方向,均为4个字节的浮点型数据;序列号,为4个字节的无符号整数,终端每次将此数加1发送;结束码,固定为A5H的一个字节。
主站接收到终端上送的位置数据报文以后,回应如下报文以表示“收到了”:
起始码 | 终端ID | 控制字 | 序列号 | 结束码 |
5AH | 4字节 | 01H | 4字节 | A5H |
具体的数据帧格式是,序列号为主站收到的某一终端发送的特定的序列号,通过该序列号来区分同一终端多次上送的位置数据。若终端向主站发送的位置数据3秒后未收到主站回复,则将本条位置数据报文每隔3秒再发送一次,最多重复发送5次。若终端连续3次发送位置数据未收到主站回复,则记录异常日志。
2、主站下达终端改变位置数据上送频率的命令数据帧如下:
起始码 | 终端ID | 控制字 | 上送频率 | 序列号 | 结束码 |
5AH | 4字节 | 02H | 4字节 | 4字节 | A5H |
其中,起始码,为5AH的一个固定字节;终端ID,为4个字节的无符号整型,高字节在前、低字节在后;控制字,为02H以表示主站命令终端改变位置数据上送频率,主站设定的上送频率为4个字节的无符号整型,高字节在前、低字节在后,单位为次/每毫秒;序列号,为4个字节的无符号整数,主站每次将此数加1发送;结束码,为A5H的一个固定字节。
终端收到主站改变位置数据上送频率的报文后,回应如下报文:
起始码 | 终端ID | 控制字 | 序列号 | 结束码 |
5AH | 4字节 | 02H | 4字节 | A5H |
数据帧格式是,序列号,为终端收到的主站发送的某一特定序列号,由序列号来区分主站多次发送的02H指令;若主站向终端发送02H指令后的3秒内未收到终端回复,则将本条02H指令每隔3秒再发送一次,最多重复发送5次;若主站连续3次发送 02H指令未收到终端回复,则记录异常日志。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种机场动态终端实时数据监控处理方法,其特征在于:包括有以下步骤,
1)在终端模块缓存实时位置数据;
将5-15分钟之内的位置数据,实时地写入终端模块的缓存区中,同时将超过时限的过期数据被清除出缓存区;
2)按配置的上传频率将位置数据上传至主站;
每次上传的位置数据,是在上传间隔时间之内的所有位置数据的平均值,数据被存储于大数据平台;
3)针对特殊场景,临时提高位置数据的上传频率。
2.根据权利要求1所述的机场动态终端实时数据监控处理方法,其特征在于:在主站与动态终端之间的数据通讯基于UDP协议。
3.根据权利要求1所述的机场动态终端实时数据监控处理方法,其特征在于:在所述步骤2)、步骤3)中,动态终端上送至主站的位置数据中包括有以下控制节点,起始码、终端ID、控制字、经度、纬度、速度、方向、序列号和结束码。
4.根据权利要求1所述的机场动态终端实时数据监控处理方法,其特征在于:在所述步骤2)、步骤3)中,主站下达终端改变位置数据上送频率的命令数据中包括以下控制节点,起始码、终端ID、控制字、上送频率、序列号和结束码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910275089.5A CN110138828A (zh) | 2019-04-08 | 2019-04-08 | 机场动态终端实时数据监控处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910275089.5A CN110138828A (zh) | 2019-04-08 | 2019-04-08 | 机场动态终端实时数据监控处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110138828A true CN110138828A (zh) | 2019-08-16 |
Family
ID=67569301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910275089.5A Pending CN110138828A (zh) | 2019-04-08 | 2019-04-08 | 机场动态终端实时数据监控处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110138828A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113219235A (zh) * | 2021-05-10 | 2021-08-06 | 南京海兴电网技术有限公司 | 一种应用于用电采集***中的高实时性数据更新方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034343A (zh) * | 2009-09-29 | 2011-04-27 | 浙江省电力公司 | 一种基于随机值的用电信息采集终端数据上送方法 |
CN102510134A (zh) * | 2011-11-25 | 2012-06-20 | 清华大学 | 一种对电力***动态监测和控制的方法 |
CN104639654A (zh) * | 2015-03-05 | 2015-05-20 | 国家电网公司 | 海量用电信息采集终端一体化接入***及方法 |
CN105122243A (zh) * | 2013-03-15 | 2015-12-02 | 亚马逊科技公司 | 用于半结构化数据的可扩展分析平台 |
CN105228176A (zh) * | 2015-08-21 | 2016-01-06 | 慧感(上海)物联网科技有限公司 | 一种轻量级无线传感网络的传感节点运行模式切换方法 |
CN105718748A (zh) * | 2016-01-28 | 2016-06-29 | 许继集团有限公司 | 一种在线监测数据处理方法 |
-
2019
- 2019-04-08 CN CN201910275089.5A patent/CN110138828A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034343A (zh) * | 2009-09-29 | 2011-04-27 | 浙江省电力公司 | 一种基于随机值的用电信息采集终端数据上送方法 |
CN102510134A (zh) * | 2011-11-25 | 2012-06-20 | 清华大学 | 一种对电力***动态监测和控制的方法 |
CN105122243A (zh) * | 2013-03-15 | 2015-12-02 | 亚马逊科技公司 | 用于半结构化数据的可扩展分析平台 |
CN104639654A (zh) * | 2015-03-05 | 2015-05-20 | 国家电网公司 | 海量用电信息采集终端一体化接入***及方法 |
CN105228176A (zh) * | 2015-08-21 | 2016-01-06 | 慧感(上海)物联网科技有限公司 | 一种轻量级无线传感网络的传感节点运行模式切换方法 |
CN105718748A (zh) * | 2016-01-28 | 2016-06-29 | 许继集团有限公司 | 一种在线监测数据处理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113219235A (zh) * | 2021-05-10 | 2021-08-06 | 南京海兴电网技术有限公司 | 一种应用于用电采集***中的高实时性数据更新方法 |
CN113219235B (zh) * | 2021-05-10 | 2024-01-19 | 南京海兴电网技术有限公司 | 一种应用于用电采集***中的高实时性数据更新方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109672996B (zh) | 一种基于v2x路侧设备***及其信息分发方法 | |
CN100517413C (zh) | 一种ads-b管制工作站数据处理*** | |
CN105306591A (zh) | 采用集中器通信的物联网智能燃气表通信方法 | |
CN105634784A (zh) | 控制数据分发方法、装置及*** | |
CN104835009A (zh) | 一种航班监测与控制***及其监测与控制方法 | |
CN104167817B (zh) | 一种电力设备实时信息集成的***及方法 | |
CN202067405U (zh) | 人员及车辆调度监控*** | |
CN101155066A (zh) | 网络性能分析***与分析方法 | |
CN102375138A (zh) | 雷达航迹与航班信息综合显示*** | |
CN103795793A (zh) | 一种基于双服务器集群的道路车辆监控平台*** | |
CN101789154A (zh) | 一种租赁自行车的归还点查询方法 | |
CN112364952A (zh) | 基于NB-IoT的电气设施物联网管理方法与数据智能平台 | |
CN110138828A (zh) | 机场动态终端实时数据监控处理方法 | |
US10849075B2 (en) | Method and device for allocation of transmission power and terminal | |
CN103294673A (zh) | 一种公共交通工具实时运营数据的采集与发布方法 | |
CN108111979B (zh) | 基于BDS和LoRa的车辆定位跟踪调度***及方法 | |
CN103778799B (zh) | 基于对等网络分布式计算的公交自动报站方法 | |
CN103578231B (zh) | 基于物联网的山体滑坡和泥石流报警*** | |
CN103679410A (zh) | 一种基于Android***的鲜活农产品物流信息管理方法 | |
CN105357654A (zh) | 一种基于北斗的应急通信服务***及其工作方法 | |
CN109215147B (zh) | 一种路侧单元监管方法、装置及*** | |
CN203126895U (zh) | 一种基于lte技术的中央集中型列控*** | |
CN109547928A (zh) | 一种轨道列车站提醒***及方法 | |
Punpigul et al. | Long range UAS mission by LPWAN communication | |
CN105469566A (zh) | 采用中继器通信的物联网智能燃气表通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |
|
RJ01 | Rejection of invention patent application after publication |