CN114257646A - 遥测数据处理方法、装置、设备及存储介质 - Google Patents
遥测数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114257646A CN114257646A CN202111560291.6A CN202111560291A CN114257646A CN 114257646 A CN114257646 A CN 114257646A CN 202111560291 A CN202111560291 A CN 202111560291A CN 114257646 A CN114257646 A CN 114257646A
- Authority
- CN
- China
- Prior art keywords
- data
- telemetering
- telemetry
- processing
- stream data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 147
- 238000000034 method Methods 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/20—Arrangements in telecontrol or telemetry systems using a distributed architecture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Selective Calling Equipment (AREA)
Abstract
本申请提供一种遥测数据处理方法、装置、设备及存储介质。该遥测数据处理方法包括：根据遥测数据的类型，确定所述遥测数据对应的配置文件；基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据；将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据；基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端；实现了多类型数据的实时存储，以及基于各种业务需求的遥测数据处理，提高了遥测数据处理的通用性以及效率。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种遥测数据处理方法、装置、设备及存储介质。
背景技术
遥测技术综合了电子技术、测量技术、无线通信技术等多学科技术，通过数据采集、编码、发送、接收、存储和处理等过程实现航空器、航天器工作状态数据和环境数据等遥测数据的获取。遥测数据不仅为航空、航天飞行器的性能评定和设计改进提供了依据，也为故障分析提供了数据支持。
传统的遥测数据处理平台或***，通常是面向任务的，需要基于不同的业务需求或任务开发新的数据处理软件，如开发新的计算引擎，进行遥测数据的处理，计算引擎在更改时，往往需要对转后工具的上下游设备的代码进行同步修改，以适应新的转换工具，导致遥测数据处理效率低下。
发明内容
本申请提供一种遥测数据处理方法、装置、设备及存储介质，用以解决遥测数据处理效率低下的问题。
第一方面，本申请提供一种遥测数据处理方法，该方法包括：
根据遥测数据的类型，确定所述遥测数据对应的配置文件；基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据；将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据；基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
可选的，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端，包括：
获取所述遥测流数据触发的预设事件的异常判断预定义文件；基于分布式实时计算引擎的复杂事件处理单元根据所述异常判断预定义文件，对所述遥测流数据进行异常检测；基于异常检测结果，生成卫星状态告警信息，并将所述卫星状态告警信息发送至目标端。
可选的，所述遥测数据包括拷机测试数据、功率测量精度数据、定位精度数据、失锁重捕数据、通道时延一致性数据中的一项或多项。
可选的，当所述遥测数据为定位精度数据时，触发定位精度计算事件；基于所述定位精度计算对应的处理规则对所述定位精度数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端，包括：
对所述定位精度流数据进行反序列化，得到各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差；基于分布式实时计算引擎的转换算子，根据各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差，确定各个信号支路的最大综合误差；当任意一个信号支路的最大综合误差大于预设误差时，生成定位精度告警信息；将所述定位精度告警信息发送至目标端。
可选的，在基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据之后，所述方法还包括：
基于分布式实时计算引擎对所拉取的遥测流数据进行数据清洗；当所述遥测流数据未触发预设事件时，将清洗后的遥测流数据回流至消息中间件以及写入列式存储引擎中，以进行备份。
可选的，在将清洗后的遥测流数据写入列式存储引擎中之后，所述方法还包括：
通过Java数据库连接的方式读取列式存储引擎数据库中存储的清洗后的遥测流数据；采用Websocket协议将处理后的遥测数据实时推送至目标端进行展示。
可选的，所述方法还包括：
将处理后的遥测流数据以及处理结果持久化存储至分布式文件存储***中。
第二方面，本申请提供一种遥测数据处理装置，该装置包括：
配置文件确定模块，用于根据遥测数据的类型，确定所述遥测数据对应的配置文件；数据采集模块，用于基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据；数据存储模块，用于将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据；数据处理模块，用于基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
可选的，数据处理模块，具体用于：
获取所述遥测流数据触发的预设事件的异常判断预定义文件；获取所述遥测流数据对应的预设事件的异常判断预定义文件；基于分布式实时计算引擎的复杂事件处理单元根据所述异常判断预定义文件，对所述遥测流数据进行异常检测；基于异常检测结果，生成卫星状态告警信息，并将所述卫星状态告警信息发送至目标端。
可选的，当所述遥测数据为定位精度数据时，数据处理模块，具体用于：
基于分布式实时计算引擎拉取消息中间件中存储的定位精度数据，触发定位精度计算事件，对所述定位精度流数据进行反序列化，得到各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差；基于分布式实时计算引擎的转换算子，根据各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差，确定各个信号支路的最大综合误差；当任意一个信号支路的最大综合误差大于预设误差时，生成定位精度告警信息；将所述定位精度告警信息发送至目标端。
可选的，所述装置还包括：
数据清洗模块，用于在基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据之后，基于分布式实时计算引擎对所拉取的遥测流数据进行数据清洗；数据备份模块，用于当所述遥测流数据未触发预设事件时，将清洗后的遥测流数据回流至消息中间件以及写入列式存储引擎中，以进行备份。
可选的，所述装置还包括：
数据展示模块，用于在将清洗后的遥测流数据写入列式存储引擎中之后，通过Java数据库连接的方式读取列式存储引擎数据库中存储的清洗后的遥测流数据；采用Websocket协议将处理后的遥测数据实时推送至目标端进行展示。
可选的，所述装置还包括：
持久化存储模块，用于将处理后的遥测流数据以及处理结果持久化存储至分布式文件存储***中。
第三方面，本申请还提供了一种遥测数据处理设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现本申请第一方面提供的遥测数据处理方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本申请第一方面提供的遥测数据处理方法。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请第一方面提供的遥测数据处理方法。
本申请提供的遥测数据处理方法、装置、设备及存储介质，针对类型繁多、数据量大的遥测数据，基于遥测数据的类型，确定匹配的配置文件，通过该配置文件以及数据采集工具实现对遥测数据的实时采集，生成遥测流数据，实现了多远遥测数据的统一采集；进而基于消息中间件进行遥测流数据的存储，实现数据采集端和数据处理端的数据解耦，提高遥测数据的复用性；基于分布式实时计算引擎采用事件触发的方式，基于各种业务需求对遥测数据进行处理，并回流和发送处理结果，提高了遥测数据的通用性和灵活性，提高了遥测数据的处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请一个实施例提供的遥测数据处理方法的应用场景的示意图；
图2为本申请一个实施例提供的遥测数据处理方法的流程图；
图3为本申请图2所示实施例中步骤S204的一种实现方式的流程图；
图4为本申请图2所示实施例中步骤S204的另一种实现方式的流程图；
图5为本申请另一个实施例提供的遥测数据处理方法的流程图；
图6为本申请一个实施例提供的遥测数据处理框架的示意图；
图7为本申请一个实施例提供的遥测数据处理装置的结构示意图；
图8为本申请一个实施例提供的遥测数据处理设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
每颗卫星需要传输的遥测参数达几千个，以反映搭载在卫星上的所有设备的工作状态和健康状态。随着对地观测技术的发展，各式各样、各种型号的卫星和传感器发射升空，遥测数据的体量得到了爆发式的增长，不同的数据中心的遥测数据存量已达到PB级别，对遥测数据的处理平台提出了更高的要求。
图1为本申请一个实施例提供的遥测数据处理方法的应用场景的示意图，如图1所示，数据中心，如卫星数据生产机构的数据中心、大学或科研机构的数据中心、商业机构的数据中心等，通常包括接收机和遥测数据处理平台，接收机用于接收对应的卫星***传回的遥测数据，遥测数据处理平台负责对应的卫星***传回的遥测数据的编目、存储与管理。基于该数据中心的业务需求，搭建对应的遥测数据处理平台，进行该数据中心对应的遥测数据的存储和处理。
由于现有的数据中心的遥测数据处理平台是基于任务搭建的，当任务或业务需求发生变化时，往往需要对所搭建的遥测数据处理平台进行改动，如更换或重新配置遥测数据处理平台的计算引擎，以及适应性调整该计算引擎的上下游设备的代码，从而实现基于新的业务需求进行遥测数据的处理，存在重复开发、研发周期长、研发成本高的缺陷，导致遥测数据处理效率低下。
本申请提供的遥测数据处理方法，旨在解决现有技术的如上技术问题。其主要构思为：在采集遥测数据时，基于遥测数据的类型，采用不同的配置文件控制数据采集工具进行实时采集，并转换为遥测流数据，进而由消息中间件对该遥测流数据进行存储，从而实现数据采集端和数据处理端之间的解耦，提高遥测数据的复用性；基于分布式实时计算引擎基于事件触发的方式进行遥测流数据的处理，通过各种事件对应的处理规则或转换算子，实现了多种业务需求的遥测数据的处理，提高了遥测数据处理平台的通用性，提高了遥测数据处理的效率。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请一个实施例提供的遥测数据处理方法的流程图，该方法可以由遥测数据处理设备执行，该遥测数据处理设备可以为设置有遥测数据处理框架的计算机、服务器等设备，如图2所示，该遥测数据处理方法包括以下步骤：
步骤S201，根据遥测数据的类型，确定所述遥测数据对应的配置文件。
其中，遥测数据为用于监测卫星、航天器、航空器等设备以及其上设置的各个传感器的运行情况的数据。可以通过交互指令的方式，接收指令对应的遥测数据，传感器还可以按照设定上报方式主动上报所采集的遥测数据。
具体的，可以经由接收装置接收遥感器搜集到的原始数据，并进行解析，得到新增的遥测数据，进而通过监听接收装置端口的方式，控制数据采集工具同步接收装置中新增的遥测数据。
在一些实施例中，接收装置输出的遥测数据的格式为JSON格式。
在一些实施例中，可以监听各个数据中心的接收装置的端口，从而实现多源遥测数据的实时采集。
具体的，当接收装置中存在新增的遥测数据时，根据该新增的遥测数据的类型，确定该新增的遥测数据对应的配置文件，以基于该配置文件进行新增的遥测数据的采集。
在一些实施例中，遥测数据的类型可以根据遥测数据的用途进行划分，还可以根据遥测数据的来源渠道、对应的端口、数据类型等进行划分。不同的类型的遥测数据可以采用不同的配置文件进行采集。
可选的，所述遥测数据包括拷机测试数据、功率测量精度数据、定位精度数据、失锁重捕数据、通道时延一致性数据中的一项或多项。
其中，拷机测试数据为对新设备进行拷机测试时产生的数据，通过不关机运行来测试软硬件的兼容性与稳定性。功率测量精度数据为对电机的功率进行高精度测量时获得数据，如功率值、精度等。定位精度数据用于描述接收装置解析的卫星、航天器、航空器等设备的位置信息的在各个坐标轴上的精度。失锁重捕数据为接收装置在信号失锁时，即卫星信号受到干扰的环境下，接收装置无法捕获信号时，所采取的失锁重捕策略接收到的数据。通道时延一致性数据包括遥测***各个通道的时延误差，用于进行时间同步的数据。
步骤S202，基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据。
具体的，在确定各个新增的遥测数据对应的配置文件之后，控制数据采集工具读取各个配置文件，以实现对相应的新增的遥测数据的实时采集，得到遥测流数据。
在一些实施例中，数据采集工具可以为Flume、Fluentd等大数据采集工具。
在一些实施例中，可以基于遥测数据对应的配置文件启动Flume大数据采集工具的一个或多个Agent组件，进行遥测数据的采集，得到遥测流数据。
Flume大数据采集工具采集和写入数据的速度较快，提高了遥测数据采集的实时性；同时，Flume提供上下文路由特征，进一步确保了传送和接收时数据的一致性。
步骤S203，将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据。
其中，消息中间件可以为Kafka、RoketMQ等。
具体的，可以经由消息中间件，通过Flume的Sink组件拉取一个或多个存储在Channel中的遥测流数据，并将其序列化至对应的Topic中进行存储，实现数据采集端和数据处理端的数据的解耦和缓冲。
步骤S204，基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
其中，分布式实时计算引擎可以为Flink、Spark等。预设事件可以为用于进行数据处理的任意一种事件，如Flink中的复杂事件，可以预先定义各种预设事件的触发条件，从而基于触发条件判断遥测流数据是否触发预设事件。目标端为分布式实时计算引擎的下游设备，可以为显示屏、其他服务器等。每个预设事件可以对应一个或多个处理规则，以进行该触发预设事件的数据的处理。
具体的，分布式实时计算引擎作为遥测数据的数据处理端，可以实时消费消息中间件中存储的遥测流数据，并基于各种业务需求进行分析和计算，得到处理结果，并将处理结果发送至目标端。
具体的，分布式实时计算引擎在拉取消息中间件中存储的遥测流数据之后，可以根据遥测流数据的数据类型和内容，判断遥测流数据是否会触发预设事件，若是，则基于该遥测流数据所触发的预设事件对应的处理规则对该遥测流数据进行处理，得到处理结果。
进一步地，若遥测流数据未触发任何事件，则可以基于该遥测流数据的类型，确定对应的转换算子，对该遥测流数据进行转换，以得到卫星在线状态，并将卫星在线状态发送至前端应用***进行可视化展示。
可选的，图3为本申请图2所示实施例中步骤S204的一种实现方式的流程图，如图3所示，步骤S204包括以下步骤：
步骤S301，基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据。
具体的，在拉取遥测流数据之后，还可以对遥测流数据进行清洗和转换。
具体的，还可以将清洗和转换后的遥测流数据发送至显示设备，以进行卫星状态的可视化展示和即席查询。
步骤S302，当所述遥测流数据触发预设事件时，获取所述遥测流数据触发的预设事件的异常判断预定义文件。
具体的，当遥测流数据触发预设事件时，则获取遥测流数据所触发的预设时间的异常判断预定义文件，以通过预定义文件的运行，进行遥测流数据的异常判断。
步骤S303，基于分布式实时计算引擎的复杂事件处理单元根据所述异常判断预定义文件，对所述遥测流数据进行异常检测。
具体的，可以通过Flink的复杂事件处理单元CEP(Complex Event Processing)运行该异常判断预定义文件，基于异常判断预定义文件对应的处理规则，对遥测流数据件异常检测，以判断卫星状态是否存在异常。
具体的，在该异常判断预定义文件中可以包括各种遥测流数据的异常判断条件，当遥测流数据满足任意一个异常判断条件时，则确定卫星状态存在异常，基于各个异常判断条件的判断结果，生成该遥测流数据的异常检测结果。
步骤S304，基于异常检测结果，生成卫星状态告警信息，并将所述卫星状态告警信息发送至目标端。
若卫星状态存在异常，则基于异常检测结果，即遥测流数据所满足的异常判断条件，生成卫星状态告警信息，以及将该卫星状态告警信息发送至目标端，以及时提醒卫星状态存在异常。
具体的，在该卫星状态告警信息中，还可以包括该遥测数据处理过程中生成的明细数据。
本实施例提供的遥测数据处理方法，针对类型繁多、数据量大的遥测数据，基于遥测数据的类型，确定匹配的配置文件，通过该配置文件以及数据采集工具实现对遥测数据的实时采集，生成遥测流数据，实现了多远遥测数据的统一采集；进而基于消息中间件进行遥测流数据的存储，实现数据采集端和数据处理端的数据解耦，提高遥测数据的复用性；基于分布式实时计算引擎采用事件触发的方式，基于各种业务需求对遥测数据进行处理，并回流和发送处理结果，提高了遥测数据的通用性和灵活性，提高了遥测数据的处理效率。
可选的，图4为本申请图2所示实施例中步骤S204的另一种实现方式的流程图，本实施例以定位精度数据这一遥测数据为例，对步骤S204进行进一步解释，如图4所示，步骤S204包括以下步骤：
步骤S401，基于分布式实时计算引擎拉取消息中间件中存储的定位精度数据。
其中，定位精度数据是用于描述卫星定位精度的参数，可以包括X、Y、Z三个互相垂直的坐标轴的定位误差。
步骤S402，触发定位精度计算事件。
步骤S403，对所述定位精度流数据进行反序列化，得到各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差。
具体的，基于Flink拉取Kafka集群中定位精度数据对应的Topic的消息，如positionPrecise，并对该消息进行反序列化，生成包括个信号支路的第一坐标(X)定位误差、第二坐标(Y)定位误差和第三坐标(Z)定位误差的DataStream数据。
步骤S404，基于分布式实时计算引擎的转换算子，根据各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差，确定各个信号支路的最大综合误差。
其中，转换算子为预先编译的用于对定位精度数据进行处理的算子。以分布式实时计算引擎为Flink为例，转换算子可以包括keyBy、map、reduce等算子。
具体的，在生成包括个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差的DataStream数据之后，可以适用map算子对DataStream进行转换，转为一个二元组Tuple形式的mapStream，二元组Tuple中包括定位误差及其频点号。通过keyBy算子按照频点号对mapStream进行转换，得到keyedStream，从而将定位精度流数据分成不同频点的数据。进而基于map算子对keyedStream进行处理，提取数据中时间值与剩余数据值，形成一个二元组类型Tuple2的timeStampStream数据，基于timeStampStream中的时间值，得到各个定位误差的水印watermark，通过调用Flink的水印生成算子assignTimestampsAndWatermarks，并设置最大允许乱序时间maxOutOfOrderness，如3s、5s或者其他值，计算当前最大的水印watermark与上述最大允许乱序时间差值，得到水印流数据waterMarkStream，对该waterMarkStream进行reduce操作，根据第一坐标定位误差、第二坐标定位误差和第三坐标定位误差计算出各个信号支路的综合误差值，最终得到各个信号支路对应的各个综合误差值的最大值，即最大综合误差。
步骤S405，当任意一个信号支路的最大综合误差大于预设误差时，生成定位精度告警信息，将所述定位精度告警信息发送至目标端。
其中，预设误差可以为预先设置的误差阈值。
具体的，当任意一个信号支路对应的最大综合误差大于预设误差时，基于该信号支路和最大综合误差对应的水印时间，生成定位精度告警信息，以及时知悉定位精度偏差较大并采取相应的调整策略，提高定位精度。
进一步地，还可以删除接收装置中存储的所述定位精度数据对应的时间段该信号支路(最大综合误差大于预设误差的支路)的采集的遥测数据。
在一些实施例中，分布式实时计算引擎还可以确定遥测数据或遥测流数据的测量时间准确度，具体的，分布式实时计算引擎可以通过比对模拟源数据中的遥测数据和从消息中间件中拉取的遥测流数据的频点号和卫星号，若不一致，则说明产生丢帧现象，可以生成丢帧提示信息，发送至目标端。
进一步地，在产生丢帧时，还可以剔除接收机中接收到的频点号和卫星号与模拟源数据中的遥测数据不一致的遥测数据。
图5为本申请另一个实施例提供的遥测数据处理方法的流程图，本实施例是在图2所示实施例的基础上，增加对遥测流数据进行清洗的步骤，以及增加遥测流数据未触发预设事件时对遥测流数据进行处理的步骤，如图5所示，本实施例提供的遥测数据处理方法可以包括以下步骤：
步骤S501，根据遥测数据的类型，确定所述遥测数据对应的配置文件。
步骤S502，基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据。
步骤S503，将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据。
步骤S504，基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据。
在一些实施例中，对于非实时类的遥测流数据，还可以将非实时类的遥测流数据持久化存储至分布式文件存储***(Hadoop Distributed File System，HDFS)中。
步骤S505，基于分布式实时计算引擎对所拉取的遥测流数据进行数据清洗。
以Flink为例，可以基于Flink的Interceptor对遥测流数据进行数据清洗。
步骤S506，当清洗后的遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
可选的，在基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理之后，所述方法还包括：
将处理后的遥测流数据以及处理结果持久化存储至分布式文件存储***中。
步骤S507，当清洗后的遥测流数据未触发预设事件时，将清洗后的遥测流数据回流至消息中间件以及写入列式存储引擎中，以进行备份。
其中，列式存储引擎可以为ClickHouse、Hadoop等。
具体的，在将清洗后的遥测流数据写入列式存储引擎之后，如ClickHouse，可以基于列式存储引擎的服务接口与相应的前端应用***，实现对卫星状态的数据可视化的即席查询和监控展示。
进一步地，存储在列式存储引擎中的遥测流数据可以供RESTful API(Application Programming Interface，应用程序接口)封装使用。
步骤S508，通过Java数据库连接的方式读取列式存储引擎数据库中存储的清洗后的遥测流数据，并采用Websocket协议将处理后的遥测数据实时推送至目标端进行展示。
具体的，通过JDBC(Java Database Connectivity，Java数据库连接)的方式，实现对列式存储引擎中存储的清洗后的遥测流数据的读取，并采用Websocket协议将所读取的遥测流数据推送至目标端进行展示。
对于WebSocket链接断裂无法重连的情形，通过目标端进行Websocket链接情况判断，然后采用消费降级策略使目标端转从RESTful API中获取遥测流数据，从而调用相应RESTful API，提高稳定性。
在本实施例中，针对类型繁多、数据量大的遥测数据，基于遥测数据的类型，确定匹配的配置文件，通过该配置文件以及数据采集工具实现对遥测数据的实时采集，生成遥测流数据，实现了多远遥测数据的统一采集；进而基于消息中间件进行遥测流数据的存储，实现数据采集端和数据处理端的数据解耦，提高遥测数据的复用性；基于分布式实时计算引擎采用事件触发的方式，基于各种业务需求对遥测数据进行处理，并回流和发送处理结果；对于未触发事件的遥测流数据，则通过列式存储引擎、JDBC方式进行数据展示以及通过HDFS进行持久化存储，可扩展性强，适应了遥测数据大体量的存储需求，同时提高了遥测数据处理平台的通用性和灵活性，提高了遥测数据的处理效率。
图6为本申请一个实施例提供的遥测数据处理框架的示意图，如图6所示，该遥测数据处理框架包括：Flume实时数据流采集工具、Kafka消息中间件、Flink计算引擎、HDFS分布式文件存储***、ClickHouse列式存储引擎和目标端。
其中，Flume用于从接收装置处实时同步遥测数据，将遥测数据采集至Source组件后发送至一个或多个Channel，由Sink自定义拉取任意Channel的遥测流数据，经由Kafka的Producer将所拉取的遥测流数据序列化至Topic中，基于Kafka基于发布订阅模式的分布式存储工具进行集中式存储，实现了原始数据(接收装置输出的遥测数据)的解耦和缓存。由Flink实时消费Kfka中的遥测流数据，根据不同的业务需求将数据进行分析计算，并输出结果至目标端。对于卫星在线状态、近线相关数据的实时数据，通过Flink进行清洗和转换后实时加载写入ClickHouse，由ClickHouse提供数据服务接口与前端应用***集成，基于JDBC的方式读取ClickHouse中存储的数据，实现目标端对卫星状态的数据可视化的即席查询和监控展示。并且使用Flink CEP(复杂事件处理)，预先定义异常数据的判断依据，对卫星状态进行实时预警。最后，处理后的数据也会保存在HDFS分布式文件存储***中，可能以非结构化文件形式保存，也可能以结构化的数据存储，方便后期数据回溯以及相对应业务数据的提取处理。
图7为本申请一个实施例提供的遥测数据处理装置的结构示意图，如图7所示，该装置包括：配置文件确定模块710、数据采集模块720、数据存储模块730和数据处理模块740。
其中，配置文件确定模块710，用于根据遥测数据的类型，确定所述遥测数据对应的配置文件；数据采集模块720，用于基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据；数据存储模块730，用于将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据；数据处理模块740，用于基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
可选的，数据处理模块740，具体用于：
获取所述遥测流数据触发的预设事件的异常判断预定义文件；获取所述遥测流数据对应的预设事件的异常判断预定义文件；基于分布式实时计算引擎的复杂事件处理单元根据所述异常判断预定义文件，对所述遥测流数据进行异常检测；基于异常检测结果，生成卫星状态告警信息，并将所述卫星状态告警信息发送至目标端。
可选的，当所述遥测数据为定位精度数据时，数据处理模块740，具体用于：
基于分布式实时计算引擎拉取消息中间件中存储的定位精度数据，触发定位精度计算事件，对所述定位精度流数据进行反序列化，得到各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差；基于分布式实时计算引擎的转换算子，根据各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差，确定各个信号支路的最大综合误差；当任意一个信号支路的最大综合误差大于预设误差时，生成定位精度告警信息；将所述定位精度告警信息发送至目标端。
可选的，所述装置还包括：
数据清洗模块，用于在基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据之后，基于分布式实时计算引擎对所拉取的遥测流数据进行数据清洗；数据备份模块，用于当所述遥测流数据未触发预设事件时，将清洗后的遥测流数据回流至消息中间件以及写入列式存储引擎中，以进行备份。
可选的，所述装置还包括：
数据展示模块，用于在将清洗后的遥测流数据写入列式存储引擎中之后，通过Java数据库连接的方式读取列式存储引擎数据库中存储的清洗后的遥测流数据；采用Websocket协议将处理后的遥测数据实时推送至目标端进行展示。
可选的，所述装置还包括：
持久化存储模块，用于将处理后的遥测流数据以及处理结果持久化存储至分布式文件存储***中。
本申请实施例所提供的遥测数据处理装置可执行本申请任意实施例所提供的遥测数据处理方法，具备执行方法相应的功能模块和有益效果。
图8为本申请一个实施例提供的遥测数据处理设备的结构示意图，如图8所示，该遥测数据处理设备包括：存储器810，处理器820以及计算机程序。
其中，计算机程序存储在存储器810中，并被配置为由处理器820执行以实现本申请图2至图5所对应的实施例中任一实施例提供的遥测数据处理方法。
其中，存储器810和处理器820通过总线830连接。
相关说明可以对应参见图2至图5的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
一种非临时性计算机可读存储介质，当该存储介质中的指令由遥测数据处理设备的处理器执行时，使得遥测数据处理设备能够执行上述遥测数据处理方法。
例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品，包括可执行计算机程序，该可执行计算机程序存储在可读存储介质中。遥测数据处理设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得遥测数据处理装置实施上述各种实施方式提供的遥测数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种遥测数据处理方法，其特征在于，所述方法包括：
根据遥测数据的类型，确定所述遥测数据对应的配置文件；
基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据；
将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据；
基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
2.根据权利要求1所述的方法，其特征在于，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端，包括：
获取所述遥测流数据触发的预设事件的异常判断预定义文件；
基于分布式实时计算引擎的复杂事件处理单元根据所述异常判断预定义文件，对所述遥测流数据进行异常检测；
基于异常检测结果，生成卫星状态告警信息，并将所述卫星状态告警信息发送至目标端。
3.根据权利要求1所述的方法，其特征在于，所述遥测数据包括拷机测试数据、功率测量精度数据、定位精度数据、失锁重捕数据、通道时延一致性数据中的一项或多项。
4.根据权利要求3所述的方法，其特征在于，当所述遥测数据为定位精度数据时，触发定位精度计算事件；基于所述定位精度计算对应的处理规则对所述定位精度数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端，包括：
对所述定位精度流数据进行反序列化，得到各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差；
基于分布式实时计算引擎的转换算子，根据各个信号支路的第一坐标定位误差、第二坐标定位误差和第三坐标定位误差，确定各个信号支路的最大综合误差；
当任意一个信号支路的最大综合误差大于预设误差时，生成定位精度告警信息；
将所述定位精度告警信息发送至目标端。
5.根据权利要求1所述的方法，其特征在于，在基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据之后，所述方法还包括：
基于分布式实时计算引擎对所拉取的遥测流数据进行数据清洗；
当所述遥测流数据未触发预设事件时，将清洗后的遥测流数据回流至消息中间件以及写入列式存储引擎中，以进行备份。
6.根据权利要求5所述的方法，其特征在于，在将清洗后的遥测流数据写入列式存储引擎中之后，所述方法还包括：
通过Java数据库连接的方式读取列式存储引擎数据库中存储的清洗后的遥测流数据；
采用Websocket协议将处理后的遥测数据实时推送至目标端进行展示。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
将处理后的遥测流数据以及处理结果持久化存储至分布式文件存储***中。
8.一种遥测数据处理装置，其特征在于，所述装置包括：
配置文件确定模块，用于根据遥测数据的类型，确定所述遥测数据对应的配置文件；
数据采集模块，用于基于所述遥测数据对应的配置文件，控制数据采集工具采集所述遥测数据，生成遥测流数据；
数据存储模块，用于将所述遥测流数据序列化至消息中间件中，以存储所述遥测流数据；
数据处理模块，用于基于分布式实时计算引擎拉取消息中间件中存储的遥测流数据，当所述遥测流数据触发预设事件时，基于所述预设事件对应的处理规则对所述遥测流数据进行数据处理，并将处理结果返回至消息中间件中或将处理结果发送至目标端。
9.一种遥测数据处理设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的遥测数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的遥测数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111560291.6A CN114257646B (zh) | 2021-12-20 | 2021-12-20 | 遥测数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111560291.6A CN114257646B (zh) | 2021-12-20 | 2021-12-20 | 遥测数据处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114257646A true CN114257646A (zh) | 2022-03-29 |
| CN114257646B CN114257646B (zh) | 2023-11-14 |
Family
ID=80793081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111560291.6A Active CN114257646B (zh) | 2021-12-20 | 2021-12-20 | 遥测数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114257646B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422208A (zh) * | 2022-11-07 | 2022-12-02 | 江苏智云天工科技有限公司 | 缺陷检测处理方法、***及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101140322A (zh) * | 2007-09-26 | 2008-03-12 | 北京航空航天大学 | 用于布局卫星导航地基区域增强***的装置及方法 |
| US20200028946A1 (en) * | 2018-07-23 | 2020-01-23 | Moj.Io, Inc. | Homogenization of telematics data through unified messaging protocol |
| CN112859115A (zh) * | 2021-02-07 | 2021-05-28 | 北京微纳星空科技有限公司 | 用于卫星测试的报警方法、装置、***及存储介质 |
| CN113268530A (zh) * | 2020-02-17 | 2021-08-17 | 浙江大搜车软件技术有限公司 | 海量异构数据采集方法、***、计算机设备和存储介质 |
| CN113489527A (zh) * | 2021-06-07 | 2021-10-08 | 北京邮电大学 | 轻量化网络中间件的架构***及卫星通信方法 |
-
2021
- 2021-12-20 CN CN202111560291.6A patent/CN114257646B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101140322A (zh) * | 2007-09-26 | 2008-03-12 | 北京航空航天大学 | 用于布局卫星导航地基区域增强***的装置及方法 |
| US20200028946A1 (en) * | 2018-07-23 | 2020-01-23 | Moj.Io, Inc. | Homogenization of telematics data through unified messaging protocol |
| CN113268530A (zh) * | 2020-02-17 | 2021-08-17 | 浙江大搜车软件技术有限公司 | 海量异构数据采集方法、***、计算机设备和存储介质 |
| CN112859115A (zh) * | 2021-02-07 | 2021-05-28 | 北京微纳星空科技有限公司 | 用于卫星测试的报警方法、装置、***及存储介质 |
| CN113489527A (zh) * | 2021-06-07 | 2021-10-08 | 北京邮电大学 | 轻量化网络中间件的架构***及卫星通信方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422208A (zh) * | 2022-11-07 | 2022-12-02 | 江苏智云天工科技有限公司 | 缺陷检测处理方法、***及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114257646B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10908579B2 (en) | Controller, control program, and control system | |
| CN102707300B (zh) | 一种gps轨迹优化方法、装置及*** | |
| CN107133110B (zh) | 基于集群并行运算的gnss导航信号海量数据快速处理方法 | |
| KR101227443B1 (ko) | 지진 조기경보용 파라미터 생산 시스템 및 방법 | |
| CN114189430A (zh) | 立体化日志全链路监控***、方法、介质及设备 | |
| CN107391335B (zh) | 一种用于检查集群健康状态的方法和设备 | |
| CN101872012A (zh) | 设备震源的测量定位***和方法 | |
| CN110764834A (zh) | 一种自动化安全监测平台、管理方法及存储介质 | |
| CN113776794A (zh) | 一种嵌入式边缘计算的故障诊断方法、装置和*** | |
| CN114257646A (zh) | 遥测数据处理方法、装置、设备及存储介质 | |
| CN115437339A (zh) | 远程诊断方法及装置、电子设备和存储介质 | |
| CN111142129A (zh) | 定位***测试方法、装置、设备及存储介质 | |
| CN112396250A (zh) | 一种柴油机故障预测方法、装置、设备及存储介质 | |
| CN113093670A (zh) | 一种仪控状态监控方法、***及监控平台 | |
| CN115186355A (zh) | 一种基于bim和vr技术的数字孪生*** | |
| CN116027365A (zh) | 一种分布式gnss形变监测实时解算***、装置及方法 | |
| EP2837983A1 (en) | Assessment of structural health of aircraft | |
| WO2019089632A1 (en) | Computer system and method for performing a virtual load test | |
| CN116486277A (zh) | 遥感载荷图像判读方法及遥感载荷快视*** | |
| CN114553970A (zh) | 一种基于Kafka分布式消息处理方法及数据总线*** | |
| CN114165430A (zh) | 基于边缘计算的机泵健康监测方法、***、设备及介质 | |
| Tsai et al. | Debugging for timing-constraint violations | |
| CN107976703B (zh) | 差分定位的优化方法及***、定位终端、存储器 | |
| CN117609315B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| Tagliente et al. | Dynamic fault monitoring and fault-based decision making in vehicle health management systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |