CN117254854A - 遥测报文的处理方法、装置和非易失性计算机可读存储介质 - Google Patents
遥测报文的处理方法、装置和非易失性计算机可读存储介质 Download PDFInfo
- Publication number
- CN117254854A CN117254854A CN202210654771.7A CN202210654771A CN117254854A CN 117254854 A CN117254854 A CN 117254854A CN 202210654771 A CN202210654771 A CN 202210654771A CN 117254854 A CN117254854 A CN 117254854A
- Authority
- CN
- China
- Prior art keywords
- telemetry
- message
- model
- time
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 40
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000012986 modification Methods 0.000 claims description 21
- 230000004048 modification Effects 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 21
- 238000004891 communication Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/077—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using a supervisory or additional signal
- H04B10/0773—Network aspects, e.g. central monitoring of transmission parameters
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及一种遥测报文的处理方法、装置和非易失性计算机可读存储介质,涉及通信技术领域。该处理方法,包括:采集终端发送的第一遥测报文;基于遥测模型生成的接口,对第一遥测报文进行解析,得到第二遥测报文;存储第二遥测报文,以便遥测平台基于第二遥测报文对外提供服务。本公开的技术方案能够对不同厂商的OLT进行统一的监控,从而降低网络监控成本。
Description
技术领域
本公开涉及通信技术领域,特别涉及一种遥测报文的处理方法、遥测报文的处理装置和非易失性计算机可读存储介质。
背景技术
在工业PON(Passive Optical Network,无源光纤网络)、大网场景下的流量监控和预测,运营商需要对于不同厂商的OLT(Optical Line Terminal,光线路终端)进行网络监控。
在目前大带宽大流量的背景下,当前的光接入网正变得越来越大和越来越复杂。这导致OLT需要在流量和物理光学平面上进行管理和监控。
在相关技术中,网络管理***支持对不同厂商的OLT分别进行,SNMP(SimpleNetwork Management Protocol,简单网络管理协议)分钟级别的性能采集。
发明内容
本公开的发明人发现上述相关技术中存在如下问题:无法对不同厂商的OLT进行统一的监控,导致网络监控成本高。
鉴于此,本公开提出了一种网络的监控技术方案,能够对不同厂商的OLT进行统一的监控,从而降低网络监控成本。
根据本公开的一些实施例,提供了一种遥测报文的处理方法,包括:采集终端发送的第一遥测报文;基于遥测模型生成的接口,对第一遥测报文进行解析,得到第二遥测报文;存储第二遥测报文,以便遥测平台基于所述第二遥测报文对外提供服务。
在一些实施例中,监控方法还包括:基于所述第二遥测报文,执行预测网络情况或优化网络配置中的至少一项。
在一些实施例中,执行预测网络情况或优化网络配置中的至少一项包括:利用获取的所述第二遥测报文,训练分析模型,所述分析模型用于预测网络情况或优化网络配置中的至少一项。
在一些实施例中,训练分析模型包括:验证第二遥测报文的完整性、一致性、无冗余性或者有效性中的至少一个;利用通过验证的第二遥测报文,训练分析模型。
在一些实施例中,训练分析模型包括:根据所述遥测模型,确定所述分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个。
在一些实施例中,分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个用于所述分析模型的训练。
在一些实施例中,监控方法还包括:根据实时获取的第二遥测报文,利用分析模型预测网络情况。
在一些实施例中,第二遥测报文包括时间戳,利用分析模型预测网络情况包括:根据时间戳,判断各实时获取的第二遥测报文的时间间隔是否均匀;在不均匀的情况下,利用遥测模型对各实时获取的第二遥测报文进行插补处理,生成时间间隔均匀的报文序列;根据报文序列,利用分析模型预测网络情况。
在一些实施例中,利用分析模型预测网络情况包括:读取遥测模型,确定用户对于实时获取的第二遥测报文的修改信息,修改信息根据网络情况的预测需求生成;根据修改信息,对实时获取的第二遥测报文进行处理;根据处理结果,利用分析模型预测网络情况。
在一些实施例中,存储第二遥测报文包括:将第二遥测报文,存储在数据存储模块,第二遥测报文包括时间戳;读取遥测模型,确定映射策略;根据映射策略和时间戳,将第二遥测报文转换为时序数据;将时序数据,存储在时序数据库。
在一些实施例中,监控方法还包括:根据实时获取的第二遥测报文,利用分析模型预测网络情况;将网络情况作为时序数据,存储在时序数据库;从时序数据库中读取时序数据;按照时间顺序,显示时序数据。
在一些实施例中,终端为OLT,第一遥测报文为Telemetry(遥测)报文,基于遥测模型生成的接口,对第一遥测报文进行解析,得到第二遥测报文包括:根据遥测模型,将Telemetry报文翻译为JSON格式并添加时间戳,以得到第二遥测报文。
在一些实施例中,采集终端发送的第一遥测报文包括:采集不同厂商的多个终端发送的第一遥测报文。
在一些实施例中,遥测模型与上述终端上报的模型相匹配。
根据本公开的另一些实施例,提供一种遥测报文的处理装置,包括:采集器,用于采集终端发送的第一遥测报文,基于遥测模型生成的接口,对第一遥测报文进行解析,得到第二遥测报文;数据存储模块,用于存储第二遥测报文,以便遥测平台基于第二遥测报文对外提供服务。
在一些实施例中,处理装置还包括:预测模块,用于基于第二遥测报文,预测网络情况或优化网络配置中的至少一项。
在一些实施例中,预测模块利用获取的第二遥测报文,训练分析模型,分析模型用于预测网络情况或优化网络配置中的至少一项。
在一些实施例中,处理装置还包括:预处理模块,用于验证第二遥测报文的完整性、一致性、无冗余性或者有效性中的至少一个;预测模块利用通过验证的第二遥测报文,训练分析模型。
在一些实施例中,预测模块根据遥测模型,确定窗口大小、采样间隔、开始时间或者时滞情况中的至少一个。
在一些实施例中,分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个用于所述分析模型的训练。
在一些实施例中,处理装置还包括:预测模块,用于根据实时获取的第二遥测报文,利用分析模型预测网络情况。
在一些实施例中,第二遥测报文包括时间戳,处理装置还包括预处理模块,用于根据时间戳,判断各实时获取的第二遥测报文的时间间隔是否均匀,在不均匀的情况下,利用遥测模型对各实时获取的第二遥测报文进行插补处理,生成时间间隔均匀的报文序列;预处理模块根据报文序列,利用分析模型预测网络情况。
在一些实施例中,预测模块读取遥测模型,确定用户对于实时获取的第二遥测报文的修改信息,修改信息根据网络情况的预测需求生成,根据修改信息,对实时获取的第二遥测报文进行处理,根据处理结果,利用分析模型预测网络情况。
在一些实施例中,数据存储模块包括:Kafka模块,用于存储第二遥测报文,第二遥测报文包括时间戳,读取遥测模型,确定映射策略,根据映射策略和时间戳,将第二遥测报文转换为时序数据;时序数据库,用于存储时序数据。
在一些实施例中,处理装置还包括:预测模块,用于根据实时获取的第二遥测报文,利用分析模型预测网络情况,时序数据库将网络情况作为时序数据进行存储;显示模块,用于从时序数据库中读取时序数据,按照时间顺序,显示时序数据。
在一些实施例中,终端为OLT,第一遥测报文为Telemetry报文,采集器根据遥测模型,将Telemetry报文翻译为JSON格式并添加时间戳,以得到第二遥测报文。
在一些实施例中,采集器采集不同厂商的多个终端发送的第一遥测报文。
在一些实施例中,遥测模型与终端上报的模型相匹配。
根据本公开的又一些实施例,提供一种遥测报文的处理装置,包括:存储器;和耦接至存储器的处理器,处理器被配置为基于存储在存储器装置中的指令,执行上述任一个实施例中的遥测报文的处理方法。
根据本公开的再一些实施例,提供一种非易失性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一个实施例中的遥测报文的处理方法。
在上述实施例中,通过遥测模型,适配统一采集的不同终端的报文,能够对不同厂商的OLT进行统一的监控,从而降低网络监控成本。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开:
图1示出本公开的遥测报文的处理方法的一些实施例的流程图;
图2a~2d示出本公开的遥测报文的处理方法的另一些实施例的流程图;
图3示出本公开的遥测报文的处理装置的一些实施例的示意图;
图4示出本公开的遥测报文的处理装置的一些实施例的框图;
图5示出本公开的遥测报文的处理装置的另一些实施例的框图;
图6示出本公开的遥测报文的处理装置的又一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
如前所述,为了确保高质量的传输,精确定位和解决网络故障和设备故障,或者提前防止流量拥塞和瓶颈等,网络管理***需要智能和统一的管理网络。
另外,支持SNMP分钟级别的性能采集的网络管理***,无法满足已经达到了秒级采集的Telemetry。因此,需要提出一种新的网络管理***来满足当前秒级的采集需求。
针对上述技术问题,本公开使用统一接口,无需厂家网管,降低了运营商在工业PON和大网情况下的网络管理成本;打破了OLT封闭管理的方式,实现运营商快速部署网络。
在一些实施例中,本公开对接入网网络进行了全方位的实时监控和智能预测,提出了一种接入网网络性能的监控***,包含遥测模型、采集器、数据存储模块、显示模块和机器学习模块等。
例如,遥测模型驱动并定义了***中采集器、数据存储模块和机器学习模块的接口。这样,能够打破封闭的网络监控方式,从而快速开发部署整个网络。
例如,为保证机器学习模块对数据预测的准确性,遥测模型定义了OLT采集数据报文的时间戳,以保证数据一致性。机器学习模块提供预测功能,包含数据预处理、预测模块和输出格式处理等功能模块。用户可以通过遥测模型向数据预处理模块配置用户所需预测的网络规模,实现对网络的预测后将预测值存入数据存储模块。
例如,显示模块通过读取时序数据库来展现实时数据。
例如,可以通过下面的实施例实现本公开的技术方案。
图1示出本公开的遥测报文的处理方法的一些实施例的流程图。
如图1所示,在步骤110中,采集终端发送的第一遥测报文。例如,终端为OLT,第一遥测报文为Telemetry报文。例如,采集不同厂商的多个终端发送的第一遥测报文。
在一些实施例中,***包括采集器,负责接收多个不同厂商的OLT发送的Telemetry报文,并将接收到的数据注入Kafka模块。例如,在将接收到的数据注入Kafka模块之前,采集器通过遥测模型,进行数据生成和预处理。
在一些实施例中,Telemetry报文可以包括特定时间点的大量设备或网络的相关参数。例如,相关参数包括通过特定端口的传输数据速率或接收数据速率、传输或接收的流量,丢弃数据包的数量等。
在步骤120中,基于遥测模型生成的接口,对第一遥测报文进行解析,得到第二遥测报文。例如,遥测模型用于驱动并定义整个***的接口。例如,遥测模型与终端上报的模型相匹配。
在一些实施例中,根据遥测模型,将Telemetry报文翻译为JSON格式并添加时间戳,以得到第二遥测报文。
在一些实施例中,Telemetry报文以恒定的时间间隔发生,这些Telemetry报文由单独的时间戳区分,并在遥测模型定义。例如,时间戳可以与其描述的Telemetry报文一起保存,并在整个管道传播过程中充当唯一标识符,直到数据分析过程使用它。
在步骤130中,存储第二遥测报文,以便网络监控遥测平台基于第二遥测报文对外提供服务。
图2a示出本公开的遥测报文的处理方法的另一些实施例的流程图。
如图2a所示,在步骤210a中,收到OLT发送的Telemetry报文。
在步骤220a中,读取遥测模型。
在步骤230a中,根据遥测模型,将报文翻译成JSON格式,并打上当前的时间戳。
在步骤240a中,发送至数据存储模块中的Kafka模块。
在一些实施例中,将第二遥测报文,存储在数据存储模块,第二遥测报文包括时间戳;读取遥测模型,确定映射策略;根据映射策略和时间戳,将第二遥测报文转换为时序数据;将时序数据,存储在时序数据库。
图2b示出本公开的遥测报文的处理方法的另一些实施例的流程图。
如图2b所示,在步骤210b中,Kafka模块收到采集器产生的数据。
在步骤220b中,读取遥测模型。
在步骤230b中,根据遥测模型,将数据按照时间戳逐个存入时序数据库,保证数据时序的准确性。
在一些实施例中,数据存储模块将解析后的Telemetry报文进入Kafka;根据遥测模型中定义的映射策略,将其转换为特定的时序数据库(InfluxDB)的对应项。
例如,Kafka模块还被机器学习模块消费,以进行后续的数据分析。
在一些实施例中,基于第二遥测报文,执行预测网络情况或优化网络配置中的至少一项。例如,利用获取的第二遥测报文,训练分析模型,分析模型用于预测网络情况或优化网络配置中的至少一项。例如,分析模型包括机器学习模型等。
例如,验证第二遥测报文的完整性、一致性、无冗余性或者有效性中的至少一个;利用通过验证的第二遥测报文,训练分析模型。
例如,根据遥测模型,确定分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个,用于分析模型的训练。
图2c示出本公开的遥测报文的处理方法的另一些实施例的流程图。
如图2c所示,在步骤210c中,消费Kafka中的Telemetry数据,直到有足够的数据生成模型库。
在步骤220c中,预处理确保消费过来的数据格式的完整性、一致性、无冗余性和有效性。
例如,预处理模块执行数据检查和转换,确保消费过来的数据格式完整性、一致性、无冗余性和有效性。
在步骤230c中,根据配置文件中窗口大小、采样间隔、开始时间、时滞对数据进行学习。
例如,预测模块根据配置文件中窗口大小、采样间隔、开始时间、时滞来对数据进行学习,生成分析模型库。
在步骤240c中,生成分析模型库。
在一些实施例中,监控方法还包括:根据实时获取的第二遥测报文,利用分析模型预测网络情况。
例如,第二遥测报文包括时间戳;根据时间戳,判断各实时获取的第二遥测报文的时间间隔是否均匀;在不均匀的情况下,利用遥测模型对各实时获取的第二遥测报文进行插补处理,生成时间间隔均匀的报文序列;根据报文序列,利用分析模型预测网络情况。
例如,读取遥测模型,确定用户对于实时获取的第二遥测报文的修改信息,修改信息根据网络情况的预测需求生成;根据修改信息,对实时获取的第二遥测报文进行处理;根据处理结果,利用分析模型预测网络情况。
在一些实施例中,根据实时获取的第二遥测报文,利用分析模型预测网络情况;将网络情况作为时序数据,存储在时序数据库;从时序数据库中读取时序数据;按照时间顺序,显示时序数据。
图2d示出本公开的遥测报文的处理方法的另一些实施例的流程图。
如图2d所示,在步骤210d中,实时消费Kafka模块中的Telemetry数据。
例如,机器学习模块可根据从Kafka模块中消费过来的Telemetry数据提供预测。
在步骤220d中,根据遥测模型中用户对于实时数据的修改(如增加干扰量),满足用户对于网络规模扩展后的预测需求。
在一些实施例中,如果缺少观测值,预处理模块将Telemetry报文插补;如果时间戳不是均匀的时间间隔,则预处理模块使用遥测模型中配置的方法调整数据。
例如,Telemetry采用的是UDP(User Datagram Protocol,用户数据报协议),可能出现丢包情况。丢包会造成收到的报文不连续,可以通过插值的方式补充报文数据,以保证报文在时间上连贯。
例如,Telemetry报文的时间间隔应为10s,但是采集的0s时刻的报文和20s时刻的报文,即缺少10s时刻的报文。在这种情况下,可以根据0s时刻的报文生成10s时刻的报文作为补充;补充后的报文序列能够保证在时间上的间隔为10s。
在一些实施例中,可以按照用户配置的遥测模型,对Telemetry进行定量修改,满足用户对于网络规模扩展后的预测需求。
例如,KAFKA模块中存储了的是1个PON下拥有10个用户的报文;采集的报文中包括丢包率、传输速率等网络情况;用户想要预测1个PON拥有20个用户的网络情况。在这种情况下,可以根据遥测模型中用户的上述需求,生成符合上述情况的报文;利用分析模型处理生成的报文,预测在上述情况下的网络情况,如丢包率等网络性能参数。
由于,KAFKA模块中原本存储的报文是遥测模型解析生成的,上述补充的报文也是遥测模型生成的,因此能够做到数据的对齐,从而保证预测结果的准确性。
在步骤230d中,基于现有学习模型库,对数据进行实时预测,并对格式进行处理适配时序数据库。
在步骤240d中,发送预测值,并存入时序数据库。
在一些实施例中,当用户需要进行预测时,则预测模块基于现有学习模型库对数据进行实时预测;并对预测结果的格式进行处理以适配时序数据库;最后发送预测值存入时序数据库。例如,显示模块用于实时显示网络性能数据。
图3示出本公开的遥测报文的处理装置的一些实施例的示意图。
如图3所示,遥测模型用于驱动并定义整个***的接口。采集器负责收到OLT发送的Telemetry报文并在将数据注入Kafka之前通过遥测模型进行数据生成和预处理。
在一些实施例中,Telemetry报文可以包括在特定时间点的大量设备或网络相关参数。例如,通过特定端口的传输或接收数据速率、传输或接收的流量,丢弃数据包的数量等。报文通常以恒定的时间间隔发生,这些报文由单独的时间戳区分,并在遥测模型定义。
例如,时间戳通常与它描述的事件一起保存,并在整个管道传播过程中充当唯一标识符,直到数据分析过程使用它。
在一些实施例中,数据存储模块将解析后的Telemetry报文进入Kafka模块,由遥测模型中定义的映射策略将其转换为特定的时序数据库(InfluxDB)的对应项。Kafka模块还被机器学习模块消费,以进行后续的数据分析。
在一些实施例中,机器学习模块包括预处理模块、预测模块等。机器学习模块可根据消费Kafka模块中的Telemetry报文提供预测功能。
例如,机器学习模块消费Kafka中所需要的Telemetry报文,直到有足够的数据支撑分析模型库的生成。预处理模块执行数据检查和转换,确保消费过来的数据格式完整性、一致性、无冗余性和有效性。
例如,如果缺少观测值,预处理模块将Telemetry报文插补。如果时间戳不是均匀的时间间隔,则预处理模块使用配置的方法调整数据。可以按照用户配置的遥测模型,对Telemetry进行定量修改,满足用户对于网络规模扩展后的预测需求。
例如,预测模块根据配置文件中窗口大小、采样间隔、开始时间、时滞来对数据进行学习,生成分析模型库。当用户需要进行预测,则预测模块基于现有学习模型库对数据进行实时预测,并对格式进行处理适配时序数据库,最后发送预测值存入时序数据库。
例如,显示模块实时显示网络性能数据。
上述实施例中,可以对不同厂家OLT进行统一网络性能监控、管理和预测。通过运营商自定义的标准模型对OLT就行网络性能数据采集,打破了封闭的网络管理方式,实现快速的部署构建整个网络。
遥测模型来驱动整个***,实现接口统一。根据运营商定义的模型导入配置文件并对用户提供开放接口,让用户自定义所需网络规模来进行网络性能预测,并实时显示将来的预测值。实时监控网络性能数据,实现网络可视化。
本公开的技术方案,能够在工业PON或园区网络下给用户提供实时的数据监控,故障提前感知和网络扩容建议,做到整个网络可视化,智能化,实现高效运维管理,满足客户需求。
本公开的技术方案,能够为工业PON场景用户提供高精度闭环的网络的实时检测以及预测分析。遥测模型统一驱动各组件接口,部署开发快速。无需使用厂家网管管理网络,降低了运营商部署网络的成本。
本公开的技术方案,实现了对接入网网络性能的监控,打破封闭管理。通过遥测模型定义了接入网Telemetry采集的接口,适配多个厂家设备,并且应用于专利提供的整个网络管理***的各个组件接口,更易推广开发。遥测模型定义样本的时序,支持用户配置增加变量,决定了机器学习模块的输入与输出,对网络性能进行预测,实现智能化网络管理。
本公开的技术方案,实现了白盒化的网络管理模式。通过遥测模型驱动了各个模块的接口,接口标准统一,***易扩展易推广遥测模型规定了采集数据的时间戳,保证了对数据预测学习的准确性。实现了网络性能的闭环管理,对采集数据实时收集进行呈现和预测学习。
图4示出本公开的遥测报文的处理装置的一些实施例的框图。
如图4所示,遥测报文的处理装置4包括:采集器41,用于采集终端发送的第一遥测报文,基于遥测模型生成的接口,对第一遥测报文进行解析,得到第二遥测报文;数据存储模块42,用于存储第二遥测报文,以便遥测平台基于第二遥测报文对外提供服务。例如,遥测模型为遥测模块
在一些实施例中,处理装置4还包括:预测模块43,用于基于第二遥测报文,执行预测网络情况或优化网络配置中的至少一项。
在一些实施例中,预测模块43利用获取的第二遥测报文,训练分析模型,分析模型用于预测网络情况或优化网络配置中的至少一项。
在一些实施例中,处理装置4还包括:预处理模块44,用于验证第二遥测报文的完整性、一致性、无冗余性或者有效性中的至少一个;预测模块利用通过验证的第二遥测报文,训练分析模型。例如,处理装置4包括机器学习模块(图中未示出),机器学习模块包括预测模块43和预处理模块44。
在一些实施例中,预测模块43根据遥测模型包括的窗口大小、采样间隔、开始时间或者时滞情况中的至少一个。
在一些实施例中,分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个用于所述分析模型的训练。
在一些实施例中,处理装置4还包括:预测模块43,用于根据实时获取的第二遥测报文,利用分析模型预测网络情况。
在一些实施例中,第二遥测报文包括时间戳,处理装置4还包括预处理模块44,用于根据时间戳,判断各实时获取的第二遥测报文的时间间隔是否均匀,在不均匀的情况下,利用遥测模型对各实时获取的第二遥测报文进行插补处理,生成时间间隔均匀的报文序列;预处理模块43根据报文序列,利用分析模型预测网络情况。
在一些实施例中,预测模块43读取遥测模型,确定用户对于实时获取的第二遥测报文的修改信息,修改信息根据网络情况的预测需求生成,根据修改信息,对实时获取的第二遥测报文进行处理,根据处理结果,利用分析模型预测网络情况。
在一些实施例中,数据存储模块42包括:Kafka模块(图中未示出),用于存储第二遥测报文,第二遥测报文包括时间戳,读取遥测模型,确定映射策略,根据映射策略和时间戳,将第二遥测报文转换为时序数据;时序数据库,用于存储时序数据。
在一些实施例中,处理装置4还包括:预测模块43,用于根据实时获取的第二遥测报文,利用分析模型预测网络情况,时序数据库将网络情况作为时序数据进行存储;显示模块45,用于从时序数据库中读取时序数据,按照时间顺序,显示时序数据。
在一些实施例中,终端为OLT,第一遥测报文为Telemetry报文,采集器根据遥测模型,将Telemetry报文翻译为JSON格式并添加时间戳,以得到第二遥测报文。
在一些实施例中,采集器采集不同厂商的多个终端发送的第一遥测报文。
在一些实施例中,遥测模型与终端上报的模型相匹配。
图5示出本公开的遥测报文的处理装置的另一些实施例的框图。
如图5所示,该实施例的遥测报文的处理装置5包括:存储器51以及耦接至该存储器51的处理器52,处理器52被配置为基于存储在存储器51中的指令,执行本公开中任意一个实施例中的遥测报文的处理方法。
其中,存储器51例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图6示出本公开的遥测报文的处理装置的又一些实施例的框图。
如图6所示,该实施例的遥测报文的处理装置6包括:存储器610以及耦接至该存储器610的处理器620,处理器620被配置为基于存储在存储器610中的指令,执行前述任意一个实施例中的遥测报文的处理方法。
存储器610例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序Boot Loader以及其他程序等。
遥测报文的处理装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中,输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白,本公开的实施例可提供为方法、***、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此,已经详细描述了根据本公开的遥测报文的处理方法、遥测报文的处理装置和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和***。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和***。用于方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (30)
1.一种遥测报文的处理方法,包括:
采集终端发送的第一遥测报文;
基于遥测模型生成的接口,对所述第一遥测报文进行解析,得到第二遥测报文;
存储所述第二遥测报文,以便遥测平台基于所述第二遥测报文对外提供服务。
2.根据权利要求1所述的处理方法,还包括:
基于所述第二遥测报文,执行预测网络情况或优化网络配置中的至少一项。
3.根据权利要求2所述的处理方法,其中,所述执行预测网络情况或优化网络配置中的至少一项包括:
利用获取的所述第二遥测报文,训练分析模型,所述分析模型用于预测网络情况或优化网络配置中的至少一项。
4.根据权利要求3所述的处理方法,其中,所述训练分析模型包括:
验证所述第二遥测报文的完整性、一致性、无冗余性或者有效性中的至少一个;
利用通过验证的第二遥测报文,训练所述分析模型。
5.根据权利要求3所述的处理方法,其中,所述训练分析模型包括:
根据所述遥测模型,确定所述分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个。
6.根据权利要求5所述的处理方法,其中,所述分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个用于所述分析模型的训练。
7.根据权利要求1所述的处理方法,还包括:
根据实时获取的第二遥测报文,利用分析模型预测网络情况。
8.根据权利要求7所述的处理方法,其中,所述第二遥测报文包括时间戳,
所述利用分析模型预测网络情况包括:
根据所述时间戳,判断各实时获取的第二遥测报文的时间间隔是否均匀;
在不均匀的情况下,利用所述遥测模型对所述各实时获取的第二遥测报文进行插补处理,生成时间间隔均匀的报文序列;
根据所述报文序列,利用所述分析模型预测网络情况。
9.根据权利要求7所述的处理方法,其中,所述利用分析模型预测网络情况包括:
读取所述遥测模型,确定用户对于所述实时获取的第二遥测报文的修改信息,所述修改信息根据网络情况的预测需求生成;
根据所述修改信息,对所述实时获取的第二遥测报文进行处理;
根据处理结果,利用所述分析模型预测网络情况。
10.根据权利要求1-9任一项所述的处理方法,其中,所述存储所述第二遥测报文包括:
将所述第二遥测报文,存储在数据存储模块,所述第二遥测报文包括时间戳;
读取所述遥测模型,确定映射策略;
根据所述映射策略和所述时间戳,将所述第二遥测报文转换为时序数据;
将所述时序数据,存储在时序数据库。
11.根据权利要求10所述的处理方法,还包括:
根据实时获取的第二遥测报文,利用分析模型预测网络情况;
将所述网络情况作为时序数据,存储在所述时序数据库;
从所述时序数据库中读取所述时序数据;
按照时间顺序,显示所述时序数据。
12.根据权利要求1-9任一项所述的处理方法,其中,所述终端为光线路终端OLT,所述第一遥测报文为遥测Telemetry报文,
所述基于遥测模型生成的接口,对所述第一遥测报文进行解析,得到第二遥测报文包括:
根据所述遥测模型,将所述Telemetry报文翻译为JSON格式并添加时间戳,以得到所述第二遥测报文。
13.根据权利要求1-9任一项所述的处理方法,其中,所述采集终端发送的第一遥测报文包括:
采集不同厂商的多个终端发送的第一遥测报文。
14.根据权利要求1-9任一项所述的处理方法,其中,所述遥测模型与所述终端上报的模型相匹配。
15.一种遥测报文的处理装置,包括:
采集器,用于采集终端发送的第一遥测报文,基于遥测模型生成的接口,对所述第一遥测报文进行解析,得到第二遥测报文;
数据存储模块,用于存储所述第二遥测报文,以便遥测平台基于所述第二遥测报文对外提供服务。
16.根据权利要求15所述的处理装置,还包括:
预测模块,用于基于所述第二遥测报文,执行预测网络情况或优化网络配置中的至少一项。
17.根据权利要求16所述的处理装置,其中,
所述预测模块利用获取的所述第二遥测报文,训练分析模型,所述分析模型用于预测网络情况或优化网络配置中的至少一项。
18.根据权利要求17所述的处理装置,还包括:
预处理模块,用于验证所述第二遥测报文的完整性、一致性、无冗余性或者有效性中的至少一个;
其中,所述预测模块利用通过验证的第二遥测报文,训练所述分析模型。
19.根据权利要求17所述的处理装置,其中,
所述预测模块根据所述遥测模型,确定所述分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个。
20.根据权利要求19所述的处理装置,其中,所述分析模型的窗口大小、采样间隔、开始时间或者时滞情况中指标的至少一个用于所述分析模型的训练。
21.根据权利要求15所述的处理装置,还包括:
预测模块,用于根据实时获取的第二遥测报文,利用分析模型预测网络情况。
22.根据权利要求21所述的处理装置,其中,所述第二遥测报文包括时间戳,
所述处理装置还包括预处理模块,用于根据所述时间戳,判断各实时获取的第二遥测报文的时间间隔是否均匀,在不均匀的情况下,利用所述遥测模型对所述各实时获取的第二遥测报文进行插补处理,生成时间间隔均匀的报文序列;
其中,所述预处理模块根据所述报文序列,利用所述分析模型预测网络情况。
23.根据权利要求20所述的处理装置,其中,
所述预测模块读取所述遥测模型,确定用户对于所述实时获取的第二遥测报文的修改信息,所述修改信息根据网络情况的预测需求生成,根据所述修改信息,对所述实时获取的第二遥测报文进行处理,根据处理结果,利用所述分析模型预测网络情况。
24.根据权利要求15-23任一项所述的处理装置,其中,所述数据存储模块包括:
Kafka模块,用于存储所述第二遥测报文,所述第二遥测报文包括时间戳,读取所述遥测模型,确定映射策略,根据所述映射策略和所述时间戳,将所述第二遥测报文转换为时序数据;
时序数据库,用于存储所述时序数据。
25.根据权利要求24所述的处理装置,还包括:
预测模块,用于根据实时获取的第二遥测报文,利用分析模型预测网络情况,所述时序数据库将所述网络情况作为时序数据进行存储;
显示模块,用于从所述时序数据库中读取所述时序数据,按照时间顺序,显示所述时序数据。
26.根据权利要求15-23任一项所述的处理装置,其中,所述终端为光线路终端OLT,所述第一遥测报文为遥测Telemetry报文,
所述采集器根据所述遥测模型,将所述Telemetry报文翻译为JSON格式并添加时间戳,以得到所述第二遥测报文。
27.根据权利要求15-23任一项所述的处理装置,其中,
所述采集器采集不同厂商的多个终端发送的第一遥测报文。
28.根据权利要求15-23任一项所述的处理装置,其中,所述遥测模型与所述终端上报的模型相匹配。
29.一种遥测报文的处理装置,包括:
存储器;和
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行权利要求1-14任一项所述的遥测报文的处理方法。
30.一种非易失性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-14任一项所述的遥测报文的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210654771.7A CN117254854A (zh) | 2022-06-10 | 2022-06-10 | 遥测报文的处理方法、装置和非易失性计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210654771.7A CN117254854A (zh) | 2022-06-10 | 2022-06-10 | 遥测报文的处理方法、装置和非易失性计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117254854A true CN117254854A (zh) | 2023-12-19 |
Family
ID=89133682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210654771.7A Pending CN117254854A (zh) | 2022-06-10 | 2022-06-10 | 遥测报文的处理方法、装置和非易失性计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117254854A (zh) |
-
2022
- 2022-06-10 CN CN202210654771.7A patent/CN117254854A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101478449A (zh) | 一种协议自动测试方法及其*** | |
CN101291509A (zh) | 移动终端装置、移动终端装置的诊断方法 | |
CN102325036A (zh) | 一种网络***的故障诊断方法、***及装置 | |
CN116719664B (zh) | 基于微服务部署的应用和云平台跨层故障分析方法及*** | |
CN117544676B (zh) | 一种多端运维数据交互传输方法及*** | |
CN111055685A (zh) | 一种交互式模拟充电测试***及测试方法 | |
KR20230032286A (ko) | 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템 | |
CN110427297A (zh) | 诊断信息获取方法、***及网关和计算机可读介质 | |
CN110969082B (zh) | 一种时钟同步测试巡检方法和*** | |
CN117254854A (zh) | 遥测报文的处理方法、装置和非易失性计算机可读存储介质 | |
CN113703366A (zh) | 一种燃料电池可视化控制***和方法 | |
JP2022071825A5 (zh) | ||
CN114064485A (zh) | 一种软件测试方法、***、计算机设备及可读存储介质 | |
CN112312376A (zh) | 一种远程交互管理多功能电表的方法及*** | |
CN109613423A (zh) | 基于振动信号的高压断路器在线监测和故障分析*** | |
CN118101532B (zh) | 一种多协议兼容的网络设备自适应测试***及方法 | |
CN117312104B (zh) | 一种基于机场生产运营***的可视化链路追踪方法及*** | |
CN116541229B (zh) | 一种数据驱动的通信调试方法及*** | |
CN117171534B (zh) | 一种数控机床多源异构数据获取方法、***、装置及介质 | |
CN115473837B (zh) | 可配置协议的通讯测试工具和基于其的通讯测试方法 | |
CN110069416B (zh) | 一种测试数据处理方法、装置以及相关设备 | |
CN108763461A (zh) | 数据处理方法、装置、***及存储介质 | |
CN117835275A (zh) | 一种基于5g边缘计算的业务延时优化方法 | |
CN118368652A (zh) | 网元操作方案的生成方法、装置、电子设备及存储介质 | |
CN118227440A (zh) | 一种基于大模型的混沌工程实验报告生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |