CN108880875B - 日志报文的传输方法及装置 - Google Patents
日志报文的传输方法及装置 Download PDFInfo
- Publication number
- CN108880875B CN108880875B CN201810576230.0A CN201810576230A CN108880875B CN 108880875 B CN108880875 B CN 108880875B CN 201810576230 A CN201810576230 A CN 201810576230A CN 108880875 B CN108880875 B CN 108880875B
- Authority
- CN
- China
- Prior art keywords
- log message
- compressed
- log
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种日志报文的传输方法及装置,包括:获取至少两个待压缩日志报文;利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将摘要信息和第一数据组成日志报文信息;将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;对拼接日志报文信息进行压缩处理,得到压缩数据;向第二网络设备发送压缩日志报文,压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据,以使第二网络设备根据压缩标识对压缩数据进行解压缩处理,得到待压缩日志报文。根据本发明实施例提供的日志报文的传输方法及装置,能够日志报文对链路资源的占用。
Description
技术领域
本发明涉及网络技术领域,尤其涉及一种日志报文的传输方法及装置。
背景技术
***日志(Syslog)协议是一个在IP网络中转发***日志信息的标准,可采用系记录设备的日志。Syslog中记录着日期、时间、使用者及动作等相关操作的描述。管理者可以通过查看Syslog随时掌握***状况,通过对Syslog进行分析,可追踪和掌握与设备和网络有关的情况。
但是在IP(英文:Internet Protocol,中文:网络之间互连的协议)网络中,当存在大量Syslog报文时,会占用链路的较多带宽资源,在带宽资源较少时,可能会出现影响重要业务数据传输的问题。
为了解决上述问题,相关技术采用对Syslog报文进行限速的方式,以减少对链路的带宽资源的占用,举例来说,在Syslog报文流量过大时,丢弃部分Syslog报文。但是,这样会使得日志服务器接收的数据缺失,造成无法完整精确的获取设备和网络状态信息的问题。
发明内容
有鉴于此,本发明提出了一种日志报文的传输方法及装置,以减少日志报文对第一网络设备及第二网络设备之间的链路资源的占用。
在第一方面,本发明实施例提供了一种日志报文的传输方法,应用于第一网络设备,所述方法包括:
获取至少两个待压缩日志报文,所述至少两个待压缩日志报文中的每个待压缩日志报文包括日志报文头部和第一数据,所述每个待压缩日志报文的日志报文头部中的转发属性相同;
利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息;
通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;
对所述拼接日志报文信息进行压缩处理,得到压缩数据;
向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为所述拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
结合第一方面,在第一种可能的实现方式中,所述获取至少两个待压缩日志报文,包括:
获取第一日志报文,所述第一日志报文包括日志报文头部和数据;
当所述第一日志报文中未包括压缩标识时,从待转发队列中查找是否存在具有所述第一日志报文包括的日志报文头部中的转发属性,且未包括压缩标识的第二日志报文;
如果存在,则确定所述第一日志报文及所述第二日志报文为所述待压缩日志报文。
结合第一方面,在第二种可能的实现方式中,所述摘要信息包括所述日志报文信息的数据长度、所述待压缩日志报文的ID及所述待压缩日志报文的存活时间;
其中,所述数据长度用于使所述第二网络设备从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息;
所述待压缩日志报文的ID及所述待压缩日志报文的存活时间用于使所述第二网络设备还原出每个待压缩日志报文的日志报文头部。
结合第一方面,在第三种可能的实现方式中,所述压缩头部还包括:每个待压缩日志报文对应的日志报文信息的偏移量;
所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段。
在第二方面,本发明实施例提供了一种日志报文的传输方法,应用于第二网络设备,所述方法包括:
获取压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据;
根据所述压缩标识,对所述压缩数据进行解压缩处理,得到拼接日志报文信息,所述拼接日志报文信息包括至少两个日志报文信息,每个日志报文信息包括第一数据及所述第一数据对应的摘要信息;
根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部;
根据每个日志报文头部及每个日志报文信息包括的第一数据,还原出每个日志报文信息对应的日志报文。
结合第二方面,在第一种可能的实现方式中,所述摘要信息包括所述日志报文信息的数据长度、所述日志报文信息对应的日志报文的ID及所述日志报文信息对应的日志报文的存活时间;
所述方法还包括:
根据所述日志报文信息的数据长度,从所述拼接日志报文信息中获取各个日志报文信息;
所述根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部,包括:
根据每个日志报文信息对应的日志报文的ID和每个日志报文信息对应的日志报文的存活时间、及所述压缩日志报文的压缩日志报文头部,生成每个日志报文的日志报文头部。
结合第二方面,在第二种可能的实现方式中,所述压缩头部还包括:每个日志报文对应的日志报文信息的偏移量,所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段;
所述方法还包括:
根据每个日志报文对应的偏移量,从所述拼接日志报文信息中获取每个日志报文的日志报文信息。
在第三方面,本发明实施例提供了一种日志报文的传输装置,应用于第一网络设备,所述装置包括:
获取模块,用于获取至少两个待压缩日志报文,所述至少两个待压缩日志报文中的每个待压缩日志报文包括日志报文头部和第一数据,所述每个待压缩日志报文的日志报文头部中的转发属性相同;
第一处理模块,用于利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息;
第二处理模块,用于通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;
压缩模块,用于对所述拼接日志报文信息进行压缩处理,得到压缩数据;
发送模块,用于向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为所述拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
结合第三方面,在第一种可能的实现方式中,所述获取模块,包括:
获取子模块,用于获取第一日志报文,所述第一日志报文包括日志报文头部和数据;
查找子模块,用于当所述第一日志报文中未包括压缩标识时,从待转发队列中查找是否存在具有所述第一日志报文包括的日志报文头部中的转发属性,且未包括压缩标识的第二日志报文;
确定子模块,用于如果存在,则确定所述第一日志报文及所述第二日志报文为所述待压缩日志报文。
结合第三方面,在第二种可能的实现方式中,所述摘要信息包括所述日志报文信息的数据长度、所述待压缩日志报文的ID及所述待压缩日志报文的存活时间;
其中,所述数据长度用于使所述第二网络设备从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息;
所述待压缩日志报文的ID及所述待压缩日志报文的存活时间用于使所述第二网络设备还原出每个待压缩日志报文的日志报文头部。
结合第三方面,在第三种可能的实现方式中,所述压缩头部还包括:每个待压缩日志报文对应的日志报文信息的偏移量;
所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段。
在第四方面,本发明实施例提供了一种日志报文传输装置,应用于第二网络设备,所述装置包括:
第一获取模块,用于获取压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据;
解压缩模块,用于根据所述压缩标识,对所述压缩数据进行解压缩处理,得到拼接日志报文信息,所述拼接日志报文信息包括至少两个日志报文信息,每个日志报文信息包括第一数据及所述第一数据对应的摘要信息;
第一还原模块,用于根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部;
第二还原模块,用于根据每个日志报文头部及每个日志报文信息包括的第一数据,还原出每个日志报文信息对应的日志报文。
结合第四方面,在第一种可能的实现方式中,所述摘要信息包括所述日志报文信息的数据长度、所述日志报文信息对应的日志报文的ID及所述日志报文信息对应的日志报文的存活时间;
所述装置,还包括:
第二获取模块,用于根据所述日志报文信息的数据长度,从所述拼接日志报文信息中获取各个日志报文信息;
所述第一还原模块,包括:
还原子模块,用于根据每个日志报文信息对应的日志报文的ID和每个日志报文信息对应的日志报文的存活时间、及所述压缩日志报文的压缩日志报文头部,生成每个日志报文的日志报文头部。
结合第四方面,在第二种可能的实现方式中,所述压缩头部还包括:每个日志报文对应的日志报文信息的偏移量,所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段;
所述装置还包括:
第三获取模块,用于根据每个日志报文对应的偏移量,从所述拼接日志报文信息中获取每个日志报文的日志报文信息。
根据本发明的另一方面,提供了一种日志报文的传输装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述方法。
根据本发明的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述方法。
因此,通过应用本发明实施例提供的日志报文的传输方法及装置,第一网络设备获取至少两个待压缩日志报文后,根据各个待压缩日志报文的日志报文头部和第一数据,生成每个第一数据对应的摘要信息。根据摘要信息和第一数据,第一网络设备生成各个待压缩日志报文的日志报文信息,并将各个待压缩日志报文的日志报文信息进行拼接,得到拼接日志报文信息。第一网络设备将拼接日志报文信息压缩成压缩数据后,根据压缩数据及任一待压缩日志报文的日志报文头部生成压缩日志报文。第一网络设备将压缩日志报文发送至第二网络设备,以使得第二网络设备接收压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩,进而还原各个待压缩日志报文。
这样一来,第一网络设备将至少两个待压缩日志报文压缩成一个压缩日志报文后,发送至第二网络设备,可以减少发送的日志报文的数量,进而能够减少日志报文对第一网络设备及第二网络设备之间的链路资源的占用。
根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。
图1示出了本发明实施例中一种网络结构的示意图;
图2示出根据本发明一实施例的一种日志报文的传输方法的流程图;
图3示出根据本发明一实施例的一种日志报文的传输方法的流程图;
图4示出根据本发明实施例中待压缩日志报文的日志报文格式示意图;
图5示出根据本发明实施例中拼接日志报文信息的结构示意图;
图6示出根据本发明实施例中压缩日志报文的日志报文格式示意图;
图7示出根据本发明一实施例的一种日志报文的传输方法的流程图;
图8示出根据本发明一实施例的一种日志报文的传输装置的结构框图;
图9示出根据本发明一实施例的一种日志报文的传输装置的结构框图;
图10示出根据本发明一实施例的一种日志报文的传输装置的结构框图;
图11示出根据本发明一实施例的一种日志报文的传输装置的结构框图;
图12是根据一示例性实施例示出的一种日志报文的传输装置的硬件结构框图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
图1示出了本发明实施例中一种网络结构的示意图,包括:第一网络设备和第二网络设备、及日志服务器,其中第一网络设备与第二网络设备之间建立有第一链路,第二网络设备与日志服务器之间建立有第二链路。第一网络设备接收日志报文后,通过第一链路将日志报文发送至第二网络设备,在日志报文数量较多时,会占用第一链路较多的资源,进而会对其他业务的数据报文的传输造成影响。
本发明实施例为减少日志报文对第一链路资源的占用,第一网络设备将待传输至第二网络设备的多个日志报文进行压缩处理后,生成一个压缩日志报文,并通过第一链路将压缩日志报文发送至第二网络设备。第二网络设备接收上述压缩日志报文后,从压缩日志报文中还原出多个日志报文,进而能够减少日志报文对第一链路的资源占用。
图2示出根据本发明一实施例的一种日志报文的传输方法的流程图,该方法应用于第一网络设备。如图2所示,该方法包括以下步骤。
步骤201、获取至少两个待压缩日志报文,所述至少两个待压缩日志报文中的每个待压缩日志报文包括日志报文头部和第一数据,所述每个待压缩日志报文的日志报文头部中的转发属性相同。
本发明实施例中,第一网络设备为对所述待压缩日志报文执行压缩操作的网络设备。第一网络设备可以根据日志报文的源/目的IP地址与本地的转发策略进行匹配,以确定对日志报文执行压缩处理、或者直接转发操作、或者解压缩处理。
第一网络设备从待转发队列中转发日志报文时,可以从待转发对列中获取至少两个待压缩日志报文。其中,待转发队列为用于缓存待转发的数据报文的队列,待压缩日志报文为第一网络设备进行策略匹配后,确定的待进行压缩处理的日志报文。
举例来说,当前待转发队列中待转发的数据报文为第一日志报文,第一网络设备确定第一日志报文为待压缩处理的日志报文,第一网络设备可以从待转发队列中确定与第一日志报文具有相同转发属性的第二日志报文。其中,转发属性用于表征发送日志报文的源网络设备及接收该日志报文的目的网络设备,例如:上述转发属性包括:源/目的IP、源/目的端口号、及协议号。
每个待压缩日志报文包括日志报文头部及第一数据,其中日志报文头部包括待压缩日志报文的IP头和UDP(英文:User Data Protocol,中文:用户数据报协议)头,第一数据为待压缩日志报文UDP头之后的数据部分。
步骤202、利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息。
针对所有待压缩日志报文中的每个待压缩日志报文,第一网络设备确定该待压缩日志报文的日志报文头部中携带的信息(例如:日志报文的ID及日志报文的存活时间,其中,第一网络设备确定日志报文中携带的存活时间ttl-1为日志报文的存活时间,下述实施例中不再对日志报文的存活时间的确定过程加以赘述),根据该信息及第一数据的长度生成第一数据对应的摘要信息,并根据该摘要信息及第一数据组成该待压缩日志报文对应的日志报文信息。
其中,该日志报文信息中的摘要信息包括该日志报文信息的数据长度(摘要信息的长度及第一数据的长度之和)、日志报文信息对应的待压缩日志报文的ID及日志报文信息对应的待压缩日志报文的存活时间。
步骤203、通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息。
第一网络设备按照每个待压缩日志报文的接收顺序(在待转发队列中的排序),将所有待压缩日志报文对应的日志报文信息进行拼接,得到拼接日志报文信息。举例来说,待压缩日志报文的接收顺序依次为:日志报文1、日志报文2和日志报文3,则拼接日志报文信息中日志报文信息对应的顺序为:日志报文1对应的日志报文信息,日志报文2对应的日志报文信息,日志报文3对应的日志报文信息。
步骤204、对所述拼接日志报文信息进行压缩处理,得到压缩数据。
第一网络设备得到拼接日志报文信息后,对拼接日志报文进行压缩处理,得到压缩数据。举例来说,第一网络设备可以采用HTTP压缩方法对拼接日志报文进行压缩处理,或者第一网络设备可以采用MPPC压缩方法对拼接日志报文进行压缩处理。
步骤205、向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为所述拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
第一网络设备根据将压缩日志报文的压缩日志报文头部中的目的地址对压缩日志报文进行转发处理。第二网络设备得到压缩日志报文后,根据压缩标识对压缩数据进行解压缩处理,得到拼接日志报文信息后,根据拼接日志报文信息中包括的每个待压缩日志报文对应的日志报文信息,还原每个待压缩日志报文,并发送待压缩日志报文至日志服务器。其中,第二网络设备为对压缩日志报文进行解压缩处理的网络设备。
举例来说,第一网络设备确定拼接日志报文信息中的第一个日志报文信息,所对应的待压缩日志报文(第一网络设备最先接收到待压缩日志报文)的日志报文头部(IP头和UDP头),为压缩日志报文的压缩日志报文头部,第一网络设备根据该压缩日志报文的压缩日志报文头部、具有压缩标识的压缩头部及压缩数据组成压缩日志报文。其中,压缩标识用于标识压缩日志报文。
在一种可能的实现方式中,所述压缩头部还包括:所述待压缩日志报文的总数、所述拼接日志报文信息的长度。其中,所述待压缩日志报文的总数用于使所述第二网络设备还原所述待压缩日志报文时,确定所述待压缩日志报文的个数;所述拼接日志报文信息的长度用于所述第二网络设备根据拼接日志报文信息及上述日志报文信息的数据长度从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息。
第一网络设备根据该压缩日志报文的日志报文头部中的目的地址,向第二网络设备发送上述压缩日志报文。第二网络设备接收该压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩,得到拼接日志报文,并从拼接日志报文中得到各个待压缩日志报文的日志报文信息后,还原各个日志报文信息对应的待压缩日志报文。第二网络设备根据各个待压缩日志报文的日志报文信息在拼接日志报文中的顺序(第一网络设备接收各个待压缩日志报文的顺序),向日志服务器转发各个待压缩日志报文,可以保证待压缩日志报文的处理顺序不变。
因此,通过应用本发明实施例提供的日志报文的传输方法,第一网络设备获取至少两个待压缩日志报文后,根据各个待压缩日志报文的日志报文头部和第一数据,第一网络设备生成每个第一数据对应的摘要信息,根据摘要信息和第一数据生成各个待压缩日志报文的日志报文信息,并将各个待压缩日志报文的日志报文信息进行拼接,得到拼接日志报文信息。第一网络设备将拼接日志报文信息压缩成压缩数据后,根据压缩数据及拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部生成压缩日志报文。第一网络设备将压缩日志报文发送至第二网络设备,以使得第二网络设备接收压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩,进而还原各个待压缩日志报文。
这样一来,第一网络设备将至少两个待压缩日志报文压缩成一个压缩日志报文后,发送至第二网络设备,可以减少发送的日志报文的数量,进而能够减少日志报文对第一网络设备及第二网络设备之间的链路资源的占用。
在另一个实施例中,第一网络设备可以根据当前待转发的第一日志报文,确定待转发队列中与第一日志报文具有形同转发属性的第二网络设备,进而将第一日志报文和第二日志报文进行压缩处理成压缩日志报文后,发送至第二网络设备。以下通过图3所示的日志报文的传输方法的流程图,对本发明实施例的日志报文的传输方法进行详细描述。
具体地,图3所示的日志报文的传输方法包括以下步骤。
步骤301、获取第一日志报文,所述第一日志报文包括日志报文头部和数据。
待转发队列中处于队首的日志报文为第一日志报文,该第一日志报文包括日志报文头部(包括IP头和UDP头)和数据(UDP头之后的数据部分),其中,日志报文头部中包括转发属性,例如:源/目的IP、源/目的端口号、及协议号。
步骤302、当所述第一日志报文中未包括压缩标识时,从待转发队列中查找是否存在具有所述第一日志报文包括的日志报文头部中的转发属性,且未包括压缩标识的第二日志报文。
在第一日志报文中不包括压缩标识时,表征该第一日志报文不是压缩日志报文,故第一网络设备从待转发队列中查找不包括压缩标识的日志报文,并从上述不包括压缩标识的日志报文中查找与第一日志报文具有相同转发属性的第二日志报文。
步骤303、如果存在,则确定所述第一日志报文及所述第二日志报文为所述待压缩日志报文。
在查找到第二日志报文后,第一网络设备确定第一日志报文及第二日志报文为待压缩日志报文。在本发明实施例中,将第一日志报文和第二日志报文压缩成压缩日志报文,该压缩日志报文的压缩日志报文头部与第一日志报文的日志报文头部一致。
步骤304、利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息;
步骤305、通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;
步骤306、对所述拼接日志报文信息进行压缩处理,得到压缩数据;
步骤307、向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为任一个待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
需要说明的是,上述步骤304至步骤307与上述方法实施例中步骤202至步骤205相类似,本发明实施例在此不再赘述。
因此,应用本发明实施例提供的日志报文的传输方法,第一网络设备可以从待转发队列中获取多个不具有压缩标识,且转发属性相同的日志报文为待压缩日志报文,并在提取出各个待压缩日志报文的摘要信息和第一数据后,根据摘要信息和第一数据生成各个待压缩日志报文的日志报文信息,将各个日志报文信息进行拼接、压缩处理后,得到压缩日志报文,并发送该压缩日志报文至第二网络设备,能够减少第一网络设备向第二网络传输的日志报文的数量,进而能够减少日志报文对第一网络设备与第二网络设备之间的链路资源的占用。
在一种可能的实现方式中,上述摘要信息包括所述日志报文信息的数据长度、所述待压缩日志报文的ID及所述待压缩日志报文的存活时间;其中,所述第一数据长度用于使所述第二网络设备从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息;所述待压缩日志报文的ID及所述待压缩日志报文的存活时间用于使所述第二网络设备还原出每个待压缩日志报文的日志报文头部。
举例来说,第二网络设备接收压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩处理,得到拼接日志报文信息。第二网络设备从拼接日志报文信息中的第一个日志报文信息开始,从该日志报文信息对应的摘要信息中获取该日志报文信息的长度,并根据该日志报文信息的长度从拼接日志报文信息中获取该日志报文信息,直至获取到最后一个日志报文信息。
在一个示例中,各个日志报文信息对应的摘要信息的长度一致,故第二网络设备可以根据摘要信息的长度从各个日志报文信息中确定摘要信息和第一数据,本发明实施例中以各个日志报文信息对应的摘要信息的长度一致为例。
在另一个示例中,各个日志报文信息对应的摘要信息中还可以包括摘要信息对应的版本标识,不同的版本标识对应的摘要信息的长度不同,第二网络设备可以根据摘要信息对应的版本标识确定摘要信息的长度,进而根据摘要信息的长度从日志报文信息中确定摘要信息和第一数据。
在一种可能的实现方式中,上述压缩头部还包括:每个待压缩日志报文对应的日志报文信息的偏移量;所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段。
第二网络设备从压缩头部中获取各个日志报文信息的偏移量后,根据该各个偏移量指示的日志报文信息的起始字段和结束字段获取各个日志报文信息。
第二网络设备从拼接日志报文信息中获取各个日志报文信息后,可以从根据压缩日志报文的头部及各个日志报文信息的摘要信息还原每个待压缩日志报文的日志报文头部。
举例来说,第二网络设备从摘要信息中获取待压缩日志报文的ID和存活时间后,根据压缩日志报文头部包括的压缩日志报文的存活时间及待压缩日志报文的存活时间确定待压缩日志报文的实际存活时间,将压缩日志报文的压缩日志报文头部中的ID修改为待压缩日志报文的ID,将压缩日志报文的压缩日志报文头部中的存活时间修改为上述待压缩日志报文的实际存活时间,以生成该待压缩日志报文的日志报文头部。
第二网络设备根据待压缩日志报文对应的日志报文头部及待压缩日志报文对应的第一数据还原待压缩日志报文,并将待压缩日志报文转发至日志服务器。
这样一来,第二网络设备根据压缩标识对压缩日志报文的压缩数据进行解压缩处理,得到拼接日志报文信息后,根据拼接日志报文信息中各个日志报文信息对应的摘要信息中包括的日志报文信息的长度从拼接日志报文信息中获取各个日志报文信息,并从各个日志报文信息中获取各个日志报文信息对应的第一数据。第二网络设备根据各个日志报文信息对应的摘要信息中包括的日志报文的ID和存活时间及压缩日志报文的日志报文头部,还原各个日志报文信息对应的日志报文头部,并根据各个日志报文头部及各个日志报文信息包括的第一数据还原各个待压缩日志报文。
为使本领域技术人员更好的了解本发明实施例,以下通过具体示例对本发明实施例加以说明。
图4示出本发明实施例中待压缩日志报文的日志报文格式示意图;图5示出本发明实施例中拼接日志报文信息的结构示意图;图6示出本发明实施例中压缩日志报文的日志报文格式示意图。
在一个示例中,参照图4,待压缩日志报文包括日志报文1、日志报文2和日志报文3。其中,日志报文1包括IP头1(包括ID1和存活时间1)、UDP头和数据1,日志报文2包括IP头2(包括ID2和存活时间2)、UDP头和数据2,日志报文3包括IP头3(包括ID3和存活时间3)、UDP头和数据3。
第一网络设备在获取到上述待压缩日志报文后,提取各个待压缩日志报文的摘要信息和第一数据。以日志报文1为例,第一网络设备获取日志报文1的UDP头之后的数据1,并根据日志报文1的IP头1中携带的日志报文的ID1和存活时间1确定日志报文1的ID1和存活时间4,根据ID1和存活时间4及数据1的长度生成摘要信息1,并根据摘要信息1和数据1生成日志报文信息1,其中,摘要信息1中包括日志报文信息1的长度(摘要信息1和数据1的长度之和)、ID1和存活时间4。第一网络设备对日志报文2和日志报文3执行与日志报文1相似的操作,得到日志报文信息2和日志报文信息3。
第一网络设备对日志报文信息1、日志报文信息2和日志报文信息3进行拼接处理,得到拼接日志报文信息,拼接日志报文信息的报文格式可以参照图5。
第一网络设备对拼接日志报文信息进行压缩处理,得到压缩数据,并将日志报文1的IP头1和UDP头作为压缩日志报文的压缩日志报文头部,将压缩数据和包括压缩标识的压缩头部作为压缩日志报文的数据部分,生成压缩日志报文,该压缩头部还包括待压缩日志报文的总数、拼接日志报文信息的长度(日志报文信息1,日志报文信息2及日志报文信息3的长度之和),压缩日志报文的报文格式可以参照图6。
在一种可能的实现方式中,若日志报文中包括Options可选项(例如:LooseSource Routing(松散源路由选择)、Strict Soutce Routing(严格源路由选择)、RecordRoute(记录路由)、Timestamp(时间戳)、Verbose(详细内容))或者Fragment碎片、offset等字段时,第一网络设备不对日志报文进行压缩处理,直接对该日志报文进行转发处理。图7示出根据本发明一实施例的一种日志报文的传输方法的流程图,该方法应用于第二网络设备。如图7所示,该方法包括以下步骤。
步骤701、获取压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据。
第二网络设备从待转发队列中获取日志报文,若当前获取的日志报文信息中包括压缩标识,则表征当前日志报文为压缩日志报文。
压缩日志报文包括压缩日志报文头部和第二数据,该第二数据包括压缩头部和压缩数据,该压缩数据为多个日志报文的日志报文信息进行拼接、压缩处理后得到的,该拼接、压缩处理过程可以参照上述方法实施例中的相关描述,本发明实施例在此不再赘述。
步骤702、根据所述压缩标识,对所述压缩数据进行解压缩处理,得到拼接日志报文信息,所述拼接日志报文信息包括至少两个日志报文信息,每个日志报文信息包括第一数据及所述第一数据对应的摘要信息。
第二网络设备根据压缩标识对上述压缩数据进行解压缩处理,得到拼接日志报文信息,该拼接日志报文信包括至少两个日志报文信息,该至少两个日志报文信息分别对应至少两个日志报文,每个日志报文信息均包含其对应的日志报文的报文信息。例如,日志报文信息包括第一数据及所述第一数据对应的摘要信息,其中,第一数据为日志报文信息对应的日志报文的数据部分,摘要信息包括日志报文信息的长度,及日志报文信息对应的日志报文的ID和存活时间。
步骤703、根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部。
举例来说,第二网络设备获取每个日志报文信息包括的摘要信息,并获取摘要信息包括的日志报文的ID和存活时间。第二网络设备根据压缩日志报文的压缩日志报文头部中的存活时间及上述日志报文的存活时间,确定日志报文的实际存活时间。举例来说,第二网络设备确定上述拼接日志报文中第一个日志报文信息对应的日志报文的存活时间,与压缩日志报文头部中的存活时间的时间差,并确定各个日志报文的存活时间与该时间值的差值为各个日志报文的实际存活时间。第二网络设备将压缩日志报文的压缩日志报文头部中的日志报文的ID分别修改为各个日志报文的ID,将压缩日志报文头部中的存活时间分别修改为各个日志报文的实际存活时间,以还原每个日志报文的日志报文头部。
步骤704、根据每个日志报文头部及每个日志报文信息包括的第一数据,还原出每个日志报文信息对应的日志报文。
第二网络设备根据各个日志报文头部及各个日志报文信息中包括的第一数据,组成各个新的日志报文。
这样一来,第二网络设备在获取到压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩处理,得到拼接日志报文信息后,根据拼接日志报文信息中包括的各个日志报文信息对应的摘要信息,还原各个日志报文信息对应的日志报文头部,并根据各个日志报文头部及各个日志报文信息包括的第一数据还原各个待压缩日志报文。这样一来,向第二网络设备发送日志报文的第一网络设备可以将发送至第二网络设备的多个日志报文压缩成一个压缩日志报文后,将压缩日志报文发送至第二网络设备,由第二网络设备对压缩日志报文进行解压缩处理,还原各个日志报文,能够减少第一网络设备发送的日志报文的数量,进而能够减少日志报文对第一网络设备及第二网络设备之间的链路资源的占用。
在另一个实施例中,所述摘要信息包括所述日志报文信息的数据长度、所述日志报文信息对应的日志报文的ID及所述日志报文信息对应的日志报文的存活时间,则上述方法还可以包括以下步骤:
根据所述日志报文信息的数据长度,从所述拼接日志报文信息中获取各个日志报文信息。
举例来说,第二网络设备从拼接日志报文信息中的第一个日志报文信息开始,从各个日志报文信息对应的摘要信息中获取各个日志报文信息的长度,并根据日志报文信息的长度从拼接日志报文信息中获取各个日志报文信息。
在当前的实现方式中,上述步骤704、根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部,包括以下步骤。
根据每个日志报文信息对应的日志报文的ID和每个日志报文信息对应的日志报文的存活时间、及所述压缩日志报文的压缩日志报文头部生成每个日志报文的日志报文头部。
第二网络设备从各个摘要信息中获取待压缩日志报文的ID和存活时间后,根据各个待压缩日志报文的存活时间及压缩日志报文头部中的存活时间确定各个待压缩日志报文的实际存活时间,将压缩日志报文的压缩日志报文头部中的ID分别修改为待压缩日志报文的ID,将压缩日志报文的压缩日志报文头部中的分别存活时间修改为待压缩日志报文的实际存活时间,以生成各个待压缩日志报文的日志报文头部。
在一种可能的实现方式中,所述压缩头部还包括:每个日志报文对应的日志报文信息的偏移量,所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段;
上述方法还包括:
根据每个日志报文对应的偏移量,从所述拼接日志报文信息中获取每个日志报文的日志报文信息。
第二网络设备从压缩头部中获取各个日志报文信息的偏移量后,根据该各个偏移量指示的日志报文信息的起始字段和结束字段获取各个日志报文信息。
为使本领域技术人员更好的理解本发明实施例,以下通过具体示例对本发明实施例加以说明。
在一个示例中,参照图6,该压缩日志报文包括压缩日志报文头部(IP头和UDP头)、具有压缩标识的压缩头部和压缩数据。第二网络设备根据压缩头部对压缩数据进行解压缩处理后,得到拼接日志报文信息,拼接日志报文信息的格式可以参照图5。
该拼接日志报文信息包括3个日志报文信息。从第一个日志报文信息(日志报文信息1)开始,第二网络设备从该日志报文信息的摘要信息1中获取日志报文信息1的长度,进而根据日志报文信息1的长度从拼接日志报文中获取日志报文信息1(包括摘要信息1和数据1)。依此类推,第二网络设备从拼接日志报文信息中获取日志报文信息2(包括摘要信息2和数据2)和日志报文信息3(包括摘要信息3和数据3)。
第二网络设备从各个日志报文信息中获取摘要信息和数据,并根据摘要信息和压缩日志报文的压缩日志报文头部生成各个日志报文信息对应的日志报文头部。以日志报文信息1为例,第二网络设备从日志报文信息1中获取摘要信息1和数据1,并从摘要信息1中获取ID1和存活时间4。第二网络设备从压缩日志报文的IP头中获取压缩日志报文的存活时间,确定存活时间4与该压缩日志报文的存活时间的时间差,并确定存活时间4与该时间差的差值为日志报文1的实际存活时间(存活时间1),将压缩日志报文头部的IP头中的ID修改为ID1,将压缩日志报文头部的IP头中的存活时间修改为存活时间1,得到日志报文信息1对应的IP头1,根据该IP头1和压缩日志报文的UDP头及数据1还原日志报文信息1对应的日志报文1。
依此类推,第二网络设备还原日志报文信息2对应的日志报文2(其中,日志报文2的实际存活时间为日志报文信息包括的存活时间5与上述时间差的差值),还原日志报文信息3对应的日志报文3(其中,日志报文3的实际存活时间为日志报文信息包括的存活时间6与上述时间差的差值),参照图4。
如此,第二网络设备在获取到压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩,得到拼接日志报文信息后,根据各个日志报文信息对应的摘要信息中携带的日志报文信息的长度从拼接日志报文信息中获取各个日志报文信息,并从各个日志报文信息中获取各个日志报文信息对应的第一数据。第二网络设备根据各个日志报文信息对应的摘要信息中携带的日志报文的ID和存活时间及压缩日志报文的日志报文头部,还原各个日志报文信息对应的日志报文头部,并根据各个日志报文头部及各个日志报文信息携带的第一数据还原各个待压缩日志报文。
这样一来,第一网络设备可以将发送至第二网络设备的多个日志报文压缩成一个压缩日志报文,可以减少发送的日志报文的数量,进而能够减少对第一网络设备及第二网络设备之间的链路资源的占用。
图8示出根据本发明一实施例的一种日志报文的传输装置的结构框图,该装置可以应用于第一网络设备。如图8所示,该装置可以包括:
获取模块801,可以用于获取至少两个待压缩日志报文,所述至少两个待压缩日志报文中的每个待压缩日志报文包括日志报文头部和第一数据,所述每个待压缩日志报文的日志报文头部中的转发属性相同;
第一处理模块802,可以用于利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息;
第二处理模块803,可以用于通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;
压缩模块804,可以用于对所述拼接日志报文信息进行压缩处理,得到压缩数据;
发送模块805,可以用于向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为所述拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
因此,通过应用本发明实施例提供的日志报文的传输装置,第一网络设备获取至少两个待压缩日志报文后,根据各个待压缩日志报文的日志报文头部和第一数据,生成每个第一数据对应的摘要信息。根据摘要信息和第一数据,第一网络设备生成各个待压缩日志报文的日志报文信息,并将各个待压缩日志报文的日志报文信息进行拼接,得到拼接日志报文信息。第一网络设备将拼接日志报文信息压缩成压缩数据后,根据压缩数据及任一待压缩日志报文的日志报文头部生成压缩日志报文。第一网络设备将压缩日志报文发送至第二网络设备,以使得第二网络设备接收压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩,进而还原各个待压缩日志报文。
这样一来,第一网络设备将至少两个待压缩日志报文压缩成一个压缩日志报文后,发送至第二网络设备,可以减少发送的日志报文的数量,进而能够减少日志报文对第一网络设备及第二网络设备之间的链路资源的占用。
图9示出根据本发明一实施例的一种日志报文的传输装置的结构框图,其中,本发明实施例中获取模块901、第一处理模块902、第二处理模块903、压缩模块904及发送模块905与上述实施例中的获取模块801、第一处理模块802、第二处理模块803、压缩模块804及发送模块805相类似,本发明实施例在此不再赘述。
在一种可能的实现方式中,参照图9,上述获取901可以包括:
获取子模块9011,可以用于获取第一日志报文,所述第一日志报文包括日志报文头部和数据;
查找子模块9012,可以用于当所述第一日志报文中未包括压缩标识时,从待转发队列中查找是否存在具有所述第一日志报文包括的日志报文头部中的转发属性,且未包括压缩标识的第二日志报文;
确定子模块9013,可以用于如果存在,则确定所述第一日志报文及所述第二日志报文为所述待压缩日志报文。
在一种可能的实现方式中,所述摘要信息包括所述日志报文信息的数据长度、所述待压缩日志报文的ID及所述待压缩日志报文的存活时间;
其中,所述数据长度用于使所述第二网络设备从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息;
所述待压缩日志报文的ID及所述待压缩日志报文的存活时间用于使所述第二网络设备还原出每个待压缩日志报文的日志报文头部。
在一种可能的实现方式中,所述压缩头部还包括:每个待压缩日志报文对应的日志报文信息的偏移量;
所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段。
图10示出根据本发明一实施例的一种日志报文的传输装置的结构框图,该装置可以应用于第二网络设备。如图10所示,该装置可以包括:
第一获取模块1001,可以用于获取压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据;
解压缩模块1002,可以用于根据所述压缩标识,对所述压缩数据进行解压缩处理,得到拼接日志报文信息,所述拼接日志报文信息包括至少两个日志报文信息,每个日志报文信息包括第一数据及所述第一数据对应的摘要信息;
第一还原模块1003,可以用于根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部;
第二还原模块1004,可以用于根据每个日志报文头部及每个日志报文信息包括的第一数据,还原出每个日志报文信息对应的日志报文。
因此,第二网络设备在获取到压缩日志报文后,根据压缩标识对压缩日志报文的压缩数据进行解压缩处理,得到拼接日志报文信息后,根据拼接日志报文信息中包括的各个日志报文信息对应的摘要信息,第二网络设备还原各个日志报文信息对应的日志报文头部,并根据各个日志报文头部及各个日志报文信息包括的第一数据还原各个待压缩日志报文。
这样一来,向第二网络设备发送日志报文的第一网络设备可以将发送至第二网络设备的多个日志报文压缩成一个压缩日志报文后,将压缩日志报文发送至第二网络设备,由第二网络设备对压缩日志报文进行解压缩处理,还原各个日志报文,能够减少第一网络设备发送的日志报文的数量,进而能够减少日志报文对第一网络设备及第二网络设备之间的链路资源的占用。
图11示出根据本发明一实施例的一种日志报文的传输装置的结构框图。其中,本发明实施例中的第一获取模块1101、解压缩模块1102、第一还原模块1103、及第二还原模块1104与上述实施例中的第一获取模块1001、解压缩模块1002、第一还原模块1003、及第二还原模块1004相类似,本发明实施例在此不再赘述。
在一种可能的实现方式中,所述摘要信息包括所述日志报文信息的数据长度、所述日志报文信息对应的日志报文的ID及所述日志报文信息对应的日志报文的存活时间;
参照图11,上述装置还可以包括:
第二获取模块1105,用于根据所述日志报文信息的数据长度,从所述拼接日志报文信息中获取各个日志报文信息;
所述第一还原模块1103,可以包括:
还原子模块11031,用于根据每个日志报文信息对应的日志报文的ID和每个日志报文信息对应的日志报文的存活时间、及所述压缩日志报文的压缩日志报文头部,生成每个日志报文的日志报文头部。
在一种可能的实现方式中,所述压缩头部还包括:每个日志报文对应的日志报文信息的偏移量,所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段;
上述装置还可以包括:
第三获取模块(图11中未示出),用于根据每个日志报文对应的偏移量,从所述拼接日志报文信息中获取每个日志报文的日志报文信息。
图12是根据一示例性实施例示出的一种日志报文的传输装置的硬件结构框图。在实际应用中,该装置可通过服务器实现。参照图12,该装置1300可包括处理器1301、存储有机器可执行指令的机器可读存储介质1302。处理器1301与机器可读存储介质1302可经由***总线1303通信。并且,处理器1301通过读取机器可读存储介质1302中与日志报文的传输逻辑对应的机器可执行指令以执行上文所述的日志报文的传输方法。
本文中提到的机器可读存储介质1302可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:随机存取存储器(英文:Radom Access Memory,简称:RAM)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (14)
1.一种日志报文的传输方法,其特征在于,应用于第一网络设备,所述方法包括:
获取至少两个待压缩日志报文,所述至少两个待压缩日志报文中的每个待压缩日志报文包括日志报文头部和第一数据,所述每个待压缩日志报文的日志报文头部中的转发属性相同;
利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息;所述摘要信息包括所述日志报文信息的数据长度、所述待压缩日志报文的ID及所述待压缩日志报文的存活时间;
通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;
对所述拼接日志报文信息进行压缩处理,得到压缩数据;
向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为所述拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
2.根据权利要求1所述的方法,其特征在于,所述获取至少两个待压缩日志报文,包括:
获取第一日志报文,所述第一日志报文包括日志报文头部和数据;
当所述第一日志报文中未包括压缩标识时,从待转发队列中查找是否存在具有所述第一日志报文包括的日志报文头部中的转发属性,且未包括压缩标识的第二日志报文;
如果存在,则确定所述第一日志报文及所述第二日志报文为所述待压缩日志报文。
3.根据权利要求1所述的方法,其特征在于,所述数据长度用于使所述第二网络设备从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息;
所述待压缩日志报文的ID及所述待压缩日志报文的存活时间用于使所述第二网络设备还原出每个待压缩日志报文的日志报文头部。
4.根据权利要求1所述的方法,其特征在于,所述压缩头部还包括:每个待压缩日志报文对应的日志报文信息的偏移量;
所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段。
5.一种日志报文的传输方法,其特征在于,应用于第二网络设备,所述方法包括:
获取压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据;
根据所述压缩标识,对所述压缩数据进行解压缩处理,得到拼接日志报文信息,所述拼接日志报文信息包括至少两个日志报文信息,每个日志报文信息包括第一数据及所述第一数据对应的摘要信息;所述摘要信息包括所述日志报文信息的数据长度、所述日志报文信息对应的日志报文的ID及所述日志报文信息对应的日志报文的存活时间;
根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部;
根据每个日志报文头部及每个日志报文信息包括的第一数据,还原出每个日志报文信息对应的日志报文。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述日志报文信息的数据长度,从所述拼接日志报文信息中获取各个日志报文信息;
所述根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部,包括:
根据每个日志报文信息对应的日志报文的ID和每个日志报文信息对应的日志报文的存活时间、及所述压缩日志报文的压缩日志报文头部,生成每个日志报文的日志报文头部。
7.根据权利要求5所述的方法,其特征在于,所述压缩头部还包括:每个日志报文对应的日志报文信息的偏移量,所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段;
所述方法还包括:
根据每个日志报文对应的偏移量,从所述拼接日志报文信息中获取每个日志报文的日志报文信息。
8.一种日志报文的传输装置,其特征在于,应用于第一网络设备,所述装置包括:
获取模块,用于获取至少两个待压缩日志报文,所述至少两个待压缩日志报文中的每个待压缩日志报文包括日志报文头部和第一数据,所述每个待压缩日志报文的日志报文头部中的转发属性相同;
第一处理模块,用于利用每个待压缩日志报文包括的日志报文头部和第一数据,生成每个第一数据所对应的摘要信息,并将所述摘要信息和所述第一数据组成日志报文信息,得到每个待压缩日志报文对应的日志报文信息;
所述摘要信息包括所述日志报文信息的数据长度、所述待压缩日志报文的ID及所述待压缩日志报文的存活时间;
第二处理模块,用于通过接收到每个待压缩日志报文的接收顺序,将每个待压缩日志报文对应的日志报文信息进行拼接处理,得到拼接日志报文信息;
压缩模块,用于对所述拼接日志报文信息进行压缩处理,得到压缩数据;
发送模块,用于向第二网络设备发送压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述压缩日志报文头部为所述拼接日志报文信息中的第一个日志报文信息对应的待压缩日志报文的日志报文头部,所述第二数据包括具有压缩标识的压缩头部和所述压缩数据,以使所述第二网络设备根据所述压缩标识对所述压缩数据进行解压缩处理,得到所述待压缩日志报文。
9.根据权利要求8所述的装置,其特征在于,所述获取模块,包括:
获取子模块,用于获取第一日志报文,所述第一日志报文包括日志报文头部和数据;
查找子模块,用于当所述第一日志报文中未包括压缩标识时,从待转发队列中查找是否存在具有所述第一日志报文包括的日志报文头部中的转发属性,且未包括压缩标识的第二日志报文;
确定子模块,用于如果存在,则确定所述第一日志报文及所述第二日志报文为所述待压缩日志报文。
10.根据权利要求8所述的装置,其特征在于,所述数据长度用于使所述第二网络设备从所述压缩日志报文中获取到每个待压缩日志报文对应的日志报文信息;
所述待压缩日志报文的ID及所述待压缩日志报文的存活时间用于使所述第二网络设备还原出每个待压缩日志报文的日志报文头部。
11.根据权利要求8所述的装置,其特征在于,所述压缩头部还包括:每个待压缩日志报文对应的日志报文信息的偏移量;
所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段。
12.一种日志报文传输装置,其特征在于,应用于第二网络设备,所述装置包括:
第一获取模块,用于获取压缩日志报文,所述压缩日志报文包括压缩日志报文头部和第二数据,所述第二数据包括具有压缩标识的压缩头部和压缩数据;
解压缩模块,用于根据所述压缩标识,对所述压缩数据进行解压缩处理,得到拼接日志报文信息,所述拼接日志报文信息包括至少两个日志报文信息,每个日志报文信息包括第一数据及所述第一数据对应的摘要信息;所述摘要信息包括所述日志报文信息的数据长度、所述日志报文信息对应的日志报文的ID及所述日志报文信息对应的日志报文的存活时间;
第一还原模块,用于根据所述压缩日志报文头部及每个日志报文信息包括的摘要信息,还原出至少两个日志报文头部;
第二还原模块,用于根据每个日志报文头部及每个日志报文信息包括的第一数据,还原出每个日志报文信息对应的日志报文。
13.根据权利要求12所述的装置,其特征在于,所述装置,还包括:
第二获取模块,用于根据所述日志报文信息的数据长度,从所述拼接日志报文信息中获取各个日志报文信息;
所述第一还原模块,包括:
还原子模块,用于根据每个日志报文信息对应的日志报文的ID和每个日志报文信息对应的日志报文的存活时间、及所述压缩日志报文的压缩日志报文头部,生成每个日志报文的日志报文头部。
14.根据权利要求12所述的装置,其特征在于,所述压缩头部还包括:每个日志报文对应的日志报文信息的偏移量,所述偏移量用于指示所述日志报文信息对应的起始字段和结束字段;
所述装置还包括:
第三获取模块,用于根据每个日志报文对应的偏移量,从所述拼接日志报文信息中获取每个日志报文的日志报文信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810576230.0A CN108880875B (zh) | 2018-06-06 | 2018-06-06 | 日志报文的传输方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810576230.0A CN108880875B (zh) | 2018-06-06 | 2018-06-06 | 日志报文的传输方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108880875A CN108880875A (zh) | 2018-11-23 |
CN108880875B true CN108880875B (zh) | 2021-07-02 |
Family
ID=64337249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810576230.0A Active CN108880875B (zh) | 2018-06-06 | 2018-06-06 | 日志报文的传输方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108880875B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110430168A (zh) * | 2019-07-05 | 2019-11-08 | 视联动力信息技术股份有限公司 | 一种数据压缩的方法和装置 |
CN111371887B (zh) * | 2020-03-02 | 2022-10-04 | 杭州海康威视数字技术股份有限公司 | 物联网日志传输方法、客户端、服务端、设备及存储介质 |
CN111708673A (zh) * | 2020-06-15 | 2020-09-25 | 北京优特捷信息技术有限公司 | 一种日志数据压缩方法、装置、设备和存储介质 |
CN113890897B (zh) * | 2021-11-04 | 2023-11-17 | 中国互联网络信息中心 | 一种报文处理方法和相关装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1825812A (zh) * | 2005-02-25 | 2006-08-30 | 华为技术有限公司 | 管理网络日志信息的***及方法 |
CN101026566A (zh) * | 2007-02-13 | 2007-08-29 | 华为技术有限公司 | 一种提高接入设备服务带宽的方法、***及其装置 |
CN101159677A (zh) * | 2007-10-25 | 2008-04-09 | 华为技术有限公司 | 一种报文传输方法及网络节点装置 |
CN101527670A (zh) * | 2008-03-04 | 2009-09-09 | 华为技术有限公司 | 一种完全头部信息报文配置的方法和装置 |
CN102420672A (zh) * | 2011-01-25 | 2012-04-18 | 苏州汉明科技有限公司 | 无线局域网无线接入点向无线控制器进行数据转发的方法 |
CN103023702A (zh) * | 2012-12-14 | 2013-04-03 | 武汉烽火网络有限责任公司 | 批量mib的处理方法 |
CN103428181A (zh) * | 2012-05-22 | 2013-12-04 | 中国科学院声学研究所 | 一种应用于IP over DVB的UDP报文传输优化方法 |
CN103516814A (zh) * | 2013-10-23 | 2014-01-15 | 浪潮齐鲁软件产业有限公司 | 一种大数据量的数据交换方法 |
CN107800653A (zh) * | 2016-09-06 | 2018-03-13 | 中兴通讯股份有限公司 | 报文压缩方法及装置 |
WO2018054463A1 (en) * | 2016-09-21 | 2018-03-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatus for communication |
-
2018
- 2018-06-06 CN CN201810576230.0A patent/CN108880875B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1825812A (zh) * | 2005-02-25 | 2006-08-30 | 华为技术有限公司 | 管理网络日志信息的***及方法 |
CN101026566A (zh) * | 2007-02-13 | 2007-08-29 | 华为技术有限公司 | 一种提高接入设备服务带宽的方法、***及其装置 |
CN101159677A (zh) * | 2007-10-25 | 2008-04-09 | 华为技术有限公司 | 一种报文传输方法及网络节点装置 |
CN101527670A (zh) * | 2008-03-04 | 2009-09-09 | 华为技术有限公司 | 一种完全头部信息报文配置的方法和装置 |
CN102420672A (zh) * | 2011-01-25 | 2012-04-18 | 苏州汉明科技有限公司 | 无线局域网无线接入点向无线控制器进行数据转发的方法 |
CN103428181A (zh) * | 2012-05-22 | 2013-12-04 | 中国科学院声学研究所 | 一种应用于IP over DVB的UDP报文传输优化方法 |
CN103023702A (zh) * | 2012-12-14 | 2013-04-03 | 武汉烽火网络有限责任公司 | 批量mib的处理方法 |
CN103516814A (zh) * | 2013-10-23 | 2014-01-15 | 浪潮齐鲁软件产业有限公司 | 一种大数据量的数据交换方法 |
CN107800653A (zh) * | 2016-09-06 | 2018-03-13 | 中兴通讯股份有限公司 | 报文压缩方法及装置 |
WO2018054463A1 (en) * | 2016-09-21 | 2018-03-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatus for communication |
Also Published As
Publication number | Publication date |
---|---|
CN108880875A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108880875B (zh) | 日志报文的传输方法及装置 | |
US10069946B2 (en) | Hardware-based packet editor | |
US20110125749A1 (en) | Method and Apparatus for Storing and Indexing High-Speed Network Traffic Data | |
CN113055127B (zh) | 数据报文去重与传输方法、电子设备及存储介质 | |
US10735373B2 (en) | Communications over multiple protocol interfaces in a computing environment | |
WO2016082371A1 (zh) | 一种基于ssh协议的会话解析方法及*** | |
US20210021688A1 (en) | Network access method and device for edge router | |
JP2013097804A (ja) | データ送信装置及び方法 | |
EP3379771A1 (en) | Message processing method, device and system | |
CN110545230B (zh) | 用于转发vxlan报文的方法和装置 | |
US20140280471A1 (en) | Systems and methods for transparent communication with bandwidth conservation and http caching | |
US20120327954A1 (en) | Packet Meta-Tagging Using Excess Payload | |
US8179784B2 (en) | Method and apparatus for recovering a communications connection | |
CN110784375B (zh) | 网络数据监控方法、装置、电子设备及存储介质 | |
CN111800518A (zh) | 客户端ip地址***方法及装置 | |
JP6534625B2 (ja) | 通信装置および通信方法 | |
CN115801927A (zh) | 报文解析方法及装置 | |
CN114070801A (zh) | 报文处理方法、报文传输方法、装置及电子设备 | |
CN114301960B (zh) | 集群非对称流量的处理方法及装置、电子设备及存储介质 | |
CN116192677B (zh) | 网络流量数据差异化存储方法及电子设备 | |
CN111193696B (zh) | 数据发送、数据接收方法、装置、计算机设备和存储介质 | |
CN111405029B (zh) | 一种请求处理方法及装置 | |
KR20070098447A (ko) | 대용량 미디어 데이터를 수용하기 위한 확장된 saf 패킷구조 | |
CN113438506A (zh) | 视频文件的还原方法、装置、计算机设备和存储介质 | |
CN115550325A (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |