CN112685270A - 一种***监控日志的采集方法、装置、电子设备及介质 - Google Patents
一种***监控日志的采集方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN112685270A CN112685270A CN202011547304.1A CN202011547304A CN112685270A CN 112685270 A CN112685270 A CN 112685270A CN 202011547304 A CN202011547304 A CN 202011547304A CN 112685270 A CN112685270 A CN 112685270A
- Authority
- CN
- China
- Prior art keywords
- log
- log file
- target
- downloading
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000001960 triggered effect Effects 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种***监控日志的采集方法、装置、电子设备及介质。该方法包括在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容;根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系,避免每次执行日志下载任务时,均向服务器请求文件目录列表,以通过解析文件目录列表得到各日志文件的下载地址,可以减小日志采集操作的耗时和带宽占用,提高了日志采集效率。
Description
技术领域
本发明实施例涉及通信技术,尤其涉及一种***监控日志的采集方法、装置、电子设备及介质。
背景技术
***监控日志是***维护、排错、故障发现等工作的基础。现有技术普遍采用定时器遍历的方案采集***监控日志,即每隔固定时间,客户端从服务器获取目录下的全部文件列表,并在本地对该文件列表进行解析,得到该文件列表包括的各个文件。从服务器下载各文件并备份到本地,即通过遍历指定目录获取文件列表后,对该文件列表包括的文件进行依次采集。
然而,上述方式在***监控日志的目录层数很多且目录数量级较大的情况,会因为层级目录的递归操作导致大量的服务器访问行为,且由于返回文件列表大小会依据目录增加而增大,导致运行耗时与带宽占用均随目录及文件数量增多而线性增长,影响***监控日志的采集效率。
发明内容
本发明提供一种***监控日志的采集方法、装置、电子设备及介质,可以提高***监控日志的采集效率。
第一方面,本发明实施例提供了一种***监控日志的采集方法,包括:
在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,其中,所述命名格式用于指示时间字段在日志文件名称中的位置;
根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;
根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。
第二方面,本发明实施例还提供了一种***监控日志的采集装置,该装置包括:
时间字段确定模块,用于在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,其中,所述命名格式用于指示时间字段在日志文件名称中的位置;
文件名预测模块,用于根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;
文件下载模块,用于根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例所述的***监控日志的采集方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的***监控日志的采集方法。
本发明提供一种***监控日志的采集方法、装置、电子设备及介质,通过监测到日志下载事件触发时,根据日志文件命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,根据时间字段内容和日志生成时间间隔预测本次下载任务对应的目标文件的目标文件名,根据目标文件名和目录结构生成目标日志文件的下载地址,根据下载地址下载目标日志文件。本发明实施例通过预先下载被监控目录的目录结构并保存于本地,在执行日志下载事件时,根据前一次下载任务对应的日志文件名称中的时间字段内容推测本次下载任务的目标日志文件的目标文件名,在本地组装目标日志文件名称和目录结构得到目标日志文件的下载地址,避免每次执行日志下载任务时,均向服务器请求文件目录列表,以通过解析文件目录列表得到各日志文件的下载地址,可以减小日志采集操作的耗时和带宽占用,提高了日志采集效率。
附图说明
图1为本发明实施例提供的一种***监控日志的采集方法的流程图;
图2为一种电信***中被监控目录的目录结构示意图;
图3为本发明实施例提供的另一种***监控日志的采集方法的流程图;
图4为本发明实施例提供的一种***监控日志的采集装置的结构框图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种***监控日志的采集方法的流程图,本实施例可适用于监控日志的目录层级数很多且目录数量级很大的场景,例如电信***中***监控日志的采集场景等。该方法可以由***监控日志的采集装置来执行,该装置可以由软件和/或硬件实现,并通常集成于客户端中,且客户端设置于电子设备。如图1所示,该方法包括:
步骤110、在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容。
需要说明的是,客户端能够与服务器维持一个长连接消息通道,维护人员可以通过客户端登录服务器,并利用上述长连接消息通道发送各种指令到服务器执行。例如,通过TCP协议实现客户端与被采集服务器的通信连接。通过FTP协议中的USER指令实现用户名鉴权操作。通过FTP协议中的PASS指令实现鉴权密码操作。通过FTP协议中的PASV指令进入被动模式。通过FTP协议中的RMD指令访问被监控目录,其中,在被监控目录中存储有日志文件。
其中,日志下载事件是客户端中执行日志下载任务的触发事件,即客户端检测到日志下载事件时,执行日志下载任务。需要说明的是,触发日志下载事件的条件有很多种,本发明实施例并不作具体限定。例如,当与前一次下载任务的执行间隔等于日志生成时间间隔时,触发日志下载事件。还可以是定时触发日志下载事件等。具体地,在客户端执行完一次日志下载任务时开始计时。由于日志生成时间间隔是预先设定好的,当计时时间等于该日志生成时间间隔时,客户端确定与前一次下载任务的执行间隔等于日志生成时间间隔。
日志文件存储在服务器的被监控目录下。被监控目录可以包括多层目录,图2为一种电信***中被监控目录的目录结构示意图,如图2所示,服务器的监控目录下的目录结构可以包括:
第一层目录:区域目录,目录名为Z1,Z2,……,Z1000;
第二层目录:基站目录,目录名为1A,1B,……对应于区域目录Z1;以及,目录名为2A,2B,……对应于区域目录Z2等;
第三层目录:日志类型目录,目录名为TYPE1,TYPE2,……,每个类型目录下是日志文件。例如,Z1_1A_TYPE1_XXXX_202011011500_XXXX.LOG对应于日志类型TYPE1。又如,Z1_1A_TYPE2_XXXX_202011011530_XXXX.LOG对应于日志类型TYPE2等。
可选地,可以通过FTP协议下的LIST指令在满足设定条件时获取远程服务器FTP监控目录下的目录结构和日志文件的命名格式。例如,仅在客户端启动时,通过FTP协议下的LIST指令获取远程服务器FTP监控目录下的目录结构和日志文件的命名格式。
需要说明的是,被监控目录的层级结构并不限于上述示例中列举的结构,还可以根据实际应用场景,被监控目录可能包括更多或更少的层级,本发明实施例并不作具体限定。
日志文件的名称用于唯一标识一个日志文件,且日志文件的名称需要符合日志文件的命名格式要求。日志文件的命名格式可以是以文件名模板的形式存在,且文件名模板可以是以配置文件的形式存储于服务器或客户端本地。具体地,日志文件的命名格式用于指示时间字段在日志文件名称中的位置。通过日志文件的命名格式对日志文件名称中时间字段位置进行定义配置,基于命名格式解析日志文件名称可以得到时间字段对应的内容,即时间字段内容。其中,时间字段内容可以理解为日志文件名称中时间字段位置处的内容。例如,命名格式配置通过对字符‘’的描述来定义不同日志文件名称中不同字段的含义。对于命名规则‘Z1_1A_TYPE1_XXXX_’+‘时间’+‘_XXXX.LOG’,其中,XXXX表示省略字段,可以通过定义配置时间字段为第5个字段,相应地,时间字段内容是第四个‘-’与第五个‘-’之间的字段内容。以日志文件名称Z1_1A_TYPE1_XXXX_202011011500_XXXX.LOG为例,可以通过上述命名规则解析该日志文件名称,以提取第四个‘-’与第五个‘-’之间的字段内容即为时间字段内容202011011500。基于时间字段内容202011011500确定监控日志于2020年11月01日15时00分生成。
示例性地,日志下载任务是在每次有新的日志生成后执行的。如果当前时间与前一次下载任务的执行时间的时间间隔等于日志生成时间间隔,则触发日志下载事件,以执行日志下载任务。在日志下载时间被触发的情况下,客户端获取前一次下载任务所下载的日志的日志文件名称,根据日志文件的命名格式指示的时间字段在该日志文件名称中的位置,提取前一次下载任务对应的日志文件名称中对应位置处的字段内容,得到日志文件名称中的时间字段内容。
可选地,还可以在执行日志文件下载任务后,根据日志文件的命名格式解析本次日志文件下载任务对应的日志文件名称,获取日志文件名称中的时间字段内容,以通过时间字段内容推测下一次执行日志文件下载任务时需要下载的日志文件名称,在本地缓存下一次日志下载任务对应的日志文件名称,以在下一次日志文件下载任务执行时,下载对应的日志文件。
步骤120、根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名。
其中,日志生成时间间隔表示监控日志的文件生成时间间隔。需要说明的是,日志生成时间间隔是用户基于实际应用场景设置的。例如,可以定义日志文件的日志生成时间间隔是5分钟。假设当前日志文件的文件名是Z1_1A_TYPE1_XXXX_202011011500_XXXX.LOG,则基于日志生成时间间隔,下一个日志文件在2020年11月01日15时05分生成,即下一个日志文件的文件名称是Z1_1A_TYPE1_XXXX_202011011505_XXXX.LOG。
具体地,计算前一次下载任务对应的日志文件名称中的时间字段内容与日志生成时间间隔的加法运算结果,将该加法运算结果作为本次下载任务对应的目标日志文件的生成时间。采用该生成时间替换前一次下载任务对应的日志文件名称中的时间字段内容,得到本次下载任务对应的目标日志文件的目标文件名称。
例如,以日志生成时间间隔是5分钟,且前一次下载任务对应的日志文件名称是Z1_1A_TYPE1_XXXX_202011011500_XXXX.LOG为例,通过日志文件的命名格式解析Z1_1A_TYPE1_XXXX_202011011500_XXXX.LOG得到时间字段内容是202011011500,代表2020年11月01日15时00分。由于日志生成时间间隔是5分钟,2020年11月01日15时00分加5分钟是2020年11月01日15时05分,即202011011505,采用202011011505替换上述日志文件名称中的202011011500,因此本次下载任务对应的目标文件的目标文件名是Z1_1A_TYPE1_XXXX_202011011505_XXXX.LOG。
步骤130、根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件。
其中,目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。需要说明的是,不同应用场景或不同服务器的被监控目录的目录结构可能不同。
下载地址用于表示日志文件在服务器中特定被监控目录下某一层级目录中的位置信息。本发明实施例中,并不需要每次在下载日志文件前向服务器请求被监控目录文件列表,以通过本地解析的方式得到被监控目录文件列表中各文件的下载地址,而是通过所预测得到的本次下载任务对应的目标文件名、结合目录结构和被采集服务器IP地址等信息组装成完整的URL(uniform resource locator,同一资源定位***)
具体地,获取被采集服务器的访问地址;按照预设字段组合顺序组合通信协议的域名、访问地址、目录结构和目标文件名,得到目标日志文件的下载地址。需要说明的是,将与客户端基于TCP协议建立通信连接的服务器称为被采集服务器,可以将被采集服务器的IP作为被采集服务器的访问地址。预设字段组合顺序基于URL的命名规则确定。例如,预设字段组合顺序可以是:通信协议的域名//被采集服务器的访问地址/目录结构/目标文件名。根据预设字段组合顺序依次拼接通信协议的域名、访问地址、目录结构和目标文件名,得到目标日志文件的下载地址。对于具有多个目录层级的目录结构,根据目录的层级关系顺序拼接目录结构包括的各层级的目录名。
例如,远程服务器的IP地址为1.1.1.1,目标文件名是Z1_1A_TYPE1_XXXX_202011011505_XXXX.LOG,以及目录结构为:第一层目录:区域目录,目录名为Z1;第二层目录:基站目录,目录名为1A;第三层目录:日志类型目录,目录名为TYPE1。
顺序拼接IP地址、目录结构和目标文件名得到:1.1.1.1/Z1/1A/TYPE1/Z1_1A_TYPE1_XXXX_202011011505_XXXX.LOG。在上述拼接结果的头部拼装上FTP的域名开头ftp://端口不填写,使用默认端口21,即可以得出本次下载任务需要下载的某个目标日志文件的完整URL:ftp://1.1.1.1/Z1/1A/TYPE1/Z1_1A_TYPE1_XXXX_202011011505_XXXX.LOG。在客户端得到本次下载任务需要下载的各个目标日志文件的完成URL之后,通过FTP协议中的RETR指令依次从远程服务器下载本地生成的各目标日志文件。本发明可以无需定时遍历远程服务器所有文件夹与子目录,即可快速得到需要采集的被监控目录中日志文件的完整URL信息,通过这个URL配合RETR指令下载日志文件。通常我们可以使用常用的工具如CURL或WGET进行对FTPURL的下载,也可以在装置内部对FTP指令库进行封装支持。
当下载任务的执行间隔再次等于日志生成时间间隔时,由于上一次下载任务对应的文件名称是Z1_1A_TYPE1_XXXX_202011011505_XXXX.LOG,通过日志文件的命名格式解析该文件名称得到时间字段内容是202011011505,结合已知的日志生成时间间隔5分钟,得到本次下载任务需要下载的目标日志文件的目标文件名中时间字段内容是202011011510,从而得到本次下载任务对应的目标文件名是Z1_1A_TYPE1_XXXX_202011011510_XXXX.LOG。采用与上述示例相似地方式确定本次下载任务需要下载的某个目标日志文件的完整URL:ftp://1.1.1.1/Z1/1A/TYPE1/Z1_1A_TYPE1_XXXX_202011011510_XXXX.LOG,结合该URL和RETR指令下载目标日志文件。假设日志生成时间间隔被修改为10分钟,则再下一次下载任务需要下载的目标日志文件的目标文件名中时间字段内容是202011011520,以此类推来完成对未来下载任务对应地目标日志文件地URL的推测,以及根据推算出地URL执行日志下载操作。
本实施例的技术方案,通过监测到日志下载事件触发时,根据日志文件命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,根据时间字段内容和日志生成时间间隔预测本次下载任务对应的目标文件的目标文件名,根据目标文件名和目录结构生成目标日志文件的下载地址,根据下载地址下载目标日志文件。本发明实施例通过预先下载被监控目录的目录结构并保存于本地,在执行日志下载事件时,根据前一次下载任务对应的日志文件名称中的时间字段内容推测本次下载任务的目标日志文件的目标文件名,在本地组装目标日志文件名称和目录结构得到目标日志文件的下载地址,避免每次执行日志下载任务时,均向服务器请求文件目录列表,以通过解析文件目录列表得到各日志文件的下载地址,可以减小日志采集操作的耗时和带宽占用,提高了日志采集效率。
图3为本发明实施例提供的另一种***监控日志的采集方法的流程图,如图3所示,该方法包括:
步骤301、客户端启动,建立TCP连接到被采集服务器。
步骤302、通过FTP协议中的USER指令实现用户名鉴权操作。
步骤303、通过FTP协议中的PASS指令实现鉴权密码操作。
步骤304、通过FTP协议中的PASV指令进入被动模式。
步骤305、通过FTP协议中的RMD指令访问被监控目录。
步骤306、通过FTP协议中的LIST指令列出被监控目录的文件列表并递归所有子目录,得到被监控目录的目录结构和日志文件的命名规则。
需要说明的是,步骤301-306可以仅在客户端初始化时执行一次。例如,客户端启动后进行初始化,在初始化时,获取被采集服务器的被监控目录的目录结构和日志文件的命名格式。
具体地,客户端启动后,与被采集服务器建立TCP连接,然后,通过FTP协议中的USER指令实现用户名鉴权操作;通过FTP协议中的PASS指令实现鉴权密码操作;通过FTP协议中的PASV指令进入被动模式;通过FTP协议中的RMD指令访问被监控目录;发送FTP协议中的LIST指令给被采集服务器,以指示被采集服务器列出被监控目录的文件列表并递归所有子目录,得到被监控目录的目录结构和日志文件的命名规则,返回被监控目录的目录结构和日志文件的命名规则给客户端。客户端接收被采集服务器发送的目录结构和日志文件的命名规则并缓存在本地。
可选地,在初始化时,获取被采集服务器的被监控目录的目录结构,并获取本地预先设置的日志文件的命名配置文件,其中,所述命名配置文件用于指示所述日志文件的命名格式。客户端可以在初始化时,仅获取被采集服务器的被监控目录的目录结构,而不再获取日志文件的命名规则。可以在客户端侧预先设置日志文件的命名配置文件,该命名配置文件中定义了日志文件的命名格式,从而,无需从远端服务器获取日志文件的命名格式,减小了带宽占用。
需要说明的是,对于电信***,可能存在增加基站的情况,此时被监控目录的目录结构会随着发生变化,为了能够及时感知目录结构的增长或变更,可以将单次执行LIST指令变为定期执行。例如,客户端按照设定周期发送LIST指令给被采集服务器,以指示被采集服务器列出被监控目录的文件列表并递归所有子目录,得到被监控目录的目录结构和日志文件的命名规则,返回被监控目录的目录结构和日志文件的命名规则给客户端。从而,达到对被监控目录的目录结构增长或变更的及时感知,实现对增加目录的监控下载,进而满足不同场景的调整需求,同时不会大量增加LIST带来的消耗成本。
步骤307、根据日志文件名称、日志文件的命名格式和日志生成时间间隔预测本次下载任务对应的日志文件名列表。
示例性地,通过本地存储的日志文件的命名格式来描述日志文件名称中日志时间相关字段的位置,再通过预先指定的日志生成时间间隔来推测未来时间的日志文件名,通过这种方法,客户端可以在第一次LIST结果后就推算出下次下载任务执行时日志文件的文件名。
步骤308、通过FTP协议中的RETR指令依次下载本次下载任务对应的日志文件名列表中的日志文件。
示例性地,通过推算出地本次下载任务执行时日志文件的文件名,可以结合目录结构与服务器IP等信息组装成日志文件的FTP完整URL信息。从而,客户端可以无需定时遍历远程服务器所有文件夹与子目录,即可快速得到需要下载的日志文件的完整URL信息,通过该URL信息配合RETR指令下载日志文件。
步骤309、确定与本次下载任务完成时刻的执行间隔。
步骤310、判断执行间隔是否达到日志生成时间间隔,若是,则执行步骤307,否则执行步骤309。
需要说明的是,***监控日志的采集任务是定时执行的,其执行间隔等于被监控目录中日志文件的日志生成时间间隔。
使用本发明实施例提供的***监控日志的采集方法,在服务器目录层级众多,子目录数量众多,目录内文件数量众多的应用场景下,可以极大的提升日志采集效率。对某电信***内被监控目录中日志文件,分别采用现有技术方案和本发明提供的方案进行日志采集,对采集性能进行比对,得到如表1所示的采集性能对照表。如表1所示,实测本发明提供的方案在某电信***内采集效率提升超过50倍,每日节约超过50GB的流量消耗。
表1是一种对某电信***内被监控目录中日志文件的采集性能对照表。
此外,由表1可知,通常***中日志均会备份留存一定时间,随着文档保留数量增长,LIST耗时会随目录数增长而线性增长,同时下载监控日志任务本身对硬件资源CPU、磁盘I/O的抢占也会对LIST指令的实际耗时产生不同影响。此时采用本发明提供的***监控日志的采集方案可以减少LIST指令的执行次数,避免多次执行LIST指令带来的耗时问题,采集性能得到很大的提升。
本发明实施例通过使用客户端在首次执行LIST指令获得被监控目录的目录结构和日志文件的命名格式之后,基于前一次下载任务对应的日志文件名称、命名格式、目录结构和日志生成时间间隔来推算本次采集任务需要采集的日志文件的完整URL,然后,直接使用RETR指令对应URL的下载文件,减少定时执行LIST指令的耗时与流量消耗,显著提高采集效率。
图4为本发明实施例提供的一种***监控日志的采集装置的结构框图,该装置可以由软件和/或硬件实现,并被集成于客户端内,且客户端设置于电子设备。该装置通过执行本发明任意实施例提供的***监控日志的采集方法提高***监控日志的采集效率。如图4所示,该装置包括:
时间字段确定模块410,用于在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,其中,所述命名格式用于指示时间字段在日志文件名称中的位置;
文件名预测模块420,用于根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;
文件下载模块430,用于根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。
本发明实施例提供一种***监控日志的采集装置,通过监测到日志下载事件触发时,根据日志文件命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,根据时间字段内容和日志生成时间间隔预测本次下载任务对应的目标文件的目标文件名,根据目标文件名和目录结构生成目标日志文件的下载地址,根据下载地址下载目标日志文件。本发明实施例通过预先下载被监控目录的目录结构并保存于本地,在执行日志下载事件时,根据前一次下载任务对应的日志文件名称中的时间字段内容推测本次下载任务的目标日志文件的目标文件名,在本地组装目标日志文件名称和目录结构得到目标日志文件的下载地址,避免每次执行日志下载任务时,均向服务器请求文件目录列表,以通过解析文件目录列表得到各日志文件的下载地址,可以减小日志采集操作的耗时和带宽占用,提高了日志采集效率。
可选地,该装置还包括:
事件触发模块,用于当与前一次下载任务的执行间隔等于日志生成时间间隔时,触发日志下载事件。
可选地,该装置还包括:
第一信息获取模块,用于在初始化时,获取被采集服务器的被监控目录的目录结构和日志文件的命名格式。
可选地,该装置还包括:
第二信息获取模块,用于在初始化时,获取被采集服务器的被监控目录的目录结构,并获取本地预先设置的日志文件的命名配置文件,其中,所述命名配置文件用于指示所述日志文件的命名格式。
可选地,时间字段确定模块410具体用于:
根据所述日志文件的命名格式指示的时间字段在日志文件名称中的位置,提取前一次下载任务对应的日志文件名称中所述位置处的字段内容,得到时间字段内容。
可选地,文件名预测模块420具体用于:
计算所述时间字段内容与日志生成时间间隔的加法运算结果,将所述加法运算结果作为本次下载任务对应的目标日志文件的生成时间;
采用所述生成时间替换前一次下载任务对应的日志文件名称中的时间字段内容,得到本次下载任务对应的目标日志文件的目标文件名称。
可选地,文件下载模块430具体用于:
获取被采集服务器的访问地址;
按照预设字段组合顺序组合通信协议的域名、所述访问地址、目录结构和所述目标文件名,得到所述目标日志文件的下载地址。
本发明实施例所提供的***监控日志的采集装置可执行本发明任意实施例所提供的***监控日志的采集方法,具备执行方法相应的功能模块和有益效果。
图5为本发明实施例提供的一种电子设备的结构示意图。电子设备可以是具有操作***和通信模块的智能终端,客户端设置于电子设备中。如图5所示,该电子设备包括处理器50、存储器51、输入装置52和输出装置53;电子设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;电子设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的***监控日志的采集方法对应的程序指令/模块(例如,时间字段确定模块410、文件名预测模块420和文件下载模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的***监控日志的采集方法。
存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备,用于显示日志文件。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种***监控日志的采集方法,该方法包括:
在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,其中,所述命名格式用于指示时间字段在日志文件名称中的位置;
根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;
根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的***监控日志的采集方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述***监控日志的采集装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种***监控日志的采集方法,其特征在于,包括:
在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,其中,所述命名格式用于指示时间字段在日志文件名称中的位置;
根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;
根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。
2.根据权利要求1所述的方法,其特征在于,还包括:
当与前一次下载任务的执行间隔等于日志生成时间间隔时,触发日志下载事件。
3.根据权利要求1所述的方法,其特征在于,还包括:
在初始化时,获取被采集服务器的被监控目录的目录结构和日志文件的命名格式。
4.根据权利要求1所述的方法,其特征在于,还包括:
在初始化时,获取被采集服务器的被监控目录的目录结构,并获取本地预先设置的日志文件的命名配置文件,其中,所述命名配置文件用于指示所述日志文件的命名格式。
5.根据权利要求1所述的方法,其特征在于,所述根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,包括:
根据所述日志文件的命名格式指示的时间字段在日志文件名称中的位置,提取前一次下载任务对应的日志文件名称中所述位置处的字段内容,得到时间字段内容。
6.根据权利要求1所述的方法,其特征在于,所述根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名,包括:
计算所述时间字段内容与日志生成时间间隔的加法运算结果,将所述加法运算结果作为本次下载任务对应的目标日志文件的生成时间;
采用所述生成时间替换前一次下载任务对应的日志文件名称中的时间字段内容,得到本次下载任务对应的目标日志文件的目标文件名称。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,包括:
获取被采集服务器的访问地址;
按照预设字段组合顺序组合通信协议的域名、所述访问地址、目录结构和所述目标文件名,得到所述目标日志文件的下载地址。
8.一种***监控日志的采集装置,其特征在于,包括:
时间字段确定模块,用于在监测到日志下载事件触发时,根据日志文件的命名格式解析前一次下载任务对应的日志文件名称得到时间字段内容,其中,所述命名格式用于指示时间字段在日志文件名称中的位置;
文件名预测模块,用于根据所述时间字段内容和日志生成时间间隔预测本次下载任务对应的目标日志文件的目标文件名;
文件下载模块,用于根据所述目标文件名和目录结构生成所述目标日志文件的下载地址,根据所述下载地址下载所述目标日志文件,其中,所述目录结构用于表示被采集服务器的被监控目录下的目录的结构关系。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的***监控日志的采集方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的***监控日志的采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011547304.1A CN112685270A (zh) | 2020-12-24 | 2020-12-24 | 一种***监控日志的采集方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011547304.1A CN112685270A (zh) | 2020-12-24 | 2020-12-24 | 一种***监控日志的采集方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112685270A true CN112685270A (zh) | 2021-04-20 |
Family
ID=75451948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011547304.1A Pending CN112685270A (zh) | 2020-12-24 | 2020-12-24 | 一种***监控日志的采集方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112685270A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434787A (zh) * | 2021-05-14 | 2021-09-24 | 国网河北省电力有限公司衡水供电分公司 | 网络数据获取方法、装置及终端设备 |
CN113556402A (zh) * | 2021-07-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 数据下载调度方法、装置及电子设备 |
CN118093541A (zh) * | 2024-04-22 | 2024-05-28 | 浪潮云信息技术股份公司 | 数据库审计日志采集方法及装置、介质、设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188107A (zh) * | 2011-12-31 | 2013-07-03 | 北京大唐高鸿数据网络技术有限公司 | 终端设备自动发现和配置部署的***及方法 |
CN106131113A (zh) * | 2016-06-14 | 2016-11-16 | 武汉深之度科技有限公司 | 一种资源下载方法、装置、***以及资源服务器 |
CN108234245A (zh) * | 2018-01-09 | 2018-06-29 | 上海帝联网络科技有限公司 | 日志内容及日志数据的筛选方法、装置、***、可读介质 |
CN108733546A (zh) * | 2018-04-02 | 2018-11-02 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
CN109063011A (zh) * | 2018-07-11 | 2018-12-21 | Oppo(重庆)智能科技有限公司 | 日志处理方法、电子装置及计算机可读存储介质 |
-
2020
- 2020-12-24 CN CN202011547304.1A patent/CN112685270A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188107A (zh) * | 2011-12-31 | 2013-07-03 | 北京大唐高鸿数据网络技术有限公司 | 终端设备自动发现和配置部署的***及方法 |
CN106131113A (zh) * | 2016-06-14 | 2016-11-16 | 武汉深之度科技有限公司 | 一种资源下载方法、装置、***以及资源服务器 |
CN108234245A (zh) * | 2018-01-09 | 2018-06-29 | 上海帝联网络科技有限公司 | 日志内容及日志数据的筛选方法、装置、***、可读介质 |
CN108733546A (zh) * | 2018-04-02 | 2018-11-02 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
CN109063011A (zh) * | 2018-07-11 | 2018-12-21 | Oppo(重庆)智能科技有限公司 | 日志处理方法、电子装置及计算机可读存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434787A (zh) * | 2021-05-14 | 2021-09-24 | 国网河北省电力有限公司衡水供电分公司 | 网络数据获取方法、装置及终端设备 |
CN113434787B (zh) * | 2021-05-14 | 2023-11-07 | 国网河北省电力有限公司衡水供电分公司 | 网络数据获取方法、装置及终端设备 |
CN113556402A (zh) * | 2021-07-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 数据下载调度方法、装置及电子设备 |
CN113556402B (zh) * | 2021-07-29 | 2024-03-19 | 北京百度网讯科技有限公司 | 数据下载调度方法、装置及电子设备 |
CN118093541A (zh) * | 2024-04-22 | 2024-05-28 | 浪潮云信息技术股份公司 | 数据库审计日志采集方法及装置、介质、设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112685270A (zh) | 一种***监控日志的采集方法、装置、电子设备及介质 | |
CN107943951B (zh) | 一种区块链业务信息的检索方法及*** | |
US9992220B2 (en) | Graphical display of events indicating security threats in an information technology system | |
JP6599538B2 (ja) | ネットワークトラフィックにおけるアプリケーション情報を識別するための方法および装置 | |
CN112035317B (zh) | 一种微服务链路监控方法、装置、设备及介质 | |
CN107704360B (zh) | 监控数据的处理方法、设备、服务器及存储介质 | |
CN110309109B (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
CN111176941B (zh) | 一种数据处理的方法、装置和存储介质 | |
CN105743730A (zh) | 为移动终端的网页服务提供实时监控的方法及其*** | |
CN103455600A (zh) | 一种视频url抓取方法、装置及服务器设备 | |
CN113760652B (zh) | 基于应用的全链路监控的方法、***、设备和存储介质 | |
US20180316702A1 (en) | Detecting and mitigating leaked cloud authorization keys | |
CN113037891B (zh) | 边缘计算***中有状态应用的访问方法、装置及电子设备 | |
CN114465741B (zh) | 一种异常检测方法、装置、计算机设备及存储介质 | |
CN112799925A (zh) | 数据采集方法、装置、电子设备和可读存储介质 | |
CN109510721A (zh) | 一种基于Syslog的网络日志管理方法与*** | |
CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
CN112818201A (zh) | 一种网络数据采集方法、装置、计算机设备及存储介质 | |
CN114443441B (zh) | 一种存储***管理方法、装置、设备及可读存储介质 | |
CN117389830A (zh) | 集群日志采集方法、装置、计算机设备及存储介质 | |
CN111177722A (zh) | webshell文件检测方法、装置、服务器以及存储介质 | |
CN110362993A (zh) | 恶意进程识别方法、终端、服务器、***及存储介质 | |
CN114546756A (zh) | 一种微服务架构***中链路数据的监控方法及*** | |
CN112148545A (zh) | 嵌入式***的安全基线检测方法以及安全基线检测*** | |
CN114201370B (zh) | 一种网页文件监控方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |