CN112506755A - 日志采集方法、装置、计算机设备和存储介质 - Google Patents

日志采集方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112506755A
CN112506755A CN202011510561.8A CN202011510561A CN112506755A CN 112506755 A CN112506755 A CN 112506755A CN 202011510561 A CN202011510561 A CN 202011510561A CN 112506755 A CN112506755 A CN 112506755A
Authority
CN
China
Prior art keywords
service
log
service instance
information
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011510561.8A
Other languages
English (en)
Other versions
CN112506755B (zh
Inventor
黄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shunda Technology Co ltd
Original Assignee
Beijing Shunda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shunda Technology Co ltd filed Critical Beijing Shunda Technology Co ltd
Priority to CN202011510561.8A priority Critical patent/CN112506755B/zh
Publication of CN112506755A publication Critical patent/CN112506755A/zh
Application granted granted Critical
Publication of CN112506755B publication Critical patent/CN112506755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种日志采集方法、装置、计算机设备和存储介质。所述方法包括:当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;根据日志文件路径进行日志采集,得到服务实例日志;根据采集指标以及服务实例日志,得到服务指标信息;当接收到信息采集提示时,将服务指标信息传输至服务监控***。采用本方法能够在避免对服务监控***进行大量改造的情况下,使得服务监控***采集到所需要的服务实例日志的服务指标信息,能够有效提高日志监控效率。

Description

日志采集方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种日志采集方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,出现了开源的服务监控***,比如Prometheus。这类服务监控***支持自动拉取服务指标信息以及服务主动推送服务指标信息。
传统技术中,应用程序通常是通过日志来输出错误信息的,但是上述服务监控***却不支持对应用日志进行匹配监控,当需要进行日志监控时,常需要改造服务监控***中所有服务暴露服务指标信息。
然而,传统方法中,改造服务监控***中所有服务暴露服务指标信息的工作量大,存在改造繁琐、日志监控效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够避免对服务监控***进行大量改造,提高日志监控效率的日志采集方法、装置、计算机设备和存储介质。
一种日志采集方法,所述方法包括:
当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
根据日志文件路径进行日志采集,得到服务实例日志;
根据采集指标以及服务实例日志,得到服务指标信息;
当接收到信息采集提示时,将服务指标信息传输至服务监控***。
在一个实施例中,当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址之前,还包括:
链接服务平台的服务发现接口;
通过服务发现接口监听服务平台通知服务实例注册信息。
在一个实施例中,链接服务发现接口之前,还包括:
响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要服务监控***采集服务指标信息。
在一个实施例中,还包括:
获取本地地址;
比对本地地址和服务宿主机地址;
当服务宿主机地址中包括本地地址时,确定需要采集日志。
在一个实施例中,当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标包括:
当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识;
发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识;
接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标。
在一个实施例中,根据采集指标以及服务实例日志,得到服务指标信息包括:
根据采集指标,获取与采集指标对应的采集正则表达式;
根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息。
在一个实施例中,根据采集指标以及服务实例日志,得到服务指标信息之后,还包括:
暴露目标接口,等待服务监控***通过目标接口采集服务指标信息。
一种日志采集装置,所述装置包括:
提取模块,用于当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
获取模块,用于当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
第一处理模块,用于根据日志文件路径进行日志采集,得到服务实例日志;
第二处理模块,用于根据采集指标以及服务实例日志,得到服务指标信息;
传输模块,用于当接收到信息采集提示时,将服务指标信息传输至服务监控***。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
根据日志文件路径进行日志采集,得到服务实例日志;
根据采集指标以及服务实例日志,得到服务指标信息;
当接收到信息采集提示时,将服务指标信息传输至服务监控***。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
根据日志文件路径进行日志采集,得到服务实例日志;
根据采集指标以及服务实例日志,得到服务指标信息;
当接收到信息采集提示时,将服务指标信息传输至服务监控***。
上述日志采集方法、装置、计算机设备和存储介质,通过对服务实例注册信息进行监听,能够实时感知服务节点变化,在当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址,当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标,根据日志文件路径进行日志采集,得到服务实例日志,实现对服务实例日志的采集,并进一步根据采集指标以及服务实例日志,得到服务指标信息,当接收到信息采集提示时,将服务指标信息传输至服务监控***,整个过程,能够在避免对服务监控***进行大量改造的情况下,使得服务监控***采集到所需要的服务实例日志的服务指标信息,能够有效提高日志监控效率。
附图说明
图1为一个实施例中日志采集方法的流程示意图;
图2为另一个实施例中日志采集方法的流程示意图;
图3为一个实施例中日志采集方法的应用环境图;
图4为一个实施例中日志采集装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种日志采集方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的***,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤102,当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址。
其中,服务实例注册信息是指在服务实例部署完成后,由服务平台所发布的与部署的服务实例相关的信息。比如,当服务平台为kubernetes时,服务实例注册信息具体可以是指在服务实例部署完成后,kubernetes所发布与部署的服务实例相关的信息。服务实例注册信息中包括服务实例所在的容器以及对应的服务宿主机地址。服务宿主机地址是指可提供与服务实例对应服务的宿主机的地址。比如,服务宿主机地址具体可以是指IP(Internet Protocol,网际互连协议)地址。服务实例所在的容器是指可提供与服务实例对应服务的容器。
具体的,终端已预先接入服务平台所暴露的服务发现接口,通过服务发现接口监听服务实例注册信息,当服务实例部署完成后,服务平台会通过服务发现接口通知与服务实例对应的服务实例注册信息,已接入服务发现接口的终端就会监听到服务实例注册信息,当监听到服务实例注册信息时,终端会从服务实例注册信息中提取服务宿主机地址,通过服务宿主机地址判断是否需要进行日志采集。进一步的,终端上设置有日志文件读取工具,本实施例中实际实现的是日志文件读取工具与服务平台的交互。
步骤104,当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标。
其中,日志文件路径是指与服务实例对应的服务实例日志的存储路径。采集指标是指与服务实例对应的需要采集的指标项。比如,采集指标具体可以为应用程序内存占用、接口平均耗时等。
具体的,在得到服务宿主机地址后,终端需要根据服务宿主机地址确定是否需要采集日志,在服务宿主机地址中包括在服务宿主机地址中包括所有可提供与服务实例对应服务的宿主机的地址,终端需要获取本地地址,并比对本地地址与服务宿主机地址,确定自身是否属于可提供与服务实例对应服务的宿主机,只有当终端属于可提供与服务实例对应服务的宿主机时,才需要采集日志。在确定需要采集日志后,终端需要获取日志文件路径以及采集指标,以便进行日志采集并得到服务指标信息。其中,与各服务实例对应的日志文件路径以及采集指标都是事先存储在预设日志监控管理平台中的,终端需要通过与预设日志监控管理平台交互,获取到日志文件路径以及采集指标。
步骤106,根据日志文件路径进行日志采集,得到服务实例日志。
其中,服务实例日志用于记录服务实例的运行情况。
具体的,在得到日志文件路径和采集指标后,终端会先根据日志文件路径确定服务实例日志在自身的存储路径,根据该存储路径进行日志采集,得到服务实例日志。
步骤108,根据采集指标以及服务实例日志,得到服务指标信息。
其中,服务指标信息是指根据从服务实例日志中采集到的、与采集指标对应的指标信息。比如,当采集指标为应用程序内存占用时,服务指标信息具体可以为应用程序内存占用为X%。又比如,当采集指标为接口平均耗时时,服务指标信息具体可以为接口平均耗时为Y分钟。
具体的,在得到服务实例日志后,终端会进一步根据采集指标从服务实例日志中提取出服务指标信息。
步骤110,当接收到信息采集提示时,将服务指标信息传输至服务监控***。
其中,信息采集提示是指服务监控***发送的需要进行信息采集的提示。
具体的,在得到服务指标信息后,终端会暴露与服务监控***链接的目标接口,等待服务监控***采集服务指标信息,并在接收到服务监控***发送的信息采集提示时,将服务指标信息传输至服务监控***,以使得服务监控***采集到所需要的服务实例日志的服务指标信息。进一步的,在将服务指标信息传输至服务监控***后,终端会持续监听服务实例注册信息,并在当再次监听到新的服务实例注册信息时,重复上述步骤,获取与新的服务实例注册信息对应的服务指标信息,等待服务监控***采集。
上述日志采集方法,通过对服务实例注册信息进行监听,能够实时感知服务节点变化,在当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址,当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标,根据日志文件路径进行日志采集,得到服务实例日志,实现对服务实例日志的采集,并进一步根据采集指标以及服务实例日志,得到服务指标信息,当接收到信息采集提示时,将服务指标信息传输至服务监控***,整个过程,能够在避免对服务监控***进行大量改造的情况下,使得服务监控***采集到所需要的服务实例日志的服务指标信息,能够有效提高日志监控效率。
在一个实施例中,当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址之前,还包括:
链接服务平台的服务发现接口;
通过服务发现接口监听服务平台通知服务实例注册信息。
具体的,服务发现接口是指由服务平台所暴露的、供终端中的日志文件读取工具进行服务发现的接口,终端中的日志文件读取工具通过链接服务发现接口,就可以实现对服务平台的服务实例注册信息的监听,当服务实例部署完成后,服务平台就会通过服务发现接口通知服务实例注册信息,以使得终端中的日志文件读取工具监听到服务实例注册信息,并通过服务发现接口接收服务实例注册信息。
本实施例中,通过链接服务平台的服务发现接口,通过服务发现接口监听服务平台通知服务实例注册信息,能够实现对服务实例注册信息的监听。
在一个实施例中,链接服务发现接口之前,还包括:
响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要服务监控***采集服务指标信息。
其中,日志采集配置操作是指在进行日志采集前,用户对采集环境进行配置的操作。比如,日志采集配置操作具体可以为用户在进行日志采集前所进行的配置操作。容器是指可提供各种服务的容器,容器中包括多个应用程序。信息采集方式是指采集服务指标信息的方式,在本实施例中,即声明需要服务监控***采集服务指标信息。
具体的,在日志采集配置操作中,会将各容器的目录映射到终端,从而可以实现终端挂载各容器中应用程序日志。同时,在日志采集配置操作中,会声明信息采集方式,声明信息采集方式主要是通过预先配置目标接口实现的,在预先配置目标接口时,会对目标接口的端口类型以及接口路径等进行设置。举例说明,在预先配置目标接口时,可以设置信息采集方式为需要拉取,即等待服务监控***拉取服务指标信息,并设置端口类型为http(超文本传输协议)端口,接口路径为4555,端口类型和接口路径组成与服务监控***链接的接口地址。
本实施例中,通过响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,能够实现对日志采集的配置。
在一个实施例中,还包括:
获取本地地址;
比对本地地址和服务宿主机地址;
当服务宿主机地址中包括本地地址时,确定需要采集日志。
其中,本地地址是指终端自身地址。比如,本地地址具体可以是指终端IP地址。
具体的,在得到服务宿主机地址后,终端为了确定是否需要采集日志,会获取本地地址,比对本地地址和服务宿主机地址,当服务宿主机地址中包括本地地址时,表示终端为可提供与服务实例对应服务的宿主机,因而需要采集日志,当服务宿主机地址中不包括本地地址时,表示终端不为可提供与服务实例对应服务的宿主机,从而不需要采集日志,终端会不进行日志采集操作,继续监听服务实例注册信息,当监听到新的服务实例注册信息时,再次根据新的服务实例注册信息判断是否需要采集日志。
本实施例中,通过获取本地地址,比对本地地址和服务宿主机地址,当服务宿主机地址中包括本地地址时,确定需要采集日志,能够通过地址实现对是否需要进行日志采集的准确判断。
在一个实施例中,当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标包括:
当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识;
发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识;
接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标。
其中,服务实例标识是指用于区分不同服务实例的标识,与服务实例一一对应。比如,服务实例标识具体可以是用于表征服务实例的字符串。服务实例配置信息是指预先对服务实例进行的配置,包括服务实例的日志文件路径以及采集指标等,其中的日志文件路径是指服务实例日志在宿主机中的存放路径,采集指标是指针对该服务实例需要采集的服务指标。预设日志监控管理平台是预先设置的对日志监控进行管理的平台,在预设日志监控管理平台中存储了各服务实例对应的服务实例配置信息,进一步的,通过在预设日志监控管理平台上操作,也可以实现对各服务实例对应的服务实例配置信息的更改。
具体的,当根据服务宿主机地址确定需要采集日志时,终端会从服务实例注册信息中获取服务实例标识,生成携带服务实例标识的服务实例配置信息获取请求,发送服务实例配置信息获取请求至预设日志监控管理平台,以使得预设日志监控管理平台在接收到服务实例配置信息获取请求后,会根据其携带的服务实例标识查找出对应的服务实例配置信息,反馈服务实例配置信息至终端,从而终端会接收到反馈的服务实例配置信息,在服务实例配置信息中包括日志文件路径以及采集指标,终端根据日志文件路径以及采集指标,就可以实现对服务指标信息的获取。
本实施例中,通过从服务实例注册信息中获取服务实例标识,发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识,接收反馈的服务实例配置信息,能够实现对日志文件路径以及采集指标的获取。
在一个实施例中,根据采集指标以及服务实例日志,得到服务指标信息包括:
根据采集指标,获取与采集指标对应的采集正则表达式;
根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息。
其中,正则表达式是指由字符组成的文字模式,它描述了一种字符串匹配的模式,可以用来检查一个字符串是否含有某种子串、将匹配的子串替换或者从某个字符串中取出符合某个条件的子串等。在本实施例中,采集正则表达式主要用于从服务实例日志中取出符合条件的服务指标信息。
具体的,与各采集指标对应的采集正则表达式是已经预先设置并存储好的,针对不同采集指标,其采集正则表达式不完全相同,因此,终端需要根据采集指标,获取与采集指标对应的采集正则表达式,再根据采集正则表达式对服务实例日志进行识别匹配,从服务实例日志中提取出服务指标信息。其中,与各采集指标对应的采集正则表达式可以预先存储在预设数据库中,终端可根据采集指标从预设数据库中获取与采集指标对应的采集正则表达式。
本实施例中,通过根据采集指标,获取与采集指标对应的采集正则表达式,根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息,能够利用采集正则表达式实现对服务指标信息的获取。
在一个实施例中,根据采集指标以及服务实例日志,得到服务指标信息之后,还包括:
暴露目标接口,等待服务监控***通过目标接口采集服务指标信息。
其中,目标接口是指预先设置的可与服务监控***链接的接口。比如,目标接口具体可以是预先设置的http接口。
具体的,在得到服务指标信息后,终端会暴露目标接口,等待服务监控***通过目标接口采集服务指标信息,在接收到服务监控***发送的信息采集提示时,将服务指标信息传输至服务监控***。
本实施例中,通过暴露目标接口,等待服务监控***通过目标接口采集服务指标信息,能够使得服务监控***实现对服务指标信息的采集。
在一个实施例中,如图2所示,通过一个实施例来说明本申请的日志采集方法,该日志采集方法包括以下步骤:
步骤202,响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要服务监控***采集服务指标信息;
步骤204,链接服务平台的服务发现接口;
步骤206,通过服务发现接口监听服务平台通知服务实例注册信息;
步骤208,当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
步骤210,获取本地地址;
步骤212,比对本地地址和服务宿主机地址;
步骤214,当服务宿主机地址中包括本地地址时,确定需要采集日志;
步骤216,当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识;
步骤218,发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识;
步骤220,接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标;
步骤222,根据日志文件路径进行日志采集,得到服务实例日志;
步骤224,根据采集指标,获取与采集指标对应的采集正则表达式;
步骤226,根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息;
步骤228,暴露目标接口,等待服务监控***通过目标接口采集服务指标信息;
步骤230,当接收到信息采集提示时,将服务指标信息传输至服务监控***。
本申请还提供一种应用场景,如图3所示,该应用场景应用上述的日志采集方法。具体地,该日志采集方法在该应用场景的应用如下:
在该应用场景中,包括多个宿主机终端302、Prometheus(服务监控***)304、kubernetes(服务平台)306以及预设日志监控管理平台308,多个宿主机终端响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要Prometheus采集服务指标信息,链接kubernetes的服务发现接口,通过服务发现接口监听kubernetes通知服务实例注册信息,当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址,获取本地地址,比对本地地址和服务宿主机地址,当服务宿主机地址中包括本地地址时,确定需要采集日志,当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识,发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识,接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标,根据日志文件路径进行日志采集,得到服务实例日志,根据采集指标,获取与采集指标对应的采集正则表达式,根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息,暴露目标接口,等待Prometheus通过目标接口采集服务指标信息,当接收到信息采集提示时,将服务指标信息传输至Prometheus。进一步的,Prometheus还可以实现报警功能,用户会预先进行报警配置,设置每项服务指标的服务指标阈值,当采集到的服务指标信息大于对应服务指标阈值时进行报警,并通知用户进行处理,其中的报警配置是挂载在Prometheus的程序目录下的。
应该理解的是,虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种日志采集装置,包括:提取模块402、获取模块404、第一处理模块406、第二处理模块408和传输模块410,其中:
提取模块402,用于当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
获取模块404,用于当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
第一处理模块406,用于根据日志文件路径进行日志采集,得到服务实例日志;
第二处理模块408,用于根据采集指标以及服务实例日志,得到服务指标信息;
传输模块410,用于当接收到信息采集提示时,将服务指标信息传输至服务监控***。
上述日志采集装置,通过对服务实例注册信息进行监听,能够实时感知服务节点变化,在当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址,当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标,根据日志文件路径进行日志采集,得到服务实例日志,实现对服务实例日志的采集,并进一步根据采集指标以及服务实例日志,得到服务指标信息,当接收到信息采集提示时,将服务指标信息传输至服务监控***,整个过程,能够在避免对服务监控***进行大量改造的情况下,使得服务监控***采集到所需要的服务实例日志的服务指标信息,能够有效提高日志监控效率。
在一个实施例中,日志采集装置还包括链接模块,链接模块用于链接服务平台的服务发现接口,通过服务发现接口监听服务平台通知服务实例注册信息。
在一个实施例中,日志采集装置还包括配置模块,配置模块用于响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要服务监控***采集服务指标信息。
在一个实施例中,日志采集装置还包括判断模块,判断模块用于获取本地地址,比对本地地址和服务宿主机地址,当服务宿主机地址中包括本地地址时,确定需要采集日志。
在一个实施例中,获取模块还用于当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识,发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识,接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标。
在一个实施例中,第二处理模块还用于根据采集指标,获取与采集指标对应的采集正则表达式,根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息。
在一个实施例中,传输模块还用于暴露目标接口,等待服务监控***通过目标接口采集服务指标信息。
关于日志采集装置的具体限定可以参见上文中对于日志采集方法的限定,在此不再赘述。上述日志采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种日志采集方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
根据日志文件路径进行日志采集,得到服务实例日志;
根据采集指标以及服务实例日志,得到服务指标信息;
当接收到信息采集提示时,将服务指标信息传输至服务监控***。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:链接服务平台的服务发现接口,通过服务发现接口监听服务平台通知服务实例注册信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要服务监控***采集服务指标信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取本地地址,比对本地地址和服务宿主机地址,当服务宿主机地址中包括本地地址时,确定需要采集日志。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识,发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识,接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据采集指标,获取与采集指标对应的采集正则表达式,根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:暴露目标接口,等待服务监控***通过目标接口采集服务指标信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
当监听到服务实例注册信息时,从服务实例注册信息中提取服务宿主机地址;
当根据服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
根据日志文件路径进行日志采集,得到服务实例日志;
根据采集指标以及服务实例日志,得到服务指标信息;
当接收到信息采集提示时,将服务指标信息传输至服务监控***。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:链接服务平台的服务发现接口,通过服务发现接口监听服务平台通知服务实例注册信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,信息采集方式为需要服务监控***采集服务指标信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取本地地址,比对本地地址和服务宿主机地址,当服务宿主机地址中包括本地地址时,确定需要采集日志。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当根据服务宿主机地址确定需要采集日志时,从服务实例注册信息中获取服务实例标识,发送服务实例配置信息获取请求至预设日志监控管理平台,服务实例配置信息获取请求携带服务实例标识,接收反馈的服务实例配置信息,服务实例配置信息包括日志文件路径以及采集指标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据采集指标,获取与采集指标对应的采集正则表达式,根据采集正则表达式对服务实例日志进行识别匹配,得到服务指标信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:暴露目标接口,等待服务监控***通过目标接口采集服务指标信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志采集方法,其特征在于,所述方法包括:
当监听到服务实例注册信息时,从所述服务实例注册信息中提取服务宿主机地址;
当根据所述服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
根据所述日志文件路径进行日志采集,得到服务实例日志;
根据所述采集指标以及所述服务实例日志,得到服务指标信息;
当接收到信息采集提示时,将所述服务指标信息传输至服务监控***。
2.根据权利要求1所述的方法,其特征在于,所述当监听到服务实例注册信息时,从所述服务实例注册信息中提取服务宿主机地址之前,还包括:
链接服务平台的服务发现接口;
通过所述服务发现接口监听所述服务平台通知服务实例注册信息。
3.根据权利要求2所述的方法,其特征在于,所述链接服务发现接口之前,还包括:
响应日志采集配置操作,挂载各容器中应用程序日志,并声明信息采集方式,所述信息采集方式为需要服务监控***采集服务指标信息。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取本地地址;
比对所述本地地址和所述服务宿主机地址;
当所述服务宿主机地址中包括本地地址时,确定需要采集日志。
5.根据权利要求1所述的方法,其特征在于,所述当根据所述服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标包括:
当根据所述服务宿主机地址确定需要采集日志时,从所述服务实例注册信息中获取服务实例标识;
发送服务实例配置信息获取请求至预设日志监控管理平台,所述服务实例配置信息获取请求携带所述服务实例标识;
接收反馈的服务实例配置信息,所述服务实例配置信息包括日志文件路径以及采集指标。
6.根据权利要求1所述的方法,其特征在于,所述根据所述采集指标以及所述服务实例日志,得到服务指标信息包括:
根据所述采集指标,获取与所述采集指标对应的采集正则表达式;
根据所述采集正则表达式对所述服务实例日志进行识别匹配,得到服务指标信息。
7.根据权利要求1所述的方法,其特征在于,所述根据所述采集指标以及所述服务实例日志,得到服务指标信息之后,还包括:
暴露目标接口,等待服务监控***通过所述目标接口采集所述服务指标信息。
8.一种日志采集装置,其特征在于,所述装置包括:
提取模块,用于当监听到服务实例注册信息时,从所述服务实例注册信息中提取服务宿主机地址;
获取模块,用于当根据所述服务宿主机地址确定需要采集日志时,获取日志文件路径以及采集指标;
第一处理模块,用于根据所述日志文件路径进行日志采集,得到服务实例日志;
第二处理模块,用于根据所述采集指标以及所述服务实例日志,得到服务指标信息;
传输模块,用于当接收到信息采集提示时,将所述服务指标信息传输至服务监控***。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011510561.8A 2020-12-18 2020-12-18 日志采集方法、装置、计算机设备和存储介质 Active CN112506755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011510561.8A CN112506755B (zh) 2020-12-18 2020-12-18 日志采集方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011510561.8A CN112506755B (zh) 2020-12-18 2020-12-18 日志采集方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112506755A true CN112506755A (zh) 2021-03-16
CN112506755B CN112506755B (zh) 2023-11-03

Family

ID=74922863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510561.8A Active CN112506755B (zh) 2020-12-18 2020-12-18 日志采集方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112506755B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363403A (zh) * 2021-12-28 2022-04-15 金蝶医疗软件科技有限公司 服务访问方法、***、计算机设备和存储介质
CN114500254A (zh) * 2022-02-16 2022-05-13 平安科技(深圳)有限公司 历史日志收集方法、装置与存储介质
CN116225854A (zh) * 2023-05-05 2023-06-06 北京明易达科技股份有限公司 服务器日志自动采集的方法、***、介质和设备
CN116560949A (zh) * 2023-07-10 2023-08-08 南瑞轨道交通技术有限公司 一种数据采集与接收的实现方法、***、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099813A1 (en) * 2000-12-04 2002-07-25 Jason Winshell Method for collecting statistics about Web site usage
CN108845917A (zh) * 2018-04-09 2018-11-20 东峡大通(北京)管理咨询有限公司 容器内文件日志挂载模块、***和方法
CN109669848A (zh) * 2017-10-16 2019-04-23 比亚迪股份有限公司 日志生成方法、应用服务器、日志服务器及日志生成***
CN109684038A (zh) * 2018-12-18 2019-04-26 网易(杭州)网络有限公司 Docker服务容器日志的处理方法、装置和电子设备
CN110990178A (zh) * 2019-11-27 2020-04-10 深圳前海微众银行股份有限公司 关键字采集监控方法、装置、设备及计算机存储介质
CN111258722A (zh) * 2020-02-14 2020-06-09 苏州浪潮智能科技有限公司 一种集群的日志采集方法、***、设备以及介质
CN111367615A (zh) * 2018-12-26 2020-07-03 卓望数码技术(深圳)有限公司 方便容器实例调度的方法、装置、设备及存储介质
CN111475468A (zh) * 2020-03-05 2020-07-31 中国平安人寿保险股份有限公司 新增***的日志接入方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099813A1 (en) * 2000-12-04 2002-07-25 Jason Winshell Method for collecting statistics about Web site usage
CN109669848A (zh) * 2017-10-16 2019-04-23 比亚迪股份有限公司 日志生成方法、应用服务器、日志服务器及日志生成***
CN108845917A (zh) * 2018-04-09 2018-11-20 东峡大通(北京)管理咨询有限公司 容器内文件日志挂载模块、***和方法
CN109684038A (zh) * 2018-12-18 2019-04-26 网易(杭州)网络有限公司 Docker服务容器日志的处理方法、装置和电子设备
CN111367615A (zh) * 2018-12-26 2020-07-03 卓望数码技术(深圳)有限公司 方便容器实例调度的方法、装置、设备及存储介质
CN110990178A (zh) * 2019-11-27 2020-04-10 深圳前海微众银行股份有限公司 关键字采集监控方法、装置、设备及计算机存储介质
CN111258722A (zh) * 2020-02-14 2020-06-09 苏州浪潮智能科技有限公司 一种集群的日志采集方法、***、设备以及介质
CN111475468A (zh) * 2020-03-05 2020-07-31 中国平安人寿保险股份有限公司 新增***的日志接入方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯小宸: ""移动服务端运行环境搭建的研发与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, pages 138 - 1922 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363403A (zh) * 2021-12-28 2022-04-15 金蝶医疗软件科技有限公司 服务访问方法、***、计算机设备和存储介质
CN114500254A (zh) * 2022-02-16 2022-05-13 平安科技(深圳)有限公司 历史日志收集方法、装置与存储介质
CN114500254B (zh) * 2022-02-16 2023-08-22 平安科技(深圳)有限公司 历史日志收集方法、装置与存储介质
CN116225854A (zh) * 2023-05-05 2023-06-06 北京明易达科技股份有限公司 服务器日志自动采集的方法、***、介质和设备
CN116560949A (zh) * 2023-07-10 2023-08-08 南瑞轨道交通技术有限公司 一种数据采集与接收的实现方法、***、设备及存储介质
CN116560949B (zh) * 2023-07-10 2023-09-29 南瑞轨道交通技术有限公司 一种数据采集与接收的实现方法、***、设备及存储介质

Also Published As

Publication number Publication date
CN112506755B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN112506755B (zh) 日志采集方法、装置、计算机设备和存储介质
CN109672741B (zh) 微服务监控方法、装置、计算机设备和存储介质
CN110908879B (zh) 埋点数据的上报方法、装置、终端和存储介质
CN101605056B (zh) 一种j2ee服务器监控装置及采用该装置的监控方法
CN109587258B (zh) 一种服务探活方法及装置
CN111046011B (zh) 日志收集方法、***、装置、电子设备及可读存储介质
CN111309550A (zh) 应用程序的数据采集方法、***、设备和存储介质
CN111866158B (zh) 路由方法、装置、计算机设备和存储介质
JP6200376B2 (ja) 車載情報システム及びその情報処理方法
CN114745295A (zh) 数据采集方法、装置、设备和可读存储介质
CN112866348A (zh) 数据库访问方法、装置、计算机设备和存储介质
CN110430070B (zh) 一种服务状态分析方法、装置、服务器、数据分析设备及介质
CN113821254A (zh) 接口数据处理方法、装置、存储介质及设备
CN112579406B (zh) 一种日志调用链生成方法和装置
KR20190021848A (ko) 서버 모니터링 방법과 이를 수행하기 위한 장치 및 시스템
CN112417050A (zh) 数据同步方法和装置、***、存储介质及电子装置
CN113778709B (zh) 接口调用方法、装置、服务器及存储介质
CN113590492B (zh) 信息处理方法、***、电子设备及计算机可读存储介质
CN111459756A (zh) 一种日志处理方法及相关设备
CN113407504B (zh) 一种数据处理方法、用户空间文件***以及存储介质
CN114238694B (zh) 基于Linux的数据处理方法、装置、电子设备及存储介质
CN109684158A (zh) 分布式协调***的状态监控方法、装置、设备及存储介质
CN105607878A (zh) 一种日志打印方法及其设备
CN112185494A (zh) 数据存储方法、装置、计算机设备和存储介质
CN113535780A (zh) 用户请求处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant