CN110377489A - 日志信息处理的方法和装置 - Google Patents

日志信息处理的方法和装置 Download PDF

Info

Publication number
CN110377489A
CN110377489A CN201910646757.0A CN201910646757A CN110377489A CN 110377489 A CN110377489 A CN 110377489A CN 201910646757 A CN201910646757 A CN 201910646757A CN 110377489 A CN110377489 A CN 110377489A
Authority
CN
China
Prior art keywords
log information
kubernetes cluster
node
log
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910646757.0A
Other languages
English (en)
Inventor
张文飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Qinghai Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910646757.0A priority Critical patent/CN110377489A/zh
Publication of CN110377489A publication Critical patent/CN110377489A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种日志信息处理的方法和装置。该方法包括：通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。通过本申请，解决了相关技术中国网云的业务***无法满足运维人员的业务需求的问题。

Description

日志信息处理的方法和装置
技术领域
本申请涉及电力信息领域，具体而言，涉及一种日志信息处理的方法和装置。
背景技术
当前国家电力应用***的建设逐渐庞大，具体的，IT设备日益多样化，且机房设备逐渐增多，进一步的，在当前国家电力应用***中，机房服务器端到用户终端的应用也更加繁杂。但是当前国网云的业务***，仅仅是实现集成各个组件以进行业务操作，而不涉及运维部分。
因此，对于国网云的业务***而言，该业务***的监控指标是无法满足现有运维需求的。且由于运维的核心价值在于保障业务的连续性、可用性，因此，基于国网云所建立的业务***而满足运维需求时，其难度相对于传统运维更高。
具体为以下表现：在各个组件的监控指标相对来说不统一的情况下，运维人员无法进行便利的组件故障查询；各个组件的故障无法快速定位。
针对相关技术中，国网云的业务***无法满足运维人员的业务需求的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种日志信息处理的方法和装置，以解决相关技术中国网云的业务***无法满足运维人员的业务需求的问题。
根据本申请的一个方面，提供了一种日志信息处理的方法。该方法包括：通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
可选的，在通过所述第二Kubernetes集群接通所述接口之后，所述方法还包括：通过所述接口接收到日志信息处理请求；确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
可选的，通过所述日志收集工具收集每个节点上运行的容器docker产生的日志信息包括：在每个节点上均运行filebeat；通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
可选的，所述第二Kubernetes集群为部署全文检索工具的集群。
根据本申请的另一方面，提供了一种日志信息处理的装置。该装置包括：收集单元，用于通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；同步单元，用于将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；提供单元，用于通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
可选的，所述装置还包括：接收单元，用于在通过所述第二Kubernetes集群接通所述接口之后，通过所述接口接收到日志信息处理请求；第一确定单元，用于确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；第二确定单元，用于确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
可选的，收集单元包括：运行模块，用于在每个节点上均运行filebeat；收集模块，用于通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
可选的，所述第二Kubernetes集群为部署全文检索工具的集群。
根据本申请的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的日志信息处理的方法。
根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的日志信息处理的方法。
本申请实施例提供的日志信息处理的方法，通过通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息，解决了国网云的业务***无法满足运维人员的业务需求的问题。实现了令国网云的业务***能够为运维人员便捷且高效地提供所需求的日志信息的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的日志信息处理的方法的流程图；以及
图2是根据本申请实施例提供的日志信息处理的装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例，提供了一种日志信息处理的方法。
图1是根据本申请实施例的日志信息处理的方法的流程图。如图1所示，该方法包括以下步骤：
步骤S102，通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker。
步骤S104，将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群。
步骤S106，通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
本申请实施例提供的日志信息处理的方法，通过通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息，解决了国网云的业务***无法满足运维人员的业务需求的问题。实现了令国网云的业务***能够为运维人员便捷且高效地提供所需求的日志信息的技术效果。
在一个可选的示例中，在上述步骤S102(通过日志收集工具收集每个节点上运行的容器docker产生的日志信息)之前，所述方法还包括：编写多个配置文件以作为日志收集工具，其中，上述配置文件可以为：收集日志信息的配置文件(filebeat)、储存日志数据和提供日志查询的配置文件(elasticsearch)、针对节点机器监控信息收集的配置文件(node-exporter)、针对容器监控信息收集的配置文件(cadvisor)、发送报警消息的配置文件(alertmanager)和储存监控信息和提供监控信息查询的配置文件(prometheus)。
可选地，在本申请实施例提供的日志信息处理的方法中，通过所述日志收集工具收集每个节点上运行的容器docker产生的日志信息包括：在每个节点上均运行filebeat；通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。也即，使用上述多个配置文件对目标日志的路径进行挂载，并运行上述收集日志信息的配置文件(filebeat)，以实现上述配置文件对日志的实时收集和同步。
在另一个可选的示例中，上述日志收集工具还可以包括：对监控目标进行CPU使用率、内存使用率、I/O信息采集的配置文件。
需要说明的是：上述发送报警消息的配置文件(alertmanager)是用于对自定义邮件地址和/或webhook url(网络钩子，一种通过自定义回调函数来增加或更改网页表现的方法)进行配置报警的。而收集日志信息的配置文件(filebeat)、针对节点机器监控信息收集的配置文件(node-exporter)和针对容器监控信息收集的配置文件(cadvisor)是用于第一Kubernetes集群的自动化部署中Daemon Set的概念来进行部署的，以保证每个节点上面的收集日志信息的配置文件(filebeat)、针对节点机器监控信息收集的配置文件(node-exporter)和针对容器监控信息收集的配置文件(cadvisor)配置一致。
进行示意性举例说明：每个node节点上运行的容器产生的日志信息，由对应的filebeat实时收集并同步到第二Kubernetes集群中；每个node节点上运行的容器所产生的监控信息，由node-expoter和cadvisor收集传入prometheus汇总之后，匹配alertmanager预先配置的报警模板，若触发报警条件，则由alertmanager发送报警信息。
需要说明的是：在步骤S104中，通过将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群，实现了保证数据存储的稳定性、扩展性和可维护性。
可选地，在本申请实施例提供的日志信息处理的方法中，在通过所述第二Kubernetes集群接通所述接口之后，所述方法还包括：通过所述接口接收到日志信息处理请求；确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
举例示意：用户可以在容器云平台上发送服务请求，以在容器云平台分流后，在自己的工作空间下通过elasticsearch提供对外的接口查询需要的日志信息；在自己的工作空间下通过elasticsearch提供的查询语句查询相关的监控信息；以及上述监控信息进行汇总处理，并将汇总后的监控信息通过匹配的alertmanager报警模板来发送。
需要说明的是：基于第一Kubernetes集群的工作空间的属性性质，实现了对每个用户的工作空间进行隔离和保密的技术效果。
在一个可选的示例中，通过所述第二Kubernetes集群提供接口包括：通过所述Kubernetes集群所对应的储存日志数据和提供日志查询的配置文件(elasticsearch)提供的对外接口，实现数据展示，其中，所述elasticsearch提供的对外接口具体实现用户基于不同纬度上的日志查询；通过所述Kubernetes集群所对应的储存监控信息和提供监控信息查询的配置文件(prometheus)提供的对外接口(http api接口)，实现用户基于不同纬度上的监控信息查询，其中，该纬度可以为空间纬度、应用纬度、服务纬度和关键字纬度。
可选地，在本申请实施例提供的日志信息处理的方法中，所述第二Kubernetes集群为部署全文检索工具的集群。
需要补充说明的是：在完成第一Kubernetes集群和第二Kubernetes集群部署后，该第一Kubernetes集群和第二Kubernetes集群的内部流程包括以下步骤：
步骤A1，每个node节点上运行的容器生成日志和报警信息。
步骤A2，每个node节点上运行的filebeat实时收集和同步日志信息，具体的，在filebeat配置部署之后，在/var/lib/docker/containers路径下面收集以.log结尾的文件，其中，可以用*号来通配所有日志。
而node-exporter和cadvisor只需要保证正常运行。
以及，prometheus正确配置node-exporter和cadvisor的服务地址，就能收集到相应的监控信息。
步骤A3，filebeat收集到的日志信息汇总到第二Kubernetes集群上，其中，filebeat需要配置output，host字段配置成es的地址。
步骤A4，对外接口提供查询功能，为用户准备所需数据，其中，filebeat收集的时候能够配置Kubernetes的相应标签，通过labels(标签)筛选相应的应用和服务，通过include字段过滤不需要的信息。
步骤A5，用户在自己的工作空间下进行数据的管理和分析。用户通过查询接口获取需要的日志，查看报警信息。
需要补充说明的是：在完成第一Kubernetes集群和第二Kubernetes集群部署后，该集群内部和外部协作之间的流程包括以下步骤：
步骤B1，用户登录容器云平台；
步骤B2，用户发送服务请求；
步骤B3，通过容器云平台分流，将用户所需数据放置于用户自己的工作空间下。
综上所述，本申请实施例提供的日志信息处理的方法，通过编写并运行配置文件，将filebeat部署到Kubernetes集群中每个节点上，挂载目标日志的路径、配置监控目标、alertmanager报警模板、报警信息接收地址，对每个用户的工作空间进行隔离，并提供对外的接口，每个节点的容器产生的日志被同步到Kubernetes集群，由elasticsearch提供对外的接口来实现数据的展示，每个节点上运行的容器产生的监控信息被汇总到prometheus，并与报警模板匹配，触发报警条件时则由alertmanager发送邮件或短信。使得集群运行更健康，让日志的管理更清晰和具体，增强了监控信息的实效性，降低了维护需要的时间，为大数据分析和云计算提供了数据来源和初始分类。
也即，本申请实施例提供的日志信息处理的方法可以使业务方在配置和登录容器云平台之后，以云平台服务调度为基础，进行海量数据的维护分析，在实现简化分析日志和监控的难度、复杂性和繁琐度的基础上，仍然保证了用户查询数据的便捷性。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种日志信息处理的装置，需要说明的是，本申请实施例的日志信息处理的装置可以用于执行本申请实施例所提供的用于日志信息处理的方法。以下对本申请实施例提供的日志信息处理的装置进行介绍。
图2是根据本申请实施例的日志信息处理的装置的示意图。如图2所示，该装置包括：收集单元21、同步单元23和提供单元25。
收集单元21，用于通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker。
同步单元23，用于将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群。
提供单元25，用于通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
可选地，在本申请实施例提供的日志信息处理的装置中，所述装置还包括：接收单元，用于在通过所述第二Kubernetes集群接通所述接口之后，通过所述接口接收到日志信息处理请求；第一确定单元，用于确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；第二确定单元，用于确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
可选地，在本申请实施例提供的日志信息处理的装置中，收集单元21包括：运行模块，用于在每个节点上均运行filebeat；收集模块，用于通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
可选地，在本申请实施例提供的日志信息处理的装置中，所述第二Kubernetes集群为部署全文检索工具的集群。
本申请实施例提供的日志信息处理的装置，通过收集单元21通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；同步单元23将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；提供单元25通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息，解决了国网云的业务***无法满足运维人员的业务需求的问题。实现了令国网云的业务***能够为运维人员便捷且高效地提供所需求的日志信息的技术效果。
所述日志信息处理的装置包括处理器和存储器，上述收集单元21、同步单元23和提供单元25等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来令国网云的业务***能够为运维人员便捷且高效地提供所需求的日志信息。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述日志信息处理的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述日志信息处理的方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
可选的，在通过所述第二Kubernetes集群接通所述接口之后，所述方法还包括：通过所述接口接收到日志信息处理请求；确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
可选的，通过所述日志收集工具收集每个节点上运行的容器docker产生的日志信息包括：在每个节点上均运行filebeat；通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
可选的，所述第二Kubernetes集群为部署全文检索工具的集群。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
可选的，在通过所述第二Kubernetes集群接通所述接口之后，所述方法还包括：通过所述接口接收到日志信息处理请求；确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
可选的，通过所述日志收集工具收集每个节点上运行的容器docker产生的日志信息包括：在每个节点上均运行filebeat；通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
可选的，所述第二Kubernetes集群为部署全文检索工具的集群。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种日志信息处理的方法，其特征在于，包括：
通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；
将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；
通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
2.根据权利要求1所述的方法，其特征在于，在通过所述第二Kubernetes集群接通所述接口之后，所述方法还包括：
通过所述接口接收到日志信息处理请求；
确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；
确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
3.根据权利要求1所述的方法，其特征在于，通过所述日志收集工具收集每个节点上运行的容器docker产生的日志信息包括：
在每个节点上均运行filebeat；
通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
4.根据权利要求2所述的方法，其特征在于，所述第二Kubernetes集群为部署全文检索工具的集群。
5.一种日志信息处理的装置，其特征在于，包括：
收集单元，用于通过日志收集工具收集每个节点上运行的容器docker产生的日志信息，其中，所述节点为第一Kubernetes集群中的节点，每个节点管理一个或多个容器docker；
同步单元，用于将收集到的所有节点的日志信息同步到第二Kubernetes集群中，其中，所述第二Kubernetes集群与所述第一Kubernetes集群为不同的集群；
提供单元，用于通过所述第二Kubernetes集群提供接口，其中，所述接口用于查询所述第二Kubernetes集群汇总的日志信息。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
接收单元，用于在通过所述第二Kubernetes集群接通所述接口之后，通过所述接口接收到日志信息处理请求；
第一确定单元，用于确定所述日志信息处理请求的发起方在所述第二Kubernetes集群中的工作空间；
第二确定单元，用于确定使所述发起方在对应的工作空间下对所述日志信息处理请求进行处理。
7.根据权利要求5所述的装置，其特征在于，收集单元包括：
运行模块，用于在每个节点上均运行filebeat；
收集模块，用于通过所述filebeat收集每个节点上运行的容器docker产生的日志信息。
8.根据权利要求6所述的装置，其特征在于，所述第二Kubernetes集群为部署全文检索工具的集群。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至4中任意一项所述的日志信息处理的方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中任意一项所述的日志信息处理的方法。
CN201910646757.0A 2019-07-17 2019-07-17 日志信息处理的方法和装置 Pending CN110377489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910646757.0A CN110377489A (zh) 2019-07-17 2019-07-17 日志信息处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910646757.0A CN110377489A (zh) 2019-07-17 2019-07-17 日志信息处理的方法和装置

Publications (1)

Publication Number Publication Date
CN110377489A true CN110377489A (zh) 2019-10-25

Family

ID=68253843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910646757.0A Pending CN110377489A (zh) 2019-07-17 2019-07-17 日志信息处理的方法和装置

Country Status (1)

Country Link
CN (1) CN110377489A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941512A (zh) * 2019-11-22 2020-03-31 广东小天才科技有限公司 redis增量复制方法及装置、终端设备和存储介质
CN111046011A (zh) * 2019-11-27 2020-04-21 中科曙光国际信息产业有限公司 日志收集方法、***、节点、电子设备及可读存储介质
CN111625551A (zh) * 2020-05-15 2020-09-04 贵州易鲸捷信息技术有限公司 基于ElasticSearch存储的数据库监控数据高可用***及其实现方法
CN113934564A (zh) * 2021-09-26 2022-01-14 聚好看科技股份有限公司 一种集群日志的存储方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180048545A1 (en) * 2016-08-11 2018-02-15 Hewlett Packard Enterprise Development Lp Container monitoring configuration deployment
CN109245931A (zh) * 2018-09-19 2019-01-18 四川长虹电器股份有限公司 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN109491859A (zh) * 2018-10-16 2019-03-19 华南理工大学 针对Kubernetes集群中容器日志的收集方法
CN109660397A (zh) * 2018-12-21 2019-04-19 北京百度网讯科技有限公司 用于采集日志的***、方法和装置
CN109743199A (zh) * 2018-12-25 2019-05-10 中国联合网络通信集团有限公司 基于微服务的容器化管理***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180048545A1 (en) * 2016-08-11 2018-02-15 Hewlett Packard Enterprise Development Lp Container monitoring configuration deployment
CN109245931A (zh) * 2018-09-19 2019-01-18 四川长虹电器股份有限公司 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN109491859A (zh) * 2018-10-16 2019-03-19 华南理工大学 针对Kubernetes集群中容器日志的收集方法
CN109660397A (zh) * 2018-12-21 2019-04-19 北京百度网讯科技有限公司 用于采集日志的***、方法和装置
CN109743199A (zh) * 2018-12-25 2019-05-10 中国联合网络通信集团有限公司 基于微服务的容器化管理***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941512A (zh) * 2019-11-22 2020-03-31 广东小天才科技有限公司 redis增量复制方法及装置、终端设备和存储介质
CN110941512B (zh) * 2019-11-22 2024-02-20 广东小天才科技有限公司 redis增量复制方法及装置、终端设备和存储介质
CN111046011A (zh) * 2019-11-27 2020-04-21 中科曙光国际信息产业有限公司 日志收集方法、***、节点、电子设备及可读存储介质
CN111046011B (zh) * 2019-11-27 2024-02-23 中科曙光国际信息产业有限公司 日志收集方法、***、装置、电子设备及可读存储介质
CN111625551A (zh) * 2020-05-15 2020-09-04 贵州易鲸捷信息技术有限公司 基于ElasticSearch存储的数据库监控数据高可用***及其实现方法
CN113934564A (zh) * 2021-09-26 2022-01-14 聚好看科技股份有限公司 一种集群日志的存储方法及装置

Similar Documents

Publication Publication Date Title
CN110377489A (zh) 日志信息处理的方法和装置
JP6563936B2 (ja) クラウドに基づく仮想オーケストレーターのための方法、システム、およびコンピュータ読取可能な媒体
US9838483B2 (en) Methods, systems, and computer readable media for a network function virtualization information concentrator
CN103761309B (zh) 一种运营数据处理方法及***
Tse et al. Global zoom/pan estimation and compensation for video compression
TWI549080B (zh) The method, system and device for sending information of category information
AU2019295818A1 (en) Block chain-based data processing method and device
CN107943668A (zh) 计算机服务器集群日志监控方法及监控平台
CN101707632A (zh) 一种动态监控服务器集群性能并实时报警的方法
CN109039817B (zh) 一种用于流量监控的信息处理方法、装置、设备及介质
CN102694868A (zh) 一种集群***实现及任务动态分配方法
CN111258978B (zh) 一种数据存储的方法
CN107665237B (zh) 数据结构分类装置、非结构化数据的发布订阅***及方法
CN107133231B (zh) 一种数据获取方法和装置
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN109769009B (zh) 一种去中心化云存储平台***
US10331484B2 (en) Distributed data platform resource allocator
CN110008173A (zh) 一种数据存储的方法及装置
CN109714222A (zh) 高可用的分布式计算机监控***及其监控方法
CN111190875A (zh) 基于容器平台的日志聚合方法及装置
CN104219175A (zh) 数据交换与服务调用***及方法
CN202841168U (zh) 网络资源监控***
CN107046581A (zh) 一种服务运行状态的监测方法、装置及服务器
EP3306471B1 (en) Automatic server cluster discovery
CN111698109A (zh) 监控日志的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025

RJ01 Rejection of invention patent application after publication