CN111625419A - 一种日志采集方法、***、设备及计算机可读存储介质 - Google Patents

一种日志采集方法、***、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111625419A
CN111625419A CN202010413038.7A CN202010413038A CN111625419A CN 111625419 A CN111625419 A CN 111625419A CN 202010413038 A CN202010413038 A CN 202010413038A CN 111625419 A CN111625419 A CN 111625419A
Authority
CN
China
Prior art keywords
container
log
monitoring
target
physical node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010413038.7A
Other languages
English (en)
Other versions
CN111625419B (zh
Inventor
崔润兴
刘正伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Guangdong Inspur Smart Computing Technology Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202010413038.7A priority Critical patent/CN111625419B/zh
Publication of CN111625419A publication Critical patent/CN111625419A/zh
Application granted granted Critical
Publication of CN111625419B publication Critical patent/CN111625419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种日志采集方法、***、设备及计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，包括：获取预设容器，预设容器中包括监听进程和采集进程；基于监听进程对物理节点的容器进行监听，得到监听结果；基于监听结果，确定需要采集标准输出日志的目标容器的目标标识；基于目标标识确定目标容器的日志文件路径；将日志文件路径配置至采集进程中；基于配置后的采集进程进行日志采集，得到目标日志。本申请中，由各个物理节点对自身的容器进行监听，可以降低集群主节点的负担，且可以基于日志文件路径进行日志采集，得到目标日志，这样，即使物理节点上的容器发生位置变动，也可以对该容器进行日志采集，成功率高。

Description

一种日志采集方法、***、设备及计算机可读存储介质
技术领域
本申请涉及日志采集技术领域，更具体地说，涉及一种日志采集方法、***、设备及计算机可读存储介质。
背景技术
容器技术是一种比虚拟机技术更加节省计算资源也更加灵活的虚拟化技术。随着容器技术的发展，出现了很多容器编排引擎，用于对容器进行管理，Kubernetes技术脱颖而出成为了容器编排领域的事实标准。在将容器技术应用到实际生产环境中时，由于技术门槛的缘故，仅仅使用Kubernetes进行应用***部署显得比较困难，为此需要开发对Kubernetes集群进行管理的软件***。日志作为应用的一个关键环节，在容器平台这种动态的环境下，如何在应用的容器化过程中，方便快捷的自动发现和采集日志是将传统应用容器化部署的一个重要方面。
且在容器中，容器日志有两大类，一类是标准输出日志，一类是文本日志，其中，文本日志指的是存在于容器内部并且没有被重定向到标准输出的日志，标准输出日志指的是需要向外界输出的日志；然而，由于Kubernetes集群具有动态伸缩性，比如一个集群节点上的Pod损坏后，会在其他集群节点上开启新的Pod，在此过程中采集日志的话，因为Pod的位置变动，会使得日志采集失败。
综上所述，如何提高容器日志的采集成功率是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种日志采集方法，其能在一定程度上解决如何提高容器日志的采集成功率的技术问题。本申请还提供了一种容器日志采集***、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种日志采集方法，应用于Kubernetes集群的每一个物理节点，包括：
获取预设容器，所述预设容器中包括监听进程和采集进程；
基于所述监听进程对所述物理节点的容器进行监听，得到监听结果；
基于所述监听结果，确定需要采集标准输出日志的目标容器的目标标识；
基于所述目标标识确定所述目标容器的日志文件路径；
将所述日志文件路径配置至所述采集进程中；
基于配置后的所述采集进程进行日志采集，得到目标日志。
优选的，所述获取预设容器，包括：
接收基于daemonset方式部署的所述预设容器。
优选的，所述监听进程包括docker进程；
所述基于所述监听进程对所述物理节点的容器进行监听，包括：
基于所述docker进程对所述物理节点的容器进行监听。
优选的，所述目标标识的类型包括容器ID；
所述基于所述目标标识确定所述目标容器的日志文件路径，包括：
基于所述目标标识，调用docker API获取所述日志文件路径。
优选的，所述获取预设容器，包括：
获取所述Kubernetes集群中的管理节点发布的所述预设容器。
优选的，所述基于所述监听进程对所述物理节点的容器进行监听，得到监听结果，包括：
基于所述监听进程对所述物理节点的容器进行监听，判断所述容器是否携带日志采集标签；
若所述日志携带所述日志采集标签，则得到表征对所述容器进行标准输出日志采集的监听结果；
若所述日志未携带所述日志采集标签，则得到表征不对所述容器进行标准输出日志采集的监听结果。
一种日志采集***，应用于Kubernetes集群的每一个物理节点，包括：
第一获取模块，用于获取预设容器，所述预设容器中包括监听进程和采集进程；
第一监听模块，用于基于所述监听进程对所述物理节点的容器进行监听，得到监听结果；
第一确定模块，用于基于所述监听结果，确定需要采集标准输出日志的目标容器的目标标识；
第二确定模块，用于基于所述目标标识确定所述目标容器的日志文件路径；
第一配置模块，用于将所述日志文件路径配置至所述采集进程中；
第一采集模块，用于基于配置后的所述采集进程进行日志采集，得到目标日志。
优选的，所述第一获取模块包括：
第一获取单元，用于接收基于daemonset方式部署的所述预设容器。
一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述日志采集方法的步骤。
一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述日志采集方法的步骤。
本申请提供的一种日志采集方法，应用于Kubernetes集群的每一个物理节点，包括：获取预设容器，预设容器中包括监听进程和采集进程；基于监听进程对物理节点的容器进行监听，得到监听结果；基于监听结果，确定需要采集标准输出日志的目标容器的目标标识；基于目标标识确定目标容器的日志文件路径；将日志文件路径配置至采集进程中；基于配置后的采集进程进行日志采集，得到目标日志。本申请中，由各个物理节点对自身的容器进行监听，可以降低集群主节点的负担，且每个物理节点均可以确定目标容器的目标标识，并基于目标标识确定目标容器的日志文件路径，最后基于日志文件路径进行日志采集，得到目标日志，这样，即使物理节点上的容器发生位置变动，也可以对该容器进行日志采集，成功率高；此外，监听进程和采集进程部署在同一个预设容器中，这样用户只需对预设容器进行操作，便可以对监听进程和采集进程进行操作，可以降低用户的操作负担。本申请提供的一种日志采集***、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种日志采集方法的流程图；
图2为本申请实施例提供的一种日志采集***的结构示意图；
图3为本申请实施例提供的一种日志采集设备的结构示意图；
图4为本申请实施例提供的一种日志采集设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
容器技术是一种比虚拟机技术更加节省计算资源也更加灵活的虚拟化技术。随着容器技术的发展，出现了很多容器编排引擎，用于对容器进行管理，Kubernetes技术脱颖而出成为了容器编排领域的事实标准。在将容器技术应用到实际生产环境中时，由于技术门槛的缘故，仅仅使用Kubernetes进行应用***部署显得比较困难，为此需要开发对Kubernetes集群进行管理的软件***。日志作为应用的一个关键环节，尤其是在使用容器编排工具进行容器调度的动态环境下，程序的排错和健康状态的分析很多都依赖日志信息的收集，在容器平台这种动态的环境下，如何在应用的容器化过程中，方便快捷的自动发现和采集日志是将传统应用容器化部署的一个重要方面。且在容器中，容器日志有两大类，一类是标准输出日志，一类是文本日志，其中，文本日志指的是存在于容器内部并且没有被重定向到标准输出的日志，标准输出日志指的是需要向外界输出的日志；然而，由于Kubernetes集群具有动态伸缩性，比如一个集群节点上的Pod损坏后，会在其他集群节点上开启新的Pod，在此过程中采集日志的话，因为Pod的位置变动，会使得日志采集失败。本申请提供的一种日志采集方法可以提高容器日志的采集成功率。
请参阅图1，图1为本申请实施例提供的一种日志采集方法的流程图。
本申请实施例提供的一种日志采集方法，应用于Kubernetes集群的每一个物理节点，可以包括以下步骤：
步骤S101：获取预设容器，预设容器中包括监听进程和采集进程。
步骤S102：基于监听进程对物理节点的容器进行监听，得到监听结果。
实际应用中，为了便于物理节点监听和采集，可以轻量的为物理节点配置监听和采集性能，也即可以先设置包含监听进程和采集进程的预设容器，相应的，Kubernetes集群的各个物理节点可以先获取预设容器，再基于监听进程对自身的容器进行监听，得到相应的监听结果，本申请所描述的监听结果指的是表征容器是否需要被采集标准输出日志的结果；具体的监听方式及监听结果的表达形式可以根据实际需要确定，比如可以实时监听、按照预设时间间隔监听等，比如可以以特定数值表征需要对容器采集标准输出日志的监听结果等。
步骤S103：基于监听结果，确定需要采集标准输出日志的目标容器的目标标识。
实际应用中，在得到监听结果后，便可以基于监听结果，确定需要采集标准输出日志的目标容器的目标标识，目标容器也即需要采集标准输出日志的容器，目标标识也即目标容器的标识，目标标识是将目标容器与其它容器区分开来的标识，其可以为目标容器的设备号等，目标容器的类型可以根据实际需要确定。
步骤S104：基于目标标识确定目标容器的日志文件路径。
步骤S105：将日志文件路径配置至采集进程中。
步骤S105：基于配置后的所述采集进程进行日志采集，得到目标日志。
实际应用中，在确定出目标标识后，便可以将日志文件路径配置至采集进程中，基于配置后的所述采集进程进行日志采集，以便基于日志文件路径进行日志采集，得到目标日志。
应当指出，本申请中，由各个物理节点自身采集日志，分担了集群主节点的网络、CPU、内存的高负载问题，可以增加了集群的稳定性和高可用性。
本申请提供的一种日志采集方法，应用于Kubernetes集群的每一个物理节点，包括：对物理节点的容器进行监听，得到监听结果；基于监听结果，确定需要采集标准输出日志的目标容器的目标标识；基于目标标识确定目标容器的日志文件路径；基于日志文件路径进行日志采集，得到目标日志。本申请中，由各个物理节点对自身的容器进行监听，可以降低集群主节点的负担，且每个物理节点均可以确定目标容器的目标标识，并基于目标标识确定目标容器的日志文件路径，最后基于日志文件路径进行日志采集，得到目标日志，这样，即使物理节点上的容器发生位置变动，也可以对该容器进行日志采集，成功率高。
本申请实施例提供的一种日志采集方法，应用于Kubernetes集群的每一个物理节点，物理节点获取预设容器时，可以获取Kubernetes集群中的管理节点发布的预设容器。
应当指出，本申请中监听进程和采集进程部署在同一个预设容器中，这样用户只需对预设容器进行操作，便可以对监听进程和采集进程进行操作，可以降低用户的操作负担。且为了方便的部署预设容器，物理节点在获取预设容器时，可以接收基于daemonset(Kubernetes中的守护进程)方式部署的预设容器。此外，为了便于对各个物理节点采集的日志进行管理，可以将各个物理节点获取的预设容器交由Kubernetes集群的管理平台进行管理，也即物理节点获取的预设容器可以由管理平台发布，并且各个物理节点采集到日志后，可以将采集的日志发送给管理平台进行统一管理。
本申请实施例提供的一种日志采集方法，应用于Kubernetes集群的每一个物理节点，为了提高物理节点的监听效率，物理节点在对物理节点的容器进行监听时，可以基于docker进程对物理节点的容器进行监听，也即本申请中的监听进程可以包括docker进程，当然，监听进程还可以为其他类型的进程，本申请在此不做具体限定。
实际应用中，目标标识的类型可以包括容器ID；相应的，物理节点基于目标标识确定目标容器的日志文件路径时，可以基于目标标识，调用dockerAPI获取日志文件路径。比如可以调用docker提供的API：/containers/<container-id>/json获取目标日志的详细信息，并根据详细信息中LogPath对应的值确定出日志文件路径。
本申请实施例提供的一种日志采集方法，应用于Kubernetes集群的每一个物理节点，为了便于确定容器是否为目标容器，可以需要进行标准输出日志采集的容器设置日志采集标签，相应的，物理节点可以基于该日志采集标签判断容器是否为目标容器，也即物理节点对物理节点的容器进行监听，得到监听结果的步骤，可以具体为：对物理节点的容器进行监听，判断容器是否携带日志采集标签；若日志携带日志采集标签，则得到表征对容器进行标准输出日志采集的监听结果；若日志未携带日志采集标签，则得到表征不对容器进行标准输出日志采集的监听结果。
请参阅图2，图2为本申请实施例提供的一种日志采集***的结构示意图。
本申请实施例提供的一种日志采集***，应用于Kubernetes集群的每一个物理节点，可以包括：
第一获取模块101，用于获取预设容器，预设容器中包括监听进程和采集进程；
第一监听模块102，用于基于监听进程对物理节点的容器进行监听，得到监听结果；
第一确定模块103，用于基于监听结果，确定需要采集标准输出日志的目标容器的目标标识；
第二确定模块104，用于基于目标标识确定目标容器的日志文件路径；
第一配置模块105，用于将日志文件路径配置至采集进程中；
第一采集模块106，用于基于日志文件路径进行日志采集，得到目标日志。
本申请实施例提供的一种日志采集***，应用于Kubernetes集群的每一个物理节点，第一获取模块可以包括：
第一接收单元，用于接收基于daemonset方式部署的预设容器。
本申请实施例提供的一种日志采集***，应用于Kubernetes集群的每一个物理节点，监听进程包括docker进程；
第一监听模块可以包括：
第一监听单元，用于基于docker进程对物理节点的容器进行监听。
本申请实施例提供的一种日志采集***，应用于Kubernetes集群的每一个物理节点，目标标识的类型可以包括容器ID；
第二确定模块可以包括：
第一获取单元，用于基于目标标识，调用docker API获取日志文件路径。
本申请实施例提供的一种日志采集***，应用于Kubernetes集群的每一个物理节点，第一获取模块可以包括：
第二获取单元，用于获取Kubernetes集群中的管理节点发布的预设容器。
本申请实施例提供的一种日志采集***，应用于Kubernetes集群的每一个物理节点，第一监听模块可以包括：
第一判断单元，用于对物理节点的容器进行监听，判断容器是否携带日志采集标签；若日志携带日志采集标签，则得到表征对容器进行标准输出日志采集的监听结果；若日志未携带日志采集标签，则得到表征不对容器进行标准输出日志采集的监听结果。
本申请还提供了一种日志采集设备及计算机可读存储介质，其均具有本申请实施例提供的一种日志采集方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种日志采集设备的结构示意图。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：
对物理节点的容器进行监听，得到监听结果；
基于监听结果，确定需要采集标准输出日志的目标容器的目标标识；
基于目标标识确定目标容器的日志文件路径；
基于日志文件路径进行日志采集，得到目标日志。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：对物理节点的容器进行监听之前，获取预设容器，预设容器中包括监听进程和采集进程；基于监听进程对物理节点的容器进行监听；将日志文件路径配置至采集进程中；基于配置后的采集进程进行日志采集。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：接收基于daemonset方式部署的预设容器。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：监听进程包括docker进程；基于docker进程对物理节点的容器进行监听。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：目标标识的类型包括容器ID；基于目标标识，调用docker API获取日志文件路径。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：获取Kubernetes集群中的管理节点发布的预设容器。
本申请实施例提供的一种日志采集设备，应用于Kubernetes集群的每一个物理节点，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：对物理节点的容器进行监听，判断容器是否携带日志采集标签；若日志携带日志采集标签，则得到表征对容器进行标准输出日志采集的监听结果；若日志未携带日志采集标签，则得到表征不对容器进行标准输出日志采集的监听结果。
请参阅图4，本申请实施例提供的另一种日志采集设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现日志采集设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
对物理节点的容器进行监听，得到监听结果；
基于监听结果，确定需要采集标准输出日志的目标容器的目标标识；
基于目标标识确定目标容器的日志文件路径；
基于日志文件路径进行日志采集，得到目标日志。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：对物理节点的容器进行监听之前，获取预设容器，预设容器中包括监听进程和采集进程；基于监听进程对物理节点的容器进行监听；将日志文件路径配置至采集进程中；基于配置后的采集进程进行日志采集。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：接收基于daemonset方式部署的预设容器。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：监听进程包括docker进程；基于docker进程对物理节点的容器进行监听。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：目标标识的类型包括容器ID；基于目标标识，调用docker API获取日志文件路径。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取Kubernetes集群中的管理节点发布的预设容器。
本申请实施例提供的一种计算机可读存储介质，应用于Kubernetes集群的每一个物理节点，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：对物理节点的容器进行监听，判断容器是否携带日志采集标签；若日志携带日志采集标签，则得到表征对容器进行标准输出日志采集的监听结果；若日志未携带日志采集标签，则得到表征不对容器进行标准输出日志采集的监听结果。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的日志采集设备***、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的日志采集设备方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种日志采集方法，其特征在于，应用于Kubernetes集群的每一个物理节点，包括：
获取预设容器，所述预设容器中包括监听进程和采集进程；
基于所述监听进程对所述物理节点的容器进行监听，得到监听结果；
基于所述监听结果，确定需要采集标准输出日志的目标容器的目标标识；
基于所述目标标识确定所述目标容器的日志文件路径；
将所述日志文件路径配置至所述采集进程中；
基于配置后的所述采集进程进行日志采集，得到目标日志。
2.根据权利要求1所述的方法，其特征在于，所述获取预设容器，包括：
接收基于daemonset方式部署的所述预设容器。
3.根据权利要求1所述的方法，其特征在于，所述监听进程包括docker进程；
所述基于所述监听进程对所述物理节点的容器进行监听，包括：
基于所述docker进程对所述物理节点的容器进行监听。
4.根据权利要求3所述的方法，其特征在于，所述目标标识的类型包括容器ID；
所述基于所述目标标识确定所述目标容器的日志文件路径，包括：
基于所述目标标识，调用docker API获取所述日志文件路径。
5.根据权利要求1所述的方法，其特征在于，所述获取预设容器，包括：
获取所述Kubernetes集群中的管理节点发布的所述预设容器。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述监听进程对所述物理节点的容器进行监听，得到监听结果，包括：
基于所述监听进程对所述物理节点的容器进行监听，判断所述容器是否携带日志采集标签；
若所述日志携带所述日志采集标签，则得到表征对所述容器进行标准输出日志采集的监听结果；
若所述日志未携带所述日志采集标签，则得到表征不对所述容器进行标准输出日志采集的监听结果。
7.一种日志采集***，其特征在于，应用于Kubernetes集群的每一个物理节点，包括：
第一获取模块，用于获取预设容器，所述预设容器中包括监听进程和采集进程；
第一监听模块，用于基于所述监听进程对所述物理节点的容器进行监听，得到监听结果；
第一确定模块，用于基于所述监听结果，确定需要采集标准输出日志的目标容器的目标标识；
第二确定模块，用于基于所述目标标识确定所述目标容器的日志文件路径；
第一配置模块，用于将所述日志文件路径配置至所述采集进程中；
第一采集模块，用于基于配置后的所述采集进程进行日志采集，得到目标日志。
8.根据权利要求7所述的***，其特征在于，所述第一获取模块包括：
第一获取单元，用于接收基于daemonset方式部署的所述预设容器。
9.一种日志采集设备，其特征在于，应用于Kubernetes集群的每一个物理节点，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述日志采集方法的步骤。
10.一种计算机可读存储介质，其特征在于，应用于Kubernetes集群的每一个物理节点，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述日志采集方法的步骤。
CN202010413038.7A 2020-05-15 2020-05-15 一种日志采集方法、***、设备及计算机可读存储介质 Active CN111625419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413038.7A CN111625419B (zh) 2020-05-15 2020-05-15 一种日志采集方法、***、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413038.7A CN111625419B (zh) 2020-05-15 2020-05-15 一种日志采集方法、***、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111625419A true CN111625419A (zh) 2020-09-04
CN111625419B CN111625419B (zh) 2023-03-31

Family

ID=72271882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413038.7A Active CN111625419B (zh) 2020-05-15 2020-05-15 一种日志采集方法、***、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111625419B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115030A (zh) * 2020-09-28 2020-12-22 曙光信息产业(北京)有限公司 一种节点确定方法、装置、电子设备及存储介质
CN114546668A (zh) * 2022-04-27 2022-05-27 恒生电子股份有限公司 日志采集方法、装置、电子设备和计算机可读存储介质
CN114756301A (zh) * 2022-04-24 2022-07-15 北京百度网讯科技有限公司 日志处理方法、装置和***
CN115038089A (zh) * 2022-08-09 2022-09-09 广州博今网络技术有限公司 一种基于信息抽取的多端数据监听采集方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789303A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 一种容器日志采集方法及装置
CN109245931A (zh) * 2018-09-19 2019-01-18 四川长虹电器股份有限公司 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN109491859A (zh) * 2018-10-16 2019-03-19 华南理工大学 针对Kubernetes集群中容器日志的收集方法
CN109660397A (zh) * 2018-12-21 2019-04-19 北京百度网讯科技有限公司 用于采集日志的***、方法和装置
CN110162448A (zh) * 2018-02-13 2019-08-23 北京京东尚科信息技术有限公司 日志采集的方法和装置
CN110851234A (zh) * 2019-10-25 2020-02-28 中信梧桐港供应链管理有限公司 基于docker容器的日志处理方法及装置
US20200073718A1 (en) * 2018-08-31 2020-03-05 Nutanix, Inc. Throttling logging processes
CN111008180A (zh) * 2019-10-29 2020-04-14 烽火通信科技股份有限公司 一种收集容器内日志文件的方法、装置及电子设备
CN111046011A (zh) * 2019-11-27 2020-04-21 中科曙光国际信息产业有限公司 日志收集方法、***、节点、电子设备及可读存储介质
CN111124830A (zh) * 2019-12-24 2020-05-08 个体化细胞治疗技术国家地方联合工程实验室（深圳） 一种微服务的监控方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789303A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 一种容器日志采集方法及装置
CN110162448A (zh) * 2018-02-13 2019-08-23 北京京东尚科信息技术有限公司 日志采集的方法和装置
US20200073718A1 (en) * 2018-08-31 2020-03-05 Nutanix, Inc. Throttling logging processes
CN109245931A (zh) * 2018-09-19 2019-01-18 四川长虹电器股份有限公司 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN109491859A (zh) * 2018-10-16 2019-03-19 华南理工大学 针对Kubernetes集群中容器日志的收集方法
CN109660397A (zh) * 2018-12-21 2019-04-19 北京百度网讯科技有限公司 用于采集日志的***、方法和装置
CN110851234A (zh) * 2019-10-25 2020-02-28 中信梧桐港供应链管理有限公司 基于docker容器的日志处理方法及装置
CN111008180A (zh) * 2019-10-29 2020-04-14 烽火通信科技股份有限公司 一种收集容器内日志文件的方法、装置及电子设备
CN111046011A (zh) * 2019-11-27 2020-04-21 中科曙光国际信息产业有限公司 日志收集方法、***、节点、电子设备及可读存储介质
CN111124830A (zh) * 2019-12-24 2020-05-08 个体化细胞治疗技术国家地方联合工程实验室（深圳） 一种微服务的监控方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115030A (zh) * 2020-09-28 2020-12-22 曙光信息产业(北京)有限公司 一种节点确定方法、装置、电子设备及存储介质
CN112115030B (zh) * 2020-09-28 2023-12-19 曙光信息产业(北京)有限公司 一种节点确定方法、装置、电子设备及存储介质
CN114756301A (zh) * 2022-04-24 2022-07-15 北京百度网讯科技有限公司 日志处理方法、装置和***
CN114756301B (zh) * 2022-04-24 2023-09-01 北京百度网讯科技有限公司 日志处理方法、装置和***
CN114546668A (zh) * 2022-04-27 2022-05-27 恒生电子股份有限公司 日志采集方法、装置、电子设备和计算机可读存储介质
CN114546668B (zh) * 2022-04-27 2022-08-09 恒生电子股份有限公司 日志采集方法、装置、电子设备和计算机可读存储介质
CN115038089A (zh) * 2022-08-09 2022-09-09 广州博今网络技术有限公司 一种基于信息抽取的多端数据监听采集方法

Also Published As

Publication number Publication date
CN111625419B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN111625419B (zh) 一种日志采集方法、***、设备及计算机可读存储介质
CN108039964B (zh) 基于网络功能虚拟化的故障处理方法及装置、***
CN110096336B (zh) 数据监控方法、装置、设备和介质
CN110311831B (zh) 基于容器云的***资源监控方法及相关设备
EP2838228B1 (en) Alarm correlation analysis method, apparatus, and system
US20140201356A1 (en) Monitoring system of managing cloud-based hosts and monitoring method using for the same
CN108156225B (zh) 基于容器云平台的微应用监控***和方法
CN111046011A (zh) 日志收集方法、***、节点、电子设备及可读存储介质
CN112953774A (zh) 一种网络拓扑生成方法、***、设备及计算机存储介质
CN111258851A (zh) 一种集群的告警方法、装置、设置及存储介质
CN109597837B (zh) 时序数据的存储方法、查询方法及相关设备
CN111930565B (zh) 分布式管理***中组件的进程故障自愈方法、装置及设备
CN114675983A (zh) 业务数据处理方法、装置、存储介质以及电子设备
CN112328458A (zh) 基于flink数据引擎的数据处理方法、装置
CN113746821A (zh) 智能设备控制方法、装置、存储介质及电子设备
CN112152874A (zh) 分布式***中应用监控数据的采集与分析***及方法
CN115858221A (zh) 存储设备的管理方法、装置、存储介质及电子设备
CN110380902B (zh) 拓扑关系生成方法、装置、电子设备及存储介质
CN110865919B (zh) 基于java进程的监控方法、装置和计算机设备
CN117370053A (zh) 一种面向信息***业务运行全景监测方法及***
CN112671567B (zh) 一种基于服务化接口的5g核心网拓扑发现方法及装置
TWI767427B (zh) 監控伺服器及其設備資源監控方法
CN114816914A (zh) 基于Kubernetes的数据处理方法、设备及介质
CN103944777A (zh) 分布式监控***信息处理方法和***
CN113630368B (zh) 自动云联仪表的通信方法、***、终端以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231114

Address after: Room 2301, No. 395 Linjiang Avenue, Tianhe District, Guangzhou City, Guangdong Province, 510655 (Location: Self made Unit 01)

Patentee after: Guangdong Inspur Intelligent Computing Technology Co.,Ltd.

Patentee after: INSPUR ELECTRONIC INFORMATION INDUSTRY Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: INSPUR ELECTRONIC INFORMATION INDUSTRY Co.,Ltd.