CN114584464B - 一种云平台全自动管理日志采集方法及终端 - Google Patents
一种云平台全自动管理日志采集方法及终端 Download PDFInfo
- Publication number
- CN114584464B CN114584464B CN202210221852.8A CN202210221852A CN114584464B CN 114584464 B CN114584464 B CN 114584464B CN 202210221852 A CN202210221852 A CN 202210221852A CN 114584464 B CN114584464 B CN 114584464B
- Authority
- CN
- China
- Prior art keywords
- filebeat
- configuration file
- configuration
- server
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 24
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 206010048669 Terminal state Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种云平台全自动管理日志采集方法，包括以下步骤：判断Filebeat是否已启动，读取SideCar配置文件，运行期间根据心跳间隔时间进行更新日志采集配置，将待新增配置文件添加到filebeat配置文件目录下，关闭模块。本发明提出的云平台全自动管理日志采集方法及终端自动从服务端拉取采集配置，并动态加载最新的配置文件，期间不需要重新启动。同时日志采集终端向服务端发送其运行状态，可以通过监控状态的形式发现其是否正常运行。自动探测采集终端的新版本，并自动下载、更新、重启，过程无需用户手动干预。
Description
技术领域
本发明涉及日志采集终端***技术领域，具体为一种云平台全自动管理日志采集方法及终端。
背景技术
随着云平台的发展，越来越多的服务产品都通过云平台为介质向用户提供软件服务，包括大家通常使用的数据库、堡垒机等等。
现有技术中，上述服务产品在运行时产生了大量的、各式各样的日志，日志记录着服务产品的运行状态与行为，云平台需要对这些日志进行采集、存储、分析以了解该服务产品是否存在稳定性、性能等问题。
但是，在服务产品演进过程中，一些原本不需要进行采集的日志文件需要进行采集，原本一条日志对应一行改为多行打印，原来的多行匹配规则已经不再适用的问题都将对日志采集终端产生影响，需要对其采集配置进行重新设置，再做镜像以对服务产品日志采集提供服务。同时在采集终端运行过程中，难免因一些不可坑因素导致其停止运行或发生问题导致不能正常采集日志或日志采集后不能正常发送到后端存储***。修复日志采集组件在运行中发现的问题，推出新版本后不能统一进行升级，并且需要用户自行升级或是侵入用户虚机才能进行升级。
发明内容
本发明的目的在于提供一种云平台全自动管理日志采集方法及终端，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种云平台全自动管理日志采集方法及终端，包括以下步骤：
判断Filebeat是否已启动，如未启动，则启动Filebeat；
读取SideCar配置文件，获取服务端URL、本终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号；
运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；
将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据；
关闭模块，关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身。
优选的，更新采集配置的流程步骤如下：
a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取该虚机最新input配置，包括新增配置、修改配置、删除配置；
b.根据虚机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中。
优选的，获取Filebeat组件状态并上报至服务端的流程步骤如下：
a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；
b.如果步骤a调用接口失败，则认定Filebeat为死亡状态，调用成功则使用其状态信息；
c.向服务端发送nodeLabel、虚机ip与状态信息；
d.服务端收到SideCar组件的上报信息后***至采集终端运行状态历史表中；
e.如果步骤b.中Filebeat为死亡状态，则从当前操作***中获取Filebeat组件的进程号，如果获取到，则kill该进程；
f.启动Filebeat组件，启动成功后向服务端上报nodeLabel、虚机ip与运行中状态信息。
优选的，自动更新Filebeat版本并重启的流程步骤如下：
a.间隔20倍心跳间隔时间，调用服务端接口获取最新的Filebeat版本；
b.与当前运行状态的Filebeat版本号进行对比，如果服务端的版本号与当前版本号相同，则结束本次更新任务，等待下个执行更新窗口。否则进入步骤3；
c.将步骤a中获取的最新版本号作为参数请求服务端下载接口，下载与此版本号匹配的Filebeat组件；
d.将当前运行状态的Filebeat组件关闭，运行下载的新版本Filebeat组件；
e.将旧版本Filebeat组件从本地磁盘中删除。
一种云平台全自动管理日志采集终端，包括启动模块、数据获取模块、更新采集模块、文件配置模块以及关闭模块；
数据获取模块获取服务端URL、本终端nodeLabel与心跳间隔时间，更新采集模块根据心跳间隔时间进行更新日志采集配置，文件配置模块将待新增配置文件添加到filebeat配置文件目录下，关闭模块用于关闭状态。
优选的，所述启动模块用于判断Filebeat是否已启动，如未启动，则启动Filebea。
优选的，所述数据获取模块用于读取SideCar配置文件，获取服务端URL、本终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号。
优选的，所述更新采集模块用于运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；
更新采集配置的流程步骤如下：
a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取该虚机最新input配置，包括新增配置、修改配置、删除配置；
b.根据虚机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中；
获取Filebeat组件状态并上报至服务端的流程步骤如下：
a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；
b.如果步骤a调用接口失败，则认定Filebeat为死亡状态，调用成功则使用其状态信息；
c.向服务端发送nodeLabel、虚机ip与状态信息；
d.服务端收到SideCar组件的上报信息后***至采集终端运行状态历史表中；
e.如果步骤b.中Filebeat为死亡状态，则从当前操作***中获取Filebeat组件的进程号，如果获取到，则kill该进程；
f.启动Filebeat组件，启动成功后向服务端上报nodeLabel、虚机ip与运行中状态信息；
自动更新Filebeat版本并重启的流程步骤如下：
a.间隔20倍心跳间隔时间，调用服务端接口获取最新的Filebeat版本；
b.与当前运行状态的Filebeat版本号进行对比，如果服务端的版本号与当前版本号相同，则结束本次更新任务，等待下个执行更新窗口。否则进入步骤3；
c.将步骤a中获取的最新版本号作为参数请求服务端下载接口，下载与此版本号匹配的Filebeat组件；
d.将当前运行状态的Filebeat组件关闭，运行下载的新版本Filebeat组件；
e.将旧版本Filebeat组件从本地磁盘中删除。
优选的，所述文件配置模块用于将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据。
优选的，所述关闭模块用于关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身。
与现有技术相比，本发明的有益效果是：
本发明提出的云平台全自动管理日志采集方法及终端自动从服务端拉取采集配置，并动态加载最新的配置文件，期间不需要重新启动。同时日志采集终端向服务端发送其运行状态，可以通过监控状态的形式发现其是否正常运行。自动探测采集终端的新版本，并自动下载、更新、重启，过程无需用户手动干预；
本发明使各服务产品在日志文件发生变动或采集文件发生改变后不需要专门针对日志采集做任何变更，针对历史服务产品实例，也可在不侵入用户虚机的情况下进行配置变更以适配新的业务需求。同时通过对终端状态历史表的查询为定位日志采集问题提供有力的参考依据，也为后续对终端运行状态监控与告警提供了数据支持。自动更新下载采集器组件的功能为修复采集器问题，升级版本提供了便利，全程无需用户参与，无感知的平滑升级。
附图说明
图1为SideCar发送心跳、拉取采集配置与自动更新时序图。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“中”、“上”、“下”、“左”、“右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“一”、“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
出于简明和说明的目的，实施例的原理主要通过参考例子来描述。在以下描述中，很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是，对于本领域普通技术人员，这些实施例在实践中可以不限于这些具体细节。在一些实例中，没有详细地描述公知方法和结构，以避免无必要地使这些实施例变得难以理解。另外，所有实施例可以互相结合使用。
请参阅图1，本发明提供一种技术方案：一种云平台全自动管理日志采集方法及终端，其特征在于，包括以下步骤：
判断Filebeat是否已启动，如未启动，则启动Filebeat；
读取SideCar配置文件，获取服务端URL、本终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号；
运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；
更新采集配置的流程步骤如下：
a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取该虚机最新input配置，包括新增配置、修改配置、删除配置；
b.根据虚机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中；
获取Filebeat组件状态并上报至服务端的流程步骤如下：
a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；
b.如果步骤a调用接口失败，则认定Filebeat为死亡状态，调用成功则使用其状态信息；
c.向服务端发送nodeLabel、虚机ip与状态信息；
d.服务端收到SideCar组件的上报信息后***至采集终端运行状态历史表中；
e.如果步骤b.中Filebeat为死亡状态，则从当前操作***中获取Filebeat组件的进程号，如果获取到，则kill该进程；
f.启动Filebeat组件，启动成功后向服务端上报nodeLabel、虚机ip与运行中状态信息；
自动更新Filebeat版本并重启的流程步骤如下：
a.间隔20倍心跳间隔时间，调用服务端接口获取最新的Filebeat版本；
b.与当前运行状态的Filebeat版本号进行对比，如果服务端的版本号与当前版本号相同，则结束本次更新任务，等待下个执行更新窗口。否则进入步骤3；
c.将步骤a中获取的最新版本号作为参数请求服务端下载接口，下载与此版本号匹配的Filebeat组件；
d.将当前运行状态的Filebeat组件关闭，运行下载的新版本Filebeat组件；
e.将旧版本Filebeat组件从本地磁盘中删除；
将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据；
关闭模块，关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身。
一种云平台全自动管理日志采集终端，包括启动模块、数据获取模块、更新采集模块、文件配置模块以及关闭模块；
数据获取模块获取服务端URL、本终端nodeLabel与心跳间隔时间，更新采集模块根据心跳间隔时间进行更新日志采集配置，文件配置模块将待新增配置文件添加到filebeat配置文件目录下，关闭模块用于关闭状态。
启动模块用于判断Filebeat是否已启动，如未启动，则启动Filebeat。
数据获取模块用于读取SideCar配置文件，获取服务端URL、本终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号。
更新采集模块用于运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；
更新采集配置的流程步骤如下：
a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取该虚机最新input配置，包括新增配置、修改配置、删除配置；
b.根据虚机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中；
获取Filebeat组件状态并上报至服务端的流程步骤如下：
a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；
b.如果步骤a调用接口失败，则认定Filebeat为死亡状态，调用成功则使用其状态信息；
c.向服务端发送nodeLabel、虚机ip与状态信息；
d.服务端收到SideCar组件的上报信息后***至采集终端运行状态历史表中；
e.如果步骤b.中Filebeat为死亡状态，则从当前操作***中获取Filebeat组件的进程号，如果获取到，则kill该进程；
f.启动Filebeat组件，启动成功后向服务端上报nodeLabel、虚机ip与运行中状态信息；
自动更新Filebeat版本并重启的流程步骤如下：
a.间隔20倍心跳间隔时间，调用服务端接口获取最新的Filebeat版本；
b.与当前运行状态的Filebeat版本号进行对比，如果服务端的版本号与当前版本号相同，则结束本次更新任务，等待下个执行更新窗口。否则进入步骤3；
c.将步骤a中获取的最新版本号作为参数请求服务端下载接口，下载与此版本号匹配的Filebeat组件；
d.将当前运行状态的Filebeat组件关闭，运行下载的新版本Filebeat组件；
e.将旧版本Filebeat组件从本地磁盘中删除。
文件配置模块用于将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据。
关闭模块用于关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (2)
1.一种云平台全自动管理日志采集方法，其特征在于，包括以下步骤：
判断Filebeat是否已启动，如未启动，则启动Filebeat；
读取SideCar配置文件，获取服务端URL、终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号；
运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；
将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据；
关闭模块，关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身；
更新采集配置的流程步骤如下：
a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取虚拟机最新input配置，包括新增配置、修改配置、删除配置；
b.根据虚拟机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中；
获取Filebeat组件状态并上报至服务端的流程步骤如下：
a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；
b.如果步骤a调用接口失败，则认定Filebeat为死亡状态，调用成功则使用其状态信息；
c.向服务端发送nodeLabel、虚拟机ip与状态信息；
d.服务端收到SideCar组件的上报信息后***至采集终端运行状态历史表中；
e.如果步骤b.中Filebeat为死亡状态，则从当前操作***中获取Filebeat组件的进程号，如果获取到，则kill该进程；
f.启动Filebeat组件，启动成功后向服务端上报nodeLabel、虚拟机ip与运行中状态信息；
自动更新Filebeat版本并重启的流程步骤如下：
a.间隔20倍心跳间隔时间，调用服务端接口获取最新的Filebeat版本；
b.与当前运行状态的Filebeat版本号进行对比，如果服务端的版本号与当前版本号相同，则结束本次更新任务，等待下个执行更新窗口；否则进入步骤c；
c.将步骤a中获取的最新版本号作为参数请求服务端下载接口，下载与此版本号匹配的Filebeat组件；
d.将当前运行状态的Filebeat组件关闭，运行下载的新版本Filebeat组件；
e.将旧版本Filebeat组件从本地磁盘中删除。
2.一种云平台全自动管理日志采集终端，其特征在于：包括启动模块、数据获取模块、更新采集模块、文件配置模块以及关闭模块；
数据获取模块获取服务端URL、终端nodeLabel与心跳间隔时间，更新采集模块根据心跳间隔时间进行更新日志采集配置，文件配置模块将待新增配置文件添加到filebeat配置文件目录下，关闭模块用于关闭状态；
所述启动模块用于判断Filebeat是否已启动，如未启动，则启动Filebeat；
所述数据获取模块用于读取SideCar配置文件，获取服务端URL、终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号；
所述更新采集模块用于运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；
更新采集配置的流程步骤如下：
a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取虚拟机最新input配置，包括新增配置、修改配置、删除配置；
b.根据虚拟机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中；
获取Filebeat组件状态并上报至服务端的流程步骤如下：
a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；
b.如果步骤a调用接口失败，则认定Filebeat为死亡状态，调用成功则使用其状态信息；
c.向服务端发送nodeLabel、虚拟机ip与状态信息；
d.服务端收到SideCar组件的上报信息后***至采集终端运行状态历史表中；
e.如果步骤b.中Filebeat为死亡状态，则从当前操作***中获取Filebeat组件的进程号，如果获取到，则kill该进程；
f.启动Filebeat组件，启动成功后向服务端上报nodeLabel、虚拟机ip与运行中状态信息；
自动更新Filebeat版本并重启的流程步骤如下：
a.间隔20倍心跳间隔时间，调用服务端接口获取最新的Filebeat版本；
b.与当前运行状态的Filebeat版本号进行对比，如果服务端的版本号与当前版本号相同，则结束本次更新任务，等待下个执行更新窗口；否则进入步骤c；
c.将步骤a中获取的最新版本号作为参数请求服务端下载接口，下载与此版本号匹配的Filebeat组件；
d.将当前运行状态的Filebeat组件关闭，运行下载的新版本Filebeat组件；
e.将旧版本Filebeat组件从本地磁盘中删除；
所述文件配置模块用于将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据；
所述关闭模块用于关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210221852.8A CN114584464B (zh) | 2022-03-07 | 2022-03-07 | 一种云平台全自动管理日志采集方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210221852.8A CN114584464B (zh) | 2022-03-07 | 2022-03-07 | 一种云平台全自动管理日志采集方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114584464A CN114584464A (zh) | 2022-06-03 |
| CN114584464B true CN114584464B (zh) | 2024-06-18 |
Family
ID=81773858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210221852.8A Active CN114584464B (zh) | 2022-03-07 | 2022-03-07 | 一种云平台全自动管理日志采集方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114584464B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576792A (zh) * | 2022-11-24 | 2023-01-06 | 北京宝兰德软件股份有限公司 | 日志采集***及方法 |
| CN116719702B (zh) * | 2023-08-10 | 2024-03-26 | 深圳开源互联网安全技术有限公司 | 一种采集开源信息的方法、装置、电子设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4652321B2 (ja) * | 2006-12-25 | 2011-03-16 | Ｎｅｃフィールディング株式会社 | 保守対象装置のログ情報収集システムと方法、及びプログラム |
| CN106959866B (zh) * | 2016-01-08 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 一种日志收集客户端及其升级方法 |
| CN110727557A (zh) * | 2019-09-23 | 2020-01-24 | 北京百度网讯科技有限公司 | 日志采集器的管控方法、平台、电子设备及存储介质 |
| CN110968478B (zh) * | 2019-11-21 | 2023-04-25 | 掌阅科技股份有限公司 | 日志采集方法、服务器及计算机存储介质 |
| CN111639098A (zh) * | 2020-05-11 | 2020-09-08 | 紫光云技术有限公司 | 一种云日志管理方法 |
| CN113157658B (zh) * | 2021-05-13 | 2021-11-09 | 心动互动娱乐有限公司 | 客户端日志收集分发方法、装置及计算机设备 |
| CN113760878A (zh) * | 2021-08-03 | 2021-12-07 | 浪潮软件集团有限公司 | 一种基于国产cpu和操作***的微服务架构日志解析方法及*** |
-
2022
- 2022-03-07 CN CN202210221852.8A patent/CN114584464B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114584464A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114584464B (zh) | 一种云平台全自动管理日志采集方法及终端 | |
| CN101616018B (zh) | 网管软件升级的方法及装置 | |
| CN105611330B (zh) | 智能电视维护方法、***及一种服务器、一种移动终端 | |
| US20060288056A1 (en) | File version management device, method, and program | |
| CN108197270B (zh) | 分布式文件***数据回收方法 | |
| CN1459207A (zh) | 通过空中的移动站管理方法 | |
| WO2010124495A1 (zh) | 多业务格式文件处理***及方法 | |
| CN111190962B (zh) | 一种文件同步方法、装置及本地终端 | |
| CN112463450B (zh) | 一种增量备份管理方法、***、电子设备及存储介质 | |
| CN111654532A (zh) | 一种配置文件集中管理***、方法及装置 | |
| CN111163340A (zh) | 一种基于车联网的ivi***远程log上报方法和装置 | |
| CN107682219B (zh) | 一种基于安卓***的拨测号码的测试方法及装置 | |
| CN113407555A (zh) | 一种设备手持终端的操作数据更新方法和*** | |
| CN110362548B (zh) | 日志提取方法及相关设备 | |
| CN116010388A (zh) | 数据校验方法、数据采集服务端及数据校验*** | |
| CN115470192A (zh) | 一种数据库元数据采集与管理的方法 | |
| CN107229554A (zh) | 移动终端稳定性测试方法及装置 | |
| CN111416842B (zh) | 一种资源集群自动分发及热更新***及方法 | |
| CN111143155B (zh) | 一种应用于通信行业实现告警同步和清除机制的方法 | |
| CN115002507A (zh) | 一种视频数据更新方法、装置、设备及可读存储介质 | |
| CN113132790B (zh) | 一种视频转储方法及装置 | |
| CN112685094A (zh) | 一种服务卸载方法、装置、设备及计算机可读存储介质 | |
| CN111399929A (zh) | 测试应用启动方法及装置 | |
| CN115686583B (zh) | 海量物联网设备升级方法、装置、电子设备和存储介质 | |
| JP2003085007A (ja) | デジタル情報劣化方法、装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |