CN111639098A - 一种云日志管理方法 - Google Patents

一种云日志管理方法 Download PDF

Info

Publication number
CN111639098A
CN111639098A CN202010394268.3A CN202010394268A CN111639098A CN 111639098 A CN111639098 A CN 111639098A CN 202010394268 A CN202010394268 A CN 202010394268A CN 111639098 A CN111639098 A CN 111639098A
Authority
CN
China
Prior art keywords
log
database
management method
cloud
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010394268.3A
Other languages
English (en)
Inventor
曹斌
王君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicloud Technology Co Ltd
Original Assignee
Unicloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicloud Technology Co Ltd filed Critical Unicloud Technology Co Ltd
Priority to CN202010394268.3A priority Critical patent/CN111639098A/zh
Publication of CN111639098A publication Critical patent/CN111639098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种云日志管理方法，包括以下步骤：S1、前端获取实时日志；S2、数据库中filebeat组件将日志动态推送到消息组件；S3、日志服务模块连接数据库对日志进行备份；S4、日志服务模块连接数据库对日志进行清理；S5、用户通过http api，在对象存储模块查询、删除、上传日志。本发明所述的方法，可动态实现多种数据库的日志的实时查看；方便、快捷查看备份的日志；方法分析了以下几个开源组件，作为***的组成部分。filebeat轻量化的日志采集组件，可在服务器上安装，实现日志的持续收集和发送。kafka一种高吞吐量的分布式发布订阅消息***，能够持久性和容错性的存储日志流，可以解决日志收集的速度和处理的速度不一致问题。

Description

一种云日志管理方法
技术领域
本发明属于信息技术领域，尤其是涉及一种云日志管理方法。
背景技术
在一个信息***里，日志有着至关重要的作用，日志可以记录***的所有行为，可以通过这些行为分析***的使用情况，进而可以分析可优化的方向。特别是***使用中出现的异常信息等，通过这些信息可以及时提醒相关维护人员做出响应。
通常每种数据库都有自己类型的日志，如错误日志、运行日志、慢日志等。若要备份和存储日志，需要对每种数据库单独开发程序，过程繁琐并且耗时。
当数据库运行时间较长，日志较大时，不仅有造成磁盘被占满的风险，同时在用户检索方面，也不是很方便。
传统日志备份方法是将日志存储到主机，此种方法，使用、查看日志并不是很便捷。
发明内容
有鉴于此，本发明旨在提出一种云日志管理方法，为了方便、快速、自动的收集日志，为了实现***各种日志的自动收集和实时查询分析，为实现各种数据库***日志的备份和存储，为了方便、快捷查看备份的日志，避免日志过大造成的影响，采用对象存储方法。
为达到上述目的，本发明的技术方案是这样实现的：
一种云日志管理方法，包括以下步骤：
S1、前端获取实时日志；
S2、数据库中filebeat组件将日志动态推送到消息组件；
S3、日志服务模块连接数据库对日志进行备份；
S4、日志服务模块连接数据库对日志进行清理；
S5、用户通过http api，在对象存储模块查询、删除、上传日志。
进一步的，所述步骤S1中前端获取实施日志过程如下，前端发出请求数据库信息，日志服务模块返回数据库信息，前端根据数据库信息连接kafka模块，监听日志，从而获取实时日志。
进一步的，所述步骤S2中消息组件为kafka模块，用于接收消息，kafka模块收到消息后存储到topic主题中，用户读取topic内的消息。
进一步的，所述数据库信息包括，数据的类型、状态。
进一步的，所述步骤S3与S4中的日志服务模块连接数据库过程如下，日志服务模块从数据库资源池获取所有数据库信息，根据数据库信息连接数据库。
进一步的，所述步骤S3中的日志备份过程如下，通过命令将日志传送到对象存储模块，实现日志备份。
进一步的，所述步骤S4中的日志清理过程如下，通过命令获取对象存储上该数据库的历史日志，根据设定的日志保存时间，定时清理无效日志。
相对于现有技术，本发明所述的一种云日志管理方法具有以下优势：
(1)本发明所述的方法，可动态实现多种数据库的日志的实时查看；方便、快捷查看备份的日志。
(2)本发明所述的方法分析了以下几个开源组件，作为***的组成部分。filebeat轻量化的日志采集组件，可在服务器上安装，实现日志的持续收集和发送。kafka一种高吞吐量的分布式发布订阅消息***，能够持久性和容错性的存储日志流，可以解决日志收集的速度和处理的速度不一致问题。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种云日志管理方法结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种云日志管理方法，包括以下步骤：
S1、前端获取实时日志；
S2、数据库中filebeat组件将日志动态推送到消息组件；
S3、日志服务模块连接数据库对日志进行备份；
S4、日志服务模块连接数据库对日志进行清理；
S5、用户通过http api，在对象存储模块查询、删除、上传日志。
所述步骤S1中前端获取实施日志过程如下，前端发出请求数据库信息，日志服务模块返回数据库信息，前端根据数据库信息连接kafka模块，监听日志，从而获取实时日志。
所述步骤S2中消息组件为kafka模块，用于接收消息，kafka模块收到消息后存储到topic主题中，用户读取topic内的消息。
所述数据库信息包括，数据的类型、状态。
所述步骤S3与S4中的日志服务模块连接数据库过程如下，日志服务模块从数据库资源池获取所有数据库信息，根据数据库信息连接数据库。
所述步骤S3中的日志备份过程如下，通过命令将日志传送到对象存储模块，实现日志备份。
所述步骤S4中的日志清理过程如下，通过命令获取对象存储上该数据库的历史日志，根据设定的日志保存时间，定时清理无效日志。
详细步骤如下：
步骤一：前端发出请求数据库信息，日志服务模块返回数据库信息，，前端根据数据库信息连接kafka，监听日志，从而获取实时日志；
步骤二：数据库中filebeat组件将日志动态推送到kafka模块；
步骤三：日志服务模块从数据库资源池获取所有数据库信息，根据数据库信息，包括类型、状态等，连接数据库，通过命令将日志传送到对象存储，实现日志的备份；
步骤四：日志服务模块从数据库资源池获取所有数据库信息，根据数据库信息，包括类型、状态等，连接数据库，通过命令获取对象存储上该数据库的历史日志，根据设定的日志保存时间，定时清理无效日志；
步骤五：用户通过http api，在对象存储模块查询、删除上传日志。
为了方便、快速、自动的收集日志，以及实时的查询分析日志，提出了一种云日志管理方法，用于收集和存储***中的各种日志进行分析展示，解决***中日志的查询和存储问题。
为了实现***各种日志的自动收集和实时查询分析，分析了以下几个开源组件，作为***的组成部分。filebeat轻量化的日志采集组件，可在服务器上安装，实现日志的持续收集和发送。kafka一种高吞吐量的分布式发布订阅消息***，能够持久性和容错性的存储日志流，可以解决日志收集的速度和处理的速度不一致问题。
为实现各种数据库***日志的备份和存储，云日志管理***从数据库资源池中获取各数据库类型，通过判断不同数据库类型，获取数据库连接信息、建立数据库连接，备份、删除日志。
为了方便、快捷查看备份的日志，避免日志过大造成的影响，采用对象存储方法，将日志上传到对象存储***，通过http接口可实现日志的下载、删除。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种云日志管理方法，其特征在于包括以下步骤：
S1、前端获取实时日志；
S2、数据库中filebeat组件将日志动态推送到消息组件；
S3、日志服务模块连接数据库对日志进行备份；
S4、日志服务模块连接数据库对日志进行清理；
S5、用户通过http api，在对象存储模块查询、删除、上传日志。
2.根据权利要求1所述的一种云日志管理方法，其特征在于：所述步骤S1中前端获取实施日志过程如下，前端发出请求数据库信息，日志服务模块返回数据库信息，前端根据数据库信息连接kafka模块，监听日志，从而获取实时日志。
3.根据权利要求1所述的一种云日志管理方法，其特征在于：所述步骤S2中消息组件为kafka模块，用于接收消息，kafka模块收到消息后存储到topic主题中，用户读取topic内的消息。
4.根据权利要求3所述的一种云日志管理方法，其特征在于：所述数据库信息包括，数据的类型、状态。
5.根据权利要求1所述的一种云日志管理方法，其特征在于：所述步骤S3与S4中的日志服务模块连接数据库过程如下，日志服务模块从数据库资源池获取所有数据库信息，根据数据库信息连接数据库。
6.根据权利要求1所述的一种云日志管理方法，其特征在于：所述步骤S3中的日志备份过程如下，通过命令将日志传送到对象存储模块，实现日志备份。
7.根据权利要求1所述的一种云日志管理方法，其特征在于：所述步骤S4中的日志清理过程如下，通过命令获取对象存储上该数据库的历史日志，根据设定的日志保存时间，定时清理无效日志。
CN202010394268.3A 2020-05-11 2020-05-11 一种云日志管理方法 Pending CN111639098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010394268.3A CN111639098A (zh) 2020-05-11 2020-05-11 一种云日志管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010394268.3A CN111639098A (zh) 2020-05-11 2020-05-11 一种云日志管理方法

Publications (1)

Publication Number Publication Date
CN111639098A true CN111639098A (zh) 2020-09-08

Family

ID=72329282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394268.3A Pending CN111639098A (zh) 2020-05-11 2020-05-11 一种云日志管理方法

Country Status (1)

Country Link
CN (1) CN111639098A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584464A (zh) * 2022-03-07 2022-06-03 浪潮云信息技术股份公司 一种云平台全自动管理日志采集方法及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140050903A (ko) * 2012-10-22 2014-04-30 주식회사 엔써티 데이터베이스의 실시간 백업 시스템, 데이터 복구 시스템 및 데이터 복구 방법
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集***及方法
CN108306980A (zh) * 2018-03-06 2018-07-20 北京工业大学 一种机务飞行保障大数据日志分析***
CN109344033A (zh) * 2018-09-27 2019-02-15 浪潮软件股份有限公司 一种基于分布式架构的云日志采集方法
CN110502581A (zh) * 2019-08-27 2019-11-26 中国联合网络通信集团有限公司 分布式数据库***监测方法及装置
CN110515912A (zh) * 2019-07-18 2019-11-29 湖南星汉数智科技有限公司 日志处理方法、装置、计算机装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140050903A (ko) * 2012-10-22 2014-04-30 주식회사 엔써티 데이터베이스의 실시간 백업 시스템, 데이터 복구 시스템 및 데이터 복구 방법
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集***及方法
CN108306980A (zh) * 2018-03-06 2018-07-20 北京工业大学 一种机务飞行保障大数据日志分析***
CN109344033A (zh) * 2018-09-27 2019-02-15 浪潮软件股份有限公司 一种基于分布式架构的云日志采集方法
CN110515912A (zh) * 2019-07-18 2019-11-29 湖南星汉数智科技有限公司 日志处理方法、装置、计算机装置及计算机可读存储介质
CN110502581A (zh) * 2019-08-27 2019-11-26 中国联合网络通信集团有限公司 分布式数据库***监测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584464A (zh) * 2022-03-07 2022-06-03 浪潮云信息技术股份公司 一种云平台全自动管理日志采集方法及终端

Similar Documents

Publication Publication Date Title
CN109460339B (zh) 日志的流式计算***
CN113836044B (zh) 一种软件故障采集和分析的方法及***
CN105302697B (zh) 一种密集数据模型数据库的运行状态监控方法及***
CN110231998B (zh) 分布式定时任务的检测方法、装置及存储介质
CN104933114A (zh) 一种海量日志管理云平台
CN104331780A (zh) 业务流程监测***
WO2021097919A1 (zh) Mes 的监控方法、监控装置及可读存储介质
CN112799909A (zh) 一种服务器自动化管理***及方法
CN114513400B (zh) 一种日志聚合***及一种提高日志聚合***可用性的方法
CN111639098A (zh) 一种云日志管理方法
CN103763143A (zh) 基于存储服务器的设备异常报警的方法及***
CN202150114U (zh) 一种Oracle监控***
CN114221997A (zh) 基于微服务业务网关的接口监控***
CN113254516A (zh) 一种服务器信息自动录入的方法
CN203492034U (zh) 数据中心的服务器、资产管理***及服务器管理装置
CN107515864B (zh) 监控工作流的方法及设备
CN112486776A (zh) 一种集群成员节点可用性监测设备及方法
CN114500178B (zh) 一种自运维的智慧物联网关
CN114691405A (zh) 一种基于大数据的信息存储自动巡检方法
CN1251085C (zh) 机群***运行过程监控的方法和监控管理装置
CN115460072A (zh) 集日志收集、解析、存储与服务为一体的日志处理***
CN212012920U (zh) 一种视频运维诊断***框架
CN109240747A (zh) 一种多级服务器管理***的信息查看方法及其相关装置
CN109921963B (zh) 一种网络状态巡检方法及***
CN114201649A (zh) 电网数据处理***和处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908