CN113138970A - 实时的数据库错误日志的统计分析***及其方法 - Google Patents

实时的数据库错误日志的统计分析***及其方法 Download PDF

Info

Publication number
CN113138970A
CN113138970A CN202110439699.1A CN202110439699A CN113138970A CN 113138970 A CN113138970 A CN 113138970A CN 202110439699 A CN202110439699 A CN 202110439699A CN 113138970 A CN113138970 A CN 113138970A
Authority
CN
China
Prior art keywords
data
error
logs
database
original data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110439699.1A
Other languages
English (en)
Inventor
陈建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongtongji Network Technology Co Ltd
Original Assignee
Shanghai Zhongtongji Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongtongji Network Technology Co Ltd filed Critical Shanghai Zhongtongji Network Technology Co Ltd
Priority to CN202110439699.1A priority Critical patent/CN113138970A/zh
Publication of CN113138970A publication Critical patent/CN113138970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种实时的数据库错误日志的统计分析***及其方法，所述***数据库服务器，设有慢日志采集服务单元在错误日志产生时采集错误日志；消息中间件接收所述错误日志并存储；服务层对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；展示输出层输出并展示所述分析数据和清洗后的原始数据。本发明提供的技术方案无需登录到服务器命令行窗口，直接实时采集错误日志，并可以通过可视化界面查看所有数据库的错误日志，并可以按照库自定义规则来过滤错误日志。实现用户的自助化、定制化。

Description

实时的数据库错误日志的统计分析***及其方法
技术领域
本发明属于大数据技术领域，具体涉及一种实时的数据库错误日志的统计分析***及其方法。
背景技术
在日志解析架构的数据库同步***中，源端数据同步***负责捕获源端数据库的操作日志，并解析日志还原得到相应的数据库操作，然后发送到目标端数据同步***，目标端数据同步***负责把这些操作在目标端数据库中执行，从而完成数据同步的过程。在该过程中会产生错误日志，数据库的错误日志分析都是在安装数据库的服务器上将错误查询的日志拷贝到临时目录，通过服务器上安装的插件对该日志进行分析。获取出指定时间段的错误日志。无法实时的获取到当前库的状态以及具体错误。同时数据库管理员也没有精力将所有数据库的错误日志一一整理出来。
相关技术中，错误日志分析***每次都需要登录到安装数据库的服务器上进行操作，不仅对数据的性能会造成影响，服务器的安全性也无法得到保障。这种分析***也只会对历史的错误日志分析，无法实时获取到***产生的错误日志。因此，随着公司业务量的增长，数据库数据量越来越多，错误日志散落在各个数据库的服务器上，如何稳定高效的采集错误日志、快速的获取数据库的健康状态和快速的定位数据库问题越来越迫切的成为公司需要解决的难题。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种实时的数据库错误日志的统计分析***及其方法，以解决现有技术中无法快速获取数据库的健康状态和快速的定位数据库的问题。
为实现以上目的，本发明采用如下技术方案：一种实时的数据库错误日志的统计分析***，包括：
数据库服务器，设有慢日志采集服务单元，用于在错误日志产生时采集错误日志；
消息中间件，用于接收所述错误日志并存储；
服务层，用于对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；
展示输出层，输出并展示所述分析数据和清洗后的原始数据。
进一步的，若所述数据库服务器包括多个，则每个数据库服务器中均设有慢日志采集服务单元。
进一步的，所述对所述错误日志进行清洗，包括：
将所述错误日志中的非结构化的数据处理成结构化的数据。
进一步的，所述数据库服务器还包括：
报警单元，用于在错误日志产生时进行报警。
进一步的，所述展示输出层包括：
显示单元，所述显示单元采用触控屏。
本申请实施例提供一种实时的数据库错误日志的统计分析方法，包括：
在错误日志产生时采集错误日志；
接收所述错误日志并存储；
对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；
输出并展示所述分析数据和清洗后的原始数据。
进一步的，将所述分析数据和清洗后的原始数据存储至分布式搜索引擎。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种实时的数据库错误日志的统计分析***及其方法，所述***包括数据库服务器在错误日志产生时采集错误日志；消息中间件接收错误日志并存储；服务层对错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配，对匹配数据进行统计分析；对原始数据进行清洗；展示输出层输出并展示分析数据和清洗后的原始数据。本发明提供的***采用部署采集程序到所有数据库服务器上对错误日志进行实时的采集，并上传至消息队列中间件中，实时的错误日志处理服务会从消息队列中间件中获取错误日志明细，并根据相应的规则清洗日志，最后将原始日志和清洗过后的日志存储至分布式搜索引擎，并通过可视化界面展提供用户实时的错误日志分析。本发明提供的技术方案无需登录到服务器命令行窗口，直接实时采集错误日志，并可以通过可视化界面查看所有数据库的错误日志，并可以按照库自定义规则来过滤错误日志，实现用户的自助化、定制化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实时的数据库错误日志的统计分析***的结构示意图；
图2为本发明实时的数据库错误日志的统计分析***的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的实时的数据库错误日志的统计分析***及其方法。
如图1所示，本申请实施例中提供的实时的数据库错误日志的统计分析***，包括：
数据库服务器，设有慢日志采集服务单元，用于在错误日志产生时采集错误日志；
消息中间件，用于接收所述错误日志并存储；
服务层，用于对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；
展示输出层，输出并展示所述分析数据和清洗后的原始数据。
本申请提供的实时的数据库错误日志的统计分析***的工作原理为，***采用部署采集程序到所有数据库服务器上对错误日志进行实时的采集，并上传至消息队列中间件中，实时的错误日志处理服务会从消息队列中间件中获取错误日志明细，并根据相应的规则清洗日志，并将原始日志和清洗过后的日志存储至分布式搜索引擎。并通过可视化界面展提供用户实时的错误日志分析。
其中，规则匹配引擎是存储用户自定义的一些规则。可以理解的是，用户可以根据自己的需要进行设定，本申请在此不做限定。
优选的，若所述数据库服务器包括多个，则每个数据库服务器中均设有慢日志采集服务单元。
具体的，本申请是所有的数据库服务器都会安装慢日志采集服务，慢日志采集服务实时收集慢日志并主动推送到消息队列中间件中，然后慢日志实时处理程序会从消息中间件获取慢日志的原始数据并对原始数据进行清洗，并将原始数据写入一分到分布式搜索引擎中。同时会根据用户自定义的规则引擎进行匹配，将匹配的规则引擎的慢日志进行统计分析并存入到分布式搜索引擎中，并通过可视化展示服务对外展示。
优选的，所述对所述错误日志进行清洗，包括：
将所述错误日志中的非结构化的数据处理成结构化的数据。
优选的，所述数据库服务器还包括：
报警单元，用于在错误日志产生时进行报警。
具体的，本申请在数据库服务器上部署数据采集服务，当数据库有新增的错误日志产生时，服务主动拉取错误日志文件，可以实现错误日志的实时分析，实时预警，以及根据用户自定义的规则对日志进行匹配，然后聚合计算生成统计好的数据。
一些实施例中，所述展示输出层包括：
显示单元，所述显示单元采用触控屏。
本申请最后可以通过触控屏显示清洗后得到的分析数据以及原始数据。
如图2所示，本申请实施例提供一种实时的数据库错误日志的统计分析方法，包括：
S101，在错误日志产生时采集错误日志；
S102，接收所述错误日志并存储；
S103，对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；
S104，输出并展示所述分析数据和清洗后的原始数据。
优选的，将所述分析数据和清洗后的原始数据存储至分布式搜索引擎。
本申请提供的实时的数据库错误日志的统计分析方法的工作原理是，本申请在数据库服务器上部署数据采集服务，当数据库有新增的错误日志产生时，服务主动拉取错误日志文件，并主动推送到消息队列中间件中，然后慢日志实时处理程序会从消息中间件获取慢日志的原始数据并对原始数据进行清洗，并将原始数据写入一分到分布式搜索引擎中。同时会根据用户自定义的规则引擎进行匹配，将匹配的规则引擎的慢日志进行统计分析并存入到分布式搜索引擎中，最后通过可视化展示服务对外展示。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的实时的数据库错误日志的统计分析方法；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种实时的数据库错误日志的统计分析***及其方法，所述***包括数据库服务器在错误日志产生时采集错误日志；消息中间件接收错误日志并存储；服务层对错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配，对匹配数据进行统计分析；对原始数据进行清洗；展示输出层输出并展示分析数据和清洗后的原始数据。本发明提供的***采用部署采集程序到所有数据库服务器上对错误日志进行实时的采集，并上传至消息队列中间件中，实时的错误日志处理服务会从消息队列中间件中获取错误日志明细，并根据相应的规则清洗日志，最后将原始日志和清洗过后的日志存储至分布式搜索引擎，并通过可视化界面展提供用户实时的错误日志分析。本发明提供的技术方案无需登录到服务器命令行窗口，直接实时采集错误日志，并可以通过可视化界面查看所有数据库的错误日志，并可以按照库自定义规则来过滤错误日志，实现用户的自助化、定制化。
可以理解的是，上述提供的***实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为***、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的***、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的方法。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令***的制造品，该指令***实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种实时的数据库错误日志的统计分析***，其特征在于，包括：
数据库服务器，设有慢日志采集服务单元，用于在错误日志产生时采集错误日志；
消息中间件，用于接收所述错误日志并存储；
服务层，用于对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；
展示输出层，输出并展示所述分析数据和清洗后的原始数据。
2.根据权利要求1所述的***，其特征在于，
若所述数据库服务器包括多个，则每个数据库服务器中均设有慢日志采集服务单元。
3.根据权利要求1或2所述的***，其特征在于，所述对所述错误日志进行清洗，包括：
将所述错误日志中的非结构化的数据处理成结构化的数据。
4.根据权利要求2所述的***，其特征在于，所述数据库服务器还包括：
报警单元，用于在错误日志产生时进行报警。
5.根据权利要求2所述的***，其特征在于，所述展示输出层包括：
显示单元，所述显示单元采用触控屏。
6.一种实时的数据库错误日志的统计分析方法，其特征在于，包括：
在错误日志产生时采集错误日志；
接收所述错误日志并存储；
对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；
输出并展示所述分析数据和清洗后的原始数据。
7.根据权利要求6所述的方法，其特征在于，
将所述分析数据和清洗后的原始数据存储至分布式搜索引擎。
CN202110439699.1A 2021-04-23 2021-04-23 实时的数据库错误日志的统计分析***及其方法 Pending CN113138970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110439699.1A CN113138970A (zh) 2021-04-23 2021-04-23 实时的数据库错误日志的统计分析***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110439699.1A CN113138970A (zh) 2021-04-23 2021-04-23 实时的数据库错误日志的统计分析***及其方法

Publications (1)

Publication Number Publication Date
CN113138970A true CN113138970A (zh) 2021-07-20

Family

ID=76813697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110439699.1A Pending CN113138970A (zh) 2021-04-23 2021-04-23 实时的数据库错误日志的统计分析***及其方法

Country Status (1)

Country Link
CN (1) CN113138970A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506230A (zh) * 2023-06-28 2023-07-28 广东长盈科技股份有限公司 基于rsa非对称加密的数据采集方法、***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180037342A (ko) * 2016-10-04 2018-04-12 주식회사 리나소프트 어플리케이션 에러 모니터링 및 통계관리 서비스 및 방법
CN110674021A (zh) * 2019-09-09 2020-01-10 深圳供电局有限公司 一种移动应用登录日志的检测方法及***
CN111949705A (zh) * 2020-07-31 2020-11-17 上海中通吉网络技术有限公司 慢查询统计分析方法、装置和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180037342A (ko) * 2016-10-04 2018-04-12 주식회사 리나소프트 어플리케이션 에러 모니터링 및 통계관리 서비스 및 방법
CN110674021A (zh) * 2019-09-09 2020-01-10 深圳供电局有限公司 一种移动应用登录日志的检测方法及***
CN111949705A (zh) * 2020-07-31 2020-11-17 上海中通吉网络技术有限公司 慢查询统计分析方法、装置和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506230A (zh) * 2023-06-28 2023-07-28 广东长盈科技股份有限公司 基于rsa非对称加密的数据采集方法、***
CN116506230B (zh) * 2023-06-28 2023-10-03 广东长盈科技股份有限公司 基于rsa非对称加密的数据采集方法、***

Similar Documents

Publication Publication Date Title
CN110309130A (zh) 一种用于主机性能监控的方法及装置
CN106104496A (zh) 用于任意时序的不受监督的异常检测
US10007571B2 (en) Policy based dynamic data collection for problem analysis
CN111752793A (zh) ***异常的监控方法、装置、计算机设备及存储介质
CN103425750A (zh) 一种跨平台跨应用的日志收集***及其收集管理方法
US20240020215A1 (en) Analyzing large-scale data processing jobs
CN106663041B (zh) 从***故障恢复基于云的服务的易用性的方法及装置
CN109407984B (zh) 一种存储***性能监测方法、装置和设备
CN113542068A (zh) 一种Redis多实例的监控***及方法
CN113032252A (zh) 埋点数据的收集方法、装置、客户端设备和存储介质
CN101989931A (zh) 一种运维告警处理方法和装置
CN114443639A (zh) 处理数据表及自动训练机器学习模型的方法和***
Sukhija et al. Event management and monitoring framework for HPC environments using ServiceNow and Prometheus
Diotalevi et al. Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre
CN112445583A (zh) 任务管理方法、任务管理***、电子设备、存储介质
CN106951360B (zh) 数据统计完整度计算方法和***
EP3471356A1 (fr) Dispositif et procede d'acquisition de valeurs de compteurs associes a une tache de calcul
CN115039092A (zh) 提供定制的集成流模板
CN111198902B (zh) 元数据管理方法、装置、存储介质及电子设备
CN113138970A (zh) 实时的数据库错误日志的统计分析***及其方法
US10324818B2 (en) Data analytics correlation for heterogeneous monitoring systems
CN111865673A (zh) 一种自动化故障管理方法、装置及***
US9164746B2 (en) Automatic topology extraction and plotting with correlation to real time analytic data
CN110765090A (zh) 日志数据管理方法及装置、存储介质、电子设备
CN111597091A (zh) 数据监控方法及***、电子设备、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination