CN106817253A - 日志文件的实时监控及报警的方法和*** - Google Patents

日志文件的实时监控及报警的方法和*** Download PDF

Info

Publication number
CN106817253A
CN106817253A CN201710004493.XA CN201710004493A CN106817253A CN 106817253 A CN106817253 A CN 106817253A CN 201710004493 A CN201710004493 A CN 201710004493A CN 106817253 A CN106817253 A CN 106817253A
Authority
CN
China
Prior art keywords
journal file
daily record
monitor
record storehouse
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710004493.XA
Other languages
English (en)
Inventor
寇立强
高传集
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710004493.XA priority Critical patent/CN106817253A/zh
Publication of CN106817253A publication Critical patent/CN106817253A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0681—Configuration of triggering conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种日志文件的实时监控及报警的方法和***，属于日志文件的处理领域，要解决的技术问题为现有日志文件处理不易于集中管理以及不易于扩展；日志文件的实时监控及报警的方法，服务端以日志库为单位，根据设置的需要监控的日志文件的文件类型，实时监控日志文件的大小、新建、重命名和删除并实时统计日志库的大小，当日志库的大小超出设定的阈值时，服务端向客户端发送告警信号，客户端对日志库中的日志文件进行删除或删减操作。日志文件的实时监控及报警的***包括客户端、服务端和至少一个日志库，客户端包括注册模块和告警处理模块，注册模块与服务端连接，服务端与告警处理模块连接，每个日志库均分别与服务端和告警处理模块连接。

Description

日志文件的实时监控及报警的方法和***
技术领域
本发明涉及日志文件的处理领域，具体地说是一种日志文件的实时监控及报警的方法和***。
背景技术
随着各个行业的IT业务***的迅速发展，网络规模迅速扩大，主机、网络、设备、应用软件数量不断增多，尤其是云计算的发展，一些应用于各行各业的大型的分布式集群***在运行过程中，产生了大量的日志，这些日志不但占用了大量的存储资源，还影响***高效稳定的运行，因此对这些日志的处理就显得尤为重要。
现有的一些处理方式为：在服务器上用脚本写一个定时任务作业，定时的去处理这些日志文件，这种处理方式不易于集中管理，控制不灵活，不易于扩展；还有一种方式是，利用规范的日志监控***监控这些日志，发出告警通知，比如，邮件或者短信通知运维人员去手动处理，这种处理方式给运维人员增加了运维的难度。
鉴于以上问题，如何提供一种易于集中管理和扩展的日志文件处理方法，是需要解决的及时问题。
发明内容
本发明的技术任务是针对以上不足，提供一种日志文件的实时监控及报警的方法和***，来解决现有日志文件处理不易于集中管理以及不易于扩展的问题。
本发明的技术任务是按以下方式实现的；
日志文件的实时监控及报警的方法，基于服务端、客户端和日志库实现，服务端以日志库为单位，根据设置的需要监控的日志文件的文件类型，通过正则表达式匹配，实时监控日志文件，并实时统计日志库的大小，当日志库的大小超出设定的阈值时，服务端向客户端发送告警信号，客户端对日志库中的日志文件进行删除或删减操作。
进一步地，步骤为：
（S1）、通过客户端注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；
（S1）、通过RabitMQ将监控项发送到服务端；
（S3）、服务端接收监控项后，以日志文件的文件类型为匹配规则，通过正则表达式匹配，周期性地实时监控日志文件的大小、新建、重命名和删除，并周期性地实时统计日志库的大小，当日志库的大小超过阈值时，根据告警重复次数发出告警信号，并通过RabitMQ将告警信号发送至客户端；
（S4）、客户端接收到告警信号后，对日志库中的日志文件进行删除或删减操作。
进一步地，步骤（S1）中，日志库的参数包括日志库的ID、服务器的ID和日志目录。
进一步地，步骤（S1）中，周期的单位为秒。
进一步地，步骤（S1）中，当需要监控日志库中的多个日志文件时，匹配规则包括多个扩展名，多个扩展名之间通过“|”分割；当需要监控日志库中的全部日志文件时，匹配规则设置为“*.*”。
进一步地，步骤（S4）中，对日志文件进行删除或删减操作的步骤为：对日志库中新生成的历史文件进行删除操作，或者，对日志库中每个原日志文件进行删减操作，每个日志文件保留最新的数据。
进一步地，步骤（S3）中，日志库的大小以kb为单位；步骤（S4）中，对日志库中每个原日志文件进行删减操作后，每个日志文件保留的最新数据的大小不超过1kb。
日志文件的实时监控及报警的***，包括客户端、服务端和至少一个日志库，客户端包括注册模块和告警处理模块，注册模块与服务端连接，服务端与告警处理模块连接，每个日志库均分别与服务端和告警处理模块连接；日志库存储有多个日志文件，注册模块用于注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；告警处理模块用于对日志库中的日志文件进行删除或删减操作；服务端用于实施监控日志文件的大小、新建、重命名和删除，并实时统计日志库的大小。
本发明的日志文件的实时监控及报警的方法和***具有以下优点：
（1）、对日志文件实时监控和报警，保证了日志文件处理的高效性，使得日志文件易于集中管理，扩展灵活；
（2）、对于几个GB的超大日志文件的处理非常有效，不但提高了日志文件的可读性，保证了软件的高效运行，还大大减少了日志文件对存储空间的占用，节省了存储资源；
（3）、不需要人为的手动去删除一些垃圾日志文件，大大降低了运维的难度。
附图说明
下面结合附图对本发明进一步说明。
附图1为实施例1日志文件的实时监控及报警的方法的流程框图；
附图2为实施例2日志文件的实时监控及报警***的原理框图。
具体实施方式
参照说明书附图和具体实施例对本发明的日志文件的实时监控及报警的方法和***作以下详细地说明。
实施例1：
如附图1和附图2所示，本发明的日志文件的实时监控及报警的方法，基于服务端、客户端和日志库实现，服务端以日志库为单位，根据设置的需要监控的日志文件的文件类型，通过正则表达式匹配，实时监控日志文件，当日志库的大小超出设定的阈值时，服务端向客户端发送告警信号，客户端对日志库中的日志文件进行删除或删减操作。
上述方法的具体步骤为：
（S1）、通过客户端注册监控项，参数包括日志库、监控指标、周期以及日志文件的文件类型，其中，日志库的监控参数包括日志库的ID、服务器的ID和日志目录；监控指标包括阈值和告警重复次数；周期的单位为秒；当需要监控日志库中的多个日志文件时，匹配规则包括多个扩展名，多个扩展名之间以“|”分割；当需要监控日志库中全部日志文件时，匹配规则设置为*.*；
（S2）、通过RabitMQ将监控项发送到服务端；
（S3）、服务端接收监控项后，以日志文件的文件类型为匹配规则，通过正则表达式匹配，周期性地实时监控日志文件，包括日志文件的大小、日志文件新建、日志文件重命名和日志文件删除，并周期性地实时统计日志库的大小，日志库的大小以kb为单位，当日志库的大小超过阈值时，根据告警重复次数发出告警信号，并通过RabitMQ将告警信号发送至客户端；
（S4）、客户端接收到告警信号后，对日志库中的日志文件进行删除或删减操作，可对日志库中新生成的历史文件进行删除操作，或者，对日志库中每个原日志文件进行删减操作，每个日志文件保留最新的数据，且每个日志文件中保留的数据不超过的1kb。
本发明的日志文件的实时监控及报警的方法，对日志文件进行实时监控和报警，保证了日志文件处理的高效，且易于集中管理。
实施例2：
附图1所示，本发明的日志文件的实时监控及报警的***，包括客户端、服务端和至少一个日志库，客户端包括注册模块和告警处理模块，注册模块与服务端连接，服务端与告警处理模块连接，每个日志库均分别与服务端和告警处理模块连接；日志库存储有多个日志文件，注册模块用于注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；告警处理模块用于对日志库中的日志文件进行删除或删减操作；服务端用于实施监控日志文件的大小、新建、重命名和删除，并实时统计日志库的大小。
本发明的日志文件的实时监控及报警的***，用于实现实施例1日志文件的实时监控及报警的方法。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (8)

1.日志文件的实时监控及报警的方法，其特征在于基于服务端、客户端和日志库实现，服务端以日志库为单位，根据设置的需要监控的日志文件的文件类型，通过正则表达式匹配，实时监控日志文件，并实时统计日志库的大小；当日志库的大小超出设定的阈值时，服务端向客户端发送告警信号，客户端对日志库中的日志文件进行删除或删减操作。
2.根据权利要求1所述的日志文件的实时监控及报警的方法，其特征在于步骤为：
（S1）、通过客户端注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；
（S1）、通过RabitMQ将监控项发送到服务端；
（S3）、服务端接收监控项后，以日志文件的文件类型为匹配规则，通过正则表达式匹配，周期性地实时监控日志文件，包括日志文件的大小、日志文件的新建、日志文件的重命名和日志文件的删除，并周期性地实时统计日志库的大小，当日志库的大小超过阈值时，根据告警重复次数发出告警信号，并通过RabitMQ将告警信号发送至客户端；
（S4）、客户端接收到告警信号后，对日志库中的日志文件进行删除或删减操作。
3.根据权利要求2所述的日志文件的实时监控及报警的方法，其特征在于步骤（S1）中，日志库的参数包括日志库的ID、服务器的ID和日志目录。
4.根据权利要求2所述的日志文件的实时监控及报警的方法，其特征在于步骤（S1）中，周期的单位为秒。
5.根据权利要求2所述的日志文件的实时监控及报警的方法，其特征在于步骤（S1）中，当需要监控日志库中的多个日志文件时，匹配规则包括多个扩展名，多个扩展名之间通过“|”分割；当需要监控日志库中的全部日志文件时，匹配规则设置为“*.*”。
6.根据权利要求2所述的日志文件的实时监控及报警的方法，其特征在于步骤（S4）中，对日志文件进行删除或删减操作的步骤为：对日志库中新生成的历史文件进行删除操作，或者，对日志库中每个原日志文件进行删减操作，每个日志文件保留最新的数据。
7.根据权利要求6所述的日志文件的实时监控及报警的方法，其特征在于步骤（S3）中，日志库的大小以kb为单位；步骤（S4）中，对日志库中每个原日志文件进行删减操作后，每个日志文件保留的最新数据的大小不超过1kb。
8.日志文件的实时监控及报警的***，其特征在于包括客户端、服务端和至少一个日志库，客户端包括注册模块和告警处理模块，注册模块与服务端连接，服务端与告警处理模块连接，每个日志库均分别与服务端和告警处理模块连接；日志库存储有多个日志文件，注册模块用于注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；告警处理模块用于对日志库中的日志文件进行删除或删减操作；服务端用于实施监控日志文件的大小、新建、重命名和删除，并实时统计日志库的大小。
CN201710004493.XA 2017-01-04 2017-01-04 日志文件的实时监控及报警的方法和*** Pending CN106817253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710004493.XA CN106817253A (zh) 2017-01-04 2017-01-04 日志文件的实时监控及报警的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710004493.XA CN106817253A (zh) 2017-01-04 2017-01-04 日志文件的实时监控及报警的方法和***

Publications (1)

Publication Number Publication Date
CN106817253A true CN106817253A (zh) 2017-06-09

Family

ID=59110598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710004493.XA Pending CN106817253A (zh) 2017-01-04 2017-01-04 日志文件的实时监控及报警的方法和***

Country Status (1)

Country Link
CN (1) CN106817253A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526674A (zh) * 2017-08-31 2017-12-29 郑州云海信息技术有限公司 一种嵌入式***日志记录的方法与装置
CN107590056A (zh) * 2017-09-27 2018-01-16 郑州云海信息技术有限公司 一种存储***中审计日志的转储方法及装置
CN108536520A (zh) * 2018-04-02 2018-09-14 郑州云海信息技术有限公司 一种基于告警提示的应用程序管控方法
CN108572907A (zh) * 2018-01-25 2018-09-25 北京金山云网络技术有限公司 一种告警方法、装置、电子设备及计算机可读存储介质
CN108920260A (zh) * 2018-05-16 2018-11-30 成都淞幸科技有限责任公司 一种异构***的交互方法及其装置
CN110096408A (zh) * 2019-03-11 2019-08-06 中国平安人寿保险股份有限公司 告警监测方法、装置、电子设备及计算机可读存储介质
CN110113224A (zh) * 2019-03-19 2019-08-09 深圳壹账通智能科技有限公司 容量监控方法、装置、计算机设备及存储介质
CN113626300A (zh) * 2021-08-03 2021-11-09 上海上讯信息技术股份有限公司 一种日志管理方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957550A (zh) * 2011-08-23 2013-03-06 中兴通讯股份有限公司 基于日志检测的告警方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957550A (zh) * 2011-08-23 2013-03-06 中兴通讯股份有限公司 基于日志检测的告警方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张大雷: "基于日志的网络管理***的研究与实现", 《南京邮电大学硕士学位论文》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526674A (zh) * 2017-08-31 2017-12-29 郑州云海信息技术有限公司 一种嵌入式***日志记录的方法与装置
CN107590056A (zh) * 2017-09-27 2018-01-16 郑州云海信息技术有限公司 一种存储***中审计日志的转储方法及装置
CN108572907A (zh) * 2018-01-25 2018-09-25 北京金山云网络技术有限公司 一种告警方法、装置、电子设备及计算机可读存储介质
CN108572907B (zh) * 2018-01-25 2022-05-06 北京金山云网络技术有限公司 一种告警方法、装置、电子设备及计算机可读存储介质
CN108536520A (zh) * 2018-04-02 2018-09-14 郑州云海信息技术有限公司 一种基于告警提示的应用程序管控方法
CN108920260A (zh) * 2018-05-16 2018-11-30 成都淞幸科技有限责任公司 一种异构***的交互方法及其装置
CN110096408A (zh) * 2019-03-11 2019-08-06 中国平安人寿保险股份有限公司 告警监测方法、装置、电子设备及计算机可读存储介质
CN110113224A (zh) * 2019-03-19 2019-08-09 深圳壹账通智能科技有限公司 容量监控方法、装置、计算机设备及存储介质
CN110113224B (zh) * 2019-03-19 2022-08-09 深圳壹账通智能科技有限公司 容量监控方法、装置、计算机设备及存储介质
CN113626300A (zh) * 2021-08-03 2021-11-09 上海上讯信息技术股份有限公司 一种日志管理方法及设备

Similar Documents

Publication Publication Date Title
CN106817253A (zh) 日志文件的实时监控及报警的方法和***
KR102520044B1 (ko) 경보 로그 압축 방법, 장치, 및 시스템, 및 저장 매체
CN104025549B (zh) 与服务器事务延迟信息相关的技术
CN104462121B (zh) 数据处理方法、装置及***
CN104917627B (zh) 一种用于大型服务器集群的日志集群扫描与分析方法
CN103780636B (zh) 一种缓存数据处理方法和***
CN107070692A (zh) 一种基于大数据分析的云平台监控服务***及方法
CN104965935B (zh) 网络监控日志的更新方法
CN109274557A (zh) 一种云环境下的智能cmdb管理及云主机监控方法
CN109241414A (zh) 基于消息模板的***消息推送方法及终端设备
CN107729219A (zh) 基于超融合存储***的资源监控方法、装置及终端
CN102857371A (zh) 一种面向集群***的动态配置管理方法
CN108255628A (zh) 一种数据处理方法及装置
CN106920158A (zh) 基于Storm和Kafka技术的订单实时监控***
CN104954181A (zh) 一种分布式集群设备故障预警方法
CN110928716A (zh) 调度任务异常处理方法及装置
CN107666399A (zh) 一种监控数据的方法和装置
CN104320301A (zh) 一种内网专线流量监控方法及***
CN115622867A (zh) 一种工控***安全事件预警分类方法及***
CN111324644B (zh) 大型微服务架构下的数据库连接风暴的监控方法及装置
CN106817262A (zh) 一种日志分析装置
CN110162443A (zh) 多批量流程监控方法、装置、计算机设备和存储介质
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN105573889A (zh) 虚拟机监控数据的存取方法及装置
CN103597473B (zh) 用于合并部分聚合查询结果的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170609