CN102750326A - 一种基于精简策略的集群***的日志管理优化方法 - Google Patents
一种基于精简策略的集群***的日志管理优化方法 Download PDFInfo
- Publication number
- CN102750326A CN102750326A CN2012101721732A CN201210172173A CN102750326A CN 102750326 A CN102750326 A CN 102750326A CN 2012101721732 A CN2012101721732 A CN 2012101721732A CN 201210172173 A CN201210172173 A CN 201210172173A CN 102750326 A CN102750326 A CN 102750326A
- Authority
- CN
- China
- Prior art keywords
- log
- daily record
- strategy
- information
- optimization method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于精简策略的集群***的日志管理优化方法，属于集群存储管理领域，包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。本发明对分散在各集群节点的日志进行集中、分析汇总，优化日志存储方法，提供日志查看策略，使***管理者能快速定位集群***的错误日志信息，查看集群存储的某应用的整体日志信息。
Description
技术领域
本发明涉及一种集群存储管理领域，具体地说是一种基于精简策略的集群***的日志管理优化方法。
背景技术
在信息***式增长的时代，文件大小和数据规模迈向TB级甚至PB级已成现实，集群***节点数已达到64节点集群数目，管理如此庞大的集群***已经成为数据中心所面临的严峻挑战。及时跟踪集群节点运行状态，精确定位节点出错信息变得尤为重要。但是随着集群节点数的增多，对集群***管理变得越来越复杂，精确定位集群节点的错误日志信息变得越来越困难。
集群存储是通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群存储管理是对构成集群***的集群节点进行软件部署配置和环境监测，使其达到集群***的部署需求，当集群节点出现故障，集群***必须迅速做出反应，将分布在本节点的存储空间转移到其他节点。检测节点故障异常信息，检测集群***资源转移情况变得尤为重要。
传统的日志管理方法是定时或实时发送***日志，实现了日志的集中传输，但是没有对日志进行分析和整理，随着节点数增多，应用模块增多，日志信息量庞大，不能全局的了解整个集群***的运行情况，不能快速的定位到错误信息。
发明内容
本发明的技术任务是提供一种对分散在各集群节点的日志进行集中、分析汇总，优化日志存储方法，提供日志查看策略使***管理者能快速定位集群***的错误日志信息，查看集群存储的某应用的整体日志信息的一种基于精简策略的集群***的日志管理优化方法。
本发明的技术任务是按以下方式实现的，包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志信息进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。
日志集中策略是把集群节点的日志发送到日志服务器上进行集中管理，该模块发送日志时沿用传统方法，集群节点实时地将***日志发送到日志服务器，日志服务器接受日志，并对接受的日志进行日志分析处理。
日志精简策略是将集群节点的日志进行分析处理，根据设定的应用模块（文件***，高可用，监控，网络等）标识进行过滤处理，使日志可以分类存储；对集群节点相同的日志进行过滤，以防止相同日志信息占用日志空间；提取日志时间，节点信息，方便日志存储和索引。
日志存储策略分为日志文件存储和日志记录数据库存储，日志文件存储是在集群日志服务中分类存储各集群节点日志文件，日志记录数据库存储是将日志精简策略得到的各分类日志以时间和节点名为索引，引用日志存储文件，建立日志索引表，以方便用户查看；日志存储策略还对日志进行压缩，以减少日志文件占用空间；日志文件有效期是有限的，过期日志不需要保存，故对过期日志文件轮询删除。
日志查看策略是在web***上设置日志查看器，查看器按日志类型进行分类查看，对应数据库中的日志索引表，并根据索引表中日志URL引用，获得实时的日志信息，从而实现对日志信息的分类与汇总；用户选择相应的时间，日志类型，就能查看集群存储应用模块所有集群节点的日志信息。
本发明的一种基于精简策略的集群***的日志管理优化方法具有以下优点：对分散在各集群节点的日志进行集中、分析汇总，优化日志存储方法，提供日志查看策略使***管理者能快速定位集群***的错误日志信息，查看集群存储的某应用的整体日志信息，因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种基于精简策略的集群***的日志管理优化方法的集群***日志管理架构图；
附图2为一种基于精简策略的集群***的日志管理优化方法的日志信息管理结构图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于精简策略的集群***的日志管理优化方法作以下详细地说明。
实施例：
本发明的一种基于精简策略的集群***的日志管理优化方法, 其结构包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志信息进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。
日志集中策略是把集群节点的日志发送到日志服务器上进行集中管理，该模块发送日志时沿用传统方法，集群节点实时地将***日志发送到日志服务器，日志服务器接受日志，并对接受的日志进行日志分析处理。
日志精简策略是将集群节点的日志进行分析处理，根据设定的应用模块（文件***，高可用，监控，网络等）标识进行过滤处理，使日志可以分类存储；对集群节点相同的日志进行过滤，以防止相同日志信息占用日志空间；提取日志时间，节点信息，方便日志存储和索引。
日志存储策略分为日志文件存储和日志记录数据库存储，日志文件存储是在集群日志服务中分类存储各集群节点日志文件，日志记录数据库存储是将日志精简策略得到的各分类日志以时间和节点名为索引，引用日志存储文件，建立日志索引表，以方便用户查看；日志存储策略还对日志进行压缩，以减少日志文件占用空间；日志文件有效期是有限的，过期日志不需要保存，故对过期日志文件轮询删除。
日志查看策略是在web***上设置日志查看器，查看器按日志类型进行分类查看，对应数据库中的日志索引表，并根据索引表中日志URL引用，获得实时的日志信息，从而实现对日志信息的分类与汇总；用户选择相应的时间，日志类型，就能查看集群存储应用模块所有集群节点的日志信息。
编写日志集中函数，可采用传统的SYSLOG技术，实现集群节点日志发送；
编写日志分析函数，确定应用模块关键字，对各应用模块日志进行分析提取，采用正则表达式搜索方法实现。
编写日志存储数据库函数，建立日志索引表，可采用mysql等数据库实现，将提取信息按索引格式存放到数据库中；
编写日志文件存储函数，根据日志分析函数，将日志集中的文件按日志类型分类；
编写日志查看函数，建立web页面，根据日志应用模块分类建立查询机制，连接到数据库索引表，根据索引表快速的获得所要查询日志信息。
本发明的一种基于精简策略的集群***的日志管理优化方法，除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (5)
1.一种基于精简策略的集群***的日志管理优化方法，其特征在于包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志信息进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。
2.根据权利要求1所述的一种基于精简策略的集群***的日志管理优化方法，其特征在于日志集中策略是把集群节点的日志发送到日志服务器上进行集中管理，该模块发送日志时沿用传统方法，集群节点实时地将***日志发送到日志服务器，日志服务器接受日志，并对接受的日志进行日志分析处理。
3.根据权利要求1所述的一种基于精简策略的集群***的日志管理优化方法，其特征在于日志精简策略是将集群节点的日志进行分析处理，根据设定的应用模块标识进行过滤处理，使日志可以分类存储；对集群节点相同的日志进行过滤，以防止相同日志信息占用日志空间；提取日志时间，节点信息，方便日志存储和索引。
4.根据权利要求1所述的一种基于精简策略的集群***的日志管理优化方法，其特征在于日志存储策略分为日志文件存储和日志记录数据库存储，日志文件存储是在集群日志服务中分类存储各集群节点日志文件，日志记录数据库存储是将日志精简策略得到的各分类日志以时间和节点名为索引，引用日志存储文件，建立日志索引表，以方便用户查看；日志存储策略还对日志进行压缩，以减少日志文件占用空间；日志文件有效期是有限的，过期日志不需要保存，故对过期日志文件轮询删除。
5.根据权利要求1所述的一种基于精简策略的集群***的日志管理优化方法，其特征在于日志查看策略是在web***上设置日志查看器，查看器按日志类型进行分类查看，对应数据库中的日志索引表，并根据索引表中日志URL引用，获得实时的日志信息，从而实现对日志信息的分类与汇总；用户选择相应的时间，日志类型，就能查看集群存储应用模块所有集群节点的日志信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101721732A CN102750326A (zh) | 2012-05-30 | 2012-05-30 | 一种基于精简策略的集群***的日志管理优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101721732A CN102750326A (zh) | 2012-05-30 | 2012-05-30 | 一种基于精简策略的集群***的日志管理优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102750326A true CN102750326A (zh) | 2012-10-24 |
Family
ID=47030511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101721732A Pending CN102750326A (zh) | 2012-05-30 | 2012-05-30 | 一种基于精简策略的集群***的日志管理优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102750326A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812691A (zh) * | 2014-01-14 | 2014-05-21 | 浪潮电子信息产业股份有限公司 | 一种集群负载均衡***的日志统计***及方法 |
| CN104301360A (zh) * | 2013-07-19 | 2015-01-21 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及*** |
| CN104579777A (zh) * | 2015-01-06 | 2015-04-29 | 浪潮软件股份有限公司 | 日志管理***和实现方法 |
| CN105205167A (zh) * | 2015-10-10 | 2015-12-30 | 国网信息通信产业集团有限公司 | 一种日志数据*** |
| CN105260452A (zh) * | 2015-10-12 | 2016-01-20 | 成都视达科信息技术有限公司 | 离线日志收集查询和分析***及方法 |
| CN105306261A (zh) * | 2015-09-29 | 2016-02-03 | 北京奇艺世纪科技有限公司 | 一种收集日志的方法、装置及*** |
| CN105553716A (zh) * | 2015-12-12 | 2016-05-04 | 天津南大通用数据技术股份有限公司 | 大规模集群下各节点日志的抓取和展示*** |
| CN105827522A (zh) * | 2015-11-10 | 2016-08-03 | 广东亿迅科技有限公司 | 处理日志文件的网关设备 |
| CN106130782A (zh) * | 2016-07-19 | 2016-11-16 | 努比亚技术有限公司 | 一种获取服务器日志的方法和*** |
| CN106407350A (zh) * | 2016-09-05 | 2017-02-15 | 广州视睿电子科技有限公司 | 错误日志信息过滤方法及装置 |
| CN106649044A (zh) * | 2016-12-28 | 2017-05-10 | 深圳市深信服电子科技有限公司 | 一种基于容器云***的日志处理方法、装置及其*** |
| CN106656522A (zh) * | 2015-10-28 | 2017-05-10 | ***通信集团公司 | 跨数据中心的数据计算方法及*** |
| CN107332720A (zh) * | 2017-08-22 | 2017-11-07 | 河钢股份有限公司承德分公司 | 一种收集交换机日志的装置 |
| CN107423336A (zh) * | 2017-04-27 | 2017-12-01 | 努比亚技术有限公司 | 一种数据处理方法、装置及计算机存储介质 |
| CN107483238A (zh) * | 2017-08-04 | 2017-12-15 | 郑州云海信息技术有限公司 | 一种日志管理方法、集群管理节点及*** |
| CN107544894A (zh) * | 2016-06-23 | 2018-01-05 | 中兴通讯股份有限公司 | 一种日志处理的方法、装置及服务器 |
| CN110209518A (zh) * | 2019-04-26 | 2019-09-06 | 福州慧校通教育信息技术有限公司 | 一种多数据源日志数据集中收集存储方法及装置 |
| CN110297846A (zh) * | 2019-05-28 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种日志特征处理***、方法、电子设备及存储介质 |
| CN111008107A (zh) * | 2019-11-30 | 2020-04-14 | 北京浪潮数据技术有限公司 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
| WO2021073499A1 (zh) * | 2019-10-15 | 2021-04-22 | 上海御渡半导体科技有限公司 | 基于日志的消息分类显示结构及其显示方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030220998A1 (en) * | 1999-08-27 | 2003-11-27 | Raymond Byars Jennings | Server site restructuring |
| US20070088737A1 (en) * | 2005-10-18 | 2007-04-19 | Norihiko Kawakami | Storage system for managing a log of access |
| JP2008203939A (ja) * | 2007-02-16 | 2008-09-04 | Nomura Research Institute Ltd | ログ管理装置、ログ管理方法、プログラム、及び記録媒体 |
| CN102111285A (zh) * | 2009-12-24 | 2011-06-29 | 北京云快线软件服务有限公司 | 一种日志信息管理方法及*** |
| CN102411533A (zh) * | 2011-08-08 | 2012-04-11 | 浪潮电子信息产业股份有限公司 | 一种集群存储***的日志管理优化方法 |
-
2012
- 2012-05-30 CN CN2012101721732A patent/CN102750326A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030220998A1 (en) * | 1999-08-27 | 2003-11-27 | Raymond Byars Jennings | Server site restructuring |
| US20070088737A1 (en) * | 2005-10-18 | 2007-04-19 | Norihiko Kawakami | Storage system for managing a log of access |
| JP2008203939A (ja) * | 2007-02-16 | 2008-09-04 | Nomura Research Institute Ltd | ログ管理装置、ログ管理方法、プログラム、及び記録媒体 |
| CN102111285A (zh) * | 2009-12-24 | 2011-06-29 | 北京云快线软件服务有限公司 | 一种日志信息管理方法及*** |
| CN102411533A (zh) * | 2011-08-08 | 2012-04-11 | 浪潮电子信息产业股份有限公司 | 一种集群存储***的日志管理优化方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301360A (zh) * | 2013-07-19 | 2015-01-21 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及*** |
| CN104301360B (zh) * | 2013-07-19 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及*** |
| CN103812691A (zh) * | 2014-01-14 | 2014-05-21 | 浪潮电子信息产业股份有限公司 | 一种集群负载均衡***的日志统计***及方法 |
| CN104579777A (zh) * | 2015-01-06 | 2015-04-29 | 浪潮软件股份有限公司 | 日志管理***和实现方法 |
| CN105306261A (zh) * | 2015-09-29 | 2016-02-03 | 北京奇艺世纪科技有限公司 | 一种收集日志的方法、装置及*** |
| CN105205167A (zh) * | 2015-10-10 | 2015-12-30 | 国网信息通信产业集团有限公司 | 一种日志数据*** |
| CN105260452A (zh) * | 2015-10-12 | 2016-01-20 | 成都视达科信息技术有限公司 | 离线日志收集查询和分析***及方法 |
| CN106656522A (zh) * | 2015-10-28 | 2017-05-10 | ***通信集团公司 | 跨数据中心的数据计算方法及*** |
| CN105827522A (zh) * | 2015-11-10 | 2016-08-03 | 广东亿迅科技有限公司 | 处理日志文件的网关设备 |
| CN105553716A (zh) * | 2015-12-12 | 2016-05-04 | 天津南大通用数据技术股份有限公司 | 大规模集群下各节点日志的抓取和展示*** |
| CN107544894A (zh) * | 2016-06-23 | 2018-01-05 | 中兴通讯股份有限公司 | 一种日志处理的方法、装置及服务器 |
| CN106130782A (zh) * | 2016-07-19 | 2016-11-16 | 努比亚技术有限公司 | 一种获取服务器日志的方法和*** |
| CN106407350A (zh) * | 2016-09-05 | 2017-02-15 | 广州视睿电子科技有限公司 | 错误日志信息过滤方法及装置 |
| CN106649044A (zh) * | 2016-12-28 | 2017-05-10 | 深圳市深信服电子科技有限公司 | 一种基于容器云***的日志处理方法、装置及其*** |
| CN107423336A (zh) * | 2017-04-27 | 2017-12-01 | 努比亚技术有限公司 | 一种数据处理方法、装置及计算机存储介质 |
| CN107423336B (zh) * | 2017-04-27 | 2021-01-15 | 努比亚技术有限公司 | 一种数据处理方法、装置及计算机存储介质 |
| CN107483238A (zh) * | 2017-08-04 | 2017-12-15 | 郑州云海信息技术有限公司 | 一种日志管理方法、集群管理节点及*** |
| CN107332720A (zh) * | 2017-08-22 | 2017-11-07 | 河钢股份有限公司承德分公司 | 一种收集交换机日志的装置 |
| CN110209518A (zh) * | 2019-04-26 | 2019-09-06 | 福州慧校通教育信息技术有限公司 | 一种多数据源日志数据集中收集存储方法及装置 |
| CN110297846A (zh) * | 2019-05-28 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 一种日志特征处理***、方法、电子设备及存储介质 |
| CN110297846B (zh) * | 2019-05-28 | 2021-08-20 | 北京奇艺世纪科技有限公司 | 一种日志特征处理***、方法、电子设备及存储介质 |
| WO2021073499A1 (zh) * | 2019-10-15 | 2021-04-22 | 上海御渡半导体科技有限公司 | 基于日志的消息分类显示结构及其显示方法 |
| CN111008107A (zh) * | 2019-11-30 | 2020-04-14 | 北京浪潮数据技术有限公司 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102750326A (zh) | 一种基于精简策略的集群***的日志管理优化方法 | |
| CN102411533A (zh) | 一种集群存储***的日志管理优化方法 | |
| CN109034993B (zh) | 对账方法、设备、***及计算机可读存储介质 | |
| CN109254982A (zh) | 一种流数据处理方法、***、装置及计算机可读存储介质 | |
| CN105824744A (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
| CN103064933B (zh) | 数据查询方法及*** | |
| CN100596353C (zh) | 提供日志服务的方法及*** | |
| CN101576915B (zh) | 一种分布式b+树索引***及构建方法 | |
| CN108509326B (zh) | 一种基于nginx日志的服务状态统计方法及*** | |
| CN104125163B (zh) | 一种数据处理方法、装置及终端 | |
| CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
| CN103838867A (zh) | 日志处理方法和装置 | |
| KR101435789B1 (ko) | Ｄｌｐ 시스템의 빅데이터 처리 시스템 및 방법 | |
| CN109918349A (zh) | 日志处理方法、装置、存储介质和电子装置 | |
| CN108268565B (zh) | 基于数据仓库处理用户浏览行为数据的方法及*** | |
| CN102780726A (zh) | 一种基于web平台的日志分析方法及*** | |
| CN108509437A (zh) | 一种ElasticSearch查询加速方法 | |
| AU2007277429A1 (en) | Data processing over very large databases | |
| CN104933114A (zh) | 一种海量日志管理云平台 | |
| CN103678293A (zh) | 一种数据存储方法及装置 | |
| CN104462096B (zh) | 舆情监测分析方法和装置 | |
| CN104765823A (zh) | 一种网站数据采集的方法及装置 | |
| CN112579007A (zh) | 一种存储全链路的获取方法、装置及电子设备 | |
| CN103714144A (zh) | 一种信息检索装置和方法 | |
| CN109446167A (zh) | 一种日志数据存储、提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121024 |