CN104933114A - 一种海量日志管理云平台 - Google Patents

一种海量日志管理云平台 Download PDF

Info

Publication number
CN104933114A
CN104933114A CN201510305445.5A CN201510305445A CN104933114A CN 104933114 A CN104933114 A CN 104933114A CN 201510305445 A CN201510305445 A CN 201510305445A CN 104933114 A CN104933114 A CN 104933114A
Authority
CN
China
Prior art keywords
log
daily record
cloud platform
management cloud
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510305445.5A
Other languages
English (en)
Inventor
李文君
张明
梁鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yi Xun Network Technology Co Ltd
Original Assignee
Shandong Yi Xun Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yi Xun Network Technology Co Ltd filed Critical Shandong Yi Xun Network Technology Co Ltd
Priority to CN201510305445.5A priority Critical patent/CN104933114A/zh
Publication of CN104933114A publication Critical patent/CN104933114A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种海量日志管理云平台，包括日志收集***（01）、日志处理***（02）、日志索引与存储***（03）、日志查询应用***（04）。本发明是一个云端日志管理***，能够对日志进行全文索引，使搜索和分析日志更加快速；采用云端存储不再局限于存储硬件的容量；能够解决因单点故障引起的日志数据丢失问题。日志处理***（02）中增加日志消息处理子***（021），它负责将接收的日志转发给实时流处理子***（022），实现日志的收集与处理的解耦。如果出现日志索引或储存***异常时，日志消息处理子***（021）可以自动的临时将消息持久化到硬盘中，这样可以让***接收到的日志不会因为索引或储存***的异常而丢失。

Description

一种海量日志管理云平台
技术领域
本发明涉及计算机应用领域，尤其涉及一种海量日志管理云平台。
背景技术
传统的日志分析***，通常是以本地安装的方式收集设备的日志，先是将日志发送到本地服务器上，经过分析或不经分析直接存储到数据库中，再通过管理界面进行搜索和分析日志数据。
传统的日志分析***，在分析日志时，会遇到以下问题：
1. 在日志容量增大后，***的日志存储、查询、分析性能均出现下降，因为没有良好的水平扩展能力，***性能往往受限于硬件性能。
2. 没有对日志进行全文索引的能力。
3. 单点故障。当***中的硬件存储设备出现故障后，数据会丢失难以找回。
发明内容
为解决上述技术问题，本发明提供了一种海量日志管理云平台，帮助软件开发人员或网络运维人员更方便地查看和分析日志，从而提高开发效率和分析问题的效率。
为了实现上述目的，本发明采用如下技术方案。
一种海量日志管理云平台，包括日志收集***、日志处理***、日志索引与存储***、日志查询应用***。
所述日志收集***,用于将日志收集到平台中，是一个分布式、可靠、和高可用的海量日志聚合的***。它支持收集syslog、HTTP、Log4J、文件、文件变化等多种协议和格式的日志。
所述日志处理***包括日志消息处理子***和实时流处理子***。
日志消息处理子***,用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系，使得***更加灵活、可靠。在存储***宕掉时，日志消息处理子***的持久化机制可以保证日志不会丢失。
实时流处理子***,用来将日志消息实时的分发给各后端处理***。
所述日志索引与存储***，包括半结构化存储***、全文索引***和非结构化存储***。
半结构化存储***,用于存储、查询日志的结构化数据，是一个灵活的存储机制，可以将日志拆分成自定义的字段来保存。而传统的关系型存储方式必须在用户使用前提前定义好字段。另外，该***也具有TB级数据量存储的能力。
全文索引***,可以提供日志的全文检索，为***提供可在TB级的日志中实时检索日志的能力。它提供基于复制及分片技术的全文索引集群。并提供同义词、近义词、中文分词能力。
非结构化存储***,对日志进行备份及离线分析处理。
所述日志查询应用***,是一个分布式的查询和分析日志的应用***。该***能够以表格、柱状图、线形图等多种形式展示收集到的经过分析后的日志，能够接近实时的展示日志信息，并可根据制定的策略进行告警。
本发明的有益效果包括：
本发明的海量日志管理云平台不是本地日志管理***，而是一个云端日志管理***，能够对日志进行全文索引，使搜索和分析日志更加快速；采用云端存储不再局限于存储硬件的容量；能够解决因单点故障引起的日志数据丢失问题。日志处理***中增加日志消息处理子***，它负责将接收的日志转发给实时流处理子***，实现日志的收集与处理的解耦。如果出现日志索引或储存***异常时，日志消息处理子***可以自动的临时将消息持久化到硬盘中，这样可以让***接收到的日志不会因为索引或储存***的异常而丢失。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1是本发明海量日志管理云平台的结构示意图。
其中，00、日志所在服务器；01、日志收集***；02、日志处理***；021、日志消息处理子***；022、实时流处理子***；03、日志索引与存储***；031、半结构化存储***；032、全文索引***；033、非结构化存储***；04、日志查询应用***；05、用户。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示，一种海量日志管理云平台，包括日志收集***01、日志处理***02、日志索引与存储***03、日志查询应用***04。
日志所在服务器00将日志通过syslog的形式发给日志收集***01。
所述日志收集***01,处在平台的最前端，用于将日志收集到平台中，是一个海量日志聚合***集群，是一个分布式的、高可靠的日志收集***。它支持收集syslog、HTTP、Log4J、文件、文件变化等多种协议和格式的日志。
它有以下特点：
a) 高可用性。可用性(availablity)指固定周期内***无故障运行总时间。要想提高***的可用性，就需要消除***的单点，提高***的冗余度。
b) 高可靠性。可靠性(reliability)是指在数据流的传输过程中，保证日志的可靠传递。当节点出现故障时，日志能够被传送到其他节点上而不会丢失。日志收集服务提供了三种级别的可靠性保障，从强到弱依次分别为：端到端保障（end-to-end），收到数据首先将日志写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送；本地保障（Store on failure），当日志接收方crash时，将日志写到本地，待恢复后，继续发送；无确认保障（Best effort），日志发送到接收方后，不会进行确认。
c) 可扩展性。日志收集服务采用了三层架构，分别为代理采集（agent）、收集服务（collector）和存储服务（storage），每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得***容易监控和维护，且master允许有多个，这就避免了单点故障问题。
d) 支持负载均衡和容错。
所述日志处理***02包括日志消息处理子***021和实时流处理子***022。
日志消息处理子***021,用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系，使得***更加灵活、可靠。在存储***宕掉时，日志消息处理子***的持久化机制可以保证日志不会丢失。
实时流处理子***022,用来将日志消息实时的分发给各后端处理***。
所述日志索引与存储***03，包括半结构化存储***031、全文索引***032和非结构化存储***033。
半结构化存储***031,用于存储、查询日志的结构化数据，一个灵活的存储机制，可以将日志拆分成自定义的字段来保存。而传统的关系型存储方式必须在用户使用前提前定义好字段。另外，该***也具有TB级数据量存储的能力。
全文索引***032,可以提供日志的全文检索，为***提供可在TB级的日志中实时检索日志的能力。它提供基于复制及分片技术的全文索引集群。并提供同义词、近义词、中文分词能力。
非结构化存储***033,对日志进行备份及离线分析处理。
所述日志查询应用***04,是一个分布式的查询和分析日志的应用***。该***能够以表格、柱状图、线形图等多种形式展示收集到的经过分析后的日志，能够接近实时的展示日志信息，并可根据制定的策略进行告警。
用户05可通过浏览器访问所述日志查询应用***04。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种海量日志管理云平台，其特征是，包括日志收集***（01）、日志处理***（02）、日志索引与存储***（03）、日志查询应用***（04）；
所述日志收集***（01）,用于将日志收集到平台中；
所述日志处理***（02）包括日志消息处理子***（021）和实时流处理子***（022）；日志消息处理子***（021）,用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系；实时流处理子***（022）,用来将日志消息实时的分发给各后端处理***；
所述日志索引与存储***（03），包括半结构化存储***（031）、全文索引***（032）和非结构化存储***（033）；半结构化存储***（031）,用于存储、查询日志的结构化数据；全文索引***（032）,提供日志的全文检索；非结构化存储***（033）,对日志进行备份及离线分析处理；
所述日志查询应用***（04）,能够展示收集到的经过分析后的日志，能够实时的展示日志信息，并根据制定的策略进行告警。
2.如权利要求1所述的海量日志管理云平台，其特征是，所述日志收集***（01）是一个分布式、可靠、和高可用的海量日志聚合的***。
3.如权利要求1或2所述的海量日志管理云平台，其特征是，所述日志收集***（01）支持收集syslog、HTTP、Log4J、文件、文件变化的协议和格式的日志。
4.如权利要求1所述的海量日志管理云平台，其特征是，在存储***宕掉时，所述日志消息处理子***（021）的持久化机制保证日志不会丢失。
5.如权利要求1所述的海量日志管理云平台，其特征是，所述半结构化存储***（031）将日志拆分成自定义的字段来保存。
6.如权利要求1或5所述的海量日志管理云平台，其特征是，所述半结构化存储***（031）具有TB级数据量存储的能力。
7.如权利要求1所述的海量日志管理云平台，其特征是，所述全文索引***（032）,能够在TB级的日志中实时检索日志。
8.如权利要求1所述的海量日志管理云平台，其特征是，所述全文索引***（032）,提供基于复制及分片技术的全文索引集群，提供同义词、近义词、中文分词能力。
9.如权利要求1所述的海量日志管理云平台，其特征是，所述日志查询应用***（04）,是一个分布式的查询和分析日志的应用***。
CN201510305445.5A 2015-06-08 2015-06-08 一种海量日志管理云平台 Pending CN104933114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510305445.5A CN104933114A (zh) 2015-06-08 2015-06-08 一种海量日志管理云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510305445.5A CN104933114A (zh) 2015-06-08 2015-06-08 一种海量日志管理云平台

Publications (1)

Publication Number Publication Date
CN104933114A true CN104933114A (zh) 2015-09-23

Family

ID=54120281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510305445.5A Pending CN104933114A (zh) 2015-06-08 2015-06-08 一种海量日志管理云平台

Country Status (1)

Country Link
CN (1) CN104933114A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630869A (zh) * 2015-12-15 2016-06-01 北京奇虎科技有限公司 一种语音数据的存储方法和装置
CN106227797A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种海量日志信息的处理方法
CN106227644A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种海量信息处理装置
CN106250406A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志处理方法
CN106250287A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志信息处理装置
CN106844497A (zh) * 2016-12-26 2017-06-13 努比亚技术有限公司 一种数据库代码的检查装置和方法
CN108959445A (zh) * 2018-06-13 2018-12-07 云南电网有限责任公司信息中心 分布式日志处理方法及装置
CN109088782A (zh) * 2018-11-01 2018-12-25 郑州云海信息技术有限公司 分布式***的日志收集方法及装置
CN109992417A (zh) * 2019-03-20 2019-07-09 跬云(上海)信息科技有限公司 预计算olap***及实现方法
US10445196B2 (en) 2017-01-06 2019-10-15 Microsoft Technology Licensing, Llc Integrated application issue detection and correction control
CN111045898A (zh) * 2019-12-22 2020-04-21 北京浪潮数据技术有限公司 多级子***的日志收集方法、装置、设备及可读存储介质
CN113515494A (zh) * 2020-04-09 2021-10-19 ***通信集团广东有限公司 基于分布式文件***的数据库处理方法和电子设备
CN117494146A (zh) * 2023-12-29 2024-02-02 山东街景智能制造科技股份有限公司 一种模型数据库管理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279891A (zh) * 2011-09-02 2011-12-14 深圳中兴网信科技有限公司 一种并行搜索it日志的检索方法、装置及***
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储***的日志管理优化方法
CN103177116A (zh) * 2013-04-08 2013-06-26 国电南瑞科技股份有限公司 一种基于两级索引的分布式日志处理和查询方法
CN103942210A (zh) * 2013-01-21 2014-07-23 ***通信集团上海有限公司 海量日志信息的处理方法、装置与***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储***的日志管理优化方法
CN102279891A (zh) * 2011-09-02 2011-12-14 深圳中兴网信科技有限公司 一种并行搜索it日志的检索方法、装置及***
CN103942210A (zh) * 2013-01-21 2014-07-23 ***通信集团上海有限公司 海量日志信息的处理方法、装置与***
CN103177116A (zh) * 2013-04-08 2013-06-26 国电南瑞科技股份有限公司 一种基于两级索引的分布式日志处理和查询方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630869A (zh) * 2015-12-15 2016-06-01 北京奇虎科技有限公司 一种语音数据的存储方法和装置
CN105630869B (zh) * 2015-12-15 2019-02-05 北京奇虎科技有限公司 一种语音数据的存储方法和装置
CN106250287A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志信息处理装置
CN106227644A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种海量信息处理装置
CN106227797A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种海量日志信息的处理方法
CN106250406A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志处理方法
CN106844497A (zh) * 2016-12-26 2017-06-13 努比亚技术有限公司 一种数据库代码的检查装置和方法
US10445196B2 (en) 2017-01-06 2019-10-15 Microsoft Technology Licensing, Llc Integrated application issue detection and correction control
CN108959445A (zh) * 2018-06-13 2018-12-07 云南电网有限责任公司信息中心 分布式日志处理方法及装置
CN109088782A (zh) * 2018-11-01 2018-12-25 郑州云海信息技术有限公司 分布式***的日志收集方法及装置
CN109992417A (zh) * 2019-03-20 2019-07-09 跬云(上海)信息科技有限公司 预计算olap***及实现方法
CN111045898A (zh) * 2019-12-22 2020-04-21 北京浪潮数据技术有限公司 多级子***的日志收集方法、装置、设备及可读存储介质
CN113515494A (zh) * 2020-04-09 2021-10-19 ***通信集团广东有限公司 基于分布式文件***的数据库处理方法和电子设备
CN113515494B (zh) * 2020-04-09 2024-03-22 ***通信集团广东有限公司 基于分布式文件***的数据库处理方法和电子设备
CN117494146A (zh) * 2023-12-29 2024-02-02 山东街景智能制造科技股份有限公司 一种模型数据库管理***
CN117494146B (zh) * 2023-12-29 2024-04-26 山东街景智能制造科技股份有限公司 一种模型数据库管理***

Similar Documents

Publication Publication Date Title
CN104933114A (zh) 一种海量日志管理云平台
CN101753617B (zh) 一种云存储***和方法
US10877810B2 (en) Object storage system with metadata operation priority processing
CN102750326A (zh) 一种基于精简策略的集群***的日志管理优化方法
CN108108476A (zh) 高可靠分布式日志***的工作方法
CN107818120A (zh) 基于大数据的数据处理方法和装置
CN104778188A (zh) 一种分布式设备日志采集方法
KR101435789B1 (ko) Ｄｌｐ 시스템의 빅데이터 처리 시스템 및 방법
CN102708158B (zh) 一种PostgreSQL云存储归档调度***
CN101408889A (zh) 一种性能监控的方法、装置及***
CN104584524A (zh) 聚合中介***中的数据
CN103067525A (zh) 一种基于特征码的云存储数据备份方法
CN105760236A (zh) 一种分布式计算机集群下的数据采集方法及***
US20210165573A1 (en) Managing Replication State for Deleted Objects
CN102523251A (zh) 对海量数据处理的云存储架构及应用该架构的云存储平台
US20210165767A1 (en) Barriers for Dependent Operations among Sharded Data Stores
US20180052858A1 (en) Methods and procedures for timestamp-based indexing of items in real-time storage
CN109783018A (zh) 一种数据存储的方法及装置
JP2018511861A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
CN107330017A (zh) 一种基于主题实例的电力海量数据存储和查询统计分析方法及其***
WO2021112911A1 (en) Cross storage protocol access response for object data stores
CN103117878A (zh) 一种基于Nagios的分布式监控***的设计方法
CN111813332A (zh) 一种高性能、高扩展和高安全的智能分布式存储***
CN111240936A (zh) 一种数据完整性校验的方法及设备
US11023354B2 (en) Hyper-converged infrastructure (HCI) log system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150923

RJ01 Rejection of invention patent application after publication