CN108376181A - 基于elk的日志服务平台 - Google Patents

基于elk的日志服务平台 Download PDF

Info

Publication number
CN108376181A
CN108376181A CN201810373492.7A CN201810373492A CN108376181A CN 108376181 A CN108376181 A CN 108376181A CN 201810373492 A CN201810373492 A CN 201810373492A CN 108376181 A CN108376181 A CN 108376181A
Authority
CN
China
Prior art keywords
modules
logstash
cluster
daily record
elasticsearch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810373492.7A
Other languages
English (en)
Inventor
赵国荣
赵惠丹
杨珍
吕斌
姚正发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Danyang Hurricane Logistics Inc Co
Original Assignee
Danyang Hurricane Logistics Inc Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Danyang Hurricane Logistics Inc Co filed Critical Danyang Hurricane Logistics Inc Co
Priority to CN201810373492.7A priority Critical patent/CN108376181A/zh
Publication of CN108376181A publication Critical patent/CN108376181A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164—Adaptation or special uses of UDP protocol

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了基于ELK的日志服务平台，包括：Logstash模块，用于收集***产生的基于文件的日志；Redis集群模块，用于接收Logstash模块所收集的、以及缓存进内存并实时通过UDP所推送的日志；Logstash集群模块，用于接收Redis集群模块输出的日志；负载均衡器，与Logstash集群模块数据联通；ElasticSearch集群模块，用于写入Logstash集群模块输出的日志；Kibana模块，与ElasticSearch集群模块相连；与ElasticSearch集群模块中的ElasticSearch数据库相连的日志审计模块；用于分析数据接口响应时间的SDK，SDK包括超时预警模块，上述平台提供了诸多方式便于记录不同存储方式的日志，便于问题查找、审计分析和性能分析。

Description

基于ELK的日志服务平台
技术领域
本发明涉及物流领域，特别涉及基于ELK的日志服务平台。
背景技术
如今，因我司发展迅速，原有的物流管理相关***的功能越来越多，同时，还增加了许多其他业务***，因而导致有些***出现问题时，不能及时有效的发现，导致影响工作质量，因此，我司决定研发专门的日志服务***。
综上所述，如何保证全部***能够正常工作，并且在出现问题的时候能够及时有效的发现问题，成为本领域技术人员亟待解决的技术问题。
发明内容
本发明的目的是提供基于ELK的日志服务平台，能够保证全部***能够正常工作，并且在出现问题的时候能够及时有效的发现问题。
为解决上述技术问题，本发明提供了如下技术方案：
基于ELK的日志服务平台，包括：Logstash模块，用于收集***产生的基于文件的日志；
Redis集群模块，用于接收Logstash模块所收集的、以及缓存进内存并实时通过UDP所推送的日志；
Logstash集群模块，用于接收Redis集群模块输出的日志；
负载均衡器，与Logstash集群模块数据联通；ElasticSearch集群模块，用于写入Logstash集群模块输出的日志；
Kibana模块，与ElasticSearch集群模块相连；
与ElasticSearch集群模块中的ElasticSearch数据库相连的日志审计模块；
用于分析数据接口响应时间的SDK，SDK包括超时预警模块。
本发明所提供的基于ELK的日志服务平台，是针对所有业务***以及其他依赖***的日志记录平台，提供了诸多方式便于记录不同存储方式的日志，便于问题查找、审计分析和性能分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于ELK的日志服务平台的示意图。
具体实施方式
本发明的核心是提供一种基于ELK的日志服务平台，能够保证全部***能够正常工作，并且在出现问题的时候能够及时有效的发现问题。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请结合图1，图1为本发明所提供的基于ELK的日志服务平台的示意图。
本发明所提供的基于ELK的日志服务平台，包括：Logstash模块，用于收集***产生的基于文件的日志；Redis集群模块，用于接收Logstash模块所收集的、以及缓存进内存并实时通过UDP所推送的日志；Logstash集群模块，用于接收Redis集群模块输出的日志；负载均衡器，与Logstash集群模块数据联通；ElasticSearch集群模块，用于写入Logstash集群模块输出的日志；Kibana模块，与ElasticSearch集群模块相连；与ElasticSearch集群模块中的ElasticSearch数据库相连的日志审计模块；用于分析数据接口响应时间的SDK，SDK包括超时预警模块。
Logstash模块负责收集日志，因我们***的特殊性，我们在具体的虚拟机上通过Logstash模块将***产生的基于文件的日志进行收集然后推送到专门的Logstash集群，而我们***内产生的日志，我们则采用内置的方式将日志缓存进内存并实时通过UDP推送到Logstash集群，而Logstash集群对外只有一个公共的IP地址，因我们在该集群上采用了一层负载均衡，这样在Logstash集群中出现任何一个节点不可用后，负载均衡器会迅速发现并将其从可用节点中剔除，当然后期服务如果恢复了则会将其重新加入到可用节点中。
增加一个Redis集群负责缓冲日志，这样可以保证无论当前日志的峰值有多高，日志***都能够稳定运行，保证每个日志都能够记录，不会因为业务***突然中断导致其自己缓存的日志还未推送就消失。
ElasticSearch是属于全文索引数据库，所以只要是索引的字段可以根据任何值进行查询，即使只是查询一大段异常文字中的一个字母也能够匹配并快速查询到，在查询语句支持方面跟同类产品相比支持范围更广。
除了上述的普通查询，还可以根据查询语句查询所需要的数据然后根据某个字段进行聚合查询并生成各种类型的图形报表，而无需任何开发成本的介入，从而达到实时监控，如异常数，请求数和订单量等简单的图形报表。
基于ElasticSearch数据库开发一个审计的前端界面，日志审计模块能够直接从大量的日志数据中查询我们需要的记录分析并转存，对于业务***来说没有任何成本，由于日志记录的完整性，最终的审计日志可以非常完善的记录操作的行为、数据和结果，也能够支持多维度的查询，比如员工、时间和订单等。
所有平台都采用自有SDK的方式进行了拦截和记录，可以根据其对应的时间分析出所有接口的响应时间，对于重点的接口不仅仅可以简单的查看不同时间段的响应时间，同时还增加了预警机制，比如特定接口的请求平均时间超过贬值，或者最长请求时间超过特定的贬值我们都会记录并且通过邮件或短信的方式通知到对应的运维人员，保证***能够高效的工作，因为很多时候***本身并没有出现宕机的情况，而仅仅只是临时的峰值导致***的响应速度变慢，这时候通过性能分析平台我们可以快速响应，并提前开始增加机器节点保证峰值时***依然可以高效的工作。
以上对本发明所提供的一种基于ELK的日志服务平台进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (1)

1.基于ELK的日志服务平台，其特征在于，包括：
Logstash模块，用于收集***产生的基于文件的日志；
Redis集群模块，用于接收Logstash模块所收集的、以及缓存进内存并实时通过UDP所推送的日志；
Logstash集群模块，用于接收Redis集群模块输出的日志；
负载均衡器，与Logstash集群模块数据联通；
ElasticSearch集群模块，用于写入Logstash集群模块输出的日志；
Kibana模块，与ElasticSearch集群模块相连；
与ElasticSearch集群模块中的ElasticSearch数据库相连的日志审计模块；
用于分析数据接口响应时间的SDK，所述SDK包括超时预警模块。
CN201810373492.7A 2018-04-24 2018-04-24 基于elk的日志服务平台 Pending CN108376181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810373492.7A CN108376181A (zh) 2018-04-24 2018-04-24 基于elk的日志服务平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810373492.7A CN108376181A (zh) 2018-04-24 2018-04-24 基于elk的日志服务平台

Publications (1)

Publication Number Publication Date
CN108376181A true CN108376181A (zh) 2018-08-07

Family

ID=63032731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810373492.7A Pending CN108376181A (zh) 2018-04-24 2018-04-24 基于elk的日志服务平台

Country Status (1)

Country Link
CN (1) CN108376181A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614553A (zh) * 2018-12-21 2019-04-12 北京博明信德科技有限公司 用于日志收集的PaaS平台
CN109840251A (zh) * 2018-12-29 2019-06-04 北京奥鹏远程教育中心有限公司 一种大数据聚合查询方法
CN110097324A (zh) * 2019-05-14 2019-08-06 北京顺丰同城科技有限公司 一种物流信息查询方法及装置
CN109492037B (zh) * 2018-11-02 2020-06-12 北京明朝万达科技股份有限公司 基于Redis和Logstash的数据采集方法及设备
CN111309793A (zh) * 2020-01-15 2020-06-19 北大方正集团有限公司 数据处理方法、装置及设备
CN112328568A (zh) * 2020-11-03 2021-02-05 杭州天宽科技有限公司 基于sdk包的业务***日志记录方法及***
CN111858274B (zh) * 2020-07-02 2021-06-01 北京睿知图远科技有限公司 一种大数据评分***稳定性监控方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析***
CN106130782A (zh) * 2016-07-19 2016-11-16 努比亚技术有限公司 一种获取服务器日志的方法和***
CN107861859A (zh) * 2017-11-22 2018-03-30 北京汇通金财信息科技有限公司 一种基于微服务架构的日志管理方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析***
CN106130782A (zh) * 2016-07-19 2016-11-16 努比亚技术有限公司 一种获取服务器日志的方法和***
CN107861859A (zh) * 2017-11-22 2018-03-30 北京汇通金财信息科技有限公司 一种基于微服务架构的日志管理方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘必雄等: "基于集群的多源日志综合审计***", 《计算机应用》 *
郑清泉: "基于云计算技术的通用日志管理构件", 《广东通信技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492037B (zh) * 2018-11-02 2020-06-12 北京明朝万达科技股份有限公司 基于Redis和Logstash的数据采集方法及设备
CN109614553A (zh) * 2018-12-21 2019-04-12 北京博明信德科技有限公司 用于日志收集的PaaS平台
CN109840251A (zh) * 2018-12-29 2019-06-04 北京奥鹏远程教育中心有限公司 一种大数据聚合查询方法
CN109840251B (zh) * 2018-12-29 2023-11-03 北京奥鹏远程教育中心有限公司 一种大数据聚合查询方法
CN110097324A (zh) * 2019-05-14 2019-08-06 北京顺丰同城科技有限公司 一种物流信息查询方法及装置
CN111309793A (zh) * 2020-01-15 2020-06-19 北大方正集团有限公司 数据处理方法、装置及设备
CN111858274B (zh) * 2020-07-02 2021-06-01 北京睿知图远科技有限公司 一种大数据评分***稳定性监控方法
CN112328568A (zh) * 2020-11-03 2021-02-05 杭州天宽科技有限公司 基于sdk包的业务***日志记录方法及***
CN112328568B (zh) * 2020-11-03 2023-06-02 杭州天宽科技有限公司 基于sdk包的业务***日志记录方法及***

Similar Documents

Publication Publication Date Title
CN108376181A (zh) 基于elk的日志服务平台
CN109977158B (zh) 公安大数据分析处理***及方法
US20180365085A1 (en) Method and apparatus for monitoring client applications
CN109871392B (zh) 一种分布式应用***下的慢sql实时数据采集方法
US7562139B2 (en) System and method for logging events of network devices
CN109885453B (zh) 基于流数据处理的大数据平台监控***
CN113179173B (zh) 一种用于高速公路***的运维监控***
US11610136B2 (en) Predicting the disaster recovery invocation response time
CN112199394A (zh) 告警信息推送方法、***、智能终端及存储介质
CN106095575B (zh) 一种日志审计的装置、***和方法
CN110209518A (zh) 一种多数据源日志数据集中收集存储方法及装置
CN111314158B (zh) 大数据平台监控方法、装置及设备、介质
CN113783931A (zh) 一种物联网数据聚合、分析方法
CN109933572A (zh) 一种用于大型企业的数据管理方法及***
CN112965979A (zh) 一种用户行为分析方法、装置及电子设备
CN110908815A (zh) 消息队列数据预警方法、装置和***、存储介质
CN110555452A (zh) 一种基于智能聚类的网络问题处理方法及装置
CN115038083A (zh) 一种应用ai运营商行业的电信欺诈预警识别方法及***
CN107257289A (zh) 一种风险分析设备、监控***和监控方法
US20160188676A1 (en) Collaboration system for network management
CN108173711B (zh) 企业内部***数据交换监控方法
CN117076426A (zh) 基于流批一体化的交通智能引擎***构建方法及装置
CN112465480A (zh) 一种用于建筑行业的劳务实名制管理***
CN112579552A (zh) 日志存储及调用方法、装置及***
CN115766527A (zh) 信创环境下基于api网关进出流量的业务化分析***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180807