CN108959054A - 一种基于Logstash的日志处理方法和装置 - Google Patents
一种基于Logstash的日志处理方法和装置 Download PDFInfo
- Publication number
- CN108959054A CN108959054A CN201810776985.5A CN201810776985A CN108959054A CN 108959054 A CN108959054 A CN 108959054A CN 201810776985 A CN201810776985 A CN 201810776985A CN 108959054 A CN108959054 A CN 108959054A
- Authority
- CN
- China
- Prior art keywords
- host
- logstash
- log
- modifier
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3457—Performance evaluation by simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种基于Logstash的日志处理方法和装置,所述方法包括:通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;通过Host修改器对所述日志信息的所述ip地址进行修改;通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;数据展示装置检索所述数据存储装置的信息并展示。本发明实施例通过设计合理的Host修改器,可以灵活方便的处理大量的日志文件,减少大量日志对于检索的困扰。
Description
技术领域
本发明涉及云计算技术,尤指一种基于Logstash的日志处理方法和装置。
背景技术
ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合,在日志处理和检索中,有广泛的应用。其中,Logstash为管理日志和事件的工具,有效处理来源于各种不同数据源的日志信息。syslog为一个IP网络中转发***日志信息的标准,通过分析这些网络行为日志,可追踪和掌握与设备和网络有关的情况,由于syslog是一种标准,可以通过syslog的方式,记录需要记录的日志,但是在模拟syslog时,Logstash的存在Host数据的地方,记录的是syslog模拟器地址,使得日志保存、处理时,不能灵活地使用,存在大量日志对于检索的困扰。
发明内容
为了解决上述技术问题,本发明实施例提供了一种基于Logstash的日志处理方法和装置,通过设计合理的Host修改器,可以灵活方便的处理大量的日志文件,减少大量日志对于检索的困扰。
为了达到本发明目的,一方面,本发明实施例提供了一种基于Logstash的日志处理方法,包括:
通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;
通过Host修改器对所述日志信息的所述ip地址进行修改;
通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;
数据展示装置检索所述数据存储装置的信息并展示。
进一步地,所述方法还包括:
所述syslog模拟器在发送日志信息时,在信息message前加入主机Host的ip地址信息和特殊字符。
进一步地,所述方法还包括:
所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。
进一步地,所述方法还包括:
如果所述Host修改器检索到所述特殊字符,通过所述Logstash的函数进行Host的ip地址修改。
进一步地,所述方法还包括:
如果所述Host修改器检索不到所述特殊字符,则正常处理日志信息。
另一方面,本发明实施例还提供了一种基于Logstash的日志处理装置,包括:
syslog模拟器,用于通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;
Host修改器,用于通过所述Host修改器对所述日志信息的所述ip地址进行修改;
数据存储装置,用于通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;
数据展示装置,用于检索所述数据存储装置的信息并展示。
进一步地,所述syslog模拟器还用于:
所述syslog模拟器在发送日志信息时,在信息message前加入主机Host的ip地址信息和特殊字符。
进一步地,所述Host修改器还用于:
所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。
进一步地,所述Host修改器还用于:
如果所述Host修改器检索到所述特殊字符,通过所述Logstash的函数进行Host的ip地址修改。
进一步地,所述Host修改器还用于:
如果所述Host修改器检索不到所述特殊字符,则正常处理日志信息。
本发明实施例通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;通过Host修改器对所述日志信息的所述ip地址进行修改;通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;数据展示装置检索所述数据存储装置的信息并展示。本发明实施例通过设计合理的Host修改器,可以灵活方便的处理大量的日志文件,减少大量日志对于检索的困扰。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例基于Logstash的日志处理方法的流程图;
图2为本发明实施例基于Logstash的日志处理装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例基于Logstash的日志处理方法的流程图,如图1所示,本发明实施例的方法包括以下步骤:
步骤100:通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;
步骤101:通过Host修改器对所述日志信息的所述ip地址进行修改;
步骤102:通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;
步骤103:数据展示装置检索所述数据存储装置的信息并展示。
具体地,本发明实施例主要应用于Logstash-syslog的日志收集,通过本发明实施例的方法可以模拟syslog日志,并有效地修改来源主机的互联网协议(InternetProtocol,ip)地址。
本发明实施例技术方案的详细阐述如下:
本发明实施例包括syslog模拟器、Host修改器、数据存储装置和数据展示装置。其中,
syslog模拟器,模拟syslog标准协议发送到Logstash;
在发送Logstash前,经过Host修改器,修改后通过Logstash转发;
通过Logstash转发到数据存储装置,保存数据;
数据展示装置检索数据存储装置的信息并展示;
进一步地,所述方法还包括:
所述syslog模拟器在发送日志信息时,在信息message前加入主机Host的ip地址信息和特殊字符。
进一步地,所述方法还包括:
所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。
进一步地,所述方法还包括:
如果所述Host修改器检索到所述特殊字符,通过所述Logstash的函数进行Host的ip地址修改。
进一步地,所述方法还包括:
如果所述Host修改器检索不到所述特殊字符,则正常处理日志信息。
本发明实施例技术实现过程中,具体操作如下:
syslog模拟器,在发送日志信息时,在message前加入Host的ip地址信息和特殊字符;
Host修改器,检索是否包含所述特殊字符:
如果有所述特殊字符的话,进行Host的修改,通过Logstash的函数进行;
如果没有所述特殊字符的话,正常处理日志信息;
通过Logstash的转发,到数据存储器中,保存数据;
数据展示装置通过相应的方式,检索数据信息供用户查看。
本发明实施例使得日志保存、处理时,可以更加灵活地使用,减少大量日志对于检索的困扰。
本发明实施例通过设计合理的Host修改器,可以灵活方便的处理大量的日志文件。
图2为本发明实施例基于Logstash的日志处理装置的结构图,如图2所示,本发明实施例另一方面提供的一种基于Logstash的日志处理装置,包括:
syslog模拟器201,用于通过syslog模拟器201模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;
Host修改器202,用于通过所述Host修改器202对所述日志信息的所述ip地址进行修改;
数据存储装置203,用于通过所述Logstash将修改后的日志信息转发到数据存储装置203进行保存;
数据展示装置204,用于检索所述数据存储装置203的信息并展示。
进一步地,所述syslog模拟器201还用于:
所述syslog模拟器201在发送日志信息时,在信息message前加入主机Host的ip地址信息和特殊字符。
进一步地,所述Host修改器202还用于:
所述Host修改器202检索所述日志信息是否包含信息message前加入的所述特殊字符。
进一步地,所述Host修改器202还用于:
如果所述Host修改器202检索到所述特殊字符,通过所述Logstash的函数进行Host的ip地址修改。
进一步地,所述Host修改器202还用于:
如果所述Host修改器202检索不到所述特殊字符,则正常处理日志信息。
综上所述,本发明实施例的一种基于Logstash的修改Host的方法及装置包括syslog模拟器、Host修改器、数据存储装置和数据展示装置,通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;通过Host修改器对所述日志信息的所述ip地址进行修改;通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;数据展示装置检索所述数据存储装置的信息并展示。本发明实施例通过设计合理的Host修改器,可以灵活方便的处理大量的日志文件,减少大量日志对于检索的困扰。
由于在模拟syslog时,Logstash的存在Host数据的地方,记录的是syslog模拟器地址,这个时候就可以通过本发明实施例的方法修改这个地址。
本发明实施例应用于在大数据时代日志文件的数据量巨大的情况,日志处理时,设计Logstash合理的过滤器filter,通过修改Hosts地址,这样能够加快日志的处理速度,过滤多余的日志。
本发明实施例使得日志保存、处理时,可以更加灵活地使用,减少大量日志对于检索的困扰。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种基于Logstash的日志处理方法,其特征在于,包括:
通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;
通过Host修改器对所述日志信息的所述ip地址进行修改;
通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;
数据展示装置检索所述数据存储装置的信息并展示。
2.根据权利要求1所述的基于Logstash的日志处理方法,其特征在于,还包括:
所述syslog模拟器在发送日志信息时,在信息message前加入主机Host的ip地址信息和特殊字符。
3.根据权利要求2所述的基于Logstash的日志处理方法,其特征在于,还包括:
所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。
4.根据权利要求3所述的基于Logstash的日志处理方法,其特征在于,还包括:
如果所述Host修改器检索到所述特殊字符,通过所述Logstash的函数进行Host的ip地址修改。
5.根据权利要求3所述的基于Logstash的日志处理方法,其特征在于,还包括:
如果所述Host修改器检索不到所述特殊字符,则正常处理日志信息。
6.一种基于Logstash的日志处理装置,其特征在于,包括:
syslog模拟器,用于通过syslog模拟器模拟syslog标准协议,将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash;
Host修改器,用于通过所述Host修改器对所述日志信息的所述ip地址进行修改;
数据存储装置,用于通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存;
数据展示装置,用于检索所述数据存储装置的信息并展示。
7.根据权利要求6所述的基于Logstash的日志处理装置,其特征在于,所述syslog模拟器还用于:
所述syslog模拟器在发送日志信息时,在信息message前加入主机Host的ip地址信息和特殊字符。
8.根据权利要求7所述的基于Logstash的日志处理装置,其特征在于,所述Host修改器还用于:
所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。
9.根据权利要求8所述的基于Logstash的日志处理装置,其特征在于,所述Host修改器还用于:
如果所述Host修改器检索到所述特殊字符,通过所述Logstash的函数进行Host的ip地址修改。
10.根据权利要求8所述的基于Logstash的日志处理装置,其特征在于,所述Host修改器还用于:
如果所述Host修改器检索不到所述特殊字符,则正常处理日志信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810776985.5A CN108959054A (zh) | 2018-07-16 | 2018-07-16 | 一种基于Logstash的日志处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810776985.5A CN108959054A (zh) | 2018-07-16 | 2018-07-16 | 一种基于Logstash的日志处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108959054A true CN108959054A (zh) | 2018-12-07 |
Family
ID=64481216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810776985.5A Pending CN108959054A (zh) | 2018-07-16 | 2018-07-16 | 一种基于Logstash的日志处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108959054A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119235A (zh) * | 2007-09-20 | 2008-02-06 | 金蝶软件(中国)有限公司 | 一种在应用服务***中定位客户端的方法和*** |
JP2017033530A (ja) * | 2015-12-28 | 2017-02-09 | デジタル・アドバタイジング・コンソーシアム株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN107992398A (zh) * | 2017-12-22 | 2018-05-04 | 宜人恒业科技发展(北京)有限公司 | 一种业务***的监控方法和监控*** |
-
2018
- 2018-07-16 CN CN201810776985.5A patent/CN108959054A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119235A (zh) * | 2007-09-20 | 2008-02-06 | 金蝶软件(中国)有限公司 | 一种在应用服务***中定位客户端的方法和*** |
JP2017033530A (ja) * | 2015-12-28 | 2017-02-09 | デジタル・アドバタイジング・コンソーシアム株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN107992398A (zh) * | 2017-12-22 | 2018-05-04 | 宜人恒业科技发展(北京)有限公司 | 一种业务***的监控方法和监控*** |
Non-Patent Citations (7)
Title |
---|
FORZHENG: "ELK之方便的日志收集、搜索、展示工具", 《HTTPS://WWW.CNBLOGS.COM/FORZHENG/P/8284744.HTML》 * |
KAKA_JON: "ELK获取用户真实IP", 《HTTPS://WWW.CNBLOGS.COM/ZHAOJONJON/P/7294115.HTML》 * |
LNKTOKING: "ELK日志-logstash的tcp日志收集使用nginx反向代理之后获取真实的IP地址", 《HTTPS://BLOG.CSDN.NET/LNKTOKING/ARTICLE/DETAILS/79805670》 * |
QHLHELO: "Logstash收集多台设备的beats日志信息,如何添加多台源设备的源ip字段并输出到Elasticsearch?", 《HTTPS://WWW.CNBLOGS.COM/ZHAOJONJON/P/7294115.HTML》 * |
UPSHANG: "syslog记录的log IP为127.0.0.1,怎么记录实际IP?", 《HTTPS://BBS.CSDN.NET/TOPICS/392050553》 * |
WEIXIN_30443747: "Filebeat 如何区分不同日志来源", 《HTTPS://BLOG.CSDN.NET/WEIXIN_30443747/ARTICLE/DETAILS/95537417》 * |
ZIYOU: "logstash解析内网IP地址方案", 《HTTPS://ELASTICSEARCH.CN/QUESTION/4192》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10148675B1 (en) | Block-level forensics for distributed computing systems | |
US8898796B2 (en) | Managing network data | |
US20180255100A1 (en) | Automated service-oriented performance management | |
US9104785B2 (en) | Presenting unique search result contexts | |
CN111177779B (zh) | 数据库审计方法、其装置、电子设备及计算机存储介质 | |
CN104281808B (zh) | 一种通用的Android恶意行为检测方法 | |
CN106599691B (zh) | 一种基于复杂网络的计算机病毒传播求源方法 | |
US20150020054A1 (en) | Automated data collection, computation and reporting of content space coverage metrics for software products | |
CN111767573A (zh) | 数据库安全管理方法、装置、电子设备及可读存储介质 | |
CN106708859A (zh) | 一种资源访问行为的审计方法和装置 | |
CN110929128A (zh) | 一种数据爬取方法、装置、设备和介质 | |
CN107368568A (zh) | 一种笔记生成的方法、装置、设备和存储介质 | |
US8224997B2 (en) | Document source debugger | |
US20140157289A1 (en) | Hybrid platform-dependent simulation interface | |
CN115766184A (zh) | 一种网页数据处理方法、装置、电子设备及存储介质 | |
CN103023704B (zh) | 虚拟网络服务设备接入方法及*** | |
US9300677B2 (en) | Data security system | |
US20090164716A1 (en) | Adaptation of Contentious Storage Virtualization Configurations | |
US20120310893A1 (en) | Systems and methods for manipulating and archiving web content | |
JP2020021309A (ja) | 脆弱性管理システム及びプログラム | |
CA2788100C (en) | Crawling of generated server-side content | |
CN108959054A (zh) | 一种基于Logstash的日志处理方法和装置 | |
CN107766497A (zh) | 基于容器的数据收集的方法及终端 | |
WO2017092355A1 (zh) | 一种数据服务*** | |
CN115766540A (zh) | 一种网络流量诊断方法、***、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
RJ01 | Rejection of invention patent application after publication |