CN111143304A - 一种基于请求链路的微服务***异常日志分析方法 - Google Patents

一种基于请求链路的微服务***异常日志分析方法 Download PDF

Info

Publication number
CN111143304A
CN111143304A CN202010127054.XA CN202010127054A CN111143304A CN 111143304 A CN111143304 A CN 111143304A CN 202010127054 A CN202010127054 A CN 202010127054A CN 111143304 A CN111143304 A CN 111143304A
Authority
CN
China
Prior art keywords
log
abnormal
exception
request
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010127054.XA
Other languages
English (en)
Other versions
CN111143304B (zh
Inventor
武鑫
吴小伟
刘浩杨
宋瑞国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Endpoint Network Technology Co Ltd
Original Assignee
Hangzhou Endpoint Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Endpoint Network Technology Co Ltd filed Critical Hangzhou Endpoint Network Technology Co Ltd
Publication of CN111143304A publication Critical patent/CN111143304A/zh
Application granted granted Critical
Publication of CN111143304B publication Critical patent/CN111143304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于请求链路的微服务***异常日志分析方法，具体步骤为：通过在Java Agent中根据请求ID关联日志、异常和调用链路信息；在数据分析模块中，对异常事件数据生成异常ID，根据异常ID进行异常的聚合，同时存储异常事件和请求ID的映射关系；在界面查询端，根据异常ID关联查询对应的调用日志和调用链路；在业务应用中输出异常日志；调用触发该异常的API接口，即能够收集和分析异常日志。本发明可以在同一个平台中检索和分析异常日志，异常、日志和调用链路的自动关联，能较快速的定位业务异常。

Description

一种基于请求链路的微服务***异常日志分析方法
技术领域
本发明属于PAAS和微服务治理***技术领域，具体涉及一种基于请求链路的微服务***异常日志分析方法。
背景技术
在大数据时代，企业的生产、销售、经营、管理逐渐由技术驱动转型为数据驱动，在这一过程中数据的重要性不言而喻。而在企业日常运行积累的海量数据中，日志是其中最易获得、覆盖面最广同时也是最有价值的数据之一。
日志指用户、服务器、网络设备、操作***、数据库、应用软件等产生的各类数据，它的核心概念是时序递增的事件序列。基于时间与事件这两个基本要素，我们可以在日志中追溯过去的记录、记录现在的状态、探寻未来的趋势，这就是日志所蕴含的价值。而异常日志是记录异常信息，以便于相关人员进行查看分析。
在微服务***中，异常日志分析一般需要搭建集中式日志分析平台，如ELK。当业务发生异常时，日志分析***只能以服务为维度进行查询，无法快速有效的分析请求链路上经过的所有服务的日志。同时，当***规模较大时，在日志分析平台快速查询出我们需要的异常日志的成本也会随之增大，除了分析结果不准确，也会带来日志分析平台较大的运维成本。因此，需要可以快速查询日志的方法。
发明内容
为了解决上述问题，本发明提供了一种基于请求链路的微服务***异常日志分析方法，可以快速的基于异常日志定位微服务***中的业务异常。
本发明的技术方案为：一种基于请求链路的微服务***异常日志分析方法，具体步骤为：
S1、通过在Java Agent中根据请求ID关联日志、异常和调用链路信息；
S2、在数据分析模块中，对异常事件数据生成异常ID，根据异常ID进行异常的聚合，同时存储异常事件和请求ID的映射关系；
S3、在界面查询端，根据异常ID关联查询对应的调用日志和调用链路；
S4、在业务应用中输出异常日志；
S5、调用触发该异常的API接口，即能够收集和分析异常日志。
作为优选，本发明异常ID的生成规则包括：项目ID、服务名称、异常文件和异常行号。
作为优选，通过在Java Agent中根据请求ID关联日志、异常和调用链路信息的实现方法为：
S101、拦截servlet在每次请求中生成唯一的请求ID，同时生成调用链路信息；
S102、拦截日志框架如logback、log4j，统一日志的输出格式；
S103、拦截异常日志，转换异常日志为结构化的异常事件数据。
作为优选，在Java Agent中根据请求ID关联日志、异常和调用链路信息的实现方法都是通过字节码重写技术进行的。
异常日志的输出方法有多种，作为优选，本发明在业务应用中使用log框架输出异常日志。
与现有技术相比，本发明的有益效果体现在：
本发明可以在同一个平台中检索和分析异常日志，异常、日志和调用链路的自动关联，能较快速的定位业务异常。
附图说明
图1为本发明的示意图(日志控制台中关联的请求ID)。
图2为本发明的示意图(基于请求ID检索请求中经过的每个服务日志)。
图3为本发明的示意图(异常日志聚合查询列表)。
图4为本发明的示意图(异常日志详情)。
图5为本发明的示意图(异常日志相关联的请求链路日志)。
图6为本发明的示意图(异常日志相关联的调用链路)。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例1
本实施例1的具体步骤为：
步骤1、通过在Java Agent中根据请求ID关联日志、异常和调用链路信息，如图1、图2所示；
步骤2、在数据分析模块中，对异常事件数据生成异常ID，如图3所示，根据异常ID进行异常的聚合，同时存储异常事件和请求ID的映射关系；
步骤3、在界面查询端，根据异常ID关联查询对应的调用日志和调用链路；
步骤4、在业务应用中使用log框架输出异常日志；
步骤5、调用触发该异常的API接口，即能够收集和分析异常日志，异常日志详情如图4所示。
本实施例中，异常ID的生成规则为：项目ID+服务名称+异常文件+异常行号。
其中，实现步骤1的具体实施方式包括：
步骤101、通过字节码重写技术，拦截servlet在每次请求中生成唯一的请求ID，同时生成调用链路信息，如图5、图6所示；
步骤102、通过字节码重写技术，拦截日志框架如logback、log4j，统一日志的输出格式；
步骤103、通过字节码重写技术，拦截异常日志，转换异常日志为结构化的异常事件数据。

Claims (5)

1.一种基于请求链路的微服务***异常日志分析方法，其特征在于，具体步骤为：
S1、通过在Java Agent中根据请求ID关联日志、异常和调用链路信息；
S2、在数据分析模块中，对异常事件数据生成异常ID，根据异常ID进行异常的聚合，同时存储异常事件和请求ID的映射关系；
S3、在界面查询端，根据异常ID关联查询对应的调用日志和调用链路；
S4、在业务应用中输出异常日志；
S5、调用触发该异常的API接口，即能够收集和分析异常日志。
2.根据权利要求1所述的一种基于请求链路的微服务***异常日志分析方法，其特征在于，所述异常ID的生成规则包括：项目ID、服务名称、异常文件和异常行号。
3.根据权利要求1所述的一种基于请求链路的微服务***异常日志分析方法，其特征在于，所述步骤S1的实现方法为：
S101、拦截servlet在每次请求中生成唯一的请求ID，同时生成调用链路信息；
S102、拦截日志框架，统一日志的输出格式；
S103、拦截异常日志，转换异常日志为结构化的异常事件数据。
4.根据权利要求1或3所述的一种基于请求链路的微服务***异常日志分析方法，其特征在于，所述步骤S1的实现方法是通过字节码重写技术进行的。
5.根据权利要求1所述的一种基于请求链路的微服务***异常日志分析方法，其特征在于，所述异常日志使用log框架输出。
CN202010127054.XA 2019-11-20 2020-02-28 一种基于请求链路的微服务***异常日志分析方法 Active CN111143304B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911140542 2019-11-20
CN2019111405428 2019-11-20

Publications (2)

Publication Number Publication Date
CN111143304A true CN111143304A (zh) 2020-05-12
CN111143304B CN111143304B (zh) 2023-09-29

Family

ID=70528306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010127054.XA Active CN111143304B (zh) 2019-11-20 2020-02-28 一种基于请求链路的微服务***异常日志分析方法

Country Status (1)

Country Link
CN (1) CN111143304B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522682A (zh) * 2020-06-22 2020-08-11 上海通联金融服务有限公司 基于敏感信息规则在日志写入阶段完成日志脱敏的方法
CN112422335A (zh) * 2020-11-10 2021-02-26 普元信息技术股份有限公司 技术中台中基于微服务架构实现业务链路分析的方法、***、装置及存储介质
CN114461511A (zh) * 2020-11-09 2022-05-10 深圳思为科技有限公司 链路跟踪方法、装置、设备以及计算机可读存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339529A1 (en) * 2011-02-26 2013-12-19 British Telecommunications Public Limited Company Service session resource management
US20150106659A1 (en) * 2013-10-15 2015-04-16 Oracle International Corporation Monitoring and diagnostics of business transaction failures
US9223672B1 (en) * 2013-09-24 2015-12-29 Intuit Inc. Method and system for providing error repair status data to an application user
CN105207806A (zh) * 2015-08-20 2015-12-30 百度在线网络技术（北京）有限公司 分布式服务的监控方法及装置
CN106100913A (zh) * 2016-08-25 2016-11-09 北京票之家科技有限公司 错误信息定位***及方法
CN106682119A (zh) * 2016-12-08 2017-05-17 杭州销冠网络科技有限公司 基于http服务切面与日志***的异步数据同步方法和***
US20170315854A1 (en) * 2016-04-29 2017-11-02 Vmware, Inc. Error determination from logs
CN107678933A (zh) * 2017-09-28 2018-02-09 中国平安人寿保险股份有限公司 日志生成管理方法、装置、设备及计算机可读存储介质
WO2018045756A1 (zh) * 2016-09-06 2018-03-15 华为技术有限公司 故障定位平台、故障定位方法及装置
US10078579B1 (en) * 2015-06-26 2018-09-18 Amazon Technologies, Inc. Metrics-based analysis for testing a service
CN108933695A (zh) * 2018-06-25 2018-12-04 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN109086158A (zh) * 2018-08-29 2018-12-25 腾讯科技（深圳）有限公司 一种异常原因分析方法、装置及服务器
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法
US20190034253A1 (en) * 2017-07-31 2019-01-31 Oracle International Corporation System and method of providing post error analysis for instances of applications in cloud service environments on a per user basis
CN109597799A (zh) * 2018-11-05 2019-04-09 北京百度网讯科技有限公司 问题定位方法及装置、计算机设备、存储介质
CN109947641A (zh) * 2019-02-20 2019-06-28 北京百佑科技有限公司 自动化测试方法及装置
JP2019125321A (ja) * 2018-01-19 2019-07-25 日本電気株式会社 通信ログ記録装置、通信ログ記録方法、および、通信ログ記録プログラム
CN110245035A (zh) * 2019-05-20 2019-09-17 平安普惠企业管理有限公司 一种链路跟踪方法及装置
US20190296985A1 (en) * 2018-03-26 2019-09-26 Omron Corporation Management device, management method, and recording medium
CN110427299A (zh) * 2019-07-19 2019-11-08 腾讯科技（深圳）有限公司 微服务***应用的日志处理方法、相关设备及***

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339529A1 (en) * 2011-02-26 2013-12-19 British Telecommunications Public Limited Company Service session resource management
US9223672B1 (en) * 2013-09-24 2015-12-29 Intuit Inc. Method and system for providing error repair status data to an application user
US20150106659A1 (en) * 2013-10-15 2015-04-16 Oracle International Corporation Monitoring and diagnostics of business transaction failures
US10078579B1 (en) * 2015-06-26 2018-09-18 Amazon Technologies, Inc. Metrics-based analysis for testing a service
CN105207806A (zh) * 2015-08-20 2015-12-30 百度在线网络技术（北京）有限公司 分布式服务的监控方法及装置
US20170315854A1 (en) * 2016-04-29 2017-11-02 Vmware, Inc. Error determination from logs
CN106100913A (zh) * 2016-08-25 2016-11-09 北京票之家科技有限公司 错误信息定位***及方法
WO2018045756A1 (zh) * 2016-09-06 2018-03-15 华为技术有限公司 故障定位平台、故障定位方法及装置
CN106682119A (zh) * 2016-12-08 2017-05-17 杭州销冠网络科技有限公司 基于http服务切面与日志***的异步数据同步方法和***
US20190034253A1 (en) * 2017-07-31 2019-01-31 Oracle International Corporation System and method of providing post error analysis for instances of applications in cloud service environments on a per user basis
CN107678933A (zh) * 2017-09-28 2018-02-09 中国平安人寿保险股份有限公司 日志生成管理方法、装置、设备及计算机可读存储介质
JP2019125321A (ja) * 2018-01-19 2019-07-25 日本電気株式会社 通信ログ記録装置、通信ログ記録方法、および、通信ログ記録プログラム
US20190296985A1 (en) * 2018-03-26 2019-09-26 Omron Corporation Management device, management method, and recording medium
CN108933695A (zh) * 2018-06-25 2018-12-04 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法
CN109086158A (zh) * 2018-08-29 2018-12-25 腾讯科技（深圳）有限公司 一种异常原因分析方法、装置及服务器
CN109597799A (zh) * 2018-11-05 2019-04-09 北京百度网讯科技有限公司 问题定位方法及装置、计算机设备、存储介质
CN109947641A (zh) * 2019-02-20 2019-06-28 北京百佑科技有限公司 自动化测试方法及装置
CN110245035A (zh) * 2019-05-20 2019-09-17 平安普惠企业管理有限公司 一种链路跟踪方法及装置
CN110427299A (zh) * 2019-07-19 2019-11-08 腾讯科技（深圳）有限公司 微服务***应用的日志处理方法、相关设备及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张振;刘俊艳;: "基于微服务架构的日志监控***的设计与实现", 软件, no. 11 *
陆杰;李丰;李炼;: "分布式***中的日志分析及应用", 高技术通讯, no. 04 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522682A (zh) * 2020-06-22 2020-08-11 上海通联金融服务有限公司 基于敏感信息规则在日志写入阶段完成日志脱敏的方法
CN114461511A (zh) * 2020-11-09 2022-05-10 深圳思为科技有限公司 链路跟踪方法、装置、设备以及计算机可读存储介质
CN112422335A (zh) * 2020-11-10 2021-02-26 普元信息技术股份有限公司 技术中台中基于微服务架构实现业务链路分析的方法、***、装置及存储介质

Also Published As

Publication number Publication date
CN111143304B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN112612675B (zh) 微服务架构下的分布式大数据日志链路跟踪方法及***
CN111143304B (zh) 一种基于请求链路的微服务***异常日志分析方法
US8135827B2 (en) Distributed capture and aggregation of dynamic application usage information
CN111176879A (zh) 设备的故障修复方法及装置
WO2019006654A1 (zh) 金融自助设备维修派单生成方法、手持终端及电子设备
US10915510B2 (en) Method and apparatus of collecting and reporting database application incompatibilities
CN111259073A (zh) 基于日志、流量和业务访问的业务***运行状态智能研判***
CN110162365B (zh) 一种自动操作sap业务软件的方法和***
CN110351131B (zh) 一种用于分布式链路的监控方法、装置和电子设备
CN107463490B (zh) 一种应用于平台开发中的集群日志集中收集方法
US20020026433A1 (en) Knowledge system and methods of business alerting and business analysis
CN116719664A (zh) 基于微服务部署的应用和云平台跨层故障分析方法及***
CN115220995A (zh) 一种基于agent探针的微服务全链路分析方法
CN107153679B (zh) 一种针对半结构化大数据的提取统计方法及***
CN106789335B (zh) 一种用于处理信息的方法和***
CN110297748A (zh) 一种定位调用出错的方法、装置和计算机可读存储介质
WO2010005154A1 (ko) 원자력발전소의 신뢰도 데이터를 생산하는 방법
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN112214459A (zh) 基于事件机制的资源处理流程日志收集***
CN110011845B (zh) 日志采集方法及***
CN114090529A (zh) 一种日志管理方法、装置、***和存储介质
CN111737242A (zh) 一种监控海量数据处理过程的方法
CN112506920A (zh) 一种多金融***的信息统一收集监控方法及***
CN117194176B (zh) 非侵入式运行监测方法、装置、电子设备及存储介质
CN115296976B (zh) 物联网设备故障检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant