CN110134538B - 快速定位问题日志的方法、装置、介质和电子设备 - Google Patents

Abstract

本公开提供了一种快速定位问题日志方法、装置、介质和电子设备，方法包括：获取外部请求；响应所述外部请求，生成会话编号；基于所述会话编号，捕获异常；日志记录完整异常信息。本发明将日志关键信息记录留档并唯一会话编号标识一次完整的调用链条信息，因此能够让开发人员在排查问题时有日志可查，且能够快速定位到问题所在的同时提取到关键信息，进而能够快速找到问题根源做出响应，使得处理问题效率大大提高。

Description

快速定位问题日志的方法、装置、介质和电子设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种快速定位问题日志的方法、装置、介质和电子设备。

背景技术

在软件开发和线上运营中，遇到技术问题时，分析日志是主要的排查问题手段。但是日志排查有两个常见的问题：一，日志打印信息不完整，导致关键日志(如出错信息)缺失，难以找到问题根源；二，日志打印过多导致日志杂乱，难以快速找出完整的调用链，定位到问题所在。进而使得问题得不到快速响应解决，造成不必要的损失。

公开内容

本公开的目的在于提供一种快速定位问题日志的方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：

根据本公开的具体实施方式，第一方面，本公开提供一种快速定位问题日志的方法，其特征在于，包括：

获取外部请求；

响应所述外部请求，生成会话编号；

基于所述会话编号，捕获异常；

日志记录完整异常信息。

其中，所述获取外部请求具体包括：

使用统一切面切入软件***的所有外部请求。

其中，所述响应所述外部请求，生成会话编号具体包括：

响应所述外部请求，为所述外部请求生成一个唯一的会话编号。

其中，所述方法还包括：

将日志定时转存到磁盘文件留档。

其中，所述基于所述会话编号，捕获异常，日志记录完整异常信息具体包括：

根据所述会话编号，获取起始时间和外部请求的报文信息；

响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息；

捕获异常，日志记录完整异常信息。

其中，所述响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息之后，包括：

记录当前时间，计算所述当前时间和起始时间的时间差。

其中，所述日志定时转存到磁盘文件留档，包括：

日志按日、按文件大小存储到磁盘留档。

根据本公开的具体实施方式，第二方面，本公开提供一种快速定位问题日志的装置，包括：

切入单元，用于获取外部请求；

响应单元，用于响应所述外部请求，生成会话编号；

记录单元，用于根据所述会话编号日志记录完整异常信息。其中，所述切入单元，具体用于使用统一切面切入软件***的所有外部请求。

其中，所述响应单元，具体用于响应所述外部请求，为所述外部请求生成一个唯一的会话编号。

其中，所述记录单元，具体用于根据所述会话编号，捕获异常，日志记录完整异常信息；

其中，所述***还包括：存储单元，用于日志定时转存到磁盘文件留档。

可选的，所述记录单元还用于：

根据所述会话编号，获取起始时间和外部请求的报文信息；

响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息；

捕获异常，日志记录完整异常信息。

可选的，所述记录单元还用于：

记录当前时间，计算所述当前时间和起始时间的时间差。

可选的，所述存储单元还用于：

日志按日、按文件大小存储到磁盘留档。

根据本公开的具体实施方式，第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。

根据本公开的具体实施方式，第四方面，本公开提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的方法。

本公开实施例的上述方案与现有技术相比，至少具有以下有益效果：本发明将日志关键信息记录留档并唯一会话编号标识一次完整的调用链条信息，因此能够让开发人员在排查问题时有日志可查，且能够快速定位到问题所在的同时提取到关键信息，进而能够快速找到问题根源做出响应，使得处理问题效率大大提高。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本公开某一实施例的快速定位问题日志方法流程图；

图2示出了根据本公开另一实施例的快速定位问题日志方法流程图；

图3示出了根据本公开实施例的快速定位问题日志装置结构示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本公开实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本公开实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

下面结合附图详细说明本公开的可选实施例。

实施例1

如图1所示，根据本公开的某一具体实施方式，本公开提供一种快速定位问题日志的方法，包括如下步骤：

获取外部请求；

响应所述外部请求，生成会话编号；

基于所述会话编号，捕获异常；

日志记录完整异常信息。

其中，所述获取外部请求具体包括：

使用统一切面切入软件***的所有外部请求。

其中，所述响应所述外部请求，生成会话编号具体包括：

响应所述外部请求，为所述外部请求生成一个唯一的会话编号。

其中，所述方法还包括：

将日志定时转存到磁盘文件留档。

其中，所述基于所述会话编号，捕获异常，日志记录完整异常信息具体包括：

根据所述会话编号，获取起始时间和外部请求的报文信息；

响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息；

捕获异常，日志记录完整异常信息。

其中，所述响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息之后，包括：

记录当前时间，计算所述当前时间和起始时间的时间差。

其中，所述日志定时转存到磁盘文件留档，包括：

日志按日、按文件大小存储到磁盘留档。

实施例2

如图2所示，根据本公开的另一具体实施方式，本公开提供一种快速定位问题日志的方法，包括如下步骤：

S1：使用统一切面切入软件***的所有外部请求；

S2：响应所述外部请求，为所述外部请求生成一个唯一的会话编号；

S3：根据所述会话编号，捕获异常，日志记录完整异常信息；

可选的，所述根据所述会话编号，捕获异常，日志记录完整异常信息包括：

根据所述会话编号，获取起始时间和外部请求的报文信息；

响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息；

捕获异常，日志记录完整异常信息。

可选的，所述响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息之后，包括：

记录当前时间，计算所述当前时间和起始时间的时间差。

S4：日志定时转存到磁盘文件留档。

可选的，所述日志定时转存到磁盘文件留档，包括：

日志按日、按文件大小存储到磁盘留档。

具体实施方式如下：

首先，我们定义一个内部方法(即一个程序处理过程，一般这种方法都是提供一个完整的对外功能服务，如用户注册)执行的切面。具体可以使用Spring框架(java程序开发框架)的AOP(Aspect Oriented Programming面向切面编程)特性，定义一个切面，并定义需要切入的方法，然后编写一个方法A，使用注解@Around(Spring中注解)标注，这样便能在切入点(具体业务方法的执行)的前后切入内容，并控制何时执行切入点内容。而后，我们具体的操作都是在方法A中进行。

然后，我们将方法A分为四个部分，A1 A2 A3 A4。A1主要负责前期工作和记录请求的报录。A4主要负责在业务处理过程中的异常捕捉。

A1.(1)记录当前时间t1。

A1.(2)随机生成一个唯一会话编号sid，标记一次完整的调用链条。具体生成唯一标识的方法可以采用java自带的工具UUID.randomUUID()方法，随机生成一个36位的唯一数。如果对唯一数的生成性能和唯一性要求极高，可以考虑其他方法，如适用于分布式***下的雪花算法，此处不做延申说明。

A1.(3)将sid放入到MDC(Mapped Diagnostic Contexts，映射诊断上下文)中，用于跟踪完整的调用链条。MDC这里可以简单的理解为一个容器，把我们需要的信息装入到里面，在当前线程中的所有日志记录都会带上容器里面的信息。

A1.(4)使用日志框架，比如log4j，打印出完整的请求报文信息。要求格式清晰，易于阅读。比如：

方法UserService.register请求信息：

{"password":"password","userName":"helloword"}

A2.(1)处理原有的业务。因为使用的是aop，所以不关注具体业务是什么，都统一处理，得到各自业务的返回参数。

A3.(1)记录当前时间t2

A3.(2)使用日志框架，比如log4j，打印出完整的响应报文信息。并且计算出(t2-t1)作为完整调用链的执行时间(便于后续排查程序性能问题)。要求格式清晰，易于阅读。比如：

方法UserService.register返回信息总花费时间【12ms】

{"code":"E000001","success":"false","desc":"用户已存在，请勿重复注册！"}

A4.(1)将A1A2A3作为一个整体捕获异常，并在捕获到异常处打印完整的错误信息。这样做是为了不将后台程序不友好或者敏感的错误信息直接暴露给前端页面，同时也方便后端开发人员排查意料之外的问题。

接下来，我们考虑日志的留档问题。留档包含两个部分。一是日志的记录要全，通过上面的方法我们已经将详细的完整的日志信息输出。第二个是日志文件的持久化问题，目前常见的做法是写成文件存储到磁盘，按日按大小分文件存储。后续再借助ELK(ElasticSearch,Logstash,Kibana)等日志分析工具，多维度分析问题。

这样，完整的业务访问信息被记录，并且可通过匹配唯一关键字sid快速筛选出一次完整的调用链条，进而具体分析日志信息。大大节省了定位问题花费的时间。

本发明将日志关键信息记录留档并唯一会话编号标识一次完整的调用链条信息，因此能够让开发人员在排查问题时有日志可查，且能够快速定位到问题所在的同时提取到关键信息，进而能够快速找到问题根源做出响应，使得处理问题效率大大提高。

实施例2

根据本公开的具体实施方式，第二方面，本公开提供一种快速定位问题日志的装置，包括：

切入单元202，用于使用统一切面切入软件***的所有外部请求；

响应单元204，用于响应所述外部请求，为所述外部请求生成一个唯一的会话编号；

记录单元206，用于根据所述会话编号，捕获异常，日志记录完整异常信息；

存储单元208，用于日志定时转存到磁盘文件留档。

可选的，所述记录单元还用于：

根据所述会话编号，获取起始时间和外部请求的报文信息；

响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息；

捕获异常，日志记录完整异常信息。

可选的，所述记录单元还用于：

记录当前时间，计算所述当前时间和起始时间的时间差。

可选的，所述存储单元还用于：

日志按日、按文件大小存储到磁盘留档。

具体实施方式如下：

首先，我们定义一个内部方法(即一个程序处理过程，一般这种方法都是提供一个完整的对外功能服务，如用户注册)执行的切面。具体可以使用Spring框架(java程序开发框架)的AOP(Aspect Oriented Programming面向切面编程)特性，定义一个切面，并定义需要切入的方法，然后编写一个方法A，使用注解@Around(Spring中注解)标注，这样便能在切入点(具体业务方法的执行)的前后切入内容，并控制何时执行切入点内容。而后，我们具体的操作都是在方法A中进行。

然后，我们将方法A分为四个部分，A1 A2 A3 A4。A1主要负责前期工作和记录请求的报录。A4主要负责在业务处理过程中的异常捕捉。

A1.(1)记录当前时间t1。

A1.(2)随机生成一个唯一会话编号sid，标记一次完整的调用链条。具体生成唯一标识的方法可以采用java自带的工具UUID.randomUUID()方法，随机生成一个36位的唯一数。如果对唯一数的生成性能和唯一性要求极高，可以考虑其他方法，如适用于分布式***下的雪花算法，此处不做延申说明。

A1.(3)将sid放入到MDC(Mapped Diagnostic Contexts，映射诊断上下文)中，用于跟踪完整的调用链条。MDC这里可以简单的理解为一个容器，把我们需要的信息装入到里面，在当前线程中的所有日志记录都会带上容器里面的信息。

A1.(4)使用日志框架，比如log4j，打印出完整的请求报文信息。要求格式清晰，易于阅读。比如：

方法UserService.register请求信息：

{"password":"password","userName":"helloword"}

A2.(1)处理原有的业务。因为使用的是aop，所以不关注具体业务是什么，都统一处理，得到各自业务的返回参数。

A3.(1)记录当前时间t2

A3.(2)使用日志框架，比如log4j，打印出完整的响应报文信息。并且计算出(t2-t1)作为完整调用链的执行时间(便于后续排查程序性能问题)。要求格式清晰，易于阅读。比如：

方法UserService.register返回信息总花费时间【12ms】

{"code":"E000001","success":"false","desc":"用户已存在，请勿重复注册！"}

A4.(1)将A1A2A3作为一个整体捕获异常，并在捕获到异常处打印完整的错误信息。这样做是为了不将后台程序不友好或者敏感的错误信息直接暴露给前端页面，同时也方便后端开发人员排查意料之外的问题。

接下来，我们考虑日志的留档问题。留档包含两个部分。一是日志的记录要全，通过上面的方法我们已经将详细的完整的日志信息输出。第二个是日志文件的持久化问题，目前常见的做法是写成文件存储到磁盘，按日按大小分文件存储。后续再借助ELK(ElasticSearch,Logstash,Kibana)等日志分析工具，多维度分析问题。

这样，完整的业务访问信息被记录，并且可通过匹配唯一关键字sid快速筛选出一次完整的调用链条，进而具体分析日志信息。大大节省了定位问题花费的时间。

本发明将日志关键信息记录留档并唯一会话编号标识一次完整的调用链条信息，因此能够让开发人员在排查问题时有日志可查，且能够快速定位到问题所在的同时提取到关键信息，进而能够快速找到问题根源做出响应，使得处理问题效率大大提高。

实施例3

如图3所示，本实施例提供一种电子设备，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上实施例所述的方法步骤。

实施例4

本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行如上实施例所述的方法步骤。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

Claims (6)

1.一种快速定位问题日志的方法，其特征在于，包括：

获取外部请求；

响应所述外部请求，生成会话编号；

基于所述会话编号，捕获异常；

日志记录完整异常信息；

所述获取外部请求具体包括：

使用统一切面切入软件***的所有外部请求；

所述响应所述外部请求，生成会话编号具体包括：

响应所述外部请求，为所述外部请求生成一个唯一的会话编号；

所述基于所述会话编号，捕获异常，日志记录完整异常信息具体包括：

根据所述会话编号，获取起始时间和外部请求的报文信息；

响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息；

捕获异常，日志记录完整异常信息；

其中，使用统一切面切入软件***的所有外部请求具体包括：

定义一个内部方法执行的切面；使用Spring框架的AOP特性，定义一个切面，并定义需要切入的方法，然后编写一个方法A，使用注解@Around标注，以在切入点的前后切入内容，并控制何时执行切入点内容；

所述方法A分为四个部分，A1、A2、A3、A4；A1负责前期工作和记录请求的报录；A4负责在业务处理过程中的异常捕捉；

A1.(1)记录当前时间t1；

A1.(2)随机生成一个唯一会话编号sid，标记一次完整的调用链条；

A1.(3)将sid放入到MDC中，用于跟踪完整的调用链条；

A1.(4)使用日志框架；

A2.(1)处理原有的外部请求业务；

A3.(1)记录当前时间t2；

A3.(2)使用日志框架，打印出完整的响应报文信息，并且计算出(t2-t1)作为完整调用链的执行时间；

A4.(1)将A1、A2、A3作为一个整体捕获异常，并在捕获到异常处打印完整的错误信息；

快速定位问题日志的方法还包括：

将日志定时转存到磁盘文件留档。

2.如权利要求1所述的方法，其特征在于，所述响应外部请求的报文信息，使用日志框架，打印出完整的响应报文信息之后，包括：

记录当前时间，计算所述当前时间和起始时间的时间差。

3.如权利要求1所述的方法，其特征在于，所述将日志定时转存到磁盘文件留档，包括：

日志按日、按文件大小存储到磁盘留档。

4.一种用于实施权利要求1-3任一项所述方法的快速定位问题日志的装置，其特征在于，包括：

切入单元，用于获取外部请求；

响应单元，用于响应所述外部请求，生成会话编号；

记录单元，用于根据所述会话编号，使用日志记录完整异常信息。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至3中任一项所述的方法。

6.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至3中任一项所述的方法。

Images