CN111159590A - 一种基于前后端业务调用链路的串联方法及装置 - Google Patents

Abstract

本发明公开了一种基于前后端业务调用链路的串联方法，预先在前端页面进行定制化埋点，包括：当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。上述的串联方法中，实现了由前端页面到后端的数据收集器的链路串联。

Description

一种基于前后端业务调用链路的串联方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于前后端业务调用链路的串联方法及装置。

背景技术

现有应用程序性能管理APM(Applicaton Performance Management)主要是针对后端应用链路串联，对前端业务监控基本是空白的，即使存在前端监控，前端的监控主要针对单个页面，无法按照业务区分。

针对APM前端的业务操作加后端的应用链路，串联后形成完成的业务链路，缺少一种基于前后端业务调用链路的串联方法可以实现全链路的分析和监控。

发明内容

有鉴于此，本发明提供了一种基于前后端业务调用链路的串联方法及装置，用以解决针对APM前端的业务操作加后端的应用链路，串联后形成完成的业务链路，缺少一种基于前后端业务调用链路的串联方法可以实现全链路的分析和监控的问题。具体方案如下：

一种基于前后端业务调用链路的串联方法，预先在前端页面进行定制化埋点，包括：

当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；

将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；

将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；

在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。

上述的方法，可选的，将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给所述数据收集器，包括：

将所述链路数据传递给后端的业务应用，所述业务应用通过java agent机制将所述链路信息通过UDP方式传递给所述数据收集器进行存储，和；

所述行为数据、所述性能数据和所述异常数据直接传递给所述数据收集器。

上述的方法，可选的，还包括：

获取模板语法；

将所述模板语法通过cookie的方式传递给后端的业务应用；

所述业务应用通过java agent机制将所述模板语法通过UDP方式传递给所述数据收集器进行存储。

上述的方法，可选的，还包括：

在所述数据收集器中将所述行为数据、所述性能数据和所述异常数据通过发布-订阅模式进行存储指第一数据库中；

在所述数据收集器中将所述链路数据存储至第二数据库中。

上述的方法，可选的，在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据，包括：

解析所述检索指令中包含的关键词；

依据所述关键确定目标数据库，其中，所述目标数据库是所述第一数据库和第二数据库中的至少一个；

在所述目标数据库中查找与所述关键词匹配的目标数据。

一种基于前后端业务调用链路的串联装置，预先在前端页面进行定制化埋点，包括：

生成模块，用于当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；

添加模块，用于将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；

第一传递模块，用于将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；

匹配模块，用于在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。

上述的装置，可选的，所述第一传递模块包括：

第一传递单元，用于将所述链路数据传递给后端的业务应用，所述业务应用通过java agent机制将所述链路信息通过UDP方式传递给所述数据收集器进行存储，和；

第二传递单元，用于所述行为数据、所述性能数据和所述异常数据直接传递给所述数据收集器。

上述的装置，可选的，还包括：

获取模块，用于获取模板语法；

第二传递模块，用于将所述模板语法通过cookie的方式传递给后端的业务应用；

传递和存储模块，用于所述业务应用通过java agent机制将所述模板语法通过UDP方式传递给所述数据收集器进行存储。

上述的装置，可选的，还包括：

第一存储模块，用于在所述数据收集器中将所述行为数据、所述性能数据和所述异常数据通过发布-订阅模式进行存储指第一数据库中；

第二存储模块，用于在所述数据收集器中将所述链路数据存储至第二数据库中。

上述的装置，可选的，所述匹配模块包括：

解析单元，用于解析所述检索指令中包含的关键词；

确定单元，用于依据所述关键确定目标数据库，其中，所述目标数据库是所述第一数据库和第二数据库中的至少一个；

查找单元，用于在所述目标数据库中查找与所述关键词匹配的目标数据。

与现有技术相比，本发明包括以下优点：

本发明公开了一种基于前后端业务调用链路的串联方法，预先在前端页面进行定制化埋点，包括：当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。上述的串联方法中，实现了由前端页面到后端的数据收集器的链路串联。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种基于前后端业务调用链路的串联方法流程图；

图2为本申请实施例公开的一种基于前后端业务调用链路的串联方法又一方法流程图；

图3为本申请实施例公开的一种基于前后端业务调用链路的串联方法实现流程示意图；

图4为本申请实施例公开的一种基于前后端业务调用链路的串联装置结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种基于前后端业务调用链路的串联方法及装置，应用在业务操作端到端的监控过程中，现有的APM主要是针对后端应用链路串联，对前端业务监控基本是空白的，特别是前端的业务操作加后端的应用链路，串联后形成完成的业务链路，可以实现全链路的分析和监控。本发明实施例中，通过无损java探针，收集应用***后端远程服务调用链路，通过前端页面定制化埋点，实现前端页面界面操作的监控，通过定制化方式，实现前端业务操作和后端业务服务链路的串联。其中，所述定制化埋点包括：在前端页面进行js埋点，包括：行为信息、性能信息和异常信息，在后端业务应用进行Java agent埋点。所述串联方法的执行流程如图1所示，包括步骤：

S101、当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；

本发明实施例中，所述前端页面包含多个业务，所述目标业务为所述前端页面正在打开的业务，所述前端页面可以为浏览器，所述全局标识用于区分不同的业务，优选的，所述全局标识可以为traced，例如：检测到前端页面点击目标业务菜单开始，生成全局的traceId。

S102、将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；

本发明实施例中，通过将所述全局标识附加到URL上，保证所述目标业务所有页面都带有所述全局标识traceId，在点击所述目标业务时，会触发所述前端页面的js埋点，实现将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据，其中，所述链路数据、所述行为数据、所述性能数据和所述异常数据由数据采集模块采集得到。

S103、将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；

本发明实施例中，针对所述链路数据，将所述链路数据传递给后端的业务应用，所述业务应用通过java agent机制将所述链路信息通过UDP方式传递给所述数据收集器进行存储，其中，所述业务应用包含至少一个java agent，java agent之间的后端服务调用数据也会传递至所述数据收集器。针对所述行为数据、所述性能数据和所述异常数据，通过所述Restful接口直接将所述行为数据、所述性能数据和所述异常数据传递给所述数据收集器。

进一步的，在所述数据收集器中将所述行为数据、所述性能数据和所述异常数据通过发布-订阅模式进行存储指第一数据库中，执行流程如下：将所述行为数据、所述性能数据和所述异常数据通过kafka平台进行处理后，用过kafka Connect将其存储至第一数据库中，kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者在前端页面中所有动作流数据。在所述数据收集器中将所述链路数据存储至第二数据库中，所述第二数据库可以为Hbase数据库。

S104、在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。

本发明实施例中，通过检索服务器输入检索指令，在所述数据收集器接收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。优选的，所述检索服务器为ElasticSearch，所述ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。

优选的，将所述目标数据进行展示，展示的内容包括：全链路串联。业务办理耗时分析、操作行为分析、错误问题分析和性能问题分析。通过全局的traceId串联，可以对***的性能/易用性等方面提出优化意见。

本发明公开了一种基于前后端业务调用链路的串联方法，预先在前端页面进行定制化埋点，包括：当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。上述的串联方法中，实现了由前端页面到后端的数据收集器的链路串联。

本发明实施例中，在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据的执行流程如图2所示，包括步骤：

S201、解析所述检索指令中包含的关键词；

本发明实施例中，解析所述检索指令，获取所述检索指令中包含的关键词，所述关键词至少为一个，例如所述关键词可以为数据的类型，日期或者名称等关键词。

S202、依据所述关键确定目标数据库，其中，所述目标数据库是所述第一数据库和第二数据库中的至少一个。

本发明实施例中，获取所述第一数据库和所述第二数据库中的对应标识，遍历所述关键词，将所述关键词与所述对应的标识进行比较，将与所述关键词匹配的标识对应的数据库作为所述目标数据库。

S203、在所述目标数据库中查找与所述关键词匹配的目标数据。

本发明实施例中，遍历所述目标数据，依据所述关键词查找与所述关键词匹配的目标数据，所述目标数据可能存在多个，但各个目标数据与所述关键词的相似度不同。优选的，依据匹配度由高到低的顺序将所述目标数据进行展示。

本发明实施例中，基于上述的串联方法的实现流程示意图如图3所示，其中，

(1)操作链路起于前端页面：前端页面打开某个业务菜单的时候，就生成链路的traceId，监控开始于前端页面。

(2)模板语法自定义业务和操作步骤等：通过html标签里增加属性的方式，来定义模版语法，明确我们的业务，操作步骤等，实现前端业务监控。

(3)前后端统一链路traceId：前端链路的traceId，通过cookie的方式，在链路请求后台的时候，传递到后端，和后端的链路串联。

(4)行为性能分析：通过对业务办理耗时，来分析办理最耗时的业务，明确流程上是否可以优化；通过行为分析，分析用户页面操作轨迹，分析前端页面布局或者操作逻辑是否有不合理的，进行优化。

本发明实施例中，业务监控起于前端页面，生成统一的链路traceId，在前端页面操作以及后端请求之间串联，实现全链路的串联。通过行为分析，性能分析，对以后的性能及易用性提供改造依据和方案。

基于上述的一种基于前后端业务调用链路的串联方法，本发明实施例中，提供了一种基于前后端业务调用链路的串联装置，所述串联装置的结构框图如图4所示，预先在前端页面进行定制化埋点，包括：

生成模块301、添加模块302、第一传递模块303和匹配模块304。

其中，

所述生成模块301，用于当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；

所述添加模块302，用于将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；

所述第一传递模块303，用于将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；

所述匹配模块304，用于在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。

本发明公开了一种基于前后端业务调用链路的串联装置，预先在前端页面进行定制化埋点，包括：当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。上述的串联装置中，实现了由前端页面到后端的数据收集器的链路串联。

本发明实施例中，所述第一传递模块包括：

第一传递单元305和第二传递单元306。

其中，

所述第一传递单元305，用于将所述链路数据传递给后端的业务应用，所述业务应用通过java agent机制将所述链路信息通过UDP方式传递给所述数据收集器进行存储，和；

所述第二传递单元306，用于所述行为数据、所述性能数据和所述异常数据直接传递给所述数据收集器。

本发明实施例中，所述串联装置还包括：

获取模块307、第二传递模块308和传递和存储模块309。

其中，

所述获取模块307，用于获取模板语法；

所述第二传递模块308，用于将所述模板语法通过cookie的方式传递给后端的业务应用；

所述传递和存储模块309，用于所述业务应用通过java agent机制将所述模板语法通过UDP方式传递给所述数据收集器进行存储。

本发明实施例中，所述串联装置还包括：

第一存储模块310和第二存储模块311。

其中，

所述第一存储模块310，用于在所述数据收集器中将所述行为数据、所述性能数据和所述异常数据通过发布-订阅模式进行存储指第一数据库中；

所述第二存储模块311，用于在所述数据收集器中将所述链路数据存储至第二数据库中。

本发明实施例中，所述匹配模块304包括：

解析单元312、确定单元313和查找单元314。

其中，

所述解析单元312，用于解析所述检索指令中包含的关键词；

所述确定单元313，用于依据所述关键确定目标数据库，其中，所述目标数据库是所述第一数据库和第二数据库中的至少一个。

所述查找单元314，用于在所述目标数据库中查找与所述关键词匹配的目标数据。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种基于前后端业务调用链路的串联方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于前后端业务调用链路的串联方法，其特征在于，预先在前端页面进行定制化埋点，包括：

当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；

将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；

将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；

在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。

2.根据权利要求1所述的方法，其特征在于，将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给所述数据收集器，包括：

将所述链路数据传递给后端的业务应用，所述业务应用通过java agent机制将所述链路信息通过UDP方式传递给所述数据收集器进行存储，和；

所述行为数据、所述性能数据和所述异常数据直接传递给所述数据收集器。

3.根据权利要求1所述的方法，其特征在于，还包括：

获取模板语法；

将所述模板语法通过cookie的方式传递给后端的业务应用；

所述业务应用通过java agent机制将所述模板语法通过UDP方式传递给所述数据收集器进行存储。

4.根据权利要求1所述的方法，其特征在于，还包括：

在所述数据收集器中将所述行为数据、所述性能数据和所述异常数据通过发布-订阅模式进行存储指第一数据库中；

在所述数据收集器中将所述链路数据存储至第二数据库中。

5.根据权利要求4所述的方法，其特征在于，在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据，包括：

解析所述检索指令中包含的关键词；

依据所述关键确定目标数据库，其中，所述目标数据库是所述第一数据库和第二数据库中的至少一个；

在所述目标数据库中查找与所述关键词匹配的目标数据。

6.一种基于前后端业务调用链路的串联装置，其特征在于，预先在前端页面进行定制化埋点，包括：

生成模块，用于当检测到前端页面点击目标业务的链接时，生成与所述目标业务匹配全局标识；

添加模块，用于将所述全局标识添加到与所述目标业务对应的链路数据、行为数据、性能数据和异常数据；

第一传递模块，用于将所述链路数据、所述行为数据、所述性能数据和所述异常数据传递给后端的数据收集器；

匹配模块，用于在所述数据收集器收到检索指令时，依据所述检索指令在所述链路数据、所述行为数据、所述性能数据和所述异常数据中匹配目标数据。

7.根据权利要求6所述的装置，其特征在于，所述第一传递模块包括：

第一传递单元，用于将所述链路数据传递给后端的业务应用，所述业务应用通过javaagent机制将所述链路信息通过UDP方式传递给所述数据收集器进行存储，和；

第二传递单元，用于所述行为数据、所述性能数据和所述异常数据直接传递给所述数据收集器。

8.根据权利要求6所述的装置，其特征在于，还包括：

获取模块，用于获取模板语法；

第二传递模块，用于将所述模板语法通过cookie的方式传递给后端的业务应用；

传递和存储模块，用于所述业务应用通过java agent机制将所述模板语法通过UDP方式传递给所述数据收集器进行存储。

9.根据权利要求6所述的装置，其特征在于，还包括：

第一存储模块，用于在所述数据收集器中将所述行为数据、所述性能数据和所述异常数据通过发布-订阅模式进行存储指第一数据库中；

第二存储模块，用于在所述数据收集器中将所述链路数据存储至第二数据库中。

10.根据权利要求9所述的装置，其特征在于，所述匹配模块包括：

解析单元，用于解析所述检索指令中包含的关键词；

确定单元，用于依据所述关键确定目标数据库，其中，所述目标数据库是所述第一数据库和第二数据库中的至少一个；

查找单元，用于在所述目标数据库中查找与所述关键词匹配的目标数据。

Images