CN108205486A - 一种基于机器学习的智能分布式调用链跟踪方法 - Google Patents

Abstract

本发明涉及智能分布式***的跟踪处理方法技术领域，尤其是一种基于机器学习的智能分布式调用链跟踪方法，包括如下步骤：调用链数据的生成；调用链数据采集；调用链数据存储及查询，对采集到的数据进行存储；日志存储及查询；根据机器学习，通过概率计算，不断完善模型，完成单PV预测告警功能，提供各种阀值警告功能，基于机器学习的该算法，有效的解决了产生问题的日志无法追踪问题，同时也解决了当大规模复杂异常时，抽样个别PV的定位，容易以偏概全，缺少汇聚回归问题。

Description

一种基于机器学习的智能分布式调用链跟踪方法

技术领域

本发明涉及智能分布式***的跟踪处理方法技术领域，尤其是一种基于机器学习的智能分布式调用链跟踪方法。

背景技术

随着分布式服务架构的流行，特别是微服务等设计理念在***中的应用，业务的调用链越来越复杂，从最初的集中式架构到分布式架构，到微服务架构，可以看到，随着服务的拆分，***的模块变得越来越多，不同的模块可能由不同的团队维护，一个请求可能会涉及到几十个服务的协同处理，牵扯到多个团队的业务***，现有的方案一般是采用在关键的***上面收集零散的日志，由于是跨***，日志之间很难有关联，导致出了问题之后，很难定位到根因，各个***日志没有统一的唯一标识，没有办法跟踪某一次调用的具体实例。在没办法修改原有***日志的情况下，很难跟踪到问题，现有的分布式调用链在解决单次调用问题的时候具有以下缺点：大规模复杂异常时，抽样个别PV的定位，容易以偏概全，缺少汇聚回归；受限于人工分析，速率通常在分钟级每PV；依赖与人工经验；丢失了时间轴上的因果关系。

发明内容

本发明要解决的技术问题是：为了解决现有分布式***调用时候产生问题的日志无法追踪并且当大规模复杂异常时，抽样个别PV的定位，容易以偏概全，缺少汇聚回归问题，本发明提供了一种基于机器学习的智能分布式调用链跟踪方法，调用链数据的生成；调用链数据采集；调用链数据存储及查询，对采集到的数据进行存储；日志存储及查询；根据机器学习，通过概率计算，不断完善模型，完成单PV预测告警功能，提供各种阀值警告功能，基于机器学习的算法，有效的解决了产生问题的日志无法追踪问题，同时也解决了当大规模复杂异常时，抽样个别PV的定位，容易以偏概全，缺少汇聚回归问题。

本发明解决其技术问题所采用的技术方案是：

一种基于机器学习的智能分布式调用链跟踪方法，包括如下具体步骤：

1)调用链数据的生成，对整个调用过程的所有应用进行埋点并输出日志；

2)调用链数据采集，对各个应用中的日志数据进行采集；

3)调用链数据存储及查询，对采集到的数据进行存储；

4)日志存储及查询，对采集到的日志数据进行各种指标运算，将运算结果保存起来；

5)根据机器学习，通过概率计算，不断完善模型，完成单PV预测告警功能，提供各种阀值警告功能；

其中，步骤1)中通过AGENT生成调用链日志；步骤2)中通过logstash采集日志到kafka；步骤3)中kafka负责提供数据给下游消费；步骤4)中通过storm计算汇聚指标结果并落到opentsdb；storm抽取trace数据并落到ElasticSearch；步骤5)中利用GBDT单PV根因预测模型，采用大量日志进行模型训练。

进一步地，所述GBDT单PV根因预测模型包括对单PV日志数据进行扁平化特征提取、单个PV根因进行分析、根据根因预测的概率进行根因结果入库以及进行模型训练。

进一步地，通过所述ElasticSearch查询到以TRACEID为全局唯一标识符的单个PV数据。

进一步地，在日志输出中，采用异步队列写日志。

具体地，在调用链数据输出上，根据TRACEID中的顺序数进行采样。

具体地，所述采样采用100％采样、固定阈值采样、限速采样、异常优先采样和个性化采样相结合的方式，其中，个性化采样是按用户ID、入口IP、应用、调用链入口以及业务标识相应的配置开启采样。

本发明的有益效果是：

(1)本发明提供了一种基于机器学习的智能分布式调用链跟踪方法，包括如下步骤：调用链数据的生成；调用链数据采集；调用链数据存储及查询，对采集到的数据进行存储；日志存储及查询；根据机器学习，通过概率计算，不断完善模型，完成单PV预测告警功能，提供各种阀值警告功能，基于机器学习的该算法，有效的解决了产生问题的日志无法追踪问题，同时也解决了当大规模复杂异常时，抽样个别PV的定位，容易以偏概全，缺少汇聚回归问题；通过所述ElasticSearch查询到以TRACEID为全局唯一标识符的单个PV数据；

(2)在生产***的服务上面植入Agent，通过Java Instrumentation的特性，利用Java Agent在应用运行的时候进行字节码修改，无需开发人员改动代码，即可将监控代码自动注入到需要采集性能和业务数据的位置，来实现应用内探针的部署，到方法的监控，通过输入日志全球唯一描述符，把***的日志全量收集回来，通过全球唯一描述符把某一个PV在全***各个模块，或者跨***所经历的所有过程，细节，每一个模块输入，输出，状态，错误收集汇拢在一起，我们即可以通过这一个全球唯一描述符下的所有日志来复现这个pv在各个***中的流转情况，来判断这个PV的具体错误，定位这个PV的问题；同时为了解决单次调用的缺点，采用机器学习技术，不断丰富模型知识，提高高并发下单PV根因的准确全面的原因；

(3)低侵入性：无需修改原业务代码，减少开发负担；低损耗性：配置采样率，异步批量产生日志；准确性提高：基于机器学习的算法，提高高并发下单PV根因的准确性，全面性；时效性：从日志的产生，到收集计算采用异步批量方式，增加时效性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的主要架构图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

一种基于机器学习的智能分布式调用链跟踪方法，包括如下具体步骤：

1)调用链数据的生成，对整个调用过程的所有应用进行埋点并输出日志；

2)调用链数据采集，对各个应用中的日志数据进行采集；

3)调用链数据存储及查询，对采集到的数据进行存储；

4)日志存储及查询，对采集到的日志数据进行各种指标运算，将运算结果保存起来；

5)根据机器学习，通过概率计算，不断完善模型，完成单PV预测告警功能，提供各种阀值警告功能；

其中，步骤1)中通过AGENT生成调用链日志；步骤2)中通过logstash采集日志到kafka；步骤3)中kafka负责提供数据给下游消费；步骤4)中通过storm计算汇聚指标结果并落到opentsdb；storm抽取trace数据并落到ElasticSearch；步骤5)中利用GBDT单PV根因预测模型，采用大量日志进行模型训练，GBDT单PV根因预测模型包括对单PV日志数据进行扁平化特征提取、单个PV根因进行分析、根据根因预测的概率进行根因结果入库以及进行模型训练，通过ElasticSearch查询到以TRACEID为全局唯一标识符的单个PV数据。

如图1所示，具体步骤如下：

1.实现javaagent代理包

代理(agent)是在main方法前的一个***(interceptor)，也就是在main方法执行之前，执行agent的代码。

agent的代码与main方法在同一个JVM中运行，并被同一个system classloader装载，被同一的安全策略(security policy)和上下文(context)所管理。

简单地说，javaagent的作用是类加载前，先调用agent的代码，然后再正常启动其他已经存在的类，这样就可以拦截所有方法执行前、执行后。在执行前、执行后对日志进行自定义输出(traceid，spanid)，耗时计算实现对业务数据无侵入的日志输出和耗时计算。

2.javaAgent代理下发

第一步实现的javaAgent代理了对业务***启动过程中类的动态修改，本步骤中，javaAgent代理包通过采集Agent下发至业务***的部署路径，同时通过修改原业务***的启动脚本，通过javaagent代理启动原***。

3.traceid，spanid透传方案

3.1.TraceID：用来标识每一条业务请求链的唯一ID，TraceID需要在整个调用链路上传递；

3.2.Span：请求链中的每一个环节为一个Span，每一个Span有一个SpanId来标识，前后Span间形成父子关系；

A(web)->B->C&D，一共有四个服务，A调用B、B同时调用C和D。需生成的Trace信息如下：

A收到Http Reqeust时，需在入口处生成TraceID、SpanID，假若叫Span1；

A向B发送Request时，需新生成一Span2，并把parent ID设置成Span1的spanID。同时需修改Header，把Span2的spanID、parent ID、TraceID传递给下游服务；

B接受到Request后，从Header里解析到TraceID、parent ID、Span ID(span2)、并保留到上下文里；

B向C发送Request时，需新生成一Span3，并把parentID设置成上一步(Span2)的span ID；

B向D发送请求时，新生成一Span4，并把parentID设置Span2的span ID。

另外，在整个调用链里还涉及其他一些关键概念：

(1)调用相关属性Tags：它记录仅和本次调用相关的信息，是一个K-V集合，常见的Tags一般包括调用时间、调用耗时、调用类型、服务名、操作名、响应状态码、对端服务器地址等信息。

(2)调用透传信息UserData(也叫Baggage)：它记录同一条调用链上下游共享的信息，也是一个K-V集合，常见的UserData包括通用数据、特殊指令、调用路由控制，影响部分中间件的路由走向。

(3)调用上下文RpcContext(也叫SpanContext)：它由TraceId、RpcId、Tags、UserData共同组成，在进程内部时，上下文保存于ThreadLocal，对业务透明；在网络通讯时，上下文会和实际内容一起被传输到对端

4.日志生产的优化

日志的输出首先需要注意减少对业务线程的影响，降低资源消耗；其次由于每个网络请求至少1次调用记录，QPS越高则数据产生越快，进而导致成本很难控制；另外，业务方是希望埋点对业务是无侵入的，部署在任何位置均可，进而导致运维环境相对复杂。

为了解决上述挑战，在内部我们选用了完全自行实现的基于日志的输出方案，在提升日志输出性能方面：

采用异步队列写日志；在保证日志记录可用的前提下，减少输出内容，长字符串编码；在日志输出加入缓存机制，动态限制IO次数及刷新频率；在日志文件产生方面，采用多进程高效并发写文件。在运维层面，也进行了很多优化：日志文件按大小滚动，自动清理；统一字符编码，统一时区；全局配置推送管控；异常状态自动降级。

日志收集子***，通过Filebeat收集日志至ElasticSearch，ElasticSearch是一个基于Lucene的搜索服务器，简称ES,它是一个提高大数据存储并提供了一个分布式多用户能力的全文搜索引擎。通过ES查询到以TRACEID为全局唯一标识符的单个PV数据。因为QPS越高，需要生成的调用日志也就越高。因此，为了降低整体的输出数据量，引入例如采样的概念，根据TRACEID中的顺序数进行采样，提供了多种采样策略搭配：

100％采样：它会对业务带来影响，因此最好内置支持客户端自动降级；

固定阈值采样：全局或租户内统一控制；

限速采样：在入口处按固定频率采样若干条调用链；

异常优先采样：调用出错时优先采样；

个性化采样：按用户ID、入口IP、应用、调用链入口、业务标识等配置开启采样。

通过上面这五种采样策略的搭配使用，可以灵活地控制调用链上数据的输出，确保数据量不会过大。

5.机器学***化特征提取，进行单个PV根因进行分析，同时通过根因预测的概率，进行根因结果入库，通过大批量，高并发的请求不断增强学习能力，完善模型训练形成模型库从而达到预测根因的目的。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种基于机器学习的智能分布式调用链跟踪方法，其特征在于：包括如下具体步骤：

1)调用链数据的生成，对整个调用过程的所有应用进行埋点并输出日志；

2)调用链数据采集，对各个应用中的日志数据进行采集；

3)调用链数据存储及查询，对采集到的数据进行存储；

4)日志存储及查询，对采集到的日志数据进行各种指标运算，将运算结果保存起来；

5)根据机器学习，通过概率计算，不断完善模型，完成单PV预测告警功能，提供各种阀值警告功能；

其中，步骤1)中通过AGENT生成调用链日志；步骤2)中通过logstash采集日志到kafka；步骤3)中kafka负责提供数据给下游消费；步骤4)中通过storm计算汇聚指标结果并落到opentsdb；storm抽取trace数据并落到ElasticSearch；步骤5)中利用GBDT单PV根因预测模型，采用大量日志进行模型训练。

2.根据权利要求1所述的一种基于机器学***化特征提取、单个PV根因进行分析、根据根因预测的概率进行根因结果入库以及进行模型训练。

3.根据权利要求1所述的一种基于机器学习的智能分布式调用链跟踪方法，其特征在于：通过所述ElasticSearch查询到以TRACEID为全局唯一标识符的单个PV数据。

4.根据权利要求1所述的一种基于机器学习的智能分布式调用链跟踪方法，其特征在于：在日志输出中，采用异步队列写日志。

5.根据权利要求3所述的一种基于机器学习的智能分布式调用链跟踪方法，其特征在于：在调用链数据输出上，根据TRACEID中的顺序数进行采样。

6.根据权利要求5所述的一种基于机器学习的智能分布式调用链跟踪方法，其特征在于：所述采样采用100％采样、固定阈值采样、限速采样、异常优先采样和个性化采样相结合的方式，其中，个性化采样是按用户ID、入口IP、应用、调用链入口以及业务标识相应的配置开启采样。