CN113422794A - 流量录制、回放处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种流量录制、回放处理方法、装置及电子设备，流量录制处理方法，包括：响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集；按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据；将流量录制数据进行存储。本发明实施例利用了Mesh框架下应用的流量流经服务网格组件的特性，通过设置服务网格组件来对指定应用的流量数据进行采集，从而实现了Mesh框架下的流量采集以及存储，另外，在进行流量采集的过程中，加入了流量染色的机制，从而在后续流量回放处理的过程中，能够将正常流量和回放流量进行有效区分。

Description

流量录制、回放处理方法、装置及电子设备

技术领域

本申请涉及一种流量录制、回放处理方法、装置及电子设备，属于计算机技术领域。

背景技术

现有技术中，流量采集以及回放技术主要是基于Javaagent(Java代理)技术来实现，采用字节码增强的方式对流量中的请求进行AOP(Aspect Oriented Programming，面向切面编程)切面处理，从而实现流量的采集和回放。这种方式主要缺点是在于：为了进行流量采集，需要做大量的子调用配置，流量录制处理较为复杂，并且对服务处理有入侵，影响服务的安全和性能。此外，Javaagent方式需要与服务来共用容器，运维成本高，稳定性差。

发明内容

本发明实施例提供一种流量录制、回放处理方法、装置及电子设备，以降低流量处理的复杂度。

为了实现上述目的，本发明实施例提供了一种流量录制处理方法，包括：

响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集；

按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据；

将所述流量录制数据进行存储。

本发明实施例还提供了一种流量回放处理方法，包括：

从与指定应用相关的流量录制数据中，获取与指定应用关联的包含流量染色标识的第一服务调用请求和与该第一服务调用请求对应的第一响应数据；

将所述第一服务调用请求发送至所述指定应用对应的服务网格组件，所述服务网格组件识别到所述流量染色标识后，对所述指定应用发起调用，执行与所述第一服务调用请求对应的服务处理，生成第二响应数据；

将所述第二响应数据与所述第一响应数据进行比对处理，生成流量回放处理结果。

本发明实施例还提供了一种流量录制处理装置，包括：

流量采集模块，用于响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集；

流量染色模块，用于按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据；

流量存储模块，用于将所述流量录制数据进行存储。

本发明实施例还提供了一种流量回放处理装置，包括：

流量录制数据获取模块，用于从与指定应用相关的流量录制数据中，获取与指定应用关联的包含流量染色标识的第一服务调用请求和与该第一服务调用请求对应的第一响应数据；

服务调用模块，用于将所述第一服务调用请求发送至所述指定应用对应的服务网格组件，所述服务网格组件识别到所述流量染色标识后，对所述指定应用发起调用，执行与所述第一服务调用请求对应的服务处理，生成第二响应数据；

数据比对模块，用于将所述第二响应数据与所述第一响应数据进行比对处理，生成流量回放处理结果。

本发明实施例还提供了一种用户场景图谱的生成方法，包括：

通过服务网格组件对多个应用的流量进行录制，生成多个应用的流量录制数据；

根据多个应用的流量录制数据，对各个应用的接口调用状况进行统计；

根据统计结果生成用户场景图谱。

本发明实施例还提供了一种场景测试用例的处理方法，包括：

在多个使用场景下，对应用的各个功能进行操作处理，并通过服务网格组件对所述操作处理产生的流量进行录制，生成与各个场景对应的流量录制数据作为场景测试用例集；

响应于回归测试指令，调用所述场景测试用例集，通过服务网格组件对所述各个场景对应的流量录制数据进行回放处理，触发应用执行与所述流量录制数据对应的操作处理，以进行回归测试。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行前述的流量录制处理方法。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行前述的流量回放处理方法。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行前述的用户场景图谱的生成方法。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行前述的场景测试用例的处理方法。

本发明实施例的流量录制、回放处理方法、装置及电子设备，利用了Mesh框架下应用的流量流经服务网格组件的特性，通过设置服务网格组件来对指定应用的流量数据进行采集，从而实现了Mesh框架下的流量采集以及存储，降低了流量录制的复杂度。另外，在进行流量采集的过程中，加入了流量染色的机制，从而在后续流量回放处理的过程中，能够将正常流量和回放流量进行有效区分。此外，在流量回放处理中，利用了服务网格组件能够对应用发起服务调用的特性，借助服务网格组件来实现对应用的回放调用，从而减少了在回放处理中对应用进行服务调用的复杂度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本发明实施例的基于服务网格的应用框架结构示意图；

图2为本发明实施例的流量处理***的结构示意图；

图3为本发明实施例的流量录制处理方法的流程示意图；

图4为本发明实施例的流量回放处理方法的流程示意图；

图5为本发明实施例的流量录制处理装置的结构示意图；

图6为本发明实施例的流量回放处理装置的结构示意图；

图7为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，其为本发明实施例的基于服务网格(Mesh)的应用框架结构示意图。本发明实施例的流量录制以及流量回放处理方法，利用了服务网格框架所提供的服务网格组件对流量的获取能力以及服务网格组件对上层应用的服务调用能力，来实现对指定应用相关的流量数据的录制以及回放处理。

在图1所示基于服务网格的应用框架可以是基于云服务平台而构建的，应用层中的各个应用可以提供各种面向用户的服务处理，例如这些应用可以是网购应用、办公***应用、数据检索应用等等各种类型的应用，这些应用可以是云服务平台自身的应用，也可以是云服务平台以外的第三方部署在云服务平台以对外提供服务的应用。

在云服务平台上基于Mesh框架构建了多种服务网格组件，用于为各个应用提供多种服务能力。在应用部署到云服务平台后，根据应用的需求，会对应配置与该应用对应的实例化的服务网格组件，也就是说，各个应用均配置了与自身对应的服务网格组件。

上述的各个应用通过接入层接入到对应的服务网格组件，这里所说的接入包括两方面的处理，一方面在应用在云服务平台上部署时，对应用进行Mesh化处理，为应用配置与自身对应的服务网格组件，从而可以让应用具有云服务平台提供的基于服务网格组件的服务功能。另一方面，应用可以通过Mesh控制台对服务网格组件的进行配置，以满足各个应用的个性化的需求。

各个应用接入到服务网格组件后，可以使用云服务平台提供的基于Mesh架构的运维服务，云服务平台可以对各个应用的服务网格组件提供一体化的发布、升级等运维支持，并且可以实现分布式、高可用的服务能力，在服务网格组件的升级方面可以实现热升级。此外，在底层平台方面，通过Meshsidecar提供容器方面的支撑。本发明实施例中用于流量录制以及回放处理的服务网格组件，具有Mesh化集成的优势，一体化运维，一体化独立sidecar部署，减少了额外的运维成本，并且与应用进程没有较强的依赖性，不会受容器的重启等操作影响，也减少了服务入侵带来的安全和性能影响。

如图2所示，其为本发明实施例的流量处理***的结构示意图，整个***涉及部署在云端的应用、Mesh控制台以及云端的流量处理服务端。在本发明实施例中，为应用配置了用于流量处理的服务网格组件，应用可以通过Mesh控制台对该服务网格组件进行配置，这些配置可以包括打开或者关闭流量录制开关、配置协议匹配条件、配置流量采样速率等，其中，协议匹配条件用于对不同协议的流量进行有选择性的流量采集，例如对http、tcp、hsf、dubbo、sofa等多种协议匹配处理，根据Mesh控制台下发的协议匹配条件，选择匹配的协议的流量数据进行采集。

在Mesh框架下，应用产生的全部流量数据会流转经过各个服务网格组件，本发明实施例的流量的录制处理，正是利用了Mesh框架的这个特性，设计了用于流量处理的服务网格组件，对流经该服务网格组件的流量进行各种精细化的处理。该服务网格组件采集到流量数据后，可以上报给云端的流量处理服务器，流量处理服务器可以对该流量数据进行进一步的编辑处理，并存储到云端的OSS(Object Storage Service，对象存储服务)数据库中。

此外，Mesh框架下，通过服务网格组件可以对应用发起服务调用，本发明实施例利用Mesh框架的这个特性，流量处理服务端可以借助用于流量处理的服务网格组件对应用发起服务调用，以实现流量回放的处理。通过服务网格组件对应用发起服务调用能够对流量回放过程进行控制，并且可以便于实现流量模拟(mock)等处理，也避免流量处理服务端对应用直接发起调用所存在的障碍。

本发明实施例中的流量数据可以包括对应用的服务调用请求以及应用返回的响应数据，各个应用对应的服务网格组件分别对各个应用的流量数据进行采集处理。对于某个指定应用来说，在采集流量数据后，会按照采集的流量数据中对该指定应用的服务调用请求，对流量数据附加流量染色标识，从而生成流量录制数据。流量染色标识可以在后续流量回放的过程中，与正常流量的服务调用请求进行区分，另外，该流量染色标识是与服务调用请求唯一对应的，从而使得该流量染色标识具有对服务调用链的流量数据进行染色的作用。具体来说，在指定应用执行服务调用请求的过程中，还可能会其他应用发起服务调用请求，针对这种情况，服务网格组件可以使用上述的流量染色标识，对向其他应用的服务调用请求进行染色，从而触发其他应用对应的服务网格组件，对与该服务调用请求相关的流量数据进行采集，从而实现对服务调用链的流量数据的录制。这里所说的服务调用链可能涉及多个应用的串行调用，例如应用A对应用B进行服务调用，而应用B在执行服务调用对应的处理过程中，又发起了对应用C的调用，这些服务调用就形成了串行的服务调用链，而针对不同应用的服务调用涉及的流量数据，会由应用A、应用B以及应用C对应的服务网格组件进行分别的采集及存储。

在针对某个指定应用进行流量回放处理的过程中，流量处理服务端可以从之前录制好的该指定应用的存储的流量录制数据中，提取对指定应用的服务调用请求，通过该指定应用的服务网格组件，向该指定应用发起服务调用，以触发流量回放处理。如前面介绍的，该服务调用请求中包含了流量染色标识，从而使得服务网格组件能够对回放流量和正常流量进行区分。

此外，服务网格组件还可以根据流量处理服务端的指示，执行流量模拟处理。具体地，流量处理服务端可以在向服务网格组件发送的用于流量回放的服务调用请求中，附加模拟调用标识(mock标识)，该模拟调用标识用于指示服务网格组件在读取到针对其他应用的服务调用请求时，不真正发起对其他应用的服务调用，而是获取之前已经录制的与该针对其他应用的服务调用请求对应的响应数据，作为模拟的调用结果返回给流量处理服务端。在一些情况下，流量回放的主要目的是为了测试指定应用的处理过程是否存在问题，指定应用对于其他应用的服务调用并不在针对指定应用的测试范围内，因此，在指定应用需要向其他应用发起服务调用时，只需要向指定应用提供合理的响应数据，以触发指定应用继续执行服务处理即可，而通过服务网格组件的模拟调用处理，实现了这一目的，从而不需要执行对其他应用的调用，减少了流量回放处理的复杂度。如前面所介绍的，在进行流量录制的过程中，流量染色标识对整个串行服务调用链进行了标识，因此，服务网格组件可以根据该流量染色标识从云端OSS数据库中获取对其他应用的服务调用请求对应的响应数据，用于进一步的流量回放处理。

进一步地，在上述的流量模拟处理，可以只针对部分其他应用执行模拟调用，而对其他应用进行真实的调用处理。例如，在对应用A的流量回放处理中，应用A需要对应用B和应用C执行调用，如果流量回放处理除了测试应用A的处理逻辑外，还想测试一下应用A对应用C的服务调用处理，但是并不需要测试应用A对应用B的服务调用处理，针对这种情况，在给应用A发送的附加模拟调用标识的服务调用请求中，可以在模拟调用标识中进一步增加应用B的ID信息，从而让应用A对应的网格服务组件只对应用B的服务调用请求进行流量模拟。

流量回放处理可以对指定应用的服务处理过程进行测试，流量处理服务端所提取的已经录制的流量录制数据包括了针对指定应用的服务调用请求和对应的响应数据。在经过上述的通过服务网格组件对指定应用发起服务调用后，服务网格组件会向流量处理服务端返回指定应用处理后生成响应数据。然后，流量处理服务端可以根据预设的校验规则，将指定应用处理后生成响应数据与流量录制数据中的响应数据进行比对，从而可以判断出指定应用处理存在的问题。

以上介绍了本发明实施例的流量录制和回放处理方法基本处理原理，下面通过一些具体实施例来进一步说明本发明的技术方案。

实施例一

如图3所示，其为本发明实施例的流量录制处理方法的流程示意图，该方法可以应用于上述的云服务平台上，该方法可以包括：

S101：响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集。如前文介绍的，在Mesh框架下，服务网格组件与应用是对应配置的，每个应用可以配置多个具有不同服务能力的服务网格组件，这些服务网格组件用来实现云服务平台为各个应用提供的各种服务能力。在本发明实施例中，基于Mesh框架设计了用于进行流量处理的服务网格组件。由于应用产生的全部流量数据会流转经过各个服务网格组件，因此，该用于进行流量处理的服务网格组件能够对该指定应用的流量数据进行采集。在上述的用于进行流量处理的服务网格组件中，可以设置流量录制开关，具体可以采用标识位的形式，当该流量录制开关打开时，该服务网格组件就不断执行针对该指定应用的流量录制处理。上述的服务网格控制台下发的流量采集指令即为打开该流量录制开关的指令。

上述流量数据可以包括对应用的服务调用请求以及应用返回的响应数据，服务调用请求可以来自于其他应用或者来自于云服务平台外部，响应数据是指定应用执行了服务调用请求对应的服务处理后而生成的数据。其中，指定应用的流量数据可以包括多种不同协议下的流量数据，例如，http、tcp、hsf、dubbo、sofa等多种协议，服务网格组件可以通过配置协议匹配条件来采集某种协议的流量数据，具体地可以通过接收服务网格控制台下发的协议匹配条件，对指定应用对应的服务网格组件进行协议匹配设置。相应地，上述通过与指定应用对应的服务网格组件对流量数据进行采集可以包括：根据协议匹配条件，对流经服务网格组件的流量数据进行匹配，获取满足协议匹配条件的流量数据。此外，服务网格控制台也可以对采样频率进行配置，具体地，还可以包括：接收服务网格控制台下发的采样频率配置信息，对指定应用对应的服务网格组件进行采样频率设置。这里所说的采样频率可以是每隔预定数量的服务调用请求进行一次流量数据的采集，也可以是每隔预定时间进行一次流量数据的采集。

S102：按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据。流量染色标识可以在后续流量回放的过程中，与正常流量的服务调用请求进行区分，另外，该流量染色标识是与服务调用请求唯一对应的，从而使得该流量染色标识具有对服务调用链的流量数据进行染色的作用，并且也便于在后续的流量回放的过程中，提取与某个服务调用请求相关的流量录制数据。

S103：将流量录制数据进行存储。流量录制数据可以存储在云端的数据库中，从而可以实现基于云服务的跨网络调用。具体地，该步骤可以包括：将流量录制数据发送至云端的流量处理服务端；流量处理服务端对流量录制数据进行数据编辑，并存储到云端的OSS数据库中。

此外，指定应用在执行服务调用请求对应的服务处理的过程中，也可能涉及到对其他应用的服务调用，而其他应用在处理服务调用的过程中，仍然有可能继续对另一其他应用发起服务调用，从而形成服务调用链。然而，各个应用的流量数据需要由各个应用对应的服务网格组件来进行采集。对此，为了便于针对服务调用链的流量录制，可以使用前述的流量染色标识对指定应用向其他应用发出的服务调用请求进行染色，从而触发其他应用对应的服务网格组件针对该服务调用请求相关的流量数据进行采集，需要说明的是，这里并未触发其他应用对应的网格服务组件打开流量录制开关，而仅仅是针对相关的流量数据进行采集。具体地，该部分处理可以包括：从流经指定应用对应的服务网格组件的流量数据中，获取指定应用对其他应用的服务调用请求，并在该服务调用请求中附加流量染色标识，以触发其他应用对应的服务网格组件对与该服务调用请求相关的流量数据进行采集。其他应用对应的服务网格组件在采集完相关的流量数据后，也会执行上述步骤S103所说明的上报以及编辑存储操作。

进一步地，针对涉及多个应用的串行的服务调用链的情形，该部分处理可以包括：从流经指定应用对应的服务网格组件的流量数据中，获取指定应用对第一其他应用的第一服务调用请求，并在该第一服务调用请求中附加流量染色标识，以触发第一其他应用对应的服务网格组件对与该第一服务调用请求相关的流量数据进行采集；从流经第一其他应用对应的服务网格组件的流量数据中，获取对第二其他应用的第二服务调用请求，并在该第二服务调用请求中附加流量录制的染色标识，以触发第二其他应用对应的服务网格组件对与该第二服务调用请求相关的流量数据进行采集以及存储；如此重复处理，直至完成对多个其他应用的串行的服务调用所产生的流量数据的采集。从上面的处理可以看出，指定应用的服务网格组件相当于作为整个串行服务调用链的录制入口，通过这个入口完成了整个串行服务调用链的流量录制。

本发明实施例的流量录制处理方法，利用了Mesh框架下应用的流量流经服务网格组件的特性，通过设置服务网格组件来对指定应用的流量数据进行采集，从而实现了Mesh框架下的流量采集以及存储，另外，在进行流量采集的过程中，加入了流量染色的机制，从而在后续流量回放处理的过程中，能够将正常流量和回放流量进行有效区分，并且该流量染色标识还具有对服务调用链的流量数据进行染色的作用，以触发对整个服务调用链的流量录制。

实施例二

如图4所示，其为本发明实施例的流量回放处理方法的流程示意图，该方法可以应用于上述的云服务平台上，该方法可以包括：

S201：从与指定应用相关的流量录制数据中，获取与指定应用关联的包含流量染色标识的第一服务调用请求和与该第一服务调用请求对应的第一响应数据。流量回放处理可以针对指定应用来进行，通过流量回放处理，使用流量录制数据中的第一服务调用请求，对指定应用发起服务调用，然后将返回的响应数据与流量录制数据中的第一响应数据进行比对，以判断指定应用处理是否存在的问题。

S202：将第一服务调用请求发送至指定应用对应的服务网格组件，服务网格组件识别到流量染色标识后，对指定应用发起调用，执行与第一服务调用请求对应的服务处理，生成第二响应数据。如前面介绍的，本发明实施例中，在流量回放的处理中，流量处理服务端没有直接对指定应用直接发起服务调用，而是利用了Mesh框架的特性，通过与指定应用对应的服务网格组件来对指定应用发起服务调用，这样能够更好对流量回放过程进行控制，并且可以便于实现流量模拟等处理，也避免流量处理服务端对应用直接发起调用所存在的障碍。上述的流量染色标识可以在流量回放的过程中，将回放流量与正常流量进行区分，以便于对回放处理过程的检测。

S203：将第二响应数据与第一响应数据进行比对处理，生成流量回放处理结果。具体地，流量处理服务端可以根据预设的校验规则，将指定应用处理后生成第二响应数据与流量录制数据中的第一响应数据进行比对，从而可以判断出指定应用处理存在的问题。

此外，如前面所介绍的，指定应用在执行服务处理的过程中，可能会产生对其他应用的服务调用，而在一些情况下，流量回放的主要目的是为了测试指定应用的处理过程是否存在问题，指定应用对于其他应用的服务调用并不需要进行测试，针对这种情况，本发明实施例通过服务网格组件对其他应用的服务调用进行模拟(mock)调用处理，从而减少流量回放的复杂度。

具体地，服务网格组件在进行流量回放处理的过程中，可以根据流量处理服务端的指示，执行流量模拟处理，从而减少或者避免对其他应用的调用处理。具体地，流量处理服务端可以在向服务网格组件发送的用于流量回放的服务调用请求中，附加模拟调用标识(mock标识)，该模拟调用标识用于指示服务网格组件在读取到针对其他应用的服务调用请求时，不用真正发起对其他应用的服务调用，而是获取之前已经录制的与该针对其他应用的服务调用请求对应的响应数据，作为模拟的调用结果返回给流量处理服务端。

具体地，上述方法还可以包括：在执行与第一服务调用请求对应的服务处理的过程中，产生针对指定应用以外的其他应用的第二服务调用请求；服务网格组件可以获取针对其他应用的第二服务调用请求，然后，根据第二服务调用请求以及流量染色标识，执行模拟调用处理。其中，模拟调用处理具体可以包括：从流量录制数据中获取已经录制的与第二服务调用请求对应的第三响应数据，并将该第三响应数据发送给指定应用，以继续执行与第一服务调用请求对应的服务处理。如前面所介绍的，在进行流量录制的过程中，流量染色标识对整个串行服务调用链进行了标识，因此，服务网格组件可以根据该流量染色标识从云端OSS数据库中获取对其他应用的服务调用请求对应的响应数据，用于进一步的流量回放处理。

进一步地，在上述的流量模拟处理，可以只针对部分其他应用执行模拟调用，而对其他应用进行真实的调用处理。具体可以通过在模拟调用标识中包含模拟调用的应用标识来实现，相应地，在上述的模拟调用处理过程中，服务网格组件在获取到对其他应用的第二服务调用请求后，对其中的流量染色标识进行识别，如果其他应用的应用标识与模拟调用的应用标识匹配，则根据第二服务调用请求以及流量染色标识，执行模拟调用处理，如果不匹配，则针对该其他应用执行正常的服务调用处理。通过这种机制能够灵活地进行流量模拟处理，从而使得流量回放更好地满足对应用的测试需求。

本发明实施例的流量回放处理方法，利用了服务网格组件能够对应用发起服务调用的特性，借助服务网格组件来实现对应用的回放调用，从而减少了在回放处理中对应用进行服务调用的复杂度。此外，通过流量染色标识能够方便地实现流量调用模拟，从而减少或者避免对其他应用的调用处理，提高了流量回放的处理效率。

实施例三

如图5所示，其为本发明实施例的流量录制处理装置的结构示意图，该装置可以应用于上述的云服务平台上，该装置可以包括：

流量采集模块11，用于响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集。在本发明实施例中，基于Mesh框架设计了用于进行流量处理的服务网格组件。由于应用产生的全部流量数据会流转经过各个服务网格组件，因此，该用于进行流量处理的服务网格组件能够对该指定应用的流量数据进行采集。在上述的用于进行流量处理的服务网格组件中，可以设置流量录制开关，当该流量录制开关打开时，该服务网格组件就不断执行针对该指定应用的流量录制处理。上述的服务网格控制台下发的流量采集指令即为打开该流量录制开关的指令。

上述流量数据可以包括对应用的服务调用请求以及应用返回的响应数据，服务调用请求可以来自于其他应用或者来自于云服务平台外部，响应数据是指定应用执行了服务调用请求对应的服务处理后而生成的数据。其中，指定应用的流量数据可以包括多种不同协议下的流量数据，例如，http、tcp、hsf、dubbo、sofa等多种协议，服务网格组件可以通过配置协议匹配条件来采集某种协议的流量数据，具体地可以通过接收服务网格控制台下发的协议匹配条件，对指定应用对应的服务网格组件进行协议匹配设置。因此，上述的流量录制处理装置还可以包括协议配置模块，用于接收服务网格控制台下发的协议匹配条件，对指定应用对应的服务网格组件进行协议匹配设置。相应地，通过与指定应用对应的服务网格组件对流量数据进行采集可以包括：根据协议匹配条件，对流经服务网格组件的流量数据进行匹配，获取满足协议匹配条件的流量数据。

流量染色模块12，用于按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据。流量染色标识可以在后续流量回放的过程中，与正常流量的服务调用请求进行区分，另外，该流量染色标识是与服务调用请求唯一对应的，从而使得该流量染色标识具有对服务调用链的流量数据进行染色的作用，并且也便于在后续的流量回放的过程中，提取与某个服务调用请求相关的流量录制数据。

流量存储模块13，用于将流量录制数据进行存储。流量录制数据可以存储在云端的数据库中，从而可以实现基于云服务的跨网络调用。具体地，该流量存储模块13的处理可以进一步包括：将流量录制数据发送至云端的流量处理服务端，触发流量处理服务端对流量录制数据进行数据编辑，并存储到云端的OSS数据库中。

此外，指定应用在执行服务调用请求对应的服务处理的过程中，也可能涉及到对其他应用的服务调用，而其他应用在处理服务调用的过程中，仍然有可能继续对另一其他应用发起服务调用，从而形成服务调用链。然而，各个应用的流量数据需要由各个应用对应的服务网格组件来进行采集。对此，为了便于针对服务调用链的流量录制，可以使用前述的流量染色标识对指定应用向其他应用发出的服务调用请求进行染色，从而触发其他应用对应的服务网格组件针对该服务调用请求相关的流量数据进行采集。

具体地，该部分处理可以包括：从流经指定应用对应的服务网格组件的流量数据中，获取指定应用对其他应用的服务调用请求，并在该服务调用请求中附加流量染色标识，以触发其他应用对应的服务网格组件对与该服务调用请求相关的流量数据进行采集。其他应用对应的服务网格组件在采集完相关的流量数据后，也会执行上述流量数据上报以及编辑存储操作。

进一步地，针对涉及多个应用的串行的服务调用链的情形，该部分处理可以包括：从流经指定应用对应的服务网格组件的流量数据中，获取指定应用对第一其他应用的第一服务调用请求，并在该第一服务调用请求中附加流量染色标识，以触发第一其他应用对应的服务网格组件对与该第一服务调用请求相关的流量数据进行采集；从流经第一其他应用对应的服务网格组件的流量数据中，获取对第二其他应用的第二服务调用请求，并在该第二服务调用请求中附加流量录制的染色标识，以触发第二其他应用对应的服务网格组件对与该第二服务调用请求相关的流量数据进行采集以及存储；如此重复处理，直至完成对多个其他应用的串行的服务调用所产生的流量数据的采集。从上面的处理可以看出，指定应用的服务网格组件相当于作为整个串行服务调用链的录制入口，通过这个入口完成了整个串行服务调用链的流量录制。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

本发明实施例的流量录制处理装置，利用了Mesh框架下应用的流量流经服务网格组件的特性，通过设置服务网格组件来对指定应用的流量数据进行采集，从而实现了Mesh框架下的流量采集以及存储，另外，在进行流量采集的过程中，加入了流量染色的机制，从而在后续流量回放处理的过程中，能够将正常流量和回放流量进行有效区分，并且该流量染色标识还具有对服务调用链的流量数据进行染色的作用，以触发对整个服务调用链的流量录制。

实施例四

如图6所示，其为本发明实施例的流量回放处理装置的结构示意图，该装置可以应用于上述的云服务平台上，该装置可以包括：

流量录制数据获取模块21，用于从与指定应用相关的流量录制数据中，获取与指定应用关联的包含流量染色标识的第一服务调用请求和与该第一服务调用请求对应的第一响应数据。流量回放处理可以针对指定应用来进行，通过流量回放处理，使用流量录制数据中的第一服务调用请求，对指定应用发起服务调用，然后将返回的响应数据与流量录制数据中的第一响应数据进行比对，以判断指定应用处理是否存在的问题。

服务调用模块22，用于将第一服务调用请求发送至指定应用对应的服务网格组件，服务网格组件识别到流量染色标识后，对指定应用发起调用，执行与第一服务调用请求对应的服务处理，生成第二响应数据。如前面介绍的，本发明实施例中，在流量回放的处理中，流量处理服务端没有直接对指定应用直接发起服务调用，而是利用了Mesh框架的特性，通过与指定应用对应的服务网格组件来对指定应用发起服务调用，这样能够更好对流量回放过程进行控制，并且可以便于实现流量模拟等处理，也避免流量处理服务端对应用直接发起调用所存在的障碍。上述的流量染色标识可以在流量回放的过程中，将回放流量与正常流量进行区分，以便于对回放处理过程的检测。

数据比对模块23，用于将第二响应数据与第一响应数据进行比对处理，生成流量回放处理结果。具体地，流量处理服务端可以根据预设的校验规则，将指定应用处理后生成第二响应数据与流量录制数据中的第一响应数据进行比对，从而可以判断出指定应用处理存在的问题。

此外，如前面所介绍的，指定应用在执行服务处理的过程中，可能会产生对其他应用的服务调用，而在一些情况下，流量回放的主要目的是为了测试指定应用的处理过程是否存在问题，指定应用对于其他应用的服务调用并不需要进行测试，因此，上述的装置还可以包括流量模拟处理模块24。

具体地，将第一服务调用请求发送至指定应用对应的服务网格组件可以包括：在第一服务调用请求中附加模拟调用标识后，发送至指定应用对应的服务网格组件，模拟调用标识用于指示服务网格组件执行模拟调用处理。相应地，流量模拟处理模块，用于在执行与第一服务调用请求对应的服务处理的过程中，产生针对指定应用以外的其他应用的第二服务调用请求时，触发服务网格组件获取针对其他应用的第二服务调用请求，根据第二服务调用请求以及流量染色标识，执行模拟调用处理，模拟调用处理包括：从流量录制数据中获取已经录制的与第二服务调用请求对应的第三响应数据，并将该第三响应数据发送给指定应用，以继续执行与第一服务调用请求对应的服务处理。

进一步地，在上述的流量模拟处理，可以只针对部分其他应用执行模拟调用，而对其他应用进行真实的调用处理。具体可以通过在模拟调用标识中包含模拟调用的应用标识来实现，相应地，在上述的模拟调用处理过程中，服务网格组件在获取到对其他应用的第二服务调用请求后，对其中的流量染色标识进行识别，如果其他应用的应用标识与模拟调用的应用标识匹配，则根据第二服务调用请求以及流量染色标识，执行模拟调用处理，如果不匹配，则针对该其他应用执行正常的服务调用处理。通过这种机制能够灵活地进行流量模拟处理，从而使得流量回放更好地满足对应用的测试需求。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

本发明实施例的流量回放处理装置，利用了服务网格组件能够对应用发起服务调用的特性，借助服务网格组件来实现对应用的回放调用，从而减少了在回放处理中对应用进行服务调用的复杂度。此外，通过流量染色标识能够方便地实现流量调用模拟，从而减少或者避免对其他应用的调用处理，提高了流量回放的处理效率。

实施例五

本发明实施例还提供了一种用户场景图谱的生成方法，该方法通过对流量的统计计算，得到用户真实使用的场景图谱，该方法可以包括：

S301：通过服务网格组件对多个应用的流量进行录制，生成多个应用的流量录制数据。具体可以采用前述实施例的流量录制处理方法，通过各个应用对应的网格组件，分别对各个应用的流量数据进行录制。

S302：根据多个应用的流量录制数据，对各个应用的接口调用状况进行统计。在获得了多个应用的流量录制数据后，可以进行单个应用维度和多个应用维度的接口调用状况统计。针对单个应用维度，例如可以对单个应用的接口调用次数进行统计，确定该应用的哪些接口被调用最多，哪些接口很长时间内未被调用过。针对多个应用维度，可以对各个应用之间的接口调用关系进行统计，获得多个应用的调度拓扑，例如可以通过对应用A、B、C、D之间的接口调用状态进行统计后，得到这四个应用的调用拓扑关系为应用A->应用B->应用C->应用D。对于多应用维度的接口调用统计还可以包括统计某个请求经过了哪些应用的哪些接口，从而可以获得针对该请求的处理链路拓扑。S303：根据统计结果生成用户场景图谱。基于步骤S302的接口调用状况的统计结果，可以生成体现用户应用的场景图谱，场景图谱可以包括单个应用维度的图谱和多个应用维度的图谱。其中，对于多个应用维度的图谱，可以主要生成多个应用之间的调度关系拓扑图。

通过本发明实施例的用户场景图谱的生成方法，在基于服务网格的应用框架下，对各个应用的流量进行录制，然后基于流量录制数据进行接口调用状态统计，进而形成用户场景图谱。基于这些用户场景图谱能够对单个应用或者多个应用间的接口调用情况进行分析，从而对***重构和产品开发提供指引。

实施例六

本发明实施例还提供了一种场景测试用例的处理方法，通过流量录制的方式来生成场景测试用例，并应用于回归测试处理，具体地，该方法可以包括：

S401：在多个使用场景下，对应用的各个功能进行操作处理，并通过服务网格组件对所述操作处理产生的流量进行录制，生成与各个场景对应的流量录制数据作为场景测试用例集。场景测试用例集是用于对应用在各种情况下的运行状况进行测试的工具，在本发明实施例中，可以基于前面实施例介绍的服务网格控制台来控制网格服务组件进行流量录制处理，在开启流量录制功能后，通过手动或者通过其他软件工具触发应用执行各种功能操作，并将应用功能操作产生的流量录制下来。上述过程可以在一个或多个场景下进行。将录制的流量数据输入场景用例名称并保存，每个场景下可以对应一个场景测试用例，通过对多个场景下的流量录制，形成包含一系列的应用功能操作对应的场景测试用例集。

S402：响应于回归测试指令，调用所述场景测试用例集，通过服务网格组件对所述各个场景对应的流量录制数据进行回放处理，触发应用执行与所述流量录制数据对应的操作处理，以进行回归测试。基于步骤S401形成的场景测试用例集，在应用升级或者更新后，需要进行回归测试时，可以批量执行上述场景测试用例集或者单个执行场景测试用例集中的用例，从而对应用的各个功能在不同场景下的运行情况进行测试。

本发明实施例的场景测试用例的处理方法，在基于服务网格的应用框架下，通过对应用在不同场景下的操作处理而触发的流量数据进行录制，形成一些应用功能操作对应的场景测试用例集，在需要进行回归测试时，可以使用场景测试用例集对应用的运行情况进行全面测试。

实施例七

前面实施例描述了流量录制处理方法、流量回放处理方法、用户场景图谱的生成方法以及场景测试用例的处理方法的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图7所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。

存储器110，用于存储程序。

除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的流量录制处理方法和/或流量回放处理方法和/或用户场景图谱的生成方法和/或场景测试用例的处理方法的操作步骤。

此外，处理器120也可以包括前述实施例所描述的各种模块以执行流量录制处理和/或流量回放的处理和/或用户场景图谱的生成处理和/或场景测试用例的处理，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。

通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理***，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。

显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (21)

1.一种流量录制处理方法，包括：

响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集；

按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据；

将所述流量录制数据进行存储。

2.根据权利要求1所述的方法，其中，所述通过与指定应用对应的服务网格组件对流量数据进行采集包括：

从流经所述指定应用对应的服务网格组件的流量数据中，获取所述指定应用对其他应用的服务调用请求，并在该服务调用请求中附加所述流量染色标识，以触发所述其他应用对应的服务网格组件对与该服务调用请求相关的流量数据进行采集。

3.根据权利要求1所述的方法，其中，所述通过与指定应用对应的服务网格组件对流量数据进行采集包括：

从流经所述指定应用对应的服务网格组件的流量数据中，获取所述指定应用对第一其他应用的第一服务调用请求，并在该第一服务调用请求中附加所述流量染色标识，以触发所述第一其他应用对应的服务网格组件对与该第一服务调用请求相关的流量数据进行采集；

从流经所述第一其他应用对应的服务网格组件的流量数据中，获取对第二其他应用的第二服务调用请求，并在该第二服务调用请求中附加所述流量录制的染色标识，以触发所述第二其他应用对应的服务网格组件对与该第二服务调用请求相关的流量数据进行采集以及存储；

如此重复处理，直至完成所述对多个其他应用的串行的服务调用所产生的流量数据的采集。

4.根据权利要求1所述的方法，其中，还包括：接收服务网格控制台下发的协议匹配条件，对所述指定应用对应的服务网格组件进行协议匹配设置，

所述通过与指定应用对应的服务网格组件对流量数据进行采集包括：根据所述协议匹配条件，对流经服务网格组件的流量数据进行匹配，获取满足协议匹配条件的流量数据。

5.根据权利要求1所述的方法，其中，还包括：接收服务网格控制台下发的采样频率配置信息，对所述指定应用对应的服务网格组件进行采样频率设置。

6.根据权利要求1所述的方法，其中，将所述流量录制数据进行存储包括：

将所述流量录制数据发送至云端的流量处理服务端；

所述流量处理服务端对所述流量录制数据进行数据编辑，并存储到云端的OSS数据库中。

7.一种流量回放处理方法，包括：

从与指定应用相关的流量录制数据中，获取与指定应用关联的包含流量染色标识的第一服务调用请求和与该第一服务调用请求对应的第一响应数据；

将所述第一服务调用请求发送至所述指定应用对应的服务网格组件，所述服务网格组件识别到所述流量染色标识后，对所述指定应用发起调用，执行与所述第一服务调用请求对应的服务处理，生成第二响应数据；

将所述第二响应数据与所述第一响应数据进行比对处理，生成流量回放处理结果。

8.根据权利要求7所述的方法，其中，所述将所述第一服务调用请求发送至所述指定应用对应的服务网格组件包括：在所述第一服务调用请求中附加模拟调用标识后，发送至所述指定应用对应的服务网格组件，所述模拟调用标识用于指示所述服务网格组件执行模拟调用处理，

所述方法还包括：在执行与所述第一服务调用请求对应的服务处理的过程中，产生针对所述指定应用以外的其他应用的第二服务调用请求；

所述服务网格组件获取所述针对其他应用的第二服务调用请求，根据所述第二服务调用请求以及所述流量染色标识，执行所述模拟调用处理，所述模拟调用处理包括：从所述流量录制数据中获取已经录制的与所述第二服务调用请求对应的第三响应数据，并将该第三响应数据发送给所述指定应用，以继续执行与所述第一服务调用请求对应的服务处理。

9.根据权利要求8所述的方法，其中，所述模拟调用标识包括模拟调用的应用标识，

所述服务网格组件获取所述第二服务调用请求，根据所述第二服务调用请求以及所述流量染色标识，执行所述模拟调用处理包括：

如果所述其他应用的应用标识与所述模拟调用的应用标识匹配，则根据所述第二服务调用请求以及所述流量染色标识，执行所述模拟调用处理。

10.一种流量录制处理装置，包括：

流量采集模块，用于响应于服务网格控制台下发的流量采集指令，通过与指定应用对应的服务网格组件对流量数据进行采集；

流量染色模块，用于按照采集的流量数据中对指定应用的服务调用请求，对流量数据附加流量染色标识，生成流量录制数据；

流量存储模块，用于将所述流量录制数据进行存储。

11.根据权利要求10所述的装置，其中，所述通过与指定应用对应的服务网格组件对流量数据进行采集包括：

从流经所述指定应用对应的服务网格组件的流量数据中，获取所述指定应用对其他应用的服务调用请求，并在该服务调用请求中附加所述流量染色标识，以触发所述其他应用对应的服务网格组件对与该服务调用请求相关的流量数据进行采集。

12.根据权利要求10所述的装置，其中，还包括：

协议配置模块，用于接收服务网格控制台下发的协议匹配条件，对所述指定应用对应的服务网格组件进行协议匹配设置，

所述通过与指定应用对应的服务网格组件对流量数据进行采集包括：根据所述协议匹配条件，对流经服务网格组件的流量数据进行匹配，获取满足协议匹配条件的流量数据。

13.一种流量回放处理装置，包括：

流量录制数据获取模块，用于从与指定应用相关的流量录制数据中，获取与指定应用关联的包含流量染色标识的第一服务调用请求和与该第一服务调用请求对应的第一响应数据；

服务调用模块，用于将所述第一服务调用请求发送至所述指定应用对应的服务网格组件，所述服务网格组件识别到所述流量染色标识后，对所述指定应用发起调用，执行与所述第一服务调用请求对应的服务处理，生成第二响应数据；

数据比对模块，用于将所述第二响应数据与所述第一响应数据进行比对处理，生成流量回放处理结果。

14.根据权利要求13所述的装置，其中，所述将所述第一服务调用请求发送至所述指定应用对应的服务网格组件包括：在所述第一服务调用请求中附加模拟调用标识后，发送至所述指定应用对应的服务网格组件，所述模拟调用标识用于指示所述服务网格组件执行模拟调用处理，

所述装置还包括流量模拟处理模块，用于在执行与所述第一服务调用请求对应的服务处理的过程中，产生针对所述指定应用以外的其他应用的第二服务调用请求时，触发所述服务网格组件获取所述针对其他应用的第二服务调用请求，根据所述第二服务调用请求以及所述流量染色标识，执行所述模拟调用处理，所述模拟调用处理包括：从所述流量录制数据中获取已经录制的与所述第二服务调用请求对应的第三响应数据，并将该第三响应数据发送给所述指定应用，以继续执行与所述第一服务调用请求对应的服务处理。

15.一种用户场景图谱的生成方法，包括：

通过服务网格组件对多个应用的流量进行录制，生成多个应用的流量录制数据；

根据多个应用的流量录制数据，对各个应用的接口调用状况进行统计；

根据统计结果生成用户场景图谱。

16.根据权利要求15所述的方法，其中，根据统计结果生成用户场景图谱包括：根据统计结果，生成多个应用之间的调度关系拓扑图。

17.一种场景测试用例的处理方法，包括：

在多个使用场景下，对应用的各个功能进行操作处理，并通过服务网格组件对所述操作处理产生的流量进行录制，生成与各个场景对应的流量录制数据作为场景测试用例集；

响应于回归测试指令，调用所述场景测试用例集，通过服务网格组件对所述各个场景对应的流量录制数据进行回放处理，触发应用执行与所述流量录制数据对应的操作处理，以进行回归测试。

18.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1至6任一所述的流量录制处理方法。

19.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行权利要求7至9任一所述的流量回放处理方法。

20.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行权利要求15或16所述的用户场景图谱的生成方法。

21.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行权利要求17所述的场景测试用例的处理方法。

Images