CN109039817A - 一种用于流量监控的信息处理方法和装置 - Google Patents

Abstract

本发明公开了一种用于流量监控的信息处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对服务接口的调用量，以生成与每个调用方相应的调用信息；对当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。该实施方式通过对调用信息的周期性汇总以及分组异步传输方式，解决了大规模集群中流量较高时的效率问题，较之现有方式，可以极大减少硬件和网络资源的使用率，同时保证了较高的实时性。

Description

一种用于流量监控的信息处理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于流量监控的信息处理方法和装置。

背景技术

在大规模的集群应用中，如何监控和管理流量请求常常是一项很重要的任务。当前针对流量的监控主要是通过在流量的服务提供方进行埋点采集，记录每一次调用信息，并以日志的形式存储在每台机器上，通过异步的方式传输到中心处理器进行汇总。

但在实现本发明的过程中，发明人发现现有技术至少存在如下问题：

现有方式可以较好的处理中等规模的集群，但随着互联网规模指数级的膨胀，庞大的集群常常达以亿万级的流量，这种记录每一次调用并传输的方法会极大地浪费服务器和网络资源，同时监控的时效性也得不到保证，常有分钟级的延迟。

发明内容

有鉴于此，本发明实施例提供一种用于流量监控的信息处理方法和装置，至少能够解决现有技术中硬件和网络资源使用率过高，流量监控时效性不能保证的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种用于流量监控的信息处理方法，包括：

接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

可选的，所述调用信息至少包括调用方、服务接口、调用量以及当前周期所属时间戳的映射关系；

所述方法还包括：

根据预定数值转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用量以及所述时间戳为相应的数值信息，并生成相应的数值调用信息；或

根据预定散列函数转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用请求量以及所述时间戳为相应的散列函数值，并生成相应的散列函数调用信息。

可选的，所述对所述当前周期内的所有调用信息进行分组处理，包括：

根据所述所有调用信息的数量以及每组中的预定信息量，确定所需创建的分组以及每组中的调用信息量；或

根据所述所有调用信息的数量以及预定分组量，确定每组中的调用信息量。

可选的，所述异步传输分组后的调用信息至存储方中进行存储之后，还包括：

至少根据所述调用方、所述服务接口，确定与所述调用信息相应的历史调用信息；以及

根据所述当前周期所属时间戳以及所述历史调用信息的历史时间戳，统计预定历史时长内的历史调用信息，以生成相应的调用总信息。

为实现上述目的，根据本发明实施例的另一方面，提供了一种用于流量监控的信息处理装置，包括：

采集模块，用于接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

传输模块，用于对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

可选的，所述调用信息至少包括调用方、服务接口、调用量以及当前周期所属时间戳的映射关系；

所述装置还包括信息转换模块，用于：

根据预定数值转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用量以及所述时间戳为相应的数值信息，并生成相应的数值调用信息；或

根据预定散列函数转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用请求量以及所述时间戳为相应的散列函数值，并生成相应的散列函数调用信息。

可选的，所述传输模块，用于：

根据所述所有调用信息的数量以及每组中的预定信息量，确定所需创建的分组以及每组中的调用信息量；或

根据所述所有调用信息的数量以及预定分组量，确定每组中的调用信息量。

可选的，还包括信息统计模块，用于：

至少根据所述调用方、所述服务接口，确定与所述调用信息相应的历史调用信息；以及

根据所述当前周期所属时间戳以及所述历史调用信息的历史时间戳，统计预定历史时长内的历史调用信息，以生成相应的调用总信息。

为实现上述目的，根据本发明实施例的再一方面，提供了一种用于流量监控的信息处理电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的用于流量监控的信息处理方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的用于流量监控的信息处理方法。

根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：通过对调用信息的周期性汇总以及分组异步传输方式，解决了大规模集群中流量较高时的效率问题，较之传统方式，可以极大减少硬件和网络资源的使用率，同时保证了较高的实时性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种用于流量监控的信息处理方法的主要流程示意图；

图2是不同调用信息形式示意图；

图3是本发明所涉及的四个终端示意图；

图4是根据本发明实施例的一种用于流量监控的信息处理装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性***架构图；

图6是适于用来实现本发明实施例的移动设备或服务器的计算机***的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本发明可适用于电商、社交网络、金融等各类后端软件***，以对其中的接口服务请求流量进行监控。

所讲述的服务提供方为应用***内的服务提供方，目前应用开发均面向服务化，即内部都是一个个服务接口。因此本发明的服务监控指的是对每一个服务接口进行监控，提供方也不是移动、联通、电信类网路提供方。

例如，电商平台内部的交易部门提供了订单服务，订单服务包含下单和查询订单等功能，调用方例如该平台的APP(Application，应用软件)或网站，通过调用该服务接口即可进行下单和查询订单等操作，这里的交易部门即为服务提供方。

本发明的数据存储端，包括但不限于是Redis集群，还可以是其他任意分布式集群，本发明实施例以Redis集群为例进行说明。本发明所讲述的流量，可以为客流量、数据流量等。实际上，流量监控是可以监控各个服务接口的每个流量来源情况。

本发明使用分布式处理方式，当数据规模增长时，不会产生热点瓶颈，因此可扩展至亿万级流量进行监控，本发明主要针对亿万级流量进行监控分析处理。

对于本发明所涉及的词语做解释如下：

埋点：通过在程序执行的特定位置，主动获取当前运行信息以采集信息。

过滤器：通过公共的流程代码，在特定流程的前后进行处理的程序功能。

Redis集群：一种先进内存中的key-value数据库集群。

pipeline：一种批量处理方法，可以将多个请求合并为一次操作。

Redis Incrby命令：将key中储存的数字加上指定的增量值。如果key不存在，那么key的值会先被初始化为0，然后再执行Incrby命令。如果值包含错误的类型，或字符串类型的值不能表示为数字，那么返回一个错误。

参见图1，示出的是本发明实施例提供的一种用于流量监控的信息处理方法的主要流程图，包括如下步骤：

S101：接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

S102：对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

上述实施方式中，对于步骤S101，本发明所讲述的服务端，为电商平台、社交网络、金融等APP/网站等服务***的应用模块，通过POM(Project Object Model，项目对象模型)依赖集成在所有服务方应用中。POM是JAVA***maven组件中的内容，使用POM可以方便服务端集成为集模块。

调用方所发起的流量调用请求，须包含有一些后续需要用到的关键信息，例如，服务信息(例如接口名、方法名)、调用方应用信息以及时间戳。

对于流量调用请求的处理，可以通过在服务方所配置的过滤器程序，将其暂存在本地内存中。这里的过滤器是一种通用的设计方式，可视为是采集每一个服务接口所接收的调用请求的入口模块，用于对服务***添加新的功能，本发明添加的是采集功能，但又不影响原处理功能。还可以简单记录流量调用请求，以为内存中计数器做临时存储。

对于请求中的调用方，区别于服务方，具体可以是某个APP/网站***、红包发送***等。

通常分布式***中，仅可以简单获取到调用方的来源IP(Internet ProtocolAddress)，但该种方式所获取的IP是不直观的，也无法确定是哪个调用方应用的，更无法将同一个来源应用汇总到一起，因此需要通过内部“IP转换到应用名称”的功能进行转换，以得到具体的调用方应用。

需要说明的是，对于调用来源的确定，即调用方应用，是本发明的一个重要功能，也是区别于其他目前监控方式的一个区别点。当遇到大量流量时，可以清晰知道流量调用来自于哪个调用来源，进而采取应对限流措施或是对调用来源做处理，例如，增加黑名单；

对于调用量的确定，可以在服务方应用启动时自动创建一个监控主线程，通过定时器周期性(例如，4s)执行计划任务，即统计每个调用方所发起的流量调用请求量。所统计的数值在亿万级***中大概是百万的数值。

例如，在服务方中创建一个原子计数器，每当接收到调用方对该服务接口发送的量调用请求时，进行计数器自增操作。

对于调用信息，可以包含有服务接口、调用方、调用量以及时间戳的对应关系。例如，在每个服务方的应用实例中创建一个静态并发Map，以将每个***名-接口名-方法名-调用方应用名-时间戳作为key，对应值value为所统计的调用量，生成key-value格式的调用信息，该结构较为便捷简单。

其中，监控服务可以提供给很多服务***使用，且每个服务***都有自己的***名，这样在记录信息时可以互不干扰；例如企业内部的交易***、营销***、广告***等都是***名；

方法名是指接口下一级的分类，可视为是子接口或者服务；例如，交易***-订单服务-创建订单，分别是***名、接口名和方法名。

对于步骤S102，针对所得key-value格式调用信息的发送，对于Redis集群，实际上是一个个Incrby操作，即将key中所存储的数值加上指定的增量值，例如，每4秒一次的调用总量。另外，对于Redis Incrby，其操作是原子性的，当大量请求量进行此操作时，也能保证所累计的数值是正确的，不会有冲突或丢失。

但以上操作会造成大量的Redis并发写入，例如，从整个Redis集群监控中可以看到4s一次非常高的TPS波峰。针对该情况，为尽量减少资源占用和降低计算复杂性，本发明摒弃了现有选择本地日志记录再发送的方式，直接在消费队列的异步线程中将周期性所统计的信息发送到分布式集群中；其中，消费队列处于***中异步队列的消费端，即读取队列的处理。

针对每个周期内所得调用信息，可以按照相同时间长的执行周期传输。例如，当达到执行周期时间戳(例如，4s)时，将当前周期内所有统计的key-value调用信息传输到存储器中。

需要说明的是，在发送调用信息完毕之后，需要将原子计数器中的数值清空，否则所统计的当前周期的数值将会累计到下个周期内，且计时器是没有时间戳的，用的是执行周期的发送时间戳。

为保证任务传输的时效性，任务周期的时间戳需要不断调整偏差，例如，传输周期为4s，需严格维持在每分钟的0秒、4秒、8秒……56秒这样的时间戳执行。

对于key-value调用信息的传输，可以发送到异步队列中，以异步的方式进行传输，较之本地存储方式，该方式更为高效、稳定。

例如，一件事情根据1、2、3的顺序排序执行，但若此时4***1和2之间，那么2/3就需要顺延等着，此时采用异步方式，则原1、2、3仍可以正常运行，4通过一个单独空间进行处理。

同一周期内，可能所得调用信息量较多，针对该种情况，本发明摒弃历史一个个传输的方式，对其进行批量传输，利用pipeline机制对其进行加速：

1)分组数量固定，例如，服务方在当前周期内收到了1100个键值对，若总共5个组，那么需要对这1100个键值对进行均匀化处理，每组中有1100/5＝220个键值对；

但若为1100个键值对，即表示有1个余量，该键值对可以任意分配至其中一个即可；

当分组数量仅为1个时，即表示所有键值对都分配至一个组中进行一次批量传输。

2)每组中的信息数量固定，例如，同样是1100个键值对，若每组中的键值对固定为200个，那么可以得到5个包含200个键值对的组、以及1个包含100个键值对的组；

对于剩余的一个组中100个键值对，表示下一周期来临之前，又没有新的信息生成，但又不超过组中信息量的情况；

当组中信息数量上限为无限值时，同样表示所有键值对都分配至一个组中进行一次批量传输。

需要说明的是，这种分组批量传输的延迟通常为秒两级，在***的可接受范围之内，且可以通过配置参数来进一步减少延迟，但延迟是不可避免的。

通过异步队列，批量传输调用信息的方式，需将队列任务所收集并积累的一批任务发送，我们通过队列的poll和超时检测，将未发生出队超时的任务批量一次发送。

异步传输方式可以提高服务方性能和容错性。其中，性能提高是指异步批量传输的速度更快；容错性提高是指异步后不影响原接口服务的功能，不会使其变慢或者出错。

且，现有Redis的每一次操作都会经历多个IO***的调用切换，但使用pipeline进行批量操作，可以大大减少内部IO***的调用总次数、节约每次单独调用时的RTT(网络来回延迟)。例如，原先需要一个个传输的信息，现一次性传输。经试验证实，批量传输后的整体性能提高了10倍左右。

除了过滤器之外，还可以在提供方处配置启动Bean(实体对象类，可以将数据库操作抽象成对类的操作)，以完成上述信息量汇总以及发送，可以bean是功能性的。

上述对于调用方的调用请求的采集以及统计过程，耗时性任务较少，例如：

1)服务方中计数器的增加，仅仅是简单的加法累计计算；

2)周期性的发送和清空计数器所累计的数值；

这些操作都不涉及大量计算/硬盘/网络操作，且内存操作是秒级的，以保证能够精准完成统计过程、且不影响原服务进程。

对于数据存储端，较之现有存储于服务方内部的思想，本发明将其单独提取出来处理，以减少侵入各个服务***，保持各个服务***的独立性和稳定性。对于分布式集群，可以通过多分片式提高性能，即有多个redis的分片组成的整体集群，这样性能更好也更加安全稳定。

上述key-value为逻辑最为简单直接的设计方式，但是最浪费存储空间，因为key会非常长。

因此，在存储调用信息至数据存储端时，或者在生成调用信息之后、存储之前，需要对调用信息进行优化：

1)将所有接口名、方法名等转换为数字ID，这样key比较简短；例如，交易***1-订单服务1-创建订单1，则转换为1-1-1，都是数字序列，每一级按照独立的自增顺序分配即可，例如，后续1-2-3。

但，该数值转换方式增加了复杂性，因为数字转换不仅在信息存储时需要，在后续查询时也是需要的；且当需要对信息进行新增、修改或删除时，也容易出错；还有数字的实际占用空间仍较大。

因此，需要提供更为优化的方法：

2)最优的办法就是利用hash这类数据结构进行存储，如key中包括***名-接口名-方法名-调用方、filed中存储简短的时间戳，对应的value中存储计数量，该方式本身可以极大减少存储空间。

例如，当有100万个key-value时，key和value都有100万份，使用hash结构的话，只有value和key中的一小部分(时间戳)需要存100万份，key中相同的前缀只存1份，因此能节省空间。

实验证明，同样生成100个1天范围内的采集数据，第三种hash结构存储比第一种key-value简单方式减少了一半以上的存储空间，具体参见图2所示。

本发明的管理端，为独立部署的应用。对于所监控到的流量进行结构化存储之后，后续可以通过图表等形式进行可视化处理，或通过定时任务对所监控到的异常流量进行报警通知、配置降级限流和授权等功能。

后续，在读取和生成监控图表过程中，经常会遇到非常大的时间范围，若此时还使用秒级数据，将导致所查询的结果数量非常多，数据会超过图表像素容量的现象。

针对该种情况，可以在存储时针对时间戳对调用信息进行汇总，例如将预定时间段内的秒级监控数据进行分钟级汇总，这样较大范围查询时可直接查询分钟级数据，且该过程是在后台管理中操作redis完成的。

可选的，如果查询较高级别的查询，则通过查询所有下一级数据进行汇总展示。汇总后的数据粒度较粗，占用空间更少。另外，读取批量数据也可以同pipeline进行批量读取加速，原理类似于批量存储。

本发明实施例所提供的方法，通过对所监控信息的采集、发送和存储过程进行重新设计，巧妙利用了分布式处理、异步汇总等方式，将监控信息汇总等操作分布在每台服务机器中执行，再将汇总后的信息批量传输至分布式集群中进行汇总。另外，针对所传输的信息进行压缩处理，可以减少了硬件和网络资源使用率，同时保证了整体方案较高的实时性。

本发明涉及四个终端，调用方、服务端、数据存储端以及管理端，具体参见图3所示：

1)调用方：用于发送流量调用请求至服务方/服务接口；

2)流量服务方：接收调用方所发送的调用请求；

统计预定周期内接收自该调用方的调用请求量，生成调用信息；

对该周期内的调用信息进行分组处理，一次或按照分组，批量传输至数据存储端；

3)数据存储方：主要是分布式集群，例如，Redis集群，用于结构化存储数据；

4)管理方：使用监控数据进行报警和管理控制。

参见图4，示出了本发明实施例提供的一种用于流量监控的信息处理装置400的主要模块示意图，包括：

采集模块401，用于接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

传输模块402，用于对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

本发明实施装置中，所述调用信息至少包括调用方、服务接口、调用量以及当前周期所属时间戳的映射关系；

所述装置还包括信息转换模块403(图中未标出)，用于：

根据预定数值转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用量以及所述时间戳为相应的数值信息，并生成相应的数值调用信息；或

根据预定散列函数转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用请求量以及所述时间戳为相应的散列函数值，并生成相应的散列函数调用信息。

本发明实施装置中，所述传输模块402，用于：

根据所述所有调用信息的数量以及每组中的预定信息量，确定所需创建的分组以及每组中的调用信息量；或

根据所述所有调用信息的数量以及预定分组量，确定每组中的调用信息量。

本发明实施装置中，还包括信息统计模块404(图中未标出)，用于：

至少根据所述调用方、所述服务接口，确定与所述调用信息相应的历史调用信息；以及

根据所述当前周期所属时间戳以及所述历史调用信息的历史时间戳，统计预定历史时长内的历史调用信息，以生成相应的调用总信息。

另外，在本发明实施例中所述的用于流量监控的信息处理装置的具体实施内容，在上面所述用于流量监控的信息处理方法中已经详细说明了，故在此重复内容不再说明。

图5示出了可以应用本发明实施例的用于流量监控的信息处理方法或用于流量监控的信息处理装置的示例性***架构500。

如图5所示，***架构500可以包括终端设备501、502、503，网络504和服务器505(仅仅是示例)。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯服务端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱服务端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的用于流量监控的信息处理方法一般由服务器505执行，相应地，用于流量监控的信息处理装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机***600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的***中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括采集模块、传输模块、获取模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，采集模块还可以被描述为“周期内的调用信息采集模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

根据本发明实施例的技术方案，通过对所监控信息的采集、发送和存储过程进行重新设计，巧妙利用了分布式处理、异步汇总等方式，将监控信息汇总等操作分布在每台服务机器中执行，再将汇总后的信息批量传输至分布式集群中进行汇总。另外，针对所传输的信息进行压缩处理，可以减少了硬件和网络资源使用率，同时保证了整体方案较高的实时性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种用于流量监控的信息处理方法，其特征在于，包括：

接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

2.根据权利要求1所述的方法，其特征在于，所述调用信息至少包括调用方、服务接口、调用量以及当前周期所属时间戳的映射关系；

所述方法还包括：

根据预定数值转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用量以及所述时间戳为相应的数值信息，并生成相应的数值调用信息；或

根据预定散列函数转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用请求量以及所述时间戳为相应的散列函数值，并生成相应的散列函数调用信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述当前周期内的所有调用信息进行分组处理，包括：

根据所述所有调用信息的数量以及每组中的预定信息量，确定所需创建的分组以及每组中的调用信息量；或

根据所述所有调用信息的数量以及预定分组量，确定每组中的调用信息量。

4.根据权利要求1所述的方法，其特征在于，所述异步传输分组后的调用信息至存储方中进行存储之后，还包括：

至少根据所述调用方、所述服务接口，确定与所述调用信息相应的历史调用信息；以及

根据所述当前周期所属时间戳以及所述历史调用信息的历史时间戳，统计预定历史时长内的历史调用信息，以生成相应的调用总信息。

5.一种用于流量监控的信息处理装置，其特征在于，包括：

采集模块，用于接收多个调用方对服务接口的调用请求，统计当前周期内每个调用方对所述服务接口的调用量，以生成与每个调用方相应的调用信息；

传输模块，用于对所述当前周期内的所有调用信息进行分组处理，异步传输分组后的调用信息至存储方中进行存储。

6.根据权利要求5所述的装置，其特征在于，所述调用信息至少包括调用方、服务接口、调用量以及当前周期所属时间戳的映射关系；

所述装置还包括信息转换模块，用于：

根据预定数值转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用量以及所述时间戳为相应的数值信息，并生成相应的数值调用信息；或

根据预定散列函数转换方式，分别转换所述调用信息中的所述调用方、所述服务接口、所述调用请求量以及所述时间戳为相应的散列函数值，并生成相应的散列函数调用信息。

7.根据权利要求5所述的装置，其特征在于，所述传输模块，用于：

根据所述所有调用信息的数量以及每组中的预定信息量，确定所需创建的分组以及每组中的调用信息量；或

根据所述所有调用信息的数量以及预定分组量，确定每组中的调用信息量。

8.根据权利要求5所述的装置，其特征在于，还包括信息统计模块，用于：

至少根据所述调用方、所述服务接口，确定与所述调用信息相应的历史调用信息；以及

根据所述当前周期所属时间戳以及所述历史调用信息的历史时间戳，统计预定历史时长内的历史调用信息，以生成相应的调用总信息。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。