CN108923967B - 一种去重流量记录方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明实施例公开了一种去重流量记录方法、装置、服务器及存储介质，所述方法包括：在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量，若是，则解析字段点信息并确定去重流量的业务产生时间和指示信息，并根据预设流量配置信息和业务产生时间确定出用于记录去重流量的多个业务时间窗口，进而根据指示信息，在多个业务时间窗口下分别记录去重流量。本发明，采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。

Description

一种去重流量记录方法、装置、服务器及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种去重流量记录方法、装置、服务器及存储介质。

背景技术

随着互联网技术的发展与普及，各平台对应的用户数量也在大幅增长，对应于用户的数据流量也呈现几何数增长，这对于数据统计与分析工作形成了巨大挑战。在众多统计流量数据中，去重数这个指标是一个基础且常用的统计指标，而去重数的确定依赖于对去重流量的统计。因此，如何建立更好的去重逻辑对去重流量进行记录，成为一个亟待解决的问题。

发明内容

本发明实施例提供了一种去重流量记录方法、装置、服务器及存储介质，采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。

第一方面，本发明实施例提供了一种去重流量记录方法，该方法包括：

在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；

若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；

根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；

根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。

在一个实施例中，所述预设流量配置信息包括记录的时间精度，所述根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口的具体实施方式为：

从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；

将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；

基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。

在一个实施例中，所述指示信息用于指示对所述去重流量执行流量加操作，所述根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量的具体实施方式为：

解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；

若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；

若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。

在一个实施例中，所述指示信息用于指示对所述去重流量执行流量减操作，所述根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量的具体实施方式为：解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。

在一个实施例中，所述预设流量配置信息还包括失效时长阈值，所述在所述多个业务时间窗口下分别记录所述去重流量之后，还可以针对所述多个业务时间窗口开启计时功能；在当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个时间窗口下所述去重流量的记录数据删除。

在一个实施例中，所述多个业务时间窗口包括所述最小业务时间窗口和所述次小业务时间窗口，所述判断所述去重流量是否为重复流量的具体实施方式为：确定所述去重流量在所述最小业务时间窗口下所记录的当前次数；在所述当前次数大于或者等于次数阈值的情况下，则判断所述去重流量为重复流量。

在一个实施例中，所述预设流量配置信息还包括流量规则信息，所述流量规则信息中包括统计时长，所述根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量之后，还可以：获取当前***时间和所述流量规则信息中的所述统计时长；根据所述当前***时间和所述统计时长确定出针对所述去重流量的统计时间段；获取所述统计时间段内所有所述业务时间窗口的记录数据；如果根据所述记录数据确定所述去重流量满足所述流量规则信息对应的流量规则，则输出报警信息。

第二方面，本发明实施例提供了一种去重流量记录装置，该去重流量记录装置包括用于执行上述第一方面的方法的模块。

第三方面，本发明实施例提供了一种服务器，该服务器包括处理器、网络接口和存储器，所述处理器、网络接口和存储器相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

本发明实施例中，服务器在接收到报文的情况下，获取所报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量，若是，则解析字段点信息并确定去重流量的业务产生时间和指示信息，并根据预设流量配置信息和业务产生时间确定出用于记录去重流量的多个业务时间窗口，进而根据该指示信息，在多个业务时间窗口下分别记录去重流量。采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种去重流量记录方法的流程示意图；

图2是本发明实施例提供的一种流量配置操作界面的示意图；

图3是本发明实施例提供的另一种去重流量记录方法的流程示意图；

图4是本发明实施例提供的一种流量规则配置操作界面的示意图；

图5是本发明实施例提供的一种去重流量记录装置的示意性框图；

图6是本发明实施例提供的一种服务器的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1是本发明实施例提供的一种去重流量记录方法的流程示意图，如图所示，该去重流量记录方法可包括：

101、服务器在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量。

在一个实施例中，用户可以通过流量配置页面预先对流量进行配置，配置的目的是为了确定对何种流量进行流量记录，本发明主要是配置去重流量，对去重流量进行记录。其中，去重流量为关注不同去重值的流量，该去重值可以为一个唯一标识，如设备号、ID号、账号等等。例如，一条流量为同设备号不同用户交易次数，其中，该用户的唯一标识可以为用户账号，那么该用户账号则为去重值，这条流量关注不同的用户(即去重值)，则为去重流量。

进一步地，去重流量配置的具体内容(即预设流量配置信息)可以包括对记录的时间精度(如分钟)、流量描述信息(也即对流量的描述，如一条流量可以描述为同设备号不同用户交易成功次数)、统计维度(如IP地址)，统计字段(该统计字段例如可以对应不同用户账号)、时间类型以及流量记录时执行加操作或者减操作对应的标识符，如加操作对应标识符为“001”，减操作对应标识符为“002”。当用户对去重流量配置完成后，服务器可以在需要时获取上述流量配置信息，也即用户通过流量配置页面配置的具体内容。

其中，该流量配置页面可以如图2所示，从图2可以看出，配置了“同设备号不同用户交易次数”这条去重流量(即流量描述信息)，以及统计维度为如IP地址，统计字段为账户唯一标识(如设备号)，以及记录的时间精度为分钟，流量记录时，加操作对应标识符为“001”，减操作对应标识符为“002”。

在一个实施例中，服务器接收到报文的情况下，可以将报文的字段点信息与步骤101中的流量配置信息进行比较，进而根据比较结果确定该报文对应的流量是否为与预设流量配置信息匹配的去重流量。其中，该报文可以包括多个字段点，多个字段点中各字段点以及各字段点对应的值则为上述提到的报文的字段点信息。

示例性地，假设流量配置页面如图2所示，配置的去重流量为同设备号不同用户交易成功次数，***接收到的报文如下：

其中，“event timestamp”、“event id”、“user name”、“ip”以及“device”等均为报文中包括的字段点，各字段点对应的值分别表征了该报文的业务产生时间“2018-05-0316：11：34”、该报文对应的交易成功状态码“001”、用户名、ip地址“1.1.1.1”以及设备号等。该字段点“event timestamp”就对应流量配置页面中的时间类型；字段点“device”的值对应流量配置页面中统计维度；字段点“user name”对应流量配置页面中的统计字段，也即表征不同账户(如用户U1、U2或者U3)；“event id”的值对应流量配置页面中的标识符，“event id＝001”对应流量配置页面中加操作对应的标识符“001”，“event id＝002”对应流量配置页面中加操作对应的标识符“002”。

这种情况下，服务器接收到报文后，可以通过解析报文，获取报文对应的各字段点“event timestamp”、“device”以及“user name”等，以及各字段点对应的值，将获取到的各字段点以及对应的值与流量配置信息中的时间类型、统计维度以及统计字段进行比较，可以确定出各字段点与流量配置信息是匹配的，进而可以确定出该报文对应的流量为与该流量配置信息匹配的去重流量。

102、若服务器确定出报文对应的流量为与预设流量配置信息匹配的去重流量，则解析字段点信息并确定出去重流量的业务产生时间和指示信息，该指示信息用于指示对去重流量执行流量加操作或者流量减操作。

在一个实施例中，服务器确定出该报文对应的流量为去重流量后，一方面可以根据报文中的事件时间字段点(如“event timestamp”)对应的值确定出该去重流量的业务产生时间，例如“event timestamp”对应的值为2018-05-03 16：11：34，那么业务产生时间则可以确定为2018年5月3日16点11分34秒。另一方面，可以通过识别交易码字段点(如“device”)对应的值(如“001”或者“002”)，确定对该条去重流量执行流量加操作还是执行流量减操作，也即确定出针对该去重流量的指示信息。例如，服务器识别到字段点“device”对应的值为“001”时，则可以生成用于指示对该去重流量执行流量加操作的指示信息，识别到字段点“device”对应的值为“002”时，则可以生成用于指示对该去重流量执行流量减操作的指示信息。

103、服务器根据预设流量配置信息和业务产生时间确定出用于记录该去重流量的多个业务时间窗口，该多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度。

在一个实施例中，预设流量配置信息包括记录的时间精度，服务器可以从预设流量配置信息中获取记录的时间精度，并根据该记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，进而将业务产生时间对应的最小时间粒度窗口确定为最小业务时间窗口，将业务产生时间对应的次小时间粒度窗口确定为次小业务时间窗口，并基于最小业务时间窗口和次小业务时间窗口确定出用于记录去重流量的多个业务时间窗口。其中，该最小时间粒度窗口的时间粒度小于次小时间粒度窗口的时间粒度。

其中，上述次小时间粒度窗口可以包括一个或者多个，该最小时间粒度窗口的时间粒度与上述记录的时间精度对应的时间粒度保持一致，也即记录的时间精度为分钟，那么最小粒度窗口的时间粒度也可以为分钟。

示例性的，流量配置信息中记录的时间精度为分钟，该去重流量的业务产生时间为2018年5月3号的16点11分23秒。这种情况下，服务器可以根据该时间精度确定出最小时间粒度窗口为分钟级别窗口，次小时间粒度窗口可以确定为小时级别窗口和天级别窗口。进一步地，服务器可以结合去重流量的业务产生时间，将2018-05-03T16：11：00确定为业务产生时间(即2018年5月3号的16点11分23秒)对应的分钟级别窗口，即确定为最小业务时间窗口；将2018-05-03T16：00：00和2018-05-03T00：00：00分别确定为2018年5月3号的16点11分23秒对应的小时级别窗口和天级别窗口，即确定为次小业务时间窗口。进一步地，则可以基于确定出来的最小业务时间窗口和次小业务时间窗口，将时间窗口2018-05-03T16：11：00、2018-05-03T16：00：00和2018-05-03T00：00：00确定为用于记录去重流量的多个业务时间窗口。可以看出，各个业务时间窗口根据时间粒度划分了优先级别，其中分钟级别为最小级别，小时级别次之，天级别再次之。

104、服务器根据该指示信息，在多个业务时间窗口下分别记录该去重流量。

其中，该指示信息用于指示对去重流量执行流量加操作或者流量减操作。在一个实施例中，当服务器识别到该指示信息用于指示对去重流量执行流量加操作时，可以首先确定该去重流量是否为重复流量，如果是重复流量，则不对该条去重流量进行记录；如果不是重复流量，则在确定出的每个业务时间窗口下对该去重流量出现的次数执行增加操作。

或者，当服务器识别到该指示信息用于指示对去重流量执行流量减操作时，则可以在确定出的每个业务时间窗口下对该去重流量出现的次数执行减少操作。

本发明实施例中，服务器在接收到报文的情况下，获取所报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量，若是，则解析字段点信息确定去重流量的业务产生时间和指示信息，并根据预设流量配置信息和业务产生时间确定出用于记录去重流量的多个业务时间窗口，进而根据该指示信息，在多个业务时间窗口下分别记录去重流量。本发明实施例，采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。

参见图3，图3是本发明实施例提供的另一种去重流量记录方法的流程示意图，如图所示，该去重流量记录方法可包括：

301、服务器在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量。

302、若服务器确定出报文对应的流量为与预设流量配置信息匹配的去重流量，则解析字段点信息并确定出去重流量的业务产生时间和指示信息。

303、服务器根据预设流量配置信息和业务产生时间确定出用于记录该去重流量的多个业务时间窗口。

其中，步骤301-步骤303的具体实现方式，可以参见上述实施例中步骤101-步骤103的相关描述，本发明在此不再赘述。

304、服务器根据该指示信息，在多个业务时间窗口下分别记录该去重流量。

在一个实施例中，服务器可以解析该指示信息，在确定出指示信息用于指示对该去重流量执行流量加操作的情况下，判断该去重流量是否为重复流量，若该去重流量不为重复流量，则在多个业务时间窗口下分别对去重流量出现的次数执行增加操作，若该去重流量为重复流量，则对多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。

其中，服务器判断去重流量是否为重复流量的具体实现方式可以为：服务器确定去重流量在最小业务时间窗口下所记录的当前次数，在当前次数大于或者等于次数阈值的情况下，则判断该去重流量为重复流量。

示例性的，假设一条去重流量是如下描述：同设备号不同用户交易成功次数。每条交易时默认成功的，所以默认会在交易发生的时间点上将数值加1。例如，接收到的这条交易报文为A，在这条交易报文之前还收到了一条交易报文B。其中，交易报文A表征了2018年5月3号的16点11分54秒用户U1通过设备D进行了交易，在交易请求发起时，当接收到报文A时***默认本次交易时成功的(大多数情况也都是成功的)。交易报文B表征了2018年5月3号的16点11分23秒有一个用户U1通过设备D(可能是手机，电脑，平板等，)进行了交易，在交易请求发起时，当接收到报文B时***默认本次交易时成功的(大多数情况也都是成功的)，在各个业务时间窗口下对这条报文B对应去重流量的记录如下：

设备D-2018-05-03T16：11：00→[(U1，1)]，用于表征设备D在2018-05-03T16：11：00的时间点(分钟级别的时间窗口)上有一个[(U1，1)]的记录；

设备D-2018-05-03T16：00：00→[(U1，1)，用于表征设备D在2018-05-03T16：00：00的时间点(小时级别的时间窗口)上有一个[(U1，1)]的记录；

设备D-2018-05-03T00：00：00→[(U1，1)]，用于表征设备D在2018-05-03T00：00：00的时间点(天级别的时间窗口)上有一个[(U1，1)]的记录。

这种情况下，当接收到交易报文A时，解析报文A，确定出报文A对应的去重值为U1，也即用户为U1；对应的业务产生时间为2018年5月3号的16点11分23秒，该业务产生时间对应的最小时间窗口，也即最小业务时间窗口为2018-05-03T16：11：00，该最小业务时间窗口下关于U1的去重流量的记录[(U1，1)]，通过分析最小业务时间窗口2018-05-03T16：11：00下的值，可以确定关于U1的去重流量在2018-05-03T16：11：00这个窗口下已经出现过，即U1次数大于或者等于1(即次数阈值)，则可以判断该去重流量为重复流量，则保持2018年5月3号的16点11分23秒所有业务时间窗口U1的去重流量次数不变，也即现在各个业务时间窗口的记录依然为：

设备D-2018-05-03T16：11：00→[(U1，1)]

设备D-2018-05-03T16：00：00→[(U1，1)]

设备D-2018-05-03T00：00：00→[(U1，1)]

进一步，时间往后推移，在2018年5月3号16点11分55秒，收到了一条交易报文C，交易报文C表征了2018年5月3号的16点11分54秒用户U2通过设备D进行了交易。解析报文C，确定出报文C对应的去重值为U2，报文C对应的业务产生时间2018年5月3号的16点11分55秒，该业务产生时间对应的最小业务时间窗口为(2018-05-03T16：11：00)，以及该最小业务时间窗口下记录的数据为[(U1，1)]，通过分析2018-05-03T16：11：00这个时间窗口下的记录数据，可以确定去重值U2对应的于U1的去重流量在2018-05-03T16：11：00这个窗口下未出现过，则可以判断该去重流量不是重复流量，则在2018年5月3号的16点11分55秒对应的所有业务时间窗口执行关于U2的去重流量的的流量增加操作，执行增加操作后的结果如下：

设备D-2018-05-03T16：11：00→[(U1，1)，(U2，1)]

设备D-2018-05-03T16：00：00→[(U1，1)，(U2，1)]

设备D-2018-05-03T00：00：00→[(U1，1)，(U2，1)]

在一个实施例，服务器还可以解析指示信息，确定指示信息是否用于指示对所述去重流量执行所述流量减操作，若该指示信息用于指示对去重流量执行流量减操作，则在多个业务时间窗口下分别对该去重流量出现的次数执行减少操作。

示例性的，在前面例子接收到交易报文A、B和C，并在各个业务时间窗口对A、B和C各自对应的去重流量进行记录的基础上，时间往后推移，2018年5月3号的16点14分43秒，收到了一条交易报文F，交易报文F表征了2018年5月3号的16点11分23秒用户U1通过设备D进行的交易失败。解析报文F，确定出报文F对应的去重值为U1，对应的业务产生时间2018年5月3号的16点11分23秒，且指示信息用于对该条流去重量执行流量减操作。这种情况下，获取当前所有业务时间窗口以及各自对应的值如下：

设备D-2018-05-03T16：11：00→[(U1，1)，(U2，1)]

设备D-2018-05-03T16：00：00→[(U1，1)，(U2，1)]

设备D-2018-05-03T00：00：00→[(U1，1)，(U2，1)]

那么在所有业务时间窗口下执行关于U1的去重流量的流量减操作后的结果如下：

设备D-2018-05-03T16：11：00→[(U1，0)，(U2，1)]

设备D-2018-05-03T16：00：00→[(U1，0)，(U2，1)]

设备D-2018-05-03T00：00：00→[(U1，0)，(U2，1)]

在一个实施例中，上述预设流量配置信息还包括失效时长阈值，服务器在多个业务时间窗口下分别记录去重流量之后，还可以针对多个业务时间窗口开启计时功能，并在当前所计时长大于或者等于失效时长阈值的情况下，将多个时间窗口下所述去重流量的记录数据删除。

例如，失效时长阈值为1小时，服务器在多个业务时间窗口下分别记录去重流量之后，多个业务时间窗口下的记录数据为：

设备D-2018-05-03T16：11：00→[(U1，1)]

设备D-2018-05-03T16：00：00→[(U1，1)]

设备D-2018-05-03T00：00：00→[(U1，1)]

这种情况下，服务器在上述多个业务时间窗口下分别记录去重流量之后，可以针对多个业务时间窗口开启计时功能，记录当前的起始时间。例如当前的起始时间为2018-05-03T16：11：00，那么在当前时间由2018-05-03T16：11：00变为2018-05-03T17：11：00时，则可以确定当前所计时长等于1小时，则将以上三个业务时间窗口下的记录数据均删除。采用这样的方式，可以减少对存储空间的内存占用。

305、服务器获取当前***时间和预设流量规则信息中的统计时长。

306、服务器根据当前***时间和统计时长确定出针对该去重流量的统计时间段。

在一个实施例中，用户可以通过流量规则页面对流量规则进行配置，配置的具体内容(即预设流量规则信息)可以包括：统计时长、流量规则(如同设备号不同用户交易成功次数大于4)，配置页面可以如图4所示。从图4中可以看出，配置的流量规则为同设备号不同用户交易成功次数大于4，统计时长为1小时，配置的执行这条流量规则的流量为“同设备号不同用户交易成功次数”这条去重流量。

进一步地，当服务器根据字段点信息确定出报文对应的流量为与预设流量配置信息匹配的去重流量之后，还可以检测是否开启了去重流量统计功能，如果已开启，则获取当前***时间，并根据当前***时间和统计时长确定出针对该去重流量的统计时间段。在一个实施例中，该统计时长可以分为小时级别和分钟级别，对于不同的时间级别，服务器根据当前***时间和统计时长确定出的针对该去重流量的统计时间段是不同的。具体地，在统计时长为小时级别时，一小时表示从当前***时间对应的时间点开始，取这个时间点所在的小时窗口，例如当前***时间对应的时间点为2018-05-03T16：11：00，那么这个这一个小时是指2018-05-03T16：00：00到2018-05-03T16：11：00这11分钟，这11分钟即为确定出的统计时间段。或者，在统计时长为分钟级别时，m分钟表示从当前***时间对应的时间点开始，倒推m(m为大于0的数)分钟，例如m为60，当前***时间对应的时间点为2018-05-03T16：11：00，那么从2018-05-03T16：11：00开始倒推60分钟的时间范围2018-05-03T15：11：00到2018-05-03T16：11：00这60分钟，则为确定出的统计时间段。

307、服务器获取统计时间段内所有业务时间窗口的记录数据。

308、如果服务器根据该记录数据确定该去重流量满足流量规则信息对应的流量规则，则输出报警信息。

示例性地，预先配置的流量规则为同设备号不同用户交易成功次数大于10次，执行步骤206确定出的统计时长为2018-05-03T16：00：00到2018-05-03T16：11：00这11分钟，这11分钟内所有业务时间窗口的记录数据(即记录的去重流量)如下：

1)设备D-2018-05-04T10：08：00→[][]表示没有空，没有流量

2)设备D-2018-05-04T10：07：00→[]

3)设备D-2018-05-04T10：06：00→[]

4)设备D-2018-05-04T10：05：00→[]

5)设备D-2018-05-04T10：04：00→[]

6)设备D-2018-05-04T10：03：00→[]

7)设备D-2018-05-04T10：03：00→[]

8)设备D-2018-05-04T10：02：00→[(U101，1)]

9)设备D-2018-05-04T10：01：00→[(U1，1)，(U2，1)……(U10，1)]有10个用户被记录下来

10)设备D-2018-05-04T10：00：00→[(U1，1)，(U2，1)……(U11，1)]有11个用户被记录下来

11)设备D-2018-05-04T9：59：00→[(U1，1)，(U2，1)……(U100，1)]有100个用户被记录下来。

其中，U1-U101代表不同的用户，也即去重值。服务器获取到所有业务时间窗口的上述记录数据后，可以将以上所有业务时间窗口下的数据都取出来，则一共有101个不同的用户，也即同设备号不同用户交易成功次数为101，101大于10，则可以判断该条去重流量满足流量规则，则可以输出报警信息，有利于风险控制。

在一个实施例中，服务器在对统计时间段内的去重流量进行统计时，可以将统计时间段解析为由多个不同时间粒度的时间窗组成的时间窗集合。例如，统计时间段为2014年11月1日到2016年1月2日，根据该段时间的起始时间与截止时间，可以将其分解为2014年11月、2014年12月、2015年、2016年1月1日、2016年1月2日，这5个时间段。

示例性地，假设记录的时间精度为分钟，在流量规则配置页面中配置的统计时长为60*24*2分钟，服务器确定出报文对应的流量为与预设流量配置信息匹配的去重流量的时间是2018-05-03T16：11：34，因为在流量规则配置时使用时间精度为分钟，所以34秒的时间被归在了11分所在的时间点，2018-05-03T16：11：34对应的时间点应该是2018-05-01T16：11：00，服务器根据统计时长，可以确定出该去重流量的统计时间段为2018-05-03T16：11：34倒推60*24*2分钟这一时间范围。在对待统计时间段内的去重流量进行计算时，可以将待统计时间段内的所有分钟级别的时间窗口全部取出，从2018-05-01T16：11：00开始，取

2018-05-01T16：12：00

2018-05-01T16：13：00

2018-05-01T16：14：00

…

2018-05-01T16：58：00

2018-05-01T16：59：00

2018-05-01T17：00：00

2018-05-01T17：01：00

2018-05-01T17：02：00

…

2018-05-01T18：00：00

2018-05-01T18：01：00

2018-05-01T18：02：00

…

2018-05-01T19：00：00

2018-05-01T19：01：00

2018-05-01T19：02：00

…

2018-05-01T19：00：00

2018-05-01T19：01：00

2018-05-01T19：02：00

…

2018-05-01T23：58：00

2018-05-01T23：59：00

2018-05-02T00：00：00

2018-05-02T00：01：00

…

2018-05-02T23：58：00

2018-05-02T23：59：00

2018-05-03T00：00：00

2018-05-03T00：01：00

…

2018-05-03T01：00：00

…

2018-05-03T02：00：00

…

2018-05-03T15：59：00

2018-05-03T16：00：00

2018-05-03T16：01：00

…

2018-05-03T16：11：00

一共是60*24*2＝2880个分钟级别时间窗口。针对这种情况，可以识别各个分钟级别的时间窗口是否都在其他更高级别的时间维度中，如果都在可以进行相应小时、天维度的合并。例如上面的分钟列表中，2018-05-02T00：00：00至2018-05-02T23：59：00中所有分钟列表都在2018-05-02这个天所对应的时间窗口中，2018-05-01T17：00：00至2018-05-01T17：59：00都在所对应的小时时间窗口中。合并后的统计时间段包括23个小时窗口，分别如下所示：

2018-05-01T17

2018-05-01T18

2018-05-01T19

2018-05-01T20

2018-05-01T21

2018-05-01T22

2018-05-01T23

2018-05-03T00

2018-05-03T01

2018-05-03T02

…

2018-05-03T15

还包括合并后2018-05-02这天对应的天时间窗口1个，以及无法合并的分钟时间窗口：2018-05-01T16：12：00至2018-05-01T16：59：00、2018-05-03T16：00：00至2018-05-03T16：11：00，这样下来一共只需要取天时间窗口1个+小时时间窗口23个+分钟时间窗口60个＝84个时间窗口的，约减少到原来的1/40。当流量规则对应的时间跨度越大，优化效果越明显。可以减少所提取时间窗口的数量，提高去重流量的统计效率。

本发明实施例中，服务器可以在接收到报文的情况下，获取所报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量，若是，则解析字段点信息并确定去重流量的业务产生时间和指示信息，并根据预设流量配置信息和业务产生时间确定出用于记录去重流量的多个业务时间窗口，进而根据该指示信息，在多个业务时间窗口下分别记录去重流量。进一步地，服务器还可以获取当前***时间和预设流量规则信息中的统计时长，根据当前***时间和统计时长确定出针对该去重流量的统计时间段，并获取统计时间段内所有业务时间窗口的记录数据，如果服务器根据该记录数据确定该去重流量满足流量规则信息对应的流量规则，则输出报警信息。一方面可以采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录，另一方面可以在去重流量满足流量规则的情况下，输出报警信息，有利于对风险的控制。

本发明实施例还提供了一种去重流量记录装置，该装置用于执行前述图1或者图3所述的方法的模块。具体地，参见图5，是本发明实施例提供的一种去重流量记录装置的示意框图。本实施例的去重流量记录装置包括：获取模块50、确定模块51以及记录模块52。

获取模块50，用于在接收到报文的情况下，获取所述报文的字段点信息；

确定模块51，用于根据获取模块50获取到的所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；

确定模块51，还用于若确定出所述报文对应的流量为与预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；

确定模块51，还用于根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；

记录模块52，用于根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。

在一个实施例中，所述预设流量配置信息包括记录的时间精度，所述确定模块51，具体用于从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。

在一个实施例中，所述指示信息用于指示对所述去重流量执行流量加操作，所述根据所述指示信息，记录模块52，具体用于解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。

在一个实施例中，所述指示信息用于指示对所述去重流量执行流量减操作，所述根据所述指示信息，记录模块52，具体还用于解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。

在一个实施例中，所述预设流量配置信息还包括失效时长阈值，所述装置还包括：计时模块53和删除模块54，其中：

计时模块53，用于针对所述多个业务时间窗口开启计时功能；

删除模块54，用于在计时模块53当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个时间窗口下所述去重流量的记录数据删除。

在一个实施例中，所述多个业务时间窗口包括所述最小业务时间窗口和所述次小业务时间窗口，所述记录模块52，具体还用于确定所述去重流量在所述最小业务时间窗口下所记录的当前次数；在所述当前次数大于或者等于次数阈值的情况下，则判断所述去重流量为重复流量。

在一个实施例中，所述预设流量配置信息还包括流量规则信息，所述流量规则信息中包括统计时长，所述装置还包括输出模块55，其中：

获取模块50，还用于获取当前***时间和所述流量规则信息中的所述统计时长；

确定模块51，还用于根据所述当前***时间和所述统计时长确定出针对所述去重流量的统计时间段；

获取模块50，还用于获取所述统计时间段内所有所述业务时间窗口的记录数据；

输出模块55，用于如果根据所述记录数据确定所述去重流量满足所述流量规则信息对应的流量规则，则输出报警信息。

需要说明的是，本发明实施例所描述的去重流量记录装置的各功能模块的功能可根据图1或者图3所述的方法实施例中的方法具体实现，其具体实现过程可以参照图1或者图3的方法实施例的相关描述，此处不再赘述。

请参见图6，图6是本发明实施例提供的一种服务器的示意性框图。如图6所示，该服务器包括，处理器601、存储器602和网络接口603。上述处理器601、存储器602和网络接口603可通过总线或其他方式连接，在本发明实施例所示图6中以通过总线连接为例。其中，网络接口603受所述处理器的控制用于收发消息，存储器602用于存储计算机程序，所述计算机程序包括程序指令，处理器601用于执行存储器602存储的程序指令。其中，处理器601被配置用于调用所述程序指令执行：在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量

应当理解，在本发明实施例中，所称处理器601可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器601还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器602可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器602的一部分还可以包括非易失性随机存取存储器。例如，存储器602还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器601、存储器602和网络接口603可执行本发明实施例提供的图1或者图3所述的方法实施例所描述的实现方式，也可执行本发明实施例所描述的去重流量记录装置的实现方式，在此不再赘述。

在本发明的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种去重流量记录方法，其特征在于，包括：

在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；

若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；

根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；

根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。

2.根据权利要求1所述的方法，其特征在于，所述预设流量配置信息包括记录的时间精度，所述根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，包括：

从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；

将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；

基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。

3.根据权利要求2所述的方法，其特征在于，所述指示信息用于指示对所述去重流量执行流量加操作，所述根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量，包括：

解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；

若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；

若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。

4.根据权利要求2所述的方法，其特征在于，所述指示信息用于指示对所述去重流量执行流量减操作，所述根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量，包括：

解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；

若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。

5.根据权利要求1所述的方法，其特征在于，所述预设流量配置信息还包括失效时长阈值，所述在所述多个业务时间窗口下分别记录所述去重流量之后，所述方法还包括：

针对所述多个业务时间窗口开启计时功能；

在当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个业务时间窗口下所述去重流量的记录数据删除。

6.根据权利要求3所述的方法，其特征在于，所述多个业务时间窗口包括所述最小业务时间窗口和所述次小业务时间窗口，所述判断所述去重流量是否为重复流量，包括：

确定所述去重流量在所述最小业务时间窗口下所记录的当前次数；

在所述当前次数大于或者等于次数阈值的情况下，则判断所述去重流量为重复流量。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述预设流量配置信息还包括流量规则信息，所述流量规则信息中包括统计时长，所述根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量之后，所述方法还包括：

获取当前***时间和所述流量规则信息中的所述统计时长；

根据所述当前***时间和所述统计时长确定出针对所述去重流量的统计时间段；

获取所述统计时间段内所有所述业务时间窗口的记录数据；

如果根据所述记录数据确定所述去重流量满足所述流量规则信息对应的流量规则，则输出报警信息。

8.一种去重流量记录装置，其特征在于，包括：

获取模块，用于在接收到报文的情况下，获取所述报文的字段点信息；

确定模块，用于根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；

确定模块，还用于确定出所述报文对应的流量为与预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；

确定模块，还用于根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；

记录模块，用于根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。

9.一种服务器，其特征在于，包括处理器和存储装置，所述处理器和所述存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

Images