CN109787960A

CN109787960A - 异常流量数据识别方法、装置、介质及电子设备

Info

Publication number: CN109787960A
Application number: CN201811557182.7A
Authority: CN
Inventors: 孙家棣; 马宁; 谢波
Original assignee: Ping An Life Insurance Company of China Ltd
Current assignee: Ping An Life Insurance Company of China Ltd
Priority date: 2018-12-19
Filing date: 2018-12-19
Publication date: 2019-05-21
Anticipated expiration: 2038-12-19
Also published as: CN109787960B

Abstract

本发明揭示了一种异常流量数据识别方法、装置、介质及电子设备。该方法包括：在黑名单用户和白名单用户的流量数据中，获取流量数据样本集；针对流量数据样本集中每个流量数据样本，确定预定特征集中根据卡方值确定的第二数目个特征，构成向量，将所有向量聚类成第三数目的类；在每一第二数目和第三数目的组合下，确定聚成的类中的错误数之和最小的选定第二数目和选定第三数目的组合，在该组合下聚成的类作为选定类；将待定用户流量数据聚到选定类中；根据聚类情况，基于该待定用户的风险得分判断该待定用户是否异常。此方法下，筛选出了适合用于识别异常流量的聚类方式和特征，在网络安全方面，提高了识别异常流量的准确性。

Description

异常流量数据识别方法、装置、介质及电子设备

技术领域

本发明涉及互联网领域，特别涉及一种异常流量数据识别方法、装置、介质及电子设备。

背景技术

随着互联网时代到来，黑客、投机者、黑产从业者甚至是普通人都想在虚拟的网络上得到利益。当一些科技公司通过互联网发售新品、当互联网公司在自家网站或者客户端上用发放数量有限的卡券、红包的方式来给用户福利时，经常会遭遇这些人的异常流量的攻击；除此之外，每年春运时，铁路售票网站都会遭遇不明流量，这些流量通常是黄牛用刷票软件等技术手段大批量购买车票，甚至会出现一节车厢的车票全部被黄牛买走的情况，给铁路售票网站造成流量压力的同时还损害了正常抢票的人的利益。

在现有技术的实现中，对异常流量识别是基于用户行为埋点和SDK(SoftwareDevelopment Kit)确定路径重复度、设备前后端埋点占比、IP访问次数、IP访问账号数等流量特征与相应的阈值的大小关系来实现的；

现有技术的缺陷在于，如果对流量的所有流量特征进行判断来确认一个流量是否是异常流量会耗费大量算力，所以是不现实的；而选取几个固定的流量特征来进行判断的话，攻击者经常会窃取要攻击的服务器的识别异常流量的方法进行反向工程，从而升级攻击手段，有时攻击者还会伪装相应的流量特征。现有技术无法确定适合用于识别异常流量的特征，识别异常流量的准确性不高。

发明内容

为了解决相关技术中存在的识别异常流量数据的准确率低的技术问题，本发明提供了一种异常流量数据识别方法、装置、介质及电子设备。

根据本申请的一方面，提供了一种异常流量数据识别方法，所述方法包括：

将所有用户分为黑名单用户、白名单用户和待定用户，所述用户具有流量数据，所述流量数据具有预定特征集中的特征；

在预定时间段内黑名单用户和白名单用户的流量数据中，获取第一预定数目的流量数据，作为流量数据样本集，获取的每个流量数据为一个流量数据样本；

针对流量数据样本集中的每个流量数据样本，确定针对每个流量数据样本的预定特征集中卡方值由高到低排列的前第二数目个特征，构成每个流量数据样本的第二数目维数的向量，将所有流量数据样本的向量聚类成第三数目的类；

如果聚成的一类中黑名单用户的流量数据样本数量大于白名单用户的流量数据样本，则该类为黑类；如果聚成的一类中白名单用户的流量数据样本数量大于黑名单用户的流量数据样本，则该类为白类；将黑类中的白名单用户的流量数据样本数目作为该黑类的错误数；将白类中的黑名单用户的流量数据样本数目作为该白类的错误数；

针对不同第二数目和第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和；

将错误数之和最小的第二数目和第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类；

将待定用户预定时间段内的每个流量数据聚到所述选定类之一中；

将待定用户预定时间段内的每个流量数据所聚到的类的风险得分，作为该流量数据的风险得分，其中聚到的类的风险得分通过以下公式计算：

其中score表示该类的风险得分，N0为该类聚得的所有流量数据样本中白名单用户的流量数据样本数目，N1为该类聚得的所有流量数据样本中黑名单用户的流量数据样本数目；

基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分；

根据该待定用户在预定时间段内的风险得分，确定该待定用户是否是异常用户。

根据本申请的另一方面，提供了一种异常流量数据识别装置，所述装置包括：

用户分类模块，被配置为将所有用户分为黑名单用户、白名单用户和待定用户，所述用户具有流量数据；

第一获取模块，被配置为在预定时间段内黑名单用户和白名单用户的流量数据中，获取第一预定数目的流量数据，作为流量数据样本集；

聚类模块，被配置为针对流量数据样本集中的每个流量数据样本，确定针对每个流量数据样本的预定特征集中卡方值由高到低排列的前第二数目个特征，构成每个流量数据样本的第二数目维数的向量，将所有流量数据样本的向量聚类成第三数目的类；

判断模块，被配置为如果聚成的一类中黑名单用户的流量数据样本数量大于白名单用户的流量数据样本，则该类为黑类；如果聚成的一类中白名单用户的流量数据样本数量大于黑名单用户的流量数据样本，则该类为白类；

第一确定模块，被配置为将黑类中的白名单用户的流量数据样本数目作为该黑类的错误数；将白类中的黑名单用户的流量数据样本数目作为该白类的错误数；针对不同第二数目和第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和；

第二确定模块，被配置为将错误数之和最小的第二数目和第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类；

异常用户判断模块，被配置为将待定用户预定时间段内的每个流量数据聚到所述选定类之一中，其中所述异常用户判断模块被进一步配置为：

将待定用户预定时间段内的每个流量数据所聚到的类的风险得分，作为该流量数据的风险得分；

基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分；以及

根据本申请的另一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如前所述的方法。

根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明所提供的异常流量数据识别方法包括如下步骤：将所有用户分为黑名单用户、白名单用户和待定用户，所述用户具有流量数据，所述流量数据具有预定特征集中的特征；在预定时间段内黑名单用户和白名单用户的流量数据中，获取第一预定数目的流量数据，作为流量数据样本集，获取的每个流量数据为一个流量数据样本；针对流量数据样本集中的每个流量数据样本，确定针对每个流量数据样本的预定特征集中卡方值由高到低排列的前第二数目个特征，构成每个流量数据样本的第二数目维数的向量，将所有流量数据样本的向量聚类成第三数目的类；如果聚成的一类中黑名单用户的流量数据样本数量大于白名单用户的流量数据样本，则该类为黑类；如果聚成的一类中白名单用户的流量数据样本数量大于黑名单用户的流量数据样本，则该类为白类；将黑类中的白名单用户的流量数据样本数目作为该黑类的错误数；将白类中的黑名单用户的流量数据样本数目作为该白类的错误数；针对不同第二数目和第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和；将错误数之和最小的第二数目和第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类；将待定用户预定时间段内的每个流量数据聚到所述选定类之一中；将待定用户预定时间段内的每个流量数据所聚到的类的风险得分，作为该流量数据的风险得分，其中聚到的类的风险得分通过以下公式计算：

其中score表示该类的风险得分，N0为该类聚得的所有流量数据样本中白名单用户的流量数据样本数目，N1为该类聚得的所有流量数据样本中黑名单用户的流量数据样本数目；基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分；根据该待定用户在预定时间段内的风险得分，确定该待定用户是否是异常用户。

此方法下，通过遍历第二数目和第三数目的组合，确定最适合用于判断异常流量数据的聚类方式，然后选择不同的特征进行聚类，基于卡方值筛选出适合用于识别异常流量的特征，在网络安全方面，提高了识别异常流量的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种异常流量数据识别方法的应用环境示意图；

图2是根据一示例性实施例示出的一种异常流量数据识别方法的流程示意图；

图3是根据一示例性实施例示出的一种聚类过程的示意图；

图4是根据图2对应实施例示出的一实施例的步骤280的细节的流程图；

图5是根据图2对应实施例示出的一实施例的步骤290的细节的流程图；

图6是根据图2对应实施例示出的一实施例的步骤250的细节的流程图；

图7是根据一示例性实施例示出的一种异常流量数据识别装置的示意框图；

图8是根据一示例性实施例示出的一种用于实现上述异常流量数据识别方法的电子设备示例框图；

图9是根据一示例性实施例示出的一种用于实现上述异常流量数据识别方法的计算机可读存储介质。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

本发明可以实施在包括但不限于以下类型的实体设备中：服务器、网关设备、交换机台式计算机、工作站、笔记本电脑、移动终端，实施终端可以与外部通过网络进行通信，其中可以包括软件、硬件或固件的结合。

图1是根据一示例性实施例示出的一种异常流量数据识别方法的应用环境示意图。如图1所示，异常流量数据识别方法的应用环境包括互联网服务提供方110、正常访问方120、异常流量发生方130。互联网服务提供方110借助网络为访问者提供信息和服务，当互联网服务提供方110遭遇到异常流量时，会影响自身的正常运营，普通的没给互联网服务提供方造成大流量压力的用户就是正常访问方120，产生大流量的用户则是异常流量发生方130。在正常情况下，互联网服务提供方110都是平稳运行的，极少受到大流量影响；异常流量发生方130通常是为了获得利益的非法投机分子，当异常流量发生方130生成异常流量时，意味着在短时间内会有大量而重复的对互联网服务提供方110的访问请求，这对互联网服务提供方110造成的影响通常是快速而猛烈的，不仅会干扰正常访问方120的访问，更会对互联网服务提供方110造成经济损失。

本公开首先提供了一种异常流量数据识别的方法。异常流量数据是指短时间内多次重复访问或者占用大量带宽的流量。图2是根据一示例性实施例示出的一种异常流量数据识别方法的流程示意图。如图2所示，此方法包括以下步骤：

步骤110，将所有用户分为黑名单用户、白名单用户和待定用户，所述用户具有流量数据。

所有用户是指在特定时间段对互联网服务提供方有访问行为的用户；

黑名单用户是事先已知其从事黑产或者以前经过有异常流量行为的用户；白名单用户是指互联网服务提供方内部工作人员和高级用户等互联网服务提供方确认不太可能会异常流量行为的用户；待定用户是指所有用户中除黑名单用户和白名单用户之外的用户，流量数据是指用户访问时，互联网服务提供方针对用户的访问行为记录的数据，例如，访问账号、访问时间、IP地址、设备前后端登录方式、手机号段等

在一个实施例中，互联网服务提供方将内部工作人员和高级用户的账号和IP地址标记为白名单用户，将历史上有异常流量行为的用户的账号和IP地址标记为黑名单用户，待定用户则不标记，从而实现将所有用户分为黑名单用户、白名单用户和待定用户，互联网服务提供方的服务器存储有所有用户的流量数据。

在一个实施例中，所述流量数据具有预定特征集中的特征。特征指根据整个互联网的流量数据统计情况选择出的有可能能表征一个流量数据是否是异常流量数据的技术参数。预定特征集是指预先设定的特征的集合。

在一个实施例中，所述预定特征集包括以下特征：路径重复度排名、用户风控参数异常率、后端埋点比重、风控IP发散率、风控IP访问账号数、风控IP访问次数、风控IP_WIFI名个数、风控IP累计风险得分、风控IP周期内用户数均值、风控IP周期内用户方差、风控IP周期内访问次数均值、风控IP周期内访问次数方差、周期内手机号段用户登录均值和周期内手机号段用户登录方差。选取这些特征组成特征集的好处在于，由于异常流量数据有善变性和伪装性，使用这些特征组成的特征集可以尽可能从不同维度判断一个流量数据是否是异常流量数据。

步骤120，在预定时间段内黑名单用户和白名单用户的流量数据中，获取第一预定数目的流量数据，作为流量数据样本集。

因为互联网服务提供方的用户的流量数据很可能有很多，全部用来拿来处理的话会消耗大量资源，不现实也没有必要，通过抽样的方式可以缩小获取数据的范围。而之所以选择黑名单用户和白名单用户的流量数据，是因为黑名单和白名单用户是流量数据是否是异常流量数据是很明确的，用来作为异常流量数据的判断基准是很合理的。在预定时间段内选取流量数据的好处在于，因为互联网是在时刻不断变化的，而异常流量数据的特征以及发生异常流量的技术手段也是日新月异，这样可以与时俱进并有针对性地获取流量数据，提高了异常流量数据识别的准确性。

在一个实施例中，流量数据样本集中黑名单用户的流量数据和白名单用户的流量数据的数目相同。因为在绝大多数情况下，白名单用户的数目远大于比黑名单用户，这样获取第一预定数目的流量数据组成的流量数据样本集中黑名单用户流量数据与白名单用户流量数据的数目差别很大，造成样本的不平衡，会陷入局部最优的情况，即由于数目的限制，数目较少的样本不能合理反映流量数据样本集的整体的特点和规律。这样做的好处在于，可以合理反映流量数据样本集的整体的特点和规律，避免陷入局部最优的情况。

步骤130，针对流量数据样本集中的每个流量数据样本，确定针对每个流量数据样本的预定特征集中卡方值由高到低排列的前第二数目个特征，构成每个流量数据样本的第二数目维数的向量，将所有流量数据样本的向量聚类成第三数目的类。

在一个实施例中，预定特征集中有14个特征，每次可以从该特征集中任取1个特征，可以任取2个特征，……也可以任取14个特征，此时可以取出的特征的总数有个特征；一般情况下，聚成的类的数目不能太多，不然每个类中相似的样本太少不足以体现该类的共性特征，如果最多聚成20个类的情况下，聚类的类数共有19种情况，因此选取特征和聚类数目的组合共有种。如果对所有特征与类数的组合进行尝试，然后再对流量数据样本集中的流量数据样本进行聚类，将大大增加判断异常流量数据的成本和工作量。选取卡方值来筛选聚类特征的好处在于大大降低了选取特征方式的种数，提升了判断异常流量数据的效率。

在一个实施例中，卡方值是由如下公式确定的：

其中，χ²是卡方值，O是观察出现的次数，E是理论上会出现的次数。采用卡方值越大的特征，最终起到的聚类效果越好，判断异常流量数据的效果越好。

在一个实施例中，选择10000个流量数据，判断路径重复度、IP访问次数和IP访问账号数三个特征，判断一个特征的值大于预定阈值且具有该特征的流量数据是异常流量数据时，就将观察次数加1。该实施例中的统计数据如下表所示，可以理解，路径重复度在三个特征中用来聚类的效果最好。

预定特征集中各特征表征异常流量数据的观察次数与理论次数表

异常流量识别	观察次数(O)	理论次数(E)	O-E	(O-E)<sup>2</sup>/E
					路径重复度	8851	1000	7851	61638.201
IP访问次数	3564	1500	2064	2840.064
					IP访问账号数	4925	3000	1925	1235.208

在一个实施例中，对流量数据样本的向量进行聚类是采用了K-means算法。K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法一般流程为：从n个数据对象任意选择k个对象作为初始聚类中心；计算所有数据对象与k个聚类中心的距离，距离哪个中心最近就将该对象划归为哪个中心所代表的类；重新确定类的中心；用重新确定的类的中心进行迭代聚类直至聚类不再变化或者迭代次数达到预定阈值。

图3是根据一示例性实施例示出的一种聚类过程的示意图，如图3所示，可以理解的是，因为该图中的元素是用二维空间的距离进行聚类的，所以该聚类是基于二维向量的。该聚类的过程为首先选取聚成的类的数目，即第三数目，该实施例中，第三数目为3，所以选择了三个初始聚类中心，如图3所示初始聚类中心是黑色的点。把所有用点代表的向量聚成三个类，以三个黑点代表的初始聚类中心为基准，判断所有点与三个黑点的距离，与哪个黑点距离最近就将该点聚类到该黑点代表的类；等到第一轮聚类完毕后，重新确定每个类的中心点(如图3所示的叉号)，基于该中心点对所有点重新聚类，直至聚类不再变化或者迭代次数达到预定阈值。

在一个实施例中，各点与中心点的距离是采用欧式距离。比如一个点代表的向量为(x₁，y₁),中心点的向量为(x₂，y₂)，则两点之间的欧式距离为：

在一个实施例中，由于不同流量数据样本的向量单位不同、量纲不同、大小也不同，而聚类过程要计算各特征向量和中心向量的距离，因此如果两个向量单位、量纲、大小不同，得出的距离不能客观反映各个特征的重要程度，因此在构成第二数目维数的向量之前，首先将前第二数目个特征中的每一个按照如下公式归一化到[0,1]：

其中，x是前第二数目个特征中任一要归一化的特征，x_min为流量数据样本集中最小的该特征，x_max为流量数据样本集中最大的该特征，是归一化后的该特征。这样做的好处在于，能反映每个特征的对聚类的实际贡献度。

步骤140，针对不同第二数目和第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和。

如果聚成的一类中黑名单用户的流量数据样本数量大于白名单用户的流量数据样本，则该类为黑类；如果聚成的一类中白名单用户的流量数据样本数量大于黑名单用户的流量数据样本，则该类为白类；将黑类中的白名单用户的流量数据样本数目作为该黑类的错误数；将白类中的黑名单用户的流量数据样本数目作为该白类的错误数。

步骤150，将错误数之和最小的第二数目和第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类。

错误数越小，说明该聚类方式对黑名单用户的流量数据样本和白名单用户的流量数据样本区分能力越强，也就越适合用于区分异常流量数据。这样做的好处在于，在一定程度上挑选出了最适合区分异常流量数据的第二数目和第三数目的组合以及聚成的类。

步骤160，将待定用户预定时间段内的每个流量数据聚到所述选定类之一中。

在一个实施例中，选定类有多个，因为虽然选定第三数目和选定第二数目都相同，但每个选定第二数目下特征的种类不同并且聚成的类的数目有很多，所以选定类可能有很多。

在一个实施例中，要判断待定用户是否是异常用户，而每个用户的流量数据不一定都是正常流量数据，也不一定都是异常流量数据，所以要选择一个时间段，判断该用户在该时间段内的多个流量数据能聚到哪个类，基于聚类结果来判断待定用户是否是异常用户。

步骤170，将待定用户预定时间段内的每个流量数据所聚到的类的风险得分，作为该流量数据的风险得分。

在一个实施例中，聚到的类的风险得分通过以下公式计算：

其中，score表示该类的风险得分，N0为该类聚得的所有流量数据样本中白名单用户的流量数据样本数目，N1为该类聚得的所有流量数据样本中黑名单用户的流量数据样本数目。

因为在流量数据样本集中流量数据样本数目一定的情况下，聚到的类中黑名单用户的流量数据样本数目的占比越大，说明该流量数据是异常流量数据的可能性也就越大。这样做的好处在于，可以更加客观地确定一个流量数据是否为异常流量数据。

步骤180，基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分。

用户的风险得分可以根据该用户预定时间段内的每个流量数据的风险得分来确定。

步骤190，根据该待定用户在预定时间段内的风险得分，确定该待定用户是否是异常用户。

图4是根据图2对应实施例示出的一实施例的步骤280的细节的流程图，如图4所示，步骤280包括以下步骤：

步骤281，获取所述待定用户在预定时间段内的每个流量数据的风险得分的平均值。

步骤282，将所述平均值作为该待定用户在预定时间段内的风险得分。

在一个实施例中，所述待定用户在预定时间段内的每个流量数据的风险得分差别很大，有个别特别大或者特别小的流量数据的风险得分会影响用户的风险得分，选用平均值作为该待定用户在预定时间段内的风险得分的好处在于，可以在整体上反映用户发出异常流量的风险情况。

在另一个实施例中，将所述待定用户在预定时间段内的流量数据的风险得分的最大值作为该用户的风险得分。因为只要用户有一个较大风险得分的流量数据，就说明该用户的风险很大，这样做的好处在于，在最大程度上把有风险的用户识别出来。

图5是根据图2对应实施例示出的一实施例的步骤290的细节的流程图。如图5所示，步骤290包括以下步骤：

步骤291，当该待定用户在预定时间段内的风险得分大于所述风险得分阈值时，判断该待定用户是异常用户；

步骤292，当该待定用户在预定时间段内的风险得分不大于所述风险得分阈值时，判断该待定用户不是异常用户.

在一个实施例中，根据大量历史数据的统计，确定一个风险得分阈值，当待定用户的风险得分大于该风险得分阈值时，就可以判定该用户是异常用户，从而可以采用封禁该用户的IP等方式避免造成更大损失。要遍历聚成类的数目和按照卡方值排序确定的特征的所有组合来完成最佳聚类方式的筛选。如果预定特征集中特征为14，所以按照卡方值从大到小排序确定的特征组合数为14，如果聚成类的数目为最大为20，最小为2，则有19种聚类数目选择方式，故而选择第二数目和第三数目的组合数为14×19＝266种，确定聚类效果最佳的第二数目和第三数目的组合依然要耗费很大的成本，故而在一实施例中，预先只对流量数据样本集中的一小部分进行聚类，然后在根据这一小部分的聚类效果较好的第二数目和第三数目的组合中选择聚类效果最佳的第二数目和第三数目的组合。

在一个实施例中，针对流量数据样本集中的每个流量数据样本是指：针对流量数据样本集中预定比例的流量数据样本中每个流量数据样本。

在一个实施例中，预定比例是20％。

图6是根据图2对应实施例示出的一实施例的步骤250的细节的流程图。如图6所示，步骤250包括：

步骤251，对所有第二数目和第三数目的组合按照聚成的类中的错误数之和从小到大进行排序。如上所述，错误数之和能很好地体现一个第二数目和第三数目的组合聚成的类是否能区分异常流量数据，所以要对第二数目和第三数目的组合按照聚成的类中的错误数之和进行排序。

步骤252，将排序前第四数目的第二数目和第三数目的组合，作为候选第二数目和候选第三数目。

由于在本方案中首先不是针对流量数据样本集进行聚类的，所以最终确定出的第二数目和第三数目的组合不具有代表性和公正性，所以要先获取聚类效果较佳的第二数目和第三数目的组合，然后再作进一步筛选。

步骤253，针对流量数据样本集中的每个流量数据样本，确定针对该流量数据样本的预定特征集中卡方值由高到低排列的前候选第二数目个特征，构成候选第二数目维数的向量，将所有流量数据样本的向量聚类成第二数目和第三数目的组合中与该候选第二数目对应的候选第三数目的类。

由于之前已经针对流量数据样本集中的一部分进行了聚类，并筛选出了聚类效果较佳的第二数目和第三数目的组合，此时再对整个流量数据样本集中的每个流量数据样本按照这些筛选出的第二数目和第三数目的组合进行聚类，可以大大提高聚类的效率。

步骤254，针对不同候选第二数目和候选第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和。

步骤255，将错误数之和最小的候选第二数目和候选第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类。

筛选出的聚类效果较佳的第二数目和第三数目的组合只是错误数之和相对最小，经过又一轮的对整个流量数据样本集中的流量数据样本聚类，在更大程度上保证了最终用来判断异常流量数据的选定类的准确性。

这种方法的好处在于，通过先选流量数据样本集中的一部分进行聚类，在最终确定的选定类对异常流量数据识别的准确性不降低很多的情况下，大大提升了处理效率，实现了对选定类挑选过程的优化。

本公开还提供了一种异常流量数据识别装置，以下是本发明的装置实施例。

图7是根据一示例性实施例示出的一种异常流量数据识别装置的示意框图。如图7所示，该装置700包括：

用户分类模块710，被配置为将所有用户分为黑名单用户、白名单用户和待定用户，所述用户具有流量数据；

第一获取模块720，被配置为在预定时间段内黑名单用户和白名单用户的流量数据中，获取第一预定数目的流量数据，作为流量数据样本集；

聚类模块730，被配置为针对流量数据样本集中的每个流量数据样本，确定针对每个流量数据样本的预定特征集中卡方值由高到低排列的前第二数目个特征，构成每个流量数据样本的第二数目维数的向量，将所有流量数据样本的向量聚类成第三数目的类；

判断模块740，被配置为如果聚成的一类中黑名单用户的流量数据样本数量大于白名单用户的流量数据样本，则该类为黑类；如果聚成的一类中白名单用户的流量数据样本数量大于黑名单用户的流量数据样本，则该类为白类；

第一确定模块750，被配置为将黑类中的白名单用户的流量数据样本数目作为该黑类的错误数；将白类中的黑名单用户的流量数据样本数目作为该白类的错误数；针对不同第二数目和第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和；

第二确定模块760，被配置为将错误数之和最小的第二数目和第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类；

异常用户判断模块770，被配置为将待定用户预定时间段内的每个流量数据聚到所述选定类之一中；将待定用户预定时间段内的每个流量数据所聚到的类的风险得分，作为该流量数据的风险得分；基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分；根据该待定用户在预定时间段内的风险得分，确定该待定用户是否是异常用户。

根据本公开的第三方面，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同***组件(包括存储单元820和处理单元810)的总线830。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)821和/或高速缓存存储单元822，还可以进一步包括只读存储单元(ROM)823。

存储单元820还可以包括具有一组(至少一个)程序模块825的程序/实用工具824，这样的程序模块825包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

根据本公开的第四方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种异常流量数据识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分具体包括：

获取所述待定用户在预定时间段内的每个流量数据的风险得分的平均值；

将所述平均值作为该待定用户在预定时间段内的风险得分。

3.根据权利要求1所述的方法，其特征在于，所述根据该待定用户在预定时间段内的风险得分，确定该待定用户是否是异常用户具体包括：

当该待定用户在预定时间段内的风险得分大于所述风险得分阈值时，判断该待定用户是异常用户；

当该待定用户在预定时间段内的风险得分不大于所述风险得分阈值时，判断该待定用户不是异常用户。

4.根据权利要求1所述的方法，其特征在于，在构成第二数目维数的向量之前，所述方法还包括：

将前第二数目个特征中的每一个按照如下公式归一化到[0,1]:

x是前第二数目个特征中任一要归一化的特征，x_min为流量数据样本集中最小的该特征，x_max为流量数据样本集中最大的该特征，是归一化后的该特征。

5.根据权利要求1所述的方法，其特征在于，所述第一预定数目的流量数据中的黑名单用户和白名单用户的流量数据的数目相等。

6.根据权利要求1所述的方法，其特征在于，所述针对流量数据样本集中的每个流量数据样本具体包括：

针对流量数据样本集中预定比例的流量数据样本中每个流量数据样本；

所述将错误数之和最小的第二数目和第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类具体包括：

对所有第二数目和第三数目的组合按照聚成的类中的错误数之和从小到大进行排序；

将排序前第四数目的第二数目和第三数目的组合，作为候选第二数目和候选第三数目；

针对流量数据样本集中的每个流量数据样本，确定针对该流量数据样本的预定特征集中卡方值由高到低排列的前候选第二数目个特征，构成候选第二数目维数的向量，将所有流量数据样本的向量聚类成第二数目和第三数目的组合中与该候选第二数目对应的候选第三数目的类；

针对不同候选第二数目和候选第三数目的组合，在每一组合下，确定聚成的所有类中的错误数之和；

将错误数之和最小的候选第二数目和候选第三数目的组合，作为选定第二数目和选定第三数目，在该组合下聚成的类作为选定类。

7.根据权利要求1所述的方法，其特征在于，所述预定特征集包括以下特征：路径重复度排名、用户风控参数异常率、后端埋点比重、风控IP发散率、风控IP访问账号数、风控IP访问次数、风控IP_WIFI名个数、风控IP累计风险得分、风控IP周期内用户数均值、风控IP周期内用户方差、风控IP周期内访问次数均值、风控IP周期内访问次数方差、周期内手机号段用户登录均值和周期内手机号段用户登录方差。

8.一种异常流量数据识别装置，其特征在于，所述装置包括：

异常用户判断模块，被配置为将待定用户预定时间段内的每个流量数据聚到所述选定类之一中；将待定用户预定时间段内的每个流量数据所聚到的类的风险得分，作为该流量数据的风险得分；基于待定用户预定时间段内的每个流量数据的风险得分，确定该待定用户在预定时间段内的风险得分；根据该待定用户在预定时间段内的风险得分，确定该待定用户是否是异常用户。

9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。