CN110401639B - 网络访问的异常判定方法、装置、服务器及其存储介质 - Google Patents

Abstract

本发明为安全检测技术领域，本发明提供一种网络访问的异常判定方法、装置、服务器及其存储介质，所述方法包括预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项；根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性；利用所述有效性，对所述网络访问请求进行异常访问的判定。该方法有利于提高对终端设备当前网络访问的异常判定能力。

Description

网络访问的异常判定方法、装置、服务器及其存储介质

技术领域

本发明涉及安全检测技术领域，具体而言，本发明涉及一种网络访问的异常判定方法、装置、服务器及其存储介质。

背景技术

随着各种服务趋向利用网络途径提供，网络的安全性日益受到了更为广泛的关注。在目前危害网络服务安全的主要手段包括网络爬虫，网络爬虫模拟真实用户对网站进行访问。在网络爬虫的干扰下，网站的服务器不容易分辨网络爬虫和正常用户，容易进行错误的判别，从而做出错误的反应。针对上述网络安全问题，现有的方法是通过手机用户在登录网站时关于鼠标的点击和拖动的数据，来判别用户的种类。但该方法所导致对用户类型的错误判别的比例仍较高，通过其得到的判别的结果，仍无法达到准确区分正常用户和网络爬虫的效果。

发明内容

为克服以上技术问题，特别是现有技术中通过终端设备登录网络时用户的使用痕迹数据容易将真实用户判别为异常用户的问题，特提出以下技术方案：

第一方面，本发明提供一种网络访问的异常判定方法，其包括以下步骤：

预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；

将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项；

根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性；

利用所述有效性，对所述网络访问请求进行异常访问的判定；

其中，所述特征列表包括所述终端设备发起网络访问请求所产生的必要特征。

在其中一个实施例中，所述将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项，包括：

将所述特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项的类型和数量。

在其中一个实施例中，所述根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性，包括：

根据所述缺失项的类型和数量组成的缺失数据，对所述组合特征集的缺失数据组合进行数据分层；

利用所述数据分层，得到对应的网络访问请求的有效性。

在其中一个实施例中，所述根据所述缺失项的类型和数量组成的缺失数据，对所述组合特征集的缺失数据组合进行数据分层，包括：

对所述缺失项的类型和数量组成的缺失数据进行组合；

根据所述组合后的缺失数据，对所述组合特征集的进行数据分层。

在其中一个实施例中，所述利用所述数据分层，得到对应的网络访问请求的有效性的步骤，包括：

根据所述组合特征集的组合后的缺失数据进行的数据分层，训练并得到lightgbm模型；

将待检样本的组合特征集输入所述lightgbm模型进行判定，得到所述待判定样本的组合特征集的异常概率，得到对应网络访问请求的有效性。

在其中一个实施例中，所述根据所述组合特征集的组合后的缺失数据进行的数据分层，训练并得到lightgbm模型的步骤之后，还包括：

通过GridSearchCV网络搜索对所述lightgbm模型的参数num_leaves、min_data_in_leaf、max_depth进行自动调参，对所述lightgbm模型进行调节优化。

在其中一个实施例中，所述利用所述有效性，对所述网络访问请求进行异常访问的判定的步骤，包括：

当所述有效性所依据的异常概率大于预设的阈值，判定所述网络访问为异常访问。

第二方面，本发明还提供一种网络访问的异常判定装置，其包括：

特征获取模块，用于预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；

对比模块，用于将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项；

有效性获取模块，用于根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性；

判定模块，用于利用所述有效性，对所述网络访问请求进行异常访问的判定。

第三方面，本发明还提供一种服务器，其包括：

一个或多个处理器；

存储器；

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行第一方面实施例所述的网络访问的异常判定方法。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现第一方面实施例所述的网络访问的异常判定方法。

本发明提供的一种网络访问的异常判定方法和装置，通过将终端设备发送的网络访问请求的组合特征集的特征与设定的包括必要特征的特征列表进行对比，根据对比的结果得到所述组合特征集的缺失项，由此对所述网络访问请求的有效性进行判断，最终得到对应的网络访问请求是否为异常的判定结果。

在此基础上，还提供另一技术方案，根据所述组合特征集的不同缺失类别的组合进行的数据分层，训练并得到lightgbm模型，并利用所述lightgbm模型作为判定模型，以判断所述网络访问是否为异常访问。该方案能够利用能够识别多样性的异常场景，并且随着样本量增长，可以覆盖更多、更复杂的情况。

本发明所提供的技术方案通过网络访问请求中得到的现有的特征与包含了必要特征的特征列表进行对比，通过对能体现异常访问的必要特征作为判断的基础，以便利用尽量少的数据处理得到最好的判定效果。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明中的实施例执行所述网络访问的异常判定方案的应用环境图；

图2是本发明中的一个实施例的网络访问的异常判定方法的流程图；

图3为本发明中的一个实施例的网络访问的异常判定装置的示意图；

图4为本发明中的一个实施例的服务器的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通讯链路上，执行双向通讯的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通讯设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通讯设备；PCS(Personal Communications Service，个人通讯***)，其可以组合语音、数据处理、传真和/或数据通讯能力；PDA(Personal Digital Assistant_，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通讯终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通讯方式实现通讯，包括但不限于，基于3GPP、LTE、WIMAX的移动通讯、基于TCP/IP、UDP协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。

参考图1所示，图1是本发明实施例方案的应用环境图；该实施例中，本发明技术方案可以基于服务器上实现，如图1中，终端设备110和120可以通过internet网络访问服务器130，终端设备110和/或120向服务器130发出的网络请求，服务器130根据网络请求进行数据交互。在进行数据交互时，服务器130根据终端设备110和/或120的请求信息获取终端设备110和/或120的访问数据和属性数据，并根据该数据对该终端设备进行异常判定。

为了解决目前判定异常数据容易将真实用户判别为异常用户的问题，本发明提供了一种网络访问的异常判定方法。可参考图2，图2是一个实施例的网络访问的异常判定方法的流程图，该方法包括以下步骤：

S210、预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集。

服务器与终端设备进行数据交互的时候，间隔式地对终端设备的各个相关的特征进行采集。该间隔式是在预设时间间隔内，根据终端设备的网络请求进行相关的特征采集，并形成一组合特征集。

根据终端设备发出的网络请求，获取该终端设备的相关参数。在该步骤中，用户通过发送注册、验证请求，前端利用JavaScript脚本获取终端设备的相关的特征，包括设备类型(IPone、Mac、Andriod)、***信息(OS类型、版本、分辨率)、IP等的多个相关特征值，根据该相关特征值形成关于该终端设备的组合特征集，该组合特征集中的特征值之间可相互为非线性关系。

在本实施例中，所述特征可以具体包括通过前端获取设备的特征浏览器语言、像素比、颜色深度、音频堆栈指纹是否提供、音频堆栈指纹的参数信息、***对用户代理可用的逻辑处理器总数、cpu类是否未知、浏览器插件是否缺失、使用JS/CSS判定到的字体列表是否缺失、操作***是否为unknown、WebGL供应商是否缺失。通过解析user_agent中的字符串信息，获取设备的类型、品牌、型号、操作***版本号，通过上述解析的当前发出网络访问请求的终端设备的品牌及型号关联基础库中相同的设备品牌及型号，得到对应上述内容对应的特征信息。其中，基础库是通过权威网站获取的所有设备型号的特征信息的真实信息。

进一步地，为了消除变量间的量纲关系,从而使数据具有可比性，在对特征值标注之前，对各个特征集中的特征信息值进行标准化。例如，在得到的每一次访问记录的特征集中可能包括百分制的变量与一个5分值的变量，只有将所有的数据标准化，才能够在同一标准中进行比较。

S220、将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项。

在该步骤中，根据终端设备所发起的网络访问请求的历史特征信息，收集关于所述终端设备发起网络访问请求的特征，形成对应的特征列表。所述特征列表至少包括所述终端设备发起网络访问请求所产生的必要特征。所述必要特征是能够通过所述基础库能找到相应的真实信息，以便后续作为参照。如浏览器语言、像素比、***对用户代理可用的逻辑处理器总数、cpu类型、操作***、WebGL供应商等信息。

将所述终端设备在发起网络访问请求时所形成的所述组合特征集提取相应的特征，将所述特征与所述特征列表的特征信息进行对比。由于所述特征列表所列举的是必要特征。因此，如果所述终端设备所发起的网络访问请求是正常的网络访问请求时，所述特征列表的特征信息一般包含在所述组合特征集中。

因此，通过所述特征列表的设置方式，根据对比后，能得到对应的组合特征集的缺失项。

S230、根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性。

在步骤S220得到缺失项的基础上，所述缺失项组成关于对应的组合特征集的缺失数据，该缺失数据与发起网络访问请求相对应。根据所述缺失数据，得到对应网络访问请求的有效性。如果所述缺失数据为0，即表征服务器能从发起网络访问请求的终端设备能获取必要的特征信息，对应的有效性是最高的。根据所述缺失数据的增加，其直接影响对应的网络方法请求的有效性。

在本实施例中，所述有效性是体现所述终端设备所发起的网络访问请求是否由用户的正常使用所发出的可能性，借此判定所述网络访问请求是否由网络爬虫所发起的。

S240、利用所述有效性，对所述网络访问请求异常访问的判定。

在上述步骤的基础上得到的有效性，可以直接作为判定所述网络访问请求是否为网络爬虫或者其他非正常用户所发出的网络访问请求，由此，对所述网络访问请求是否为异常访问进行判定。

本发明所提供的一种网络访问的异常判定方法，根据网络访问请求得到关于终端设备的组合特征集，并将所述组合特征集与预设的包括发起网络访问请求的必要特征的特征列表进行对比，得到对应组合特征集的缺失项，根据所述缺失项得到所述网络访问请求的有效性，根据所述有效性得到是否为异常访问的判定结果。本发明的技术方案通过与设定特征列表的对比，得到所述组合特征集的缺失项来判定对应的网络访问请求是否为异常访问的技术方案，与现有技术中只能通过用户的发起网络访问请求时产生的点击和拖动的数据的表面现象来判别用户的种类，从而进行异常访问的判定方法相比，能从异常访问所造成的根本现象出发，利用根本现象所产生的特征数据进行处理并对数据处理的结果进行判定，这样能以尽量少的数据对比处理得到高的判定结果，准确率得到提高。

对于所述步骤S220，可进一步包括：

将所述特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项的类型和数量。

在该步骤中，将所述特征集中的特征与设定的特征列表进行对比。该对比的方式为将所述组合特征集的特征的类型进行列举并汇总，并将类型的汇总与所述特征列表中的特征一一对应。若一一对应后，所述特征列表中的部分特征依然没有所述组合特征集的特征与其相对应，那对应的特征的项为对应所述组合特征集的特征的缺失项，由此得到相应的缺失项的类型以及数量。

例如，经过所述组合特征集的特征对比，对应所述特征列表中的操作***的类型、WebGL供应商的两项没有得到所述组合特征集的特征对应，对于的组合特征集的缺失项的类型分布为操作***的类型和WebGL供应商，且数量为2。

在所述对步骤S220进一步限定的基础上，所述步骤S230可包括以下步骤：

A1、根据所述缺失项的类型和数量组成的缺失数据，对所述组合特征集的缺失数据组合进行数据分层；

A2、利用所述数据分层，得到对应的网络访问请求的有效性。

对于步骤A1-A2，可具体为所述缺失数据主要集中在其中的某类型数据为所述缺失项的类型为CPU类、起显示器的像素比和硬盘类型，那么所述缺失数据主要为所述终端设备的硬件数据。由于在发起网络访问请求时，所述硬件数据对于终端设备的运行过程起着基础作用，而且关于所述硬件数据的缺失数量达到3个，对应的缺失程度可评为高，对应的网络访问请求的有效性为低。

若所述缺失数据的缺失项的类型分别分散于浏览器语言、浏览器插件和音频堆栈指纹等信息，关于所述特征数据的缺失数量同样达到3个，但所述缺失项的在终端设备发起网络访问请求的必要性相对于硬件数据来说必要性相对较低，即使同样具备3项缺失项，但对应的缺失程度未能达到高的级别，因此，对应的网络访问请求的有效性为中。

在所述特征列表的特征项中，可以对终端设备发起网络访问请求的必要性进行分级。同时，针对所述缺失数据包括必要特征的等级和对应的数量，可以设定相应的等级划分规则。根据该规则对不同的缺失数据组合进行数据分层。

对于上述步骤A1，还可包括以下步骤：

A11、对所述缺失项的类型和数量组成的缺失数据进行组合；

A12、根据所述组合后的缺失数据，对所述组合特征集的进行数据分层。

在步骤A11-A12中，根据对应的组合特征集的缺失项的类型和数量，进行组合。根据所述组合后的缺失数据，对所述组合特征集进行不同排布的数据分层。

具体地，可以对所述组合特征集的缺失项进行树状结构的分类设置。在该树状结构中，不同的根结点代表不同的类别，每个根结点下可以分成两个子结点，每个子结点为其根结点对应类别的子分类。

对于一个所述组合特征集，可以将各个类别放置于不同位置的根结点，形成不同的数据分层。

再以所述关于所述缺失数据的缺失项的类型分别分散于浏览器语言、浏览器插件和音频堆栈指纹的实施例为例进行说明：

该实施例中，关于所述缺失项的类型至少可以包括是否为浏览器信息缺失、缺失项是否超过2项。若将第一级设定为是否为浏览器信息缺失，第二级设定为缺失项超过2项；以及将第一级设定为缺失项是否超过2项，第二级设定为浏览器信息缺失，两组所得到对应的组合特征集的数据分层是不同的，即所得到的对应的树状结构是不同的。

在步骤A11-A12的基础上，对应步骤A2可以进一步包括以下步骤：

A21、根据所述组合特征集的组合后的缺失数据进行数据分层，训练并得到lightgbm模型；

A22、将待检样本的组合特征集输入所述lightgbm模型进行判定，得到所述待判定样本的组合特征集的异常概率，得到对应网络访问请求的有效性。

在步骤A21-A22中，根据从上述步骤A12得到的不同的数据分层代入lightgbm模型，并对所述lightgbm模型进行训练，得到所述lightgbm模型中的参数，如num_leaves、min_data_in_leaf、max_depth。具体的过程，可以先通过对上述的参数进行预设值设定，代入上述举例的不同的数据分层，对上述参数进行中重新调整，由此得到训练好的lightgbm模型。

关于所述lightgbm模型的参数的意义如下：

由于num_leaves是代表树状结构的最大叶子数，用于调节树的复杂程度通常取值为<＝2^(max_depth)；min_data_in_leaf：其取值取决于训练数据的样本个数和num_leaves，将其设置较大可以避免生成一个过深的树状结构；max_depth代表树状结构的最大深度。

根据所述步骤A21得到训练好的所述lightgbm模型后，将待判定样本的特征集的数据信息输入至该lightgbm模型，并进行对应终端设备所发起的网络访问请求进行异常判定。根据所述lightgbm模型，得到该待判定样本的组合特征集的异常概率。所述异常概率用于表征该待判定样本所所发起的网络访问请求为非正常用户访问的概率，即可以直接体现正常用户网络访问的有效性。当异常概率越高，对应的网络访问请求的有效性越低。

所述待判定样本为待判定的终端设备所发起的网络访问请求。

使用了所述lightgbm模型作为判定模型，以判断所述网络访问是否为异常访问的技术方案，能够利用能够识别多样性的异常场景，并且随着样本量增长，可以覆盖更多、更复杂的情况。

在所述步骤A21之后，利用GridSearchCV网络搜索对所述lightgbm模型的参数进行自动调参，所涉及到的参数包括上述提到的关于所述lightgbm模型中的参数num_leaves、min_data_in_leaf、max_depth。经过对上述参数进行调整后，完成了对所述lightgbm模型进行了调节优化，提高了对对应的终端设备所发起的网络访问请求的异常判定的准确性。

对于所述步骤S240，可包括：

当所述有效性所依据的异常概率大于预设的阈值，判定所述网络访问为异常访问。

在该步骤中，根据步骤A22利用所述lightgbm模型得到对应终端设备所发起的网络访问请求的异常概率。所述判断阈值是表现所述终端设备在发起正常网络访问请求的概率的临界点。当所述异常概率超出了预设的阈值所限定的范围时，判定所述网络访问为异常访问的可能性较大，以此得到在对应的终端设备发起的网络访问为异常访问的判定结果。

对于所述终端设备当前发起的网络请求被判定为异常访问请求，服务器直接拒绝请求或重新要求所述终端设备进行访问验证；若所述终端设备当前发起的网络请求被判定为正常访问请求，则直接响应请求。

另外，对于所述组合特征集还可以包括：

通过对所述组合特征集的特征的值进行度量数据散布计算得到的识别离群点的有效衍生特征信息。

根据所述度量数据散布计算，可以得到识别离群点的有效衍生特征。对应地，所述特征列表也增加相应的有效衍生特征，以便于与所述组合特征集的有效衍生特征进行对比，得到对用的有效衍生缺失项。

所述度量数据散布计算包括对应特征信息数据计算极差、四分位数、四分位数极差、五数概括，所述五数概括按次序为最小值、上四分位、中位数、下四分位数、最大值。

通过在所述特征列表中增加对比的特征，使所述待检样本的组合特征集能得到更全面的比较，从而进一步提高所述网络访问的异常判定方法的判定能力。

基于与上述网络访问的异常判定方法相同的发明构思，本发明实施例还提供了一种网络访问的异常判定装置，如图3所示，包括：

特征获取模块310，用于预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；

对比模块320，用于将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项；

有效性获取模块330，用于根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性；

判定模块340，用于利用所述有效性，对所述网络访问请求进行异常访问的判定。

请参考图4，图4为一个实施例中服务器的内部结构示意图。如图4所示，该服务器包括通过***总线连接的处理器410、存储介质420、存储器430和网络接口440。其中，该服务器的存储介质420存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器410执行时，可使得处理器410实现一种网络访问的异常判定方法，处理器410能实现图3所示实施例中的一种网络访问的异常判定装置中的特征获取模块310、对比模块320、有效性获取模块330和判定模块340的功能。该服务器的处理器410用于提供计算和控制能力，支撑整个服务器的运行。该服务器的存储器430中可存储有计算机可读指令，该计算机可读指令被处理器410执行时，可使得处理器410执行一种网络访问的异常判定方法。该服务器的网络接口440用于与终端连接通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本发明还提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项；根据各个缺失项组成缺失数据，得到对应的网络访问请求的有效性；利用所述有效性，对所述网络访问请求进行异常访问的判定。

综合上述实施例可知，本发明最大的有益效果在于：

本发明提供的一种网络访问的异常判定方法、装置、服务器及其存储介质，通过将终端设备发送的网络访问请求的组合特征集的特征与设定的包括必要特征的特征列表进行对比，根据对比的结果得到所述组合特征集的缺失项，由此对所述网络访问请求的有效性进行判断，最终得到对应的网络访问请求是否为异常的判定结果。

在此基础上，还提供另一技术方案，根据所述组合特征集的组合后的缺失数据进行的数据分层，训练并得到lightgbm模型，并利用所述lightgbm模型作为判定模型，以判断所述网络访问是否为异常访问。该方案能够利用能够识别多样性的异常场景，并且随着样本量增长，可以覆盖更多、更复杂的情况。

本发明所提供的技术方案通过网络访问请求中得到的现有的特征与包含了必要特征的特征列表进行对比，通过对能体现异常访问的必要特征作为判断的基础，以便利用尽量少的数据处理得到最好的判定效果。

综上，本发明通过网络访问的异常判定方法、装置、服务器及其存储介质，通过利用了能体现验证正常网络访问的特征列表，经过对比后，容易得到异常访问的判定结果，解决了现有技术中只能通过用户的发起网络访问请求时的点击和拖动的数据进行异常访问的判定，错误率较高的技术问题，提高了对终端设备异常访问的判定能力。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种网络访问的异常判定方法，其特征在于，包括以下步骤：

预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；

将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项的类型和数量；

根据所述缺失项的类型和数量组成的缺失数据，对所述组合特征集的缺失数据组合进行数据分层，利用所述数据分层，得到对应的网络访问请求的有效性；

利用所述有效性，对所述网络访问请求进行异常访问的判定；

其中，所述特征列表包括所述终端设备发起网络访问请求所产生的必要特征。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述缺失项的类型和数量组成的缺失数据，对所述组合特征集的缺失数据组合进行数据分层，包括：

对所述缺失项的类型和数量组成的缺失数据进行组合；

根据所述组合后的缺失数据，对所述组合特征集的进行数据分层。

3.根据权利要求1所述的方法，其特征在于，

所述利用所述数据分层，得到对应的网络访问请求的有效性的步骤，包括：

根据所述组合特征集的组合后的缺失数据进行的数据分层，训练并得到lightgbm模型；

将待检样本的组合特征集输入所述lightgbm模型进行判定，得到待判定样本的组合特征集的异常概率，得到对应网络访问请求的有效性。

4.根据权利要求3所述的方法，其特征在于，

所述根据所述组合特征集的组合后的缺失数据进行的数据分层，训练并得到lightgbm模型的步骤之后，还包括：

通过GridSearchCV网络搜索对所述lightgbm模型的参数num_leaves、min_data_in_leaf、max_depth进行自动调参，对所述lightgbm模型进行调节优化。

5.根据权利要求3所述的方法，其特征在于，

所述利用所述有效性，对所述网络访问请求进行异常访问的判定的步骤，包括：

当所述有效性所依据的异常概率大于预设的阈值，判定所述网络访问为异常访问。

6.一种网络访问的异常判定装置，其特征在于，包括：

特征获取模块，用于预设时间间隔采集终端设备根据网络访问请求所产生的各个相关的特征，根据所述特征形成关于所述终端设备的组合特征集；

对比模块，用于将所述组合特征集的特征与设定的特征列表进行对比，得到对应的组合特征集的缺失项的类型和数量；

有效性获取模块，用于根据所述缺失项的类型和数量组成的缺失数据，对所述组合特征集的缺失数据组合进行数据分层，利用所述数据分层，得到对应的网络访问请求的有效性；

判定模块，用于利用所述有效性，对所述网络访问请求进行异常访问的判定。

7.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行根据权利要求1至5任一项所述的网络访问的异常判定方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至5任一项所述的网络访问的异常判定方法。

Images