CN109413071B - 一种异常流量检测方法及装置 - Google Patents

一种异常流量检测方法及装置 Download PDF

Info

Publication number
CN109413071B
CN109413071B CN201811291061.2A CN201811291061A CN109413071B CN 109413071 B CN109413071 B CN 109413071B CN 201811291061 A CN201811291061 A CN 201811291061A CN 109413071 B CN109413071 B CN 109413071B
Authority
CN
China
Prior art keywords
flow
historical
characteristic
future
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811291061.2A
Other languages
English (en)
Other versions
CN109413071A (zh
Inventor
顾成杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Security Technologies Co Ltd
Original Assignee
New H3C Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Security Technologies Co Ltd filed Critical New H3C Security Technologies Co Ltd
Priority to CN201811291061.2A priority Critical patent/CN109413071B/zh
Publication of CN109413071A publication Critical patent/CN109413071A/zh
Application granted granted Critical
Publication of CN109413071B publication Critical patent/CN109413071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供了一种异常流量检测方法及装置，方法包括：提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，流量特征向量中的历史特征变量根据时间排序；根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值；获取各特征维度的权重；根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值；获取在未来时刻的实际流量数据，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。应用本申请实施例提供的技术方案，提高了异常流量检测的灵活性，降低了异常流量检测的误判率。

Description

一种异常流量检测方法及装置
技术领域
本申请涉及网络安全技术领域，特别是涉及一种异常流量检测方法及装置。
背景技术
随着计算机和互联网技术的快速发展与广泛应用，计算机网络的***安全受到计算机病毒和黑客攻击等多方面的威胁越来越大，经常会导致网络异常。为提高网络的安全性，如何检测到网络中的异常流量，逐渐成为研究的关键。
目前，异常流量检测时，网络管理人员根据经验设定流量阈值。若实际流量大于流量阈值，则确定流量异常。若实际流量不大于流量阈值，则确定流量正常。该设定的流量阈值为固定值，不会考虑时间规律和业务特点，灵活性较小，误判率较高。
发明内容
本申请实施例的目的在于提供一种异常流量检测方法及装置，以提高异常流量检测的灵活性，降低异常流量检测的误判率。具体技术方案如下：
在第一方面，本申请实施例提供了一种异常流量检测方法，所述方法包括：
获取历史流量数据；
提取所述历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，所述流量特征向量中的历史特征变量根据时间排序；
根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下所述历史流量数据对应的未来数值；
获取各特征维度的权重；
根据各特征维度的权重以及各特征维度下的未来数值，确定所述未来时刻所述历史流量数据对应的未来流量值；
获取在所述未来时刻的实际流量数据，所述实际流量数据与所述历史流量数据具有相同的报文信息，根据所述未来流量值和所述实际流量数据的实际流量值，确定所述实际流量数据是否异常。
在第二方面，本申请实施例提供了一种异常流量检测装置，所述装置包括：
第一获取单元，用于获取历史流量数据；
提取单元，用于提取所述历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，所述流量特征向量中的历史特征变量根据时间排序；
预测单元，用于根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下所述历史流量数据对应的未来数值；
第二获取单元，用于获取各特征维度的权重；
第一确定单元，用于根据各特征维度的权重以及各特征维度下的未来数值，确定所述未来时刻所述历史流量数据对应的未来流量值；
第二确定单元，用于获取在所述未来时刻的实际流量数据，所述实际流量数据与所述历史流量数据具有相同的报文信息，根据所述未来流量值和所述实际流量数据的实际流量值，确定所述实际流量数据是否异常。
在第三方面，本申请实施例提供了一种网络设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现第一方面提供的任一所述的方法步骤。
在第四方面，本申请实施例提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现第一方面提供的任一所述的方法步骤。
本申请实施例提供的异常流量检测方法及装置中，未来流量值是根据各特征维度下的流量特征向量确定的，流量特征向量中的特征根据时间排序。由于在确定未来流量值时，考虑了流量数据的时间规律和业务特点等因素，因此确定的未来流量值会随着时间和业务的变化而变化，而不是固定不变的。进而，在根据未来流量值确定实际流量数据是否异常时，能够提高异常流量检测的灵活性，且降低异常流量检测的误判率。当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的异常流量检测方法的第一种流程示意图；
图2为本申请实施例提供的异常流量检测方法的第二种流程示意图；
图3为本申请实施例提供的异常流量检测方法的第三种流程示意图；
图4为本申请实施例提供的异常流量检测装置的一种结构示意图；
图5为本申请实施例提供的网络设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，异常流量检测时，网络管理人员根据经验设定流量阈值。若实际流量大于流量阈值，则确定流量异常。若实际流量不大于流量阈值，则确定流量正常。该设定的流量阈值为固定值。为提高网络安全性，网络管理人员会将流量阈值设置的较低，这将导致大量无用的误报信息。为了防止出现大量无用的误报信息，网络管理人员会将流量阈值设置的较高，这将会造成无法发现恶意攻击引起的异常流量。可见，现有异常流量检测时，流量阈值由网络管理人员根据需求设定的，未考虑时间规律和业务特点，灵活性较小，误判率较高。
为提高异常流量检测的灵活性，降低异常流量检测的误判率，本申请实施例提供了一种异常流量检测方法。该方法可以应用于任一网络设备中。网络设备包括但不限于路由器、交换机等设备。
该方法中，网络设备获取历史流量数据；提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，流量特征向量中的历史特征变量根据时间排序；根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值；获取各特征维度的权重；根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值；获取在未来时刻的实际流量数据，实际流量数据与历史流量数据具有相同的报文信息，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。
可见，本申请实施例提供的技术方案中，未来流量值是根据各特征维度下的流量特征向量确定的，流量特征向量中的特征根据时间排序。由于在确定未来流量值时，考虑了流量数据的时间规律和业务特点等因素，因此确定的未来流量值会随着时间和业务的变化而变化，而不是固定不变的。进而，在根据未来流量值确定实际流量数据是否异常时，能够提高异常流量检测的灵活性，且降低异常流量检测的误判率。
下面通过具体实施例，对本申请进行详细说明。为便于理解，下面以执行主体为网络设备为例进行说明。
参考图1，图1为本申请实施例提供的异常流量检测方法的第一种流程示意图。该方法包括如下步骤。
步骤101，获取历史流量数据。
本申请实施例中，网络设备可以通过流量统计工具，统计各个时刻的流量。具体的，网络设备获取当前时刻前预设时间段内的历史流量数据。一个示例中，网络设备可以基于流量镜像、NetStream等方式获取当前时刻前预设时间段内的历史流量数据。
一个可选的实施例中，网络设备获取到大量的历史流量数据，按照流量数据的报文信息进行分组，获得多组历史流量数据。每组历史流量数据分别进行异常流量检测。一个示例中，报文信息可以为三元组信息、五元组信息或七元组信息。
例如，网络设备获取到历史流量数据1-10。历史流量数据1-3的报文信息均为报文信息1，历史流量数据4-7的报文信息均为报文信息2，历史流量数据8-10的报文信息均为报文信息3。网络设备可以将历史流量数据1-3划分为一组历史流量数据，将历史流量数据4-7划分为一组历史流量数据，将历史流量数据8-10划分为一组历史流量数据，得到3组历史流量数据。
在本申请实施例中，报文信息相同的流量数据的相关性较强，报文信息不同的流量数据的相关性较弱。在实施中，可以对报文信息不同的多组历史流量数据分别进行异常流量检测，提高了异常流量预测的准确性。
步骤102，提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量。其中，流量特征向量中的历史特征变量根据时间排序。
本申请实施例中，特征维度包括但不限于：总流量值、上行流量值、下行流量值、字节数、报文数、源IP(Internet Protocol，网络协议)地址值、目的IP地址值、连接数、并发数、新建连接数、断开连接数、TCP(Transmission Control Protocol，传输控制协议)占比、UDP(User Datagram Protocol，用户数据报协议，)占比、ICMP(Internet Control MessageProtocol，网络控制报文协议)报文数、HTTP(Hyper Text Transport Protocol，超文本传输协议)报文数、DNS(Domain Name System，域名***)报文数和FTP(File TransmissionProtocol，文件传输协议)报文数等。历史流量数据在一特征维度下某一历史时刻的特征值即为：历史流量数据在该特征维度下该历史时刻的历史特征变量。
网络设备获取到历史流量数据后，提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量。对于每一特征维度，网络设备按历史特征变量对应的历史时刻的先后顺序，组合该特征维度下的历史特征变量，得到各特征维度下的流量特征向量。
例如，在特征维度1下，网络设备提取到的历史流量数据的历史特征变量包括：{10:00，5}，{10:01，9}，{10:02，10}，{10:03，4}，{10:04，7}。网络设备根据提取到的特征维度1下各个历史时刻的历史特征变量，得到特征维度1下的流量特征向量可为{5，9，10，4，7}。
步骤103，根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值。
对于每一特征维度，网络设备利用该特征维度下的流量特征向量，通过GBDT(Gradient Boosting Decision Tree，梯度提升决策树)、随机森林等回归算法训练回归模型，基于训练得到的回归模型预测未来时刻在该特征维度下历史流量数据对应的未来数值。
例如，当前时刻为11:00。网络设备采用回归算法，利用提取到的各特征维度下的流量特征向量，预测11:01时在各特征维度下历史流量数据对应的未来数值。
步骤104，获取各特征维度的权重。
本申请实施例中，各特征维度的权重可以为网络管理人根据经验设定的，也可以根据各特征维度下的流量特征向量，利用回归算法，确定各特征维度的权重。
一个实施例中，网络设备采用线性回归算法，确定各特征维度的权重。
例如，网络设备利用如下公式(1)，确定各特征维度的权重。
Figure GDA0002967747610000061
其中，Q1为历史时刻的历史流量数据的流量值，n为多个特征维度的个数，ki为第i个特征维度的权重，vi为历史时刻的历史流量数据在第i个特征维度下的数值。
基于公式(1)，获取到n条历史流量数据，即可确定出各特征维度的权重。
步骤105，根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值。
网络设备根据各特征维度的权重，对各特征维度下的未来数值进行加权处理，得到未来时刻历史流量数据对应的未来流量值。
一个可选的实施例中，网络设备可以利用以下公式(2)，确定未来时刻历史流量数据对应的未来流量值Q0。
Figure GDA0002967747610000062
其中，n为多个特征维度的个数，ki为第i个特征维度的权重，wi为第i个特征维度下的未来数值。
例如，当前设置有5个特征维度，特征维度1的权重为0.1，特征维度2的权重为0.2，特征维度3的权重为0.3，特征维度4的权重为0.2，特征维度5的权重为0.2。网络设备确定特征维度1下的未来数值为10，特征维度2下的未来数值为5，特征维度3下的未来数值为14，特征维度4下的未来数值为8，特征维度5下的未来数值为12，则可确定未来时刻历史流量数据对应的未来流量值为Q0＝0.1*10+0.2*5+0.3*14+0.2*8+0.2*12＝10.2。
另外，一个可选的实施例中，网络设备可以利用以下公式(2)，确定未来时刻历史流量数据对应的未来流量值Q0。
Figure GDA0002967747610000071
其中，n为多个特征维度的个数，ki为第i个特征维度的权重，wi为第i个特征维度下的未来数值，T为预设容错阈值，0≤T≤1。预设容错阈值可以为***默认值，也可以为网络管理人员可以根据经验设定的。
例如，预设容错阈值T为0.5，当前设置有5个特征维度，特征维度1的权重为0.1，特征维度2的权重为0.2，特征维度3的权重为0.3，特征维度4的权重为0.2，特征维度5的权重为0.2。网络设备确定特征维度1下的未来数值为10，特征维度2下的未来数值为5，特征维度3下的未来数值为14，特征维度4下的未来数值为8，特征维度5下的未来数值为12，则可确定未来时刻历史流量数据对应的未来流量值为：
Q0＝(1+0.5)*(0.1*10+0.2*5+0.3*14+0.2*8+0.2*12)＝15.3。
步骤106，获取在未来时刻的实际流量数据，实际流量数据与历史流量数据具有相同的报文信息，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。
本申请实施例中，历史流量数据对应的实际流量数据即为与历史流量数据的报文信息相同的实际流量数据。网络设备在获取到未来时刻历史流量数据对应的实际流量数据后，比较确定的未来流量值和实际流量数据的实际流量值，根据比较结果确定实际流量数据是否异常。
例如，当前时刻为11:00。网络设备确定的11:01时历史流量数据对应的未来流量值，在获取到11:01时历史流量数据对应的实际流量数据的情况下，根据11:01时历史流量数据对应的未来流量值，以及11:01时历史流量数据对应的实际流量数据的实际流量值，确定实际流量数据是否异常。
一个可选的实施例中，网络设备若确定的未来流量值小于实际流量数据的实际流量值，则确定实际流量数据异常。网络设备若确定的未来流量值不小于实际流量数据的实际流量值，则确定实际流量数据正常。
另一个可选的实施例中，网络设备中预先设置差值阈值，即预设差值阈值。网络设备在获取到未来时刻历史流量数据对应的实际流量数据的情况下，将实际流量数据的实际流量值减去确定的未来流量值，得到流量差值。网络设备比较流量差值和预设差值阈值。若流量差值大于预设差值阈值，则网络设备可确定实际流量数据异常。若流量差值不大于预设差值阈值，则网络设备可确定实际流量数据正常。
例如，预设差值阈值为θ。确定的未来流量值为Hn，实际流量数据的实际流量值为Ha，Ha-Hn＝Δh。若Δh>θ，则网络设备可确定实际流量数据异常。否则，网络设备可确定实际流量数据正常。
采用预设差值阈值，确定实际流量数据是否异常，允许实际流量数据的实际流量值可以在大于未来流量值的一定范围内波动。实际流量值在该范围内波动，可认为实际流量数据的实际流量值为临时性的变化，实际流量数据为正常流量数据。这增大了异常流量监测的鲁棒性，具有更好的适应性。
本申请实施例提供的异常流量检测方法中，未来流量值是根据各特征维度下的流量特征向量确定的，流量特征向量中的特征根据时间排序。由于在确定未来流量值时，考虑了流量数据的时间规律和业务特点等因素，因此确定的未来流量值会随着时间和业务的变化而变化，而不是固定不变的。进而，在根据未来流量值确定实际流量数据是否异常时，能够提高异常流量检测的灵活性，且降低异常流量检测的误判率。
为提高异常流量的检测效率，一个可选的实施例中，参考图2所示的异常流量检测方法的第二种流程示意图。该方法可包括如下步骤。
步骤201，获取历史流量数据。
与步骤201与步骤101相同。
步骤202，采用预设的特征维度选择方法，从多个特征维度中选择最优的特征维度子集。
本申请实施例中，特征维度选择方法包括但不限于遗传算法、粗糙集、禁忌搜索等。网络设备采用预设的特征维度选择方法，从多个特征维度中选择最优的特征维度子集，去除多个特征维度中冗余的特征维度和弱相关的特征维度，得到最优的特征维度子集。
网络设备在历史流量数据完整的基础上，去除冗余的特征维度，维持了流量检测的精度。另外，减少了参与后续步骤203-208处理的特征维度，提高了异常流量的检测效率。
步骤203，提取历史流量数据在特征维度子集包括的各特征维度下各个历史时刻的历史特征变量。
步骤204，针对提取的每一特征维度下的历史特征变量，按历史特征变量对应的历史时刻的先后顺序，组合该特征维度下的历史特征变量，得到各特征维度下的流量特征向量。流量特征向量中的历史特征变量根据时间排序。
步骤205，根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值。
步骤206，获取各特征维度的权重。
步骤207，根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值。
步骤208，获取在未来时刻的实际流量数据，实际流量数据与历史流量数据具有相同的报文信息，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。
步骤205-208与步骤103-106相同。
为提高异常流量的检测效率，一个可选的实施例中，参考图3所示的异常流量检测方法的第三种流程示意图。该方法可包括如下步骤。
步骤301，获取历史流量数据。
步骤302，提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，流量特征向量中的历史特征变量根据时间排序。
步骤303，根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值。
步骤304，获取各特征维度的权重。
步骤305，根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值。
步骤306，获取在未来时刻的实际流量数据，实际流量数据与历史流量数据具有相同的报文信息，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。
步骤301-306与步骤101-106相同。
步骤307，在确定实际流量数据异常的情况下，获取实际流量数据在各特征维度下的实际特征变量。
其中，实际流量数据在一特征维度下的特征值即为：实际流量数据在该特征维度下的特征变量。
步骤308，对于每一特征维度，判断该特征维度下的实际特征变量是否大于该特征维度下的未来数值。若是，则执行步骤309。若否，则执行步骤310。
各特征维度下的未来数值即为步骤303中预测得到的。
步骤309，确定实际流量数据在该特征维度下异常。
步骤310，确定实际流量数据在该特征维度下正常。
例如，特征维度包括字节数。预测字节数的未来数值为100。若获取实际流量在字节数下的实际特征变量为90，90<100，则确定实际流量在该字节数的特征维度下正常。若获取实际流量在字节数下的实际特征变量为150，150>100，则确定实际流量在该字节数的特征维度下异常。
应当理解，在步骤308，针对每一特征维度，判断该特征维度下的实际特征变量与该特征维度下的未来数值的差值是否大于预设阈值。若是，则执行步骤309。若否，则执行步骤310。预设阈值可以按照经验或实际情况自行设置，本文不作特别限定。
本申请实施例提供的技术方案中，分析不同的特征维度，确定实际流量在各个特征维度是否异常，可有助于网络管理人员准确的定位异常的原因，及时解决异常原因。
与上述异常流量检测方法实施例对应，本申请实施例还提供了一种异常流量检测装置。参考图4，图4为本申请实施例提供的异常流量检测装置的一种结构示意图，该装置包括：
第一获取单元401，用于获取历史流量数据；
提取单元402，用于提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，流量特征向量中的历史特征变量根据时间排序；
预测单元403，用于根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值；
第二获取单元404，用于获取各特征维度的权重；
第一确定单元405，用于根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值；
第二确定单元406，用于获取在所述未来时刻的实际流量数据，所述实际流量数据与所述历史流量数据具有相同的报文信息，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。
可选的，提取单元402，具体可以用于：
采用预设的特征维度选择方法，从多个特征维度中选择最优的特征维度子集；
提取历史流量数据在特征维度子集包括的各特征维度下各个历史时刻的历史特征变量；
针对提取的每一特征维度下的历史特征变量，按历史特征变量对应的历史时刻的先后顺序，组合该特征维度下的历史特征变量，得到各特征维度下的流量特征向量。
可选的，第二获取单元404，具体可以用于：
根据各特征维度下的流量特征向量，采用机器学习算法，确定各特征维度的权重。
可选的，第一确定单元405，具体可以用于：
利用以下公式，确定未来时刻历史流量数据对应的未来流量值Q0：
Figure GDA0002967747610000121
其中，n为多个特征维度的个数，ki为第i个特征维度的权重，wi为第i个特征维度下的未来数值，T为预设容错阈值，0≤T≤1。
可选的，第二确定单元406，具体可以用于：
将实际流量数据的实际流量值减去未来流量值，得到流量差值；
若流量差值大于预设差值阈值，则确定实际流量数据异常；
若流量差值不大于预设差值阈值，则确定实际流量数据正常。
可选的，提取单元402，还可以用于在确定实际流量数据异常的情况下，获取实际流量数据在各特征维度下的实际特征变量；
第二确定单元406，还可以用于对于每一特征维度，若该特征维度下的实际特征变量大于该特征维度下的未来数值，则确定实际流量数据在该特征维度下异常。
本申请实施例提供的异常流量检测装置中，未来流量值是根据各特征维度下的流量特征向量确定的，流量特征向量中的特征根据时间排序。由于在确定未来流量值时，考虑了流量数据的时间规律和业务特点等因素，因此确定的未来流量值会随着时间和业务的变化而变化，而不是固定不变的。进而，在根据未来流量值确定实际流量数据是否异常时，能够提高异常流量检测的灵活性，且降低异常流量检测的误判率。
与上述异常流量检测方法实施例对应，本申请实施例还提供了一种网络设备，如图5所示，包括处理器501和机器可读存储介质502，机器可读存储介质502存储有能够被处理器501执行的机器可执行指令。处理器501被机器可执行指令促使实现上述异常流量检测方法的任一步骤。其中，上述异常流量检测方法包括：
获取历史流量数据；
提取历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，流量特征向量中的历史特征变量根据时间排序；
根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下历史流量数据对应的未来数值；
获取各特征维度的权重；
根据各特征维度的权重以及各特征维度下的未来数值，确定未来时刻历史流量数据对应的未来流量值；
获取在未来时刻的实际流量数据，实际流量数据与历史流量数据具有相同的报文信息，根据未来流量值和实际流量数据的实际流量值，确定实际流量数据是否异常。
本申请实施例提供的技术方案中，未来流量值是根据各特征维度下时间序列化的流量特征向量确定的，流量特征向量中的特征根据时间排序。由于在确定未来流量值时，考虑了流量数据的时间规律和业务特点等因素，因此确定的未来流量值会随着时间和业务的变化而变化，而不是固定不变的，根据未来流量值确定实际流量数据是否异常时，能够提高异常流量检测的灵活性，且降低异常流量检测的误判率。
可选的，如图5所示，网络设备还可以包括：通信接口503和通信总线504；其中，处理器501、机器可读存储介质502、通信接口503通过通信总线504完成相互间的通信，通信接口503用于上述网络设备与其他设备之间的通信。
与上述异常流量检测方法实施例对应，本申请实施例还提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，机器可执行指令促使处理器实现上述异常流量检测方法的任一步骤。
上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，可用一条粗线表示，如图5所示，但并不表示仅有一根总线或一种类型的总线。
上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。另外，机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于异常流量检测装置、网络设备、机器可读存储介质实施例而言，由于其基本相似于异常流量检测方法实施例，所以描述的比较简单，相关之处参见异常流量检测方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种异常流量检测方法，其特征在于，所述方法包括：
获取历史流量数据；
提取所述历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，所述流量特征向量中的历史特征变量根据时间排序，其中，所述多个特征维度包括：总流量值、上行流量值、下行流量值、字节数、源IP地址值、目的IP地址值、新建连接数、断开连接数、TCP占比、UDP占比、ICMP报文数、HTTP报文数、DNS报文数和FTP报文数；
根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下所述历史流量数据对应的未来数值；
获取各特征维度的权重；
根据各特征维度的权重以及各特征维度下的未来数值，确定所述未来时刻所述历史流量数据对应的未来流量值；
获取在所述未来时刻的实际流量数据，所述实际流量数据与所述历史流量数据具有相同的报文信息，根据所述未来流量值和所述实际流量数据的实际流量值，确定所述实际流量数据是否异常。
2.根据权利要求1所述的方法，其特征在于，所述提取所述历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量的步骤，包括：
采用预设的特征维度选择方法，从多个特征维度中选择最优的特征维度子集；
提取所述历史流量数据在所述特征维度子集包括的各特征维度下各个历史时刻的历史特征变量；
针对提取的每一特征维度下的历史特征变量，按历史特征变量对应的历史时刻的先后顺序，组合该特征维度下的历史特征变量，得到各特征维度下的流量特征向量。
3.根据权利要求1所述的方法，其特征在于，所述获取各特征维度的权重的步骤，包括：
根据所述各特征维度下的流量特征向量，采用机器学习算法，确定各特征维度的权重。
4.根据权利要求1所述的方法，其特征在于，所述根据各特征维度的权重以及各特征维度下的未来数值，确定所述未来时刻所述历史流量数据对应的未来流量值的步骤，包括：
利用以下公式，确定所述未来时刻所述历史流量数据对应的未来流量值Q 0：
Figure 735481DEST_PATH_IMAGE001
其中，n为多个特征维度的个数，k i 为第i个特征维度的权重，w i 为第i个特征维度下的未来数值，T为预设容错阈值，0≤T≤1。
5.根据权利要求1所述的方法，其特征在于，所述根据所述未来流量值和所述实际流量数据的实际流量值，确定所述实际流量数据是否异常的步骤，包括：
将所述实际流量数据的实际流量值减去所述未来流量值，得到流量差值；
若所述流量差值大于预设差值阈值，则确定所述实际流量异常；
若所述流量差值不大于所述预设差值阈值，则确定所述实际流量正常。
6.根据权利要求1-5任一项所述的方法，其特征在于，在确定所述实际流量数据异常的情况下，还包括：
获取所述实际流量数据在各特征维度下的实际特征变量；
对于每一特征维度，若该特征维度下的实际特征变量大于该特征维度下的未来数值，则确定所述实际流量数据在该特征维度下异常。
7.一种异常流量检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取历史流量数据；
提取单元，用于提取所述历史流量数据在多个特征维度下各个历史时刻的历史特征变量，得到各特征维度下的流量特征向量，所述流量特征向量中的历史特征变量根据时间排序，其中，所述多个特征维度包括：总流量值、上行流量值、下行流量值、字节数、源IP地址值、目的IP地址值、新建连接数、断开连接数、TCP占比、UDP占比、ICMP报文数、HTTP报文数、DNS报文数和FTP报文数；
预测单元，用于根据各特征维度下的流量特征向量，采用回归算法，预测未来时刻在各特征维度下所述历史流量数据对应的未来数值；
第二获取单元，用于获取各特征维度的权重；
第一确定单元，用于根据各特征维度的权重以及各特征维度下的未来数值，确定所述未来时刻所述历史流量数据对应的未来流量值；
第二确定单元，用于获取在所述未来时刻的实际流量数据，所述实际流量数据与所述历史流量数据具有相同的报文信息，根据所述未来流量值和所述实际流量数据的实际流量值，确定所述实际流量数据是否异常。
8.根据权利要求7所述的装置，其特征在于，所述提取单元，具体用于：
采用预设的特征维度选择方法，从多个特征维度中选择最优的特征维度子集；
提取所述历史流量数据在所述特征维度子集包括的各特征维度下各个历史时刻的历史特征变量；
针对提取的每一特征维度下的历史特征变量，按历史特征变量对应的历史时刻的先后顺序，组合该特征维度下的历史特征变量，得到各特征维度下的流量特征向量。
9.根据权利要求7所述的装置，其特征在于，所述第二获取单元，具体用于：
根据所述各特征维度下的流量特征向量，采用机器学习算法，确定各特征维度的权重。
10.根据权利要求7所述的装置，其特征在于，所述第一确定单元，具体用于：
利用以下公式，确定所述未来时刻所述历史流量数据对应的未来流量值Q 0：
Figure 902151DEST_PATH_IMAGE003
其中，n为多个特征维度的个数，k i 为第i个特征维度的权重，w i 为第i个特征维度下的未来数值，T为预设容错阈值，0≤T≤1。
11.根据权利要求7所述的装置，其特征在于，所述第二确定单元，具体用于：
将所述实际流量数据的实际流量值减去所述未来流量值，得到流量差值；
若所述流量差值大于预设差值阈值，则确定所述实际流量异常；
若所述流量差值不大于所述预设差值阈值，则确定所述实际流量正常。
12.根据权利要求7-11任一项所述的装置，其特征在于，
所述提取单元，还用于在确定所述实际流量数据异常的情况下，获取所述实际流量数据在各特征维度下的实际特征变量；
所述第二确定单元，还用于对于每一特征维度，若该特征维度下的实际特征变量大于该特征维度下的未来数值，则确定所述实际流量数据在该特征维度下异常。
13.一种网络设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-6任一所述的方法步骤。
14.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现权利要求1-6任一所述的方法步骤。
CN201811291061.2A 2018-10-31 2018-10-31 一种异常流量检测方法及装置 Active CN109413071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811291061.2A CN109413071B (zh) 2018-10-31 2018-10-31 一种异常流量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811291061.2A CN109413071B (zh) 2018-10-31 2018-10-31 一种异常流量检测方法及装置

Publications (2)

Publication Number Publication Date
CN109413071A CN109413071A (zh) 2019-03-01
CN109413071B true CN109413071B (zh) 2021-08-06

Family

ID=65470812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811291061.2A Active CN109413071B (zh) 2018-10-31 2018-10-31 一种异常流量检测方法及装置

Country Status (1)

Country Link
CN (1) CN109413071B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109768995B (zh) * 2019-03-06 2021-08-13 国网甘肃省电力公司电力科学研究院 一种基于循环预测和学习的网络流量异常检测方法
CN109802973A (zh) 2019-03-15 2019-05-24 北京百度网讯科技有限公司 用于检测流量的方法和装置
CN110784458B (zh) * 2019-10-21 2023-04-18 新华三信息安全技术有限公司 流量异常检测方法、装置及网络设备
CN110941797B (zh) * 2019-11-07 2023-04-07 中信银行股份有限公司 基于业务指标的经营指标监控及趋势预测***
CN111181923A (zh) * 2019-12-10 2020-05-19 中移（杭州）信息技术有限公司 流量检测方法、装置、电子设备及存储介质
CN112101400A (zh) * 2019-12-19 2020-12-18 国网江西省电力有限公司电力科学研究院 工业控制***异常检测方法、设备和服务器、存储介质
CN111556057B (zh) * 2020-04-29 2022-11-04 绿盟科技集团股份有限公司 一种流量异常检测方法、装置、电子设备及存储介质
CN116723059B (zh) * 2023-08-10 2023-10-20 湖南润科通信科技有限公司 一种针对网络信息的安全分析***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058250A (ja) * 2001-08-09 2003-02-28 Toshiba Corp 制御装置
CN101155085A (zh) * 2006-09-29 2008-04-02 中兴通讯股份有限公司 实时流量预测方法及装置和实时流量监测预警方法及装置
CN102932264A (zh) * 2012-11-02 2013-02-13 曙光云计算技术有限公司 流量溢出的判断方法和装置
CN104202329A (zh) * 2014-09-12 2014-12-10 北京神州绿盟信息安全科技股份有限公司 DDoS攻击检测方法和装置
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及***
CN107729952A (zh) * 2017-11-29 2018-02-23 新华三信息安全技术有限公司 一种业务流分类方法及装置
CN107786542A (zh) * 2017-09-26 2018-03-09 杭州安恒信息技术有限公司 基于大数据智能分析恶意ip的评分方法及装置
CN107832866A (zh) * 2017-09-26 2018-03-23 晶赞广告（上海）有限公司 一种流量预测方法及装置、存储介质、终端
CN108234496A (zh) * 2018-01-05 2018-06-29 宝牧科技（天津）有限公司 一种基于神经网络的流量预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058250A (ja) * 2001-08-09 2003-02-28 Toshiba Corp 制御装置
CN101155085A (zh) * 2006-09-29 2008-04-02 中兴通讯股份有限公司 实时流量预测方法及装置和实时流量监测预警方法及装置
CN102932264A (zh) * 2012-11-02 2013-02-13 曙光云计算技术有限公司 流量溢出的判断方法和装置
CN104202329A (zh) * 2014-09-12 2014-12-10 北京神州绿盟信息安全科技股份有限公司 DDoS攻击检测方法和装置
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及***
CN107786542A (zh) * 2017-09-26 2018-03-09 杭州安恒信息技术有限公司 基于大数据智能分析恶意ip的评分方法及装置
CN107832866A (zh) * 2017-09-26 2018-03-23 晶赞广告（上海）有限公司 一种流量预测方法及装置、存储介质、终端
CN107729952A (zh) * 2017-11-29 2018-02-23 新华三信息安全技术有限公司 一种业务流分类方法及装置
CN108234496A (zh) * 2018-01-05 2018-06-29 宝牧科技（天津）有限公司 一种基于神经网络的流量预测方法

Also Published As

Publication number Publication date
CN109413071A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109413071B (zh) 一种异常流量检测方法及装置
CN107154950B (zh) 一种日志流异常检测的方法及***
US10148690B2 (en) Accurate real-time identification of malicious BGP hijacks
EP3652914B1 (en) Cyberanalysis workflow acceleration
US10044751B2 (en) Using recurrent neural networks to defeat DNS denial of service attacks
US10104124B2 (en) Analysis rule adjustment device, analysis rule adjustment system, analysis rule adjustment method, and analysis rule adjustment program
US8935785B2 (en) IP prioritization and scoring system for DDoS detection and mitigation
US20160226893A1 (en) Methods for optimizing an automated determination in real-time of a risk rating of cyber-attack and devices thereof
CN110769007B (zh) 一种基于异常流量检测的网络安全态势感知方法及装置
CN112437037B (zh) 基于sketch的DDoS洪泛攻击检测方法及装置
Peneti et al. DDOS attack identification using machine learning techniques
CN115499205A (zh) 异常外联行为的检测方法及装置、存储介质及电子设备
CN114785567A (zh) 一种流量识别方法、装置、设备及介质
US20170346834A1 (en) Relating to the monitoring of network security
CN114024761A (zh) 网络威胁数据的检测方法、装置、存储介质及电子设备
CN111092849A (zh) 基于流量的分布式拒绝服务的检测方法及装置
CN111819559A (zh) 以量化步长使用机器学习模型用于恶意软件检测
US20160337389A1 (en) Discovering yet unknown malicious entities using relational data
US11321453B2 (en) Method and system for detecting and classifying malware based on families
Bartos et al. IFS: Intelligent flow sampling for network security–an adaptive approach
CN117391214A (zh) 模型训练方法、装置及相关设备
US20210288916A1 (en) Method and system for preventive filtering of network traffic
CN111224919A (zh) 一种ddos识别方法、装置、电子设备及介质
Shawly et al. Architectures for detecting real-time multiple multi-stage network attacks using hidden Markov model
CN114866338A (zh) 网络安全检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant