CN109818976A - 一种异常流量检测方法及装置 - Google Patents

一种异常流量检测方法及装置 Download PDF

Info

Publication number
CN109818976A
CN109818976A CN201910197232.3A CN201910197232A CN109818976A CN 109818976 A CN109818976 A CN 109818976A CN 201910197232 A CN201910197232 A CN 201910197232A CN 109818976 A CN109818976 A CN 109818976A
Authority
CN
China
Prior art keywords
flow
model
network flow
information
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910197232.3A
Other languages
English (en)
Other versions
CN109818976B (zh
Inventor
谭天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN201910197232.3A priority Critical patent/CN109818976B/zh
Publication of CN109818976A publication Critical patent/CN109818976A/zh
Application granted granted Critical
Publication of CN109818976B publication Critical patent/CN109818976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种异常流量检测方法及装置,当网络流量是非加密流量时,通过特征匹配若是异常流量则存储流量信息及其类别信息,若不是异常流量时或者是加密流量时,则使用机器学习模型获取网络流量的类别,并存储流量信息及类别信息;对所存储的网络流量的类别标签进行修正;学习并更新所述机器学习模型。本方案采用基于特征和机器学习相结合的方式来构建异常流量检测***,并在此基础上引入反馈机制和自学习机制,能够不断的利用本地网络环境中的流量数据来训练、优化机器学习模型,不仅能够应用于加密流量的场景,还可以有效的检测出之前从未出现过的异常流量。另外本方案直接在用户本地在线训练更新机器学习模型,无需外发数据,保护了用户隐私。

Description

一种异常流量检测方法及装置
技术领域
本申请涉及网络通信技术领域,特别涉及一种异常流量检测方法及装置。
背景技术
网络流量是指网络上传输的数据,通常在一个网络环境中绝大部分网络流量都是正常网络流量,并且这些网络流量具有一定的模式。而异常网络流量则是那些与正常网络流量模式相差较大的网络流量,这些异常网络流量很可能是攻击性行为产生的流量。如果能够识别出异常流量,那么便可以有效的防范、识别、化解网络攻击行为。异常流量检测***便是一类从一个网络的所有网络流量中识别出异常流程的***,它是网络安全管理的一个基础,已成为网络安全领域中的一项重要研究内容。
在现有技术中,一种异常流量检测方案是基于特征的,也即从已经被人工识别为异常流量的流量中提取出特征码,然后利用这些特征码来进行异常流量的识别。然而因为需要利用流量中的数据内容和特征码进行匹配,所以该方案只能应用于非加密流量的场景,同时,基于特征码的识别方式无法识别那些之前从未出现过的异常流量。
现有技术中另一种方案是采用自然语言处理N-Gram模型抽取特征,然后生成分类模型来对流量进行检测。不过该方案同样无法处理加密流量,而且,该方案采用的分类模型需要在线下生成,然后放在线上使用,无法进行自动优化更新,如果想进行优化更新就需要周期性的获取用户网络环境中的流量数据并发送给处于外网的服务器用来生成新的分类模型,然后再更新到用户的网络设备,这就涉及到用户信息保密的问题,容易被抵制,在现实中很难展开应用。由上可见现有技术中尚缺乏一种有效的异常流量检测方案。
发明内容
有鉴于此,本申请提供一种异常流量检测方法及装置,以对加密流量及未出现过的网络流量进行检测。
具体地,本申请是通过如下技术方案实现的:
一种异常流量检测方法,所述方法包括:
当待检测网络流量是非加密流量时,判断所述网络流量是否匹配预设特征;
如果匹配预设特征,则判定为异常流量并存储所述网络流量的流量信息及类别信息;
如果不匹配预设特征,或者,当所述网络流量为加密流量时,从所述网络流量中提取出元数据;
将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,存储所述网络流量的流量信息及类别信息;
根据修正指令对所存储的网络流量的类别信息进行修正;
根据所存储的网络流量的流量信息及类别信息,学习并更新所述机器学习模型。
一种异常流量检测装置,所述装置包括:
第一层检测单元,用于当待检测的网络流量是非加密流量时,判断所述网络流量是否匹配预设特征;如果匹配预设特征,则判定为异常流量并触发存储单元;如果不匹配预设特征,则触发第二层检测单元;
第二层检测单元,用于根据所述第一层检测单元的触发,或者当所述网络流量为加密流量时,从所述网络流量中提取出元数据;将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,触发存储单元;
存储单元,用于存储所述网络流量的流量信息及类别信息;
反馈单元,用于根据修正指令对存储单元存储的网络流量的类别信息进行修正;
学习单元,用于根据存储单元存储的网络流量的流量信息及类别信息,学习并更新所述机器学习模型。
由以上本申请提供的技术方案可见,当待检测的网络流量是非加密流量时,先通过特征匹配的方式进行判断,若判断出是异常流量则存储流量信息及其类别信息,若不是异常流量(此时可能是正常流量也可能是未知的异常流量)时或者是加密流量时,则使用预设的机器学习模型获取网络流量的类别,并存储流量信息及类别信息;根据修正指令对所存储的网络流量的类别标签进行修正;学习并更新所述机器学习模型。本方案采用基于特征和机器学习相结合的方式来构建异常流量检测***以实现异常流量的检测和分类,并在此基础上引入反馈机制和自学习机制,能够不断的利用本地网络环境中的流量数据来训练、优化机器学习模型,实现了一个识别、反馈、学习、更新的完整闭环,可以自动完成检测和分类单元的更新升级,不仅能够应用于加密流量的场景,还可以有效的检测出之前从未出现过的异常流量。另外,本方案中直接在用户本地在线训练、更新机器学习模型,无需外发数据,从而保护了用户隐私。此外,本方案中对于加密流量和非加密流量的检测异步进行,可以最大程度上减少检测***对网络性能造成的影响。
附图说明
图1为本申请示出的一种异常流量检测方法的流程图;
图2为本申请示出的一种异常流量检测方法的流程图;
图3为本申请示出的一种异常流量检测方法的原理图;
图4为本申请示出的一种异常流量检测方法的流程图;
图5为本申请示出的一种异常流量检测方法的流程图;
图6为本申请示出的一种异常流量检测装置的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参见图1,图1为本申请示出的一种异常流量检测方法的流程图。作为示例,本方法可以用于IPS(Intrusion Prevention System)等入侵检测和防护***。本方法可以包括如下步骤:
步骤S101,当待检测的网络流量是非加密流量时,判断所述网络流量是否匹配预设特征。
因为网络流量可以分为加密流量和非加密流量,所以本方法中设计了两层检测单元,本步骤处于第一层,第一层是一个基于特征的检测单元(即第一检测单元),所有非加密流量都会流入该单元进行处理。
步骤S102,如果匹配预设特征,则判定为异常流量并存储所述网络流量的流量信息及类别信息。
在第一层中,可以预先通过在线下收集的常见的异常流量,分析提取其特征并标注其攻击类型,然后与待检测的网络流量进行匹配。如果待检测的网络流量匹配上某个预设特征,则将该流量认定为与该特征对应的攻击类型,可以赋予其对应的类别信息,打上类别标签。而如果未匹配上任何预设特征,则可将其认定为“正常流量”。需要说明的是,此处的“正常流量”也可能是未知的异常流量,换句话说,此处将第一层可识别出是异常流量之外的流量,都暂时视为正常流量。
经过第一层检测单元的网络流量的流量信息及其类型(即类别信息)都会被存储起来。具体来讲,如果第一层识别为异常流量,则会存储起来作为训练样本以供机器学习模型训练、更新。如果第一层未识别为异常流量,则继续流入第二层,最终也会被存储以作为训练样本。
需要说明的是,如果第一层发现是异常流量,则IPS等设备将不允许其通过。而如果第一层未发现是异常流量,则在将其送往第二层进行进一步检测的同时,IPS等设备也会允许该网络流量通过,从而减少检测***对网络性能造成的影响。
本层检测单元的优点是速度比较快,检测准确率高(针对匹配到某个特征的流量数据),但是也存在缺点:一方面由于提取的特征数量是有限的,所以该层无法检测出某些类型的异常流量,另一方面,基于特征的检测的前提是能够看到流量数据的内容,但是加密流量的数据内容是不可见的,所以也就无法用这种检测方式对加密流量进行检测,此时就需要用下面的第二层检测单元来进行检测。
步骤S103,如果不匹配预设特征,或者,当所述网络流量为加密流量时,从所述网络流量中提取出元数据。
作为示例,所述元数据可以包括以下一种或多种:
会话持续时间,平均包长度,发送数据量,接收数据量,数据包的时间间隔序列,等等。因为这些元数据是与负载内容无关的,所以加密流量和非加密流量都是可以处理的。以上仅列出了一部分元数据,实际中还会有其它的元数据。对于元数据的定义,本实施例并不进行限制,本领域技术人员可以根据不同需求\不同场景而自行选择、设计,可以在此处使用的这些选择和设计都没有背离本发明的精神和保护范围。
步骤S104,将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,存储所述网络流量的流量信息及类别信息。
第二层,即第二检测单元,是一个基于机器学习的检测单元。加密流量及被第一层检测单元判别为正常的流量都会流入该检测单元继续进行检测。不过该检测单元的处理流程相对数据流是异步的,即该检测单元在进行检测的时候不会阻塞其他业务流程。对于具体的机器学习模型,本实施例并不进行限制,本领域技术人员可以根据不同需求\不同场景而自行选择、设计,可以在此处使用的这些选择和设计都没有背离本发明的精神和保护范围。
步骤S105,根据修正指令对所存储的网络流量的类别信息进行修正。
本步骤属于反馈单元。由于机器学习的局限性,使用机器学习对异常流量进行检测和分类可能会存在一定程度的误报或者误分类的情况,这就需要反馈机制来进行弥补。
因此参见图2所示,作为示例在本实施例或本发明其他某些实施例中,根据修正指令对所存储的网络流量的类别信息进行修正,具体可以包括:
步骤S201,显示所存储的网络流量的流量信息及类别信息;
步骤S202,接收对所述类别信息的修正指令;
步骤S203,根据所述修正指令修改所述类别信息。
在本方案中,所存储的网络流量的类别信息可以由人工进行修正。例如可以将某类流量的流量信息及类型(即类别信息)在用户的管理界面上显示,用户可以更改其类型,然后***将记录这次更改,学习、更新的时候***会用这些修改记录来优化模型,从而提高模型的准确率。
步骤S106,根据所存储的网络流量的流量信息及类别信息,学习并更新所述机器学习模型。
本步骤属于学习单元。学习单元是一个不断利用前面已正确检测和分类的流量记录来更新、优化机器学习模型的单元。由于带标签的网络流量数据比较少,并且从用户的网络环境中收集这些流量数据然后集中进行训练通常是非常困难,甚至是不被允许的,而如果用来进行训练的数据少,则机器学习模型的检测性能就会比较差,所以本发明提出了在用户侧自动训练,即自动利用用户网络环境中的流量数据来训练、更新机器学习模型的方法,从而可以实现不断提升***整体的性能。
本实施例的原理图可进一步参见图3所示,在图3中,非加密流量输入到第一(层)检测单元,而加密流量则输入到第二(层)检测单元;第一检测单元如果判断出是异常流量,则将流量信息及类别信息存储至存储单元,如果不是异常流量,则将其继续输入到第二检测单元;第二检测单元对输入的网络流量进行检测及分类,然后将流量信息及类别信息存储至存储单元;存储单元通过反馈单元,对所存储的类别信息进行修正;学习单元利用存储单元所存储的流量信息及类别信息,对第二检测单元进行更新优化。
本实施例采用基于特征和机器学习相结合的方式来构建异常流量检测***,实现了异常流量的检测和分类,并在此基础上引入反馈机制和自学习机制,能够不断的利用本地网络环境中的流量数据来训练、优化机器学习模型,实现了一个识别、反馈、学习、更新的完整闭环,可以自动完成检测和分类单元的升级更新,不仅能够应用于加密流量的场景,还可以有效的检测出之前从未出现过的异常流量。另外,本方案中直接在用户本地在线训练、更新机器学习模型,边使用边训练更新,无需外发数据,从而保护了用户隐私。此外,本方案中对于加密流量和非加密流量的检测异步进行,可以最大程度上减少检测***对网络性能造成的影响。
另外,在完成了对异常流量的检测之后,便可以进一步应用于对异常流量的控制,使其无法危害用户网络的安全。因此参见图4所示,在本实施例或本发明其他某些实施例中,所述方法还可以包括:
步骤S401,根据所存储的网络流量的流量信息及类别信息获取控制规则;
步骤S402,根据所述控制规则对所述网络流量进行控制。
作为示例,在本实施例或本发明其他某些实施例中,所述控制规则具体可以包括:
网络流量的源IP和\或目的IP的通过限制规则。
流量通常具有源IP、源端口、目的IP、目的端口、协议等信息,识别为异常流量之后,***就可以限制具有相同源IP的流量的流入。当然也可以更进一步的限制任何源IP或目的IP是上述识别出的源IP或目的IP的流量的通过。
下面再对机器学习模型和学习单元进行举例说明:
作为示例,第二层检测单元可以分为两个部分:异常流量检测模型(第一模型),和,异常流量分类模型(第二模型)。异常流量检测模型可以用无监督机器学习模型将异常流量从网络流量中识别出来。异常流量分类模型可以用有监督的机器学习模型对异常流量进行分类(不同类型的网络攻击所产生的异常流量也是有所不同的,所以这里的分类可以指对异常流量对应的网络攻击进行分类)。
因此在本实施例或本发明其他某些实施例中,所述机器学习模型具体可包括第一模型和第二模型,其中所述第一模型为预设的无监督机器学习模型,所述第二模型为预设的有监督机器学习模型;
相应的参见图5所示,将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,具体可以包括以下步骤:
步骤S501,将所述元数据输入到所述第一模型,获取所述第一模型的输出;
步骤S502,如果根据所述第一模型的输出判定所述网络流量不是异常流量,则存储所述网络流量的流量信息及类别信息;
步骤S503,如果根据所述第一模型的输出判定所述网络流量是异常流量,则将所述元数据输入所述第二模型,获取所述第二模型的输出;
步骤S504,根据所述第二模型的输出获取所述网络流量的类别,存储所述网络流量的流量信息及类别信息。
异常流量检测模型(即第一模型)使用的是一个无监督机器学习模型,如聚类、LDA(线性判别式分析)等。将提取出的元数据做归一化处理后将其输入到第一模型中,第一模型会根据这些数据来判断该网络流量是否是异常的。如果是异常流量,则将该流量交给异常流量分类模型进行处理。
异常流量分类模型(即第二模型)使用的是一个有监督的机器学习模型,例如SVM、随机森林、深度神经网络等。该模型用来识别产生异常流量的具体攻击类型。将提取的元数据输入第二模型。元数据也可以称之为统计数据,这些数据都是从不同角度对流量进行统计的。这些元数据一般可以用z-score进行归一化,也即使每一个元数据都处于一个均值为0、方差为1的正态分布之中。元数据一般相对比较少,大概在40多个左右,也即输入向量为40维左右。输出是一个概率向量,该向量的长度即为攻击的种类。假设有5类攻击则输出为一个5维向量,向量中的每个元素表示将流量识别为对应类别的概率,例如[0.1,0.7,0.1,0.1,0.0]就表示识别为第一类的概率为0.1,识别为第二类的概率为0.7,模型可以选择概率最大的那个类别作为分类结果。然后在一个映射表(是一个数组,第一种攻击是数组的第一个元素,第二种攻击就是数组的第二个元素,依次类推)中找到对应的攻击名称。
学习单元是一个不断利用前面已正确检测和分类的流量记录来更新、优化机器学习模型的单元。其中已正确检测和分类的流量可以包括两类,一类是第一层检测单元所进行分类的,另一类是用户进行过人工修正的。已正确检测和分类的网络流量的流量信息及分类信息都会存储在一个特定的存储空间中,学习单元会不定时的从该存储单元获取数据来进行学习。
因为一个完整的学习过程可能消耗较长的时间,所以学习单元相对于其它业务流程是异步的,不会阻塞其它业务流程。第二检测单元中的两个模型初始时是在线下训练好的两个通用模型,随着***在线上的运行,学习单元会不断的根据当前网络环境中的数据分别更新这两个模型,从而使模型在当前网络环境中具有更好的检测和分类性能。这两个模型的学习过程分别自动进行的,完全不需要人工干预。当学习到的模型达到预设的条件时就终止学习过程,然后异步更新。
作为示例,在具体的学习更新过程中,可以根据存储单元所存储的网络流量的流量信息及类别信息,在第一模型和第二模型各自原有参数文件基础上继续训练,然后使用训练得到的新的参数文件替换原有参数文件。
每个模型都是增量更新,即用新得到的数据对模型进行训练。增量更新可以简单理解为:假设现在在高度为1米的位置,经过一定的训练后到达高度为2米的位置,下次训练会在2米这个位置开始,而不是从1米开始进行训练。每次训练都是在之前训练的基础上进行的。所谓训练好的模型就是模型的参数,例如参数a=10,b=20。这些参数会以一定的格式进行存储,一般都是存储在一个文件中。更新时会用新模型对应的文件替换原来模型的文件。替换掉之后模型会读取该模型文件,用模型文件中的参数替换现有的同名参数。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
请参见图6,图6为本申请示出的一种异常流量检测装置的示意图。作为示例,本装置可以用于IPS(Intrusion Prevention System)等入侵检测和防护***。本装置可以包括:
第一层检测单元601,用于当待检测的网络流量是非加密流量时,判断所述网络流量是否匹配预设特征;如果匹配预设特征,则判定为异常流量并触发存储单元;如果不匹配预设特征,则触发第二层检测单元;
第二层检测单元602,用于根据所述第一层检测单元的触发,或者当所述网络流量为加密流量时,从所述网络流量中提取出元数据;将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,触发存储单元;
存储单元603,用于存储所述网络流量的流量信息及类别信息;
反馈单元604,用于根据修正指令对存储单元存储的网络流量的类别信息进行修正;
学习单元605,用于根据存储单元存储的网络流量的流量信息及类别信息,学习并更新所述机器学习模型。
在本实施例或本发明其他某些实施例中,所述机器学习模型可以包括第一模型和第二模型,所述第一模型为预设的无监督机器学习模型,所述第二模型为预设的有监督机器学习模型;
所述第二层检测单元在将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别时,具体用于:
将所述元数据输入到所述第一模型,获取所述第一模型的输出;如果根据所述第一模型的输出判定所述网络流量不是异常流量,则触发存储单元;如果根据所述第一模型的输出判定所述网络流量是异常流量,则将所述元数据输入所述第二模型,获取所述第二模型的输出;根据所述第二模型的输出获取所述网络流量的类别,触发存储单元。
异常流量检测模型(即第一模型)使用的是一个无监督机器学习模型,如聚类、LDA(线性判别式分析)等。将提取出的元数据做归一化处理后将其输入到第一模型中,第一模型会根据这些数据来判断该网络流量是否是异常的。如果是异常流量,则将该流量交给异常流量分类模型进行处理。
异常流量分类模型(即第二模型)使用的是一个有监督的机器学习模型,例如SVM、随机森林、深度神经网络等。该模型用来识别产生异常流量的具体攻击类型。
在本实施例或本发明其他某些实施例中,所述元数据可以包括以下一种或多种:
会话持续时间,平均包长度,发送数据量,接收数据量,数据包的时间间隔序列,等等。
在本实施例或本发明其他某些实施例中,所述反馈单元具体可以包括:
显示子单元,用于显示存储单元存储的网络流量的流量信息及类别信息;
指令接收子单元,用于接收对所述类别信息的修正指令;
指令执行子单元,用于根据所述修正指令修改所述类别信息。
换句话说,所存储的网络流量的类别信息可以由人工进行修正。例如可以将某类流量的流量信息及类型(即类别信息)在用户的管理界面上显示,用户可以更改其类型,然后***将记录这次更改,学习、更新的时候***会用这些修改记录来优化模型,从而提高模型的准确率。
在本实施例或本发明其他某些实施例中,所述装置还可以包括:
流量控制单元,用于根据存储单元存储的网络流量的流量信息及类别信息获取控制规则;根据所述控制规则对所述网络流量进行控制。
在完成了对异常流量的检测之后,便可以进一步应用于对异常流量的控制,使其无法危害用户网络的安全。
在本实施例或本发明其他某些实施例中,所述控制规则具体可以包括:
网络流量的源IP和\或目的IP的通过限制规则。
流量通常具有源IP、源端口、目的IP、目的端口、协议等信息,识别为异常流量之后,***就可以限制具有相同源IP的流量的流入。当然也可以更进一步的限制任何源IP或目的IP是上述识别出的源IP或目的IP的流量的通过。
本实施例采用基于特征和机器学习相结合的方式来构建异常流量检测***,实现了异常流量的检测和分类,并在此基础上引入反馈机制和自学习机制,能够不断的利用本地网络环境中的流量数据来训练、优化机器学习模型,实现了一个识别、反馈、学习、更新的完整闭环,可以自动完成检测和分类单元的升级更新,不仅能够应用于加密流量的场景,还可以有效的检测出之前从未出现过的异常流量。另外,本方案中直接在用户本地在线训练、更新机器学习模型,边使用边训练更新,无需外发数据,从而保护了用户隐私。此外,本方案中对于加密流量和非加密流量的检测异步进行,可以最大程度上减少检测***对网络性能造成的影响。
关于上述实施例中的装置,其中各个单元\模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述,此处不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (12)

1.一种异常流量检测方法,其特征在于,所述方法包括:
当待检测网络流量是非加密流量时,判断所述网络流量是否匹配预设特征;
如果匹配预设特征,则判定为异常流量并存储所述网络流量的流量信息及类别信息;
如果不匹配预设特征,或者,当所述网络流量为加密流量时,从所述网络流量中提取出元数据;
将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,存储所述网络流量的流量信息及类别信息;
根据修正指令对所存储的网络流量的类别信息进行修正;
根据所存储的网络流量的流量信息及类别信息,学习并更新所述机器学习模型。
2.根据权利要求1所述的方法,其特征在于,所述机器学习模型包括第一模型和第二模型,所述第一模型为预设的无监督机器学习模型,所述第二模型为预设的有监督机器学习模型;
将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,包括:
将所述元数据输入到所述第一模型,获取所述第一模型的输出;
如果根据所述第一模型的输出判定所述网络流量不是异常流量,则存储所述网络流量的流量信息及类别信息;
如果根据所述第一模型的输出判定所述网络流量是异常流量,则将所述元数据输入所述第二模型,获取所述第二模型的输出;
根据所述第二模型的输出获取所述网络流量的类别,存储所述网络流量的流量信息及类别信息。
3.根据权利要求1或2所述的方法,其特征在于,所述元数据包括以下一种或多种:
会话持续时间,平均包长度,发送数据量,接收数据量,数据包的时间间隔序列。
4.根据权利要求1所述的方法,其特征在于,根据修正指令对所存储的网络流量的类别信息进行修正,包括:
显示所存储的网络流量的流量信息及类别信息;
接收对所述类别信息的修正指令;
根据所述修正指令修改所述类别信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所存储的网络流量的流量信息及类别信息获取控制规则;
根据所述控制规则对所述网络流量进行控制。
6.根据权利要求5所述的方法,其特征在于,所述控制规则包括:
网络流量的源IP和\或目的IP的通过限制规则。
7.一种异常流量检测装置,其特征在于,所述装置包括:
第一层检测单元,用于当待检测的网络流量是非加密流量时,判断所述网络流量是否匹配预设特征;如果匹配预设特征,则判定为异常流量并触发存储单元;如果不匹配预设特征,则触发第二层检测单元;
第二层检测单元,用于根据所述第一层检测单元的触发,或者当所述网络流量为加密流量时,从所述网络流量中提取出元数据;将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别,触发存储单元;
存储单元,用于存储所述网络流量的流量信息及类别信息;
反馈单元,用于根据修正指令对存储单元存储的网络流量的类别信息进行修正;
学习单元,用于根据存储单元存储的网络流量的流量信息及类别信息,学习并更新所述机器学习模型。
8.根据权利要求7所述的装置,其特征在于,所述机器学习模型包括第一模型和第二模型,所述第一模型为预设的无监督机器学习模型,所述第二模型为预设的有监督机器学习模型;
所述第二层检测单元在将所述元数据输入到预设的机器学习模型以获取所述网络流量的类别时,具体用于:
将所述元数据输入到所述第一模型,获取所述第一模型的输出;如果根据所述第一模型的输出判定所述网络流量不是异常流量,则触发存储单元;如果根据所述第一模型的输出判定所述网络流量是异常流量,则将所述元数据输入所述第二模型,获取所述第二模型的输出;根据所述第二模型的输出获取所述网络流量的类别,触发存储单元。
9.根据权利要求7或8所述的装置,其特征在于,所述元数据包括以下一种或多种:
会话持续时间,平均包长度,发送数据量,接收数据量,数据包的时间间隔序列。
10.根据权利要求7所述的装置,其特征在于,所述反馈单元包括:
显示子单元,用于显示存储单元存储的网络流量的流量信息及类别信息;
指令接收子单元,用于接收对所述类别信息的修正指令;
指令执行子单元,用于根据所述修正指令修改所述类别信息。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
流量控制单元,用于根据存储单元存储的网络流量的流量信息及类别信息获取控制规则;根据所述控制规则对所述网络流量进行控制。
12.根据权利要求11所述的装置,其特征在于,所述控制规则包括:
网络流量的源IP和\或目的IP的通过限制规则。
CN201910197232.3A 2019-03-15 2019-03-15 一种异常流量检测方法及装置 Active CN109818976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910197232.3A CN109818976B (zh) 2019-03-15 2019-03-15 一种异常流量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910197232.3A CN109818976B (zh) 2019-03-15 2019-03-15 一种异常流量检测方法及装置

Publications (2)

Publication Number Publication Date
CN109818976A true CN109818976A (zh) 2019-05-28
CN109818976B CN109818976B (zh) 2021-09-21

Family

ID=66609132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910197232.3A Active CN109818976B (zh) 2019-03-15 2019-03-15 一种异常流量检测方法及装置

Country Status (1)

Country Link
CN (1) CN109818976B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247930A (zh) * 2019-07-01 2019-09-17 北京理工大学 一种基于深度神经网络的加密网络流量识别方法
CN110781950A (zh) * 2019-10-23 2020-02-11 新华三信息安全技术有限公司 一种报文处理方法及装置
CN110782014A (zh) * 2019-10-23 2020-02-11 新华三信息安全技术有限公司 一种神经网络增量学习方法及装置
CN110839042A (zh) * 2019-11-22 2020-02-25 上海交通大学 一种基于流量的自反馈恶意软件监测***和方法
CN111143169A (zh) * 2019-12-30 2020-05-12 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN111294332A (zh) * 2020-01-13 2020-06-16 交通银行股份有限公司 一种流量异常检测与dns信道异常检测***及方法
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、***及设备
CN111935144A (zh) * 2020-08-10 2020-11-13 武汉思普崚技术有限公司 一种流量安全分析的方法及***
CN112118268A (zh) * 2020-09-28 2020-12-22 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和***
CN112134898A (zh) * 2020-09-28 2020-12-25 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和***
CN112235230A (zh) * 2019-07-15 2021-01-15 北京观成科技有限公司 一种恶意流量识别方法及***
CN112511457A (zh) * 2019-09-16 2021-03-16 华为技术有限公司 一种数据流类型识别方法及相关设备
CN112954689A (zh) * 2021-02-07 2021-06-11 中国科学院计算技术研究所 针对蓝牙无线传输的轻量化网络入侵检测***和方法
CN112995052A (zh) * 2021-04-25 2021-06-18 北京世纪好未来教育科技有限公司 流量控制方法及相关装置
CN113538049A (zh) * 2021-07-14 2021-10-22 北京明略软件***有限公司 异常流量识别***
CN113595967A (zh) * 2020-04-30 2021-11-02 深信服科技股份有限公司 数据识别方法、设备、存储介质及装置
CN113810343A (zh) * 2020-06-15 2021-12-17 深信服科技股份有限公司 函数注入攻击的检测方法、装置、设备及可读存储介质
CN113872939A (zh) * 2021-08-30 2021-12-31 济南浪潮数据技术有限公司 一种流量检测方法、装置及存储介质
CN114422242A (zh) * 2022-01-19 2022-04-29 闪捷信息科技有限公司 一种异常流量识别方法、客户端及服务器
CN114465823A (zh) * 2022-04-08 2022-05-10 杭州海康威视数字技术股份有限公司 工业互联网终端加密流量数据安全检测方法、装置及设备
CN115134276A (zh) * 2022-05-12 2022-09-30 亚信科技(成都)有限公司 一种挖矿流量检测方法及装置
CN115242427A (zh) * 2022-06-08 2022-10-25 浪潮通信信息***有限公司 一种网络流量异常检测方法及***
CN116915512A (zh) * 2023-09-14 2023-10-20 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735074A (zh) * 2015-03-31 2015-06-24 江苏通付盾信息科技有限公司 一种恶意url检测方法及其实现***
CN106060043A (zh) * 2016-05-31 2016-10-26 北京邮电大学 一种异常流量的检测方法及装置
CN107360159A (zh) * 2017-07-11 2017-11-17 中国科学院信息工程研究所 一种识别异常加密流量的方法及装置
CN107451476A (zh) * 2017-07-21 2017-12-08 上海携程商务有限公司 基于云平台的网页后门检测方法、***、设备及存储介质
CN107749859A (zh) * 2017-11-08 2018-03-02 南京邮电大学 一种面向网络加密流量的恶意移动应用检测方法
US9998480B1 (en) * 2016-02-29 2018-06-12 Symantec Corporation Systems and methods for predicting security threats
CN108173708A (zh) * 2017-12-18 2018-06-15 北京天融信网络安全技术有限公司 基于增量学习的异常流量检测方法、装置及存储介质
CN108833360A (zh) * 2018-05-23 2018-11-16 四川大学 一种基于机器学习的恶意加密流量识别技术
CN109151880A (zh) * 2018-11-08 2019-01-04 中国人民解放军国防科技大学 基于多层分类器的移动应用流量识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735074A (zh) * 2015-03-31 2015-06-24 江苏通付盾信息科技有限公司 一种恶意url检测方法及其实现***
US9998480B1 (en) * 2016-02-29 2018-06-12 Symantec Corporation Systems and methods for predicting security threats
CN106060043A (zh) * 2016-05-31 2016-10-26 北京邮电大学 一种异常流量的检测方法及装置
CN107360159A (zh) * 2017-07-11 2017-11-17 中国科学院信息工程研究所 一种识别异常加密流量的方法及装置
CN107451476A (zh) * 2017-07-21 2017-12-08 上海携程商务有限公司 基于云平台的网页后门检测方法、***、设备及存储介质
CN107749859A (zh) * 2017-11-08 2018-03-02 南京邮电大学 一种面向网络加密流量的恶意移动应用检测方法
CN108173708A (zh) * 2017-12-18 2018-06-15 北京天融信网络安全技术有限公司 基于增量学习的异常流量检测方法、装置及存储介质
CN108833360A (zh) * 2018-05-23 2018-11-16 四川大学 一种基于机器学习的恶意加密流量识别技术
CN109151880A (zh) * 2018-11-08 2019-01-04 中国人民解放军国防科技大学 基于多层分类器的移动应用流量识别方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247930A (zh) * 2019-07-01 2019-09-17 北京理工大学 一种基于深度神经网络的加密网络流量识别方法
CN112235230B (zh) * 2019-07-15 2023-05-02 北京观成科技有限公司 一种恶意流量识别方法及***
CN112235230A (zh) * 2019-07-15 2021-01-15 北京观成科技有限公司 一种恶意流量识别方法及***
CN112511457A (zh) * 2019-09-16 2021-03-16 华为技术有限公司 一种数据流类型识别方法及相关设备
US11838215B2 (en) 2019-09-16 2023-12-05 Huawei Technologies Co., Ltd. Data stream classification method and related device
CN110781950B (zh) * 2019-10-23 2023-06-30 新华三信息安全技术有限公司 一种报文处理方法及装置
CN110781950A (zh) * 2019-10-23 2020-02-11 新华三信息安全技术有限公司 一种报文处理方法及装置
CN110782014A (zh) * 2019-10-23 2020-02-11 新华三信息安全技术有限公司 一种神经网络增量学习方法及装置
CN110839042A (zh) * 2019-11-22 2020-02-25 上海交通大学 一种基于流量的自反馈恶意软件监测***和方法
US11709912B2 (en) 2019-12-30 2023-07-25 Hangzhou Dptech Technologies Co., Ltd. Abnormality detection
CN111143169B (zh) * 2019-12-30 2024-02-27 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN111143169A (zh) * 2019-12-30 2020-05-12 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN111294332A (zh) * 2020-01-13 2020-06-16 交通银行股份有限公司 一种流量异常检测与dns信道异常检测***及方法
CN113595967A (zh) * 2020-04-30 2021-11-02 深信服科技股份有限公司 数据识别方法、设备、存储介质及装置
CN111582235B (zh) * 2020-05-26 2023-04-07 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、***及设备
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、***及设备
CN113810343B (zh) * 2020-06-15 2023-05-12 深信服科技股份有限公司 函数注入攻击的检测方法、装置、设备及可读存储介质
CN113810343A (zh) * 2020-06-15 2021-12-17 深信服科技股份有限公司 函数注入攻击的检测方法、装置、设备及可读存储介质
CN111935144A (zh) * 2020-08-10 2020-11-13 武汉思普崚技术有限公司 一种流量安全分析的方法及***
CN112118268A (zh) * 2020-09-28 2020-12-22 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和***
CN112134898A (zh) * 2020-09-28 2020-12-25 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和***
CN112954689A (zh) * 2021-02-07 2021-06-11 中国科学院计算技术研究所 针对蓝牙无线传输的轻量化网络入侵检测***和方法
CN112995052B (zh) * 2021-04-25 2021-08-06 北京世纪好未来教育科技有限公司 流量控制方法及相关装置
CN112995052A (zh) * 2021-04-25 2021-06-18 北京世纪好未来教育科技有限公司 流量控制方法及相关装置
CN113538049A (zh) * 2021-07-14 2021-10-22 北京明略软件***有限公司 异常流量识别***
CN113872939A (zh) * 2021-08-30 2021-12-31 济南浪潮数据技术有限公司 一种流量检测方法、装置及存储介质
CN114422242A (zh) * 2022-01-19 2022-04-29 闪捷信息科技有限公司 一种异常流量识别方法、客户端及服务器
CN114465823B (zh) * 2022-04-08 2022-08-19 杭州海康威视数字技术股份有限公司 工业互联网终端加密流量数据安全检测方法、装置及设备
CN114465823A (zh) * 2022-04-08 2022-05-10 杭州海康威视数字技术股份有限公司 工业互联网终端加密流量数据安全检测方法、装置及设备
CN115134276A (zh) * 2022-05-12 2022-09-30 亚信科技(成都)有限公司 一种挖矿流量检测方法及装置
CN115134276B (zh) * 2022-05-12 2023-12-08 亚信科技(成都)有限公司 一种挖矿流量检测方法及装置
CN115242427A (zh) * 2022-06-08 2022-10-25 浪潮通信信息***有限公司 一种网络流量异常检测方法及***
CN116915512A (zh) * 2023-09-14 2023-10-20 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置
CN116915512B (zh) * 2023-09-14 2023-12-01 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置

Also Published As

Publication number Publication date
CN109818976B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN109818976A (zh) 一种异常流量检测方法及装置
US11031135B2 (en) Determination of cybersecurity recommendations
EP3107026B1 (en) Event anomaly analysis and prediction
CN106778259B (zh) 一种基于大数据机器学习的异常行为发现方法及***
CN106790008B (zh) 用于在企业网络中检测异常主机的机器学习***
Hijazi et al. A Deep Learning Approach for Intrusion Detection System in Industry Network.
CN105637519A (zh) 使用行为辨识***的认知信息安全性
CN107003992A (zh) 用于神经语言行为识别***的感知联想记忆
KR102087959B1 (ko) 통신망의 인공지능 운용 시스템 및 이의 동작 방법
Castellanos et al. A modular hybrid learning approach for black-box security testing of CPS
CN107196930A (zh) 计算机网络异常检测的方法、***及移动终端
CN107111610A (zh) 用于神经语言行为识别***的映射器组件
Jain et al. Hidden markov model based anomaly intrusion detection
Musa et al. A review on intrusion detection system using machine learning techniques
KR20190107523A (ko) 시스템 로그 정보를 이용하는 네트워크 장애 처리 시스템 및 방법
Dehlaghi-Ghadim et al. Anomaly detection dataset for industrial control systems
Shi et al. A framework of intrusion detection system based on Bayesian network in IoT
Kim et al. Unknown payload anomaly detection based on format and field semantics inference in cyber-physical infrastructure systems
US20210075812A1 (en) A system and a method for sequential anomaly revealing in a computer network
Gupta et al. Genetic algorithm technique used to detect intrusion detection
KR102433233B1 (ko) 보안 규제 준수 자동화 장치
Skoumperdis et al. A novel self-learning cybersecurity system for smart grids
Thulasiraman Cyber analytics for intrusion detection on the navy smart grid using supervised learning
Bukola et al. Auto-immunity dendritic cell algorithm
Cuzzocrea et al. An innovative architecture for supporting cyber-physical security systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant