CN111245860A - 一种基于双维度特征的加密恶意流量检测方法和*** - Google Patents

一种基于双维度特征的加密恶意流量检测方法和*** Download PDF

Info

Publication number
CN111245860A
CN111245860A CN202010066830.XA CN202010066830A CN111245860A CN 111245860 A CN111245860 A CN 111245860A CN 202010066830 A CN202010066830 A CN 202010066830A CN 111245860 A CN111245860 A CN 111245860A
Authority
CN
China
Prior art keywords
flow
packet
malicious traffic
quintuple
bin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010066830.XA
Other languages
English (en)
Inventor
周志洪
姚立红
胡斌
银鹰
李建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010066830.XA priority Critical patent/CN111245860A/zh
Publication of CN111245860A publication Critical patent/CN111245860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H04L63/166—Implementing security features at a particular protocol layer at the transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于双维度特征的加密恶意流量检测方法和***，包括：步骤1、将相同五元组的数据包合并成双向会话流量；步骤2、对五元组特征做遮蔽处理；步骤3、提取所述会话流量的所述报文负载特征；步骤4、提取所述会话流量的所述流指纹特征；步骤5、将所述步骤3‑4提取的流量特征整合和标准化；步骤6、使用逻辑回归机器学习模型进行恶意流量分类。本发明的有益效果在于，能克服在大规模复杂网络条件下五元组特征不稳定带来的加密恶意流量的检测准确率下降的问题，实验结果表明，该方法在不依赖五元组的条件下对复杂网络环境的SSL/TLS协议加密恶意流量的检测准确率高达97.86％，比传统方法高出34.45％。

Description

一种基于双维度特征的加密恶意流量检测方法和***
技术领域
本发明涉及网络安全和机器学习的交叉领域，具体为一种基于双维度特征的加密恶意流量检测方法和***。
背景技术
为了保护用户和企业的安全通信，网站流量加密成为主流措施，应用SSL/TLS(安全套接层/传输层安全)协议是加密这类流量的主要手段。加密流量可以在一定程度上保护私人信息的机密性和完整性，但也给网络上的恶意行为提供了庇护。
当前加密恶意流量主要是采用有监督学习的方法。但现有方法往往仅用一种特征，无法对域名更新频率极快的恶意流量进行检测。在五元组信息复杂的复杂网络环境下，若将恶意流量的频繁更换的五元组信息作为重要特征，会对模型识别精度产生影响。若把流量的五元组特征去除后，再次使用这些方法检测加密恶意流量，其识别率大大降低。
因此，本文提出了一个加密恶意流量识别方法，通过数据预处理的方式将加密流量划分为两个维度，报文负载和流指纹。在规避五元组信息的情况下，用报文负载和流指纹描述每一个流量的位置，并通过逻辑回归机器学习模型进行训练和预测。
发明内容
本发明解决的问题为，在恶意流量来源多样的复杂网络环境下，流量的网络层特征多样化，五元组特征不再具有规律性，传统方法的检测率降低的问题。为此，本发明提出一种不依赖流量五元组特征的SSL/TLS加密恶意流量检测方法，将流量多重特征归纳为报文负载特征和流指纹特征的联合特征，使得流量在复杂网络环境下具有差异化更大的特征，从两种维度描述一个流量，使用逻辑回归模型分类，实现在复杂网络环境下对SSL/TLS协议加密恶意流量的检测。
本发明提出一种基于双维度特征的加密恶意流量检测方法，提取被监测加密流量的报文负载特征和流指纹特征，以此为基础识别恶意流量。
进一步地，所述检测方法包括以下步骤：
步骤1、将相同五元组的数据包合并成双向会话流量；
步骤2、对五元组特征做遮蔽处理；
步骤3、提取所述会话流量的所述报文负载特征；
步骤4、提取所述会话流量的所述流指纹特征；
步骤5、将所述步骤3-4提取的流量特征整合和标准化；
步骤6、使用逻辑回归机器学习模型进行恶意流量分类。
进一步地，所述步骤1包括：
步骤1.1、将五元组相同的流量合并成会话，所述五元组是指源IP地址、目的IP地址、源端口、目的端口、协议；
步骤1.2、把流入流量的源IP地址与流出流量的目的IP地址相同的、流入流量的目的IP地址与流出流量的源IP地址相同的、流入流量的源端口与流出流量的目的端口相同的、流入流量的目的端口与流出流量的源端口相同的、流入流量的协议与流出流量的协议相同的会话合并为双向流。
进一步地，在所述步骤2中，将所述会话流量中的IP、端口、协议字段的数据信息用全0代替填充。
进一步地，在所述步骤3中，选取了ClientHello和ServerHello报文中的五种元素作为报文负载的特征，包括：TLSVersion(协议版本)、Ciphers(持的密码套件)、Extensions(扩展字段)、EllipticCurves(椭圆曲线密码)、EllipticCurvePointFormats(椭圆曲线密码格式)；将此五种元素的组合数据归化为专有的指纹数组X正＝[x1,x2,x3,x4,x5]，其中
x1：协议版本的代码，
x2：支持的所有密码套件的代码，
x3：所有扩展字段的代码，
x4：椭圆曲线密码类型的代码，
x5：椭圆曲线密码格式的代码。
进一步地，在所述步骤4中，提取包长度和包到达间隔时间、以及字节分布数据作为流指纹特征。
进一步地，对于包长度，将每个会话中的所有包的长度离散进入相同大小的窗口，窗口大小为N字节，将包长度在[0,N)字节之间的包放入第一个bin，将包长度在[N,2N)字节之间的包放入第二个bin，以此类推；然后构造矩阵A，其中每个元素A[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；最后，对A的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包长度特征。
进一步地，对于包到达时间间隔，将每个会话中的所有包的到达时间间隔离散进入相同大小的窗口，窗口大小为T毫秒，将包到达时间间隔在[0,T)毫秒之间的包放入第一个bin，将包到达时间间隔在[T,2T)毫秒之间的包放入第二个bin，以此类推；然后构造矩阵B，其中每个元素B[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；最后，对B的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包到达时间间隔特征。
进一步地，字节分布是一个长度256数组，它对流中每个包的有效负载中的每个字节值进行计数；将这个计数除以数据包有效负载中发现的字节总数，可以得到每一个字节值出现的概率；不同应用程序的字节分布提供了大量关于该应用程序数据编码的信息；此外，字节分布还可以提供SSL/TLS协议握手信息包与整个流的负载比、握手信息的字节组成以及添加任何未实现填充的信息。
进一步地，将长度和包到达间隔时间、以及字节分布数据两项的组合数据归化为专有的流的流指纹特征。
本发明提出一种基于双维度特征的加密恶意流量检测***，包括：
SSL/TLS流量提取模块，从网络上抓取流量数据；
双向流化模块，执行所述步骤1；
五元组特征模糊化处理模块，执行所述步骤2；
报文负载特征提取模块，执行所述步骤3；
流指纹特征提取模块，执行步骤4；
逻辑回归分析模块，执行步骤5-6；
分类结果输出模块，输出对流量的分类结果。
本发明的有益效果在于，能克服在大规模复杂网络条件下五元组特征不稳定带来的加密恶意流量的检测准确率下降的问题，实验结果表明，该方法在不依赖五元组的条件下对复杂网络环境的SSL/TLS协议加密恶意流量的检测准确率高达97.86％，比传统方法高出34.45％。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本申请一个实施例的检测方法的步骤图。
图2是本申请一个实施例的检测***包含的模块。
图3是本申请一个实施例提取报文负载时所参考的SSL/TLS协议流程图。
图4是本申请一个实施例中，通过已知数据集进行测试，在单一网络环境和复杂网络环境下得到的评估指标的具体数值。
图5是本申请一个实施例中，通过已知数据集进行测试，不同会话流量在单一网络环境下得到的双维度坐标图。
图6是本申请一个实施例中，通过已知数据集进行测试，不同会话流量在复杂网络环境下得到的双维度坐标图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在五元组信息复杂的复杂网络环境下，若将恶意流量的频繁更换的五元组信息作为重要特征，会对模型识别精度产生影响。若把流量的五元组特征去除后，再次使用这些方法检测加密恶意流量，其识别率大大降低。
因此，通过数据预处理的方式将加密流量划分为两个维度，报文负载和流指纹。在模糊五元组信息的情况下，用报文负载和流指纹描述每一个流量的位置，通过逻辑回归机器学习模型进行训练和检测。
实施例一：
如图1所示，在本发明提出的检测方法的一个实施例中，通过已知的离线数据集训练逻辑模型，并使用不同内容的已知离线数据对训练出的模型进行测试，以测试其检测的准确度。
训练过程的具体步骤如下：
步骤1：使用离线的，已经被标识为恶意流量的PCAP文件作为恶意部分的训练数据集，恶意流量进一步被分类为：扫描探测、暴力破解、C&C通信等恶意行为的加密通信(如：Neris、Rbot、Virut、Menti、Soguo、Murlo、NSIS.ay等)；使用离线的，已经被标识为良性流量的PCAP文件作为良性部分的训练数据集；数据集都为加密的SSL/TLS流量；
步骤2：将两部分数据集分别进行数据预处理；
步骤2又包括如下子步骤：
步骤2.1：将流量根据源IP地址、目的IP地址、源端口、目的端口、协议这五元组进行切割；
步骤2.2：将五元组相同的流量合并成会话；
步骤2.3：依据流入流量的源IP地址与流出流量的目的IP地址相同的、流入流量的目的IP地址与流出流量的源IP地址相同的、流入流量的源端口与流出流量的目的端口相同的、流入流量的目的端口与流出流量的源端口相同的、流入流量的协议与流出流量的协议相同的会话合并为双向流；
步骤2.4：将所有会话的五元组信息模糊，即将源IP地址、目的IP地址、源端口、目的端口、协议全部用十六进制的00代替，会话的其余信息保持不变；
步骤3：提取会话流量的报文负载特征。内容包括：TLSVersion(协议版本)、Ciphers(支持的密码套件)、Extensions(扩展字段)、EllipticCurves(椭圆曲线密码)、EllipticCurvePointFormats(椭圆曲线密码格式)。将五种元素的数据组合为专有的指纹数组：
X正＝[x1,x2,x3,x4,x5]
其中，x1：协议版本的代码；x2：支持的所有密码套件的代码；x3：所有扩展字段的代码；x4：椭圆曲线密码类型的代码；x5：椭圆曲线密码格式的代码。
步骤4：提取会话流量的流指纹特征，包括：包长度和包到达间隔时间，能够提供应用程序数据编码信息的字节分布数据作为流指纹特征；
其中，包长度和包到达间隔时间：建模为马尔可夫链；
对于包长度，将每个会话中的所有包的长度离散进入相同大小的窗口，窗口大小为150字节，将包长度在[0,150)字节之间的包放入第一个bin，将包长度在[150,300)字节之间的包放入第二个bin，以此类推；
然后构造矩阵A，其中每个元素A[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；
最后，对A的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包长度特征，即A包长度；
对于包到达时间间隔，将每个会话中的所有包的到达时间间隔离散进入相同大小的窗口，窗口大小为50毫秒，将包到达时间间隔在[0,50)毫秒之间的包放入第一个bin，将包到达时间间隔在[50,100)毫秒之间的包放入第二个bin，以此类推；
然后构造矩阵B，其中每个元素B[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；
最后，对B的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包到达时间间隔特征，即B到达时间间隔；
字节分布：字节分布是一个长度256数组，它对流中每个包的有效负载中的每个字节值进行计数。将这个计数除以数据包有效负载中发现的字节总数，可以得到每一个字节值出现的概率。不同应用程序的字节分布提供了大量关于该应用程序数据编码的信息，即C字节分布；
将这两项的组合数据归化为专有的会话的流指纹特征
Y流＝[A包长度,B到达时间间隔,C字节分布]；
步骤5：将报文负载特征和流指纹特征归一化后，标识该会话流量，并输入逻辑回归机器学习模型；逻辑回归机器学习模型配置如下：
正则化类型“l1”，迭代终止判断的误差范围“1e-4”，正则化强度倒数“1.0”，所有类的权重为“1”，算法选择“liblinear”，迭代次数“100”，损失函数选用“Sigmoid”
Figure BDA0002376220280000051
步骤6：完成训练过程，并保存模型。
接下来，对训练后保存的模型进行测试，具体步骤如下：
步骤1：使用离线的，已经被标识为恶意流量的PCAP文件作为恶意部分的测试数据集，恶意流量进一步被分类为：扫描探测、暴力破解、C&C通信等恶意行为的加密通信(如：Neris、Rbot、Virut、Menti、Soguo、Murlo、NSIS.ay等)。使用离线的，已经被标识为良性流量的PCAP文件作为良性部分的测试数据集，数据集都为加密的SSL/TLS流量；
步骤2-4与分别与训练步骤2-4相同；
步骤5：将报文负载特征和流指纹特征归一化后，输入训练完成的逻辑回归模型，得到模型的输出分类结果，并与实际分类做比对，检测模型的准确性。
实施例二：
如图2所示，本发明提出的检测***的一个实施例，包括以下模块：SSL/TLS流量提取模块、双向流化模块、五元组特征模糊化处理模块、报文负载特征提取模块、流指纹特征提取模块、逻辑回归分类器模块、分类结果输出模块。对本检测***做训练和测试，各模块的处理过程如下：
SSL/TLS流量提取模块：使用tcpreplay在服务器网卡重放测试流量，再使用tshark在服务器网卡抓包，只捕获SSL/TLS流量。
双向流化模块：将流量根据源IP地址、目的IP地址、源端口、目的端口、协议这五元组进行切割。再将五元组相同的流量合并成会话。
五元组特征模糊化处理模块：将所有会话的五元组信息模糊，即将源IP地址、目的IP地址、源端口、目的端口、协议全部用十六进制的00代替，会话的其余信息保持不变。
报文负载特征提取模块：SSL/TLS协议构成如图3所示，其原理如下：
启动TLS会话后，客户端向服务器发送ClientHello数据包，其生成方式取决于构建客户端应用程序所使用的软件包和方法。如果接受连接，服务器将使用基于服务器端库和配置以及ClientHello消息中的详细信息创建ServerHello数据包进行响应，之后服务器端发送Certificate(证书)，ServerKeyExchange(密钥交换)以及ServerHelloDone完成ServerHello的消息发送。客户端收到后会利用Certificate中的public key进行ClientKeyExchange的Session Key交换，之后发送ChangeCipherSpec指示Server从现在开始发送的消息都是经过加密的，以Finished结尾。服务器收到后发送同样性质的消息进行确认。之后便开始按照之前协商的SSL协议规范收发应用数据；
其中握手协商阶段的报文内容是明文，应用数据传输阶段的内容为密文；因此可以从报文内容层面使用Hello数据包中的详细信息对客户端应用程序进行指纹识别，提取会话流量的报文负载特征，内容包括：Version(协议版本)、Ciphers(支持的密码套件)、Extensions(扩展字段)、EllipticCurves(椭圆曲线密码)、EllipticCurvePointFormats(椭圆曲线密码格式)；
将五种元素的组合数据归化为专有的指纹数组：
X正＝[x1,x2,x3,x4,x5]
其中x1：协议版本的代码；x2：支持的所有密码套件的代码；x3：所有扩展字段的代码；x4：椭圆曲线密码类型的代码；x5：椭圆曲线密码格式的代码。
流指纹特征提取模块：提取会话流量的流指纹特征，包括：
包长度和包到达间隔时间：建模为马尔可夫链。对于数据包长度和到达间隔时间，将其值离散为相同大小的窗口，对于包长度的数据，使用大小为150字节的窗口，将数据大小在[0,150)的放入第一个bin，将数据大小在[150,300)放入第二个bin，以此类推。然后构造矩阵A[i,j]，计算第i个bin和第j个bin之间的转换概率。最后，对A进行标准化处理，即归一化，确保得到一个合适的马尔科夫链；将A作为该项数据的特征即A包长度；
对于包到达时间间隔，将每个会话中的所有包的到达时间间隔离散进入相同大小的窗口，窗口大小为50毫秒，将包到达时间间隔在[0,50)毫秒之间的包放入第一个bin，将包到达时间间隔在[50,100)毫秒之间的包放入第二个bin，以此类推；
然后构造矩阵B，其中每个元素B[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；
最后，对B的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包到达时间间隔特征，即B到达时间间隔；
字节分布：字节分布是一个长度256数组，它对流中每个包的有效负载中的每个字节值进行计数。将这个计数除以数据包有效负载中发现的字节总数，可以得到每一个字节值出现的概率。不同应用程序的字节分布提供了大量关于该应用程序数据编码的信息，即C字节分布；
将这两项的组合数据归化为专有的会话的流指纹特征
Y流＝[A包长度,B到达时间间隔,C字节分布]。
逻辑回归分析模块：将报文负载特征和流指纹特征归一化后，标识该会话流量，并输入逻辑回归机器学习模型。逻辑回归机器学习模型配置如下：
正则化类型“l1”，迭代终止判断的误差范围“1e-4”，正则化强度倒数“1.0”，所有类的权重为“1”，算法选择“liblinear”，迭代次数“100”，损失函数选用“Sigmoid”
Figure BDA0002376220280000071
分类结果输出模块：在测试模型的过程中，需要对模型的性能进行评估。本发明的评估标准划分为四大类：真正例(true positive，记为TP)、假正例(false positive，记为FP)、真反例(true negative，记为TN)、假反例(false negative，记为FN)；
Figure BDA0002376220280000072
定义准确率(accuracy，记为A)为分类正确的样例数占总样例数的比例，即
Figure BDA0002376220280000081
另外，本发明还使用了精确率和召回率作为评价指标；精确率和召回率表示分类器在每个类别上工作的能力；准确度反映了分类器的整体性能。F1-measure(记为F1)是结合精度和召回的评估指标。
精确率＝真正例/(真正例+假正例)
召回率＝真正例/(真正例+假反例)
F1＝2*(精确率*召回率)/(精确率+召回率)
本发明使用捷克理工大学(CTU)数据集作为测试该方法和***的数据集，提取了CTU13数据集中的C&C通信所产生的SSL流量，共0.698GB，正常流量数据集的大小为0.76GB。正负数据集的大小满足了训练数据的平衡性。
将数据集在网络环境单一和复杂的两种环境下进行对比试验，得到下表和图4-6：
Figure BDA0002376220280000082
本实施例将流量的所有特征归类为报文负载特征和流指纹特征后，从两个维度对流量进行刻画，并使用这两个维度的特征训练分类器模型，最终得到的结果无论在单一网络环境还是复杂网络环境下都能够达到97％以上的识别准确率，流量的F1-Measure指标也都达到97％以上。
实施例三：
本发明提出的检测***的一个实施例，包括以下模块：SSL/TLS流量提取模块、双向流化模块、五元组特征模糊化处理模块、报文负载特征提取模块、流指纹特征提取模块、逻辑回归分类器模块、分类结果输出模块。将本检测***用于实时流量检测，各模块的处理过程如下：
SSL/TLS流量提取模块：使用tshark在服务器网卡抓包，捕获实时SSL/TLS流量。
双向流化模块：同实施例二的同名模块；
五元组特征模糊化处理模块：同实施例二的同名模块；
报文负载特征提取模块：同实施例二的同名模块；
逻辑回归分类器模块：同实施例二的同名模块；
分类结果输出模块：输出对流量的判断，最终形成流量的分类结果，包括：扫描探测、暴力破解、C&C通信等恶意行为的加密通信(如：Neris、Rbot、Virut、Menti、Soguo、Murlo、NSIS.ay等)。
复杂网络环境下的正常流量由于来自各不同网站的正常SSL/TLS通信流量，其TLSVersion，Ciphers，Extensions，EllipticCurves，EllipticCurvePointFormats因各自的SSL证书不同而差异较大，所以归一化后的值分布在0到1之间；而恶意流量因为无法获得正规渠道的合法SSL证书，只能采用版本较老的SSL/TLS协议版本，且支持的密码套件以及扩展数量也较少，因此归一化后的值分布区域有限。
本发明的实施例通过加密流量预处理，IP、端口规避后，将选取的特征归类为报文负载特征和流指纹特征，从两个维度描述一个流量，以满足模型的训练需求。实施例结果表明，在传统的加密流量研究当中，随着恶意行为的发展而逐渐失效的五元组特征占总分类权重较大，降低了模型对于复杂网络环境流量的识别准确率，提出的报文和流指纹特征识别方法解决了这一问题，且只需从单一网络环境流量中训练模型，所以泛用性更广。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于双维度特征的加密恶意流量检测方法，其特征在于，提取被监测加密流量的报文负载特征和流指纹特征，以此为基础识别恶意流量。
2.如权利要求1所述的基于双维度特征的加密恶意流量检测方法，其特征在于，包括以下步骤：
步骤1、将相同五元组的数据包合并成双向会话流量；
步骤2、对五元组特征做遮蔽处理；
步骤3、提取所述会话流量的所述报文负载特征；
步骤4、提取所述会话流量的所述流指纹特征；
步骤5、将所述步骤3-4提取的流量特征整合和标准化；
步骤6、使用逻辑回归机器学习模型进行恶意流量分类。
3.如权利要求2所述的基于双维度特征的加密恶意流量检测方法，其特征在于，所述步骤1包括：
步骤1.1、将五元组相同的流量合并成会话，所述五元组是指源IP地址、目的IP地址、源端口、目的端口、协议；
步骤1.2、把流入流量的源IP地址与流出流量的目的IP地址相同的、流入流量的目的IP地址与流出流量的源IP地址相同的、流入流量的源端口与流出流量的目的端口相同的、流入流量的目的端口与流出流量的源端口相同的、流入流量的协议与流出流量的协议相同的会话合并为双向流。
4.如权利要求2所述的基于双维度特征的加密恶意流量检测方法，其特征在于，在所述步骤2中，将所述会话流量中的IP、端口、协议字段的数据信息用全0代替填充。
5.如权利要求2所述的基于双维度特征的加密恶意流量检测方法，其特征在于，在所述步骤3中，选取了ClientHello和ServerHello报文中的五种元素作为所述报文负载特征，包括：TLSVersion(协议版本)、Ciphers(持的密码套件)、Extensions(扩展字段)、EllipticCurves(椭圆曲线密码)、EllipticCurvePointFormats(椭圆曲线密码格式)；将此五种元素的组合数据归化为专有的指纹数组X正＝[x1,x2,x3,x4,x5]，其中
x1：协议版本的代码，
x2：支持的所有密码套件的代码，
x3：所有扩展字段的代码，
x4：椭圆曲线密码类型的代码，
x5：椭圆曲线密码格式的代码。
6.如权利要求2所述的基于双维度特征的加密恶意流量检测方法，其特征在于，在所述步骤4中，提取包长度和包到达间隔时间、以及字节分布数据作为所述流指纹特征。
7.如权利要求6所述的基于双维度特征的加密恶意流量检测方法，其特征在于，对于包长度，将每个会话中的所有包的长度离散进入相同大小的窗口，窗口大小为N字节，将包长度在[0,N)字节之间的包放入第1个bin，将包长度在[N,2N)字节之间的包放入第2个bin，以此类推；然后构造矩阵A，其中每个元素A[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；最后，对A的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包长度特征。
8.如权利要求6所述的基于双维度特征的加密恶意流量检测方法，其特征在于，对于包到达时间间隔，将每个会话中的所有包的到达时间间隔离散进入相同大小的窗口，窗口大小为T毫秒，将包到达时间间隔在[0,T)毫秒之间的包放入第1个bin，将包到达时间间隔在[T,2T)毫秒之间的包放入第2个bin，以此类推；然后构造矩阵B，其中每个元素B[i,j]表示计算第i个bin中的包转换到第j个bin中的包的次数；最后，对B的每行进行归一化处理，每行即为一个马尔可夫链，并作为该会话的包到达时间间隔特征。
9.如权利要求6所述的基于双维度特征的加密恶意流量检测方法，其特征在于，字节分布是一个长度256数组，它对流中每个包的有效负载中的每个字节值进行计数；将这个计数除以数据包有效负载中发现的字节总数，得到每一个字节值出现的概率。
10.一种基于双维度特征的加密恶意流量检测***，包括：
SSL/TLS流量提取模块，从网络上抓取流量数据；
双向流化模块，执行如权利要求2-9任一所述步骤1；
五元组特征模糊化处理模块，执行如权利要求2-9任一所述步骤2；
报文负载特征提取模块，执行如权利要求2-9任一所述步骤3；
流指纹特征提取模块，执行如权利要求2-9任一所述步骤4；
逻辑回归分析模块，执行如权利要求2-9任一所述步骤5-6；
分类结果输出模块，输出对流量的分类结果。
CN202010066830.XA 2020-01-20 2020-01-20 一种基于双维度特征的加密恶意流量检测方法和*** Pending CN111245860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010066830.XA CN111245860A (zh) 2020-01-20 2020-01-20 一种基于双维度特征的加密恶意流量检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010066830.XA CN111245860A (zh) 2020-01-20 2020-01-20 一种基于双维度特征的加密恶意流量检测方法和***

Publications (1)

Publication Number Publication Date
CN111245860A true CN111245860A (zh) 2020-06-05

Family

ID=70866475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066830.XA Pending CN111245860A (zh) 2020-01-20 2020-01-20 一种基于双维度特征的加密恶意流量检测方法和***

Country Status (1)

Country Link
CN (1) CN111245860A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104570A (zh) * 2020-09-11 2020-12-18 南方电网科学研究院有限责任公司 流量分类方法、装置、计算机设备和存储介质
CN112738039A (zh) * 2020-12-18 2021-04-30 北京中科研究院 一种基于流量行为的恶意加密流量检测方法、***及设备
CN112800142A (zh) * 2020-12-15 2021-05-14 赛尔网络有限公司 Mr作业处理方法、装置、电子设备及存储介质
CN113472751A (zh) * 2021-06-04 2021-10-01 中国科学院信息工程研究所 一种基于数据包头的加密流量识别方法及装置
CN113591085A (zh) * 2021-07-27 2021-11-02 深圳市纽创信安科技开发有限公司 安卓恶意应用检测方法、装置及设备
CN113726615A (zh) * 2021-11-02 2021-11-30 北京广通优云科技股份有限公司 一种it智能运维***中基于网络行为的加密业务稳定性判定方法
CN114124551A (zh) * 2021-11-29 2022-03-01 中国电子科技集团公司第三十研究所 一种WireGuard协议下基于多粒度特征提取的恶意加密流量识别的方法
CN114143037A (zh) * 2021-11-05 2022-03-04 山东省计算中心（国家超级计算济南中心） 一种基于进程行为分析的恶意加密信道检测方法
CN115051874A (zh) * 2022-08-01 2022-09-13 杭州默安科技有限公司 一种多特征的cs恶意加密流量检测方法和***
CN115086242A (zh) * 2021-03-12 2022-09-20 天翼云科技有限公司 加密数据包识别方法、装置与电子设备
CN115314240A (zh) * 2022-06-22 2022-11-08 国家计算机网络与信息安全管理中心 面向加密异常流量识别的数据处理方法
CN115865534A (zh) * 2023-02-27 2023-03-28 深圳大学 一种基于恶意加密流量检测方法、***、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104441A (zh) * 2018-10-24 2018-12-28 上海交通大学 一种基于深度学习的加密恶意流量的检测***和方法
CN110011931A (zh) * 2019-01-25 2019-07-12 中国科学院信息工程研究所 一种加密流量类别检测方法及***
CN110149245A (zh) * 2019-05-24 2019-08-20 广州大学 基于压缩感知的高速网络流量采样方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104441A (zh) * 2018-10-24 2018-12-28 上海交通大学 一种基于深度学习的加密恶意流量的检测***和方法
CN110011931A (zh) * 2019-01-25 2019-07-12 中国科学院信息工程研究所 一种加密流量类别检测方法及***
CN110149245A (zh) * 2019-05-24 2019-08-20 广州大学 基于压缩感知的高速网络流量采样方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. ZANDER, T. NGUYEN AND G. ARMITAGE: ""Automated traffic classification and application identification using machine learning"", 《THE IEEE CONFERENCE ON LOCAL COMPUTER NETWORKS 30TH ANNIVERSARY (LCN"05)L, SYDNEY, NSW, 2005》 *
T. T. T. NGUYEN AND G. ARMITAGE: ""A survey of techniques for internet traffic classification using machine learning"", 《IEEE COMMUNICATIONS SURVEYS & TUTORIALS》 *
胡斌,周志洪,姚立红,李建华: ""结合报文负载与流指纹特征的恶意流量检测"", 《计算机工程》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104570A (zh) * 2020-09-11 2020-12-18 南方电网科学研究院有限责任公司 流量分类方法、装置、计算机设备和存储介质
CN112104570B (zh) * 2020-09-11 2023-09-05 南方电网科学研究院有限责任公司 流量分类方法、装置、计算机设备和存储介质
CN112800142B (zh) * 2020-12-15 2023-08-08 赛尔网络有限公司 Mr作业处理方法、装置、电子设备及存储介质
CN112800142A (zh) * 2020-12-15 2021-05-14 赛尔网络有限公司 Mr作业处理方法、装置、电子设备及存储介质
CN112738039A (zh) * 2020-12-18 2021-04-30 北京中科研究院 一种基于流量行为的恶意加密流量检测方法、***及设备
CN115086242A (zh) * 2021-03-12 2022-09-20 天翼云科技有限公司 加密数据包识别方法、装置与电子设备
CN113472751A (zh) * 2021-06-04 2021-10-01 中国科学院信息工程研究所 一种基于数据包头的加密流量识别方法及装置
CN113591085A (zh) * 2021-07-27 2021-11-02 深圳市纽创信安科技开发有限公司 安卓恶意应用检测方法、装置及设备
CN113591085B (zh) * 2021-07-27 2024-05-14 深圳市纽创信安科技开发有限公司 安卓恶意应用检测方法、装置及设备
CN113726615A (zh) * 2021-11-02 2021-11-30 北京广通优云科技股份有限公司 一种it智能运维***中基于网络行为的加密业务稳定性判定方法
CN113726615B (zh) * 2021-11-02 2022-02-15 北京广通优云科技股份有限公司 一种it智能运维***中基于网络行为的加密业务稳定性判定方法
CN114143037A (zh) * 2021-11-05 2022-03-04 山东省计算中心（国家超级计算济南中心） 一种基于进程行为分析的恶意加密信道检测方法
CN114124551B (zh) * 2021-11-29 2023-05-23 中国电子科技集团公司第三十研究所 一种WireGuard协议下基于多粒度特征提取的恶意加密流量识别的方法
CN114124551A (zh) * 2021-11-29 2022-03-01 中国电子科技集团公司第三十研究所 一种WireGuard协议下基于多粒度特征提取的恶意加密流量识别的方法
CN115314240A (zh) * 2022-06-22 2022-11-08 国家计算机网络与信息安全管理中心 面向加密异常流量识别的数据处理方法
CN115051874A (zh) * 2022-08-01 2022-09-13 杭州默安科技有限公司 一种多特征的cs恶意加密流量检测方法和***
CN115865534A (zh) * 2023-02-27 2023-03-28 深圳大学 一种基于恶意加密流量检测方法、***、装置及介质

Similar Documents

Publication Publication Date Title
CN111245860A (zh) 一种基于双维度特征的加密恶意流量检测方法和***
CN106464577B (zh) 网络***、控制装置、通信装置以及通信控制方法
EP4111370A2 (en) Treating data flows differently based on level of interest
TW476207B (en) Information security analysis system
Dainotti et al. Issues and future directions in traffic classification
US8539221B2 (en) Method and system for identifying an application type of encrypted traffic
US9813310B1 (en) System and method for discriminating nature of communication traffic transmitted through network based on envelope characteristics
Miller et al. Multilayer perceptron neural network for detection of encrypted VPN network traffic
CN111147394B (zh) 一种远程桌面协议流量行为的多级分类检测方法
CN112769633B (zh) 一种代理流量检测方法、装置、电子设备及可读存储介质
Liu et al. Maldetect: A structure of encrypted malware traffic detection
Yan et al. Identifying wechat red packets and fund transfers via analyzing encrypted network traffic
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
WO2023173790A1 (zh) 一种基于数据包的加密流量分类***
CN113676348A (zh) 一种网络通道破解方法、装置、服务器及存储介质
Janabi et al. Convolutional neural network based algorithm for early warning proactive system security in software defined networks
CN113743542A (zh) 一种基于加密流量的网络资产识别方法与***
Sheikh et al. Procedures, criteria, and machine learning techniques for network traffic classification: a survey
CN113923026A (zh) 一种基于TextCNN的加密恶意流量检测模型及其构建方法
Wang et al. An unknown protocol syntax analysis method based on convolutional neural network
Ding et al. Multi-granular aggregation of network flows for security analysis
Nazari et al. DSCA: An inline and adaptive application identification approach in encrypted network traffic
CN115051874B (zh) 一种多特征的cs恶意加密流量检测方法和***
CN114172715B (zh) 一种基于安全多方计算的工控入侵检测***及方法
Zeng et al. Toward identifying malicious encrypted traffic with a causality detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605