CN111224946A - 一种基于监督式学习的tls加密恶意流量检测方法及装置 - Google Patents

一种基于监督式学习的tls加密恶意流量检测方法及装置 Download PDF

Info

Publication number
CN111224946A
CN111224946A CN201911173792.1A CN201911173792A CN111224946A CN 111224946 A CN111224946 A CN 111224946A CN 201911173792 A CN201911173792 A CN 201911173792A CN 111224946 A CN111224946 A CN 111224946A
Authority
CN
China
Prior art keywords
flow
encrypted
svm classifier
traffic
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911173792.1A
Other languages
English (en)
Inventor
聂桂兵
范渊
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911173792.1A priority Critical patent/CN111224946A/zh
Publication of CN111224946A publication Critical patent/CN111224946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H04L63/166—Implementing security features at a particular protocol layer at the transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于监督式学习的TLS加密恶意流量检测方法、装置、设备及计算机可读存储介质，包括：将恶意流量样本与正常流量样本混合后进行加密回放，得到加密流量样本集；分别提取各个加密流量样本的预设流量特征，分别为各个加密流量样本的预设流量特征设置标签，以生成带标签的流量特征向量；提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，对训练宽表进行规范化，得到目标训练矩阵；利用目标训练矩阵对SVM分类器进行训练，得到目标SVM分类器；利用目标SVM分类器检测待检测加密流量是否为恶意加密流量。本发明所提供的方法、装置、设备及计算机可读存储介质，可以精准、高效、智能地恶意加密流量进行检测。

Description

一种基于监督式学习的TLS加密恶意流量检测方法及装置
技术领域
本发明涉及网络通信安全技术领域，特别是涉及一种基于监督式学习的TLS加密恶意流量检测方法、装置、设备以及计算机可读存储介质。
背景技术
传输层安全协议(Transport Layer Security，缩写作TLS)及其前身安全套接层(Secure Sockets Layer，缩写作SSL)是一种安全协议，在客户端和服务器之间建立安全通道，目的是为了网络通信提供安全及数据完整性保障。Gartner认为，到2020年，超过60％的企业将无法有效解密HTTPS流量，届时加密的流量中将隐藏超过70％的网络恶意软件，从而“无法有效检测出具有针对性的网络恶意软件”。
根据NSS实验室最近的测试结果，很少有安全设备能够在不严重影响网络性能的情况下检查加密数据。平均而言，深度包检查的性能损失为60％，连接率平均下降了92％，响应时间则增加了高达672％。通过对加密流量进行解密后分析的方法实用价值不高。
综上所述可以看出，如何在不影响网络性能情况下，提高恶意加密流量的检测效率与准确率是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于监督式学习的TLS加密恶意流量检测方法、装置、设备以及计算机可读存储介质，以解决现有技术中对加密流量进行解密后检测的方法对网络性能影响严重且效率低的问题。
为解决上述技术问题，本发明提供一种基于监督式学习的TLS加密恶意流量检测方法，包括：将采集到的恶意流量样本与正常流量样本混合生成流量样本集，对所述流量样本集中的各个流量样本进行加密回放后，得到加密流量样本集；分别提取所述加密流量样本集中各个加密流量样本的预设流量特征，分别为所述各个加密流量样本的预设流量特征设置标签；其中，恶意加密流量样本的预设流量特征的标签为1，正常加密流量样本的预设流量特征的标签为-1；利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量。
优选地，所述分别提取所述加密流量样本集中各个加密流量样本的预设流量特征包括：
分别提取所述加密流量样本集中各个加密流量样本的DNS信息、TLS流、HTTPS流信息与流量元数据。
优选地，所述分别提取所述加密流量样本集中各个加密流量样本的DNS信息、TLS流、HTTPS流信息与流量元数据包括：
分别提取所述加密流量样本集中各个加密流量样本的进出字节数、网络端口号、持续时间、域名长度、域名字符占比、域名数字占比、DNS解析出的IP个数、流量头大小、加密流量包大小、秘钥长度与自签名特征。
优选地，所述利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量包括：
提取所述待检测加密流量的DNS信息、TLS流、HTTPS流信息与流量元数据；
将所述待检测加密流量的所述DNS信息、所述TLS流、所述HTTPS流信息与所述流量元数据输入至所述目标SVM分类器，检测所述待检测加密流量是否为恶意加密流量。
优选地，所述利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器包括：
分别将所述N个加密流量样本的带标签的流量特征向量输入至所述SVM分类器中，输出所述N个加密流量样本的分类结果；
依据所述N个加密流量样本的预设流量特征的标签，判断所述SVM分类器输出的所述N个加密流量样本的分类结果是否正确；
根据判断结果，确定所述SVM分类器的当前准确度；
判断所述当前准确度是否小于所述预设准确度阈值；
若所述当前准确度小于所述预设准确度阈值，则对所述SVM分类器的模型参数进行调整，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器。
本发明还提供了一种基于监督式学习的TLS加密恶意流量检测装置，包括：
加密回放模块，用于将采集到的恶意流量样本与正常流量样本混合生成流量样本集，对所述流量样本集中的各个流量样本进行加密回放后，得到加密流量样本集；
提取设置模块，用于分别提取所述加密流量样本集中各个加密流量样本的预设流量特征，分别为所述各个加密流量样本的预设流量特征设置标签；其中，恶意加密流量样本的预设流量特征的标签为1，正常加密流量样本的预设流量特征的标签为-1；
生成模块，用于利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；
规范化模块，用于提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；
训练模块，用于利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；
检测模块，用于利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量。
优选地，所述提取设置模块包括：
特征提取单元，用于分别提取所述加密流量样本集中各个加密流量样本的DNS信息、TLS流、HTTPS流信息与流量元数据。
优选地，所述训练模块包括：
检测单元，用于分别将所述N个加密流量样本的带标签的流量特征向量输入至所述SVM分类器中，输出所述N个加密流量样本的分类结果；
第一判断单元，用于依据所述N个加密流量样本的预设流量特征的标签，判断所述SVM分类器输出的所述N个加密流量样本的分类结果是否正确；
准确度计算单元，用于根据判断结果，确定所述SVM分类器的当前准确度；
第二判断单元，用于判断所述当前准确度是否小于所述预设准确度阈值；
参数调整单元，用于若所述当前准确度小于所述预设准确度阈值，则对所述SVM分类器的模型参数进行调整，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器。
本发明还提供了一种基于监督式学习的TLS加密恶意流量检测设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于监督式学习的TLS加密恶意流量检测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于监督式学习的TLS加密恶意流量检测方法的步骤。
本发明所提供的基于监督式学习的TLS加密恶意流量检测方法，首先将采集到的恶意流量样本混合至正常流量样本中生成流量样本集。对所述流量样本集中的各个流量样本进行加密方式回放，得到加密流量样本集。分别提取所述加密流量样本集中各个加密流量样本的预设流量特征；并将加密流量样本集中恶意加密流量样本的预设流量特征的标签设置为1，将加密流量样本集中正常加密流量样本的预设流量特征的标签设为-1。利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量。提取N个加密流量样本的带标签的流量特征向量组合为训练宽表后，采用线性变换对所述训练宽表进行规范化，生成适用于SVM分类器使用的目标训练矩阵。利用所述目标训练矩阵对所述SVM分类器进行训练，将所述N个加密流量样本的预设流量特征分别输入至所述SVM分类器中，直输出所述N个加密流量样本的分类结果；根据所述分类结果对所述SVM分类器的模型参数进行调整，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器，以便将所述SVM分类器应用于实际检测中，判断待检测的加密流量是否为恶意加密流量。本发明通过提取可以区分恶意加密流量样本与正常加密流量样本的不同特征作为分析维度，然后采用监督式算法进行学习，从而识别网络通信中恶意的加密流量。本发明所提供的方法，无需对加密流量进行解密操作，节省了大量的计算资源，并具备更快的检测效率；利用监督式算法学习网络环境中的正常背景流量的特征和行为，生成可信区间，方法具备普适性，且SVM算法具备自学习和调优能力，可随着样本的不停学习和自动调参，使分类器越来越精准。利用本发明所提供的方法可以精准、高效、智能地对实时发生的恶意流量行为进行检测。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于监督式学习的TLS加密恶意流量检测方法的第一种具体实施例的流程图；
图2为本发明所提供的基于监督式学习的TLS加密恶意流量检测方法的第二种具体实施例的流程图；
图3为本发明实施例提供的一种基于监督式学习的TLS加密恶意流量检测装置的结构框图。
具体实施方式
本发明的核心是提供一种基于监督式学习的TLS加密恶意流量检测方法、装置、设备以及计算机可读存储介质，不需要对加密流量进行解密的情况下，可以精准、高效、智能地对实时发生的恶意流量行为进行检测。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于监督式学习的TLS加密恶意流量检测方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：将采集到的恶意流量样本与正常流量样本混合生成流量样本集，对所述流量样本集中的各个流量样本进行加密回放后，得到加密流量样本集；
流量回放***利用生产上现有真实流量进行镜像，原始流量依然回到生产环境的真实服务器，流量的镜像拷贝会分发至集群外的测试服务器上。
步骤S102：分别提取所述加密流量样本集中各个加密流量样本的预设流量特征，分别为所述各个加密流量样本的预设流量特征设置标签；其中，恶意加密流量样本的预设流量特征的标签为1，正常加密流量样本的预设流量特征的标签为-1；
在本实施例中，可以定义流量特征集，所述流量特征集可以包括各个加密流量样本的DNS信息、TLS流、HTTPS流信息、流量元数据等。所述流量特征集具体包括以下特征：所述各个加密流量样本的进出的字节数、网络端口号、持续时间、域名长度、域名中字符占比、域名中数字占比、DNS解析出的IP个数、流量头大小、加密流量包大小、秘钥长度、是否自签名等。
所述流量特征集可用V＝{V1，V2，V3，...，Vj-1，Vj}表示，其中，V1，V2，V3，...，Vj-1，Vj分别表示不同的流量特征。
步骤S103：利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；
提取所述各个加密流量样本的预设流量特征，并为各个加密流量样本的预设流量特征设置标签，生成带标签的流量特征库。针对某一流量特征维度Vk所包含的特征内容为：
Vk＝{T1，T2，T3，...，Tj-1，Tj，1/-1}
其中，T1、T2、T3、Tj-1、Tj分别为第1个、第2个、第3个、第j-1个、第j个加密流量样本在当前维度下的流量特征；所述流量特征库的最后一列为标签列，所述恶意加密流量样本的流量特征的标签为1，所述正常加密流量样本的流量特征的标签为-1。当所述流量特征库的最后一列为1时，说明所述流量特征库中的流量特征均为恶意加密流量样本的特征；当所述流量特征库的最后一列为-1时，说明所述流量特征库中的流量特征均为正常加密流量样本的特征。
步骤S104：提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；
提取N个加密流量样本待标签的流量特征向量，生成训练宽表D：
Figure BDA0002289440730000071
其中，所述训练宽表中的每一个横向量表示一个加密流量样本的多个流量特征；Tnj为第n个加密流量样本的第j个流量特征。
由于所述训练宽表D中各类特征值的单位不一致，本实施例中采用线性变换，对所述训练宽表D进行[-1，1]规范化，生成适用于SVM分类器使用的矩阵VD。
步骤S105：利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；
利用SVM分类器进行模型训练，得到分类函数：
Figure BDA0002289440730000081
其中，Vi为加密流量的多个流量特征，Wi为每个流量特征的权重，b为常量。当
Figure BDA0002289440730000082
表示为超平面；当
Figure BDA0002289440730000083
表示为点到超平面的距离，当
Figure BDA0002289440730000084
表示为超平面之上的点；当
Figure BDA0002289440730000085
表示为平面之下的点。
Figure BDA0002289440730000086
为符号函数，符号函数的定义如下：
Figure BDA0002289440730000087
即，f(Vi)的取值包括1，0和-1。当f(Vi)＝1或0，表明检测到的流量为恶意加密流量；当f(Vi)＝-1，表明检测到的流量为正常加密流量。
根据分类函数f(Vi)的结果，判断分类结果是否正确。当结果误差较大时，可使用SVM自动训练选择最优值的方式可以实现对模型参数的调优，最终根据分类结果，选择合适的模型，在实际环境中应用。
步骤S106：利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量。
本实施例所提供的方法，在对加密流量进行检测时需要对加流量进行解密，从而不会对网络性能造成影响；本实施例通过提取正常加密流量样本与恶意加密流量样本的流量特征，对比分析恶意加密流量与正常加密流量的不同，并选取这些不同的特征作为分析维度，采用监督式算法进行学习，从而高效、准确的识别恶意加密流量。
基于上述实施例，在本实施例中，对待检测加密流量进行检测时，首先提取待检测加密流量的DNS信息、TLS流、HTTPS流信息与流量元数据等流量特征，再将提取到的多个流量特征输入至完成训练的目标SVM分类器中进行检测，输出所述待检测加密流量的分类结果。
请参考图2，图2为本发明所提供的基于监督式学习的TLS加密恶意流量检测方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S201：将采集到的恶意流量样本与正常流量样本混合后，进行加密方式回放，得到加密流量样本集；
步骤S202：分别提取所述加密流量样本集中各个加密流量样本的流量特征，分别为所述各个加密流量样本的流量特征设置标签，其中，所述流量特征包括：DNS信息、TLS流、HTTPS流信息与流量元数据；
步骤S203：利用所述各个加密流量样本的流量特征与所述流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；
步骤S204：提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；
步骤S205：分别将所述N个加密流量样本的带标签的流量特征向量输入至所述SVM分类器中，输出所述N个加密流量样本的分类结果；
步骤S206：依据所述N个加密流量样本的预设流量特征的标签，判断所述SVM分类器输出的所述N个加密流量样本的分类结果是否正确；
步骤S207：根据判断结果，确定所述SVM分类器的当前准确度；
步骤S208：判断所述当前准确度是否小于所述预设准确度阈值；
步骤S209：若所述当前准确度小于所述预设准确度阈值，则对所述SVM分类器的模型参数进行调整，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；
步骤S210：提取待检测加密流量的DNS信息、TLS流、HTTPS流信息与流量元数据；
步骤S211：将所述待检测加密流量的所述DNS信息、所述TLS流、所述HTTPS流信息与所述流量元数据输入至所述目标SVM分类器，检测所述待检测加密流量是否为恶意加密流量。
本实施例所提供的方法，无需对加密流量进行操作，节省大量的计算资源，并具备更快的检测效率；利用监督式算法学习网络环境中的正常背景流量的特征和行为，生成可信区间，方法具备普适性，并且SVM算法具备自学习和调优能力，可随着样本的不停学习和自动调参，使分类器越来越精准；可以精准、高效、智能地对实时发生的恶意流量行为进行检测。
请参考图3，图3为本发明实施例提供的一种基于监督式学习的TLS加密恶意流量检测装置的结构框图；具体装置可以包括：
加密回放模块100，用于将采集到的恶意流量样本与正常流量样本混合生成流量样本集，对所述流量样本集中的各个流量样本进行加密回放后，得到加密流量样本集；
提取设置模块200，用于分别提取所述加密流量样本集中各个加密流量样本的预设流量特征，分别为所述各个加密流量样本的预设流量特征设置标签；其中，恶意加密流量样本的预设流量特征的标签为1，正常加密流量样本的预设流量特征的标签为-1；
生成模块300，用于利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；
规范化模块400，用于提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；
训练模块500，用于利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；
检测模块600，用于利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量。
本实施例的基于监督式学习的TLS加密恶意流量检测装置用于实现前述的基于监督式学习的TLS加密恶意流量检测方法，因此基于监督式学习的TLS加密恶意流量检测装置中的具体实施方式可见前文中的基于监督式学习的TLS加密恶意流量检测方法的实施例部分，例如，加密回放模块100，提取设置模块200，生成模块300，规范化模块400，训练模块500，检测模块600，分别用于实现上述基于监督式学习的TLS加密恶意流量检测方法中步骤S101，S102，S103，S104，S105和S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于监督式学习的TLS加密恶意流量检测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于监督式学习的TLS加密恶意流量检测方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于监督式学习的TLS加密恶意流量检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于监督式学习的TLS加密恶意流量检测方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于监督式学习的TLS加密恶意流量检测方法，其特征在于，包括：
将采集到的恶意流量样本与正常流量样本混合生成流量样本集，对所述流量样本集中的各个流量样本进行加密回放后，得到加密流量样本集；
分别提取所述加密流量样本集中各个加密流量样本的预设流量特征，分别为所述各个加密流量样本的预设流量特征设置标签；其中，恶意加密流量样本的预设流量特征的标签为1，正常加密流量样本的预设流量特征的标签为-1；
利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；
提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；
利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；
利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量。
2.如权利要求1所述的方法，其特征在于，所述分别提取所述加密流量样本集中各个加密流量样本的预设流量特征包括：
分别提取所述加密流量样本集中各个加密流量样本的DNS信息、TLS流、HTTPS流信息与流量元数据。
3.如权利要求2所述的方法，其特征在于，所述分别提取所述加密流量样本集中各个加密流量样本的DNS信息、TLS流、HTTPS流信息与流量元数据包括：
分别提取所述加密流量样本集中各个加密流量样本的进出字节数、网络端口号、持续时间、域名长度、域名字符占比、域名数字占比、DNS解析出的IP个数、流量头大小、加密流量包大小、秘钥长度与自签名特征。
4.如权利要求3所述的方法，其特征在于，所述利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量包括：
提取所述待检测加密流量的DNS信息、TLS流、HTTPS流信息与流量元数据；
将所述待检测加密流量的所述DNS信息、所述TLS流、所述HTTPS流信息与所述流量元数据输入至所述目标SVM分类器，检测所述待检测加密流量是否为恶意加密流量。
5.如权利要求1所述的方法，其特征在于，所述利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器包括：
分别将所述N个加密流量样本的带标签的流量特征向量输入至所述SVM分类器中，输出所述N个加密流量样本的分类结果；
依据所述N个加密流量样本的预设流量特征的标签，判断所述SVM分类器输出的所述N个加密流量样本的分类结果是否正确；
根据判断结果，确定所述SVM分类器的当前准确度；
判断所述当前准确度是否小于所述预设准确度阈值；
若所述当前准确度小于所述预设准确度阈值，则对所述SVM分类器的模型参数进行调整，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器。
6.一种基于监督式学习的TLS加密恶意流量检测装置，其特征在于，包括：
加密回放模块，用于将采集到的恶意流量样本与正常流量样本混合生成流量样本集，对所述流量样本集中的各个流量样本进行加密回放后，得到加密流量样本集；
提取设置模块，用于分别提取所述加密流量样本集中各个加密流量样本的预设流量特征，分别为所述各个加密流量样本的预设流量特征设置标签；其中，恶意加密流量样本的预设流量特征的标签为1，正常加密流量样本的预设流量特征的标签为-1；
生成模块，用于利用所述各个加密流量样本的预设流量特征与预设流量特征的标签，生成所述各个加密流量样本的带标签的流量特征向量；
规范化模块，用于提取N个加密流量样本的带标签的流量特征向量组合生成训练宽表，采用线性变换对所述训练宽表进行规范化，得到目标训练矩阵；
训练模块，用于利用所述目标训练矩阵对SVM分类器进行训练，根据所述SVM分类器输出的分类结果调整所述SVM分类器的模型参数，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器；
检测模块，用于利用所述目标SVM分类器检测待检测加密流量是否为恶意加密流量。
7.如权利要求6所述的装置，其特征在于，所述提取设置模块包括：
特征提取单元，用于分别提取所述加密流量样本集中各个加密流量样本的DNS信息、TLS流、HTTPS流信息与流量元数据。
8.如权利要求6所述的装置，其特征在于，所述训练模块包括：
检测单元，用于分别将所述N个加密流量样本的带标签的流量特征向量输入至所述SVM分类器中，输出所述N个加密流量样本的分类结果；
第一判断单元，用于依据所述N个加密流量样本的预设流量特征的标签，判断所述SVM分类器输出的所述N个加密流量样本的分类结果是否正确；
准确度计算单元，用于根据判断结果，确定所述SVM分类器的当前准确度；
第二判断单元，用于判断所述当前准确度是否小于所述预设准确度阈值；
参数调整单元，用于若所述当前准确度小于所述预设准确度阈值，则对所述SVM分类器的模型参数进行调整，直至所述SVM分类器的准确度大于等于预设准确度阈值，得到目标SVM分类器。
9.一种基于监督式学习的TLS加密恶意流量检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于监督式学习的TLS加密恶意流量检测的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于监督式学习的TLS加密恶意流量检测的方法的步骤。
CN201911173792.1A 2019-11-26 2019-11-26 一种基于监督式学习的tls加密恶意流量检测方法及装置 Pending CN111224946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173792.1A CN111224946A (zh) 2019-11-26 2019-11-26 一种基于监督式学习的tls加密恶意流量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173792.1A CN111224946A (zh) 2019-11-26 2019-11-26 一种基于监督式学习的tls加密恶意流量检测方法及装置

Publications (1)

Publication Number Publication Date
CN111224946A true CN111224946A (zh) 2020-06-02

Family

ID=70832103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173792.1A Pending CN111224946A (zh) 2019-11-26 2019-11-26 一种基于监督式学习的tls加密恶意流量检测方法及装置

Country Status (1)

Country Link
CN (1) CN111224946A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680742A (zh) * 2020-06-04 2020-09-18 甘肃电力科学研究院 一种应用于新能源厂站网络安全领域的攻击数据标注方法
CN112422589A (zh) * 2021-01-25 2021-02-26 腾讯科技（深圳）有限公司 域名***请求的识别方法、存储介质及电子设备
CN112468452A (zh) * 2020-11-10 2021-03-09 深圳市欢太科技有限公司 流量检测方法及装置、电子设备、计算机可读存储介质
CN113438332A (zh) * 2021-05-21 2021-09-24 中国科学院信息工程研究所 一种DoH服务标识方法及装置
CN113965390A (zh) * 2021-10-26 2022-01-21 杭州安恒信息技术股份有限公司 一种恶意加密流量检测方法、***及相关装置
CN114615172A (zh) * 2022-03-22 2022-06-10 中国农业银行股份有限公司 流量检测方法及***、存储介质及电子设备
CN115398860A (zh) * 2020-06-04 2022-11-25 深圳市欢太科技有限公司 一种会话检测方法、装置、检测设备及计算机存储介质
WO2023029066A1 (zh) * 2021-08-30 2023-03-09 上海观安信息技术股份有限公司 流式数据的特征提取方法及装置、存储介质、计算机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345704A (zh) * 2008-08-15 2009-01-14 南京邮电大学 基于支持向量机的对等网络流量检测方法
US8418249B1 (en) * 2011-11-10 2013-04-09 Narus, Inc. Class discovery for automated discovery, attribution, analysis, and risk assessment of security threats
CN105187392A (zh) * 2015-08-10 2015-12-23 济南大学 基于网络接入点的移动终端恶意软件检测方法及其***
CN107392015A (zh) * 2017-07-06 2017-11-24 长沙学院 一种基于半监督学习的入侵检测方法
CN109104441A (zh) * 2018-10-24 2018-12-28 上海交通大学 一种基于深度学习的加密恶意流量的检测***和方法
CN109450860A (zh) * 2018-10-16 2019-03-08 南京航空航天大学 一种基于熵和支持向量机的高级持续性威胁的检测方法
US20190166144A1 (en) * 2017-11-30 2019-05-30 Nec Corporation Of America Detection of malicious network activity
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及***
CN110417810A (zh) * 2019-08-20 2019-11-05 西安电子科技大学 基于逻辑回归的增强模型的恶意加密流量检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345704A (zh) * 2008-08-15 2009-01-14 南京邮电大学 基于支持向量机的对等网络流量检测方法
US8418249B1 (en) * 2011-11-10 2013-04-09 Narus, Inc. Class discovery for automated discovery, attribution, analysis, and risk assessment of security threats
CN105187392A (zh) * 2015-08-10 2015-12-23 济南大学 基于网络接入点的移动终端恶意软件检测方法及其***
CN107392015A (zh) * 2017-07-06 2017-11-24 长沙学院 一种基于半监督学习的入侵检测方法
US20190166144A1 (en) * 2017-11-30 2019-05-30 Nec Corporation Of America Detection of malicious network activity
CN109450860A (zh) * 2018-10-16 2019-03-08 南京航空航天大学 一种基于熵和支持向量机的高级持续性威胁的检测方法
CN109104441A (zh) * 2018-10-24 2018-12-28 上海交通大学 一种基于深度学习的加密恶意流量的检测***和方法
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及***
CN110417810A (zh) * 2019-08-20 2019-11-05 西安电子科技大学 基于逻辑回归的增强模型的恶意加密流量检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDERSON: "《IdentifyingEncrypted Malware Traffic with Contextual Flow Data》", 《PROCEEDINGS OF THE 2016ACM WORKSHOPON ARTIFICIAL INTELLIGENCE AND SECURITY》 *
MOHAMMAD SAIFUL ISLAM MAMUN: "《An Entropy Based Encrypted Traffic Classifier》", 《INFORMATION AND COMMUNICATIONS SECURITY. 17TH INTERNATIONAL CONFERENCE》 *
REGIS J: "《端口镜像》", 《北电网络第三层交换技术》 *
程光: "《基于支持向量机的加密流量识别方法》", 《东南大学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680742A (zh) * 2020-06-04 2020-09-18 甘肃电力科学研究院 一种应用于新能源厂站网络安全领域的攻击数据标注方法
CN115398860A (zh) * 2020-06-04 2022-11-25 深圳市欢太科技有限公司 一种会话检测方法、装置、检测设备及计算机存储介质
CN112468452A (zh) * 2020-11-10 2021-03-09 深圳市欢太科技有限公司 流量检测方法及装置、电子设备、计算机可读存储介质
CN112468452B (zh) * 2020-11-10 2023-06-02 深圳市欢太科技有限公司 流量检测方法及装置、电子设备、计算机可读存储介质
CN112422589A (zh) * 2021-01-25 2021-02-26 腾讯科技（深圳）有限公司 域名***请求的识别方法、存储介质及电子设备
CN113438332A (zh) * 2021-05-21 2021-09-24 中国科学院信息工程研究所 一种DoH服务标识方法及装置
WO2023029066A1 (zh) * 2021-08-30 2023-03-09 上海观安信息技术股份有限公司 流式数据的特征提取方法及装置、存储介质、计算机设备
CN113965390A (zh) * 2021-10-26 2022-01-21 杭州安恒信息技术股份有限公司 一种恶意加密流量检测方法、***及相关装置
CN114615172A (zh) * 2022-03-22 2022-06-10 中国农业银行股份有限公司 流量检测方法及***、存储介质及电子设备
CN114615172B (zh) * 2022-03-22 2024-04-16 中国农业银行股份有限公司 流量检测方法及***、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111224946A (zh) 一种基于监督式学习的tls加密恶意流量检测方法及装置
US10187401B2 (en) Hierarchical feature extraction for malware classification in network traffic
Bhavsar et al. Intrusion detection system using data mining technique: Support vector machine
US10187412B2 (en) Robust representation of network traffic for detecting malware variations
CN113705619A (zh) 一种恶意流量检测方法、***、计算机及介质
Shen et al. Certificate-aware encrypted traffic classification using second-order markov chain
Shen et al. Webpage fingerprinting using only packet length information
US20180150635A1 (en) Apparatus and Method for Using a Support Vector Machine and Flow-Based Features to Detect Peer-to-Peer Botnet Traffic
CN111030941A (zh) 一种基于决策树的https加密流量分类方法
CN110868409A (zh) 一种基于tcp/ip协议栈指纹的操作***被动识别方法及***
Yan et al. Identifying wechat red packets and fund transfers via analyzing encrypted network traffic
CN111447232A (zh) 一种网络流量检测方法及装置
US10462170B1 (en) Systems and methods for log and snort synchronized threat detection
CN109525508A (zh) 基于流量相似性比对的加密流识别方法、装置及存储介质
CN112769633B (zh) 一种代理流量检测方法、装置、电子设备及可读存储介质
CN112217763A (zh) 一种基于机器学习的隐蔽tls通信流检测方法
CN111245784A (zh) 多维度检测恶意域名的方法
Kausar et al. Traffic analysis attack for identifying users’ online activities
Mubarak et al. Industrial datasets with ICS testbed and attack detection using machine learning techniques
Hareesh et al. Anomaly detection system based on analysis of packet header and payload histograms
CN111464510A (zh) 一种基于快速梯度提升树模型的网络实时入侵检测方法
Özdel et al. Payload-based network traffic analysis for application classification and intrusion detection
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
Iqbal et al. Analysis of a payload-based network intrusion detection system using pattern recognition processors
CN116055092A (zh) 一种隐蔽隧道攻击行为检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602