CN116132095A - 一种融合统计特征和图结构特征的隐蔽恶意流量检测方法 - Google Patents

一种融合统计特征和图结构特征的隐蔽恶意流量检测方法 Download PDF

Info

Publication number
CN116132095A
CN116132095A CN202211477370.5A CN202211477370A CN116132095A CN 116132095 A CN116132095 A CN 116132095A CN 202211477370 A CN202211477370 A CN 202211477370A CN 116132095 A CN116132095 A CN 116132095A
Authority
CN
China
Prior art keywords
graph
flow
data
stream
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211477370.5A
Other languages
English (en)
Inventor
卢功利
孙辉
周国栋
赵益平
郑康锋
武斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan jiuhua electronic equipment factory
Beijing University of Posts and Telecommunications
Original Assignee
Kunshan jiuhua electronic equipment factory
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan jiuhua electronic equipment factory, Beijing University of Posts and Telecommunications filed Critical Kunshan jiuhua electronic equipment factory
Priority to CN202211477370.5A priority Critical patent/CN116132095A/zh
Publication of CN116132095A publication Critical patent/CN116132095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，包括：监听网关流量，将相同的源和目的地址的数据包聚合成数据流，构造出流量交互图，图中节点表示一个主机，一条边表示一个数据流；对各个数据流中的数据包进行逐包特征提取，将数据流中逐包特征集合生成流特征直方图，再将不等长的流特征直方图转化为等长的流特征向量；将流量交互图根据各个节点数据流之间的关系转化为一种新的图结构——流量关联图，该图以流作为节点，流特征向量作为节点属性；使用图卷积神经网络训练流关联图，最终识别出隐蔽的恶意流量。通过上述方式，本发明可以高效且准确的检测出恶意隐蔽流量，能够在安全性高的同时消耗较少的时间和空间。

Description

一种融合统计特征和图结构特征的隐蔽恶意流量检测方法
技术领域
本发明涉及网络安全技术领域，特别是涉及一种融合统计特征和图结构特征的隐蔽恶意流量检测方法。
背景技术
随着网络通信技术的不断发展，生活中的各个基础设施均信息化和数字化，它们均通过网络流量进行传输和控制，新的网络攻击不断涌现，这些攻击威胁着军事领域、工业领域和基础设施的安全，其规模还在逐渐扩大。
新型网络攻击流量通常具有如下特点：
隐蔽性：新型网络流量通常已经经过加密处理且通伪装成正常流量，数据包内容无法直接获取，无法通过对数据包内容进行规则匹配、自然语言处理等措施，检测难度大大提升；
缓慢性：攻击者往往缓慢地进行攻击，使得攻击流量能够淹没在正常流量中，使得防御者难以从数据量很大的正常流量中区分出隐蔽的恶意流量。
如何检测到隐蔽的恶意流量成为了近两年热门的研究方向。由于目前攻击流量通常是加密流量，对于加密流量的检测通常用基于统计特征或者基于流量交互图的检测方法，基于流量统计特征的方法仅仅关注了流量本身的内在特征，由于攻击流量的缓慢性，基于流量统计特征难以区分出正常数据流和恶意数据流，且基于多种统计特征结合机器学习进行分类的分类所需的时间和内存较大同时也损失了一些数据包级特征的信息，无法满足高带宽、高安全性要求的网络环境；而基于流量交互图的检测方法关注的是流量的结构特征，忽略了流量本身的特征，也无法精准检测出恶意隐蔽流量。因此以上恶意隐蔽流量检测方案不满足与对新型隐蔽流量进行检测。
基于以上缺陷和不足，有必要对现有的技术予以改进，设计出一种融合统计特征和图结构特征的隐蔽恶意流量检测方法。
发明内容
本发明主要解决的技术问题是提供一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，可以高效且准确的检测出恶意隐蔽流量，能够在安全性高的同时消耗较少的时间和空间。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，包括以下步骤：
步骤S1：监听网关流量，将数据包聚合成数据流，构造出流量交互图，图中节点表示一个主机，一条边表示一个数据流；
步骤S2：对各个数据流中的数据包进行数据包级特征提取，将数据流中逐包特征集合生成流特征直方图，将不等长的流特征直方图转化为等长的流特征向量；
步骤S3：将流量交互图根据各个节点数据流之间的关系转化为流量关联图，该图以流作为节点，流特征向量作为节点属性；
步骤S4：使用图卷积神经网络训练数据流特征和图结构特征，最终识别出隐蔽的恶意流量。
优选的是，步骤S1中将流量监听设备设置在网关处，监听局域网内部的流量。
优选的是，步骤S1中根据源IP和目的IP将在该时间段内监听到的数据包聚集成流。
优选的是，步骤S2中对数据流进行数据包粒度特征提取，再将数据包粒度特征向量的转化成定长的流特征向量，输入到图卷积神经网络中进行学习和训练，最终得到分类结果。
优选的是，步骤S3中将流量交互图中的边转化成流量关联图中的节点，通过两个数据流是否与同一个主机有通信来判断两个数据流节点是否相连，将流量关联图输入到图卷积神经网络中进行训练，其中隐藏层将领居节点的特征进行聚类，最后再连接softmax全连接层完成节点的分类。
优选的是，对数据包进行解析，提取出每一个数据包的长度、协议、与上一个数据包的时间间隔、端口号这四类特征，记录数据流中每一个数据包的特征，且保存一份链接开始的时间戳和持续时间。
优选的是，对数据包粒度特征进行处理，首先，对数据流中各个特征值的计数，分别对不同特征进行计数操作，每个数据流生成四个直方图，由于无法预知各个特征有多少种特征值所以直方图的长度是不可预知，所以需要统一它的长度。
使用敏感Hash函数来将不定长特征直方图转化为定长的特征向量，分别对不同的特征直方图进行敏感hash值计算，两个不同直方图的敏感Hash值之间的Jaccard相似度逼近直方图之间的Jaccard相似度。
优选的是，步骤S4中图卷积神经网络可以同时对特征矩阵和图结构进行训练，但是只能训练节点的特征矩阵，而目前的流特征向量表示的是边特征属性，为了将边特征转化为节点特征将流量交互图转化成流量关联图，然后将特征向量和流量关联图一起输入到图卷积神经网络种进行训练。
与现有技术相比，本发明的有益效果是：
融合了流量统计特征和结构特征，流量统计特征表示了两主机之间数据流的特征，结构特征为局域网内流量交互特征，前者着眼于数据包本身，后者着眼于全局的结构特征，正常流量和恶意流量之间至少有一种特征是不同的，利用流量交互图的变换使得图卷积神经网络可以融合流量统计特征和结构特征，更加全面的学习隐蔽恶意流量和正常流量的区别；
逐包统计数据包特征并记录下来，经过直方图、流特征向量的转变，使得流的数据包级特征被完整的记录在定长的流特征向量中，减少了手动构造的统计特征的信息丢失，定长的特征向量也保证了检测的时间和空间方面的消耗。
附图说明
图1为一种融合统计特征和图结构特征的隐蔽恶意流量检测方法的***架构图。
图2为一种融合统计特征和图结构特征的隐蔽恶意流量检测方法的流程图。
具体实施方式
下面结合附图对本发明较佳实施例进行详细阐述，以使发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1和图2，本发明实施例包括：
一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，该种融合统计特征和图结构特征的隐蔽恶意流量检测方法包括以下步骤：
步骤S1：监听网关流量，将数据包聚合成数据流，构造出流量交互图，图中节点表示一个主机，一条边表示一个数据流；
步骤S2：对各个数据流中的数据包进行数据包级特征提取，将数据流中逐包特征集合生成流特征直方图，将不等长的流特征直方图转化为等长的流特征向量；
步骤S3：将流量交互图根据各个节点数据流之间的关系转化为流量关联图，该图以流作为节点，流特征向量作为节点属性；
步骤S4：使用图卷积神经网络训练数据流特征和图结构特征，最终识别出隐蔽的恶意流量。
步骤S1中将流量监听设备设置在网关处，监听局域网内部的流量。
步骤S1中根据源IP和目的IP将在该时间段内监听到的数据包聚集成流，一个数据流作为流量交互图中的一条边，主机作为流量交互图的一个节点，流量交互图中包含了数据流的结构信息，攻击行为一般具有攻击链，攻击者会在局域网内产生异常的横向移动从而感染其他主机，所以部分攻击流量的结构图会区别于正常流量的结构图，可以通过学习流量的结构来区分恶意流量，本发明仅以IP来区分各个节点，因为如果同时以端口和IP来区分节点，一些程序的采用随机端口规则，会对检测造成一定影响。
步骤S2中对数据流进行数据包粒度特征提取，再将数据包粒度特征向量的转化成定长的流特征向量，使得数据流特征可以被图卷积神经网络学习，相似的流特征向量对应的流特征向量也相似，输入到图卷积神经网络中进行学习和训练，最终得到分类结果。
步骤S3中将流量交互图中的边转化成流量关联图中的节点，通过两个数据流是否与同一个主机有通信来判断两个数据流节点是否相连，如果在流量交互图中两个数据流可以连接在同一个主机上则在流量关联图中两者是相连的，图的转变可以使在流量交互图中作为边属性的流特征向量变成节点属性，从而可以参与图卷积神经网络的训练，将流量关联图输入到图卷积神经网络中进行训练，输入层到隐藏层学习流特征向量，并不断将领居节点的信息堆叠起来，最后一层使用softmax分类器来预测结果。
对数据包进行解析，提取出每一个数据包的长度、协议、与上一个数据包的时间间隔、端口号这四类特征，记录数据流中每一个数据包的特征，且保存一份链接开始的时间戳和持续时间。
对数据包粒度特征进行处理，首先，对数据流中各个特征值的计数，分别对不同特征进行计数操作，每个数据流生成四个直方图，由于无法预知各个特征有多少种特征值所以直方图的长度是不可预知，所以需要统一它的长度。
使用敏感Hash函数来将不定长特征直方图转化为定长的特征向量，分别对不同的特征直方图进行敏感hash值计算，两个不同直方图的敏感Hash值之间的Jaccard相似度逼近直方图之间的Jaccard相似度，所以本发明使用敏感Hash值来近似代替直方图进行训练。
步骤S4中图卷积神经网络可以同时对特征矩阵和图结构进行训练，但是只能训练节点的特征矩阵，而目前的流特征向量表示的是边特征属性，为了将边特征转化为节点特征将流量交互图转化成流量关联图，然后将特征向量和流量关联图一起输入到图卷积神经网络种进行训练。
本发明一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，通过对数据包粒度的特征进行处理形成流特征向量，更加全面的保留了数据流的信息，通过计算敏感Hash函数来生成定长的特征向量，减少了空间和时间的消耗，这种特征提取方法可以保证信息不丢失的前提下减少检测成本；通过流量交互图和流量关联图的转变使得图卷积神经网络可以融合流特征和结构特征两个维度的特征，增加检测的准确率。
融合了数据流特征和流量的图特征，兼顾了流本身特征和全局结构特征，提高检测准确率；改进了手动构造流量统计特征的方法，使用流特征直方图为媒介将流中的逐包特征转化为定长的流特征向量，减少了时间和空间的消耗的同时更大程度的保留了特征信息的全面性
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：包括以下步骤：
步骤S1：监听网关流量，将数据包聚合成数据流，构造出流量交互图，图中节点表示一个主机，一条边表示一个数据流；
步骤S2：对各个数据流中的数据包进行数据包级特征提取，将数据流中逐包特征集合生成流特征直方图，将不等长的流特征直方图转化为等长的流特征向量；
步骤S3：将流量交互图根据各个节点数据流之间的关系转化为流量关联图，该图以流作为节点，流特征向量作为节点属性；
步骤S4：使用图卷积神经网络训练数据流特征和图结构特征，最终识别出隐蔽的恶意流量。
2.根据权利要求1所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：步骤S1中将流量监听设备设置在网关处，监听局域网内部的流量。
3.根据权利要求1所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：步骤S1中根据源IP和目的IP将在该时间段内监听到的数据包聚集成流。
4.根据权利要求1所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：步骤S2中对数据流进行数据包粒度特征提取，再将数据包粒度特征向量的转化成定长的流特征向量，输入到图卷积神经网络中进行学习和训练，最终得到分类结果。
5.根据权利要求1所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：步骤S3中将流量交互图中的边转化成流量关联图中的节点，通过两个数据流是否与同一个主机有通信来判断两个数据流节点是否相连，将流量关联图输入到图卷积神经网络中进行训练，其中隐藏层将领居节点的特征进行聚类，最后再连接softmax全连接层完成节点的分类。
6.根据权利要求4所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：对数据包进行解析，提取出每一个数据包的长度、协议、与上一个数据包的时间间隔、端口号这四类特征，记录数据流中每一个数据包的特征，且保存一份链接开始的时间戳和持续时间。
7.根据权利要求4所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：对数据包粒度特征进行处理，首先，对数据流中各个特征值的计数，分别对不同特征进行计数操作，每个数据流生成四个直方图，由于无法预知各个特征有多少种特征值所以直方图的长度是不可预知，所以需要统一它的长度。
8.根据权利要求7所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：使用敏感Hash函数来将不定长特征直方图转化为定长的特征向量，分别对不同的特征直方图进行敏感hash值计算，两个不同直方图的敏感Hash值之间的Jaccard相似度逼近直方图之间的Jaccard相似度。
9.根据权利要求1所述的一种融合统计特征和图结构特征的隐蔽恶意流量检测方法，其特征在于：步骤S4中图卷积神经网络可以同时对特征矩阵和图结构进行训练，但是只能训练节点的特征矩阵，而目前的流特征向量表示的是边特征属性，为了将边特征转化为节点特征将流量交互图转化成流量关联图，然后将特征向量和流量关联图一起输入到图卷积神经网络种进行训练。
CN202211477370.5A 2022-11-23 2022-11-23 一种融合统计特征和图结构特征的隐蔽恶意流量检测方法 Pending CN116132095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211477370.5A CN116132095A (zh) 2022-11-23 2022-11-23 一种融合统计特征和图结构特征的隐蔽恶意流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211477370.5A CN116132095A (zh) 2022-11-23 2022-11-23 一种融合统计特征和图结构特征的隐蔽恶意流量检测方法

Publications (1)

Publication Number Publication Date
CN116132095A true CN116132095A (zh) 2023-05-16

Family

ID=86299882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211477370.5A Pending CN116132095A (zh) 2022-11-23 2022-11-23 一种融合统计特征和图结构特征的隐蔽恶意流量检测方法

Country Status (1)

Country Link
CN (1) CN116132095A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116743508A (zh) * 2023-08-15 2023-09-12 四川新立高科科技有限公司 一种电力***网络攻击链检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116743508A (zh) * 2023-08-15 2023-09-12 四川新立高科科技有限公司 一种电力***网络攻击链检测方法、装置、设备及介质
CN116743508B (zh) * 2023-08-15 2023-11-14 四川新立高科科技有限公司 一种电力***网络攻击链检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110011999B (zh) 基于深度学习的IPv6网络DDoS攻击检测***及方法
CN109960729B (zh) Http恶意流量的检测方法及***
CN109450842B (zh) 一种基于神经网络的网络恶意行为识别方法
CN111935170B (zh) 一种网络异常流量检测方法、装置及设备
CN106713371B (zh) 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法
CN109067586B (zh) DDoS攻击检测方法及装置
CN107040517B (zh) 一种面向云计算环境的认知入侵检测方法
CN113079143A (zh) 一种基于流数据的异常检测方法及***
CN109450721B (zh) 一种基于深度神经网络的网络异常行为识别方法
CN111817982A (zh) 一种面向类别不平衡下的加密流量识别方法
CN111245848B (zh) 一种分层依赖关系建模的工控入侵检测方法
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
CN109218321A (zh) 一种网络入侵检测方法及***
KR20210115991A (ko) 시계열 데이터 분석을 이용한 네트워크 이상징후 탐지 방법 및 장치
CN113821793B (zh) 基于图卷积神经网络的多阶段攻击场景构建方法及***
CN110768946A (zh) 一种基于布隆过滤器的工控网络入侵检测***及方法
Feng et al. Towards learning-based, content-agnostic detection of social bot traffic
Sheikh et al. Procedures, criteria, and machine learning techniques for network traffic classification: a survey
Feng et al. BotFlowMon: Learning-based, content-agnostic identification of social bot traffic flows
CN116132095A (zh) 一种融合统计特征和图结构特征的隐蔽恶意流量检测方法
Hsupeng et al. Explainable malware detection using predefined network flow
Chiu et al. Semi-supervised learning for false alarm reduction
Al-Fawa'reh et al. Detecting stealth-based attacks in large campus networks
CN114650229A (zh) 基于三层模型sftf-l的网络加密流量分类方法与***
CN105429817A (zh) 基于dpi和dfi的非法业务识别装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination