CN113612749A - 一种面向入侵行为的溯源数据聚类方法及装置 - Google Patents
一种面向入侵行为的溯源数据聚类方法及装置 Download PDFInfo
- Publication number
- CN113612749A CN113612749A CN202110850221.8A CN202110850221A CN113612749A CN 113612749 A CN113612749 A CN 113612749A CN 202110850221 A CN202110850221 A CN 202110850221A CN 113612749 A CN113612749 A CN 113612749A
- Authority
- CN
- China
- Prior art keywords
- tracing
- node
- nodes
- information
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000005295 random walk Methods 0.000 claims abstract description 23
- 230000006399 behavior Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000007123 defense Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向入侵行为的溯源数据聚类方法及装置,属于计算机技术领域,方法包括:收集***内核的溯源信息,并进行预处理以过滤与入侵行为无关的节点以及与节点相关的依赖关系;将预处理后的溯源信息转换成溯源图,并构建溯源图的邻接矩阵和节点属性矩阵;从溯源图中选取多个根节点作为随机游走的种子节点,使种子节点按照游走策略进行随机游走,得到溯源图的游走路径以及溯源边的权重;游走策略为:种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1‑p)从节点属性矩阵游走到与其存在相同属性的节点;根据游走路径以及溯源边的权重进行聚类。能够精确区分不同溯源事件,为后续的检测和查询提供更精确的数据。
Description
技术领域
本发明属于计算机技术领域,更具体地,涉及一种面向入侵行为的溯源数据聚类方法及装置。
背景技术
在网络空间这个大战场中,攻防博弈双方实质上是信息获取能力的对抗,只有获取更多、更全的信息才能制定有效的攻防策略,在网络空间战场博弈中获得优势。目前的基于主机的入侵检测方法主要基于记录和分析Unix shell命令数据或入侵行为的***调用信息,例如***调用的序列及发生的概率。然而,这些方法并未揭露详细的内在入侵事件信息(例如***漏洞和入侵来源),它们的检测精确性并不高。尽管可以通过日志这种非结构化数据来分析***被入侵的过程,但是从大量包含有用户正常行为以及入侵者的非法行为中获取有用日志信息仍然是一个非常繁琐的过程。
实际上,攻击者的攻击行为步骤是具有因果关联的。攻击溯源就是基于这种因果关联把与攻击相关的信息关联到一起构建溯源图(provenance graph),并从中找到攻击者及攻击路径。但溯源数据具有数据量大,且增长速度极快的特点,不同事件的溯源信息通常混杂在一起,不易区分。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种面向入侵行为的溯源数据聚类方法及装置,旨在解决不同用户行为区分困难的技术问题。
为实现上述目的,本发明提供了一种面向入侵行为的溯源数据聚类方法,包括以下步骤:
S1,收集***内核的溯源信息,并对所述溯源信息进行预处理,以过滤与入侵行为无关的节点以及与所述节点相关的依赖关系;
S2,将预处理后的溯源信息转换成溯源图,并构建所述溯源图的邻接矩阵和节点属性矩阵;
S3,从所述溯源图中选取多个根节点作为随机游走的种子节点,使所述种子节点按照游走策略进行随机游走,得到所述溯源图的游走路径以及溯源边的权重;所述游走策略为:所述种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1-p)从节点属性矩阵游走到与其存在相同属性的节点;
S4,根据所述游走路径以及溯源边的权重进行聚类。
进一步地,所述S4包括:
根据所述游走路径以及溯源边的权重,结合社区发现算法Infomap,进行重叠子社区聚类,并选取最小的信息熵值对应的社区划分作为最终聚类结果。
进一步地,当收集到新的溯源信息时,在所述最终聚类结果上进行增量聚类;其中,
若所述新的溯源信息中一新节点仅与所述最终聚类结果中一个社区的内部节点相连,则将所述一新节点划分到该社区;
若所述新的溯源信息中一新节点与所述最终聚类结果中多个社区的节点相连,则按照模块度指标进行增量更新,并根据增量更新的结果进行社区划分;
否则,将所述一新节点划分为一个新的社区。
进一步地,所述S1中,收集***内核的溯源信息,包括:
拦截***调用并处理得到溯源实体,所述溯源实体包括进程节点、文件节点、网络连接节点和管道节点;
初始化所述溯源实体,并分别收集与溯源实体中各节点相关的属性信息以及依赖关系;
去掉属性信息完全相同的节点,并对属性信息部分相同的同类型节点进行版本号区分。
进一步地,所述S4之后,还包括:
S5,引入固态硬盘SSD和硬盘驱动器HDD两种存储介质实现聚类后的溯源信息的冷热存储;利用聚类后的溯源信息中各个节点之间的依赖关系建立溯源规则库;
S6,根据用户发送的查询请求对所述溯源规则库的查询情况进行记录,并根据记录结果进行冷热数据的调度;将长期未被使用到的溯源信息进行压缩,以节约溯源信息的空间开销。
进一步地,所述S6包括:
将所述溯源规则库无差别的存入HDD中,当收到用户发送的查询请求时,根据节点的依赖关系对节点的全部子节点进行递归查找,以将查询的结果反馈给用户并将查询到的规则迁移到SSD中,同时在SSD中维护规则数据的淘汰列表;将长期未被使用到的溯源信息进行压缩,以节约溯源信息的空间开销;
其中,所述淘汰列表用于存储规则关系并使用LRU队列,每次查询后重新维护所述LRU队列,所述LRU队列中的队尾数据为最近且最少使用的规则关系。
进一步地,当SSD存放满之后,将SSD中变冷的数据替换到HDD,以实现冷热数据分级存储,提高查询效率。
进一步地,所述将长期未被使用到的溯源信息进行压缩,包括:
周期性地将未被查询到的溯源信息进行bzip压缩,且将之前的查询记录清空。
为实现上述目的,本发明还提供了一种面向入侵行为的溯源数据聚类装置,包括:
收集与预处理模块,用于收集***内核的溯源信息,并对所述溯源信息进行预处理,以过滤与入侵行为无关的节点以及与所述节点相关的依赖关系;
转换与构建模块,用于将预处理后的溯源信息转换成溯源图,并构建所述溯源图的邻接矩阵和节点属性矩阵;
随机游走模块,用于从所述溯源图中选取多个根节点作为随机游走的种子节点,使所述种子节点按照游走策略进行随机游走,得到所述溯源图的游走路径以及溯源边的权重;所述游走策略为:所述种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1-p)从节点属性矩阵游走到与其存在相同属性的节点;
聚类模块,用于根据所述游走路径以及溯源边的权重进行聚类。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明通过过滤、压缩等预处理来提取有效溯源信息;将预处理后的溯源信息转换成溯源图,从溯源图中选取多个根节点作为随机游走的种子节点,使种子节点按照游走策略进行随机游走,得到溯源图的游走路径以及溯源边的权重,并以此进行聚类;其中,游走策略为:种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1-p)从节点属性矩阵游走到与其存在相同属性的节点。本发明创新地提出了一种多种子节点的随机游走策略,通过不同游走节点相互影响,互相打上游走标签,从而得到更准确的聚类结果。
(2)本发明结合社区发现算法Infomap,进行重叠子社区聚类,并选取最小的信息熵值对应的社区划分作为最终聚类结果;改进了目前针对有向图社区发现算法Infomap,更好的发现溯源图中的重叠子图,让其能更好的结合溯源特征进行聚类,从而进一步提高溯源数据聚类的准确性。
(3)本发明在收集到新的溯源信息时,基于新的溯源信息中新节点与先前确定的聚类结果中社区的连接关系,进行社区划分,从而实现溯源数据动态聚类。
附图说明
图1为本发明实施例提供的一种面向入侵行为的溯源数据聚类方法的流程图;
图2为本发明实施例提供的基于溯源图构建邻接矩阵和节点属性矩阵的示意图;
图3为本发明实施例提供的多种子游走示意图;
图4为本发明实施例提供的存在重叠子社区的社区划分示意图;
图5为本发明实施例提供的动态聚类算法流程图;
图6为本发明实施例提供的一种面向入侵行为的溯源数据聚类装置的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中,本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
参阅图1,结合图2至图5,对本发明进行进一步详细说明。图1本发明实施例提供的一种面向入侵行为的溯源数据聚类方法的流程图,该聚类方法包括操作S1-操作S4。
操作S1,收集***内核的溯源信息,并对所述溯源信息进行预处理,以过滤与入侵行为无关的节点以及与所述节点相关的依赖关系。具体地:
使用SPADE和Camflow等***收集***内核、文件格式以及应用程序的溯源信息;溯源信息包括:进程节点、文件节点、网络连接节点和管道节点的名称及各节点之间的依赖关系。实际操作中,先收集***内核的溯源信息,再从***内核的溯源信息抽象得到文件格式以及应用程序的溯源信息。
其中,溯源收集***包括网络溯源拦截层、网络溯源观察层、网络溯源分析层和网络溯源分布层。网络溯源拦截层拦截accept、connect、send和recv等***调用,并处理得到溯源实体,溯源实体包括进程节点、文件节点、网络连接节点和管道节点;网络溯源观察层初始化溯源实体,并分别收集与溯源实体中各节点相关的属性信息以及依赖关系,其中属性信息包括相关联的IP地址、端口号信息、用户ID和连接创建时间;网络溯源分析层处理溯源信息,去掉属性信息完全相同的节点,并对属性信息部分相同的同类型节点进行版本号区分,以保证不会出现环;网络溯源分布层将获得的溯源信息写入溯源文件***,保存在文件中。
需要说明的是,收集到的溯源信息主要表现形式为节点与节点之间相互依存进而建立相应的依赖关系,这些相互连接的每个节点当中都包含了大量属性信息,这些属性信息对进程以及文件对象等进行了详细的描述。为了进一步节省存储空间并提高检测效率,我们将从来源流中选择用于检测入侵的关键数据。并且我们通过省略程序执行期间生成的临时文件或管道的溯源来过滤数据。因为它们在不同实体(例如文件或进程)之间传输信息,并且生命周期短。因此,它们不太可能包含入侵信息。
操作S2,将预处理后的溯源信息转换成溯源图,并构建所述溯源图的邻接矩阵和节点属性矩阵。具体地:
参阅图2,将预处理后的溯源信息转换成溯源图,溯源图有A、B、C、D、E五个节点,节点属性矩阵H用one-hot编码,总共有5个不同属性构建的邻接矩阵G和节点属性矩阵H如图2所示。
操作S3,从所述溯源图中选取多个根节点作为随机游走的种子节点,使所述种子节点按照游走策略进行随机游走,得到所述溯源图的游走路径以及溯源边的权重;所述游走策略为:所述种子节点中任一节点以概率p从邻接矩阵G游走到与其相邻的节点,以概率(1-p)从节点属性矩阵H游走到与其存在相同属性的节点。具体地:
如图3所示,有社区1和社区2,在没有先验知识(不考虑权重,也就是节点按照不同边游走的概率相同)的情况下,节点A进行随机游走时不能很好区分社区边界,从而造成划分的不准确。一种多种子节点的随机游走方式,通过不同游走节点相互影响,互相打上游走标签,进行更准确的社区划分,例如节点d和节点A同时进行游走d—a,和A—a,而已知d和A属于不同社区,从而认为降低d—a和A—a间的游走概率,可以进行更准确的社区划分。
进一步地,如果一个节点是多个节点的祖先,则说明这个节点是数据流动的目的地,其重要性也越高。此处为每个节点分配一个初始值信息熵值H0,若节点P只有一个输入节点且为其自身,则其H0=0;若节点P有一个或多个输入节点且不包括其自身,则其H0=1。节点p的H值等于其初始值信息熵值H0和其子节点的H值之和。理论上,根节点的节点重要度最高,为了简化,一般采用根节点作为初始游走节点。
游走策略为:种子节点中任一节点以概率p从邻接矩阵G游走到与其相邻的节点,以概率(1-p)从节点属性矩阵H游走到与其存在相同属性的节点,转移矩阵公式为:
其中,其中和分表代表归一化之后的邻接矩阵和节点属性矩阵,n和m分别代表矩阵的行和列,其中n为邻接矩阵G中的节点的数量,m是溯源图中不同属性的数量,在上述例子中,有5个节点,m为5,节点属性矩阵H中有5个不同属性,从而n为5。
以图2为例,假设从节点A开始游走,从邻接矩阵G游走,游走的节点可能是B或C;从节点属性矩阵H游走,游走首先选取节点A的属性b或c,假设选取属性b,则最终游走的节点可能是D或E,假设选取属性c,则最终游走的节点是D。
需要说明的是,由于随机游走能保证溯源图结构,因此,溯源边的权重可以根据游走序列确定。
操作S4,根据所述游走路径以及溯源边的权重进行聚类。具体地:
本实施例中事件聚类采用了社区划分的思想。社区的定义可以理解为:在一个社区内部的边尽可能地多,而社区与社区之间的边尽可能少。同时将社区发现与信息编码联系到一起。一个好的社区划分,可以带来更短的编码。所以,如果能量化编码长度,找到使得长度最短的社区划分,那就找到了一个好的社区划分。
进一步地,如图4所示,节点7属于多个事件(两个社区),不考虑重叠子社区,会导致划分的子图结构不精确。因此,本实施例结合社区发现算法Infomap,进行重叠子社区聚类,并选取最小的信息熵值对应的社区划分作为最终聚类结果。
具体的,采用分层聚类算法:引用信息熵量化社区划分,如以下公式所示,该公式为两部分的加权和,一个是编码不同社区所需的平均字节长度,另一个是编码每个社区中的节点所需的平均字节长度。
其中,H(Q)为编码溯源事件个数所需的平均字节长度,H(Pi)为第i个社区编码每个溯源事件的节点所需的平均字节长度,L(M)为两部分的加权和;pa为对象a出现的概率,qi~为类别i出现的概率,q~=∑iqi~,主要因为类是独一一套编码,将其归一化后,代入熵的公式即可;pi≡=qi~+∑a∈ipa。
最初将不同节点认为成不同社区,按照上述公式逐步合并节点,最终进行溯源事件的聚类。简而言之:Infomap的输入是不同路径序列或者节点和边集,输出是不同社区的节点。
进一步地,本发明在收集到新的溯源信息时,基于新的溯源信息中新节点与先前确定的聚类结果中社区的连接关系,进行社区划分,从而实现溯源数据动态聚类。具体的,动态更新增量聚类,核心思想溯源图是有向图,新节点仅仅影响部分先前节点。如图5所示,代码首先根据距上一次Infomap聚类时间进行判定是否再次进行离线Infomap聚类,若时间小于阈值,则执行增量聚类,这样主要是一方面避免增量聚类的误差累积,另一方面也是为了保证***的效率。
具体来说有三种情况,前两种情况是新节点与社区有边相连,第三种情况是新节点为“根节点”。针对情况1,新节点仅仅与某个社区节点相连,直接将节点划分到该社区。针对情况2,新节点与多个社区节点相连,按照模块度指标进行增量更新。针对情况3,新节点直接为一个新的社区。
进一步地,在S4之后,该聚类方法包括操作S5-操作S6。
操作S5,引入固态硬盘SSD和硬盘驱动器HDD两种存储介质实现聚类后的溯源信息的冷热存储;利用聚类后的溯源信息中各个节点之间的依赖关系建立溯源规则库。
操作S6,根据用户发送的查询请求对所述溯源规则库的查询情况进行记录,并根据记录结果进行冷热数据的调度;将长期未被使用到的溯源信息进行压缩,以节约溯源信息的空间开销。具体地:
将所述溯源规则库无差别的存入HDD中,当收到用户发送的查询请求时,根据节点的依赖关系对节点的全部子节点进行递归查找,以将查询的结果反馈给用户并将查询到的规则迁移到SSD中,同时在SSD中维护规则数据的淘汰列表;将长期未被使用到的溯源信息进行压缩,以节约溯源信息的空间开销;
其中,所述淘汰列表用于存储规则关系并使用LRU队列,每次查询后重新维护所述LRU队列,所述LRU队列中的队尾数据为最近且最少使用的规则关系。
进一步地,当SSD存放满之后,将SSD中变冷的数据替换到HDD,以实现冷热数据分级存储,提高查询效率。
进一步地,周期性地将未被查询到的溯源信息进行bzip压缩,且将之前的查询记录清空。
图6为本发明实施例提供的一种面向入侵行为的溯源数据聚类装置的框图。参阅图6,该面向入侵行为的溯源数据聚类装置600包括收集与预处理模块610、转换与构建模块620、随机游走模块630以及聚类模块640。
收集与预处理模块610例如执行操作S1,用于收集***内核的溯源信息,并对所述溯源信息进行预处理,以过滤与入侵行为无关的节点以及与所述节点相关的依赖关系;
转换与构建模块620例如执行操作S2,用于将预处理后的溯源信息转换成溯源图,并构建所述溯源图的邻接矩阵和节点属性矩阵;
随机游走模块630例如执行操作S3,用于从所述溯源图中选取多个根节点作为随机游走的种子节点,使所述种子节点按照游走策略进行随机游走,得到所述溯源图的游走路径以及溯源边的权重;所述游走策略为:所述种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1-p)从节点属性矩阵游走到与其存在相同属性的节点;
聚类模块640例如执行操作S4,用于根据所述游走路径以及溯源边的权重进行聚类。
面向入侵行为的溯源数据聚类装置600用于执行上述图1所示实施例中的面向入侵行为的溯源数据聚类方法。本实施例未尽之细节,请参阅前述图1所示实施例中的面向入侵行为的溯源数据聚类方法,此处不再赘述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种面向入侵行为的溯源数据聚类方法,其特征在于,包括以下步骤:
S1,收集***内核的溯源信息,并对所述溯源信息进行预处理,以过滤与入侵行为无关的节点以及与所述节点相关的依赖关系;
S2,将预处理后的溯源信息转换成溯源图,并构建所述溯源图的邻接矩阵和节点属性矩阵;
S3,从所述溯源图中选取多个根节点作为随机游走的种子节点,使所述种子节点按照游走策略进行随机游走,得到所述溯源图的游走路径以及溯源边的权重;所述游走策略为:所述种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1-p)从节点属性矩阵游走到与其存在相同属性的节点;
S4,根据所述游走路径以及溯源边的权重进行聚类。
2.根据权利要求1所述的面向入侵行为的溯源数据聚类方法,其特征在于,所述S4包括:
根据所述游走路径以及溯源边的权重,结合社区发现算法Infomap,进行重叠子社区聚类,并选取最小的信息熵值对应的社区划分作为最终聚类结果。
3.根据权利要求2所述的面向入侵行为的溯源数据聚类方法,其特征在于,当收集到新的溯源信息时,在所述最终聚类结果上进行增量聚类;其中,
若所述新的溯源信息中一新节点仅与所述最终聚类结果中一个社区的内部节点相连,则将所述一新节点划分到该社区;
若所述新的溯源信息中一新节点与所述最终聚类结果中多个社区的节点相连,则按照模块度指标进行增量更新,并根据增量更新的结果进行社区划分;
否则,将所述一新节点划分为一个新的社区。
4.根据权利要求1至3任一项所述的面向入侵行为的溯源数据聚类方法,其特征在于,所述S1中,收集***内核的溯源信息,包括:
拦截***调用并处理得到溯源实体,所述溯源实体包括进程节点、文件节点、网络连接节点和管道节点;
初始化所述溯源实体,并分别收集与溯源实体中各节点相关的属性信息以及依赖关系;
去掉属性信息完全相同的节点,并对属性信息部分相同的同类型节点进行版本号区分。
5.根据权利要求1所述的面向入侵行为的溯源数据聚类方法,其特征在于,所述S4之后,还包括:
S5,引入固态硬盘SSD和硬盘驱动器HDD两种存储介质实现聚类后的溯源信息的冷热存储;利用聚类后的溯源信息中各个节点之间的依赖关系建立溯源规则库;
S6,根据用户发送的查询请求对所述溯源规则库的查询情况进行记录,并根据记录结果进行冷热数据的调度;将长期未被使用到的溯源信息进行压缩,以节约溯源信息的空间开销。
6.根据权利要求5所述的面向入侵行为的溯源数据聚类方法,其特征在于,所述S6包括:
将所述溯源规则库无差别的存入HDD中,当收到用户发送的查询请求时,根据节点的依赖关系对节点的全部子节点进行递归查找,以将查询的结果反馈给用户并将查询到的规则迁移到SSD中,同时在SSD中维护规则数据的淘汰列表;将长期未被使用到的溯源信息进行压缩,以节约溯源信息的空间开销;
其中,所述淘汰列表用于存储规则关系并使用LRU队列,每次查询后重新维护所述LRU队列,所述LRU队列中的队尾数据为最近且最少使用的规则关系。
7.根据权利要求6所述的面向入侵行为的溯源数据聚类方法,其特征在于,当SSD存放满之后,将SSD中变冷的数据替换到HDD,以实现冷热数据分级存储,提高查询效率。
8.根据权利要求5至7任一项所述的面向入侵行为的溯源数据聚类方法,其特征在于,所述将长期未被使用到的溯源信息进行压缩,包括:
周期性地将未被查询到的溯源信息进行bzip压缩,且将之前的查询记录清空。
9.一种面向入侵行为的溯源数据聚类装置,其特征在于,包括:
收集与预处理模块,用于收集***内核的溯源信息,并对所述溯源信息进行预处理,以过滤与入侵行为无关的节点以及与所述节点相关的依赖关系;
转换与构建模块,用于将预处理后的溯源信息转换成溯源图,并构建所述溯源图的邻接矩阵和节点属性矩阵;
随机游走模块,用于从所述溯源图中选取多个根节点作为随机游走的种子节点,使所述种子节点按照游走策略进行随机游走,得到所述溯源图的游走路径以及溯源边的权重;所述游走策略为:所述种子节点中任一节点以概率p从邻接矩阵游走到与其相邻的节点,以概率(1-p)从节点属性矩阵游走到与其存在相同属性的节点;
聚类模块,用于根据所述游走路径以及溯源边的权重进行聚类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850221.8A CN113612749B (zh) | 2021-07-27 | 2021-07-27 | 一种面向入侵行为的溯源数据聚类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850221.8A CN113612749B (zh) | 2021-07-27 | 2021-07-27 | 一种面向入侵行为的溯源数据聚类方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113612749A true CN113612749A (zh) | 2021-11-05 |
CN113612749B CN113612749B (zh) | 2022-04-01 |
Family
ID=78305560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110850221.8A Active CN113612749B (zh) | 2021-07-27 | 2021-07-27 | 一种面向入侵行为的溯源数据聚类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113612749B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114710344A (zh) * | 2022-03-30 | 2022-07-05 | 华中科技大学 | 一种基于溯源图的入侵检测方法 |
CN115118500A (zh) * | 2022-06-28 | 2022-09-27 | 深信服科技股份有限公司 | 攻击行为规则获取方法、装置及电子设备 |
CN115514580A (zh) * | 2022-11-11 | 2022-12-23 | 华中科技大学 | 一种自编码器溯源入侵检测方法及装置 |
CN116600135A (zh) * | 2023-06-06 | 2023-08-15 | 广州大学 | 基于无损压缩的溯源图压缩方法及*** |
CN116738413A (zh) * | 2023-06-05 | 2023-09-12 | 广州大学 | 基于溯源图的反向传播攻击调查的方法、***及装置 |
CN116909542A (zh) * | 2023-06-28 | 2023-10-20 | 湖南大学重庆研究院 | 一种汽车软件模块划分***、方法及存储介质 |
CN117494117A (zh) * | 2023-11-17 | 2024-02-02 | 北京天融信网络安全技术有限公司 | 一种远程过程调用的跟踪***及跟踪方法 |
CN117689450A (zh) * | 2024-01-29 | 2024-03-12 | 北京一起网科技股份有限公司 | 一种基于大数据的数字化营销*** |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216943A (ja) * | 2011-03-31 | 2012-11-08 | Kddi Corp | ネットワークにおけるコミュニティ構造検出装置及び方法 |
US20150032767A1 (en) * | 2013-07-26 | 2015-01-29 | Microsoft Corporation | Query expansion and query-document matching using path-constrained random walks |
CN104657901A (zh) * | 2015-01-14 | 2015-05-27 | 重庆邮电大学 | 一种基于随机游走的标签传播社区发现方法 |
CN107403091A (zh) * | 2017-07-06 | 2017-11-28 | 华中科技大学 | 一种结合溯源路径和溯源图的实时入侵检测*** |
CN107578136A (zh) * | 2017-09-14 | 2018-01-12 | 福州大学 | 基于随机游走与种子扩展的重叠社区发现方法 |
CN109101997A (zh) * | 2018-07-11 | 2018-12-28 | 浙江理工大学 | 一种采样受限主动学习的溯源方法 |
EP3648039A1 (en) * | 2017-10-10 | 2020-05-06 | Alibaba Group Holding Limited | Random walking and cluster-based random walking method, apparatus and device |
CN111949838A (zh) * | 2020-08-19 | 2020-11-17 | 创新奇智(上海)科技有限公司 | 一种数据的传播路径生成方法、装置、设备及存储介质 |
CN112528279A (zh) * | 2020-12-15 | 2021-03-19 | 华中科技大学 | 一种入侵检测模型的建立方法和装置 |
CN112633314A (zh) * | 2020-10-15 | 2021-04-09 | 浙江工业大学 | 一种基于多层采样的主动学习溯源攻击方法 |
JP2021081869A (ja) * | 2019-11-15 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
CN112905996A (zh) * | 2021-03-23 | 2021-06-04 | 贵州航天云网科技有限公司 | 基于多维度数据关联分析的信息安全溯源***及方法 |
-
2021
- 2021-07-27 CN CN202110850221.8A patent/CN113612749B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216943A (ja) * | 2011-03-31 | 2012-11-08 | Kddi Corp | ネットワークにおけるコミュニティ構造検出装置及び方法 |
US20150032767A1 (en) * | 2013-07-26 | 2015-01-29 | Microsoft Corporation | Query expansion and query-document matching using path-constrained random walks |
CN104657901A (zh) * | 2015-01-14 | 2015-05-27 | 重庆邮电大学 | 一种基于随机游走的标签传播社区发现方法 |
CN107403091A (zh) * | 2017-07-06 | 2017-11-28 | 华中科技大学 | 一种结合溯源路径和溯源图的实时入侵检测*** |
CN107578136A (zh) * | 2017-09-14 | 2018-01-12 | 福州大学 | 基于随机游走与种子扩展的重叠社区发现方法 |
EP3648039A1 (en) * | 2017-10-10 | 2020-05-06 | Alibaba Group Holding Limited | Random walking and cluster-based random walking method, apparatus and device |
CN109101997A (zh) * | 2018-07-11 | 2018-12-28 | 浙江理工大学 | 一种采样受限主动学习的溯源方法 |
JP2021081869A (ja) * | 2019-11-15 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
CN111949838A (zh) * | 2020-08-19 | 2020-11-17 | 创新奇智(上海)科技有限公司 | 一种数据的传播路径生成方法、装置、设备及存储介质 |
CN112633314A (zh) * | 2020-10-15 | 2021-04-09 | 浙江工业大学 | 一种基于多层采样的主动学习溯源攻击方法 |
CN112528279A (zh) * | 2020-12-15 | 2021-03-19 | 华中科技大学 | 一种入侵检测模型的建立方法和装置 |
CN112905996A (zh) * | 2021-03-23 | 2021-06-04 | 贵州航天云网科技有限公司 | 基于多维度数据关联分析的信息安全溯源***及方法 |
Non-Patent Citations (5)
Title |
---|
DIE HU;DAN FENG;YULAI XIE;GONGMING XU;XINRUI GU;DARRELL LONG: "Efficient Provenance Management via Clustering and Hybrid Storage in Big Data Environments", 《IEEE TRANSACTIONS ON BIG DATA》 * |
YULAI XIE;DAN FENG;YUCHONG HU;YAN LI;STAUNTON SAMPLE;DARRELLLONG: "Pagoda: A Hybrid Approach to Enable Efficient Real-Time Provenance Based Intrusion Detection in Big Data Environments", 《IEEE TRANSACTIONS ON DEPENDABLE AND SECURE COMPUTING》 * |
刘盈: "溯源数据聚类方法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
廖雪龙,谢雨来,荣震,秦磊华,陈俭喜,冯丹: "对象存储下的溯源收集与存储研究", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/11.5602.TP.20170511.1205.002.HTML》 * |
谢雨来: "溯源的高效存储管理及在安全方面的应用研究", 《中国博士学位论文全文数据库(信息科技辑)》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114710344B (zh) * | 2022-03-30 | 2022-12-02 | 华中科技大学 | 一种基于溯源图的入侵检测方法 |
CN114710344A (zh) * | 2022-03-30 | 2022-07-05 | 华中科技大学 | 一种基于溯源图的入侵检测方法 |
CN115118500B (zh) * | 2022-06-28 | 2023-11-07 | 深信服科技股份有限公司 | 攻击行为规则获取方法、装置及电子设备 |
CN115118500A (zh) * | 2022-06-28 | 2022-09-27 | 深信服科技股份有限公司 | 攻击行为规则获取方法、装置及电子设备 |
CN115514580A (zh) * | 2022-11-11 | 2022-12-23 | 华中科技大学 | 一种自编码器溯源入侵检测方法及装置 |
CN116738413B (zh) * | 2023-06-05 | 2024-02-13 | 广州大学 | 基于溯源图的反向传播攻击调查的方法、***及装置 |
CN116738413A (zh) * | 2023-06-05 | 2023-09-12 | 广州大学 | 基于溯源图的反向传播攻击调查的方法、***及装置 |
CN116600135A (zh) * | 2023-06-06 | 2023-08-15 | 广州大学 | 基于无损压缩的溯源图压缩方法及*** |
CN116600135B (zh) * | 2023-06-06 | 2024-02-13 | 广州大学 | 基于无损压缩的溯源图压缩方法及*** |
CN116909542A (zh) * | 2023-06-28 | 2023-10-20 | 湖南大学重庆研究院 | 一种汽车软件模块划分***、方法及存储介质 |
CN116909542B (zh) * | 2023-06-28 | 2024-05-17 | 湖南大学重庆研究院 | 一种汽车软件模块划分***、方法及存储介质 |
CN117494117A (zh) * | 2023-11-17 | 2024-02-02 | 北京天融信网络安全技术有限公司 | 一种远程过程调用的跟踪***及跟踪方法 |
CN117689450A (zh) * | 2024-01-29 | 2024-03-12 | 北京一起网科技股份有限公司 | 一种基于大数据的数字化营销*** |
CN117689450B (zh) * | 2024-01-29 | 2024-04-19 | 北京一起网科技股份有限公司 | 一种基于大数据的数字化营销*** |
Also Published As
Publication number | Publication date |
---|---|
CN113612749B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113612749B (zh) | 一种面向入侵行为的溯源数据聚类方法及装置 | |
CN111565205B (zh) | 网络攻击识别方法、装置、计算机设备和存储介质 | |
US8069210B2 (en) | Graph based bot-user detection | |
US8554738B2 (en) | Mitigation of obsolescence for archival services | |
CN104769586A (zh) | 采用位置信息剖析数据 | |
US8037057B2 (en) | Multi-column statistics usage within index selection tools | |
CN114124503B (zh) | 一种逐级并发缓存优化效能的智能网络感知方法 | |
CN110719106B (zh) | 一种基于节点分类排序的社交网络图压缩方法及*** | |
CN106062751A (zh) | 对与数据类型有关的数据剖析操作的管理 | |
CN110659284A (zh) | 基于树图结构的区块定序方法及***、数据处理终端 | |
CN110018997B (zh) | 一种基于hdfs的海量小文件存储优化方法 | |
CN114662096A (zh) | 一种基于图核聚类的威胁狩猎方法 | |
Ding et al. | Bitsense: Universal and nearly zero-error optimization for sketch counters with compressive sensing | |
US20220171815A1 (en) | System and method for generating filters for k-mismatch search | |
Luo et al. | A capacity-elastic cuckoo filter design for dynamic set representation | |
Ediger et al. | Computational graph analytics for massive streaming data | |
CN115567305A (zh) | 基于深度学习的顺序网络攻击预测分析方法 | |
CN112148929A (zh) | 基于树形网络的大数据分析方法及装置 | |
Sahu | An Improved Pattern Mining Technique for Graph Pattern Analysis Using Novel Behavior of Artificial Bee Colony Algorithm | |
CN115080921B (zh) | 一种基于审计敏感的改进的Top-k Dominating方法 | |
CN110471962B (zh) | 活跃数据报表的生成方法和*** | |
CN117973695B (zh) | 一种基于人工智能的网络安全事件评估方法及*** | |
CN112559571B (zh) | 一种面向数值型流数据的近似离群点计算方法和*** | |
Zheng | Distributed Local Outlier Factor with Locality-Sensitive Hashing | |
Strouthopoulos et al. | Core discovery in hidden graphs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |