CN109327480B - 一种多步攻击场景挖掘方法 - Google Patents

Abstract

本发明提出了一种新的多步攻击场景挖掘方法。该方法分为线下模式和线上模式两部分。在线下模式下，用户利用已知真实攻击告警日志通过神经网络进行训练剔除错误告警，再经过告警聚合处理和因果关联攻击序列生成等一系列处理进而生成贝叶斯网络攻击图；在线上模式下，用户可以利用大量线上告警日志对之前线下模式生成的神经网络和贝叶斯网络攻击图进行更新迭代，从而使迭代后的攻击图更加完整和准确，最后，我们从贝叶斯网络攻击图中提取多种多步攻击场景。采用本发明的技术方法，可以通过对告警日志的误报消除从大量冗余的告警日志中发现攻击模式、构建多步攻击场景。

Description

一种多步攻击场景挖掘方法

技术领域

本发明涉及网络日志的场景分析领域，本发明提出了一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法。

背景技术

迄今为止，针对于告警关联的研究主要分为四类，基于因果逻辑的方法，基于场景的方法，基于相似性的方法和基于数据挖掘的告警关联分析。

基于因果逻辑的方法假设来自于同一威胁行为的连续异常事件之间存在因果关系，后一个异常事件在前一异常事件有效的前提下进行，其基本思想是给定各种告警类型的发生需要满足的前因和发生之后造成的后果，通过匹配告警之间的前因后果对告警数据进行因果关联，从而重建网络威胁行为。该类方法的优点在于:1.只需分析威胁行为单个步骤的前因后果，无须预先定义整个威胁行为序列；2.具备一定的未知威胁行为检测能力，可以识别不同告警组合形成的未知威胁行为序列。缺点在于:1.只适用于各步骤之间存在明显因果关系的威胁行为，且未知威胁发现能力较弱；2.关联时搜索空间较大，计算开销大，***资源要求较高；3.规则定义粒度难以控制，粒度过细会导致检测漏报率较高，粒度过粗又会导致误报率较高。

基于场景的方法的基本思想在于预先将所有已知的威胁行为抽象成规则知识，然后将待处理告警数据和已定义规则进行匹配，依据匹配结果重现网络威胁行为场景规则知识描述了威胁行为的过程以及各个步骤需要满足的条件。该类方法的优点在于:1.通过多样化的场景描述语言，保持***的灵活性；2.可以通过不断更新知识库保持***有效；结果便于理解。其缺点十分明显:1.基于已有规则难以发现新的攻击，容易被规避；2.算法有一定复杂度，效率不高。

基于相似性的方法假设来自于同一威胁行为的告警之间具有一定的相似性，其基本思想是根据告警之间的相似程度来判定是否进行告警关联，通过将告警数据的属性信息(时间戳、告警类型、地址信息等)统一抽象成向量模式，定义函数计算向量之间的距离，聚类向量以完成告警关联。其最大的特点就是采用定量计算方法来进行告警关联,该类方法的优点在于:1.算法简单，计算开销小；2.检测具有较高相似度告警数据的威胁行为(例如蠕虫攻击)时效果较好。但缺点也十分明显:1.计算相似性的过程中需要大量人工设定参数；2.只能针对特定攻击类型，算法通用性较差。

基于数据挖掘的方法假设来自同一网络威胁行为的告警之间具有一定的联系，其基本思想是采用数据挖掘算法来发现隐藏在数据分布之后的关联关系，根据关联关系信息重建威胁行为序列。频繁序列挖掘是告警关联常用数据挖掘方法之一[8-10]，该方法认为出现在较短的时间间隔内的告警数据之间存在一定的关联关系。根据时间窗口将告警序列分解为多个子序列，然后对这些子序列进行频繁项挖掘，得到的频繁项集中的告警可认为存在关联关系。该类方法的优点在于不需要先验知识的前提下，有能力得到未知的告警类型关联关系，从而发现新的威胁行为序列。其缺点在于:1.数据挖掘算法复杂度较高，计算开销大；2.关联得到的结果准确性难以判断，需要结合领域知识进一步分析。

发明内容

本发明正是基于上述问题，提出了一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法，利用已知真实攻击告警日志通过神经网络进行训练剔除错误告警，再经过告警聚合处理和因果关联攻击序列生成等一系列处理进而生成贝叶斯网络攻击图，同时利用大量线上告警日志对之前线下模式生成的神经网络和贝叶斯网络攻击图进行更新迭代，从而得到更加完整的攻击场景挖掘结果。

为达此目的，本发明采用以下技术方案：

1、一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法，其特征在于，包括以下步骤：

该方法分为两种模式分别为线上模式和线下模式：

A、线下模式：首先利用神经网络完成对错误告警的消除，然后对IDS告警日志进行去除冗余告警处理，并生成攻击场景关联序列；最后将攻击场景序列构建为贝叶斯网络攻击图，包括以下步骤：

A1、提取IDS告警日志的相关告警数量、告警密度、告警周期性这三个属性；

A2、将日志整体划分为训练集和验证集，利用训练集三个属性构建三层全连接神经网络模型，并利用验证集验证模型的正确性，从而消除错误告警；

A3、针对筛选后的告警，首先定义告警事件a，由一个k元组(at₁,at₂,at₃,...,at_k)组成，其中at_i(1≤i≤k)表示告警事件的第i个属性；按每个告警事件的时间戳(timestamp)排序，根据设定时间参数T，以T小时为一个batch,将所有告警共分为L个batch；每个batch记做b_i(1≤i≤L)，对所有的batch按Δt划分时间窗口，遍历每个bi(1≤i≤L)中的所有时间窗，将每个时间窗内的所有告警事件a转化合并为元告警ma，ma满足

从而使告警的数量进一步减少；

A4、依次对bi(1≤i≤L)中所有的元告警ma提取，按照生成L个告警序列；告警序列是一组按时间顺序排列的元告警的集合，记为AS，AS＝{ma₁,ma₂,ma₃,…,ma_n}，并满足

ma_i.timestamp≤ma_j.timestamp(1≤i≤j≤n)；

A5、将L个告警序列AS根据如下因果关联规则从每一个告警序列生成m个攻击场景关联序列ASS；

设A和B为两种不同的元告警：

Ⅰ

Ⅱ{A[dstIPs]＝B[srcIPs],A[dstPort]＝B[srcPort]}

该步骤中ASS是攻击场景序列，即攻击者完成一次多步攻击活动时可能触发IDS产生的告警序列，其中ASS＝{ma₁,ma₂,...,ma_k},ma_i(1≤i≤j≤k)表示第i个元告警，且满足

ma_i.timestamp＜ma_j.timestamp(1≤i≤j≤k)；

A6、对每个攻击场景关联序列ASS，初始化贝叶斯网络攻击图(BAG)，并根据在ASS中的顺序，依次添加序列中的点作为攻击图的节点；确定新加入BAG中的点和存在于BAG中节点的关系，作为该节点ε属性的值；对于每个节点，都有一个概率分布表(CPT)，其显示在给定其父节点的状态时该节点的概率值；在每次将节点添加到网络之后，生成每个节点的CPT；检查告警序列AS中的所有元素是否均是BAG中的节点，如果BAG中不存在该元素，则向BAG中添加直至AS中元素都出现；

A7、经过A6步骤中的过程完成攻击图的构建，最后得到具有4元组(S,τ,ε,P)的贝叶斯网络攻击图，其中S表示攻击图中涉及的所有节点，τ表示两个节点之间的路径，ε表示节点与其父节点之间的关系，P表示概率；

B、线上模式：通过对大量实时告警日志分析，对实现误报消除的神经网络的参数进行更新，从而对贝叶斯网络攻击图完成更新，包括以下步骤：

B1、首先是对于神经网络的线上参数更新，针对于神经网络，设置网络的超参数，如：网络的学习率learning_rate，网络输入的大小batch_size等；分批将告警日志数据以batch_size为一组送入网络，利用随机梯度下降法对参数进行更新；

B2、其次是对于贝叶斯网络攻击图的线上参数更新，针对于S，新的AS序列中如果出现新的元素，则更新BAG中S所代表的节点；针对于τ，针对于新ASS中的多步攻击顺序，更新BAG图节点对应的攻击路径；针对于ε，更新BAG中节点与其父节点之间的关系的二元组<Sj,dj>；针对于P，每个告警节点的概率受其父节点的概率影响，更新每个节点针对于父节点的后验概率，从而更新对应该节点的CPT；

C、根据生成的贝叶斯攻击图进行多步攻击场景挖掘，得到告警日志中所有不同的多步攻击场景序列。

2、根据权利要求1所述的一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法，其特征在于，步骤C进一步包括以下步骤：

C1、固定贝叶斯网络攻击图的根节点和某一个叶节点，若两点之间存在多条路径，则沿其中一条路径找到一个多步攻击序列S，将该攻击序列放入集合Q中；

C2、若上一步根节点和叶节点间存在多条路径，则从Q中取出该攻击序列S，按照不同路径补充完善该攻击序列；当已选择所有路径后，删除该叶节点，并将攻击序列S重新放入集合Q中；

C3、重复步骤C1，直到贝叶斯网络攻击图中只剩根节点，取出集合Q中所有攻击序列，得到最终结果。

附图说明

图1是本发明具体实施方法中线下模式的流程图。

图2是本发明具体实施方法中线上模式的流程图。

图3是本发明具体实施方法中从贝叶斯攻击图进行多步攻击场景挖掘的流程图。

具体实施方式

为使本发明的上述特征和优点更明显易懂，下面结合具体实施方式和附图对本发明方法作进一步详细说明。

如图1所示，本发明的一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法的线下模式，该方法包括以下步骤：

步骤101、提取IDS告警日志的相关告警数量(Numbers of related alert)、告警密度(Alert density)、告警周期性(Alert periodicity)这三个属性。

步骤102、利用前一步提取的三个属性构建全连接神经网络，输出为告警日志的正确概率，消除错误告警。

步骤103、将所有告警共分为L个batch。对所有的batch按划分时间窗口，遍历每个bi(1≤i≤L)中的所有时间窗，将每个时间窗内的所有告警事件a转化合并为元告警ma

步骤104、依次对bi(1≤i≤L)中所有的元告警ma提取，按照生成L个告警序列AS。

步骤105、将L个告警序列AS根据因果关联规则从每一个告警序列生成m个ASS。

步骤106、对每个攻击场景关联序列ASS，构建具有4元组(S,τ,ε,P)的贝叶斯网络攻击图(BAG)。

如图2所示，本发明的一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法的线上模式，该方法包括以下步骤：

步骤201、对于神经网络的线上参数更新，分批将告警日志数据以batch_size为一组送入网络，利用随机梯度下降法对神经元参数进行更新。

步骤202、对贝叶斯网络攻击图的参数(S,τ,ε,P)分别进行线上更新。

如图3所示，本发明的利用完整的贝叶斯网络攻击图进行多步攻击序列挖掘的方法，该方法包括以下步骤：

步骤301、固定贝叶斯网络攻击图的根节点和某一个叶节点，若两点之间存在多条路径，则沿其中一条路径找到一个多步攻击序列S，将该攻击序列放入集合Q中。

步骤302、若上一步根节点和叶节点间存在多条路径，则从Q中取出该攻击序列S，按照不同路径补充完善该攻击序列。当已选择所有路径后，删除该叶节点，并将攻击序列S重新放入集合Q中。

步骤303、重复步骤301，直到贝叶斯网络攻击图中只剩根节点，取出集合Q中所有攻击序列，得到最终结果。

Claims (2)

1.一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法，其特征在于，包括以下步骤：

该方法分为两种模式分别为线上模式和线下模式：

A、线下模式：首先利用神经网络完成对错误告警的消除，然后对IDS告警日志进行去除冗余告警处理，并生成攻击场景关联序列；最后将攻击场景序列构建为贝叶斯网络攻击图，包括以下步骤：

A1、提取IDS告警日志的相关告警数量、告警密度、告警周期性这三个属性；

A2、将日志整体划分为训练集和验证集，利用训练集三个属性构建三层全连接神经网络模型，并利用验证集验证模型的正确性，从而消除错误告警；

A3、针对筛选后的告警，首先定义告警事件a，由一个k元组(at₁,at₂,at₃,...,at_k)组成，其中at_i(1≤i≤k)表示告警事件的第i个属性；按每个告警事件的时间戳(time stamp)排序，根据设定时间参数T，以T小时为一个batch,将所有告警共分为L个batch；每个batch记做b_i(1≤i≤L)，对所有的batch按Δt划分时间窗口，遍历每个bi(1≤i≤L)中的所有时间窗，将每个时间窗内的所有告警事件a转化合并为元告警ma，ma满足

从而使告警的数量进一步减少；

A4、依次对bi(1≤i≤L)中所有的元告警ma提取，按照生成L个告警序列；告警序列是一组按时间顺序排列的元告警的集合，记为AS，AS＝{ma₁,ma₂,ma₃,…,ma_n}，并满足

ma_i.timestamp≤ma_j.timestamp(1≤i≤j≤n)；

A5、将L个告警序列AS根据如下因果关联规则从每一个告警序列生成m个攻击场景关联序列ASS；

设A和B为两种不同的元告警：

Ⅱ{A[dstIPs]＝B[srcIPs],A[dstPort]＝B[srcPort]}

该步骤中ASS是攻击场景序列，即攻击者完成一次多步攻击活动时可能触发IDS产生的告警序列，其中ASS＝{ma₁,ma₂,...,ma_k},ma_i(1≤i≤j≤k)表示第i个元告警，且满足

ma_i.timestamp＜ma_j.timestamp(1≤i≤j≤k)；

A6、对每个攻击场景关联序列ASS，初始化贝叶斯网络攻击图(BAG)，并根据在ASS中的顺序，依次添加序列中的点作为攻击图的节点；确定新加入BAG中的点和存在于BAG中节点的关系，作为该节点ε属性的值；对于每个节点，都有一个概率分布表(CPT)，其显示在给定其父节点的状态时该节点的概率值；在每次将节点添加到网络之后，生成每个节点的CPT；检查告警序列AS中的所有元素是否均是BAG中的节点，如果BAG中不存在该元素，则向BAG中添加直至AS中元素都出现；

A7、经过A6步骤中的过程完成攻击图的构建，最后得到具有4元组(S,τ,ε,P)的贝叶斯网络攻击图，其中S表示攻击图中涉及的所有节点，τ表示两个节点之间的路径，ε表示节点与其父节点之间的关系，P表示概率；

B、线上模式：通过对大量实时告警日志分析，对实现误报消除的神经网络的参数进行更新，从而对贝叶斯网络攻击图完成更新，包括以下步骤：

B1、首先是对于神经网络的线上参数更新，针对于神经网络，设置网络的超参数，如：网络的学习率learning_rate，网络输入的大小batch_size等；分批将告警日志数据以batch_size为一组送入网络，利用随机梯度下降法对参数进行更新；

B2、其次是对于贝叶斯网络攻击图的线上参数更新，针对于S，新的AS序列中如果出现新的元素，则更新BAG中S所代表的节点；针对于τ，针对于新ASS中的多步攻击顺序，更新BAG图节点对应的攻击路径；针对于ε，更新BAG中节点与其父节点之间的关系的二元组<Sj,dj>；针对于P，每个告警节点的概率受其父节点的概率影响，更新每个节点针对于父节点的后验概率，从而更新对应该节点的CPT；

C、根据生成的贝叶斯攻击图进行多步攻击场景挖掘，得到告警日志中所有不同的多步攻击场景序列。

2.根据权利要求1所述的一种基于神经网络和贝叶斯网络攻击图的多步攻击场景挖掘方法，其特征在于，步骤C进一步包括以下步骤：

C1、固定贝叶斯网络攻击图的根节点和某一个叶节点，若两点之间存在多条路径，则沿其中一条路径找到一个多步攻击序列S，将该攻击序列放入集合Q中；

C2、若上一步根节点和叶节点间存在多条路径，则从Q中取出该攻击序列S，按照不同路径补充完善该攻击序列；当已选择所有路径后，删除该叶节点，并将攻击序列S重新放入集合Q中；

C3、重复步骤C1，直到贝叶斯网络攻击图中只剩根节点，取出集合Q中所有攻击序列，得到最终结果。

Images