CN105100122A - 一种基于大数据分析的威胁检测和预警的方法及*** - Google Patents

Abstract

本发明公开了一种基于大数据分析的威胁检测和预警的方法及***，包括：告警聚合组件，场景提取组件，学习和检测组件，预测组件，新攻击的策略挖掘组件。通过本发明，采用大数据技术，一方面，对政府和企业信息***所遭受的网络攻击进行实时预测和预警，大大地弥补了现有的信息安全告警分析技术的不足；另一方面，能够识别诸如入侵检测***等信息安全设备产生的误报，并能够分析出未知的恶意攻击，提高了告警的精准性和可信程度，使信息***安全风险可感知。

Description

一种基于大数据分析的威胁检测和预警的方法及***

技术领域

本发明涉及信息安全技术和大数据技术领域，尤其涉及到信息***的威胁检测和预警的方法与***。

背景技术

本发明中包含的英文简称如下：

IDS：IntrusionDetectionSystems入侵检测***。

CIDS：CooperativeIntrusionDetectionSystems协作的入侵检测***

EWS：EarlyWarningSystems预警***

CCM：CausalCorrelationMatrix因果关联矩阵

DAG：directedacyclicgraph有向无环图

CE：Criticalepisodes关键场景

BE：BenignEpisode善意场景

随着技术的不断进步和各种IT服务的上线运营，产生了海量的数据。这方面的主要挑战就是针对各种威胁提供网络保护服务。到目前为止，已提出了许多技术来应对这些威胁，都有一个共同的目标，预防攻击者破坏IT业务的正常运行。

如今，IDS的使用大大地提高了政府和企业计算机***的安全性。入侵检测***的主要目的是检测和识别可能在计算机***或网络已存在的攻击和安全问题，并报告给***管理员。因此，预防攻击和入侵不是IDS的职责（即：IDS没有预警的功能），它在计算机***和网络的安全加固方面起到不可否认的重要作用。

然而，入侵检测***自身也有缺陷：误报率高，在实时应用中效率低下，即使是检测哪些未知的攻击，也显得无能为力和效率低下。

尽管入侵检测***存在上述种种问题，但是，研究人员认为，IDS在分布式环境中的协作将能够克服上述问题。于是就产生了协作入侵检测***（CIDS）。然而，全方位地检测政府和企业信息***的威胁，预警***（EWS）新时代的到来。

预警***能够检测未知的威胁，这种检测是基于早期的事件。EWS作为IDS的一个补充，也是基于一种被动的方法来应对各种安全威胁，***的潜在行为早期被检测到，评价这种行为的影响范围，最后，对检测到的安全事件采取适当的响应。

EWS的另一个功能，就是将EWS运用到政府和企业的信息***中。被设计成这种用途的EWS的目标，就是对安全事件的早期检测和预报信息***的安全威胁。EWS接收各种安全设备上报的安全事件和告警，分析所采集的告警，实时地生成预警及预警报表。

EWS的核心组件是它的告警关联分析引擎。告警关联分析是一个通过分析告警和了解入侵的过程。通过处理安全设备产生的告警，并发现它们之间的逻辑关系，告警关联分析引擎就为***管理员产生了一些高层次的告警。本专利给出了一种非常有效的告警关联分析算法。该算法检测攻击场景，显示正在实施攻击的下一个动作，产生预警。本专利所提供的告警关联分析框架分为两种工作模式：离线和在线，使用一种统计和流挖掘的混合方法。在离线模式下所提供的知识，可以为在线模式实时地预测正在实施攻击的下一个动作。

目前，已有的告警相关性分析技术，主要采用基于规则的模型。这种技术将网络攻击的各种特征提取出来，形成攻击特征描述库，并基于描述库将一次网络攻击从开始到结束整个过程的特征，构建出一个分析用的自动机模型，从而得出关联分析规则，并以该关联分析规则应用到信息安全检测中。然而，基于规则模型的关联分析技术主要采用状态机的方法，这种“状态机”式关联分析具有很强的实时性和时序，必须与事件发生的真正时序一致，对触发事件的时序要求很高。在复杂网络环境中，受网络传输延时和前端处理延时的影响，安全事件进入引擎的时序可能发生颠倒，而导致“状态机”无法触发，关联分析引擎出现错报或漏报。因此，现有的基于规则模型的关联分析技术精确度存在缺陷，难以满足诸如信息安全运维管理云平台环境下的大数据量的关联分析需求。

为此，如何解决信息安全运维管理云平台环境下的信息安全事件关联分析所面临的问题，以及设计出一种基于信息安全运维管理云平台的信息安全事件自动关联分析的方案，即成为尤其是信息安全运维管理平台设计上必须要解决的一个重要课题。

发明内容

有鉴于此，本发明的主要目的在于提供一种威胁检测和预警的方法及***。采用大数据技术，对遭受的网络攻击进行预警。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供的一种基于大数据分析的威胁检测和预警的方法及***，包括：告警聚合组件，场景提取组件，学习和检测组件，预测组件，新攻击的策略挖掘组件。

上述方案中，所述告警聚合组件，就是将信息安全设备上报的告警进行聚合，生成超级告警（或聚合告警）。

上述方案中，所述场景提取组件，所提取的场景至少包括关键场景和善意场景。

上述方案中，所述学习和检测组件，包括离线模式和在线模式，至少包括构建攻击树和更新CCM过程。

上述方案中，所述预测组件，使用所述攻击树和依据下一步动作发生的概率预测下一步攻击动作。

上述方案中，所述新攻击的策略挖掘组件，识别是安全设备产生的误报还是新的恶意攻击。

本发明所提供的方法与***，能够从安全设备产生的告警序列中检测出误报和恶意攻击，并进行实时地预警，大大缩减了政府和企业的IT业务所遭受的影响。

附图说明

图1为本发明所述的使用场景窗口实现场景提取示意图；

图2为本发明所述的告警关联框架；

图3为本发明所述的连续场景的一个例子；

图4为本发明所述的连续场景e2的一个子场景e1；

图5为本发明所述的一个告警序列的例子（在一个场景窗口）；

图6为本发明所述的基于CCM的场景分类；

图7为本发明所述的学习和检测组件的离线模式的（a）和在线模式（b）；

图8为本发明所述的攻击树的例子（a）关键场景e1,e2,e3和e4，（b）e2（包含e1）***到攻击树中，（c）e2、e3和e4均***到攻击树中。

图9为本发明所述的攻击树的例子（a）离线攻击树的一个例子，（b）***场景<A>，（b）***场景<A>和<A,D>，（c）***场景<A>、<A,D>和<A,D,F>。

具体实施方式

下面是根据附图和实例对本发明的进一步详细说明：

用于告警相关性分析存在许多方法，但是，它们中的每一个都存在许多缺陷。本专利所提供的方法，提供了一种非常适合EWS的告警相关性分析的实时算法。

本专利所提供的告警相关性分析框架，它采集IDS、IPS等各种安全设备的日志信息。由于它们是由不同的设备生成的日志信息，因此需要对它们进行归一化处理和按照时间先后顺序进行告警排序。然后，主要的攻击场景检测算法发挥其作用。信息安全设备产生了大部分的告警，为了方便分析，先将告警序列分为批次（batches）然后再将批次（batches）分成更小的部分，即：场景窗口（episodewindows）。图1给出了使用场景窗口实现场景提取的示意图。

一旦接收到一批告警，则告警按照发生时间的先后顺序进行排序，那么告警序列如图1所示的那样进行告警被汇总，并被分成一个又一个的场景窗口。场景提取模块被用来提取可疑的场景，这个可能是某些正在实施攻击的一部分。其它的场景，例如误报场景，或者一个新的未知攻击场景的子场景，被发送到新攻击的策略挖掘模块进行进一步的处理。在本专利所提供的框架里，预测组件被用来提取预测规则来预测正在实施的攻击的下一步动作。

本专利所提供的告警关联分析框架有两种模式：离线模式和在线模式。在离线模式，首先，它基于告警类型进行告警聚合，接下来，一个场景挖掘算法，用于发现可能的告警组合。利用学习数据，产生了一个离线攻击树，***学习离线模式之下的攻击场景。在在线模式之下，基于从安全设备收到的告警，产生了一个在线攻击树，它精确和有效地决定了攻击的步骤。图2为本发明所述的告警关联框架。

在描述这个告警关联框架之前，将在下面先定义因果关联矩阵（CCM）。

定义1：CCM矩阵定义了两个告警类型的关联强度。对于告警类型、、…，CCM被定义为nn的矩阵，其中表示告警类型为的关联强度。

CCM是非对称矩阵。若，则和告警是相关的，其中决定一个告警的类型，是一个门限。表1给出了CCM的一个例子，在这个例子里，和是两个完全不同的值。前者表示两个之间的关联强度的值，当告警类型发生在之后时；然而，后者表示两个之间的关联强度的值，但必须是当告警类型发生在之前时。

1、告警聚合模块

告警聚合模块生成了多个聚合告警（或超级告警），缩减了原始告警的数量。所述告警一般由若干个特征所组成，告警的某些重要的特征，被用作告警关联过程的，例如，告警发生的时间、源IP、源端口、目标IP、目标端口和告警类型/入侵类型，攻击严重程度。

在告警聚合模块，具有相同类型的告警，且告警发生时间几乎相同，则满足这些条件的告警可以合并在一起。合并之后的告警被称谓超级告警（或聚合告警）。很明显，超级告警的数量要低于原始告警的数量。再者，如果某个时间间隔之内发生的告警为，它们的告警类型相同，即==…=，则这些告警被视为同一个告警。这样的超级告警定义如下：

a[源IP]={}

a[目标IP]={}

a[源端口]={}

a[目标端口]={}

a[t]=t1

a[告警类型]=

a[攻击严重程度]=

a[计数器]=

2、场景提取

场景是超级告警偏序集，其可以被定义为一个有向无环图（DAG）。场景被定义为如下形式：

定义2：（场景Episode）场景是一个三维数组，其中

●V是超级告警；

●决定超级告警的时间顺序，并且，构成V的一个偏序集（，当且仅当，）

●g:Vχ是一个标志函数，将该场景中的每个超级告警映射成它的告警类型。χ是告警类型的集合。

例如，考虑图3的场景，V由两个超级告警a和b组成，则，g(a)Sadmind_Ping、g(b)Sadmind_Amslverify_Overflow。在这个例子里，Sadmind_Ping发生在Sadmind_Amslverify_Overflow之前，所以，ab。

如果场景(,,)是场景的一个子场景，则。进一步地，如果存在，并且，对每一个v：成立，则对于每一个v、w,如果vw，那么，）。请注意，根据所述定义，在确定子场景相互之间的关系时，告警的类型的重要性远大于告警之本身。因此，今后凡采用图表示时，将告警类型表示为图的节点（超级告警）。如图4是子场景的一个例子。

一个场景是连续场景，如果整个场景的顺序满足关系（对于任意两个，则，或）。图3就是连续场景的一个例子。在本专利使用连续场景的概念从超级告警序列中提取各种连续场景，以确定关键场景。

注：为了简单起见，将采用表示连续场景。其中，是告警的告警类型。

频繁连续场景就是在某一个场景窗口，从告警序列里提取的连续场景，使得在该场景窗口内重复次数大于预先定义的门限（min-fr）。如果它是一个关键场景，那么一个频繁连续场景可能是一个多步攻击场景的一部分。

为了发现攻击场景，超级告警之间的相互关系时至关重要的。该关系可能被用在分析入侵者所实施的动作，例如，解释一个入侵者的特殊动作的原因，预测将来的事件。如图5所示的一个告警序列，场景就是一个频繁连续场景，它的重复模型如下：

在场景提取阶段，连续场景通过将批窗口滑动到如图1所示场景窗口而获得。

提取的频繁连续场景被分为关键场景（CriticalEpisode）和善意场景（BenignEpisode）。基于CCM的关键场景定义如下：

定义3：（关键场景）。一个频繁连续场景e=<>是关键场景，如果场景中各对超级告警类型的关联强度<>（1in）等于或大于门限（例如，）。

一个频繁连续场景不是关键的，定义如下。

定义4：（善意场景）。善意场景是一个频繁连续场景，并使得至少存在一对不关联的超级告警类型（例如，存在一个二元的子场景<>（1in）使得），这可能是由安全设备产生的误报，或一个新未知的攻击场景的子场景。

在每一个场景窗口所提取的关键场景被发送到学习和检测组件中构建攻击树，善意场景被发送到新攻击的策略挖掘组件中识别新的可能的多步攻击场景，如图6所示。

1、学习和检测组件

学习和检测组件的主要功能是构建在线攻击树和离线攻击树，它是通过检测关键场景和在在线和离线模式期间更新CCM来实现。

（1）攻击树构建

本专利所提供的关联框架的在线模式和离线模式中，需要利用攻击树模拟攻击行为，其是基于所构建的关键场景而构建。攻击树定义如下：

定义5，（攻击树）。攻击树定义为，其中：

●T表示超级告警

●为T的偏序（决定超级告警的时间顺序关系）使得对每一个T成立{T}为关系的有序的集合（被要求树的特征）

●f是一个标志函数，对于每一个节点T，则f(a)=<A,,>，其中，A为节点（超级告警）的类型，为从根节点到a节点所构成场景的次数，是场景窗的数量。

注意到节点标签是被利用来检索正在实施攻击的下一步动作的预测规则。再者，每一个攻击树将空节点视为根节点。

起初，攻击树将空节点视为其根节点。攻击树伴随着添加所提取的关键场景而更新。为了达到其目的，在一个场景窗口提取关键场景之后，如果每一个所提取的关键场景是另一个关键场景的子集，则将要被删除掉（避免冗余的攻击树被***）。要添加一个所提取的关键场景，如果关键场景的前缀与攻击树路径的前缀匹配（不包含根节点），则该场景被连接到攻击树和已匹配前缀的节点标签更新（除了标签中的告警类型保持不变之外）。请注意，如果攻击树上没有路径被发现与其前缀相匹配的关键场景的前缀，则该关键场景被连接到根节点。

例如，图8（a）所示的关键场景e1、e2、e3和e4（从第一个场景窗口提取的），并且，应该***到攻击树中。e1是e2的子场景，应该在这个列表中被删去。再者，图8（b）场景e2（也包含e1）被连接到攻击树的根节点。在***了e3和e4之后（如图8（C）所示），节点的标签被更新了（例如，A和D的标签）。

在离线模式，***使用离线告警聚合就直接构建了离线攻击树。然而，在在线模式里，***构建了在线攻击树，并在处理了每一个场景窗口的告警之后，实时地更新它。

图9是离线攻击树和在线攻击树的一个不同状态例子。

（2）CCM更新

要估计两种不同类型告警的因果关联关系，在一个场景窗口中提取关键场景之后，二元子场景被生成（例如，<>，其中超级告警的告警类型立即出现在该场景超级告警的告警类型之后）。这些二元子场景被用来估计告警类型的因果关联。为了达到这个目的，首先，计算一对超级告警和它们的告警类型的因子，并且，基于这些因子和先前的数据来更新CCM。

超级告警之间的相似性：要确定超级告警之间的相似性，涉及源IP、源端口、目标IP、目标端口和告警类型。为了达到这个目的，定义了超级告警之间的相似性测量公式。

IPSIM函数被用来计算两个超级告警IP地址之间的相似性。为了实现这个目标，ipsim=k/32被定义为计算两个IP地址的相似性，其中k是两个IP地址相匹配高阶位的最大数。以下公式是计算两个IP（例如，和）的相似性：

。

类似地，端口匹配函数被用来计算两个超级告警端口之间的相似性。对于每一对端口（例如，），其端口匹配函数计算这个相似性。如果两个端口数相同，则该函数值为1；反之，该函数值为0。以下公式是计算两个端口（例如，和）的相似性：

。

基于以上原则，两个超级告警（）的相似性计算公式如下：

其中，权重满足条件，因为两个超级告警的源IP地址和目的IP地址的相似性远重要于它们的端口数。

二元子场景的信心指数：比较有用的流挖掘方法是关联规则挖掘方法。在本专利中，关联规则表示的是超级告警之间的关系。事实上，一个关键场景的每个二元子场景能被视为一个关联规则。二元子场景被用来决定超级告警之间的关联。事实上，一个关联规则的信心指数表示相继两个二元子场景因果关联的强度。如下是信心指数计算公式：

其中，的告警类型，表示场景的发生次数。

基于以上原则（例如，相似性和信心指数），可以定义在二元子场景中两个连续超级告警的加权信心指数（wc），

CCM更新如下：

其中，是两个可配置的权重。=[告警类型]，=[告警类型]，和分别是两个告警类型关联强度的旧值和新值。

2、预测组件

预测组件，预测主动攻击场景的下一步动作，其是在线模式的攻击树的一部分。为了达到这个目的，使用攻击场景的知识库，可以被表示成离线模式的攻击树。

在线模式的攻击树，某些叶子可以考虑为预测攻击场景的下一步动作。假设A是在线攻击树叶节点的告警类型，并且，是包含A的关键场景。再者，假设是离线攻击树的一个场景（从根节点开始）使得（是的一个子场景），并且，的前缀相匹配。对于预测，对于每一个叶节点（诸如A），一些预测规则就生成了。叶节点A的预测规则的形式为：<A>?，其中，。

现在假设，已经生成了叶节点A的预测规则，那么需要计算最有可能发生的规则，即预测正在实施攻击的下一步动作。注意到出现在规则序列里的场景大小可能是1,2，…，n。这样，具有同样大小的规则可以在一起比较和计算概率。

为了计算诸如<A>?那样的规则的发生概率（其中，的大小是n），我们构建了<A>的n+1维向量和的n+1维向量如下：

，其中f<A>和f<A>是出现在在线攻击树节点A的次数。

如果=<,,…,>，则，其中是在线攻击树的标志函数。

基于上述向量，每一条预测规则的概率计算如下：

以下将图9作为一个实施例，较为详细地说明所述概率的计算过程。

在图9（a）的场景<A>在一个批次的连续30个场景窗口中已观察到45次，并且，场景<A,B>在一个批次的连续10个场景窗口中已观察到15次。在图9（b）、（c）和（d）中，较为详细说明了在线模式所生成的在线攻击树。对于预测，如图9（b）所示，一个批次连续10个场景窗口已观察到10次的场景<A>被***到在线攻击树。考虑到在线攻击树中的场景<A>，在攻击A之后，攻击类型B和攻击类型D的攻击步骤可能发生的概率不同。这样，<A>?<D,F>和<A>?<D,G>的两个预测规则就产生了。在这种情况下，向量、和计算如下：=<>、和。因此，在A之后<D,F>发生的概率为57%，而<D,G>发生的概率为59%。

3、新攻击的策略挖掘组件

具有不同长度的善意场景被发送到新攻击的策略挖掘组件。这种场景可能是由安全设备产生的误报，或新的未知攻击场景的子场景。为了把误报场景从未知攻击场景中分离出来，需要从每一个善意场景e=<>中提取二元子场景（其中，n，是该场景中超级告警的告警类型）。如果场景e满足下列条件，则它是恶意场景：

（1）在该场景中，存在某一个告警类型（例如，）使得它不属于CCM。换句话说，这是一个新的告警类型，

（2）

（3）

（4）

（5）

上述公式，分别是一个超级告警的源IP和后续的超级告警的源IP之间平均相似度，一个超级告警的目标IP和后续的超级告警的源IP之间平均相似度，一个超级告警的目标IP和后续的超级告警的目标IP之间平均相似度，以及一个场景的平均攻击类型严重程度。

为了在不久的将来能够检测出这样的未知攻击场景，需要考虑未知攻击场景的告警类型，将新告警添加到CCM中去并更新***。CCM通过将未知攻击场景作为关键场景来更新（其CCM更新过程与前面所述的相同）。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。

Claims (7)

1.一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，包括：告警聚合组件，场景提取组件，学习和检测组件，预测组件，新攻击的策略挖掘组件。

2.如权利要求1所述一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，所述告警聚合组件，就是将信息安全设备上报的告警进行聚合，生成超级告警（或聚合告警）。

3.如权利要求1所述一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，所述场景提取组件，所提取的场景至少包括关键场景和善意场景。

4.如权利要求1所述一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，所述学习和检测组件，包括离线模式和在线模式。

5.如权利要求1所述一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，所述预测组件，使用所述攻击树和依据动作发生的概率预测下一步攻击动作。

6.如权利要求1所述一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，所述新攻击的策略挖掘组件，识别是安全设备产生的误报还是新的恶意攻击。

7.如权利要求4所述一种基于大数据分析的威胁检测和预警的方法及***，其特点在于，至少包括构建攻击树和更新CCM过程。