CN102521378A - 基于数据挖掘的实时入侵检测方法 - Google Patents

Abstract

本发明的实现是基于数据挖掘的实时入侵检测方法。该方法在分布式实时***架构中，增加了两个自适应管理模块:自适应策略管理模块(ASM)和自适应模式管理模块(AMM)。这两个模块用于实现基于数据挖掘的入侵检测***检测策略及检测模型的自动生成与分发。这个结构可以解决有关数据收集的自动化，检测模型和策略的自动生成与配置以及数据的实时评估方面的问题。它是一个由一些组件类构成的分布式***，而且这些组件类可以在***框架内进行灵活的改变，以适应不同的环境变化和用户需求。

Description

基于数据挖掘的实时入侵检测方法

技术领域

本发明是一种入侵检测技术方案，主要将数据挖掘技术应用到实时入侵检测应用中，属于计算机网络安全技术领域。

背景技术

随着信息技术的高速发展，网络入侵的风险性和机会也相应地急剧增多，设计安全措施来防范未经授权访问***的资源和数据或恶意的攻击和入侵，成为当前网络安全领域的一个十分重要而迫切的问题。作为信息安全的重要支撑技术之一的入侵检测技术获得了显著发展，成为安全保护体系结构中的一个重要的组成部分。

入侵检测是指在特定的网络环境中发现和识别未经授权的访问或恶意的攻击和入侵，并对此做出反应的过程。入侵检测作为一种动态的安全防护手段，它能主动寻找入侵信号，提供***对外部攻击、内部攻击以及误操作的抵御能力，对***进行保护。在入侵检测的方法中，统计方法的应用最为广泛。统计方法通过收集长时间的合法用户的相关数据来定义正常的行为，当前行为如果与正常行为发生偏离，并大于某一阈值则被视为攻击。目前，对入侵检测的研究主要有以下几个方面：基于神经网络的入侵检测的研究；基于序列分析的网络入侵检测方法的研究；基于机器学习的入侵检测；异类检测；基于生物免疫***原理基础设计的入侵检测。

但是现在的大多数入侵检测***存在各种各样的问题，主要包括：

(1)缺乏有效性：现存的规则库和知识库以及统计的方法都是基于专家知识的手工编码，面对复杂的网络环境，专家知识往往不全面不精确；

(2)缺乏适应性：编写检测代码时，专家一般着眼于分析目前己知的***漏洞或攻击模式，对未知的攻击手段缺乏检测能力。

(3)有限的扩展性:由于专家根据经验设计检测模型，往往导致这样的模型只针对某一特定的检测环境，原有的检测规则和检测模型一般很难修改或与新的合并。

我们需要找到一种提高入侵检测***有效性、适用性和扩展性的方法。由此，产生了在传统入侵检测技术基础上利用数据挖掘技术，分析多个检测引擎提交的审计数据以发现更为复杂的入侵行为的检测方法。数据挖掘是从大量数据中识别出有效的、新颖的、潜在有用的，以及最终可以理解的知识和模式的高级操作过程，其目的就是从海量的数据集合中提取隐含的、先前未知的、对决策有潜在价值的规则。把数据挖掘应用于入侵检测***的优点在于***能够从大量的审计数据中自动产生精确适用的检测模型，使入侵检测***适用于任何计算环境。

发明内容

技术问题：本发明的目的是提出一种基于数据挖掘的实时入侵检测方法，在实施检测方法的分布式实时***架构中，增加两个自适应管理模块：自适应策略管理模块，简称ASM；自适应模式管理模块，简称AMM。本发明采用关联规则及频繁模式算法构造检测模型，以减少人工编码，提高入侵检测***的自动化能力和高效性。

技术方案：本发明的实现是将数据挖掘技术应用到入侵检测中以提供一种有效实时的检测方法。该方法在分布式实时***架构中，增加了两个自适应管理模块:自适应策略管理模块(ASM)和自适应模式管理模块(AMM)。这两个模块用于实现基于数据挖掘的入侵检测***检测策略及检测模型的自动生成与分发。这个结构可以解决有关数据收集的自动化，检测模型和策略的自动生成与配置以及数据的实时评估方面的问题。它是一个由一些组件类构成的分布式***，而且这些组件类可以在***框架内进行灵活的改变，以适应不同的环境变化和用户需求。

基于数据挖掘的实时入侵检测方法的步骤如下：

1). 感应器从***环境或者网络环境里面收集信息并格式化，然后发送到数据仓库存储起来，所有的感应器实现一个基本审计模块框架，它在可扩展标记语言XML中编码，由原始数据计算特征；

2). 数据分析引擎实时的从数据仓库提取信息，将数据分成异常数据集与正常数据集，并利用标记工具做相应的标记，对己标记的信息进行特征提取，并将标记的数据存储到数据仓库中，以便模式生成器进行模式挖掘；

3). 检测器接收由感应器处理过的数据，用一个检测模型来检查数据，判断是否有攻击，检测器也把结果发送给数据仓库去做进一步的分析；

4). 自适应模式管理器访问数据仓库里面标记的及未被标记过的异常的数据，经模式生成器生成新的检测模式后，存储到数据仓库中备用，当生成一种新的模式后，模式分发器负责将检测器的模式更新；

5). 自适应策略管理器提取数据仓库中的入侵特征，经过分类器分类后，策略生成器生成一种新的检测策略，将这些数据分类为可疑的或者是正常的，一旦一个策略产生出来，它就会存储在数据仓库中的策略库中，策略分发器将产生的新的策略配置到检测器上。

自适应模式管理器的实现步骤包括：

1). 模式生成器查询数据仓库中的数据，开始运行并且产生出一个模式；

2). 将该模式编码为XML格式并且发送到数据仓库中去；

3). 模式生成器给模式分发器发出信号表明一个新的模式己经生效；

4). 模式分发器收到信号后自动的发送该模式来更新检测器模块的模式库。

自适应策略管理器的实现步骤包括：

1). 对数据仓库中被标记成正常和异常的数据进行比较，提取出与正常数据集相差较大的入侵数据集，形成入侵模式；

2). 提取入侵模式的特征属性，使用分类器生成新的分类规则；

3). 根据新的分类规则，策略生成器生成一种新的检测策略并存储到策略库；

4). 策略分发器将生成的检测策略配置到检测器上。

有益效果：和传统的入侵检测方法相比，本发明有许多的优点：

一是由感应器和检测器提供实时检测能力；

二是该***的分布式架构允许数据收集和数据存储自动化。通过对感应器进行一定的配置就可以自动的实现数据的收集和存储；

三是该***的分布式架构允许入侵检测***从异构***中收集数据，因为感应器将数据转换成标准的格式。将所有收集上来的数据通过使用XML标记语言来存放到数据仓库中，数据仓库***可以灵活的存储各种类型的信息。

四是采用数据标签工具免除了***管理员费时和费力的手工标记劳动；

五是典型的网络环境里，有着大量的模式需要通过网络来配置，因此模式的管理是一个艰巨的任务。本发明通过AMM模块解决了检测模式的配置和管理问题。通过使用检测模式生成器来生成模式。并且将这些模式存储在数据仓库中。数据仓库具有足够的能力来处理各种类型的模式，因此该***对于各种各样的模式都是适用的。通过模式分发器，***可以很灵活的更新检测器中的模式；

六是该***提供给用户一些功能来实现对于不同数据的分析能力。数据分析工具可以从数据仓库中检索数据，对这些数据执行某一类计算，然后将计算所得到的新的数据发送给数据仓库，或者通过其他方式来使用这些新的信息。数据分析工具包括三种类型，分别是数据辨别，特征提取和可视化。数据辨别是一个非常重要的领域。以前数据的辨别分析主要还是手工来完成。计算机安全专家们不得不在大量的数据中进行搜寻，甚至是上百万条记录中来查找可疑的行为。效率很低，而且昂贵。该***提供了相应的组件来实现数据分析判断过程的自动化；

七是现在很多入侵检测***只有一种检测策略，对任何环境都用这个策略来检测，而本发明采用自动生成与分发策略，扩展了检测强度与范围，***的误报与漏报率降低，可信度得到了提高。

附图说明

图1是基于数据挖掘的实时入侵检测体系结构图。

图2是体系结构各组件间工作关系图。

图3是数据分析引擎体系结构图。

具体实施方式

图1是本发明的一个体系结构，其中包括多个感应器、多个检测器、一个数据仓库、数据分析引擎、自适应策略管理器和自适应模式管理器。该***采用一种分布式架构，由一系列的自动化组件来组成，这里的组件在设计上是独立的，不过都可以通过数据仓库进行集中管理。组件之间通过公共协议来互相访问，此处的公共协议采用可扩展标记语言(XML)。

各种组件之间的基本工作关系如图2所示。

下面是本发明的主要工作流程：

感应器从***环境或者网络环境里面收集信息并格式化，然后发送到数据仓库存储起来，数据分析引擎实时的从数据仓库提取信息，利用标记工具对数据进行标记，对己标记的信息进行特征提取。感应器是与其他部分隔离开来的。所有的感应器来实现一个基本审计模块框架，它在XML中编码，由原始数据计算特征。

分析引擎将数据分成异常数据集与正常数据集，并做相应的标记，然后存储到数据仓库中，以便模式生成器进行模式挖掘。用户可以通过客户端实时的检测分析结果。

检测器接收由感应器处理过的数据，用一个检测模型来检查数据，判断是否有攻击。检测器也把结果发送给数据仓库去做进一步的分析。

自适应模式管理器访问数据仓库里面标记的及未被标记过的异常的数据，经模式生成器生成新的检测模式后，存储到数据仓库中备用。当生成一种新的模式后，模式分发器负责将检测器的模式更新。

自适应策略管理器，提取数据仓库中的入侵特征，经过分类器分类后，策略生成器生成一种新的检测策略。将这些数据分类为可疑的或者是正常的。一旦一个策略产生出来，它就会存储在数据仓库中的策略库中。策略分发器将产生的新的策略配置到实时检测器上。

检测器从ASM及AMM上接收到新的检测策略及模式的同时也要从感应器上接受审计数据。检测器可以采用这些新的策略及模式来评估从感应器上得来的数据。从而判断是否发生了入侵。因为该***由数据仓库集中式管理，因此将来开发的新的模块可以很容易的集成到入侵检测***中来。

数据仓库是数据和模型存储的中心，这样集中存储数据的好处是不同组件可以异步控制同一部分数据，也使得综合多个感应器的数据变得容易。通过联系从不同入侵检测***处理的数据结果或一段时间内收集的数据，就有可能检测出复杂的、大规模的入侵攻击。

1.实时组件

本发明使用两种基本的组件来提供实时检测的能力：感应器和检测器。感应器从审计流中收集数据并且使用XML标记语言将数据格式化。然后这些数据被发送到检测器中进行检测。检测器使用检测策略和模式来判断这些数据是否包含入侵。如果包含，检测器就会产生告警。传统的入侵检测***大多是把感应器和检测器集成到一起的。在本发明架构中将它们分离开，这样就使得在不同的环境中配置起来更为灵活。该***将感应器，检测器和其他的分析器和分布式子***通过数据仓库集成起来。感应器除了将数据发送到检测器之外，还将数据发送到数据仓库中去。检测器从ASM和AMM获得它的检测策略和模式。

(1).感应器

感应器处理的进程包括从实时审计数据流中收集信息，将信息格式化成为XML格式，将数据发送到检测器，同时也将数据发送到数据仓库。它可以从各种各样的数据源收集信息。感应器本身由两个主要的组件来构成，基本审计模块(BAM)和连接引擎。BAM从审计资源中提取信息。连接引擎将数据编码成一定的格式然后发送到数据仓库中存储并发送到检测器。

BAM可以看作是被监控***的一个接口，需要处理***监控到的所有数据流。它能够抓取到网络上的数据信息，并且将数据流传送给连接引擎。

连接引擎从BAM那里获得数据，然后将数据编码成XML格式，接着发送到数据仓库中。连同数据本身，BAM还要向连接引擎发送一些元数据。这些数据是连接引擎在编码过程中要用到的。同时，连接引擎也需要知道感应器的类型，这样就可以将数据发送到数据仓库中相应的位置。

(2).检测器

检测器运用检测模式和策略，分析从感应器收集到的审计数据，并对它们进行入侵检测。检测器对于来自感应器的每一条记录执行模式和策略评估。它的工作方式取决于被评估的模式和策略类型。每种不同的模式和策略类型有相应的检测器来实现模式和策略评估。可以把检测器看作这样一个函数，以数据记录作为输入，当这些数据被检测出包含入侵企图的时候，就以告警作为输出。该检测模式包含一系列与已知的入侵类型相匹配的特征集及若干策略，它将数据记录和模式特征相匹配组成了模式评估，并动态的更换检测策略。如果任意一个特征匹配成功，检测器将产生告警。如果没有匹配成功，就更换检测策略继续检测。检测器从数据仓库中的模式库和策略库中得到检测模式和检测策略，这些检测模式和策略可以通过ASM和AMM进行实时的更新。只有新的模式和策略得到应用，检测模式和策略才会得到更新。

2.数据仓库

数据仓库可以看作数据与模型的中央存储仓库。数据中央存储仓库的一个优点是不同的组件可以异步的处理数据库里的同一组数据。同一类型的组件，如多级感应器等可以并行的处理数据。关系型特征数据库支持存贮的程序调用，这就使得复杂的计算执行变得比较容易，如高效的数据取样可以在服务器上自动的执行。任意数量的传感器数据可以通过一条结构化查询语句(SQL)就可以重新找回。分布式检测模型也用来推动这一技术。数据仓库也使得来自多级传感器的数据完整性变得容易。通过来自来不同的入侵检测***的相关的数据与结果或者在一段时间内收集的数据，使得复杂的和大范围的攻击检测变得有可能了。

本发明中，ASM和AMM访问数据仓库里面的数据并且利用这些数据来产生检测策略和模式，同时存贮在数据仓库中。分析引擎也要访问数据仓库中的数据。数据仓库采用SQL数据库，这样使得数据操作较为容易，同时通过生成训练数据集来建立基于数据挖掘的检测策略。由于我们能够通过SQL语句来检索任意的数据集合，所以数据仓库可以将手动生成数据集的过程自动化。

3.数据分析引擎

数据分析引擎组件以数据库中的数据集作为它的输入，并且对这些数据执行某种操作。分析引擎能够向数据库中***分析结果。在我们的框架结构中，分析引擎访问数据仓库，得到一个数据集，然后使用SQL接口向数据仓库中***一些新的信息。数据分析引擎同样使用XML格式。数据分析引擎集成了四类引擎，分为特征提取引擎，分析引擎，自动标签工具及可视化分析引擎(客户端)。其体系结构如图3所示。

客户端是整个入侵检测***和用户交互的界面，是***中不可缺少的重要组成部分。它提供了***和用户之间进行交流的平台。它给***管理员提供了两种机制:一是可以实时显示检测器的报警信息，二是可以查询数据仓库中的所有数据，它与数据库集成到一起，允许用户过滤和有选择的观察数据仓库中的数据集。

分析引擎是数据分析中最为重要的类型之一。分析引擎从数据仓库中检索一个历史数据集，并运用某种检测算法在数据集中发现可疑的活动，然后将可疑的活动打上标签。使用SQL语句将它标识成为适当的数据，要么是异常的，要么是正常的。这里要求在数据库表中加入一列来存储标签。

自动标签工具是数据分析引擎的一种。自动标签工具遍历已知的攻击特征列表，并且利用这些信息去为数据库中的所有记录打标签。标签工具用来生成打了标记的训练数据。己知的攻击特征列表可以是进程名称，时间戳，或者是其他的。这些都包含在数据记录里面，并且与己知的攻击相匹配。标记工具与手工标记相比是一个巨大的提高。手工标记数据在配置一个基于数据挖掘的入侵检测***中代价比较昂贵，花费巨大。通过使用标记工具可以将费用大大的削减下来。

特征提取引擎是以原始审计数据作为输入，输出一些附加的信息，这些附加信息是由这些原始数据计算出来的。这些新的特征加入到原始的记录当中。数据记录中的许多特征，在计算过程中所使用的信息横跨了数据库中的好多个独立的记录。这主要是因为有些独立的记录本身没有意思，但是当和其他的记录合并起来之后，才能够反映出入侵行为。数据仓库能够为特征提取引擎提供所必须的任意子集。入侵检测***的灵活性允许使用任意数据子集来生成特征。

4.自适应策略生成器

本发明中的ASM管理模块，通过数据仓库中的数据生成检测策略，并存储在数据仓库中，供检测器使用。ASM采用数据挖掘中的分类技术生成入侵规则，分类效果取决于学习集与属性集的质量。从庞大的审计数据库中用人工建立学习集是一件非常耗时耗力的事情，这里我们采用的方法是：用数据挖掘中的关联规则挖掘算法与序列规则挖掘算法从大量的审计数据中得到大量模式，根据模式指导学习集与属性集的构造。然后再使用分类器生成分类规则。

5.检测模式管理器

AMM模块，管理检测模式的生成和分发。检测模式是使用数据仓库中存储的数据来生成的。它们通过模式分发器分发到各个检测器上去的。

(1).检测模式生成器

模型生成器的主要目的是，使新的入侵检测模型的分布与快速发展变得容易。该体系结构，攻击第一次被作为异常检测到时，可能被模型生成器当作典型数据来处理。依次的，用来自数据仓库已经存档的正常的和异常的数据集合，自动生成能够检测新的入侵模型，并把它分配给探测器。

模型生成器被设计成能够工作在任何一种模式产生算法之上。这样，模式生成组件就可以被看作是黑箱子，可以容易的***到我们的架构中去。这些组件以一系列的训练数据集作为自己的输入，以可疑的行为模式作为输出。不同类型的模式生成算法要求不同类型的数据集。在我们所设计的架构中，允许模式生成器通过使用总体的或者特定的查询来选择它所需要的任意数据。这使得我们的架构能够处理任意类型的模式生成算法。

当模式生成器需要产生一个模式的时候，它就会查询数据仓库中的数据。他们所要进行的查询是建立在模式训练所需的信息之上的。然后生成器开始运行并且产生出一个模式来。接着模式被编码为XML格式并且发送到数据仓库中去。同时，模式生成器也给模式分发器发出信号，让它知道一个新的模式己经生效了。

(2).检测模式分发器

许多的模式生成算法能够被用在实时环境当中。这就需要一个模式分发器以保证所有的检测器能够拥有最近最新的模式。检测器如果不能不断的通过检测数据仓库来更新自己的模式库，那么检测模式比较单一，漏报率与误报率偏高。作为一个整体，***有实时性的要求。检测器模块是一个轻量级的组件。只要模式产生器产生了新的模式，模式分发器便会自动的发送模式来更新检测器模块的模式库。

实现本方法的步骤如下：

1). 感应器从***环境或者网络环境里面收集信息并格式化，然后发送到数据仓库存储起来，所有的感应器实现一个基本审计模块框架，它在可扩展标记语言XML中编码，由原始数据计算特征；

2). 数据分析引擎实时的从数据仓库提取信息，将数据分成异常数据集与正常数据集，并利用标记工具做相应的标记，对己标记的信息进行特征提取，并将标记的数据存储到数据仓库中，以便模式生成器进行模式挖掘；

3). 检测器接收由感应器处理过的数据，用一个检测模型来检查数据，判断是否有攻击，检测器也把结果发送给数据仓库去做进一步的分析；

4). 自适应模式管理器访问数据仓库里面标记的及未被标记过的异常的数据，经模式生成器生成新的检测模式后，存储到数据仓库中备用，当生成一种新的模式后，模式分发器负责将检测器的模式更新；

5). 自适应策略管理器提取数据仓库中的入侵特征，经过分类器分类后，策略生成器生成一种新的检测策略，将这些数据分类为可疑的或者是正常的，一旦一个策略产生出来，它就会存储在数据仓库中的策略库中，策略分发器将产生的新的策略配置到检测器上。

自适应模式管理器的实现步骤包括：

1). 模式生成器查询数据仓库中的数据，开始运行并且产生出一个模式；

2). 将该模式编码为XML格式并且发送到数据仓库中去；

3). 模式生成器给模式分发器发出信号表明一个新的模式己经生效；

4). 模式分发器收到信号后自动的发送该模式来更新检测器模块的模式库。

自适应策略管理器的实现步骤包括：

1). 对数据仓库中被标记成正常和异常的数据进行比较，提取出与正常数据集相差较大的入侵数据集，形成入侵模式；

2). 提取入侵模式的特征属性，使用分类器生成新的分类规则；

3). 根据新的分类规则，策略生成器生成一种新的检测策略并存储到策略库；

4). 策略分发器将生成的检测策略配置到检测器上。

Claims (3)

1. 一种基于数据挖掘的实时入侵检测方法，其特征在于实现本方法的步骤如下：

1). 感应器从***环境或者网络环境里面收集信息并格式化，然后发送到数据仓库存储起来，所有的感应器实现一个基本审计模块框架，它在可扩展标记语言XML中编码，由原始数据计算特征；

2). 数据分析引擎实时的从数据仓库提取信息，将数据分成异常数据集与正常数据集，并利用标记工具做相应的标记，对己标记的信息进行特征提取，并将标记的数据存储到数据仓库中，以便模式生成器进行模式挖掘；

3). 检测器接收由感应器处理过的数据，用一个检测模型来检查数据，判断是否有攻击，检测器也把结果发送给数据仓库去做进一步的分析；

4). 自适应模式管理器访问数据仓库里面标记的及未被标记过的异常的数据，经模式生成器生成新的检测模式后，存储到数据仓库中备用，当生成一种新的模式后，模式分发器负责将检测器的模式更新；

5). 自适应策略管理器提取数据仓库中的入侵特征，经过分类器分类后，策略生成器生成一种新的检测策略，将这些数据分类为可疑的或者是正常的，一旦一个策略产生出来，它就会存储在数据仓库中的策略库中，策略分发器将产生的新的策略配置到检测器上。

2. 根据权利要求1所述的基于数据挖掘的实时入侵检测方法，其特征在于自适应模式管理器的实现步骤包括：

1). 模式生成器查询数据仓库中的数据，开始运行并且产生出一个模式；

2). 将该模式编码为XML格式并且发送到数据仓库中去；

3). 模式生成器给模式分发器发出信号表明一个新的模式己经生效；

4). 模式分发器收到信号后自动的发送该模式来更新检测器模块的模式库。

3. 根据权利要求1所述的基于数据挖掘的实时入侵检测方法，其特征在于自适应策略管理器的实现步骤包括：

1). 对数据仓库中被标记成正常和异常的数据进行比较，提取出与正常数据集相差较大的入侵数据集，形成入侵模式；

2). 提取入侵模式的特征属性，使用分类器生成新的分类规则；

3). 根据新的分类规则，策略生成器生成一种新的检测策略并存储到策略库；

4). 策略分发器将生成的检测策略配置到检测器上。

Images