CN102594620B - 一种基于行为描述的可联动分布式网络入侵检测方法 - Google Patents

Abstract

本发明是一种基于行为描述的可联动分布式网络入侵检测方法，通过将网络行为描述和特征抽象的方法应用在分布式的检测***上并与防火墙联动，实现对网络中异常流量的实时检测并适时做出响应，具体包括：a) 检测单元运行过程：b)总控平台运行过程：通过在分布式的检测单元上应用基于行为描述的检测策略来有效地将分布的检测单元组织成一个高效的有机整体，避免了现有***方案的低效性和分散性，其目的是解决实际应用中大型网络上异常流量检测的低效，并提高检测***对网络的整体检测能力和保护效果。

Description

一种基于行为描述的可联动分布式网络入侵检测方法

技术领域

本发明提出了一种基于行为描述的可联动分布式网络入侵检测方案，通过将网络行为描述和特征抽象的方法应用在分布式的检测***上并与防火墙联动，实现对网络中异常流量的实时检测并适时做出响应，属于计算机安全技术领域。

背景技术

随着网络应用类型的不断增多和网络规模的不断增大，网络安全问题日益突出，引起人们的高度重视。当前网络面临的主要威胁有拒绝服务攻击，网络入侵，恶意代码等，为了能有效地应对这些威胁，需要对网络采取实时检测和保护措施，将安全问题控制在一定的范围内，尽量减少经济和利益损失。目前已有的网络检测和保护手段主要包括部署防火墙和入侵检测***。

防火墙是用来控制网络之间通信的一种***，它部署在内部网和外部网相互连接的地方，就如同一个过滤网一样依据一定的安全策略处理流经的网络数据或网络连接，将非法的数据和连接阻隔在网络外部，最大限度地提供对内部网络的保护。防火墙的功能包括过滤恶意流量、强化网络安全策略和审计网络访问与存取等。防火墙只是安全保护的一种技术手段，并不能解决所有安全问题，如不能阻止那些经过精心伪造符合防火墙安全策略的网路攻击，需要配合其他安全技术使用。

入侵检测是通过收集当前网络和***中的数据，依据一定的策略或模型监视网络和***运行状况，尽可能发现各种攻击企图、攻击行为或者违反安全策略的行为，并向管理员或管理站站点做出报告，以保证网络***资源的机密性、完整性和可用性。一般地可以分为三类：基于网络的入侵检测***、基于主机的入侵检测***和分布式入侵检测***。基于网络的入侵检测***一般部署在网络的咽喉要塞处，这样它可以监视整个网络，更准确地讲是它能监视整个网络的流量。基于主机的入侵检测***只能在其所处的机器上，对操作***、应用程序进行监视。

网络入侵检测和主机入侵检测的部署位置决定了它们具有先天的局限性。当网络规模比较大，主机数量比较多时，面对海量数据、繁多的攻击类型和分散的数据源，孤立的检测单元就显得效率低下，功能单一，并且缺少从全局上分析流量和监控网络的能力，因此分布式的网络入侵检测顺势提出。分布式网络入侵检测***的本质特征是由分布在网络各处的探测器和中央管理控制台两大部分组成，这些探测器可能是网络入侵检测***或者主机入侵检测***，根据网络安全需求部署，它们做好自己的本职工作，并周期性地向中央管理控制台发送报告，或通过各种方式通知管理员。目前分布式的入侵检测更多地处于研究阶段，缺乏实际有效的应用。虽然出现了不少体系结构和方案，但仍然更多地强调单个检测单元的性能和检测方法，没有考虑这些分布的检测单元所处的网络环境和检测目标是不同的，所提交给中央管理控制台的数据源也是各种各样，缺乏一致性，给中央管理器的分析和存储带来不便。关于如何在实际中部署这样的分布式***，以及采用什么样的检测方法才能实现对网络全局的分析和监视并没有定论，因此需要研究如何部署以及采取什么样的策略才能更加有效地将分布的检测综合统一起来。

发明内容

技术问题：本发明的目的是提供一种基于行为描述的可联动分布式网络入侵检测方法，通过在分布式的检测单元上应用基于行为描述的检测策略来有效地将分布的检测单元组织成一个高效的有机整体，避免了现有***方案的低效性和分散性，其目的是解决实际应用中大型网络上异常流量检测的低效，并提高检测***对网络的整体检测能力和保护效果。

技术方案：基于行为描述的可联动分布式网络异常流量检测方法强调分布式***的部署方式，通过行为描述来发现已知和未知的攻击流量，产生一致的数据，提高中央控制台的管理和分析效率，并结合联动技术提高检测和保护效果。首先检测***的部署要合理，这样才能收集到有用的数据，利于***处理和分析数据，因此在网络结构中选择合适的位置部署***非常重要。一般考虑在网络中的关键节点处部署，因为网络中的数据都需要经过这样的节点转发，在这样的位置可以最大可能地采集到所有数据包，从而保证检测***能检测到网络中所有的流量。大型网络一般有一个总的进出口和外部网络相连，内部网络又根据地理位置划分为若干个子网。子网又有自己的进出口，它们通过网络内部的骨干网相连，并且子网间相对独立自成一个子***，因此只要在这些进出口部署检测***就能最大可能地捕获到所有流量。

本发明的基于行为描述的可联动分布式网络入侵检测方法由分布部署于各子网进出口的检测单元实现网络连接微观行为的实时检测，由总控平台实现网络连接宏观行为的异常检测，各检测单元内的相对自治性和可定制性有效地提高网络异常流量的检测效率，通过对连接行为采用统一的数据格式进行描述，提高中央控制台的全局管理和分析能力，并且与防火墙的联动进一步提高了***的主动性和保护效果。

***结构

***由总控平台和分布的检测单元组成。在每个子网络的进出口部署一个检测单元，这些检测单元完成网络连接微观行为的检测任务；总控平台则是管理这些检测单元的控制中心并且向管理员提供操作界面，它扫描检测单元提交的微观行为描述数据提取连接行为的宏观行为，然后再检测这些宏观行为进行检测。

***组成

每个检测单元包括数据采集器，处理器，分析器，控制器和本地数据库，防火墙六个部件。

数据采集器：采集网络上的数据包交给处理器。

处理器：处理器对采集到的每个数据包和每个网络连接进行检测并生成对应的行为描述数据结构。处理器包括包头检测模块、描述数据生成模块、网络连接检测模块和内容检测模块四个模块。包头检测模块是对数据包进行格式检查，消除无效数据包；描述数据生成模块扫描每个有效数据包生成基本描述数据结构；网络连接行为检测模块则基于检测规则对连接行为进行多重检测，并完善行为描述数据结构信息；内容检查模块则是对数据包的负载部分进行内容搜索和检查。

分析器：分析器根据行为描述结构中的危险指数域决定是否要进一步对处理器生成的行为描述数据结构进行简单的行为检查。对于能判定行为性质的它不做进一步分析，只是将这些数据结构存储到本地数据库中，并将警告级别以上的行为通知控制器。

控制器：控制器是检测单元的信息交换中心，定期地向总共平台提交信息；也接受来自分析器和总控平台的信息，还会在危险级别时向防火墙发出控制命令及时阻断网络连接。

本地数据库库：本地数据库中存放根据本地网络的信任规则、误用规则、敏感字库、本地行为描述数据五类数据。

防火墙：防火墙接受控制器设置的安全策略完成网络访问控制功能，阻断非法的网路连接，能在检测到危险行为时及时阻断网络连接实现有效的保护。

总控平台：总控平台作为全网的管理中心，给管理员提供管理界面，管理员可以查看当前全网状态，可以制定新的检测规则添加到数据中心，可以通知检测单元更新信息，向检测单元发送各种控制命令如更改防火墙的规则，要求检测单元立即提交最新的行为描述数据。总控平台还有一个重要的功能是分析检测单元提交的行为描述数据，做更详细的周期更长的统计，向管理人员提供做出决策的数据依据。

行为描述方法

网络流量是由网络通信行为产生的，通过收集流量的各种属性并将它们与网络连接关联起来，同时引入统计分析的方法就可以对行为进行宏观和微观的描述。本发明中用一个行为描述数据结构来描述行为特征，在检测单元中生成行为的微观行为描述，在总控平台通过统计分析一段时间内的微观数据获得宏观行为描述。

微观行为描述数据的一般结构包括五元组信息域、时间戳、危险指数、包头异常指针、信任检查指针、危险检查指针、基本信息和详细信息指针。其中五元组信息即源IP地址、目标IP地址、源端口、目标端口和传输协议是一个数据包或网络连接所关联的基本信息，这些信息可以标识出IP数据包组成的逻辑数据段，因此可以用来作为一个标识域。时间戳包含了生成该描述数据结构的时间，格式为日期-时间。总控平台在统计分析的时候会将它和五元组结合作为一个全局的标识和其他描述数据结构区分开来。危险指数表示当前数据结构描述的连接行为的危险等级，本发明中包含高危、警告、可疑、正常和信任五个级别。后面则包含三个检查类型指针。在本发明中，分别是包头异常，信任检查，危险检查，它们初始时为空。当描述数据结构在处理器中经过各个模块时，为了加快检测速度，一旦在某个模块根据检测规则做出判定，则不再进行其他检查，随即填充危险指数域，生成相应的检查摘要信息并在对应的指针域赋值指向它，检查信息指针由检查信息表名和行号组成。本发明中，检查摘要信息包括检查类型，匹配规则号，检查信息三个域。检查类型表示在哪个模块中做出最终判定，匹配规则号表示基于哪条规则做出判定，检查信息表示判定依据，如基于信任规则对连接做出判定就在该域存放该连接的信任信息。基本信息存储每个连接的微观信息即一个连接的基本信息，由描述数据生成模块填充，具体包括高层协议、入站数据长度、出站数据长度、连接开始时间、连接结束时间、入站IP报文数目、出站IP报文数目、连接发起端和连接结束端五个域，高层协议是指传输层上一层的协议类型，入站数据长度是整个连接过程中由外部到本地网络的数据总长度，入站报文数则是指整个连接过程中由外部到本地网络的IP报文数目，出站数据长度则是指整个连接过程中由本地网络到外部的数据总长度，出站报文数则是指整个连接过程中由本地网络到外部的IP报文数目，连接开始时间为捕获到的该连接上第一个IP报文的时间，结束时间则是指捕获该连接上最后一个IP报文的时间，连接发起端是指建立连接的一端，连接结束端是指结束连接的一端，本发明中存储对应的IP地址。网络连接检查模块不断更新这些域，直至该连接行为结束网络连接检查模块将它放到可取队列中交给分析器。详细信息则是整个连接过程中传递的负载部分数据，这些数据分入站数据和出站数据两部分。为提高效率并提高存储空间利用率，本发明中只有在连接行为被标识为可疑的时候才存储这些数据，以供管理员或总控平台执行更深入的数据检查。

宏观行为描述即一段时间内某个内部机器的网络行为规律，具体包括内部地址、外部地址、应用层类型、内部端口、外部端口五个标识域，连接发生频率(每天，每周，每月)、连接建立时间、连接持续时间、连接间隔时间、出站数据量、入站数据量、出站数据包数目、入站数据包数目八个统计域。连接发生频率是指连接在一定时间内发生的次数，包括每天的次数，每周的次数和每月的次数三个指标。连接建立时间记录连接建立的时间范围，表征连接建立时间的分布情况。连接持续时间记录连接从建立到终止所持续的时间长度范围，表征连接持续时间分布的情况。连接间隔记录相邻两次连接之间所间隔的时间长度范围，表征连接间隔时间的分布情况。出站数据量是一定时间内由内部网络流向外部网络的总流量，入站数据量是一定时间内由外部网络流向内部网络的总流量。出站数据包数目是一定时间内由内部网络流向外部网络的数据包总数目，入站数据包数目是指一定时间内由外部网络流向内部网络的数据包总数目。

***运行流程

a)检测单元运行过程：

1.）首先数据包采集器采集网络上的数据包，并将这些数据放到内存池中交给处理器，

2.）包头检测模块进行包头格式检查确定是否为有效数据包，消除无效数据包，并对异常数据包生成行为描述结构、包头异常信息和危险指数，

3.）描述生成模块扫描有效数据包生成行为描述结构并填充其基本信息，

4.）网络连接检查模块预处理数据包，将单个数据包信息关联到网络连接，

5.）网络连接检查模块基于信任规则（注：信任规则即合法的网络连接所对应的规则列表）对行为描述数据结构进行检查，如果合法则直接生成行为描述结构和危险指数，并将数据结构放在可取队列的后面交给分析器，处理下一个数据结构，

6.）网络连接检查模块基于误用规则（注：误用规则即采集非正常操作的行为特征，建立特征库，当监测的用户或***行为与库中的记录相匹配时，***就认为这种行为是入侵的规则）对不符合信任规则的连接数据结构进行检查，如果非法则直接生成行为描述结构和危险指数，并将数据结构放在可取队列的后面交给分析器，处理下一个数据包，

7.）对于不符合误用规则的连接数据结构标记为可疑，并将它交给内容检查模块，由内容检查模块填充行为描述结构中的详细信息，并进行更详细的内容检查，主要是基于敏感字库对数据包负载部分进行关键字的扫描，

8.）分析器依次到可取队列中取得每个行为描述数据结构，读取危险指数，根据危险指数决定操作行为；如果危险指数为可疑，则需要采取进一步的分析操作；这里基于本地行为检测规则进行简单分析，如果分析行为差异不大则不改变危险指数仍为可疑，则不仅要保存行为描述数据结构，还要保存详细的报文信息供信息中心进一步分析，否则将危险指数重置为警告；

9.）如果危险指数显示为信任、正常、警告或危险，则分析器只保存行为描述数据到本地数据库，对于警告或危险的还需立即向控制器发出事件通知；

10.）控制器周期性地向总控平台提交最新的行为描述数据，在收到分析器发来的事件通知后，立即向总控平台转发该事件通知，如果危险指数为危险需立即向防火墙发出控制命令，采取措施防止危险行为继续，控制台还接受来自总控平台的命令，如本地数据库更新命令、防火墙控制命令或信息提交命令；

b)总控平台运行过程：

本地检测单元向总控提交的数据包括警告通知消息和本地行为描述数据，当总控平台接收到警告通知消息时，则立即向管理界面发出警告消息，或通过邮件方式通知管理员，并记录日志，当总控平台接收到行为描述数据时，在不同的阶段有不同的处理方式，总控平台的运行分为学习阶段和决策阶段，学习阶段是观察训练数据集构建行为分类器；决策阶段则是利用学习阶段构建的行为分类器来对从网上采集的新数据集进行分类即检测它们是正常还是异常；

在学习阶段：

b1.）总控平台存储检测单元提交的每一条微观行为描述数据，在一定的时间间隔后，从这些数据中提取连接的宏观行为信息，

b2.）分析宏观行为描述结构中各域值生成对应的宏观特征向量，

b3.）扫描生成的宏观特征向量，将它们作为分类器学习阶段的训练数据集，得到决策函数，

在决策阶段：

B4.）总控平台扫描检测单元提交的微观行为描述数据，使用学习阶段一样的算法生成对应的宏观行为特征向量,

B5.）将连接的宏观行为特征向量作为决策函数的输入,

B6.）读取决策函数的输出，判断结果，如果有异常则自动生成误用检测规则并要求检测单元立即更新；同时向管理界面发出警报通知，或者通过邮件通知管理员，并记录日志，等待管理员做进一步分析后作出判定；如果没有出现异常，则只是记录日志信息。

有益效果：

1.独立于***平台和应用

基于行为描述的检测方案只针对网络连接行为进行检测，而不涉及网络流量的产生源和目的地的***平台，这样基于行为描述的检测方案对网络中任意机器的网络行为都有较好的检测效果。另外它也没有限定只检测特定的网络应用，对于大多数网络应用都能检测。

2.易于维护管理

本发明中分布在网络中的各个检测单元是相对独立的，各自之间不会相互影响；当网络规模扩大时，只需要增加相应的检测单元即可，检测***的其他地方不需要做任何调整；在网络上部署该***，只需要在各关键节点部署即可，不会影响现有网络拓扑结构；另外***中采用统一的数据格式，自动分析数据和产生检测规则，总控平台和各检测单元之间可以实时互动，这些便于管理员在总控平台对网络整体的管理和维护。

3.多功能

在总控平台的检测任务是对可疑网络连接行为进行进一步的详细分析，这种检测方式主要是针对未知的网络异常行为；在检测单元中则主要基于各种检测规则针对已知的恶意网络行为进行检测，还可以在不同的子网上根据子网的使用情况实现检测规则的定制，灵活地监测各子网运行情况。

4.高效性和准确性

在分布式的各检测单元中实现本地子网的已知恶意行为检测任务，在总控平台实现未知异常行为分析检测任务，这样可以避免集中处理的性能瓶颈提高检测效率。在不同的模块中基于不同的检测规则对网络行为进行多重检测，而且在总控平台还有更详细的分析检测，提高了检测的准确度，降低了漏检的可能性。

5.实时性和有效性

在分布式的检测单元中还增加了防火墙控制模块，在检测到危险行为时，能及时向防火墙发出控制命令切断网络连接，一定程度上克服了检测***的被动性和离线检测的滞后性，尽可能降低恶意行为的危险程度，增强了检测***的实时性和保护效果。

附图说明

图1是检测方案体系结构图，

图2是检测***中的检测过程，

图3是检测***中数据流图。

具体实施方式

***构建方案：

本发明在网络的总进出口部署一个监视设备，该设备只做简单的网络状况统计，向总控平台报告网络的总的流量状态，而不做其他检测工作。在每个子网络的进出口则部署一个检测单元，这些检测单元完成正常的网络检测任务。每个检测单元检测各司其职，并且可以根据所要保护的网络范围特点在功能上有所侧重。将整个网络的检测任务分摊到各个检测单元上可以避免遭遇性能瓶颈，提高检测效率，而且单元间也不会互相干扰。每个检测单元包括数据采集器，处理器，分析器，控制器和本地数据库。本地数据库中存放根据本地网络定制的本地检测规则、信任规则、误用规则、敏感字库、本地连接描述数据五类数据。检测单元的任务只是被动地复制网络上流经的数据流并分析处理它们，在发生紧急情况的时候，并不能采取适当的保护措施，而只能发出警告等待管理员来处置。为了弥补这种被动性，在每个检测单元***下又增加了一个防火墙模块，主要完成网络访问控制功能，这样检测***在发现紧急情况的时候，控制模块可以及时的阻断网络连接实现有效的保护。

检测单元中的核心是处理器和分析器。处理器对采集到的每个数据包和每个网络连接进行检测并生成对应的行为描述数据结构。行为描述数据结构包含一个唯一标识的标识域、危险指数和其他相关特征，其中危险指数是对所有特征的总体数字描述。处理器包括包头检测模块、描述数据生成模块、网络连接检测模块和内容检测模块四个模块。包头检测模块、描述数据生成模块和网络连接检测模块是必须运行的，内容检测模块则由网络连接检测模块根据情况决定是否调用。这四个模块运行的结果是对每个有异常的数据包或网络连接生成一个行为描述数据结构及其对应的危险指数，再由分析器对这些行为描述数据结构进行分析。分析器根据危险指数决定是否有必要进一步分析特征得到更精确的危险指数。分析器将异常行为描述数据结构存储到本地数据库，并根据危险指数决定是否要通知控制器。控制器作为本地检测单元的信息交换中心定期地向总共平台提交信息，也可以接受来自分析器和总控平台的通知，还可以向防火墙发出控制命令。控制器接受分析器的通知，根据危险指数确定警告级别，如果是低级别则只是向总控平台发出一般的警告通知信息，如果级别高还要向防火墙发出一定的控制命令以采取适当的保护措施。另外它还可以接受总控平台发来的信息，可能是更新数据也可能是控制命令。

总控平台作为全网的检测中心，给管理员提供管理界面，管理员可以查看当前全网状态，可以制定新的检测规则添加到数据中心，可以通知检测单元更新信息，向检测单元发送各种控制命令如更改防火墙的规则，要求检测单元立即提交最新的行为描述数据。总控平台还有一个重要的功能是分析检测单元提交的行为描述数据，做更详细的周期更长的统计，向管理人员提供做出决策的数据依据。

行为描述方案：

网络中传输着各种各样的数据包，通过一般的匹配方法可以分析出一部分存在异常的数据包，但是这种方法对付通过高层次应用协议实现的恶意操作则显得力不从心。基于协议隧道的方法实现的恶意操作在数据包上很难表现出任何异常特征。另外基于一种协议（如HTTPHypertextTransferProtocol超文本传输协议）的应用也有很多种类型，仅通过分析数据包很难区分哪种应用是合法的，哪种应用是非法的，因此需要有更高的视角来分析。一般地，一种通信行为对应着一种行为特征集，不同的类型的行为会表现为不同的特征。基于此，本发明通过对通信行为进行描述，将获得到的行为特征和正常的行为特征进行比较来发现异常网络行为。网络流量是由网络通信行为产生的，通过收集流量的各种属性并将它们与网络连接关联起来，同时引入统计分析的方法就可以对行为进行宏观和微观的描述。本发明中用一个行为描述数据结构来描述行为特征，在检测单元中生成行为的微观行为描述，在总控平台通过统计分析一段时间内的微观数据获得宏观行为描述。

微观行为描述数据的一般结构：

其中五元组信息即源IP地址、目标IP地址、源端口、目标端口和传输协议是一个数据包或网络连接所关联的基本信息，这些信息可以标识出IP数据包组成的逻辑数据段，因此可以用来作为一个标识域。时间戳包含了生成该描述数据结构的时间，格式为日期-时间。总控平台在统计分析的时候会将它和五元组结合作为一个全局的标识和其他描述数据结构区分开来。危险指数表示当前数据结构描述的连接行为的危险等级，本发明中包含高危、警告、可疑、正常和信任五个级别。后面则包含三个检查类型指针。在本发明中，分别是包头异常，信任检查，危险检查，它们初始时为空。当描述数据结构在处理器中经过各个模块时，为了加快检测速度，一旦在某个模块根据检测规则做出判定，则不再进行其他检查，随即填充危险指数域，生成相应的检查摘要信息并在对应的指针域赋值指向它，检查信息指针由检查信息表名和行号组成。本发明中，检查摘要信息包括检查类型，匹配规则号，检查信息三个域。检查类型表示在哪个模块中做出最终判定，匹配规则号表示基于哪条规则做出判定，检查信息表示判定依据，如基于信任规则对连接做出判定就在该域存放该连接的信任信息。基本信息存储每个连接的微观信息即一个连接的基本信息，由描述数据生成模块填充，具体包括高层协议、入站数据长度、出站数据长度、连接开始时间、连接结束时间、入站IP报文数目、出站IP报文数目、连接发起端和连接结束端五个域，高层协议是指传输层上一层的协议类型，入站数据长度是整个连接过程中由外部到本地网络的数据总长度，入站报文数则是指整个连接过程中由外部到本地网络的IP报文数目，出站数据长度则是指整个连接过程中由本地网络到外部的数据总长度，出站报文数则是指整个连接过程中由本地网络到外部的IP报文数目，连接开始时间为捕获到的该连接上第一个IP报文的时间，结束时间则是指捕获该连接上最后一个IP报文的时间，连接发起端是指建立连接的一端，连接结束端是指结束连接的一端，本发明中存储对应的IP地址。网络连接检查模块不断更新这些域，直至该连接行为结束网络连接检查模块将它放到可取队列中交给分析器。详细信息则是整个连接过程中传递的负载部分数据，这些数据分入站数据和出站数据两部分。为提高效率并提高存储空间利用率，本发明中只有在连接行为被标识为可疑的时候才存储这些数据，以供管理员或总控平台执行更深入的数据检查。

宏观行为描述即一段时间内某个内部机器的网络行为规律，具体包括内部地址、外部地址、应用层类型、内部端口、外部端口五个标识域，连接发生频率(每天，每周，每月)、连接建立时间、连接持续时间、连接间隔时间、出站数据量、入站数据量、出站数据包数目、入站数据包数目八个统计域。连接发生频率是指连接在一定时间内发生的次数，包括每天的次数，每周的次数和每月的次数三个指标。连接建立时间记录连接建立的时间范围，表征连接建立时间的分布情况。连接持续时间记录连接从建立到终止所持续的时间长度范围，表征连接持续时间分布的情况。连接间隔记录相邻两次连接之间所间隔的时间长度范围，表征连接间隔时间的分布情况。出站数据量是一定时间内由内部网络流向外部网络的总流量，入站数据量是一定时间内由外部网络流向内部网络的总流量。出站数据包数目是一定时间内由内部网络流向外部网络的数据包总数目，入站数据包数目是指一定时间内由外部网络流向内部网络的数据包总数目。

接着将这些宏观特征属性量化，就可以利用数学方法分析行为是否正常。如果发现异常则向管理员发出通知，并自动产生相应的检测规则。管理员做进一步分析后作出判定，如果是异常行为则制定更准确的检测规则替代自动产生的检测规则，否则取消自动产生的检测规则，同时新增信任规则防止再次产生类似警告通知并将该行为的微观数据添加到训练样本库中。

行为检测方案：

在检测行是否为合法行为时，需要依据检测规则处理，即用固定的格式将行为的典型特征表示出来，检测模块依据这些检测规则来判定连接行为的警告级别。在本地检测单元的数据库中存放了三类检测规则，分别是信任规则，误用规则和行为检测规则。信任规则用来描述那些信任的应用行为特征，如凡是对某个地址范围的web服务访问是合法的，这样可以将该信任规则描述为(外部地址：地址值)(端口：80)(应用协议：HTTP)实际制定时可以添加更多的细节。误用规则用来描述那些已知的恶意网络行为，它根据一种网络攻击实际表现出的行为特征建立该攻击的唯一标识，如可以依据攻击数据包长度、端口号、时间、特殊字符串等来建立误用规则。行为检测规则是对日常网络行为的统计特征的一种描述，其中描述正常行为的规则添加到信任规则集中，描述恶意行为的规则添加到无用规则集中。检测单元基于它们对采集到的网络行为进行简单的分析和检测，总控平台则基于它们进行详细的分析和检测，通过比较它们之间的差异发现异常行为。

检测规则的建立有两种方法，分别是静态方法和动态方法。静态方法是由管理员根据经验并结合实际使用情况手动建设检测规则。该方法生成的规则比较准确，但对管理员要求比较高，随着时间的推移，需要查看的数据越来越多，管理员的工作量越来越大。动态方法则是由***在运行过程中依据一定的算法计算相关的特征量得到一些规律性数据，并由此建立检测规则。该方法不需要管理员过多参与，但有时受自动生成规则的算法局限，自动生成的规则未必是高效或完善的，需要人工根据检测效果和***警告日志进行适当调整。

在本发明中结合两种方法，检测库的初始建立需要管理员根据网络应用情况制定信任规则，具体可以根据网络可以访问的外部网络范围，网络可以使用的服务类型、协议类型以及访问时间段，这些规则还可以根据不同子网环境进行更细致的定制，最终形成规则对应的微观行为描述数据结构和宏观行为描述数据结构。误用规则的建立是将已知的常见攻击行为特征用本发明中的微观行为描述数据结构和宏观行为描述数据结构表示出来，供检测单元和总共平台查询使用。在实际使用的入侵检测***中已经存在成熟的误用检测规则，具体可以参考snort（一种入侵检测***）规则库。在***运行初期，上述两种规则由管理员预先构建，而行为检测规则在***运行初期几乎是空白，管理员只能根据网络应用的情况建立最基本的行为描述，如哪个子网会在什么时候访问什么服务。在***部署运行一段时间后，根据检测单元上传的行为描述数据和总控平台的统计结果，***会自动生成日常网络行为的统计特征，即宏观行为描述数据结构，将这些数据作为行为检测规则供检测单元和总控平台查询使用，并且这些行为检测规则会由于***不断产生新的宏观行为描述数据而自动地不断调整。随着时间的推移，管理员可以根据***的运行警告日志和统计分析的***日常行为规律适时调整和更新信任规则，误用规则和行为检测规则，逐步建立完善的检测规则，从而使检测***运能运行在最佳状态。

总控平台作为检测***的中心集控制、管理和分析于一身。它分为前台管理界面和后台进程两部分。前台界面向管理员提供查询信息和操作的接口界面，管理员可以随时查看全网的状况或某个检测单元的运行状况，可以查看每条行为描述数据结构的详细情况，可以向检测单元发出各种控制命令。后台进程则有两个任务，一个是分析模块，它主要扫描检测单元上传的最新数据行为描述情况进行更全面的检查，如果发现异常则产生警告或危险通知；否则将这些数据存储到数据库中由管理员决定是否作为新的补充加入到统计样本库中并产生新的行为统计规律。

总控平台在比较宏观行为时依据行为检测规则对连接行为进行判定，具体采用支持向量机的方法对检测单元上传的数据进行分析发现异常行为。由于检测单元上传的是关于连接行为的微观信息，要想进行宏观行为检测，总控中心首先需要从这些数据中提取出宏观行为特征属性，然后再将这些特征属性转换成特征向量值，然后利用支持向量机方法对这些特征向量进行处理。

这里的宏观行为特征是由一些数值来表示的，其格式如下，

宏观行为特征：{属性1=值1，属性2=值2，属性3=值3，……}

这些数值具有处于一定的范围内波动，需要将它们规范化成特征向量值才能作为支持向量机的输入，规范化的方法如下：

首先计算出每个统计属性的均值和标准偏差，

式（1）计算均值： $\mathrm{Average}\left(x^j\right)=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i^j$

式（2）计算标准差： $S\tan \mathrm{dard}\left(x^j\right)=\sqrt{\frac{1}{n-1}{\mathrm{\Σ}}_{i=1}^n{(x_i^j-\mathrm{Average}\left(x^j\right))}^2}$

其中

代表样本i中的第j维属性，n为样本容量。

然后，基于下列公式计算出对应的特征向量值。

式（3）计算特征向量值：

由此得到如下形式的特征向量值，

宏观行为特征：{x₁，x₂，x₃，……}

其中x₁为应属性1的向量特征值，x₂为应属性2的向量特征值，x₃为应属性3的向量特征值。

现在可以利用数学工具支持向量机对这些特征向量进行处理。支持向量机分类器的构造分为学***台从这些行为描述数据结构集中提取宏观行为特征属性并计算得到相应的特征属性值，然后基于径向基函数对这些训练样本数据学习得到决策函数。

式（4）：k_r(||x-x_i||)＝exp{-r||x-x_i||²}

式（5）： $f\left(x\right)=\mathrm{sgn}({\mathrm{\Σ}}_{i=1}^N{a}_i{k}_r\left(\right||x-x_i|\left|\right)+b)$

式（4）为径向基函数，其中N是支持向量数，a_i为展开式系数，x_i为支持向量，r为核函数的宽度参数。径向基函数是将非线性可分的特征向量空间映射到线性可分的向量空间。式（5）为决策函数，它是将输入进行分类，通过输出表示类别。在学习阶段支持向量机观察训练数据集得到输出，再比对数据集，不断调整自身参数使得输出结果尽可能接近训练集数据，最终确定参数N，a_i，x_i，r。在此过程中，需要通过控制式（6）的参数R，w₀去最小化错误概率的界。

式（6）： ${\left|\right|w_0\left|\right|}^2={\mathrm{\Σ}}_{i=1}^1{a}_i^0{a}_j^{0}k(x_i,x_j)y_i{y}_j={\mathrm{\Σ}}_{i=1}^1{a}_i^0,\mathrm{\Φ}(R,w_0,l)=\frac{R^2{\left|\right|w_0\left|\right|}^2}{l}$

其中R是包含所有向量的最小超球半径，l是训练集的样本数，w₀是最优超平面的向量。

在检测阶段，利用学***台对检测单元提交的数据一个一个进行检测。如果检测结果为危险行为则将对应的描述数据结构中的危险指数域置为危险，自动生成行为检测规则通知检测单元更新本地规则库，同时向管理员报告期待管理员的进一步精确设置；否则将危险指数设置为正常并向管理员报告，由管理员决定是否将这些新数据加入训练集。

基于行为描述的分布式网络入侵检测***主要由分布在网络中的检测单元和中心位置的总控平台两大部分组成。检测单元针对连接行为的微观表现进行误用和异常检测，总控平台则针对连接行为的宏观表现进行异常检测，具体实施方式如下：

检测单元运行过程：

1）首先数据包采集器采集网络上的数据包，并将这些数据放到内存池中交给处理器。

2）处理器取得内存池中采集的数据包，包头检测模块进行包头异常检查确定是否为有效数据包，如果数据包本身异常则直接生成行为描述结构、包头异常信息和危险指数，并将行为描述结构数据结构放在可取队列的后面交给分析器，处理下一个数据包；如果包头检查正常，则交给描述生成模块。

3）描述生成模块接受从包头检测模块过来的有效数据包，扫描它们生成行为描述结构并填充相应的特征信息，交给网络连接检查模块，并处理下一个数据包。

4）网络连接检查模块在检查之前有一个预处理过程，将单个数据包信息转化成网络连接信息。本发明中，根据传输协议采取不同的处理方法。对于传输协议为UDP的描述数据结构，将每个UDP数据包当一个网络连接处理。对于传输协议为TCP的描述数据结构，则需要将同一个连接上的多个IP数据包的描述结构综合到一个描述数据结构。

5）网络连接检查模块基于信任规则对它进行检查，如果合法则直接生成行为描述结构和危险指数，并将数据结构放在可取队列的后面交给分析器，处理下一个数据结构。

6）网络连接检查模块基于误用规则对不符合信任规则的连接数据结构进行检查，如果非法则直接生成行为描述结构和危险指数，并将数据结构放在可取队列的后面交给分析器，处理下一个数据包。

7）对于不符合误用规则的连接数据结构标记为可疑，并将它交给内容检查模块，由内容检查模块填充行为描述结构中的详细信息，并进行更详细的内容检查，主要是基于敏感字库对数据包负载部分进行关键字的扫描，因为那些已知的恶意网络行为都有自己特殊的特征比如在固定的偏移位置处有一个特殊的字符串，检查完毕将行为描述结构放到可取队列中，内容检查模块再处理下一个数据结构。

8）分析器依次到可取队列中取得每个行为描述数据结构，首先检查行为描述数据结构中的危险指数，根据危险指数决定操作行为。为了提高分析速度，它只对危险指数为可疑的行为数据采取进一步的分析操作。这里基于本地行为检测规则进行简单分析，如分析连接建立时间，如果偏离较大则认为是异常流量将其危险指数修改为警告。如果分析行为差异不大则不改变危险指数仍为可疑，则不仅要保存行为描述数据结构，还要保存详细的报文信息供信息中心进一步分析。

9）如果危险指数显示为信任、正常、警告或危险，则分析器只保存行为描述数据到本地数据库。因为处理器会在行为描述结构中保留相关的信息来描述一个报文或连接所具有的基本信息如基于包头检查模块异常或基于信任规则检查正常，这些信息已经能满足总控平台的统计需求，对于警告或危险的还需立即向控制器发出事件通知。

10）控制器周期性地向总控平台提交最新的行为描述数据，并将这些数据从本地数据库中删除，以节省本地空间，减少本地数据提高本地数据查询速度。控制器在收到分析器发来的事件通知后，立即向总控平台转发该事件通知，如果危险指数为危险需立即向防火墙发出控制命令，采取措施防止危险行为继续。控制台另外还接受来自总控平台的命令，如本地数据库更新命令、防火墙控制命令或信息提交命令。

总控平台运行过程：

本地检测单元提交的数据包括警告通知消息和本地行为描述数据。当总控平台接收到警告通知消息时，则立即向管理界面发出警告消息，或通过邮件方式通知管理员，并记录日志。当总控平台接收到行为描述数据时，在不同的阶段有不同的处理方式。总控平台的运行分为学习阶段和决策阶段，学习阶段是观察训练数据集构建支持向量机分类器；决策阶段则是利用学习阶段构建的支持向量机分类器来对从网上采集的新数据集进行分类即检测它们是正常还是异常。

在学习阶段：

1）总控平台存储检测单元提交的每一条微观行为描述数据，在一定的时间间隔后，从这些数据中提取连接的宏观行为信息。

2）计算宏观行为描述结构中各域值的均值和标准差，计算得到对应的特征向量值，生成连接行为的宏观特征向量。

3）扫描生成的宏观特征向量，将它们作为支持向量机的训练数据集，基于径向基函数对它们进行学习不断调整参数得到决策函数。

在决策阶段：

1）总控平台扫描检测单元提交的微观行为描述数据，使用学习阶段一样的算法生成对应的宏观行为特征向量。

2）将连接的宏观行为特征向量作为支持向量机的输入

3）读取支持向量机的输出，判断结果。如果有异常则自动生成误用检测规则要求检测单元立即更新检测规则库防止再次产生类似警告通知；同时向管理界面发出警报通知，或者通过邮件通知管理员，并记录日志，等待管理员做进一步分析后作出判定；如果没有出现异常，则只是记录日志信息。如果管理员确定是异常行为则制定更准确的检测规则替代自动产生的检测规则，否则取消自动产生的检测规则。

构建支持向量机分类器的学习阶段时间由管理员根据实际情况配置。

Claims (1)

1.一种基于行为描述的可联动分布式网络入侵检测方法，其特征在于

a)检测单元运行过程：

1.）首先数据包采集器采集网络上的数据包，并将这些数据放到内存池中交给处理器，

2.）包头检测模块进行包头格式检查确定是否为有效数据包，消除无效数据包，并对异常数据包生成行为描述结构、包头异常信息和危险指数，

3.）描述生成模块扫描有效数据包生成行为描述结构并填充其基本信息，

4.）网络连接检查模块预处理数据包，将单个数据包信息关联到网络连接，

5.）网络连接检查模块基于信任规则对行为描述数据结构进行检查，如果合法则直接生成行为描述结构和危险指数，并将数据结构放在可取队列的后面交给分析器，处理下一个数据结构，其中，信任规则即合法的网络连接所对应的规则列表，

6.）网络连接检查模块基于误用规则对不符合信任规则的连接数据结构进行检查，如果非法则直接生成行为描述结构和危险指数，并将数据结构放在可取队列的后面交给分析器，处理下一个数据包，其中，误用规则即采集非正常操作的行为特征，建立特征库，当监测的用户或***行为与库中的记录相匹配时，***就认为这种行为是入侵的规则，

7.）对于不符合误用规则的连接数据结构标记为可疑，并将它交给内容检查模块，由内容检查模块填充行为描述结构中的详细信息，并进行更详细的内容检查，基于敏感字库对数据包负载部分进行关键字的扫描，

8.）分析器依次到可取队列中取得每个行为描述数据结构，读取危险指数，根据危险指数决定操作行为；如果危险指数为可疑，则需要采取进一步的分析操作；这里基于本地行为检测规则进行简单分析，如果分析行为差异不大则不改变危险指数仍为可疑，则不仅要保存行为描述数据结构，还要保存详细的报文信息供信息中心进一步分析，否则将危险指数重置为警告；

9.）如果危险指数显示为信任、正常、警告或危险，则分析器只保存行为描述数据到本地数据库，对于警告或危险的还需立即向控制器发出事件通知；

10.）控制器周期性地向总控平台提交最新的行为描述数据，在收到分析器发来的事件通知后，立即向总控平台转发该事件通知，如果危险指数为危险需立即向防火墙发出控制命令，采取措施防止危险行为继续，控制器还接受来自总控平台的命令，如本地数据库更新命令、防火墙控制命令或信息提交命令；

b)总控平台运行过程：

本地检测单元向总控平台提交的数据包括警告通知消息和本地行为描述数据，当总控平台接收到警告通知消息时，则立即向管理界面发出警告消息，或通过邮件方式通知管理员，并记录日志，当总控平台接收到行为描述数据时，在不同的阶段有不同的处理方式，总控平台的运行分为学习阶段和决策阶段，学习阶段是观察训练数据集构建行为分类器；决策阶段则是利用学习阶段构建的行为分类器来对从网上采集的新数据集进行分类即检测它们是正常还是异常；

在学习阶段：

b1.）总控平台存储检测单元提交的每一条微观行为描述数据，在一定的时间间隔后，从这些数据中提取连接的宏观行为信息，

b2.）分析宏观行为描述结构中各域值生成对应的宏观特征向量，

b3.）扫描生成的宏观特征向量，将它们作为分类器学习阶段的训练数据集，得到决策函数，

在决策阶段：

B4.）总控平台扫描检测单元提交的微观行为描述数据，使用学习阶段一样的算法生成对应的宏观行为特征向量,

B5.）将连接的宏观行为特征向量作为决策函数的输入,

B6.）读取决策函数的输出，判断结果，如果有异常则自动生成误用检测规则并要求检测单元立即更新；同时向管理界面发出警报通知，或者通过邮件通知管理员，并记录日志，等待管理员做进一步分析后作出判定；如果没有出现异常，则只是记录日志信息。

Images