CN101426000A - 一种通用协议解析方法及*** - Google Patents

Abstract

一种通用协议解析方法及***。包括引擎、通用协议解析控制台、通用协议解析控制模块、捕报器、存储器、协议解析器，运行包含以下步骤：协议及字段的注册步骤；捕报步骤；协议解析步骤；数据交互步骤；数据处理的步骤。解决了传统网络安全产品中针对协议解析仅仅依赖端口的问题，增加了智能启发式协议解析功能，同时拥有良好设计结构，具有强大的解析能力，采用插件技术实现协议解析器，拥有协议解析速度快、准确率高和扩展性好等优点。

Description

一种通用协议解析方法及***

技术领域

本发明涉及可用于多种网络安全产品中的一种通用协议解析方法及***，它依据网络数据流中报文特征提供强大的协议解析功能，属于网络技术领域。

背景技术

协议解析技术是入侵检测及审计***的核心组成模块，通常的入侵检测及审计的准确性和效率依赖于协议解析的准确性和效率。目前多数IDS/IPS产品都基于端口映射表来判断网络报文所属协议类型从而进行进一步的协议解析，比如，如发现捕获的网络报文中源/目的端口为21，则认为它是FTP(File TransferProtocol)协议报文，进一步使用FTP协议格式对数据报文进行解析。通常这种端口映射表在IDS/IPS产品出厂时已确定，事实上由于网络上各种协议种类繁多，各种新的协议层出不穷。例如P2P(Peer to peer protocol)协议，它并不采用固定的协议端口，而是在协议运行过程中动态协商端口。总之，为了躲避IDS/IPS产品的入侵检测很多协议都采用了特殊的处理方式：

1)不使用固定通信端口进行通信；

2)使用知名的协议端口，比如80或者443之类的；

3)同时支持多端口尝试的；

4)采用隧道技术进行私有协议通信(比如HTTP隧道技术)。

在以上4种情况下，IDS/IPS产品无法根据端口表来正确识别报文所属协议类型，IDS/IPS产品将产生大量的误报或漏报。因此，有必要发展不完全依赖于协议端口的通用协议解析***，以减少IDS/IPS产品的漏报。此外目前常用的协议解析工具的设计与实现并没有充分考虑到如何用于入侵检测产品当中以达到在高效准确的进行数据报文解析的同时完成入侵检测功能。同时一个好的协议分析器必须有很好的可扩展性和结构，本发明采用协议插件技术提供了很好的扩展性，在添加新的协议解析插件时无需对***进行大的改动。本发明设计的通用协议解析方法应该满足以下要求：

1)能启发式的根据报文特征对协议进行解析，而不单纯依赖于端口映射表；

2)尽可能根据协议报文特征快速对协议进行解析；

3)方法通用性强，检测能力强大，尽可能多的解析网络协议；

4)良好的可扩展性和设计结构，事实上由于网络上各种协议种类繁多，各种新的协议层出不穷。一个好的协议分析器必需有很好的可扩展性和结构。这样才能适应网络发展的需要不断加入新的协议解析器；

5)与入侵检测引擎具有良好的交互方式，两者之间定义了通用简单的交互接口。

发明内容

本发明提出一种通用协议解析方法及***，所述的通用协议解析技术可以满足：强大的协议解析能力，具有基于端口和启发式的智能解析方法；具有良好的可扩展性，具有基于插件技术的协议分析器；具有良好的设计结构，采用了协议树加特征字的设计，使通用协议解析***在协议解析上有了很强的扩展性，增加一个协议解析器只需要将解析函数挂到协议树的相应节点上即可；与IDS/IPS良好的协调工作的能力，通用协议解析***拥有良好的设计接口，使其能保持同IDS/IPS进行良好的数据交互过程。

本发明的目的是这样实现的，一种通用协议解析方法，包括以下的步骤：

通用协议解析***的协议及字段的注册步骤；

通用协议解析***的捕报步骤；

通用协议解析***的协议解析步骤；

数据交互的建立步骤；

数据处理的步骤。

一种通用协议解析***，包括有：

对数据报进行内容和形式异常检测，判断攻击行为是否发生的入侵检测引擎；

对用户的命令和显示进行处理的通用协议解析控制台；

负责串联其他装置的通用协议解析控制模块；

负责获取网络报文的捕报器；

对数据报文件的格式进行转换的存储器；

负责对协议进行详细数据报解析的协议解析器。

所述的入侵检测引擎与通用协议解析***连接；所述的通用协议解析控制台与通用协议解析控制模块连接；所述的通用协议解析控制模块与捕报器、存储器和协议解析器连接；所述的捕报器与工作在网卡驱动层的winpcap/libpcap(网络数据报捕获开发报)连接。

本发明的产生的有益效果是：解决了传统的IDS/IPS产品中针对协议解析仅仅依赖端口的问题，增加了智能启发式协议解析功能；拥有良好设计结构的协议解析***具有强大的解析能力；采用插件技术实现协议解析器，解析方便，结构简单，扩展方便；增强了IDS/IPS的入侵检测的能力，在对未知协议和新增加协议进行入侵检测时，无需对***进行大的改动，只需添加相应协议的解析插件，只需在入侵检测引擎的的规则库中进行规则的添加，并且拥有协议解析速度快和准确率高等优点；同时在与IDS/IPS数据和命令的过程中体现了良好的交互方式，两者间设计了简单通用的交互接口，可广泛用于IDS/IPS、审计等网络安全产品中。

附图说明

图1是通用协议解析***的***架构图；

图2是***数据协商的流程图；

图3是***控制命令交互的流程图；

图4是共享内存的结构；

图5是通用协议解析***工作模式图；

图6是协议注册流程图；

图7是***派发/处理流程图；

图8是数据报过滤器示例图；

图9是一棵简单的协议树示例图；

下面结合附图和实施例对本发明作进一步说明。

具体实施方式

实施例一：

本实施例为一种通用协议解析方法基本模式，所使用的***如图1所示。包括入侵检测引擎、通用协议解析控制台、通用协议解析控制模块、捕报器、存储器、协议解析器。包含以下步骤：

①通用协议解析***的协议及字段的注册步骤；

通用协议解析***支持的各个协议解析插件首先要向***进行注册，只有通过注册，通用协议解析***才清楚子树/字段的名称、数据类型、表示方式(10进制/16进制/字符串等)，所有这些信息都来自子协议内部声明的静态数据。除此之外协议解析器还可以选择提供一个结构，让核心进一步解释字段值对应的具体含义，此结构也是内部声明的静态数据。

②通用协议解析***的捕报步骤；

通用协议解析***中的捕报器负责数据报的捕获；需要一个底层的抓包平台，在Linux中是采用Libpcap(linux下的网络数据报捕获开发报)函数库抓包，在windows***中采用Winpcap(windows下的网络数据报捕获开发报)函数库抓包。Libpcap/Winpcap(网络数据报捕获开发报)是工作网卡驱动层的模块，用来抓取报文，将网卡上的报文复制一份送给通用协议解析***中的捕报器，捕报器屏蔽了跟网络设备相关的细节，比如以太网、无线网卡、令牌环网等。

③通用协议解析***的协议解析步骤；

通用协议解析***中的协议解析器是负责报文解析的，包括协议树模块、协议解析模块和插件管理器。当捕报器捕获到数据报之后，根据协议树和特征字的方式搜索具体协议的解析器，在确定解析器之后，则可以对协议进行详细的解析。

④数据交互的建立步骤；

通用协议解析***为一独立进程，与入侵检测引擎同时运行在一台机器上，输入的协议数据包由引擎放在共享内存中供通用协议解析***使用，解析结果也通过共享内存的方式提供给引擎。共使用两块共享内存进行通信，此共享内存是命名的，一块用于数据协商/交换，另一块用于控制命令传递。每块共享内存使用一个命名的信号量，通过检测其状态来进行交互。

⑤数据处理的步骤；

通用协议解析***的数据包解析结果为序列化的协议树，它包含有协议基本信息、协议字段和层次关系。任何一个协议在通用协议解析***提供的解析结果内存中都是3个连续的块，第一块为协议边界/层次标识，用于重建协议树，第二块为协议属性，提供与协议具体消息无关的全局描述信息，第三块为协议字段集，提供一系列连续排列的确定数据类型的字段，字段可以有子字段，由父字段描述父子关系。相邻层次间的协议在内存中连续排列。序列化的协议树使用的字段类型、格式都是预定义好的，IDS/IPS入侵检测引擎可以统一的方式来处理不同协议的解析结果。

实施例二：

本实施例为实施例一中的通用协议解析***的协议及字段的注册步骤的优选方案。

本实施例的基本思路是：其过程如图6所示：通用协议解析***支持的各个协议解析器首先要向***进行注册，注册的内容包括：***识别协议的方式(端口或特征字节回调函数)，协议字段的信息(类型、名称、缩写等等)，协议解析的入口点。完成注册后，通用协议解析***就知道了子树/字段的名称、数据类型、表示方式(10进制/16进制/字符串等)，所有这些信息都来自子协议内部声明的静态数据。除此之外协议解析器还可以选择提供一个结构，让核心进一步解释字段值对应的具体含义，此结构也是内部声明的静态数据。注册是在通用协议解析***初始化的时候完成的，所有支持的协议都必须进行注册。如图6所示，在进行协议注册时还要告知通用协议解析***采用哪种方式来解析协议，是采用基于端口的协议解析，还是采用智能启发式协议解析。完成注册后，通用协议解析***在得到原始数据包后进行派发。

本实施例中采用的算法：对于任何协议和字段的注册，都要采用hash算法对协议及其字段建立hash表，从而提高IDS/IPS协议匹配的效率。在进行注册时，由IDS/IPS与通用协议解析***协商好各个协议及其字段的hash值(即为ID)，从而当收到新的数据包时，直接把各字段的ID对应的值提交给IDS/IPS来进行下一步的匹配处理，从而极大地提高了效率。

实施例三：

本实施例为实施例一中的通用协议解析***中的捕报步骤的优选方案。本实施例的基本思路是：首先判断应用环境，若为Linux下，则调用Libpcap(linux下的网络数据报捕获开发报)进行抓报，若为Windows下，则调用Winpcap(windows下的网络数据报捕获开发报)进行抓报，是一个平***立的网络数据报捕获器。通用协议解析***中的捕报器采用通用的数据报过滤器机制，这部分是基于内核的过滤模块，它使捕报器具有捕获特定数据报的功能，可以过滤掉网络上不需要的数据报，而只捕获感兴趣的数据报。数据报过滤器如图8所示，由两部分组成，一是网络转发部分，二是数据过滤部分，网络转发部分从链路层中捕获数据报，并把它们转发给数据报过滤部分；数据报过滤部分从接收到的数据报中接受过滤规则决定的数据报，其他的数据报就抛弃。

实施例四：

本实施例为实施例一中的通用协议解析***中的协议解析步骤的优选方案：

①以层次化的数据包协议分析方法取得捕包函数捕回的数据包后进行协议分析和协议还原工作作为协议树建立子步骤。

②将最低层的无结构数据流作为根接点，具有相同父节点的协议成为兄弟节点，***采用协议的特征字来识别协议，以此作为协议解析子步骤。

③基于插件技术的协议分析器是在程序的设计开发过程中，把整个应用程序分成宿主程序和插件两个部分，宿主程序与插件能够相互通信，以此作为增加协议插件的子步骤。

本实施例的基本思路是：通用协议解析***中的协议解析器包括协议树模块、协议解析模块和插件管理器。由于OSI的7层协议模型，协议数据是从上到下封装后发送的。对于协议分析需要从下至上进行。首先对网络层的协议识别后进行组包还原然后脱去网络层协议头。将里面的数据交给传输层分析，这样一直进行下去直到应用层，如图9所示一个简单的协议树。由于网络协议种类很多，为了使协议和协议间层次关系明显。从而对数据流里的各个层次的协议能够逐层处理。通用协议解析***采用了协议树的方式。图9就是一个简单的协议树。如果协议A的所有数据都是封装在协议B里的，那么这个协议A就是协议B是另外一个协议的儿子节点。***采用协议的特征字来识别协议。每个协议会注册自己的特征字。比如tcp协议的port字段注册后，Tcp.port＝21就可以认为是ftp协议，特征字可以是协议规范定义的任何一个字段。比如ip协议就可以定义proto字段为一个特征字。在通用协议解析***中注册一个协议解析器首先要指出它的父协议是什么。另外还要指出自己区别于父节点下的兄弟接点协议的特征。比如ftp协议。在通用协议解析***中他的父接点是tcp协议，它的特征就是tcp协议的port字段为21。这样当一个端口为21的tcp数据流来到时。首先由tcp协议注册的解析模块处理，处理完之后通过查找协议树找到自己协议下面的子协议，判断应该由那个子协议来执行，找到正确的子协议后，就转交给ftp注册的解析模块处理。这样由根节点开始一层层解析下去。由于采用了协议树加特征字的设计，这个***在协议解析上有了很强的扩展性，增加一个协议解析器只需要将解析函数挂到协议树的相应节点上即可，并且可以通过增减插件或修改插件来调整应用程序的功能。运用插件技术可以开发出伸缩性良好、便于维护的应用程序。

协议插件所使用的算法：对于某些协议中的特征字，例如报文是YMSG打头的，这里采用了hash算法对协议体的特征字建立了hash表，以便提高只能启发式协议解析的效率。当收到新的数据包时，如果需要进行智能启发式的解析，则将特征字hash后和hash表中的各项进行匹配，若匹配成功，则说明匹配成功，否则，则匹配失败。

实施例五：

本实施例为实施例一中的数据交互的建立步骤的优选方案：

①IDS/IPS入侵检测引擎必须使用规范化全称来向通用协议解析***提出协议字段请求，否则***将无法识别，因此要求规则的编写者必须了解由***提供的协议字段命名规范，描述该协议字段名字和值类型，以此作为***提供的协议字段命名规范的建立子步骤。

②通用协议解析***与入侵检测引擎协商解析的协议字段名称以及类型，将其全程映射为双方认可的数字id，便于数据以及命令的交互，以此作为协议以及字段的hash子步骤。

③数据交互不断把解析结果向入侵检测引擎报告；命令交互循环等待着入侵检测引擎发来的指令并把执行的结果告之入侵检测引擎，以此作为数据以及命令交互子步骤。

本实施例的基本思路是：通用协议解析***工作模式图如图5所示：通用协议解析***为一独立进程，与入侵检测引擎同时运行在一台机器上，输入的协议数据包由引擎放在共享内存中供通用协议解析***使用，解析结果也通过共享内存的方式提供给引擎。共使用两块共享内存进行通信，此共享内存是命名的，一块用于数据协商/交换，另一块用于控制命令传递。每块共享内存使用一个命名的信号量，通过检测其状态来进行交互。其中共享内存的结构如图4所示：共享内存中都是3个连续的块，第一块为协议边界/层次标识，用于重建协议树，第二块为协议属性，提供与协议具体消息无关的全局描述信息，第三块为协议字段集，提供一系列连续排列的确定数据类型的字段，字段可以有子字段，由父字段描述父子关系。通用协议解析***提供的协议字段命名规范要求描述该协议字段的名字和值类型，例如：ip协议的源地址字段可能被此文档规定为：“source ip address：ip.srcip，little endian integer”，这里“sourceip address”是字段的意义，“ip.srcip”是此字段的规范化全称，“little endianinteger”为此字段的标准类型。IDS/IPS入侵检测引擎必须使用规范化全称来向通用协议解析***提出协议字段请求，否则通用协议解析***将无法识别，例如：如果IDS/IPS入侵检测引擎向通用协议解析***要求一个名叫“sourceip”的字段，通用协议解析***会返回一个错误。为印证IDS/IPS入侵检测引擎正确的理解了字段的含义，IDS/IPS入侵检测引擎在提出协议字段请求时必须包含该字段的类型，通用协议解析***将请求中类型和字段本身的类型进行比对，相同则接受请求，否则返回错误。通用协议解析***数据协商的流程图如图2所示：在上图中，在步骤1~4组成了数据协商阶段、此阶段进行初始化工作，步骤5~6为正常工作循环，进行数据交换。***控制命令交互的流程图如图3所示：通用协议解析***由IDS/IPS入侵检测引擎启动，并接受其控制，控制命令包括以下种类：

1.设置/取消过滤条件；

2.停止/重新启动通用协议解析***；

3.运行状态查询。

实施例六：

本实施例为实施例一中的数据处理的步骤的优选方案。

本实施例的基本思路是：***派发/处理流程图如图7所示，IDS/IPS入侵检测引擎首先启动通用协议解析***，然后创建树的根节点，各个子模块的主要任务就是往这个树上添枝加叶，主要就是各种协议解析插件中定义好的协议及其字段，在构造好协议树加特征字的通用协议解析***的结构后，就可以进行数据报的解析了。举例为假设在以太网环境中，树的根节点为IP，则子节点包含TCP节点和UDP节点，同时TCP节点下包括HTTP节点和FTP节点等等，总之就是一种协议A内部包含另一种协议B，则把这种协议B为协议A的分支，由此构成协议树。若有数据报到来，则将根据端口或者特征字来对协议进行解析，数据包解析结果为序列化的协议树，它包含有协议基本信息、协议字段和层次关系。最后将解析结果写入共享内存传送给IDS/IPS入侵检测引擎，用于入侵检测的判断。任何一个协议在通用协议解析***提供的解析结果内存中都是3个连续的块，第一块为协议边界/层次标识，用于重建协议树，第二块为协议属性，提供与协议具体消息无关的全局描述信息，第三块为协议字段集，提供一系列连续排列的确定数据类型的字段，字段可以有子字段，由父字段描述父子关系。相邻层次间的协议在内存中连续排列。序列化的协议树使用的字段类型、格式都是预定义好的，IDS/IPS入侵检测引擎可以统一的方式来处理不同协议的解析结果。

实施例七：

本实施例是实现实施例一、二、三、四、五、六所述的方法的虚拟装置或者说***，***如图1所示，本实施例包括：对数据报进行内容和形式异常检测，判断攻击行为是否发生的入侵检测引擎；对用户的命令和显示进行处理的通用协议解析控制台；通用协议控制模块是***的核心控制模块，其它几个模块都是通过通用协议解析平台控制模块模块串联起来的；捕报器是负责抓包的模块，winpcap/libpcap(网络数据报捕获开发报)是工作网卡驱动层的模块，用来抓取报文，将网卡上的报文复制一份送给捕报器；对数据报文件的格式进行转换，可以将抓到的报文保存成各种不同的格式，当然也可以读取这些格式文件的存储器；协议解析器负责数据报解析，首先对网络层的协议识别后进行组包还原然后脱去网络层协议头。将里面的数据交给传输层分析，这样一直进行下去直到应用层。

本通用协议解析***，其特征在于包括：入侵检测引擎、通用协议解析控制台、通用协议解析控制模块、捕报器、存储器、协议解析器；所述的入侵检测引擎与通用协议解析***连接；所述的通用协议解析控制台与通用协议解析控制模块连接；所述的通用协议解析控制模块与捕报器、存储器和协议解析器连接；所述的捕报器与工作在网卡驱动层的winpcap/libpcap(网络数据报捕获开发报)连接。

Claims (9)

1、一种通用协议解析方法，其特征在于包含以下步骤：

通用协议解析***的协议及字段的注册步骤；

通用协议解析***的捕报步骤；

通用协议解析***的协议解析步骤；

数据交互的建立步骤；

数据处理的步骤。

2、根据权利要求1所述的一种通用协议解析方法，其特征在于所述的通用协议解析***的协议及字段的注册步骤，具有如下特征：

通用协议解析***支持的各个协议解析器首先要向***进行注册，注册是在通用协议解析***初始化的时候完成的，所有支持的协议都必须进行注册，然后通用协议解析***在得到原始数据包后进行派发。

3、根据权利要求1所述的一种通用协议解析方法，其特征在于所述的通用协议解析***的捕报步骤，具有如下特征：

通用协议解析***的捕报步骤包括捕报器，负责抓取数据包的模块；Winpcap/Libpcap(网络数据报捕获开发报)是工作在网卡驱动层的模块，用来抓取报文，将网卡上的报文复制一份送给捕报模块，并屏蔽了跟网络设备相关的细节，使用Winpcap/Libpcap(网络数据报捕获开发报)实现了底层的跨平台支持。

4、根据权利要求1所述的一种通用协议解析方法，其特征在于所述的通用协议解析***的协议解析步骤中的子步骤：

以层次化的数据包协议分析方法取得捕包函数捕回的数据包后进行协议分析和协议还原工作作为协议树建立子步骤；

将最低层的无结构数据流作为根接点，具有相同父节点的协议成为兄弟节点，***采用协议的特征字来识别协议，以此作为协议解析子步骤；

基于插件技术的协议分析器是在程序的设计开发过程中，把整个应用程序分成宿主程序和插件两个部分，宿主程序与插件能够相互通信，以此作为增加协议插件的子步骤；

以构建协议树作为协议解析的基本构架，协议的特征字作为识别协议的主要方式，同时把协议插件作为协议解析的基本单位，从而实现协议解析步骤。

5、根据权利要求1所述的一种通用协议解析方法，其特征在于所述的通用协议解析***中的与IDS/IPS入侵检测引擎数据协商的建立步骤中的子步骤：

IDS/IPS入侵检测引擎使用规范化全称向通用协议解析***提出协议字段请求，以此作为***提供的协议字段命名规范的建立子步骤；

通用协议解析***与入侵检测引擎协商解析的协议字段名称以及类型，将其全程映射为双方认可的数字id，便于数据以及命令的交互，以此作为协议以及字段的hash子步骤；

数据交互将解析结果向入侵检测引擎报告；命令交互循环等待入侵检测引擎发来的指令并把执行的结果告之入侵检测引擎，以此作为数据以及命令交互子步骤；

以命名规范为***与引擎交互的依据，采用hash的方法来提高交互的效率，以数据交互和命令交互的方式来进行通信，以此来完成与IDS/IPS入侵检测引擎数据协商的建立步骤。

6、根据权利要求1所述的一种通用协议解析***的方法，其特征在于所述的通用协议解析***中的数据处理的步骤，具有如下特征：

通用协议解析***数据解析结果为序列化的协议树，它包含有协议基本信息、协议字段和层次关系。任何协议在通用协议解析***提供的解析结果内存中都是3个连续的块；IDS/IPS入侵检测引擎以统一的方式处理不同协议的解析结果。

7、一种通用协议解析***，其特征在于包括：对数据报进行内容和形式异常检测，判断攻击行为是否发生的入侵检测引擎；

对用户的命令和显示进行处理的通用协议解析控制台；

负责串联其他装置的通用协议解析控制模块；

负责获取网络报文的捕报器；

对数据报文件的格式进行转换的存储器；

负责对协议进行详细数据报解析的协议解析器；

所述的入侵检测引擎与通用协议解析***连接；所述的通用协议解析控制台与通用协议解析控制模块连接；所述的通用协议解析控制模块与捕报器、存储器和协议解析器连接；所述的捕报器与工作在网卡驱动层的winpcap/libpcap(网络数据报捕获开发报)连接。

8、根据权利要求7所述的一种通用协议解析***，其特征在于协议解析器包括协议树模块、协议解析模块和插件管理器。

9、根据权利要求7所述的一种通用协议解析***，其特征在于；通用协议控制模块是***的核心控制模块，其它几个模块都是通过通用协议解析平台控制模块模块串联起来的；

捕报器是负责抓包的模块，winpcap/libpcap(网络数据报捕获开发报)是工作网卡驱动层的模块，用来抓取报文，将网卡上的报文复制一份送给捕报器；

对数据报文件的格式进行转换，可以将抓到的报文保存成各种不同的格式，当然也可以读取这些格式文件的存储器；

协议解析器负责数据报解析，首先对网络层的协议识别后进行组包还原然后脱去网络层协议头，将里面的数据交给传输层分析，这样一直进行下去直到应用层。

Images