CN106878307B - 一种基于误码率模型的未知通信协议识别方法 - Google Patents

Abstract

本发明公开了一种基于误码率模型的未知通信协议识别方法，通过将多模式匹配算法和关联规则分析算法相结合，提取已知协议的协议特征串，构建协议特征库。然后，在识别被识别数据采用的协议类型的时候，计算被识别数据允许的最大误比特数，并在此误比特数范围内采用模糊匹配算法提取被识别数据的特征串。最后，通过自动推理得到被识别数据所采用的协议类型。因此，本识别方法能够提高数据识别率，对于具有误码的数据具有良好的识别效果。

Description

一种基于误码率模型的未知通信协议识别方法

技术领域

本发明属于计算机网络安全技术领域，更为具体地讲，涉及一种基于误码率模型的未知通信协议识别方法。

背景技术

随着通信技术的飞速发展，网络通信成为了人们日常生活的主要交流方式，随之而来的则是越来越严重的网络信息安全问题。对于传统的网络安全技术而言，只能解决部分问题，而准确地识别通信数据所使用的协议对于克服传统网络安全技术缺陷具有重要的意义，是研究区分服务、入侵检测、流量监控以及分析用户行为的前提和基础。目前，网络协议识别技术得到了快速的发展和应用，主要包括基于端口、流特征以及负载行为进行识别。基于知名端口号识别技术主要是对应用层协议进行识别，其原理是根据各个应用层协议在IANA中注册的端口号来识别协议；基于流特征检测技术实质上是一类基于统计属性的数据流分类算法，主要利用协议规范的不同而导致数据流属性的差异来区别各个协议；基于负载进行协议识别就是使用数据特征来对协议进行识别。

在以上的传统协议识别技术中，常采用多模式匹配等精确识别方法来进行协议的特征提取，随后根据提取的数据特征进行数据协议识别。但是，在实际数据传输过程中常常存在误帧情况，例如在无线通信过程中，以下原因将可能造成误帧：1、接收信号很弱时。2、导频污染的时候。3、在小区间切换时。4、在切换区域内无法切换时。特别是第4种情况下将出现严重的误帧，目前要求的误帧率一般是小于等于1％，其中1％～2％表示通话质量良好，2％～3％表示通话质量一般，3％～5％表示通话质量较差，5％～10％表示通话质量非常差，因此，误帧的情况在通信过程中出现的概率很大。另外以太网和802.3对数据帧的长度最大限制分别为1500和1492字节，且协议特征串一般在1到6字节之间。因此，选取最短特征串、最小误帧率和最长特征串、最大误帧率计算得出特征串错误率在0.00667‰到0.4‰之间。即最坏的情况下，数据帧将会有0.4‰的概率无法识别而被丢弃。特别是对于国防安全和军事对抗领域来说，此精度远远不能满足需求。

基于以上分析，当误码刚好存在于数据所具有的协议特征串中的时候，基于多模式匹配等方法的精确识别***往往无法识别此数据，从而对误码数据不作为而丢弃，此时将导致数据识别率下降。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于误码率模型的未知通信协议识别方法，在正常的误码情况下，对具有误码的帧进行模糊特征提取，且在最大误比特数范围内的帧依然进行未知通信协议识别，由此来提高数据识别率，从而达到更好的识别效果。

为实现上述发明目的，本发明一种基于误码率模型的未知通信协议识别方法，其特征在于，包括以下步骤：

(1)、数据采集及预处理

利用网络抓包工具抓取网络中的通信数据，再将通信数据按照帧格式进行存储，且每一帧进行二进制处理，最后将处理完成的已知协议通信数据作为训练数据，将未知协议通信数据作为被识别数据；

(2)、对训练数据进行特征提取，得到协议特征库

(2.1)、利用模式匹配算法提取频繁集

根据已有网络协议特征字符串允许的长度，穷举所有的1～6字节的二进制字符串，记为{p₁，p₂，p₃，......，p_m}，p_m表示第m个二进制字符串，最后将穷举的所有二进制字符串作为模式字符串；

提取训练数据中的每一帧数据，组成目标字符串{t₁，t₂，t₃，......，t_n}，t_n表示第n帧数据；

将{p₁，p₂，p₃，......，p_m}和{t₁，t₂，t₃，......，t_n}作为模式匹配算法的输入，通过模式匹配算法进行匹配，并记录匹配成功的模式字符串以及其在目标字符串中的位置，最后统计相同位置上出现同一模式字符串的帧数，并将帧数占比大于M％的模式字符串定义为此协议的频繁字符串，最后将所有频繁字符串组成频繁集{f₁，f₂，f₃，......，f_K}，f_K表示第K个频繁字符串；

(2.2)、利用关联规则分析算法提取协议特征

将频繁集{f₁，f₂，f₃，......，f_K}及频繁字符串在各个帧中出现的位置作为关联规则分析算法的输入，通过关联规则分析算法对频繁字符串进行关联规则分析，得到关联字符串，再统计出关联字符串出现的次数和位置，并将关联字符串出现的次数占比大于M％的关联字符串作为识别规则，最后将识别规则中的频繁字符串{f₁，f₂，f₃，......，f_k}存入协议特征库中，其中，f_k表示第k(k≤K)个频繁字符串；

(3)、利用模糊匹配算法获取模糊特征集

(3.1)、计算被识别数据允许的最大误比特数

其中，L1表示允许的最长特征串的长度，L2表示被识别数据帧的帧长度，FER表示被识别数据的误帧率；

(3.2)、根据协议特征库，利用模糊匹配算法提取最大误比特数范围内的所有模糊特征字符串

将被识别数据、频繁字符串{f₁，f₂，f₃，......，f_k}和被识别数据允许的最大误比特数作为模糊匹配算法的输入，通过模糊匹配算法进行匹配，记录匹配成功的模糊特征字符串及其在被识别数据帧中的位置，并存入到模糊特征集中；

(4)、采用Jena自动推理机识别帧的协议类型

首先建立推理规则库，再将模糊特征集中的模糊特征字符串和推理规则库作为Jena自动推理机的输入，并进行推理，得出每一组模糊特征字符串所对应的协议类型，即为此帧的协议类型。

本发明的发明目的是这样实现的：

本发明一种基于误码率模型的未知通信协议识别方法，通过将多模式匹配算法和关联规则分析算法相结合，提取已知协议的协议特征串，构建协议特征库。然后，在识别被识别数据采用的协议类型的时候，计算被识别数据允许的最大误比特数，并在此误比特数范围内采用模糊匹配算法提取被识别数据的特征串。最后，通过自动推理得到被识别数据所采用的协议类型。因此，本识别方法能够提高数据识别率，对于具有误码的数据具有良好的识别效果。

同时，本发明一种基于误码率模型的未知通信协议识别方法还具有以下有益效果：

(1)、通过将多模式匹配算法和关联规则分析算法相结合，能够准确的提取现有协议的协议特征串，剔除错误的协议特征串，为构建完整准确的协议特征库提供途径；

(2)、实际识别过程中，采用模糊特征提取算法，与传统的精确协议识别技术相比较，提高了数据的利用率，从而也提高了数据识别率。同时，在识别的过程中，引入了最大误比特数的概念，对于识别过程中的数据误码程度进行了控制，保证了误码数据的识别准确率；

(3)、提取了数据模糊特征串之后，使用Jena推理机或者SVM来对数据进行推理或者分类识别，提高了协议识别的自动化程度，从而，提高了协议识别的效率。

附图说明

图1是本发明基于误码率模型的未知通信协议识别方法流程图；

图2是Jena自动推理机的识别流程图；

图3是SVM支持向量机的识别流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于误码率模型的未知通信协议识别方法流程图。

在本实施例中，如图1所示，本发明一种基于误码率模型的未知通信协议识别方法，包括以下步骤：

S1、数据采集及预处理

数据采集：利用winpcap、libpcap等工具抓取网络中的通信数据，其获取的数据可以是无线或有线数据；也可以通过其他数据收集工具来采集除TCP/IP协议之外的其他通信协议数据，例如卫星通信数据等，但所有采集的用来识别的数据其使用的协议应该具有明确的协议特征，以便于具有逆向识别的可能。

数据预处理：对于网络协议，其传输过程中多以帧为单位进行传输，且采集的通信数据也基本是以帧为单位进行存储的，因此对于采集的通信数据均以严格的帧格式进行存储处理，且每一帧数据格式可以采用二进制或者十六进制处理，本实施例中，每一帧数据使用二进制处理；通信数据处理完成后，将其中的已知协议的通信数据作为训练数据，将未知协议的通信数据作为被识别数据。本实施例中选取了有线网络数据来进行分析，并以应用层HTTP协议作为分析对象来阐述整个识别方法。

S2、对训练数据进行特征提取，得到协议特征库

对训练数据进行特征提取的主要目的是获取特定协议的协议特征，且此处只针对数据包特征。在本实施例中，采用特征提取的方法可以是多模式匹配算法和数据挖掘中的关联规则分析算法相结合，其中，利用多模式匹配算法来提取频繁集，其算法包括AC算法、AC-BM算法、Wu-Manber算法等；利用数据挖掘中的关联规则分析算法对提取的频繁集进行关联分析，剔除错误的频繁集，其中可用的算法包括Apriori算法、FP-Growth算法。

下面对两种算法进行详细说明，具体包括：

S2.1、利用模式匹配算法提取频繁集

根据已有网络协议特征字符串允许的长度，穷举所有的1～6字节的二进制字符串，记为{p₁，p₂，p₃，......，p_m}，p_m表示第m个二进制字符串，最后将穷举的所有二进制字符串作为模式字符串；

提取训练数据中的每一帧数据，组成目标字符串{t₁，t₂，t₃，......，t_n}，t_n表示第n帧数据；

将{p₁，p₂，p₃，......，p_m}和{t₁，t₂，t₃，......，t_n}作为模式匹配算法的输入，通过模式匹配算法进行匹配，并记录匹配成功的模式字符串以及其在目标字符串中的位置，最后统计相同位置上出现同一模式字符串的帧数，并将帧数占比大于95％的模式字符串定义为此协议的频繁字符串，最后将所有频繁字符串组成频繁集{f₁，f₂，f₃，......，f_K}，f_K表示第K个频繁字符串；

S2.2、利用关联规则分析算法提取协议特征

将频繁集{f₁，f₂，f₃，......，f_K}及频繁字符串在各个帧中出现的位置作为关联规则分析算法的输入，通过关联规则分析算法对频繁字符串进行关联规则分析，得到关联字符串，也叫做关联规则，再统计出关联字符串出现的次数和位置，并将出现次数占比大于95％的关联规则作为识别规则，

最后将识别规则中的频繁字符串{f₁，f₂，f₃，......，f_k}存入协议特征库中，其中，f_k表示第k(k≤K)个频繁字符串；

在本实施例中，对于HTTP协议而言，其实是采用TCP协议作为传输层协议的应用层协议，其具有以下特征：

(1)HTTP协议首部有“HTTP/1.1”版本特征字符串，可唯一表征HTTP协议。

(2)上行数据请求时必然存在的“POST”字段；

(3)下行数据请求时必然存在的“GET”字段；

以上只是协议部分特征串，其余还有“HEAD”、“PUT”以及“200OK”返回码等，此特征可以作为判定HTTP协议的特征串，但是却不是每一个报文均会有以上所有信息，除此之外，还有协议头部的识别信息，例如协议类型，源目IP，源目端口等。

S3、利用模糊匹配算法获取模糊特征集

S3.1、对于被识别数据进行模糊特征提取时，需要考虑数据存在误码的情况，因此，采用如下公式来计算被识别数据的允许最大误比特数；

其中，L1表示允许的最长特征串的长度，L2表示被识别数据帧的帧长度，FER表示被识别数据的误帧率；

根据以上定义，以HTTP协议为例，在采集的HTTP报文中，L1/L2的范围是0.82％-28.33％，其对应特征串分别是“GET，HTTP/1.1”和“HHTP/1.1 200ok\r\n”,随后由以上数据计算最大误比特数，可得：

Character_error＝28.33％*0.4‰*1500*8＝1.36(个比特)

即由以上结果可知，最大允许误比特数为1个比特，此结果是在通信情况最差的环境下计算而得，其具体值可以依据具体的应用环境来进行适当的调整，以便于达到最好的识别效果。

S3.2、根据协议特征库进行模糊特征提取时，将允许匹配的数据串有一定的误差，即在最大误比特数范围以内，利用模糊匹配算法提取最大误比特数范围内的所有模糊特征字符串；其中，模糊匹配算法包括动态规划算法、非确定型有穷自动机NFA、位并行算法和过滤算法等。

根据协议特征库，利用模糊匹配算法提取最大误比特数范围内的所有模糊特征字符串的具体方法为：将被识别数据、频繁字符串{f₁，f₂，f₃，......，f_k}和被识别数据允许的最大误比特数作为模糊匹配算法的输入，通过模糊匹配算法进行匹配，记录匹配成功的模糊特征字符串及其在被识别数据帧中的位置，并存入到模糊特征集中；

S4、确定数据的模糊特征集之后，可以采用Jena自动推理机或者SVM来进行协议的最终识别。

如图2所示，采用Jena自动推理机识别帧的协议类型的流程为：

首先建立推理规则库，例如推理规则A—>Z或者A，B—>Z，即表示某一帧数据具有A特征串或者同时具有AB特征串时候，此帧数据才被判定为Z协议，例如HTTP协议识别中，将“GET，HTTP/1.1”＝>“HTTP”作为一条推理规则；

然后将模糊特征集中的模糊特征字符串和推理规则库作为Jena自动推理机的输入，并进行推理，得出每一组模糊特征字符串所对应的协议类型，即为此帧的协议类型。

如图3所示，采用SVM识别数据协议类型的流程为：

建立SVM模型：将频繁字符串{f₁，f₂，f₃，......，f_k}作为训练数据输入到SVM中训练，得到SVM模型；

将模糊特征集中的模糊特征字符串输入到SVM模型中，通过SVM模型识别出每一帧的数据协议类型。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于误码率模型的未知通信协议识别方法，其特征在于，包括以下步骤：

(1)、数据采集及预处理

利用网络抓包工具抓取网络中的通信数据，再将通信数据按照帧格式进行存储，且每一帧进行二进制处理，最后将处理完成的已知协议通信数据作为训练数据，将未知协议通信数据作为被识别数据；

(2)、对训练数据进行特征提取，得到协议特征库

(2.1)、利用模式匹配算法提取频繁集

根据已有网络协议特征字符串允许的长度，穷举所有的1～6字节的二进制字符串，记为{p₁，p₂，p₃，......，p_m}，p_m表示第m个二进制字符串，最后将穷举的所有二进制字符串作为模式字符串；

提取训练数据中的每一帧数据，组成目标字符串{t₁，t₂，t₃，......，t_n}，t_n表示第n帧数据；

将{p₁，p₂，p₃，......，p_m}和{t₁，t₂，t₃，......，t_n}作为模式匹配算法的输入，通过模式匹配算法进行匹配，并记录匹配成功的模式字符串以及其在目标字符串中的位置，最后统计相同位置上出现同一模式字符串的帧数，并将帧数占比大于M％的模式字符串定义为此协议的频繁字符串，最后将所有频繁字符串组成频繁集{f₁，f₂，f₃，......，f_K}，f_K表示第K个频繁字符串；

(2.2)、利用关联规则分析算法提取协议特征

将频繁集{f₁，f₂，f₃，......，f_K}及频繁字符串在各个帧中出现的位置作为关联规则分析算法的输入，通过关联规则分析算法对频繁字符串进行关联规则分析，得到关联字符串，再统计出关联字符串出现的次数和位置，并将关联字符串出现的次数占比大于M％的关联字符串作为识别规则，再将识别规则中的频繁字符串{f₁，f₂，f₃，......，f_k}存入协议特征库中，其中，f_k表示第k(k≤K)个频繁字符串；

(3)、利用模糊匹配算法获取模糊特征集

(3.1)、计算被识别数据允许的最大误比特数

其中，L1表示允许的最长特征串的长度，L2表示被识别数据帧的帧长度，FER表示被识别数据的误帧率；

(3.2)、根据协议特征库，利用模糊匹配算法提取最大误比特数范围内的所有模糊特征字符串

将被识别数据、频繁字符串{f₁，f₂，f₃，......，f_k}和被识别数据允许的最大误比特数作为模糊匹配算法的输入，通过模糊匹配算法进行匹配，记录匹配成功的模糊特征字符串及其在被识别数据帧中的位置，并存入到模糊特征集中；

(4)、采用Jena自动推理机识别帧的协议类型

首先建立推理规则库，再将模糊特征集中的模糊特征字符串和推理规则库作为Jena自动推理机的输入，并进行推理，得出每一组模糊特征字符串所对应的协议类型，即为此帧的协议类型。

2.根据权利要求1所述的一种基于误码率模型的未知通信协议识别方法，其特征在于，所述的模式识别算法包括AC算法、AC-BM算法、Wu-Manber算法。

3.根据权利要求1所述的一种基于误码率模型的未知通信协议识别方法，其特征在于，所述的关联规则分析算法包括Apriori算法和FP-Growth算法。

4.根据权利要求1所述的一种基于误码率模型的未知通信协议识别方法，其特征在于，所述的步骤(4)还可以采用SVM识别数据协议类型，具体为：

建立SVM模型：将频繁字符串{f₁，f₂，f₃，......，f_k}作为训练数据输入到SVM中训练，得到SVM模型；

将模糊特征集中的模糊特征字符串输入到SVM模型中，通过SVM模型识别出每一帧的数据协议类型。