CN101163058A - 基于流集合随机抽样的报文测量方法 - Google Patents

Abstract

一种基于流集合随机抽样的报文测量方法，将测量时间区间分为若干子区间，为每个子区间分配一个不同的匹配比特串，在每个子区间中采用随机抽样网络流抽样报文，抽样过程中使用该子区间被分配的匹配比特串匹配网络流标识的哈希值，该过程中采用一个哈希函数处理所有的报文流标识以生成哈希值比特串，这个哈希函数的输入为报文流标识，输出为和匹配比特串长度相同的哈希值比特串，将该子区间被分配的匹配比特串和输出的哈希值比特串之间进行比较，如果两个比特串相同，则该报文被抽样，否则这个报文将被丢弃。本方法在每个子区间只测量其中一个网络流子空间的报文信息，在整个测量时间区间中，能够测量到整个网络流标识空间中的报文信息。

Description

基于流集合随机抽样的报文测量方法

技术领域

本发明涉及用于网络流的测量方法，尤其是一种基于流集合随机抽样的报文测量方法。

背景技术

网络流量是由报文序列构成，具有相同的流标识的报文集合构成网络流。流标识有多种不同的定义，一般定义是源IP地址、宿IP地址、源端口、宿端口和协议等5元组定义为流标识。网络流是在一个测量时间范围内，到达测量器的报文序列中具有相同报文标识的报文集合。如：一段测量时间内到达的报文序列为：{a，a，b，b，c，a，e，d，f，b}，其中一共有10个报文到达，其中的a，b，c，d，e，f是流标识，在这个报文序列中的网络流是{a.3}{b 3}{c1}{d 1}{e 1}{f1}，其含义是网络流a长度是3，有3个报文属于网络流a。

高速网络中流的数目很大，在大量文献的测量中均发现少量的流拥有绝大多数网络流量等规律。NLANR的研究发现1％的流拥有80％以上的流量。图1是从中国教育科研网(CERNET)一个路由器上测量的5分钟的网络流分布曲线图，从图中我们可以知道，短流的数量很大，而长流数量很少，大量的网络报文是属于少量的长流。网络流在网络中应用非常广泛，基于网络流的行为分析和异常检测是热点研究问题，在IETF组织中有二个工作组专门研究网络流的有关问题，实时流测量工作组RTFM和网络流信息输出工作组IPFIX，他们的工作是建立网络流测量的相关通用标准。由于互联网的“更大、更快、突变”的特性，使得基于抽样的测量技术成为目前网络流测量的重点研究问题。

网络流抽样技术有两种，随机抽样报文的网络流抽样技术和随机抽样网络流的网络流抽样技术。随机抽样报文的网络流抽样技术是指对于每个到达测量器的报文，测量器采用一个随机函数抽样该报文，也就是每个报文具有相同的抽样概率。第一次较***研究随机抽样报文的网络流抽样技术是现在网络行为数据分析研究组织CAIDA负责人K Claffy，1993年***研究基于时间和基于报文到达次序为抽样的激发机制，分析***抽样、随机抽样分层抽样技术，并以报文长度和流量达到分布为例分析两种激发机制和三种抽样技术的性能。

随机抽样网络流的网络流抽样技术是指测量器事先定义一个n比特的匹配比特串，然后使用一个哈希函数处理每个到达报文的流标识生成一个哈希比特串，将这个哈希比特串中的其中n个比特和事先定义好的n比特的匹配比特串进行比较，如果两个比特串相同，则该报文被抽样，否则这个报文将被丢弃。哈希函数可以采用如CRC32、MD5等哈希函数，1992年Jain和2000年Cao分析了五种基于网络流的哈希算法。采用随机抽样网络流的网络流抽样技术可以使得每个网络流具有相同的抽样概率，通过该方法使得一个网络流中所有报文要么被全部抽样，要么被全部丢弃。

从图1我们可以看出，随机抽样报文的网络流抽样技术具有两个缺点：(1)由于网络流的大小具有重尾特性，直接采用报文随机抽样的方法可能导致短流被抽样的概率小，而长流被抽样的概率大，因而短流信息无法估计，导致无法将报文抽样的信息用于和流相关网络应用中，如扫描、DoS攻击检测等；(2)由于报文抽样导致流不能够被抽样到完整的信息，因而使得无法使用报文抽样的信息进行和完整流信息相关的网络应用，如：进行被动测量的延迟、抖动等网络端到端性能监测。随机抽样报文的网络流抽样技术的优点是长流被抽样的概率大，而且精确。

随机抽样网络流的抽样技术能够避免报文抽样中所出现的两个问题，但缺点是虽然能完整测量部分网络流标识空间的报文信息，而其它网络流标识空间的报文完全丢弃，这样导致无法从总体上识别网络的行为状况，难以用于网络流量计费、网络管理等应用。其优点是能够较为精确地测量到大量的网络流信息。

发明内容

综合随机抽样报文的网络流抽样技术和随机抽样网络流的网络流抽样技术这两种方法的优缺点，本发明提出一种基于流集合随机抽样的报文测量方法，这种方法和传统方法的区别在于将测量时间区间分为若干子区间，在每个子时间区间中采用随机抽样网络流的测量方法抽样报文，在每个子时间区间中采用了不同的匹配比特串。该方法能够测量到完整的流标识空间中的流信息，使得抽样的报文数据能够用于网络流应用、网络端到端性能测量和对网络全局流量行为进行检测和管理等。该方法将为新一代高速互联网的实时流量检测、安全管理提供重要的技术支持。

本发明的技术方案是：一种基于流集合随机抽样的报文测量方法，其特征是将测量时间区间分为若干子区间，子区间的数量为抽样比率的倒数，为每个子区间分配一个不同的匹配比特串，在每个子区间中采用随机抽样网络流的测量方法抽样报文，抽样过程中使用该子区间被分配的匹配比特串匹配网络流标识的哈希值，该过程中采用一个哈希函数处理所有的报文流标识以生成哈希值比特串，这个哈希函数的输入为报文流标识，输出为和匹配比特串长度相同的哈希值比特串，将该子区间被分配的匹配比特串和输出的哈希值比特串之间进行比较，如果两个比特串相同，则该报文被抽样，否则这个报文将被丢弃。

所述的测量时间区间分为若干子区间的具体方法可如下：

假设测量匹配比特串的长度为n比特，n是大于0的正整数，这个n个比特串的取值空间大小为2ⁿ，因此采用n比特匹配比特串的随机抽样网络流的测量方法的抽样概率为1/2ⁿ，测量器事先将测量的时间区间T分为抽样比率的倒数等份，即2ⁿ等份，每个子时间区间按照先后顺序进行编号，第一个子时间区间编号为0，最后一个子时间区间编号为2ⁿ-1。

所述的为每个子区间分配一个不同的匹配比特串，具体方法可如下：

设置一个大小为2ⁿ的数组t，数组t记录每个子时间区间中被分配的n比特长度的匹配比特串，数组t中的每个元素t(i)是一个n比特的比特串，i是子时间区间的编号，i大于等于0且小于等于2ⁿ-1，将0到2ⁿ-1之间的2ⁿ个不同的数随机分配到这个大小为2n的数组t的每个元素中，每个子时间区间中被分配的数为该子时间区间中被分配的n比特匹配比特串。

所述的在每个子区间中采用随机抽样网络流的测量方法抽样报文，具体方法可如下：

在每个子时间区间内使用随机抽样网络流的网络流抽样技术抽样报文，测量过程采用一个哈希函数处理所有的报文流标识以生成哈希比特串，这个哈希函数的输入为报文流标识，输出的哈希值为n比特的比特串，将这个哈希比特串和该子时间空间被分配的n比特匹配比特串之间进行比较，如果两个比特串相同，则该报文被抽样，否则这个报文将被丢弃。

基于流集合随机抽样的报文测量方法步骤具体如下：

第一步：设置初始参数

设置抽样测量时间区间长度为T，将测量时间区间T分为2ⁿ等份，每个子区间时间长度为T/2ⁿ，设开始的测量子时间区间序号itime等于0；

设置一个大小为2ⁿ的数组t，数组t中的每个元素t(i)是一个n比特的数，i大于等于0且小于等于2ⁿ-1，将0到2ⁿ-1之间的2ⁿ个数随机分配到大小为2ⁿ的数组t的每个元素中；

选择一个哈希函数hash，哈希函数的输入流标识ID，哈希函数生成的哈希值value为n个比特长度，其取值范围为大于等于0且小于2ⁿ；

设置报文内存空间大小S；

设当前测量时间区间开始时间为current，结束时间end＝current+T；

第二步：计算当前测量子时间区间结束时间

当前测量子时间区间结束时间time为测量子时间区间开始时间加上测量子时间区间大小T/2ⁿ，time＝current+itime*T/2ⁿ+T/2ⁿ，其中time为当前测量子时间区间结束时间，current为当前测量时间区间开始时间，itime为当前子时间区间序号，T为测量时间区间长度，n为大于等于0的正整数，T/2ⁿ为子区间的时间长度，itime*T/2ⁿ为当前子时间区间的开始时间，进入第三步；

第三步：判断当前子测量时间区间结束

如果当前测量器时间大于等于当前子测量时间区间结束时间time，输出报文内存空间M中的数据到硬盘中进行存储，清空报文内存空间M中的报文记录，设置目前报文内存空间M中的报文记录个数m等于0，进入第七步；否则如果当前测量器时间小于当前子测量时间区间结束时间time，进入第四步；

第四步：抽样到达测量器的报文

等待报文到达测量器，如果一个报文到达测量器，提取其流标识ID，使用哈希函数hash计算其哈希值value，value＝hash(ID)，value是一个n比特的数；如果value等于当前子时间区间对应的事先设定的n比特数t(itime)，(其中itime为当前时间序号，t是大小为2ⁿ的数组)，则进入第五步，否则回到第三步；

第五步：处理被抽样的报文

将被抽样的报文信息记录在报文内存空间M中，并将报文内存空间中的报文记录数量m增加1，即m＝m+1；如果报文内存空间中报文记录数量m小于S，则回到第三步；否则进入第六步；

第六步：报文内存空间记录输出

将报文内存空间M中的报文记录输出到硬盘中，同时将报文内存空间中的记录清空，并设置报文内存空间报文记录数量m等于0，回到第三步。

第七步：测量结束时间判断

如果测量子时间区间序号itime等于测量子时间总数2ⁿ-1，停止测量；否则设置新的当前子时间区间序号itime＝itime+1，进到第二步。

与现有技术相比，本发明具有如下优点及有益效果：

(1)在每个子时间区间只测量其中一个网络流子空间的报文信息，在整个测量时间区间中，能够测量到整个网络流标识空间中的报文信息。该方法一方面实现网络流量抽样技术，解决高速、海量网络流量的测量和存储问题；另一方面又能够测量到连续网络流信息，使得测量的数据能够用于网络性能和流相关的网络应用；同时由于整个网络流空间中的流都有可能被抽样，可以实现对网络全局流量行为进行监测和管理。

(2)采用抽样技术，通过抽样部分报文信息，能够解决高速、海量网络流量的测量和存储问题；

(3)能够测量到连续流信息，使得测量的数据能够用于和流相关的网络应用，如：扫描和DoS攻击检测等；并且能够进行被动网络端到端延迟、抖动等性能监测；

附图说明

图1是从中国教育科研网(CERNET)一个路由器上测量的5分钟的网络流分布曲线图；

图2是本发明基于流集合随机抽样报文测量方法的原理图；

图3是本发明基于流集合随机抽样报文测量方法的流程图。

具体实施方式

图1是现有技术，在前面的背景技术部分已作了评价。

结合图2、3给出本发明的实施例。图2中流ID长度为L比特，因此流ID的空间取值范围为0到2^L-1之间；将长度为L的流ID采用哈希函数生成长度为n的哈希值，哈希值空间的取值范围为为0到2ⁿ-1之间；每个流ID映射到哈希空间的一个结点；将测量时间T被分为n等份，每等份时间粒度为T/2ⁿ，每个时间粒度随机映射到哈希空间中的一个结点。

设一个报文序列：

A1  B1  B2  C1  B3 D1  A2  A3  C2

A1表示一个报文，其中字母A表示流标识，1表示A流的第一个报文，B1表示B流的第一个报文，A3表示A流的第三个报文，以此类推。

1(第一步)：设置初始参数

设置抽样测量时间区间长度为T＝4，将测量时间区间T分为2＝2¹等份，每个子区间时间长度为T/2ⁿ＝4/2＝2，设开始的测量子时间区间序号itime等于0；

设置一个大小为2¹＝2的数组t，数组t中的每个元素t(i)是一个n＝1比特的数，i大于等于0且小于等于2¹-1＝1，将0到1之间的2个数随机分配到大小为2的数组t的每个元素中，t(0)＝0，t(1)＝1；

选择一个哈希函数hash，哈希函数的输入流标识ID为(A、B、C、D等流)，hash哈希函数生成的哈希值value为1个比特长度，其取值范围为大于等于0且小于2，hash(A)＝0，hash(B)＝1，hash(C)＝1，hash(D)＝0；

设置报文内存空间大小S＝2；

设当前测量时间区间开始时间为current＝0，结束时间end＝current+T＝0+4＝4；进入2(第二步)；

2(第二步)：计算当前测量子时间区间结束时间

当前测量子时间区间结束时间time为测量子时间区间开始时间＝0加上测量子时间区间大小4/2＝2，time＝current+itime*T/2ⁿ+T/2ⁿ＝0+0*2+2＝2，其中time为当前测量子时间区间结束时间，current为当前测量时间区间开始时间，itime为当前子时间区间序号＝0，T为测量时间区间长度＝4，n＝1，T/2ⁿ为子区间的时间长度，itime*T/2ⁿ为当前子时间区间的开始时间，进入3(第三步)；

3(第三步)：判断当前子测量时间区间结束

当前测量器时间为0，小于当前子测量时间区间结束时间time＝2，进入4(第四步)；

4(第四步)：抽样到达测量器的报文

等待报文到达测量器，A1报文到达测量器，提取其流标识ID＝A，使用哈希函数hash计算其哈希值value，则value＝hash(A)＝0；value＝0等于当前子时间区间对应的事先设定的n比特数t(0)＝0，则进入5(第五步)；

5(第五步)：处理被抽样的报文

将被抽样的报文A1信息记录在报文内存空间M中，并将报文内存空间中的报文记录数量m增加1，即m＝m+1＝0+1＝1；报文内存空间中报文记录数量m＝1小于S＝2，则回到6(第三步)；

6(第三步)：判断当前子测量时间区间结束

当前测量器时间为1，小于当前测量时间粒度结束时间time＝2，进入7(第四步)；

7(第四步)：抽样到达测量器的报文

等待报文到达测量器，B1报文到达测量器，提取其流标识ID＝B，使用哈希函数hash计算其哈希值value，则value＝hash(B)＝1；value＝1不等于当前子时间区间对应的事先设定的n比特数t(0)＝0，进入8(第三步)；

8(第三步)：判断当前子测量时间区间结束

当前测量器时间为2，等于当前子测量时间区间结束时间time＝2，输出报文内存空间M中的数据A1到硬盘中进行存储，清空报文内存空间M中的报文记录，设置目前报文内存空间M中的报文记录个数m等于0，进入9(第七步)；

9(第七步)：测量结束时间判断

当前子测量时间区间序号为0，小于测量总时间粒度数T＝2减1，设置新的当前子时间区间序号itime＝itime+1＝0+1＝1，进到10(第二步)，

10(第二步)：计算当前测量子时间区间结束时间

当前测量子时间区间结束时间time为测量子时间区间开始时间＝2加上测量子时间区间大小4/2＝2，time＝current+itime*T/2ⁿ+T/2ⁿ＝0+1*2+2＝4，其中time为当前测量子时间区间结束时间，current为当前测量时间区间开始时间，itime为当前子时间区间序号＝0，T为测量时间区间长度＝4，n＝1，T/2ⁿ为子区间的时间长度，itime*T/2ⁿ为当前子时间区间的开始时间，进入11(第三步)；

11(第三步)：判断当前子测量时间区间结束

当前测量器时间为2，小于当前子测量时间区间结束时间time＝4，进入12(第四步)；

12(第四步)：抽样到达测量器的报文

等待报文到达测量器，B2报文到达测量器，提取其流标识ID＝B，使用哈希函数hash计算其哈希值value，则value＝hash(B)＝1；value＝1等于当前子时间区间对应的事先设定的n比特数t(1)＝1，进入13(第五步)；

13(第五步)：处理被抽样的报文

将被抽样的报文B2信息记录在报文内存空间M中，并将报文内存空间中的报文记录数量m增加1，即m＝m+1＝0+1＝1；报文内存空间中报文记录数量m＝1小于S＝2，则回到14(第三步)；

14(第三步)：判断当前子测量时间区间结束

当前测量器时间为3，小于当前子测量时间区间结束时间time＝4，进入15(第四步)；

15(第四步)：抽样到达测量器的报文

等待报文到达测量器，C1报文到达测量器，提取其流标识ID＝C，使用哈希函数hash计算其哈希值value，则value＝hash(C)＝1；value＝1等于当前子时间区间对应的事先设定的n比特数t(1)＝1，进入16(第五步)；

16(第五步)：处理被抽样的报文

将被抽样的报文C1信息记录在报文内存空间M中，并将报文内存空间中的报文记录数量m增加1，即m＝m+1＝1+1＝2；报文内存空间中报文记录数量m＝2等于S＝2，进入17(第六步)；

17(第六步)：报文内存空间记录输出

将报文内存空间M中的报文记录B2、C1输出到硬盘中，同时将报文内存空间中的记录清空，并设置报文内存空间报文记录数量m等于0，回到18(第三步)。

18(第三步)：判断当前子测量时间区间结束

当前测量器时间为4，等于当前子测量时间区间结束时间time＝4，报文内存空间M中没有报文记录信息，设置目前报文内存空间M中的报文记录个数m等于0，进入19(第七步)；

19(第七步)：测量结束时间判断

当前子测量时间区间序号为1，等于子测量时间区间数T＝2减1，停止测量。

因此该例子中被抽样的报文为：A1 B2 C1。

Claims (4)

1.一种基于流集合随机抽样的报文测量方法，其特征是将测量时间区间分为若干子区间，子区间的数量为抽样比率的倒数，为每个子区间分配一个不同的匹配比特串，在每个子区间中采用随机抽样网络流的测量方法抽样报文，抽样过程中使用该子区间被分配的匹配比特串匹配网络流标识的哈希值，该过程中采用一个哈希函数处理所有的报文流标识以生成哈希值比特串，这个哈希函数的输入为报文流标识，输出为和匹配比特串长度相同的哈希值比特串，将该子区间被分配的匹配比特串和输出的哈希值比特串之间进行比较，如果两个比特串相同，则该报文被抽样，否则这个报文将被丢弃。

2.根据权利要求1所述基于流集合随机抽样的报文测量方法，其特征是所述将测量时间区间分为若干子区间的具体方法如下：假设测量匹配比特串的长度为n比特，n是大于0的正整数，这个n个比特串的取值空间大小为2ⁿ，因此采用n比特匹配比特串的随机抽样网络流的测量方法的抽样概率为1/2ⁿ，测量器事先将测量的时间区间T分为抽样比率的倒数等份，即2ⁿ等份，每个子时间区间按照先后顺序进行编号，第一个子时间区间编号为0，最后一个子时间区间编号为2ⁿ-1。

3.根据权利要求1或2所述基于流集合随机抽样的报文测量方法，其特征是所述为每个子区间分配一个不同的匹配比特串，具体方法如下：设置一个大小为2ⁿ的数组t，数组t记录每个子时间区间中被分配的n比特长度的匹配比特串，数组t中的每个元素t(i)是一个n比特的比特串，i是子时间区间的编号，i大于等于0且小于等于2ⁿ-1，将0到2ⁿ-1之间的2ⁿ个不同的数随机分配到这个大小为2ⁿ的数组t的每个元素中，每个子时间区间中被分配的数为该子时间区间中被分配的n比特匹配比特串。

4.根据权利要求3所述基于流集合随机抽样的报文测量方法，其特征是测量方法步骤具体如下：

第一步：设置初始参数

设置抽样测量时间区间长度为T，将测量时间区间T分为2ⁿ等份，每个子区间时间长度为T/2ⁿ，设开始的测量子时间区间序号itime等于0；

设置一个大小为2ⁿ的数组t，数组t中的每个元素t(i)是一个n比特的数，i大于等于0且小于等于2ⁿ-1，将0到2ⁿ-1之间的2ⁿ个数随机分配到大小为2ⁿ的数组t的每个元素中；

选择一个哈希函数hash，哈希函数的输入流标识ID，哈希函数生成的哈希值value为n个比特长度，其取值范围为大于等于0且小于2ⁿ；

设置报文内存空间大小S；

设当前测量时间区间开始时间为current，结束时间end＝current+T；

第二步：计算当前测量子时间区间结束时间

当前测量子时间区间结束时间time为测量子时间区间开始时间加上测量子时间区间大小T/2ⁿ，time＝current+itime*T/2ⁿ+T/2ⁿ，其中time为当前测量子时间区间结束时间，current为当前测量时间区间开始时间，itime为当前子时间区间序号，T为测量时间区间长度，n为大于等于0的正整数，T/2ⁿ为子区间的时间长度，itime*T/2ⁿ为当前子时间区间的开始时间，进入第三步；

第三步：判断当前子测量时间区间结束

如果当前测量器时间大于等于当前子测量时间区间结束时间time，输出报文内存空间M中的数据到硬盘中进行存储，清空报文内存空间M中的报文记录，设置目前报文内存空间M中的报文记录个数m等于0，进入第七步；否则如果当前测量器时间小于当前子测量时间区间结束时间time，进入第四步；

第四步：抽样到达测量器的报文

等待报文到达测量器，如果一个报文到达测量器，提取其流标识ID，使用哈希函数hash计算其哈希值value，value＝hash(ID)，value是一个n比特的数；如果value等于当前子时间区间对应的事先设定的n比特数t(itime)，(其中itime为当前时间序号，t是大小为2ⁿ的数组)，则进入第五步，否则回到第三步；

第五步：处理被抽样的报文

将被抽样的报文信息记录在报文内存空间M中，并将报文内存空间中的报文记录数量m增加1，即m＝m+1；如果报文内存空间中报文记录数量m小于S，则回到第三步；否则进入第六步；

第六步：报文内存空间记录输出

将报文内存空间M中的报文记录输出到硬盘中，同时将报文内存空间中的记录清空，并设置报文内存空间报文记录数量m等于0，回到第三步。

第七步：测量结束时间判断

如果测量子时间区间序号itime等于测量子时间总数2ⁿ-1，停止测量；否则设置新的当前子时间区间序号itime＝itime+1，进到第二步。

Images