CN105721627A - 一种ip网络流数据在线匿名化方法 - Google Patents

Abstract

本发明公开了一种IP网络流数据在线匿名化方法。本方法为：1)初始化一匿名化流表；2)对于获取的每一网络数据包，解析出该网络数据包的源IP地址和目的IP地址：根据IP地址查找该匿名化流表，如果存在则用查找结果进行替换；否则采用匿名化算法对该IP地址进行匿名化后进行替换，并以该IP地址作为关键字key、匿名化后的IP地址作为键值value，组成流表项***该匿名化流表中；检测该网络数据包的类型，如果是IPv4类型的数据包，则重新计算匿名化后的该网络数据包的校验和；输出匿名化后的该网络数据包；检测该匿名化流表的使用率，如果使用率到达或者超过设定阈值时，则删除当前的匿名化流表，并重新建立新的匿名化流表。

Description

一种IP网络流数据在线匿名化方法

技术领域

本发明属于计算机网络通信领域，涉及一种基于流表的高性能可扩展的IP地址在线匿名化方法。

背景技术

网络流匿名化其实质是对网络数据包的IP地址，负载等字段采用加密或者其他方式进行匿名化处理，并且使得处理后的信息跟原始信息完全没有相关性，因此网络流匿名化可以保护用户IP信息、内容等隐私数据不会被泄漏从而产生安全隐患，因此可供ISP等部署在主干网络或者某些网络出口处等地方，获取并匿名化实际环境中的网络流量，生成相关的网络流量数据，以供相关的研究人员和开发人员使用。

已有的研究发现网络流量数据中涉及到用户隐私的数据，除了负载内容以外便是用户IP地址信息，一般提供给研究人员使用的网络流量数据只保留数据包头的信息，负载信息被去掉，因此本发明关注的是IP地址匿名化问题。IP地址匿名化算法主要有切断算法、随机置换算法、前缀保留算法这三种。切断算法将IP地址固定的bit位置为0，只保留剩余的位(典型bit位有8、16、24)，由于IP地址的映射不是单射的，具有相应前缀长度的IP地址会映射成一个值，结果不可逆转，并且会丢失原有IP地址间的关系及路由特性。Blackmarker是切断方法的特例，删除或者使用一个固定值取代一个域的所有信息，这种应用价值不高。随机置换算法通过随机函数对需要匿名化的IP地址产生一个一对一的映射，将IP流数据中的IP地址映射到另外一个真实存在的IP地址上。如果知道这种映射关系则是可逆的，否则不可逆。TCPurify就是这种算法的典型应用，其优点是可以方便地保留一些不需要转换的地址，如私有地址、组播地址等等。由于映射关系式完全随机的，因而匿名化后的IP地址丢失了原有IP地址间的关系及路由特性，安全性能与随机算法有关，只适应于对数据需求不高的场合。使用最广泛的是前缀保留算法，前缀保留算法指如果两个IP地址最长的共同前缀有K比特，则他们匿名化后的IP地址最长的共同前缀也有K比特，这种匿名化能保持地址间的层次关系和路由特性，是最广泛使用的匿名化技术。主要的前缀保留匿名化算法有TCPdpriv的-A50和Crypto-PAn。GregMinshall开发的Tcpdpriv的A50方法设计思想简单，易于实现，但是不同地址段的IP地址会映射到不同的地址，不能在分布式的环境下并行地处理。Crypto-PAn算法的映射关系与原IP地址分配文件出现的先后次序无关，只要密钥K相同，不同IP地址分配文件中的IP地址不会映射到相同的地址。Crypto-PAn算法利用Rijndael加密算法构造的匿名化函数，实际的应用中，大部分采用了Crypto-PAn算法提供匿名化后的数据流信息供研究和数据分析。

上述匿名化算法本质上都是对每个数据包的源地址和目的地址的全部或者部分进行匿名化处理，会产生大量加密计算的开销，即使采用IP地址预存匿名化的方式，对于IPv4地址,其地址空间比较小，具有可行性，但对于IPv6地址不具有可行性,因为IPV6地址空间非常大，单个IPv6地址需要16个字节的存储空间，预存需要存储匿名化前后的地址，如果匿名化***将所有IPV6地址前缀预先离线匿名化，然后存储在内存空间中，其所需的存储空间为2*16*2¹²⁸字节，普通服务器的内存空间无法满足。本发明进行匿名化的对象是IPv4/IPv6双栈万兆链路，如果利用预存的方式，仅仅预存IPv4地址的前16位和IPv6地址的前64位，也需要32*2⁶⁴+4*2¹⁶字节存储空间，普通服务器的内存空间仍然无法满足，同时IPv4地址的后16位和IPv6地址的后64位依然需要在线匿名化，随着移动网络应用的丰富和4G网络的推广的，运营商的骨干带宽越来越大，比如在中国，运营商骨干网的带宽普遍为40Gbps，现有的这些方法不能进行大带宽流量的实时匿名化处理，仅仅应用于离线或者采样。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提出了一种高速网络流数据在线匿名化方法。本发明的技术方案为：

一种IP网络流数据在线匿名化方法，如图1所示，其步骤如下：

1)创建匿名化流表并初始化匿名化流表(anonymizationflowtable，以下简称流表)；

2)解析获取到的网络数据包，得到数据包的源IP地址和目的IP地址；

3)根据源IP地址查找流表，如果流表中存在源IP地址的记录，则以源IP地址的流表索引值作为索引，在流表中获取对应的匿名化IP地址，并用其替换数据包源IP地址；

4)如流表中不存在源IP地址的记录，则调用匿名化方法对源IP地址进行匿名化，用匿名化后的IP地址替换数据包的源IP地址，并以原始的源IP地址作为关键字key,匿名化后的源IP地址作为键值value，组成流表项***流表中；

5)根据目的IP地址查找流表，如果流表中存在目的IP地址的记录，则以目的IP地址的流表索引值作为索引，在流表中获取对应的匿名化IP地址，并用其替换数据包目的IP地址；

6)如流表中不存在目的IP地址的记录，则调用匿名化方法对目的IP地址进行匿名化，用匿名化后的IP地址替换数据包的目的IP地址，并以原始的目的IP地址作为key,匿名化后的目的IP地址作为value，组成流表项***流表中；

7)如果是IPv4类型的数据包，则重新计算匿名化后数据包的校验和；

8)输出匿名化后的数据包；

9)判断流表使用率是否到达或者超过阈值，若是，则删除当前的流表，同时新建匿名化流表并初始化；

10)转到步骤2)，继续处理新数据包。

所述流表的数据结构为：流表关键字数组AFT_keys，用于保存原始IP记录；流表值数组AFT_values，用于保存匿名化后的IP记录，其大小等于AFT_keys；流表大小AFT_size，用于表示AFT_keys的大小；流表已使用单元数AFT_used，用于表示AFT_keys或AFT_values中已经使用的流表项个数；流表最大使用率AFT_bound，用于表示AFT_used和AFT_size比值的上限，当流表的使用率高于或者等于AFT_bound后需要删除当前的流表。所述流表的数据结构如图2所示。

所述流表使用率定义为U_AFT，U_AFT的计算公式为：

所述流表的相关操作为：流表初始化方法AFT_init，流表查找方法AFT_find，流表***方法AFT_insert，流表删除方法。

其中流表初始化方法AFT_init步骤如下：

1)创建流表指针AFT，初始化流表中AFT_size、AFT_used、AFT_bound的值，其中AFT_size取值为2的整数次幂以加快哈希定位，具体取值根据内存大小决定，AFT_used为0，AFT_bound为0～1之间某个值。

2)根据流表AFT_size的大小分配流表AFT_keys数组与AFT_values数组的存储空间；

其中流表查找方法AFT_find步骤如下：

1)计算待查找IP地址的哈希值，根据哈希值在流表的AFT_keys数组中查找该IP地址；

2)若查找时发生哈希冲突，以线性探测方式解决；

3)若查找成功，则返回设该IP地址在AFT_keys数组中的索引值；否则查找失败，返回空值。

其中流表***方法AFT_insert步骤如下：

1)以待***的原始IP地址作为key并计算key的哈希值，根据哈希值在流表的AFT_keys数组中查找key的***位置；

2)若查找时发生哈希冲突，以线性探测方式解决；

3)假设key在AFT_keys数组中的索引为i，则以匿名化后的IP地址作为value，将key和value分别***到流表数组AFT_keys和AFT_values的第i个位置。

其中流表删除方法AFT_destroy步骤如下：

1)释放流表的AFT_keys和AFT_values所占用的内存空间；

2)删除流表。

所述的IP地址匿名化方法为Anon_IP，对于IPv4地址，Anon_IP通过调用匿名化算法Crypto-Pan进行处理；对于IPv6地址，Anon_IP通过调用匿名化算法Crypto-PAn6进行处理。

其中Crypto-PAn6算法是Crypto-PAn算法的扩展，扩展方法为：

1)修改IP地址表示方式，即用POSIX标准定义的structin6_addr结构代替Crypto-PAn中的32位整数类型，使其支持IPv6地址；

2)修改Crypto-PAn中对IP地址比特位循环加密的循环次数，即将加密IPv4地址的32次循环扩展至128次，使其支持对IPv6地址每一比特位的循环加密。

所述流表的结构可以扩展，扩展后IPv4和IPv6地址分别保存在两个子流表中，可以用于IPv4/IPv6双栈链路中，扩展后的流表结构如图3所示。其扩展方法为：

1)建立两个子流表，分别用来存储IPv4地址和IPv6地址；

2)建立流表头节点AFT，并为其创建两个指针AFT_P_4和AFT_P_6。

3)分别使AFT_P_4指向IPv4子流表AFT4，AFT_P_6指向IPv6子流表AFT6；

对流表进行扩展后，所述流程需要增加判断步骤：

解析出数据包源地址或目的地址后，判断地址类型，如果是IPv4地址，则通过AFT_P_4指针，使AFT指向AFT4子流表进行后续处理；如果是IPv6地址，则通过AFT_P_6指针，使AFT指向AFT6子流表进行后续处理。

扩展后的流表初始化方法AFT_init步骤如下：

1)创建统一的流表头节点，该流表头节点包含子指针AFT_P_4和AFT_P_6；

创建子流表AFT4，初始化流表AFT4中AFT_size、AFT_used、AFT_bound的值，其中AFT_size取值为2的整数次幂以加快哈希定位，具体取值根据内存大小决定，AFT_used为0，AFT_bound为0～1之间某个值；根据流表AFT_size的大小分配流表AFT_keys数组与AFT_values数组的存储空间；

2)创建子流表AFT6，初始化流表AFT4中AFT_size、AFT_used、AFT_bound的值，其中AFT_size取值为2的整数次幂以加快哈希定位，具体取值根据内存大小决定，AFT_used为0，AFT_bound为0～1之间某个值；根据流表AFT_size的大小分配流表AFT_keys数组与AFT_values数组的存储空间；

3)创建流表头节点AFT，并为其创建两个指针AFT_P_4和AFT_P_6；

4)分别使AFT_P_4指向IPv4子流表AFT4，AFT_P_6指向IPv6子流表AFT6；

扩展后的流表删除方法AFT_destroy步骤如下：

1)分别释放IPv4子流表和IPv6子流表的AFT_keys和AFT_values所占用的内存空间；

2)删除IPv4子流表和IPv6子流表；

3)删除流表头节点AFT。

与现有技术相比，本发明的积极效果为：

1)基于匿名化流表的高速网络流量匿名化方法与已有的匿名化方法性能更高，此方法基于网络流的观点，同一条网络流(源地址+目的地址)的数据包会频繁且集中的出现在高速网络链路中，用户访问存在热点，测试结果发现IPv4数据包的匿名化平均时间减少20倍以上，IPv6数据包的匿名化时间平均减少50倍以上；

2)基于匿名化流表的高速网络流量匿名化方法中，地址加密需要的时间开销比较大，流表查找的时间相比可以忽略。测试发现，流表初始化后的5秒内会产生大量的数据包加密匿名化操作，之后加密操作次数越来越少，所以，网络流量整体匿名化时间基本上依赖于流表查找时间，匿名化加密的时间的开销可以忽略，大大减少了匿名化的整体开销；

3)基于匿名化流表的高速网络流量匿名化方法支持IPv6地址的匿名化，已有的方法由于对加密算法的依赖，IPv6地址128位地址开销非常大，无法实现万兆或者以上高速网络链路的实时匿名化，本方法通过匿名化流表缓存最近加密的地址信息，大大减少了高频度匿名化处理的代价，解决了此问题；

4)基于匿名化流表的高速网络流量匿名化方法具有很好的扩展性，流表结构可根据需要扩展，对于新型网络结构，匿名化流表不需要对整个数据结构和方法名称重新定义，仅仅增加相关的subAFT和加密接口即可，所以，本发明方法具有很好的推广性。

附图说明

图1为本发明的方法流程图。

图2为本发明流表的数据结构示意图；

图3为本发明用于IPv4和IPv6地址匿名化的流表示意图；

图4为本发明实施例的流表内容。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行完整的表述。包括：

1.初始化：

1)计算初始化参数。针对IPv4子流表和IPv6子流表，分别设其AFT_size为S4和S₆，设流表最大占用内存为M。由于一条IPv4和一条IPv6的流表记录分别占用12字节和36字节空间，因此有如下关系：

s₄*8+s₆*32＝M(1)

IPv4子流表大小与IPv6子流表大小之间需满足如下表达式：

s₄＝C*s₆(2)

C表示所处理的链路上一定时间内出现的不重复IPv4地址数量与不重复IPv6地址数量的比值，上述关系保证了两个子流表之间能够平等的利用内存资源。设服务器内存为128G，采用16线程分别设置独立的16个AFT流表进行处理，设置AFT内存最大使用量为128G*20％，那么每个流表获得的内存最大使用量为设置C＝200，根据公式(1)(2)得S₄＝196078431,S₆＝980392。为了提高流表查找性能，设置S₄和S₆为2的整数次幂，经调整得S₄＝2²⁷＝134217728,S₆＝2²⁰＝1048576。

2)执行AFT_init创建流表结构。

3)根据1)中计算结果设置ipv4子流表的大小AFT_size为134217728，设置ipv6子流表的大小AFT_size为1048576；

4)设置IPv4子流表和IPv6子流表的AFT_bound为0.77。

然后设置匿名化key为：

unsignedcharmy_key[32]＝{21,34,23,141,51,164,207,128,19,10,91,22,73,144,125,16,216,152,143,131,121,121,101,39,98,87,76,45,42,132,34,2}；本发明实施例的流表内容如图4所示。

2.数据包采集和匿名化处理过程:

以如下输入数据为例：

其中序号1和序号2的IPv4包头分别为(十六进制表示)：

1	45 00 00 28 72 9a 40 00 80 06 d4 a2 42 09 95 bb 0c 16 cf b8
		2	45 00 00 28 72 9a 40 00 80 06 e6 57 42 09 84 06 0c 16 cf b8

匿名化步骤如下：

1)提取到数据包1，解析出src＝66.9.149.187，dst＝12.22.207.184；

2)以src＝66.9.149.187为key，调用AFT_find方法查找AFT4。AFT_find方法计算出66.9.149.187的哈希值为52703269，查找keys数组，结果为不存在；

3)通过Crypto-Pan算法计算匿名化后的数据a_src＝3.241.234.95；

4)调用AFT_insert方法，将src和a_src分别写入keys和vals，写入位置为52703269；

5)以dst＝12.22.207.184为key，调用AFT_find查找AFT4。AFT_find方法计算出12.22.207.184的哈希值为53834646，查找keys数组，结果为不存在；

6)通过Crypto-Pan算法计算匿名化后的数据a_dst＝115.212.176.88；

7)调用AFT_insert方法，将dst和a_dst分别写入keys和vals，写入位置为53834646；

8)用a_src和a_dst替换数据包1中的src和dst；

9)重新计算校验和为75b8；

10)输出数据包1；

11)提取到数据包2，解析出src＝66.9.132.6，dst＝12.22.207.184；

12)以src＝66.9.132.6为key，调用AFT_find方法查找AFT4，AFT_find方法计算出66.9.132.6的哈希值为9025253，查找keys数组，结果为不存在；

13)通过Crypto-Pan算法计算匿名化后的数据a_src＝3.241.251.249；

14)调用AFT_insert方法，将src和a_src分别写入keys和vals，写入位置为9025253；

15)以dst＝12.22.207.184为key，调用AFT_find查找AFT4。AFT_find方法计算出12.22.207.184的哈希值为53834646，查找keys数组，结果为存在，取53834646处的数据115.212.176.88为a_dst；

16)用a_src和a_dst替换数据包2中的src和dst；

17)重新计算校验和为641e；

18)输出数据包2；

19)提取到数据包3，解析出src＝3ffe:2501:200:3::1，dst＝3ffe:2501:200:1fff::2；

20)以src＝3ffe:2501:200:3::1为key，调用AFT_find方法查找AFT6。AFT_find方法计算出3ffe:2501:200:3::1的哈希值为75905，查找keys数组，结果为不存在；

21)通过Crypto-Pan算法计算匿名化后的数据a_src＝5f99:357e:823f:f8c3:7d8f:700e:ef09:ddee；

22)调用AFT_insert方法，将src和a_src分别写入keys和vals，写入位置为75905；

23)以dst＝3ffe:2501:200:1fff::2为key，调用AFT_find查找AFT6。AFT_find方法计算出3ffe:2501:200:1fff::2的哈希值为968833，查找keys数组，结果为不存在；

24)通过Crypto-Pan算法计算匿名化后的数据a_dst＝5f99:357e:823f:eff0:e00f:ae00:e103:3ee0；

25)调用AFT_insert方法，将dst和a_dst分别写入keys和vals，写入位置为968833；

26)用a_src和a_dst替换数据包3中的src和dst，输出数据包3；

27)提取到数据包4，解析出src＝3ffe:2501:200:3::1，dst＝3ffe:501:8::260:97ff:fe40:efab；

28)以src＝3ffe:2501:200:3::1为key，调用AFT_find方法查找AFT6。AFT_find方法计算出ff02::1的哈希值为75905，查找keys数组，结果为存在，取75905处的数据5f99:357e:823f:f8c3:7d8f:700e:ef09:ddee为a_dst；

29)以dst＝3ffe:501:8::260:97ff:fe40:efab为key，调用AFT_find查找AFT6。AFT_find方法计算出3ffe:501:8::260:97ff:fe40:efab的哈希值为613580，查找keys数组，结果为不存在；

30)通过Crypto-Pan算法计算匿名化后的数据a_dst＝5f99:501:e00c:1dfd:e1b0:8b24:4171:6859；

31)调用AFT_insert方法，将dst和a_dst分别写入keys和vals，写入位置为613580；

32)用a_src和a_dst替换数据包4中的src和dst，输出数据包4。

Claims (9)

1.一种IP网络流数据在线匿名化方法，其步骤为：

1)初始化一匿名化流表；

2)对于获取的每一网络数据包，解析出该网络数据包的源IP地址和目的IP地址；

a)根据该源IP地址查找该匿名化流表，如果存在该源IP地址的记录，则用该记录的匿名化IP地址替换该网络数据包的源IP地址；否则采用匿名化算法对该源IP地址进行匿名化，然后用匿名化后的源IP地址替换该网络数据包中的该源IP地址，并以该源IP地址作为关键字key、匿名化后的源IP地址作为键值value，组成流表项***该匿名化流表中；

b)根据该目的IP地址查找该匿名化流表，如果存在该目的IP地址的记录，则用该记录的匿名化IP地址替换该网络数据包的目的IP地址；否则采用匿名化算法对该目的IP地址进行匿名化，然后用匿名化后的目的IP地址替换该网络数据包中的该目的IP地址，并以该目的IP地址作为关键字key、匿名化后的目的IP地址作为键值value，组成流表项***该匿名化流表中；

c)检测该网络数据包的类型，如果是IPv4类型的数据包，则重新计算匿名化后的该网络数据包的校验和；

d)输出匿名化后的该网络数据包；检测该匿名化流表的使用率，如果使用率到达或者超过设定阈值时，则删除当前的匿名化流表，并重新建立新的匿名化流表。

2.如权利要求1所述的方法，其特征在于，所述匿名化流表包括一用于保存原始IP记录的关键字数组AFT_keys，一用于保存匿名化后的IP记录的流表值数组AFT_values，一流表大小字段AFT_size，一用于记录AFT_keys或AFT_values中已使用流表项个数的字段AFT_used，以及一流表使用率阈值字段AFT_bound。

3.如权利要求2所述的方法，其特征在于，所述匿名化流表还包括用来存储IPv4地址的IPv4子流表AFT4和用于存储IPv6地址的IPv6子流表AFT6，以及一流表头节点，其包含指针AFT_P_4和AFT_P_6；其中，AFT_P_4指针指向IPv4子流表，AFT_P_6指针指向IPv6子流表。

4.如权利要求3所述的方法，其特征在于，解析出该网络数据包的源IP地址和目的IP地址后，判断地址类型，如果是IPv4地址，则对子流表AFT4进行数据查找或***；如果是IPv6地址，则对子流表AFT6进行数据查找或***。

5.如权利要求3所述的方法，其特征在于，删除当前的匿名化流表的方法为：首先分别释放IPv4子流表和IPv6子流表的保存原始IP记录的关键字数组AFT_keys和保存匿名化后的IP记录的流表值数组AFT_values所占用的内存空间；然后删除IPv4子流表和IPv6子流表，然后删除子流表指针AFT_P_4和AFT_P_6，删除流表头节点AFT。

6.如权利要求3所述的方法，其特征在于，将组成的流表项***该匿名化流表中的方法为：首先判断待***IP地址类型，若该IP地址是IPv4地址，则根据AFT_P_4指针找到子流表AFT4进行***；若该IP地址是IPv6地址，则根据AFT_P_6指针找到子流表AFT6进行***；然后以待***的原始IP地址作为key，匿名化后的IP地址作为value，计算key的哈希值，根据该哈希值将key和value***对应子流表的保存原始IP记录的关键字数组AFT_keys和保存匿名化后的IP记录的流表值数组AFT_values的对应位置；采用线性探测的方法解决冲突。

7.如权利要求3所述的方法，其特征在于，查找匿名化流表的方法为：首先判断待查找IP地址类型，若该IP地址是IPv4地址，则根据AFT_P_4指针找到IPv4子流表进行查找；若该IP地址是IPv6地址，则根据AFT_P_6指针找到IPv6子流表进行查找；然后计算待查找IP地址的哈希值，根据哈希表线性探测方法查找对应子流表中的保存原始IP记录的关键字数组AFT_keys，如果存在该IP地址，则返回该IP地址在对应子流表的关键字数组AFT_keys中的索引值，否则查找失败。

8.如权利要求3或4所述的方法，其特征在于，分别设置IPv4子流表和IPv6子流表的流表使用率阈值字段AFT_bound，并将IPv4子流表和IPv6子流表的已使用流表项个数的字段AFT_used初始化为0、流表大小字段AFT_size初始化为2的整数次幂。

9.如权利要求1～5任一所述的方法，其特征在于，采用匿名化算法对该目的IP地址进行匿名化的方法为：对于IPv4类型的网络数据包，采用的匿名化算法Crypto-PAn进行匿名化；对于IPv6类型的网络数据包，采用Crypto-PAn6算法进行匿名化；其中，Crypto-PAn6算法为Crypto-PAn算法的扩展，其扩展方法为：修改Crypto-PAn算法中的32位整数类型，使其支持IPv6地址；修改Crypto-PAn中对IP地址比特位循环加密的循环次数，使其支持对IPv6地址每一比特位的循环加密。