CN105227348A - 一种基于ip五元组的哈希存储方法 - Google Patents

Abstract

本发明公开了一种基于IP五元组的哈希存储方法。其方法包括：接收会话信息查询请求；根据所述会话信息查询请求中的IP五元组，基于第一哈希函数确定第一哈希数组的第一单元标识，基于第二哈希函数确定第二哈希数组的第二单元标识，其中，所述第一哈希数组中的每个单元用于存储所述第二哈希数组；根据所述第一单元标识和第二单元标识确定当前第二哈希数组；遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元；从所述会话存储单元中获取会话信息。本发明解决了现有技术中IP五元组哈希存储方法的哈希分布不均匀、新增速度慢和查找速度慢的问题。

Description

一种基于IP五元组的哈希存储方法

技术领域

本发明涉及网络会话统计分析领域，尤其涉及一种基于IP五元组的哈希存储方法。

背景技术

拒绝服务攻击(DoS,DenialofService)是指利用各种服务请求耗尽被攻击网络的***资源，从而使被攻击网络无法处理合法用户的请求。而随着僵尸网络的兴起，同时由于攻击方法简单、影响较大、难以追查等特点，又使得分布式拒绝服务攻击(DDoS，DistributedDenialofService)得到快速壮大和日益泛滥。成千上万主机组成的僵尸网络为DDoS攻击提供了所需的带宽和主机，形成了规模巨大的攻击和网络流量，对被攻击网络造成了极大的危害。

随着DDoS攻击技术的不断提高和发展，互联网服务提供商(ISP，InternetServiceProvider)、因特网内容提供商(ICP，InternetContentProvider)、互联网数据中心(IDC，InternetDataCenter)等运营商面临的安全和运营挑战也不断增多，运营商必须在DDoS威胁影响关键业务和应用之前，对流量进行检测并加以清洗，确保网络正常稳定的运行以及业务的正常开展。同时，对DDoS攻击流量的检测和清洗也可以成为运营商为用户提供的一种增值服务，以获得更好的用户满意度。

在ISP、IDC等运营商的大流量网络环境下，要快速准确地判断当前网络状态，会话统计分析正是最核心的技术之一，把流量中所有的连接会话建立起来并分析其传输的各种数据，能够得到很多关于当前网络状态的信息，对及时发现DDoS攻击有很大帮助，而建立连接，需要数据报文中的IP五元组信息即源地址、目标地址、源端口、目标端口和IP协议，使用何种方法存储IP五元组信息将会对会话连接分析的效率有关键的作用。

目前IP五元组哈希存储方法最为常用，但现有技术中的IP五元组哈希存储方法是有很多的缺点的。主要有以下几个缺点：

1、哈希分布不均匀：很多方法使用的哈希函数算出的哈希存储位置不够平均，导致哈希冲突深度较大。

2、新增速度慢：因为分布不均匀，哈希的冲突深度大，而且很多方法使用链表法解决冲突时往往在新增时会遍历整个链条而消耗了大量的时间。

3、查找速度慢：随着存储的值越来越多，深度大于1的存储位置也越来越多，往往很多查找比较多次数的值并不在存储位置的首部，查找这些值的时候往往需要遍历链表数次才能获得，这其中又消耗了大量的时间。

发明内容

有鉴于此，本发明实施例提供一种基于IP五元组的哈希储存方法，以解决现有技术中哈希分布不均，新增和查找速度很慢的问题。

本发明实施例提供了一种基于IP五元组的哈希储存方法，包括：

接收会话信息查询请求；

根据所述会话信息查询请求中的IP五元组，基于第一哈希函数确定第一哈希数组的第一单元标识，基于第二哈希函数确定第二哈希数组的第二单元标识，其中，所述第一哈希数组中的每个单元用于存储所述第二哈希数组；

根据所述第一单元标识和第二单元标识确定当前第二哈希数组；

遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元；

从所述会话存储单元中获取会话信息。

本发明的有益效果是：本发明提供的一种基于IP五元组的哈希存储方法，使用CRC32算法和异或运算两个运算作为哈希函数相结合来得出最终的哈希存储位置，使得哈希存储分布很均匀。两串不同的数据，经过两个函数算出的值都一样的概率是很小的，所以结合两个哈希函数，能最大限度地使不同数据串算出的最终值不一样，从而减少哈希冲突。通过以上措施，解决现有技术中哈希分布不均，新增和查找速度很慢的问题，从整体上大大提升了IP五元组的哈希存储效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一的一种基于IP五元组的哈希存储方法的流程示意图；

图2是本发明实施例三的一种基于IP五元组的哈希存储方法的流程示意图；

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1是实施例一提供一种基于IP五元组的哈希存储方法的流程示意图。该方法适用于大流量网络环境下，将较大的数据信息转换成较小的数据信息存储起来，便于访问和统计分析的情况。该方法由基于IP五元组的哈希存储方法的装置执行，该装置可设置在终端中，可以采用软件和/或硬件的形式实现。比如互联网服务提供商(ISP，InternetServiceProvider)、因特网内容提供商(ICP，InternetContentProvider)、互联网数据中心(IDC，InternetDataCenter)等运营商可以应用此方法来对流量进行检测并加以清洗，确保网络正常稳定的运行以及业务的正常开展。

如图1所示，该方法包括：

S110、接收会话信息查询请求。

基于IP五元组的哈希存储方法的装置接收含有IP五元组信息的会话查询请求，用IP五元组去确定会话信息的存储位置，从而访问到会话信息。

S120、根据所述会话信息查询请求中的IP五元组，基于第一哈希函数确定第一哈希数组的第一单元标识，基于第二哈希函数确定第二哈希数组的第二单元标识，其中，所述第一哈希数组中的每个单元用于存储所述第二哈希数组。

IP五元组信息link包括源地址sip，目标地址dip，源端口sport，目标端口dport和IP协议号protocol。首先建立第一哈希数组和第二哈希函数组，第一哈希数组中的每个单元又为一个第二哈希数组。第二哈希函数的每个单元为一个指针，指向每一个储存单元。由第一哈希函数计算得出第一单元标识，由第二哈希函数得出第二单元标识。

进一步的，第一哈希数组的长度大于第二哈希数组。

进一步的，第一哈希函数为F＝CRC_32(M->link)％A。

其中，F为第一哈希数组中的第一单元标识，CRC_32为32位的循环冗余校验算法函数，M->link为会话存储单元中的IP五元组信息，A为第一哈希数组的长度。

第二哈希函数为f＝(sip^dip^((sport<<16)+dport))％a。

其中，f为第二哈希数组中的第二单元标识，a为第二哈希数组的长度。

首先一串数据经过32位的CRC函数算过之后，得到的值是基本分布的比较均匀的，如果还是有冲突的，还有第二个IP五元组异或哈希函数，两串不同的数据，经过两个函数算出的值都一样的概率，是很小的，所以结合两个哈希函数，能最大限度地使不同数据串算出的最终值不一样。这样大大降低了哈希冲突。

S130、根据所述第一单元标识和第二单元标识确定当前第二哈希数组。

第一单元标识确定第一哈希函数组的位置，第二单元标识确定第二哈希数组的位置。因为第一哈希数组中每个单元为一个第二哈希数组，所以第一单元标识以及第二单元标识最终确定了一个当前的第二哈希数组，当前的第二哈希数组为第一哈希数组和第二哈希数组的结合。

S140、遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元。

如果用哈希函数算出很多个存储位置一样的会话存储单元，即当前第二哈希数组指向很多会话存储单元。这些会话存储单元就需要用链表连接起来，而这个链表的长度也可以理解为冲突深度。当查找与所属IP五元组对应的会话存储单元时就需要遍历当前第二哈希函数组指向的所有会话存储单元。

进一步的，所述会话存储单元M包括：

IP五元组信息link；

上一存储单元指针prev；

下一存储单元指针next；

查找计数count，用于记录会话存储单元的被查找次数。

S150、从所述会话存储单元中获取会话信息。

进一步的，若所述会话存储单元为所述当前第二哈希数组指向的首个存储单元，则返回所述会话信息；

若所述会话存储单元不为所述当前第二哈希数组指向的首个存储单元，则根据所述上一存储单元指针获取上一会话存储单元的查找计数，比较所述会话存储单元的查找计数是否大于上一会话存储单元的查找计数，若是，则交换两个会话存储单元的位置，更新相应的指针，并返回所述会话信息；若否，则直接返回所述会话信息。

现有技术中，随着会话存储单元越来越多，深度大于1的存储位置也越来越多，往往很多查找比较多次数的存储单元并不在存储位置的头部，查找这些存储单元的时候往往需要遍历链表数次才能获得，这其中又消耗了大量的时间。本实施例中，通过查找计数的大小交换同一链表上的会话存储单元，使得被查找较多的会话存储单元总是位于链表头部，这样处在同一链表下的会话存储单元将按被查找的次数由大到小从链表的头部到尾部进行排列。大大减少了由于查找元素时遍历链表的时间，有效提高了存储的效率。

本发明实施例一提供的一种基于IP五元组的哈希存储方法，通过使用CRC32算法和异或运算两个运算作为哈希函数相结合来得出最终的哈希存储位置。两串不同的数据，经过两个函数算出的值都一样的概率是很小的，所以结合两个哈希函数，能最大限度地使不同数据串算出的最终值不一样，减少哈希冲突。通过以上措施，解决现有技术中哈希分布不均，新增和查找速度很慢的问题，从整体上大大提升了IP五元组的哈希存储效率。

实施例二

本实施例以实施例一为基础，进一步的在遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元之后，还执行如下操作：

若未找到所述IP五元组对应的会话存储单元，则在存储空间中申请新的会话存储单元，把所述IP五元组信息保存于所述新的会话存储单元，利用根据第一哈希函数和第二哈希函数计算得出的第一单元标识和第二单元标识确定一个最终的第二哈希数组，所述最终的第二哈希数组用于指向新的会话存储单元。

进一步的，若所述最终的第二哈希数组没有指向的会话存储单元，则直接使所述最终的第二哈希数组指向所述新的会话存储单元，然后返回所述新的会话存储单元的会话信息；

若所述最终的第二哈希数组有指向的会话存储单元，则首先让所述新的会话存储单元结构中的指向下一个存储单元的指针指向所述最终的第二哈希数组中已存在的会话存储单元，然后把所述已存在的会话存储单元的指向上一个存储单元的指针指向所述新的会话存储单元，让所述最终的第二哈希数组指向的首个会话存储单元为所述新的会话存储单元，最后返回所述新的会话存储单元的会话信息。

现有技术中使用链表法解决冲突往往在新增会话存储单元时遍历整个链条而消耗了大量的时间。本实施例中链条上添加新的会话存储单元时，是采用在头部***而不是尾部***，头部***仅仅需要一次操作而不需要遍历整个链条，减少装置工作量的同时节省了时间，提高存储效率。

本实施例二在实施例一的基础上在遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元之后，未找到对应会话存储单元，建立新的会话存储单元存储会话信息，并将新的会话存储单元加在链表的头部。使哈希分布均匀的同时，在头部***而不需遍历整个链条，提高存储效率。

实施例三

图2是实施例三提供一种基于IP五元组的哈希存储方法的流程示意图。本实施例在上述实施例的基础上，将整个方案具体化，进行完整的描述，便于理解。本实施例仅描述基于IP五元组的哈希存储方法但不限制其方法。

首先，本实施例中设定第一哈希函数为F，第二哈希函数为f。第一哈希数组H的长度为A，第二哈希数组h的长度为a。设定存储单元结构M{link[sip,dip,sport,dport,protocol],prev,next,count}用于保存IP五元组信息。

如图2所示，该方法包括：

S210、根据IP五元组查找会话。

S220、通过函数F和函数f计算得出哈希位置H[h]。

通过第一哈希函数F和第二哈希函数f分别得到第一单元标识和第二单元标识，即第一哈希数组的位置H和第二哈希数组的位置h，最终得到哈希位置H[h]。

S230、遍历H[h]，寻找会话存储单元M。若能找到M，则执行S240；否则，执行S250。

遍历H[h]指向的所有会话存储单元，寻找与IP五元组相对应的会话存储单元M。

S240、M查找计数count加1。

进一步的，在S240之后，该方法还包括：

S2410、M是否为H[h]指向的首元素即第一个会话存储单元。若是，则执行S260；否则，则执行S2420。

S2420、判断是否M->count>M->prev->count。若是，则执行S2430；否则，执行S260。

M->count为M的查找计数，M->prev->count为M的前一个会话存储单元的查找计数。判断是否M->count>M->prev->count则为比较M与其前一个会话存储单元的查找计数的大小。目的是将被查找次数多的会话存储单元移到整个链表的头部。这样处在同一链表下的会话存储单元将按被查找的次数由大到小从链表的头部到尾部进行排列。

S2430、交换M和M->prev的位置，然后执行S260。

即为交换M与其前一个会话存储单元在H[h]指向的会话存储单元组成的链表的位置。

S250、申请会话存储单元M，把IP五元组信息保存于M。

进一步的，在S250之后，该方法还包括：

S2510、判断H[h]是否为空。若为空，则执行S260；否则，执行S2520。

S2520、M->next指向H[h]当前会话N。M的指向下一个会话存储单元指针指向H[h]当前现有的会话存储单元。

S2530、H[h]当前会话N->prev指向M。当前会话存储单元N的指向上一个会话存储单元指针指向新申请会话存储单元M。

S2540、H[h]＝M。即为使H[h]指向的会话存储单元链表的头部的会话存储单元为新申请的会话存储单元M。然后执行S260。

S260、返回会话存储单元M。

本发明实施例三以上述实施例为基础提供一种具体的基于IP五元组的哈希存储方法。本发明提出的IP五元组哈希存储方法，使用CRC32算法和异或运算作为哈希函数，不仅快速而且分布非常均匀，通过链表法解决哈希冲突并且新增时***在链表首部不需遍历整个链条，而通过查找计数调整链表元素位置，都能大大提高哈希元素的新增和查找速度，通过以上措施，从整体上大大提升了IP五元组的哈希存储效率。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种基于IP五元组的哈希存储方法，其特征在于，包括：

接收会话信息查询请求；

根据所述会话信息查询请求中的IP五元组，基于第一哈希函数确定第一哈希数组的第一单元标识，基于第二哈希函数确定第二哈希数组的第二单元标识，其中，所述第一哈希数组中的每个单元用于存储所述第二哈希数组；

根据所述第一单元标识和第二单元标识确定当前第二哈希数组；

遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元；

从所述会话存储单元中获取会话信息。

2.根据权利要求1所述的方法，其特征在于：

所述第一哈希数组长度大于所述第二哈希数组的长度。

3.根据权利要求1所述的方法，其特征在于，所述会话存储单元M包括：

IP五元组信息link，其中包括源地址sip，目标地址dip，源端口sport，目标端口dport和IP协议号protocol；

上一存储单元指针prev；

下一存储单元指针next；

查找计数count，用于记录会话存储单元的被查找次数。

4.根据权利要求3所述的方法，其特征在于：

第一哈希函数为F＝CRC_32(M->link)％A；

其中，F为第一哈希数组中的第一单元标识，CRC_32为32位的循环冗余校验算法函数，M->link为会话存储单元中的IP五元组信息，A为第一哈希数组的长度；

第二哈希函数为f＝(sip^dip^((sport<<16)+dport))％a；

其中，f为第二哈希数组中的第二单元标识，a为第二哈希数组的长度。

5.根据权利要求3所述的方法，其特征在于，从所述会话存储单元中获取会话信息，包括：

若所述会话存储单元为所述当前第二哈希数组指向的首个存储单元，则返回所述会话信息；

若所述会话存储单元不为所述当前第二哈希数组指向的首个存储单元，则根据所述上一存储单元指针获取上一会话存储单元的查找计数，比较所述会话存储单元的查找计数是否大于上一会话存储单元的查找计数，若是，则交换两个会话存储单元的位置，更新相应的指针，并返回所述会话信息；若否，则直接返回所述会话信息。

6.根据权利要求3所述的方法，其特征在于，遍历所述当前第二哈希数组指向的所有会话存储单元，查找与所述IP五元组对应的会话存储单元之后，还包括：

若未找到所述IP五元组对应的会话存储单元，则在存储空间中申请新的会话存储单元，把所述IP五元组信息保存于所述新的会话存储单元，利用根据第一哈希函数和第二哈希函数计算得出的第一单元标识和第二单元标识确定一个最终的第二哈希数组，所述最终的第二哈希数组用于指向新的会话存储单元。

7.根据权利要求6所述的方法，其特征在于，所述利用根据第一哈希函数和第二哈希函数计算得出的第一单元标识和第二单元标识确定一个最终的第二哈希数组，所述最终的第二哈希数组用于指向新的会话存储单元之后，还包括：

若所述最终的第二哈希数组没有指向的会话存储单元，则直接使所述最终的第二哈希数组指向所述新的会话存储单元，然后返回所述新的会话存储单元的会话信息；

若所述最终的第二哈希数组有指向的会话存储单元，则首先让所述新的会话存储单元结构中的指向下一个存储单元的指针指向所述最终的第二哈希数组中已存在的会话存储单元，然后把所述已存在的会话存储单元的指向上一个存储单元的指针指向所述新的会话存储单元，让所述最终的第二哈希数组指向的首个会话存储单元为所述新的会话存储单元，最后返回所述新的会话存储单元的会话信息。