CN103118086A - 一种基于包转发的小文件缓存方法和设备 - Google Patents

Abstract

本发明提出了一种基于包转发的小文件缓存方法，包括步骤：监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名；计算所请求的数据的指纹；判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，并取出本地的副本，并发送至用户端；否，则不拦截该请求，将该请求发送至公网。本发明还提供一种基于包转发的小文件缓存设备，包括数据处理模块和网桥；所述数据处理模块，用于监听TCP会话，计算出所请求的数据的指纹，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，否，则不拦截该请求；所述网桥包括接收模块和发送模块。该方法和设备，有效地加快了网页速度。

Description

一种基于包转发的小文件缓存方法和设备

技术领域

本发明涉及计算机网络技术领域，尤其是涉及一种基于包转发的小文件缓存方法和设备。

背景技术

随着网民数量的增多，多媒体、P2P技术的不断发展，互联网各骨干网及网络终端都要承担巨大负载，出现了带宽紧张的局面。缓存是一种减少出口流量，降低网络压力，提高用户体验的技术。它将用户所请求的资源，在本地备份一份，用户重复请求相同的资源时，用户将得到本地的一个资源副本，不占用公网带宽资源。

现有技术中，有一种缓存方案，是通过网关的http302重定向，把用户大文件资源请求，重定向到缓存***。由缓存***代理下载，并缓存一分副本到本地。若缓存***发现该资源存在本地的一个副本，则直接拿本地副本响应该请求，从而节省了去公网下载资源的带宽。

302重定向又称之为302代表暂时性转移(Temporarily Moved)，也被认为是暂时重定向（temporary redirect），当一个网页经历过短期的URL的变化时使用。一个暂时重定向是一种服务器端的重定向，能够被搜索引擎蜘蛛正确地处理。302暂时重定向是暂时的重定向，搜索引擎会抓取新的内容而保存旧的网址。

大部分的搜索引擎在大部分情况下，当收到302重定向时，一般只要去抓取目标网址就可以了。而搜索引擎在遇到302转向时，往往不能百分之百的都抓取目标网址。例如Google，在某些情况下，本来的网址A很短，且它做了一个302重定向到B网址，而B网址是一个不太正规的URL网址，甚至还有可能包含一些问号之类的参数。显然，A网址更加用户友好，这时Google很有可能会仍然显示网址A，这就造成了网址URL劫持的发生。

综上所述，基于302重定向的缓存机制，容易造成网址URL劫持现象的发生。

发明内容

本发明提出了一种基于包转发的小文件缓存方法和设备，通过缓存机制解决带宽压力的同时，不会发生网址劫持现象。

为了达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种基于包转发的小文件缓存方法，包括步骤：

步骤A，监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名；

步骤B，计算所请求的数据的指纹；

步骤C，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，进入步骤D；否，则不拦截该请求，将该请求发送至公网；

步骤D，取出本地的副本，并发送至用户端。

其中，所述步骤A之前，还包括步骤：

通过module_init接口，将接收函数netif_receive_skb和发送函数dev_queue_xmit注册到***中，接管网上数据。

其中，所述步骤A中监听TCP会话包括步骤：

通过netif_receive_skb接收到数据后，根据数据的目的IP、源IP、目的port、源port和协议号，识别不同的会话，分析会话的过程。

其中，所述步骤C中将该请求发送至公网包括步骤：

通过dev_queue_xmit接口向公网发送该数据。

其中，所述步骤D中发送至用户端包括步骤：

重新计算该数据的目的IP，源IP，目的port，源port、协议号和相应的seq和seq_ack，将该数据的本地副本通过dev_queue_xmit向用户端发送。

其中，所述步骤C中将该请求发送至公网之后还包括步骤：

判断该数据的大小是否小于第一预设阈值，是，则保存一个本地副本，否，则不干预数据，保护用户和服务器之间的正常通信。

其中，所述步骤A之前还包括步骤：

将存储空间等分为不同数量级的存储区间，每一区间用于存放数量级在该区间范围内的文件。

其中，所述步骤B包括步骤：

通过MD5算法计算所请求的数据的指纹。

本发明还提供一种基于包转发的小文件缓存设备，包括数据处理模块和网桥；所述数据处理模块，用于监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名，通过MD5算法计算出所请求的数据的指纹，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，否，则不拦截该请求；所述网桥包括接收模块和发送模块，所述发送模块，用于取出本地的副本发送至用户端或者将该请求发送至公网；所述接收模块，用于接收网上数据。

其中，所述网桥包括netif_receive_skb接口和dev_queue_xmit接口；所述netif_receive_skb接口，用于接收网上数据；所述dev_queue_xmit接口，用于取出本地的副本发送至用户端或者将该请求发送至公网。

可见，本发明至少具有如下的有益效果：

本发明的一种基于包转发的小文件缓存方法和设备，通过监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名，根据用户所请求数据的指纹值来判定是否在本地存储有该数据的副本，是，则拦截该请求，取出本地的副本，并发送至用户端，否，则不拦截该请求，将该请求发送至公网，无需通过重定向机制，在一定程度地简省了用户所请求的数据占用的公网带宽的同时，不会出现网址劫持现象；

进一步地，基于linux***，通过module_init接口，将接收函数netif_receive_skb和发送函数dev_queue_xmit注册到***中，即***一个内核模块，接管网上数据，这样，可以使该进程工作在内核态，而现有技术中的基于302重定向的缓存***，工作在用户态，会受到网络套接字和文件描述的I/O瓶颈，效率不高，而本发明的缓存机制，工作在内核态，节省了进程在执行过程中在用户态和内核态之间的转换所消耗的开销，效率更高。

其次，小文件的特点是文件数量多，访问频率高，而每次读取数据少，而现有技术中的缓存***依赖于文件***，而文件***打开、存取、关闭操作时，需要用户态与内核态的切换，并且资源的申请与释放及内存的拷贝。若打开一次文件只读取少量数据，则打开的开销远大于读取数据的开销。显然小文件不适合使用文件***；而本发明的缓存机制，脱离了对文件***的依赖，即适用于小文件的缓存，小文件的访问频率往往大于大文件，因此，对于小文件进行有效地缓存，对于缓解公网带宽压力较为必要，本发明的缓存机制中，还判断将要存储的数据的大小是否小于第一预设阈值，若将该第一预设阈值定为1M，则可实现小文件的缓存。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于包转发的小文件缓存方法的实施例一的流程图；

图2为本发明的基于包转发的小文件缓存方法的实施例二的流程图；

图3为本发明的基于包转发的小文件缓存方法的实施例二中的网桥的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种基于包转发的小文件缓存方法，参见图1所示，包括步骤：

步骤S110，监听TCP（Transmission Control Protocol，传输控制协议）会话，分离出用户的HTTP-GET请求，提取用户所请求的数据的文件名和域名。

要判断用户向公网所请求的数据或者资源是否已经在本地存储有副本，需要首先识别用户所需要的数据，目前应用较为广泛的一种识别方式，是通过指纹识别，而指纹识别的前提是，获知该文件的文件名和域名等。

通过在用户端的网卡与公网网卡之间进行监听，可实现网上数据接管。其中，要通过对会话的分析，分离出用户的HTTP-GET请求，从而提取用户所请求的数据的文件名和域名。

步骤S111，计算所请求的数据的指纹。

由于目前应用较为广泛的hash函数为MD5和SHA1，因此，应采用MD5或者SHA1算法对文件进行识别。

步骤S112，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，进入步骤S113；否，则不拦截该请求，将该请求发送至公网。

利用MD5算法，可实现一个文件与一个指纹值的唯一对应关系，即只要计算出该文件的指纹值，就可唯一确定一个文件，通过指纹判定，可以知道这个文件是否之前用户已经向公网请求过并且存储在本地缓存。

步骤S113，取出本地的副本，并发送至用户端。

现有技术中的缓存机制，除了会发生网址劫持这一缺陷以外，还存在网关需要支持http302重定向，部署环节多的技术问题。现有部署方案中，在网关出口串联一个单独的http302重定向设备，然后，要该设备周围部署数个甚至更多的缓存设备，需要保证用户、缓存设备、公网的互联互通，当增加或者减少缓存设备时，必须考虑hash一致性问题。

而本发明的基于包转发的小文件缓存方法，不需要串联一个单独的http302充定向设备，部署简单。

实施例二

本发明实施例二提供了一种基于包转发的小文件缓存方法，参见图2所示，包括步骤：

步骤S210：通过module_init接口，将接收函数netif_receive_skb和发送函数dev_queue_xmit注册到***中，接管网上数据。

为了解决现有技术中的效率问题，简化部署，不仅实现缓存效果，并实现网页优化加速，本实施例提供了一种集中于做内核态的无硬盘I/O瓶颈的小文件缓存机制。

在本实施例中，所提供的技术方案仅适用于linux***，且针对大小小于1M以下的小文件。

在linux***中，***一个内核模块，通过netif_receive_skb接口接收网卡数据，通过dev_queue_xmit接口发送数据，形成一个网桥，串联在网络出口，即做为网关，参见图3所示。

并做如下的初始化：

将存储空间等分为不同数量级的存储区间，每一区间用于存放数量级在该区间范围内的文件。

例如，对于1K到100K的文件，将存储空间划分为100等份，分别用于存储1K、2K、3K…nK…100K的文件，即大小为2K的文件都放在同一扇区，而大小为3K的数据则放在另一个扇区，每一等份都对应为对于每一个大小数量级nK。当数量级为nK时，该空间内分配的文件个数是Cn=MEM/100/nK，其中MEM是***可用内存，n=1,2,3，...100。

例如，若存储空间大小为100M，对于10K的文件，则该区间内的文件个数为100M/100/10K，可放102个10K的文件。

Linux***提供了模拟***接口module_init和模块卸载接口module_exit，通过module_init接口，将本***的接收函数netif_receive_skb注册到***中，实现对网上数据的接管，数据直接由本***处理，不经过协议栈。读取内存时直接在内核态访问，不经过文件***。

网络套接字是网络协议栈的一部分，网关环境中，流量大，由于协议栈处理效率有限，所以现有部署都把用户请求劫持到多个缓存服务器，以负载均衡。而本发明的缓存机制，不通过***协议栈，因此也就不存在受限于网络套接字的问题。

综上，内核态缓存，不受限于套接字，文件描述符的效率，直接内核态内在访问，自己维护文件的组织，速度只取决于硬件速度，效率高。且不经过协议栈，可以处理大量数据，部署于网关中，不需要多个缓存设备负载均衡，部署简单。

步骤S211：监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名。

监听TCP会话，模块通过netif_receive_skb接收到数据后，根据数据的五元组，即目的IP，源IP，目的port，源port和协议号，识别不同的会话。通过分析会话的过程，分离出用户的HTTP-GET请求，提取资源的文件名和域名。

步骤S212：通过MD5算法计算出所请求的数据的指纹。

MD5是目前精确度较高的一种散列函数，用于唯一识别一个文件。

步骤S213：判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，进入步骤S215；否，则不拦截该请求，进入步骤S214。

若该指纹存在于“已使用”队列（命中），则代表该资源存在本地的一个副本。此时模块不通过dev_queue_xmit将请求发送至公网，而是拦截该请求，取出本地的副本，重新计算五元组（目的IP，源IP，目的port，源port，协议号），和相应的seq和seq_ack，将本地副本通过dev_queue_xmit向用户端发送数据。

步骤S214：通过dev_queue_xmit接口向公网发送该数据，并进入步骤S216。

若不命中，即该资源指纹不存在于“已使用”队列中，则不拦截该请求，通过dev_queue_xmit向公网发送，并跟踪该资源的响应。响应表示该资源大小为1K-100K时，则从“空闲”队列中获取相应的空间，并把该资源缓存到空间里。

步骤S215：重新计算该数据的目的IP，源IP，目的port，源port、协议号和相应的seq和seq_ack，将该数据的本地副本通过dev_queue_xmit向用户端发送。

步骤S216：判断该数据的大小是否小于第一预设阈值，是，进入步骤S217，否，则进入步骤S218。

所述第一预设阈值，可由本领域技术人员根据实际需要给出多个具体数值，在本实施例中，所述第一预设阈值为1M，优选地，为100K。

由于网络套接字和文件描述符的瓶颈，一般只缓存HTTP大文件。HTTP大文件在相对的时间里访问频率远远没有小文件那么高，小文件访问频率大，与大文件不在同一个数量级。

文件描述符是文件***的一部分。而由于文件***打开、存取、关闭操作，需要用户态与内核态的切换，资源的申请与释放，及内存的拷贝。若打开一次文件只读取少量数据，则打开的开销远大于读取数据的开销。缓存小文件是需要面临的问题是文件数量多，访问频率高，而每次读取数据少，显然不适合使用文件***。本实施例提供的缓存机制，适用于小文件缓存。

且文件***，所能容纳的文件个数受限于inode数量，能满足大部分需求，但不是无限增长。相比而言，本发明的缓存机制仅受缓存空间所限，处理容量更大。

步骤S217：保存一个本地副本。

把每个数量级的文件空间放在对应的“空闲”队列，表示这些文件空间可以使用。后续资源存储需要分配空间时，将按资源的大小从相应的“空闲”队列获取，放入“已使用”队列。资源释放时，将占用的文件空间从“已使用”放回相应的“空闲”队列。

步骤S218：不干预数据，保护用户和服务器之间的正常通信。

本实施例二提供的缓存方法，工作在内核态，在内核态直接将数据缓存到内存中。与其他基于squid的用户态缓存产品原理有本质的区别，避免了协议栈和用户空间的开销。

实施例三

本发明实施例三提供一种基于包转发的小文件缓存设备，包括数据处理模块和网桥。

所述数据处理模块，用于监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名，通过MD5算法计算出所请求的数据的指纹，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，否，则不拦截该请求。

所述网桥包括接收模块和发送模块，所述发送模块，用于取出本地的副本发送至用户端或者将该请求发送至公网；所述接收模块，用于接收网上数据。

优选地，还包括存储模块，所述存储模块，用于存储用户请求的数据的本地副本。

优选地，所述网桥包括netif_receive_skb接口和dev_queue_xmit接口；所述netif_receive_skb接口，用于接收网上数据；所述dev_queue_xmit接口，用于取出本地的副本发送至用户端或者将该请求发送至公网。

现有网络缓存***工作在用户态，受到网络套接字和文件描述的I/O瓶颈，效率不高。不同的运营商有不同的解决方法，但效率受限于***协议栈，不符合部署于骨干网节点。

而本发明的技术方案，实现网页加速的同时简化部署。

由于网页元素以小文件为主，小文件的重复访问频率远大于大文件，本发明的技术方案主要缓存小文件（100K以下）。大大提高了缓存的命中率。节省了外网的资源，同时达到了上网的加速效果。

本产品的缓存***与网关设备整合在一起，即集缓存***于网关设备，不需要额外的缓存***，网关本身自带大容量的缓存。

在模块中通过TCP协议将数据发送至用户端，与其他基于302重定向，把请求重定向到另外一个缓存***的产品有原理上的不同，可以做成路由器、交换机、接入网关或是防火墙。

同时，由于工作在内核态，处理效率高，每秒并发大于800万连接数，可以工作在万兆接口下。且基于内存，而不是机械硬盘，提高了吞吐量，提高了可靠性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于包转发的小文件缓存方法，其特征在于，包括步骤：

步骤A，监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名；

步骤B，计算所请求的数据的指纹；

步骤C，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，进入步骤D；否，则不拦截该请求，将该请求发送至公网；

步骤D，取出本地的副本，并发送至用户端。

2.根据权利要求1所述的基于包转发的小文件缓存方法，其特征在于，所述步骤A之前，还包括步骤：

通过module_init接口，将接收函数netif_receive_skb和发送函数dev_queue_xmit注册到***中，接管网上数据。

3.根据权利要求2所述的基于包转发的小文件缓存方法，其特征在于，所述步骤A中监听TCP会话包括步骤：

通过netif_receive_skb接收到数据后，根据数据的目的IP、源IP、目的port、源port和协议号，识别不同的会话，分析会话的过程。

4.根据权利要求2所述的基于包转发的小文件缓存方法，其特征在于，所述步骤C中将该请求发送至公网包括步骤：

通过dev_queue_xmit接口向公网发送该数据。

5.根据权利要求2所述的基于包转发的小文件缓存方法，其特征在于，所述步骤D中发送至用户端包括步骤：

重新计算该数据的目的IP，源IP，目的port，源port、协议号和相应的seq和seq_ack，将该数据的本地副本通过dev_queue_xmit向用户端发送。

6.根据权利要求1所述的基于包转发的小文件缓存方法，其特征在于，所述步骤C中将该请求发送至公网之后还包括步骤：

判断该数据的大小是否小于第一预设阈值，是，则保存一个本地副本，否，则不干预数据，保护用户和服务器之间的正常通信。

7.根据权利要求1所述的基于包转发的小文件缓存方法，其特征在于，所述步骤A之前还包括步骤：

将存储空间等分为不同数量级的存储区间，每一区间用于存放数量级在该区间范围内的文件。

8.根据权利要求1-7任一项所述的基于包转发的小文件缓存方法，其特征在于，所述步骤B包括步骤：

通过MD5算法计算所请求的数据的指纹。

9.一种基于包转发的小文件缓存设备，其特征在于，包括数据处理模块和网桥；

所述数据处理模块，用于监听TCP会话，分离出用户的HTTP-GET请求，提取所请求的数据的文件名和域名，通过MD5算法计算出所请求的数据的指纹，判断本地是否存在该指纹所对应的数据的副本；是，则拦截该请求，否，则不拦截该请求；

所述网桥包括接收模块和发送模块，所述发送模块，用于取出本地的副本发送至用户端或者将该请求发送至公网；所述接收模块，用于接收网上数据。

10.根据权利要求9所述的基于包转发的小文件缓存设备，其特征在于，所述网桥包括netif_receive_skb接口和dev_queue_xmit接口；

所述netif_receive_skb接口，用于接收网上数据；

所述dev_queue_xmit接口，用于取出本地的副本发送至用户端或者将该请求发送至公网。

Images