CN104506637A - 解决网络拥挤的缓存方法、***及url转发服务器 - Google Patents

解决网络拥挤的缓存方法、***及url转发服务器 Download PDF

Info

Publication number
CN104506637A
CN104506637A CN201410838045.6A CN201410838045A CN104506637A CN 104506637 A CN104506637 A CN 104506637A CN 201410838045 A CN201410838045 A CN 201410838045A CN 104506637 A CN104506637 A CN 104506637A
Authority
CN
China
Prior art keywords
description list
content
url
content temperature
caching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410838045.6A
Other languages
English (en)
Other versions
CN104506637B (zh
Inventor
王一蓉
黄韬
邓伟
邹颖
于波涛
蒋鸿城
王红凯
谢人超
刘江
周隽夫
魏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd
State Grid Corp of China SGCC
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd
State Grid Corp of China SGCC
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd, State Grid Corp of China SGCC, Beijing Guodiantong Network Technology Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd
Priority to CN201410838045.6A priority Critical patent/CN104506637B/zh
Publication of CN104506637A publication Critical patent/CN104506637A/zh
Application granted granted Critical
Publication of CN104506637B publication Critical patent/CN104506637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/78Architectures of resource allocation
    • H04L47/783Distributed allocation of resources, e.g. bandwidth brokers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种解决网络拥挤的缓存方法、***及URL转发服务器,URL转发服务器接收到用户主机发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据高热度内容信息,选择高热度内容进行缓存代理。

Description

解决网络拥挤的缓存方法、***及URL转发服务器
技术领域
本发明涉及数据缓存技术领域,更具体的说,涉及一种解决网络拥挤的缓存方法、***及URL转发服务器。
背景技术
随着互联网技术与应用的飞速发展,以及互联网用户的快速增长,宽带化、个性化以及内容海量化已成为互联网发展的主旋律。与此同时,随着存储技术的变革与发展,存储容量也在不断提升,因此,大规模部署缓存节点以消除网络中的内容冗余变得可行和有效。通过部署缓存节点可有效节省骨干网带宽并减轻网络中瓶颈链路的压力,从而提高用户体验。
目前,常用的缓存方法为:内容分发网络(Content Delivery Network,CDN)和缓存代理技术。CDN是一种新型网络内容服务体系,通过在现有的互联网中增加一层新的网络架构,然后将网站的内容发布到最接近用户的CDN缓存节点,使用户就近取得所需的内容,从而解决网络拥挤的状态,提高用户访问网站的响应速度。由于CDN只缓存与CDN厂商签约的CP(Content Provide,内容提供商)内容,即购买了CDN服务的客户,对于非签约CP的内容不做缓存,因此,在网络自治域内会引起出口网关瓶颈链路拥堵,在骨干网中会因为内容冗余浪费大量的带宽。同时,由于CDN不在园区级别部署CDN缓存节点,因此,无法解决园区网络出口瓶颈的问题。
缓存代理技术是将多个用户主机与一个缓存代理服务器连接,所有用户主机的所有请求均先经过缓存代理服务器,当缓存代理服务器中没有缓存与请求对应的内容时,缓存代理服务器再将请求通过出口网关转发至源站查找。由于缓存代理服务器可以缓存所有的内容,并不受签约CP的影响,并且,缓存代理服务器一般都部署在园区网络出口处,因此,缓存代理技术可以解决CDN的不足。但是,由于缓存代理服务器缓存的内容比较杂且没有针对性,因此使得对用户主机请求内容的命中率较低,缓存代理效率不高。
综上可以看出,如何提供一种解决网络拥挤的缓存方法及***以提高对用户主机请求内容的命中率和缓存代理效率是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明提供一种解决网络拥挤的缓存方法、***及URL转发服务器,以实现将内容从签约CP、非签约CP、高热度和低热度两个维度进行区分,提高用户主机请求内容的命中率和缓存代理效率。
一种解决网络拥挤的缓存方法,包括:
接收用户主机发送的请求数据包;
解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
利用哈希函数计算所述URL的哈希值;
从预存储的签约内容描述表中查找是否记录有所述哈希值;
若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值;
若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
优选的,还包括:
判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
优选的,还包括:
接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
优选的,还包括:
接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
优选的,还包括:
接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
将所述当前内容热度描述表更换为所述最新内容热度描述表。
一种解决网络拥挤的缓存***,包括:
第一接收单元,用于接收用户主机发送的请求数据包;
解析单元,用于解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
计算单元,用于利用哈希函数计算所述URL的哈希值;
第一查找单元,用于从预存储的签约内容描述表中查找是否记录有所述哈希值;
第一转发单元,用于若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
第二查找单元,用于若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值;
第二转发单元,用于若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
第三转发单元,用于若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
优选的,还包括:
判断单元,用于判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
第一更换单元,用于若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
更新请求单元,用于若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
优选的,还包括:
第二接收单元,用于接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
添加单元,用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
优选的,还包括:
第三接收单元,用于接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
删除单元,用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
优选的,还包括:
第四接收单元,用于接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
发送单元,用于将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
第五接收单元,用于接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
第二更换单元,用于将所述当前内容热度描述表更换为所述最新内容热度描述表。
一种URL转发服务器,所述URL转发服务器包括上述所述的缓存***。
从上述的技术方案可以看出,本发明提供了一种解决网络拥挤的缓存方法、***及URL转发服务器,URL转发服务器接收到用户主机发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,提高了用户主机请求内容的命中率和缓存代理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种流量缓存的***图;
图2为本发明实施例公开的一种解决网络拥挤的缓存方法流程图;
图3为本发明实施例公开的一种解决网络拥挤的缓存***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种解决网络拥挤的缓存方法、***及URL转发服务器,以实现将内容从签约CP、非签约CP、高热度和低热度两个维度进行区分,提高用户主机请求内容的命中率和缓存代理效率。
参见图1,本发明实施例公开的一种流量缓存的***图,包括:位于网络自治域内的用户主机01、汇聚交换机02、URL(Uniform Resoure Locator,统一资源***)转发服务器03、缓存设备04和出口网关05,以及位于网络自治域外的内容热度服务器06;
其中:
网络自治域内部分:
用户主机01经由汇聚交换机02连接到URL转发服务器03,URL转发服务器03与出口网关05相连;
缓存设备04分别与URL转发服务器03和出口网关05相连。
缓存设备04由CDN(Content Delivery Network,内容分发网络)缓存节点和缓存代理服务器共同组成,两个部件可融合部署在同一硬件服务器上,当网络自治域内的用户主机01较多时也可以分开部署。
网络自治域外部分:
考虑到内容热度服务器06需要综合分析大量数据得到内容热度信息,单一网络自治域内的用户主机01数据量不足以提供给内容热度服务器06充分的数据源,所以将内容热度服务器06部署在网络自治域外,以分析多个网络自治域内的用户主机01内容请求数据,并与多个URL转发服务器03进行数据交换,指导多个网络自治域内进行缓存代理。内容热度服务器06通过互联网经过每个网络自治域内的出口网关05与URL转发服务器03进行交互。
针对图1公开的流量缓存的***图,参见图2,本发明实施例公开了一种解决网络拥挤的缓存方法流程图,包括步骤:
步骤S11、接收用户主机01发送的请求数据包;
步骤S12、解析所述请求数据包,得到所述请求数据包中包含的URL;
需要说明的是,互联网上每个文件都有一个与该文件对应的唯一的URL。
步骤S13、利用哈希函数计算所述URL的哈希值;
其中,哈希值的定义为:哈希算法将任意长度的二进制值映射为固定长度的较小二进制值,该较小二进制值即为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式,也就是说,每个URL都有唯一的哈希值。
步骤S14、从预存储的签约内容描述表中查找是否记录有所述哈希值,如果是,则执行步骤S15,否则,执行步骤S16;
签约内容描述表中记录有与签约CP的内容对应的哈希值以及与非签约CP的内容对应的哈希值。
步骤S15、将所述请求数据包转发至CDN缓存节点;
步骤S16、从预存储的当前内容热度描述表中查找是否记录有所述哈希值,如果是,则执行步骤S17,否则,执行步骤S18;
当前内容热度描述表中记录有当前的高热度内容,也就是说,通过当前内容热度描述表可以获知哪些URL对应的内容为高热度内容。其中,当前内容热度描述表同时还记录有各URL对应的热度权重值,通过更换热度权重值实现对当前内容热度描述表的更新。
步骤S17、将所述请求数据包转发至缓存代理服务器;
步骤S18、将所述请求数据包转发至出口网关05。
需要说明的是,当缓存代理服务器内缓存有请求数据包中包含的内容时,缓存代理服务器将相对应的内容发送给对应的用户主机01;若没有缓存请求数据包中包含的内容时,缓存代理服务器将请求数据包通过出口网关05转发至源站查找。
综上可以看出,本发明提供的解决网络拥挤的缓存方法,URL转发服务器03接收到用户主机01发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,提高了用户主机01请求内容的命中率和缓存代理效率。
其中,为保证URL转发服务器03中存储的当前内容热度描述表为最新的内容热度描述表,URL转发服务器03和内容热度服务器06间需不断的进行数据交互。
URL转发服务器03在与内容热度服务器06建立连接时,URL转发服务器03向内容热度服务器06发出握手消息,在接收到接收内容热度服务器06反馈的相同的握手消息后,与内容热度服务器06建立连接。
内容热度服务器06通过不断的向URL转发服务器03发送心跳消息来维持与URL转发服务器03的连接关系。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目来实现对URL转发服务器03内的内容热度描述表的更新,具体如下:
为进一步优化图2公开的实施例,在图2所示实施例的基础上,还可以包括步骤:
判断在预设时间段内是否接收到内容热度分析服务器06发送的携带有最新内容热度描述表的第一报文,如果是,则将当前内容热度描述表更换为最新内容热度描述表,否则,向内容热度分析服务器06发送更新请求,以使内容热度分析服务器06发送所述第一报文。
其中,预设时间段依据实际需要而定。
需要说明的是,本实施例中,URL转发服务器03接收内容热度分析服务器06发送的第一报文完成对当前内容热度描述表更新的过程,或是主动向内容热度分析服务器06请求第一报文,以完成对当前内容热度描述表更新的过程,可以在图2公开的实施例中的任何步骤前或是步骤后执行。其中,若是在步骤S16之前完成对当前内容热度描述表的更新,则步骤S16中所用的当前内容热度描述表为更新后的最新内容热度描述表。
为进一步优化上述实施例,在图2所示实施例的基础上,还可以包括步骤:
接收内容热度分析服务器06发送的携带有待添加若干条URL条目的第二报文;
将所述待添加若干条URL条目添加到当前内容热度描述表中。
为进一步优化上述实施例,在图2所示实施例的基础上,还可以包括步骤:
接收内容热度分析服务器06发送的携带有待删除若干条URL条目的第三报文;
从当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目的三种更新过程不可同时存在,也就是说,内容热度服务器06每次只能采取一种更新方式完成对URL转发服务器内当前内容热度描述表的更新。
其中,内容热度服务器06还可以根据URL转发服务器03内当前内容热度描述表的时间戳确定当前内容热度描述表是否更新。
因此,为进一步优化图2公开的实施例,还可以包括步骤:
接收内容热度分析服务器06发送的携带有获取时间戳指令的第四报文;
将当前内容热度描述表的时间戳发送给内容热度分析服务器06;
接收内容热度分析服务器06发送的最新内容热度描述表;
其中,所述最新内容热度描述表由内容热度分析服务器06通过所述时间戳判断出所述当前内容热度描述表过期后发送。
将所述当前内容热度描述表更换为所述最新内容热度描述表。
需要说明的是,本实施例中,URL转发服务器03接收内容热度分析服务器06发送的第四报文完成对当前内容热度描述表更新的过程,可以在图2公开的实施例中的任何步骤前或是步骤后执行。其中,若是在步骤S16之前完成对当前内容热度描述表的更新,则步骤S16中所用的当前内容热度描述表为更新后的最新内容热度描述表。
其中,当URL转发服务器03接收到的报文中不包含上述涉及到的内容时,当URL转发服务器03不对接收到的报文做任何处理。
综上可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,而且,URL转发服务器03还可以通过和内容热度分析服务器06进行信息交互,实时对当前内容热度描述表进行更新,从而进一步提高了用户主机01请求内容的命中率和缓存代理效率。
与上述方法实施例相对应,本发明还提供了一种解决网络拥挤的缓存***。
参见图3,本发明实施例公开的一种解决网络拥挤的缓存***的结构示意图,包括:
第一接收单元21,用于接收用户主机发送的请求数据包;
解析单元22,用于解析所述请求数据包,得到所述请求数据包中包含的URL;
计算单元23,用于利用哈希函数计算所述URL的哈希值;
需要说明的是,互联网上每个文件都有一个与该文件对应的唯一的URL。
第一查找单元24,用于从预存储的签约内容描述表中查找是否记录有所述哈希值,如果是,则执行第一转发单元25,否则,执行第二查找单26元;
第一转发单元25,用于若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
第二查找单元26,用于若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值,如果是,则执行第二转发单元27,否则,执行第三转发单元28;
当前内容热度描述表中记录有当前的高热度内容,也就是说,通过当前内容热度描述表可以获知哪些URL对应的内容为高热度内容。其中,当前内容热度描述表同时还记录有各URL对应的热度权重值,通过更换热度权重值实现对当前内容热度描述表的更新。
第二转发单元27,用于若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
第三转发单元28,用于若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
需要说明的是,当缓存代理服务器内缓存有请求数据包中包含的内容时,缓存代理服务器将相对应的内容发送给对应的用户主机01;若没有缓存请求数据包中包含的内容时,缓存代理服务器将请求数据包通过出口网关05转发至源站查找。
综上可以看出,本发明提供的解决网络拥挤的缓存***,URL转发服务器03接收到用户主机01发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,提高了用户主机01请求内容的命中率和缓存代理效率。
其中,为保证URL转发服务器03中存储的当前内容热度描述表为最新的内容热度描述表,URL转发服务器03和内容热度服务器06间需不断的进行数据交互。
URL转发服务器03在与内容热度服务器06建立连接时,URL转发服务器03向内容热度服务器06发出握手消息,在接收到接收内容热度服务器06反馈的相同的握手消息后,与内容热度服务器06建立连接。
内容热度服务器06通过不断的向URL转发服务器03发送心跳消息来维持与URL转发服务器03的连接关系。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目来实现对URL转发服务器03内的内容热度描述表的更新,具体如下:
为进一步优化图3公开的实施例,在图3所示实施例的基础上,还可以包括:
判断单元,用于判断在预设时间段内是否接收到内容热度分析服务器06发送的携带有最新内容热度描述表的第一报文,如果是,则执行第一更换单元,否则,执行更新请求单元;
其中,预设时间段依据实际需要而定。
第一更换单元,用于若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
更新请求单元,用于若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
需要说明的是,本实施例中,URL转发服务器03接收内容热度分析服务器06发送的第一报文完成对当前内容热度描述表更新的过程,或是主动向内容热度分析服务器06请求第一报文,以完成对当前内容热度描述表更新的过程,可以在图3公开的实施例中的任何单元执行前或是执行后执行。其中,若是在执行第二查找单元26之前完成对当前内容热度描述表的更新,则第二查找单元26中所用的当前内容热度描述表为更新后的最新内容热度描述表。
为进一步优化图3公开的实施例,在图3所示实施例的基础上,还可以包括:
第二接收单元,用于接收内容热度分析服务器06发送的携带有待添加若干条URL条目的第二报文;
添加单元,用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
为进一步优化图3公开的实施例,在图3所示实施例的基础上,还可以包括:
第三接收单元,用于接收内容热度分析服务器06发送的携带有待删除若干条URL条目的第三报文;
删除单元,用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目的三种更新过程不可同时存在,也就是说,内容热度服务器06每次只能采取一种更新方式完成对URL转发服务器内当前内容热度描述表的更新。
其中,内容热度服务器06还可以根据URL转发服务器03内当前内容热度描述表的时间戳确定当前内容热度描述表是否更新。
因此,为进一步优化图3公开的实施例,还可以包括:
第四接收单元,用于接收内容热度分析服务器06发送的携带有获取时间戳指令的第四报文;
发送单元,用于将所述当前内容热度描述表的时间戳发送给内容热度分析服务器06;
第五接收单元,用于接收内容热度分析服务器06发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
第二更换单元,用于将所述当前内容热度描述表更换为所述最新内容热度描述表。
需要说明的是,将本实施例中的各执行单元看成是一个单元组,该单元组可以在图3公开的实施例中的任何单元执行前或是执行后执行。其中,若是在执行第二查找单元26之前完成对当前内容热度描述表的更新,则第二查找单元26中所用的当前内容热度描述表为更新后的最新内容热度描述表。
综上可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,而且,URL转发服务器03还可以通过和内容热度分析服务器06进行信息交互,实时对当前内容热度描述表进行更新,从而进一步提高了用户主机01请求内容的命中率和缓存代理效率。
需要说明的是,***实施例中各组成部分的工作原理具体参见相对应的方法实施例,此处不再赘述。
其中,本发明还提供了一种URL转发服务器,该URL转发服务器包括上述的缓存***。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种解决网络拥挤的缓存方法,其特征在于,包括:
接收用户主机发送的请求数据包;
解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
利用哈希函数计算所述URL的哈希值;
从预存储的签约内容描述表中查找是否记录有所述哈希值;
若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值;
若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
2.根据权利要求1所述的缓存方法,其特征在于,还包括:
判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
3.根据权利要求1所述的缓存方法,其特征在于,还包括:
接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
4.根据权利要求1所述的缓存方法,其特征在于,还包括:
接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
5.根据权利要求1所述的缓存方法,其特征在于,还包括:
接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
将所述当前内容热度描述表更换为所述最新内容热度描述表。
6.一种解决网络拥挤的缓存***,其特征在于,包括:
第一接收单元,用于接收用户主机发送的请求数据包;
解析单元,用于解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
计算单元,用于利用哈希函数计算所述URL的哈希值;
第一查找单元,用于从预存储的签约内容描述表中查找是否记录有所述哈希值;
第一转发单元,用于若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
第二查找单元,用于若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值;
第二转发单元,用于若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
第三转发单元,用于若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
7.根据权利要求6所述的缓存***,其特征在于,还包括:
判断单元,用于判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
第一更换单元,用于若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
更新请求单元,用于若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
8.根据权利要求6所述的缓存***,其特征在于,还包括:
第二接收单元,用于接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
添加单元,用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
9.根据权利要求6所述的缓存***,其特征在于,还包括:
第三接收单元,用于接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
删除单元,用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
10.根据权利要求6所述的缓存***,其特征在于,还包括:
第四接收单元,用于接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
发送单元,用于将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
第五接收单元,用于接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
第二更换单元,用于将所述当前内容热度描述表更换为所述最新内容热度描述表。
11.一种URL转发服务器,其特征在于,所述URL转发服务器包括权利要求6至10任意一项所述的缓存***。
CN201410838045.6A 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、***及url转发服务器 Active CN104506637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410838045.6A CN104506637B (zh) 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、***及url转发服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410838045.6A CN104506637B (zh) 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、***及url转发服务器

Publications (2)

Publication Number Publication Date
CN104506637A true CN104506637A (zh) 2015-04-08
CN104506637B CN104506637B (zh) 2018-03-23

Family

ID=52948352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410838045.6A Active CN104506637B (zh) 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、***及url转发服务器

Country Status (1)

Country Link
CN (1) CN104506637B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512280A (zh) * 2015-12-07 2016-04-20 福建天晴数码有限公司 缓存站点文件的方法及其***
WO2017084393A1 (zh) * 2015-11-20 2017-05-26 华为技术有限公司 内容分发方法、虚拟服务器管理方法、云平台和***
CN107426302A (zh) * 2017-06-26 2017-12-01 腾讯科技(深圳)有限公司 访问调度方法、装置、***、终端、服务器及存储介质
CN107925677A (zh) * 2015-09-26 2018-04-17 英特尔公司 用于卸载数据对象复制以及服务功能链管理的技术
CN107925611A (zh) * 2015-08-05 2018-04-17 高通股份有限公司 用于移动cdn的深度分组检视指示
CN108769166A (zh) * 2018-05-17 2018-11-06 北京云端智度科技有限公司 一种基于元数据的cdn缓存内容管理装置
CN110493330A (zh) * 2019-08-13 2019-11-22 浙江省方大标准信息有限公司 一种数据交换***及其方法
CN110535981A (zh) * 2019-09-04 2019-12-03 达疆网络科技(上海)有限公司 一种url转发***
US10621059B2 (en) 2017-12-19 2020-04-14 International Business Machines Corporation Site recovery solution in a multi-tier storage environment
CN111464649A (zh) * 2017-04-19 2020-07-28 贵州白山云科技股份有限公司 一种访问请求回源方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222424A (zh) * 2007-12-24 2008-07-16 中国电信股份有限公司 内容分发网络和该网络中基于内容的调度方法
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理***
CN102282825A (zh) * 2010-12-14 2011-12-14 华为技术有限公司 内容传送网络中流媒体请求地址映射的方法及装置、缓存节点
CN102638483A (zh) * 2011-02-15 2012-08-15 ***通信集团公司 一种内容分发节点的确定方法、设备及***
US20130254260A1 (en) * 2012-03-22 2013-09-26 Akamai Technologies Inc. Network threat assessment system with servers performing message exchange accounting
CN103347103A (zh) * 2013-07-23 2013-10-09 网宿科技股份有限公司 实现IPv4和IPv6双网内容分发的***和方法
CN103347068A (zh) * 2013-06-26 2013-10-09 中国(南京)未来网络产业创新中心 一种基于代理集群网络缓存加速方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222424A (zh) * 2007-12-24 2008-07-16 中国电信股份有限公司 内容分发网络和该网络中基于内容的调度方法
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理***
CN102282825A (zh) * 2010-12-14 2011-12-14 华为技术有限公司 内容传送网络中流媒体请求地址映射的方法及装置、缓存节点
CN102638483A (zh) * 2011-02-15 2012-08-15 ***通信集团公司 一种内容分发节点的确定方法、设备及***
US20130254260A1 (en) * 2012-03-22 2013-09-26 Akamai Technologies Inc. Network threat assessment system with servers performing message exchange accounting
CN103347068A (zh) * 2013-06-26 2013-10-09 中国(南京)未来网络产业创新中心 一种基于代理集群网络缓存加速方法
CN103347103A (zh) * 2013-07-23 2013-10-09 网宿科技股份有限公司 实现IPv4和IPv6双网内容分发的***和方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11444879B2 (en) 2015-08-05 2022-09-13 Qualcomm Incorporated Deep packet inspection indication for a mobile CDN
CN107925611B (zh) * 2015-08-05 2021-09-17 高通股份有限公司 用于移动cdn的深度分组检视指示
CN107925611A (zh) * 2015-08-05 2018-04-17 高通股份有限公司 用于移动cdn的深度分组检视指示
US11082515B2 (en) 2015-09-26 2021-08-03 Intel Corporation Technologies for offloading data object replication and service function chain management
CN107925677A (zh) * 2015-09-26 2018-04-17 英特尔公司 用于卸载数据对象复制以及服务功能链管理的技术
US10911530B2 (en) 2015-11-20 2021-02-02 Huawei Technologies Co., Ltd. Content delivery method, virtual server management method, cloud platform, and system
US11431791B2 (en) 2015-11-20 2022-08-30 Huawei Technologies Co., Ltd. Content delivery method, virtual server management method, cloud platform, and system
WO2017084393A1 (zh) * 2015-11-20 2017-05-26 华为技术有限公司 内容分发方法、虚拟服务器管理方法、云平台和***
CN105512280B (zh) * 2015-12-07 2019-05-21 福建天晴数码有限公司 缓存站点文件的方法及其***
CN105512280A (zh) * 2015-12-07 2016-04-20 福建天晴数码有限公司 缓存站点文件的方法及其***
CN111464649A (zh) * 2017-04-19 2020-07-28 贵州白山云科技股份有限公司 一种访问请求回源方法和装置
CN111464649B (zh) * 2017-04-19 2022-10-21 贵州白山云科技股份有限公司 一种访问请求回源方法和装置
CN107426302B (zh) * 2017-06-26 2020-06-05 腾讯科技(深圳)有限公司 访问调度方法、装置、***、终端、服务器及存储介质
CN107426302A (zh) * 2017-06-26 2017-12-01 腾讯科技(深圳)有限公司 访问调度方法、装置、***、终端、服务器及存储介质
US10621059B2 (en) 2017-12-19 2020-04-14 International Business Machines Corporation Site recovery solution in a multi-tier storage environment
CN108769166A (zh) * 2018-05-17 2018-11-06 北京云端智度科技有限公司 一种基于元数据的cdn缓存内容管理装置
CN110493330A (zh) * 2019-08-13 2019-11-22 浙江省方大标准信息有限公司 一种数据交换***及其方法
CN110535981A (zh) * 2019-09-04 2019-12-03 达疆网络科技(上海)有限公司 一种url转发***

Also Published As

Publication number Publication date
CN104506637B (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN104506637A (zh) 解决网络拥挤的缓存方法、***及url转发服务器
CN103457993B (zh) 本地缓存装置和提供内容缓存服务的方法
JP5855817B2 (ja) ネットワークにおける階層構造可変長識別子を備えたパケットを転送するためのコンピュータ実施方法
CN103731451B (zh) 一种文件上传的方法及***
CN103581019B (zh) 一种基于内容流行度的信息中心网络移动性管理方法
JP5894155B2 (ja) 無線通信システム内の分散ストレージに基づくファイル送信の方法
JP6244461B2 (ja) 情報指向ネットワークのための動的なinterest転送のメカニズム
Han et al. Publisher mobility support in content centric networks
CN102647357B (zh) 一种处理内容路由方法及装置
EP3021537B1 (en) Method, device and system for determining content acquisition path and processing request
CN104283723B (zh) 网络访问日志处理方法及装置
WO2011150830A1 (zh) 获取内容的方法、节点及内容网络
KR20130088774A (ko) 분할 콘텐트 전달 시스템 및 방법
CN104247371A (zh) 以信息为中心的网络中的基于名称的邻居发现和多跳服务发现
CN107181804B (zh) 资源的下载方法和装置
WO2014000558A1 (zh) 一种cdn路由实现方法和***
Jiang et al. What benefits does NDN have in supporting mobility
CN102438020A (zh) 内容分发网络中内容分发的方法、设备和网络***
Trossen et al. Towards an information centric network architecture for universal internet access
Cha et al. A mobility link service for ndn consumer mobility
CN108965479B (zh) 一种基于内容中心网络的域协同缓存方法及装置
US10536368B2 (en) Network-aware routing in information centric networking
CN105493462B (zh) 一种内容分发方法、装置和***
KR20140125224A (ko) 정보 중심 네트워킹 기반의 콘텐츠 네트워크에서의 정보 수집 방법 및 노드 장치
Schien et al. Impact of location on the energy footprint of digital media

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant