CN104022911A - 一种融合型内容分发网络的内容路由管理方法 - Google Patents

一种融合型内容分发网络的内容路由管理方法 Download PDF

Info

Publication number
CN104022911A
CN104022911A CN201410299708.1A CN201410299708A CN104022911A CN 104022911 A CN104022911 A CN 104022911A CN 201410299708 A CN201410299708 A CN 201410299708A CN 104022911 A CN104022911 A CN 104022911A
Authority
CN
China
Prior art keywords
node
cost
flow
content
routing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410299708.1A
Other languages
English (en)
Other versions
CN104022911B (zh
Inventor
何慧
张宏莉
张伟哲
李乔
秦泓洋
范国涛
王雅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201410299708.1A priority Critical patent/CN104022911B/zh
Publication of CN104022911A publication Critical patent/CN104022911A/zh
Application granted granted Critical
Publication of CN104022911B publication Critical patent/CN104022911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种融合型内容分发网络的内容路由管理方法,属于互联网技术领域。本发明的目的是给出针对ISP-CDN的两层内容节点部署机制,设计索引与同步机制以改进CDN环境下的内容路由策略,并兼顾流量结算成本、数据传输质量。对于网络数据大小进行单一处理,即一次传输所消耗的流量代价只与经过的路径跳数有关,而不考虑数据大小本身,从核心路由节点集合F中选择的节点数目与重复流量为反比关系,而同步代价则与节点数目成正比;同步的初始源为域间路由器节点,对于域间路由节点t,通过先广搜索算法生成以t为根的最小生成树TR覆盖k个内容节点,找到k个节点,采用基于贪心策略的算法实现RC+SC最小。

Description

一种融合型内容分发网络的内容路由管理方法
技术领域
本发明涉及一种内容路由管理方法,属于互联网技术领域。
背景技术
随着Internet技术的不断升级,服务端—网络转发设备—终端机器的性能都大幅度提升,如带宽、转发速率、处理能力等,高清视频传输等在线实时应用已经普及,促使Internet流量成倍增长。日益增长的流量与复杂多变的结构以及服务器与客户端能力与资源的不对称性促使内容分发技术的产生,从而保证网络边缘用户能够获得良好的访问体验。早期的CDN中,通过在网络边缘架设内容相同的服务器,利用DNS的动态解析分散对网络的访问流量,从而降低用户的访问延迟。内容分发网络中的路由机制主要涵盖两个方面:(1)部署方式,即将内容代理服务器部署在网络中的哪些位置,以期满足边缘用户对服务请求的服务速率;(2)内容路由策略,即采用哪种内容路由算法以降低网络负载与访问延迟。
1)部署机制
内容分发网络的部署策略主要分为两类:边缘化部署与核心域部署。边缘化部署的思想是将内容代理服务器部署于多个ISP内,从而降低跨域网络传输的时延,这种部署策略的代表是Akamai,其在全球范围内78个国家的1,000个网络中部署超过105,00台服务器。核心交换区域部署的思想是将大规模数据中心部署于高速光纤骨干网络,通过高带宽,高处理能力降低用户访问时延,这种部署策略的代表是Limelight,其在全球范围72个光纤交换区域部署数据中心,与超过578个ISP进行光纤直连。
边缘化部署机制是内容分发网络的主流部署方式,主要是考虑到全球性网络传输距离过长,而且以往的cache机制并不能很好的解决核心网络拥塞现象,为了减少数据在网络内的“最后一里”(last mile)传输时延,将资源前置于离用户更近的区域以期有效改善访问体验。通常而言,这种部署方法都是在大量的网络接入点中放置服务器。为保证内容分发的服务质量,内容分发网络管理者需要维护大量分布式服务器数据的同步和更新。总体而言,该问题等价于在N个不同的位置部署M个服务器(N>M)以达到最小代价消耗,即K-median问题,而最小化K-center问题已被证明是NP完全的。
内容代理服务器的位置部署策略是内容分发网络中的一项关键技术,其直接影响分发服务质量、网络流量负载以及成本代价。尤其对于ISP而言,合适的部署机制能够降低其域间流量结算成本和域内重复流量,节约带宽消耗。Vakali等人指出内容分发网络管理者通常依据用户所在的网络类型选择部署策略,主要分为Single-ISP与Multi-ISP两类。针对Single-ISP而言,在单个ISP域内至少部署40个内容代理服务器以保证在地理位置上覆盖整个ISP边缘网络。Multi-ISP的部署策略则是尽可能在所有ISP的接入点假设内容代理服务器,提升内容分发的速率与可靠性,该策略的最大优势在于能够将请求访问流量控制在本域内,从而降低了ISP的域间流量。
2)路由策略
内容分发网络作为内容网络的一种,内容路由策略的优劣直接影响整个内容分发网络的性能。内容路由主要负责将用户请求通过一定的路由算法重定向至最靠近用户的内容代理服务器上,并通过给定的资源选择策略从而达到内容的快速分发。内容路由主要分为两个部分:(1)资源路由算法,即通过监测当前网络各项性能指标与服务负载压力,选择最佳的内容代理服务器进行响应;(2)请求转发机制,即依据哪种策略对服务请求进行转发。典型的内容分发网络资源路由流程为(如图1所示):
(1)用户向请求解析服务器进行资源请求;
(2)全局性能监测服务机群收集分析分布于互联网中的内容代理服务机群的服务质量以及网络链路各项性能参数;
(3)节点选择服务器根据实时性能监视服务的反馈信息,动态调整选择算法与资源定位策略;
(4)解析服务器通过资源定位结果,将用户请求转发至最佳的内容代理服务器;
(5)内容代理服务器将数据发送至用户。
请求路由属于应用层路由策略,其主要思想是根据应用层服务需求,对资源请求进行相应的转发。与IP层路由的显著不同在于资源可能存在于多个位置,因此对于同一资源的请求可能到达不同位置,而IP层路由则是确定的。请求路由算法分为静态与动态两类:静态路由是指当内容分发网络部署后,对于用户的请求都根据给定的路由转发策略重定向至内容代理服务器,该算法不随网络状态与服务负载发生变化;动态路由是指实时监视网络参数与服务端负载,动态修改转发策略,尽可能保证当前服务维持在最佳状态。
由于内容分发网络的商业化,工业界对资源路由算法也较为重视。思科公司的分布式重定向器(Distributed Director)把AS(Autonomous System)域内距离,AS域间距离与端到端延迟作为动态转发算法的计算权值。Akamai公司在多个层面对转发算法进行优化,包括内容代理服务器负载、传输路径上的带宽占用率、当前服务质量(可靠性,延迟等)。
处于不同网络位置上的CDN***有着不同的价值,如在终端附近部署CDN是为了降低服务器压力,提升用户的访问速率,如akamai;在网络中间位置部署CDN可以减少网内重复流量,降低带宽消耗;在ISP跨域位置部署CDN可以降低域间结算费用,如iCODE;在终端构造P2P混合CDN可以减少骨干网络流量,改善用户体验,如pplive。由于存储费用远远低于流量费用的现实以及为了降低长距离,跨域的访问延迟促使了CDN技术的产生。许多商业CDN公司通过与ISP合作获取网络拓扑信息与流量数据以达到制定合适高效分发策略目的。同时ISP为了降低支付跨域流量的流入所产生的费用,不断提高在域内的服务质量与数据源,也倾向于与CDN的合作。随着Internet流量指数性增长以及用户对网络速度的需求已经促使网络资源分发的准确性、可用性、可靠性等成为互联网技术的关键问题。内容分发网络作为运行于整个互联网上的覆盖网,主要致力于解决互联网中的服务质量优化。现有技术中没有提出针对ISP-CDN的两层内容节点部署机制。
发明内容
本发明的目的是提供一种融合型内容分发网络的路由管理方法,给出针对ISP-CDN的两层内容节点部署机制,设计索引与同步机制以改进CDN环境下的内容路由策略,并兼顾流量结算成本、数据传输质量。
本发明为解决上述技术问题采取的技术方案是:
一种融合型内容分发网络的内容路由管理方法,将ISP域内路由节点分三类:与主机直接相连的路由节点定义为边缘路由节点、ISP域内除边缘路由节点与域间路由节点以外的所有路由节点定义为核心路由节点、与其他ISP域内路由节点相连的路由节点定义为域间路由节点,通过对节点分类,并采用流量代价作为贪心策略的基准进行部署;所述方法的实现过程为:
步骤一、节点部署:
对于网络数据大小进行单一处理,即1次传输所消耗的流量代价只与经过的路径跳数有关,而不考虑数据大小本身,并进行如下定义:
流量代价Cij(Pij):从节点i到节点j的传输数据u所产生的流量代价为从i到j最短路径长度与数据大小的乘积pij|·sizeu
节点i的权重wi:节点i所管辖的用户到节点i的路径之和,即表示节点i下辖的r个用户到节点i的最短路径之和;
重复流量代价RC:当网络数据Size从节点i经过最短路径Pij到达节点j,若其他用户的访问路径与其重合,则该数据Size在路径P上产生的流量即为重复流量,即RCij=size·|Pij|;
同步流量代价SC:节点i到节点j的同步代价为网络数据Size在Pij上产生的流量,即SCij=size·|Pij|;
从核心路由节点集合F中选择的节点数目与重复流量为反比关系,同步代价则与节点数目成正比;假定可部署的内容节点个数为k,则此时域内重复流量代价与部署节点的关系用公式2-1表示:
RC = Σ i = 1 k Σ j = 1 m ′ C ij ( P ij )   公式(2-1)
同步的初始源为域间路由器节点,对于域间路由节点t,通过先广搜索算法(BFS)生成以t为根的最小生成树TR覆盖k个内容节点,则同步数据Size所需要的代价用公式2-2表示:
SC = Σ i = 1 k SC it   公式(2-2)
找到k个节点,满足RC+SC最小,实现流量代价最小:
采用基于贪心策略的算法实现流量代价最小,其过程为:
a.初始化阶段:计算每个以核心路由器为根节点的最小生成树,同时得到该最小生成树的重复流量代价;
b.计算重复流量代价:对于部署节点数大于1的情况,首先根据贪心策略选择重复流量代价最小那些生成树根节点,并通过每个其他核心路由器节点在每棵生成树中的层数决定其留在哪个树中,从而修正每棵树的重复流量代价;
c.计算同步代价:对于每个k,依次计算由域间路由器为根节点,k个核心路由节点组成的最小生成树所需要的同步代价;
步骤二、构建索引结构,采用dl-RCBF数据结构作为索引同步方式;
步骤三、设置同步机制,同步机制用于降低将索引信息进行广播导致的突发性的高负载与网络流量,还用于降低对于同一种资源的频繁访问。
在步骤二中,构建索引结构的过程为:
假设集合U={key0,key1,…,keyn},|U|=n,并将整个hash表分为d个子表;设单一的hash函数满足:hash(key)由两部分构成,即[B]d和remainder,前者将决定把remainder部分***d个子表中负载最低的那个表中的桶内,后者为remainder本身。
在remainder之后增加count和record;Count的作用是计数器,用于描述散列冲突次数;record用于描述该key所在的节点位置,则整个dl-RCBF空间为n+m(F+C+K),其中n为key的个数。
步骤三的实现过程为:
通过触发式同步方式在服务器之间共享资源索引,当同步触发器激活时,本地cache服务器将广播发送包括本地资源的索引信息的索引表,RCBF-SYNCHRO-RECV()的时间复杂度上界为O(dm2),其中m表示1个桶内cell个数,d表示划分的哈希子表个数;
在ISP域内部署动态cache机制,当cache服务器收到一个请求,且本地没有命中时,将首先查询dl-RCBF,以确定该信息是否在其他服务器上;当出现误报时,则将该请求转发到域外;
当本地未命中时,将查询dl-RCBF中的record位置,同时若某种资源的请求超过阈值,则将该资源复制到远程cache服务器。
本发明的有益效果是:
本发明方法从运营商角度出发,考虑流量结算成本、提升数据传输服务质量两个方面提出了融合型内容分发网络CDN(Content Delivery Networks,简称CDN)模型。单纯在域间位置部署内容缓存***并不足以有效提升用户的服务质量,由于选点问题已经被证明为NP问题,基于此,本发明提出融合型内容分发网络的路由管理方法采用贪心策略求出近似最优解来进行节点部署。本发明方法降低了流量结算成本、大大提升了数据传输服务质量。
附图说明
图1是典型的内容分发网络资源路由流程图;图2是域内路由示意图;图3为生成树裁剪过程图,其中:图3(a)为G图,图3(b)为图G的原始最小生成树,图3(c)为修正后的图G最小生成树;图4为dl-RCBF结构示意图;图5为核心路由器权重分布图,图中:横坐标表示路由节点序号,纵坐标表示节点度;图6为流量代价与时间消耗图,其中:图6(a)为流量代价与节点数的关系图,图中横坐标表示节点数,纵坐标表示流量代价,单位为MB,图6(b)为时间消耗与节点数的关系图,图中横坐标表示节点数,纵坐标表示时间消耗,单位为ms;
图7为命中率对比图(不同cache大小下的每种策略的命中率),图中:图7(a)、图7(b)、图7(c)分别为zipfα=0.8、zipfα=0.8、zipfα=1.2时的命中率对比图;图8为多种cache策略的流量对比图,图8(a)为各种策略与域间流量关系图,横坐表示策略类型,纵坐表示域间流量大小,其单位为GB;图8(b)为各种策略下与域内流量关系图,横坐表示策略类型,纵坐表示域间流量,其单位为GB。
上述附图中所有的英文含义在说明书均能找到对应的中文含义为本领域的公知常识。由于对本发明进行实验所使用的软件为英文界面,故截图中含有英文。
具体实施方式
如图2所示,本实施方式对本发明所述的一种融合型内容分发网络的路由管理方法进行详细描述:
将ISP域内路由节点通常可分为三类:边缘路由节点(记为集合E)、核心路由节点(记为集合F)与域间路由节点(记为集合T),如图2所示。本发明对边缘路由节点、核心路由节点与域间路由节点定义如下:
定义1边缘路由节点:与主机直接相连的路由节点称为边缘路由节点。
定义2域间路由节点:与其他ISP域内路由节点相连的路由节点称为域间路由节点。
定义3核心路由节点:ISP域内除边缘路由节点与域间路由节点以外的所有路由节点。
如果将内容服务器全部部署于边缘路由器层面,则可知内容离用户达到最近,但边缘路由器众多,维护成本极高,在实践层面不具备操作性,同时这种部署方式并不能满足到域间路由器路径和最短。因此本发明并不考虑将节点选择范围放置于边缘路由集合内,而是尽可能在核心路由器层面选点以满足需求,且核心路由器到用户的跳数通常小于5跳(不包括在NAT后的路径跳数)。表1是本发明方法用到的主要符号及含义,由于内容节点部署于路由器位置,因此为方便描述,本发明不加区别路由器与内容节点。假设集合E元素个数为n,集合F元素个数为m,其中和边缘路由器直连的个数为m′,集合T元素个数为q。
表1符号及含义
为了更清晰的描述流量代价问题,不考虑用户主机到边缘路由器的路径跳数,即边缘路由器即为网络拓扑的终端节点。并通过以下步骤对问题进行简化:
1.通过树形收缩算法将边缘路由节点收缩至核心路由节点,同时将核心路由节点的代价权值设定为其下辖的边缘路由节点个数,此时问题空间缩减为核心路由器的拓扑空间,而非整个ISP的拓扑空间。
2.将域间路由节点集合视为整体,即原先拓扑中核心路由节点与域间路由节点相连的路径均合并为1条,由于采用先广搜索算法计算边缘路由节点到域间路由节点的最短路径时,并不考虑全部的路由节点而是只要搜索到第1个域间路由节点,算法即可终止,因此这种简化并没有降低代价。
步骤一、节点部署策略
由于终端用户所请求的数据类型、大小、次数及协议类型无法进行预测,为了简化描述,本发明对于网络数据大小进行单一处理,即1次传输所消耗的流量代价只与经过的路径跳数有关,而不考虑数据大小本身,并进行如下相关定义。
定义2-4流量代价Cij(Pij):从节点i到节点j的传输数据u所产生的流量代价为从i到j最短路径长度与数据大小的乘积pij|·sizeu
定义2-5节点i的权重wi:节点i所管辖的用户到节点i的路径之和,即表示节点i下辖的r个用户到节点i的最短路径之和。
定义2-6重复流量代价RC:当网络数据Size从节点i经过最短路径Pij到达节点j,若其他用户的访问路径与其重合,则该数据Size在路径P上产生的流量即为重复流量,即RCij=size·|Pij|。
定义2-7同步流量代价SC:节点i到节点j的同步代价为网络数据Size在Pij上产生的流量,即SCij=size·|Pij|。
显然核心路由节点集合F,从F中选择的节点数目与重复流量为反比关系,而同步代价则与节点数目成正比。若假定可部署的内容节点个数为k,则此时域内重复流量代价与部署节点的关系可用公式2-1表示:
RC = Σ i = 1 k Σ j = 1 m ′ C ij ( P ij )   公式(2-1)
由于在域间路由器上部署的内容节点所缓存的数据是最新的,因此同步的初始源为域间路由器节点。对于域间路由节点t,通过先广搜索算法(BFS)生成以t为根的最小生成树TR覆盖k个内容节点,则同步数据Size所需要的代价可用公式2-2表示:
SC = Σ i = 1 k SC it   公式(2-2)
流量代价问题此时可表示为:找到k个节点,以满足RC+SC最小。虽然在形式化描述中RC与SC代价并不存在优先级,然而在实践中,ISP更倾向于RC的降低,以及同步的节点越少,所消耗的管理代价越小。采用基于贪心策略的算法,如表2所示。
表2域内内容节点部署算法
上述算法中主要步骤可归纳为:
1.初始化阶段:计算每个以核心路由器为根节点的最小生成树,同时得到该最小生成树的重复流量代价;
2.计算重复流量代价:对于部署节点数大于1的情况,首先根据贪心策略选择重复流量代价最小那些生成树根节点,并通过每个其他核心路由器节点在每棵生成树中的层数决定其留在哪个树中,从而修正每棵树的重复流量代价,以图3为例。初始的拓扑图如图3(a)所示,共计5个节点,k=2且节点0和节点2是备选的内容部署节点,图3(b)是以节点0、2为根节点并采用BFS算法所形成的最小生成树,而后通过表3中的(11-14)步对最小生成树进行修正,如图3(c)。
3.计算同步代价:对于每个k,依次计算由域间路由器为根节点,k个核心路由节点组成的最小生成树所需要的同步代价。
本发明方法按照上述的3个阶段对算法的时间复杂度进行分析,阶段1所消耗的时间代价为O((m+U|m|)·m),阶段2在最坏的情况下即需要遍历所有的核心路由节点,因此时间复杂度为O(m2),类似的阶段3的时间复杂度最坏为O(m+1+U|m+1|)。因此可知整个算法的时间复杂度为O((m+U|m|)·m)。
显然,由于每个边缘路由器所管辖的用户数较多,因此随着k的增加重复流量的代价下降的速度较快,而后速度变缓;相反的,同步代价的初始过程中所消耗的代价增长速度较慢,随着k的增加速度变快。贪心策略可以获得整个代价函数随k变化中的极值点,且k较小,虽然未必能够寻找到最小值,但较小的k在实践过程中可操作性更强。
步骤二、建立内容索引结构
由于每个ISP都拥有自身特殊的资源,因此在跨域路由器上所获取的资源一般不同。一般而言,ISPs均倾向于将流量控制在域内。通过共享cache索引,ISP可以减少域间流量。那么资源同步机制将成为影响ISP域内网络性能的关键。基于bloom过滤机制的索引策略是流量最少的同步方式。本发明提出一种dl-RCBF数据结构作为索引同步方式。
假设集合U={key0,key1,…,keyn},|U|=n,并将整个hash表分为d个子表。为了简化表述,假设单一的hash函数满足:因此hash(key)由2部分构成,前者将决定把remainder部分***d个子表中负载最低的那个表中的桶内,后者即为remainder本身。本发明将在remainder之后增加count和record。Count的作用与dl-cbf类似,而record则描述该key在哪些内容服务器上。如图4所示,则整个dl-RCBF空间为n+m(F+C+K),其中n为key的个数;
具体实现过程如表3所示:
表3
步骤三、同步机制
将索引信息进行广播会导致突发性的高负载与网络流量。为了降低这种不利因素,本发明将通过触发式同步方式在服务器之间共享资源索引。同时为了降低对于同一种资源的频繁访问。如表4所示,当同步触发器激活时,本地cache服务器将广播发送索引表,该表只包括本地资源的索引信息。在最坏的情况下,RCBF-SYNCHRO-RECV()的时间复杂度为O(dm2),其中m表示1个桶内cell个数,d表示划分的哈希子表个数。
表4dl-RCBF同步更新伪代码
域间链路流量是ISP成本的一个重要组成部分,在ISP域内部署协作式cache能够节省大量的域间流量成本。在cache服务器之间进行交互的方式有多种,如CRISP协议,但是共用同一个索引信息将可能导致单点故障,同时频繁的更新将带来大量的额外负载。本发明提出一种动态cache机制:当cache服务器收到一个请求,且本地没有命中时,将首先查询dl-RCBF,以确定该信息是否在其他服务器上。当出现误报时,则将该请求转发到域外。如表5所示,当本地未命中时,将查询dl-RCBF中的record位置,同时若某种资源的请求超过阈值,则将该资源复制到远程cache服务器。由于分布式***均存在一致性问题,而本发明的同步机制采用的乐观同步方式,当一致性问题发生时,接收节点将通知请求节点。
表5动态cache机制
本发明的实验效果:
为了详细评价本发明所提出的内容路由机制性能,本发明方法在以下2个方面进行实验分析:(1)dl-RCBF索引结构的命中率;(2)流量代价。在实验过程中,首先需要确定内容节点的部署个数以及位置,因此先进行部署算法的性能分析。
表6部署算法实验参数
实验拓扑数据来源于启明星辰2009年探测的北京网通部分拓扑,共计342个路由器,874条链路,251个边缘路由器。为了更加真实的对算法进行分析,对具体的实验参数进行了设定,如表6所示。其中每个边缘路由器下辖的主机数目按照20-50之间进行均匀随机指定,图5显示了通过将边缘路由器所下辖的主机进行树形收缩至核心路由器后,每个核心路由器的权重。
为了评价部署策略的优劣,本发明通过不同的同步代价观测算法所生成的k值与对应的总代价损耗。从图6(a)中可看出整体代价在前期下降速度很快,这是由于早期每部署1个内容节点所降低的流量代价较大,而随着节点逐渐增多,所带来的收益也逐渐变缓,而此时同步消耗的代价在上升,直到几乎所有节点都成为内容节点后,重复流量代价降低为0,而总代价消耗为全部的同步代价。
从图6(a)还可看出不同的同步代价条件下,贪心策略所得到的极值点也不相同,总体趋势表现为同步代价越小,所获得的k值越大,该现象表现出同步代价在总代价中所产生的影响越低,而同步代价较大时,曲线的极值点前移。图6(b)中可看出整个算法的运行时间随着节点数目的增加,所消耗的时间接近幂函数代价,早低于10个节点时,所消耗的时间代价变化很小,这是由于个数少时,每个子树生成与对比的时间也较少。总体而言贪心策略在节点部署选择机制中是较为有效的,且当核心路由器较多的情况下,可以只需要较少的时间就可找到较为合适的部署数目。
本发明方法在以下两个方面对提出的内容路由机制进行分析:
1.分析采用dl-RCBF后的存储命中率;
2.分析进行部署策略以及索引同步机制后域间流量的变化情况;
建立dl-RCBF索引结构目的在于降低同步代价的同时为了提高命中率。而域间流量的降低是建立ISP融合的CDN的宗旨。
索引结构实验
本发明将dl-RCBF信息与以下3类缓存算法进行比较:
1.本地cache机制;
2.BPR方式,该方式通过在固定窗口访问频率作为广播的阈值;
3.ESC策略,通过ESC摘要结构查询资源所在的服务器。
在比较实验中,本文均采用LRU的cache替换算法作为cache更新策略,采用zipf函数分别产生不同α参数的10,000次请求,所部署的域间内容节点为3个。
URL的rank和获取次数符合Zipf分布。全局的命中率是评价分布式cache机制的重要指标。分别测试了不同cache大小下的每种策略的命中率。从图7可以看出,协作式cache机制明显优于非协作式。ESC方式优于BPR是因为其能够将本地未命中的请求转发给其他节点。由于我们的dl-RCBF结构拥有节点信息,因此在转发请求时具有更高的准确性。同时随着分布函数α的增大,每种策略的命中率都在提升,但本地策略的命中率到达43%之后,即使增大缓存的空间也无法继续提高命中率,另外三种协作式缓存机制随着参数变化,之间的差异逐步降低。从图7中,还可看出缓存策略对于参数越大的情况效果越好,这是由于参数越大表示对同一个资源的重复请求越多,命中的次数也越高。
流量实验
为了评价整体内容路由机制的性能,本发明采用OMNet++作为模拟平台对整个***的性能进行验证。模拟参数如表7所示,其中所使用到的拓扑数据与表2-1一致。在整个数据集中,包括1,414,287次请求,其中不同的请求共计61万。
表7模拟参数
本发明方法考虑两个关键性能指标。第1个重要的性能指标是网内的流量,第2个是域间的流量。如图8所示,其中no-cache方式表示没有采用cache策略。从图8中可以看出只要采用了内容节点对网络资源进行存储后,域内与域间的流量均有所下降。本地存储策略在一定程度上减少了域内与域间的流量,然而由于其存储空间有限且并没有与其他节点进行协作,因此带来的收益较少。本发明提出的机制不仅极大降低了域间的流量,同时大幅度降低了域内重复流量,其对比ESC的主要优势在于ESC将本地未命中的请求使用概率方式转发至其它节点。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种融合型内容分发网络的内容路由管理方法,其特征在于,将ISP域内路由节点分三类:与主机直接相连的路由节点定义为边缘路由节点、ISP域内除边缘路由节点与域间路由节点以外的所有路由节点定义为核心路由节点、与其他ISP域内路由节点相连的路由节点定义为域间路由节点,通过对节点分类,并采用流量代价作为贪心策略的基准进行部署;所述方法的实现过程为:
步骤一、节点部署:
对于网络数据大小进行单一处理,即1次传输所消耗的流量代价只与经过的路径跳数有关,而不考虑数据大小本身,并进行如下定义:
流量代价Cij(Pij):从节点i到节点j的传输数据u所产生的流量代价为从i到j最短路径长度与数据大小的乘积pij|·sizeu
节点i的权重wi:节点i所管辖的用户到节点i的路径之和,即表示节点i下辖的r个用户到节点i的最短路径之和;
重复流量代价RC:当网络数据Size从节点i经过最短路径Pij到达节点j,若其他用户的访问路径与其重合,则该数据Size在路径P上产生的流量即为重复流量,即RCij=size·|Pij|;
同步流量代价SC:节点i到节点j的同步代价为网络数据Size在Pij上产生的流量,即SCij=size·|Pij|;
从核心路由节点集合F中选择的节点数目与重复流量为反比关系,同步代价则与节点数目成正比;假定可部署的内容节点个数为k,则此时域内重复流量代价与部署节点的关系用公式2-1表示:
RC = Σ i = 1 k Σ j = 1 m ′ C ij ( P ij )   公式(2-1)
同步的初始源为域间路由器节点,对于域间路由节点t,通过先广搜索算法(BFS)生成以t为根的最小生成树TR覆盖k个内容节点,则同步数据Size所需要的代价用公式2-2表示:
SC = Σ i = 1 k SC it   公式(2-2)
找到k个节点,满足RC+SC最小,实现流量代价最小:
采用基于贪心策略的算法实现流量代价最小,其过程为:
a.初始化阶段:计算每个以核心路由器为根节点的最小生成树,同时得到该最小生成树的重复流量代价;
b.计算重复流量代价:对于部署节点数大于1的情况,首先根据贪心策略选择重复流量代价最小那些生成树根节点,并通过每个其他核心路由器节点在每棵生成树中的层数决定其留在哪个树中,从而修正每棵树的重复流量代价;
c.计算同步代价:对于每个k,依次计算由域间路由器为根节点,k个核心路由节点组成的最小生成树所需要的同步代价;
步骤二、构建索引结构,采用dl-RCBF数据结构作为索引同步方式;
步骤三、设置同步机制,同步机制用于降低将索引信息进行广播导致的突发性的高负载与网络流量,还用于降低对于同一种资源的频繁访问。
2.根据权利要求1所述的一种融合型内容分发网络的内容路由管理方法,其特征在于:在步骤二中,构建索引结构的过程为:
假设集合U={key0,key1,…,keyn},|U|=n,并将整个hash表分为d个子表;设单一的hash函数满足:hash(key)由两部分构成,即[B]d和remainder,前者将决定把remainder部分***d个子表中负载最低的那个表中的桶内,后者为remainder本身。
在remainder之后增加count和record;Count的作用是计数器,用于描述散列冲突次数;record用于描述该key所在的节点位置,则整个dl-RCBF空间为n+m(F+C+K),其中n为key的个数。
3.根据权利要求2所述的一种融合型内容分发网络的内容路由管理方法,其特征在于:在步骤三的实现过程为:
通过触发式同步方式在服务器之间共享资源索引,当同步触发器激活时,本地cache服务器将广播发送包括本地资源的索引信息的索引表,RCBF-SYNCHRO-RECV()的时间复杂度上界为O(dm2),其中m表示1个桶内cell个数,d表示划分的哈希子表个数;
在ISP域内部署动态cache机制,当cache服务器收到一个请求,且本地没有命中时,将首先查询dl-RCBF,以确定该信息是否在其他服务器上;当出现误报时,则将该请求转发到域外;
当本地未命中时,将查询dl-RCBF中的record位置,同时若某种资源的请求超过阈值,则将该资源复制到远程cache服务器。
CN201410299708.1A 2014-06-27 2014-06-27 一种融合型内容分发网络的内容路由管理方法 Active CN104022911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410299708.1A CN104022911B (zh) 2014-06-27 2014-06-27 一种融合型内容分发网络的内容路由管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410299708.1A CN104022911B (zh) 2014-06-27 2014-06-27 一种融合型内容分发网络的内容路由管理方法

Publications (2)

Publication Number Publication Date
CN104022911A true CN104022911A (zh) 2014-09-03
CN104022911B CN104022911B (zh) 2018-03-30

Family

ID=51439493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410299708.1A Active CN104022911B (zh) 2014-06-27 2014-06-27 一种融合型内容分发网络的内容路由管理方法

Country Status (1)

Country Link
CN (1) CN104022911B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244020A (zh) * 2014-09-22 2014-12-24 内蒙古工业大学 一种云环境视频直播服务的请求路由方法
CN104506656A (zh) * 2015-01-09 2015-04-08 中国联合网络通信集团有限公司 一种在移动互联网中设置内容分发网络节点的方法和***
CN105681438A (zh) * 2016-01-26 2016-06-15 南京航空航天大学 内容中心网络中一种集中式的缓存决策策略
CN105933226A (zh) * 2016-04-20 2016-09-07 乐视控股(北京)有限公司 内容分发方法及***
CN105933234A (zh) * 2016-04-20 2016-09-07 乐视控股(北京)有限公司 Cdn网络中的节点管理方法和***
CN106060605A (zh) * 2016-05-25 2016-10-26 清华大学深圳研究生院 一种基于cdn的直播流自适应方法和***
CN106487910A (zh) * 2016-10-26 2017-03-08 苏州大学 一种内容分发网络创建方法
CN108093496A (zh) * 2017-12-23 2018-05-29 西安交通大学 一种基于ISA100.11a标准的一致性组网方法
CN108280024A (zh) * 2017-12-29 2018-07-13 五八有限公司 流量分配策略测试方法、装置及电子设备
CN109600432A (zh) * 2018-12-03 2019-04-09 上海科技大学 内容中心移动边缘网络用户动态接入方法
CN112738149A (zh) * 2019-10-29 2021-04-30 贵州白山云科技股份有限公司 数据传输***和方法
CN112751890A (zh) * 2019-10-29 2021-05-04 贵州白山云科技股份有限公司 数据传输的控制方法和装置
CN113395208A (zh) * 2021-06-21 2021-09-14 哈尔滨工业大学 一种基于区块链的bgp路由泄露检测方法及***
CN114501161A (zh) * 2022-04-11 2022-05-13 中兴通讯股份有限公司 音视频***、接入方法、路由转发方法及可读存储介质
CN115834594A (zh) * 2022-11-16 2023-03-21 贵州电网有限责任公司 一种用于改善高性能计算应用的数据收集方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883052A (zh) * 2010-06-25 2010-11-10 中兴通讯股份有限公司 一种实现对等网络中流量优化的方法和***
CN103001870B (zh) * 2012-12-24 2015-10-07 中国科学院声学研究所 一种内容中心网络协同缓存方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李乔 等: "内容分发网络研究", 《电子学报》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244020A (zh) * 2014-09-22 2014-12-24 内蒙古工业大学 一种云环境视频直播服务的请求路由方法
CN104244020B (zh) * 2014-09-22 2017-12-12 内蒙古工业大学 一种云环境视频直播服务的请求路由方法
CN104506656A (zh) * 2015-01-09 2015-04-08 中国联合网络通信集团有限公司 一种在移动互联网中设置内容分发网络节点的方法和***
CN104506656B (zh) * 2015-01-09 2018-03-23 中国联合网络通信集团有限公司 一种在移动互联网中设置内容分发网络节点的方法和***
CN105681438A (zh) * 2016-01-26 2016-06-15 南京航空航天大学 内容中心网络中一种集中式的缓存决策策略
CN105681438B (zh) * 2016-01-26 2019-12-13 南京航空航天大学 一种集中式内容中心网络缓存决策方法
CN105933226A (zh) * 2016-04-20 2016-09-07 乐视控股(北京)有限公司 内容分发方法及***
CN105933234A (zh) * 2016-04-20 2016-09-07 乐视控股(北京)有限公司 Cdn网络中的节点管理方法和***
CN106060605A (zh) * 2016-05-25 2016-10-26 清华大学深圳研究生院 一种基于cdn的直播流自适应方法和***
CN106487910A (zh) * 2016-10-26 2017-03-08 苏州大学 一种内容分发网络创建方法
CN106487910B (zh) * 2016-10-26 2019-07-19 苏州大学 一种内容分发网络创建方法
CN108093496A (zh) * 2017-12-23 2018-05-29 西安交通大学 一种基于ISA100.11a标准的一致性组网方法
CN108093496B (zh) * 2017-12-23 2020-03-13 西安交通大学 一种基于ISA100.11a标准的一致性组网方法
CN108280024A (zh) * 2017-12-29 2018-07-13 五八有限公司 流量分配策略测试方法、装置及电子设备
CN109600432A (zh) * 2018-12-03 2019-04-09 上海科技大学 内容中心移动边缘网络用户动态接入方法
CN109600432B (zh) * 2018-12-03 2021-08-03 上海科技大学 内容中心移动边缘网络用户动态接入方法
CN112738149A (zh) * 2019-10-29 2021-04-30 贵州白山云科技股份有限公司 数据传输***和方法
CN112751890A (zh) * 2019-10-29 2021-05-04 贵州白山云科技股份有限公司 数据传输的控制方法和装置
CN113395208A (zh) * 2021-06-21 2021-09-14 哈尔滨工业大学 一种基于区块链的bgp路由泄露检测方法及***
CN114501161A (zh) * 2022-04-11 2022-05-13 中兴通讯股份有限公司 音视频***、接入方法、路由转发方法及可读存储介质
CN114501161B (zh) * 2022-04-11 2022-08-02 中兴通讯股份有限公司 音视频***、接入方法、路由转发方法及可读存储介质
CN115834594A (zh) * 2022-11-16 2023-03-21 贵州电网有限责任公司 一种用于改善高性能计算应用的数据收集方法
CN115834594B (zh) * 2022-11-16 2024-04-19 贵州电网有限责任公司 一种用于改善高性能计算应用的数据收集方法

Also Published As

Publication number Publication date
CN104022911B (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN104022911A (zh) 一种融合型内容分发网络的内容路由管理方法
JP5745169B2 (ja) コンテンツ処理方法、コンテンツ処理デバイス、およびコンテンツ処理システム
EP2704402B1 (en) Method and node for distributing electronic content in a content distribution network
US20130041982A1 (en) Method and node for acquiring content and content network
CN101014045B (zh) 服务承载网中服务管理的分布式方法
CN109040259A (zh) 一种基于mec的cdn节点分配方法和***
CN101500022A (zh) 一种数据访问资源的分配方法及其***和设备
CN102075359B (zh) 一种基于网络坐标的服务器部署方法及装置
Zhang et al. An SDN-based caching decision policy for video caching in information-centric networking
CN101014046B (zh) 服务承载网中服务定位和服务质量路由的集成方法
CN101345628B (zh) 源节点选择方法
US9407687B2 (en) Method, apparatus, and network system for acquiring content
JP5888687B1 (ja) 配信サーバ又は配信ルート設計装置、配信サーバ又は配信ルート設計方法及びプログラム
CN102647357A (zh) 一种处理内容路由方法及装置
US20120259861A1 (en) Method and apparatus for storing and searching for index information
CN105471747B (zh) 一种智能路由器选路方法和装置
CN101551781B (zh) 一种p2p视频点播***中的硬盘缓存替换方法
Ghalehtaki et al. A bee colony-based algorithm for micro-cache placement close to end users in fog-based content delivery networks
Nguyen et al. Adaptive caching for beneficial content distribution in information-centric networking
Claeys et al. Hybrid multi-tenant cache management for virtualized ISP networks
WO2021017968A1 (zh) 内容分发***中访问请求的处理方法、装置及***
Amani et al. Towards optimal content replication and request routing in content delivery networks
CN107302571B (zh) 基于果蝇算法的信息中心网络路由和缓存管理方法
Famaey et al. A latency-aware algorithm for dynamic service placement in large-scale overlays
CN1972206A (zh) 基于组合式建造p2p***的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant