CN102238202A - 索引信息的存储、查找方法及装置 - Google Patents

索引信息的存储、查找方法及装置 Download PDF

Info

Publication number
CN102238202A
CN102238202A CN2010101556882A CN201010155688A CN102238202A CN 102238202 A CN102238202 A CN 102238202A CN 2010101556882 A CN2010101556882 A CN 2010101556882A CN 201010155688 A CN201010155688 A CN 201010155688A CN 102238202 A CN102238202 A CN 102238202A
Authority
CN
China
Prior art keywords
index
index information
institute
node
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101556882A
Other languages
English (en)
Other versions
CN102238202B (zh
Inventor
龚皓
施广宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201010155688.2A priority Critical patent/CN102238202B/zh
Priority to PCT/CN2011/070008 priority patent/WO2011131042A1/zh
Publication of CN102238202A publication Critical patent/CN102238202A/zh
Priority to US13/530,628 priority patent/US20120259861A1/en
Application granted granted Critical
Publication of CN102238202B publication Critical patent/CN102238202B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827Management specifically adapted to NAS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/134Distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种索引信息存储方法,该方法包括:在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。本发明同时公开了一种索引信息的查找方法、索引信息存储装置、索引信息的查找装置、通信网络***。采用本发明可以有效地获得所有内容的完整的索引信息状态;有利于实现流量均衡和流量本地化;提高索引查找的效率,大大降低现有技术多跳查找时所带来的网络传输延时;以及,提高核心网络中索引节点上索引信息的利用率。

Description

索引信息的存储、查找方法及装置
技术领域
本发明涉及通信技术领域,尤其涉及索引信息的存储、查找方法及装置。
背景技术
在现有的分布式对象存储***中,每一个对象具体的存放位置都是保存在一个个的索引文件中的,而这些索引文件又都是存放在一台或者多台索引服务器当中的。而在实际部署中,这些管理索引信息的索引服务器在物理位置上都是位于同一层级内的,彼此间是一个扁平的架构。
在实际部署的网络中,如何保证索引信息被高效的访问是现有的索引服务器所面临的重要问题之一。而另一方面,如何解决在大量用户同时涌入***访问单一索引时所导致的flash crowd(瞬间拥挤)现象(索引节点成为***瓶颈),也是一个完整的索引***所急需解决的另一个重要问题。
现有技术提出一种CoralCDN(Content Distributed Network,内容分发网络)技术,该技术的提出主要是为了解决现有网络下内容高效快速的分发问题,特别是利用Coral算法在内容索引中的有效扩散和快速查找技术来解决现有网络中常见的flash crowds问题。
在CoralCDN技术中,它采用DHT(Distributed Hash Table,分布式哈希表)的方式来存放索引数据。每次操作,通过key-value(键-值)对应的规则以多跳的方式来查找到最终的索引节点。并且,为了解决flash crowd问题,它将索引信息扩散存储到位于查询路径上的索引节点中。这样,对于热门资源的索引来说,网络中同时会有多个索引节点可以为其提供访问服务,降低了单个节点的负载开销。
发明人在实现本发明的过程中,发现现有技术至少存在如下不足:
1、Coral中,它能够将索引进行扩散以提高多点的接入和备份,然而对于扩散后的索引信息,由于其特殊的索引注册机制,每个节点都可能只保存其中的某一部分,导致没有一个节点保存有总的索引信息列表,无法有效的得到一个全的信息状态。
2、Coral是靠多跳的方式将索引信息扩散到查询路径上的各个节点上来降低根节点的负载开销的,然而多跳查找的方式就意味着每一次查询的延时可能会随着跳数的增多而加大,影响了查询效率。
3、Coral中,当每一个叶子节点都缓存了一定的索引信息后,根节点上的索引信息就不会被用户所访问了,导致根节点上的索引信息利用率很低。
4、Coral中,虽然索引多跳访问时引入了地域的概念,但是每个节点内部所存的索引内容数据却没有按地域划分,这样的非地域归属的索引结果不利于实现流量均衡和流量本地化。
发明内容
本发明实施例提供一种索引信息存储方法,用以有效获得所有内容的完整的索引信息状态,有利于实现流量均衡和流量本地化,该方法包括:
在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;
将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。
本发明实施例还提供一种索引信息的查找方法,用以提高索引查找的效率,提高核心网络中索引节点上索引信息的利用率,该方法包括:
接收用户访问内容的请求;
在接入网络中的索引节点查找指向所访问内容的索引信息;
若未查找到,则在汇聚网络中的索引节点查找指向所访问内容的索引信息;
若仍未查找到,则在核心网络中的索引节点查找指向所访问内容的索引信息。
本发明实施例还提供一种索引信息存储装置,用以有效获得所有内容的完整的索引信息状态,有利于实现流量均衡和流量本地化,该装置包括:
第一存储模块,用于在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;
第二存储模块,用于将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。
本发明实施例还提供一种索引信息的查找装置,用以提高索引查找的效率,提高核心网络中索引节点上索引信息的利用率,该装置包括:
接收模块,用于接收用户访问内容的请求;
第一查找模块,用于在接入网络中的索引节点查找指向所访问内容的索引信息;
第二查找模块,用于在第一查找模块未查找到指向所访问内容的索引信息时,在汇聚网络中的索引节点查找指向所访问内容的索引信息;
第三查找模块,用于在第二查找模块仍未查找到指向所访问内容的索引信息时,在核心网络中的索引节点查找指向所访问内容的索引信息。
本发明实施例还提供一种通信网络***,用以有效获得所有内容的完整的索引信息状态,有利于实现流量均衡和流量本地化,该***包括:
汇聚网络中的索引节点,其中,与所存储内容具有相同地域归属的索引节点用于:在存储内容后,存储指向所存储内容的索引信息;
核心网络中的索引节点,用于存储指向所存储内容的索引信息。
本发明实施例中,在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储;其中,核心网络中的索引节点可以保存所有内容的索引信息,以有效获得所有内容的完整的索引信息状态;汇聚网络中的索引节点存储的索引信息按地域划分,这样的地域归属的索引结果有利于实现流量均衡和流量本地化。
本发明实施例中,接收用户访问内容的请求;在接入网络中的索引节点查找指向所访问内容的索引信息;若未查找到,则在汇聚网络中的索引节点查找指向所访问内容的索引信息;若仍未查找到,则在核心网络中的索引节点查找指向所访问内容的索引信息,可以提高索引查找的效率,通过一跳查找的方式,大大降低现有技术多跳查找时所带来的网络传输延时;在降低核心网络中索引节点负载频率、避免flash crowd现象对索引节点产生冲击的同时,核心网络中的索引节点也可能被用户访问,相对提高了核心网络中索引节点上索引信息的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中索引信息存储方法的处理流程图;
图2为本发明实施例中索引信息存储方法的一种实施场景的网络拓扑示意图;
图3为本发明实施例中图2所示网络拓扑的划分示意图;
图4为本发明实施例中索引信息的查找方法的处理流程图;
图5为本发明实施例中索引信息存储装置的结构示意图;
图6、图7为本发明实施例中索引信息存储装置的具体实例的结构示意图;
图8为本发明实施例中索引信息的查找装置的结构示意图;
图9、图10、图11为本发明实施例中索引信息的查找装置的具体实例的结构示意图;
图12为本发明实施例中通信网络***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
如图1所示,本发明实施例中,索引信息存储方法的处理流程可以包括:
步骤101、在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;
步骤102、将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。
由图1所示流程可以得知,本发明实施例中,在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储;其中,核心网络中的索引节点可以保存所有内容的索引信息,以有效获得所有内容的完整的索引信息状态;汇聚网络中的索引节点存储的索引信息按地域划分,这样的地域归属的索引结果有利于实现流量均衡和流量本地化。
为了清楚说明图1所示流程的具体实施,下面举一例进行说明,本例实施场景如图2所示的网络拓扑示意图,本发明实施例的其它实施场景均与图2所示相类似,一般而言可以将网络分为4层:核心路由器和边缘路由器层、BAS(Basic Assembler Program,宽带接入服务器)层、Switcher(交换机)层和最下面的DSLAM(Digital Subscriber Line Access Multiplexer,数字用户线接入复用器)层。从图2中的连接关系也可以看出,各层之间的连接关系基本上是层层汇聚、级级收敛的这样一个现象,所以,可以考虑利用各层之间的这样一种收敛比,来实现索引信息的合理存储和快速查找。
因此,发明人考虑按图1所示流程提供一种层次化的索引管理方法。根据网络分层的架构,利用网络中上层节点作为分布式索引层(Index Level),另分别设定子网索引代理层(Subnet Proxy Index)和本地索引代理层(Local Proxy Index)用来提高索引的访问效率和避免flash crowd问题。
而根据网络拓扑,发明人提出采用核心网络中的设备作为索引节点,例如图2所示网络中的BAS这一层的设备,形成存放所有内容的索引信息的分布式索引层,这样假设整个分布式索引层内有160个索引节点,按每节点提供1GB的内存作索引数据存放来计算,再假设每一个内容资源的Cache(缓存)列表的索引信息大概在500Byte,则总共160台设备能存储160*1GB/500Byte/3=1亿左右的索引规模,规模对于存放热门内容资源的索引信息来说应该足够满足需求。
本地索引代理层中的节点是离用户最近的代理节点,发明人提出采用接入网络中的设备作为索引节点,例如图2所示网络中的DSLAM这一层的设备。
子网索引代理层中的节点是本地索引代理层上层的节点,发明人提出采用汇聚网络中的设备作为索引节点,例如图2所示网络中的Switcher这一层的设备,存放与内容具有相同地域归属的索引信息,形成本子网地域内的索引信息列表Up Proxy Table,达到对同一子网内用户请求收敛和流量本地化的效果。如位于同一路由器下的Switcher设备,它们缓存当前网络中位于自己子网地域内部的内容的索引信息。例如,根据图2所示网络拓扑图的设备收敛情况,Router和Switcher的收敛比大约为1∶30(每个Switcher会同时接到2个Router上),即每当一个Cache形成时,都需要向位于同一Router辖区内的Switcher注册该索引信息。这样每一个Switcher又可以起到进一级代理的作用,将不同地域下的用户请求进一步收敛,并提高索引的查找效率。同时,在子网索引代理层内缓存的索引数据信息都是位于同一子网下的Cache列表,这样的结果对于进行子网级别的局部优化的效果也是有很大的帮助的,当然,也将用户后续的数据请求行为限制在一个子网内部,实现了流量本地化的效果。
按上述实施例,存储索引信息的网络层次划分如图3所示,在这种层次下,图1所示流程可具体实施为如下的索引信息注册过程:
当底层的存储节点缓存了一个内容片段时,它开始向索引节点注册指向所存储内容的缓存信息,即实施步骤101和102,其中:
步骤101的一个实施例包括:存储节点向存储节点上层的子网索引代理层的索引节点发送PUT(推送)请求,PUT请求携带指向所存储内容的索引信息,例如内容的Hash(哈希)值,实施中还可以携带存储节点的IP地址。本例中发送PUT请求仅为一例,具体实施时还可以通过其它发送方式来实现索引信息的发送。上层子网索引代理层的索引节点收到该PUT请求后,在缓存表(Up Proxy Table)中添加或更新该内容片段的索引信息表项,将新增的Cache加到表内;
步骤102的一个实施例包括:上层子网索引代理层的索引节点在将新增的Cache加到表内后,再继续根据一跳路由表向上转发PUT请求。上层即分布式索引层根据一跳路由表选出正确的索引节点接收PUT请求后,向索引信息缓存表(Index Level)中添加该项Cache信息;从而达到一次索引注册的流程。
具体实施时,前述步骤101还可以包括:分布式索引层的索引节点在索引信息缓存表(Index Level)中添加Cache信息后,向位于和注册的存储节点同一个子网内的其他子网索引代理层的索引节点广播该信息,让其写入到缓存表(Up Proxy Table)中,这样,汇聚网络中与所存储内容具有相同地域归属的索引节点均存储了指向所存储内容的索引信息。
一个实施例中,图1所示流程实施时还可以包括:将指向所存储内容的索引信息发送到接入网络中与所存储内容具有相同地域归属的索引节点中进行存储,这样本地索引代理层的索引节点也可以维护一个索引信息列表(Proxy Table),达到对下层用户请求做收敛汇聚的效果,从而实现更好的流量均衡和流量本地化的效果。
一个实施例中,图1所示流程实施时还可以包括:统计用户的访问行为,在接入网络和/或汇聚网络中的索引节点存储指向用户已访问过的内容的索引信息。例如,本地索引代理层的索引节点在维护的索引信息列表Proxy Table中可以缓存1分钟以内曾经被请求过的Cache列表信息,那么在这个时间段内其他用户请求同一段资源的话则可以通过Proxy Table中记录的信息直接返回。当然,本地索引代理层的索引节点也可以定期收集用户的访问记录信息,如对Proxy Table进行周期性TTL(Time To Live,生存时间)的维护,并统一响应用户访问请求,达到对下层用户请求收敛汇聚的效果。子网索引代理层的索引节点的具体实施相类似,它们也可以在Up Proxy Table中缓存本子网地域内用户曾访问过的内容的索引信息。这样,可以更加方便索引信息的查找,更进一步改善流量均衡和流量本地化的效果。
如图4所示,本发明实施例还提供一种索引信息的查找方法,该查找方法中所查找的索引信息可以按前述实施例的存储方法进行存储,该查找方法可以包括:
步骤401、接收用户访问内容的请求;
步骤402、在接入网络中的索引节点查找指向所访问内容的索引信息;
步骤403、若在步骤402未查找到,则在汇聚网络中的索引节点查找指向所访问内容的索引信息;
步骤404、若在步骤403仍未查找到,则在核心网络中的索引节点查找指向所访问内容的索引信息。
由图4所示流程可以得知,本发明实施例中,接收用户访问内容的请求;在接入网络中的索引节点查找指向所访问内容的索引信息;若未查找到,则在汇聚网络中的索引节点查找指向所访问内容的索引信息;若仍未查找到,则在核心网络中的索引节点查找指向所访问内容的索引信息,可以提高索引查找的效率,通过一跳查找的方式,大大降低现有技术多跳查找时所带来的网络传输延时;在降低核心网络中索引节点负载频率、避免flash crowd现象对索引节点产生冲击的同时,核心网络中的索引节点也可能被用户访问,相对提高了核心网络中索引节点上索引信息的利用率。在利用图4所示方法查找到指向所访问内容的索引信息后,可以根据查找到的指向所访问内容的索引信息,获得相应内容并提供给用户。
具体实施时,接入网络和/或汇聚网络中的索引节点可以存储有指向用户已访问过的内容的索引信息。例如,在具体实施时,当用户请求某一内容片段时,请求将先发到接入网络中的索引节点,即先将请求发到用户接入的本地索引代理层的索引节点上。本地索引代理层的索引节点收到请求后,会先从自己缓存的索引表(Proxy Table)中查找是否有该内容片段的索引信息,例如是否有在前Timer1时刻内(该时间可配置)已经有其他用户请求过该内容片段的索引信息。如果有,则直接将Cache列表中该索引信息返回给用户;如果没有,则向汇聚网络中的索引节点即上层的子网索引代理层的索引节点发请求。上层的子网索引代理层的索引节点收到发过来的请求后,先在自己的缓存表(Up Proxy Table)中查找是否在本子网内有对应的Cache索引信息内容,如果有的话则直接返回结果给用户;如果没有,则根据一跳路由表在核心网络中的索引节点即上层分布式索引层的索引节点Index Level上查找完整的Cache列表,直到查找到最终结果返回给用户。
如果此时产生flash crowd场景,首先用户的请求在Timer1的时间内会首先被充当Proxy的本地索引代理层的索引节点所缓冲,其次,在子网索引代理层的Switcher这一段又能够缓存一定的业务请求冲击量,最终,用户的业务请求只有在本子网内都找不到的时候,才会到顶层分布式索引层的Index Level索引root(根)节点来查找,这时该节点负载已经被降得很低了,足以解决flash crowd问题。
一个实施例中,图4所示流程中若在汇聚网络中的索引节点查找到指向所访问内容的索引信息,则还可以包括:将指向所访问内容的索引信息存入接入网络中的索引节点。这样可以方便下一次该索引信息的查找,进一步提高查找效率,降低网络延时。
一个实施例中,图4所示流程中若在汇聚网络中的索引节点查找到指向所访问内容的索引信息,但汇聚网络中存储指向所访问内容的索引信息的内容条目数目小于阈值,则还可以包括:在核心网络中的索引节点查找指向所访问内容的索引信息。例如,子网索引代理层的索引节点收到本地索引代理层的索引节点发过来的查找请求后,先在自己的缓存表(Up Proxy Table)中查找是否在本子网内有对应的Cache索引信息内容,同时Cache索引信息的内容条目数目满足最低设定阈值(Cache Number Threshold),如果有的话则直接返回结果给用户;如果没有或者同一子网内Cache索引信息的内容条目数目过少,则根据一跳路由表在核心网络中的索引节点即上层分布式索引层的索引节点Index Level上查找完整的Cache列表,直到查找到最终结果返回给用户。这样,充分考虑了本地子网内的cache索引节点是否有足够能力提供本地子网的用户访问服务,可以降低单个索引节点的负载开销。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,可以包括上述实施例方法中的全部或部分步骤,所述的存储介质可以包括:ROM、RAM、磁盘、光盘等。
本发明实施例中还提供了一种索引信息存储装置、索引信息查找装置及通信网络***,如下面的实施例所述。由于这些装置、***解决问题的原理与索引信息存储方法、查找方法相似,因此这些装置、***的实施可以参见方法的实施,重复之处不再赘述。
本发明实施例提供了一种索引信息存储装置,其结构如图5所示,该装置可以包括:
第一存储模块501,用于在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;
第二存储模块502,用于将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。
如图6所示,一个实施例中,图5所示装置还可以包括:
第三存储模块601,用于将指向所存储内容的索引信息发送到接入网络中与所存储内容具有相同地域归属的索引节点中进行存储。
如图7所示,一个实施例中,图5所示装置还可以包括:
统计模块701,用于统计用户的访问行为;
历史记录模块702,用于在接入网络和/或汇聚网络中的索引节点存储指向用户已访问过的内容的索引信息。当然,图6所示装置也可以包括统计模块701和历史记录模块702。
本发明实施例还提供一种索引信息的查找装置,该查找装置可以查找图5所示装置所存储的索引信息,如图8所示,该索引信息的查找装置可以包括:
接收模块801,用于接收用户访问内容的请求;
第一查找模块802,用于在接入网络中的索引节点查找指向所访问内容的索引信息;
第二查找模块803,用于在第一查找模块未查找到指向所访问内容的索引信息时,在汇聚网络中的索引节点查找指向所访问内容的索引信息;
第三查找模块804,用于在第二查找模块仍未查找到指向所访问内容的索引信息时,在核心网络中的索引节点查找指向所访问内容的索引信息。
如图9所示,一个实施例中,图8所示装置还可以包括:
提供模块901,用于根据查找到的指向所访问内容的索引信息,获得相应内容并提供给用户。
如图10所示,一个实施例中,图8所示装置还可以包括:
存储模块1001,用于在第二查找模块803在汇聚网络中的索引节点查找到指向所访问内容的索引信息时,将指向所访问内容的索引信息存入接入网络中的索引节点。
如图11所示,一个实施例中,图10所示装置还可以包括:
第四查找模块1101,用于在第二查找模块803在汇聚网络中的索引节点查找到指向所访问内容的索引信息,但汇聚网络中存储指向所访问内容的索引信息的内容条目数目小于阈值时,在核心网络中的索引节点查找指向所访问内容的索引信息。当然,图8所示装置也可以包括第四查找模块1101。
本发明实施例还提供一种通信网络***,其结构如图12所示,可以包括:
汇聚网络中的索引节点1201,其中,与所存储内容具有相同地域归属的索引节点用于:在存储内容后,存储指向所存储内容的索引信息;
核心网络中的索引节点1202,用于存储指向所存储内容的索引信息。
如图12所示,一个实施例中,图12所示装置还可以包括:
接入网络中的索引节点1203,其中,与所存储内容具有相同地域归属的索引节点用于:存储指向所存储内容的索引信息。
一个实施例中,接入网络中的索引节点1203还可以用于:统计用户的访问行为,存储指向用户已访问过的内容的索引信息;
和/或,汇聚网络中的索引节点1201还可以用于:统计用户的访问行为,存储指向用户已访问过的内容的索引信息。
本发明实施例中,在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储;其中,核心网络中的索引节点可以保存所有内容的索引信息,以有效获得所有内容的完整的索引信息状态;汇聚网络中的索引节点存储的索引信息按地域划分,这样的地域归属的索引结果有利于实现流量均衡和流量本地化。
本发明实施例中,接收用户访问内容的请求;在接入网络中的索引节点查找指向所访问内容的索引信息;若未查找到,则在汇聚网络中的索引节点查找指向所访问内容的索引信息;若仍未查找到,则在核心网络中的索引节点查找指向所访问内容的索引信息,可以提高索引查找的效率,通过一跳查找的方式,大大降低现有技术多跳查找时所带来的网络传输延时;在降低核心网络中索引节点负载频率、避免flash crowd现象对索引节点产生冲击的同时,核心网络中的索引节点也可能被用户访问,相对提高了核心网络中索引节点上索引信息的利用率。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (19)

1.一种索引信息存储方法,其特征在于,该方法包括:
在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;
将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。
2.如权利要求1所述的方法,其特征在于,还包括:
将指向所存储内容的索引信息发送到接入网络中与所存储内容具有相同地域归属的索引节点中进行存储。
3.如权利要求1所述的方法,其特征在于,还包括:
统计用户的访问行为,在接入网络和/或汇聚网络中的索引节点存储指向用户已访问过的内容的索引信息。
4.一种索引信息的查找方法,其特征在于,该方法包括:
接收用户访问内容的请求;
在接入网络中的索引节点查找指向所访问内容的索引信息;
若未查找到,则在汇聚网络中的索引节点查找指向所访问内容的索引信息;
若仍未查找到,则在核心网络中的索引节点查找指向所访问内容的索引信息。
5.如权利要求4所述的方法,其特征在于,还包括:
根据查找到的指向所访问内容的索引信息,获得相应内容并提供给用户。
6.如权利要求4所述的方法,其特征在于,若在汇聚网络中的索引节点查找到指向所访问内容的索引信息,则还包括:
将指向所访问内容的索引信息存入接入网络中的索引节点。
7.如权利要求4所述的方法,其特征在于,若在汇聚网络中的索引节点查找到指向所访问内容的索引信息,但汇聚网络中存储指向所访问内容的索引信息的内容条目数目小于阈值,则还包括:
在核心网络中的索引节点查找指向所访问内容的索引信息。
8.如权利要求4所述的方法,其特征在于,所述接入网络和/或汇聚网络中的索引节点存储有指向用户已访问过的内容的索引信息。
9.一种索引信息存储装置,其特征在于,该装置包括:
第一存储模块,用于在存储内容后,将指向所存储内容的索引信息发送到汇聚网络中与所存储内容具有相同地域归属的索引节点中进行存储;
第二存储模块,用于将指向所存储内容的索引信息发送到核心网络中的索引节点中进行存储。
10.如权利要求9所述的装置,其特征在于,还包括:
第三存储模块,用于将指向所存储内容的索引信息发送到接入网络中与所存储内容具有相同地域归属的索引节点中进行存储。
11.如权利要求9所述的装置,其特征在于,还包括:
统计模块,用于统计用户的访问行为;
历史记录模块,用于在接入网络和/或汇聚网络中的索引节点存储指向用户已访问过的内容的索引信息。
12.一种索引信息的查找装置,其特征在于,该装置包括:
接收模块,用于接收用户访问内容的请求;
第一查找模块,用于在接入网络中的索引节点查找指向所访问内容的索引信息;
第二查找模块,用于在第一查找模块未查找到指向所访问内容的索引信息时,在汇聚网络中的索引节点查找指向所访问内容的索引信息;
第三查找模块,用于在第二查找模块仍未查找到指向所访问内容的索引信息时,在核心网络中的索引节点查找指向所访问内容的索引信息。
13.如权利要求12所述的装置,其特征在于,还包括:
提供模块,用于根据查找到的指向所访问内容的索引信息,获得相应内容并提供给用户。
14.如权利要求12所述的装置,其特征在于,还包括:
存储模块,用于在第二查找模块在汇聚网络中的索引节点查找到指向所访问内容的索引信息时,将指向所访问内容的索引信息存入接入网络中的索引节点。
15.如权利要求12所述的装置,其特征在于,还包括:
第四查找模块,用于在第二查找模块在汇聚网络中的索引节点查找到指向所访问内容的索引信息,但汇聚网络中存储指向所访问内容的索引信息的内容条目数目小于阈值时,在核心网络中的索引节点查找指向所访问内容的索引信息。
16.如权利要求12所述的装置,其特征在于,所述接入网络和/或汇聚网络中的索引节点存储有指向用户已访问过的内容的索引信息。
17.一种通信网络***,其特征在于,包括:
汇聚网络中的索引节点,其中,与所存储内容具有相同地域归属的索引节点用于:在存储内容后,存储指向所存储内容的索引信息;
核心网络中的索引节点,用于存储指向所存储内容的索引信息。
18.如权利要求17所述的***,其特征在于,还包括:
接入网络中的索引节点,其中,与所存储内容具有相同地域归属的索引节点用于:存储指向所存储内容的索引信息。
19.如权利要求18所述的***,其特征在于,接入网络中的索引节点还用于:统计用户的访问行为,存储指向用户已访问过的内容的索引信息;
和/或,汇聚网络中的索引节点还用于:统计用户的访问行为,存储指向用户已访问过的内容的索引信息。
CN201010155688.2A 2010-04-23 2010-04-23 索引信息的存储、查找方法及装置 Expired - Fee Related CN102238202B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201010155688.2A CN102238202B (zh) 2010-04-23 2010-04-23 索引信息的存储、查找方法及装置
PCT/CN2011/070008 WO2011131042A1 (zh) 2010-04-23 2011-01-04 索引信息的存储、查找方法及装置
US13/530,628 US20120259861A1 (en) 2010-04-23 2012-06-22 Method and apparatus for storing and searching for index information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010155688.2A CN102238202B (zh) 2010-04-23 2010-04-23 索引信息的存储、查找方法及装置

Publications (2)

Publication Number Publication Date
CN102238202A true CN102238202A (zh) 2011-11-09
CN102238202B CN102238202B (zh) 2014-12-03

Family

ID=44833683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010155688.2A Expired - Fee Related CN102238202B (zh) 2010-04-23 2010-04-23 索引信息的存储、查找方法及装置

Country Status (3)

Country Link
US (1) US20120259861A1 (zh)
CN (1) CN102238202B (zh)
WO (1) WO2011131042A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799679A (zh) * 2012-07-24 2012-11-28 河海大学 基于Hadoop的海量空间数据索引更新***及方法
CN102970349A (zh) * 2012-11-02 2013-03-13 上海交通大学 一种dht网络的存储负载均衡方法
WO2018058949A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种数据存储方法、装置及***
CN107958033A (zh) * 2017-11-20 2018-04-24 郑州云海信息技术有限公司 元数据的查找方法、装置、分布式文件***及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3019763B1 (fr) * 2014-04-10 2019-11-29 Gb Developpement Dispositif distributeur de fluide et valve munie d'un moyen de rappel
US10193805B2 (en) * 2016-09-08 2019-01-29 Futurewei Technologies, Inc. User oriented IoT data discovery and retrieval in ICN networks
JP6772794B2 (ja) * 2016-11-30 2020-10-21 富士通株式会社 分散データ管理装置、分散データ管理プログラム及び分散データ管理方法
US11470176B2 (en) * 2019-01-29 2022-10-11 Cisco Technology, Inc. Efficient and flexible load-balancing for clusters of caches under latency constraint

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043366A (zh) * 2006-06-26 2007-09-26 华为技术有限公司 域管理器***、获知相邻域管理器及进行更新的方法
CN101355473A (zh) * 2007-07-27 2009-01-28 华为技术有限公司 移动自组网资源发布与查找方法及移动自组网络节点设备
CN101447910A (zh) * 2007-11-26 2009-06-03 华为技术有限公司 分布式网络存储控制方法、装置和分发***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201755B1 (en) * 1998-12-18 2001-03-13 Nortel Networks Limited Method and system for storing and retrieving information in a communications node
CN1221898C (zh) * 2002-08-13 2005-10-05 国际商业机器公司 刷新网络代理高速缓存服务器对象的***和方法
CN101291321B (zh) * 2007-04-19 2012-10-03 华为技术有限公司 发布内容的方法及***、查找内容的方法及***
US8516219B2 (en) * 2009-07-24 2013-08-20 Apple Inc. Index cache tree

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043366A (zh) * 2006-06-26 2007-09-26 华为技术有限公司 域管理器***、获知相邻域管理器及进行更新的方法
CN101355473A (zh) * 2007-07-27 2009-01-28 华为技术有限公司 移动自组网资源发布与查找方法及移动自组网络节点设备
CN101447910A (zh) * 2007-11-26 2009-06-03 华为技术有限公司 分布式网络存储控制方法、装置和分发***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799679A (zh) * 2012-07-24 2012-11-28 河海大学 基于Hadoop的海量空间数据索引更新***及方法
CN102799679B (zh) * 2012-07-24 2014-10-22 河海大学 基于Hadoop的海量空间数据索引更新***及方法
CN102970349A (zh) * 2012-11-02 2013-03-13 上海交通大学 一种dht网络的存储负载均衡方法
CN102970349B (zh) * 2012-11-02 2015-11-25 上海交通大学 一种dht网络的存储负载均衡方法
WO2018058949A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种数据存储方法、装置及***
CN107958033A (zh) * 2017-11-20 2018-04-24 郑州云海信息技术有限公司 元数据的查找方法、装置、分布式文件***及存储介质

Also Published As

Publication number Publication date
US20120259861A1 (en) 2012-10-11
CN102238202B (zh) 2014-12-03
WO2011131042A1 (zh) 2011-10-27

Similar Documents

Publication Publication Date Title
CN102238202B (zh) 索引信息的存储、查找方法及装置
CN102523256B (zh) 内容的管理方法的方法、装置和***
CN100579208C (zh) 分布式流媒体分发***及流媒体内存缓冲及调度分发方法
Qazi et al. Optimal content caching in content‐centric networks
EP2704402B1 (en) Method and node for distributing electronic content in a content distribution network
CN104115472A (zh) 用于内容导向网络中可扩展路由的方法
CN103347068B (zh) 一种基于代理集群网络缓存加速方法
CN101567796B (zh) 一种内容分片的多媒体网络及其业务方法
US20110067074A1 (en) Method, device, and system for playing media based on p2p
CN101610162A (zh) 一种基于对等存储网络提供内容的方法、***和设备
Zhang et al. An SDN-based caching decision policy for video caching in information-centric networking
Nour et al. A distributed cache placement scheme for large-scale information-centric networking
CN102137139A (zh) 缓存替换策略的选择方法、装置、代理服务器和***
Sinky et al. Responsive content-centric delivery in large urban communication networks: A LinkNYC use-case
CN103095727A (zh) P2p资源定位方法
CN105656978B (zh) 一种资源共享方法及装置
CN102917287A (zh) 一种面向内容中心的智能光网络交换装置和边缘缓存方法
Nguyen et al. Adaptive caching for beneficial content distribution in information-centric networking
Yu et al. Dynamic popularity-based caching permission strategy for named data networking
Kamiyama et al. Cache replacement based on distance to origin servers
Alduayji et al. PF-EdgeCache: Popularity and freshness aware edge caching scheme for NDN/IoT networks
Chao et al. A game theoretic approach for energy-efficient in-network caching in content-centric networks
CN102859487B (zh) 用于分级跟踪供联网传送和发布到有线和移动设备的内容和缓存的方法和***
Sarkar et al. Content delivery networks: Insights and recent advancement
CN107302571B (zh) 基于果蝇算法的信息中心网络路由和缓存管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141203