CN101668046A - 资源缓存方法、资源获取方法及其装置、*** - Google Patents

资源缓存方法、资源获取方法及其装置、*** Download PDF

Info

Publication number
CN101668046A
CN101668046A CN200910207231A CN200910207231A CN101668046A CN 101668046 A CN101668046 A CN 101668046A CN 200910207231 A CN200910207231 A CN 200910207231A CN 200910207231 A CN200910207231 A CN 200910207231A CN 101668046 A CN101668046 A CN 101668046A
Authority
CN
China
Prior art keywords
resource
server
caching
caching server
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910207231A
Other languages
English (en)
Other versions
CN101668046B (zh
Inventor
兰刚
王瑞
公晨
周树国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN2009102072319A priority Critical patent/CN101668046B/zh
Publication of CN101668046A publication Critical patent/CN101668046A/zh
Priority to PCT/CN2010/077639 priority patent/WO2011044829A1/zh
Priority to US13/446,777 priority patent/US9503518B2/en
Application granted granted Critical
Publication of CN101668046B publication Critical patent/CN101668046B/zh
Priority to US15/204,816 priority patent/US9882975B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种源缓存方法、资源获取方法及其装置、***，其中，源缓存方法包括：每隔第一预定时间从数据库获取资源的访问热度值，并在判断访问热度值达到预先设置的第一阈值的情况下，从数据库获取缓存服务器的负载值；根据访问热度值以及负载值确定复制资源的复制缓存服务器，并通知复制缓存服务器从保存有资源的缓存服务器中复制资源并缓存。通过将热点资源复制到多个空闲服务器中，克服了现有技术中同一资源只能在一台缓存服务器中缓存而导致的相对空闲的缓存服务器无法为繁忙的缓存服务器分担负载的缺陷，实现了多个缓存服务器共同提供服务，从而提高了缓存***的可扩展性和工作效率。

Description

资源缓存方法、资源获取方法及其装置、***
技术领域
本发明实施例涉及存储技术领域，尤其涉及一种资源缓存方法、资源获取方法及其装置、***。
背景技术
目前，资源缓存技术中，为了降低出口带宽的压力，资源缓存***中的调度服务器会根据资源的访问热度判断该资源的访问次数是否到达预设的阈值，在资源的访问热度到达热度阈值后，调度服务器根据调度算法调度某一台缓存服务器下载需要缓存的资源。下载完成后，缓存服务器通知调度服务器的数据库该资源已被缓存在某一台缓存服务器上，在实际应用中，***中只有一个缓存服务器可以提供缓存。
如果有用户需要下载该资源，则***会查询该资源是否已经被***缓存，如果已经缓存，进一步查询缓存该资源的缓存服务器A的相关信息，使得用户可以从缓存服务器A中下载该资源。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
目前的资源缓存***中，不支持多个节点负载分流以及多机热点备份机制，如图1所示，资源A、资源B缓存于缓存服务器1中，资源F、资源X缓存在缓存服务器2中，资源N、资源P、资源O缓存在缓存服务器n中，用户如果想下载资源F，只能从一台缓存有该资源的缓存服务器2中下载，导致相对空闲的缓存服务器无法为繁忙的缓存服务器分担负载。此外，如果含有热点该资源的服务器出现故障，则大量用户只能通过外网下载该资源通过外网，造成出口带宽压力突增。
发明内容
本发明实施例提供一种资源缓存方法、资源获取方法及其装置、***，能够减少***中繁忙的缓存服务器的负载，减轻出口带宽的压力。
本发明实施例提供一种资源缓存方法，包括：
每隔第一预定时间从数据库获取资源的访问热度值，并在判断访问热度值达到预先设置的第一阈值的情况下，从数据库获取缓存服务器的负载值；根据访问热度值以及负载值确定复制资源的复制缓存服务器，并通知复制缓存服务器从保存有资源的缓存服务器中复制资源并缓存。
本发明实施例提供一种资源获取方法，包括：
接收资源查询请求，根据资源查询请求向数据库查询并确定用户请求下载的资源已缓存；接收数据库发送的缓存有资源的所有缓存服务器的信息以及缓存有资源的所有缓存服务器的负载值；根据缓存有资源的所有缓存服务器的信息以及缓存有资源的所有缓存服务器的负载值选择目标下载缓存服务器，通知用户从目标下载缓存服务器中下载资源。
本发明实施例提供一种资源缓存装置，包括：
获取模块，用于每隔第一预定时间从数据库获取资源的访问热度值，并在判断访问热度值达到预先设置的第一阈值的情况下，从数据库获取缓存服务器的负载值；第一确定模块，用于根据访问热度值以及负载值确定复制资源的复制缓存服务器；第一通知模块，用于通知复制缓存服务器从保存有资源的缓存服务器中复制资源并缓存。
本发明实施例提供一种资源获取装置，包括：
第二接收模块，用于接收资源查询请求；第三确定模块，用于根据资源查询请求向数据库查询并确定用户请求下载的资源已缓存；第三接收模块，用于接收数据库发送的缓存有资源的所有缓存服务器的信息以及缓存有资源的所有缓存服务器的负载值；第四确定模块，用于根据缓存有资源的所有缓存服务器的信息以及缓存有资源的所有缓存服务器的负载值选择目标下载缓存服务器；第三通知模块，用于通知用户从目标下载缓存服务器中下载资源。
本发明实施例还提供一种资源缓存***，包括：
数据库，用于存储资源的访问热度值以及缓存服务器的负载值；调度服务器，用于每隔第一预定时间从数据库获取资源的访问热度值，并在判断访问热度值达到预先设置的第一阈值的情况下，从数据库获取缓存服务器的负载值，根据访问热度值以及负载值确定复制资源的复制缓存服务器，并通知复制缓存服务器从保存有资源的缓存服务器中复制资源；缓存服务器，用于在调度服务器的控制下从保存有资源的缓存服务器中复制资源并缓存。
本发明实施例的源缓存方法、资源获取方法及其装置、***，通过将热点资源复制到多个空闲服务器中，克服了现有技术中同一资源只能在一台缓存服务器中缓存而导致的相对空闲的缓存服务器无法为繁忙的缓存服务器分担负载的缺陷，实现了多个缓存服务器共同提供资源下载服务，能够减少***中繁忙的缓存服务器的负载，减轻出口带宽的压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中资源缓存***的架构示意图；
图2是本发明实施例的资源缓存方法的流程图；
图3是本发明实施例的用户请求下载未缓存资源的信令流程图；
图4是本发明实施例的热点资源空间回收的信令流程图；
图5是本发明实施例的资源获取方法的流程图；
图6是本发明实施例的用户请求下载已缓存资源的信令流程图；
图7是本发明实施例的资源缓存装置的示意图；
图8是本发明实施例的资源获取装置的示意图；
图9是本发明实施例的资源缓存***的示意图；
图10是本发明实施例的P2P缓存***的结构示意图；
图11是本发明实施例的对资源分类存储的***结构示意图。
具体实施方式
下面结合附图和具体实施例进一步说明本发明实施例的技术方案。
目前，电信级资源缓存***中包括数十台缓存服务器，每个缓存服务器承载不同的资源，为数万在线用户提供服务，每台缓存服务器一般最多能够负载1000至2000用户访问。并且，某一资源只存在于一台缓存服务器上，没有热点内容处理机制，不会有多个备份资源存储于其他缓存服务器中。如图1所示，资源A、资源B缓存于缓存服务器1中，资源F、资源X缓存在缓存服务器2中，资源N、资源P、资源O缓存在缓存服务器n中，用户如果想下载资源F，只能从缓存服务器2中下载。
此外，其他服务器上由于没有备份资源，就不能为用户提供缓存，导致资源缓存***的性能受一台服务器性能的限制，无法进行性能扩展。由于有的服务器负载过重，有的服务器负载很低，从而导致负载低的服务器利用率低，业务相对空闲的服务器无法为繁忙服务器分担负载。
为了解决上述问题，根据本发明的实施例，提供了一种资源缓存方法，图2是本发明实施例的资源缓存方法的流程图，如图2所示，根据本发明实施例的资源缓存方法包括：
步骤201，调度服务器每隔第一预定时间(例如，10秒)从数据库获取资源的访问热度值，并判断访问热度值是否达到预先设置的第一阈值，在确定访问热度值达到预先设置的第一阈值的情况下，从数据库获取缓存服务器的负载值；在本发明的实施例中，从数据库获取的缓存服务器的负载值可以不包括当前本身就缓存有该资源的缓存服务器。
步骤202，调度服务器根据访问热度值以及负载值确定复制该资源的复制缓存服务器，也就是说，调度服务器从除本身就缓存有该资源的缓存服务器之外的其他缓存服务器中选择一个复制该资源的服务器。在以下的描述中，将复制该资源的缓存服务器简称为复制缓存服务器。
步骤203，调度服务器通知复制缓存服务器从保存有该资源的缓存服务器中复制资源并缓存。
从上述处理可以看出，本发明实施例将热点资源判断机制用于缓存***中，复制热点资源到多台缓存服务器中，以实现访问的负载分流。通过调度服务器实现各个缓存服务器之间的调度，使得多个缓存服务器共同提供服务，从而提高了缓存***的可扩展性和资源下载的效率，能够减少***中繁忙的缓存服务器的负载，减轻出口带宽的压力。
下面，结合附图，对本发明实施例中用户请求下载未缓存资源的情况的处理流程进行详细说明。
图3是本发明实施例的用户请求下载未缓存资源的信令流程图，如图3所示，包括如下处理：
步骤301，用户向源站服务器发送资源下载请求；
步骤302，资源缓存***的检测服务器获取用户向源站服务器发送的资源下载请求，并向调度服务器发送资源查询请求；
步骤303，调度服务器根据资源查询请求向其数据库查询该资源是否已经缓存在资源缓存***的缓存服务器中，并指示数据库将该资源的访问热度值+1，其中，访问热度值根据预定算法确定，例如，根据资源的下载次数及该资源每次下载的下载时间确定该资源的访问热度值；
步骤304，数据库查询该资源是否已经缓存，并更新该资源的访问热度值。由于数据库查询到该资源没有缓存，因此，向调度服务器发送未缓存响应消息；
步骤305，调度服务器接收到未缓存响应消息后，向重定向服务器转发未缓存响应消息；
步骤306，重定向服务器响应于未缓存响应消息，由于该资源未缓存在资源缓存***中，因此，不需要进行重定向操作，用户依然从源站服务器(外网)下载该资源；
步骤307，在用户下载完成后，源站服务器向用户发送下载完成消息；随着用户下载次数的增多，资源缓存***会将用户下载次数较多的资源下载到一台缓存服务器中，以后的用户从该缓存服务器中下载该资源；
步骤308，调度服务器向数据库查询该资源的访问热度值；
具体地，调度服务器每隔一定时间向数据库查询资源的访问热度值，在本发明实施例中，调度服务器可以查询所有资源的访问热度值，也可以查询单独查询当前某个资源的访问热度值，其中，访问热度值包括：下载次数及下载时间；
步骤309，数据库返回该资源的访问热度值，该访问热度值可以包括所查询资源的下载次数及下载时间等信息；
步骤310，调度服务器根据下载次数及下载时间计算单位时间内所查询资源的下载次数，并根据单位时间内所查询资源的下载次数判断相应的访问热度值是否达到阈值，也就是说，判断用户是否从缓存有该资源的缓存服务器中大量下载该资源，在下面的描述中，将上述情况下的资源称为热点资源，如果调度服务器判断访问热度值未达到预先设置的阈值，则不进行任何操作；如果确定访问热度值达到阈值，则向数据库查询各缓存服务器(不包括已缓存该资源的缓存服务器)的负载值；其中，所有缓存服务器每隔一定时间就会将自己的负载值写入数据库，以供调度服务器的查询，例如，所有缓存服务器每隔5秒将自己的负载值写入数据库；
步骤311，数据库向调度服务器返回各缓存服务器的负载值；
步骤312，调度服务器根据该资源的访问热度值以及各缓存服务器的负载值确定复制该资源的复制缓存服务器；进一步地，调度服务器可以根据访问热度值和负载值选择负载较低的服务器复制该资源；
具体地，在步骤312中，调度服务器选择负载较低的服务器具体包括如下处理：1、调度服务器首先根据该资源的访问热度值确定单位时间内该资源的下载次数，并根据单位时间内该资源的下载次数确定单位时间内该资源下载次数的级别；2、调度服务器根据负载值将除已缓存该资源的缓存服务器之外所有缓存服务器顺序排序，得到排序结果；3、根据下载次数的级别确定需要复制缓存服务器的数量，并根据该数量从排序结果中选择负载值低于预先设置的第二阈值的缓存服务器作为所述复制缓存服务器。具体地，根据下载次数的级别确定需要复制缓存服务器的数量包括：单位时间内该资源的下载次数越多，单位时间内下载次数的级别越高，选择的缓存服务器的数量也就越多。
换句话说，调度服务器确定单位时间内资源的下载次数的级别后，根据负载值确定空闲服务器的数量，并根据空闲服务器的数量确定资源的复制份数，在确定复制的份数后，调度服务器就可以调度空闲缓存服务器向源站服务器复制热点资源。
步骤313，复制缓存服务器从已缓存该资源的缓存服务器中复制该资源并缓存；
步骤314，完成复制的复制缓存服务器向已缓存该资源的缓存服务器发送复制完成通知；
步骤315，复制缓存服务器向调度服务器发送复制完成通知；
步骤316，调度服务器将复制完成通知、以及复制信息写入数据库，其中，复制信息为缓存有该资源的复制缓存服务器的信息。在以后用户下载该资源时，数据库可以根据该资源的复制信息查询该资源的缓存在哪几台缓存服务器中。
从上述处理可以看出，本发明实施例采用的技术方案摒弃了热点资源访问只能由单台缓存服务器负担的做法。自动将热点数据复制到多台空闲缓存服务器，可使多台缓存服务器共同提供负载，能够对缓存服务器资源进行充分地利用。并且，在一个甚至多个缓存服务器出现故障时，为用户提供热点资源的服务不会中断，由于多台缓存服务器共同提供服务，可以减少出口带宽的压力，防止出口带宽压力突增，提高了***的可靠性和可扩展性。
在用户下载该资源后，如果该资源的下载次数减少，需要对该资源所占用的空间进行回收，在资源空间回收过程中，***会根据该资源的访问热度确定该资源需要保留的份数，随后，根据确定的需要保留的份数，以及根据各个缓存服务器的负载值将负载值比较高的缓存服务器中的资源删除。达到优化***资源的目的。
下面，结合图4，对热点资源空间回收的处理过程进行详细说明，图4是本发明实施例的热点资源空间回收的信令流程图，如图4所示，包括如下处理：
步骤401，调度服务器每隔一定时间从数据库获取资源的复制信息以及资源的访问热度值，在本发明实施例中，该资源为一个或多个热点资源。
步骤402，数据库向调度服务器返回热点资源的复制信息以及访问热度值，该访问热度值包括下载次数和下载时间；
步骤403，调度服务器判断热点资源的访问热度值是否达到预先设置的第一阈值，如果达到预先设置的第一阈值，则不进行任何处理，如果热点资源的访问热度值未达到预先设置的第一阈值，调度服务器根据热点资源的复制信息向数据库查询缓存有热点资源的所有缓存服务器的负载值；
步骤404，数据库根据热点资源的复制信息查询缓存有该热点资源的所有缓存服务器，并将缓存有该热点资源的所有缓存服务器的负载值及该热点资源的访问热度值发送到调度服务器；
步骤405，调度服务器根据热点资源的访问热度值确定热点资源在单位时间内的下载次数，根据单位时间内的下载次数确定热点资源下载次数的级别，并根据该级别确定热点资源保存复制的份数；随后，调度服务器根据缓存有热点资源的所有缓存服务器的负载值以及热点资源保存复制的份数确定至少一个负载高于预先设置的第三阈值的缓存有热点资源的缓存服务器，随后，调度服务器不再将之后用户发送的资源下载请求调度到确定的缓存服务器上，并通知确定的缓存服务器在无用户下载该资源后，删除该资源；即，优先删除负载相对高的缓存服务器上的热点资源。
步骤406，确定的缓存服务器在无用户下载该资源后，将热点资源删除，并向调度服务器返回删除完成消息；
步骤407，调度服务器将删除完成消息写入数据库，并更新数据库中的热点资源的复制信息。
从上述处理可以看出，通过热点资源空间回收机制可以提高存储空间利用率，确保存储空间不被浪费。实现资源缓存***的负载分流、存储空间自动清理。
根据本发明的实施例，提供了一种缓存资源获取方法，图5是本发明实施例的资源获取方法的流程图，如图5所示，根据本发明实施例的缓存资源获取方法包括：
步骤501，接收资源查询请求，根据资源查询请求向数据库查询并确定用户请求下载的资源已缓存；
步骤502，接收数据库发送的缓存有资源的所有缓存服务器的信息以及缓存有资源的所有缓存服务器的负载值；
步骤503，根据缓存有资源的所有缓存服务器的信息以及缓存有资源的所有缓存服务器的负载值选择目标下载缓存服务器，并通知用户从目标下载缓存服务器中下载资源。具体地，可以通过重定向服务器通知用户从目标下载缓存服务器中下载资源。
通过上述处理，用户可以从***中多台缓存服务器中下载资源，在其中一台缓存服务器出现故障的情况下，可以从其他缓存有该资源的缓存服务器中下载，提高了用户下载资源的效率和速度。
下面，结合附图，对本发明实施例的上述处理过程中用户请求下载已缓存资源的处理流程进行说明。图6是本发明实施例的用户请求下载已缓存资源的信令流程图，如图6所示，包括如下处理：
步骤601，用户向源站服务器发送资源下载请求；
步骤602，资源缓存***的检测服务器获取用户向源站服务器发送的资源下载请求，并向调度服务器发送资源查询请求；
步骤603，调度服务器根据资源查询请求向其数据库查询该资源是否已经缓存在资源缓存***的缓存服务器中，并指示数据库将该资源的访问热度值+1；
步骤604，数据库查询该资源是否已经缓存，并更新该资源的访问热度值。在判断该资源已经缓存后，确定该资源缓存在哪些缓存服务器中，并将所有缓存该资源的缓存服务器的信息发送到调度服务器；
步骤605，调度服务器向数据库查询所有缓存该资源的缓存服务器的负载值；
步骤606，数据库向调度服务器反馈所有缓存该资源的缓存服务器的负载值；
步骤607，调度服务器选择负载值最低的缓存该资源的缓存服务器作为目标下载缓存服务器，并将该目标下载缓存服务器的信息通知重定向服务器；
步骤608，重定向服务器将用户的资源下载请求重定向到该目标下载缓存服务器；
步骤609，用户连接至该目标下载缓存服务器，并从该目标下载缓存服务器中下载该资源。
从上述处理可以看出，通过热点资源访问多节点分流技术满足用户对热点数据访问需求，能够解决热点资源访问造成的***瓶颈问题，最大程度提高了缓存服务器的利用率，具有高可扩展性和高可靠性。
需要说明的，本发明实施例可广泛应用在资源缓存***中不同缓存服务器之间数据自动复制的各个应用场景，通过自动复制的方式，可以实现不同的应用功能，在实际应用中，包括但不限于以下应用功能：1、用于解决内容缓存***动态扩展的问题，在缓存服务器性能或容量不足时动态添加缓存服务器而不影响***正常运行；2、用于解决内容缓存***数据安全问题，例如，防病毒；3、用于解决资源缓存***动态迁移的问题，例如，按文件访问热度分服务器存储；4、用于解决资源缓存***内容分类存储问题，例如，按文件访问量不同自动迁移到不同应用服务器。
根据本发明的实施例，提供了一种资源缓存装置，图7是本发明实施例的资源缓存装置的示意图，如图7所示，根据本发明实施例的资源缓存装置包括：获取模块70、第一确定模块72、第一通知模块74。下面，对本发明实施例的资源缓存装置进行详细说明。需要说明的是，在本发明实施例中，资源缓存装置可以为调度服务器。
具体地，获取模块70用于每隔第一预定时间(例如，10秒)从数据库获取资源的访问热度值，并在判断访问热度值达到预先设置的第一阈值的情况下，从数据库获取缓存服务器的负载值；在本发明的实施例中，从数据库获取的缓存服务器的负载值可以不包括当前本身就缓存有该资源的缓存服务器。
第一确定模块72根据访问热度值以及负载值确定复制资源的复制缓存服务器；具体地，第一确定模块72中还包括：确定子模块、排序模块、选择模块。
其中，确定子模块根据访问热度值确定单位时间内资源的下载次数的级别；排序模块根据负载值将除保存有资源的缓存服务器之外的所有缓存服务器顺序排序，得到排序结果；选择模块根据下载次数的级别确定需要复制缓存服务器的数量，并根据该数量从排序结果中选择负载值低于预先设置的第二阈值的缓存服务器作为复制缓存服务器。具体地，根据下载次数的级别确定需要复制缓存服务器的数量包括：单位时间内该资源的下载次数越多，单位时间内下载次数的级别越高，选择的缓存服务器的个数就越多。
在第一确定模块72确定复制资源的复制缓存服务器之后，第一通知模块74通知复制缓存服务器从保存有资源的缓存服务器中复制资源并缓存。
从上述处理可以看出，本发明实施例采用的技术方案摒弃了热点资源访问只能由单台缓存服务器负担的做法。自动将热点数据复制到多台空闲缓存服务器，可使多台缓存服务器共同提供负载，能够对缓存服务器资源进行充分地利用。并且，在一个甚至多个缓存服务器出现故障时，为用户提供热点资源的服务不会中断，由于多台缓存服务器共同提供服务，可以减少出口带宽的压力，防止出口带宽压力突增，提高了***的可靠性和可扩展性。
在用户下载该资源后，如果该资源的下载次数减少，需要对该资源所占用的空间进行回收，在资源空间回收过程中，***会根据该资源的访问热度确定该资源需要保留的份数，随后，根据确定的需要保留的份数，以及根据各个缓存服务器的负载值将负载值比较高的缓存服务器中的资源删除。达到优化***资源的目的。
具体地，资源缓存装置还包括：第二确定模块、第二通知模块、第一接收模块、更新模块。
其中，当保存有资源的缓存服务器的访问热度值低于第一阈值时，第二确定模块在缓存有资源的缓存服务器中确定至少一个缓存服务器；具体地，第二确定模块根据热点资源的访问热度值确定热点资源在单位时间内的下载次数，根据单位时间内的下载次数确定热点资源下载次数的级别，并根据该级别确定热点资源保存复制的份数；随后，第二确定模块根据缓存有热点资源的所有缓存服务器的负载值以及热点资源保存复制的份数确定至少一个负载高于预先设置的第三阈值的缓存有热点资源的缓存服务器。
随后，第二通知模块通知确定的缓存服务器在无用户下载该资源后，删除资源；缓存服务器在无用户下载该资源后，将热点资源删除，并向调度服务器的第一接收模块返回删除完成消息，第一接收模块接收缓存服务器发送的删除完成消息；更新模块用于将删除完成消息写入数据库，并更新数据库中资源的复制信息。
从上述处理可以看出，通过热点资源空间回收机制可以提高存储空间利用率，确保存储空间不被浪费。实现资源缓存***的负载分流、存储空间自动清理。
根据本发明的实施例，提供了一种资源获取装置，图8是本发明实施例的资源获取装置的示意图，如图8所示，根据本发明实施例的资源获取装置包括：第二接收模块80、第三确定模块81、第三接收模块82、第四确定模块83、第三通知模块84。下面，对本发明实施例的资源获取装置进行详细的说明。需要说明的是，本发明实施例中的资源获取装置为调度服务器。
具体地，首先，用户向源站服务器发送资源下载请求，资源缓存***的检测服务器获取用户向源站服务器发送的资源下载请求，并向调度服务器发送资源查询请求，调度服务器的第二接收模块80接收资源查询请求；随后，第三确定模块81根据所述资源查询请求向所述数据库查询并确定用户请求下载的资源已缓存；在数据库判断该资源已经缓存后，确定该资源缓存在哪些缓存服务器中，并将所有缓存该资源的缓存服务器的信息发送到调度服务器，调度服务器的第三接收模块82接收所述数据库发送的缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值；随后，第四确定模块83根据缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值选择目标下载缓存服务器；第三通知模块84将该目标下载缓存服务器的信息通知重定向服务器，重定向服务器将用户的资源下载请求重定向到该目标下载缓存服务器，随后，用户就可以连接至该目标下载缓存服务器，并从该目标下载缓存服务器中下载该资源。
通过上述处理，用户可以从***中多台缓存服务器中下载资源，在其中一台缓存服务器出现故障的情况下，可以从其他缓存有该资源的缓存服务器中下载，提高了用户下载资源的效率和速度。
根据本发明的实施例，提供一种资源缓存***，图9是本发明实施例的资源缓存***的示意图，如图9所示，根据本发明实施例的资源缓存***包括：数据库90、调度服务器92、缓存服务器94。下面，对本发明实施例的资源缓存***进行详细说明。
具体地，调度服务器92每隔第一预定时间(例如，10秒)从数据库90获取资源的访问热度值，并判断访问热度值是否达到预先设置的第一阈值，在确定访问热度值达到预先设置的第一阈值的情况下，从数据库90获取各个缓存服务器94的负载值；随后，调度服务器92根据访问热度值以及负载值确定至少一个复制该资源的缓存服务器94；在调度服务器92的控制下，至少一个缓存服务器94从保存有该资源的缓存服务器中复制该资源并缓存。其中，数据库90用于存储资源的访问热度值以及缓存服务器94的负载值。在本发明实施例中，数据库90还可以用于保存所有资源的复制信息。
此外，本发明实施例还可以包括：检测服务器和重定向服务器，其中，检测服务器用于获取用户向源站服务器发送的资源下载请求，并在获取了资源下载请求后，向调度服务器92发送资源查询请求；重定向服务器用于在调度服务器92确定了为用户提供服务的目标下载缓存服务器后，在调度服务器92的控制下，将用户的资源下载请求重定向到目标下载缓存服务器，用户就可以从目标下载缓存服务器下载请求的资源。
从上述处理可以看出，通过资源缓存***的热点资源复制机制，实现资源缓存***服务器负载分流，使得热点资源的访问不会造成***瓶颈。
下面，对本发明实施例中用户请求下载未缓存资源的情况、用户请求下载已缓存资源的情况、以及资源空间回收机制的处理过程进行详细说明。
首先，对用户请求下载未缓存资源情况下的处理过程进行说明。
用户向源站服务器发送资源下载请求，资源缓存***的检测服务器获取用户向源站服务器发送的资源下载请求，并向调度服务器92发送资源查询请求。调度服务器92根据资源查询请求向其数据库90查询该资源是否已经缓存在资源缓存***的缓存服务器94中，并指示数据库90将该资源的访问热度值+1。随后，数据库90查询该资源是否已经缓存，并更新该资源的访问热度值。由于数据库90查询到该资源没有缓存，因此，数据库90向调度服务器92发送未缓存响应消息。调度服务器92接收到未缓存响应消息后，向重定向服务器转发未缓存响应消息，由于该资源未缓存在资源缓存***中，因此，重定向服务器不需要进行重定向操作，用户依然从源站服务器(外网)下载该资源。在用户下载完成后，源站服务器向用户发送下载完成消息；随着用户下载次数的增多，资源缓存***会将用户下载次数较多的资源下载到一台缓存服务器94中，以后的用户从该缓存服务器中下载该资源。
随后，调度服务器92向数据库90查询该资源的访问热度值；数据库90返回该资源的访问热度值；调度服务器92根据获取的访问热度值判断是否达到预先设置的第一阈值，即，判断用户是否从缓存有该资源的缓存服务器中大量下载该资源，在下面的描述中，将上述情况下的资源成为热点资源，如果调度服务器92判断访问热度值未达到预先设置的第一阈值，则不进行任何操作，如果确定访问热度值达到第一阈值，则向数据库90查询各缓存服务器94(不包括已缓存该资源的缓存服务器)的负载值；其中，所有缓存服务器94每隔一定时间就会将自己的负载值写入数据库90，以供调度服务器92的查询，例如，所有缓存服务器94每隔5秒将自己的负载值写入数据库90；
在上述过程中，调度服务器92判断访问热度值是否达到预先设置的阈值具体包括如下处理：1、调度服务器92每隔一定时间从数据库90获取该资源的访问热度值，其中，该资源的访问热度值可以根据预定算法确定，例如，根据该资源的下载次数及该资源每次下载的下载时间确定该资源的访问热度值；2、调度服务器92根据下载次数及下载时间计算单位时间内该资源的下载次数，并根据单位时间内该资源的下载次数判断访问热度值是否达到预先设置的第一阈值。
随后，数据库90向调度服务器92返回除已缓存该资源的缓存服务器之外各缓存服务器94的负载值；调度服务器92根据该资源的访问热度值以及除已缓存该资源的缓存服务器之外各缓存服务器94的负载值确定除已缓存该资源的缓存服务器之外至少一个复制该资源的复制缓存服务器94；也就是说，调度服务器92根据访问热度值和负载值选择负载较低的服务器复制该资源。
具体地，调度服务器92选择负载较低的服务器具体包括如下处理：1、调度服务器92首先根据该资源的访问热度值确定单位时间内该资源的下载次数，并根据单位时间内该资源的下载次数确定单位时间内该资源下载次数的级别；2、调度服务器92根据负载值将除保存有该资源的缓存服务器之外的所有缓存服务器94顺序排序，得到排序结果；3、调度服务器92根据下载次数的级别确定需要复制缓存服务器的数量，并根据该数量从排序结果中选择负载值低于预先设置的第二阈值的缓存服务器94作为复制缓存服务器。具体地，根据下载次数的级别确定需要复制缓存服务器的数量包括：单位时间内该资源的下载次数越多，单位时间内下载次数的级别越高，选择的缓存服务器94的个数就越多。
随后，至少一个复制缓存服务器94从保存有该资源的缓存服务器中复制该资源并缓存；保存有该资源的缓存服务器向完成复制的至少一个复制缓存服务器94发送复制完成通知；至少一个复制缓存服务器94向调度服务器92发送复制完成通知；调度服务器92取至少一个复制缓存服务器94发送的复制完成通知。随后，调度服务器92将复制完成通知、以及该资源的复制信息写入数据库90，在以后用户下载该资源时，数据库90可以根据该资源的复制信息查询该资源的缓存在哪几台缓存服务器94中。
从上述处理可以看出，本发明实施例采用的技术方案摒弃了热点资源访问只能由单台缓存服务器负担的做法。自动将热点数据复制到多台空闲缓存服务器，既可使多台缓存服务器共同提供负载，又提高了***的可靠性和可扩展性。此外，通过热点资源的复制机制，热点数据的并发访问可以由多个缓存服务器分担，能够对缓存服务器资源进行充分地利用。并且，在一个甚至多个缓存服务器出现故障时，为用户提供热点资源的服务不会中断；此外，由于多台缓存服务器共同提供服务，可以减少出口带宽的压力，防止出口带宽压力突增。
下面，对用户请求下载已缓存资源情况下的处理进行详细说明。
具体地，用户向源站服务器发送资源下载请求；资源缓存***的检测服务器获取用户向源站服务器发送的资源下载请求，并向调度服务器92发送资源查询请求；调度服务器92根据资源查询请求向其数据库90查询该资源是否已经缓存在资源缓存***的缓存服务器94中，随后，调度服务器92指示数据库90将该资源的访问热度值+1，即，更新资源的访问热度值；数据库90根据该资源的复制信息查询该资源是否已经缓存，并更新该资源的访问热度值。数据库90在判断该资源已经缓存后，确定该资源缓存在哪些缓存服务器94中，并将所有缓存该资源的缓存服务器94的信息发送到调度服务器92；调度服务器92向数据库90查询所有缓存该资源的缓存服务器94的负载值；数据库90向调度服务器92反馈所有缓存该资源的缓存服务器94的负载值；调度服务器92选择缓存有该资源的所有缓存服务器94中负载值最低的缓存服务器作为目标下载缓存服务器，调度服务器92将该目标下载缓存服务器94的信息通知重定向服务器；重定向服务器将用户的资源下载请求重定向到该目标下载缓存服务器94；用户连接至该目标下载缓存服务器94，并从该目标下载缓存服务器94中下载该资源。
从上述处理可以看出，通过热点资源访问多节点分流技术满足用户对热点数据访问需求，能够解决热点资源访问造成的***瓶颈问题，最大程度提高了缓存服务器94的利用率，具有高可扩展性和高可靠性。
下面，对热点资源空间回收机制的处理过程进行详细说明。
具体地，调度服务器92每隔一定时间从数据库90获取资源的复制信息以及资源的访问热度值，在本发明实施例中，该资源为一个或多个热点资源。数据库90向调度服务器92返回热点资源的访问热度值；调度服务器92判断热点资源的访问热度值是否达到预先设置的阈值，如果达到预先设置的阈值，则不进行任何处理，如果热点资源的访问热度值未达到预先设置的阈值，调度服务器92向数据库90查询缓存有热点资源的缓存服务器94的负载值；数据库90根据热点资源的复制信息查询缓存有该热点资源的所有复制缓存服务器94，并将缓存有该热点资源的所有复制缓存服务器94的负载值及该热点资源的访问热度值发送到调度服务器92；随后，调度服务器92根据热点资源的访问热度值(即，下载时间及下载次数)确定热点资源在单位时间内的下载次数，根据单位时间内的下载次数确定热点资源下载次数的级别，并根据该级别确定热点资源保存复制的份数；随后，调度服务器92根据缓存有热点资源的缓存服务器94的负载值以及热点资源保存复制的份数确定需要删除热点资源的至少一个负载值高于预先设置的第三阈值的缓存有热点资源的缓存服务器94，随后，调度服务器92不再将之后用户发送的资源下载请求调度到确定的负载值高于预先设置的第三阈值的缓存服务器上，并通知确定的至少一个负载值高于预先设置的第三阈值的缓存服务器在无用户下载该资源后，删除该资源；即，优先删除负载相对高的缓存服务器94上的热点资源。至少一个负载值高于预先设置的第三阈值的缓存服务器94在无用户下载该资源后，将热点资源删除，并向调度服务器92返回删除完成消息；调度服务器92将删除完成消息写入数据库90，并更新数据库90中的热点资源的复制信息。
从上述处理可以看出，通过热点资源空间回收机制可以提高存储空间利用率，确保存储空间不被浪费。实现资源缓存***的负载分流、存储空间自动清理。
下面，对本发明实施例的资源缓存***为P2P缓存***的情况进行说明。图10是本发明实施例的P2P缓存***的结构示意图，如图10所示，P2P缓存***包括：用户1，用户2，…，用户n，缓存服务器1，缓存服务器2，缓存服务器3，缓存服务器4。
如上所述，调度服务器92判断存储在缓存服务器4的资源P为热点资源，并计算P的访问热度值，决定将资源P复制2份到两台缓存服务器94，即，缓存服务器1和缓存服务器2，优选地，优先向空闲缓存服务器94复制。调度服务器92发出指令让缓存服务器1和缓存服务器2将资源P复制到本地。缓存服务器1和缓存服务器2复制完成后，通过通知数据库的方式通知调度服务器92，同时通告调度服务器92哪些服务器可为用户提供该缓存资源。此后，调度服务器92便可根据调度算法调度可以访问此资源的缓存服务器1、缓存服务器2、缓存服务器4为用户提供服务。当热点值改变到阈值时，调度服务器会根据缓存服务器1、缓存服务器2、缓存服务器4的状态减少适量的热点文件副本，不会造成资源浪费。
使用本机磁盘作为存储，通过调度服务器92计算统计热点资源并控制复制方向，各个含有相同热点资源的缓存服务器94共同提供访问，可满足P2P缓存***大用户量的应用，尤其适用于有较多热点资源的场景。
图11是本发明实施例的对资源分类存储的***结构示意图，如图11所示，包括用户1、用户2、用户3，调度服务器、通用缓存服务器、媒体资源缓存服务器、Exe资源缓存服务器、Iso资源缓存服务器。
调度服务器通过热点调度算法将通用服务器中的热点文件，按照文件类型，复制到优化过的不同性能的专用缓存服务器中，由专用缓存服务器对用户提供高性能的数据传输，充分利用不同性能服务器的资源，以此提高整个缓存***性能。
上述***构架可以应用于原有***的扩充，将不同性能的服务器充分利用，节省整体成本。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
综上所述，借助于本发明的技术方案，通过将热点资源判断机制用于缓存***中，复制热点资源到多台缓存服务器中，以实现访问负载分流。通过调度服务器实现各个缓存服务器之间的调度，使得多个缓存服务器共同提供服务，从而提高了缓存***的可扩展性和效率。在一个甚至多个缓存服务器出现故障时，为用户提供热点资源的服务不会中断；此外，由于多台缓存服务器共同提供服务，可以减少出口带宽的压力，防止出口带宽压力突增，最大程度提高了缓存服务器的利用率。通过热点资源空间回收机制可以提高存储空间利用率，确保存储空间不被浪费。实现资源缓存***的负载分流、存储空间自动清理。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1、一种资源缓存方法，其特征在于，包括：
每隔第一预定时间从数据库获取资源的访问热度值，并在判断所述访问热度值达到预先设置的第一阈值的情况下，从所述数据库获取缓存服务器的负载值；
根据所述访问热度值以及所述负载值确定复制所述资源的复制缓存服务器，并通知所述复制缓存服务器从保存有所述资源的缓存服务器中复制所述资源并缓存。
2、根据权利要求1所述的方法，其特征在于，所述根据所述访问热度值以及所述负载值确定所述复制缓存服务器包括：
根据所述访问热度值确定单位时间内所述资源的下载次数的级别；
根据所述负载值将除保存有所述资源的缓存服务器之外的所有缓存服务器顺序排序，得到排序结果；
根据所述下载次数的级别确定需要所述复制缓存服务器的数量，并根据所述数量从所述排序结果中选择负载值低于预先设置的第二阈值的缓存服务器作为所述复制缓存服务器。
3、根据权利要求1所述的方法，其特征在于，还包括：
获取所述复制缓存服务器发送的复制完成通知，将所述复制完成通知以及复制信息写入所述数据库，其中，所述复制信息为缓存有所述资源的复制缓存服务器的信息。
4、根据权利要求3所述的方法，其特征在于，还包括：
当保存有所述资源的缓存服务器的访问热度值低于所述第一阈值时，在缓存有所述资源的缓存服务器中确定至少一个缓存服务器，并通知所述确定的缓存服务器删除所述资源；
接收所述缓存服务器发送的删除完成消息，将所述删除完成消息写入所述数据库，并更新所述数据库中所述资源的复制信息。
5、一种资源获取方法，其特征在于，包括：
接收资源查询请求，向数据库查询所请求的资源是否有缓存；
接收所述数据库发送的缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值；
根据缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值选择目标下载缓存服务器；
通知所述用户从所述目标下载缓存服务器中下载所述资源。
6、根据权利要求5所述的方法，其特征在于，所述根据缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值选择目标下载缓存服务器包括：
选择缓存有所述资源的所有缓存服务器中负载值最低的缓存服务器作为目标下载缓存服务器。
7、一种资源缓存装置，其特征在于，包括：
获取模块，用于每隔第一预定时间从数据库获取资源的访问热度值，并在判断所述访问热度值达到预先设置的第一阈值的情况下，从所述数据库获取缓存服务器的负载值；
第一确定模块，用于根据所述访问热度值以及所述负载值确定复制所述资源的复制缓存服务器；
第一通知模块，用于通知所述复制缓存服务器从保存有所述资源的缓存服务器中复制所述资源并缓存。
8、根据权利要求7所述的装置，其特征在于，所述第一确定模块具体包括：
确定子模块，用于根据所述访问热度值确定单位时间内所述资源的下载次数的级别；
排序模块，用于根据所述负载值将除保存有所述资源的缓存服务器之外的所有缓存服务器顺序排序，得到排序结果；
选择模块，用于根据所述下载次数的级别确定需要所述复制缓存服务器的数量，并根据所述数量从所述排序结果中选择负载值低于预先设置的第二阈值的缓存服务器作为所述复制缓存服务器。
9、根据权利要求7所述的装置，其特征在于，所述资源缓存装置还包括：
第二确定模块，用于当保存有所述资源的缓存服务器的访问热度值低于所述第一阈值时，在缓存有所述资源的缓存服务器中确定至少一个缓存服务器；
第二通知模块，用于通知所述确定的缓存服务器删除所述资源；
第一接收模块，用于接收所述确定的缓存服务器发送的删除完成消息；
更新模块，用于将所述删除完成消息写入所述数据库，并更新所述数据库中所述资源的复制信息。
10、一种资源获取装置，其特征在于，包括：
第二接收模块，用于接收资源查询请求；
第三确定模块，用于根据所述资源查询请求向数据库查询所请求的资源是否有缓存；
第三接收模块，用于接收所述数据库发送的缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值；
第四确定模块，用于根据缓存有所述资源的所有缓存服务器的信息以及缓存有所述资源的所有缓存服务器的负载值选择目标下载缓存服务器；
第三通知模块，用于通知所述用户从所述目标下载缓存服务器中下载所述资源。
11、一种资源缓存***，其特征在于，包括：
数据库，用于存储资源的访问热度值以及缓存服务器的负载值；
调度服务器，用于每隔第一预定时间从数据库获取资源的访问热度值，并在判断所述访问热度值达到预先设置的第一阈值的情况下，从所述数据库获取缓存服务器的负载值，根据所述访问热度值以及所述负载值确定复制所述资源的复制缓存服务器，并通知所述复制缓存服务器从保存有所述资源的缓存服务器中复制所述资源；
缓存服务器，用于在所述调度服务器的控制下从保存有所述资源的缓存服务器中复制所述资源并缓存。
CN2009102072319A 2009-10-13 2009-10-13 资源缓存方法及其装置、*** Active CN101668046B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2009102072319A CN101668046B (zh) 2009-10-13 2009-10-13 资源缓存方法及其装置、***
PCT/CN2010/077639 WO2011044829A1 (zh) 2009-10-13 2010-10-11 资源缓存方法、资源获取方法及其装置、***
US13/446,777 US9503518B2 (en) 2009-10-13 2012-04-13 Method and apparatus for buffering and obtaining resources, resource buffering system
US15/204,816 US9882975B2 (en) 2009-10-13 2016-07-07 Method and apparatus for buffering and obtaining resources, resource buffering system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102072319A CN101668046B (zh) 2009-10-13 2009-10-13 资源缓存方法及其装置、***

Publications (2)

Publication Number Publication Date
CN101668046A true CN101668046A (zh) 2010-03-10
CN101668046B CN101668046B (zh) 2012-12-19

Family

ID=41804485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102072319A Active CN101668046B (zh) 2009-10-13 2009-10-13 资源缓存方法及其装置、***

Country Status (3)

Country Link
US (2) US9503518B2 (zh)
CN (1) CN101668046B (zh)
WO (1) WO2011044829A1 (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006330A (zh) * 2010-12-01 2011-04-06 北京瑞信在线***技术有限公司 分布式缓存***、数据的缓存方法及缓存数据的查询方法
WO2011044829A1 (zh) * 2009-10-13 2011-04-21 成都市华为赛门铁克科技有限公司 资源缓存方法、资源获取方法及其装置、***
CN102096556A (zh) * 2010-12-03 2011-06-15 成都市华为赛门铁克科技有限公司 拷贝数据的方法、读取数据的方法和装置及***
CN102137283A (zh) * 2010-06-10 2011-07-27 华为软件技术有限公司 应用的上线部署方法及其装置与***
CN102263822A (zh) * 2011-07-22 2011-11-30 北京星网锐捷网络技术有限公司 一种分布式缓存的控制方法、***及装置
CN102333130A (zh) * 2011-10-31 2012-01-25 北京蓝汛通信技术有限责任公司 一种访问缓存服务器的方法、***及缓存智能调度器
CN102651861A (zh) * 2011-02-24 2012-08-29 腾讯科技（深圳）有限公司 用于移动终端的下载方法、移动终端和代理下载服务器
CN102761572A (zh) * 2011-04-28 2012-10-31 腾讯科技（深圳）有限公司 动态调整数据流量的方法及***
WO2013071726A1 (zh) * 2011-11-18 2013-05-23 华为技术有限公司 数据预热方法及装置
CN103236989A (zh) * 2013-04-25 2013-08-07 青岛海信传媒网络技术有限公司 一种内容分发网络中的缓存控制方法、设备及***
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN103595782A (zh) * 2013-11-11 2014-02-19 中安消技术有限公司 一种分布式存储***及其下载文件的方法
CN103812881A (zh) * 2012-11-06 2014-05-21 腾讯科技（深圳）有限公司 离线下载控制方法及装置
CN104168299A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 资源处理***和资源处理方法
CN104298691A (zh) * 2013-07-19 2015-01-21 国际商业机器公司 用于评估数据库索引的效率的方法和装置
CN104735110A (zh) * 2013-12-23 2015-06-24 中国电信股份有限公司 元数据管理方法和***
CN104811392A (zh) * 2014-01-26 2015-07-29 国际商业机器公司 用于处理网络中的资源访问请求的方法和***
WO2015131310A1 (zh) * 2014-03-03 2015-09-11 华为技术有限公司 提供数据服务的方法和网络设备
CN104994152A (zh) * 2015-06-30 2015-10-21 中国科学院计算技术研究所 一种Web协同缓存***和方法
CN105550338A (zh) * 2015-12-23 2016-05-04 北京大学 一种基于HTML5应用缓存的移动Web缓存优化方法
WO2016082205A1 (zh) * 2014-11-28 2016-06-02 华为技术有限公司 一种多级缓存的功耗控制方法、装置及设备
WO2016095470A1 (zh) * 2014-12-17 2016-06-23 中兴通讯股份有限公司 一种实现数据推送的方法和gslb
CN105791427A (zh) * 2016-04-22 2016-07-20 百度在线网络技术（北京）有限公司 资源热度补充方法、装置和***
CN106020945A (zh) * 2016-05-04 2016-10-12 腾讯科技（深圳）有限公司 快捷项添加方法及装置
CN106407244A (zh) * 2016-06-21 2017-02-15 平安科技（深圳）有限公司 基于多数据库的数据查询方法、***和装置
CN106411978A (zh) * 2015-07-31 2017-02-15 华为技术有限公司 一种资源缓存方法及装置
WO2017025052A1 (zh) * 2015-08-12 2017-02-16 中兴通讯股份有限公司 资源缓存方法及装置
CN106502789A (zh) * 2016-10-12 2017-03-15 阔地教育科技有限公司 一种资源访问方法及装置
CN107180043A (zh) * 2016-03-09 2017-09-19 北京京东尚科信息技术有限公司 分页实现方法和分页***
CN107517241A (zh) * 2016-06-16 2017-12-26 中兴通讯股份有限公司 请求调度方法及装置
CN107707597A (zh) * 2017-04-26 2018-02-16 贵州白山云科技有限公司 一种突发热点访问均衡处理方法及装置
CN108574714A (zh) * 2017-03-14 2018-09-25 南方银谷科技有限公司 互联网资源获取方法、装置及互联网缓存***
CN109246229A (zh) * 2018-09-28 2019-01-18 网宿科技股份有限公司 一种分发资源获取请求的方法和装置
CN109672900A (zh) * 2018-12-05 2019-04-23 北京奇艺世纪科技有限公司 一种热点内容列表的生成方法及装置
CN110149394A (zh) * 2019-05-20 2019-08-20 典基网络科技(上海)有限公司 ***资源的调度方法、装置和存储介质
CN110233892A (zh) * 2019-06-12 2019-09-13 湖南快乐阳光互动娱乐传媒有限公司 Cdn热点资源处理方法、***及全局热片调度***
CN110620823A (zh) * 2014-01-24 2019-12-27 北京三星通信技术研究有限公司 基于缓存的数据传输方法及装置
CN111010603A (zh) * 2019-12-18 2020-04-14 浙江大华技术股份有限公司 一种视频缓存转发处理方法及装置
CN111800486A (zh) * 2020-06-22 2020-10-20 山东大学 一种云边协同的资源调度方法及***
CN111984889A (zh) * 2020-02-21 2020-11-24 广东三维家信息科技有限公司 缓存方法及***
CN112187950A (zh) * 2020-10-10 2021-01-05 深圳市智百威科技发展有限公司 一种解决远程数据访问慢的方法
CN114124969A (zh) * 2021-11-25 2022-03-01 广州市昊链信息科技股份有限公司 一种数据复制方法、装置、设备以及存储介质
CN118018796A (zh) * 2024-04-09 2024-05-10 江西软件职业技术大学 视频传输方法、***、可读存储介质及计算机

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129667A1 (en) * 2011-06-14 2014-05-08 Nec Corporation Content delivery system, controller and content delivery method
CN102955764B (zh) * 2011-08-23 2015-01-14 北京中文在线数字出版股份有限公司 一种数字图书提供方法及装置
KR20130064906A (ko) * 2011-12-09 2013-06-19 삼성전자주식회사 통신 시스템에서의 부하 균등화를 위한 방법 및 장치
WO2013097076A1 (zh) * 2011-12-26 2013-07-04 华为技术有限公司 一种缓存管理方法及设备
EP2860637B1 (en) * 2012-06-11 2017-04-26 Murakumo Corporation Information processing system, method, and program
KR20150039524A (ko) * 2013-10-02 2015-04-10 삼성전자주식회사 클라우드 시스템, 클라우드 시스템 제어 방법, 관리 서버 및 그 제어 방법
US9535837B2 (en) * 2013-11-19 2017-01-03 Alcatel-Lucent Usa Inc. Decentralized online cache management for digital content conveyed over shared network connections based on cache fullness and cache eviction policies
CN103581336B (zh) * 2013-11-20 2017-01-11 中国联合网络通信集团有限公司 基于云计算平台的业务流程调度方法及***
CN105868045A (zh) * 2015-01-21 2016-08-17 ***通信集团陕西有限公司 一种数据缓存方法及装置
CN104935654B (zh) * 2015-06-10 2018-08-21 华为技术有限公司 一种服务器集群***中的缓存方法、写入点客户端和读客户端
CN105335517A (zh) * 2015-11-06 2016-02-17 努比亚技术有限公司 选择热度多媒体的方法及终端
CN106790324B (zh) * 2015-11-20 2020-06-16 华为技术有限公司 内容分发方法、虚拟服务器管理方法、云平台和***
CN109151512A (zh) * 2018-09-12 2019-01-04 中国联合网络通信集团有限公司 Cdn网络中获取内容的方法及装置
CN109922008B (zh) * 2019-03-21 2022-06-21 新华三信息安全技术有限公司 一种报文发送方法及装置
CN110032421B (zh) * 2019-04-18 2021-09-28 腾讯科技（深圳）有限公司 内存中图集的管理方法、装置、终端及存储介质
CN111327622B (zh) * 2020-02-27 2023-02-28 典基网络科技(上海)有限公司 一种资源调度方法及***
US20230171099A1 (en) * 2021-11-27 2023-06-01 Oracle International Corporation Methods, systems, and computer readable media for sharing key identification and public certificate data for access token verification

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438652B1 (en) * 1998-10-09 2002-08-20 International Business Machines Corporation Load balancing cooperating cache servers by shifting forwarded request
US6088721A (en) * 1998-10-20 2000-07-11 Lucent Technologies, Inc. Efficient unified replication and caching protocol
US7689637B1 (en) 2000-05-04 2010-03-30 Koninklijke Philips Electronics N.V. Adaptive filtering method and related device
US6771706B2 (en) 2001-03-23 2004-08-03 Qualcomm Incorporated Method and apparatus for utilizing channel state information in a wireless communication system
US20030063750A1 (en) * 2001-09-26 2003-04-03 Alexander Medvinsky Unique on-line provisioning of user terminals allowing user authentication
US8255989B2 (en) * 2001-09-26 2012-08-28 General Instrument Corporation Access control and key management system for streaming media
US20030059053A1 (en) * 2001-09-26 2003-03-27 General Instrument Corporation Motorola, Inc. Key management interface to multiple and simultaneous protocols
US7237108B2 (en) * 2001-09-26 2007-06-26 General Instrument Corporation Encryption of streaming control protocols and their headers
US7243366B2 (en) * 2001-11-15 2007-07-10 General Instrument Corporation Key management protocol and authentication system for secure internet protocol rights management architecture
CA2399159A1 (en) 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
CN1235157C (zh) * 2002-10-10 2006-01-04 华为技术有限公司 面向内容的负载均衡方法
EP1414164A1 (en) 2002-10-25 2004-04-28 Alcatel Method for cross-talk cancellation
US7254636B1 (en) * 2003-03-14 2007-08-07 Cisco Technology, Inc. Method and apparatus for transparent distributed network-attached storage with web cache communication protocol/anycast and file handle redundancy
US7350046B2 (en) * 2004-04-02 2008-03-25 Seagate Technology Llc Managed reliability storage system and method monitoring storage conditions
CN100442724C (zh) 2005-09-16 2008-12-10 华为技术有限公司 多用户通讯线路串扰测试方法及设备
US8140695B2 (en) 2005-12-12 2012-03-20 International Business Machines Corporation Load balancing and failover of distributed media resources in a media server
US8171251B2 (en) 2006-03-16 2012-05-01 Sandisk Il Ltd. Data storage management method and device
CN101018213A (zh) * 2007-02-06 2007-08-15 华为技术有限公司 文件资源服务的方法及***
US8417816B2 (en) * 2009-02-20 2013-04-09 Alcatel Lucent Topology aware cache cooperation
CN101668046B (zh) * 2009-10-13 2012-12-19 成都市华为赛门铁克科技有限公司 资源缓存方法及其装置、***

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011044829A1 (zh) * 2009-10-13 2011-04-21 成都市华为赛门铁克科技有限公司 资源缓存方法、资源获取方法及其装置、***
US9503518B2 (en) 2009-10-13 2016-11-22 Huawei Digital Technologies (Cheng Du) Co. Limited. Method and apparatus for buffering and obtaining resources, resource buffering system
US9882975B2 (en) 2009-10-13 2018-01-30 Huawei Digital Technologies (Cheng Du) Co., Limited Method and apparatus for buffering and obtaining resources, resource buffering system
CN102137283B (zh) * 2010-06-10 2014-10-08 华为软件技术有限公司 应用的上线部署方法及其装置与***
CN102137283A (zh) * 2010-06-10 2011-07-27 华为软件技术有限公司 应用的上线部署方法及其装置与***
CN102006330B (zh) * 2010-12-01 2013-06-12 北京瑞信在线***技术有限公司 分布式缓存***、数据的缓存方法及缓存数据的查询方法
CN102006330A (zh) * 2010-12-01 2011-04-06 北京瑞信在线***技术有限公司 分布式缓存***、数据的缓存方法及缓存数据的查询方法
CN102096556A (zh) * 2010-12-03 2011-06-15 成都市华为赛门铁克科技有限公司 拷贝数据的方法、读取数据的方法和装置及***
WO2012071950A1 (zh) * 2010-12-03 2012-06-07 成都市华为赛门铁克科技有限公司 拷贝数据的方法、读取数据的方法和装置及***
WO2012113262A1 (zh) * 2011-02-24 2012-08-30 腾讯科技（深圳）有限公司 用于移动终端的下载方法、***和设备
CN102651861A (zh) * 2011-02-24 2012-08-29 腾讯科技（深圳）有限公司 用于移动终端的下载方法、移动终端和代理下载服务器
CN102651861B (zh) * 2011-02-24 2014-08-20 腾讯科技（深圳）有限公司 用于移动终端的下载方法、移动终端和代理下载服务器
US20130346552A1 (en) * 2011-02-24 2013-12-26 Tencent Technology (Shenzhen) Company Limited Download method, system, and device for mobile terminal
CN102761572A (zh) * 2011-04-28 2012-10-31 腾讯科技（深圳）有限公司 动态调整数据流量的方法及***
CN102761572B (zh) * 2011-04-28 2016-07-27 腾讯科技（深圳）有限公司 动态调整数据流量的方法及***
CN102263822B (zh) * 2011-07-22 2014-01-22 北京星网锐捷网络技术有限公司 一种分布式缓存的控制方法、***及装置
CN102263822A (zh) * 2011-07-22 2011-11-30 北京星网锐捷网络技术有限公司 一种分布式缓存的控制方法、***及装置
CN102333130A (zh) * 2011-10-31 2012-01-25 北京蓝汛通信技术有限责任公司 一种访问缓存服务器的方法、***及缓存智能调度器
US9569489B2 (en) 2011-11-18 2017-02-14 Huawei Technologies Co., Ltd. Method and apparatus for data preheating
WO2013071726A1 (zh) * 2011-11-18 2013-05-23 华为技术有限公司 数据预热方法及装置
CN103812881A (zh) * 2012-11-06 2014-05-21 腾讯科技（深圳）有限公司 离线下载控制方法及装置
CN103812881B (zh) * 2012-11-06 2018-06-22 腾讯科技（深圳）有限公司 离线下载控制方法及装置
CN103236989A (zh) * 2013-04-25 2013-08-07 青岛海信传媒网络技术有限公司 一种内容分发网络中的缓存控制方法、设备及***
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN104168299A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 资源处理***和资源处理方法
CN104298691B (zh) * 2013-07-19 2017-12-08 国际商业机器公司 用于评估数据库索引的效率的方法和装置
CN104298691A (zh) * 2013-07-19 2015-01-21 国际商业机器公司 用于评估数据库索引的效率的方法和装置
CN103595782A (zh) * 2013-11-11 2014-02-19 中安消技术有限公司 一种分布式存储***及其下载文件的方法
CN104735110B (zh) * 2013-12-23 2019-03-26 中国电信股份有限公司 元数据管理方法和***
CN104735110A (zh) * 2013-12-23 2015-06-24 中国电信股份有限公司 元数据管理方法和***
CN110620823A (zh) * 2014-01-24 2019-12-27 北京三星通信技术研究有限公司 基于缓存的数据传输方法及装置
CN104811392A (zh) * 2014-01-26 2015-07-29 国际商业机器公司 用于处理网络中的资源访问请求的方法和***
CN104811392B (zh) * 2014-01-26 2018-04-17 国际商业机器公司 用于处理网络中的资源访问请求的方法和***
CN105191259A (zh) * 2014-03-03 2015-12-23 华为技术有限公司 提供数据服务的方法和网络设备
CN105191259B (zh) * 2014-03-03 2019-09-13 华为技术有限公司 提供数据服务的方法和网络设备
WO2015131310A1 (zh) * 2014-03-03 2015-09-11 华为技术有限公司 提供数据服务的方法和网络设备
WO2016082205A1 (zh) * 2014-11-28 2016-06-02 华为技术有限公司 一种多级缓存的功耗控制方法、装置及设备
CN105763585A (zh) * 2014-12-17 2016-07-13 中兴通讯股份有限公司 一种实现数据推送的方法和gslb
WO2016095470A1 (zh) * 2014-12-17 2016-06-23 中兴通讯股份有限公司 一种实现数据推送的方法和gslb
CN104994152B (zh) * 2015-06-30 2018-11-09 中国科学院计算技术研究所 一种Web协同缓存***和方法
CN104994152A (zh) * 2015-06-30 2015-10-21 中国科学院计算技术研究所 一种Web协同缓存***和方法
CN106411978B (zh) * 2015-07-31 2020-01-21 华为技术有限公司 一种资源缓存方法及装置
CN106411978A (zh) * 2015-07-31 2017-02-15 华为技术有限公司 一种资源缓存方法及装置
WO2017025052A1 (zh) * 2015-08-12 2017-02-16 中兴通讯股份有限公司 资源缓存方法及装置
CN105550338B (zh) * 2015-12-23 2018-11-23 北京大学 一种基于HTML5应用缓存的移动Web缓存优化方法
CN105550338A (zh) * 2015-12-23 2016-05-04 北京大学 一种基于HTML5应用缓存的移动Web缓存优化方法
CN107180043A (zh) * 2016-03-09 2017-09-19 北京京东尚科信息技术有限公司 分页实现方法和分页***
CN105791427A (zh) * 2016-04-22 2016-07-20 百度在线网络技术（北京）有限公司 资源热度补充方法、装置和***
CN105791427B (zh) * 2016-04-22 2019-09-20 百度在线网络技术（北京）有限公司 资源热度补充方法、装置和***
CN106020945A (zh) * 2016-05-04 2016-10-12 腾讯科技（深圳）有限公司 快捷项添加方法及装置
CN107517243A (zh) * 2016-06-16 2017-12-26 中兴通讯股份有限公司 请求调度方法及装置
CN107517241A (zh) * 2016-06-16 2017-12-26 中兴通讯股份有限公司 请求调度方法及装置
CN106407244A (zh) * 2016-06-21 2017-02-15 平安科技（深圳）有限公司 基于多数据库的数据查询方法、***和装置
CN106502789A (zh) * 2016-10-12 2017-03-15 阔地教育科技有限公司 一种资源访问方法及装置
CN108574714A (zh) * 2017-03-14 2018-09-25 南方银谷科技有限公司 互联网资源获取方法、装置及互联网缓存***
CN107707597A (zh) * 2017-04-26 2018-02-16 贵州白山云科技有限公司 一种突发热点访问均衡处理方法及装置
CN109246229A (zh) * 2018-09-28 2019-01-18 网宿科技股份有限公司 一种分发资源获取请求的方法和装置
CN109672900B (zh) * 2018-12-05 2021-04-16 北京奇艺世纪科技有限公司 一种热点内容列表的生成方法及装置
CN109672900A (zh) * 2018-12-05 2019-04-23 北京奇艺世纪科技有限公司 一种热点内容列表的生成方法及装置
CN110149394A (zh) * 2019-05-20 2019-08-20 典基网络科技(上海)有限公司 ***资源的调度方法、装置和存储介质
CN110233892A (zh) * 2019-06-12 2019-09-13 湖南快乐阳光互动娱乐传媒有限公司 Cdn热点资源处理方法、***及全局热片调度***
CN111010603A (zh) * 2019-12-18 2020-04-14 浙江大华技术股份有限公司 一种视频缓存转发处理方法及装置
CN111984889A (zh) * 2020-02-21 2020-11-24 广东三维家信息科技有限公司 缓存方法及***
CN111800486A (zh) * 2020-06-22 2020-10-20 山东大学 一种云边协同的资源调度方法及***
CN111800486B (zh) * 2020-06-22 2021-09-17 山东大学 一种云边协同的资源调度方法及***
CN112187950A (zh) * 2020-10-10 2021-01-05 深圳市智百威科技发展有限公司 一种解决远程数据访问慢的方法
CN114124969A (zh) * 2021-11-25 2022-03-01 广州市昊链信息科技股份有限公司 一种数据复制方法、装置、设备以及存储介质
CN118018796A (zh) * 2024-04-09 2024-05-10 江西软件职业技术大学 视频传输方法、***、可读存储介质及计算机

Also Published As

Publication number Publication date
CN101668046B (zh) 2012-12-19
US9503518B2 (en) 2016-11-22
US9882975B2 (en) 2018-01-30
US20120203910A1 (en) 2012-08-09
US20160323369A1 (en) 2016-11-03
WO2011044829A1 (zh) 2011-04-21

Similar Documents

Publication Publication Date Title
CN101668046B (zh) 资源缓存方法及其装置、***
CN102523279B (zh) 一种分布式文件***及其热点文件存取方法
EP2718837B1 (en) Clustered file service
CN101645928B (zh) 内容资源缓存方法、装置及***
EP3891964B1 (en) Cache warming: agility for a stateful service
CN100411341C (zh) 一种并行下载方法和终端
KR20120072907A (ko) 오브젝트를 복수 개의 데이터 노드들의 위치에 기반하여 분산 저장하는 분산 저장 시스템 및 그 위치 기반 분산 저장 방법 및 컴퓨터에 의하여 독출 가능한 저장 매체
JP6963168B2 (ja) 情報処理装置、メモリ制御方法およびメモリ制御プログラム
US20150127766A1 (en) Method and node entity for enhancing content delivery network
US20100235409A1 (en) System and method for managing data stored in a data network
US20060123121A1 (en) System and method for service session management
CN106790324A (zh) 内容分发方法、虚拟服务器管理方法、云平台和***
CN102571772A (zh) 一种元数据服务器热点均衡方法
CN106603692B (zh) 一种分布式存储***中的数据存储方法及装置
CN111475483A (zh) 数据库迁移方法、装置及计算设备
CN111966482B (zh) 边缘计算***
US9298765B2 (en) Apparatus and method for handling partially inconsistent states among members of a cluster in an erratic storage network
CN106681656A (zh) 一种动态可调的云存储***容错方法
CN110324406A (zh) 一种获取业务数据的方法和云服务***
CN110740155A (zh) 分布式***中的请求处理方法及装置
CN107181773A (zh) 分布式存储***的数据存储及数据管理方法、设备
US20230376391A1 (en) Data ingestion replication and disaster recovery
US11010410B1 (en) Processing data groupings belonging to data grouping containers
CN107145303B (zh) 一种用于在分布式存储***中执行文件写入的方法与设备
JP7318899B2 (ja) 二次ストレージにコンテンツアイテムを格納するためのシステムおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

Free format text: FORMER NAME: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20220831

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

TR01 Transfer of patent right