CN102130959A - 一种实现云存储资源调度的***及方法 - Google Patents

一种实现云存储资源调度的***及方法 Download PDF

Info

Publication number
CN102130959A
CN102130959A CN2011100695717A CN201110069571A CN102130959A CN 102130959 A CN102130959 A CN 102130959A CN 2011100695717 A CN2011100695717 A CN 2011100695717A CN 201110069571 A CN201110069571 A CN 201110069571A CN 102130959 A CN102130959 A CN 102130959A
Authority
CN
China
Prior art keywords
server
information
storage
distributed cache
resource information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100695717A
Other languages
English (en)
Inventor
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN2011100695717A priority Critical patent/CN102130959A/zh
Publication of CN102130959A publication Critical patent/CN102130959A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明披露了一种实现云存储资源调度的***及方法，该***至少包括：多个存储服务器用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；分布式缓存服务器用于保存各个存储服务器反馈的存储资源信息。本发明采用分布式缓存内存对象的协议接口，将各个存储节点的资源信息组织成符合该协议接口的数据格式而及时快速地反馈，从而使得云存储***能够可靠地、合理地调度存储资源。

Description

一种实现云存储资源调度的***及方法
技术领域
本发明涉及云存储***，尤其涉及云存储资源调度的***及方法。
背景技术
云存储***是指通过集群应用、网格技术或分布式文件***等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个***。使用云存储，并不是使用某一个存储设备，而是使用整个云存储***带来的一种数据访问服务。云存储的核心是将应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。
云存储***的存储资源，可以由专属的存储服务器节点充当，但为了更好地实现“云”的概念，提倡一旦有多余的存储资源加到云端，便可被调度使用。所以，云存储***通常情况下对存储资源不做专属限制，可以是普通个人计算机中多余的存储资源，也可以是专属服务器中多余的存储资源。
云存储***架构大致可以分为资源反馈层、资源调度层以及服务代理层，其中，资源反馈层主要用于获取和记录各存储子节点的存储资源信息；资源调度层主要用于利用资源反馈层获取的存储服务器的资源信息进行资源查询、计算及调度，将相应的存储服务器资源分配给请求的用户使用；服务代理层则主要用于对用户的请求进行拆分，针对新用户则需要利用资源调度层分配相应的存储服务器资源，然后由相应的存储服务器进行响应用户请求；针对老用户的数据读写请求，根据资源调度层记录的资源信息将请求直接发送给相应存储服务器进行处理。在云存储***架构中，采用数据流与管理分离的策略实现对数据的访问和管理，这一点体现在最上层的服务代理层。
由于云存储***架构通过上述分层方式将数据流与管理进行分离，那么当***中有成千上万个存储节点时，各个存储节点需要及时反馈各自的资源 信息，以便于***上层进行资源调度时合理分配相应的存储资源。因此，如何及时或快速地获取各个存储服务器资源节点的信息，就显得十分重要。
目前，一些较为成熟的云存储***(如Amazon Simple Storage System，亚马逊简单存储***)均为商用***，其技术细节往往对外不公开，譬如上述云存储***的分层架构是如何具体实施对成千上万个存储节点的资源信息的反馈并根据反馈的资源信息合理分配及调度存储资源，均未公开；由于高可靠性云存储方案的实施难度较大，因此对于一些有云存储需求的用户而言，需要花费较多的成本。
发明内容
本发明所要解决的技术问题是提供一种实现云存储资源调度的***及方法，能够及时获取到存储资源信息供资源合理调度。
为了解决上述技术问题，本发明提供了一种实现云存储资源调度的***，至少包括多个存储服务器和分布式缓存服务器，其中：
存储服务器，用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；
分布式缓存服务器，用于保存各个存储服务器反馈的存储资源信息。
进一步地，分布式对象缓存接口为Memcached协议接口，即
存储服务器定期获取本服务器内磁盘及文件***的资源信息，将该资源信息组织成Memcached协议接口格式的行命令反馈给分布式缓存服务器。
进一步地，行命令至少包括以下参量：
命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；
键名，用于唯一标识一个资源库，或者指示存储服务器的主机地址和端口；
键值，在键名标识资源库时指示存储服务器的主机地址和端口，在键名指示主机地址和端口时给出相应的存储服务器的资源状态值；
命令结束符，用于指示行命令结束。
进一步地，行命令还包括超时时间参量，用于指示资源信息在分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示资源信息在分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示资源信息在分布式缓存服务器上的超时时间。
进一步地，行命令还包括数据长度参量，用于指示资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括资源信息的数据或块数据内容。
进一步地，
分布式缓存服务器还主动向存储服务器发出信息获取指令，记录存储服务器反馈的存储资源信息；
存储服务器还根据所述信息获取指令通过分布式对象缓存接口反馈本服务器的存储资源信息。
进一步地，该方法还包括：
资源调度服务器，用于访问分布式缓存服务器中的资源库，查询资源库中各存储服务器的存储资源信息，并根据查询的存储资源信息调度相应的存储服务器的存储资源进行存储服务。
为了解决上述技术问题，本发明提供了一种用于如前所述实现云存储资源调度的***中的存储服务器，包括内置的资源反馈模块，用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给该***中的分布式缓存服务器。
进一步地，分布式对象缓存接口为Memcached协议接口，即
资源反馈模块定期获取本服务器内磁盘及文件***的资源信息，将资源信息组织成Memcached协议接口格式的行命令反馈给分布式缓存服务器，行命令至少包括以下参量：
命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；
键名，用于唯一标识一个资源库，或者指示存储服务器的主机地址和端口；
键值，在所述键名标识资源库时指示存储服务器的主机地址和端口，在键名指示主机地址和端口时给出相应的存储服务器的资源状态值；
命令结束符，用于指示行命令结束。
进一步地，行命令还包括超时时间和/或数据长度参量，其中：
超时时间，用于指示资源信息在分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示资源信息在分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示资源信息在分布式缓存服务器上的超时时间；
数据长度，用于指示资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括资源信息的数据或块数据内容。
为了解决上述技术问题，本发明提供了一种实现云存储资源调度的方法，至少涉及多个存储服务器和分布式缓存服务器，该方法包括：
存储服务器每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；
分布式缓存服务器保存各个存储服务器反馈的存储资源信息。
进一步地，分布式对象缓存接口为Memcached协议接口，存储服务器每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器，具体包括：
存储服务器定期获取本服务器内磁盘及文件***的资源信息，将资源信息组织成Memcached协议接口格式的行命令反馈给分布式缓存服务器。
进一步地，行命令至少包括以下参量：
命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；
键名，用于唯一标识一个资源库，或者指示存储服务器的主机地址和端 口；
键值，在键名标识资源库时指示存储服务器的主机地址和端口，在键名指示主机地址和端口时给出相应的存储服务器的资源状态值；
命令结束符，用于指示行命令结束。
进一步地，行命令还包括超时时间和/或数据长度参量，其中：
超时时间，用于指示资源信息在所述分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示所述资源信息在分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示资源信息在分布式缓存服务器上的超时时间；
数据长度，用于指示资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括资源信息的数据或块数据内容。
进一步地，存储服务器将资源信息组织成Memcached协议接口格式的行命令反馈给分布式缓存服务器，具体包括：
存储服务器若判断本服务器是新增的存储节点，且通过信息获取命令从分布式缓存服务器获知是所有存储服务器中第一个反馈资源信息，则通过信息添加命令指示添加标识所有节点资源信息的资源库，并将定期获取的资源信息通过信息更新命令指示更新到资源库；若通过信息获取命令获知本服务器不是第一个反馈资源信息，则通过信息更新命令指示更新资源库的存储资源信息，然后将定期获取的资源信息通过信息添加命令指示添加到资源库；
存储服务器若判断本服务器不是新增的存储节点，则将定期获取的资源信息通过信息更新命令指示更新到资源库。
进一步地，该方法还包括：
存储服务器若判断资源信息反馈不成功，则将资源信息重新反馈给分布式缓存服务器，或者将资源信息反馈给备用的分布式缓存服务器，直至资源信息反馈成功。
进一步地，该方法还涉及资源调度服务器，该方法还包括：
资源调度服务器访问所述分布式缓存服务器中的资源库，查询资源库中各存储服务器的存储资源信息，并根据查询的存储资源信息调度相应的存储 服务器的存储资源进行存储服务。
本发明采用分布式缓存内存对象的协议接口，将各个存储节点的资源信息组织成符合该协议接口的数据格式而及时快速地反馈，从而使得云存储***能够可靠地、合理地调度存储资源。
附图说明
图1为本发明的实现云存储资源调度的***实施例的架构示意图；
图2为本发明的实现云存储资源调度的方法实施例的流程图。
具体实施方式
以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。以下例举的实施例仅用于说明和解释本发明，而不构成对本发明技术方案的限制。
本发明的实现云存储资源调度的***实施例的架构如图1所示，至少包括多个存储服务器(1～N)和分布式缓存服务器，其中：
多个存储服务器(1～N)，用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；
分布式缓存服务器，用于将各个存储服务器反馈的存储资源信息记录存储。
或者，分布式缓存服务器主动向各个存储服务器发出信息获取指令，记录各个存储服务器反馈的存储资源信息；
多个存储服务器(1～N)根据分布式缓存服务器的信息获取指令通过分布式对象缓存接口反馈本服务器的存储资源信息。
上述***实施例中的分布式对象缓存接口优选采用Memcached协议接口，即各个存储服务器定期或根据分布式缓存服务器定期的信息反馈指令将本服务器的存储资源信息组织成符合Memcached协议接口的命令格式，反馈给分布式缓存服务器，由此可实现存储资源信息的高速反馈。
Memcached是一种采用分布式缓存对象的缓存***，即可以允许多个不同主机同时访问该缓存***，主要用在互联网中进行网站前端提高访问数据的速度，针对的是分布式***(分布式数据库及分布式计算***)。而云存储的各个存储节点也是分布式的，故适合引用Memcached缓存***。由于Memcached缓存***是开源的，因此当要通过该缓存***查询或写入数据，只要符合该缓存***所支持的Memcache协议接口即可实现。
当然，本发明除了采用Memcached协议接口用于多个存储节点与分布式缓存服务器之间的信息交互外，还可采用与Memcached协议接口兼容的其它分布式对象缓存接口进行信息交互，譬如Redis接口TT(Tokyo Tyrant)接口等。
各个存储服务器作为Memcached的客户端，通过内置的资源反馈模块(即本发明开发的一种Memcached客户端程序)，定时获取到本服务器上磁盘及文件***相关的资源信息，采用传输控制协议(TCP，Transfer Control Protocol)或用户数据报协议(UDP，User Datagram Protocol)建立向分布式缓存服务器反馈资源信息的连接；
分布式缓存服务器需要建立能够同时开启的多个(数百或数千个)信息交互接口，为了高效地工作，通过缓存这些信息交互接口，可消除建立它们所带来的开销。当各客户端不再需要分布式缓存服务时，可关闭信息交互接口。
通过memcache协议中传输的数据包括两种：文本行和自由数据；其中文本行用于传载存储服务器的资源信息反馈命令和分布式缓存服务器的响应，它以“\r\n”(回车符后紧跟一个换行符)表示结束；自由数据则用于存储服务器从分布式缓存服务器存取数据，它必须通过文本行中指示的数据区块长度来确定结束位置。
存储服务器内置的资源反馈模块采用以下格式的行命令传输资源信息：
＜command name＞＜key＞＜flags＞＜exptime＞＜bytes＞\r\n
其中，该存储命令格式中的各个参量的含义表述在下表中。
表1
Figure BDA0000051475970000081
本发明除了采用回车符结合换行符作为行命令结束符外，还可采用其它符号作为行命令结束符，譬如采用分号“；”等。
表1中参量key、value均具有两种指示作用，具体地表示在下表中。
表2
Figure BDA0000051475970000082
由参量key指示的hostname:port，是存储服务器内置的资源反馈模块从采用文件传输协议(FTP，File Transfer Protocol)的配置文件中获取的，其中hostname是指示分布式缓存服务器需要监听的FTP地址，port则是指示分布式缓存服务器要监听的FTP端口。
表2中由参量value指示存储节点(即存储服务器)的资源状态，所包括的一种或多种的资源状态值表示在下表中。
表3
  资源状态值   状态值含义
  F_BSIZE   用于指示文件***的块大小
  F_FRSIZE   用于指示文件***的碎片大小
  F_BLOCKS   用于指示文件***中总共的块数
  F_BFREE   用于指示文件***中当前空闲的块数
  F_BAVAIL   用于指示文件***非root用户当前最大可用块数
  F_FILES   用于指示文件***所支持的最大文件数
  F_FFREE   用于指示文件***当前最大可用文件数
  F_FAVAIL   用于指示文件***非root用户当前最大可用文件数
  F_FLAG   用于指示文件***的挂载选项
  F_NAMEMAX   用于指示文件***最大文件名长度
  BYTEMAX   用于指示文件***总共的字节数
  BYTEAVAIL   用于指示文件***当前剩余的字节数
  TYPE   用于指示文件***类型(人为规定的文件***的某些属性)
上述本发明的实现云存储资源调度的***实施例还包括：
资源调度服务器，用于访问保存在分布式缓存服务器的资源库，查询资源库中各存储服务器的资源信息，并根据查询的资源信息调度相应的存储服务器的资源进行存储服务。
以下将针对图2所示的流程来具体说明上述命令文本行中各参量的用法。
图2表示的是本发明的实现云存储资源调度的方法实施例的流程，是在 存储服务器建立与分布式缓存服务器之间的连接后执行的，包括如下步骤：
110：判断本存储服务器是否为新增节点，是则执行下列步骤，否则执行步骤140；
120：判断本存储服务器是否为第一个反馈服务器，是则执行下列步骤，否则执行步骤170；
存储服务器通过向分布式缓存服务器发送如下指令进行上述判断：
get SS\r\n
其中SS作为参量key的键名值，即表示资源库的唯一标识；如果存储服务器得到分布式缓存服务器回应的SS为空，便获知本服务器是资源库中第一个反馈资源信息的存储服务器；反之，如果存储服务器得到的回应是SS不为空，便获知本服务器不是资源库中第一个反馈资源信息的存储服务器。
130：指示分布式缓存服务器添加标识所有节点资源信息的资源库；
存储服务器通过向分布式缓存服务器发送指令进行上述指示：
add SS 0 data_len\r\n
block_data\r\n
其中，添加命令add指示分布式缓存服务器添加一个名称为SS的资源库，该资源库的exptime参量设为0，表示添加的资源库永远有效；data_len是byte参量值，表示后面信息数据的长度(以byte为单位)；下一行的block_data表示信息数据，在此表示为存储服务器的主机名称及其端口hostname:port，譬如192.168.0.1:2020。由于同一台存储服务器上可能会有多个存储资源(譬如2020端口和3030端口都开辟FTP存储服务)，因此需要针对多个存储资源指示多个hostname:port，例如，192.168.0.1:2020，192.168.0.1:3030。
140：收集本存储服务器的资源信息，形成memcache协议接口set命令反馈给分布式缓存服务器；
存储服务器通过向分布式缓存服务器发送指令进行反馈：
add hostname:port 060data len\r\n
block_data\r\n
其中，添加命令add指示分布式缓存服务器添加一个存储节点的主机名称及其端口为hostname:port的资源信息，该资源库的exptime参量设为60，表示在超时时间60秒到时，如果分布式缓存服务器未收到该存储服务器更新反馈资源信息，便认为该存储服务器出现故障而将其相应的资源信息删除；data_len是byte参量值，表示后面信息数据的长度(以byte为单位)；下一行的block_data为表3中所示的一个或多个反馈的资源信息数据。
150：判断信息反馈是否成功，是则关闭连接，结束信息反馈；否则执行下一步骤；
160：重新反馈或反馈至备用分布式缓存服务器，返回步骤150执行；
存储服务器譬如在未超出预定的重反次数时，重新向原有的分布式缓存服务器发送相应的反馈命令，在超出预定的重反次数后若仍未反馈成功，则向备用分布式缓存服务器发送相应的反馈命令，直至反馈成功。
170：指示分布式缓存服务器更新资源库的存储资源信息；
存储服务器通过向分布式缓存服务器发送指令进行上述指示：
set SS 0 data_len\r\n
block_data\r\n
其中，更新命令set指示分布式缓存服务器更新名称为SS的资源库中的一个存储服务器的资源信息；data_len是byte参量值，表示后面信息数据的长度(以byte为单位)；下一行的block_data表示信息数据，在此表示为该存储服务器的主机名称及其端口hostname:port，譬如192.168.0.1:2020。
180：收集本服务器的资源信息，形成memcache协议接口add命令反馈给分布式缓存服务器，执行步骤150。
存储服务器通过向分布式缓存服务器发送指令进行上述反馈：
add hostname:port 0 60 data len\r\n
block_data\r\n
命令中各个参量的含义在步骤140中已描述出，此不再赘述。
上述方法实施例还包括步骤：
调度服务器访问保存在分布式缓存服务器的资源库，查询资源库中各存储服务器的资源信息，并根据查询的资源信息调度相应的存储服务器的资源进行存储服务。
譬如，调度服务器向分布式缓存服务器发送以下行命令进行上述访问：
get SS\r\n
会得到分布式缓存服务器返回的资源库中的存储服务器信息：
192.168.0.1:2020
192.168.0.2:2020
也就是说目前资源库中有这两个存储服务器，若要继续查询看其中的存储服务器的资源信息，则继续向分布式缓存服务器发送以下行命令进行查询：
get 192.168.0.1:2020
会得到分布式缓存服务器返回的相应的存储服务器具体的资源信息，譬如表3中的一个或多个资源状态值。
本发明采用分布式缓存***缓存云存储***中各存储服务器的资源信息，在速度上通过Memcached接口能做到高速缓存。由于存储资源反馈信息本身是秒级的，因此即便分布式缓存服务器瘫痪也不会影响到云存储***上层的调度***的性能。
以上说明仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (17)

1.一种实现云存储资源调度的***，至少包括多个存储服务器和分布式缓存服务器，其中：
存储服务器，用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；
分布式缓存服务器，用于保存各个存储服务器反馈的存储资源信息。
2.按照权利要求1所述的***，其特征在于，所述分布式对象缓存接口为Memcached协议接口，即
所述存储服务器定期获取本服务器内磁盘及文件***的资源信息，将所述资源信息组织成所述Memcached协议接口格式的行命令反馈给所述分布式缓存服务器。
3.按照权利要求2所述的***，其特征在于，所述行命令至少包括以下参量：
命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；
键名，用于唯一标识一个资源库，或者指示所述存储服务器的主机地址和端口；
所述键值，在所述键名标识所述资源库时指示所述存储服务器的主机地址和端口，在所述键名指示所述主机地址和端口时给出相应的存储服务器的资源状态值；
命令结束符，用于指示所述行命令结束。
4.按照权利要求3所述的***，其特征在于，所述行命令还包括超时时间参量，用于指示所述资源信息在所述分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示所述资源信息在所述分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示所述资源信息在所述分布式缓存服务器上的超时时间。
5.按照权利要求4所述的***，其特征在于，所述行命令还包括数据长度参量，用于指示所述资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括所述资源信息的数据或块数据内容。
6.按照权利要求1至5任一项所述的***，其特征在于，
所述分布式缓存服务器还主动向所述存储服务器发出信息获取指令，记录所述存储服务器反馈的存储资源信息；
所述存储服务器还根据所述信息获取指令通过所述分布式对象缓存接口反馈本服务器的存储资源信息。
7.按照权利要求1至5任一项所述的***，其特征在于，还包括：
资源调度服务器，用于访问所述分布式缓存服务器中的资源库，查询所述资源库中各存储服务器的存储资源信息，并根据查询的所述存储资源信息调度相应的存储服务器的存储资源进行存储服务。
8.一种用于如权利要求1所述的***中的存储服务器，其特征在于，包括内置的资源反馈模块，用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给所述***中的分布式缓存服务器。
9.按照权利要求8所述的存储服务器，其特征在于，所述分布式对象缓存接口为Memcached协议接口，即
所述资源反馈模块定期获取本服务器内磁盘及文件***的资源信息，将所述资源信息组织成所述Memcached协议接口格式的行命令反馈给所述分布式缓存服务器，所述行命令至少包括以下参量：
命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；
键名，用于唯一标识一个资源库，或者指示所述存储服务器的主机地址和端口；
所述键值，在所述键名标识所述资源库时指示所述存储服务器的主机地址和端口，在所述键名指示所述主机地址和端口时给出相应的存储服务器的资源状态值；
命令结束符，用于指示所述行命令结束。
10.按照按照权利要求9所述的存储服务器，其特征在于，所述行命令还包括超时时间和/或数据长度参量，其中：
超时时间，用于指示所述资源信息在所述分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示所述资源信息在所述分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示所述资源信息在所述分布式缓存服务器上的超时时间；
数据长度，用于指示所述资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括所述资源信息的数据或块数据内容。
11.一种实现云存储资源调度的方法，至少涉及多个存储服务器和分布式缓存服务器，该方法包括：
存储服务器每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；
分布式缓存服务器保存各个存储服务器反馈的存储资源信息。
12.按照权利要求11所述的方法，其特征在于，所述分布式对象缓存接口为Memcached协议接口，所述存储服务器每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器，具体包括：
所述存储服务器定期获取本服务器内磁盘及文件***的资源信息，将所述资源信息组织成所述Memcached协议接口格式的行命令反馈给所述分布式缓存服务器。
13.按照权利要求12所述的方法，其特征在于，所述行命令至少包括以下参量：
命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；
键名，用于唯一标识一个资源库，或者指示所述存储服务器的主机地址和端口；
所述键值，在所述键名标识所述资源库时指示所述存储服务器的主机地址和端口，在所述键名指示所述主机地址和端口时给出相应的存储服务器的资源状态值；
命令结束符，用于指示所述行命令结束。
14.按照权利要求13所述的方法，其特征在于，所述行命令还包括超时时间和/或数据长度参量，其中：
超时时间，用于指示所述资源信息在所述分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示所述资源信息在所述分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示所述资源信息在所述分布式缓存服务器上的超时时间；
数据长度，用于指示所述资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括所述资源信息的数据或块数据内容。
15.按照权利要求14所述的方法，其特征在于，所述存储服务器将所述资源信息组织成所述Memcached协议接口格式的行命令反馈给所述分布式缓存服务器，具体包括：
所述存储服务器若判断本服务器是新增的存储节点，且通过所述信息获取命令从所述分布式缓存服务器获知是所有存储服务器中第一个反馈资源信息，则通过所述信息添加命令指示添加标识所有节点资源信息的资源库，并将定期获取的所述资源信息通过所述信息更新命令指示更新到所述资源库；若通过所述信息获取命令获知本服务器不是第一个反馈资源信息，则通过所述信息更新命令指示更新所述资源库的存储资源信息，然后将定期获取的所述资源信息通过所述信息添加命令指示添加到所述资源库；
所述存储服务器若判断本服务器不是新增的存储节点，则将定期获取的所述资源信息通过所述信息更新命令指示更新到所述资源库。
16.按照权利要求11至15任一项所述的方法，其特征在于，还包括：
所述存储服务器若判断所述资源信息反馈不成功，则将资源信息重新反馈给所述分布式缓存服务器，或者将所述资源信息反馈给备用的分布式缓存服务器，直至所述资源信息反馈成功。
17.按照权利要求11至15任一项所述的方法，其特征在于，还涉及资源调度服务器，该方法还包括：
资源调度服务器访问所述分布式缓存服务器中的资源库，查询所述资源库中各存储服务器的存储资源信息，并根据查询的所述存储资源信息调度相应的存储服务器的存储资源进行存储服务。
CN2011100695717A 2011-03-22 2011-03-22 一种实现云存储资源调度的***及方法 Pending CN102130959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100695717A CN102130959A (zh) 2011-03-22 2011-03-22 一种实现云存储资源调度的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100695717A CN102130959A (zh) 2011-03-22 2011-03-22 一种实现云存储资源调度的***及方法

Publications (1)

Publication Number Publication Date
CN102130959A true CN102130959A (zh) 2011-07-20

Family

ID=44268848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100695717A Pending CN102130959A (zh) 2011-03-22 2011-03-22 一种实现云存储资源调度的***及方法

Country Status (1)

Country Link
CN (1) CN102130959A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377827A (zh) * 2011-12-13 2012-03-14 方正国际软件有限公司 多级云存储***及其存储方法
CN102857546A (zh) * 2012-03-20 2013-01-02 深圳市朗科科技股份有限公司 云存储平台和云存储终端
CN103491197A (zh) * 2013-10-12 2014-01-01 北京海联捷讯信息科技发展有限公司 分布式自动巡检***及其资源收集方法
CN103841129A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 云计算的资源信息采集服务器和客户端、信息处理方法
CN104283913A (zh) * 2013-07-04 2015-01-14 高宏亮 网络存储***以及网络存储方法
WO2015196369A1 (zh) * 2014-06-24 2015-12-30 华为技术有限公司 分布式缓存控制方法及装置
CN105721543A (zh) * 2015-06-15 2016-06-29 清华大学深圳研究生院 基于操作控制单元的跨协议分布式云存储***和数据管理方法
CN105893031A (zh) * 2016-03-28 2016-08-24 广州华多网络科技有限公司 一种缓存操作实现方法、业务层方法的调用方法及装置
CN105978744A (zh) * 2016-07-26 2016-09-28 浪潮电子信息产业股份有限公司 一种资源分配方法、装置及***
WO2017092414A1 (zh) * 2015-12-03 2017-06-08 杭州海康威视数字技术股份有限公司 一种数据云存储***、客户终端、存储服务器及应用方法
CN106959820A (zh) * 2016-01-11 2017-07-18 杭州海康威视数字技术股份有限公司 一种数据提取方法和***
CN107463598A (zh) * 2017-06-09 2017-12-12 中国邮政储蓄银行股份有限公司 分布式缓存***
CN108769244A (zh) * 2018-06-14 2018-11-06 郑州云海信息技术有限公司 一种存储任务信息获取方法及相关装置
CN108810043A (zh) * 2017-04-28 2018-11-13 北京云中融信网络科技有限公司 一种存储评论信息的方法和装置
CN108880876A (zh) * 2018-05-31 2018-11-23 郑州云海信息技术有限公司 存储集群部署方法、装置、设备及计算机可读存储介质
CN109639752A (zh) * 2018-10-23 2019-04-16 深圳壹账通智能科技有限公司 对代理进行调度的方法、装置、计算机设备和存储介质
CN110113176A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于配置服务器的信息同步方法及装置
CN111131440A (zh) * 2019-12-20 2020-05-08 腾讯科技（深圳）有限公司 资源调度方法、装置和服务器
CN114390069A (zh) * 2022-01-30 2022-04-22 青岛海尔科技有限公司 基于分布式缓存的数据访问方法与***、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193079A (zh) * 2006-11-29 2008-06-04 索尼株式会社 数据管理服务器、数据管理***、数据管理方法及程序
US20100325199A1 (en) * 2009-06-22 2010-12-23 Samsung Electronics Co., Ltd. Client, brokerage server and method for providing cloud storage

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193079A (zh) * 2006-11-29 2008-06-04 索尼株式会社 数据管理服务器、数据管理***、数据管理方法及程序
US20100325199A1 (en) * 2009-06-22 2010-12-23 Samsung Electronics Co., Ltd. Client, brokerage server and method for providing cloud storage

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾海军，詹舒波: "Memcached在呼叫中心***中的应用", 《软件 COMPUTER ENGINEERING & SOFTWARE》, vol. 31, no. 10, 31 December 2010 (2010-12-31), pages 62 - 64 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377827A (zh) * 2011-12-13 2012-03-14 方正国际软件有限公司 多级云存储***及其存储方法
CN102857546A (zh) * 2012-03-20 2013-01-02 深圳市朗科科技股份有限公司 云存储平台和云存储终端
WO2013139153A1 (zh) * 2012-03-20 2013-09-26 深圳市朗科科技股份有限公司 云存储平台和云存储终端
CN102857546B (zh) * 2012-03-20 2016-09-28 深圳市朗科科技股份有限公司 云存储平台和云存储终端
CN103841129B (zh) * 2012-11-21 2017-04-26 华为技术有限公司 云计算的资源信息采集服务器和客户端、信息处理方法
CN103841129A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 云计算的资源信息采集服务器和客户端、信息处理方法
CN104283913A (zh) * 2013-07-04 2015-01-14 高宏亮 网络存储***以及网络存储方法
CN103491197A (zh) * 2013-10-12 2014-01-01 北京海联捷讯信息科技发展有限公司 分布式自动巡检***及其资源收集方法
CN103491197B (zh) * 2013-10-12 2016-08-10 北京海联捷讯信息科技发展有限公司 分布式自动巡检***及其资源收集方法
WO2015196369A1 (zh) * 2014-06-24 2015-12-30 华为技术有限公司 分布式缓存控制方法及装置
CN105393518A (zh) * 2014-06-24 2016-03-09 华为技术有限公司 分布式缓存控制方法及装置
CN105393518B (zh) * 2014-06-24 2019-03-19 华为技术有限公司 分布式缓存控制方法及装置
CN105721543A (zh) * 2015-06-15 2016-06-29 清华大学深圳研究生院 基于操作控制单元的跨协议分布式云存储***和数据管理方法
CN105721543B (zh) * 2015-06-15 2017-08-08 清华大学深圳研究生院 基于操作控制单元的跨协议分布式云存储***和数据管理方法
CN106850710B (zh) * 2015-12-03 2020-02-28 杭州海康威视数字技术股份有限公司 一种数据云存储***、客户终端、存储服务器及应用方法
WO2017092414A1 (zh) * 2015-12-03 2017-06-08 杭州海康威视数字技术股份有限公司 一种数据云存储***、客户终端、存储服务器及应用方法
CN106850710A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 一种数据云存储***、客户终端、存储服务器及应用方法
US10623516B2 (en) 2015-12-03 2020-04-14 Hangzhou Hikvision Digital Technology Co., Ltd. Data cloud storage system, client terminal, storage server and application method
CN106959820A (zh) * 2016-01-11 2017-07-18 杭州海康威视数字技术股份有限公司 一种数据提取方法和***
CN105893031A (zh) * 2016-03-28 2016-08-24 广州华多网络科技有限公司 一种缓存操作实现方法、业务层方法的调用方法及装置
CN105978744A (zh) * 2016-07-26 2016-09-28 浪潮电子信息产业股份有限公司 一种资源分配方法、装置及***
CN105978744B (zh) * 2016-07-26 2018-10-26 浪潮电子信息产业股份有限公司 一种资源分配方法、装置及***
CN108810043B (zh) * 2017-04-28 2021-11-02 北京云中融信网络科技有限公司 一种存储评论信息的方法和装置
CN108810043A (zh) * 2017-04-28 2018-11-13 北京云中融信网络科技有限公司 一种存储评论信息的方法和装置
CN107463598A (zh) * 2017-06-09 2017-12-12 中国邮政储蓄银行股份有限公司 分布式缓存***
CN110113176A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于配置服务器的信息同步方法及装置
CN108880876A (zh) * 2018-05-31 2018-11-23 郑州云海信息技术有限公司 存储集群部署方法、装置、设备及计算机可读存储介质
CN108769244A (zh) * 2018-06-14 2018-11-06 郑州云海信息技术有限公司 一种存储任务信息获取方法及相关装置
CN109639752A (zh) * 2018-10-23 2019-04-16 深圳壹账通智能科技有限公司 对代理进行调度的方法、装置、计算机设备和存储介质
CN109639752B (zh) * 2018-10-23 2022-07-19 深圳壹账通智能科技有限公司 对代理进行调度的方法、装置、计算机设备和存储介质
CN111131440A (zh) * 2019-12-20 2020-05-08 腾讯科技（深圳）有限公司 资源调度方法、装置和服务器
CN114390069A (zh) * 2022-01-30 2022-04-22 青岛海尔科技有限公司 基于分布式缓存的数据访问方法与***、设备及存储介质
CN114390069B (zh) * 2022-01-30 2024-03-22 青岛海尔科技有限公司 基于分布式缓存的数据访问方法与***、设备及存储介质

Similar Documents

Publication Publication Date Title
CN102130959A (zh) 一种实现云存储资源调度的***及方法
CN107590001B (zh) 负载均衡方法及装置、存储介质、电子设备
CN107818112B (zh) 一种大数据分析作业***及任务提交方法
JP4740897B2 (ja) 仮想ネットワーク構成方法及びネットワークシステム
CN103209223A (zh) 分布式应用会话信息共享方法、***和应用服务器
CN102694861B (zh) 一种基于云技术的终端应用软件分类方法、装置及***
CN101902473B (zh) 基于网格gis的数据同步更新实现方法
EP1758042B1 (en) Document distribution system and method
CN104731516A (zh) 一种存取文件的方法、装置及分布式存储***
CN104050248B (zh) 一种文件存储***及存储方法
CN102368261A (zh) 一种可扩展的运维报表生成方法
CN104536965B (zh) 一种大数据条件下的数据查询展示***及方法
CN102722405B (zh) 高并发、多线程应用中的计数方法及***
CN104601736A (zh) 一种短url服务的实现方法及装置
CN103607428A (zh) 一种访问共享内存的方法和装置
CN105024839B (zh) 一种软件版本升级的方法及装置
CN102333108A (zh) 分布式缓存同步***及方法
CN115640110B (zh) 分布式云计算***调度方法和装置
CN104468274A (zh) 一种集群监控管理方法及***
CN104021088A (zh) 日志存储方法和装置
CN101521606A (zh) 日志信息处理方法、日志服务器与通信***
CN101141482B (zh) 网络资源管理***及方法
KR20160103110A (ko) 네트워크 요소 데이터 액세스 방법, 액세스 장치, 및 네트워크 관리 시스템
CN110417860A (zh) 文件传输管理方法、装置、设备及存储介质
US10516723B2 (en) Distributing subscriber data in a mobile data network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110720