CN102946429A - 一种基于云存储的高效资源动态调度方法 - Google Patents

一种基于云存储的高效资源动态调度方法 Download PDF

Info

Publication number
CN102946429A
CN102946429A CN2012104403411A CN201210440341A CN102946429A CN 102946429 A CN102946429 A CN 102946429A CN 2012104403411 A CN2012104403411 A CN 2012104403411A CN 201210440341 A CN201210440341 A CN 201210440341A CN 102946429 A CN102946429 A CN 102946429A
Authority
CN
China
Prior art keywords
node
cloud storage
memory
data
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104403411A
Other languages
English (en)
Inventor
黄臣
李瑞东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2012104403411A priority Critical patent/CN102946429A/zh
Publication of CN102946429A publication Critical patent/CN102946429A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的一种基于云存储的高效资源动态调度方法，涉及到云存储技术领域，该方法的技术内容由云存储资源控制节点、云存储资源调度节点、云存储资源监控节点和各类存储节点组成，云存储控制节点根据传入的数据获取数据索引和更新数据索引，然后云存储调度节点根据索引值高低选择存储节点。该方法的有益效果是：通过将高索引数据放到高速存储节点，实现存储资源的动态调度，有效利用高速存储节点，提高云存储在数据读取时的命中率，以极大提高云存储资源有效利用率。

Description

一种基于云存储的高效资源动态调度方法
技术领域
本发明涉及云存储***领域，具体涉及一种基于云存储的高效资源动态调度方法。
背景技术
云存储***是一个以数据存储和管理为核心的云计算***，全球网络存储工业协会（Storage Networking Industry Association，SNIA）关于云存储***的定义也是从好几个方面进行：
从服务角度定义：通过网络为多用户提供按需使用、按需计费的存储服务；从技术角度定义：通过集群应用、网格技术或分布式文件***将网络中的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能。
云存储***的核心是服务，需要提供多种访问方式，在数据组织上，既要支持非结构化数据存储，又要支持结构化数据或者半结构化数据的存储。存储***应该具有较好的在线扩展能力，能够兼容异构存储设备。提供跨数据中心的缓存加速、负载均衡服务，给用户提供高性能服务。
云存储是当下市场热点，但在庞大的存储资源下，各存储资源内部也必然存在存储性能方面的差异。为了给用户提供更好的存储服务。云存储可以搭建高速、中速、低速存储节点已满足应用需求。在针对客户持续访问的数据时，面对云存储整体庞大的数据资源，每次检索选择是一个十分耗时的过程。这些，无不对当前云存储的用户体验提出了挑战。在云存储大***下通过存储资源的差异性，充分发挥各存储资源的优点，在节约成本的同时，亦能为客户提供更好的服务。 
发明内容
 本发明针对目前云存储***下数据访问、检索中存在的问题，提供一种基于云存储的高效资源动态调度方法。
本发明基于云存储的高效资源动态调度方法，解决所述技术问题采用的技术方案为：该方法由云存储资源控制节点、云存储资源监控节点、云存储资源调度节点和各类存储节点四部分组成。
下面分别对该方法的各部分进行说明：
1、云存储资源控制节点包含存储单元，根据其存储单元内的索引信息统计出索引数据的高低，并按照优先级发送给云存储调度节点；同时保存云存储监控节点传输过来的索引信息，并更新到自有存储区；
2、云存储资源调度节点根据云存储控制节点的命令，选择各存储节点资源之间的调度，具体为按照云存储控制节点的要求把高索引数据从当前存储服务切换到更高一级存储节点；
3、云存储资源存储节点负责收集存储区内空间占用信息，当空间被占满后反馈信息给云存储监控节点，此外云存储节点分为高速存储节点、中速存储节点和低速存储节点；
4、云存储资源监控节点负责收集各存储节点当前数据存储索引信息，并传输反馈给云存储控制节点。
具体实现步骤为：云存储控制节点根据传人的数据获取数据索引和更新数据索引，统计出索引数据的高低，按照优先级发送给云存储调度节点，调度节点根据索引值高低选择存储节点，把高索引数据放到高速存储节点，当高速存储节点没有空闲存储区时，向下一级存储节点转移；同时各类存储节点收集本节点信息并反馈给云存储监控节点，然后监控节点将各类存储节点的索引信息传输给控制节点，控制节点保存监控节点传输过来的索引信息，并更新到自有存储区。
本发明的有益效果是：采用云存储资源的高效动态调度方法，实现存储资源的动态调度，有效利用高速存储节点，提高云存储在数据读取时的命中率，以极大提高云存储资源有效利用率。
附图说明
附图1本发明所述资源调度方法的结构示意图；
附图2本发明所述资源调度方法的动态调配流程图；
附图3本发明所述资源调度方法中存储节点反馈信息流程图。
具体实施方式
 下面结合附图对本发明的基于云存储的高效资源动态调度方法作进一步详细说明。
 本发明所述资源动态调度方法包含云存储资源控制节点、云存储资源调度节点、云存储资源监控节点和各类存储节点。该方法实现了存储资源的动态调度，有效利用高速存储节点，提高云存储的数据读取命中率，以极大提高云存储资源的有效利用率。
本发明所述资源动态调度方法的实现过程为：云存储控制节点根据传人的数据获取数据索引和更新数据索引，统计出索引数据的高低，按照优先级发送给云存储调度节点，调度节点根据索引值高低选择存储节点，把高索引数据放到高速存储节点，各类存储节点收集本节点信息并反馈给云存储监控节点，然后监控节点将各类存储节点的索引信息传输给控制节点，控制节点保存监控节点传输过来的索引信息，并更新到自有存储区。
此外，该方法中存储节点进行信息反馈的实现过程为：存储节点判断自己存储区是否占满，当高速存储节点被占满后，向云存储监控节点发送中断请求，然后监控节点向调度节点发送中断信息，调度节点根据接收中断，不再选择此存储节点。
实施例：
结合图2详细说明使用该方法进行资源动态调配的具体流程：
在步骤S100中，云存储控制节点根据传入的数据获取数据索引和更新数据索引；
在步骤S200中，根据索引值高低选择存储节点，此过程中，如果为高索引数据，则将此数据放到高速存储节点；当高速存储节点没有空闲存储区时，向下一级存储节点转移；
在步骤S300中，调配存储节点，将经常使用到的高索引数据首先选择高速存储节点，以便用户的多次读取，节约时间。如图2所示：
结合图3详细说明该方法中存储节点进行信息反馈的具体过程：
在步骤S100中，存储节点判断自己存储区是否占满；
在步骤S200中，例如高速存储节点发现占满后，向云存储资源监控节点发送中断请求，请求禁止向自己写入低于当前存储区内数据索引值的新数据，但高速存储区可以更新高索引值的数据；
在步骤S300中，云存储资源监控节点向云存储调度节点发送中断信息；
在步骤S400中，云存储调度节点根据接收中断，不再选择此存储节点，如图3所示。
除说明书所述技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种基于云存储的高效资源动态调度方法，其特征在于***包括：云存储资源控制节点、云存储资源调度节点、云存储资源监控节点和各类存储节点，其中：
云存储资源控制节点：根据其存储单元内的索引信息统计出索引数据的高低，并按照优先级发送给云存储调度节点，同时保存云存储监控节点传输过来的索引信息，并更新到自有存储区；
云存储资源调度节点：根据云存储控制节点的命令，选择各存储节点资源之间的调度，具体为按照云存储控制节点的要求把高索引数据从当前存储服务切换到更高一级存储节点；
云存储资源存储节点：负责收集存储区内空间占用信息，当空间被占满后反馈信息给云存储监控节点；
云存储资源监控节点：负责收集各存储节点当前数据存储索引信息，并传输反馈给云存储控制节点；
实现步骤如下：
云存储控制节点根据传人的数据获取数据索引和更新数据索引，统计出索引数据的高低，按照优先级发送给云存储调度节点，调度节点根据索引值高低选择存储节点，同时各类存储节点收集本节点信息并反馈给云存储监控节点，然后监控节点将各类存储节点的索引信息传输给控制节点，控制节点保存监控节点传输过来的索引信息，并更新到自有存储区；
存储节点进行信息反馈的步骤如下：
存储节点判断自己存储区是否占满，当高速存储节点被占满后，向云存储监控节点发送中断请求，然后监控节点向调度节点发送中断信息，调度节点根据接收中断，不再选择此存储节点。
CN2012104403411A 2012-11-07 2012-11-07 一种基于云存储的高效资源动态调度方法 Pending CN102946429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012104403411A CN102946429A (zh) 2012-11-07 2012-11-07 一种基于云存储的高效资源动态调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012104403411A CN102946429A (zh) 2012-11-07 2012-11-07 一种基于云存储的高效资源动态调度方法

Publications (1)

Publication Number Publication Date
CN102946429A true CN102946429A (zh) 2013-02-27

Family

ID=47729335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104403411A Pending CN102946429A (zh) 2012-11-07 2012-11-07 一种基于云存储的高效资源动态调度方法

Country Status (1)

Country Link
CN (1) CN102946429A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336714A (zh) * 2013-06-20 2013-10-02 北京奇虎科技有限公司 一种作业调度方法和装置
CN103516810A (zh) * 2013-10-22 2014-01-15 浪潮电子信息产业股份有限公司 一种提高云存储资源利用的方法
CN103905544A (zh) * 2014-03-25 2014-07-02 华为技术有限公司 一种集群存储***及集群存储***中的节点分配方法
CN104092756A (zh) * 2014-07-09 2014-10-08 东南大学 一种基于dht机制的云存储***的资源动态分配方法
CN104202254A (zh) * 2014-08-14 2014-12-10 江苏省邮电规划设计院有限责任公司 一种基于云计算平台服务器智能负载均衡方法
WO2016201974A1 (zh) * 2015-06-15 2016-12-22 清华大学深圳研究生院 基于操作控制单元的跨协议分布式云存储***和数据管理方法
CN106339180A (zh) * 2016-08-19 2017-01-18 成都全码特时代科技有限公司 一种云存储装置
CN108156040A (zh) * 2018-01-30 2018-06-12 北京交通大学 一种分布式云存储***中的中央控制节点
CN108667867A (zh) * 2017-03-29 2018-10-16 华为技术有限公司 数据存储方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325520A (zh) * 2008-06-17 2008-12-17 南京邮电大学 基于日志的智能自适应网络故障定位和分析方法
US20100268764A1 (en) * 2009-04-15 2010-10-21 Wee Sewook Method and system for client-side scaling of web server farm architectures in a cloud data center
CN102143215A (zh) * 2011-01-20 2011-08-03 中国人民解放军理工大学 一种基于网络的pb级云存储***及其处理方法
CN102375893A (zh) * 2011-11-17 2012-03-14 浪潮(北京)电子信息产业有限公司 一种分布式文件***及其建立副本的方法
CN102664708A (zh) * 2012-04-20 2012-09-12 浪潮电子信息产业股份有限公司 一种提高云存储实际应用效率的方法
CN102708158A (zh) * 2012-04-23 2012-10-03 杭州梵艺科技有限公司 一种PostgreSQL云存储归档调度***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325520A (zh) * 2008-06-17 2008-12-17 南京邮电大学 基于日志的智能自适应网络故障定位和分析方法
US20100268764A1 (en) * 2009-04-15 2010-10-21 Wee Sewook Method and system for client-side scaling of web server farm architectures in a cloud data center
CN102143215A (zh) * 2011-01-20 2011-08-03 中国人民解放军理工大学 一种基于网络的pb级云存储***及其处理方法
CN102375893A (zh) * 2011-11-17 2012-03-14 浪潮(北京)电子信息产业有限公司 一种分布式文件***及其建立副本的方法
CN102664708A (zh) * 2012-04-20 2012-09-12 浪潮电子信息产业股份有限公司 一种提高云存储实际应用效率的方法
CN102708158A (zh) * 2012-04-23 2012-10-03 杭州梵艺科技有限公司 一种PostgreSQL云存储归档调度***

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336714A (zh) * 2013-06-20 2013-10-02 北京奇虎科技有限公司 一种作业调度方法和装置
CN103516810A (zh) * 2013-10-22 2014-01-15 浪潮电子信息产业股份有限公司 一种提高云存储资源利用的方法
CN103905544A (zh) * 2014-03-25 2014-07-02 华为技术有限公司 一种集群存储***及集群存储***中的节点分配方法
CN104092756A (zh) * 2014-07-09 2014-10-08 东南大学 一种基于dht机制的云存储***的资源动态分配方法
CN104092756B (zh) * 2014-07-09 2017-07-28 东南大学 一种基于dht机制的云存储***的资源动态分配方法
CN104202254A (zh) * 2014-08-14 2014-12-10 江苏省邮电规划设计院有限责任公司 一种基于云计算平台服务器智能负载均衡方法
US10200474B2 (en) 2015-06-15 2019-02-05 Chongqing Gktsingchip Industry Technology Co., Ltd. Cross-protocol distributed cloud storage system and data management method based on operation control unit
WO2016201974A1 (zh) * 2015-06-15 2016-12-22 清华大学深圳研究生院 基于操作控制单元的跨协议分布式云存储***和数据管理方法
CN106339180A (zh) * 2016-08-19 2017-01-18 成都全码特时代科技有限公司 一种云存储装置
CN108667867A (zh) * 2017-03-29 2018-10-16 华为技术有限公司 数据存储方法及装置
US10972542B2 (en) 2017-03-29 2021-04-06 Huawei Technologies Co., Ltd. Data storage method and apparatus
US11575748B2 (en) 2017-03-29 2023-02-07 Huawei Technologies Co., Ltd. Data storage method and apparatus for combining different data distribution policies
CN108156040A (zh) * 2018-01-30 2018-06-12 北京交通大学 一种分布式云存储***中的中央控制节点

Similar Documents

Publication Publication Date Title
CN102946429A (zh) 一种基于云存储的高效资源动态调度方法
CN103902593B (zh) 一种数据迁移的方法和装置
CN102821164B (zh) 一种高效并行分布式数据处理***
CN103077082A (zh) 一种数据中心负载分配及虚拟机迁移节能方法及***
US20150040129A1 (en) System and method for virtual machine placement and management in cluster system
CN103095806A (zh) 一种面向大电网的实时数据库***的负载均衡管理***
CN103207920A (zh) 一种元数据并行采集***
CN106161552A (zh) 一种海量数据环境下负载均衡方法及***
CN102333120B (zh) 一种负载均衡处理的流存储***
CN103023963A (zh) 一种用于云存储资源优化分配的方法
CN102577241A (zh) 分布式缓存资源调度的方法、装置及***
CN105975345B (zh) 一种基于分布式内存的视频帧数据动态均衡存储管理方法
CN107220348A (zh) 一种基于Flume与Alluxio的数据收集方法
CN103645795A (zh) 一种基于人工神经网络的云计算数据中心节能方法
CN103441918A (zh) 一种自组织集群服务器***及其自组织方法
CN103918239A (zh) 负载均衡方法、装置、***及计算机可读介质
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN104348852B (zh) 一种实现电信能力群发的方法、装置及***
CN106775987A (zh) 一种在IaaS云中安全提高资源效率的虚拟机调度方法
CN102970349B (zh) 一种dht网络的存储负载均衡方法
CN106897458A (zh) 一种面向机电设备数据的存储及检索方法
CN105740077B (zh) 一种适用于云计算的任务分配方法
CN101702668A (zh) 网格化负载均衡***
CN106156049A (zh) 一种数据读取的方法和***
CN110308973A (zh) 一种基于能耗优化的容器动态迁移方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130227

WD01 Invention patent application deemed withdrawn after publication