CN104331253A - 一种对象存储***中对象迁移的计算方法 - Google Patents

一种对象存储***中对象迁移的计算方法 Download PDF

Info

Publication number
CN104331253A
CN104331253A CN201410595405.4A CN201410595405A CN104331253A CN 104331253 A CN104331253 A CN 104331253A CN 201410595405 A CN201410595405 A CN 201410595405A CN 104331253 A CN104331253 A CN 104331253A
Authority
CN
China
Prior art keywords
node
storage system
performance
load
osd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410595405.4A
Other languages
English (en)
Other versions
CN104331253B (zh
Inventor
马春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410595405.4A priority Critical patent/CN104331253B/zh
Publication of CN104331253A publication Critical patent/CN104331253A/zh
Application granted granted Critical
Publication of CN104331253B publication Critical patent/CN104331253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种对象存储***中对象迁移的计算方法，给出各OSD节点的存储性能指标定义，以OSD节点的容量、IO性能和带宽作为节点负载的指标，同时针对各OSD节点特点，对三项指标进行加权，得出OSD节点的整体负载的计算方法。定义了对象存储***整体负载能力和整体均衡系数的计算方法。给出了对象存储***中对象迁移目的节点的选择方法，以节点迁移后***整体负载均衡系数最小为条件选择对象迁移目标。充分发挥对象存储***的各项性能，对存储***的性能调优和数据分级提供了良好的支持。

Description

一种对象存储***中对象迁移的计算方法
技术领域
本发明涉及对象存储技术领域，具体涉及一种对象存储***中对象迁移的计算方法。   
背景技术
对象存储技术就是在存储***中以对象作为数据存储和组织管理的基本单位，向外提供对象资源和操作接口。
对象存储技术的主要技术优势在于综合了传统存储***的NAS和SAN 结构的优点，在保证***高带宽、高可靠性和强容错能力的同时提供数据的安全共享。
对象存储***主要由存储设备、文件***和网络组成。其中存储设备负责对象的存储和组织管理，主要包括MDS（Metadata Server）和OSD（Object-based Storage Device）；文件***沟通上层应用程序和底层存储设备，负责将应用程序的文件请求下发到MDS和OSD；网络负责***客户端、MDS和OSD的数据互连和安全认证。
由于对象存储***是以对象作为数据存储和管理的基本单位，因此***的性能指标调优和负载均衡都是基于对象管理的。由于对象存储***的分布式特征，因此***中的增加和删除、***故障恢复、负载均衡和热点数据分级等特性的实现均需要对对象进行迁移。
对对象的迁移主要解决三个问题：迁移什么对象、对象迁移到什么节点、如何迁移对象。需要迁移的对象主要是存储***中的热点数据和高负载节点中的对象，这些对象的特点是所在节点的负载较高，需要将部分对象迁移到负载较低的节点中，实现负载均衡。至于如何对对象进行迁移，不同的存储***的实现策略都不相同。
目前的对象存储***中，对节点的负载均衡的考量主要是节点的存储容量，即节点可用空闲空间较小，则认为节点负载较高，反之节点可用空间较大，则节点负载较低。但是存储***的整个性能指标有多个，如容量、带宽、IOPS等，同时由于目前出现了大量的轻量web应用需求，大量小文件的传输需求逐步增多，因此大多数对象存储***对对象迁移采用节点存储容量负载作为单一评判标准的做法，与实际存储***性能调优目标之间有所出入。 
发明内容
为了解决上述技术问题，本发明提出一种对象存储***中对象迁移的计算方法，以容量、IOPS和带宽三个性能指标为评判标准，对对象存储***中对象的迁移进行计算，可以提高对象存储***的容量、IOPS性能，同时更加灵活地支持对象存储***适应不同的实际应用场景，实现不同的存储策略。
一种对象存储***中对象迁移的计算方法，包括：
S1：规定***中每个OSD节点的性能指标有三种：容量C、IO性能P和节点带宽B，其中每种性能指标又分为下阈值、上阈值和性能上限。同时规定节点负载为Li，节点负载同样具有下阈值和上阈值。其中i为节点编号；
S2：规定对象存储的负载均衡系数为V；
S3：节点对象迁入和迁出判定标准为：若节点当前负载Li小于下阈值LLi时，节点允许对象迁入；若节点当前负载Li大于上阈值LHi时，节点中对象允许迁出；若节点当前负载Li在上阈值和下阈值之间时，认为节点当前负载适中，不允许对象迁出，但允许对象迁入；
S4：若***中存在对象迁移需求，规定待迁移对象为Oj，对象所需消耗节点负载为OCLj，则对象迁移目的节点计算方法如下：
公式1
上述条件是一个0-1规划问题，可通过算法进行求解。由此得出的节点i即为对象所要迁入的节点。
特别地，所述S1中节点每种性能指标的上下阈值和上限为：
CL：容量下阈值
CH：容量上阈值
CM：容量上限
PL：IO性能下阈值
PH：IO性能上阈值
PM：IO性能上限
BL：带宽下阈值
BH：带宽上阈值
BM：带宽上限
 由于OSD节点的各项性能指标之间存在互相影响的关系，规定以OSD节点的每个性能指标参数的增加引起其它性能指标的降低的临界值作为该项性能指标的下阈值，以OSD节点的每个性能指标参数的增加会引起其它性能指标显著下降的临界值作为该项性能指标的上阈值，以OSD节点的实际物理存储设备能够达到的各存储性能的上限为各性能指标参数的上限值。
节点的负载Li计算方法为：
，其中 公式2
节点负载L的上阈值为LH，下阈值为LL。
节点计算方法中的w为加权系数，用于表征节点的存储能力特征。有的节点存储容量大但是IOPS较小，相对应节点的wci就较小而wpi较大。
特别地，所述S2中***负载均衡系数计算方法为：
   公式3
   公式4
其中，V0用于表征***整体的负载能力，其数值较大说明***综合负载能力强。
特别地，所述步骤S3中所述相应的操作具体为先在内存坏块表中查看所述扇区是否已经留有记录，如果确认有所述扇区的记录，就跳过此扇区，将数据写入别的扇区；如果内存坏块表中没有目标扇区的记录，则将数据写入该扇区。
采用了多种OSD节点存储性能指标，以节点容量、IO性能和带宽为指标，通过加权平均的方法定义了节点的整体负载和对象存储***的整体负载能力和负载均衡系数，同时对对象和OSD节点按照存储特性进行分类，充分发挥了对象存储***的各项性能。
给出各OSD节点的存储性能指标定义，以OSD节点的容量、IO性能和带宽作为节点负载的指标，同时针对各OSD节点特点，对三项指标进行加权，得出OSD节点的整体负载的计算方法。定义了对象存储***整体负载能力和整体均衡系数的计算方法，对象存储***整体负载能力定义为***中所有OSD节点的各项性能指标的加权平均，以对象存储***各OSD节点的负载与***负载能力的有方差作为***整体负载均衡系数。给出了对象存储***中对象迁移目的节点的选择方法，以节点迁移后***整体负载均衡系数最小为条件选择对象迁移目标。提出的所述方法在现有对象存储***中以OSD节点容量为负载指标的基础上，增加了对OSD节点的IO性能和带宽两个性能指标，使得对象存储***能够更加灵活地适应不同的业务场景和存储策略需求，充分发挥对象存储***的各项性能，对存储***的性能调优和数据分级提供了良好的支持。
弥补了现有对象存储***中以OSD节点的容量作为节点负载的单一指标的不足，使得对象存储***能够更加灵活地适应不同的业务场景和存储策略需求。同时对存储***的性能调优和数据分级存储提供了良好的支持。
本发明的有益效果是：采用本发明提出的对象迁移计算方法，能够综合考虑存储***中节点的多项性能指标，也可以针对***中单个节点的性能调整参数，使得对象存储***适应不同的业务需求场景和不同的存储策略的方式更加灵活，充分发挥存储***的性能，提高存储资源利用率。 
附图说明
图1是对象存储***的结构图。
图2是一个实际对象存储***中各OSD负载情况示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
下面参照附图2，对本发明的内容以一个具体实例来描述本发明提供的所述方法。
图2中一个OSD负载过高，存在热点对象需要进行迁移，OSD1、OSD2和OSD3均可迁入对象。其中，OSD1容量最大，但是IOPS和带宽均最小，适合存储大数据量且访问频率较小的对象；OSD2容量最小，但IOPS和带宽最大，适合存储小数据量且访问频率高的对象；OSD3的容量、IOPS和带宽都很平均，适合存储对各项性能指标均有需求的对象。
对各OSD的各项负载性能指标加权参数，根据当前OSD性能特点进行设置。
OSD1对于IOPS和带宽敏感，则将其在公式2中的wp和wb设置为较大值，而将wc设置为较小值。这样若待迁移对象是不经常访问的大对象，则经过公式1计算后会得出该对象存储于OSD1中会最大程度降低***整体负载均衡系数。
OSD2对于容量敏感，则将其在公式2中的wc设置为较大值，而将wp和wb设置为较小值。这样若待迁移对象是经常访问的小对象，则经过公式1计算后会得出该对象存储于OSD2中会最大程度降低***整体负载均衡系数。
OSD3的各项存储指标都较为均衡，所以将其在公式2中的wc、wp和wb设置为适中的值。这样若待迁移对象大小适中且有一定的访问频率，则经过公式1计算会得出该对象存储于OSD3中会最大程度降低***整体负载均衡系数。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，如增加OSD存储性能指标等，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (5)

1.一种对象存储***中对象迁移的计算方法，其特征在于包括：
S1：规定了对象存储***中每个OSD节点的性能指标有三种：容量C、IO性能P和节点带宽B，其中每种性能指标又分为下阈值、上阈值和性能上限；同时规定OSD节点负载为L，节点负载同样具有下阈值和上阈值；
S2：定义了对象存储***的整体负载均衡系数的计算方法；
S3：给出了对象存储***中OSD节点中对象迁入迁出的评判标准； 
S4：给出对象存储***中对象迁移目标的计算方法，以节点迁移后***整体负载均衡系数最小为条件选择对象迁移目标。
2.如权利要求1所述的方法，其特征在于：
所述步骤S1中所述OSD节点的每个性能指标根据相互之间的影响关系设定，以节点物理设备特性的上限作为性能指标的上限值。
3.如权利1所述的方法，其特征在于：
基于给出的对象存储***整体负载性能计算方法，得到***整体负载均衡程度的计算方法，以***整体负载性能为平均值，求***各节点负载与平均值的方差作为***整体负载均衡系数。
4.如权利要求1所述的方法，其特征在于：
对待迁移对象进行分类，分为容量敏感、IO敏感和性能不敏感三类，同时将各对象存储***中各OSD节点也按照容量敏感、IO敏感和性能不敏感三类进行分类，在选择对象的迁移目的节点时，优先考虑与待迁移对象同类型的节点。
5.如权利要求4所述的方法，其特征在于：
对象迁移节点的计算方法本质上是一个0-1规划问题，可以采用贪心法、动态规划法算法进行计算求解。
CN201410595405.4A 2014-10-30 2014-10-30 一种对象存储***中对象迁移的计算方法 Active CN104331253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410595405.4A CN104331253B (zh) 2014-10-30 2014-10-30 一种对象存储***中对象迁移的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410595405.4A CN104331253B (zh) 2014-10-30 2014-10-30 一种对象存储***中对象迁移的计算方法

Publications (2)

Publication Number Publication Date
CN104331253A true CN104331253A (zh) 2015-02-04
CN104331253B CN104331253B (zh) 2017-12-15

Family

ID=52405988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410595405.4A Active CN104331253B (zh) 2014-10-30 2014-10-30 一种对象存储***中对象迁移的计算方法

Country Status (1)

Country Link
CN (1) CN104331253B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709045A (zh) * 2016-12-29 2017-05-24 深圳市中博科创信息技术有限公司 分布式文件***中节点选择方法及装置
CN107193488A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种分布式***数据重分配方法及其装置
CN107783720A (zh) * 2016-08-24 2018-03-09 深圳市深信服电子科技有限公司 一种数据均衡方法及存储设备
CN108196788A (zh) * 2017-12-28 2018-06-22 新华三技术有限公司 QoS指标监测方法、装置、存储介质
CN108632872A (zh) * 2018-06-20 2018-10-09 中通服咨询设计研究院有限公司 一种5g网络中基于基站吞吐量能力的业务均衡方法
CN109710456A (zh) * 2018-12-10 2019-05-03 新华三技术有限公司 一种数据恢复方法及装置
CN110278233A (zh) * 2018-03-16 2019-09-24 中移(苏州)软件技术有限公司 一种负载调整方法及装置
CN111142788A (zh) * 2019-11-29 2020-05-12 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013387A (zh) * 2007-02-09 2007-08-08 华中科技大学 基于对象存储设备的负载平衡方法
US20080098183A1 (en) * 2004-07-15 2008-04-24 Hitachi, Ltd. Disk array system and method for migrating from one storage system to another
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储***的动态负载均衡方法
CN103823639A (zh) * 2014-02-19 2014-05-28 曙光信息产业(北京)有限公司 迁移对象的方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080098183A1 (en) * 2004-07-15 2008-04-24 Hitachi, Ltd. Disk array system and method for migrating from one storage system to another
CN101013387A (zh) * 2007-02-09 2007-08-08 华中科技大学 基于对象存储设备的负载平衡方法
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储***的动态负载均衡方法
CN103823639A (zh) * 2014-02-19 2014-05-28 曙光信息产业(北京)有限公司 迁移对象的方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭支鹏等: "基于对象的存储***对象迁移策略", 《计算机科学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783720A (zh) * 2016-08-24 2018-03-09 深圳市深信服电子科技有限公司 一种数据均衡方法及存储设备
CN106709045A (zh) * 2016-12-29 2017-05-24 深圳市中博科创信息技术有限公司 分布式文件***中节点选择方法及装置
CN106709045B (zh) * 2016-12-29 2020-09-15 北京同有飞骥科技股份有限公司 分布式文件***中节点选择方法及装置
CN107193488A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种分布式***数据重分配方法及其装置
CN108196788A (zh) * 2017-12-28 2018-06-22 新华三技术有限公司 QoS指标监测方法、装置、存储介质
CN108196788B (zh) * 2017-12-28 2021-05-07 新华三技术有限公司 QoS指标监测方法、装置、存储介质
CN110278233A (zh) * 2018-03-16 2019-09-24 中移(苏州)软件技术有限公司 一种负载调整方法及装置
CN110278233B (zh) * 2018-03-16 2022-06-03 中移(苏州)软件技术有限公司 一种负载调整方法及装置
CN108632872B (zh) * 2018-06-20 2021-02-23 中通服咨询设计研究院有限公司 一种5g网络中基于基站吞吐量能力的业务均衡方法
CN108632872A (zh) * 2018-06-20 2018-10-09 中通服咨询设计研究院有限公司 一种5g网络中基于基站吞吐量能力的业务均衡方法
CN109710456A (zh) * 2018-12-10 2019-05-03 新华三技术有限公司 一种数据恢复方法及装置
CN109710456B (zh) * 2018-12-10 2021-03-23 新华三技术有限公司 一种数据恢复方法及装置
CN111142788A (zh) * 2019-11-29 2020-05-12 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质
CN111142788B (zh) * 2019-11-29 2021-10-15 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN104331253B (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN104331253B (zh) 一种对象存储***中对象迁移的计算方法
US20180337847A1 (en) Indexing a multi-layer blockchain system
US9954758B2 (en) Virtual network function resource allocation and management system
CN103763383B (zh) 一体化云存储***及其存储方法
US10356150B1 (en) Automated repartitioning of streaming data
CN107844269A (zh) 一种基于一致性哈希的分层混合存储***及方法
CN104023088B (zh) 一种应用于分布式文件***的存储服务器选择方法
CN113655969B (zh) 一种基于流式分布式存储***的数据均衡存储方法
TWI701562B (zh) 資料庫彈性調度方法以及裝置
CN109218100A (zh) 分布式对象存储集群及其请求响应方法、***和存储介质
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
WO2011088767A1 (zh) 内容分发的方法、***及调度服务器
CN103929454A (zh) 一种云计算平台中负载均衡存储的方法和***
CN102970379A (zh) 在多个服务器之间实现负载均衡的方法
Zhang et al. Survey of research on big data storage
US20230267015A1 (en) Resource scheduling method and apparatus, electronic device and computer readable storage medium
CN103761059A (zh) 一种用于海量数据管理的多盘位存储方法及***
CN103078933A (zh) 一种确定数据迁移时机的方法和装置
CN106648456A (zh) 基于用户访问量以及预测机制的动态副本文件访问方法
CN105915626B (zh) 一种面向云存储的数据副本初始放置方法
CN107092564A (zh) 一种数据处理方法及装置
CN105468296A (zh) 基于虚拟化平台的无共享存储管理方法
CN110839023B (zh) 一种电力营销多渠道客户服务***
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
WO2016065198A1 (en) High performance hadoop with new generation instances

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant