CN116820324A - 存储扩容方法及装置、存储介质和电子设备 - Google Patents

存储扩容方法及装置、存储介质和电子设备 Download PDF

Info

Publication number
CN116820324A
CN116820324A CN202210289246.XA CN202210289246A CN116820324A CN 116820324 A CN116820324 A CN 116820324A CN 202210289246 A CN202210289246 A CN 202210289246A CN 116820324 A CN116820324 A CN 116820324A
Authority
CN
China
Prior art keywords
storage
capacity expansion
storage pool
capacity
data migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210289246.XA
Other languages
English (en)
Inventor
林俊贤
张简政晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fulian Fugui Precision Industry Co Ltd
Original Assignee
Shenzhen Fulian Fugui Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fulian Fugui Precision Industry Co Ltd filed Critical Shenzhen Fulian Fugui Precision Industry Co Ltd
Priority to CN202210289246.XA priority Critical patent/CN116820324A/zh
Priority to US17/728,064 priority patent/US20230325082A1/en
Publication of CN116820324A publication Critical patent/CN116820324A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种存储扩容方法及装置、存储介质和电子设备，其中存储扩容方法包括当存储***中的存储池新增存储节点时，根据存储***当前正在提供的服务的磁盘空间占用情况，相应地设定存储池的扩容目标，然后按照扩容目标对存储池进行扩容，并在扩容的过程中，弹性地调整存储池在不同时段下的扩容参数。如此可以有效减少存储扩容对服务的影响，有利于充分利用存储***的资源。

Description

存储扩容方法及装置、存储介质和电子设备
技术领域
本申请涉及云存储技术领域，尤其涉及一种存储扩容方法及装置、存储介质和电子设备。
背景技术
云存储是一种新兴的存储技术，是指通过分布式存储***等功能，将网络中各种不同类型的存储设备集合起来，以共同对外提供数据存储和读取服务。目前的云存储***在容量不足时，通常会新增存储节点来进行扩容。由于新增的存储节点会引起原有数据分布的失衡，为了继续保持数据均衡，云存储***会触发内部的机制，重新计算数据的分布位置并将数据迁移至计算后的位置。迁移数据需要使用到节点中的中央处理单元、磁盘、网络等资源，而这些资源同时也在提供给存取服务，因此扩容会影响到存取服务，容易引起数据存取的卡顿与延迟，影响用户体验。
发明内容
本申请的主要目的是提供一种存储扩容方法及装置、存储介质和电子设备，可以有效减少存储扩容对数据存取服务的影响，有利于充分利用存储***的资源。
一种存储扩容方法，应用于存储***，所述方法包括：
当所述存储***中的存储池新增存储节点时，根据所述存储***当前正在提供的服务的磁盘空间占用情况，设定所述存储池的扩容目标；
按照所述扩容目标对所述存储池进行扩容，并调整所述存储池在不同时段下的扩容参数。
优选地，按照所述扩容目标对所述存储池进行扩容，包括：
对所述存储池中的各个所述存储节点的权重进行修改，并将所述存储池中原有的所述存储节点存储的待迁移数据迁移至新增的所述存储节点；
数据迁移完成后，判断所述存储池是否达到所述扩容目标；
若是，则停止数据迁移；
若否，则再次修改所述权重，并再次进行数据迁移，直至所述存储池达到所述扩容目标。
优选地，所述扩容目标包括所述存储池中的各个所述存储节点的目标权重，其中，目标权重表征所述存储节点在扩容后所要达成的总磁盘容量，和/或表征所述存储节点在扩容过程中的数据迁移量。
优选地，所述扩容参数包括数据迁移的速度；
所述调整所述存储池在不同时段下的扩容参数，包括以下步骤：
根据所述存储***的服务忙碌状况设定尖峰时段和离峰时段；
当所述存储池处于所述尖峰时段时，对数据迁移速度进行限速；
当所述存储池处于所述离峰时段时，对数据迁移速度进行加速。
更进一步地，所述存储***的服务忙碌状况根据所述存储池的历史流量和历史单位时间内磁盘的读写次数获得，其中，根据所述存储***的服务忙碌状况设定尖峰时段和离峰时段，包括：
将服务繁忙的时段设定为所述尖峰时段；及
将服务空闲的时段设定为所述离峰时段。
一种存储扩容装置，包括：
扩容目标设定模块，用于在存储***中的存储池新增存储节点时，根据所述存储***当前正在提供的服务的磁盘空间占用情况，相应地设定所述存储池的扩容目标；
扩容模块，用于按照所述扩容目标对所述存储池进行扩容，直至所述存储池达成对应的扩容目标；
调整模块，用于在扩容的过程中调整所述存储池在不同时段下的扩容参数。
优选地，所述扩容模块包括：
权重修改模块，用于对所述存储池中的各个所述存储节点的权重进行修改；
数据迁移模块，用于在权重修改后，将所述存储池中原有的所述存储节点存储的待迁移数据迁移至新增的所述存储节点；
判断模块，用于数据迁移完成后，判断所述存储池是否达到所述扩容目标，在达到的情况下停止所述数据迁移模块的数据迁移，在未达到的情况下通过所述权重修改模块再次修改所述权重。
优选地，所述调整模块包括：
时段设定模块，用于根据所述存储***的服务忙碌状况设定尖峰时段和离峰时段；
限速模块，用于在所述存储池处于所述尖峰时段时，对数据迁移速度进行限速；
加速模块，用于在所述存储池处于所述离峰时段时，对数据迁移速度进行加速。
一种计算机存储介质，所述计算机存储介质存储多条指令，所述多条指令适于由处理器加载并执行上述存储扩容方法。
一种电子设备，所述电子设备包括：处理器和用于存储多条指令的计算机存储介质；其中，所述处理器用于运行所述指令，以执行上述存储扩容方法。
与现有技术相比，本申请具有以下优点：
1、本申请存储扩容方法能够提供弹性的扩容策略。对于不同的应用或服务，可以相应地调整扩容时的数据迁移量，并且在扩容过程中，还可以基于不同的时段弹性地调整数据迁移的速度，使得存储***可以在扩容和提供服务之间取得良好的平衡，避免因迁移的数据量过大或迁移速度过快而对服务造成影响，因此可以有效提升用户体验。
2、本申请存储扩容方法可以评估存储***的状况来调整扩容目标和扩容参数，在服务忙碌时也能进行扩容，在服务空闲时可以加速扩容，使得本申请存储扩容方法可适用于存储***的多种服务场景。
3、本申请存储扩容方法可以实现存储***数据均衡，避免原有的存储节点负载过高而出现性能问题，最终影响到存储节点所存储的数据的可靠性和可用性。
4、本申请存储扩容方法可以在尖峰时刻采用舒缓的迁移策略，在离峰时刻采用积极的迁移策略，如此可以充分利用存储***的资源，提高迁移的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的存储扩容方法的流程图。
图2为Ceph分布式存储***的示意图。
图3为本申请实施例提供的存储扩容装置的示意图。
图4为本申请实施例提供的电子设备的示意图。
主要元件符号说明
存储扩容装置 100
扩容目标设定模块 11
扩容模块 12
调整模块 13
电子设备 200
处理器 21
计算机存储介质 22
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
请参照图1，本申请提供一种存储扩容方法，适用于存储***。当存储***容量不足以提供用户使用时，本申请方法可使存储***在扩容和提供服务之间取得良好的平衡，在不影响存储***所提供的服务的同时，进行存储***的扩容。
其中，存储***为云存储***。可以理解，云存储***可采用分布式存储***，例如可采用Ceph分布式存储***。Ceph分布式存储***在进行数据存储时，数据先被分割成多个数据单元(object，obj)，每个object通过Hash算法映射到对应的一个放置组(Placement Group，PG)中。一个PG可以包含多个object，可用于管理object。PG再通过CRUSH算法映射到对象存储设备(Object Storage Device，OSD)中，可参照图2。可以理解，OSD相当于存储节点。OSD可直接使用磁盘。数个OSD可合成一个存储池(Pool)。
如图1所示，本申请实施例的存储扩容方法包括如下步骤：
第一步，当存储***中的存储池新增存储节点后，根据存储***当前正在提供的服务的磁盘空间占用情况，相应地设定存储池的扩容目标。其中，扩容目标包括存储池中的各个存储节点的目标权重。
可以理解，每个存储节点内包含多个磁盘，每个磁盘均有其对应的权重，权重取决于磁盘容量，磁盘容量越大，权重越大。一个存储节点的权重即是该存储节点内全部磁盘的权重之和。由此可见，目标权重代表了存储节点在扩容后所要达成的总磁盘容量。
可以理解，当存储节点所要达成的总磁盘容量越大，存储节点在扩容过程中的数据迁移量也越大，因此，目标权重同时也代表了为达成该总磁盘容量，存储节点在扩容过程中的数据迁移量。
可以理解，由于服务和扩容均需要使用资源，而资源是有限的，当存储***同时提供服务和进行扩容时，扩容的数据迁移量将会影响到服务。数据迁移量越大，说明对资源的使用需求越大，因此对服务的影响也越大。例如，当服务所占用的磁盘空间较多时，扩容可使用的磁盘空间较少，因此过大的数据迁移量可能会导致资源冲突，影响到服务的正常提供。因此，当服务所占用的磁盘空间较多时，可以设置较小的扩容目标，产生较小的数据迁移量，以避免影响到服务的正常提供。当服务所占用的磁盘空间较少时，可以设置较大的扩容目标，产生较大的数据迁移量，以合理利用存储***的资源。
在一些实施例中，可以基于深度学习技术计算扩容目标。比如，利用深度学习模型来自动输出存储池的扩容目标。其中，深度学习模型包括但不限于AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet等，本申请实施例对此不进行具体限定。
在本实施例中，方法还可以包括：
监控磁盘的利用率，当监控到磁盘的利用率达到预设的上限时，则说明磁盘容量将满，故将新的存储节点加入至存储池。
可以理解，上限可根据实际情况设置，例如可以设置为磁盘的利用率达到70％至80％这一范围中的任意一个数值。
第二步，按照扩容目标对存储池进行扩容，并在扩容的过程中，弹性地调整存储池在不同时段下的扩容参数。
可以理解，当存储***中的任意一个存储池新增存储节点后，该存储池将重新计算数据的分布位置，并按照该分布位置进行数据迁移。存储***中受影响的范围可以限缩在新增存储节点所在的该存储池，而不会影响到不相关的其他存储池。因此，在扩容的过程中，可以仅对新增存储节点的存储池设置扩容目标和进行扩容参数的调整。
在第二步中，按照扩容目标对存储池进行扩容的过程包括：
首先，对存储池中的各个存储节点的权重进行修改，并将存储池中原有的存储节点所存储的待迁移数据迁移至新增的存储节点。可以理解，当存储***修改了权重，将会触发存储***内部的机制，发生数据的迁移。
当数据迁移完成后，再判断存储池是否达到扩容目标：
若是，则停止数据迁移。
若否，则再次修改权重，并再次进行数据迁移。
可以理解，当数据迁移完成后，还可以包括：
对原有存储节点中的待迁移数据进行删除，以释放磁盘空间。
可以理解，通过上述的迭代迁移，最终存储池中的各个存储节点可以达到对应的扩容目标。扩容后的存储池数据均衡，即数据分布均匀，不会出现原有的存储节点负载过高，可用空间不足，而新增的存储节点的可用空间很多的情况。
在第二步中，扩容参数包括数据迁移的速度。
在扩容的过程中，弹性地调整存储池在不同时段下的扩容参数，具体包括：
(1)根据存储***的服务忙碌状况设定尖峰时段和离峰时段。
其中，步骤(1)具体为：
根据存储池的历史流量和历史单位时间内磁盘的读写次数确定扩容过程中存储***的服务忙碌状况。
然后，将扩容过程中服务繁忙的时段设定为尖峰时段，将服务空闲的时段设定为离峰时段。
可以理解，流量代表磁盘吞吐量，也即是磁盘的读写数据量，单位时间内磁盘的读写次数是指Input/Output Per Second，也即IOPS。显然，流量和IOPS均可以作为负载数据来表征存储***的工作负载。流量和IOPS越大，则说明存储***所处理的服务请求越多，即***越忙碌。因此，可以根据历史流量和历史IOPS设定对应的流量阈值和IOPS阈值。如此，在扩容过程中，即可以根据流量阈值和IOPS阈值来判断存储***是否忙碌，进而确定出尖峰时段和离峰时段。
(2)当存储池处于尖峰时段时，对数据迁移速度进行限速。
(3)当存储池处于离峰时段时，对数据迁移速度进行加速。
可以理解，服务和扩容均需要使用资源，由于存储***的资源是有限的，当存储***同时提供服务和进行扩容时，扩容的数据迁移速度将会影响到服务，数据迁移速度越大，说明对资源的使用需求增长得越快，因此对服务产生的影响也越大。因此，在尖峰时段时，由于存储***的工作负载重，为确保服务的正常提供，可以适当降低扩容所使用的资源的比例，故将数据迁移速度降低至合适的数值或数值范围，以此来降低对服务的影响。在离峰时段时，由于存储***的工作负载轻，因此可以适当提高扩容所使用的资源的比例，故将数据迁移速度提高至合适的数值或数值范围，以充分利用存储***的资源。
可以理解，加速后可达到的最大速值和限速后可达到的最大速值均可以根据实际存储***的类型以及服务相应地设置，本申请并不加以限制。
在一些实施例中，还可以基于深度学习技术计算扩容参数。比如，收集存储池的历史负载数据(包含历史流量和历史IOPS)，并将历史负载数据作为训练样本来训练一个深度学习模型，利用该深度学习模型来自动输出扩容的过程中各个时段所对应的扩容参数。可以理解，本申请实施例并不限制深度学习模型的类型。
综上，本申请存储扩容方法能够根据存储***的情况提供弹性的扩容策略也即提供弹性的扩容目标和弹性的扩容参数，使得存储***可以在扩容和提供服务之间取得良好的平衡，如此可以有效减少存储扩容对服务的影响，有利于充分利用存储***的资源。
请参阅图3，图3为本申请实施例提供的一种存储扩容装置100的结构示意图。该存储扩容装置100可用于实现上述存储扩容方法。
具体地，存储扩容装置100包括扩容目标设定模块11，扩容模块12和调整模块13。
其中，扩容目标设定模块11用于在存储***中的存储池新增存储节点时，根据存储***当前正在提供的服务的磁盘空间占用情况，相应地设定存储池的扩容目标。
扩容模块12用于按照扩容目标对存储池进行扩容，直至存储池达成对应的扩容目标。
调整模块13用于在扩容的过程中弹性地调整存储池在不同时段下的扩容参数。
在本实施例中，扩容模块12进一步包括权重修改模块、数据迁移模块和判断模块。
其中，权重修改模块用于对存储池中的各个存储节点的权重进行修改。
数据迁移模块用于在权重修改后，将存储池中原有的存储节点所存储的待迁移数据迁移至新增的存储节点。
判断模块用于在数据迁移完成后，判断存储池是否达到扩容目标，在达到的情况下停止数据迁移模块的数据迁移，在未达到的情况下通过权重修改模块再次修改权重。
在本实施例中，调整模块13进一步包括时段设定模块、限速模块和加速模块。
其中，时段设定模块用于根据存储***的服务忙碌状况设定尖峰时段和离峰时段。
限速模块用于在存储池处于尖峰时段时，对数据迁移速度进行限速。
加速模块用于在存储池处于离峰时段时，对数据迁移速度进行加速。
本申请还提供了一种计算机存储介质22。该计算机存储介质22存储多条指令，多条指令适于由处理器21加载并执行，以实现上述存储扩容方法的相应步骤，具体包括：
当存储***中的存储池新增存储节点时，根据存储***当前正在提供的服务的磁盘空间占用情况，设定存储池的扩容目标。
然后，按照扩容目标对存储池进行扩容，并调整存储池在不同时段下的扩容参数。
请同时参阅图4，本申请还提供一种电子设备200。该电子设备200可包括至少一个处理器21以及计算机存储介质22。计算机存储介质22用于存储多条逻辑指令。处理器21可以运行该逻辑指令，以执行上述存储扩容方法。
其中，上述的计算机存储介质22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机存储介质中。
计算机存储介质22可设置为存储软件程序、计算机可执行程序，如本申请实施例中的存储扩容方法对应的程序指令或存储扩容装置100中的模块。处理器21通过运行存储在计算机存储介质22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的存储扩容方法。
在一些实施方式中，电子设备200为服务器，例如云服务器。
在本申请实施方式中，计算机存储介质22包括非易失性计算机可读存储器，例如磁盘、内存等。可以理解，计算机存储介质22还可以包括其他非易失性计算机可读存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)、至少一个闪存器件和/或其他非易失性固态存储器件。
在本申请实施方式中，处理器21可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器21是电子设备200的控制中心，可以利用各种接口和线路连接其他设备和/或***/模块/单元，以向其他设备和/或***/模块/单元的应用提供数据存储和数据访问服务。
需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种存储扩容方法，应用于存储***，其特征在于，所述方法包括：
当所述存储***中的存储池新增存储节点时，根据所述存储***当前正在提供的服务的磁盘空间占用情况，设定所述存储池的扩容目标；
按照所述扩容目标对所述存储池进行扩容，并调整所述存储池在不同时段下的扩容参数。
2.如权利要求1所述的存储扩容方法，其特征在于，按照所述扩容目标对所述存储池进行扩容，包括：
对所述存储池中的各个所述存储节点的权重进行修改，并将所述存储池中原有的所述存储节点存储的待迁移数据迁移至新增的所述存储节点；
数据迁移完成后，判断所述存储池是否达到所述扩容目标；
若是，则停止数据迁移；
若否，则再次修改所述权重，并再次进行数据迁移，直至所述存储池达到所述扩容目标。
3.如权利要求1所述的存储扩容方法，其特征在于，所述扩容目标包括所述存储池中的各个所述存储节点的目标权重，其中，目标权重表征所述存储节点在扩容后所要达成的总磁盘容量，和/或表征所述存储节点在扩容过程中的数据迁移量。
4.如权利要求1所述的存储扩容方法，其特征在于，所述扩容参数包括数据迁移的速度；
所述调整所述存储池在不同时段下的扩容参数，包括以下步骤：
根据所述存储***的服务忙碌状况设定尖峰时段和离峰时段；
当所述存储池处于所述尖峰时段时，对数据迁移速度进行限速；
当所述存储池处于所述离峰时段时，对数据迁移速度进行加速。
5.如权利要求4所述的存储扩容方法，其特征在于，所述存储***的服务忙碌状况根据所述存储池的历史流量和历史单位时间内磁盘的读写次数获得，其中，根据所述存储***的服务忙碌状况设定尖峰时段和离峰时段，包括：
将服务繁忙的时段设定为所述尖峰时段；及
将服务空闲的时段设定为所述离峰时段。
6.一种存储扩容装置，其特征在于，包括：
扩容目标设定模块，用于在存储***中的存储池新增存储节点时，根据所述存储***当前正在提供的服务的磁盘空间占用情况，相应地设定所述存储池的扩容目标；
扩容模块，用于按照所述扩容目标对所述存储池进行扩容，直至所述存储池达成对应的扩容目标；
调整模块，用于在扩容的过程中调整所述存储池在不同时段下的扩容参数。
7.如权利要求6所述的存储扩容装置，其特征在于，所述扩容模块包括：
权重修改模块，用于对所述存储池中的各个所述存储节点的权重进行修改；
数据迁移模块，用于在权重修改后，将所述存储池中原有的所述存储节点存储的待迁移数据迁移至新增的所述存储节点；
判断模块，用于数据迁移完成后，判断所述存储池是否达到所述扩容目标，在达到的情况下停止所述数据迁移模块的数据迁移，在未达到的情况下通过所述权重修改模块再次修改所述权重。
8.如权利要求6所述的存储扩容装置，其特征在于，所述调整模块包括：
时段设定模块，用于根据所述存储***的服务忙碌状况设定尖峰时段和离峰时段；
限速模块，用于在所述存储池处于所述尖峰时段时，对数据迁移速度进行限速；
加速模块，用于在所述存储池处于所述离峰时段时，对数据迁移速度进行加速。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储多条指令，所述多条指令适于由处理器加载并执行如权利要求1至5任一项所述的存储扩容方法。
10.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储多条指令的计算机存储介质；其中，所述处理器用于运行所述指令，以执行如权利要求1至5任一项所述的存储扩容方法。
CN202210289246.XA 2022-03-22 2022-03-22 存储扩容方法及装置、存储介质和电子设备 Pending CN116820324A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210289246.XA CN116820324A (zh) 2022-03-22 2022-03-22 存储扩容方法及装置、存储介质和电子设备
US17/728,064 US20230325082A1 (en) 2022-03-22 2022-04-25 Method for setting up and expanding storage capacity of cloud without disruption of cloud services and electronic device employing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210289246.XA CN116820324A (zh) 2022-03-22 2022-03-22 存储扩容方法及装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN116820324A true CN116820324A (zh) 2023-09-29

Family

ID=88113321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210289246.XA Pending CN116820324A (zh) 2022-03-22 2022-03-22 存储扩容方法及装置、存储介质和电子设备

Country Status (2)

Country Link
US (1) US20230325082A1 (zh)
CN (1) CN116820324A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117453148A (zh) * 2023-12-22 2024-01-26 柏科数据技术（深圳）股份有限公司 基于神经网络的数据平衡方法、装置、终端及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435328A (zh) * 2022-07-15 2024-01-23 锐捷网络股份有限公司 数据盘容量管理方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2121852A1 (en) * 1993-04-29 1994-10-30 Larry T. Jost Disk meshing and flexible storage mapping with enhanced flexible caching
JP2018181190A (ja) * 2017-04-20 2018-11-15 富士通株式会社 ストレージ装置、およびストレージ制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117453148A (zh) * 2023-12-22 2024-01-26 柏科数据技术（深圳）股份有限公司 基于神经网络的数据平衡方法、装置、终端及存储介质
CN117453148B (zh) * 2023-12-22 2024-04-02 柏科数据技术（深圳）股份有限公司 基于神经网络的数据平衡方法、装置、终端及存储介质

Also Published As

Publication number Publication date
US20230325082A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
CN107391031B (zh) 一种基于混合存储的计算***中的数据迁移方法及装置
EP2758877B1 (en) Bandwidth throttling of virtual disks
CN116820324A (zh) 存储扩容方法及装置、存储介质和电子设备
US9513835B2 (en) Impact-based migration scheduling from a first tier at a source to a second tier at a destination
US20120221730A1 (en) Resource control system and resource control method
WO2017166643A1 (zh) 一种任务资源的量化方法和装置
US10884667B2 (en) Storage controller and IO request processing method
CN103986766A (zh) 自适应负载均衡作业任务调度方法及装置
CN106534308B (zh) 一种分布式存储***中解决数据块访问热点的方法及装置
CN108958975B (zh) 一种控制数据恢复速度的方法、装置及设备
US11914894B2 (en) Using scheduling tags in host compute commands to manage host compute task execution by a storage device in a storage system
CN105446653A (zh) 一种数据合并方法和设备
CN110321331A (zh) 利用多级散列函数来确定存储地址的对象存储***
CN110297743B (zh) 一种负载测试方法、装置和存储介质
CN106973091B (zh) 分布式内存数据重分布方法及***、主控服务器
US10671293B2 (en) Topology aware load optimized multipath I/O scheduler
CN111124304A (zh) 一种数据迁移方法、装置及电子设备和存储介质
WO2024148864A1 (zh) 虚拟机内存的调整方法和装置、非易失性可读存储介质及电子装置
CN110650206B (zh) 分布式存储***中io流量控制方法、装置和存储介质
CN112286623B (zh) 一种信息处理方法及装置、存储介质
TWI831159B (zh) 存儲擴容方法及裝置、存儲介質與電子設備
WO2017036245A1 (zh) 一种存储阵列操作方法和装置
CN111694635A (zh) 一种服务质量控制方法及装置
CN110955644A (zh) 一种存储***的io控制方法、装置、设备及存储介质
CN114465958B (zh) 一种输入输出的控制方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination