CN114466030B - 数据分布存储策略的管理方法、装置及分布式存储*** - Google Patents
数据分布存储策略的管理方法、装置及分布式存储*** Download PDFInfo
- Publication number
- CN114466030B CN114466030B CN202111612341.0A CN202111612341A CN114466030B CN 114466030 B CN114466030 B CN 114466030B CN 202111612341 A CN202111612341 A CN 202111612341A CN 114466030 B CN114466030 B CN 114466030B
- Authority
- CN
- China
- Prior art keywords
- storage
- fault domain
- data
- distribution
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000011084 recovery Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 27
- 239000012634 fragment Substances 0.000 claims description 4
- 238000013500 data storage Methods 0.000 abstract description 10
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000013515 script Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据分布存储策略的管理方法、装置及分布式存储***以及存储介质,该方法包括首先通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中;然后根据业务需求通过操作接口来确定存储策略的分布方式;之后,基于存储设备的物理拓扑类型配置所述分布方式。该方法是针对分布式存储***中数据存放的故障域、分布方式以及配置分布方式的管理控制,通过操作接口的方式高效地解决了日常管理和维护分布式存储***时存在的数据分布策略配置操作复杂、效率低下、易用性和可维护性差等问题,满足不同业务场景下对数据高可靠性、低开销和高读写性能的指标要求,提高存储策略配置的灵活性、可扩展性和易用性。
Description
技术领域
本发明涉及存储领域,具体涉及一种数据分布存储策略的管理方法、装置及分布式存储***以及存储介质。
背景技术
随着云计算、移动互联网技术的不断发展和深入应用,数据存储需求在过去的几年中呈现出爆发性的增长。传统的网络存储***采用集中的存储服务器存放所有数据,存储服务器成为***性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要,传统存储***也无法应对目前数据的增速。分布式存储***是将数据分散存储在多***立的设备上,分布式网络存储***采用可扩展的***结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了***的可靠性、可用性和存取效率,还易于扩展。
分布式存储***由于具有大容量、高性能、低延迟、低成本的特性,能够更好的满足当前数据存储的需求。但是,目前分布式存储集群部署和维护过程中,需要通过脚本方式进行配置,脚本配置的方式存在操作复杂、耗时长的问题,此外配置的效率低下,使得分布式存储***的易用性和可扩展性不足。
发明内容
有鉴于此,本发明实施例提供了一种数据分布存储策略的管理方法,以解决现有技术中的分布式存储***中数据分布策略配置操作复杂、效率低下、易用性和可维护性的问题。
根据第一方面,本发明实施例中提供一种数据分布存储策略的管理方法,包括:
通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中;
根据业务需求通过操作接口来确定存储策略的分布方式;
基于存储设备的物理拓扑类型配置所述分布方式。
本实施例中的数据分布存储策略的管理方法,是针对分布式存储***中数据存放的故障域、分布方式以及配置分布方式的单元的管理控制,通过软件定义的方式高效地解决了日常管理和维护分布式存储***时存在的数据分布策略配置操作复杂、效率低下、易用性和可维护性差等痛点问题,满足不同业务场景下对数据高可靠性、低开销和高读写性能的指标要求,提高存储策略配置的灵活性、可扩展性和易用性,使海量数据分布更加智能、均衡,存储空间利用更加合理高效。
结合第一方面的第一实施方式,所述通过操作接口来创建故障域,包括:
基于存储磁盘的介质类型、存储磁盘的物理拓扑类型、和/或所述业务需求中的一种或几种维度设置故障域。该方案中,采用不同的维度根据需要进行设置,提高了方案的使用场景和可扩展性。
结合第一方面及其可选的实施方式,所述通过操作接口来创建故障域,包括:
根据业务需求划分一级故障域,所述业务需求包括多个业务,针对每个业务分别设置一级故障域;
在各个业务中通过存储介质划分二级故障域;
在二级故障域中按照存储磁盘的物理拓扑类型进行三级故障域划分。
该方案中结合多种方式进行故障域设置,具有更好的针对性。
结合第一方面的可选实施方式,根据业务需求通过操作接口来确定存储策略的分布方式,包括:
通过设置数据的副本个数来配置多副本分布方式;
和/或
通过设置数据块和编码块的个数配置纠删码分布方式。
分布方式可以针对场景需要进行选择,多副本分布方式为通过配置数据的副本个数,由分布式存储***中的存储设备实现自我复制,来实现数据的自动协商备份;当***中数据遭遇丢失时,***会自动通过其副本将丢失的数据进行恢复,保障底层数据的一致性、安全性和可靠性;相较于纠删码方式,冗余度高,对存储资源要求更多,资源利用率比较低。
结合第一方面的可选实施方式,所述物理拓扑类型包括机房、机架和/存储节点中的一种或几种。
结合第一方面的可选实施方式,该方法还包括:
计算所述故障域能够提供的最大流量;
获取当前业务流量和恢复流量;
调整所述恢复流量使得所述当前业务流量和所述恢复流量之和在所述最大流量的预设范围内。
该方案支持动态控制数据恢复流量,当在线调整数据分布策略时,管控***会根据***设置的恢复流量动态调整恢复速率,降低数据恢复流量对存储***正常业务访问流量带宽的影响,提高存储***的稳定性和可用性。
结合第一方面的可选实施方式,所述操作接口包括UI接口和CLI接口,能够根据不同的场合来设计,应用范围更广。
根据第二方面,本发明实施方式提还供一种数据分布存储策略的管理装置,包括
故障域设置单元,用于通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中;
分布方式确定单元,用于根据业务需求通过操作接口来确定存储策略的分布方式;
分布单元,用于基于存储设备的物理拓扑类型配置所述分布方式。
根据第三方面,本发明实施方式还提供一种分布式存储***,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面及其可选实施方式中任一项的数据分布存储策略的管理方法。
根据第四方面,本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,使计算机执行第一方面及其可选实施方式中任一项的数据分布存储策略的管理方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了一个实施方式中的数据分布存储策略的管理方法的流程图;
图2示出了另一个实施方式中数据分布存储策略的管理方法对应的架构图;
图3示出了一个实施方式中的数据分布存储策略的管理方法的另一流程图;
图4示出了一个实施方式中数据分布存储策略的管理装置的结构框图;
图5示出了另一个实施方式中数据分布存储策略的管理装置的结构框图;
图6示出了一个实施方式中分布式存储***的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于传统存储***已经无法应对目前数据的增速,因此分布式存储***由于具有大容量、高性能、低延迟、低成本的特性,能够满足当今以及将来的数据存储需求。分布式存储***,如天翼云CStor分布式存储***,具备良好的弹性伸缩(容量、性能)、可扩展性、以及更高的可靠性,可以降低企业存储基础应用设施的TCO(Total Cost of Ownership,总体拥有成本),同时提供更加灵活的数据分布策略管理。
本实施例中提供一种数据分布存储策略的管理方法,用于所述分布式存储***中,对于分布式存储***中存储数据的分布存储策略进行管理,数据的分布存储策略是针对分布式存储***中数据存放的故障域、分布方式(多副本、纠删码)以及分布单元(机房、机架、存储节点)的管理控制。
基于上述所述故障域、多副本或纠删码分布方式、机房/机架/存储节点分布单元等维度,本实施例方案中设计分布式数据分布存储策略配置模型,开发出数据分布策略配置工具,支持UI和CLI两种管理操作接口,满足各种业务场景下的配置需求。
其中,UI接口主要支持界面管理配置,用户通过浏览器(兼容IE、Firefox、Chrome等)访问存储管控平台,在操作界面上通过存储设备介质类型、存储节点所在机房、机架等条件快速创建故障域,极大的提高了存储集群数据分布策略管理的易用性和可维护性,这种方式主要适用于能够通过网络直接访问存储管控平台的应用场景。
命令行接口(Command Line Interface,简称CLI接口)是计算机操作***或应用程序为用户提供的可视提示接口,可以在特定的行中输入命令,从操作***接收回应等。主要支持命令行管理配置,通过在配置文件中定义好数据分布策略模型(包含故障域、多副本或纠删码分布方式、机房/机架/存储节点分布单元),使用csm-cli命令行工具快速创建,这种方式主要适用于无法通过浏览器访问存储管理平台的应用场景。
基于此,本实施例中提供一种数据分布存储策略的管理方法,如图1所示,该方法包括:
S101、通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中。
操作接口可以是上述的UI接口或CLI接口。
所述通过操作接口来创建故障域可以采用基于存储磁盘的介质类型、存储磁盘的物理拓扑类型、和/或所述业务需求中的一种或几种维度设置故障域。也就是说,故障域可以基于存储磁盘的介质类型(SSD、HDD)、存储磁盘的物理拓扑类型(如机房、机架、存储节点)、存储的业务需求(文件、块、对象)等多个维度进行管理,通过自定义划分故障域来隔离分布式存储集群中的物理存储设备,保证数据的安全性和可靠性。
例如,通过存储磁盘介质类型如NVME盘和SATA盘来划分故障域,可以创建具有不同性能的物理存储资源池,满足不同性能需求的业务数据存储,为后续实现数据的分级、分层存储奠定基础,在降低TCO的同时也提高了存储***的利用率。
例如,通过存储磁盘的物理拓扑类型划分故障域,引入虚拟数据中心层,提高了大规模集群下存储节点物理故障(包括机房、机架、主机的断电、断网等)的容错性,当存储节点出现物理故障时能够快速隔离风险,保障整个存储服务的稳定性和可用性。
例如,通过存储的业务需求来划分故障域,如业务需求可是数据归档,归档的数据包括常用数据和不常用数据,通过业务需求划分故障域时,可以将经常用的数据划分到访问比较快的故障域中,将不常用的数据划分到访问速度相对较慢的故障域中。根据业务需求划分故障域,可以实现一个集群同时提供文件、块、对象存储服务,在物理资源池层面实现业务数据隔离,保证存储性能的同时能够避免不同的存储业务之间互相影响,提高了存储集群资源利用率。
通过上述预先设置的操作接口,采用相应的维度创建故障域,将对应的存储设备加入到所述故障域中。
S102、根据业务需求通过操作接口来确定存储策略的分布方式。
一般,存储策略的分布方式可以包括多副本分布方式和纠删码分布方式,通过设置数据的副本个数来配置多副本分布方式,通过设置数据块和编码块的个数配置纠删码分布方式。
其中,所述多副本分布方式为通过配置数据的副本个数,由分布式存储***中的存储设备实现自我复制,来实现数据的自动协商备份;当***中数据遭遇丢失时,***会自动通过其副本将丢失的数据进行恢复,保障底层数据的一致性、安全性和可靠性;相较于纠删码方式,冗余度高,对存储资源要求更多,资源利用率比较低。
其中,所述纠删码分布方式内容包括自定义数据块和编码块个数即EC配比,相比多副本方式而言,能够以更小的数据冗余度获得高数据可靠性,降低了存储资源开销;但由于编码方式复杂,对计算资源要求较高;适用于存储硬件资源较少、计算资源比较丰富的应用场景。
S103、基于存储设备的物理拓扑类型配置所述分布方式。
物理拓扑类型一般包括机房、机架和/存储节点中的一种或几种。基于存储设备的物理拓扑类型来配置分布方式,主要包括机房、机架和存储节点三个层面,如图2所示。当指定为机房时,不同副本或纠删码分片将分布在不同机房下的存储设备上,最大限度的保障了数据的可靠性;当指定为机架时,不同副本或纠删码分片将分布在不同机架下的存储设备上,可靠性相较于机房级别较低;当指定为存储节点时,不同副本或纠删码分片将分布在不同存储节点下的存储设备上,这种方式下可靠性最低。
本实施例中的数据分布存储策略的管理方法,是针对分布式存储***中数据存放的故障域、分布方式(多副本、纠删码)以及配置分布方式的单元(机房、机架、存储节点)的管理控制,通过软件定义的方式高效地解决了日常管理和维护分布式存储***时存在的数据分布策略配置操作复杂、效率低下、易用性和可维护性差等痛点问题,满足不同业务场景下对数据高可靠性、低开销和高读写性能的指标要求,提高存储策略配置的灵活性、可扩展性和易用性,使海量数据分布更加智能、均衡,存储空间利用更加合理高效。
同时结合日常使用中的容量型/性能型、分级存储等需求场景,提供快速部署功能,自动创建故障域和存储策略,极大的降低了维护人员使用CStor分布式存储的学习成本和时间开销,提高日常工作效率。
解决了现有技术中分布式存储集群部署和维护过程中通过脚本方式配置复杂,耗时长,效率低下、易用性和可扩展性差等问题,通过对CStor分布式存储***中数据分布的故障域、分布方式、分布单元等关键参数进行抽象建模,设计出对应的数据分布策略模型和快速创建算法,结合公有云、私有云存储***的使用场景提供UI和CLI两种管理访问接口,大幅度提高存储集群的易用性、可维护性和运维效率。
作为S102的一种实现方式,还可以当然也支持上述三种划分方式的交叉使用,包括:
首先,根据业务需求划分一级故障域,所述业务需求包括多个业务,针对每个业务分别设置一级故障域。然后,在各个业务中通过存储介质划分二级故障域。最后,在二级故障域中按照存储磁盘的物理拓扑类型进行三级故障域划分。
作为一种具体方式,比如先通过存储业务需求划分,然后在各个业务如文件、块、对象存储服务中再通过存储介质划分出SSD和HDD故障域,其中SSD故障域中主要存储服务元数据信息,HDD故障域中主要存储实体数据信息,最后在SSD或HDD故障域中再按照存储磁盘物理拓扑进行规划。
作为进一步的实施方式,本实施例中的数据分布存储策略的管理方法,支持存储集群数据恢复流量的动态调整,当存储集群中已经存在业务数据时,进行数据分布策略调整不可避免会引发数据的迁移操作,通过动态控制恢复流量就可以在降低数据恢复对正常业务访问流量的影响的同时,最大限度提高集群的利用率,保证存储集群稳定性和可用性。为实现上述目的,如图3所示,该方法还包括:
S201、计算所述故障域能够提供的最大流量。通过故障域下的存储设备介质、存储设备个数、网络带宽等参数计算出该故障域可提供的最大流量Qos(该流量也可以通过配置文件设置)。
S202、获取当前业务流量和恢复流量。
分布式存储***的管控平台会动态监控当前集群的业务流量,得到当前的业务流量和恢复流量。
S203、调整所述恢复流量使得所述当前业务流量和所述恢复流量之和在所述最大流量的预设范围内。此处的预设范围可以是最大流量的0.7-1.3倍之间。
首先当业务流量较大时,会通过降低恢复速率,也就是减小恢复流量,从而减小对业务影响,当业务流量较大时,会提高恢复速率,也就是增大恢复流量,从而增加集群利用率,总体上保证业务流量+恢复流量<集群可提供的最大流量。
作为一种具体的方式,当恢复流量+当前业务流量大于等于Qos的1.2倍时,增加恢复进程休眠时间,从而降低恢复流量;当恢复流量+当前业务流量小于Qos的0.8倍时,降低恢复进程的休眠时间,从而提高恢复流量。
该基于恢复流量动态控制的方案,基于业务实时流量和集群流量Qos动态调整恢复流量,保证业务稳定性和可用性;同时支持动态控制数据恢复流量,当在线调整数据分布策略时,管控***会根据***设置的恢复流量Qos动态调整恢复速率,降低数据恢复流量对存储***正常业务访问流量带宽的影响,提高存储***的稳定性和可用性。
本实施例中的数据分布存储策略的管理方法,可以基于目前公有云、私有云、信创云等使用场景,抽象出容量型/性能型、分级存储等快速创建模式。
例如,对于容量型(全SATA盘)/性能型(全NVME盘)存储使用场景,会基于存储磁盘物理位置划分故障域,首先根据副本数或纠删码配比数、分布单元将存储集群物理节点划分成多个虚拟数据中心,以该虚拟数据中心为根节点,进行数据分布规划。
创建时,考虑到公有云大规模集群场景下操作过于复杂,用户只需要配置上述配置项,后台会自动规划创建虚拟数据中心,以及该虚拟中心下的机房、机架、存储节点及存储设备,其中虚拟数据中心的名称及机房、机架、存储节点名称都是自动分配,不允许出现重复;另外出于提高创建性能考虑,虚拟数据中心、机房、机架、存储节点的创建存在依赖关系,先并行创建所有的虚拟数据中心,之后再并行创建虚拟数据中心下的机房,依次类推创建机架、存储节点,最后并行创建所有的存储设备,并将存储设备移动到对应的存储节点中,使用这种方式能够大幅提高故障域创建效率,将之前的串行方式需要的几十分钟降低到几分钟完成,同时提高了操作的易用性和稳定性。
例如,对于分级存储应用场景,首先会基于存储磁盘介质类型划分出SSD故障域和HDD故障域,然后在SSD和HDD故障域中分别基于存储磁盘物理拓扑、副本数或纠删码配比数、分布单元进行进一步的划分,划分算法逻辑和容量型/性能型场景类似。其中SSD/HDD故障域中的存储设备通过介质类型自动筛选SSD或非SSD类型的设备所在的存储节点。同时还支持自定义故障域,用户可以通过管理接口快速创建对应的故障域和存储策略,通过存储设备介质类型、存储节点所在机房、机架等快速筛选创建,极大的提高了CStor分布式存储数据分布策略管理的易用性和可维护性。
作为一种具体的实施方式,分布式存储***中的数据分布策略的管理方法包括以下过程:
首先,根据业务需求,按照存储介质类型、硬件物理拓扑等信息抽象出故障域配置模型,在创建故障域的同时将对应的存储设备加入到该故障域中,在UI管理接口中可以通过介质类型或机房、机架、存储节点等信息快速筛选存储设备。
然后,根据业务需求,按照分布方式抽象出多副本和纠删码两种配置模型,如果分布方式为多副本方式,则需要配置对应的副本个数;如果是纠删码的分布方式,则需要设置数据块/校验块的EC配比数。
之后,根据业务需求,按照分布单元抽象基于机房、机架、存储节点的配置模型,使底层数据的物理分布位置更加灵活。
该方式可以提高策略配置的灵活性、可扩展性和易用性。相对于现有通过脚本的方式管理数据分布策略来说,通过本方案所提供的分布式数据存储策略管理方法及其实现,有效的解决了分布式存储***中数据分布策略配置可扩展性差、操作复杂、时间开销大、效率低下等问题,满足了不同业务场景下对数据高可靠性、低存储开销和高读写性能的指标要求,提高存储策略配置的灵活性、可扩展性和易用性,让海量数据分布更加智能、均衡。
该方案可扩展性好,针对不同的应用场景只需要在操作接口上调整配置方式即可,不需要修改脚本或者代码,满足目前公有云、私有云、信创云等多种应用场景;同时UI管理接口也兼容多种浏览器使用,如IE、Firefox、Chrome等;操作简单,易用性好,通过UI和CLI两种管理接口方式,满足不同网络架构下存储数据分布策略的管理需求,同时提供快速创建功能,极大简化了需要配置的参数项;管理效率和集群稳定性提升,通过快速创建算法,实现后台并行创建,相比于脚本方式的串行创建效率大幅提升;同时后台会动态调整数据恢复速率,保证业务***的访问性能,提高集群运行稳定性。
对于公有云场景,可以通过CLI管理接口快速创建容量型或性能型的分布式存储集群的数据分布管理策略;对于私有云/信创云场景,可以通过UI管理接口来自定义创建分布式存储集群的数据分布管理策略;基于方案实现的CStor分布式存储管控平台同时提供UI和CLI管理接口,可以同时支持公有云、私有云、信创云等场景下CStor分布式存储集群的快速部署上线使用。
本实施例中,还提供一种数据分布存储策略的管理装置,如图4所示,包括
故障域设置单元301,用于通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中;详见步骤S101,在此不再赘述。
分布方式确定单元302,用于根据业务需求通过操作接口来确定存储策略的分布方式;详见步骤S102,在此不再赘述。
分布单元303,用于基于存储设备的物理拓扑类型配置所述分布方式。详见步骤S103,在此不再赘述。
其中,故障域设置单元301,包括处理子单元,用于基于存储磁盘的介质类型、存储磁盘的物理拓扑类型、和/或所述业务需求中的一种或几种维度设置故障域。
作为具体的一种实施方式,故障域设置单元301,可以包括
一级子单元,用于根据业务需求划分一级故障域,所述业务需求包括多个业务,针对每个业务分别设置一级故障域。
二级子单元,用于在各个业务中通过存储介质划分二级故障域;
三级子单元,用于在二级故障域中按照存储磁盘的物理拓扑类型进行三级故障域划分。
分布方式确定单元302,包括:
第一分布方式确定单元,用于通过设置数据的副本个数来配置多副本分布方式;
和/或
第二分布方式确定单元,用于通过设置数据块和编码块的个数配置纠删码分布方式。
其中,所述物理拓扑类型包括机房、机架和/存储节点中的一种或几种。
所述数据分布存储策略的管理装置,如图5所示,还包括:
计算单元401,用于计算所述故障域能够提供的最大流量;
监控单元402,用于获取当前业务流量和恢复流量;
调整单元403,用于调整所述恢复流量使得所述当前业务流量和所述恢复流量之和在所述最大流量的预设范围内。
作为具体的一种方式,所述操作接口包括UI接口和CLI接口。
本实施例中的数据分布存储策略的管理装置,数据分布策略是针对分布式存储***中数据存放的故障域、分布方式(多副本、纠删码)以及分布单元(机房、机架、存储节点)的管理控制,通过软件定义的方式高效地解决了日常管理和维护分布式存储***时存在的数据分布策略配置操作复杂、效率低下、易用性和可维护性差等痛点问题,满足不同业务场景下对数据高可靠性、低开销和高读写性能的指标要求,提高存储策略配置的灵活性、可扩展性和易用性,使海量数据分布更加智能、均衡,存储空间利用更加合理高效。
同时结合日常使用中的容量型/性能型、分级存储等需求场景,提供快速部署功能,自动创建故障域和存储策略,极大的降低了维护人员使用CStor分布式存储的学习成本和时间开销,提高日常工作效率。
本实施例中还包括一种分布式存储***,图6是本发明实施例提供的分布式存储***的硬件结构示意图,如图6所示,该设备包括一个或多个处理器710以及存储器720,存储器720包括持久内存、易失内存和硬盘,图6中以一个处理器710为例。该设备还可以包括:输入装置730和输出装置740。
处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图6中以通过总线连接为例。
处理器710可以为中央处理器(Central Processing Unit,CPU)。处理器710还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器720作为一种非暂态计算机可读存储介质,包括持久内存、易失内存和硬盘,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的业务管理方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述数据分布存储策略的管理方法。
存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据、需要使用的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器720可选包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器720中,当被所述一个或者多个处理器710执行时,执行如图1或3所示的方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,具体可参见如图1或3所示的实施例中的相关描述。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的认证方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种数据分布存储策略的管理方法,其特征在于,包括:
通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中,包括:根据业务需求划分一级故障域,所述业务需求包括多个业务,针对每个业务分别设置一级故障域;在各个业务中通过存储介质划分二级故障域;在二级故障域中按照存储磁盘的物理拓扑类型进行三级故障域划分;
根据业务需求通过操作接口来确定存储策略的分布方式;
基于存储设备的物理拓扑类型配置所述分布方式,其中,所述物理拓扑类型包括机房、机架和存储节点中的一种或几种;当指定为所述机房时,不同副本或纠删码分片将分布在不同机房下的存储设备上;当指定为所述机架时,不同副本或纠删码分片将分布在不同机架下的存储设备上;当指定为所述存储节点时,不同副本或纠删码分片将分布在不同存储节点下的存储设备上。
2.根据权利要求1所述的方法,其特征在于,所述通过操作接口来创建故障域,包括
基于存储磁盘的介质类型、存储磁盘的物理拓扑类型、和/或所述业务需求中的一种或几种维度设置故障域。
3.根据权利要求1或2所述的方法,其特征在于,根据业务需求通过操作接口来确定存储策略的分布方式,包括:
通过设置数据的副本个数来配置多副本分布方式;
和/或
通过设置数据块和编码块的个数配置纠删码分布方式。
4.根据权利要求1或2任一所述的方法,其特征在于,还包括:
计算所述故障域能够提供的最大流量;
获取当前业务流量和恢复流量;
调整所述恢复流量使得所述当前业务流量和所述恢复流量之和在所述最大流量的预设范围内。
5.根据权利要求4所述的方法,其特征在于,所述操作接口包括UI接口和CLI接口。
6.一种数据分布存储策略的管理装置,其特征在于,包括:
故障域设置单元,用于通过操作接口来创建故障域,将对应的存储设备加入到所述故障域中,包括:根据业务需求划分一级故障域,所述业务需求包括多个业务,针对每个业务分别设置一级故障域;在各个业务中通过存储介质划分二级故障域;在二级故障域中按照存储磁盘的物理拓扑类型进行三级故障域划分;
分布方式确定单元,用于根据业务需求通过操作接口来确定存储策略的分布方式;
分布单元,用于基于存储设备的物理拓扑类型配置所述分布方式,其中,所述物理拓扑类型包括机房、机架和存储节点中的一种或几种;当指定为所述机房时,不同副本或纠删码分片将分布在不同机房下的存储设备上;当指定为所述机架时,不同副本或纠删码分片将分布在不同机架下的存储设备上;当指定为所述存储节点时,不同副本或纠删码分片将分布在不同存储节点下的存储设备上。
7.一种分布式存储***,其特征在于,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111612341.0A CN114466030B (zh) | 2021-12-27 | 2021-12-27 | 数据分布存储策略的管理方法、装置及分布式存储*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111612341.0A CN114466030B (zh) | 2021-12-27 | 2021-12-27 | 数据分布存储策略的管理方法、装置及分布式存储*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114466030A CN114466030A (zh) | 2022-05-10 |
CN114466030B true CN114466030B (zh) | 2024-03-12 |
Family
ID=81407274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111612341.0A Active CN114466030B (zh) | 2021-12-27 | 2021-12-27 | 数据分布存储策略的管理方法、装置及分布式存储*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114466030B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116166202B (zh) * | 2023-03-30 | 2023-07-21 | 中国华能集团清洁能源技术研究院有限公司 | 一种大数据环境下的副本放置方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104583930A (zh) * | 2014-08-15 | 2015-04-29 | 华为技术有限公司 | 数据迁移的方法、控制器和数据迁移装置 |
CN108540315A (zh) * | 2018-03-28 | 2018-09-14 | 新华三技术有限公司成都分公司 | 分布式存储***、方法和装置 |
CN108829738A (zh) * | 2018-05-23 | 2018-11-16 | 北京奇艺世纪科技有限公司 | 一种ceph中数据存储方法及装置 |
CN109429255A (zh) * | 2017-09-01 | 2019-03-05 | ***通信集团陕西有限公司 | 流量调整方法、装置、服务器、电子设备及存储介质 |
CN111628893A (zh) * | 2020-05-27 | 2020-09-04 | 星辰天合(北京)数据科技有限公司 | 分布式存储***的故障处理方法及装置、电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7996719B2 (en) * | 2008-10-24 | 2011-08-09 | Microsoft Corporation | Expressing fault correlation constraints |
US20190044819A1 (en) * | 2018-03-28 | 2019-02-07 | Intel Corporation | Technology to achieve fault tolerance for layered and distributed storage services |
-
2021
- 2021-12-27 CN CN202111612341.0A patent/CN114466030B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104583930A (zh) * | 2014-08-15 | 2015-04-29 | 华为技术有限公司 | 数据迁移的方法、控制器和数据迁移装置 |
CN109429255A (zh) * | 2017-09-01 | 2019-03-05 | ***通信集团陕西有限公司 | 流量调整方法、装置、服务器、电子设备及存储介质 |
CN108540315A (zh) * | 2018-03-28 | 2018-09-14 | 新华三技术有限公司成都分公司 | 分布式存储***、方法和装置 |
CN108829738A (zh) * | 2018-05-23 | 2018-11-16 | 北京奇艺世纪科技有限公司 | 一种ceph中数据存储方法及装置 |
CN111628893A (zh) * | 2020-05-27 | 2020-09-04 | 星辰天合(北京)数据科技有限公司 | 分布式存储***的故障处理方法及装置、电子设备 |
Non-Patent Citations (1)
Title |
---|
基于分布式存储的应用场景研究;高红岩;;网络安全和信息化(07);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114466030A (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10318189B2 (en) | Determining respective mappings for logically defined dispersed storage units | |
CN103503414B (zh) | 一种计算存储融合的集群*** | |
US9967146B2 (en) | Creating new cloud resource instruction set architecture | |
CN102546256B (zh) | 用于对云计算服务进行监控的***及方法 | |
CN102882909B (zh) | 云计算服务监控***及方法 | |
US20150134618A1 (en) | Techniques for Policy-Based Data Protection Services | |
WO2011088767A1 (zh) | 内容分发的方法、***及调度服务器 | |
Chen et al. | E2FS: an elastic storage system for cloud computing | |
CN103200036A (zh) | 一种电力***云计算平台的自动化配置方法 | |
Sun et al. | RRSD: A file replication method for ensuring data reliability and reducing storage consumption in a dynamic Cloud-P2P environment | |
CN103581332A (zh) | HDFS架构及HDFS架构中NameNode节点的压力分解方法 | |
CN204650507U (zh) | 一种云计算网络中的虚拟化资源整合平台 | |
CN105095103A (zh) | 用于云环境下的存储设备管理方法和装置 | |
CN114466030B (zh) | 数据分布存储策略的管理方法、装置及分布式存储*** | |
Narayanan et al. | Right-sizing geo-distributed data centers for availability and latency | |
CN109840051B (zh) | 一种存储***的数据存储方法及装置 | |
US10929797B1 (en) | Fault tolerance determinations for networked resources | |
CN116841728A (zh) | 集群资源调度方法、装置、电子设备及存储介质 | |
CN105302817A (zh) | 分布式文件***管理方法和装置 | |
CN103109515A (zh) | 一种业务部署的方法及装置 | |
CN113094354A (zh) | 一种数据库架构方法、装置、数据库一体机和存储介质 | |
Liu et al. | Edge node data replica management method for distribution Internet of Things | |
CN101876920A (zh) | 在虚拟平台上实现虚拟机移转的方法 | |
CN113271323A (zh) | 集群扩容方法、装置和存储介质 | |
CN107277106B (zh) | 一种全息投影教育交互式存储*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |