CN108366094B - 一种云存储平台管理方法 - Google Patents

一种云存储平台管理方法 Download PDF

Info

Publication number
CN108366094B
CN108366094B CN201810041455.6A CN201810041455A CN108366094B CN 108366094 B CN108366094 B CN 108366094B CN 201810041455 A CN201810041455 A CN 201810041455A CN 108366094 B CN108366094 B CN 108366094B
Authority
CN
China
Prior art keywords
storage device
cluster
reliability
storage
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810041455.6A
Other languages
English (en)
Other versions
CN108366094A (zh
Inventor
严晓杰
杨清强
林子皇
张晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Jiwei Technology Co ltd
Original Assignee
Xiamen Jiwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Jiwei Technology Co ltd filed Critical Xiamen Jiwei Technology Co ltd
Priority to CN201810041455.6A priority Critical patent/CN108366094B/zh
Publication of CN108366094A publication Critical patent/CN108366094A/zh
Application granted granted Critical
Publication of CN108366094B publication Critical patent/CN108366094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种云存储平台管理方法,包括:S1,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,则将所述用户存储设备加入所述用户存储设备的IP归属地对应区域的存储设备集群中,并根据所述用户存储设备的容量和可靠度分配对应的PG到所述用户存储设备上。本发明提供的一种云存储平台管理方法,通过用户存储设备的IP、容量和可靠度将用户存储设备加入云存储平台,解决了用户本地资源的闲置问题,提高了闲置磁盘的利用率,同时为云存储平台节省了空间成本。

Description

一种云存储平台管理方法
技术领域
本发明涉及云计算技术领域,尤其涉及一种云存储平台管理方法。
背景技术
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件***等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的***。简单来说,云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据。
随着云计算技术的日益成熟,云存储的优势日益显著,而家庭磁盘在便捷性方面的弊端也逐渐凸显。无备份意识和无专门的保护机制记忆导致数据的丢失和磁盘的损坏,而云存储也将凭借其可随存随取的方便性和可靠性成为用户的不二之选,由此导致人们对传统家庭磁盘的需求渐弱、使用率也越来越低,而对云存储的需求越来越大,这使得普通用户家庭闲置的磁盘空间日益增多,造成了大量的资源浪费。
发明内容
本发明为解决现有技术中存在的家庭闲置磁盘导致资源浪费的问题,提供了一种云存储平台管理方法。
本发明提出一种云存储平台管理方法,包括:S1,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,则将所述用户存储设备加入所述用户存储设备的IP归属地对应区域的存储设备集群中,并根据所述用户存储设备的容量和可靠度分配对应的PG到所述用户存储设备上。
优选地,还包括:S0,构建所述用户存储设备的IP归属地对应区域的存储设备集群;所述步骤S0进一步包括:S01,若所述IP归属地对应区域所在的层级还包括其他区域,且任一所述其他区域的存储设备集群的负载符合预先设定的负载条件,则从所述任一其他区域的存储设备集群中输出任一用户存储设备作为异地备份设备;否则,从主存储设备集群中输出任一服务器存储设备作为异地备份设备;所述主存储设备集群由多个服务器存储设备构成,所述服务器存储设备是服务商提供的存储设备;S02,根据各用户存储设备的容量和可靠度,从所述IP归属地对应区域下的用户存储设备中选取若干个用户存储设备;S03,计算所述异地备份设备和若干个用户存储设备的可靠度之和,若所述可靠度之和不低于预先设定的可靠度集群阈值,则应用所述异地备份设备和若干个用户存储设备构建所述IP归属地对应区域的存储设备集群。
优选地,还包括:S2,根据所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能中的至少一种,选取所述区域的存储设备集群的主存储设备。
优选地,还包括:若所述区域的存储设备集群中,任一用户存储设备的可靠度低于预先设定的最低可靠度阈值,则将所述任一用户存储设备从所述存储设备集群中删除。
优选地,所述步骤S03还包括:若所述可靠度之和低于预先设定的可靠度集群阈值,则从所述主存储设备集群中输出服务器存储设备,以使得加入所述服务器存储设备后的可靠度之和不低于预先设定的可靠度集群阈值,应用所述服务器存储设备、异地备份设备和所述若干个存储设备构建当前区域的存储设备集群。
优选地,所述存储设备集群中至少包括一个可靠度不小于预先设定的可靠设备阈值的存储设备;所述服务器存储设备的可靠度固定不变且大于所述可靠设备阈值。
优选地,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,所述步骤S1还包括:对所述用户存储设备进行顺序读写和随机读写,获取所述用户存储设备的读写速度和IOPS值。
优选地,还包括:S3,等待预设时长后,更新所述区域的存储设备集群中各存储设备的可靠度,执行至少一次步骤S2。
优选地,当根据所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能,选取所述区域的存储设备集群的主存储设备时,所述步骤S2进一步包括:S21,提取所述区域的存储设备集群中可靠度不小于预先设定的可靠设备阈值的各存储设备;S22,应用随机样点ping包的形式计算所述各存储设备的网络延迟,以所述网络延迟中最低延迟为基准,通过百分比折算对应获取各存储设备的网络延迟得分;以所述各存储设备的IOPS值中最高IOPS值作为基准,通过百分比折算对应获取各存储设备的磁盘性能得分;S23,将所述各存储设备的网络延迟得分和磁盘性能得分之和作为各存储设备的综合得分,提取所述各存储设备中综合得分最高的存储设备为所述区域的存储设备集群的主存储设备。
优选地,所述用户存储设备的可靠度由下式计算获取:
可靠度=基准值×磁盘寿命值×可用率×延迟值+磁盘性能
其中,所述磁盘寿命值∈[0,1],所述可用率∈[0,1],所述延迟值∈[0,1]。
本发明提供的一种云存储平台管理方法,通过用户存储设备的IP、容量和可靠度将用户存储设备加入云存储平台,解决了用户本地资源的闲置问题,提高了闲置磁盘的利用率,同时为云存储平台节省了空间成本。
附图说明
图1为本发明具体实施例的一种云存储平台的结构示意图;
图2为本发明具体实施例的一种云存储平台管理方法的流程示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
一种云存储平台管理方法,包括:S1,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,则将所述用户存储设备加入所述用户存储设备的IP归属地对应区域的存储设备集群中,并根据所述用户存储设备的容量和可靠度分配对应的PG到所述用户存储设备上。
具体地,所述云存储平台基于Ceph分布式文件***建立。本发明具体实施例中,所述云存储平台中除了服务器存储设备,还包括用户存储设备,所述用户存储设备加入所述云存储平台的方法如下:
首先,接收申请加入云存储集群的用户存储设备发送的请求,并判断所述用户存储设备是否符合预先设定的硬件要求:
例如,预先设置的硬件标准为100GB+1核心+200MB内存。CPU核心单位为1的倍数,容量以100GB起步,内存为200MB起步。
若所述用户存储设备符合所述硬件要求,则获取符合所述硬件要求的用户存储设备的IP归属地、容量和可靠度,根据所述IP归属地将所述用户存储设备加入对应的存储设备集群中,根据所述容量和可靠度分配对应的PG到所述用户存储设备上。其中,所述PG即placement groups,是Ceph的逻辑存储单元,用于对对象的存储进行组织和位置的映射。具体而言,一个对象只能被映射到一个PG中,一个PG则会被映射到多个存储设备中,每一存储设备都承载有大量的PG。
若所述用户存储设备不符合所述硬件要求,则拒绝所述用户存储设备的加入请求。
本发明具体实施例中,通过用户存储设备的IP、容量和可靠度将用户存储设备加入云存储平台,解决了用户本地资源的闲置问题,提高了闲置磁盘的利用率,同时为云存储平台节省了空间成本。
基于上述具体实施例,图1为本发明具体实施例的一种云存储平台的结构示意图,如图1所示,一种云存储平台管理方法,还包括:S0,构建所述用户存储设备的IP归属地对应区域的存储设备集群;所述步骤S0进一步包括:S11,若所述IP归属地对应区域所在的层级还包括其他区域,且任一所述其他区域的存储设备集群的负载符合预先设定的负载条件,则从所述任一其他区域的存储设备集群中输出任一用户存储设备作为异地备份设备;否则,从主存储设备集群中输出任一服务器存储设备作为异地备份设备;所述主存储设备集群由多个服务器存储设备构成,所述服务器存储设备是服务商提供的存储设备;S12,根据各用户存储设备的容量和可靠度,从所述IP归属地对应区域下的用户存储设备中选取若干个用户存储设备;S13,计算所述异地备份设备和若干个用户存储设备的可靠度之和,若所述可靠度之和不低于预先设定的可靠度集群阈值,则应用所述异地备份设备和若干个用户存储设备构建所述IP归属地对应区域的存储设备集群。
具体地,基于服务器存储设备和用户存储设备对所述IP归属地对应区域的存储设备集群进行构建,方法如下:
首先,检测所述IP归属地对应区域所在的层级中是否还包括其他区域:
若所述层级中还包括其他区域,则判断任一所述其他区域的存储设备集群的负载是否符合预先设定的负载条件:
若任一所述其他区域的存储设备集群的负载符合所述负载条件,则从所述任一其他区域的存储设备集群输出任一用户存储设备作为所述IP归属地对应区域的异地备份设备;
若所述IP归属地对应区域所在的层级中没有其他区域,或所述IP归属地对应区域所在的层级中的其他区域的存储设备集群均不符合负载条件,则从主存储设备集群中输出任一服务器存储设备作为所述IP归属地对应区域的异地备份设备。所述服务器存储设备是所述云存储平台提供的存储设备,所述主存储设备集群是由多个服务器存储设备构成的。
随后,以各用户存储设备的容量和可靠度为依据,从所述IP归属地对应区域下的用户存储设备中选取若干个用户存储设备用于所述IP归属地对应区域存储设备集群的建立。
最后,计算前两个步骤中分别得出的所述异地备份设备和若干个用户存储设备的可靠度之和,并判断所述可靠度之和是否低于预先设定的可靠度集群阈值:
若所述可靠度之和不低于所述可靠度集群阈值,则应用上述异地备份设备和若干个用户存储设备构建所述IP归属地对应区域的存储设备集群。
本发明具体实施例中,以可靠度为判断依据建立了区域存储设备集群,为实现包含了用户存储设备的云存储平台的管理奠定了基础。
基于上述任一具体实施例,图2为本发明具体实施例的一种云存储平台管理方法的流程示意图,如图2所示,一种云存储平台管理方法,还包括:S2,根据所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能中的至少一种,选取所述区域的存储设备集群的主存储设备。
具体地,在将用户存储设备加入某一区域的存储设备集群中后,以所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能中的至少一种为依据,对所述区域的存储设备集群的主存储设备进行选择。
其中,所述区域的存储设备集群中各存储设备,包括用户存储设备和服务器存储设备。本发明具体实施例中,所述磁盘性能以所述存储设备的IOPS值为依据。
基于上述任一具体实施例,一种云存储平台管理方法,若所述区域的存储设备集群中,任一用户存储设备的可靠度低于预先设定的最低可靠度阈值,则将所述任一用户存储设备从所述存储设备集群中删除。
具体地,所述存储设备集群中,应用最低可靠度阈值保证所述存储设备集群中各存储设备能够持续可靠地为用户提供存储服务。如果存储设备集群中,任一用户存储设备的可靠度低于所述最低可靠度阈值,则将所述任一用户存储设备从所述存储设备集群中删除。
基于上述任一具体实施例,一种云存储平台管理方法,所述步骤S03还包括:若所述可靠度之和低于预先设定的可靠度集群阈值,则从所述主存储设备集群中输出服务器存储设备,以使得加入所述服务器存储设备后的可靠度之和不低于预先设定的可靠度集群阈值,应用所述服务器存储设备、异地备份设备和所述若干个存储设备构建当前区域的存储设备集群。
具体地,计算异地备份设备和若干个用户存储设备的可靠度之和,并判断所述可靠度之和是否低于预先设定的可靠度集群阈值:
若所述可靠度之和不低于所述可靠度集群阈值,则应用上述异地备份设备和若干个用户存储设备构建当前区域的存储设备集群;
若所述可靠度之和低于所述可靠度集群阈值,则从所述主存储设备集群中输出服务器存储设备,并将新输出的服务器存储设备的可靠度与所述可靠度之和相加。如果更新后的可靠度之和不低于所述可靠度集群阈值,则应用所述异地备份设备、若干个用户存储设备和新输出的服务器存储设备构建当前区域的存储设备集群。
如果更新后的可靠度之和仍然低于所述可靠度集群阈值,则继续从所述主存储设备集群中输出服务器存储设备,并将新输出的服务器存储设备的可靠度与所述可靠度之和相加,直至更新后的可靠度之和不低于所述可靠度集群阈值。
本发明具体实施例中,给出了通过输出服务器存储设备来维持集群可靠度的方法,保证了存储设备集群的可靠度,为云存储平台的数据安全提供了保障。
基于上述任一具体实施例,一种云存储平台管理方法,所述存储设备集群中至少包括一个可靠度不小于预先设定的可靠设备阈值的存储设备;所述服务器存储设备的可靠度固定不变且大于所述可靠设备阈值。
例如,所述可靠度集群阈值为2.3,所述服务器存储设备的可靠度为1;所述可靠设备阈值为0.8,存储设备集群中至少包括一个可靠度不小于0.8的存储设备。
有5个存储设备,两个可靠度为0.8,另外三个存储设备的可靠度为0.5,那么符合条件的可靠度组合为0.8+0.8+0.5+0.5=2.6>=2.3,0.8+0.5+0.5+0.5=2.3>=2.3。
基于上述任一具体实施例,一种云存储平台管理方法,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,所述步骤S1还包括:对所述用户存储设备进行顺序读写和随机读写,获取所述用户存储设备的读写速度和IOPS值。
具体地,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,则通过对所述用户存储设备进行顺序读写和随机读写来获取所述用户存储设备的读写速度和IOPS值,并将测得的上述参数作为所述用户存储设备的磁盘评估结果进行保存。
基于上述任一具体实施例,一种云存储平台管理方法,还包括:S3,等待预先设定的时间后,更新所述区域的存储设备集群中各存储设备的可靠度,执行步骤S2。
具体地,针对某一区域的用户存储设备,在使用时间达到一定程度后,所述用户存储设备的可靠性也会逐渐提升。随着时间的推移,区域的存储设备集群中符合所述可靠设备阈值的存储设备数量也会增加,新增的符合所述可靠设备阈值的存储设备可能比当前的主存储设备性能更佳。
因而,在对区域的存储设备集群中的主存储设备选取后,等待预先设定的时间,更新所述区域的存储设备集群中各存储设备的可靠度,并基于更新后的各存储设备的可靠度,重新对所述存储设备集群中的主存储设备进行选取。
本发明具体实施例中,通过更新存储设备的可靠度更新选取主存储设备,使得存储设备集群内的主存储设备性能维持在最佳状态,为关键数据的存储提供了有力的保障。
基于上述任一具体实施例,一种云存储平台管理方法,当根据所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能,选取所述区域的存储设备集群的主存储设备时,所述步骤S2进一步包括:S21,提取所述区域的存储设备集群中可靠度不小于预先设定的可靠设备阈值的各存储设备;S22,应用随机样点ping包的形式计算所述各存储设备的网络延迟,以所述网络延迟中最低延迟为基准,通过百分比折算对应获取各存储设备的网络延迟得分;以所述各存储设备的IOPS值中最高IOPS值作为基准,通过百分比折算对应获取各存储设备的磁盘性能得分;S23,将所述各存储设备的网络延迟得分和磁盘性能得分之和作为各存储设备的综合得分,提取所述各存储设备中综合得分最高的存储设备为所述区域的存储设备集群的主存储设备。
具体地,在将用户存储设备加入某一区域的存储设备集群中后,以所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能为依据,对所述区域的存储设备集群的主存储设备进行选择,进一步包括:
首先,根据预先设定的可靠设备阈值,选取所述区域的存储设备集群中可靠度不低于所述可靠设备阈值的各存储设备,此处所述存储设备包括服务器存储设备和用户存储设备。
随后,分别计算上述步骤中选取的各存储设备的网络延迟得分和磁盘性能得分。
其中,各存储设备的网络延迟通过随机样点ping包的形式计算获取,随后,以上述各存储设备中网络延迟的中的最幼值,即最低延迟作为基准,通过百分比对所述各存储设备的网络延迟得分进行折算;
同时,获取各存储设备的IOPS值,其中用户存储设备的IOPS值是从所述用户存储设备的磁盘评估结果中提取的。以上述各存储设备中IOPS的最优值,即最大IOPS值为基准,通过百分比对所述各存储设备的磁盘性能得分进行折算
最后,将所述各存储设备的网络延迟得分和磁盘性能得分之和作为各存储设备的综合得分,提取所述各存储设备中综合得分最高的存储设备为所述区域的存储设备集群的主存储设备。
本发明具体实施例给出了依据可靠度、网络延迟和磁盘性能选取主存储设备的方法,为关键数据的存储提供了保障。
基于上述任一具体实施例,一种云存储平台管理方法,所述用户存储设备的可靠度由下式计算获取:
可靠度=基准值×磁盘寿命值×可用率×延迟值+磁盘性能
其中,所述磁盘寿命值∈[0,1],所述可用率∈[0,1],所述延迟值∈[0,1]。
例如,所述可靠度∈[0,1],服务器存储设备的可靠度始终保持为1;
若用户存储设备为初次加入所述云存储集群,则所述基准值为0.5;否则,所述基准值为0.2;
若所述用户存储设备的磁盘使用时间小于两年,则所述磁盘寿命值为1;否则,所述磁盘使用时间超出两年的部分每增加3个月,所述磁盘寿命值乘以0.95;所述磁盘寿命值∈[0,1],将所述磁盘寿命值引入可靠度的计算,能够降低超龄使用的用户存储设备带来的不稳定因素;
所述可用率为所述用户存储设备最近一周的可服务分钟数与最近一周总分钟数的商;将所述可用率引入可靠度的计算,用于在可靠度中表征所述用户存储设备的的可持续服务率。若所述用户存储设备加入所述云存储平台的时间不足一周,则将所述可用率代入比例折算系数,所述比例折算系数如下:
Figure BDA0001549626020000101
其中,x为校正前的可用率。
若所述用户存储设备的延迟小于100ms,则所述延迟值为1;否则,所述延迟超出100ms的部分每增加10ms,所述延迟值乘以0.95;所述延迟值∈[0,1]。
所述磁盘性能为所述用户存储设备的IOPS值与IOPS基准的差和比例系数的乘积。例如,IOPS基准为500,比例系数为0.004,IOPS值为1000,则磁盘性能为0.2。所述磁盘性能∈[-0.2,0.2]。
本发明具体实施例中,可靠度与磁盘寿命值、可用率、延迟值和磁盘性能相关,有助于更加准确全面的反应存储设备的服务质量。
为了更好地理解与应用本发明提出的一种云存储平台管理方法,本发明进行以下示例,且本发明不仅局限于以下示例。
示例一:
为实现云存储平台的管理,提出了一种可靠度机制。所述可靠度机制用于评估用户提供的存储设备的可靠情况,保证云存储平台的数据处于一个稳定可用的状态。
所述可靠度机制的度量工具是可靠度和标记位osd_type,可靠度的取值范围为[0.2,1]。osd_type有三种,0表示服务器存储设备,是由服务商提供的硬盘;1表示可靠设备,属于用户提供的并且相对可靠的硬盘;2表示普通设备,属于用户提供但可靠度较低的设备。云存储平台服务商提供的硬盘的可靠度都为1,osd_type为0,表示这些存储设备相对于用户提供的存储设备是相对稳定的设备。云平台的关键数据都会存储在。当可靠度小于0.2时,用户存储设备会被剔除出集群。其中集群会记录硬盘的序列号,并将记录存储在服务器存储设备集群中,被剔除的存储设备重新加入后可靠度为0.2。可靠度大于等于0.8的存储设备称为可靠存储设备(osd_type标记位为1)。一个数据对应的可靠度集合中,必须至少有一个存储设备属于可靠存储设备。存储设备中,osd_type的值小于等于1就是可靠设备。
示例二:
针对用户存储设备,在读写数据时进行加解密,防止数据被窃取。若用户存储设备的可靠度小于0.2,即被从所述集群中剔除,则所述用户存储设备上的数据将会被自动清空,并且1天内禁止加入。第N次被提出集群,需要等2N-1天数才能重新加入所述云存储平台。另外,对用户端进行限制,使其不能访问对应的用户存储设备和所述用户存储设备所述的存储设备集群内的数据。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种云存储平台管理方法,其特征在于,包括:
S1,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,则将所述用户存储设备加入所述用户存储设备的IP归属地对应区域的存储设备集群中,并根据所述用户存储设备的容量和可靠度分配对应的PG到所述用户存储设备上;
还包括:
S0,构建所述用户存储设备的IP归属地对应区域的存储设备集群;
所述步骤S0进一步包括:
S01,若所述IP归属地对应区域所在的层级还包括其他区域,且任一所述其他区域的存储设备集群的负载符合预先设定的负载条件,则从所述任一其他区域的存储设备集群中输出任一用户存储设备作为异地备份设备;否则,从主存储设备集群中输出任一服务器存储设备作为异地备份设备;所述主存储设备集群由多个服务器存储设备构成,所述服务器存储设备是服务商提供的存储设备;
S02,根据各用户存储设备的容量和可靠度,从所述IP归属地对应区域下的用户存储设备中选取若干个用户存储设备;
S03,计算所述异地备份设备和若干个用户存储设备的可靠度之和,若所述可靠度之和不低于预先设定的可靠度集群阈值,则应用所述异地备份设备和若干个用户存储设备构建所述IP归属地对应区域的存储设备集群。
2.根据权利要求1所述的方法,其特征在于,还包括:
S2,根据所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能中的至少一种,选取所述区域的存储设备集群的主存储设备。
3.根据权利要求1所述的方法,其特征在于,还包括:
若所述区域的存储设备集群中,任一用户存储设备的可靠度低于预先设定的最低可靠度阈值,则将所述任一用户存储设备从所述存储设备集群中删除。
4.根据权利要求1所述的方法,其特征在于,所述步骤S03还包括:
若所述可靠度之和低于预先设定的可靠度集群阈值,则从所述主存储设备集群中输出服务器存储设备,以使得加入所述服务器存储设备后的可靠度之和不低于预先设定的可靠度集群阈值,应用所述服务器存储设备、异地备份设备和所述若干个存储设备构建当前区域的存储设备集群。
5.根据权利要求1所述的方法,其特征在于,所述存储设备集群中至少包括一个可靠度不小于预先设定的可靠设备阈值的存储设备;所述服务器存储设备的可靠度固定不变且大于所述可靠设备阈值。
6.根据权利要求1所述的方法,其特征在于,若申请加入云存储集群的用户存储设备符合预先设定的硬件要求,所述步骤S1还包括:
对所述用户存储设备进行顺序读写和随机读写,获取所述用户存储设备的读写速度和IOPS值。
7.根据权利要求2所述的方法,其特征在于,还包括:
S3,等待预设时长后,更新所述区域的存储设备集群中各存储设备的可靠度,执行至少一次步骤S2。
8.根据权利要求2或7所述的方法,其特征在于,当根据所述区域的存储设备集群中各存储设备的可靠度、网络延迟和磁盘性能,选取所述区域的存储设备集群的主存储设备时,所述步骤S2进一步包括:
S21,提取所述区域的存储设备集群中可靠度不小于预先设定的可靠设备阈值的各存储设备;
S22,应用随机样点ping包的形式计算所述各存储设备的网络延迟,以所述网络延迟中最低延迟为基准,通过百分比折算对应获取各存储设备的网络延迟得分;
以所述各存储设备的IOPS值中最高IOPS值作为基准,通过百分比折算对应获取各存储设备的磁盘性能得分;
S23,将所述各存储设备的网络延迟得分和磁盘性能得分之和作为各存储设备的综合得分,提取所述各存储设备中综合得分最高的存储设备为所述区域的存储设备集群的主存储设备。
9.根据权利要求1至7中任一权利要求所述的方法,其特征在于,所述用户存储设备的可靠度由下式计算获取:
可靠度=基准值×磁盘寿命值×可用率×延迟值+磁盘性能
其中,所述磁盘寿命值∈[0,1],所述可用率∈[0,1],所述延迟值∈[0,1]。
CN201810041455.6A 2018-01-16 2018-01-16 一种云存储平台管理方法 Active CN108366094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810041455.6A CN108366094B (zh) 2018-01-16 2018-01-16 一种云存储平台管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810041455.6A CN108366094B (zh) 2018-01-16 2018-01-16 一种云存储平台管理方法

Publications (2)

Publication Number Publication Date
CN108366094A CN108366094A (zh) 2018-08-03
CN108366094B true CN108366094B (zh) 2021-05-07

Family

ID=63006397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810041455.6A Active CN108366094B (zh) 2018-01-16 2018-01-16 一种云存储平台管理方法

Country Status (1)

Country Link
CN (1) CN108366094B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669642B (zh) * 2018-12-24 2022-06-10 广东浪潮大数据研究有限公司 存储***的节点加入方法、***、装置及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082830A (zh) * 2011-01-18 2011-06-01 浙江大学 面向不稳定网络的基于品质感知的分布式文件存储方法
CN106230963A (zh) * 2016-08-11 2016-12-14 江苏方天电力技术有限公司 基于电力***私有云平台的软件定义存储方法
CN106990923A (zh) * 2017-03-30 2017-07-28 武汉大学 一种基于个人存储设备的网盘构造装置及方法
CN107171904A (zh) * 2017-05-03 2017-09-15 易展成 一种云服务提供方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902498B (zh) * 2010-07-02 2013-03-27 广州鼎甲计算机科技有限公司 一种基于网络技术的存储云备份方法
CN102523259B (zh) * 2011-12-02 2014-07-16 浪潮集团有限公司 一种让pc 接入usb接口云终端的方法
US20130311597A1 (en) * 2012-05-16 2013-11-21 Apple Inc. Locally backed cloud-based storage
CN103200168B (zh) * 2013-01-21 2016-09-07 高榕科技(深圳)有限公司 通过广域网与网络硬盘装置交互的方法
CN103246546B (zh) * 2013-05-07 2016-01-20 山东大学 基于云技术的开放式电力***数值仿真***及其仿真方法
US9652465B2 (en) * 2014-10-30 2017-05-16 Lenovo (Singapore) Pte. Ltd. Aggregate service with enhanced cloud device management
CN104883393A (zh) * 2015-04-28 2015-09-02 深圳市美贝壳科技有限公司 家庭云存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082830A (zh) * 2011-01-18 2011-06-01 浙江大学 面向不稳定网络的基于品质感知的分布式文件存储方法
CN106230963A (zh) * 2016-08-11 2016-12-14 江苏方天电力技术有限公司 基于电力***私有云平台的软件定义存储方法
CN106990923A (zh) * 2017-03-30 2017-07-28 武汉大学 一种基于个人存储设备的网盘构造装置及方法
CN107171904A (zh) * 2017-05-03 2017-09-15 易展成 一种云服务提供方法及装置

Also Published As

Publication number Publication date
CN108366094A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
US20220121384A1 (en) Hot Data Management Method, Apparatus, and System
CN108205541B (zh) 分布式网络爬虫任务的调度方法及装置
CN103227754B (zh) 一种高可用集群***负载动态均衡方法及节点设备
US10356150B1 (en) Automated repartitioning of streaming data
US20120203888A1 (en) Selecting computing nodes in cloud service using replication topologies
CN110134338B (zh) 一种分布式存储***及其数据冗余保护方法和相关设备
CN106959820B (zh) 一种数据提取方法和***
CN110321225B (zh) 负载均衡方法、元数据服务器及计算机可读存储介质
BR112017001850B1 (pt) Sistema e método implementado por computador de redesignação de carga de trabalho distribuída após falha de comunicação
CN106570113B (zh) 一种海量矢量切片数据云存储方法及***
CN113806300B (zh) 数据存储方法、***、装置、设备及存储介质
KR101719116B1 (ko) 데이터 센터들에서의 효율적인 자원 이용
US20200341674A1 (en) Method, device and computer program product for restoring data
US8782372B2 (en) Method, system and program product for storing downloadable content on a plurality of enterprise storage system (ESS) cells
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN108366094B (zh) 一种云存储平台管理方法
CN113965587B (zh) 一种人工智能平台的数据获取方法、装置、设备、介质
CN106959997A (zh) 基于集群文件***的文件处理方法和装置
CN106940712A (zh) 序列生成方法与设备
WO2022037016A1 (zh) 一种树结构数据的存储方法、***及相关装置
CN111435286A (zh) 一种数据存储方法、装置和***
CN117520278A (zh) 一种分布式文件***多客户端高精度目录配额控制方法
JP2012168713A (ja) メール保存バックアップシステムおよびバックアップ方法
US20090328229A1 (en) System, method and computer program product for performing a data protection operation
CN114879907A (zh) 一种数据分布确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant