CN110636091A - 云存储集群的数据均衡方法、装置、设备和存储介质 - Google Patents

云存储集群的数据均衡方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110636091A
CN110636091A CN201810653142.6A CN201810653142A CN110636091A CN 110636091 A CN110636091 A CN 110636091A CN 201810653142 A CN201810653142 A CN 201810653142A CN 110636091 A CN110636091 A CN 110636091A
Authority
CN
China
Prior art keywords
node
data
cloud storage
nodes
storage cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810653142.6A
Other languages
English (en)
Inventor
刘洋
张海杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyland Technology Co Ltd
Original Assignee
Kyland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyland Technology Co Ltd filed Critical Kyland Technology Co Ltd
Priority to CN201810653142.6A priority Critical patent/CN110636091A/zh
Publication of CN110636091A publication Critical patent/CN110636091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种云存储集群的数据均衡方法、装置、设备和存储介质。本发明实施例一种云存储集群的数据均衡方法包括：当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，所述权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。本发明实施例实现在云存储集群中的节点发生变化时以最少的数据均衡迁移量达到各节点的平衡，减少网络负荷，提高数据均衡效率。

Description

云存储集群的数据均衡方法、装置、设备和存储介质
技术领域
本发明实施例涉及云计算存储技术，尤其涉及一种云存储集群的数据均衡方法、装置、设备和存储介质。
背景技术
在云存储集群中存在物理资源发生变动的情况，具体的原因包括因为某个存储节点损坏导致该节点离线，或者因为存储容量不够需要添加一个存储节点等。
目前针对物理资源发生变动，云存储集群的解决策略是更新集群的整体拓扑结构，重新计算集群中的数据的位置，进行重新的均衡操作。
但是，上述策略在集群拓扑变动的情况下始终会造成数据的重新均衡移动，即使经过算法的优化可以让大部分数据不需要移动，但在集群中存储了大量数据的情况下，也会使得相当一部分数据的均衡，这会造成网络负载增大，影响服务。
发明内容
本发明实施例提供一种云存储集群的数据均衡方法、装置、设备和存储介质，以实现在云存储集群中的节点发生变化时以最少的数据均衡迁移量达到各节点的平衡，减少网络负荷，提高数据均衡效率。
第一方面，本发明实施例提供了一种云存储集群的数据均衡方法，包括：
当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，所述权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；
以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。
可选的，当所述云存储集群中加入新节点时，所述新节点为新注册加入所述云存储集群的节点，在所述获取云存储集群中的节点的权重值之前，还包括：
将所述新节点的权重值确定为权重值范围中的最高值。
可选的，当所述云存储集群中加入旧节点时，所述旧节点为已加入过所述云存储集群并退出的节点，在所述获取云存储集群中的节点的权重值之前，还包括：
确定所述旧节点中存储的数据；
查询在所述云存储集群的现有节点中是否已经有N个节点备份了所述旧节点中存储的数据，N为设定的数据备份总数；
从所述旧节点中删除已在所述云存储集群的N个节点中备份过的数据，并根据删除数据后的存储能力计算所述旧节点的权重值。
可选的，所述以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值，包括：
将新传入的数据做N个备份，并将各个备份分别写入所述权重值中的前N个值高者对应的现有节点，并根据写入所述新传入的数据后的存储能力分别调整所述前N个值高者对应的现有节点的权重值。
可选的，当所述云存储集群中删除节点时，在所述获取云存储集群中的节点的权重值之前，还包括：
确定删除的节点中存储的数据；
所述以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值，包括：
将所述删除的节点中存储的数据写入所述权重值中的最高者对应的现有节点，并根据写入所述删除的节点中存储的数据后的存储能力调整所述最高者对应的现有节点的权重值。
第二方面，本发明实施例提供了一种云存储集群的数据均衡装置，包括：
权重获取模块，用于当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，所述权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；
均衡模块，用于以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。
可选的，当所述云存储集群中加入新节点时，所述新节点为新注册加入所述云存储集群的节点；
所述权重获取模块，还用于将所述新节点的权重值确定为权重值范围中的最高值。
可选的，当所述云存储集群中加入旧节点时，所述旧节点为已加入过所述云存储集群并退出的节点；
所述均衡模块，还用于确定所述旧节点中存储的数据；查询在所述云存储集群的现有节点中是否已经有N个节点备份了所述旧节点中存储的数据，N为设定的数据备份总数；从所述旧节点中删除已在所述云存储集群的N个节点中备份过的数据，并根据删除数据后的存储能力计算所述旧节点的权重值。
可选的，所述均衡模块，具体用于将新传入的数据做N个备份，并将各个备份分别写入所述权重值中的前N个值高者对应的现有节点，并根据写入所述新传入的数据后的存储能力分别调整所述前N个值高者对应的现有节点的权重值。
可选的，当所述云存储集群中删除节点时，所述均衡模块，还用于确定删除的节点中存储的数据；将所述删除的节点中存储的数据写入所述权重值中的最高者对应的现有节点，并根据写入所述删除的节点中存储的数据后的存储能力调整所述最高者对应的现有节点的权重值。
第三方面，本发明实施例提供了一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一所述的云存储集群的数据均衡方法。
第四方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述第一方面中任一所述的云存储集群的数据均衡方法。
本发明实施例通过获取云存储集群中的节点的权重值，以将数据写入权重值最高者对应的节点为目的，在云存储集群的现有节点中均衡存储数据，实现在云存储集群中的节点发生变化时以最少的数据均衡迁移量达到各节点的平衡，减少网络负荷，提高数据均衡效率。
附图说明
图1为本发明实施例二提供的云存储集群的数据均衡方法的流程图；
图2为本发明实施例三提供的云存储集群的数据均衡方法的示例图；
图3A和图3B为本发明实施例四提供的云存储集群的数据均衡方法的示例图；
图4为本发明实施例五提供的云存储集群的数据均衡方法的示例图；
图5A和图5B为本发明实施例六提供的云存储集群的数据均衡方法的示例图；
图6为本发明实施例七提供的云存储集群的数据均衡装置的结构示意图；
图7为本发明实施例八提供的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
本发明实施例一提供了一种存储***，从物理结构划分该存储***的每个节点包含元数据管理模块和数据管理模块；从逻辑上划分该存储***结构分为用户层、元数据管理模块层和数据存储模块层三层，其中
用户层负责对外提供数据显示和从外部获取数据，它主要由手持终端，PC客户端构成。用户使用这些设备从云存储***读取数据，并显示到终端***。还可以通过设备向存储***传输数据，并存储到存储***。
元数据管理模块层负责对存储***的元数据进行管理，数据存储调度，以及数据节点状态和数据的状态进行维护等。元数据管理模块层所有节点组成一套元数据管理集群。它向用户层提供数据访问的API接口，元数据管理模块层只负责对元数据进行管理，不对数据进行存储等操作。所有服务器的元数据管理节点拥有完全相同的元数据，因此无论哪个节点从集群中消失都不会导致元数据的丢失。
数据存储模块层负责提供数据存储服务。当数据调度完成之后，数据直接从应用层发送到数据存储模块层，数据存储模块层对这些数据进行处理并将数据存储到该节点。数据每次都进行单节点存储，当存储节点之间带宽利用率较低时，数据按优先级在存储节点之间进行两两同步。当有新的节点加入集群的时候，数据不需要再均衡。
实施例二
图1为本发明实施例二提供的云存储集群的数据均衡方法的流程图，本实施例可适用于云存储集群中的节点发生变化时，如果有新传入的数据需要存储，或者删除节点中的数据需要另外找节点存储的情况，该方法可以由元数据管理模块来执行，具体包括如下步骤：
步骤101、当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；
本实施例采用单节点写入，多节点同步的策略，用权重值来表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高，例如，若节点尚未写入任何数据，则该节点的权重值为1(1相当于是权重范围中的最高值)，若节点写入了一半的数据，还有一半的存储空间，则该节点的权重值为0.5，若节点已没有剩余的存储空间，则该节点的权重值为0。
云存储集群中的节点发生变化通常包括三种情况：新节点加入，该新节点是初次向元数据管理模块申请注册加入云存储集群的节点，其完全没有存储过数据；旧节点加入，该旧节点是已加入过云存储集群，之后因为某些原因又退出云存储集群的节点，旧节点中可能存储有数据；云存储集群中删除节点，该删除的节点可能是由于节点掉电、通信链路断开等原因退出云存储集群。元数据管理模块对云存储集群的节点进行管理，这些节点是具备存储能力的服务器，其存储能力、数据写入和删除等信息均上报给元数据管理模块，而元数据管理模块负责在云存储集群的节点之间进行数据均衡，避免出现个别节点负荷过大的情况，元数据管理模块藉由权重值来获知各节点的存储能力，一旦节点内写入数据或删除数据，其权重值一定会发生变化。
步骤102、以将数据写入权重值最高者对应的节点为目的，在云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。
元数据管理模块为了减少数据的均衡移动，又要达到各节点的权重值平均，可以根据各节点的权重值，以将数据写入权重值最高者对应的节点为目的，在云存储集群的现有节点中均衡存储数据，权重值最高者表示其当前的存储能力最大，因此元数据管理模块可以将数据写入其中，而不必改变其他节点中已经存入的数据的存储位置，这样逐渐让该节点写入的数据跟其他节点达成平衡。
本实施例的技术方案，通过获取云存储集群中的节点的权重值，以将数据写入权重值最高者对应的节点为目的，在云存储集群的现有节点中均衡存储数据，实现在云存储集群中的节点发生变化时以最少的数据均衡迁移量达到各节点的平衡，减少网络负荷，提高数据均衡效率。
实施例三
在上述技术方案的基础上，图2为本发明实施例三提供的云存储集群的数据均衡方法的示例图，假设云存储集群有A、B和C三个节点，设定的数据备份总数为2，节点A中存储的数据是1和2，其权重值为0.5，节点B中存储的数据是2和3，其权重值为0.5，节点C中存储的数据是1和3，其权重值为0.5。
实施例四
在上述技术方案的基础上，图3A和图3B为本发明实施例四提供的云存储集群的数据均衡方法的示例图，本实施例中，云存储集群中加入新节点D，元数据管理模块将新节点D的权重值确定为权重值范围中的最高值1。若有新的数据4传入，元数据管理模块先将数据4写入D，再生成一个备份任务，即将D上的数据4备份一份到A，该备份任务将会在网络空闲时执行，以避免在网络拥堵时增加网络负载，本实施例中权重值中的前2个值高者对应的现有节点为D和A(由于A、B和C的权重值相等，此时可以随机从中择一即可)，写入数据4后的A的权重值调整为0.25，写入数据4后的D的权重值调整为0.75。
实施例五
在上述技术方案的基础上，图4为本发明实施例五提供的云存储集群的数据均衡方法的示例图，本实施例中，云存储集群中删除节点C，假设C是由于掉电才离线的，元数据管理模块连续多次(本实施例中元数据管理模块的检测间隔和次数可配置)检测到C的心跳连接断开，则判定C离线，此时原本C节点上的数据1和3都丢失了，不满足设定的数据备份总数为2的要求。元数据管理模块先将删除的C中存储的数据1和3写入权重值中的最高者对应的现有节点，即元数据管理模块生成两个任务，一个是将A上的数据1备份一份到B，另一个将B上的数据3备份一份到A，备份任务将会在网络空闲时执行，以避免在网络拥堵时增加网络负载。元数据管理模块再根据写入数据1后的B的存储能力调整其权重值，根据写入数据3后的A的存储能力调整其权重值，即写入数据3后的A的权重值调整为0.25，写入数据1后的B的权重值调整为0.25。
实施例六
在上述技术方案的基础上，图5A和图5B为本发明实施例六提供的云存储集群的数据均衡方法的示例图，本实施例中，假设过了一段时间后C恢复上电，重新加入云存储集群，元数据管理模块检测到C存储了数据1和3，此时查询到在云存储集群的现有节点A和B中已经有2个节点备份了C中存储的数据1和3，从C中删除已在云存储集群的2个节点中备份过的数据1和3，然后元数据管理模块根据删除数据后的C的存储能力计算C的权重值为1。
元数据管理模块如果查询到在云存储集群的现有节点A和B中都备份了数据1，而数据3只在B中有备份，即两个备份任务：A->B(将A上的数据1备份到B)已经完成，B->A(将B上的数据3备份到A)未完成，那么在C加入之后，元数据管理模块会从C中删除数据1，而保留数据3，A中由于数据3没有写入，因此A的权重值为0.5，C中由于没有删除数据3，因此C的权重值为0.75。
实施例七
图6为本发明实施例七提供的云存储集群的数据均衡装置的结构示意图，参照图6，该装置包括：权重获取模块11和均衡模块12,其中，权重获取模块11，用于当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，所述权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；均衡模块12，用于以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。
在上述技术方案的基础上，当所述云存储集群中加入新节点时，所述新节点为新注册加入所述云存储集群的节点；所述权重获取模块11，还用于将所述新节点的权重值确定为权重值范围中的最高值。
在上述技术方案的基础上，当所述云存储集群中加入旧节点时，所述旧节点为已加入过所述云存储集群并退出的节点；所述均衡模块12，还用于确定所述旧节点中存储的数据；查询在所述云存储集群的现有节点中是否已经有N个节点备份了所述旧节点中存储的数据，N为设定的数据备份总数；从所述旧节点中删除已在所述云存储集群的N个节点中备份过的数据，并根据删除数据后的存储能力计算所述旧节点的权重值。
在上述技术方案的基础上，所述均衡模块12，具体用于将新传入的数据做N个备份，并将各个备份分别写入所述权重值中的前N个值高者对应的现有节点，并根据写入所述新传入的数据后的存储能力分别调整所述前N个值高者对应的现有节点的权重值。
在上述技术方案的基础上，当所述云存储集群中删除节点时，所述均衡模块12，还用于确定删除的节点中存储的数据；将所述删除的节点中存储的数据写入所述权重值中的最高者对应的现有节点，并根据写入所述删除的节点中存储的数据后的存储能力调整所述最高者对应的现有节点的权重值。
本发明实施例所提供的云存储集群的数据均衡装置可执行本发明任意实施例所提供的云存储集群的数据均衡方法，具备执行方法相应的功能模块和有益效果。
实施例八
图7为本发明实施例八提供的设备的结构示意图，如图7所示，该设备可以是上述元数据管理模块，该设备包括处理器20、存储器21、输入装置22和输出装置23；设备中处理器20的数量可以是一个或多个，图7中以一个处理器20为例；设备中的处理器20、存储器21、输入装置22和输出装置23可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器21作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的云存储集群的数据均衡方法对应的程序指令/模块。处理器20通过运行存储在存储器21中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的云存储集群的数据均衡方法。
存储器21可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器21可进一步包括相对于处理器20远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置22可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置23可包括显示屏等显示设备。
实施例九
本发明实施例九还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种云存储集群的数据均衡方法，可以执行本发明任意实施例所提供的云存储集群的数据均衡方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述的方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (12)

1.一种云存储集群的数据均衡方法，其特征在于，包括：
当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，所述权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；
以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。
2.根据权利要求1所述的方法，其特征在于，当所述云存储集群中加入新节点时，所述新节点为新注册加入所述云存储集群的节点，在所述获取云存储集群中的节点的权重值之前，还包括：
将所述新节点的权重值确定为权重值范围中的最高值。
3.根据权利要求1所述的方法，其特征在于，当所述云存储集群中加入旧节点时，所述旧节点为已加入过所述云存储集群并退出的节点，在所述获取云存储集群中的节点的权重值之前，还包括：
确定所述旧节点中存储的数据；
查询在所述云存储集群的现有节点中是否已经有N个节点备份了所述旧节点中存储的数据，N为设定的数据备份总数；
从所述旧节点中删除已在所述云存储集群的N个节点中备份过的数据，并根据删除数据后的存储能力计算所述旧节点的权重值。
4.根据权利要求2或3所述的方法，其特征在于，所述以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值，包括：
将新传入的数据做N个备份，并将各个备份分别写入所述权重值中的前N个值高者对应的现有节点，并根据写入所述新传入的数据后的存储能力分别调整所述前N个值高者对应的现有节点的权重值。
5.根据权利要求1所述的方法，其特征在于，当所述云存储集群中删除节点时，在所述获取云存储集群中的节点的权重值之前，还包括：
确定删除的节点中存储的数据；
所述以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值，包括：
将所述删除的节点中存储的数据写入所述权重值中的最高者对应的现有节点，并根据写入所述删除的节点中存储的数据后的存储能力调整所述最高者对应的现有节点的权重值。
6.一种云存储集群的数据均衡装置，其特征在于，包括：
权重获取模块，用于当云存储集群中的节点发生变化时，获取云存储集群中的节点的权重值，所述权重值用于表示对应节点的存储能力，权重值越高表示对应节点的存储能力越高；
均衡模块，用于以将数据写入权重值最高者对应的节点为目的，在所述云存储集群的现有节点中均衡存储数据，并根据数据均衡存储后的存储能力调整相应节点的权重值。
7.根据权利要求6所述的装置，其特征在于，当所述云存储集群中加入新节点时，所述新节点为新注册加入所述云存储集群的节点；
所述权重获取模块，还用于将所述新节点的权重值确定为权重值范围中的最高值。
8.根据权利要求6所述的装置，其特征在于，当所述云存储集群中加入旧节点时，所述旧节点为已加入过所述云存储集群并退出的节点；
所述均衡模块，还用于确定所述旧节点中存储的数据；查询在所述云存储集群的现有节点中是否已经有N个节点备份了所述旧节点中存储的数据，N为设定的数据备份总数；从所述旧节点中删除已在所述云存储集群的N个节点中备份过的数据，并根据删除数据后的存储能力计算所述旧节点的权重值。
9.根据权利要求7或8所述的装置，其特征在于，所述均衡模块，具体用于将新传入的数据做N个备份，并将各个备份分别写入所述权重值中的前N个值高者对应的现有节点，并根据写入所述新传入的数据后的存储能力分别调整所述前N个值高者对应的现有节点的权重值。
10.根据权利要求6所述的装置，其特征在于，当所述云存储集群中删除节点时，所述均衡模块，还用于确定删除的节点中存储的数据；将所述删除的节点中存储的数据写入所述权重值中的最高者对应的现有节点，并根据写入所述删除的节点中存储的数据后的存储能力调整所述最高者对应的现有节点的权重值。
11.一种设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的云存储集群的数据均衡方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的云存储集群的数据均衡方法。
CN201810653142.6A 2018-06-22 2018-06-22 云存储集群的数据均衡方法、装置、设备和存储介质 Pending CN110636091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810653142.6A CN110636091A (zh) 2018-06-22 2018-06-22 云存储集群的数据均衡方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810653142.6A CN110636091A (zh) 2018-06-22 2018-06-22 云存储集群的数据均衡方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN110636091A true CN110636091A (zh) 2019-12-31

Family

ID=68967913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810653142.6A Pending CN110636091A (zh) 2018-06-22 2018-06-22 云存储集群的数据均衡方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110636091A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540875A (zh) * 2020-12-11 2021-03-23 四川新网银行股份有限公司 一种基于xtrabackup的mysql数据库备份、恢复校验可用性的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692227A (zh) * 2009-09-25 2010-04-07 中国人民解放军国防科学技术大学 大规模高可靠的归档存储***构建方法
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件***管理方法及集群文件***
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及***和管理服务器
CN202906979U (zh) * 2012-08-29 2013-04-24 浪潮集团有限公司 一种实现云存储服务器负载均衡的装置
CN105827744A (zh) * 2016-06-08 2016-08-03 四川新环佳科技发展有限公司 云存储平台的数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692227A (zh) * 2009-09-25 2010-04-07 中国人民解放军国防科学技术大学 大规模高可靠的归档存储***构建方法
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及***和管理服务器
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件***管理方法及集群文件***
CN202906979U (zh) * 2012-08-29 2013-04-24 浪潮集团有限公司 一种实现云存储服务器负载均衡的装置
CN105827744A (zh) * 2016-06-08 2016-08-03 四川新环佳科技发展有限公司 云存储平台的数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540875A (zh) * 2020-12-11 2021-03-23 四川新网银行股份有限公司 一种基于xtrabackup的mysql数据库备份、恢复校验可用性的方法
CN112540875B (zh) * 2020-12-11 2023-06-06 四川新网银行股份有限公司 一种基于xtrabackup的mysql数据库备份、恢复校验可用性的方法

Similar Documents

Publication Publication Date Title
CN108733509B (zh) 用于在集群***中备份和恢复数据的方法和***
US20190238636A1 (en) Systems and methods for synchronizing microservice data stores
US20190235979A1 (en) Systems and methods for performing computing cluster node switchover
US9703610B2 (en) Extensible centralized dynamic resource distribution in a clustered data grid
CN111913670B (zh) 负载均衡的处理方法、装置、电子设备及存储介质
CN108228393A (zh) 一种可扩展的大数据高可用的实现方法
CN113364877B (zh) 数据处理方法、装置、电子设备和介质
Chang et al. Write-aware replica placement for cloud computing
WO2021136335A1 (zh) 一种控制边缘节点的方法、节点及边缘计算***
CN108924203B (zh) 数据副本自适应分布方法、分布式计算***及相关设备
CN113965587B (zh) 一种人工智能平台的数据获取方法、装置、设备、介质
CN112118314B (zh) 负载均衡方法和装置
CN110636091A (zh) 云存储集群的数据均衡方法、装置、设备和存储介质
JP7398567B2 (ja) 動的適応型パーティション分割
CN111400241A (zh) 数据重构方法和装置
JP6036848B2 (ja) 情報処理システム
US20240176762A1 (en) Geographically dispersed hybrid cloud cluster
CN110704382B (zh) 文件部署方法、装置、服务器及存储介质
CN110636090B (zh) 窄带宽条件下的数据同步方法和装置
CN112131201A (zh) 一种网络附加存储高可用性的方法、***、设备及介质
CN112131142A (zh) 一种数据集快速缓存的方法、***、设备及介质
US20200366734A1 (en) File objects download and file objects data exchange
JP2016157367A (ja) 分散処理システム
CN105915644B (zh) 一种服务器负载均衡方法
JP2014032575A (ja) 分散ストレージシステム、分散ストレージデータ移動制御方法及び分散ストレージデータ移動制御用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231

RJ01 Rejection of invention patent application after publication