CN109388351A - 一种分布式数据存储的方法及相关装置 - Google Patents
一种分布式数据存储的方法及相关装置 Download PDFInfo
- Publication number
- CN109388351A CN109388351A CN201811554204.4A CN201811554204A CN109388351A CN 109388351 A CN109388351 A CN 109388351A CN 201811554204 A CN201811554204 A CN 201811554204A CN 109388351 A CN109388351 A CN 109388351A
- Authority
- CN
- China
- Prior art keywords
- memory node
- data
- storage
- data block
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 239000000872 buffer Substances 0.000 claims description 13
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及分布式存储领域，提供了一种分布式数据存储的方法及相关装置。一种分布式数据存储的方法包括：获取存储集群数据，其中，存储集群数据包括N个存储节点的位置、N个存储节点的进程和N个存储节点的负载量，N为正整数；对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；在存储集群数据中查找与M个数据块匹配的M个存储节点的位置，其中，M个数据块与M个存储节点的位置一一对应，M个存储节点属于N个存储节点；根据M个存储节点的位置将M个数据块存储在M个存储节点中，其中，M个数据块与M个存储节点一一对应。本发明实施例的技术方案，提高了分布式存储***的可靠性和效率。
Description
技术领域
本发明涉及分布式存储领域，尤其是一种分布式数据存储的方法及相关装置。
背景技术
传统的网络存储***采用集中式的存储服务器存放所有数据，存储服务器成为***性能的瓶颈，***的可靠性和安全性都通过存储服务器体现，为了满足大规模存储应用的需要，越来越多的存储***采用分布式存储***，分布式存储***采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息。
目前的分布式存储***中，终端存储数据时，先向元数据服务器查找存储节点的位置，然后终端根据存储节点的位置将待存储数据存储在存储节点中，这样当元数据服务器崩溃或宕机时，分布式存储***就不能工作了，分布式存储***的可靠性较低，并且，当多个终端存储数据时，多个终端都需要向元数据服务器发送查找存储节点位置请求，元数据服务器的工作压力较大，分布式存储***的效率较低。
发明内容
本发明实施例提供分布式数据存储的方法及相关装置，以期提高分布式存储***的可靠性和效率。
本发明第一方面提供一种分布式数据存储的方法，包括：
获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数；
对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；
在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点；
根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
优选的，对所述待存储数据进行处理以得到所述M个数据块包括将所述待存储数据平均划分为所述M个数据块，所述M个数据块中每个数据块的大小为K，K包括4MB、8MB、16MB、32MB的任意一种。
可选的，对所述待存储数据进行处理以得到所述M个数据块还包括将所述待存储数据中的数据按照关联度划分为所述M个数据块，所述M个数据块中每个数据块的数据相互关联。
本发明第二方面提供了一种分布式数据存储的装置，包括：
获取模块，用于获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数；
处理模块，用于对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；
查找模块，用于在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点；
存储模块，用于根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
本发明第三方面提供了一种分布式数据存储的电子设备，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行上述任一实施方式的指令。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被所述处理器执行，以实现上述任一实施方式。
可以看到，终端存储数据时，获取存储集群数据，终端对待存储数据进行处理以得到M个数据块，在待存储数据中查找与M个数据块匹配的M个存储节点的位置，M个数据块与M个存储节点的位置一一对应，然后终端根据M个存储节点的位置将M个数据块中的每个数据块存储在M个存储节点中的每个存储节点中。当元数据服务器崩溃或宕机时，终端可以从缓存器中获取存储集群数据，从而查找得到M个存储节点的位置，这样提高了分布式存储***的可靠性，并且多个终端存储数据时，多个终端不需要向元数据服务器查询具体的存储节点的位置，减少了元数据服务器的工作压力，提高了分布式存储***的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式数据存储方法的流程图；
图2为本发明实施例提供的另一种分布式数据存储方法的流程图；
图3为本发明实施例提供的另一种分布式数据存储方法的流程图；
图4为本发明实施例提供的另一种分布式数据存储方法的流程图；
图5为本发明实施例中M个数据块与M个存储节点的对应关系的示意图；
图6为本发明实施例提供的一种扩容示意图；
图7为本发明实施例提供的一种减容示意图；
图8为本发明实施例提供的一种分布式数据存储装置的示意图；
图9为本发明实施例涉及的硬件运行环境的电子设备结构示意图。
具体实施方式
本发明实施例提供分布式数据存储的方法及相关装置，以期提高分布式存储***的可靠性和效率。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明的实施例中，执行主体为终端，终端可以和元数据服务器连接，也可以和数据服务器连接。
其中，上述终端例如可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备、可穿戴设备或其他类型的终端。
首先参见图1，图1为本发明的一个实施例提供的一种分布式数据存储方法的流程图。其中，如图1所示，本发明的一个实施例提供的一种分布式数据存储方法可以包括：
101、获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。
获取所述存储集群数据的方法可以是：
向元数据服务器发送获取存储集群数据指令，所述获取存储集群数据指令用于指示所述元数据服务器发送所述存储集群数据。
接收所述元数据服务器发送的所述存储集群数据。
或者，获取所述存储集群数据的方法还可以是：
从缓存器中获取所述元数据服务器预先发送并存储在所述缓存器中的所述存储集群数据。
其中，存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。在分布式存储***中，数据分散存储在多个存储节点中，***中的存储节点有对应的至少一个备份存储节点，这样当某个存储节点挂掉时，可以通过备份存储节点恢复数据。每个存储节点的进程包括工作状态和挂掉状态，每个存储节点的负载量存在最大负载量阈值。当存储节点的负载量超过该最大负载量阈值时，该存储节点将无法存储其他数据。
102、对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数。
优选的，对所述待存储数据进行处理以得到所述M个数据块的方法可以是：
将所述待存储数据平均划分为所述M个数据块，所述M个数据块中每个数据块的大小为K，K包括4MB、8MB、16MB、32MB的任意一种。如果所述待存储数据刚好可以平均划分，那么将所述待存储数据平均划分为所述M个大小为K的数据块，如果所述待存储数据不能平均划分，那么计算待存储数据的大小除以K的余数，那么将待存储数据平均划分为M-1个大小为K的数据块，第M个数据块的大小为待存储数据的大小除以K的余数。
可选的，对所述待存储数据进行处理以得到所述M个数据块还包括将所述待存储数据中的数据按照关联度划分为所述M个数据块，所述M个数据块中每个数据块的数据相互关联。
103、在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点。
所述存储集群数据包括N个存储节点的位置，要存储所述M个数据块，首先要查找到与所述M个数据块匹配的所述M个存储节点的位置，所述M个数据块中的每个数据块都有一个对应的存储节点，同时所述M个数据块中的每个数据块对应的存储节点都属于所述N个存储节点。
104、根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
可选的，将所述M个数据块存储在所述M个存储节点中之后，访问数据时，可以对固定大小的数据块进行更精细的操作。
例如，将所述待存储数据平均划分为大小为4MB的M个数据块，终端访问M个数据块中的第1个数据块，当存储第1个数据块的存储节点挂掉时，终端访问存储第1个数据块的存储节点的备份存储节点，由于第1个数据块的大小为4MB，所以终端只需要从备份存储节点中获取对应的4MB的数据，同理，如果将所述待存储数据平均划分为大小为256MB的M个数据块，终端访问M个数据块中的第1个数据块，当存储第1个数据块的存储节点挂掉时，终端访问存储第1个数据块的存储节点的备份存储节点，由于第1个数据块的大小为256MB，所以终端需要从备份存储节点中获取对应的256MB的数据，所以将所述待存储数据平均划分为大小为4MB的M个数据块，可以对***中的存储节点进行更精细的操作。
参见图2，图2为本发明的另一个实施例提供的另一种分布式数据存储方法的流程图。其中，如图2所示，本发明的另一个实施例提供的另一种分布式数据存储方法可以包括：
201、终端接收元数据服务器发送的存储集群数据。
其中，元数据服务器用于管理分布式***中数据的元数据。
终端向元数据服务器发送获取存储集群数据指令，该获取存储集群数据指令用于指示元数据服务器将存储集群数据发给终端。
其中，存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。在分布式存储***中，数据分散存储在多个存储节点中，***中的存储节点有对应的至少一个备份存储节点，这样当某个存储节点挂掉时，可以通过备份存储节点恢复数据。每个存储节点的进程包括工作状态和挂掉状态，每个存储节点的负载量存在最大负载量阈值。当存储节点的负载量超过该最大负载量阈值时，该存储节点将无法存储其他数据。
202、终端对待存储数据进行处理以得到M个数据块。
其中，M为不大于N的正整数。
优选的，对所述待存储数据进行处理以得到所述M个数据块的方法可以是：
将所述待存储数据平均划分为所述M个数据块，所述M个数据块中每个数据块的大小为K，K包括4MB、8MB、16MB、32MB的任意一种。如果所述待存储数据刚好可以平均划分，那么将所述待存储数据平均划分为所述M个大小为K的数据块，如果所述待存储数据不能平均划分，那么计算待存储数据的大小除以K的余数，那么将待存储数据平均划分为M-1个大小为K的数据块，第M个数据块的大小为待存储数据的大小除以K的余数。
可选的，对所述待存储数据进行处理以得到所述M个数据块还包括将所述待存储数据中的数据按照关联度划分为所述M个数据块，所述M个数据块中每个数据块的数据相互关联，这样可以保证存储在一个存储节点中的数据具有关联性，方便数据查找。
203、终端获取M个数据块的M个键值信息，其中，M个数据块与M个键值信息一一对应。
M个数据块中的每个数据块都有一个键值信息，终端获取M个数据块中的每个数据块的键值信息，即获取得到M个键值信息。
204、终端通过哈希算法对M个键值信息进行处理，以得到与M个键值信息一一对应的M个哈希值。
其中，终端通过哈希算法对M个键值信息进行处理，可以将任意长度的键值信息压缩成固定长度的哈希值，而且可以保证哈希值的唯一性，哈希算法包括MD4、MD5和SHA-1等，其中，MD5和SHA-1是应用最为广泛的哈希算法。
205、终端在存储集群数据中查找与M个哈希值匹配的M个存储节点的位置，其中，M个哈希值与M个存储节点的位置一一对应。
其中，存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数，存储集群数据中还包括哈希值与存储节点的位置的对应关系，哈希值与存储节点的位置的对应关系可以以key-value值的形式存储在存储集群数据中，也可以以映射关系表的形式存储在存储集群数据中。
可选的，终端查找到M个存储节点的位置后，可以在存储集群数据中查找M个存储节点的进程，当M个存储节点中存在进程为挂掉状态的存储节点时，终端可以在存储集群数据中查找与该挂掉的存储节点对应的备份存储节点的位置，然后用备份存储节点的位置代替原来查找得到的处于挂掉状态的存储节点的位置。
206、终端向数据服务器发送存储请求消息。
其中，数据服务器用于访问和管理分布式***中所有的存储节点，包括备份存储节点，上述存储请求消息携带M个存储节点的位置，数据服务器接收该存储请求消息后，根据该存储请求消息携带的M个存储节点的位置，在分布式***的N个存储节点中查找M个存储节点。
207、终端通过数据服务器将M个数据块存储在M个存储节点中。
其中，M个数据块与M个存储节点一一对应。
参见图3，图3为本发明的另一个实施例提供的另一种分布式数据存储方法的流程图。其中，如图3所示，本发明的另一个实施例提供的另一种分布式数据存储方法可以包括：
301、终端从缓存器中获取元数据服务器预先发送并存储在缓存器中的存储集群数据。
其中，存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。在分布式存储***中，数据分散存储在多个存储节点中，***中的存储节点有对应的至少一个备份存储节点，这样当某个存储节点挂掉时，可以通过备份存储节点恢复数据。每个存储节点的进程包括工作状态和挂掉状态，每个存储节点的负载量存在最大负载量阈值。当存储节点的负载量超过该最大负载量阈值时，该存储节点将无法存储其他数据。
一个集群的存储集群数据一般比较稳定，变化的频率不高，因此存储在缓存器中的存储集群数据变化的频率也不高，当元数据服务器故障时，终端可以从存储器中获取存储集群数据，而不用从元数据服务器中获取，分布式存储***在元数据服务器服务器出现故障时还是可以正常工作。
302、终端对待存储数据进行处理以得到M个数据块。
其中，M为不大于N的正整数。
优选的，对所述待存储数据进行处理以得到所述M个数据块的方法可以是：
将所述待存储数据平均划分为所述M个数据块，所述M个数据块中每个数据块的大小为K，K包括4MB、8MB、16MB、32MB的任意一种。如果所述待存储数据刚好可以平均划分，那么将所述待存储数据平均划分为所述M个大小为K的数据块，如果所述待存储数据不能平均划分，那么计算待存储数据的大小除以K的余数，那么将待存储数据平均划分为M-1个大小为K的数据块，第M个数据块的大小为待存储数据的大小除以K的余数。
可选的，对所述待存储数据进行处理以得到所述M个数据块还包括将所述待存储数据中的数据按照关联度划分为所述M个数据块，所述M个数据块中每个数据块的数据相互关联，这样可以保证存储在一个存储节点中的数据具有关联性，方便数据查找。
303、终端获取M个数据块的M个键值信息，其中，M个数据块与M个键值信息一一对应。
M个数据块中的每个数据块都有一个键值信息，终端获取M个数据块中的每个数据块的键值信息，即获取得到M个键值信息。
304、终端通过哈希算法对M个键值信息进行处理，以得到与M个键值信息一一对应的M个哈希值。
其中，终端通过哈希算法对M个键值信息进行处理，可以将任意长度的键值信息压缩成固定长度的哈希值，而且可以保证哈希值的唯一性，哈希算法包括MD4、MD5和SHA-1等，其中，MD5和SHA-1是应用最为广泛的哈希算法。
305、终端在存储集群数据中查找与M个哈希值匹配的M个存储节点的位置，其中，M个哈希值与M个存储节点的位置一一对应。
其中，存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数，存储集群数据中还包括哈希值与存储节点的位置的对应关系，哈希值与存储节点的位置的对应关系可以以key-value值的形式存储在存储集群数据中，也可以以映射关系表的形式存储在存储集群数据中。
306、终端在存储集群数据中查找M个存储节点的进程。
其中，M个存储节点的进程包括工作状态和挂掉状态，当存储节点处于挂掉状态时，该存储节点不能正常工作。
终端查找M个存储节点中每个存储节点的进程，当M个存储节点中存在进程为挂掉状态的存储节点时，终端在存储集群数据中查找与该挂掉的存储节点对应的备份存储节点的位置，直到查找完M个存储节点中所有处于挂掉状态的存储节点的备份存储节点的位置。
307、终端用备份存储节点的位置代替处于挂掉状态的存储节点的位置。
308、终端向数据服务器发送存储请求消息。
其中，数据服务器用于访问和管理分布式***中所有的存储节点，包括备份存储节点，上述存储请求消息携带M个存储节点的位置，数据服务器接收该存储请求消息后，根据该存储请求消息携带的M个存储节点的位置，在分布式***的N个存储节点中查找M个存储节点。
309、终端通过数据服务器将M个数据块存储在M个存储节点中。
其中，M个数据块与M个存储节点一一对应。
参见图4，图4为本发明的另一个实施例提供的另一种分布式数据存储方法的流程图。其中，如图4所示，本发明的另一个实施例提供的另一种分布式数据存储方法可以包括：
401、获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。
获取所述存储集群数据的方法可以是：
向元数据服务器发送获取存储集群数据指令，所述获取存储集群数据指令用于指示所述元数据服务器发送所述存储集群数据。
接收所述元数据服务器发送的所述存储集群数据。
或者，获取所述存储集群数据的方法还可以是：
从缓存器中获取所述元数据服务器预先发送并存储在所述缓存器中的所述存储集群数据。
其中，存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。在分布式存储***中，数据分散存储在多个存储节点中，***中的存储节点有对应的至少一个备份存储节点，这样当某个存储节点挂掉时，可以通过备份存储节点恢复数据。每个存储节点的进程包括工作状态和挂掉状态，每个存储节点的负载量存在最大负载量阈值。当存储节点的负载量超过该最大负载量阈值时，该存储节点将无法存储其他数据。
402、对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数。
优选的，对所述待存储数据进行处理以得到所述M个数据块的方法可以是：
将所述待存储数据平均划分为所述M个数据块，所述M个数据块中每个数据块的大小为K，K包括4MB、8MB、16MB、32MB的任意一种。如果所述待存储数据刚好可以平均划分，那么将所述待存储数据平均划分为所述M个大小为K的数据块，如果所述待存储数据不能平均划分，那么计算待存储数据的大小除以K的余数，那么将待存储数据平均划分为M-1个大小为K的数据块，第M个数据块的大小为待存储数据的大小除以K的余数。
可选的，对所述待存储数据进行处理以得到所述M个数据块还包括将所述待存储数据中的数据按照关联度划分为所述M个数据块，所述M个数据块中每个数据块的数据相互关联。
403、在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点。
所述存储集群数据包括N个存储节点的位置，要存储所述M个数据块，首先要查找到与所述M个数据块匹配的所述M个存储节点的位置，所述M个数据块中的每个数据块都有一个对应的存储节点，同时所述M个数据块中的每个数据块对应的存储节点都属于所述N个存储节点。
可选的，终端查找到M个存储节点的位置后，可以在存储集群数据中查找M个存储节点的进程，当M个存储节点中存在进程为挂掉状态的存储节点时，终端可以在存储集群数据中查找与该挂掉的存储节点对应的备份存储节点的位置，然后用备份存储节点的位置代替原来查找得到的处于挂掉状态的存储节点的位置。
404、终端向数据服务器发送存储请求消息。
其中，数据服务器用于访问和管理分布式***中所有的存储节点，包括备份存储节点，上述存储请求消息携带M个存储节点的位置，数据服务器接收该存储请求消息后，根据该存储请求消息携带的M个存储节点的位置，在分布式***的N个存储节点中查找M个存储节点。
405、终端通过数据服务器将M个数据块存储在M个存储节点中。
其中，M个数据块与M个存储节点一一对应。
406、终端在存储集群数据中查询N个存储节点的负载量。
当N个存储节点的负载量都超过最大负载量阈值时，N个存储节点都无法进行数据存储，需要对分布式存储存储***进行扩容。
407、终端向数据服务器发送扩容指令。
408、数据服务器增加X个存储节点并分配N个存储节点中的数据到X个存储节点中使得N+X个存储节点中的数据平均分布，其中，X为正整数。
409、终端获取N+X个存储节点的位置、N+X个存储节点的进程和N+X个存储节点的负载量。
410、终端向元数据服务器发送第一更新指令。
其中，上述第一更新指令携带N+X个存储节点的位置、N+X个存储节点的进程和N+X个存储节点的负载量，第一更新指令用于指示元数据服务器将N个存储节点的位置、N个存储节点的进程和N个存储节点的负载量替换成N+X个存储节点的位置、N+X个存储节点的进程和N+X个存储节点的负载量。
411、元数据服务器将N个存储节点的位置、N个存储节点的进程和N个存储节点的负载量替换成N+X个存储节点的位置、N+X个存储节点的进程和N+X个存储节点的负载量。
同样，当N个存储节点的负载量都小于最小负载量阈值时，终端向数据服务器发送减容指令，接收该减容指令后，数据服务器减少Y个存储节点并分配所述N个存储节点中的数据到剩余的N-Y个存储节点中使得N-Y个存储节点中的数据平均分布，其中，Y为小于N的正整数。
终端获取N-Y个存储节点的位置、N-Y个存储节点的进程和N-Y个存储节点的负载量，终端向元数据服务器发送第二更新指令，该第二更新指令携带N-Y个存储节点的位置、N-Y个存储节点的进程和N-Y个存储节点的负载量，接收该第二更新指令后，元数据服务器将N个存储节点的位置、N个存储节点的进程和N个存储节点的负载量替换成N-Y个存储节点的位置、N-Y个存储节点的进程和N-Y个存储节点的负载量。
参见图8，图8为本发明的另一个实施例提供的一种分布式数据存储装置的示意图。其中，如图8所示，本发明的另一个实施例提供的一种分布式数据存储装置可以包括：
获取模块801，用于获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。
其中，获取模块具体用于：
向元数据服务器发送获取存储集群数据指令，所述获取存储集群数据指令用于指示所述元数据服务器发送所述存储集群数据；
接收所述元数据服务器发送的所述存储集群数据；
或者，从缓存器中获取所述元数据服务器预先发送并存储在所述缓存器中的所述存储集群数据。
处理模块802，用于对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数。
查找模块803，用于在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点。
其中，查找模块具体用于：
获取所述M个数据块的M个键值信息，其中，所述M个数据块与所述M个键值信息一一对应；
通过哈希算法对所述M个键值信息进行处理，以得到与所述M个键值信息一一对应的M个哈希值；
在所述存储集群数据中查找与所述M个哈希值匹配的所述M个存储节点的位置，其中，所述M个哈希值与所述M个存储节点的位置一一对应。
存储模块804，用于根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
其中，存储模块具体用于：
向数据服务器发送存储请求消息，所述存储请求消息携带所述M个存储节点的位置，所述存储请求消息用于指示所述数据服务器根据所述M个存储节点的位置查找所述M个存储节点；
通过所述数据服务器将所述M个数据块存储在所述M个存储节点中。
本发明分布式数据存储装置的具体实施例与上述分布式数据存储方法的各实施例基本相同，在此不做赘述。
参见图9，图9为本发明的实施例涉及的硬件运行环境的电子设备结构示意图。
本发明实施例分布式数据存储的电子设备可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备、可穿戴设备或其他类型的终端。
其中，如图9所示，本发明的实施例涉及的硬件运行环境的电子设备可以包括：
处理器901，例如CPU。
存储器902，可选的，存储器可以为高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。
通信接口903，用于实现处理器901和存储器902之间的连接通信。
可选的，本发明实施例分布式数据存储的电子设备还可以包括用户接口、网络接口、摄像头、传感器、WiFi模块等等。用户接口可以包括显示屏、输入单元比如键盘，可选用户接口还可以包括标准的有线接口和无线接口。网络接口可选的可以包括标准的有线接口和无线接口(如WiFi接口)。
本领域技术人员可以理解，图9中示出的分布式数据存储电子设备的结构并不构成对分布式数据存储电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图9所示，存储器902中可以包括操作***、网络通信模块以及分布式数据存储的程序。操作***是管理和控制分布式数据存储的电子设备硬件和软件资源的程序，支持分布式数据存储的程序以及其他软件或程序的运行。网络通信模块用于实现存储器902内部各组件之间的通信，以及与分布式数据存储的电子设备中其他硬件和软件之间通信。
在图9所示的分布式数据存储的电子设备中，处理器901用于执行存储器902中存储的分布式数据存储的程序，实现以下步骤：
获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数。
对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数。
在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点。
根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
进一步地，在获取存储集群数据的步骤中，处理器901用于执行存储器902中存储的分布式数据存储的程序，实现以下步骤：
向元数据服务器发送获取存储集群数据指令，所述获取存储集群数据指令用于指示所述元数据服务器发送所述存储集群数据；
接收所述元数据服务器发送的所述存储集群数据；
或者，从缓存器中获取所述元数据服务器预先发送并存储在所述缓存器中的所述存储集群数据。
进一步地，在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置的步骤中，处理器901用于执行存储器902中存储的分布式数据存储的程序，实现以下步骤：
获取所述M个数据块的M个键值信息，其中，所述M个数据块与所述M个键值信息一一对应；
通过哈希算法对所述M个键值信息进行处理，以得到与所述M个键值信息一一对应的M个哈希值；
在所述存储集群数据中查找与所述M个哈希值匹配的所述M个存储节点的位置，其中，所述M个哈希值与所述M个存储节点的位置一一对应。
进一步地，所述存储集群数据还包括与所述N个存储节点对应的至少一个备份存储节点，在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置的步骤之后，在根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中的步骤之前，处理器901用于执行存储器902中存储的分布式数据存储的程序，实现以下步骤：
S1：在所述存储集群数据中查找所述M个存储节点中第i个存储节点的进程，其中，i是初始值为1的正整数。
S2：当所述M个存储节点中第i个存储节点的进程为挂掉状态时，执行步骤S3，当所述M个存储节点中第i个存储节点的进程为工作状态时，执行步骤S4。
S3：在所述存储集群数据中查找与所述M个存储节点中第i个存储节点对应的备份存储节点，将与所述M个存储节点中第i个存储节点对应的备份存储节点的位置作为所述M个存储节点中第i个存储节点的位置。
S4：将i+1的值赋给i。
S5：当i不大于M时，执行步骤S1。
进一步地，在根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中的步骤中，处理器901用于执行存储器902中存储的分布式数据存储的程序，实现以下步骤：
向数据服务器发送存储请求消息，所述存储请求消息携带所述M个存储节点的位置，所述存储请求消息用于指示所述数据服务器根据所述M个存储节点的位置查找所述M个存储节点；
通过所述数据服务器将所述M个数据块存储在所述M个存储节点中。
进一步地，处理器901还用于执行存储器902中存储的分布式数据存储的程序，实现以下步骤：
在所述存储集群数据中查询所述N个存储节点的负载量；
当所述N个存储节点的负载量都超过最大负载量阈值时，向所述数据服务器发送扩容指令，所述扩容指令用于指示所述数据服务器增加X个存储节点并分配所述N个存储节点中的数据到所述X个存储节点中使得N+X个存储节点中的数据平均分布，其中，X为正整数；
获取所述N+X个存储节点的位置、所述N+X个存储节点的进程和所述N+X个存储节点的负载量；
向所述元数据服务器发送第一更新指令，所述第一更新指令携带所述N+X个存储节点的位置、所述N+X个存储节点的进程和所述N+X个存储节点的负载量，所述第一更新指令用于指示所述元数据服务器将所述N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量替换成所述N+X个存储节点的位置、所述N+X个存储节点的进程和所述N+X个存储节点的负载量。
当所述N个存储节点的负载量都小于最小负载量阈值时，向所述数据服务器发送减容指令，所述减容指令用于指示所述数据服务器减少Y个存储节点并分配所述N个存储节点中的数据到剩余的N-Y个存储节点中使得N-Y个存储节点中的数据平均分布，其中，Y为小于N的正整数；
获取所述N-Y个存储节点的位置、所述N-Y个存储节点的进程和所述N-Y个存储节点的负载量；
向所述元数据服务器发送第二更新指令，所述第二更新指令携带所述N-Y个存储节点的位置、所述N-Y个存储节点的进程和所述N-Y个存储节点的负载量，所述第二更新指令用于指示所述元数据服务器将所述N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量替换成所述N-Y个存储节点的位置、所述N-Y个存储节点的进程和所述N-Y个存储节点的负载量。
例如，将所述待存储数据平均划分为大小为4MB的M个数据块，M个数据块存储在存储节点中。在需要扩容时，终端访问一个存储节点，将一部分数据块重新存储在新增的存储节点中，由于每个数据块的大小为4MB，所以终端每次重新存储时只需要从存储节点中获取4MB的数据，将该4MB的数据重新存储在新增的存储节点中，同理，在需要减容时，也可以对4MB的数据进行操作。如果将所述待存储数据平均划分为大小为256MB的M个数据块，终端需要从存储节点中获取256MB的数据，然后每次需要对256MB的数据进行操作。所以将所述待存储数据平均划分为大小为4MB的M个数据块，可以在扩容或者减容时对***中的存储节点进行更精细的操作。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种分布式数据存储的方法，其特征在于，包括：
获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数；
对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；
在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点；
根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
2.根据权利要求1所述的方法，其特征在于，所述获取存储集群数据包括：
向元数据服务器发送获取存储集群数据指令，所述获取存储集群数据指令用于指示所述元数据服务器发送所述存储集群数据；
接收所述元数据服务器发送的所述存储集群数据；
或者，从缓存器中获取所述元数据服务器预先发送并存储在所述缓存器中的所述存储集群数据。
3.根据权利要求2所述的方法，其特征在于，所述在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置包括：
获取所述M个数据块的M个键值信息，其中，所述M个数据块与所述M个键值信息一一对应；
通过哈希算法对所述M个键值信息进行处理，以得到与所述M个键值信息一一对应的M个哈希值；
在所述存储集群数据中查找与所述M个哈希值匹配的所述M个存储节点的位置，其中，所述M个哈希值与所述M个存储节点的位置一一对应。
4.根据权利要求3所述的方法，其特征在于，所述存储集群数据还包括与所述N个存储节点对应的至少一个备份存储节点，所述在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置之后，根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中之前，包括以下步骤：
S1：在所述存储集群数据中查找所述M个存储节点中第i个存储节点的进程，其中，i是初始值为1的正整数；
S2：当所述M个存储节点中第i个存储节点的进程为挂掉状态时，执行步骤S3，当所述M个存储节点中第i个存储节点的进程为工作状态时，执行步骤S4；
S3：在所述存储集群数据中查找与所述M个存储节点中第i个存储节点对应的备份存储节点，将与所述M个存储节点中第i个存储节点对应的备份存储节点的位置作为所述M个存储节点中第i个存储节点的位置；
S4：将i+1的值赋给i；
S5：当i不大于M时，执行步骤S1。
5.根据权利要求1所述的方法，所述根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中包括：
向数据服务器发送存储请求消息，所述存储请求消息携带所述M个存储节点的位置，所述存储请求消息用于指示所述数据服务器根据所述M个存储节点的位置查找所述M个存储节点；
通过所述数据服务器将所述M个数据块存储在所述M个存储节点中。
6.根据权利要求5所述的方法，其特征在于，还包括：
在所述存储集群数据中查询所述N个存储节点的负载量；
当所述N个存储节点的负载量都超过最大负载量阈值时，向所述数据服务器发送扩容指令，所述扩容指令用于指示所述数据服务器增加X个存储节点并分配所述N个存储节点中的数据到所述X个存储节点中使得N+X个存储节点中的数据平均分布，其中，X为正整数；
获取所述N+X个存储节点的位置、所述N+X个存储节点的进程和所述N+X个存储节点的负载量；
向所述元数据服务器发送第一更新指令，所述第一更新指令携带所述N+X个存储节点的位置、所述N+X个存储节点的进程和所述N+X个存储节点的负载量，所述第一更新指令用于指所述元数据服务器将所述N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量替换成所述N+X个存储节点的位置、所述N+X个存储节点的进程和所述N+X个存储节点的负载量。
7.根据权利要求6所述的方法，其特征在于，还包括：
当所述N个存储节点的负载量都小于最小负载量阈值时，向所述数据服务器发送减容指令，所述减容指令用于指示所述数据服务器减少Y个存储节点并分配所述N个存储节点中的数据到剩余的N-Y个存储节点中使得N-Y个存储节点中的数据平均分布，其中，Y为小于N的正整数；
获取所述N-Y个存储节点的位置、所述N-Y个存储节点的进程和所述N-Y个存储节点的负载量；
向所述元数据服务器发送第二更新指令，所述第二更新指令携带所述N-Y个存储节点的位置、所述N-Y个存储节点的进程和所述N-Y个存储节点的负载量，所述第二更新指令用于指示所述元数据服务器将所述N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量替换成所述N-Y个存储节点的位置、所述N-Y个存储节点的进程和所述N-Y个存储节点的负载量。
8.一种分布式数据存储的装置，其特征在于，所述装置包括：
获取模块，用于获取存储集群数据，其中，所述存储集群数据包括N个存储节点的位置、所述N个存储节点的进程和所述N个存储节点的负载量，N为正整数；
处理模块，用于对待存储数据进行处理以得到M个数据块，其中，M为不大于N的正整数；
查找模块，用于在所述存储集群数据中查找与所述M个数据块匹配的M个存储节点的位置，其中，所述M个数据块与所述M个存储节点的位置一一对应，所述M个存储节点属于所述N个存储节点；
存储模块，用于根据所述M个存储节点的位置将所述M个数据块存储在所述M个存储节点中，其中，所述M个数据块与所述M个存储节点一一对应。
9.一种分布式数据存储的电子设备，其特征在于，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1至7任一项方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被所述处理器执行，以实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811554204.4A CN109388351A (zh) | 2018-12-18 | 2018-12-18 | 一种分布式数据存储的方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811554204.4A CN109388351A (zh) | 2018-12-18 | 2018-12-18 | 一种分布式数据存储的方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109388351A true CN109388351A (zh) | 2019-02-26 |
Family
ID=65430528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811554204.4A Pending CN109388351A (zh) | 2018-12-18 | 2018-12-18 | 一种分布式数据存储的方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109388351A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110099112A (zh) * | 2019-04-28 | 2019-08-06 | 平安科技（深圳）有限公司 | 基于点对点网络的数据存储方法、装置、介质及终端设备 |
| CN110134332A (zh) * | 2019-04-28 | 2019-08-16 | 平安科技（深圳）有限公司 | 一种数据存储方法及相关装置 |
| CN110825698A (zh) * | 2019-11-07 | 2020-02-21 | 重庆紫光华山智安科技有限公司 | 元数据管理方法及相关装置 |
| WO2020211679A1 (en) * | 2019-04-16 | 2020-10-22 | Alibaba Group Holding Limited | Resource allocation based on comprehensive i/o monitoring in a distributed storage system |
| CN113157207A (zh) * | 2021-04-07 | 2021-07-23 | 橙色云互联网设计有限公司 | 一种数据处理方法、装置及存储介质 |
| CN114785795A (zh) * | 2022-04-02 | 2022-07-22 | 北京蓝海在线科技有限公司 | 分布式存储方法、***、设备、存储介质及信息处理终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101539950A (zh) * | 2009-05-08 | 2009-09-23 | 成都市华为赛门铁克科技有限公司 | 数据存取方法和装置 |
| CN102279777A (zh) * | 2011-08-18 | 2011-12-14 | 成都市华为赛门铁克科技有限公司 | 数据冗余处理方法、装置和分布式存储*** |
| CN104301233A (zh) * | 2014-10-31 | 2015-01-21 | 易准科技发展（上海）有限公司 | 路由访问方法、路由访问***及用户终端 |
| CN105516367A (zh) * | 2016-02-02 | 2016-04-20 | 北京百度网讯科技有限公司 | 分布式数据存储***、方法和装置 |
| CN107329827A (zh) * | 2017-06-22 | 2017-11-07 | 平安科技（深圳）有限公司 | 支持哈希调度策略的lvs调度方法、设备及存储介质 |
| CN108287669A (zh) * | 2018-01-26 | 2018-07-17 | 平安科技（深圳）有限公司 | 数据存储方法、装置及存储介质 |
| CN108810041A (zh) * | 2017-04-27 | 2018-11-13 | 华为技术有限公司 | 一种分布式缓存***的数据写入及扩容方法、装置 |
-
2018
- 2018-12-18 CN CN201811554204.4A patent/CN109388351A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101539950A (zh) * | 2009-05-08 | 2009-09-23 | 成都市华为赛门铁克科技有限公司 | 数据存取方法和装置 |
| CN102279777A (zh) * | 2011-08-18 | 2011-12-14 | 成都市华为赛门铁克科技有限公司 | 数据冗余处理方法、装置和分布式存储*** |
| CN104301233A (zh) * | 2014-10-31 | 2015-01-21 | 易准科技发展（上海）有限公司 | 路由访问方法、路由访问***及用户终端 |
| CN105516367A (zh) * | 2016-02-02 | 2016-04-20 | 北京百度网讯科技有限公司 | 分布式数据存储***、方法和装置 |
| CN108810041A (zh) * | 2017-04-27 | 2018-11-13 | 华为技术有限公司 | 一种分布式缓存***的数据写入及扩容方法、装置 |
| CN107329827A (zh) * | 2017-06-22 | 2017-11-07 | 平安科技（深圳）有限公司 | 支持哈希调度策略的lvs调度方法、设备及存储介质 |
| CN108287669A (zh) * | 2018-01-26 | 2018-07-17 | 平安科技（深圳）有限公司 | 数据存储方法、装置及存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020211679A1 (en) * | 2019-04-16 | 2020-10-22 | Alibaba Group Holding Limited | Resource allocation based on comprehensive i/o monitoring in a distributed storage system |
| CN110099112A (zh) * | 2019-04-28 | 2019-08-06 | 平安科技（深圳）有限公司 | 基于点对点网络的数据存储方法、装置、介质及终端设备 |
| CN110134332A (zh) * | 2019-04-28 | 2019-08-16 | 平安科技（深圳）有限公司 | 一种数据存储方法及相关装置 |
| CN110134332B (zh) * | 2019-04-28 | 2022-03-08 | 平安科技（深圳）有限公司 | 一种数据存储方法及相关装置 |
| CN110099112B (zh) * | 2019-04-28 | 2022-03-29 | 平安科技（深圳）有限公司 | 基于点对点网络的数据存储方法、装置、介质及终端设备 |
| CN110825698A (zh) * | 2019-11-07 | 2020-02-21 | 重庆紫光华山智安科技有限公司 | 元数据管理方法及相关装置 |
| CN110825698B (zh) * | 2019-11-07 | 2021-02-09 | 重庆紫光华山智安科技有限公司 | 元数据管理方法及相关装置 |
| CN113157207A (zh) * | 2021-04-07 | 2021-07-23 | 橙色云互联网设计有限公司 | 一种数据处理方法、装置及存储介质 |
| CN113157207B (zh) * | 2021-04-07 | 2022-03-08 | 橙色云互联网设计有限公司 | 一种数据处理方法、装置及存储介质 |
| CN114785795A (zh) * | 2022-04-02 | 2022-07-22 | 北京蓝海在线科技有限公司 | 分布式存储方法、***、设备、存储介质及信息处理终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109388351A (zh) | 一种分布式数据存储的方法及相关装置 | |
| JP6880131B2 (ja) | データ処理用の方法、装置及びシステム | |
| CN109145020A (zh) | 信息查询方法、从服务器、客户端及计算机可读存储介质 | |
| CN106095589B (zh) | 一种分配分区的方法、装置及*** | |
| CN105183394A (zh) | 一种数据存储处理方法和装置 | |
| CN109040212A (zh) | 设备接入服务器集群方法、***、设备及存储介质 | |
| US10908834B2 (en) | Load balancing for scalable storage system | |
| US9280370B2 (en) | System structure management device, system structure management method, and program | |
| CN110321225B (zh) | 负载均衡方法、元数据服务器及计算机可读存储介质 | |
| CN112732756B (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN107729353B (zh) | 用于执行机器学习的分布式***及其方法 | |
| CN111694865A (zh) | 基于分布式***的四层结构数据获取方法和装置 | |
| CN104579765A (zh) | 一种集群***的容灾方法和装置 | |
| CN111209120A (zh) | 微服务的数据同步方法、装置及计算机可读存储介质 | |
| CN110704376A (zh) | 日志文件保存方法及装置 | |
| CN110601994A (zh) | 云环境下微服务链感知的负载均衡方法 | |
| CN109885535A (zh) | 一种文件存储的方法及相关装置 | |
| CN111556135A (zh) | 一种请求调度方法、***、装置及电子设备 | |
| CN108319634B (zh) | 分布式文件***的目录访问方法和装置 | |
| CN109597903A (zh) | 图像文件处理装置和方法、文件存储***及存储介质 | |
| CN109213774A (zh) | 数据的存储方法及装置、存储介质、终端 | |
| CN110740155A (zh) | 分布式***中的请求处理方法及装置 | |
| CN107729421B (zh) | 存储过程的执行方法、装置及存储介质 | |
| US20190057028A1 (en) | Conflict Resolution and Garbage Collection in Distributed Databases | |
| CN103905512A (zh) | 一种数据处理方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |