CN112667160A - 一种海量存储***快速均衡方法及装置 - Google Patents
一种海量存储***快速均衡方法及装置 Download PDFInfo
- Publication number
- CN112667160A CN112667160A CN202011566146.4A CN202011566146A CN112667160A CN 112667160 A CN112667160 A CN 112667160A CN 202011566146 A CN202011566146 A CN 202011566146A CN 112667160 A CN112667160 A CN 112667160A
- Authority
- CN
- China
- Prior art keywords
- disk
- physical
- node
- nodes
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000005012 migration Effects 0.000 claims description 14
- 238000013508 migration Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种海量存储***快速均衡方法及装置，该方法包括：基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；完成所述逻辑节点间的数据均衡后，若逻辑节点内的数据不均衡，则对存在数据不均衡的逻辑节点进行节点内数据均衡。本发明降低了存储***进行均衡时带给存储网络和存储节点的压力。
Description
技术领域
本发明涉及存储技术领域，特别涉及一种海量存储***快速均衡方法及装置。
背景技术
近几年，随着互联网网络规模不断扩大，新兴应用以及边缘计算、物联网、大数据分析、实时分析，每天都有海量数据需要存储，数据存储成为各大软件设计热点话题，由于存储数据量大，所以需要高性能存储。现有一般使用存储***的是分布式存储***，在分布式存储***中保证数据均衡分布是存储提供高性能的有效方式。然而，软件在设计之初不能很好地预估数据量，一般情况都会面临存储容量的扩容，个别情况还有可能出现缩容，前述扩容和缩容都会引起存储节点相关磁盘的数据进行均衡，均衡会增加存储网络和存储节点的压力，所以存储***的均衡需要尽可能降低存储网络和存储节点的压力。
发明内容
本说明书实施例提供了一种海量存储***快速均衡方法及装置。
一方面，本说明书实施例提供的一种海量存储***快速均衡方法，包括：基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；完成所述逻辑节点间的数据均衡后，若逻辑节点内的数据不均衡，则对存在数据不均衡的逻辑节点进行节点内数据均衡。
另一方面，本说明书实施例提供的一种海量存储***快速均衡装置，包括：逻辑节点划分模块，用于基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；逻辑节点间数据均衡模块，用于在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；逻辑节点内数据均衡模块，用于对存在数据不均衡的逻辑节点进行节点内数据均衡。
本发明实施例降低了存储***进行快速均衡时带给存储网络和存储节点的压力。
附图说明
图1为本说明书一些实施例的海量存储***快速均衡方法的流程图。
图2为本说明书一些实施例的海量存储***快速均衡装置的组成图。
图3为本说明书一些实施例的初始存储***的分布图。
图4为图3中的初始存储***在扩容三个物理节点后的分布图。
图5为图4中的存储***的部分磁盘迁移后的分布图。
图6为图5中的存储***增加物理磁盘后的分布图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如图1所示，本说明书一些实施例中提供了一种海量存储***快速均衡方法，包括基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；完成所述逻辑节点间的数据均衡后，若逻辑节点内的数据不均衡，则对存在数据不均衡的逻辑节点进行节点内数据均衡。
进一步地，在本说明书一些实施例中，所述在所述逻辑节点间对数据进行均衡的步骤，具体为，获取每个所述逻辑节点的磁盘使用率，当所述逻辑节点间的磁盘使用率不相同时，在所述逻辑节点间，将数据从至少一个磁盘使用率较高的逻辑节点中迁出至至少一个磁盘使用率较低的逻辑节点中，直至每个所述逻辑节点的磁盘使用率均相同。
更进一步地，在本说明书一些实施例中，在磁盘使用率较高的逻辑节点中，选择至少一个使用率较高的物理磁盘作为数据迁出盘；在磁盘使用率较低的逻辑节点中，选择至少一个使用率较低的物理磁盘作为数据迁入盘。
进一步地，在本说明书一些实施例中，所述对存在数据不均衡的逻辑节点进行节点内数据均衡的步骤，具体为，获取每个逻辑节点内的每个物理节点的每个物理磁盘的使用率，在同一个物理节点内，将使用率较高的物理磁盘作为数据迁出盘，并将数据迁出至使用率较低的物理磁盘中，直至同一个物理节点内的每个物理磁盘的使用率相同。
在本说明书的一些实施例中，所述物理磁盘均设置有物理节点ID、逻辑节点ID、全局ID。
结合图2，本发明实施例还提供了一种海量存储***快速均衡装置，包括，逻辑节点划分模块，用于基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；逻辑节点间数据均衡模块，用于在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；逻辑节点内数据均衡模块，用于对存在数据不均衡的逻辑节点进行节点内数据均衡。
在本说明书一些实施例中，所述逻辑节点间数据均衡模块，具体用于获取每个所述逻辑节点的磁盘使用率，当所述逻辑节点间的磁盘使用率不相同时，在所述逻辑节点间，将数据从至少一个磁盘使用率较高的逻辑节点中迁出至至少一个磁盘使用率较低的逻辑节点中，直至每个所述逻辑节点的磁盘使用率均相同。
在本说明书一些实施例中，所述逻辑节点间数据均衡模块，进一步还用于在磁盘使用率较高的逻辑节点中，选择至少一个使用率较高的物理磁盘作为数据迁出盘；在磁盘使用率较低的逻辑节点中，选择至少一个使用率较低的物理磁盘作为数据迁入盘。
在本说明书一些实施例中，所述逻辑节点内数据均衡模块，具体用于获取每个逻辑节点内的每个物理节点的每个物理磁盘的使用率，在同一个物理节点内，将使用率较高的物理磁盘作为数据迁出盘，并将数据迁出至使用率较低的物理磁盘中，直至同一个物理节点内的每个物理磁盘的使用率相同。
在本说明书一些实施例中，所述物理磁盘均设置有物理节点ID、逻辑节点ID、全局ID。
在本说明书一些实施例中还提供了一种电子设备和计算机可读存储介质，电子设备包括存储器，用于存储计算机软件程序；处理器，用于运行所述计算机软件程序时实现所述海量存储***快速均衡方法的步骤。计算机可读存储介质存储有计算机软件程序，所述计算机软件程序被运行时实现海量存储***快速均衡方法的步骤。
下面结合图3至图6对存储***的扩容以及扩容后的均衡进行具体描述。
如图3所示，存储***初始有三个物理节点(物理节点1、物理节点2、物理节点3)，可以根据前述三个物理节点划分为三个逻辑节点(逻辑节点1、逻辑节点2、逻辑节点3)，每个物理节点包含两块磁盘，可以从图3中看出，每个磁盘都设置有三个标识符，分别是物理节点ID、逻辑节点ID、全局ID，比如，针对物理节点1中的两块磁盘，其物理节点ID和逻辑节点ID均为1，其全局ID分别为1和2；由于存储***初始数据是均衡分配的，可以假设当前每块磁盘使用量为80％。
如图4所示，对初始的存储***进行扩容，在逻辑节点1、逻辑节点2、逻辑节点3中分别扩容三个物理节点(物理节点4、物理节点5、物理节点6)，其中，图4表示的是新加的三个物理节点不插磁盘的状态。
如图5所示，将初始的物理节点(物理节点1、物理节点2、物理节点3)的部分磁盘插到新加的三个物理节点(物理节点4、物理节点5、物理节点6)中，此时逻辑节点与物理节点使用率相同，真实容量并未增加。
如图6所示，将新磁盘(全局ID7-12的磁盘)插到图5中虚线框的位置，此时逻辑节点使用率相同，物理节点内磁盘使用不均衡，接下来可以基于本发明实施例中的方案开启节点内均衡。经过一段时间，即可以完成均衡使所有磁盘使用率都变为40％
下面针对均衡的过程进行详细解释如下：
结合图3至图6，均衡过程就是数据迁移过程，也就是将初始的物理磁盘(在图3至图6中的全局ID为1-6使用率为80％的磁盘)的部分数据迁移到新加的物理磁盘(全局ID为7-12使用率为0％的物理磁盘)中。对每个逻辑节点计算使用率，优先进行逻辑节点间均衡。比如，针对逻辑节点1的磁盘使用率，逻辑节点1的磁盘使用率等于(80％+80％+0％+0％)/4＝40％，同理，逻辑节点2和逻辑节点3的磁盘使用率也是40％，由此可以证明三个逻辑节点的使用率是相同的。但如果通过上述过程的逻辑节点的磁盘使用率不均衡，那么会从逻辑节点中找出具有较高磁盘使用率的逻辑节点的磁盘作为数据迁出盘，同时在逻辑节点中找出具有较低磁盘使用率的逻辑节点的磁盘作为迁入盘，迁入盘可能有多块，最终使每个逻辑节点的磁盘使用率均相同。
逻辑节点间的数据均衡完成后，会再检查物理节点均衡。例如，针对物理节点1的磁盘使用率，物理节点1的磁盘使用率等于(80％+0)/2＝40％，所以物理节点1中的具有80％使用率的全局ID为1的物理磁盘需要迁移40％数据到具有0％使用率的全局ID为7的物理磁盘，同理，其他物理节点(物理节点2至6)也应进行相应操作。
需要指出的是，前述扩容过程只描述了多种扩容情况中的一种，如果是成倍扩容，则逻辑节点间不需要均衡，只进行物理节点内均衡即可。
综上，本发明实施例中的数据均衡按照逻辑节点间优先均衡，再进行节点内数据均衡，最终达到存储***内磁盘数据的均衡，由此可以尽可能地降低存储网络的使用，最好情况下可以避免存储网络的使用，只进行物理节点内均衡，由于均衡过程尽可能避免使用网络，所以可以降低物理节点的网络IO压力(网络IO会占用***资源)，即可以在尽可能少地使用存储网络和降低物理节点网络IO的条件下，实现存储***快速均衡。
虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。本发明是参照根据本发明实施例的方法的流程图和/或方框图来描述的。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于装置实施例，所以描述的比较简单，相关之处参见装置实施例的部分说明即可。以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (12)
1.一种海量存储***快速均衡方法，其特征在于，所述方法包括：
基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；
在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；
完成所述逻辑节点间的数据均衡后，若逻辑节点内的数据不均衡，则对存在数据不均衡的逻辑节点进行节点内数据均衡。
2.根据权利要求1所述的海量存储***快速均衡方法，其特征在于，
所述在所述逻辑节点间对数据进行均衡的步骤，具体为，
获取每个所述逻辑节点的磁盘使用率，当所述逻辑节点间的磁盘使用率不相同时，在所述逻辑节点间，将数据从至少一个磁盘使用率较高的逻辑节点中迁出至至少一个磁盘使用率较低的逻辑节点中，直至每个所述逻辑节点的磁盘使用率均相同。
3.根据权利要求2所述的海量存储***快速均衡方法，其特征在于，
在磁盘使用率较高的逻辑节点中，选择至少一个使用率较高的物理磁盘作为数据迁出盘；
在磁盘使用率较低的逻辑节点中，选择至少一个使用率较低的物理磁盘作为数据迁入盘。
4.根据权利要求1所述的海量存储***快速均衡方法，其特征在于，
所述对存在数据不均衡的逻辑节点进行节点内数据均衡的步骤，具体为，
获取每个逻辑节点内的每个物理节点的每个物理磁盘的使用率，在同一个物理节点内，将使用率较高的物理磁盘作为数据迁出盘，并将数据迁出至使用率较低的物理磁盘中，直至同一个物理节点内的每个物理磁盘的使用率相同。
5.根据权利要求1所述的海量存储***快速均衡方法，其特征在于，
所述物理磁盘均设置有物理节点ID、逻辑节点ID、全局ID。
6.一种海量存储***快速均衡装置，其特征在于，包括：
逻辑节点划分模块，用于基于初始的第一预定数量的物理节点划分出第一预定数量的逻辑节点，其中，所述物理节点中设置有初始的第二预定数量的物理磁盘；
逻辑节点间数据均衡模块，用于在扩容或缩容后的均衡过程中，优先在所述逻辑节点间对数据进行均衡；
逻辑节点内数据均衡模块，用于对存在数据不均衡的逻辑节点进行节点内数据均衡。
7.根据权利要求6所述的海量存储***快速均衡装置，其特征在于，
所述逻辑节点间数据均衡模块，具体用于获取每个所述逻辑节点的磁盘使用率，当所述逻辑节点间的磁盘使用率不相同时，在所述逻辑节点间，将数据从至少一个磁盘使用率较高的逻辑节点中迁出至至少一个磁盘使用率较低的逻辑节点中，直至每个所述逻辑节点的磁盘使用率均相同。
8.根据权利要求7所述的海量存储***快速均衡装置，其特征在于，
所述逻辑节点间数据均衡模块，进一步还用于在磁盘使用率较高的逻辑节点中，选择至少一个使用率较高的物理磁盘作为数据迁出盘；在磁盘使用率较低的逻辑节点中，选择至少一个使用率较低的物理磁盘作为数据迁入盘。
9.根据权利要求6所述的海量存储***快速均衡装置，其特征在于，
所述逻辑节点内数据均衡模块，具体用于获取每个逻辑节点内的每个物理节点的每个物理磁盘的使用率，在同一个物理节点内，将使用率较高的物理磁盘作为数据迁出盘，并将数据迁出至使用率较低的物理磁盘中，直至同一个物理节点内的每个物理磁盘的使用率相同。
10.根据权利要求6所述的海量存储***快速均衡装置，其特征在于，
所述物理磁盘均设置有物理节点ID、逻辑节点ID、全局ID。
11.一种电子设备，其特征在于，包括
存储器，用于存储计算机软件程序；
处理器，用于运行所述计算机软件程序时实现根据权利要求1至5任一项所述海量存储***快速均衡方法的步骤。
12.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质上存储有计算机软件程序，所述计算机软件程序被运行时实现根据权利要求1至5任一项海量存储***快速均衡方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011566146.4A CN112667160A (zh) | 2020-12-25 | 2020-12-25 | 一种海量存储***快速均衡方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011566146.4A CN112667160A (zh) | 2020-12-25 | 2020-12-25 | 一种海量存储***快速均衡方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667160A true CN112667160A (zh) | 2021-04-16 |
Family
ID=75409437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011566146.4A Pending CN112667160A (zh) | 2020-12-25 | 2020-12-25 | 一种海量存储***快速均衡方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667160A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523251A (zh) * | 2011-11-25 | 2012-06-27 | 北京开拓天际科技有限公司 | 对海量数据处理的云存储架构及应用该架构的云存储平台 |
| CN103327094A (zh) * | 2013-06-19 | 2013-09-25 | 成都市欧冠信息技术有限责任公司 | 数据分布式存储方法与*** |
| CN103761059A (zh) * | 2014-01-24 | 2014-04-30 | 中国科学院信息工程研究所 | 一种用于海量数据管理的多盘位存储方法及*** |
| CN104702691A (zh) * | 2015-03-13 | 2015-06-10 | 华为技术有限公司 | 分布式负载均衡方法和装置 |
| CN104917784A (zh) * | 2014-03-10 | 2015-09-16 | 华为技术有限公司 | 一种数据迁移方法、装置及计算机*** |
| CN109788006A (zh) * | 2017-11-10 | 2019-05-21 | 阿里巴巴集团控股有限公司 | 数据均衡方法、装置及计算机设备 |
| CN110515947A (zh) * | 2019-08-23 | 2019-11-29 | 苏州浪潮智能科技有限公司 | 一种存储*** |
| CN111913670A (zh) * | 2020-08-07 | 2020-11-10 | 北京百度网讯科技有限公司 | 负载均衡的处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-25 CN CN202011566146.4A patent/CN112667160A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523251A (zh) * | 2011-11-25 | 2012-06-27 | 北京开拓天际科技有限公司 | 对海量数据处理的云存储架构及应用该架构的云存储平台 |
| CN103327094A (zh) * | 2013-06-19 | 2013-09-25 | 成都市欧冠信息技术有限责任公司 | 数据分布式存储方法与*** |
| CN103761059A (zh) * | 2014-01-24 | 2014-04-30 | 中国科学院信息工程研究所 | 一种用于海量数据管理的多盘位存储方法及*** |
| CN104917784A (zh) * | 2014-03-10 | 2015-09-16 | 华为技术有限公司 | 一种数据迁移方法、装置及计算机*** |
| CN104702691A (zh) * | 2015-03-13 | 2015-06-10 | 华为技术有限公司 | 分布式负载均衡方法和装置 |
| CN109788006A (zh) * | 2017-11-10 | 2019-05-21 | 阿里巴巴集团控股有限公司 | 数据均衡方法、装置及计算机设备 |
| CN110515947A (zh) * | 2019-08-23 | 2019-11-29 | 苏州浪潮智能科技有限公司 | 一种存储*** |
| CN111913670A (zh) * | 2020-08-07 | 2020-11-10 | 北京百度网讯科技有限公司 | 负载均衡的处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107562531B (zh) | 一种数据均衡方法和装置 | |
| CN109408590B (zh) | 分布式数据库的扩容方法、装置、设备及存储介质 | |
| US10356150B1 (en) | Automated repartitioning of streaming data | |
| CN106339386B (zh) | 数据库弹性调度方法以及装置 | |
| CN111290699B (zh) | 数据迁移方法、装置及*** | |
| CN106687926A (zh) | 被克隆的虚拟机的负载均衡 | |
| WO2012154177A1 (en) | Varying a characteristic of a job profile relating to map and reduce tasks according to a data size | |
| JP2022539955A (ja) | タスクスケジューリング方法及び装置 | |
| EP4088185A1 (en) | Automated local scaling of compute instances | |
| US11093288B2 (en) | Systems and methods for cluster resource balancing in a hyper-converged infrastructure | |
| CN104216784A (zh) | 热点均衡控制方法及相关装置 | |
| KR102326586B1 (ko) | 큰 규모 분산 행렬 곱 처리 방법 및 그 장치 | |
| CN110019528A (zh) | 数据库操作负载均衡方法、装置、设备及介质 | |
| CN109788013B (zh) | 分布式***中作业资源分配方法、装置及设备 | |
| CN109788006B (zh) | 数据均衡方法、装置及计算机设备 | |
| US10896056B2 (en) | Cluster expansion method and apparatus, electronic device and storage medium | |
| CN106412075A (zh) | 一种基于云计算的资源配置方法及装置 | |
| CN111046004B (zh) | 一种数据文件存储方法、装置、设备及存储介质 | |
| CN110413393B (zh) | 集群资源管理方法、装置、计算机集群及可读存储介质 | |
| KR101661475B1 (ko) | 이기종 클러스터 상에서 하둡 부하 분산 방법, 이를 수행하기 위한 기록 매체 및 하둡 맵리듀스 시스템 | |
| US10387578B1 (en) | Utilization limiting for nested object queries | |
| CN112667160A (zh) | 一种海量存储***快速均衡方法及装置 | |
| CN106201711A (zh) | 一种任务处理方法及服务器 | |
| CN114047883B (zh) | 一种基于分布式存储***的数据均衡方法及装置 | |
| CN112783441B (zh) | 一种调整虚拟机磁盘读写限速的方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |