CN104850634A - 一种数据存储节点调整方法及*** - Google Patents

一种数据存储节点调整方法及*** Download PDF

Info

Publication number
CN104850634A
CN104850634A CN201510268582.6A CN201510268582A CN104850634A CN 104850634 A CN104850634 A CN 104850634A CN 201510268582 A CN201510268582 A CN 201510268582A CN 104850634 A CN104850634 A CN 104850634A
Authority
CN
China
Prior art keywords
data memory
memory node
load information
current
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510268582.6A
Other languages
English (en)
Inventor
郭志斌
王志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201510268582.6A priority Critical patent/CN104850634A/zh
Publication of CN104850634A publication Critical patent/CN104850634A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种数据存储节点调整方法及***，涉及数据库管理技术领域，可以实现动态的增加或者减少数据存储结点的数量，进而动态调整数据库中的资源。本发明实施例通过***负载采集模块采集各个数据存储节点当前的负载信息及当前数据存储节点的数量；策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息；策略查询与记录模块根据当前的综合负载信息获取资源调整策略；策略执行模块根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作。本发明实施例提供的方案适于在数据库的资源需要动态调整时采用。

Description

一种数据存储节点调整方法及***
技术领域
本发明涉及数据库管理技术领域，尤其涉及一种数据存储节点调整方法及***。
背景技术
随着IT技术的不断普及，目前各种基于数据库的软件***在各行各业中获得广泛地应用。而随着企业组织对软件***的应用不断深入，软件***规模也朝着越来越庞大和复杂的方向发展。数据库通常都是这些***的核心之一，***中的大量操作都依赖于数据库。
但是，现有技术中，各种大型业务操作总是会吞噬掉数据库服务器的大量计算资源，大型业务操作发起之后，数据存储节点的负载急速增加，而数据库中数据存储节点的数量是固定的，数据存储节点为数据库业务操作提供资源，导致数据库中的可用资源固定。由于所提供的数据库资源相对于资源需求严重不足，软件***会突发地变得缓慢和迟钝；反之，在进行小型业务操作时，会出现所有的数据存储节点的负载较低或者部分数据存储节点闲置的情况，造成了资源的浪费。
发明内容
本发明的实施例提供一种数据存储节点调整方法及***，能够根据采集的负载信息动态的增加或者减少数据存储结点的数量，进而动态调整数据库中的资源。
为达到上述目的，本发明的实施例采用如下技术方案：
一种数据存储节点调整的方法，应用于一个数据存储节点调整***，所述***包括***负载采集模块、策略查询与记录模块和策略执行模块，所述方法包括：
***负载采集模块采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块，所述数据存储节点用于为业务操作提供资源；
策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息；
策略查询与记录模块根据当前的综合负载信息获取资源调整策略，并将获取的资源调整策略发送给策略执行模块；
策略执行模块根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作。
一种数据存储节点调整***，所述***包括***负载采集模块、策略查询与记录模块、策略执行模块、数据存储节点和代理模块；
所述***负载采集模块，用于控制数据存储节点内部的代理模块采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块；
所述策略查询与记录模块，用于根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息，根据当前的综合负载信息获取资源调整策略，并将获取的资源调整策略发送给策略执行模块；；
所述策略执行模块，用于根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作；
所述数据存储节点，用于为业务操作提供资源；
所述代理模块，设置于所述数据存储节点内部，用于根据***负载采集模块的控制采集各个数据存储节点当前的负载信息。
本发明实施例提供的数据存储节点调整方法及***，通过令***负载采集模块采集各个数据存储节点当前的负载信息，并将采集的负载信息发送给策略查询与记录模块；策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息；策略查询与记录模块根据当前的综合负载信息获取资源调整策略；策略执行模块根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作，从而实现动态的增加或者减少数据存储结点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作，提高了大型业务操作时软件***的运算速度及资源利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据存储节点调整方法流程图；
图2为本发明实施例提供的另一种数据存储节点调整方法流程图；
图3为本发明实施例提供的数据存储节点调整方法中步骤103的一种实现方法流程图；
图4为本发明实施例提供的另一种数据存储节点调整方法流程图；
图5为本发明实施例提供的一种数据存储节点调整***结构图；
图6为本发明实施例提供的另一种数据存储节点调整***结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种数据存储节点调整方法，本实施例应用于一个数据存储节点调整***，所述***包括***负载采集模块、策略查询与记录模块、策略执行模块和数据存储节点。如图1所示，所述方法包括：
101、***负载采集模块采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块，所述数据存储节点用于为业务操作提供资源。
所述步骤101在本发明实施例中可具体实现为，***负载采集模块控制数据存储节点中的代理模块采集数据存储结点当前的负载信息，所述数据存储节点用于为业务操作提供资源，采集的负载信息包括各数据存储节点的CPU利用率Ci，内存利用率Mi和硬盘I/O利用率Di，***负载采集模块将采集到的各数据存储节点的负载信息上报给策略查询与记录模块。
102、策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息。
所述步骤102在本发明实施例中可具体实现为，由策略查询与记录模块计算出当前的综合负载信息，综合负载信息包括综合CPU利用率C，综合内存利用率M和综合硬盘I/O利用率D；其中，综合CPU利用率C，综合内存利用率M和综合硬盘I/O利用率D的计算公式分别为(假设目前有k个数据结点)：
综合CPU利用率C：
综合内存利用率M：
综合硬盘I/O利用率D：
其中ai为数据存储结点i的各项综合负载信息的计算权重，其中，
103、策略查询与记录模块根据当前的综合负载信息获取资源调整策略，并将获取的资源调整策略发送给策略执行模块；
所述步骤103在本发明实施例中可具体实现为，策略查询与记录模块以当前的综合负载信息为输入，向知识库查询当前综合负载信息的情况下，最为匹配的资源调整策略，策略查询与记录模块将从知识库查询到的最匹配的资源调整策略下发给策略执行模块。
104、策略执行模块根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作。
所述步骤104在本发明实施例中可具体实现为，策略执行模块根据资源调整策略，扩张/收缩/保持数据存储节点的数量。
在本发明实施例的另一种实现方式中，随着***的运行，为了能够提升数据存储节点调整***的资源调整准确性，减少或避免各种大型业务操作时，数据库***会突发地变得缓慢和迟钝的情况，所述数据存储节点调整***还包括知识库，如图2所示，在步骤101之前还包括：
201、知识库创建资源调整表，所述资源调整表中包括所述综合负载信息与资源调整策略之间的对应关系；
所述步骤103具体包括：
策略查询与记录模块根据当前的综合负载信息从资源调整表中获取资源调整策略。
所述步骤201在本发明实施例中可具体实现为，知识库中的所述资源调整表中存储有所述综合负载信息与资源调整策略之间的对应关系，所述综合负载信息包括CPU利用率、内存利用率和硬盘I/O利用率；所述资源调整策略包括扩展一个数据存储节点、收缩一个数据存储节点和数据存储节点的数量保持不变策略查询与记录模块以当前的综合负载信息为输入，向知识库中的资源调整表查询当前综合负载信息的情况下，最为匹配的资源调整策略。
在本发明实施例的另一种实现方式中，如图3所示，所述步骤103具体为：
301、策略查询与记录模块遍历资源调整表中各个综合负载信息。
302、策略查询与记录模块根据当前的综合负载信息及获取到的每个综合负载信息分别计算匹配值。
所述步骤302在本发明实施例中可具体实现为，假设资源调整表中，有一条记录的综合负载信息CPU利用率为C',内存利用率为M'，硬盘IO利用率为D'，策略查询与记录模块计算当前的综合负载信息与获取的资源调整表中的每个综合负载信息各项的方差之和S：
S＝|C-C'|2+|M-M'|2+|D-D'|2；
其中，C为综合CPU利用率，M为综合内存利用率，D为综合硬盘I/O利用率。
303、策略查询与记录模块根据计算出的所有匹配值资源调整表中选择最匹配的资源调整策略。
所述步骤303在本发明实施例中可具体实现为，策略查询与记录模块选择所有S值中最小的一条记录在知识库中的资源调整表中选择最接近的资源调整策略作为最匹配的资源调整策略。
在本发明实施例的另一种实现方式中，为了避免对已经配对有资源调整策略的综合负载信息重复选择资源调整策略，提升数据存储节点调整***的资源调整准确性，减少或避免各种大型业务操作时，数据库***会突发地变得缓慢和迟钝的情况，如图4所示，在所述步骤104之后还包括：
401、***负载采集模块重新采集各个数据存储节点当前的负载信息，策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量再次计算当前的综合负载信息。
所述步骤401在本发明实施例中可具体实现为，策略执行后，***负载采集模块，再次通过数据存储节点中的代理模块采集各数据存储节点当前的负载信息，并上报给策略查询与记录模块；
由策略查询与记录模块根据负载采集模块上报的各数据存储节点的负载信息再次按照所述综合CPU利用率C，综合内存利用率M和综合硬盘I/O利用率D的计算公式计算数据存储节点的综合负载信息，得到实施调整策略后的CPU综合利用率C”,内存综合利用率M”和硬盘IO利用率D”。
402、如果策略查询与记录模块计算出的综合负载信息处于预定阈值范围内，则策略查询与记录模块将本次调整数据存储节点的数量前选择的资源调整策略与本次调整数据存储节点的数量前计算出的综合负载信息更新入资源调整表，否则，不更新资源调整表，并重新执行步骤401，直至策略查询与记录模块计算出的综合负载信息处于预定阈值范围内。
所述步骤402在本发明实施例中可具体实现为，如果策略查询与记录模块计算出实施调整策略后的CPU综合利用率C”、内存综合利用率M”和硬盘IO利用率D”同时满足C”∈(Cmin,Cmax),M”∈(Mmin,Mmax)，D”∈(Dmin,Dmax),那么认为调整的实施达到了预期的效果，策略查询与记录模块将策略执行前的综合负载信息与执行的策略一起写进知识库，如果未到达预期效果，策略查询与记录模块将不对知识库做更新操作。
特别说明的是，Cmin和Cmax是提前预设好的结点CPU性能良好运行区间的上限值和下限值，Mmin和Mmax是提前预设好的结点内存性能良好运行区间的上限值和下限值，Dmin和Dmax是提前预设好的结点内存性能良好运行区间的上限值和下限值。
随着***的运行，***将每一次成功的资源调整所对应的综合负载信息与资源调整策略记录进资源调整表，使资源调整表不断的丰富，随着资源调整表中记录的成功的资源调整信息增多，数据存储节点调整***的资源调整准确性会逐步提高，减少或避免各种大型业务操作时，数据库***会突发地变得缓慢和迟钝。
在本发明实施例的另一种实现方式中，本发明提供了一种数据存储节点调整***，如图5所示，所述数据存储节点调整***包括***负载采集模块501、策略查询与记录模块502、策略执行模块503、数据存储节点504和代理模块505；
所述***负载采集模块501，用于采集各个数据存储节点504当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块；
所述策略查询与记录模块502，用于根据各个数据存储节点504当前的负载信息及当前数据存储节点504的数量计算当前的综合负载信息，根据当前的综合负载信息获取资源调整策略；
所述策略执行模块503，用于根据获取的资源调整策略，调整数据存储节点504的数量，并以调整后的所有数据存储节点提供的资源进行业务操作；
所述数据存储节点504，用于为业务操作提供资源；
所述代理模块505，设置于所述数据存储节点504内部，用于根据***负载采集模块的控制采集各个数据存储节点当前的负载信息。
所述数据存储节点调整***在本发明实施例中可具体实现为，***负载采集模块501控制数据存储节点504中的代理模块505采集数据存储结点当前的负载信息，所述数据存储节点504用于为业务操作提供资源，采集的负载信息包括各数据存储节点504的CPU利用率Ci，内存利用率Mi和硬盘I/O利用率Di。
***负载采集模块501将采集到的各数据存储节点504的负载信息上报给策略查询与记录模块502，由策略查询与记录模块502计算出当前的综合负载信息，综合负载信息包括综合CPU利用率C，综合内存利用率M和综合硬盘I/O利用率D；其中，综合CPU利用率C，综合内存利用率M和综合硬盘I/O利用率D的计算公式分别为(假设目前有k个数据结点)：
综合CPU利用率C：
综合内存利用率M：
综合硬盘I/O利用率D：
其中ai为数据存储结点i的各项综合负载信息的计算权重，其中，
策略查询与记录模块502以当前的综合负载信息为输入，向知识库601查询当前综合负载信息的情况下，最为匹配的资源调整策略，策略查询与记录模块502将从知识库601查询到的最匹配的资源调整策略下发给策略执行模块。
策略执行模块503根据资源调整策略，扩张/收缩/保持数据存储节点504的数量。
在本发明实施例的另一种实现方式中，随着***的运行，为了能够提升数据存储节点调整***的资源调整准确性，减少或避免各种大型业务操作时，数据库***会突发地变得缓慢和迟钝的情况，如图6所示，所述数据存储节点调整***还包括知识库601；
所述知识库601，用于存储资源调整表，所述资源调整表中包括所述综合负载信息与资源调整策略之间的对应关系；
所述策略查询与记录模块还用于根据当前的综合负载信息从知识库创建的资源调整表中获取资源调整策略。
所述数据存储节点调整***在本发明实施例中可具体实现为，所述资源调整表存储于知识库601中，所述资源调整表中存储有所述综合负载信息与资源调整策略之间的对应关系，所述综合负载信息包括CPU利用率、内存利用率和硬盘I/O利用率，所述资源调整策略包括扩展一个数据存储节点504、收缩一个数据存储节点504和数据存储节点504的数量保持不变，策略查询与记录模块502以当前的综合负载信息为输入，向知识库601中的资源调整表查询当前综合负载信息的情况下，最为匹配的资源调整策略。
在本发明实施例的另一种实现方式中，所述数据存储节点调整***中的策略查询与记录模块还用于：遍历资源调整表中各个综合负载信息，根据当前的综合负载信息及获取到的每个综合负载信息分别计算匹配值，根据计算出的所有匹配值选择最匹配的资源调整策略；
所述数据存储节点调整***在本发明实施例中可具体实现为，遍历资源调整表中各个综合负载信息，假设资源调整表中，有一条记录的综合负载信息CPU利用率为C',内存利用率为M'，硬盘IO利用率为D'，策略查询与记录模块计算当前的综合负载信息与获取的资源调整表中的每个综合负载信息各项的方差之和S：
S＝|C-C'|2+|M-M'|2+|D-D'|2；
其中，C为综合CPU利用率，M为综合内存利用率，D为综合硬盘I/O利用率。
策略查询与记录模块502选择所有S值中最小的一条记录在知识库601中的资源调整表中选择最接近的资源调整策略作为最匹配的资源调整策略。
在本发明实施例的另一种实现方式中，为了避免对已经配对有资源调整策略的综合负载信息重复选择资源调整策略，提升数据存储节点调整***的资源调整准确性，减少或避免各种大型业务操作时，数据库***会突发地变得缓慢和迟钝的情况，所述***负载采集模块501还用于：
重新采集各个数据存储节点当前的负载信息；
所述策略查询与记录模块502，还用于根据各个数据存储节点504当前的负载信息及当前数据存储节点504的数量再次计算当前的综合负载信息；如果计算出的综合负载信息处于预定阈值范围内，则将本次调整数据存储节点504的数量前选择的资源调整策略与本次调整数据存储节点504的数量前计算出的综合负载信息更新入资源调整表，否则，不更新资源调整表，重新根据各个数据存储节点当前的负载信息及当前数据存储节点的数量再次计算当前的综合负载信息，直至策略查询与记录模块计算出的综合负载信息处于预定阈值范围内；
所述数据存储节点调整***在本发明实施例中可具体实现为，策略执行后，***负载采集模块501，再次通过数据存储节点504中的代理模块505采集各数据存储节点504当前的负载信息，并上报给策略查询与记录模块502；
由策略查询与记录模块502根据负载采集模块501上报的各数据存储节点504的负载信息再次按照所述综合CPU利用率C，综合内存利用率M和综合硬盘I/O利用率D的计算公式计算数据存储节点504的综合负载信息，得到实施调整策略后的CPU综合利用率C”,内存综合利用率M”和硬盘IO利用率D”。
如果策略查询与记录模块502计算出实施调整策略后的CPU综合利用率C”、内存综合利用率M”和硬盘IO利用率D”同时满足C”∈(Cmin,Cmax),M”∈(Mmin,Mmax)，D”∈(Dmin,Dmax),那么认为调整的实施达到了预期的效果，策略查询与记录模块502将策略执行前的综合负载信息与执行的策略一起写进知识库601，如果未到达预期效果，策略查询与记录模块103将不对知识库601做更新操作。
特别说明的是，Cmin和Cmax是提前预设好的结点CPU性能良好运行区间的上限值和下限值，Mmin和Mmax是提前预设好的结点内存性能良好运行区间的上限值和下限值，Dmin和Dmax是提前预设好的结点内存性能良好运行区间的上限值和下限值。
随着***的运行，***将每一次成功的资源调整所对应的综合负载信息与资源调整策略记录进资源调整表，使资源调整表不断的丰富，随着资源调整表中记录的成功的资源调整信息增多，数据存储节点调整***的资源调整准确性会逐步提高，减少或避免各种大型业务操作时，数据库***会突发地变得缓慢和迟钝。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据存储节点调整方法，应用于一个数据存储节点调整***，所述***包括***负载采集模块、策略查询与记录模块、策略执行模块和数据存储节点，其特征在于，所述方法包括：
***负载采集模块采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块，所述数据存储节点用于为业务操作提供资源；
策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息；
策略查询与记录模块根据当前的综合负载信息获取资源调整策略，并将获取的资源调整策略发送给策略执行模块；
策略执行模块根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作。
2.根据权利要求1所述的数据存储节点调整方法，所述数据存储节点调整***还包括知识库，其特征在于，在所述***负载采集模块采集各个数据存储节点当前的负载信息之前还包括：
知识库创建资源调整表，所述资源调整表中包括所述综合负载信息与资源调整策略之间的对应关系；
所述策略查询与记录模块根据当前的综合负载信息获取资源调整策略，具体包括：
策略查询与记录模块根据当前的综合负载信息从知识库创建的资源调整表中获取资源调整策略。
3.根据权利要求2所述的数据存储节点调整方法，其特征在于，所述策略查询与记录模块根据当前的综合负载信息获取资源调整策略具体为：
策略查询与记录模块遍历资源调整表中各个综合负载信息；
策略查询与记录模块根据当前的综合负载信息及获取到的每个综合负载信息分别计算匹配值；
策略查询与记录模块根据计算出的所有匹配值在资源调整表中选择最匹配的资源调整策略。
4.根据权利要求2所述的数据存储节点调整方法，其特征在于，在所述策略执行模块根据获取的资源调整策略，调整数据存储节点的数量之后还包括：
***负载采集模块重新采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块，策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量再次计算当前的综合负载信息；
如果策略查询与记录模块计算出的综合负载信息处于预定阈值范围内，则策略查询与记录模块将本次调整数据存储节点的数量前选择的资源调整策略与本次调整数据存储节点的数量前计算出的综合负载信息更新入资源调整表，否则，不更新资源调整表，***负载采集模块重新采集各个数据存储节点当前的负载信息，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块，策略查询与记录模块根据各个数据存储节点当前的负载信息及当前数据存储节点的数量再次计算当前的综合负载信息，直至策略查询与记录模块计算出的综合负载信息处于预定阈值范围内。
5.根据权利要求1至4任一所述的数据存储节点调整方法，其特征在于，所述综合负载信息包括数据存储节点的CPU利用率、内存利用率和/或硬盘I/O利用率。
6.一种数据存储节点调整***，其特征在于，所述***包括***负载采集模块、策略查询与记录模块、策略执行模块、数据存储节点和代理模块；
所述***负载采集模块，用于控制数据存储节点内部的代理模块采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块；
所述策略查询与记录模块，用于根据各个数据存储节点当前的负载信息及当前数据存储节点的数量计算当前的综合负载信息，根据当前的综合负载信息获取资源调整策略，并将获取的资源调整策略发送给策略执行模块；
所述策略执行模块，用于根据获取的资源调整策略，调整数据存储节点的数量，并以调整后的所有数据存储节点提供的资源进行业务操作；
所述数据存储节点，用于为业务操作提供资源；
所述代理模块，设置于所述数据存储节点内部，用于根据***负载采集模块的控制采集各个数据存储节点当前的负载信息。
7.根据权利要求6所述的数据存储节点调整***，其特征在于，所述数据存储节点调整***还包括知识库；
所述知识库，用于创建资源调整表，所述资源调整表中包括所述综合负载信息与资源调整策略之间的对应关系；
所述策略查询与记录模块还用于根据当前的综合负载信息从知识库创建的资源调整表中获取资源调整策略。
8.根据权利要求7所述的数据存储节点调整***，其特征在于，所述策略查询与记录模块还用于：
遍历资源调整表中各个综合负载信息，根据当前的综合负载信息及获取到的每个综合负载信息分别计算匹配值，根据计算出的所有匹配值选择最匹配的资源调整策略。
9.根据权利要求6所述的数据存储节点调整***，其特征在于，所述***负载采集模块还用于：
重新采集各个数据存储节点当前的负载信息及当前数据存储节点的数量，并将采集的负载信息及当前数据存储节点的数量发送给策略查询与记录模块；
所述策略查询与记录模块，还用于根据各个数据存储节点当前的负载信息及当前数据存储节点的数量再次计算当前的综合负载信息；如果计算出的综合负载信息处于预定阈值范围内，则将本次调整数据存储节点的数量前选择的资源调整策略与本次调整数据存储节点的数量前计算出的综合负载信息更新入资源调整表，否则，不更新资源调整表，重新根据各个数据存储节点当前的负载信息及当前数据存储节点的数量再次计算当前的综合负载信息，直至策略查询与记录模块计算出的综合负载信息处于预定阈值范围内。
10.根据权利要求6至9任一所述的数据存储节点调整***，其特征在于，所述综合负载信息包括数据存储节点的CPU利用率、内存利用率和/或硬盘I/O利用率。
CN201510268582.6A 2015-05-22 2015-05-22 一种数据存储节点调整方法及*** Pending CN104850634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510268582.6A CN104850634A (zh) 2015-05-22 2015-05-22 一种数据存储节点调整方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510268582.6A CN104850634A (zh) 2015-05-22 2015-05-22 一种数据存储节点调整方法及***

Publications (1)

Publication Number Publication Date
CN104850634A true CN104850634A (zh) 2015-08-19

Family

ID=53850278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510268582.6A Pending CN104850634A (zh) 2015-05-22 2015-05-22 一种数据存储节点调整方法及***

Country Status (1)

Country Link
CN (1) CN104850634A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657066A (zh) * 2016-03-23 2016-06-08 天津书生云科技有限公司 用于存储***的负载再均衡方法及装置
CN107920129A (zh) * 2017-12-07 2018-04-17 郑州云海信息技术有限公司 一种数据存储的方法、装置、设备以及云存储***
US11258877B2 (en) 2018-07-26 2022-02-22 Netapp, Inc. Methods for managing workloads in a storage system and devices thereof
CN115859394A (zh) * 2022-12-15 2023-03-28 深圳市数存科技有限公司 一种基于边缘计算的数据安全存储***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651613A (zh) * 2009-09-04 2010-02-17 西安电子科技大学 支持策略空间动态扩展的接纳控制***及其控制方法
CN102111438A (zh) * 2010-12-24 2011-06-29 华为技术有限公司 参数调整方法、装置和分布式计算平台***
CN102244685A (zh) * 2011-08-11 2011-11-16 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及***
CN103023969A (zh) * 2012-11-15 2013-04-03 北京搜狐新媒体信息技术有限公司 一种云平台调度方法及***
US8458433B2 (en) * 2007-10-29 2013-06-04 International Business Machines Corporation Management of persistent memory in a multi-node computer system
CN103929365A (zh) * 2014-03-25 2014-07-16 上海格尔软件股份有限公司 一种适用于udp服务的负载均衡***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458433B2 (en) * 2007-10-29 2013-06-04 International Business Machines Corporation Management of persistent memory in a multi-node computer system
CN101651613A (zh) * 2009-09-04 2010-02-17 西安电子科技大学 支持策略空间动态扩展的接纳控制***及其控制方法
CN102111438A (zh) * 2010-12-24 2011-06-29 华为技术有限公司 参数调整方法、装置和分布式计算平台***
CN102244685A (zh) * 2011-08-11 2011-11-16 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及***
CN103023969A (zh) * 2012-11-15 2013-04-03 北京搜狐新媒体信息技术有限公司 一种云平台调度方法及***
CN103929365A (zh) * 2014-03-25 2014-07-16 上海格尔软件股份有限公司 一种适用于udp服务的负载均衡***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田文洪 等: "《云计算——资源调度管理》", 31 July 2011, 国防工业出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657066A (zh) * 2016-03-23 2016-06-08 天津书生云科技有限公司 用于存储***的负载再均衡方法及装置
CN105657066B (zh) * 2016-03-23 2019-06-14 天津书生云科技有限公司 用于存储***的负载再均衡方法及装置
CN107920129A (zh) * 2017-12-07 2018-04-17 郑州云海信息技术有限公司 一种数据存储的方法、装置、设备以及云存储***
US11258877B2 (en) 2018-07-26 2022-02-22 Netapp, Inc. Methods for managing workloads in a storage system and devices thereof
CN115859394A (zh) * 2022-12-15 2023-03-28 深圳市数存科技有限公司 一种基于边缘计算的数据安全存储***及方法
CN115859394B (zh) * 2022-12-15 2023-11-21 深圳市数存科技有限公司 一种基于边缘计算的数据安全存储***及方法

Similar Documents

Publication Publication Date Title
Xu et al. A balanced virtual machine scheduling method for energy-performance trade-offs in cyber-physical cloud systems
US9645756B2 (en) Optimization of in-memory data grid placement
CN110795029B (zh) 一种云硬盘管理方法、装置、服务器及介质
CN103902386B (zh) 一种基于连接代理优化管理的多线程网络爬虫处理方法
CN104090889B (zh) 数据处理方法及***
CN103902593B (zh) 一种数据迁移的方法和装置
CN104850634A (zh) 一种数据存储节点调整方法及***
CN103077082A (zh) 一种数据中心负载分配及虚拟机迁移节能方法及***
US20100076933A1 (en) Techniques for resource location and migration across data centers
CN102882909B (zh) 云计算服务监控***及方法
CN100394418C (zh) 自治计算***的动态在线多参数优化***和方法
CN108279974B (zh) 一种云资源分配方法及装置
CN113220457A (zh) 模型部署方法、模型部署装置、终端设备及可读存储介质
CN104065568A (zh) 一种Web服务器集群的路由方法
Li et al. Utility maximisation for resource allocation of migrating enterprise applications into the cloud
US8688681B1 (en) Identifying internet protocol addresses for internet hosting entities
Deng et al. Dynamic virtual machine consolidation for improving energy efficiency in cloud data centers
Al Ridhawi et al. Data caching and selection in 5G networks using F2F communication
CN104468752A (zh) 一种提高云计算资源利用率的方法及***
CN103414657A (zh) 一种跨数据中心的资源调度方法、超级调度中心和***
US9934325B2 (en) Method and apparatus for distributing graph data in distributed computing environment
Wu et al. Selecting skyline services for QoS-aware composition by upgrading MapReduce paradigm
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
CN105069074A (zh) 策略配置文件处理方法、装置和***
CN105488180A (zh) 一种数据存储方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150819