CN106686082B - 存储资源调整方法及管理节点 - Google Patents

Abstract

本发明提供一种存储资源调整方法及管理节点。所述管理节点连接于业务节点与存储设备之间。所述管理节点执行所述方法以接收业务节点发送的负载指标，所述负载指标为所述业务节点采集的业务节点在运行应用时的性能参数，并在在原始采集数据库中查找所述业务节点所运行应用对应的存储区域的至少一个存储指标的采集值，所述原始采集数据库为所述存储设备周期性采集的存储设备中各存储区域的存储指标的值，所述存储指标为每个存储区域的性能参数，然后对每个存储指标的采集值进行分析，确定需要调整的存储指标，再对所确定的需要调整的存储指标进行调整。本发明可以根据业务节点运行的应用的需求对存储设备的存储资源进行调整。

Description

存储资源调整方法及管理节点

技术领域

本发明涉及存储领域，特别涉及一种存储资源的调整方法及管理节点。

背景技术

随着云计算、移动互联、大数据的发展，突发的业务需求导致为应用配置的存储资源可能难以满足应用的需求。例如，为应用预先配置的服务质量(Quality of Service,QoS)，可能因为电商的促销活动无法满足应用的需求，所以需要对该应用的存储资源的配置进行动态调整，

现有技术中在进行存储资源的调整时，都是在存储侧进行调整，即通过运维软件监控存储的性能或者容量指标，给出分析和预测，再由管理员根据经验判断，并手动调整存储的配置。这样，不能针对应用的需求做调整，可能造成存储资源配置的浪费，例如管理员发现IO延迟增高，就会调整存储的每秒进行读写操作的次数(Input/Output OperationsPer Second，IOPS)阈值，但有可能应用的负载仍在正常状态范围内，不需要调整。

发明内容

本发明实施例提供一种存储资源的调整方法及管理节点，用于根据应用的负载调整存储性能指标，避免对存储资源的无效调整。

本发明第一方面提供一种存储资源调整方法，应用于管理节点，所述管理节点连接于业务节点与存储设备之间。首先，所述管理节点会接收业务节点发送的负载指标，所述负载指标为所述业务节点采集的业务节点在运行应用时的性能参数。在接收到负载指标后，所述管理节点在原始采集数据库中查找所述业务节点所运行应用对应的存储区域的至少一个存储指标的采集值，所述原始采集数据库为所述存储设备周期性采集的存储设备中各存储区域的存储指标的值，所述存储指标为每个存储区域的性能参数。然后，所述管理节点对每个存储指标的采集值进行分析，确定需要调整的存储指标，在确定了需要调整的指标后即可对所确定的需要调整的存储指标进行调整。

通过上述方案，存储设备只有在收到业务主机发送的超出阈值的负载指标时才会触发对存储指标的调整，在调整存储指标时，会根据所采集的各项存储指标的采集值的确定需要调整的存储指标，如此，可以根据应用的负载情况对存储设备的存储指标进行调整，避免了在业务主机侧的负载并未超出阈值时，而存储侧对存储指标做出的无效调整。

所述管理节点在对每个存储指标的采集值进行分析时候，可以根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标，然后将所确定的存储指标作为所述需要调整的存储指标。

这样，可以根据采集值的波动值确定需要调整的存储指标，可以使存储指标的调整跟准确。

所述管理节点在对每个存储指标的采集值进行分析时候，可以根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标，将所确定的存储指标作为所述负载指标对应的存储指标集，在经验库中查找所述负载指标对应的历史指标集，如果没找到，则将所述存储指标集中的存储指标作为需要调整的存储指标，并将所述存储指标集作为所述负载指标的历史指标集存储在所述经验库中。

通过建立经验库，可以在经验库中没有所述负载对应的历史指标集，也即没有针对该负载指标调整过存储指标时，可以将本次所确定的该负载存储指标存储在经验库中，以供后续在确定需要调整的存储指标是作参考。

在建立了经验库，且在经验库中查找到所述负载指标对应的历史指标集时，确定所述存储指标集和所述历史指标集中是否有相同的存储指标，如果有，则将所述相同的存储指标作为需要调整的存储指标，如果没有，则不对该存储区域的存储指标做调整。

通过将所确定的负载指标对应的波动超过阈值的存储指标与经验库中的已有的历史指标集中的存储指标做对比，选择存储指标数比较少的作为调整指标，可以减少对业务指标产生的干扰。

在根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标时，可以根据每个存储指标对应的采集值确定与距离当前时间最近的两个采集点的采集值之间的差值是否超过一预设值，如果超过，则确定所述存储指标为采集值的波动超过一预设值的存储指标。

距离当前时间最近的两个采集点的采集值之间的差异最能够反映负载指标的波动，所以更能准确的确定出需要调整的存储指标。

本发明实施例第二方面提供一种管理节点，所述管理节点连接于业务节点与存储设备之间。所述管理节点包括接收模块、查找模块及调整模块。所述接收模块用于接收业务节点发送的负载指标，所述负载指标为所述业务节点采集的业务节点在运行应用时的性能参数。所述查找模块用于在原始采集数据库中查找所述业务节点所运行应用对应的存储区域对应的至少一个存储指标的采集值，所述原始采集数据库为所述存储设备周期性采集的存储设备中各存储区域的存储指标的值，所述存储指标为每个存储区域的性能参数。所述调整模块用于对每个存储指标的采集值进行分析，确定需要调整的存储指标，对所确定的需要调整的存储指标进行调整。

所述调整模块在对每个存储指标的采集值进行分析，确定需要调整的存储指标具体用于根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标；将所确定存储指标作为所述需要调整的存储指标。

所述调整模块在对每个存储指标的采集值进行分析，确定需要调整的存储指标具体用于根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标，将所确定的存储指标作为所述负载指标对应的存储指标集；在经验库中查找所述负载指标对应的历史指标集，如果没找到，则将所述存储指标集中的存储指标作为需要调整的存储指标，并将所述存储指标集作为所述负载指标的历史指标集存储在所述经验库中。

在经验库中查找到所述负载指标对应的历史指标集时，所述调整模块确定所述存储指标集和所述历史指标集中是否有相同的存储指标，如果有，则将所述相同的存储指标作为需要调整的存储指标，如果没有，则不对该存储区域的存储指标做调整。

所述调整模块在根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标时，具体用于根据每个存储指标对应的采集值确定与距离当前时间最近的两个采集点的采集值之间的差值是否超过一预设值，如果超过，则确定所述存储指标为采集值的波动超过一预设值的存储指标。

通过本发明实施例提供的技术方案，存储设备只有在收到业务主机发送的超出阈值的负载指标时才会触发对存储指标的调整，在调整存储指标时，会根据所采集的各项存储指标的采集值的确定需要调整的存储指标，如此，可以根据应用的负载情况对存储设备的存储指标进行调整，避免了在业务主机侧的负载并未超出阈值时，而存储侧对存储指标做出的无效调整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的存储***的架构图。

图2为本发明实施例提供的业务节点的硬件结构图。

图3为本发明实施例提供的业务节点进行负载监控的方法的流程图。

图4为本发明实施例提供的管理节点的硬件结构图。

图5为本发明实施例提供的管理节点进行存储指标调整的方法的流程图。

图6为本发明实施例中业务节点的模块图。

图7为本发明实施例中管理节点的模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例所提供的存储资源调整方法可以根据应用的负载进行存储资源的调整，在应用的负载较大时，可以为应用增加存储资源，在应用的负载较小是，可以释放应用占用的存储资源，这样可以存储资源配合应用的需求进行调整，使存储资源能够自动匹配应用的需求，还可以充分利用存储资源。下面将结合附图具体说明本发明所提供的实施例。

如图1所示，为本发明实施例提供的***架构图。所述***包括多个业务节点10、管理节点11及存储设备12。所述业务节点10直接连接至所述存储设备12，以对所述存储设备12中的数据进行访存。所述业务节点10还连接至管理节点11，所述管理节点11连接至所述存储设备12。所述业务节点10可以将检测到的业务指标发送至管理节点11，所述管理节点11根据接收到的业务指标及采集到的存储设备12的存储指标确定需要调整的存储指标，这样可以根据应用的需要进行存储资源的调整。

如图2所示，为业务节点10的硬件结构图。所述业务节点10包括中央处理单元(Central Processing Unit,CPU)101、存储单元102、接口103及总线104。所述存储单元102和接口103通过总线104连接至所述CPU101，以与所述CPU101进行通讯。

所述存储单元102中存储有应用软件106及监控软件105。所述CPU101运行所述应用软件106，以使所述业务节点10对外提供相应的业务，例如所述应用软件可以为数据库应用mysql。本实施例中，所述CPU101运行所述监控软件105以对所述CPU运行所述应用软件106时的负载进行监控，在检测到业务节点10当前的负载值超出预设阈值时，则将监控的负载指标上报至管理节点11，管理节点11可以根据业务节点10上报的负载指标对业务节点10需要的存储资源进行调整。在本发明实施例中，运行应用软件的负载可以通过预先设置的业务指标体现。

所述业务节点10进行负载监控的方法可参考图3所示的流程图。

步骤S301,所述业务节点10周期性的采集所述应用运行时的负载指标。

所述负载指标为应用运行时，业务主机的各种性能参数的值，可以反映业务主机在运行应用时的负载情况。在采集之前，可预先在一个配置文件配置好需要采集的各项负载指标，每个负载指标的采集方式，每个负载指标的负载阈值及阈值策略。业务节点中运行的应用软件不同，所采集的负载指标也会不同。例如应用软件mysql的负载指标可以设置为SQL查询延迟、SQL更新延迟、查询吞吐量、SQL查询平均运行时间等。每种负载指标配置有不同的采集方式，如CLI、WMI、REST等。在对各项负载指标进行采集时，即可根据所设定的采集方式进行采集。

步骤S302，将所采集的负载指标值与为每个负载指标设置的负载阈值比较，在超出设定的负载阈值时，则执行步骤S303，如果没有超出，则返回步骤S301,等待下个采集周期，继续对负载指标进行采集。

在本实施例中，每个负载指标可以设置两个指标阈值，一个为最大指标阈值，一个为最小指标阈值，所述超出设定的负载阈值可以为所采集的负载值大于等于所述最大指标阈值，也可以为所采集的负载值小于等于所述最小指标阈值。即在所采集的负载指标值大于最大指标阈值和小于最小指标阈值时，都可能触发对存储资源的调整，在所采集的负载指标值大于最大阈值时，说明目前的应用负载过大，需要为应用配置更大的存储资源，以满足应用的需求，在所采集的负载指标值小于最小阈值时，则说明目前的应用负载比较小，则可以释放一些存储资源。

步骤S303，判断所采集的负载指标值是否满足设定的阈值策略，如果满足，则执行步骤S304,即上报所述负载指标至管理节点11，如果不满足，则返回步骤S301,等待下个采集周期，继续对负载指标进行采集。

在业务节点上报所述负载指标时，还携带所述业务节点所运行应用的应用标识。因为所述存储设备可以为多个业务节点提供存储服务，所以存储设备也会为每个业务节点划定存储区域，为每个业务节点划定的存储区域只为对应的业务节点提供服务。例如，存储设备可划分多个逻辑单元(LogicUnit,LU)，将LU挂载至业务节点，则该LU即可为该业务节点提供数据存储服务，并在存储设备上存储所述业务节点与挂载至所述业务节点的LUN(Logic Unit Number,LUN)的对应关系。。

由于***可能基于网络或者***运维等原因出现了短暂的性能下降或者波动，个别阈值的触发不能代表***真正的状态，所以为了防止采集指标的异常波动引起的误判，可以设定阈值策略，所述阈值策略可以设定为在单位时间内所采集的负载指标值超出设定的阈值的次数，例如，若所设定的阈值策略为一分钟内负载指标的采集值有三次超过负载阈值时，则只有所采集的负载指标的采集值为在一分钟内第三次超过负载阈值时，才会将负载指标上报至管理节点11。

管理节点11在接收到业务节点10发送的负载指标时，即可根据负载指标对该应用对应的存储资源进行调整，以使存储资源满足应用的需求。

如图4所示，为管理节点的硬件结构图。所述管理节点包括CPU401、存储单元402、接口403及总线404。所述存储单元402和接口403通过总线404连接至所述CPU401，以与所述CPU401进行通讯。

所述存储单元402中存储有调整软件405。所述CPU101运行所述调整软件405，以使所述管理节点可以根据所接收的业务节点发送的负载指标对存储设备的存储指标进行调整。另外，管理节点11还会周期性的采集存储设备12中各个存储区域的存储指标，所述存储指标为每个存储区域的性能参数。在所述存储设备12为多个业务节点提供服务时，则对应的所述存储设备也会被划分为多个存储区域，每个区域为不同的业务节点提供数据存储服务，所以在所述管理节点11采集存储设备12的存储指时，是针对每个存储区域进行采集，还以LUN为例，所述存储设备12在采集存储指标时，会针对每个LUN采集存储指标，并将所采集的每个LUN的存储指标存储在原始采集数据库中。所述存储指标可以为IOPS、每秒执行的读IO个数、每秒执行的写IO的个数、读写IO的延迟等。

如图5所示，为管理节点进行存储资源调整的流程图。

步骤S501，所述管理节点接收业务节点10发送的负载指标及存储标识，所述存储标识为所述存储设备中提供给所述业务节点使用的存储区域的标识。

步骤S502，根据所述存储标识在所述原始采集数据库中查找该存储标识对应的至少一个存储指标的采集值。

步骤S503，根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标。

本实施例中，可以确定与距离当前时间最近的两个采集点的采集值之间的差值是否超过一预设值，如果超过，则认为该存储指标的波动超过了预设值。并将所确定的波动超过了预设值的存储指标记录为所述负载指标对应的存储指标。每个负载指标对应的存储指标可以为一个也可以为多个，每个负载指标对应的存储指标可以作为所述负载指标对应存储指标集。

步骤S504，在经验库中查找所述负载指标对应的历史指标集，如果没找到，则执行步骤S507，将所述存储指标集中的存储指标作为调整指标，所述调整指标即为需要调整的存储指标，并将所述存储指标集作为所述负载指标的历史指标集存储在所述经验库中。如果找到，则执行步骤S505。

步骤S505，确定存储指标集中和所述历史指标集中是否有相同的存储指标，如果有，则执行步骤S506，则将所述相同的存储指标作为需要调整的存储指标，如果没有，则执行步骤S507，即不对该存储区域的存储指标做调整，将所述负载指标对应的存储指标集合并至所述历史指标集中。

步骤S508，对所述调整指标进行调整。

在对所述调整指标进行调整时，可先调整预设步长。这样在调整之后，如果管理节点还收到业务节点发送的负载指标，则继续调整，直到不再收到业务节点发送的负载指标。

在本发明实施例的另外一种实施方式中，可直接将步骤S503中所确定的采集值的波动超过预设值的存储指标作为调整指标。

如图6所示，为本发明实施例提供的业务节点的模块图。所述业务节点包括采集模块601、比较模块602、及确定模块603。所述采集模块601用于周期性的采集所述应用运行时的负载指标，采集的方式与步骤301中的采集方式相同，在此不再赘述。

所述比较模块602将所采集的负载指标值与为每个负载指标设置的负载阈值比较，在没有超出设定的负载阈值时,则等待下个采集周期，继续对负载指标进行采集。具体比较方式可参考步骤S302的描述。

所述确定模块603用于判断所采集的负载指标值是否满足设定的阈值策略，如果满足，则上报所述负载指标及该负载指标的采集值至管理节点11，如果不满足，则等待下个采集周期，由所述采集模块601继续对负载指标进行采集。具体的上报方式请参考步骤S303的描述。

如图7所示，为本发明实施例提供的管理节点的模块图。所述管理节点包括接收模块701、查找模块702、及调整模块703。所述接收模块701用于接收业务节点10发送的负载指标及存储标识，所述存储标识为所述存储设备中提供给所述业务节点使用的存储区域的标识，具体请参考步骤S501的描述。

所述查找模块702用于根据所述存储标识在所述原始采集数据库中查找该存储标识对应的至少一个存储指标的采集值，具体请参考步骤S502的描述。

所述调整模块703用于根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标，在经验库中查找所述负载指标对应的历史指标集，如果没找到，则将所述存储指标集中的存储指标作为调整指标，所述调整指标即为需要调整的存储指标，并将所述存储指标集作为所述负载指标的历史指标集存储在所述经验库中，确定所述存储指标集和所述历史指标集中是否有相同的存储指标，如果有，则将所述相同的存储指标作为需要调整的存储指标，如果没有，则不对该存储区域的存储指标做调整，将所述负载指标对应的存储指标集合并至所述历史指标集中。具体请参考步骤S501至S506的描述。

以上对本发明实施例所提供的数据备份装置及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种存储资源调整方法，应用于管理节点，所述管理节点连接于业务节点与存储设备之间，其特征在于，所述方法包括：

接收业务节点发送的负载指标，所述负载指标为所述业务节点采集的业务节点在运行应用时的性能参数，其中，所述负载指标超出阈值；

在原始采集数据库中查找所述业务节点所运行应用对应的存储区域的至少一个存储指标的采集值，所述原始采集数据库为所述存储设备周期性采集的存储设备中各存储区域的存储指标的值，所述存储指标为每个存储区域的性能参数；

对每个存储指标的采集值进行分析，确定需要调整的存储指标；

对所确定的需要调整的存储指标进行调整；

其中，所述对每个存储指标的采集值进行分析，确定需要调整的存储指标包括：根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标，将所确定的存储指标作为所述负载指标对应的存储指标集；

在经验库中查找所述负载指标对应的历史指标集，如果没找到，则不对该存储区域的存储指标做调整，并将所述存储指标集作为所述负载指标的历史指标集存储在所述经验库中；

其中，在经验库中查找到所述负载指标对应的历史指标集时，确定所述存储指标集中的存储指标和所述历史指标集中是否有相同的存储指标，如果有，则将所述相同的存储指标作为需要调整的存储指标，如果没有，则不对该存储区域的存储指标做调整，将所述负载指标对应的负载指标集合并至历史指标集。

2.一种管理节点，连接于业务节点与存储设备之间，包括：

接收模块，用于接收业务节点发送的负载指标，所述负载指标为所述业务节点采集的业务节点在运行应用时的性能参数，其中，所述负载指标超出阈值；

查找模块，用于在原始采集数据库中查找所述业务节点所运行应用对应的存储区域对应的至少一个存储指标的采集值，所述原始采集数据库为所述存储设备周期性采集的存储设备中各存储区域的存储指标的值，所述存储指标为每个存储区域的性能参数；

调整模块，用于对每个存储指标的采集值进行分析，确定需要调整的存储指标，对所确定的需要调整的存储指标进行调整；

其中，所述调整模块在对每个存储指标的采集值进行分析，确定需要调整的存储指标具体用于：根据每个存储指标对应的采集值确定一预设时间段内采集值的波动超过一预设值的存储指标，将所确定的存储指标作为所述负载指标对应的存储指标集；

在经验库中查找所述负载指标对应的历史指标集，如果没找到，则不对该存储区域的存储指标做调整，并将所述存储指标集作为所述负载指标的历史指标集存储在所述经验库中；

其中，在经验库中查找到所述负载指标对应的历史指标集时，所述调整模块确定所述存储指标集中和所述历史指标集中是否有相同的存储指标，如果有，则将所述相同的存储指标作为需要调整的存储指标，如果没有，则不对该存储区域的存储指标做调整，将所述负载指标对应的负载指标集合并至历史指标集。

Images