CN105072201B - 一种分布式存储***及其存储质量控制方法及装置 - Google Patents

Abstract

本发明实施例公开了一种分布式存储***及其存储质量控制方法及装置，该***利用指标监控服务器，对每个业务使用的各个存储单元及其所在的各个存储节点服务器进行指标监控，获得每个业务的指标值发送给存储质量控制服务器；存储质量控制服务器，根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；根据降级因素参数，对该业务使用的所述各个存储单元进行存储质量评分，根据评分进行存储单元切换。应用本发明实施例，能够实现存储单元的自动切换，并保证存储服务质量。

Description

一种分布式存储***及其存储质量控制方法及装置

技术领域

本发明涉及网络数据存储技术领域，特别是一种分布式存储***及其存储质量控制方法及装置。

背景技术

目前，网络数据存储通常采用分布式文件存储集群来实现。

例如：视频网站在各个视频生产环节进行时，会产生一些中间文件，这些文件一般都需要存储在分布式文件存储集群(下文简称为存储集群)中。由于各个环节都需要使用存储服务，因此存储服务的质量会直接或间接导致整个视频生产流水线的整体质量，一旦存储服务出现质量降级甚至不可用等情况，会直接或间接导致整个视频生产流水线的瘫痪。

目前，常见的分布式存储***都包括多个集群，每个集群包括多个集群节点服务器。通过虚拟化技术将集群内所有节点服务器的多台物理机的磁盘虚拟成一个巨大的存储池，从存储池中可以分配出多个存储单元。提供给一个业务使用的，通常是一个或多个存储单元，例如：为视频签名业务分配3个存储单元，为视频编码业务分配6个存储单元，为视频转码业务分配6个存储单元等等。

也就是说，视频生产过程中的各个业务环节是否通畅，取决于使用的存储单元是否健康也就是存储质量是否满足业务需求，如果使用的存储单元足够健康，那么就会为视频生产提供足够稳定且高质量的存储服务，从而可以保证视频生产保持高效且良性运转。

然而，单一的存储单元的健康往往难以保证，因为会受到诸如机房网络问题、机器网卡降级、机器磁盘容量及RAID卡质量、存储文件***本身软件问题等多种因素的影响，因此某个业务只使用一个存储单元往往是不可靠的。目前常见的做法是为某个业务分配多个存储单元提供服务，通过为每个存储单元分配合理的使用权重，在使用存储时根据权重选择存储单元，从而可以避免单一存储单元的风险。

此时面临的一个重要问题是，该如何决定使用哪个存储单元？

目前较常见的做法是，加强对存储单元的进行监控，获得监控数据。一旦监控数据发生异常时，存储单元就会产生相关的报警，那么就将产生报警的存储单元下线停用，启用为该业务分配的备用存储单元，继续提供服务。这种通过监控触发人为干预的做法的弊端显而易见，如果运维人员未能及时进行存储单元的切换，或者在手工切换时出现的纰漏，那么轻则会导致视频生产的堵塞，重则导致整个服务不可用的情况。

发明内容

本发明实施例的目的在于提供一种分布式存储***及其存储质量控制方法及装置，能够实现自动切换存储单元，并保证存储服务质量。

为达到上述目的，第一方面，本发明公开了一种分布式存储***，包括多个分布式存储集群；每个分布式存储集群包括多个存储节点服务器；每个存储节点服务器包括多个存储单元；还包括：至少一个指标监控服务器和至少一个存储质量控制服务器；

所述的每个指标监控服务器，与多个集群中的多个存储节点服务器相连，用于针对每个业务，对该每个业务使用的各个存储单元及其所在的各个存储节点服务器进行指标监控，获得每个业务的指标值；

所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

将获得的每个业务的指标值，按预设的时间周期发送给存储质量控制服务器；

所述的存储质量控制服务器，与多个集群中的多个存储节点服务器相连，用于接收所述指标监控服务器按预设的时间周期发送的每个业务的指标值；

根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

其中，当***中设置有多个存储质量控制服务器时，各个存储质量控制服务器之间可以相互连接。

第二方面，本发明公开了一种分布式存储***的存储质量控制方法，应用于第一方面所述***中的存储质量控制服务器，包括：

接收指标监控服务器按预设的时间周期发送的每个业务的指标值；所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

本发明公开的存储质量控制方法中，所述降级因素参数的格式可以为<类型，参数调整值>；其中，类型为存储集群类型或存储单元类型；

具体地，所述根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数，可以包括：

查找预设的降级因素参数列表，所述降级因素参数列表中包含存储集群指标调整条件及对应的参数调整值，和存储单元指标调整条件及对应的参数调整值；

判断接收的每个业务的存储节点指标值，是否满足降级因素参数列表中的任一存储集群指标调整条件；若是，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：该存储集群指标调整条件对应的参数调整值；若否，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：null；

判断接收的每个业务的存储单元指标值，是否满足降级因素参数列表中的任一存储单元指标调整条件；若是，则该存储单元的降级因素参数的：类型为：存储单元类型，参数调整值为：该存储单元指标调整条件对应的参数调整值；若否，则该存储单元的降级因素参数类型为：存储单元类型，参数调整值为：null。

本发明公开的存储质量控制方法中，可以预先设置一个存储质量最高分；

具体地，所述根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分，包括：

先判断该业务的集群降级因素参数中，是否有参数调整值为非null的集群降级因素参数；如果有，则该业务使用的属于该集群的每个存储单元的存储质量评分值为：存储质量最高分与集群降级因素参数中的参数调整值的差值；

再判断该业务使用的各个存储单元未被评分的降级因素参数中，是否有参数调整值为非null的存储单元降级因素参数；如果有，则该存储单元的存储质量评分值为：存储质量最高分与该存储单元降级因素参数中的参数调整值的差值；参数调整值为null的存储单元的存储质量评分值为所述存储质量最高分。

本发明公开的存储质量控制方法中，具体地，所述根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元，可以包括：将该业务使用的存储质量评分值不为0和不为所述存储质量最高分的存储单元，确定为待调整权重的存储单元；将该业务使用的存储质量评分值为0的存储单元确定为待切换新增数据的存储单元；

所述生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议，可以包括：计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议可以包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元；

根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元，可以包括：将待调整权重的存储单元的目标权重发送给待调整权重的存储单元，使得该存储单元，将权重调整至目标权重，和/或向待切换新增数据的存储单元及其目标存储单元发送切换指令，使得待切换新增数据的存储单元停止接收新增数据，目标存储单元开始接收新增数据。

本发明公开的存储质量控制方法中，所述存储质量最高分可以设置为100；

按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重，可以按如下公式计算获得的目标权重：

目标权重＝当前权重-评分值差值/100×当前权重。

本发明公开的存储质量控制方法中，所述目标存储单元可以按如下方式确定：

在为该业务配置的多个备用存储单元中，选择存储评分值最高的备用存储单元作为目标存储单元；

若为该业务配置的多个备用存储单元均已被占用，则为该业务分配新的存储单元，作为目标存储单元。

第三方面，本发明公开了一种分布式存储***的存储质量控制装置，应用于第一方面所述***中的存储质量控制服务器，包括：

接收模块，用于接收指标监控服务器按预设的时间周期发送的每个业务的指标值；所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

降级因素参数确定模块，用于根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

存储质量评分模块，用于根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

执行模块，用于根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

本发明公开的存储质量控制装置中，所述降级因素参数确定模块中确定的降级因素参数的格式可以为<类型，参数调整值>；其中，类型为存储集群类型或存储单元类型；

具体地，所述降级因素参数确定模块，可以包括：

查找子模块，用于查找预设的降级因素参数列表，所述降级因素参数列表中包含存储集群指标调整条件及对应的参数调整值，和存储单元指标调整条件及对应的参数调整值；

第一降级因素参数确定子模块，用于判断接收的每个业务的存储节点指标值，是否满足降级因素参数列表中的任一存储集群指标调整条件；若是，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：该存储集群指标调整条件对应的参数调整值；若否，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：null；

第二降级因素参数确定子模块，用于判断接收的每个业务的存储单元指标值，是否满足降级因素参数列表中的任一存储单元指标调整条件；若是，则该存储单元的降级因素参数的：类型为：存储单元类型，参数调整值为：该存储单元指标调整条件对应的参数调整值；若否，则该存储单元的降级因素参数类型为：存储单元类型，参数调整值为：null。

本发明公开的存储质量控制方法中，可以预先设置一个存储质量最高分；

具体地，所述存储质量评分模块，可以包括：

第一评分子模块，用于先判断该业务的集群降级因素参数中，是否有参数调整值为非null的集群降级因素参数；如果有，则该业务使用的属于该集群的每个存储单元的存储质量评分值为：存储质量最高分与集群降级因素参数中的参数调整值的差值；

第二评分子模块，用于再判断该业务使用的各个存储单元未被评分的降级因素参数中，是否有参数调整值为非null的存储单元降级因素参数；如果有，则该存储单元的存储质量评分值为：存储质量最高分与该存储单元降级因素参数中的参数调整值的差值；参数调整值为null的存储单元的存储质量评分值为所述存储质量最高分。

本发明公开的存储质量控制方法中，具体地，所述执行模块，可以包括：

选择子模块，用于将该业务使用的存储质量评分值不为0和不为所述存储质量最高分的存储单元，确定为待调整权重的存储单元；将该业务使用的存储质量评分值为0的存储单元确定为待切换新增数据的存储单元；

调整子模块，用于计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元；

发送子模块，用于将待调整权重的存储单元的目标权重发送给待调整权重的存储单元，使得该存储单元，将权重调整至目标权重，和/或向待切换新增数据的存储单元及其目标存储单元发送切换指令，使得待切换新增数据的存储单元停止接收新增数据，目标存储单元开始接收新增数据。

本发明公开的存储质量控制方法中，所述存储质量最高分可以设置为100；

所述调整子模块，具体用于：

计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按如下公式计算获得的目标权重：目标权重＝当前权重-评分值差值/100×当前权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元。

本发明公开的存储质量控制方法中，还可以包括目标存储单元确定模块，所述目标存储单元确定模块可以包括：

选择备用单元子模块，用于在为该业务配置的多个备用存储单元中，选择存储评分值最高的备用存储单元作为目标存储单元；

分配新单元子模块，用于若为该业务配置的多个备用存储单元均已被占用，则为该业务分配新的存储单元，作为目标存储单元。

由上述的技术方案可见，本发明实施例提出的分布式存储***及其存储质量控制方法及装置，利用指标监控服务器，对每个业务使用的各个存储单元及其所在的各个存储节点服务器进行指标监控，获得每个业务的指标值发送给存储质量控制服务器；存储质量控制服务器，根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；根据降级因素参数，对该业务使用的所述各个存储单元进行存储质量评分，根据评分进行存储单元切换。相比于目前的手工选择存储单元，一方面实现了存储单元的自动切换，规避了人为选择潜在的误操作风险，另一方面，根据评分进行存储单元切换，能够保证存储单元的服务质量，避免业务堵塞的情况发生。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的分布式存储***的结构示意图；

图2是本发明实施例的存储质量控制方法的流程示意图；

图3是本发明实施例的存储质量控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出的分布式存储***及其存储质量控制方法及装置，能够实现自动选择存储单元，并保证存储服务质量。

如图1所示，本发明实施例公开了一种分布式存储***，包括多个分布式存储集群；每个分布式存储集群包括多个存储节点服务器；每个存储节点服务器包括多个存储单元(图中未示出)；还包括：至少一个指标监控服务器和至少一个存储质量控制服务器。

图1中指标监控服务器和存储质量控制服务器，各为两个，根据实际情况，可以有更多。当***中设置有多个存储质量控制服务器时，各个存储质量控制服务器之间相互连接。同一地域可以使用同一个指标监控服务器和同一个存储质量控制服务器，不同地域间存储质量控制服务器之间可以相互连接，以实现业务数据在不同地域间切换。

所述的每个指标监控服务器，与多个集群中的多个存储节点服务器相连，用于针对每个业务，对该每个业务使用的各个存储单元及其所在的各个存储节点服务器进行指标监控，获得每个业务的指标值；所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

将获得的每个业务的指标值，按预设的时间周期发送给存储质量控制服务器；

所述的存储质量控制服务器，与多个集群中的多个存储节点服务器相连，用于接收所述指标监控服务器按预设的时间周期发送的每个业务的指标值；

根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

如图2所示，本发明实施例公开了一种分布式存储***的存储质量控制方法，应用于图1所示***中的存储质量控制服务器，包括：

步骤201，接收指标监控服务器按预设的时间周期发送的每个业务的指标值。

例如，在视频生产流程中，视频签名，视频反显，视频编转码，截图，安检审核等，每个过程可以为一个业务。

所述每个业务的指标值，可以包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，比如：存储单元读写速度，存储单元使用量，存储单元读写锁保持时间，存储单元读写延迟，存储单元读写负载等；和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值，比如：存储集群节点磁盘使用量，存储集群节点网络性能，存储集群节点机器磁盘读写速度，存储集群节点机器磁盘RAID是否正常，存储集群节点机器磁盘incode数目消耗，存储集群节点机器CPU负载等。

步骤202，根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

在本实施例中，降级因素参数的格式为<类型，参数调整值>；类型为存储集群类型cluster或存储单元类型unit。如：由存储集群节点磁盘使用量，存储集群节点网络性能，存储集群节点机器磁盘读写速度，存储集群节点机器磁盘RAID是否正常，存储集群节点机器磁盘incode数目消耗，存储集群节点机器CPU负载等指标值产生的降级因素参数为存储集群类型的降级因素参数。再如：由存储单元读写速度，存储单元使用量，存储单元读写锁保持时间，存储单元读写延迟，存储单元读写负载等指标值产生的降级因素参数为存储单元类型的降级因素参数。

具体步骤为，查找预设的降级因素参数列表，所述降级因素参数列表中包含存储集群指标调整条件及对应的参数调整值，和存储单元指标调整条件及对应的参数调整值；

判断接收的每个业务的存储节点指标值，是否满足降级因素参数列表中的任一存储集群指标调整条件；若是，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：该存储集群指标调整条件对应的参数调整值；若否，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：null；

判断接收的每个业务的存储单元指标值，是否满足降级因素参数列表中的任一存储单元指标调整条件；若是，则该存储单元的降级因素参数的：类型为：存储单元类型，参数调整值为：该存储单元指标调整条件对应的参数调整值；若否，则该存储单元的降级因素参数类型为：存储单元类型，参数调整值为：null。

步骤203，根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

具体地，预先设置一个存储质量最高分；

先判断该业务的集群降级因素参数中，是否有参数调整值为非null的集群降级因素参数；如果有，则该业务使用的属于该集群的每个存储单元的存储质量评分值为：存储质量最高分与集群降级因素参数中的参数调整值的差值；

再判断该业务使用的各个存储单元未被评分的降级因素参数中，是否有参数调整值为非null的存储单元降级因素参数；如果有，则该存储单元的存储质量评分值为：存储质量最高分与该存储单元降级因素参数中的参数调整值的差值；参数调整值为null的存储单元的存储质量评分值为所述存储质量最高分。

假设存储单元的最高分数为100。

例如，如果降级因素参数为<cluster,-30>，其代表了一个集群类型的降级因素，需要将集群中的每个存储单元的分数都降低30分。如果降级因素参数为<cluster,null>,集群中的每个存储单元的分数不变。

又例如，如果降级因素参数为：<unit,-30>，代表了一个存储单元类型的降级因素，需要将该存储单元的分数降低30。降级因素参数为<unit,null>,该存储单元的分数不变。

不同的可以指标对应不同的预设评分算法，例如：

(1)：存储单元使用量指标：

当存储单元的读写速度不低于Threshold1时，降级因素为存储单元类型，降级因素参数为<unit,null>,评分为100分；

当存储单元的读写速度低于Threshold1，但是不低于Threshold2时，降级因素为存储单元类型，降级因素参数为<unit,-40>,分数减少40，评分为60分；

当存储单元的读写速度低于Threshold2，但是不低于Threshold3时，降级因素为存储单元类型，降级因素参数为<unit,-40>,分数减少40，评分为20分；

当存储单元的读写速度低于Threshold3时，降级因素为存储单元类型，降级因素参数为<unit,-40>,分数减少40，评分为0(低于0分的设置为0分)。

(2)：存储集群节点磁盘使用量指标：

假设存储集群节点磁盘使用量指标值无法容忍的使用量Threshold为t1，

当集群有两个或两个以上机器的磁盘使用量高于t1时，产生存储集群类型的降级因素，该集群所有存储单元评分为0。

具体步骤：

例1，存储单元v1,所在存储集群c1,如果存储单元v1的读写速度状况下滑，引起了降级因素参数为<unit,-30>,而集群c1有两台机器的网络状态下滑，产生了一个降级因素参数为<cluster,-100>,这两个降级因素都会加入到存储单元v1的降级事件列表中。

先判断该业务的集群降级因素参数，此例中有参数调整值为非null的集群降级因素参数<cluster,-100>，将存储单元v1的分数扣掉100，那么也就是评分为0，其他降级因素已经不需要再处理，因为存储单元已经评分为0了，不可能有更低的分数了。

例2，存储单元v1的降级事件列表中有两个降级因素，<unit,-30>和<unit,-20>,这两个都是unit类型的降级因素。

先判断该业务的集群降级因素参数，此例中没有参数调整值为非null的集群降级因素参数，再判断该业务使用的各个存储单元未被评分的降级因素参数中，此例中有参数调整值为非null的存储单元降级因素参数，<unit,-30>和<unit,-20>，那么评分的方法是两个值相加，即变成<unit,-50>，即将该存储单元的分数扣掉50，如果评分数据库中该存储单元上一周期的健康分数为100，那么当前周期的分数即为100-50＝50。

例3，存储单元v1,所在存储集群c1,如果存储单元v1的读写速度状况下滑，引起了降级因素<unit,-30>,而集群c1有两台机器的网络状态下滑，产生了一个降级因素<cluster,-20>,这两个降级因素都会加入到存储单元v1的降级事件列表中。

先判断该业务的集群降级因素参数，此例中有参数调整值为非null的集群降级因素参数<cluster,-20>，将存储单元v1的分数扣掉20。

再判断该业务使用的各个存储单元未被评分的降级因素参数，此例中有参数调整值为非null的存储单元降级因素参数<unit,-30>，将存储单元v1的分数扣掉30。

如果评分数据库中该存储单元上一周期的健康分数为100，那么当前周期的分数即为100-20-30＝50。

步骤204，根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

具体步骤可以为：

所述存储质量最高分设置为100；

将该业务使用的存储质量评分值不为0和不为100的存储单元，确定为待调整权重的存储单元；将该业务使用的存储质量评分值为0的存储单元确定为待切换新增数据的存储单元；

计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；

按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重，按如下公式计算获得的目标权重：

目标权重＝当前权重-评分值差值/100×当前权重；

将待调整权重的存储单元的目标权重发送给待调整权重的存储单元，使得该存储单元，将权重调整至目标权重；向待切换新增数据的存储单元及其目标存储单元发送切换指令，使得待切换新增数据的存储单元停止接收新增数据，目标存储单元开始接收新增数据。

具体地，例如:

业务A，目前使用了三个存储单元，分别为Cluster1:Unit1,Cluster2:Unit2,Cluster3:Unit3,即集群1上的单元1，集群2上的单元2，集群3上的单元3。当前的使用的权重比例为0.4,0.4,0.2。

表1

如表1所示，评分结束后，发现Cluster1中的Unit1的分数降低了20，即降低了(100-80)/100＝20％，那么权重也应该下调20％，即0.4*20％＝0.08，下调之后的权重为0.4–0.08＝0.32，即unit1的最新权重应该是0.32，此时会产生一个切换建议<cluster1,unit1,0.32>,将cluster1的unit1的权重调整为0.32。

Cluster2中的Unit2的分数值都为100分，不是待调整权重的存储单元，权重不变。

Cluster3集群的Unit3单元，可能是碰到一个集群降级因素，导致当前周期的分数评价为0，那么使用权重即变更为0。此时需要在备用的存储单元中选择一个来替代Unit3：

在为该业务配置的多个备用存储单元中，选择存储评分值最高的备用存储单元作为目标存储单元；

若为该业务配置的多个备用存储单元均已被占用，则为该业务分配新的存储单元，作为目标存储单元。

如图3所示，本发明实施例公开了一种分布式存储***的存储质量控制装置，应用于图1所示***中的存储质量控制服务器，包括：

接收模块301，用于接收指标监控服务器按预设的时间周期发送的每个业务的指标值；所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

降级因素参数确定模块302，用于根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

存储质量评分模块303，用于根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

执行模块304，用于根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

在本实施例中，降级因素参数确定模块302中确定的降级因素参数的格式为<类型，参数调整值>；其中，类型为存储集群类型或存储单元类型；

降级因素参数确定模块302，包括：查找子模块、第一降级因素参数确定子模块和第二降级因素参数确定子模块(图中未示出)，其中，

查找子模块，用于查找预设的降级因素参数列表，所述降级因素参数列表中包含存储集群指标调整条件及对应的参数调整值，和存储单元指标调整条件及对应的参数调整值；

第一降级因素参数确定子模块，用于判断接收的每个业务的存储节点指标值，是否满足降级因素参数列表中的任一存储集群指标调整条件；若是，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：该存储集群指标调整条件对应的参数调整值；若否，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：null；

第二降级因素参数确定子模块，用于判断接收的每个业务的存储单元指标值，是否满足降级因素参数列表中的任一存储单元指标调整条件；若是，则该存储单元的降级因素参数的：类型为：存储单元类型，参数调整值为：该存储单元指标调整条件对应的参数调整值；若否，则该存储单元的降级因素参数类型为：存储单元类型，参数调整值为：null。

本实施例中，预先设置一个存储质量最高分；

存储质量评分模块303，包括：第一评分子模块和第二评分子模块(图中未示出)，其中，

第一评分子模块，用于先判断该业务的集群降级因素参数中，是否有参数调整值为非null的集群降级因素参数；如果有，则该业务使用的属于该集群的每个存储单元的存储质量评分值为：存储质量最高分与集群降级因素参数中的参数调整值的差值；

第二评分子模块，用于再判断该业务使用的各个存储单元未被评分的降级因素参数中，是否有参数调整值为非null的存储单元降级因素参数；如果有，则该存储单元的存储质量评分值为：存储质量最高分与该存储单元降级因素参数中的参数调整值的差值；参数调整值为null的存储单元的存储质量评分值为所述存储质量最高分。

本实施例中，执行模块304，包括：选择子模块、调整子模块和发送子模块(图中未示出)，其中，

选择子模块，用于将该业务使用的存储质量评分值不为0和不为所述存储质量最高分的存储单元，确定为待调整权重的存储单元；将该业务使用的存储质量评分值为0的存储单元确定为待切换新增数据的存储单元；

调整子模块，用于计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元；

发送子模块，用于将待调整权重的存储单元的目标权重发送给待调整权重的存储单元，使得该存储单元，将权重调整至目标权重，和/或向待切换新增数据的存储单元及其目标存储单元发送切换指令，使得待切换新增数据的存储单元停止接收新增数据，目标存储单元开始接收新增数据。

本实施例中，存储质量最高分设置为100；

所述调整子模块，具体用于：

计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按如下公式计算获得的目标权重：目标权重＝当前权重-评分值差值/100×当前权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元。

本实施例还包括目标存储单元确定模块，所述目标存储单元确定模块包括：选择备用单元子模块和分配新单元子模块(图中未示出)，其中，

选择备用单元子模块，用于在为该业务配置的多个备用存储单元中，选择存储评分值最高的备用存储单元作为目标存储单元；

分配新单元子模块，用于若为该业务配置的多个备用存储单元均已被占用，则为该业务分配新的存储单元，作为目标存储单元。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种分布式存储***，包括多个分布式存储集群；每个分布式存储集群包括多个存储节点服务器；每个存储节点服务器包括多个存储单元；其特征在于，还包括：至少一个指标监控服务器和至少一个存储质量控制服务器；

所述的每个指标监控服务器，与多个集群中的多个存储节点服务器相连，用于针对每个业务，对该每个业务使用的各个存储单元及其所在的各个存储节点服务器进行指标监控，获得每个业务的指标值；

所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

将获得的每个业务的指标值，按预设的时间周期发送给存储质量控制服务器；

所述的存储质量控制服务器，与多个集群中的多个存储节点服务器相连，用于接收所述指标监控服务器按预设的时间周期发送的每个业务的指标值；

根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

2.根据权利要求1所述的分布式存储***，其特征在于：当***中设置有多个存储质量控制服务器时，各个存储质量控制服务器之间相互连接。

3.一种分布式存储***的存储质量控制方法，其特征在于，应用于权利要求1所述***中的存储质量控制服务器，包括：

接收指标监控服务器按预设的时间周期发送的每个业务的指标值；所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

4.根据权利要求3所述的方法，其特征在于：所述降级因素参数的格式为<类型，参数调整值>；其中，类型为存储集群类型或存储单元类型；

所述根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数，包括：

查找预设的降级因素参数列表，所述降级因素参数列表中包含存储集群指标调整条件及对应的参数调整值，和存储单元指标调整条件及对应的参数调整值；

判断接收的每个业务的存储节点指标值，是否满足降级因素参数列表中的任一存储集群指标调整条件；若是，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：该存储集群指标调整条件对应的参数调整值；若否，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：nul l；

判断接收的每个业务的存储单元指标值，是否满足降级因素参数列表中的任一存储单元指标调整条件；若是，则该存储单元的降级因素参数的类型为：存储单元类型，参数调整值为：该存储单元指标调整条件对应的参数调整值；若否，则该存储单元的降级因素参数类型为：存储单元类型，参数调整值为：null。

5.根据权利要求4所述的方法，其特征在于，预先设置一个存储质量最高分；

所述根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分，包括：

先判断该业务的集群降级因素参数中，是否有参数调整值为非null的集群降级因素参数；如果有，则该业务使用的属于该集群的每个存储单元的初始存储质量评分值为：存储质量最高分与集群降级因素参数中的参数调整值的差值；如果没有，则该业务使用的属于该集群的每个存储单元的初始存储质量评分值为：所述存储质量最高分；

再判断该业务使用的各个存储单元未被评分的降级因素参数中，是否有参数调整值为非null的存储单元降级因素参数；如果有，则该存储单元的存储质量评分值为：该存储单元的初始存储质量评分值与该存储单元降级因素参数中的参数调整值的差值；如果没有，则该存储单元的存储质量评分值为：所述初始存储质量评分值。

6.根据权利要求5所述的方法，其特征在于，所述根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元，包括：

将该业务使用的存储质量评分值不为0和不为所述存储质量最高分的存储单元，确定为待调整权重的存储单元；将该业务使用的存储质量评分值为0的存储单元确定为待切换新增数据的存储单元；

所述生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议，包括：计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元；

根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元，包括：将待调整权重的存储单元的目标权重发送给待调整权重的存储单元，使得该存储单元，将权重调整至目标权重，和/或向待切换新增数据的存储单元及其目标存储单元发送切换指令，使得待切换新增数据的存储单元停止接收新增数据，目标存储单元开始接收新增数据。

7.根据权利要求6所述的方法，其特征在于，所述存储质量最高分设置为100；

按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重，为：按如下公式计算获得的目标权重：

目标权重＝当前权重-评分值差值/100×当前权重。

8.根据权利要求6所述的方法，其特征在于：所述目标存储单元按如下方式确定：

在为该业务配置的多个备用存储单元中，选择存储评分值最高的备用存储单元作为目标存储单元；

若为该业务配置的多个备用存储单元均已被占用，则为该业务分配新的存储单元，作为目标存储单元。

9.一种分布式存储***的存储质量控制装置，其特征在于，应用于权利要求1所述***中的存储质量控制服务器，包括：

接收模块，用于接收指标监控服务器按预设的时间周期发送的每个业务的指标值；所述每个业务的指标值，包括：用于标识该业务使用的各个存储单元当前工作状态的存储单元指标值，和用于标识该业务使用的各个存储单元所在的各个存储节点服务器当前工作状态的存储节点指标值；

降级因素参数确定模块，用于根据接收的每个业务的指标值中，每个业务的各个存储节点指标值和各个存储单元指标值，分别确定每个业务的各个存储节点服务器所在的集群的降级因素参数和各个存储单元的降级因素参数；

存储质量评分模块，用于根据每个业务的各个集群降级因素参数和各个存储单元降级因素参数，按照预设的评分算法，对该业务使用的所述各个存储单元进行存储质量评分；

执行模块，用于根据每个业务使用的各个存储单元当前周期的存储质量评分值，确定每个业务的待调整权重的存储单元，和/或待切换新增数据的存储单元；并生成针对待调整权重的存储单元，和/或待切换新增数据的存储单元的切换建议；根据所述切换建议，控制待调整权重的存储单元调整接收该业务新增数据的权重和/或将该业务的新增数据切换至为该业务配置的备用存储单元。

10.根据权利要求9所述的装置，其特征在于：所述降级因素参数确定模块中确定的降级因素参数的格式为<类型，参数调整值>；其中，类型为存储集群类型或存储单元类型；

所述降级因素参数确定模块，包括：

查找子模块，用于查找预设的降级因素参数列表，所述降级因素参数列表中包含存储集群指标调整条件及对应的参数调整值，和存储单元指标调整条件及对应的参数调整值；

第一降级因素参数确定子模块，用于判断接收的每个业务的存储节点指标值，是否满足降级因素参数列表中的任一存储集群指标调整条件；若是，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：该存储集群指标调整条件对应的参数调整值；若否，则该存储节点服务器所在的集群的降级因素参数的类型为：存储集群类型，参数调整值为：null；

第二降级因素参数确定子模块，用于判断接收的每个业务的存储单元指标值，是否满足降级因素参数列表中的任一存储单元指标调整条件；若是，则该存储单元的降级因素参数的类型为：存储单元类型，参数调整值为：该存储单元指标调整条件对应的参数调整值；若否，则该存储单元的降级因素参数类型为：存储单元类型，参数调整值为：null。

11.根据权利要求10所述的装置，其特征在于，预先设置一个存储质量最高分；

所述存储质量评分模块，包括：

第一评分子模块，用于先判断该业务的集群降级因素参数中，是否有参数调整值为非null的集群降级因素参数；如果有，则该业务使用的属于该集群的每个存储单元的初始存储质量评分值为：存储质量最高分与集群降级因素参数中的参数调整值的差值；如果没有，则该业务使用的属于该集群的每个存储单元的初始存储质量评分值为：所述存储质量最高分；

第二评分子模块，用于再判断该业务使用的各个存储单元未被评分的降级因素参数中，是否有参数调整值为非null的存储单元降级因素参数；如果有，则该存储单元的存储质量评分值为：该存储单元的初始存储质量评分值与该存储单元降级因素参数中的参数调整值的差值；如果没有，则该存储单元的存储质量评分值为：所述初始存储质量评分值。

12.根据权利要求11所述的装置，其特征在于，所述执行模块，包括：

选择子模块，用于将该业务使用的存储质量评分值不为0和不为所述存储质量最高分的存储单元，确定为待调整权重的存储单元；将该业务使用的存储质量评分值为0的存储单元确定为待切换新增数据的存储单元；

调整子模块，用于计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按照预设的评分值差值与调整权重的对应关系，确定待调整权重的存储单元的目标权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元；

发送子模块，用于将待调整权重的存储单元的目标权重发送给待调整权重的存储单元，使得该存储单元，将权重调整至目标权重，和/或向待切换新增数据的存储单元及其目标存储单元发送切换指令，使得待切换新增数据的存储单元停止接收新增数据，目标存储单元开始接收新增数据。

13.根据权利要求12所述的装置，其特征在于，所述存储质量最高分设置为100；

所述调整子模块，具体用于：

计算各个待调整权重的存储单元当前周期的存储质量评分值与上一周期的存储质量评分值的差值；按如下公式计算获得的目标权重：目标权重＝当前权重-评分值差值/100×当前权重；将待切换新增数据的存储单元的目标权重设置为0，所述切换建议包括：所述待调整权重的存储单元及其目标权重，和/或待切换新增数据的存储单元及其目标存储单元；所述目标存储单元是为该业务配置的备用存储单元。

14.根据权利要求12所述的装置，其特征在于：还包括目标存储单元确定模块，所述目标存储单元确定模块包括：

选择备用单元子模块，用于在为该业务配置的多个备用存储单元中，选择存储评分值最高的备用存储单元作为目标存储单元；

分配新单元子模块，用于若为该业务配置的多个备用存储单元均已被占用，则为该业务分配新的存储单元，作为目标存储单元。