CN113364878A - 数据调度方法及其装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种数据调度方法，涉及云计算技术领域，尤其涉及分布式存储技术领域。具体实现方案为：根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值；根据上述期望流量分布值与上述多个存储装置在当前时段的实际流量分布值，计算集群偏差度；将上述集群偏差度与预定偏差阈值进行比较；以及在上述集群偏差度大于上述预定偏差阈值的情况下，调度上述多个存储装置在当前时段的实际流量分布，以使上述集群偏差度小于等于上述预定偏差阈值。本公开还提供了一种数据调度装置、一种电子设备、一种存储有计算机指令的存储介质、一种计算机程序产品。

Description

数据调度方法及其装置、电子设备以及存储介质

技术领域

本公开涉及云计算领域，进一步涉及分布式存储技术领域。具体涉及一种数据调度方法、一种数据调度装置、一种电子设备、一种存储有计算机指令的非瞬时计算机可读存储介质和一种计算机程序产品。

背景技术

全托管存储服务是指用户将数据存放在由第三方托管的存储集群上，而非用户自己维护的私有服务集群。全托管存储服务具有接入灵活、数据容灾能力强及业务伸缩方便等优势。

发明内容

本公开提供了一种数据调度方法、装置、设备、存储介质及计算程序产品。

根据第一方面，提供了一种数据调度方法，包括：根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值；根据上述期望流量分布值与上述多个存储装置在当前时段的实际流量分布值，计算集群偏差度；将上述集群偏差度与预定偏差阈值进行比较；以及在上述集群偏差度大于上述预定偏差阈值的情况下，调度上述多个存储装置在当前时段的实际流量分布，以使上述集群偏差度小于等于上述预定偏差阈值。

根据第二方面，提供了一种数据调度装置，包括：预测模块，用于根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值；计算模块，用于根据上述期望流量分布值与上述多个存储装置在当前时段的实际流量分布值，计算集群偏差度；比较模块，用于将上述集群偏差度与预定偏差阈值进行比较；以及调度模块，用于在上述集群偏差度大于上述预定偏差阈值的情况下，调度上述多个存储装置在当前时段的实际流量分布，以使上述集群偏差度小于等于上述预定偏差阈值。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开实施例提供的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开实施例提供的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开实施例提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的一个实施例的可以应用数据调度方法或装置的示例性***架构示意图；

图2是根据本公开一个实施例的数据调度方法的流程图；

图3是根据本公开另一个实施例的数据调度方法的流程图；

图4是根据本公开另一个实施例的数据调度方法的流程图；

图5A是根据本公开一个实施例的数据调度方法的各存储装置调度前的示意图；

图5B是根据本公开一个实施例的数据调度方法的各存储装置调度后的示意图；

图6是本公开一个实施例的数据调度装置的框图；

图7是根据本公开的一个实施例的数据调度方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在大量业务接入存储集群后，业务的日常流量、高峰期的尖峰流量、跨集群备份流量、集群自身的故障节点恢复所需流量、以及集群负载均衡引起的调度流量会导致复杂的流量管理问题。

目前解决全托管存储服务中的数据分配和流量管理的方法有以下方式。

可以按集群类型安排相应的调度策略。例如按业务模式进行分类，按各分类的业务特点将集群进行拆分，比如拆分为低吞吐高存储型集群、高吞吐型集群等。这类方法是在小规模集群和各类定制化集群中常用的方法。这种方法主要面对业务场景固定的情况。但实际使用中业务使用场景往往会发生变更，比如刚上线时业务是低吞吐场景、但随着业务用户量上升，会转变为高吞吐场景；同样也有业务会随着产品线调整，由高吞吐场景变为低吞吐场景。当业务流量发生变更时，使用原集群调度策略会带来稳定性问题或出现资源浪费情况。

可以预留存储资源。例如，在基于私有云的全托管存储服务场景中，可以记录集群峰值流量，按比例预留冗余资源，应对峰值情况。或者，在基于公有云的全托管存储服务场景中，按存储引擎能力，将存储资源归一化为容量单位(CU)，比如1CU＝1GB存储，每秒一次不大于4KB的写请求和每秒2次不大于4KB的读请求，以CU为基本单位为业务预留资源。但是上述方案只注重解决资源短板引起的稳定性问题，并未考虑到由于集群对存储资源的使用并不均匀。因此上述方案不但会导致集群存在大量资源碎片，而且还会导致集群内硬件寿命出现严重偏差，比如承接高频读写的节点的磁盘磨损度远大于承接大量冷数据存储的节点的磁盘磨损度，进而影响集群整体稳定。

图1是根据本公开的一个实施例的可以应用数据调度方法或装置的示例性***架构示意图。

如图1所示，该应用数据调度方法或装置的示例性***架构100包括调度任务管理模块101、集群控制模块102、元数据管理模块103以及多个存储装置(存储装置1 104～存储装置N 106)形成的存储集群。

调度任务管理模块101按集群负载情况触发对数据和存储装置之间绑定关系的调整，并追踪调整任务的执行状况，确保调整任务最终完成。

集群控制模块102负责管理整个存储集群的存储装置，当单个存储装置发生故障时，该集群控制模块102会迁移故障节点，以及加入无故障的存储装置。同时该集群控制模块还负责响应调度任务管理模块101调整数据和存储装置之间的路由关系的请求。

元数据管理模块103记录了全局数据分布，例如业务数据和存储装置之间的路由关系。元数据管理模块103可以不自主修改数据分布，而是由集群控制模块主动或被动响应外界变化，在元数据管理模块103中调整业务数据和存储装置之间的路由关系。

存储装置1 104、存储装置2 105、......、存储装置N 106组成了存储集群，用于存储数据。其中，N＞2，N为正整数。在以上示例中，N等于6。

图2是根据本公开一个实施例的数据调度方法的流程图。

如图2所示，该数据调度方法200可以包括操作S210～操作S240。

在操作S210，根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值。

根据本公开实施例，上述流量分布预测值包括预测的每个存储装置的写入数据量、读取数据量和存储空间使用量。

例如，每个存储装置的流量分布预测值可以以三元组(r，w，s)的形式的表示，其中r为预测的该存储装置的写入数据量，w为预测的该存储装置的读取数据量，s为预测的该存储装置的存储空间使用量

在一个示例中，例如可以使用时序预测工具Prophet得到上述目标数据在预测时段的流量分布预测值。

例如，可以将一定的时间戳序列ds和实际的流量分布数据集作为Prophet的输入。例如，可以收集一个存储集群300天的实际流量分布数据，每天对应一个时间戳，依次排列可以得到一个时间戳序列；每天的实际流量分布数据与一个时间戳对应，形成流量分布数据集。将时间戳序列及其对应的流量分布数据集作为Prophet的输入，可以预测出预测时段的流量分布预测值。本领域技术人员可以理解，可以使用其他时序预测方法来得到预测时段的流量分布预测值，此处不再赘述。

根据本公开实施例，可以使用动态规划方法，根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值。

根据本公开实施例，上述期望流量分布值包括每个存储装置在预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量。

例如，每个存储装置的流量分布预测值以三元组(r，w，s)的形式的表示，将流量分布预测值作为动态规划方法的输入，可以得到以三元组形式表示的预测时段期间上述目标数据在集群中包括的每个存储装置之间的期望流量分布值(E(r)，E(w)，E(s))，其中E(r)为一个存储装置在预测时段的期望写入数据量、E(w)为一个存储装置在预测时段的期望读取数据量，E(s)为一个存储装置在预测时段的期望存储空间使用量。

在操作S220，根据上述期望流量分布值与上述多个存储装置在当前时段的实际流量分布值，计算集群偏差度。

根据本公开实施例，可以将期望流量分布值与实际流量分布值的偏差度作为集群偏差度。

例如，可以计算期望写入数据量E(r)与实际写入数据量r_real的偏差度，可以计算期望读取数据量E(w)与实际读取数据量w_real的偏差度，可以计算期望存储空间写入量E(s)与实际存储空间写入量s_real的偏差度，上述偏差度可以为方差、差值、偏差、标准差等。可以对多个偏差度进行进一步运算，例如求和、取平均数、取最大值等，作为集群偏差度。

根据本公开实施例，可以周期性地计算集群偏差度。

例如，每隔7天或者15天计算一次集群偏差度。

在操作S230，将上述集群偏差度与预定偏差阈值进行比较。

例如，比较上述集群偏差度和预定偏差阈值，可以得到集群偏差度大于上述预定偏差阈值或者集群偏差度小于等于上述预定偏差阈值。在一个示例中，可以将偏差阈值设为20％。本领域技术人员可以理解，也可以根据实际需求设定其他数值的偏差阈值。

在操作S240，在上述集群偏差度大于上述预定偏差阈值的情况下，调度上述多个存储装置在当前时段的实际流量分布，以使上述集群偏差度小于等于上述预定偏差阈值。

例如，可以立即调度上述多个存储装置在当前时段的实际流量分布，也可以在指定的时间调度上述多个存储装置在当前时段的实际流量分布。

通过本公开实施例，简化了集群管理成本，可以自适应业务数据使用方式变化，提升了存储集群的资源整体使用率，缓解了集群资源碎片问题。

图3是根据本公开另一个实施例的数据调度方法的流程图。

如图3所示，该数据调度方法320可以根据上述期望流量分布值与上述多个存储装置在当前时段的实际流量分布值，计算集群偏差度。该数据调度方法320可以包括操作S321～操作S322。

在操作S321，针对每个存储装置，分别计算预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量与当前时段的实际写入数据量、实际读取数据量和实际存储空间使用量之间的均方差，得到写入数据量均方差、读取数据量均方差和存储空间使用量均方差。

例如，写入数据量均方差σ(r)可以通过下式计算：

例如，读取数据量均方差σ(w)可以通过下式计算：

例如，存储空间使用量均方差σ(s)可以通过下式计算：

在操作S322，将得到的写入数据量均方差、读取数据量均方差和存储空间使用量均方差中的最大值作为集群偏差度。

例如，将多个σ(r)、多个σ(w)、多个σ(s)的中的最大值为集群偏差度D_cluster。

通过本公开实施例，计算出的集群偏差度可以作为调度任务建立的可靠依据。

图4是根据本公开另一个实施例的数据调度方法的流程图。

如图4所示，该数据调度方法440可以在上述集群偏差度大于上述预定偏差阈值的情况下，调度上述多个存储装置在当前时段的实际流量分布，以使上述集群偏差度小于等于上述预定偏差阈值。该数据调度方法440可以包括操作S441～操作S443。

在操作S441，创建调度任务，上述调度任务用于调整上述目标数据上述多个存储装置之间的实际流量分布。

根据本公开实施例，上述调度任务包括：根据每个存储装置的额定数据流量，调整多个存储装置之间的数据流量，以使多个存储装置中的至少一个存储装置的数据流量达到上述至少一个存储装置的额定数据流量。

例如，在t1时段，第一存储装置内存储有第一数据，第一数据的流量为a MB；第二存储装置内存储有第二数据，第二数据的流量为b MB。在t2时段，第一存储装置内存储有第一数据，第一数据的流量为c MB；第二存储装置内存储有第二数据，第二数据的流量为dMB。第一存储装置的额定数据流量为e MB，e≥a+b，e≥c+d。那么调度任务可以为：将第二数据转移至第一存储装置中。调度任务完成后，第一存储装置中存储有第一数据和第二数据，在t1时段，第一数据的流量为a MB，第二数据的流量为b MB；在t2时段，第一数据的流量为cMB，第二数据的流量为d MB。第二存储装置可以待机，也可以用于存储其他数据。

在操作S442，根据上述集群的当前总数据流量，确定执行上述调度任务的时间。

例如，若当前总数据流量较高，可以延后执行调度任务，以避让峰值流量。

例如，若当前总数据流量较低，可以立即执行调度任务，也可以延后执行调度任务，

在操作S443，在确定上述集群的当前总数据流量小于等于预定数据流量阈值的情况下，执行上述调度任务。

例如，在执行之前，判断当前的总数据流量是否较小，以确保避开了峰值流量。可以保证存储集群的正常运行。

集群偏差度大预定偏差阈值，可能是在预测时段，业务用户量大幅变动、数据需要备份等原因导致的，例如预测时段是购物平台每年例行的促销时段。调度上述多个存储装置在当前时段的实际流量分布可以导致集群偏差度的变化。调度业务本身也会产生大量的流量，也会消耗存储资源。在预测时段实际到来之前，调整实际流量分布可以充分保障存储集群的稳定性。

通过本公开实施例，可以在谷峰时段执行调度任务，提升存储装置的资源利用率，也能规避多个业务在相同存储装置上同时出现较大流量导致的性能退化问题。

图5A是根据本公开一个实施例的数据调度方法的各存储装置调度前的示意图。

如图5A所示，在示例中，存储集群包括存储装置A 501、存储装置B 502、存储装置C503、存储装置D 504。

在t1时刻，存储装置A 501内存储有数据A 505，数据A 505的实际读取数据量为x₁MB。存储装置B 502内存储有数据B 506，数据B 506的实际读取数据量为y₁ MB。存储装置C503内存储有数据C 507，数据C 507的实际读取数据量为z₁ MB。存储装置D 504内存储有数据D 508，数据D 508的实际读取数据量为v₁ MB。

以上述数据A 505、数据B506、数据C 507、数据D508为目标数据，预测上述根据目标数据在预测时段t2_prediction的流量分布预测值。例如，数据A 505的预测读取数据量为x_{2_prediction} MB，数据B 506的预测读取数据量为y_{2_prediction} MB，数据C 507的预测读取数据量为z_{2_prediction} MB，数据D 508的预测读取数据量为v_{2_prediction} MB。进而得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值，例如，数据A 505的期望读取数据量为E(x_{2_prediction})MB，数据B 506的期望读取数据量为E(y_{2_prediction})MB，数据C 507的期望读取数据量为E(z_{2_prediction})MB，数据D 508的期望读取数据量为E(v_{2_prediction})MB。

在本公开实施例中，计算期望流量分布值与实际流量分布值的偏差度作为集群偏差度。例如，可以计算期望读取数据量与实际读取数据量的均方差，得到存储装置A 501的偏差度σ(x)、存储装置B 502的偏差度σ(y)、存储装置C 503的偏差度σ(z)、存储装置D 504的偏差度σ(v)，取其中的最大值为集群偏差度。若集群偏差度大于预定偏差阈值，则可以调度存储装置A 501、存储装置B 502、存储装置C 503、存储装置D 504内存储的数据，以使上述集群偏差度小于等于上述预定偏差阈值。

图5B是根据本公开一个实施例的数据调度方法的各存储装置调度后的示意图。

如图5B所示，在调度操作发生后的t2时刻，数据B 506被转移存储至存储装置A501，此时存储装置A的实际读取数据量为(x₂+y₂)MB。数据C 507仍存储在存储装置C 503中，在t2时刻，数据C的读取数据量为z₂ MB。数据D 508仍存储在存储装置D504中，在t2时刻，数据D的读取数据量为v₂ MB。

应该理解，将数据B506转移存储至存储装置A 501，可以使存储装置B处于空闲状态，这样有助于降低集群偏差度。

应该理解，调度实际流量分布可以是将一个存储装置内存储的数据全部或部分转移至其他存储装置。例如，可以转移数据C 507的全部或部分至存储装置A、B或D中的一个或多个。

应该理解，本公开实施例中的存储集群包含4个存储装置。在其他的实施例中，存储集群可以根据需要设置m个存储装置，m＞1，m为正整数。

图6是本公开一个实施例的数据调度装置的框图。

如图6所示，该数据调度装置可以包括预测模块610、计算模块620、比较模块630和调度模块640。

预测模块610，用于根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值。

计算模块620，用于根据上述期望流量分布值与上述多个存储装置在当前时段的实际流量分布值，计算集群偏差度。

比较模块630，用于将上述集群偏差度与预定偏差阈值进行比较。

调度模块640，用于在上述集群偏差度大于上述预定偏差阈值的情况下，调度上述多个存储装置在当前时段的实际流量分布，以使上述集群偏差度小于等于上述预定偏差阈值。

作为本公开的一种可选实施例，上述流量分布预测值包括预测的每个存储装置的写入数据量、读取数据量和存储空间使用量。

作为本公开的一种可选实施例，上述期望流量分布值包括每个存储装置在预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量；其中，计算模块包括：均方差计算子模块，用于针对每个存储装置，分别计算预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量与当前时段的实际写入数据量、实际读取数据量和实际存储空间使用量之间的均方差，得到写入数据量均方差、读取数据量均方差和存储空间使用量均方差；以及集群偏差度计算子模块，用于将得到的写入数据量均方差、读取数据量均方差和存储空间使用量均方差中的最大值作为集群偏差度。

作为本公开的一种可选实施例，上述调度模块包括：创建子模块，用于创建调度任务，上述调度任务用于调整上述目标数据上述多个存储装置之间的实际流量分布；以及确定子模块，用于根据上述集群的当前总数据流量，确定执行上述调度任务的时间。

作为本公开的一种可选实施例，上述调度模块还包括：执行子模块，用于在确定上述集群的当前总数据流量小于等于预定数据流量阈值的情况下，执行上述调度任务。

作为本公开的一种可选实施例，上述调度任务包括：根据每个存储装置的额定数据流量，调整多个存储装置之间的数据流量，以使多个存储装置中的至少一个存储装置的数据流量达到上述至少一个存储装置的额定数据流量。

作为本公开的一种可选实施例，上述预测模块包括：期望流量预测子模块，用于使用动态规划方法，根据目标数据在预测时段的流量分布预测值，得到预测时段期间上述目标数据在集群中包括的多个存储装置之间的期望流量分布值。

作为本公开的一种可选实施例，还包括流量分布预测模块，用于使用时序预测工具Prophet得到上述目标数据在预测时段的流量分布预测值。

应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或者类似，本公开在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

图7是根据本公开的一个实施例的数据调度方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如数据调度方法。例如，在一些实施例中，数据调度方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的数据调度方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据调度方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括用户端和服务器。用户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有用户端-服务器关系的计算机程序来产生用户端和服务器的关系。

根据本公开实施例的技术方案，简化了集群管理成本，可以自适应业务数据使用方式变化，提升了存储集群的资源整体使用率，消除了集群资源碎片问题。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种数据调度方法，包括：

根据目标数据在预测时段的流量分布预测值，得到预测时段期间所述目标数据在集群中包括的多个存储装置之间的期望流量分布值；

根据所述期望流量分布值与所述多个存储装置在当前时段的实际流量分布值，计算集群偏差度；

将所述集群偏差度与预定偏差阈值进行比较；以及

在所述集群偏差度大于所述预定偏差阈值的情况下，调度所述多个存储装置在当前时段的实际流量分布，以使所述集群偏差度小于等于所述预定偏差阈值。

2.根据权利要求1所述的方法，其中，所述流量分布预测值包括预测的每个存储装置的写入数据量、读取数据量和存储空间使用量。

3.根据权利要求1或2所述的方法，其中，所述期望流量分布值包括每个存储装置在预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量；

其中，所述根据所述期望分布值与所述多个存储装置在当前时段的实际流量分布值，计算集群偏差度包括：

针对每个存储装置，分别计算预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量与当前时段的实际写入数据量、实际读取数据量和实际存储空间使用量之间的均方差，得到写入数据量均方差、读取数据量均方差和存储空间使用量均方差；以及

将得到的写入数据量均方差、读取数据量均方差和存储空间使用量均方差中的最大值作为集群偏差度。

4.根据权利要求1所述的方法，其中，在所述集群偏差度大于所述预定阈值的情况下，调度所述多个存储装置在当前时段的实际流量分布，以使所述集群偏差度小于等于所述预定阈值包括：

创建调度任务，所述调度任务用于调整所述目标数据所述多个存储装置之间的实际流量分布；以及

根据所述集群的当前总数据流量，确定执行所述调度任务的时间。

5.根据权利要求4所述的方法，其中，在确定所述集群的当前总数据流量小于等于预定数据流量阈值的情况下，执行所述调度任务。

6.根据权利要求4或5所述的方法，其中，所述调度任务包括：

根据每个存储装置的额定数据流量，调整多个存储装置之间的数据流量，以使多个存储装置中的至少一个存储装置的数据流量达到所述至少一个存储装置的额定数据流量。

7.根据权利要求1-6中任一项所述的方法，其中，根据目标数据在预测时段的流量分布预测值，得到预测时段期间所述目标数据在集群中包括的多个存储装置之间的期望流量分布值包括：

使用动态规划方法，根据目标数据在预测时段的流量分布预测值，得到预测时段期间所述目标数据在集群中包括的多个存储装置之间的期望流量分布值。

8.根据权利要求1-6中任一项所述的方法，还包括使用时序预测工具Prophet得到所述目标数据在预测时段的流量分布预测值。

9.一种数据调度装置，包括：

预测模块，用于根据目标数据在预测时段的流量分布预测值，得到预测时段期间所述目标数据在集群中包括的多个存储装置之间的期望流量分布值；

计算模块，用于根据所述期望流量分布值与所述多个存储装置在当前时段的实际流量分布值，计算集群偏差度；

比较模块，用于将所述集群偏差度与预定偏差阈值进行比较；

调度模块，用于在所述集群偏差度大于所述预定偏差阈值的情况下，调度所述多个存储装置在当前时段的实际流量分布，以使所述集群偏差度小于等于所述预定偏差阈值。

10.根据权利要求9所述的装置，其中，所述流量分布预测值包括预测的每个存储装置的写入数据量、读取数据量和存储空间使用量。

11.根据权利要求9或10所述的装置，其中，所述期望流量分布值包括每个存储装置在预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量；

其中，计算模块包括：均方差计算子模块，用于针对每个存储装置，分别计算预测时段的期望写入数据量、期望读取数据量和期望存储空间使用量与当前时段的实际写入数据量、实际读取数据量和实际存储空间使用量之间的均方差，得到写入数据量均方差、读取数据量均方差和存储空间使用量均方差；以及

集群偏差度计算子模块，用于将得到的写入数据量均方差、读取数据量均方差和存储空间使用量均方差中的最大值作为集群偏差度。

12.根据权利要求9所述的装置，其中，所述调度模块包括：

创建子模块，用于创建调度任务，所述调度任务用于调整所述目标数据所述多个存储装置之间的实际流量分布；以及

确定子模块，用于根据所述集群的当前总数据流量，确定执行所述调度任务的时间。

13.根据权利要求12所述的装置，其中，所述调度模块还包括：执行子模块，用于在确定所述集群的当前总数据流量小于等于预定数据流量阈值的情况下，执行所述调度任务。

14.根据权利要求12或13所述的装置，所述调度任务包括：根据每个存储装置的额定数据流量，调整多个存储装置之间的数据流量，以使多个存储装置中的至少一个存储装置的数据流量达到所述至少一个存储装置的额定数据流量。

15.根据权利要求9-13中任一项所述的装置，其中，所述预测模块包括：

期望流量预测子模块，用于使用动态规划方法，根据目标数据在预测时段的流量分布预测值，得到预测时段期间所述目标数据在集群中包括的多个存储装置之间的期望流量分布值。

16.根据权利要求9-13中任一项所述的装置，其中，还包括：

流量分布预测模块，用于使用时序预测工具Prophet得到所述目标数据在预测时段的流量分布预测值。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。

Images