CN110389842B - 一种动态资源分配方法、装置、存储介质及设备 - Google Patents

Abstract

本发明公开了一种动态资源分配方法、装置、存储介质及设备。所述方法包括：获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；监控所述目标作业在数据混洗阶段的执行时间；若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；根据资源库中的资源总量以及调整后的所述目标作业的可用资源量，确定资源库中的剩余资源量；判断调整后的可用资源量是否小于所述剩余资源量；若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间。本申请可以通过动态调整并行度，来提高大数据框架的运行效能。

Description

一种动态资源分配方法、装置、存储介质及设备

技术领域

本申请涉及大数据分析及处理领域，特别涉及一种动态资源分配方法、装置、存储介质及设备。

背景技术

随着信息化的发展，企业要处理的数据***式的增长，数据量都达到了TB级、PB级。为了支撑这么大规模数据的分析和处理，各类大数据框架、工具和技术应运而生，Spark便是其中之一。以Spark为例，Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，其通过在数据处理过程中采用数据混洗(Shuffle)方式，将“映射-规约”模型(Map-Reduce)提升到一个更高的层次，并且利用内存数据存储和接近实时的处理能力，使其性能比其他大数据处理技术要快很多倍。

目前，在使用spark进行作业计算时，对于有Shuffle操作的作业，通常设定一个固定的并行度参数，无法提供动态的并行度参数调整，使得在spark资源配置过小时容易导致内存溢出，或者资源配置过大时导致作业申请不到资源的问题。因此，如何动态调整并行度，以提高大数据框架的运行效能，成为现有技术中亟待解决的问题。

发明内容

本申请实施例的目的是提供一种动态资源分配方法、装置、存储介质及设备，动态调整并行度，来提高大数据框架的运行效能。

为达到上述目的，本申请实施例提供一种动态资源分配方法，包括：

获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

监控所述目标作业在数据混洗阶段的执行时间；

若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

根据资源库中的资源总量以及调整后的所述目标作业的可用资源量，确定资源库中的剩余资源量；

判断调整后的可用资源量是否小于所述剩余资源量；

若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间。

优选的，所述按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度，包括：

将所述可用资源量翻倍，将已用资源量调整为可用资源量的三分之一，并翻倍并行度；

判断调整后的并行度是否大于所述调整后的已用资源量的三倍；

若大于，则将所述并行度设置为调整后的已用资源量的三倍。

优选的，若调整后的并行度小于所述调整后的已用资源量的三倍，则将所述并行度设置为翻倍后的取值。

优选的，若调整后的可用资源量大于或者等于剩余资源量，则不再监控所述目标作业在数据混洗阶段的执行时间，并产生报警信号。

优选的，所述预设时长为所述目标作业的预设作业完成时长。

优选的，所述资源库中的资源总量、目标作业所分配的可用资源量包括CPU个数。

本申请实施例还提供一种动态资源分配装置，包括：

数据获取模块，用于获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

执行时间监控模块，用于监控所述目标作业在数据混洗阶段的执行时间；

参数调整模块，用于若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度；

剩余资源量确定模块，用于根据资源库中的资源总量以及调整后的所述目标作业所占资源量，确定资源库中的剩余资源量；

第一判断模块，用于判断调整后的可用资源量是否小于所述剩余资源量；

循环模块，用于若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间。

优选的，所述参数调整模块包括：

参数设置单元，用于将所述可用资源量翻倍，将已用资源量调整为可用资源量的三分之一，并翻倍并行度；

第二判断模块，用于判断调整后的并行度是否大于所述调整后的已用资源量的三倍；

并行度设置单元，用于在大于的情况下，则将所述并行度设置为调整后的已用资源量的三倍。

本申请实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述步骤。

由以上本申请实施例提供的技术方案可见，本申请实施例中，通过监控数据混洗阶段(shuffle stage)的执行时间，动态调整作业的已用资源量、可用资源量以及并行度，以寻找更为合适的配置参数，从而提高了大数据框架的运行效能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中一种动态资源分配方法流程图；

图2是本申请实施例中一种动态资源分配的数据处理流程图；

图3是本申请实施例中一种动态资源分配的配置参数调整模块的数据处理流程图；

图4是本申请实施例中一种动态资源分配的判断模块的数据处理流程图；

图5是本申请实施例中一种动态资源分配装置的模块结构示意图；

图6是本申请实施例提供的计算机设备的示意图。

具体实施方式

本申请实施方式提供一种动态资源分配方法、装置、存储介质及设备。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。

在大数据框架中，在资源库中管理着作业所能使用的资源总量，在运行大数据任务时，***为作业分配相应的资源，具体的，该资源通常为进程executor的数量，以及每个executor的CPU个数以及内存大小，当然还可以包括其他资源，对此本申请不作限定。在分配完资源后，如何设置并行度参数，使得并行度参数与所分配的资源相匹配，充分利用所分配的资源，对大数据框架的运行效能有着很大的影响。

以大数据框架spark为例，并行度指的是spark作业中，各个stage的task的数量。例如，为某个作业分配100个CPU，那么可以并行运行100个task，因此，需要将并行度至少设置为100才能完全有效的利用集群资源，最终，提升整个Spark作业的性能和运行速度。但是现有技术中，通常在为作业分配完资源后，设置一个固定的并行度参数，如何动态地调整并行度参数成为提升大数据框架运行效能的关键。

参考图1及图2所示，为本申请提供的一种动态资源分配的流程图。具体包括以下步骤：

S101：获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度。

在一些实施方式中，确定资源库中的资源总量，即可获取的资源上限，可以是集群中CPU总数；目标作业的已用资源量可以是当前运行目标作业的CPU数，目标作业的可用资源量指的是可以运行目标作业的最大CPU数。

S102：监控所述目标作业在数据混洗阶段的执行时间。

S103：若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业所占资源量及并行度。

数据混洗阶段即shuffle stage，描述了数据从map task输出到reduce task输入的这段过程，shuffle的性能高低直接影响了整个程序的性能和吞吐量，因此，有必要对数据混洗阶段的执行时间进行监控，以判断作业的运行情况。

在一些实施方式中，通过监控数据混洗阶段的执行时间，并与预设时长进行比较，若大于预设时长，则对作业所占资源量及并行度进行调整；其中，预设时长可以是目标作业预设的完成时长。

在一个具体的实施方式中，图2中的配置参数调整模块可以参考图3所示，可以将目标作业所分配的可用资源量翻倍，并将当前的已用资源量调整为可用资源量的三分之一，再翻倍并行度参数。由于在并行度大于executor的三倍时，并行的task会出现串行堆积的情况，无法实现效率的最大化，因此，在并行度参数翻倍后，还需要判断翻倍后的并行度参数是否大于当前的已用资源量的三倍，如果翻倍后的并行度参数大于当前的已用资源量的三倍，则将并行度参数设置为已用资源量的三倍；如果翻倍后的并行度参数小于或者等于已用资源量的三倍，则取翻倍后的并行度参数。

例如，目标作业的已用资源量为10个CPU、可用资源量为30个CPU、并行度为10。监控到数据混洗阶段的执行时间大于预设时长，按照上述方法，将可用资源量调整为60个CPU，将当前的已用资源量调整为20个，并行度调整为20，可以看出，此时的并行度小于已用资源量的三倍，因此，可以将并行度参数设置为20。

S104：根据调整后的所述目标作业所占资源量，确定资源库中的剩余资源量。

在一些实施方式中，通过资源库的接口，输入在调整后，目标作业所分配的可用资源量，并确定资源库中的剩余资源量。

S105：判断调整后的可用资源量是否大于所述剩余资源量。

参考图4所示的流程。

S106：若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间。

例如，资源库中的资源总量为100个CPU，在调整后，目标作业所分配的可用资源量为60个CPU，则剩余资源量为40个CPU。可以看出，调整后的可用资源量小于剩余资源量，则继续监控目标作业在数据混洗阶段的执行时间。当调整后的可用资源量大于或者等于剩余资源量时，达到了可获取的资源上限，退出动态调优，并发出报警信息。

参考图5所示，本申请还提供一种动态资源分配装置，该装置包括：

数据获取模块411，用于获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

执行时间监控模块412，用于监控所述目标作业在数据混洗阶段的执行时间；

参数调整模块413，用于若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度；

剩余资源量确定模块414，用于根据资源库中的资源总量以及调整后的所述目标作业所占资源量，确定资源库中的剩余资源量；

第一判断模块415，用于判断调整后的可用资源量是否小于所述剩余资源量；

循环模块416，用于若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间。

如图6所示，本申请实施方式还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述方法的步骤。

本申请在作业的计算数据量与预期相差较大，且不同时段数据量不等的情况下，不会因为固有的并行度参数配置而导致作业发生内存溢出或无法申请到足够资源的情况，从而减少作业失败的次数。与此同时，减少了spark资源配置动态伸缩的时间，通过监控shuffle stage的执行时间，调整executor数，找到相对合适的minExcutors-maxExcutors，提高作业的运行效率，在动态伸缩资源配置的同时，也能自动的调整作业的并行度。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的装置、模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。该计算机软件产品可以包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。该计算机软件产品可以存储在内存中，内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括短暂电脑可读媒体(transitory media)，如调制的数据信号和载波。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (8)

1.一种动态资源分配方法，其特征在于，包括：

获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

监控所述目标作业在数据混洗阶段的执行时间；

若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

根据所述资源库中的资源总量以及调整后的所述目标作业的可用资源量，确定资源库中的剩余资源量；

判断调整后的可用资源量是否小于所述剩余资源量；

若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间；

所述按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度，包括：

将所述可用资源量翻倍，将已用资源量调整为可用资源量的三分之一，并翻倍并行度；

判断调整后的并行度是否大于所述调整后的已用资源量的三倍；

若大于，则将所述并行度设置为调整后的已用资源量的三倍。

2.根据权利要求1所述的方法，其特征在于，若调整后的并行度小于所述调整后的已用资源量的三倍，则将所述并行度设置为翻倍后的取值。

3.根据权利要求1所述的方法，其特征在于，若调整后的可用资源量大于或者等于剩余资源量，则不再监控所述目标作业在数据混洗阶段的执行时间，并产生报警信号。

4.根据权利要求1所述的方法，其特征在于，所述预设时长为所述目标作业的预设作业完成时长。

5.根据权利要求1所述的方法，其特征在于，所述资源库中的资源总量、目标作业的已用资源量、可用资源量包括CPU个数。

6.一种动态资源分配装置，其特征在于，包括：

数据获取模块，用于获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

执行时间监控模块，用于监控所述目标作业在数据混洗阶段的执行时间；

参数调整模块，用于若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度；

剩余资源量确定模块，用于根据所述资源库中的资源总量以及调整后的所述目标作业的可用资源量，确定资源库中的剩余资源量；

第一判断模块，用于判断调整后的可用资源量是否小于所述剩余资源量；

循环模块，用于若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间；

所述参数调整模块包括：

参数设置单元，用于将所述可用资源量翻倍，将已用资源量调整为可用资源量的三分之一，并翻倍并行度；

第二判断模块，用于判断调整后的并行度是否大于所述调整后的已用资源量的三倍；

并行度设置单元，用于在大于的情况下，则将所述并行度设置为调整后的已用资源量的三倍。

7.一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现权利要求1至5中任一项所述方法的步骤。

Images