CN109857535B - 面向Spark JDBC的任务优先级控制的实现方法及装置 - Google Patents

Abstract

本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置，所述方法包括：SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列；接收用户通过Jdbc接口下发的指定优先级队列命令，完成Jdbc会话级别的优先级设置；接收用户提交的检索SQL，将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中；通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配，将Spark Task分发到各个计算节点上的Task执行器上进行执行。

Description

面向Spark JDBC的任务优先级控制的实现方法及装置

技术领域

本发明涉及大数据处理领域，尤其涉及一种面向Spark JDBC的任务优先级控制的实现方法及装置。

背景技术

随着计算机技术的不断发展和信息化程度的不断提高，数据量迅速增长，面向海量数据存储及应用也随之蓬勃发展。在海量数据检索应用中，Apache基金会的分布式检索框架SparkJdbc提供了同Hive的HiveQL接口，具有较高的效率及可用性，在该领域被广泛的使用。

用户向SparkJdbc提交SQL检索请求后，SQL语句经过解析生成执行计划，进而生成SparkRDD，由Spark RDD进行DAG转换进而生成Spark Stage，最终由Stage生成Spark Task集合。Spark Task是Spark中生成的可以进行分布式并发执行的任务结构，是Spark中任务执行中最小调度单位。在原生Spark中，无法对检索SQL的执行进行精确的资源调度，各个检索SQL生成的Spark Task只能被依次执行。无法满足Jdbc平台对于各个业务用户来进行限额控制和优先级控制的需求。

综上所述，随着信息化水平的不断提高，大数据应用越来越广泛。如，在网络安全上，使用大数据技术分析网络攻击行为；在电子商务上，使用大数据技术分析用户购物喜好或最受青睐的商品。大数据技术在建设节约型社会，提高生成效率等方面起到了积极的推动作用，而SparkJdbc作为一种优秀的大数据检索方法被广泛的使用。但是随着数据量的不断增加和大数据技术的不断发展，SparkJdbc的原生架构无法对资源进行灵活的调度，无法对检索SQL进行优先级控制，这个问题直接的影响了业务应用。

发明内容

本发明实施例提供一种面向Spark JDBC的任务优先级控制的实现方法及装置，用以解决现有技术中的上述问题。

本发明实施例提供一种面向Spark JDBC的任务优先级控制的实现方法，包括：

SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列；

接收用户通过Jdbc接口下发的指定优先级队列命令，完成Jdbc会话级别的优先级设置；

接收用户提交的检索SQL，将SQL语句经过多个分析规划过程后生成一个SparkTask集合并被添加到相应名称的目标优先级队列中；

通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配，将Spark Task分发到各个计算节点上的Task执行器上进行执行。

优选地，所述任务优先级队列包括：名称、优先级级别、权重和内部资源调度模式。

优选地，在用户提交检索SQL后，所述方法进一步包括：

在任务调度器中的相应优先级队列中注册该检索SQL任务，并获取该优先级队列的实时运行SQL数量和任务限额数量，判断相应目标任务优先级队列是否超出限额，并确认目标任务优先级队列未超出限额；如果判断相应目标任务优先级队列已超出限额，则向用户返回因超出并发限额而拒绝检索的信息。

优选地，通过资源调度器根据各个优先级队列之间的资源分配策略进行硬件资源的调度分配具体包括：

步骤1，统计Spark***中可使用的运算资源数量，包括CPU核数和内存数量；

步骤2，读取各优先级队列的属性，包括优先级级别和权重值；

步骤3，从各优先级队列的优先级级别中选取最高级别；

步骤4，计算优先级级别为当前最高优先级级别的队列的权重值比值；

步骤5，将未进行调度分配的运算资源按所计算得到的比值，分配给这几个优先级队列；

步骤6，判断是否存在更低优先级级别的优先级队列，若是则进入步骤7；否则结束该流程。

步骤7，判断是否存在未被调度分配的运算资源，若是则进入步骤4；否则进入结束该流程；

步骤8，选取更低一级的优先级级别。

优选地，通过资源调度器根据队列内部的资源分配策略进行硬件资源的调度分配具体包括：

步骤1，读取当前队列的内部调度模式，若为先进先出，则进入步骤2；否则进入步骤4；

步骤2，在该优先级队列的Spark Task集合中选取创建时间最早的Spark Task，将一定数量的资源分配给这个Task，并执行该Task；

步骤3，判断是否存在未被调度分配的剩余资源且存在未进行资源分配的SparkTask，若是则进入步骤2；否则结束该流程；

步骤4，将该优先级队列中的Spark Task按照原本的检索SQL进行分组；

步骤5，统计所分组的每一组Task集合中正在执行的Task数量；

步骤6，将一定数量的资源分配给步骤5中所统计出的正在执行的Spark Task数量最少的Spark Task组中的一个Spark Task。

步骤7，判断是否存在未被调度分配的剩余资源且存在未进行资源分配的SparkTask，若是则进入步骤5；否则结束该流程。

本发明实施例还提供一种面向Spark JDBC的任务优先级控制的实现装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。

采用本发明实施例，解决了SparkJdbc在进行SQL检索时无法进行精确灵活的资源调度的问题，可以对检索SQL按照紧急程度进行优先级的控制。可以灵活的对SQL检索进行资源限额控制和执行优先级控制，有效的提高了***的可用性，符合当下大数据检索实际需求，具有较大的应用前景。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中整体流程架构图；

图2是本发明实施例中优先级队列添加检索SQL流程图；

图3是本发明实施例中优先级队列间资源调度分发流程图；

图4是本发明实施例中优先级队列内部资源调度分发流程图。

具体实施方式

本发明提供了一种面向Spark JDBC的任务优先级控制的实现方法。包括在SparkJDBC中建立多个任务优先级队列的方法；在Spark JDBC中将用户提交的检索SQL映射到任务优先级队列等待运行的方法；在Spark JDBC中对每个任务优先级队列设置执行限额，拒绝超限额检索SQL的方法；在任务优先级队列之间根据预先设置的优先级和权重进行硬件资源调度的方法；在单个任务优先级队列内部，使用“先进先出”策略或“公平”策略进行硬件资源调度的方法。使用本发明实施例可以满足实际业务使用中的通过JDBC接口灵活控制硬件资源使用的需要；并满足业务使用中对紧急任务、一般任务和低优先级任务的执行时序的要求。

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种面向SparkJdbc的任务优先级控制的实现方法，通过Jdbc接口控制SparkJdbc中并发检索SQL的优先执行顺序，并灵活完成对底层硬件资源的调度控制。

为了实现上述目的，本发明的第一方面，给出了在SparkJdbc中建立多个任务优先级队列的方法。该方法通过XML文件格式来对需要建立的各个优先级队列的情况进行描述。在SparkJdbc***运行时会读取依据业务需求预先编写的XML描述文件，在SparkJdbc框架中生成一个任务优先级调度器。每一个生成的任务优先级队列均有队列名称、优先级级别、执行权重、队列内部任务调度模式、队列限额等多个属性。

本发明的第二个部分，给出了SparkJdbc中将用户提交的检索SQL映射到任务优先级队列等待运行的方法。该方法规定用户在通过Jdbc接口提交检索任务之前，需要在Jdbc接口中执行一个设置队列方法。通过该方法的执行，在Jdbc中会话级别上设置一个的要执行检索SQL的目标队列名称。在该Jdbc会话接收到后续发送到的检索SQL后，会对SQL进行规划解析，最终生成一组Spark Task集合，并将生成集合中所有Task放置在由本发明第一部分所生成的相应名称的任务优先级队列之中。通过该方法完成由下发的检索SQL到任务优先级队列的映射。

本发明的第三部分，给出了在SparkJdbc中对每个任务优先级队列设置执行限额，拒绝超限额检索SQL的方法。该方法会维护各个任务队列执行检索SQL的实时数量情况，在Jdbc接收到用户下发的检索SQL后，将会该实时数量信息中进行注册，并读取本发明第一方面所生成的相应任务优先级队列中的队列限额属性，进行是否超出执行限额的判断，并拒绝超出限额的检索SQL。通过该方法，可以有效的控制各个优先级队列中任务并发数量，以保证高优先级队列中任务的快速执行。

本发明的第四部分，给出了在任务优先级队列之间根据预先设置的优先级和权重进行硬件资源调度的方法。该方法先汇总Spark***所拥有的分布式CPU核数和内存数量，并遍历本发明第一部分所述的各个优先级队列属性。计算资源进行调度分配时，任务优先级调度器会优先将资源分配给优先级级别较高的优先级队列，由得到资源的队列进行队列内部的资源分配。若得到资源的优先级队列内部进行分配后依旧有剩余资源存在，任务优先级调度器则会把剩余的资源分配到下一个优先级级别的优先级队列中，依次进行，直到资源完全分配完毕。若存在两个优先级队列的优先级别相同的情况，则按照这两个优先级队列中的权重属性进行所占权重的比例计算，按照这个权重的比例对两个优先级队列进行资源调度分配。通过该方法，有效的对各个优先级队列按照预先设置的优先级级别进行了硬件资源的分配。

本发明的第五部分，给出了在单个任务优先级队列内部，使用“先进先出”策略或“公平”策略进行硬件资源调度的方法。该方法会先读取本发明的第一部分所述的优先级队列属性中的队列内部调度模式。当该队列被本发明第四部分所述的任务优先级调度器分配资源后，“先进先出”策略会根据优先级队列中的Spark Task生成时间的先后顺序，先将资源分配给先生成的Spark Task，依次分配给后生成的Spark Task；“公平”策略会在优先级队列中把Spark Task按照检索SQL进行分组，依次向每组中的Spark Task轮流分配任务，保证每一组中都有Spark Task在同时进行。通过该方法，可以根据实际业务需要灵活的控制任务执行的先后顺序。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例子，并配合附图，详细说明如下。

图1给出了整体流程的架构。

在一实现例中，具体架构如下:

SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列，每个队列均包含名称、优先级级别、权重和内部资源调度模式等多个属性。用户在提交检索SQL前，先通过Jdbc接口设置会话级别的目标优先级队列名。在用户提交检索SQL后，首先进行注册以判断相应目标队列是否超出限额。SQL语句经过数个分析规划过程后生成一个Spark Task集合并被添加到相应名称的优先级队列中。资源调度器会根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配，将Spark Task分发到各个计算节点上的Task执行器上进行执行。

图2给出了优先级队列添加检索SQL的流程。

在一实现例中，具体架构如下:

步骤201：接收到用户通过Jdbc接口下发的指定优先级队列命令，完成Jdbc会话级别的优先级设置。

步骤202：接收到用户通过Jdbc接口下发的检索SQL语句。

步骤203：在任务调度器中的相应优先级队列中注册该检索SQL任务，并获取该优先级队列的实时运行SQL数量和任务限额数量。

步骤204：判断相应优先级用户中正在执行的检索SQL是否超出限额数量，若否进入步骤205；否则进入步骤207。

步骤205：将接收到的SQL语句经过Spark的解析规划过程，生成一组Spark Task集合。

步骤206：将生成的Spark Task集合中的所有元素添加到步骤201中所接收到的优先级队列之中。

步骤207：向用户返回因超出并发限额而拒绝检索的信息。

图3给出了优先级队列间资源调度分发的流程。

在一实现例中，具体架构如下:

步骤301：统计Spark***中可使用的运算资源数量，包括CPU核数和内存数量。

步骤302：读取各优先级队列的属性，包括优先级级别和权重值。

步骤303：从各优先级队列的优先级级别中选取最高级别。

步骤304：计算优先级级别为当前最高优先级级别的队列的权重值比值。

步骤305：将未进行调度分配的运算资源按步骤304所计算得到的比值，分配给这几个优先级队列。

步骤306：判断是否存在更低优先级级别的优先级队列，若是则进入步骤307；否则结束该流程。

步骤307：判断是否存在未被调度分配的运算资源，若是则进入步骤304；否则进入结束该流程。

步骤308：选取更低一级的优先级级别。

图4给出了优先级队列内部资源调度分发的流程。

在一实现例中，具体架构如下:

步骤401：读取当前队列的内部调度模式，若为“先进先出”，则进入步骤402；否则进入步骤404。

步骤402：在该优先级队列的Spark Task集合中选取创建时间最早的Spark Task，将一定数量的资源分配给这个Task，并执行该Task。

步骤403：判断是否存在未被调度分配的剩余资源且存在未进行资源分配的SparkTask，若是则进入步骤402；否则结束该流程。

步骤404：将该优先级队列中的Spark Task按照原本的检索SQL进行分组。

步骤405：统计步骤404所分组的每一组Task集合中正在执行的Task数量。

步骤406：将一定数量的资源分配给步骤405中所统计出的正在执行的Spark Task数量最少的Spark Task组中的一个Spark Task。

步骤407：判断是否存在未被调度分配的剩余资源且存在未进行资源分配的SparkTask，若是则进入步骤405；否则结束该流程。

综上所述，本发明实施例通过Jdbc接口，方便有效的对检索SQL的执行优先级进行控制，从而完成对底层硬件资源的灵活调度，并支持执行队列的任务限额控制。该方法能够通过Jdbc接口对检索SQL的执行优先级进行控制，灵活的控制底层硬件资源的分配和调度。有效的提升了SparkJdbc的可用性，在大数据处理领域具有很强的实用性和应用范围，具有很广泛的应用前景。有效的提高了SparkJdbc框架进行检索时的可用性。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向Spark JDBC的任务优先级控制的实现方法，其特征在于，包括：

SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列；

接收用户通过Jdbc接口下发的指定优先级队列命令，完成Jdbc会话级别的优先级设置；

接收用户提交的检索SQL，将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中；

通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配，将Spark Task分发到各个计算节点上的Task执行器上进行执行。

2.如权利要求1所述的方法，其特征在于，所述任务优先级队列包括：名称、优先级级别、权重和内部资源调度模式。

3.如权利要求1所述的方法，其特征在于，在用户提交检索SQL后，所述方法进一步包括：

在任务调度器中的相应优先级队列中注册该检索SQL任务，并获取该优先级队列的实时运行SQL数量和任务限额数量，判断相应目标任务优先级队列是否超出限额，并确认目标任务优先级队列未超出限额；如果判断相应目标任务优先级队列已超出限额，则向用户返回因超出并发限额而拒绝检索的信息。

4.如权利要求1所述的方法，其特征在于，通过资源调度器根据各个优先级队列之间的资源分配策略进行硬件资源的调度分配具体包括：

步骤1，统计Spark***中可使用的运算资源数量，包括CPU核数和内存数量；

步骤2，读取各优先级队列的属性，包括优先级级别和权重值；

步骤3，从各优先级队列的优先级级别中选取最高级别；

步骤4，计算优先级级别为当前最高优先级级别的队列的权重值比值；

步骤5，将未进行调度分配的运算资源按所计算得到的比值，分配给这几个优先级队列；

步骤6，判断是否存在更低优先级级别的优先级队列，若是则进入步骤7；否则结束该流程；

步骤7，判断是否存在未被调度分配的运算资源，若是则进入步骤4；否则进入结束该流程；

步骤8，选取更低一级的优先级级别。

5.如权利要求1所述的方法，其特征在于，通过资源调度器根据队列内部的资源分配策略进行硬件资源的调度分配具体包括：

步骤1，读取当前队列的内部调度模式，若为先进先出，则进入步骤2；否则进入步骤4；

步骤2，在该优先级队列的Spark Task集合中选取创建时间最早的Spark Task，将一定数量的资源分配给这个Task，并执行该Task；

步骤3，判断是否存在未被调度分配的剩余资源且存在未进行资源分配的Spark Task，若是则进入步骤2；否则结束该流程；

步骤4，将该优先级队列中的Spark Task按照原本的检索SQL进行分组；

步骤5，统计所分组的每一组Task集合中正在执行的Task数量；

步骤6，将一定数量的资源分配给步骤5中所统计出的正在执行的Spark Task数量最少的Spark Task组中的一个Spark Task；

步骤7，判断是否存在未被调度分配的剩余资源且存在未进行资源分配的Spark Task，若是则进入步骤5；否则结束该流程。

6.一种面向Spark JDBC的任务优先级控制的实现装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的步骤。

Images