CN104346214A - 用于分布式环境的异步任务管理装置及方法 - Google Patents

Abstract

本发明提出了用于分布式环境的异步任务管理装置及方法。其中，所述方法包括：基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

Description

用于分布式环境的异步任务管理装置及方法

技术领域

本发明涉及异步任务管理装置及方法，更具体地，涉及用于分布式环境的异步任务管理装置及方法。

背景技术

目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，基于分布式环境的异步任务管理装置及方法变得越来越重要。

现有的异步任务管理装置及方法的基本工作原理如下：基于每个计算节点的负载情况进行任务分配以达到各个计算节点的负载均衡。

然而，现有的异步任务管理装置及方法存在如下问题：在计算节点存在差异并且计算能力不同的情况下，可能存在计算能力过度分配或者分配不足的情况，即计算能力较弱的计算节点分配到规模较大的任务，从而导致任务的执行时间过长，而计算能力较强的计算节点可能分配不到任务或者分配到规模较小的任务，从而导致任务分配不足，由此从整体上而言各个异步任务的完成时间难于达到最优。

因此，存在如下需求：提供能够优化异步任务分配并具有高的异步任务执行效率的用于分布式环境的异步任务管理装置及方法。

发明内容

为了解决上述现有技术方案所存在的问题，本发明提出了能够优化异步任务分配并具有高的异步任务执行效率的用于分布式环境的异步任务管理装置及方法。

本发明的目的是通过以下技术方案实现的：

一种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理装置包括：

预处理单元，所述预处理单元基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；

异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后接收来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

在上面所公开的方案中，优选地，每一个预定的任务类型具有与其相对应的规模参数的集合。

在上面所公开的方案中，优选地，以如下公式表示所述任务规模评估模型：

FT＝f(Type,C,params)    (4)

其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。

在上面所公开的方案中，优选地，以如下方式评估每个计算节点的计算能力：

假设分布式环境中具有n个计算节点，则根据如下公式评估计算节点的实际计算能力：

${C\′}_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_j*X_j,i=\mathrm{1,2},\·\·\·,n---\left(1\right)$

其中X_j为计算节点的硬件参数（例如CPU类型、内存大小等等）、λ_j为权重（其可按任务需求的不同而被设置为不同的值）；

对上面公式得到的节点计算能力按下面的公式进行归一化处理，以得到计算节点的计算能力C_i：

$C_i=\frac{C_i^{\′}-C_{\min }^{\′}}{C_{\max }^{\′}-C_{\min }^{\′}}*100---\left(2\right)$

其中，C'_max是所有节点实际计算能力最大值，C'_min是所有节点实际计算能力的最小值。

在上面所公开的方案中，优选地，基于训练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型：

在同一计算机上运行不同任务类型的异步任务样本（其具有不同的规模参数集合）以获得异步任务样本的运行时间T，并对异步任务样本的运行时间进行线性处理且按照如下公式进行归一化，以获得异步任务样本的运算规模：

$\mathrm{FT}=\frac{T_i-T_{\min }}{T_{\max }-T_{\min }}*100---\left(3\right)$

其中，FT是任务规模，T_min是所有运行时间的最小值，T_max是所有运行时间的最大值。

在上面所公开的方案中，优选地，所述预处理单元能够在空闲时间周期性地基于训练样本训练并修正所述任务规模评估模型。

在上面所公开的方案中，优选地，所述异步任务管理单元以如下方式基于所述任务规模评估模型确定目标计算节点:（1）解析接收到的异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数集合；（2）将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得与所述异步任务请求相关联的异步任务的任务规模；（3）获取空闲的计算节点列表，并将所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点；（4）如果未找到匹配的目标计算节点，则周期性地执行步骤（3）直至目标计算节点被确定。

本发明的目的也可以通过以下技术方案实现：

一种用于分布式环境的异步任务管理方法，所述用于分布式环境的异步任务管理方法包括下列步骤：

（A1）基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；

（A2）基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

本发明所公开的用于分布式环境的异步任务管理装置及方法具有以下优点：（1）在分布式环境中的各个计算节点存在差异并且计算能力不同的情况下，能够更加合理地利用各个计算节点的计算能力，从而有效地避免了计算能力的浪费并且异步任务的执行时间能够在整体上达到最优；（2）由于可以周期性的对任务规模评估模型进行训练，故任务规模评估模型能够日益准确。

附图说明

结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中：

图1是根据本发明的实施例的用于分布式环境的异步任务管理装置的示意性结构图；

图2是根据本发明的实施例的用于分布式环境的异步任务管理方法的流程图。

具体实施方式

图1是根据本发明的实施例的用于分布式环境的异步任务管理装置的示意性结构图。如图1所示，本发明所公开的用于分布式环境的异步任务管理装置包括预处理单元1和异步任务管理单元2。其中，所述预处理单元1基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型。所述异步任务管理单元2在所述任务规模评估模型已被建立后接收来自外部的异步任务请求（示例性地，所述异步任务请求来自一个或多个客户端并经由Web服务器而被传送到所述异步任务管理装置），并基于所述任务规模评估模型确定目标计算节点以及将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

优选地，在本发明所公开的用于分布式环境的异步任务管理装置中，每一个预定的任务类型具有与其相对应的规模参数的集合（示例性地，所有的任务类型被定义为Job₁，Job₂，…，Job_n，与每一个预定的任务类型相对应的规模参数集合被定义为param=｛V₁，V₂，…，V_n｝，其中V_i是与任务规模及运行时间相关的参数，此参数的不同会影响任务的完成时间，例如数据挖掘过程中的数据抽样任务具有如下参数：开始日期、结束日期、抽样间隔、筛选条件、执行用户等等，其中开始日期、结束日期、抽样间隔、筛选条件等参数会影响任务的完成时间，故这些参数属于规模参数，而执行用户并不会影响任务的完成时间，故此参数不属于规模参数）。

优选地，在本发明所公开的用于分布式环境的异步任务管理装置中，以公式（4）表示所述任务规模评估模型：

FT＝f(Type,C,params)    (4)

其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。

优选地，在本发明所公开的用于分布式环境的异步任务管理装置中，以如下方式评估每个计算节点的计算能力：

假设分布式环境中具有n个计算节点，则根据公式(1)评估计算节点的实际计算能力：

${C\′}_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i*X_j,i=\mathrm{1,2},\·\·\·,n---\left(1\right)$

其中X_j为计算节点的硬件参数（例如CPU类型、内存大小等等）、λ_j为权重（其可按任务需求的不同而被设置为不同的值）；

对公式(1)得到的节点计算能力按公式(2)进行归一化处理，以得到计算节点的计算能力C_i：

$C_i=\frac{C_i^{\′}-C_{\min }^{\′}}{C_{\max }^{\′}-C_{\min }^{\′}}*100---\left(2\right)$

其中，C'_max是所有节点实际计算能力最大值，C'_min是所有节点实际计算能力的最小值。

优选地，在本发明所公开的用于分布式环境的异步任务管理装置中，基于训练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型：

在同一计算机上运行不同任务类型的异步任务样本（其具有不同的规模参数集合）以获得异步任务样本的运行时间T，并对异步任务样本的运行时间进行线性处理且按照公式（3）进行归一化，以获得异步任务样本的运算规模：

$\mathrm{FT}=\frac{T_i-T_{\min }}{T_{\max }-T_{\min }}*100---\left(3\right)$

其中，FT是任务规模，T_min是所有运行时间的最小值，T_max是所有运行时间的最大值。

优选地，在本发明所公开的用于分布式环境的异步任务管理装置中，所述预处理单元1能够在空闲时间周期性地基于训练样本训练并修正所述任务规模评估模型。

优选地，在本发明所公开的用于分布式环境的异步任务管理装置中，所述异步任务管理单元2以如下方式基于所述任务规模评估模型确定目标计算节点:（1）解析接收到的异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数集合；（2）将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得与所述异步任务请求相关联的异步任务的任务规模（即将任务类型和规模参数集合作为任务规模评估模型的输入以根据经训练的任务规模评估模型获得相关联的异步任务的任务规模，诸如通过神经网络或支持向量机等形式）；（3）获取空闲的计算节点列表，并将所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点（即最优节点，例如，假如存在任务规模为1的异步任务，同时存在计算能力为2，10的空闲计算节点，则会为该异步任务分配计算能力为2的计算节点）（4）如果未找到匹配的目标计算节点，则周期性地执行步骤（3）直至目标计算节点被确定。

由上可见，本发明所公开的用于分布式环境的异步任务管理装置具有下列优点：（1）在分布式环境中的各个计算节点存在差异并且计算能力不同的情况下，能够更加合理地利用各个计算节点的计算能力，从而有效地避免了计算能力的浪费并且异步任务的执行时间能够在整体上达到最优；（2）由于可以周期性的对任务规模评估模型进行训练，故任务规模评估模型能够日益准确。

图2是根据本发明的实施例的用于分布式环境的异步任务管理方法的流程图。如图2所示，本发明所公开的用于分布式环境的异步任务管理方法包括下列步骤：（A1）基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；（A2）基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

优选地，在本发明所公开的用于分布式环境的异步任务管理方法中，每一个预定的任务类型具有与其相对应的规模参数的集合（示例性地，所有的任务类型被定义为Job₁，Job₂，…,Job_n，与每一个预定的任务类型相对应的规模参数集合被定义为param=｛V₁，V₂，…，V_n｝，其中V_i是与任务规模及运行时间相关的参数，此参数的不同会影响任务的完成时间，例如数据挖掘过程中的数据抽样任务具有如下参数：开始日期、结束日期、抽样间隔、筛选条件、执行用户等等，其中开始日期、结束日期、抽样间隔、筛选条件等参数会影响任务的完成时间，故这些参数属于规模参数，而执行用户并不会影响任务的完成时间，故此参数不属于规模参数）。

优选地，在本发明所公开的用于分布式环境的异步任务管理方法中，以公式（4）表示所述任务规模评估模型：

FT＝f(Type,C,params)    (4)

其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。

优选地，在本发明所公开的用于分布式环境的异步任务管理方法中，以如下方式评估每个计算节点的计算能力：

假设分布式环境中具有n个计算节点，则根据公式(1)评估计算节点的实际计算能力：

${C\′}_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_j*X_j,i=\mathrm{1,2},\·\·\·,n---\left(1\right)$

其中X_j为计算节点的硬件参数（例如CPU类型、内存大小等等）、λ_j为权重（其可按任务需求的不同而被设置为不同的值）；

对公式(1)得到的节点计算能力按公式(2)进行归一化处理，以得到计算节点的计算能力C_i：

$C_i=\frac{C_i^{\′}-C_{\min }^{\′}}{C_{\max }^{\′}-C_{\min }^{\′}}*100---\left(2\right)$

其中，C'_max是所有节点实际计算能力最大值，C'_min是所有节点实际计算能力的最小值。

优选地，在本发明所公开的用于分布式环境的异步任务管理方法中，基于训练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型：

在同一计算机上运行不同任务类型的异步任务样本（其具有不同的规模参数集合）以获得异步任务样本的运行时间T，并对异步任务样本的运行时间进行线性处理且按照公式（3）进行归一化，以获得异步任务样本的运算规模：

$\mathrm{FT}=\frac{T_i-T_{\min }}{T_{\max }-T_{\min }}*100---\left(3\right)$

其中，FT是任务规模，T_min是所有运行时间的最小值，T_max是所有运行时间的最大值。

优选地，本发明所公开的用于分布式环境的异步任务管理方法进一步包括：在空闲时间周期性地基于训练样本训练并修正所述任务规模评估模型。

优选地，本发明所公开的用于分布式环境的异步任务管理方法以如下方式基于所述任务规模评估模型确定目标计算节点:（1）解析异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数集合；（2）将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得与所述异步任务请求相关联的异步任务的任务规模（即将任务类型和规模参数集合作为任务规模评估模型的输入以根据经训练的任务规模评估模型获得相关联的异步任务的任务规模，诸如通过神经网络或支持向量机等形式）；（3）获取空闲的计算节点列表，并将所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点（即最优节点，例如，假如存在任务规模为1的异步任务，同时存在计算能力为2，10的空闲计算节点，则会为该异步任务分配计算能力为2的计算节点）（4）如果未找到匹配的目标计算节点，则周期性地执行步骤（3）直至目标计算节点被确定。

由上可见，本发明所公开的用于分布式环境的异步任务管理方法具有下列优点：（1）在分布式环境中的各个计算节点存在差异并且计算能力不同的情况下，能够更加合理地利用各个计算节点的计算能力，从而有效地避免了计算能力的浪费并且异步任务的执行时间能够在整体上达到最优；（2）由于可以周期性的对任务规模评估模型进行训练，故任务规模评估模型能够日益准确。

尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到：在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。

Claims (8)

1.一种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理装置包括：

预处理单元，所述预处理单元基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；

异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后接收来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

2.根据权利要求1所述的用于分布式环境的异步任务管理装置，其特征在于，每一个预定的任务类型具有与其相对应的规模参数的集合。

3.根据权利要求2所述的用于分布式环境的异步任务管理装置，其特征在于，以如下公式表示所述任务规模评估模型：

FT＝f(Type,C,params)    (4)

其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。

4.根据权利要求3所述的用于分布式环境的异步任务管理装置，其特征在于，以如下方式评估每个计算节点的计算能力：

假设分布式环境中具有n个计算节点，则根据如下公式评估计算节点的实际计算能力：

${C\′}_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_j*X_j,i=\mathrm{1,2},\·\·\·,n---\left(1\right)$

其中X_j为计算节点的硬件参数（例如CPU类型、内存大小等等）、λ_j为权重（其可按任务需求的不同而被设置为不同的值）；

对上面公式得到的节点计算能力按下面的公式进行归一化处理，以得到计算节点的计算能力C_i：

$C_i=\frac{C_i^{\′}-C_{\min }^{\′}}{C_{\max }^{\′}-C_{\min }^{\′}}*100---\left(2\right)$

其中，C'_max是所有节点实际计算能力最大值，C'_min是所有节点实际计算能力的最小值。

5.根据权利要求4所述的用于分布式环境的异步任务管理装置，其特征在于，基于训练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型：

在同一计算机上运行不同任务类型的异步任务样本（其具有不同的规模参数集合）以获得异步任务样本的运行时间T，并对异步任务样本的运行时间进行线性处理且按照如下公式进行归一化，以获得异步任务样本的运算规模：

$\mathrm{FT}=\frac{T_i-T_{\min }}{T_{\max }-T_{\min }}*100---\left(3\right)$

其中，FT是任务规模，T_min是所有运行时间的最小值，T_max是所有运行时间的最大值。

6.根据权利要求5所述的用于分布式环境的异步任务管理装置，其特征在于，所述预处理单元能够在空闲时间周期性地基于训练样本训练并修正所述任务规模评估模型。

7.根据权利要求6所述的用于分布式环境的异步任务管理装置，其特征在于，所述异步任务管理单元以如下方式基于所述任务规模评估模型确定目标计算节点:（1）解析接收到的异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数集合；（2）将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得与所述异步任务请求相关联的异步任务的任务规模；（3）获取空闲的计算节点列表，并将所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点；（4）如果未找到匹配的目标计算节点，则周期性地执行步骤（3）直至目标计算节点被确定。

8.一种用于分布式环境的异步任务管理方法，所述用于分布式环境的异步任务管理方法包括下列步骤：

（A1）基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；

（A2）基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。