CN116594755B - 一种多平台机器学习任务的在线调度方法及*** - Google Patents

Abstract

本发明提供了一种多平台机器学***台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；分析并获取多个在线平台任务的执行流程之间的流程冲突集；获取机器学***台学习任务的在线调度。

Description

一种多平台机器学习任务的在线调度方法及***

技术领域

本发明涉及机器学***台机器学习任务的在线调度方法及***。

背景技术

机器学***台同时执行机器学***台在同一时间点需要执行的任务数量及任务类型不同，当所需执行的任务达到一定程度时会发生冲突事件，冲突事件的发生会使得一部分任务无法完成，严重情况下甚至会出现***崩溃的情况。

因此，本发明提供一种多平台机器学习任务的在线调度方法及***。

发明内容

本发明提供一种多平台机器学***台的具体任务情况实现在线调度，并通过获取流程冲突集和机器学***台的各任务进行实时调度，有效避免了冲突事件的发生，提高了任务执行效率。

本发明提供一种多平台机器学习任务的在线调度方法，包括：

步骤1：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；

步骤2：分析并获取多个在线平台任务的执行流程之间的流程冲突集；

步骤3：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；

步骤4：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度。

在一种可能实现的方式中，实时获取在线平台数量及每个在线平台所对应的任务数量和任务类型，包括：

获取每个目标平台的当前状态，并统计所述当前状态为在线状态的数量，作为在线平台数量；

根据每个在线平台的运行信息以及任务细则，确定对应在线平台有效信息，基于所述有效信息得到对应在线平台的任务数量及任务类型。

在一种可能实现的方式中，结合同类型任务所需的任务执行时间，获取同平台任务的执行流程，包括：

获取同个在线平台上同类型任务的所有历史执行时间并进行数据分析，得到同类型任务所需的标准任务执行时间；

获取同个在线平台规定的不同类型任务的标准执行顺序，且结合不同类型任务的标准任务执行时间，得到同个在线平台的任务执行流程。

在一种可能实现的方式中，分析并获取多个在线平台任务的执行流程之间的流程冲突集，包括：

获取每个执行流程在同时刻下的执行内容以及执行空间，并统计同时刻下的执行内容数量以及执行空间总量；

当所述执行内容数量大于预设内容数量或执行空间总量大于预设空间总量时，将对应时刻下的所有执行内容进行保留；

基于所有保留结果，得到流程冲突集。

在一种可能实现的方式中，获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型，包括：

根据历史在线数量最大的所有第一平台及每个第一平台相应的历史任务数量及历史任务类型，且结合历史在线数量最大的第一历史运行日志，获取每个第一平台的历史执行流程，并构建得到历史流程构架；

基于所述历史流程构架，确定每个第一平台中每个单独任务类型所对应时间段的同历史执行集；

根据所述同历史执行集获取每个单独任务类型的初始非冲突约束条件；

将所有目标平台中除去第一平台的剩余每个平台视为第二平台；

分别获取含有每个第二平台在线时执行机器学***台的第二执行流程集，构建得到对应第二平台的第二流程子架；

基于所有第二流程子架，构建得到包含所有第二平台在内的第二流程构架；

基于所述第二流程构架，获取每个单独任务类型所对应时间段的第二执行集；

基于所述第二执行集对相应单独任务类型的初始非冲突条件进行第一优化，得到优化非冲突条件；

基于所述第二流程构架确定每个第二平台上同类型任务的执行时长变量区间；

基于所有第二平台的同类型任务对应变量区间的最大变量值及最小变量值，构建得到对应任务类型同变量下的变量矩阵，其中，所述变量矩阵的第一列为最大变量向量，第二列为最小变量向量；

从变量矩阵中随机选取j个数值对所述优化非冲突条件进行验证；

若验证结果为有效，则判定不存在冲突情况，保留优化非冲突条件不变；

否则，判定存在冲突情况，并获取对应任务类型中最大变量向量中的最小值以及最小变量向量中的最大值，对所述优化非冲突条件进行缩小限制，并将缩小限制后的条件保留；

基于所有保留的条件，获取得到机器学习模型可同时执行的任务数量及任务类型。

在一种可能实现的方式中，基于获取结果对所述流程冲突集进行解析，包括：

基于所述机器学***台中不同任务类型的执行优先级以及同平台的总任务优先级；

基于所述任务优先集对实时在线平台及所述在线平台所需执行的任务进行执行顺序排列，得到任务执行顺序。

在一种可能实现的方式中，基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度，包括：

基于获取结果，确定所述流程冲突集中每个冲突流程的允许调度条件；

基于所有允许调度条件，建立调度关系网；

基于所述在线调度关系网对在线平台及所需执行的任务进行在线调度，实现多平台机器学习任务的在线调度。

本发明提供一种多平台机器学习任务的在线调度***，包括：

信息采集模块：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；

冲突分析模块：分析并获取多个在线平台任务的执行流程之间的流程冲突集；

数据整理模块：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；

在线调度模块：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种多平台机器学习任务的在线调度方法的流程图；

图2为本发明实施例中一种多平台机器学习任务的在线调度***的结构图；

图3为本发明实施例中历史流程构架结构图；

图4为本发明实施例中第二流程子架结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供一种多平台机器学习任务的在线调度方法，如图1所示，包括：

步骤1：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；

步骤2：分析并获取多个在线平台任务的执行流程之间的流程冲突集；

步骤3：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；

步骤4：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度。

该实施例中，在线平台的数量可以通过获取所有目标平台的当下状态并进行统计得到，当下状态包含在线状态、离线状态以及断线状态，是需要对在线状态的数量进行统计。

该实施例中，任务类型与该在线平台所执行的功能有关，比如，图片推送任务、视频推送任务、天气情况推送任务等，且不同任务的类型是不一样的，且每个平台涉及到的任务类型是提前设定好的，所以，可以直接获取得到同类型任务所需要的任务执行时间，也就是同个在线平台上当下所囊括的任务是与该平台匹配的，且囊括的任务数量是要小于或等于该平台的允许最大数量的，任务类型是基于该平台当下所存在的任务所对应类型决定的。

该实施例中，比如，该平台存在类型1的任务1与任务2，类型2的任务3，类型3的任务4和5，此时，任务1与任务2的任务执行时间、任务3的任务执行时间、任务4和5的任务执行时间是可以基于该平台所设定的任务细则所匹配得到的，进而方便得到该平台当下在线任务中不同类型任务的执行时间，且不同类型任务的先后执行顺序也是该平台预先设定好的，所以，执行流程比如：任务1与任务2--任务4与任务5--任务3。

该实施例中，任务执行时间是通过对历史执行数据进行分析得来的，一般是对相同类型历史任务的时间进行标准差相关计算，得到标准任务执行时间。

该实施例中，任务执行流程包括不同类型的不同任务的标准执行时间及不同类型任务的标准执行顺序。

该实施例中，流程冲突集用于表征历史执行过程中发生过的冲突情况，通过对历史在线平台的执行流程在同时刻下执行内容数量大于预设内容数量或执行空间总量大于执行预设执行空间总量的情况进行统计，并将发生冲突时的内容作为流程冲突集，比如，预设内容数量为5，在线平台1的执行内容数量为2，在线平台2的执行内容数量为1，在线平台3的执行内容数量为3，此时执行内容数量大于预设内容数量，将此时的在线平台的执行任务内容保存下来用于组成流程冲突集。

该实施例中，机器学习是指从大量数据中，寻找有意义的知识点进行数据挖掘的技术。

该实施例中，可同时执行的任务数量及任务类型是通过对历史在线数量最大时的任务执行情况构建得到历史流程构架，基于所述历史流程构架得到每个单独任务类型的初始非冲突约束条件，并通过对特殊情况下任务执行情况进行构建得到第二流程构架，对初始非冲突条件进行优化，并对优化后的非冲突条件进行验证得到的。

该实施例中，对流程冲突集的解析是指通过流程冲突集获取任务优先集再通过任务优先集对在线平台的任务进行执行顺序排序得到最终的任务执行顺序。

该实施例中，调度关系网是基于获取结果确定流程冲突集中每个冲突流程的允许调度条件建立起来的。

该实施例中，可以通过在线调度网对在线平台所需执行的任务进行在线调度进一步实现多平台机器学习任务的在线调度。

上述技术方案的有益效果是：实时获取在线平台的具体数量及所有在线平台所需执行的任务的具体情况，能够保证执行的机器学习任务的实时性，通过获取执行流程之间的流程冲突集，有效避免了任务执行过程中冲突事件的发生，通过对机器学习模型的具体情况进行采集能够保证同时执行的任务量最大化，有效避免了资源浪费，通过对流程冲突集进行解析并构建得到调度关系网实现在线调度，提高了任务执行的效率。

本发明实施例提供一种多平台机器学***台数量及每个在线平台所对应的任务数量和任务类型，包括：

获取每个目标平台的当前状态，并统计所述当前状态为在线状态的数量，作为在线平台数量；

根据每个在线平台的运行信息以及任务细则，确定对应在线平台有效信息，基于所述有效信息得到对应在线平台的任务数量及任务类型。

该实施例中，当前状态是指当前各平台的运行状态，比如平台在线，平台离线，平台断线等。

该实施例中，运行信息是指平台的运行状态及平台包含的任务情况。

该实施例中，任务细则任务细则是预先由专家对每个不同的平台所确定出来的，包括任务类型、不同任务类型的任务运行时间及任务运行所需的空间大小、不同任务的任务运行细则、不同任务类型的执行先后顺序等在内，可以直接确定出有效信息，任务细则的目的就是为了保证该平台对相关的任务进行合理执行。

该实施例中，有效信息包括对应在线平台所需执行的任务数量，任务类型，任务执行情况及每个任务的任务细则。

上述技术方案的有益效果是：通过对所有目标平台的状态的获取，统计得到在线平台的数量并通过对在线平台的运行情况的解析获取有效信息，进一步确定待执行的任务情况，有效保证了信息的有效性，为后续任务执行流程的获取提供了便利。

本发明实施例提供一种多平台机器学***台任务的执行流程，包括：

获取同个在线平台上同类型任务的所有历史执行时间并进行数据分析，得到同类型任务所需的标准任务执行时间；

获取同个在线平台规定的不同类型任务的标准执行顺序，且结合不同类型任务的标准任务执行时间，得到同个在线平台的任务执行流程。

该实施例中，标准任务执行时间是通过历史执行时间进行数据分析得到的，具体计算过程如下：

；其中，T为标准任务执行时间，/>为历史执行时间的均值，/>为历史执行时间的标准差。

该实施例中，通过历史执行情况得到同平台不同类型任务的历史执行顺序及同任务类型不同平台的历史任务执行顺序，结合得到标准执行顺序，都是预先设定好的。

该实施例中，任务执行流程是指不同类型的任务的总执行顺序及同任务类型中的不同任务的执行顺序，由标准执行顺序和标准任务执行时间结合得到，比如：类型1对应的任务（执行时间t1）--类型2对应的任务（执行时间t2）。

上述技术方案的有益效果是：通过对同类型任务标准执行时间的获取能够对任务的执行情况进行有效预估，通过获取标准执行顺序获得同个在线平台的任务执行流程，有效保证了任务执行的有序性，为后续进行在线调度关系网的构建提供了有效信息。

本发明实施例提供一种多平台机器学***台任务的执行流程之间的流程冲突集，包括：

获取每个执行流程在同时刻下的执行内容以及执行空间，并统计同时刻下的执行内容数量以及执行空间总量；

当所述执行内容数量大于预设内容数量或执行空间总量大于预设空间总量时，将对应时刻下的所有执行内容进行保留；

基于所有保留结果，得到流程冲突集。

该实施例中，同时刻下的执行内容包括不同在线平台的同任务类型的任务需要的执行过程及不同在线平台的不同任务类型的任务需要的执行过程。

该实施例中，执行空间是指每个执行流程在当前时刻相应的任务运行所需的运行空间大小。

该实施例中，预设内容数量及预设空间总量可以通过历史执行情况获取，比如，基于历史执行情况统计发生冲突情况时正常执行的任务的执行内容数量及相应执行内容的运行空间总量，进行多次统计将执行内容数量的最大值作为预设内容数量，将执行空间总量的平均值作为预设空间总量。

该实施例中，保留结果是指发生冲突情况时的所有执行内容。

上述技术方案的有益效果是：通过获取历史流程冲突情况，并对历史冲突情况进行整理解析得到流程冲突集，保证了流程冲突情况的全面性，为后续构建在线关系调度网提供了有效的数据支撑。

本发明实施例提供一种多平台机器学习任务的在线调度方法，获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型，包括：

根据历史在线数量最大的所有第一平台及每个第一平台相应的历史任务数量及历史任务类型，且结合历史在线数量最大的第一历史运行日志，获取每个第一平台的历史执行流程，并构建得到历史流程构架；

基于所述历史流程构架，确定每个第一平台中每个单独任务类型所对应时间段的同历史执行集；

根据所述同历史执行集获取每个单独任务类型的初始非冲突约束条件；

将所有目标平台中除去第一平台的剩余每个平台视为第二平台；

分别获取含有每个第二平台在线时执行机器学***台的第二执行流程集，构建得到对应第二平台的第二流程子架；

基于所有第二流程子架，构建得到包含所有第二平台在内的第二流程构架；

基于所述第二流程构架，获取每个单独任务类型所对应时间段的第二执行集；

基于所述第二执行集对相应单独任务类型的初始非冲突条件进行第一优化，得到优化非冲突条件；

基于所述第二流程构架确定每个第二平台上同类型任务的执行时长变量区间；

基于所有第二平台的同类型任务对应变量区间的最大变量值及最小变量值，构建得到对应任务类型同变量下的变量矩阵，其中，所述变量矩阵的第一列为最大变量向量，第二列为最小变量向量；

从变量矩阵中随机选取j个数值对所述优化非冲突条件进行验证；

若验证结果为有效，则判定不存在冲突情况，保留优化非冲突条件不变；

否则，判定存在冲突情况，并获取对应任务类型中最大变量向量中的最小值以及最小变量向量中的最大值，对所述优化非冲突条件进行缩小限制，并将缩小限制后的条件保留；

基于所有保留的条件，获取得到机器学习模型可同时执行的任务数量及任务类型。

该实施例中，历史在线数量最大是指在历史运行过程中，在线平台中所包含的任务数量总量最大。

该实施例中，第一历史运行日志是指历史在线数量最大时各任务执行的运行日志，一般后台会自动记录相关的运行信息。

该实施例中，历史执行流程是指在历史在线数量最大时的每个在线平台所需执行的任务的执行流程，包括各任务的执行顺序及执行时间。

该实施例中，历史流程构架是指历史执行过程中每个平台的任务类型、任务细则及任务执行流程，历史流程构架的结构图如图3所示，且该图中包含平台1、平台2以及平台3的历史流程，且每个平台的历史流程都包含任务类型1和任务类型2，但是每个平台的任务类型1与任务类型2的执行时间可能不同，其中，历史流程构架包含所有历史在线平台所对应的历程在内，且每个平台的每个任务类型都可以视为一个单独任务类型，以平台1以例，基于平台1的任务类型1的最后执行时间点建立竖向虚线，且竖向虚线左侧涉及到的平台1、2、3的所有任务类型的相关内容即为针对平台1的任务类型1的同历史执行集。

该实施例中，初始非冲突约束条件是指在历史在线数量最大的情况下获取的不同平台的任务在执行过程中不发生冲突的约束条件，具体包括：同时刻下的执行内容数量不大于预设内容数量且执行空间总量不大于预设空间总量，比如，预设内容数量为5，预设空间总量为7，当前时刻共有4个在线平台，且平台1正在执行的内容数量为1，占用的执行空间数量为1，平台2正在执行的内容数量为1，占用的空间数量为2，平台3正在执行的内容数量为2，占用的空间数量为1，平台4正在执行的内容数量为2，占用的空间数量为1，由于总内容数量为6，大于预设内容数量，此时判定执行过程中发生冲突。

该实施例中，在获取第二平台的历史运行日志后，可以根据该日志，得到该平台的流程集，该流程集中包含若干的流程信息，因为每个平台在不同时间下所接收到的任务是不一样的，所以，根据第二历史运行日志，可以得到该平台在不同时段下的执行任务集，该执行任务集即为对应的第二执行流程集，比如，在时段1下，平台1涉及到需要执行的任务类型1和任务类型2，在时段2下，涉及到需要执行的任务类型3和任务类型2，此时，任务类型1和任务类型2、任务类型3和任务类型2构成第二执行流程集。

因为，每个平台对不同类型任务的执行顺序都是预先确定好的，比如，先执行任务类型1，再执行任务类型2，又比如，先执行任务类型2，再执行任务类型3。

如图4所示，a01为第二平台1的第二流程子架，a02为第二平台1的另一个第二流程子架，其中，a01与a02按照时段先后顺序进行摆放，得到的图4摆放结果即为第二流程构架。

该实施例中，第二执行集与第一执行集的获取原理类似，比如，以a01中的任务类型1，对应竖直线a03左侧所对应该构架的所有内容即为第二执行集。

该实施例中，第一优化是指通过第二流程构架得到每个单独任务类型相应时间段的执行情况，并通过执行情况得到第二平台的第二非冲突约束条件，基于第二非冲突约束条件对初始非冲突约束条件进行优化补充得到优化非冲突条件；

比如：初始非冲突约束条件为：，第一优化后的非冲突约束条件为：/>，其中，/>表示任务类型1的调度资源量，/>表示针对任务类型1的最小允许调度资源量，/>表示针对任务类型1的最大允许调度资源量；/>表示针对任务类型1对应优化后的最小允许调度资源量；/>表示针对任务类型1对应优化后的最大允许调度资源量。

从第二执行集，可以获取得到任务类型1相对应的执行情况，比如，执行时间、资源调度类型、资源调度量等在内，因此，如果，任务类型1的资源调度量与初始非冲突约束条件是一样的，则，，如果，任务类型1的资源调度量与初始非冲突约束条件是不一样的，则从z01与z21中筛选较大值作为z11，从z02与z22中筛选较小值作为z12，其中，z21与z22是对应第二执行集所确定的相关的任务类型1的资源调度量的范围（z21,z22）。

该实施例中，比如针对任务类型2，可以筛选a01对应的任务执行时长作为右边界，筛选a02对应的任务执行时长作为左边界，且任务执行时长与对应任务类型的框长度匹配，因此，任务类型的任务执行时长的范围可以为[t01,t02]，因为，对应任务在执行过程中是存在很多变量的，且同类型任务的变量是一致的，所以，可以根据对应的流程构建确定对应任务的执行时长、任务中某个变量（调度变量）的允许调度量等，来确定调度范围，将所有的范围进行排列，构建得到变量矩阵：

其中，表示同变量在平台1 的最小值，/>表示同变量在平台1的最大值；/>表示同变量在平台n的最小值；/>表示同变量在平台n的最大值。

最大变量向量中的最小值即为，中的最小值，最小变量向量中的最大值即为，/>中的最大值，进而可以对同变量的边界进行有效缩小。

比如，优化非冲突条件对应范围为（u01,u02），此时，从筛选作为左边界，从中筛选作为右边界，且左边界小于右边界。

上述技术方案的有益效果是：通过对历史在线数量最大的情况进行分析，得到历史情况下的最大执行范围，并将此范围设置为初始非冲突约束条件，通过约束条件保证了在任务执行的过程中不会发生冲突，通过对初始非冲突条件的优化，使得约束条件更加完成，避免了漏洞的发生，考虑到了所有的可能冲突情况，保证了最大化利用执行空间，为后续构建在线关系调度网提供了便利条件。

本发明实施例提供一种多平台机器学习任务的在线调度方法，基于获取结果对所述流程冲突集进行解析，包括：

基于所述机器学***台中不同任务类型的执行优先级以及同平台的总任务优先级；

基于所述任务优先集对实时在线平台及所述在线平台所需执行的任务进行执行顺序排列，得到任务执行顺序。

该实施例中，任务优先集是指不同平台的不同类型的任务在执行过程中遇到冲突时的优先执行情况，是通过对流程冲突集中发生冲突情况时的任务执行顺序进行排序，经过多次反复验证确定发生冲突时待执行任务的执行优先顺序获取的。

该实施例中，任务执行顺序是指同时刻存在的不同平台的不同类型的任务的执行先后情况。

上述技术方案的有益效果是：通过对流程冲突集进行解析，确定在冲突发生的情况下不同任务的执行优先顺序，保证了在发生冲突时能够优先执行优先级别较高的任务，为构建在线关系调度网提供了有效的保障。

本发明实施例提供一种多平台机器学习任务的在线调度方法，基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度，包括：

基于获取结果，确定所述流程冲突集中每个冲突流程的允许调度条件；

基于所有允许调度条件，建立调度关系网；

基于所述在线调度关系网对在线平台及所需执行的任务进行在线调度，实现多平台机器学习任务的在线调度。

该实施例中，允许调度条件包括预设条件、调度变量、约束条件和目标任务量，其中，预设条件包括：每个平台之间相互独立，每个平台只能被采集到一次在线情况，每个平台与任务情况、任务时段之间一一对应，任务开始后只能执行到结束不能中止；

其中，调度变量包括：平台变量、各平台内任务变量、执行空间变量和执行顺序变量；所述平台变量包括平台数量；所述个平台内任务变量包括各平台包含的任务数量及任务类型；所述执行空间变量用于区分不同类型任务所需的执行空间参数；所述执行顺序变量用于表征实时任务执行顺序；

其中，约束条件包括：每个任务只能执行一次，每个平台在同一时间段内只能执行一个任务等；

其中，目标任务量为在规定长度时间段内任务最大完成数量，具体包括：将某一在线平台在同一时段内的任务完成情况做为任务值，求得在线平台在规定长度时间段内完成的任务数量总值的最大值；

该实施例中，调度关系网的建立过程如下：

基于预设条件、调度变量、约束条件和目标任务量建立调度关系网；

确定每个任务的冲突性质，并基于允许调度条件对冲突性质进行解除，也就是将该冲突消除，来满足在线调度，在构建调度关系网的过程中就需要按照不同的参数来对相应的。

且在确定冲突性质之后，且结合相应的允许调度条件，输入到网构建模型中，自动生成调度关系网，且该网构建模型是基于不同组合的允许调度条件、冲突性质、以及所匹配的专家设定网在内的，因此，可以直接输出得到调度关系网，根据该网来进行在线调度，且该网是包含，比如，平台1原本需要执行任务1，但是此时，平台1中的任务1与任务2显示两者存在时间上的冲突，此时，就需要将任务2调度到平台2，由平台2来对该任务2进行执行，避免时间冲突，又可以将任务及时完成。

上述技术方案的有益效果是：通过对获取结果进行解析得到允许调度条件，保证了条件的有效性，基于允许调度条件建立调度关系网，保证了调度关系网建立的精确性，进一步保证了多平台机器学习任务在线调度的精确性。

本发明实施例提供一种多平台机器学习任务的在线调度***，如图2所示，包括：

信息采集模块：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；

冲突分析模块：分析并获取多个在线平台任务的执行流程之间的流程冲突集；

数据整理模块：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；

在线调度模块：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度。

上述技术方案的有益效果是：实时获取在线平台的具体数量及所有在线平台所需执行的任务的具体情况，能够保证执行的机器学习任务的实时性，通过获取执行流程之间的流程冲突集，有效避免了任务执行过程中冲突事件的发生，通过对机器学习模型的具体情况进行采集能够保证同时执行的任务量最大化，有效避免了资源浪费，通过对流程冲突集进行解析并构建得到调度关系网实现在线调度，提高了任务执行的效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种多平台机器学习任务的在线调度方法，其特征在于，包括：

步骤1：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；

步骤2：分析并获取多个在线平台任务的执行流程之间的流程冲突集；

步骤3：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；

步骤4：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度；

其中，步骤3，包括：

根据历史在线数量最大的所有第一平台及每个第一平台相应的历史任务数量及历史任务类型，且结合历史在线数量最大的第一历史运行日志，获取每个第一平台的历史执行流程，并构建得到历史流程构架；

基于所述历史流程构架，确定每个第一平台中每个单独任务类型所对应时间段的同历史执行集；

根据所述同历史执行集获取每个单独任务类型的初始非冲突约束条件；

将所有目标平台中除去第一平台的剩余每个平台视为第二平台；

分别获取含有每个第二平台在线时执行机器学***台的第二执行流程集，构建得到对应第二平台的第二流程子架；

基于所有第二流程子架，构建得到包含所有第二平台在内的第二流程构架；

基于所述第二流程构架，获取每个单独任务类型所对应时间段的第二执行集；

基于所述第二执行集对相应单独任务类型的初始非冲突条件进行第一优化，得到优化非冲突条件；

基于所述第二流程构架确定每个第二平台上同类型任务的执行时长变量区间；

基于所有第二平台的同类型任务对应变量区间的最大变量值及最小变量值，构建得到对应任务类型同变量下的变量矩阵，其中，所述变量矩阵的第一列为最大变量向量，第二列为最小变量向量；

从变量矩阵中随机选取j个数值对所述优化非冲突条件进行验证；

若验证结果为有效，则判定不存在冲突情况，保留优化非冲突条件不变；

否则，判定存在冲突情况，并获取对应任务类型中最大变量向量中的最小值以及最小变量向量中的最大值，对所述优化非冲突条件进行缩小限制，并将缩小限制后的条件保留；

基于所有保留的条件，获取得到机器学习模型可同时执行的任务数量及任务类型。

2.根据权利要求1所述的一种多平台机器学***台数量以及每个在线平台所对应的任务数量和任务类型，包括：

获取每个目标平台的当前状态，并统计所述当前状态为在线状态的数量，作为在线平台数量；

根据每个在线平台的运行信息以及任务细则，确定对应在线平台有效信息，基于所述有效信息得到对应在线平台的任务数量及任务类型。

3.根据权利要求1所述的一种多平台机器学***台任务的执行流程，包括：

获取同个在线平台上同类型任务的所有历史执行时间并进行数据分析，得到同类型任务所需的标准任务执行时间；

获取同个在线平台规定的不同类型任务的标准执行顺序，且结合不同类型任务的标准任务执行时间，得到同个在线平台的任务执行流程。

4.根据权利要求1所述的一种多平台机器学***台任务的执行流程之间的流程冲突集，包括：

获取每个执行流程在同时刻下的执行内容以及执行空间，并统计同时刻下的执行内容数量以及执行空间总量；

当所述执行内容数量大于预设内容数量或执行空间总量大于预设空间总量时，将对应时刻下的所有执行内容进行保留；

基于所有保留结果，得到流程冲突集。

5.根据权利要求1所述的一种多平台机器学习任务的在线调度方法，其特征在于，步骤4中，基于获取结果对所述流程冲突集进行解析，包括：

基于所述机器学***台中不同任务类型的执行优先级以及同平台的总任务优先级；

基于所述任务优先集对实时在线平台及所述在线平台所需执行的任务进行执行顺序排列，得到任务执行顺序。

6.根据权利要求1所述的一种多平台机器学习任务的在线调度方法，其特征在于，步骤4中，基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度，包括：

基于获取结果，确定所述流程冲突集中每个冲突流程的允许调度条件；

基于所有允许调度条件，建立调度关系网；

基于所述在线调度关系网对在线平台及所需执行的任务进行在线调度，实现多平台机器学习任务的在线调度。

7.一种多平台机器学习任务的在线调度***，其特征在于，包括：

信息采集模块：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；

冲突分析模块：分析并获取多个在线平台任务的执行流程之间的流程冲突集；

数据整理模块：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；

在线调度模块：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度；

其中，数据整理模块，用于：

根据历史在线数量最大的所有第一平台及每个第一平台相应的历史任务数量及历史任务类型，且结合历史在线数量最大的第一历史运行日志，获取每个第一平台的历史执行流程，并构建得到历史流程构架；

基于所述历史流程构架，确定每个第一平台中每个单独任务类型所对应时间段的同历史执行集；

根据所述同历史执行集获取每个单独任务类型的初始非冲突约束条件；

将所有目标平台中除去第一平台的剩余每个平台视为第二平台；

分别获取含有每个第二平台在线时执行机器学***台的第二执行流程集，构建得到对应第二平台的第二流程子架；

基于所有第二流程子架，构建得到包含所有第二平台在内的第二流程构架；

基于所述第二流程构架，获取每个单独任务类型所对应时间段的第二执行集；

基于所述第二执行集对相应单独任务类型的初始非冲突条件进行第一优化，得到优化非冲突条件；

基于所述第二流程构架确定每个第二平台上同类型任务的执行时长变量区间；

基于所有第二平台的同类型任务对应变量区间的最大变量值及最小变量值，构建得到对应任务类型同变量下的变量矩阵，其中，所述变量矩阵的第一列为最大变量向量，第二列为最小变量向量；

从变量矩阵中随机选取j个数值对所述优化非冲突条件进行验证；

若验证结果为有效，则判定不存在冲突情况，保留优化非冲突条件不变；

否则，判定存在冲突情况，并获取对应任务类型中最大变量向量中的最小值以及最小变量向量中的最大值，对所述优化非冲突条件进行缩小限制，并将缩小限制后的条件保留；

基于所有保留的条件，获取得到机器学习模型可同时执行的任务数量及任务类型。