CN114781648A - 面向机器学习任务的自动化编排、构建、执行方法及*** - Google Patents
面向机器学习任务的自动化编排、构建、执行方法及*** Download PDFInfo
- Publication number
- CN114781648A CN114781648A CN202210392038.2A CN202210392038A CN114781648A CN 114781648 A CN114781648 A CN 114781648A CN 202210392038 A CN202210392038 A CN 202210392038A CN 114781648 A CN114781648 A CN 114781648A
- Authority
- CN
- China
- Prior art keywords
- task
- module
- execution
- machine learning
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4482—Procedural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向机器学习任务的自动化编排、构建、执行方法及***,本发明构建了基于机器学习任务的自动化编排***,基于用户输入确定任务参数,生成机器学习任务标准化编排文件。设计了基于任务编排文件的任务自动化构建***,解析出任务的数据集大小、算法模型、评价指标,选择合适的任务模板,结合任务代码,构建可执行的机器学习任务。本发明根据可执行的机器学习任务参数,将任务调度到服务器集群进行处理,同时同步监听任务处理过程,直到任务最终执行成功或失败,收集执行结果。本发明解决了海量机器学习任务难以管理的问题,提高了机器学习任务执行效率,提高了结果数据准确性,降低了人为因素干扰,降低了人力成本。
Description
技术领域
本发明属于信息技术领域,涉及一种面向机器学习任务的自动化编排、构建、执行方法及***,具体涉及一种通过构造自动化***,解决机器学习任务的自动化编排、构建、执行问题,提高海量机器学习任务执行效率,降低人工成本。
背景技术
一个完整的机器学习任务大致包括机器任务编排、构建、调度执行以及获取结果多个步骤。通常情况下,开发者需要逐一手动执行每个步骤来完成一个机器学习任务。然而随着互联网发展,数据量呈***式增长,开发者很难高效、准确、完整的执行大量的机器学习任务,从而带来工作量巨大,任务执行效率低下,结果数据不准确等问题。
目前还没有专业的基于机器学习任务的自动化编排、构建、执行***。当前,机器学习任务基本都是由开发者创建任务,然后提交到服务器执行,最后回收执行结果。目前,有的***支持服务器集群的管理,有的***支持机器学习任务的管理,但是没有任何***支持机器学习任务整个完整生命周期的管理。
发明内容
本发明目的在于提出一种面向机器学习任务的自动化编排、构建、执行方法及***,以解决海量机器学习任务难以管理的问题,构建流水线化、并行执行***,提高机器学习任务执行效率,提高结果数据准确性,降低人为因素干扰,降低人力成本。
本发明的方法所采用的技术方案是:一种面向机器学习任务的自动化编排、构建、执行方法,所述编排方法包括以下步骤:
步骤1:创建机器学习任务,包括任务名称和任务类型;所述任务类型包括分类、聚类或预测;
步骤2:根据任务类型,提供建议的数据集以及评价指标;
步骤3:根据选中的数据集以及评价指标提供建议的CPU数量、GPU数量,以及内存大小;
步骤4:生成可解析的标准化任务编排文件;
步骤5:检查任务编排文件合理性;
若合理,则执行下述步骤6;
若不合理,则回转执行上述步骤2;
步骤6:将机器学习任务状态设置为待处理。
本发明还提供了一种面向机器学习任务的自动化编排、构建、执行方法,所述构建方法包括以下步骤:
步骤7:调度器获取状态为待处理的机器学习任务,同时将其状态修改为初始化中;
步骤8:读取任务的标准化任务编排文件,解析文件参数;
步骤9:判断是否正常解析;
若是,则执行下述步骤10;
若否,则将任务状态设置为异常,并回转执行步骤7;
步骤10:读取任务需要的CPU数量、GPU数量、内存数量,依据最佳适配原则以及负载均衡原则,选择合适的服务器作为执行节点;
步骤11:判断是否存在可用节点;
若是,则执行下述步骤12;
若否,则将任务状态设置为待处理,并回转执行步骤7;
步骤12:锁定执行节点的计算资源及存储资源,为任务创建单独的目录;
步骤13:使用远程文件拷贝命令将数据集发送到执行节点,并且解压到指定目录下面;
步骤14:使用远程文件拷贝命令将程序代码发送到执行节点,并且解压到指定目录下面,同时确定执行节点上有该程序代码的执行环境;
步骤15:检查执行环境是否具备;
若是,则执行下述步骤16;
若否,则将任务状态设置为待处理,并回转执行步骤7;
步骤16:初始化执行节点上的运行环境;
步骤17:将任务状态修改为已就绪。
本发明还提供了一种面向机器学习任务的自动化编排、构建、执行方法,所述执行方法包括以下步骤:
步骤18:将机器学习任务状态修改为执行中;
步骤19:远程启动执行节点上的机器学习任务;
步骤20:同步实时监听任务处理过程中的输出的INFO级别以上的日志信息;
步骤21:根据日志模板解析日志信息;
步骤22:判断解析是否成功;
若是,则执行下述步骤23;
若否,则回转执行步骤20;
步骤24:获取任务状态的结构化数据;
步骤25:根据结构化数据更新任务执行进度或状态;
步骤26:判断任务是否执行结束;
若是,则执行下述步骤27;
若否,则回转执行步骤20;
步骤27:收集执行结果,更新任务状态为成功或失败;
步骤28:删除执行节点上的数据集、代码;
步骤29:释放执行节点的计算资源和存储资源;
步骤30:释放执行节点上的运行环境。
本发明的***所采用的技术方案是:一种面向机器学习任务的自动化编排、构建、执行***,所述编排***包括以下模块:
模块1,用于创建机器学习任务,包括任务名称和任务类型;所述任务类型包括分类、聚类或预测;
模块2,用于根据任务类型,提供建议的数据集以及评价指标;
模块3,用于根据选中的数据集以及评价指标提供建议的CPU数量、GPU数量,以及内存大小;
模块4,用于生成可解析的标准化任务编排文件;
模块5,用于检查任务编排文件合理性;
若合理,则执行下述模块6;
若不合理,则回转执行上述模块2;
其中,任务编排文件合理性的判定条件包括:数据集大小与内存大小满足预设要求;数据集类型与使用CPU、GPU情况,数据集类型包括图片数据集、文本数据集、视频数据集,其中文本数据集只允许使用CPU;图片数据集、视频数据集能同时使用CPU、GPU。
模块6,用于将机器学习任务状态设置为待处理。
本发明还提供了一种面向机器学习任务的自动化编排、构建、执行***,,所述构建***包括以下模块:
模块7,用于调度器获取状态为待处理的机器学习任务,同时将其状态修改为初始化中;
模块8,用于读取任务的标准化任务编排文件,解析文件参数;
模块9,用于判断是否正常解析;
若是,则执行下述模块10;
若否,则将任务状态设置为异常,并回转执行模块7;
模块10,用于读取任务需要的CPU数量、GPU数量、内存数量,依据最佳适配原则以及负载均衡原则,选择合适的服务器作为执行节点;
模块11,用于判断是否存在可用节点;
若是,则执行下述模块12;
若否,则将任务状态设置为待处理,并回转执行模块7;
模块12,用于锁定执行节点的计算资源及存储资源,为任务创建单独的目录;
模块13,用于使用远程文件拷贝命令将数据集发送到执行节点,并且解压到指定目录下面;
模块14,用于使用远程文件拷贝命令将程序代码发送到执行节点,并且解压到指定目录下面,同时确定执行节点上有该程序代码的执行环境;
模块15,用于检查执行环境是否具备;
若是,则执行下述模块16;
若否,则将任务状态设置为待处理,并回转执行模块7;
模块16,用于初始化执行节点上的运行环境;
模块17,用于将任务状态修改为已就绪。
本发明还提供了一种面向机器学习任务的自动化编排、构建、执行***,所述执行***包括以下模块:
模块18,用于将机器学习任务状态修改为执行中;
模块19,用于远程启动执行节点上的机器学习任务;
模块20,用于同步实时监听任务处理过程中的输出的INFO级别以上的日志信息;
模块21,用于根据日志模板解析日志信息;
模块22,用于判断解析是否成功;
若是,则执行下述模块23;
若否,则回转执行模块20;
模块23,用于获取任务状态的结构化数据;
模块24,用于根据结构化数据更新任务执行进度或状态;
模块25,用于判断任务是否执行结束;
若是,则执行下述模块26;
若否,则回转执行模块20;
模块26,用于收集执行结果,更新任务状态为成功或失败;
模块27,用于删除执行节点上的数据集、代码;
模块28,用于释放执行节点的计算资源和存储资源;
模块29,用于释放执行节点上的运行环境。
本发明的有益效果主要体现在以下几个方面:
(1)提出了标准化编排文件,依据该编排文件可以正确的解析构建可执行的机器学习任务,并且该解析过程具备幂等性的,保证任务定义的标准化及准确性。
(2)根据标准化编排文件,自动构建环境,其包含执行机器学习任务所需要的一切资源,如编程环境、数据集、代码、计算资源、存储资源等,并且该构建过程支持重复构建,多次构建出来的执行环境是完全相同的,保证任务构建的准确性。
(3)全自动开启任务,监听任务状态,获取任务结果,并且全自动释放和任务相关的所有资源。增强了任务执行效率,提高相关的资源利用率,保证了任务结果数据的准确性。
附图说明
图1为本发明实施例的自动化编排方法流程图;
图2为本发明实施例的自动化构建方法流程图;
图3为本发明实施例的自动化执行方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种面向机器学习任务的自动化编排、构建、执行方法,编排方法包括以下步骤:
(1)进入管理***,打开创建机器学习任务编排界面;
(2)输入机器学习任务名称taskName、选择任务类型taskType;
(3)***根据任务类型taskType,提供建议的数据集Dataset={d1,d2…dn},以及相应的评价指标Measurement={m1,m2…mn};
(4)***根据选择的数据集提供建议的CPU数量nCpu,需要的GPU数量nGpu,需要的内存大小nMem;
(5)依据前述所有配置信息,生成标准化任务编排文件layout;
(6)将任务状态设置为待处理taskStatus=waiting;
(7)保存任务数据到数据库database。
请见图2,本发明提供的一种面向机器学习任务的自动化编排、构建、执行方法,构建方法包括以下步骤:
(1)调度器获任务状态taskStatus=waiting的任务task,将其任务状态修改为初始化中taskStatus=initializing;
(2)读取任务标准化编排文件layout,解析出任务配置参数params={taskName,taskType,dataset,measurement,nCpu,nGpu,nMem};
(3)依据最佳适配原则matchRule以及负载均衡ha原则,选择最合适的服务器node作为执行节点;
(4)锁定执行节点上的计算资源,包括nCpu个CPU、nGpu个GPU、nMen内存的使用权限,创建任务独享目录taskDir;
(5)使用远程文件拷贝命令rsync将数据集文件datafile拷贝到执行节点taskDir目录下;
(6)使用远程文件拷贝命令rsync将程序代码code拷贝到执行节点taskDir目录下;
(7)测试确定执行节点上程序代码code所需要的执行环境env是否正常;
(8)将任务状态修改为已就绪taskStatus=ready。
请见图3,本发明提供的一种面向机器学习任务的自动化编排、构建、执行方法,执行方法包括以下步骤:
(1)将机器学习任务状态修改为执行中taskStatus=running;
(2)远程启动执行节点node上的机器学习任务task;
(3)实时监听任务处理过程中输出的INFO级别以上的日志信息logs={log1,log2,log3…logn};
(4)根据日志模板解析日志log,获取任务状态的结构化数据data={status,startTime,executionTime}等数据;
(5)获取任务当前状态status,如果任务状态是成功或失败status in{success,fail},执行6,否则循环执行3到5;
(6)远程删除执行节点上的数据集datafile;
(7)远程删除执行节点上的代码code;
(8)释放执行节点的计算资源和存储资源,包括nCpu个CPU、nGpu个GPU、nMen内存的使用权限;
(9)删除任务独享目录taskDir。
本发明构建了基于机器学习任务的自动化编排方法,基于用户输入确定任务参数,生成机器学习任务标准化编排文件。
本发明设计了基于任务编排文件的任务自动化构建方法,解析出任务的数据集大小、算法模型、评价指标,选择合适的任务模板,结合任务代码,构建可执行的机器学习任务。
本发明根据可执行的机器学习任务参数,将任务调度到服务器集群进行处理,同时同步监听任务处理过程,直到任务最终执行成功或失败,收集执行结果。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种面向机器学习任务的自动化编排、构建、执行方法,其特征在于,所述编排方法包括以下步骤:
步骤1:创建机器学习任务,包括任务名称和任务类型;所述任务类型包括分类、聚类或预测;
步骤2:根据任务类型,提供建议的数据集以及评价指标;
步骤3:根据选中的数据集以及评价指标提供建议的CPU数量、GPU数量,以及内存大小;
步骤4:生成可解析的标准化任务编排文件;
步骤5:检查任务编排文件合理性;
若合理,则执行下述步骤6;
若不合理,则回转执行上述步骤2;
步骤6:将机器学习任务状态设置为待处理。
2.根据权利要求1所述的面向机器学习任务的自动化编排、构建、执行方法,其特征在于:步骤5中,任务编排文件合理性的判定条件包括:数据集大小与内存大小满足预设要求;数据集类型与使用CPU、GPU情况,数据集类型包括图片数据集、文本数据集、视频数据集,其中文本数据集只允许使用CPU;图片数据集、视频数据集能同时使用CPU、GPU。
3.根据权利要求1所述的面向机器学习任务的自动化编排、构建、执行方法,其特征在于,所述构建方法包括以下步骤:
步骤7:获取状态为待处理的机器学习任务,同时将其状态修改为初始化中;
步骤8:读取任务的标准化任务编排文件,解析文件参数;
步骤9:判断是否正常解析;
若是,则执行下述步骤10;
若否,则将任务状态设置为异常,并回转执行步骤7;
步骤10:读取任务需要的CPU数量、GPU数量、内存数量,依据最佳适配原则以及负载均衡原则,选择合适的服务器作为执行节点;
步骤11:判断是否存在可用节点;
若是,则执行下述步骤12;
若否,则将任务状态设置为待处理,并回转执行步骤7;
步骤12:锁定执行节点的计算资源及存储资源,为任务创建单独的目录;
步骤13:将数据集发送到执行节点,并且解压到指定目录下面;
步骤14:使用远程文件拷贝命令将程序代码发送到执行节点,并且解压到指定目录下面,同时确定执行节点上有该程序代码的执行环境;
步骤15:检查执行环境是否具备;
若是,则执行下述步骤16;
若否,则将任务状态设置为待处理,并回转执行步骤7;
步骤16:初始化执行节点上的运行环境;
步骤17:将任务状态修改为已就绪。
4.根据权利要求3所述的面向机器学习任务的自动化编排、构建、执行方法,其特征在于,所述执行方法包括以下步骤:
步骤18:将机器学习任务状态修改为执行中;
步骤19:启动执行节点上的机器学习任务;
步骤20:同步实时监听任务处理过程中的输出的INFO级别以上的日志信息;
步骤21:根据日志模板解析日志信息;
步骤22:判断解析是否成功;
若是,则执行下述步骤23;
若否,则回转执行步骤20;
步骤23:获取任务状态的结构化数据;
步骤24:根据结构化数据更新任务执行进度或状态;
步骤25:判断任务是否执行结束;
若是,则执行下述步骤26;
若否,则回转执行步骤20;
步骤26:收集执行结果,更新任务状态为成功或失败;
步骤27:删除执行节点上的数据集、代码;
步骤28:释放执行节点的计算资源和存储资源;
步骤29:释放执行节点上的运行环境。
5.一种面向机器学习任务的自动化编排、构建、执行***,其特征在于,所述编排***包括以下模块:
模块1,用于创建机器学习任务,包括任务名称和任务类型;所述任务类型包括分类、聚类或预测;
模块2,用于根据任务类型,提供建议的数据集以及评价指标;
模块3,用于根据选中的数据集以及评价指标提供建议的CPU数量、GPU数量,以及内存大小;
模块4,用于生成可解析的标准化任务编排文件;
模块5,用于检查任务编排文件合理性;
若合理,则执行下述模块6;
若不合理,则回转执行上述模块2;
模块6,用于将机器学习任务状态设置为待处理。
6.根据权利要求5所述的面向机器学习任务的自动化编排、构建、执行***,其特征在于,所述构建***包括以下模块:
模块7,用于获取状态为待处理的机器学习任务,同时将其状态修改为初始化中;
模块8,用于读取任务的标准化任务编排文件,解析文件参数;
模块9,用于判断是否正常解析;
若是,则执行下述模块10;
若否,则将任务状态设置为异常,并回转执行模块7;
模块10,用于读取任务需要的CPU数量、GPU数量、内存数量,依据最佳适配原则以及负载均衡原则,选择合适的服务器作为执行节点;
模块11,用于判断是否存在可用节点;
若是,则执行下述模块12;
若否,则将任务状态设置为待处理,并回转执行模块7;
模块12,用于锁定执行节点的计算资源及存储资源,为任务创建单独的目录;
模块13,用于将数据集发送到执行节点,并且解压到指定目录下面;
模块14,用于使用远程文件拷贝命令将程序代码发送到执行节点,并且解压到指定目录下面,同时确定执行节点上有该程序代码的执行环境;
模块15,用于检查执行环境是否具备;
若是,则执行下述模块16;
若否,则将任务状态设置为待处理,并回转执行模块7;
模块16,用于初始化执行节点上的运行环境;
模块17,用于将任务状态修改为已就绪。
7.根据权利要求6所述的面向机器学习任务的自动化编排、构建、执行***,其特征在于,所述执行***包括以下模块:
模块18,用于将机器学习任务状态修改为执行中;
模块19,用于启动执行节点上的机器学习任务;
模块20,用于同步实时监听任务处理过程中的输出的INFO级别以上的日志信息;
模块21,用于根据日志模板解析日志信息;
模块22,用于判断解析是否成功;
若是,则执行下述模块23;
若否,则回转执行模块20;
模块23,用于获取任务状态的结构化数据;
模块24,用于根据结构化数据更新任务执行进度或状态;
模块25,用于判断任务是否执行结束;
若是,则执行下述模块26;
若否,则回转执行模块20;
模块26,用于收集执行结果,更新任务状态为成功或失败;
模块27,用于删除执行节点上的数据集、代码;
模块28,用于释放执行节点的计算资源和存储资源;
模块29,用于释放执行节点上的运行环境。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210392038.2A CN114781648A (zh) | 2022-04-14 | 2022-04-14 | 面向机器学习任务的自动化编排、构建、执行方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210392038.2A CN114781648A (zh) | 2022-04-14 | 2022-04-14 | 面向机器学习任务的自动化编排、构建、执行方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114781648A true CN114781648A (zh) | 2022-07-22 |
Family
ID=82430050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210392038.2A Granted CN114781648A (zh) | 2022-04-14 | 2022-04-14 | 面向机器学习任务的自动化编排、构建、执行方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114781648A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117009089A (zh) * | 2023-09-28 | 2023-11-07 | 南京庆文信息科技有限公司 | 基于分布式计算与uwb定位的机器人集群监督管理*** |
CN117076090A (zh) * | 2023-10-10 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 任务模型的构建方法、装置、设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245003A (zh) * | 2019-06-06 | 2019-09-17 | 中信银行股份有限公司 | 一种机器学习单机算法编排***及方法 |
CN112418438A (zh) * | 2020-11-24 | 2021-02-26 | 国电南瑞科技股份有限公司 | 基于容器的机器学习流程化训练任务执行方法及*** |
US20210064346A1 (en) * | 2019-08-30 | 2021-03-04 | Bull Sas | Support system for designing an artificial intelligence application, executable on distributed computing platforms |
KR20210085490A (ko) * | 2019-12-30 | 2021-07-08 | 숙명여자대학교산학협력단 | Gpu 응용을 위한 기계 학습 기반 작업 배치 방법 |
-
2022
- 2022-04-14 CN CN202210392038.2A patent/CN114781648A/zh active Granted
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245003A (zh) * | 2019-06-06 | 2019-09-17 | 中信银行股份有限公司 | 一种机器学习单机算法编排***及方法 |
US20210064346A1 (en) * | 2019-08-30 | 2021-03-04 | Bull Sas | Support system for designing an artificial intelligence application, executable on distributed computing platforms |
KR20210085490A (ko) * | 2019-12-30 | 2021-07-08 | 숙명여자대학교산학협력단 | Gpu 응용을 위한 기계 학습 기반 작업 배치 방법 |
CN112418438A (zh) * | 2020-11-24 | 2021-02-26 | 国电南瑞科技股份有限公司 | 基于容器的机器学习流程化训练任务执行方法及*** |
Non-Patent Citations (1)
Title |
---|
朱嘉舟;邵培南;陈景;: "影像数据分布并行计算处理平台体系架构研究", 计算机工程, no. 05, 15 May 2017 (2017-05-15) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117009089A (zh) * | 2023-09-28 | 2023-11-07 | 南京庆文信息科技有限公司 | 基于分布式计算与uwb定位的机器人集群监督管理*** |
CN117009089B (zh) * | 2023-09-28 | 2023-12-12 | 南京庆文信息科技有限公司 | 基于分布式计算与uwb定位的机器人集群监督管理*** |
CN117076090A (zh) * | 2023-10-10 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 任务模型的构建方法、装置、设备及计算机可读存储介质 |
CN117076090B (zh) * | 2023-10-10 | 2024-03-19 | 腾讯科技(深圳)有限公司 | 任务模型的构建方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10162612B2 (en) | Method and apparatus for inventory analysis | |
EP3182280B1 (en) | Machine for development of analytical models | |
WO2023071075A1 (zh) | 机器学习模型自动化生产线构建方法及*** | |
CN104572122B (zh) | 一种软件应用数据的生成装置及方法 | |
CN107612886B (zh) | 一种Spark平台Shuffle过程压缩算法决策方法 | |
US7424702B1 (en) | Data integration techniques for use in enterprise architecture modeling | |
CN114781648A (zh) | 面向机器学习任务的自动化编排、构建、执行方法及*** | |
CN111125444A (zh) | 大数据任务调度管理方法、装置、设备及存储介质 | |
Bei et al. | Configuring in-memory cluster computing using random forest | |
CN112882810B (zh) | 基于超级计算机的高通量任务处理方法 | |
US11256608B2 (en) | Generating test plans for testing computer products based on product usage data | |
CN111930357B (zh) | 一种可视化建模作业流调度引擎的构建方法 | |
CN112799782B (zh) | 模型生成***、方法、电子设备及存储介质 | |
US12056520B2 (en) | Graph-based diagnostics and recovery for cloud system | |
CN112052082A (zh) | 任务属性优化方法、装置、服务器及存储介质 | |
Banjongkan et al. | A Study of Job Failure Prediction at Job Submit-State and Job Start-State in High-Performance Computing System: Using Decision Tree Algorithms [J] | |
CN117675838A (zh) | 一种智能量测主站数据自动同步及共享方法及*** | |
de Andrade et al. | Software deployment on heterogeneous platforms: A systematic mapping study | |
Cunha et al. | Context-aware execution migration tool for data science Jupyter Notebooks on hybrid clouds | |
CN113886111A (zh) | 一种基于工作流的数据分析模型计算引擎***及运行方法 | |
CN117235527A (zh) | 端到端容器化的大数据模型构建方法、装置、设备及介质 | |
CN116643950B (zh) | 一种基于FaaS的云原生应用自动化运维方法 | |
Bausch et al. | Bioopera: Cluster-aware computing | |
CN112559525A (zh) | 数据检查***、方法、装置和服务器 | |
CN109151021B (zh) | 一种分布式存储***文件锁特性测试方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |