CN112685457A - 一种套餐推荐机器学习模型的自动化训练***及方法 - Google Patents

一种套餐推荐机器学习模型的自动化训练***及方法 Download PDF

Info

Publication number
CN112685457A
CN112685457A CN202011631914.XA CN202011631914A CN112685457A CN 112685457 A CN112685457 A CN 112685457A CN 202011631914 A CN202011631914 A CN 202011631914A CN 112685457 A CN112685457 A CN 112685457A
Authority
CN
China
Prior art keywords
training
model
program
task
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011631914.XA
Other languages
English (en)
Inventor
汤学良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN202011631914.XA priority Critical patent/CN112685457A/zh
Publication of CN112685457A publication Critical patent/CN112685457A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种套餐推荐机器学习模型的自动化训练***及方法,涉及电信行业机器学习方法建模技术领域,包括用户交互层,用于配置自动化训练任务的训练参数,包括流程调度信息,轮巡监控自动化训练过程,获取模型文件进行质量评估,对训练数据和模型文件进行持久化操作;服务层用于接收用户交互层发来的训练参数,进行自动化训练任务的调度,执行训练任务,对训练数据进行预处理,调用算法进行模型训练,得到模型文件;分布式***基础架构层用于提供用户交互层训练数据和模型文件的分布式文件存储,提供服务层模型训练过程的分布式任务处理。本发明实现自动化模型训练,大大减少了建模人员的工作复杂度,降低了模型开发建模技术门槛。

Description

一种套餐推荐机器学习模型的自动化训练***及方法
技术领域
本发明涉及电信行业机器学习方法建模技术领域,尤其是涉及一种套餐推荐机器学习模型的自动化训练***及方法。
背景技术
通常情况下通用基于机器学习算法框架下的模型开发建模需要经历数据准备、数据预处理、数据特征分析、模型算法选择、模型训练、模型测试、模型评估、训练参数调优、模型保存等一系列操作过程,这些过程步骤对于模型开发者的技术知识背景要求很高,需要精通线性代数、概率论、统计学等数学知识,还要熟练掌握机器学习算法、模型评估、训练参数调优等方法手段后才能够上手建模,模型开发建模技术门槛很高。
电信行业套餐推荐机器学习模型的训练过程通用性要求不高,涉及到的算法数量和训练的过程也相对较为固定,通常情况下会因为数据特征的变化影响模型预测的准确率,进而需要重新进行训练和调整来保证模型预测的准确率;此外,机器学习过程中数据准备、数据预处理、数据特征分析、算法选择、模型测试、模型评估方法仅会在有限范围内发生变动,数据特征和模型变化较为频繁且有固定的变化周期,以上条件为套餐推荐机器学习模型的自动化训练提供了基础。
因此,为减少建模人员的工作复杂度,降低建模人员的专业的机器学习背景知识要求,需建立套餐推荐机器学习模型的自动化训练方法,降低模型开发建模技术门槛。
发明内容
针对上述问题,本发明提供了一种套餐推荐机器学习模型的自动化训练***及方法,降低机器学习算法建模的门槛。
为实现上述目的,本发明提供了一种套餐推荐机器学习模型的自动化训练***,包括:用户交互层、服务层和分布式***基础架构层;
所述用户交互层,用于:
用户配置并保存自动化训练任务的训练参数,包括流程调度信息、终止条件、训练数据、执行方式和预设阈值;
轮巡监控自动化训练过程,获取模型文件;
对模型文件进行质量评估;
对训练数据和模型文件进行持久化操作;
所述服务层,用于:
接收用户交互层发来的所述训练参数;
根据所述流程调度信息进行自动化训练任务的调度,下发训练任务;
执行所述训练任务,对训练数据进行预处理;
根据预处理后的所述训练数据调用算法进行模型训练,得到模型文件;
所述分布式***基础架构层,用于:
提供所述用户交互层训练数据和模型文件的分布式文件存储;
提供所述服务层模型训练过程的分布式任务处理。
作为本发明的进一步改进,所述服务层包括Oozie程序和yarn程序,所述Oozie程序通过对外暴露Restful接口接收用户交互层发来的训练参数;
所述Oozie程序根据流程调度信息提交训练任务到yarn程序,yarn程序执行训练任务。
作为本发明的进一步改进,所述服务层包括spark程序,所述执行训练任务包括:
所述spark程序中运行scala脚本对训练数据进行预处理;
根据预处理后的训练数据调用Spark ML或Spark python程序,运行算法进行模型训练,得到模型文件并反馈Oozie程序。
作为本发明的进一步改进,所述轮巡监控自动化训练过程,获取模型文件,包括:
用户交互层轮巡监控Oozie程序,获取任务执行情况,当执行完成时,获取模型文件。
作为本发明的进一步改进,所述用户交互层将所述训练参数保存为xml文件,所述Oozie程序接收xml文件,经解析获取训练参数。
本发明还提供了一种基于套餐推荐机器学习模型的自动化训练方法,包括:
在用户交互层设置训练参数并发送服务层Oozie程序,训练参数包括流程调度信息、终止条件、训练数据、执行方式和预设阈值;
服务层Oozie程序接收训练参数,根据流程调度信息和所述执行方式启动自动化训练任务并提交yarn程序;
yarn程序启动训练并管理训练,使spark程序中运行scala脚本读取训练数据并进行预处理;
spark程序将预处理后的训练数据传递给Spark ML或Spark python程序中的模型训练算法进行模型训练,生成模型文件;
测试模型文件,根据测试结果及所述预设阈值对模型质量进行评估;
若达到所述预设阈值,则停止训练并保存最终模型;
若未达到所述预设阈值,则调整训练参数重新发起训练,直至模型质量达到所述预设阈值或触发所述终止条件;
保存最终模型文件。
作为本发明的进一步改进,
所述流程调度信息包括自动化训练任务涉及到的流程环节执行顺序;
所述终止条件包括训练时长和最大训练次数;
所述训练数据包括训练数据的存储位置、存储大小、数据主要特征;
所述执行方式包括定时执行或者手动执行,其中,定时执行需要设置执行周期;
预设阈值为模型训练精度的要求值。
作为本发明的进一步改进,启动自动化训练任务时同时启动轮巡监控程序,监控进程通过读取训练日志获取训练过程中各环节的状态,根据各环节的状态判断是否达到终止条件。
作为本发明的进一步改进,所述预处理包括:
将训练数据拆分成训练集、测试集和验证集;
对拆分后的训练数据进行数据清洗、特征选择、特征向量化、非数值特化操作。
作为本发明的进一步改进,所述保存最终模型文件,包括:
将最终模型文件保存成model文件,通过Svn或Git来管理模型版本;
每次训练生成的模型文件存放于版本库。
与现有技术相比,本发明的有益效果为:
本发明建立了套餐推荐机器学习模型的自动化训练***,该***在配置好训练参数后,只需将对应场景的数据集准备好,便可自动化完成训练任务调度,实现自动化任务提交,再由***自动化完成模型训练、模型测试、测试结果评估、参数优化、模型保存等一些列的动作,大大减少了建模人员的工作复杂度,降低建模人员需有专业机器学习背景的要求,同时也降低了模型开发建模技术门槛。
附图说明
图1为本发明一种实施例公开的套餐推荐机器学习模型的自动化训练***示意图;
图2为本发明一种实施例公开的套餐推荐机器学习模型的自动化训练方法流程图;
图3为本发明一种实施例公开的选择NCF算法建立模型时的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
如图1所示,本发明提供的一种套餐推荐机器学习模型的自动化训练***,包括:用户交互层、服务层和分布式***基础架构层;
用户交互层,用于:
用户配置并保存自动化训练任务的训练参数,包括流程调度信息、终止条件、训练数据、执行方式和预设阈值;
轮巡监控自动化训练过程,获取模型文件;
对模型文件进行质量评估;
对训练数据和模型文件进行持久化操作;
其中,
训练参数保存为xml文件;
用户交互层轮巡监控Oozie程序,获取任务执行情况,当执行完成时,获取模型文件;
服务层,用于:
接收用户交互层发来的训练参数;
根据流程调度信息进行自动化训练任务的调度,下发训练任务;
执行训练任务,对训练数据进行预处理;
根据预处理后的训练数据调用算法进行模型训练,得到模型文件;
其中,服务层包括Oozie程序、yarn程序和spark程序,Oozie程序通过对外暴露Restful接口接收用户交互层发来的训练参数,训练参数为xml文件,经解析获取训练参数;Oozie程序根据训练参数中流程调度信息提交训练任务到yarn程序,yarn程序执行训练任务,
进一步的,yarn程序执行训练任务具体包括调用spark程序运行scala脚本对训练数据进行预处理,实现大量数据的分布式和实时性处理;根据预处理后的训练数据调用Spark ML或Spark python程序,运行算法进行模型训练,得到模型文件并反馈Oozie程序。
分布式***基础架构层,用于:
提供用户交互层训练数据和模型文件的分布式文件存储;
提供服务层模型训练过程的分布式任务处理。
如图2所示,本发明还提供了一种基于套餐推荐机器学习模型的自动化训练***的方法,包括:
S1、在用户交互层设置训练参数并发送服务层,训练参数包括流程调度信息、终止条件、训练数据、执行方式和预设阈值;
其中,
流程调度信息包括自动化训练任务涉及到的流程环节执行顺序;
终止条件包括训练时长和最大训练次数;
训练数据包括训练数据的存储位置、存储大小、数据主要特征;
执行方式包括定时执行或者手动执行,其中,定时执行需要设置执行周期;
预设阈值为模型训练精度的要求值。
S2、服务层Oozie程序接收训练参数,根据流程调度信息和执行方式启动自动化训练任务并提交yarn程序;
其中,
启动自动化训练任务时同时启动轮巡监控程序,监控进程通过读取训练日志获取训练过程中各环节的状态,根据各环节的状态判断是否达到终止条件。
S3、yarn程序启动训练并管理训练,使spark程序中运行scala脚本根据训练数据读取训练数据并进行预处理;
其中,预处理包括:
将训练数据拆分成训练集、测试集和验证集;
对拆分后的训练数据进行数据清洗、特征选择、特征向量化、非数值特化操作;
进一步的,
训练集用于模型训练,测试集和验证集用于评估模型质量;
特征选择:可通过xgboost算法实现;
特征向量化:结合one-hot编码以及softmax的模式,为产品每个维度的指标划分区间n,所有维度的区间按固定顺序连接在一起形成向量;
非数值特征转化:可通过建立字段值映射关系实现,如:
"是"->"1","否"->"0",
"yes"->"1","no"->"0",
"USIM"->"1","SIM"->"0",
"BSS"->"1","CBSS"->"0",
"3G"->"3","4G"->"4","2G"->"2",
"UNKNOWN"->"0","unknown"->"0",
"GW"->"1","YW"->"2"。
S4、spark程序将预处理后的训练数据传递给Spark ML或Spark python程序中的模型训练算法进行模型训练,生成模型文件;
其中,
通常用到的模型训练算法有基于神经协同过滤(NCF)的算法、基于用户的协同过滤算法、基于物品的协同过滤算法、基于SlopeOne的协同过滤算法、基于图模型的协同过滤算法、基于LFM的协同过滤算法、基于SVD++的协同过滤算法、基于NMF的协同过滤算法,每种算法适用于不同的套餐推荐业务场景,具体如下表:
Figure BDA0002880241650000071
Figure BDA0002880241650000081
S5、测试模型文件,根据测试结果及预设阈值对模型质量进行评估;
S6、若达到预设阈值,则停止训练并保存最终模型;若未达到预设阈值,则调整训练参数重新发起训练,直至模型质量达到预设阈值或触发终止条件;
S7、保存最终模型文件。
其中,
将最终模型文件保存成model文件,通过Svn或Git来管理模型版本;
每次训练生成的模型文件存放于版本库。
实施例:
首先,基于电信行业套餐推荐业务场景,准备好用于模型训练的目标客户产品推荐历史数据10万条,以某省为例;
步骤1、在用户交互层设置训练参数并发送服务层;
(1)流程调度信息:建模人员在用户交互层调整好流程顺序,自动化训练任务涉及到的流程环节执行顺序为启动训练和流程监控、数据预处理、模型训练、模型测试、测试结果评估、测试结果判断、训练参数调优、终止条件判断、停止训练、模型保存,。
(2)终止条件:模型训练最大时长为3小时,训练任务可执行最大次数为10次;
(3)训练数据:模型训练用原始数据存储位置:ftp://xxx.xxx.xxx.xxx/data;
(4)执行方式:设置为“自动执行”模型训练方式
(5)预设阈值:模型评估预测准确率85%以上。
步骤2、服务层Oozie程序接收训练参数,按照自动执行方式,根据流程调度信息中的各环节的顺序启动自动化训练任务流程,并提交yarn程序;
步骤3、yarn程序启动训练并管理训练(即启动监控程序),使spark程序中运行scala脚本按照模型训练用原始数据存储位置读取训练数据,本次实施例中假定预设比例为7:2:1,则将训练数据拆分成训练数据70%、测试数据20%和验证数据10%;
步骤4、spark程序将预处理后的训练数据传递给Spark ML或Spark python程序中的模型训练算法进行模型训练,如图3所示,以NCF算法训练模型为例,算法程序将spark程序传递过来的预处理后的训练数据拆分成正样本和负样本,提交给深度学习神经网络NCF算法训练模型进行模型训练,当训练次数达到预设最大执行次数10次时,进一步判断是否达到预设训练时长,达到训练时长,则生成模型文件model;
步骤5、测试程序加载模型文件model和验证数据对模型进行测试,根据测试结果判断模型预测准确率是否达到85%以上;
若达到85%以上,则停止训练并保存最终模型;
若未达到85%以上,则调整训练参数重新发起训练,直至模型质量达到预测准确率85%以上或达到模型训练最大时长3小时。
步骤6、保存最终模型文件。
本发明的优点:
建立了套餐推荐机器学习模型的自动化训练***,该***在配置好训练参数后,只需将对应场景的数据集准备好,便可自动化完成训练任务调度,实现自动化任务提交,再由***自动化完成模型训练、模型测试、测试结果评估、参数优化、模型保存等一些列的动作,大大减少了建模人员的工作复杂度,降低建模人员需有专业机器学习背景的要求,同时也降低了模型开发建模技术门槛。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种套餐推荐机器学习模型的自动化训练***,其特征在于,包括:用户交互层、服务层和分布式***基础架构层;
所述用户交互层,用于:
用户配置并保存自动化训练任务的训练参数,包括流程调度信息、终止条件、训练数据、执行方式和预设阈值;
轮巡监控自动化训练过程,获取模型文件;
对模型文件进行质量评估;
对训练数据和模型文件进行持久化操作;
所述服务层,用于:
接收用户交互层发来的所述训练参数;
根据所述流程调度信息进行自动化训练任务的调度,下发训练任务;
执行所述训练任务,对训练数据进行预处理;
根据预处理后的所述训练数据调用算法进行模型训练,得到模型文件;
所述分布式***基础架构层,用于:
提供所述用户交互层训练数据和模型文件的分布式文件存储;
提供所述服务层模型训练过程的分布式任务处理。
2.根据权利要求1所述的自动化训练***,其特征在于:所述服务层包括Oozie程序和yarn程序,所述Oozie程序通过对外暴露Restful接口接收用户交互层发来的训练参数;
所述Oozie程序根据流程调度信息提交训练任务到yarn程序,yarn程序执行训练任务。
3.根据权利要求1或2所述的自动化训练***,其特征在于:所述服务层包括spark程序,所述执行训练任务包括:
所述spark程序中运行scala脚本对训练数据进行预处理;
根据预处理后的训练数据调用Spark ML或Spark python程序,运行算法进行模型训练,得到模型文件并反馈Oozie程序。
4.根据权利要求3所述的自动化训练***,其特征在于,所述轮巡监控自动化训练过程,获取模型文件,包括:
用户交互层轮巡监控Oozie程序,获取任务执行情况,当执行完成时,获取模型文件。
5.根据权利要求1或2所述的自动化训练***,其特征在于:所述用户交互层将所述训练参数保存为xml文件,所述Oozie程序接收xml文件,经解析获取训练参数。
6.一种基于权利要求1~5任一项所述的套餐推荐机器学习模型的自动化训练***的训练方法,其特征在于,包括:
在用户交互层设置训练参数并发送服务层Oozie程序,训练参数包括流程调度信息、终止条件、训练数据、执行方式和预设阈值;
服务层Oozie程序接收训练参数,根据流程调度信息和所述执行方式启动自动化训练任务并提交yarn程序;
yarn程序启动训练并管理训练,使spark程序中运行scala脚本读取训练数据并进行预处理;
spark程序将预处理后的训练数据传递给Spark ML或Spark python程序中的模型训练算法进行模型训练,生成模型文件;
测试模型文件,根据测试结果及所述预设阈值对模型质量进行评估;
若达到所述预设阈值,则停止训练并保存最终模型;
若未达到所述预设阈值,则调整训练参数重新发起训练,直至模型质量达到所述预设阈值或触发所述终止条件;
保存最终模型文件。
7.根据权利要求6所述的训练方法,其特征在于:
所述流程调度信息包括自动化训练任务涉及到的流程环节执行顺序;
所述终止条件包括训练时长和最大训练次数;
所述训练数据包括训练数据的存储位置、存储大小、数据主要特征;
所述执行方式包括定时执行或者手动执行,其中,定时执行需要设置执行周期;
预设阈值为模型训练精度的要求值。
8.根据权利要求6所述的训练方法,其特征在于:
启动自动化训练任务时同时启动轮巡监控程序,监控进程通过读取训练日志获取训练过程中各环节的状态,根据各环节的状态判断是否达到终止条件。
9.根据权利要求6所述的训练方法,其特征在于,所述预处理包括:
将训练数据拆分成训练集、测试集和验证集;
对拆分后的训练数据进行数据清洗、特征选择、特征向量化、非数值特化操作。
10.根据权利要求6所述的训练方法,其特征在于:所述保存最终模型文件,包括:
将最终模型文件保存成model文件,通过Svn或Git来管理模型版本;
每次训练生成的模型文件存放于版本库。
CN202011631914.XA 2020-12-31 2020-12-31 一种套餐推荐机器学习模型的自动化训练***及方法 Pending CN112685457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011631914.XA CN112685457A (zh) 2020-12-31 2020-12-31 一种套餐推荐机器学习模型的自动化训练***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011631914.XA CN112685457A (zh) 2020-12-31 2020-12-31 一种套餐推荐机器学习模型的自动化训练***及方法

Publications (1)

Publication Number Publication Date
CN112685457A true CN112685457A (zh) 2021-04-20

Family

ID=75456106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011631914.XA Pending CN112685457A (zh) 2020-12-31 2020-12-31 一种套餐推荐机器学习模型的自动化训练***及方法

Country Status (1)

Country Link
CN (1) CN112685457A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609779A (zh) * 2021-08-16 2021-11-05 深圳力维智联技术有限公司 分布式机器学习的建模方法、装置及设备
CN113703980A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 一种分布式机器学习***及适用于其的通信调度方法
CN114358158A (zh) * 2021-12-24 2022-04-15 苏州万店掌网络科技有限公司 一种模型训练方法、装置、设备及存储介质
CN115860141A (zh) * 2022-12-23 2023-03-28 深圳市魔数智擎人工智能有限公司 一种自动化机器学习交互式黑箱可视建模方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445953A (zh) * 2018-08-30 2019-03-08 北京大学 一种面向大规模机器学习***的机器学习模型训练方法
CN110263938A (zh) * 2019-06-19 2019-09-20 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN110659741A (zh) * 2019-09-03 2020-01-07 浩鲸云计算科技股份有限公司 一种基于分片式自动学习的ai模型训练***和方法
CN111209077A (zh) * 2019-12-26 2020-05-29 中科曙光国际信息产业有限公司 深度学习框架设计方法
CN111401566A (zh) * 2020-03-19 2020-07-10 中国建设银行股份有限公司 机器学习训练方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445953A (zh) * 2018-08-30 2019-03-08 北京大学 一种面向大规模机器学习***的机器学习模型训练方法
CN110263938A (zh) * 2019-06-19 2019-09-20 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN110659741A (zh) * 2019-09-03 2020-01-07 浩鲸云计算科技股份有限公司 一种基于分片式自动学习的ai模型训练***和方法
CN111209077A (zh) * 2019-12-26 2020-05-29 中科曙光国际信息产业有限公司 深度学习框架设计方法
CN111401566A (zh) * 2020-03-19 2020-07-10 中国建设银行股份有限公司 机器学习训练方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609779A (zh) * 2021-08-16 2021-11-05 深圳力维智联技术有限公司 分布式机器学习的建模方法、装置及设备
CN113609779B (zh) * 2021-08-16 2024-04-09 深圳力维智联技术有限公司 分布式机器学习的建模方法、装置及设备
CN113703980A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 一种分布式机器学习***及适用于其的通信调度方法
CN114358158A (zh) * 2021-12-24 2022-04-15 苏州万店掌网络科技有限公司 一种模型训练方法、装置、设备及存储介质
CN114358158B (zh) * 2021-12-24 2023-10-31 苏州万店掌网络科技有限公司 一种模型训练方法、装置、设备及存储介质
CN115860141A (zh) * 2022-12-23 2023-03-28 深圳市魔数智擎人工智能有限公司 一种自动化机器学习交互式黑箱可视建模方法及***

Similar Documents

Publication Publication Date Title
CN112685457A (zh) 一种套餐推荐机器学习模型的自动化训练***及方法
CN109726103B (zh) 测试报告的生成方法、装置、设备及存储介质
CN109840111B (zh) 一种图形化的业务处理***和方法
CN110390425A (zh) 预测方法以及装置
CN109102245B (zh) 一种审批流程的处理方法、***及装置
CN116976599A (zh) 一种智能排产的方法及相关设备
CN111639034A (zh) 测试方法、装置、设备及计算机存储介质
CN113312468A (zh) 基于对话模式的话术推荐方法、装置、设备及介质
CN113065850B (zh) 用于智能外呼机器人的话术测试方法及装置
CN107291767B (zh) 任务执行时间的优化处理方法和装置
CN117235527A (zh) 端到端容器化的大数据模型构建方法、装置、设备及介质
CN114996331B (zh) 一种数据挖掘控制方法和***
CN116523244A (zh) 一种基于外包资源的测试人力风险预警方法
CN109522234A (zh) 显示测试用例执行进度的方法、***及自动化测试方法
CN114048148A (zh) 一种众包测试报告推荐方法、装置及电子设备
CN115309638A (zh) 协助模型优化的方法及装置
CN115437757A (zh) 调度方法、***、服务器和计算机可读存储介质
CN114066207A (zh) 一种主观客观结合的绩效考核方法及***
CN109754175B (zh) 用于对行政审批事项的办结时限进行压缩预测的计算模型及其应用
CN112016613A (zh) 视频内容分类模型的训练方法、装置、计算机设备及介质
CN117523496B (zh) 一种室内装修过程的监控方法、设备及介质
CN115935533B (zh) 基于参数的产品智能设计***
CN116757452B (zh) 一种用于电缆生产加工的智能排产管理***
CN116187715B (zh) 用于为测试任务安排执行计划的方法及装置
KR20230089756A (ko) 제조데이터 기반 현장수요형 조립공정 도제 지원 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination