CN111738404A - 模型训练任务处理方法、装置、电子设备和存储介质 - Google Patents

模型训练任务处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111738404A
CN111738404A CN202010381895.3A CN202010381895A CN111738404A CN 111738404 A CN111738404 A CN 111738404A CN 202010381895 A CN202010381895 A CN 202010381895A CN 111738404 A CN111738404 A CN 111738404A
Authority
CN
China
Prior art keywords
model training
training task
operand
model
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010381895.3A
Other languages
English (en)
Other versions
CN111738404B (zh
Inventor
陈伯辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oneplus Technology Shenzhen Co Ltd
Original Assignee
Oneplus Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oneplus Technology Shenzhen Co Ltd filed Critical Oneplus Technology Shenzhen Co Ltd
Priority to CN202010381895.3A priority Critical patent/CN111738404B/zh
Publication of CN111738404A publication Critical patent/CN111738404A/zh
Priority to PCT/CN2021/091635 priority patent/WO2021223686A1/zh
Application granted granted Critical
Publication of CN111738404B publication Critical patent/CN111738404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请涉及移动终端技术领域，特别是涉及一种模型训练任务处理方法、装置、电子设备和存储介质。一个实施例中的方法包括：当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别；根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量；获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行。这样使得模型训练任务能够被移动终端的运算资源合理地执行，而不是接收到模型训练任务即触发执行操作，从而提高训练效率。

Description

模型训练任务处理方法、装置、电子设备和存储介质
技术领域
本申请涉及移动终端技术领域，特别是涉及一种模型训练任务处理方法、装置、电子设备和存储介质。
背景技术
随着科学技术的发展，各种智能设备应用于日常生活，产生了海量的行为数据和信息资源。机器学习应运而生，给人们的生产和生活带来了翻天覆地的变化，通过机器学习的方法可以实现从海量数据中挖掘有价值信息，以更好地服务用户，给用户带来便利。
机器学习大致可以分为确定模型、训练模型和使用模型三个部分，其中，训练模型是机器学习的重要组成部分。传统的模型训练一般存在新增训练任务时，即触发训练任务的执行，而模型训练的计算量一般较大，这样导致模型训练任务的训练效率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种可以提高训练效率的模型训练任务处理方法、装置、电子设备和存储介质。
一种模型训练任务处理方法，所述方法包括：
当接收到待处理的模型训练任务时，识别所述模型训练任务对应的模型类别；
根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量；
获取移动终端的实时使用状态，根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行。
在一个实施例中，所述获取移动终端的实时使用状态包括：
获取移动终端的温度信息以及实时运行进程信息；
根据所述温度信息以及所述实时运行进程信息，确定所述移动终端的实时使用状态。
在一个实施例中，所述根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量包括：
当所述模型训练任务对应的模型类别为神经网络模型时，得到所述模型训练任务对应的运算量等级为最高等级；
当所述模型训练任务对应的模型类别为非神经网络模型时，通过运行所述模型训练任务，得到所述模型训练任务对应的运算量等级；
根据获得的运算量等级以及预设的运算量等级与运算量的关系，确定所述模型训练任务对应的运算量。
在一个实施例中，所述根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行包括：
获取与所述实时使用状态对应的运算量提供数据；
将所述运算量提供数据分别与所述模型训练任务对应的运算量进行比较，筛选得到在所述运算量提供数据承载范围内的模型训练目标任务；
调用所述运算量提供数据对应的运算资源，执行所述模型训练目标任务。
在一个实施例中，所述根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行包括：
调用预设的第一进程，根据所述实时使用状态以及所述模型训练任务对应的运算量，获得可执行的模型训练任务；
分别调用不同的预设的第二进程执行所述可执行的模型训练任务，所述第二进程与所述第一进程为不同的进程。
在一个实施例中，所述根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行包括：
调用预设的进程，根据所述实时使用状态以及所述模型训练任务对应的运算量，获得可执行的模型训练任务；
调用同一个进程执行所述可执行的模型训练任务。
一种模型训练任务处理装置，所述装置包括：
任务识别模块，用于当接收到待处理的模型训练任务时，识别所述模型训练任务对应的模型类别；
运算量确定模块，用于根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量；
任务控制模块，用于获取移动终端的实时使用状态，根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
当接收到待处理的模型训练任务时，识别所述模型训练任务对应的模型类别；
根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量；
获取移动终端的实时使用状态，根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
当接收到待处理的模型训练任务时，识别所述模型训练任务对应的模型类别；
根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量；
获取移动终端的实时使用状态，根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行。
上述模型训练任务处理方法、装置、电子设备和存储介质，当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别；根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量；获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行，而不是接收到模型训练任务即触发执行操作，这样使得模型训练任务能够被移动终端的运算资源合理地执行，从而提高训练效率。
附图说明
图1为一个实施例中模型训练任务处理方法的应用环境图；
图2为一个实施例中模型训练任务处理方法的流程示意图；
图3为一个实施例中模型训练任务处理主从架构的示意图；
图4为一个实施例中模型训练任务对应的运算量的确定步骤的流程示意图；
图5为一个实施例中模型训练任务的执行控制步骤的流程示意图；
图6为一个实施例中模型训练任务处理装置的结构框图；
图7为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的模型训练任务处理方法，可以应用于如图1所示的应用环境中。在用户使用移动终端过程中，收集对预设的模型进行训练所需的数据，当收集到的数据达到预设条件时，触发对应的模型训练请求，模型训练请求携带待处理的模型训练任务。移动终端在接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别；根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量；获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行。其中，移动终端可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑等。具体地，移动终端执行本申请实施例中的模型训练任务处理方法可以通过处理器来执行。
在一个实施例中，如图2所示，提供了一种模型训练任务处理方法，以该方法应用于图1中的移动终端为例进行说明，包括以下步骤：
步骤202，当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别。
模型训练任务是指实现模型功能所需完成的数据训练过程，模型类别是指模型的属性信息，比如模型是神经网络模型还是非神经网络模型。可以在移动终端的处理器搭建模型训练任务处理架构，比如采用主从架构，如图3所示，通过训练管理模块来管理所有的模型训练任务，所有的模型训练任务需要在训练管理模块进行注册，在模型训练任务注册时提供模型类别，通过模型类别区分模型训练任务对应的不同的模型类别。
步骤204，根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量。
不同的模型类别对应不同的运算量，根据预设的模型类别与运算量的关系，比如模型类别A对应的运算量为1个单位，模型类别B对应的运算量为2个单位，等等。根据模型训练任务对应的模型类别以及预设的对应关系，得到模型训练任务对应的运算量。
步骤206，获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行。
移动终端的实时使用状态用于表征移动终端的使用场景。在不同的使用场景下，定义不同的移动终端使用状态，比如在移动终端的熄屏时间超过预设时长时，定义此时移动终端处于睡眠状态。在移动终端处于不同的使用场景下，安排不同运算量的模型训练任务的执行，根据移动终端当前所处情境可提供的运算力来控制待处理的模型训练任务的执行。
上述模型训练任务处理方法，当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别；根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量；获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行，而不是接收到模型训练任务即触发执行操作，这样使得模型训练任务能够被移动终端的运算资源合理地执行，从而提高训练效率。
在一个实施例中，获取移动终端的实时使用状态包括：获取移动终端的温度信息以及实时运行进程信息；根据温度信息以及实时运行进程信息，确定移动终端的实时使用状态。可以通过温度传感器采集移动终端的温度信息，具体可以是采集移动终端的处理器的实时温度。实时进程信息是指移动终端处理器的工作状态，比如处理器处于工作状态还是空闲状态，在工作状态下的负载情况等。具体地，如表1所示，给出了移动终端的五种使用状态以及对应的状态解释。
表1移动终端的使用状态定义
Figure BDA0002482485690000061
在一个实施例中，如图4所示，根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量包括：步骤402，当模型训练任务对应的模型类别为神经网络模型时，得到模型训练任务对应的运算量等级为最高等级；步骤404，当模型训练任务对应的模型类别为非神经网络模型时，通过运行模型训练任务，得到模型训练任务对应的运算量等级；步骤406，根据获得的运算量等级以及预设的运算量等级与运算量的关系，确定模型训练任务对应的运算量。模型训练任务向训练管理模块注册时，提供任务对应的模型类别，比如区分xCNN(Convolutional Neural Network，卷积神经网络)模型类型和其它类型。xCNN模型表示CNN模型的衍生类模型，卷积神经网络模型常用于影像类型的深度神经网络架构，其特点是网络较深，相对所需运算资源也较大。对于xCNN模型，直接将其归类为超高运算量等级。而对于其它类型的模型，训练管理模块在熄屏充电情况下，进行模型训练任务的运算量的探测，通过探测结果对其运算量等级归类，具体的运算量等级与对应的运算力消耗单位如表2所示。其中，运算力消耗单位是指移动终端执行某个运算量等级的模型训练任务，所需消耗的运算力，可以看出，运算量等级越高，对应的运算力消耗越多。以TOPS(Tera Operations Per Second，每秒执行10的12次方次操作)作为处理器运算能力单位为例，1TOPS代表处理器每秒钟可进行10的12次方次操作。
表2运算量等级与对应的运算力消耗单位
运算量等级 运算力消耗单位
低 1
中 2
高 4
超高 8
对于模型训练任务，一般采用SGD(Stochastic Gradient Descent，随机梯度下降)进行训练，即每次训练时在训练集中选取预设批量大小的样本进行训练。在训练过程中，一次迭代表示使用训练集中预设批量大小的样本训练一次，1次时期表示使用训练集中的全部样本训练一次。比如模型训练任务对应的训练集包括1000个样本，预设批量大小batchsize＝10，那么训练整个样本集需要100次迭代，1次时期。如下表3所示,表3是基于某型号处理器获得的运算量等级与迭代时长的关系。
表3运算量等级与对应的训练时长
运算量等级 训练1000个迭代所需时间
低 低于10秒
中 10秒-1分钟
高 超过1分钟
超高 超过10分钟
在一个实施例中，如图5所示，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行包括：步骤502，获取与实时使用状态对应的运算量提供数据；步骤504，将运算量提供数据分别与模型训练任务对应的运算量进行比较，筛选得到在运算量提供数据承载范围内的模型训练目标任务；步骤506，调用运算量提供数据对应的运算资源，执行模型训练目标任务。运算量提供数据是指移动终端处于某个使用状态时可提供的运算力，移动终端处于不同的使用状态对应不同的使用场景，在不同的使用场景下，移动终端可提供的运算力不同，模型训练任务的终止条件也不同。训练管理模块识别移动终端所处的使用场景，在不同的使用场景下安排运行不同运算量等级的模型训练任务。当某个使用场景对应的条件满足时，根据该使用场景可提供的运算力来控制待处理的模型训练任务的执行，如表4所示。比如，移动终端的实时使用状态满足表中第一个使用场景时，此时，移动终端可提供的运算力为8个单位，对照表2可知，可以执行一个超高运算量等级的模型训练任务，或者执行两个高运算等级的模型训练任务…依此类推。
表4
Figure BDA0002482485690000081
在一个实施例中，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行包括：调用预设的第一进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；分别调用不同的预设的第二进程执行可执行的模型训练任务，第二进程与第一进程为不同的进程。训练管理模块以及多个模型训练任务的执行运行在不同的进程，即模型训练任务的控制与模型训练任务的执行分别通过不同的进程进行处理，易于维护，可以提高稳定性。通过在移动终端采用主从架构搭建模型训练任务处理架构，来执行本申请中的模型训练任务处理方法，在此架构下，不同的模型训练任务运行在不同的进程，彼此不会互相影响，单一训练进程异常终止不会影响其它的训练进程。
在一个实施例中，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行包括：调用预设的进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；调用同一个进程执行可执行的模型训练任务。训练管理模块以及多个模型训练任务的执行整合运行在同一个进程，而不同的模型训练任务转化成多个不同的线程来执行，提供了另外一种方式来实现本申请中的模型训练任务处理方法，以满足多样化的需求。
应该理解的是，虽然图2、4-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种模型训练任务处理装置，模型训练任务处理装置包括任务识别模块602、运算量确定模块604以及任务控制模块606。任务识别模块602，用于当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别。运算量确定模块604，用于根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量。任务控制模块606，用于获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行。
在一个实施例中，任务控制模块还用于获取移动终端的温度信息以及实时运行进程信息；根据温度信息以及实时运行进程信息，确定移动终端的实时使用状态。
在一个实施例中，运算量确定模块还用于当模型训练任务对应的模型类别为神经网络模型时，得到模型训练任务对应的运算量等级为最高等级；当模型训练任务对应的模型类别为非神经网络模型时，通过运行模型训练任务，得到模型训练任务对应的运算量等级；根据获得的运算量等级以及预设的运算量等级与运算量的关系，确定模型训练任务对应的运算量。
在一个实施例中，任务控制模块还用于获取与实时使用状态对应的运算量提供数据；将运算量提供数据分别与模型训练任务对应的运算量进行比较，筛选得到在运算量提供数据承载范围内的模型训练目标任务；调用运算量提供数据对应的运算资源，执行模型训练目标任务。
在一个实施例中，任务控制模块还用于调用预设的第一进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；分别调用不同的预设的第二进程执行可执行的模型训练任务，第二进程与第一进程为不同的进程。
在一个实施例中，任务控制模块还用于调用预设的进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；调用同一个进程执行可执行的模型训练任务。
关于模型训练任务处理装置的具体限定可以参见上文中对于模型训练任务处理方法的限定，在此不再赘述。上述模型训练任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是移动终端，图7提供了一种移动终端的内部结构图。该移动终端包括通过***总线连接的处理器、存储器和显示屏。其中，该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。图1中移动终端执行的模型训练任务处理方法具体可以由该移动终端的处理器来完成，即计算机程序被处理器执行时实现一种模型训练任务处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的移动终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别；根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量；获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取移动终端的温度信息以及实时运行进程信息；根据温度信息以及实时运行进程信息，确定移动终端的实时使用状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当模型训练任务对应的模型类别为神经网络模型时，得到模型训练任务对应的运算量等级为最高等级；当模型训练任务对应的模型类别为非神经网络模型时，通过运行模型训练任务，得到模型训练任务对应的运算量等级；根据获得的运算量等级以及预设的运算量等级与运算量的关系，确定模型训练任务对应的运算量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取与实时使用状态对应的运算量提供数据；将运算量提供数据分别与模型训练任务对应的运算量进行比较，筛选得到在运算量提供数据承载范围内的模型训练目标任务；调用运算量提供数据对应的运算资源，执行模型训练目标任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：调用预设的第一进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；分别调用不同的预设的第二进程执行可执行的模型训练任务，第二进程与第一进程为不同的进程。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：调用预设的进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；调用同一个进程执行可执行的模型训练任务。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：当接收到待处理的模型训练任务时，识别模型训练任务对应的模型类别；根据模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定模型训练任务对应的运算量；获取移动终端的实时使用状态，根据实时使用状态以及模型训练任务对应的运算量，控制模型训练任务的执行。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取移动终端的温度信息以及实时运行进程信息；根据温度信息以及实时运行进程信息，确定移动终端的实时使用状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当模型训练任务对应的模型类别为神经网络模型时，得到模型训练任务对应的运算量等级为最高等级；当模型训练任务对应的模型类别为非神经网络模型时，通过运行模型训练任务，得到模型训练任务对应的运算量等级；根据获得的运算量等级以及预设的运算量等级与运算量的关系，确定模型训练任务对应的运算量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取与实时使用状态对应的运算量提供数据；将运算量提供数据分别与模型训练任务对应的运算量进行比较，筛选得到在运算量提供数据承载范围内的模型训练目标任务；调用运算量提供数据对应的运算资源，执行模型训练目标任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：调用预设的第一进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；分别调用不同的预设的第二进程执行可执行的模型训练任务，第二进程与第一进程为不同的进程。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：调用预设的进程，根据实时使用状态以及模型训练任务对应的运算量，获得可执行的模型训练任务；调用同一个进程执行可执行的模型训练任务。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型训练任务处理方法，其特征在于，所述方法包括：
当接收到待处理的模型训练任务时，识别所述模型训练任务对应的模型类别；
根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量；
获取移动终端的实时使用状态，根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行。
2.根据权利要求1所述的方法，其特征在于，所述获取移动终端的实时使用状态包括：
获取移动终端的温度信息以及实时运行进程信息；
根据所述温度信息以及所述实时运行进程信息，确定所述移动终端的实时使用状态。
3.根据权利要求1所述的方法，其特征在于，所述根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量包括：
当所述模型训练任务对应的模型类别为神经网络模型时，得到所述模型训练任务对应的运算量等级为最高等级；
当所述模型训练任务对应的模型类别为非神经网络模型时，通过运行所述模型训练任务，得到所述模型训练任务对应的运算量等级；
根据获得的运算量等级以及预设的运算量等级与运算量的关系，确定所述模型训练任务对应的运算量。
4.根据权利要求1所述的方法，其特征在于，所述根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行包括：
获取与所述实时使用状态对应的运算量提供数据；
将所述运算量提供数据分别与所述模型训练任务对应的运算量进行比较，筛选得到在所述运算量提供数据承载范围内的模型训练目标任务；
调用所述运算量提供数据对应的运算资源，执行所述模型训练目标任务。
5.根据权利要求1所述的方法，其特征在于，所述根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行包括：
调用预设的第一进程，根据所述实时使用状态以及所述模型训练任务对应的运算量，获得可执行的模型训练任务；
分别调用不同的预设的第二进程执行所述可执行的模型训练任务，所述第二进程与所述第一进程为不同的进程。
6.根据权利要求1所述的方法，其特征在于，所述根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行包括：
调用预设的进程，根据所述实时使用状态以及所述模型训练任务对应的运算量，获得可执行的模型训练任务；
调用同一个进程执行所述可执行的模型训练任务。
7.一种模型训练任务处理装置，其特征在于，所述装置包括：
任务识别模块，用于当接收到待处理的模型训练任务时，识别所述模型训练任务对应的模型类别；
运算量确定模块，用于根据所述模型训练任务对应的模型类别以及预设的模型类别与运算量的关系，确定所述模型训练任务对应的运算量；
任务控制模块，用于获取移动终端的实时使用状态，根据所述实时使用状态以及所述模型训练任务对应的运算量，控制所述模型训练任务的执行。
8.根据权利要求7所述的装置，其特征在于，所述任务控制模块还用于获取移动终端的温度信息以及实时运行进程信息；根据所述温度信息以及所述实时运行进程信息，确定所述移动终端的实时使用状态。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
CN202010381895.3A 2020-05-08 2020-05-08 模型训练任务处理方法、装置、电子设备和存储介质 Active CN111738404B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010381895.3A CN111738404B (zh) 2020-05-08 2020-05-08 模型训练任务处理方法、装置、电子设备和存储介质
PCT/CN2021/091635 WO2021223686A1 (zh) 2020-05-08 2021-04-30 模型训练任务处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381895.3A CN111738404B (zh) 2020-05-08 2020-05-08 模型训练任务处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111738404A true CN111738404A (zh) 2020-10-02
CN111738404B CN111738404B (zh) 2024-01-12

Family

ID=72647036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381895.3A Active CN111738404B (zh) 2020-05-08 2020-05-08 模型训练任务处理方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN111738404B (zh)
WO (1) WO2021223686A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021223686A1 (zh) * 2020-05-08 2021-11-11 深圳市万普拉斯科技有限公司 模型训练任务处理方法、装置、电子设备和存储介质
CN113742059A (zh) * 2021-07-15 2021-12-03 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质
WO2022078280A1 (zh) * 2020-10-14 2022-04-21 华为云计算技术有限公司 一种人工智能ai训练的方法、***及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117086866B (zh) * 2023-08-07 2024-04-12 广州中鸣数码科技有限公司 一种基于编程机器人的任务规划训练方法及装置

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577270A (zh) * 2013-10-30 2014-02-12 宇龙计算机通信科技(深圳)有限公司 控制分体式移动终端的使用方法及分体式移动终端
US20140113270A1 (en) * 2012-10-19 2014-04-24 George E. Danis System and method for mobile automated training
CN106095556A (zh) * 2016-06-20 2016-11-09 惠州Tcl移动通信有限公司 一种控制终端进程的方法及***
CN106909488A (zh) * 2017-02-23 2017-06-30 深圳市金立通信设备有限公司 一种cpu温度控制方法及终端
CN107145395A (zh) * 2017-07-04 2017-09-08 北京百度网讯科技有限公司 用于处理任务的方法和装置
US20170308742A1 (en) * 2015-09-16 2017-10-26 Intel Corporation Facial expression recognition using relations determined by class-to-class comparisons
CN107977268A (zh) * 2017-10-13 2018-05-01 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
CN108027889A (zh) * 2016-01-25 2018-05-11 华为技术有限公司 一种用于增量式学习云***的训练、调度方法及相关设备
CN108734293A (zh) * 2017-04-13 2018-11-02 北京京东尚科信息技术有限公司 任务管理***、方法和装置
CN109446783A (zh) * 2018-11-16 2019-03-08 济南浪潮高新科技投资发展有限公司 一种基于机器众包的图像识别高效样本采集方法及***
CN109559734A (zh) * 2018-12-18 2019-04-02 百度在线网络技术（北京）有限公司 声学模型训练的加速方法和装置
CN109634748A (zh) * 2018-12-12 2019-04-16 深圳前海微众银行股份有限公司 集群资源调度方法、装置、设备及计算机可读存储介质
CN109768869A (zh) * 2017-11-06 2019-05-17 ***通信有限公司研究院 一种业务预测方法、***和计算机存储介质
CN109828833A (zh) * 2018-11-02 2019-05-31 上海帆一尚行科技有限公司 一种神经网络训练任务的排队***及其方法
CN109976887A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 调度方法及相关装置
CN110413396A (zh) * 2019-07-30 2019-11-05 广东工业大学 一种资源调度方法、装置、设备及可读存储介质
CN110618870A (zh) * 2019-09-20 2019-12-27 广东浪潮大数据研究有限公司 一种深度学习训练任务的工作方法及装置
CN110750342A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110796245A (zh) * 2019-10-25 2020-02-14 浪潮电子信息产业股份有限公司 卷积神经网络模型的计算方法及装置
CN110928689A (zh) * 2019-12-05 2020-03-27 中国人民解放军军事科学院国防科技创新研究院 面向分布式强化学习训练的自适应资源管理方法及装置
CN111104222A (zh) * 2019-12-16 2020-05-05 上海众源网络有限公司 任务处理方法、装置、计算机设备和存储介质
CN111105006A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种深度学习网络训练***及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330522B (zh) * 2017-07-04 2021-06-08 北京百度网讯科技有限公司 用于更新深度学习模型的方法、装置及***
CN107480717A (zh) * 2017-08-16 2017-12-15 北京奇虎科技有限公司 训练作业处理方法及***、计算设备、计算机存储介质
CN110689134A (zh) * 2018-07-05 2020-01-14 第四范式（北京）技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
CN110175679A (zh) * 2019-05-29 2019-08-27 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN111738404B (zh) * 2020-05-08 2024-01-12 深圳市万普拉斯科技有限公司 模型训练任务处理方法、装置、电子设备和存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140113270A1 (en) * 2012-10-19 2014-04-24 George E. Danis System and method for mobile automated training
CN103577270A (zh) * 2013-10-30 2014-02-12 宇龙计算机通信科技(深圳)有限公司 控制分体式移动终端的使用方法及分体式移动终端
US20170308742A1 (en) * 2015-09-16 2017-10-26 Intel Corporation Facial expression recognition using relations determined by class-to-class comparisons
CN108027889A (zh) * 2016-01-25 2018-05-11 华为技术有限公司 一种用于增量式学习云***的训练、调度方法及相关设备
CN106095556A (zh) * 2016-06-20 2016-11-09 惠州Tcl移动通信有限公司 一种控制终端进程的方法及***
CN106909488A (zh) * 2017-02-23 2017-06-30 深圳市金立通信设备有限公司 一种cpu温度控制方法及终端
CN108734293A (zh) * 2017-04-13 2018-11-02 北京京东尚科信息技术有限公司 任务管理***、方法和装置
CN107145395A (zh) * 2017-07-04 2017-09-08 北京百度网讯科技有限公司 用于处理任务的方法和装置
CN107977268A (zh) * 2017-10-13 2018-05-01 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
CN109768869A (zh) * 2017-11-06 2019-05-17 ***通信有限公司研究院 一种业务预测方法、***和计算机存储介质
CN109976887A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 调度方法及相关装置
CN111105006A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种深度学习网络训练***及方法
CN109828833A (zh) * 2018-11-02 2019-05-31 上海帆一尚行科技有限公司 一种神经网络训练任务的排队***及其方法
CN109446783A (zh) * 2018-11-16 2019-03-08 济南浪潮高新科技投资发展有限公司 一种基于机器众包的图像识别高效样本采集方法及***
CN109634748A (zh) * 2018-12-12 2019-04-16 深圳前海微众银行股份有限公司 集群资源调度方法、装置、设备及计算机可读存储介质
CN109559734A (zh) * 2018-12-18 2019-04-02 百度在线网络技术（北京）有限公司 声学模型训练的加速方法和装置
CN110750342A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 调度方法、装置、电子设备及可读存储介质
CN110413396A (zh) * 2019-07-30 2019-11-05 广东工业大学 一种资源调度方法、装置、设备及可读存储介质
CN110618870A (zh) * 2019-09-20 2019-12-27 广东浪潮大数据研究有限公司 一种深度学习训练任务的工作方法及装置
CN110796245A (zh) * 2019-10-25 2020-02-14 浪潮电子信息产业股份有限公司 卷积神经网络模型的计算方法及装置
CN110928689A (zh) * 2019-12-05 2020-03-27 中国人民解放军军事科学院国防科技创新研究院 面向分布式强化学习训练的自适应资源管理方法及装置
CN111104222A (zh) * 2019-12-16 2020-05-05 上海众源网络有限公司 任务处理方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAEYEON JANG 等: "Adaptive Weapon-to-Target Assignment Model Based on the Real-Time Prediction of Hit Probability", 《DIGITAL OBJECT IDENTIFIER》, vol. 7, pages 72210 - 72220, XP011729499, DOI: 10.1109/ACCESS.2019.2919794 *
YECHENG XIANG 等: "Pipelined Data-Parallel CPU/GPU Scheduling for Multi-DNN Real-Time Inference", 《2019 IEEE REAL-TIME SYSTEMS SYMPOSIUM (RTSS)》, pages 392 - 405 *
刘永波 等: "一种面向分布式机器学习的云计算资源调度方法", no. 12, pages 122 - 125 *
陈思颖 等: "移动云计算随机任务序列的执行调度", 《电脑知识与技术》, vol. 14, no. 21, pages 36 - 39 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021223686A1 (zh) * 2020-05-08 2021-11-11 深圳市万普拉斯科技有限公司 模型训练任务处理方法、装置、电子设备和存储介质
WO2022078280A1 (zh) * 2020-10-14 2022-04-21 华为云计算技术有限公司 一种人工智能ai训练的方法、***及设备
CN113742059A (zh) * 2021-07-15 2021-12-03 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质
CN113742059B (zh) * 2021-07-15 2024-03-29 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111738404B (zh) 2024-01-12
WO2021223686A1 (zh) 2021-11-11

Similar Documents

Publication Publication Date Title
CN111738404B (zh) 模型训练任务处理方法、装置、电子设备和存储介质
CN108399052B (zh) 图片压缩方法、装置、计算机设备和存储介质
CN110674144A (zh) 用户画像生成方法、装置、计算机设备和存储介质
CN112330078B (zh) 用电量预测方法、装置、计算机设备和存储介质
CN110544130A (zh) 流量异动监测方法、装置、计算机设备和存储介质
CN115237710A (zh) 服务器温度预测方法、装置、计算机设备和存储介质
CN108845869B (zh) 并发请求控制方法、装置、计算机设备和存储介质
CN111651454B (zh) 一种数据处理方法、装置及计算机设备
CN110599080A (zh) 业务数据分发处理方法、装置、计算机设备和存储介质
CN112541016A (zh) 用电异常检测方法、装置、计算机设备和存储介质
CN111143147A (zh) 仪器自动调试方法、装置、计算机设备及可读存储介质
WO2020253369A1 (zh) 生成兴趣标签的方法、装置、计算机设备和存储介质
CN111078500A (zh) 运行配置参数的调整方法、装置、计算机设备和存储介质
CN110659435A (zh) 页面数据采集处理方法、装置、计算机设备和存储介质
CN111898035A (zh) 基于物联网的数据处理策略配置方法、装置和计算机设备
CN111680478A (zh) 基于组态软件的报表生成方法、装置、设备和存储介质
CN111190890A (zh) 用户日用电量数据清洗方法、装置、设备和介质
CN110909921A (zh) 中长期风电电量预测方法、装置、计算机设备及存储介质
CN113808727B (zh) 设备监控方法、装置、计算机设备和可读存储介质
CN114266324B (zh) 模型可视化建模方法、装置、计算机设备及存储介质
CN115409345A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN110969430B (zh) 可疑用户的识别方法、装置、计算机设备和存储介质
CN112000428B (zh) 基于机器学习的jvm调优方法、装置和电子装置
CN109190789B (zh) 中长期风电功率预测方法、装置、计算机设备及存储介质
CN111078984A (zh) 网络模型发布方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant