CN114511095A - 数据处理方法及装置、计算设备、存储介质 - Google Patents

数据处理方法及装置、计算设备、存储介质 Download PDF

Info

Publication number
CN114511095A
CN114511095A CN202011282531.6A CN202011282531A CN114511095A CN 114511095 A CN114511095 A CN 114511095A CN 202011282531 A CN202011282531 A CN 202011282531A CN 114511095 A CN114511095 A CN 114511095A
Authority
CN
China
Prior art keywords
training
training samples
evaluation
determining
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011282531.6A
Other languages
English (en)
Inventor
王锴
孙佰贵
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202011282531.6A priority Critical patent/CN114511095A/zh
Publication of CN114511095A publication Critical patent/CN114511095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种数据处理方法及装置、计算设备、存储介质,该方法包括:在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。本申请实施例提高了模型训练精度及准确度。

Description

数据处理方法及装置、计算设备、存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法及装置、计算设备、存储介质。
背景技术
在计算机视觉、自然语言处理、机器控制等人工智能领域中,机器学习模型的应用越来越广泛。在机器学习模型中,分类是一种较为常见的处理任务,例如图像分类、语音识别等技术领域均会使用到分类任务。
现有技术中,机器学习模型使用之前,需要训练获得机器学习模型的模型参数。在训练过程中,为了获得准确的模型参数,可以使用多个训练数据进行多次训练直至训练结果满足训练目标。在每一次训练时,可以计算多个训练样本各自的样本特征,然后将多个样本特征依次输入分类器计算获得多个训练样本各自的预测结果,以利用多个训练样本各自的预测结果以及标签信息,通过损失函数计算此次训练的损失值,以在损失值满足损失阈值时,停止训练。
但是,将多个训练样本各自的预测结果与标签信息输入损失函数时,计算获得的损失值对训练目标的判断会产生一定的误差,会导致模型训练效果较差。
发明内容
有鉴于此,本申请实施例提供一种数据处理方法及装置、计算设备、存储介质,用以解决现有技术中将多个训练样本各自的预测结果与标签信息输入损失函数时,计算获得的损失值对训练目标的判断会产生一定的误差,会导致模型训练效果较差的技术问题。
第一方面,本申请实施例提供一种数据处理方法,包括:
在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;
对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
第二方面,本申请实施例提供一种数据处理方法,包括:
响应于调用目标服务的请求,确定所述目标服务对应的处理资源;
利用所述目标服务对应的处理资源执行如下步骤:
在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;
对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
第三方面,本申请实施例提供一种数据处理方法,包括:
检测用户触发的训练请求,确定待训练的卷积神经网络模型;
在所述卷积神经网络模型的任一次训练任务中,确定多个训练样本分别对应的预测结果;
对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
第四方面,本申请实施例提供一种数据处理装置,包括:
样本预测模块,用于在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;
样本评价模块,用于对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
损失确定模块,用于基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
结果获取模块,用于根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
第五方面,本申请实施例提供一种计算设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用以执行本申请实施例提供的任一种数据处理方法。
第六方面,本申请实施例提供一存储介质,包括:计算机可读存储介质,所述存储介质用于存储一条或多条计算机指令,所述一条或多条计算机指令执行时用以实现本申请实施例提供的任一种数据处理方法。
本申请实施例,在机器学习模型的任一次训练任务中,可以确定多个训练样本分别对应的预测结果。此外,还对该多个训练样本分别进行评价处理,以获得所述多个训练样本分别对应的评价权重,从而利用多个训练样本分别对应的评价权重以及预测结果,确定所述多个训练样本分别对应的损失值。通过对训练样本进行评价处理,以获得评价权重,实现对样本本身的挖掘,获得的评价权重体现了训练样本的鉴别性信息,利用各训练样本的评价权重参与到损失计算可以获得更为准确的损失值,提高训练的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的一个实施例的流程图;
图2为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图3为本申请实施例提供的一种数据处理方法的示例图;
图4为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图5为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图6为本申请实施例提供的一种数据处理装置的一个实施例的结构示意图;
图7为本申请实施例提供的一种计算设备的一个实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地,取决于语境,短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
本申请实施例的技术方案可以应用于机器学习场景,通过挖掘训练样本的的深层更具鉴别性的特征,提高损失度量的精准度,提高模型训练精度。
现有技术中,深度学习模型在训练的过程中,可以引入损失函数,通过损失函数约束深度机器学习模型的训练过程,以获得准确的模型参数。在实际训练过程中,让样本之间的特征关联度更高可以提升模型训练的准确度。但是,在实际训练过程中,普通的损失函数,例如softmax函数、arcface函数等,是利用对每个训练样本进行单独的损失计算再汇总所有训练样本的损失值,在该损失值小于一定损失阈值时,即可以认为深度学习模型满足收敛条件,即可以获取此时的模型参数。在实际应用中,深度学习模型可以快速达到满足收敛的条件,导致模型训练很快获得训练结果,获得的模型参数精确不高。
本申请实施例中,在机器学习模型的任一次训练任务中,可以确定多个训练样本分别对应的预测结果。此外,还对该多个训练样本分别进行评价处理,以获得所述多个训练样本分别对应的评价权重,从而利用多个训练样本分别对应的评价权重以及预测结果,确定所述多个训练样本分别对应的损失值。通过对训练样本进行评价处理,以获得评价权重,实现对样本本身的挖掘,获得的评价权重体现了训练样本的鉴别性信息,利用各训练样本的评价权重参与到损失计算可以获得更为准确的损失值,提高训练的准确度。
下面将结合附图对本申请实施例进行详细描述。
如图1所示,为本申请实施例提供的一种图像处理方法的一个实施例的流程图,所述方法可以包括以下几个步骤:
101:在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果。
本申请实施例提供的超参数优化方法可以应用于计算设备中,该计算设备例如可以包括:计算机、服务器、云端服务器、超级个人计算机、笔记本电脑、平板电脑等,本申请实施例对计算设备的具体类型并不作出过多限定。
在实际应用中,机器学习模型可以应用于词语检索、数据查询、物流追踪、目标检测、广告点击率预测、内容推荐、智能交互、自动驾驶等多种应用背景中。在不同应用领域存在相应的机器学习模型以实现相应的功能。基于应用背景的不同,在确定使用的机器学习模型之后,如果需要使用该机器学习模型,需要对该机器学习模型进行学习,以获得目标模型参数,并最终利用获得的目标模型参数对应的机器学习模型进行以上应用。
机器学习模型在进行参数训练过程中需要进行多次训练,而“训练任务”为机器学习模型在进行参数训练过程中的任一次训练。
多个训练样本可以预先获得。多个训练样本分别对应有标签信息,任一个训练样本的标签信息用于标识该训练样本的实际对应的分类结果或者预测结果。例如,以图像分类为例,假设将图像分类为人脸以及非人脸,那么假设一张实际的人脸图像对应的标签信息可以为1,一张建筑物图像或者一张动物图像对应的标签信息可以为0。
机器学习模型可以对多个训练样本分别提取样本特征,并对各个样本特征分别进行分类计算或者概率估计等估计处理之后,获得各个训练样本分布对应的预测结果。其中,任一个训练样本对应的预测结果包括多个预测概率。
102:对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。
其中,任一个训练样本的评价权重大于0且小于1,例如,某个训练样本的评价权重可以为0.5,另一个训练样本的评价权重可以是0.8。
任一个训练样本的评价权重可以确定该训练样本在多个训练样本中的权重信息,当一个训练样本的权重越大,说明该训练样本对训练结果产生较大的影响,当一个训练样本的权重越小,说明该训练样本对训练结果产生较小的影响。
通过对多个训练样本分别进行评价处理,获得多个训练样本分布对应的评价权重使得各个样本之间的产生一定的关联关系,并对训练结果产生直接影响,以提高训练样本对结果的影响程度,促使模型训练的准确度升高。
103:基于所述多个训练样本分别对应的预测结果与评价权重,计算所述多个训练样本分别对应的损失值。
任一个训练样本对应的损失值可以通过该训练样本的预测结果和评价权重与该训练样本的标签信息之间的差异确定。
将训练样本进行评价处理之后,可以将训练样本的预测结果与评价权重进行结果评价,获得训练样本的损失值。
104:根据多个训练样本分别对应的损失值,获取训练任务的训练结果。
通过多个训练样本分别对应的损失值可以判断此次训练是否满足收敛条件,如果满足,则停止训练,获得的训练结果即可以为此次参与训练的机器学习模型的模型参数;如果不满足,则可以继续训练,获得的训练结果即可以为启动机器学习模型的下一次训练任务继续进行模型训练。
可选地,在根据多个训练样本分别对应的损失值,获取训练任务的训练结果之后,可以基于训练任务的训练结果,确定机器学习模型的目标模型参数。如果训练结果为训练结束,并确定参与此次训练任务的模型参数为机器学习模型的目标模型参数。
本申请实施例中,在机器学习模型的任一次训练任务中,确定多个训练样本分别对应的训练结果。对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。通过对多个训练样本分别进行质量评价,实现对样本的内容挖掘。之后,利用多个训练样本分别对应的预测结果与评价权重,可以确定多个训练样本分别对应的损失值,以根据多个训练样本分别对应的损失值,获取此次训练任务的训练结果。通过对训练样本质量评价,实现样本的内容挖掘,以提供高质量的损失计算,获得准确的训练结果。
作为一个实施例,在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果可以包括:
在机器学习模型的任一次训练任务中,提取多个训练样本分别对应的样本特征;
将多个样本特征分别输入分类器,预测获得多个训练样本分别对应的预测结果。
在机器学习模型的任一次训练任务中,多个训练样本分别对应的样本特征可以通过该机器学习模型的隐藏层计算获得。也即,在机器学习模型的任一次训练任务中,将多个训练样本分别由输入层输入到隐藏层计算获得各个训练样本分别对应的样本特征。
分类器可以对任一个样本特征进行分类计算,以获得该样本特征对应的预测结果。分类器中可以包括至少两个分类类别,在对样本特征进行分类计算时,可以计算该样本特征分别属于所述至少两个分类类别的概率值,获得的至少两个概率值组成的一维向量即可以为该样本特征的预测结果。也即,任一个预测结果可以为至少两个概率值构成的一维向量。
在一种可能的设计中,对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重包括:
将多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重。
可选地,对多个训练样本分别对应的样本特征进行权重计算处理时所采用的权重计算处理方法可以包括定量统计法、预先评定法、对偶比较法等较为常见的权重计算方法,本申请实施例中对权重计算处理方法并不作出过多限定。
本申请实施例中,在机器学习模型的任一次训练任务中,确定多个训练样本分别对应的预测结果时,可以将此次训练任务的多个训练样本分别进行特征提取,获得多个训练样本分别对应的样本特征。将多个训练样本分别输入分类器,可以预测获得多个训练样本分别对应的预测结果。通过对多个训练样本分别进行特征提取以实现样本结果的准确预测。
作为一种可能的实现方式,所述将所述多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重可以包括:
将所述多个训练样本分别对应的样本特征进行注意力机制权重计算,获得所述多个训练样本分别对应的评价权重。
本申请实施例中,采用注意力机制权重计算方法,分别计算多个训练样本的评价权重。采用注意力机制可以对多个训练样本间的关系进行评价,挖掘样本本身与样本间的信息,获得的各个训练样本的评价权重更准确。
作为又一个实施例,所述基于所述多个训练样本分别对应的预测结果与评价权重,计算所述多个训练样本分别对应的损失值包括:
针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果;
将所述多个训练样本分别对应的评价结果输入所述损失函数,计算获得所述多个训练样本分别对应的损失值。
损失函数可以为机器学习模型的学习准则与优化问题相关联,通过最小化损失函数可以获得机器学习模型的模型参数。损失函数可以包括:铰链损失函数(hinge lossfunction)、交叉熵损失函数(cross-entropy loss function)或者指数损失函数(exponential loss function)等。损失函数可以计算训练样本的评价结果与训练样本的标签信息之间的差异,以获得此次训练任务产生的损失值。
作为一种可能的实现方式,所述损失函数包括交叉熵函数。所述多个训练样本分别对应的评价结果依次输入损失函数,计算获得多个训练样本分别对应的损失值可以包括:
将多个训练样本分别对应的评价结果依次输入交叉熵函数,计算获得多个训练样本分别对应的损失值。
在实际应用中,在计算各个训练样本的损失值时,可以实际是比较各训练样本的预测结果与该训练样本的标签信息的差异。
在本申请实施例中,使用评价权重对训练样本的预测结果进行了评价计算,以获得与训练样本自身关联度更高的评价结果。通过获得多个训练样本分别对应的评价结果输入到损失函数,可以计算获得多个训练样本分别对应的损失值。通过对预测结果进行修正,可以使得多个训练样本分别对应的损失值更精确。
在一种可能的设计中,所述将多个训练样本分别对应的评价结果依次输入交叉熵函数,计算获得多个训练样本分别对应的损失值可以包括:
确定多个训练样本分别对应的标签信息;
针对任一个训练样本,将该训练样本对应的标签信息以及评价结果输入所述交叉熵函数,计算获得所述训练样本对应的损失值,以获得所述多个训练样本分别对应的损失值。
在某些实施例中,所述针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果可以包括:
针对任一个训练样本,确定所述训练样本对应预测结果中的多个预测概率;
分别计算所述多个预测概率与所述训练样本对应评价权重的乘积,计算获得多个评价概率;
确定所述多个评价概率构成的所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果。
在分类问题中,机器学习模型可以计算出训练样本分别在每个预设的类目下的预测概率,因此,每个训练样本的预测结果可以为多个预测概率构成的一维向量。通过计算多个预测概率与评价权重的乘积获得多个评价概率,由于评价权重实际小于1,多个评价概率的值小于对应预测概率的值。而损失函数可以对评价结果进行分类的准确度进行度量,从而获得此次的分类结果的损失程度,进行模型训练约束,当约束达到预定阈值时,则停止训练。本申请中,采用评价权重对多个预测概率进行调整,获得的多个评价概率的值小于各自对应的预测概率。参与损失计算的评价结果的值小于原预测结果的值,采用评价结果计算的损失值,相较于现有技术中直接采样预测结果进行损失计算获得的损失值降低,当预定阈值不变时,可以以更缓慢的速度收敛,也就是执行相比于现有技术中更多次的模型训练任务,提高模型训练的准确度。
作为又一个实施例,在实际确定训练任务时,可以通过与用户交互完成。所述在机器学习模型的任一次训练任务中,确定多个训练样本分别对应的预测结果可以包括:
检测用户触发的训练请求,确定待训练的机器学习模型;
确定所述机器学习模型对应的所述多个训练样本;
确定所述机器学习模型的第一模型参数;
启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的所述机器学习模型,计算获得所述多个机器学习模型分别对应的预测结果。
作为又一个实施例,所述利用所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果可以包括:
判断所述多个训练样本分别对应的损失值之和是否满足损失阈值;
如果是,则确定所述训练结果为训练结束,确定所述第一模型参数为所述机器学习模型的目标模型参数。
如果否,则基于所述多个训练样本分别对应的损失值,更新所述第一模型参数,并返回至所述启动所述第一模型的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的机器学习模型,计算获得所述多个训练样本分别对应的预测结果的步骤继续执行。
其中,本申请实施例中所采用的损失阈值与原有直接采用预测结果进行损失计算时使用的损失阈值相同,或者小幅降低,以提高训练准确度。
本申请实施例中,通过检测用户触发的训练请求,确定待训练的机器学习模型,通过与用户交互启动机器学习模型的训练任务。在确定该待训练的机器学习模型的训练任务之后,可以确定该机器学习模型的多个训练样本,以及该机器学习模型的第一模型参数,从而开始启动该第一模型参数的训练任务,将多个训练样本分别输入第一模型参数对应的机器学习模型,计算获得所述多个机器学习模型分别对应的预测结果。
在一种可能的设计中,所述机器学习模型可以包括人脸识别模型,所述多个训练样本可以包括多个人脸样本图像;
所述如果是,确定所述训练结果为训练结果,并确定所述第一模型参数为所述机器学习模型的目标模型参数之后,还可以包括:
检测待识别人脸图像;
将所述待识别人脸图像输入所述目标模型参数对应的人脸识别模型,识别获得所述待识别人脸图像对应的目标身份信息。
进一步,可选地,所述检测用户触发的训练请求,确定待训练的机器学习模型可以包括:
确定多个候选机器学习模型,并为所述用户展示所述多个候选机器学习模型;
检测所述用户针对任一候选机器学习模型触发的训练请求,确定所述用户选择的所述候选机器学习模型为待训练的所述机器学习模型。
用户设备可以展示多个候选机器学习模型,以供用户查看该多个候选机器学习模型,并检测用户针对多个候选机器学习模型中的任一学习算法的选择操作,获得待训练的机器学习模型。
如图2所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括:
201:在机器学习模型的任一次训练任务中,提取多个训练样本分别对应的样本特征。
202:将所述多个样本特征分别输入分类器,预测获得所述多个训练样本分别对应的预测结果。
其中,任一个训练样本对应的预测结果包括多个预测概率。
203:将所述多个训练样本分别对应的样本特征进行注意力机制权重计算,获得所述多个训练样本分别对应的评价权重。
204:针对任一个训练样本,确定所述训练样本对应预测结果中的多个预测概率;分别计算所述多个预测概率与所述训练样本对应评价权重的乘积,计算获得多个评价概率;确定所述多个评价概率构成的所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果。205:将所述多个训练样本分别对应的评价结果输入交叉熵函数,计算获得所述多个训练样本分别对应的损失值。
206:根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
需要说明的是,本申请实施例中部分步骤与前述实施例中部分步骤相同,在此不再赘述。
本申请实施例中,在机器学习模型的任一次训练任务中,提取多个训练样本分别对应的样本特征,通过将多个样本特征分别输入分类器,可以预测获得多个训练样本分别对应的预测结果。而利用多个训练样本分布对应的样本特征进行注意力机制权重计算,可以获得多个训练样本分别对应的评价权重。评价权重可以对训练样本进行评价计算,也即,针对任一个训练样本,确定该训练样本对应预测结果中的多个预测概率,分别计算多个预测概率与该训练样本对应评价权重的乘积,获得多个评价概率,从而该多个评价概率可以构成该训练样本的评价结果。评价结果的评价概率的取值小于对应的预测概率的取值。当采用交叉熵函数对多个训练样本分别对应的评价结果进行损失计算时,计算获得的多个训练样本分别对应的损失值小于采用原有多个训练样本分别对应的预测结果的损失值,在相对与原有采用的损失阈值不变的情况下,可以获得的损失值可以更准确的衡量实际的损失量,提高训练精度。根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果更为准确。
本申请实施例的技术方案可以应用于人工智能交互、数据检索、内容推荐、点击率预测、污水处理监控、智能工厂、工业控制、人脸识别等多种应用领域中。为了便于理解,以实际的人脸识别领域为例对本申请实施例进行详细介绍。
在人脸识别领域中,较为常见的机器学习模型可以包括:卷积神经网络(CNN,Convolutional Neural Networks)、RNN(recursive neural network,卷积神经网络)、DNN(deep neural network,深度神经网络)等。以常用的卷积神经网络为例,基于CNN的人脸识别方法,影响准确度的因素主要有三个:训练数据、CNN架构和损失函数。其中,CNN架构即为机器学习算法的构建的模型。为了使得人脸识别效果准确度更高,往往需要对CNN架构进行准确建模,并对建模后的CNN模型进行训练。基于传统训练方式训练获得的模型参数由于缺乏对训练样本本身的评价,准确度不高,及其容易达到收敛,但是在模型的实际使用过程中又会导致使用效果不佳。
本申请实施例中,以用户使用CNN模型进行人脸识别,并进行订单支付为例对本申请实施例的技术方案进行详细说明。参考图3,假设用户使用计算机M1对CNN模型进行训练,在实际训练时需要进行多次训练以获得准确的模型参数。在检测到用户触发的训练请求,确定301待训练的CNN模型之后,即可以开始进行模型训练。在模型训练的过程中,先是确定302多个训练样本以及第一模型参数。之后,启动303第一模型参数的训练任务,将多个训练样本分别输入所述第一模型参数对应的CNN模型,计算获得所述多个训练样本分别对应的预测结果。
此外,在本申请实施例中,还对多个训练样本分别进行了评价处理304,以获得多个训练样本分别对应的评价权重,从而基于多个训练样本分别对应的预测结果与评价权重,确定305所述多个训练样本分别对应的损失值。
之后,可以判断306多个训练样本分别对应的损失值之和是否满足损失阈值;如果满足,则确定307第一模型参数为目标模型参数;如果不满足,则基于多个训练样本分别对应的损失值,更新所述第一模型参数,并返回至303启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的CNN模型,计算获得所述多个训练样本分别对应的预测结果的步骤继续执行。
通过以上训练过程,可以获得用户用于人脸识别的CNN模型的目标模型参数。此时用户即可以使用该目标模型参数对应的CNN模型开发用于人脸支付的应用程序。假设该应用程序被配置于一手机终端M2中,手机终端M2可以在获取到一个订单的支付请求时,采集308待识别的人脸图像;然后将该待识别的人脸图像输入309到该目标模型参数对应的CNN模型中,识别310获得该待识别人脸图像对应的身份信息。在对该待识别人脸图像对应的身份信息验证之后,完成311订单支付。
在一种可能的设计中,本申请实施例提供的技术方案可以配置于云服务器中,形成可对外提供的服务。参考图4,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括:
401:响应于调用目标服务的请求,确定目标服务对应的处理资源。
利用该目标服务对应的处理资源执行如下步骤:
402:在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果。
403:对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。
404:基于多个训练样本分别对应的预测结果与评价权重,确定多个训练样本分别对应的损失值。
405:根据多个训练样本分别对应的损失值,获取训练任务的训练结果。
本申请实施例中所涉及的与模型训练以及样本评价相关内容与前述实施例中步骤相同,在此不再赘述。
此外,该目标服务还可以提供多个候选机器学习模型,以供用户从中选择需要训练的机器学习模型。目标服务还可以提供各个机器学习模型的训练样本,以便于为用户提供高效的模型训练,提高训练效率。此外,在一些应用中,机器学习模型以及对应的多个训练样本可以由用户端发送至云服务器,此时云服务器可以获取用户上传的机器学习模型以及对应的多个训练任务,利用该目标服务对应的处理资源执行样本评价以及模型训练过程。
本申请实施例中,对机器学习模型的训练样本评价步骤以及任务训练过程可以配置为给用户提供模型训练的目标服务,该目标服务的处理资源可以配置于云服务器中,以便于用户调用该目标服务以从云服务器中获取对应的处理资源,完成样本评价以及模型训练,实现模型在云端的训练,减少用户对训练过程的资源投入,提高训练效率。
在实际应用中,机器学习模型可以为卷积神经网络(CNN,Convolutional NeuralNetworks)模型。参考图5为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括以下几个步骤:
501:检测用户触发的训练请求,确定待训练的卷积神经网络模型。
502:在卷积神经网络模型的任一次训练任务中,确定多个训练样本分别对应的预测结果。
503:对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。
504:基于多个训练样本分别对应的预测结果与评价权重,确定多个训练样本分别对应的损失值。
505:根据多个训练样本分别对应的损失值,获取训练任务的训练结果。
可选地,根据多个训练样本分别对应的损失值,获取训练任务的训练结果之后,可以基于训练任务的训练结果,确定卷积神经网络模型的目标模型参数。如果训练结果为训练结束,确定参与此次训练任务的模型参数为卷积神经网络模型的目标模型参数。
本申请实施例中所涉及的与模型训练以及样本评价相关内容与前述实施例中步骤相同,在此不再赘述。
本申请实施例中,可以检测用户针对卷积神经网络触发的训练请求,确定待训练的卷积神经网络模型。在该卷积神经网络的任一次训练任务中,可以确定多个训练样本分别对应的预测结果。之后,对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。通过对多个训练样本分别进行质量评价,实现对样本的内容挖掘。利用多个训练样本分别对应的预测结果与评价权重,可以确定多个训练样本分别对应的损失值,以根据多个训练样本分别对应的损失值,获取此次训练任务的训练结果。通过对训练样本质量评价,实现样本的内容挖掘,以提供高质量的损失计算,获得准确的训练结果。
如图6所示,为本申请实施例提供的一种数据处理装置的又一个实施例的流程,该装置可以包括:
样本预测模块601:用于在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果。
样本评价模块602:用于对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重。
损失确定模块603:用于基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值。
结果获取模块604:用于根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
本申请实施例中,在机器学习模型的任一次训练任务中,可以确定多个训练样本分别对应的预测结果。之后,对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。通过对多个训练样本分别进行质量评价,实现对样本的内容挖掘。利用多个训练样本分别对应的预测结果与评价权重,可以确定多个训练样本分别对应的损失值,以根据多个训练样本分别对应的损失值,获取此次训练任务的训练结果。通过对训练样本质量评价,实现样本的内容挖掘,以提供高质量的损失计算,获得准确的训练结果。
作为一个实施例,样本预测模块可以包括:
特征提取单元,用于在机器学习模型的任一次训练任务中,提取所述多个训练样本分别对应的样本特征。
结果预测单元,用于将所述多个样本特征分别输入分类器,预测获得所述多个训练样本分别对应的预测结果。
样本评价模块可以包括:
第一计算单元,用于将所述多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重。
在一种可能的设计中,第一计算单元具体可以用于:
将所述多个训练样本分别对应的样本特征进行注意力机制权重计算,获得所述多个训练样本分别对应的评价权重。
作为一种可能的实现方式,损失确定模块可以包括:
第一计算单元,用于针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果。
第二计算单元,用于将所述多个训练样本分别对应的评价结果依次输入所述损失函数,计算获得所述多个训练样本分别对应的损失值。
在某些实施例中,所述损失函数包括交叉熵函数;所述第二计算单元可以包括:
交叉计算子单元,用于将所述多个训练样本分别对应的评价结果输入交叉熵函数,计算获得所述多个训练样本分别对应的损失值。
作为一种可能的实现方式,所述交叉计算子单元具体可以用于:
确定所述多个训练样本分别对应的标签信息;针对任一个训练样本,将所述训练样本对应的标签信息以及评价结果输入所述交叉熵函数,计算获得所述训练样本对应的损失值,以获得所述多个训练样本分别对应的损失值。
作为又一种可能的实现方式,所述第一计算单元可以包括:
概率计算子单元,用于针对任一个训练样本,确定所述训练样本对应预测结果中的多个预测概率。
权重计算子单元用于分别计算所述多个预测概率与所述训练样本对应评价权重的乘积,计算获得多个评价概率。
评价确定子单元,用于确定所述多个评价概率构成的所述训练样本的评价结果,以获得所述多个多个训练样本分别对应的评价结果。
作为一个实施例,所述样本预测模块可以包括:
请求检测单元,用于检测用户触发的训练请求,确定待训练的机器学习模型。
样本确定单元,用于确定所述机器学习模型对应的所述多个训练样本。
参数确定单元,用于确定所述机器学习模型的第一模型参数。
任务启动单元,用于启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的所述机器学习模型,计算获得所述多个训练样本分别对应的预测结果。
所述结果获取模块可以包括:
损失判断单元,用于判断所述多个训练样本分别对应的损失值之和是否满足损失阈值;如果是,确定所述训练结果为训练结束,并确定所述第一模型参数为所述机器学习模型的目标模型参数。
如果否,则基于所述多个训练样本分别对应的损失值,更新所述第一模型参数,并跳转至所述任务启动单元继续执行。
在一种可能的设计中,机器学习模型包括人脸识别模型;所述多个训练样本包括多个人脸样本图像。该装置还可以包括:
图像检测模块,用于检测待识别人脸图像。
模型应用模块,用于将所述待识别人脸图像输入所述目标模型参数对应的人脸识别模型,识别获得所述待识别人脸图像对应的身份信息。
在某些实施例中,请求检测单元可以包括:
模型展示子单元,用于确定多个候选机器学习模型,并为所述用户展示所述多个候选机器学习模型。
模型选择子单元,用于检测所述用户针对任一候选机器学习模型触发的训练请求,确定所述用户选择的所述候选机器学习模型为待训练的所述机器学习模型。
图6所述的数据处理装置可以执行图1所示实施例所述的数据处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的处理组件所执行的各个模块、单元以及子单元的具体实现方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在实际应用中,图6所示的数据处理装置可以配置为一计算设备,参考图7,为本申请实施例提供的一种计算设备的一个实施例的结构示意图,设备可以包括:存储组件701以及处理组件702;存储组件701用于存储一条或多条计算机指令;一条或多条计算机指令被处理组件702调用;
所述处理组件702可以用于:
在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
本申请实施例中,在机器学习模型的任一次训练任务中,可以确定多个训练样本分别对应的预测结果。之后,对多个训练样本分别进行评价处理,获得多个训练样本分别对应的评价权重。通过对多个训练样本分别进行质量评价,实现对样本的内容挖掘。利用多个训练样本分别对应的预测结果与评价权重,可以确定多个训练样本分别对应的损失值,以根据多个训练样本分别对应的损失值,获取此次训练任务的训练结果。通过对训练样本质量评价,实现样本的内容挖掘,以提供高质量的损失计算,获得准确的训练结果。
作为一个实施例,所述处理组件在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果具体可以包括:
在机器学习模型的任一次训练任务中,提取所述多个训练样本分别对应的样本特征;将所述多个样本特征分别输入分类器,预测获得所述多个训练样本分别对应的预测结果。
所述处理组件对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重具体可以包括:
将所述多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重。
在某些实施例中,所述处理组件将所述多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重包括:
将所述多个训练样本分别对应的样本特征进行注意力机制权重计算,获得所述多个训练样本分别对应的评价权重。
作为又一个实施例,所述处理组件基于所述多个训练样本分别对应的预测结果与评价权重,计算所述多个训练样本分别对应的损失值具体可以包括:
针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果;将所述多个训练样本分别对应的评价结果依次输入所述损失函数,计算获得所述多个训练样本分别对应的损失值。
在一种可能的设计中,所述损失函数包括交叉熵函数;所述处理组件将所述多个训练样本分别对应的评价结果依次输入所述损失函数,计算获得所述多个训练样本分别对应的损失值具体可以包括:
将所述多个训练样本分别对应的评价结果输入交叉熵函数,计算获得所述多个训练样本分别对应的损失值。
作为一种可能的实现方式,所述处理组件将所述多个训练样本分别对应的评价结果依次输入所述交叉熵函数,计算获得所述多个训练样本分别对应的损失值具体可以包括:
确定所述多个训练样本分别对应的标签信息;针对任一个训练样本,将所述训练样本对应的标签信息以及评价结果输入所述交叉熵函数,计算获得所述训练样本对应的损失值,以获得所述多个训练样本分别对应的损失值。
在又一种可能的设计中,所述处理组件针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果具体可以包括:
针对任一个训练样本,确定所述训练样本对应预测结果中的多个预测概率;分别计算所述多个预测概率与所述评价权重的乘积,计算获得多个评价概率;确定所述多个评价概率构成的所述训练样本的评价结果,以获得所述多个多个训练样本分别对应的评价结果。
作为又一个实施例,所述处理组件在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果具体可以包括:
检测用户触发的训练请求,确定待训练的机器学习模型;确定所述机器学习模型对应的所述多个训练样本;确定所述机器学习模型的第一模型参数;启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的所述机器学习模型,计算获得所述多个训练样本分别对应的预测结果。
所述处理组件利用所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果具体可以包括:
判断所述多个训练样本分别对应的损失值之和是否满足损失阈值;如果是,确定所述训练结果为训练结束,并确定所述第一模型参数为所述机器学习模型的目标模型参数;如果否,则基于所述多个训练样本分别对应的损失值,更新所述第一模型参数,并返回至所述启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的所述机器学习模型,计算获得所述多个训练样本分别对应的预测结果继续执行。
在一种可能的设计中,所述机器学习模型包括人脸识别模型;所述多个训练样本包括多个人脸样本图像。所述处理组件还可以用于:
检测待识别人脸图像;将所述待识别人脸图像输入所述目标模型参数对应的人脸识别模型,识别获得所述待识别人脸图像对应的身份信息。
在某些实施例中,所述处理组件检测用户触发的训练请求,确定待训练的机器学习模型具体可以包括:
确定多个候选机器学习模型,并为所述用户展示所述多个候选机器学习模型;检测所述用户针对任一候选机器学习模型触发的训练请求,确定所述用户选择的所述候选机器学习模型为待训练的所述机器学习模型。
其中,处理组件702可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件701被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。输入/输出接口为处理组件和***接口模块之间提供接口,上述***接口模块可以是输出设备、输入设备等。通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。
此外,本申请实施例还提供一种计算机可读存储介质,所述存储介质可以存储一条或多条计算机指令,所述一条或多条计算机指令执行时用以实现本申请实施例中任一种数据处理方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种数据处理方法,其特征在于,包括:
在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;
对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
2.根据权利要求1所述的方法,其特征在于,所述在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果包括:
在机器学习模型的任一次训练任务中,提取所述多个训练样本分别对应的样本特征;
将所述多个样本特征分别输入分类器,预测获得所述多个训练样本分别对应的预测结果;
所述对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重包括:
将所述多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重。
3.根据权利要求2所述的方法,其特征在于,所述将所述多个训练样本分别对应的样本特征进行权重计算处理,获得所述多个训练样本分别对应的评价权重包括:
将所述多个训练样本分别对应的样本特征进行注意力机制权重计算,获得所述多个训练样本分别对应的评价权重。
4.根据权利要求1所述的方法,其特征在于,所述基于所述多个训练样本分别对应的预测结果与评价权重,计算所述多个训练样本分别对应的损失值包括:
针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果;
将所述多个训练样本分别对应的评价结果依次输入所述损失函数,计算获得所述多个训练样本分别对应的损失值。
5.根据权利要求4所述的方法,其特征在于,所述损失函数包括交叉熵函数;所述将所述多个训练样本分别对应的评价结果依次输入所述损失函数,计算获得所述多个训练样本分别对应的损失值包括:
将所述多个训练样本分别对应的评价结果输入交叉熵函数,计算获得所述多个训练样本分别对应的损失值。
6.根据权利要求5所述的方法,其特征在于,所述将所述多个训练样本分别对应的评价结果依次输入所述交叉熵函数,计算获得所述多个训练样本分别对应的损失值包括:
确定所述多个训练样本分别对应的标签信息;
针对任一个训练样本,将所述训练样本对应的标签信息以及评价结果输入所述交叉熵函数,计算获得所述训练样本对应的损失值,以获得所述多个训练样本分别对应的损失值。
7.根据权利要求4所述的方法,其特征在于,所述针对任一个训练样本,计算所述训练样本的预测结果与评价权重的乘积,获得所述训练样本的评价结果,以获得所述多个训练样本分别对应的评价结果包括:
针对任一个训练样本,确定所述训练样本对应预测结果中的多个预测概率;
分别计算所述多个预测概率与所述训练样本对应评价权重的乘积,计算获得多个评价概率;
确定所述多个评价概率构成的所述训练样本的评价结果,以获得所述多个多个训练样本分别对应的评价结果。
8.根据权利要求1所述的方法,其特征在于,所述在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果包括:
检测用户触发的训练请求,确定待训练的机器学习模型;
确定所述机器学习模型对应的所述多个训练样本;
确定所述机器学习模型的第一模型参数;
启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的所述机器学习模型,计算获得所述多个训练样本分别对应的预测结果;
所述利用所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果包括:
判断所述多个训练样本分别对应的损失值之和是否满足损失阈值;
如果是,确定所述训练结果为训练结束,并确定所述第一模型参数为所述机器学习模型的目标模型参数;
如果否,则基于所述多个训练样本分别对应的损失值,更新所述第一模型参数,并返回至所述启动所述第一模型参数的训练任务,将所述多个训练样本分别输入所述第一模型参数对应的所述机器学习模型,计算获得所述多个训练样本分别对应的预测结果的步骤继续执行。
9.根据权利要求8所述的方法,其特征在于,所述机器学习模型包括人脸识别模型;所述多个训练样本包括多个人脸样本图像;
所述如果是,确定所述训练结果为训练结束,并确定所述第一模型参数为所述机器学习模型的目标模型参数之后,所述方法还包括:
检测待识别人脸图像;
将所述待识别人脸图像输入所述目标模型参数对应的人脸识别模型,识别获得所述待识别人脸图像对应的身份信息。
10.根据权利要求8所述的方法,其特征在于,所述检测用户触发的训练请求,确定待训练的机器学习模型包括:
确定多个候选机器学习模型,并为所述用户展示所述多个候选机器学习模型;
检测所述用户针对任一候选机器学习模型触发的训练请求,确定所述用户选择的所述候选机器学习模型为待训练的所述机器学习模型。
11.一种数据处理方法,其特征在于,包括:
响应于调用目标服务的请求,确定所述目标服务对应的处理资源;
利用所述目标服务对应的处理资源执行如下步骤:
在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;
对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
12.一种数据处理方法,其特征在于,包括:
检测用户触发的训练请求,确定待训练的卷积神经网络模型;
在所述卷积神经网络模型的任一次训练任务中,确定多个训练样本分别对应的预测结果;
对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
13.一种数据处理装置,其特征在于,包括:
样本预测模块,用于在机器学习模型任一次训练任务中,确定多个训练样本分别对应的预测结果;
样本评价模块,用于对所述多个训练样本分别进行评价处理,获得所述多个训练样本分别对应的评价权重;
损失确定模块,用于基于所述多个训练样本分别对应的预测结果与评价权重,确定所述多个训练样本分别对应的损失值;
结果获取模块,用于根据所述多个训练样本分别对应的损失值,获取所述训练任务的训练结果。
14.一种计算设备,其特征在于,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用以执行权利要求1~10任一项所述的数据处理方法。
15.一种存储介质,其特征在于,包括:计算机可读存储介质,所述存储介质用于存储一条或多条计算机指令,所述一条或多条计算机指令执行时用以实现如权利要求1~10任一项所述的数据处理方法。
CN202011282531.6A 2020-11-16 2020-11-16 数据处理方法及装置、计算设备、存储介质 Pending CN114511095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011282531.6A CN114511095A (zh) 2020-11-16 2020-11-16 数据处理方法及装置、计算设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011282531.6A CN114511095A (zh) 2020-11-16 2020-11-16 数据处理方法及装置、计算设备、存储介质

Publications (1)

Publication Number Publication Date
CN114511095A true CN114511095A (zh) 2022-05-17

Family

ID=81546559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011282531.6A Pending CN114511095A (zh) 2020-11-16 2020-11-16 数据处理方法及装置、计算设备、存储介质

Country Status (1)

Country Link
CN (1) CN114511095A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456168B (zh) * 2022-09-05 2023-08-25 北京百度网讯科技有限公司 强化学习模型的训练方法、能耗确定方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456168B (zh) * 2022-09-05 2023-08-25 北京百度网讯科技有限公司 强化学习模型的训练方法、能耗确定方法和装置

Similar Documents

Publication Publication Date Title
US20190364123A1 (en) Resource push method and apparatus
CN110046706B (zh) 模型生成方法、装置及服务器
CN111369299B (zh) 识别的方法、装置、设备及计算机可读存储介质
CN109816483B (zh) 信息推荐方法及装置、可读存储介质
CN108550065B (zh) 评论数据处理方法、装置及设备
CN108491406B (zh) 信息分类方法、装置、计算机设备和存储介质
CN110334275B (zh) 一种新闻流行度预测方法、设备和存储介质
CN110597965B (zh) 文章的情感极性分析方法、装置、电子设备及存储介质
CN111258593A (zh) 应用程序预测模型的建立方法、装置、存储介质及终端
CN111770353A (zh) 一种直播监控方法、装置、电子设备及存储介质
US10706371B2 (en) Data processing techniques
CN113516144A (zh) 目标检测方法及装置、计算设备
CN113239702A (zh) 意图识别方法、装置、电子设备
CN114817478A (zh) 基于文本的问答方法、装置、计算机设备及存储介质
CN114511095A (zh) 数据处理方法及装置、计算设备、存储介质
CN117540336A (zh) 时间序列预测方法、装置及电子设备
CN112330442A (zh) 基于超长行为序列的建模方法及装置、终端、存储介质
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
CN113221662B (zh) 人脸识别模型的训练方法及装置、存储介质、终端
CN115393914A (zh) 多任务模型训练方法、装置、设备及存储介质
CN113836195A (zh) 一种基于用户画像的知识推荐方法及***
CN113076471A (zh) 信息处理方法及装置、计算设备
CN112328769A (zh) 自动客服的应答方法、装置和计算机可读存储介质
CN114265757A (zh) 一种设备异常检测方法、装置、存储介质及设备
CN112905987A (zh) 账号识别方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination