CN114004364A - 采样优化方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种采样优化方法、装置、设备及存储介质，该采样优化方法包括：获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；基于所述每个图像样本的特征构建概率函数；基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。本申请实施例，可以对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。

Description

采样优化方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种采样优化方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，各类深度学习模型逐渐开始应用。在深度学习模型的训练过程中，训练样本的采样概率，是提升深度学习模型的训练效率和模型性能的重要手段。如，重要性采样通过增大损失函数大的样本的采样概率，提升了训练速度。

然而，现有的采样方法(如重要性采样)主要用于简单样本比较多的场景，因此，对不同场景的深度学习模型的训练任务，如何进行训练样本的采样概率的优化，是亟待解决的重要问题。

发明内容

本公开实施例至少提供一种采样优化方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种采样优化方法，包括：

获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；

对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；

基于所述每个图像样本的特征构建概率函数；

基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

本公开实施例中，首先对目标模型进行预训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征，然后基于所述每个图像样本的特征构建概率函数，再基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，如此，可以实现对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。

根据第一方面，在一种可能的实施方式中，所述基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，包括：

通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率；

基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练；

基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。

本实施方式中，通过将贝叶斯优化将微训练结合，大幅度地缩减了搜索采样概率所消耗的计算资源，可以提升采样概率优化的效率。

根据第一方面，在一种可能的实施方式中，所述基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率，包括：

基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率；

基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果；

重复上述步骤，直到各个微训练的次数总和大于或等于所述预设的总的训练次数，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率。

本实施方式中，在各个微训练的次数总和大于或等于所述预设的总的训练次数的情况下，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率，可以在保证得到的采样概率是较优的情况下，避免了训练次数过多而导致的资源浪费的情况发生。

根据第一方面，在一种可能的实施方式中，所述根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率，包括：

将各个微训练结果中微训练结果最好所对应的每个图像样本的采样概率，确定为所述每个图像样本的目标采样概率。

根据第一方面，在一种可能的实施方式中，所述对所述训练样本数据集进行初始采样，包括：

以相同的采样概率对所述训练样本数据集进行所述初始采样。

根据第一方面，在一种可能的实施方式中，所述每个图像样本的特征包括所述每个图像样本的损失函数值和/或所述每个图像样本的密度值。

根据第一方面，在一种可能的实施方式中，所述概率函数包括分段线性函数及所述每个图像样本的各个特征的线性加权函数，所述概率函数中的超参数包括所述每个图像样本的各个特征的权重系数及所述分段线性函数的分段端点和所述分段端点处的函数值。

根据第一方面，在一种可能的实施方式中，所述方法还包括：

以所述每个图像样本的目标采样概率对所述训练样本数据集进行采样，基于采样结果对所述目标模型进行训练，得到训练好的目标模型。

本公开实施例中，采用目标采样概率对对所述目标模型进行训练，可以提升目标模型的训练效率及模型性能。

第二方面，本公开实施例提供了一种采样优化装置，包括：

样本获取模块，用于获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；

模型训练模块，用于对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；

函数构建模块，用于基于所述每个图像样本的特征构建概率函数；

概率优化模块，用于基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

根据第二方面，在一种可能的实施方式中，概率优化模块具体用于：

通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率；

基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练；

基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。

根据第二方面，在一种可能的实施方式中，概率优化模块具体用于：

基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率；

基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果；

重复上述步骤，直到各个微训练的次数总和大于或等于所述预设的总的训练次数，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率。

根据第二方面，在一种可能的实施方式中，概率优化模块具体用于：

将各个微训练结果中微训练结果最好所对应的每个图像样本的采样概率，确定为所述每个图像样本的目标采样概率。

根据第二方面，在一种可能的实施方式中，模型训练模块具体用于：

以相同的采样概率对所述训练样本数据集进行所述初始采样。

根据第二方面，在一种可能的实施方式中，所述每个图像样本的特征包括所述每个图像样本的损失函数值和/或所述每个图像样本的密度值。

根据第二方面，在一种可能的实施方式中，所述概率函数包括分段线性函数及所述每个图像样本的各个特征的线性加权函数，所述概率函数中的超参数包括所述每个图像样本的各个特征的权重系数及所述分段线性函数的分段端点和所述分段端点处的函数值。

根据第二方面，在一种可能的实施方式中，所述模型训练模块还用于：

以所述每个图像样本的目标采样概率对所述训练样本数据集进行采样，基于采样结果对所述目标模型进行训练，得到训练好的目标模型。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及第一方面任一实施方式中所述的采样优化方法。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及第一方面任一实施方式中所述的采样优化方法。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种采样优化方法的流程图；

图2示出了本公开实施例所提供的一种基于概率函数确定目标采样概率的方法流程图；

图3示出了本公开实施例所提供的一种基于微训练结果确定目标采样概率的方法流程图；

图4示出了本公开实施例所提供的另一种采样优化方法的流程图；

图5示出了本公开实施例所提供的一种采样优化装置的结构示意图；

图6示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

首先，对本申请实施例中涉及的相关名词术语进行介绍和说明：

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

决策智能，包含了充分调优的训练配置、高效的算法实现和预训练的模型库，可以帮助研究者和工程师快速开启强化学习的学习、验证想法以及生产业务基线模型。

深度学习(Deep Learning，DL)是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

在深度学习模型的训练过程中，训练样本的采样概率，是提升深度学习模型的训练效率和模型性能的重要手段。如，重要性采样通过增大损失函数大的样本的采样概率，提升了训练速度。

经研究发现，现有的采样方法(如重要性采样)主要用于简单样本比较多的场景，因此，对不同场景的深度学习模型的训练任务，如何进行训练样本的采样概率的优化，是亟待解决的重要问题。

基于上述研究，本公开提供了一种采样优化方法，包括：获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；基于所述每个图像样本的特征构建概率函数；基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

本公开实施例中，首先对目标模型进行预训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征，然后基于所述每个图像样本的特征构建概率函数，再基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，如此，可以实现对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。

另外，该采样优化方法可应用于终端中，或者可应用于服务器中，或者可应用于由终端和服务器所组成的实施环境中。此外，该采样优化方法还可以是运行于终端或服务器中的软体，例如具有采样优化功能的应用程序等。

终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该采样优化方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的采样优化方法的流程图，该采样优化方法包括以下S101～S104：

S101，获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本。

其中，所述训练样本数据集包含多个具有标签的图像样本，具体地，具有标签的图像样本是指检测结果已知的图像数据。其中，根据应用场景不同，训练样本数据集的类型也可以不同，比如，以活体检测场景为例，所述图像样本可以包括带有标签的人脸图像数据。在该场景下，带有标签的人脸图像数据是指人脸活体检测结果已知的人脸图像数据。

可选地，图像样本可以是通过图像采集设备或电子设备获取到目标图像后提取出的目标区域(如人脸区域)图像，也可以来自互联网或第三方应用(如图像处理软件)的目标图像，还可以是预先存储在数据库中的目标图像，本申请对此不作限定。

S102，对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征。

其中，目标模型为待训练的模型，根据不同的应用场景，该目标模型可以不同，比如应用于活体检测场景的人脸识别模型及应用于违规行为检测场景的人体特征检测模型，还可以是其他场景下的待训练模型，在此不做限定。

示例性地，可以以相同的采样概率对所述训练样本数据集进行所述初始采样，其中，该初始采样的采样概率是没有进行优化的采样概率，也即，通过常规的训练方式对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征。

其中，所述每个图像样本的特征包括所述每个图像样本的损失函数值和/或所述每个图像样本的密度值。具体地，每个图像样本的损失函数值是指在训练过程中目标模型的输出值与标签之间的差异；每个图像样本的密度值是指每个图像样本在所述训练样本数据集中的占比，比如，若训练样本数据集中包括10张图像样本，其中，A图像样本包括4张，B图像样本包括3张，C图像样本包括3张，此时，针对每一张A图像样本的密度为4/10。

在其他实施例中，每个图像样本的特征还可以包括其他特征，比如，在分类模型训练中，可以根据分类输出结果中的每一类的概率算熵，例如，该熵可以是用于度量两个概率分布间的差异性的交叉熵特征。

S103，基于所述每个图像样本的特征构建概率函数。

示例性地，在得到每个图像样本的特征之后，可以将每个图像样本的采样概率建模为关于该图像样本的特征的含超参数的函数。具体地，定义图像样本x的采样概率函数p(x)的表达式为p(x)＝H(g(x))，其中H为分段线性函数，g为图像样本x的各个特征的线性加权函数，例如，假设每个图像样本x有n个特征f1,…,fn，则g(x)＝w1*f1(x)+w2*f2(x)+…+wn*fn(x)。采样概率函数p(x)的超参数组成为：各个特征的系数w，分段线性函数H的分段端点和端点处的函数值。

示例性的，在g(x)的范围在0～1之间时，p(x)＝g(x)+1，在g(x)的范围在1～2之间时，p(x)＝2*g(x)。

因此，在一些实施方式中，所述概率函数包括分段线性函数及所述每个图像样本的各个特征的线性加权函数，所述概率函数中的超参数包括所述每个图像样本的各个特征的权重系数及所述分段线性函数的分段端点和所述分段端点处的函数值。

需要说明的是，由于采样概率函数中的每个图像样本的特征是确定的，在概率函数中的超参数发生变化时，采样概率会发生改变，因此，可以通过搜索该概率函数的不同的超参数来搜索不同的采样概率。

S104，基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

示例性地，可以将根据概率函数得到的采样概率，对训练样本数据集进行采样，在根据采样结果对得到预训练的目标模型进行微训练，并根据微训练结果验证当前的采样概率是否是最优的。其中，微训练是指训练迭代次数少于预设的总训练次数的训练。

本公开实施例中，由于先对目标模型进行预训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征，然后基于所述每个图像样本的特征构建概率函数，再基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，如此，可以实现对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。

参见图2所示，针对上述S104，在基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率时，可以包括以下S1041～S1043：

S1041，通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率。

贝叶斯优化通过基于目标函数的过去评估结果建立替代函数，来找到最优化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于，它在尝试下一组超参数时，会参考之前的评估结果，因此可以提升效率。

具体地，贝叶斯优化包括从超参数值到在验证集上评估的目标的功能的统计模型。直观上，该方法假设有一些平滑但嘈杂的功能，作为从超参数到目标的映射。在贝叶斯优化中，一个目的是收集观察结果，以便尽可能少地显示机器学习模型的次数，同时尽可能多地显示关于该功能的信息，特别是最佳位置。贝叶斯优化依赖于假设一个非常普遍的先验函数，当与观察到的超参数值和相应的输出结合时，产生函数分布。该方法通过迭代地选择超参数来观察(实验运行)，以抛售(结果最不确定的超参数)和利用(预期具有良好结果的超参数)的方式。

可以理解，在对所述概率函数进行首次超参数搜索时，由于没有参考依据，因此，可以对所述概率函数进行超参数随机搜索得到所述每个图像样本的初优化的采样概率。

S1042，基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练。

在得到每个图像样本的初优化的采样概率之后，可以基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，然后基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果，进而可以根据得到微训练结果，再通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于次优化参数得到每个图像样本的次优化的采样概率，然后再对次优化的采样概率进行微训练验证。

其中，微训练是指训练对目标模型进行较少迭代次数的训练，比如预设要训练1000次，而微训练只训练10次。

S1043，基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。

示例性地，参见图3所示，针对步骤S1043，在基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率时，可以包括以下S10431～S10433：

S10431，基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率。

S10432，基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果。

S10433，重复上述步骤，直到各个微训练的次数总和大于或等于所述预设的总的训练次数，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率。

示例性地，在得到每个图像样本的次优化的采样概率之后，可以对次优化的采样概率进行验证，也即基于每个图像样本的次优化的采样概率对预训练的目标模型进行微训练，然后将各个微训练结果中微训练结果最好所对应的每个图像样本的采样概率，确定为所述每个图像样本的目标采样概率。其中，微训练结果最好是指预训练的目标模型经过微训练后的输出结果与图像样本的标签之间的损失最小，例如，若目标模型为分类模型，则分类的准确度最高，则指示微训练的结果最好。

本公开实施例中，通过贝叶斯算法得到每个图像样本的次优化的采样概率，然后基于该次优化的采样概率对预训练的目标模型进行微训练，也即将贝叶斯优化与微训练结合，可以大幅度地缩了搜索采样概率所消耗的计算资源，提升了采样概率优化的效率。

可以理解，在其他实施方式中，还可以在重复进行微训练的过程中，根据微训练的结果来确定每个图像样本的目标采样概率，比如，在所述训练结果符合预设要求的情况下，确定所述每个图像样本的当前的次优化的采样概率为所述每个图像样本的目标采样概率；在所述训练结果不符合所述预设要求的情况下，返回所述通过贝叶斯优化对所述概率函数进行超参数搜索的步骤(S10431)，直到所述训练结果符合所述预设要求，得到所述每个图像样本的目标采样概率。

参见图4所示，为本公开实施例提供的另一种采样优化方法的流程图，与图1中的采样方法不同的是，该采样优化方法还包括以下S105：

S105，以所述每个图像样本的目标采样概率对所述训练样本数据集进行采样，基于采样结果对所述目标模型进行训练，得到训练好的目标模型。

示例性地，在使用贝叶斯优化得到的目标采样概率后，可以采用该目标采样概率对所述目标模型进行完整训练，得到训练好的目标模型，如此可以提升目标模型的训练效率及模型性能。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与采样优化方法对应的采样优化装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述采样优化方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图5所示，为本公开实施例提供的一种采样优化装置500的示意图，该采样优化装置500包括：

样本获取模块501，用于获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；

模型训练模块502，用于对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；

函数构建模块503，用于基于所述每个图像样本的特征构建概率函数；

概率优化模块504，用于基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

在一种可能的实施方式中，所述概率优化模块504具体用于：

通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率；

基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练；

基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。

在一种可能的实施方式中，所述概率优化模块504具体用于：

基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率；

基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果；

重复上述步骤，直到各个微训练的次数总和大于或等于所述预设的总的训练次数，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率。

在一种可能的实施方式中，所述概率优化模块504具体用于：

将各个微训练结果中微训练结果最好所对应的每个图像样本的采样概率，确定为所述每个图像样本的目标采样概率。

在一种可能的实施方式中，所述模型训练模块502具体用于：

以相同的采样概率对所述训练样本数据集进行所述初始采样。

在一种可能的实施方式中，所述每个图像样本的特征包括所述每个图像样本的损失函数值和/或所述每个图像样本的密度值。

在一种可能的实施方式中，所述概率函数包括分段线性函数及所述每个图像样本的各个特征的线性加权函数，所述概率函数中的超参数包括所述每个图像样本的各个特征的权重系数及所述分段线性函数的分段端点和所述分段端点处的函数值。

在一种可能的实施方式中，所述模型训练模块502还用于：

以所述每个图像样本的目标采样概率对所述训练样本数据集进行采样，基于采样结果对所述目标模型进行训练，得到训练好的目标模型。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图6所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。

其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的采样优化方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的采样优化方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种采样优化方法，其特征在于，包括：

获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；

对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；

基于所述每个图像样本的特征构建概率函数；

基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

2.根据权利要求1所述的方法，其特征在于，所述概率函数包含超参数，所述基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，包括：

通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率；

基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练；

基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。

3.根据权利要求2所述的方法，其特征在于，所述基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率，包括：

基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率；

基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果；

重复上述步骤，直到各个微训练的次数总和大于或等于所述预设的总的训练次数，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率。

4.根据权利要求3所述的方法，其特征在于，所述根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率，包括：

将各个微训练结果中微训练结果最好所对应的每个图像样本的采样概率，确定为所述每个图像样本的目标采样概率。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述训练样本数据集进行初始采样，包括：

以相同的采样概率对所述训练样本数据集进行所述初始采样。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述每个图像样本的特征包括所述每个图像样本的损失函数值和/或所述每个图像样本的密度值。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述概率函数包括分段线性函数及所述每个图像样本的各个特征的线性加权函数，所述概率函数中的超参数包括所述每个图像样本的各个特征的权重系数及所述分段线性函数的分段端点和所述分段端点处的函数值。

8.根据权利要求1-7任一所述的方法，其特征在于，还包括：

以所述每个图像样本的目标采样概率对所述训练样本数据集进行采样，基于采样结果对所述目标模型进行训练，得到训练好的目标模型。

9.一种采样优化装置，其特征在于，所述装置包括：

样本获取模块，用于获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；

模型训练模块，用于对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；

函数构建模块，用于基于所述每个图像样本的特征构建概率函数；

概率优化模块，用于基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-8任一所述的采样优化方法的。

11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-8任一所述的采样优化方法。

Images