CN111814835A - 计算机视觉模型的训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种计算机视觉模型的训练方法、装置、电子设备和存储介质，所述计算机视觉模型的训练方法包括：利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；基于图像识别结果对所述样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；根据第二样本图像集对计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对计算机视觉模型进行参数更新或结束训练。本申请通过选取典型样本图像对模型进行迭代训练，减少了人工标注样本的时间，通过将人工标注和模型标注结果比较，能够得到难样本图像，从而训练出具有较好识别性能的模型。

Description

计算机视觉模型的训练方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种计算机视觉模型的训练方法、装置、电子设备和存储介质。

背景技术

随着人工智能时代的到来，深度学习技术已经被广泛应用到了各个领域，尤其是在计算机视觉领域，深度学习模型也发挥的重要作用。对于深度学习模型的训练，其在面对不同情况的样本时，需要大量的训练样本和时间来提高模型性能，从而达到预期的效果。

然而现有的深度学习训练过程很难得到训练模型的难样本，导致了许多初始模型在不同情况下对一些难样本的检测性能较差，因此模型需要不断的改进和更新，才能得到较好的性能。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的计算机视觉模型的训练方法、装置、电子设备和存储介质。

依据本申请的第一方面，提供了一种计算机视觉模型的训练方法，包括：

利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；

基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；

根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

可选地，所述图像识别结果包括图像预测概率值，所述基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像包括：

将所述图像预测概率值与预设概率值进行比较，根据比较结果确定模糊样本图像和清晰样本图像；

基于正态分布概率模型分别对所述模糊样本图像和所述清晰样本图像进行样本抽取。

可选地，所述根据选取的样本图像生成第二样本图像集包括：

根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性，以根据所述样本属性确定所述计算机视觉模型的训练样本权重。

可选地，所述根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性包括：

将所述第二样本图像集中各样本图像的图像识别结果与图像人工标注结果进行比较；

根据比较结果确定各样本图像的样本难易属性。

可选地，所述根据比较结果确定各样本图像的样本难易属性包括：

若比较结果表征的差异度大于预设阈值，则确定相应的样本图像的样本难易属性为困难，否则为常规；

所述根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性还包括：

将样本难易属性为困难的各样本图像的比较结果作为相应的样本图像的标注差异属性。

可选地，所述标注差异属性包括候选框位置差异、候选框大小差异和候选框类别差异中的至少一种，所述根据所述样本属性确定所述计算机视觉模型的训练样本权重包括：

根据样本难易属性为困难的各样本图像的标注差异属性确定相应的样本图像的训练样本权重。

可选地，所述根据所述第二样本图像集对所述计算机视觉模型进行迭代训练包括：

通过前端页面可视化地展示所述第二样本图像集中各样本图像的图像识别结果和标注信息。

依据本申请的第二方面，提供了一种计算机视觉任务的实现方法，包括：

获取待处理图像；

利用计算机视觉模型执行基于所述待处理图像的计算机视觉任务，得到任务执行结果，其中所述计算机视觉模型基于如前任一项所述的计算机视觉模型的训练方法训练得到。

依据本申请的第三方面，提供了一种计算机视觉模型的训练装置，包括：

识别单元，用于利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；

选取单元，用于基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；

训练单元，用于根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

可选地，所述图像识别结果包括图像预测概率值，所述选取单元还用于：

将所述图像预测概率值与预设概率值进行比较，根据比较结果确定模糊样本图像和清晰样本图像；

基于正态分布概率模型分别对所述模糊样本图像和所述清晰样本图像进行样本抽取。

可选地，所述选取单元还用于：

根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性，以根据所述样本属性确定所述计算机视觉模型的训练样本权重。

可选地，所述选取单元还用于：

将所述第二样本图像集中各样本图像的图像识别结果与图像人工标注结果进行比较；

根据比较结果确定各样本图像的样本难易属性。

可选地，所述选取单元还用于：

若比较结果表征的差异度大于预设阈值，则确定相应的样本图像的样本难易属性为困难，否则为常规；

将样本难易属性为困难的各样本图像的比较结果作为相应的样本图像的标注差异属性。

可选地，所述标注差异属性包括候选框位置差异、候选框大小差异和候选框类别差异中的至少一种，所述选取单元还用于：

根据样本难易属性为困难的各样本图像的标注差异属性确定相应的样本图像的训练样本权重。

可选地，所述训练单元还用于：

通过前端页面可视化地展示所述第二样本图像集中各样本图像的图像识别结果和标注信息。

依据本申请的第四方面，提供了一种计算机视觉任务的实现装置，包括：

获取单元，用于获取待处理图像；

执行单元，用于利用计算机视觉模型执行基于所述待处理图像的计算机视觉任务，得到任务执行结果，其中所述计算机视觉模型基于如前所述的计算机视觉模型的训练装置训练得到。

依据本申请的第五方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的计算机视觉模型的训练方法，或者如上述所述的计算机视觉任务的实现方法。

依据本申请的第六方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的计算机视觉模型的训练方法，或者如上述所述的计算机视觉任务的实现方法。

由上述可知，本申请的技术方案，通过利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。本申请通过选取典型样本图像对计算机视觉模型进行迭代训练，节省了大量人工标注样本图像的时间和精力，大大提高了模型的训练效率。此外，通过将人工标注和模型标注结果比较，能够得到难样本图像，从而训练出具有较好识别性能的模型。通过训练效果的可视化展示，可以更直观地看到交并比等指标，便于找出满足要求但与实际结果有偏差的样本识别结果，使模型更加精确。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的计算机视觉模型的训练方法的流程示意图；

图2示出了根据本申请一个实施例的样本图像的选取策略示意图；

图3示出了根据本申请一个实施例的计算机视觉模型的训练流程示意图；

图4示出了根据本申请一个实施例的计算机视觉模型的识别结果示意图；

图5示出了根据本申请一个实施例的计算机视觉模型的识别效果示意图；

图6示出了根据本申请一个实施例的计算机视觉任务的实现方法的流程示意图；

图7示出了根据本申请一个实施例的计算机视觉模型的训练装置的结构示意图；

图8示出了根据本申请一个实施例的计算机视觉任务的实现装置的结构示意图；

图9示出了根据本申请一个实施例的电子设备的结构示意图；

图10示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

在基于无人机进行太阳能电站巡检等场景下，由于电站的位置、天气和拍摄条件等的不同，各电站之间采集的图像样本也有很大的差异，为了保证模型对不同条件下的图像样本均具有较好的处理性能，模型需要不断的改进和更新。

基于此，本申请实施例提供了一种计算机视觉模型的训练方法，如图1所示，所述计算机视觉模型的训练方法包括如下的步骤S110至步骤S130：

步骤S110，利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果。

本申请实施例的计算机视觉模型可以是指图像识别模型，图像识别模型的本质是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。现有技术中用于图像识别的模型框架主要有ResNet残差网络和Inception网络(一种计算机视觉模型，暂无中文译名)等，本领域技术人员可以根据实际需要灵活选择，在此不做具体限定。

除了确定基本的计算机视觉模型框架，还需要确定用于训练的样本图像即第一样本图像集，之后利用计算机视觉模型对样本图像集中的样本图像进行识别，进而得到图像识别结果。这里的样本图像可以是指已经人工标注过类别的样本图像。

步骤S120，基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集。

图像中通常蕴含着丰富的特征信息，为了从中提取主要特征作为分类依据，需要通过分析和学习大量的图像样本中各图像之间的相似性和差异性，来建立图像识别模型，这就导致得到一个性能较优的图像识别模型往往需要耗费大量的人力和时间。因此为了提高模型的训练效率，节省人工标注的时间和精力，本申请实施例通过选择典型样本来减少用于标记和训练的样本。训练样本的选取是模型训练过程中的关键步骤，训练样本的选择比分类模型的选择对模型分类精度的影响更大，因此训练样本选择的好与坏在一定程度上决定了模型分类精度的高与低。

具体实施时，本申请实施例在得到上述第一样本图像集中各样本图像的识别结果后，基于该图像识别结果对第一样本图像集中的样本图像进行分类，这里的分类可以包含两个维度，一是样本中目标对象的类别(例如样本图像中的人、动物等)，二是样本的属性类别(例如模糊样本/清晰样本、难样本/常规样本等)，在得到样本分类后，基于统计分布函数分别对各分类维度下的各类别样本进行选取，进而根据选取的样本图像生成第二样本图像集，作为后续训练模型的基础。

步骤S130，根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

在对样本图像进行选取得到样本图像集后，根据该样本图像集对计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对计算机视觉模型进行参数更新，直到最终的训练结果达到收敛条件则可以结束训练。迭代训练就是对模型的参数不断更新的过程，其目的是为了在每次迭代更新过程中，不断缩小模型输出类别与真实类别之间的差异即训练损失值，进而提高模型性能。

本申请实施例通过上述过程，选取了典型图像样本进行计算机视觉模型的迭代训练，在保证能够得到较好的模型识别效果的同时，节省了大量人工标注图像样本的时间和精力，大大提高了模型的训练效率。

在本申请的一个实施例中，所述图像识别结果包括图像预测概率值，所述基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像包括：将所述图像预测概率值与预设概率值进行比较，根据比较结果确定模糊样本图像和清晰样本图像；基于正态分布概率模型分别对所述模糊样本图像和所述清晰样本图像进行样本抽取。

具体实施时，本申请实施例在基于样本图像的类别进行样本图像的选取时，可以采用如下步骤：

1)在使用计算机视觉模型对第一样本图像集进行预测时，会得到各样本图像的类别预测结果(如图像预测概率值)，将每个样本图像预测概率值中的最大概率值与预设概率值(可以根据各类别的样本图像数量决定，默认0.5)进行比较，如果大于预设概率值则表示模型对该样本图像有确定的分类结果，对应得到清晰样本图像，反之则得到模糊样本图像。

2)假设样本图像的类别X为随机变量，随机变量的取值为(x1,x2,…,xn)，p(xi)表示事件xi发生的概率(即样本图像属于类别xi的概率)，且有∑p(xi)＝1，令H(X)＝-∑p(xi)logp(xi)(xi∈X)，在确定清晰样本和模糊样本时，可以根据实际情况定义一个关于H(X)的界限，若模型输出的样本图像预测概率值大于H(X)，则对应的样本图像为模糊样本(Fuzzy Sample，简称FS)，反之则为清晰样本(Clear Sample，简称CS)。

3)模糊样本和清晰样本可以看作是基于样本属性类别维度得到的样本，如图2所示，在对模糊样本和清晰样本进行样本抽取时可以基于正态分布概率模型进行抽取，图2中的曲线1是总样本图像曲线即第一样本图像集的分布曲线，曲线2是样本图像的选取策略曲线，其中以预设概率值为分界点。对于基于样本中目标对象的类别维度得到的样本，对每个目标对象类别下的样本尽可能按照平均比例(如1：1)抽取，以尽可能保证抽取到的各对象类别的样本均衡，提高模型的训练效果。

在本申请的一个实施例中，所述根据选取的样本图像生成第二样本图像集包括：根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性，以根据所述样本属性确定所述计算机视觉模型的训练样本权重。

如前所述，在基于无人机进行太阳能电站巡检的场景下，由于图像样本的来源不同、采集条件不同，样本不光有标签值、特征信息，还可以有不同的权重，用于表征样本的重要程度，通过将这些信息(标签值、特征信息、权重等)融入到模型中进行训练，进而可以进一步提高模型的分类精度。

具体实施时，本申请实施例可以在得到模型对第一样本图像集中各样本图像的图像识别结果以及第二样本图像集后，根据图像识别结果确定第二样本图像集中各样本图像的样本属性，进而根据样本属性确定计算机视觉模型的训练样本权重。

在本申请的一个实施例中，所述根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性包括：将所述第二样本图像集中各样本图像的图像识别结果与图像人工标注结果进行比较；根据比较结果确定各样本图像的样本难易属性。

具体实施时，本申请实施例中的样本属性可以包括样本难易属性，即用于表征样本图像是否能够被模型准确识别出类别。在得到第二样本图像集中各样本图像的图像识别结果后，这里的图像识别结果可以包括图像预标注结果，将该图像预标注结果与人工标注结果进行比对，进而根据比对结果确定确定各样本图像的样本难易属性。

在本申请的一个实施例中，所述根据比较结果确定各样本图像的样本难易属性包括：若比较结果表征的差异度大于预设阈值，则确定相应的样本图像的样本难易属性为困难，否则为常规；所述根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性还包括：将样本难易属性为困难的各样本图像的比较结果作为相应的样本图像的标注差异属性。

样本难易属性可以包括困难属性和常规属性，对应地，在将模型的图像预标注结果与人工标注结果进行比较时，可以确定二者之间的差异程度，如果该差异程度超过某一预设阈值(可以根据实际情况灵活设置)，则认为该样本图像为难样本图像，如果该差异程度未超过某一预设阈值，则认为该样本图像为常规样本图像。难样本(Hard Example)可以指的是模型对某个样本学习困难，难以学得其特征的样本。为了提高模型对难样本图像的学习能力和泛化能力，可以进一步将图像预标注结果与人工标注结果之间的差异作为该样本图像的标注差异属性，进而可以根据该标准差异属性量化各样本图像在模型训练过程中的重要程度，提高模型性能。

在本申请的一个实施例中，所述标注差异属性包括候选框位置差异、候选框大小差异和候选框类别差异中的至少一种，所述根据所述样本属性确定所述计算机视觉模型的训练样本权重包括：根据样本难易属性为困难的各样本图像的标注差异属性确定相应的样本图像的训练样本权重。

本申请实施例中的标注差异属性可以看作是衡量样本图像重要程度的属性，而影响样本图像重要程度的因素具体可以包括图像的候选框位置差异(如候选框重心偏移量)、候选框大小差异(如候选框的高度和宽度)和候选框类别差异等，还可以包括模型输出的图像预测概率值差异等。具体地，由于难样本图像的图像识别结果与人工标注结果的差异相对于常规样本图像更大，需要引起足够的重视以提高模型对难样本图像的识别能力，因此本申请实施例可以采用如下公式来确定样本难易属性为困难的各样本图像的训练样本权重：

难样本权重＝a*Δ(宽度)+b*Δ(高度)+c*(重心偏移量)+d*Δ(预测概率值)+e*Δ(候选框类别)，其中“Δ”符号均指模型输出结果与人工标注结果之间差值的绝对值，a、b、c、d、e均为经验常数，可根据实际训练效果灵活设置和调整，在此不做具体限定。

在本申请的一个实施例中，所述根据所述第二样本图像集对所述计算机视觉模型进行迭代训练包括：通过前端页面可视化地展示所述第二样本图像集中各样本图像的图像识别结果和标注信息。

为了能够直观地看到模型的训练效果，本申请实施例还通过前端页面可视化地展示了第二样本图像集中各样本图像的图像识别结果(如模型输出的图像预测概率值)和标注信息(如候选框和人工标注框的位置、大小、类别等信息)。此外，为了更直观地看到模型输出结果与真实结果之间的差异，还可以在前端页面上展示交并比(Intersection-over-Union，IoU)这一指标，IoU是指模型产生的候选框与原标注框或人工标注框的交叠率，即它们的交集与并集的比值，IoU值越大，则证明候选框与人工标注框越接近，模型识别效果越好，因此本申请实施例可以根据IoU值的大小找出满足模型训练要求但与实际结果仍有偏差的样本识别结果，以进一步改进模型，使模型更加精确。

在本申请的一个实施例中，所述计算机视觉模型的训练方法还包括：根据每个迭代训练阶段得到的所述训练损失值判断所述计算机视觉模型的训练结果是否满足预设的收敛条件；根据判断结果确定是否继续对所述计算机视觉模型进行迭代训练。

具体实施时，可以对当前模型的训练效果进行评估，如果模型未达到期望效果即预设的收敛条件，则继续迭代训练更新模型，重复上述流程中的标注、模型训练等步骤。如果在评估后模型达到了期望效果，则结束模型的训练过程。

如图3所示，提供了一种计算机视觉模型的训练流程示意图。首先获取第一样本图像集并利用该第一样本图像集对计算机视觉模型进行训练，得到图像识别结果即预标注结果，之后基于图像识别结果对第一样本图像集的样本图像进行选取，得到第二样本图像集。基于之前的图像识别结果，将第二样本图像集中的各样本图像的预标注结果与人工标注结果进行比较，得到二者之间的差异，当该差异值未超过预设阈值时，则认为对应的样本图像为常规样本图像，若超过预设阈值，则认为对应的样本图像为难样本图像，以此标记样本属性，并对计算机视觉模型进行迭代训练。每次迭代训练后对模型的训练效果进行评估，当模型效果达到期望效果时结束训练，输出最终的计算机视觉模型。

如图4所示，提供了一种计算机视觉模型的识别结果示意图，图4中的矩形框从左至右依次为：错误候选框即低于预设概率值的候选框、符合预设概率值但需修正的候选框、正确候选框即人工标注框。从中可以直观地看到模型输出的候选框与人工标注的候选框之间的差异，便于后续对模型的改进。

如图5所示，提供了一种计算机视觉模型在具体任务场景下的识别效果示意图，其中图5(a)是太阳能电站图像分割任务的模型识别效果，图5(b)是太阳能电站故障检测任务的模型识别效果图，从中可以看出，通过本申请的训练方法训练得到的计算机视觉模型在太阳能电站的图像分割任务和故障检测任务中均取得了较好的识别效果。

本申请实施例还提供了一种计算机视觉任务的实现方法，如图6所示，所述计算机视觉任务的实现方法包括如下步骤S610至步骤S620：

步骤S610，获取待处理图像。

步骤S620，利用计算机视觉模型执行基于所述待处理图像的计算机视觉任务，得到任务执行结果，其中所述计算机视觉模型基于如前任一项所述的计算机视觉模型的训练方法训练得到。

在执行太阳能电站的图像分割或者故障检测等任务时，可以先获取待处理的任务图像，然后利用上述训练方法得到的计算机视觉模型对待处理的任务图像进行图像分割处理或者故障检测处理，进而得到任务处理结果。这里的计算机视觉模型具体可以采用如下方法训练得到：

利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

本申请实施例提供了一种计算机视觉模型的训练装置700，如图7所示，所述计算机视觉模型的训练装置700包括：识别单元710、选取单元720和训练单元730。

本申请实施例的识别单元710，用于利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果。

本申请实施例的计算机视觉模型可以是指图像识别模型，图像识别模型的本质是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。现有技术中用于图像识别的模型框架主要有ResNet残差网络和Inception网络(一种计算机视觉模型，暂无中文译名)等，本领域技术人员可以根据实际需要灵活选择，在此不做具体限定。

除了确定基本的计算机视觉模型框架，还需要确定用于训练的样本图像即第一样本图像集，之后利用计算机视觉模型对样本图像集中的样本图像进行识别，进而得到图像识别结果。这里的样本图像可以是指已经人工标注过类别的样本图像。

本申请实施例的选取单元720，用于基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集。

图像中通常蕴含着丰富的特征信息，为了从中提取主要特征作为分类依据，需要通过分析和学习大量的图像样本中各图像之间的相似性和差异性，来建立图像识别模型，这就导致得到一个性能较优的图像识别模型往往需要耗费大量的人力和时间。因此为了提高模型的训练效率，节省人工标注的时间和精力，本申请实施例通过选择典型样本来减少用于标记和训练的样本。训练样本的选取是模型训练过程中的关键步骤，训练样本的选择比分类模型的选择对模型分类精度的影响更大，因此训练样本选择的好与坏在一定程度上决定了模型分类精度的高与低。

具体实施时，本申请实施例在得到上述第一样本图像集中各样本图像的识别结果后，基于该图像识别结果对第一样本图像集中的样本图像进行分类，这里的分类可以包含两个维度，一是样本中目标对象的类别(例如样本图像中的人、动物等)，二是样本的属性类别(例如模糊样本/清晰样本、难样本/常规样本等)，在得到样本分类后，基于统计分布函数分别对各分类维度下的各类别样本进行选取，进而根据选取的样本图像生成第二样本图像集，作为后续训练模型的基础。

本申请实施例的训练单元730，用于根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

在对样本图像进行选取得到样本图像集后，根据该样本图像集对计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对计算机视觉模型进行参数更新，直到最终的训练结果达到收敛条件则可以结束训练。迭代训练就是对模型的参数不断更新的过程，其目的是为了在每次迭代更新过程中，不断缩小模型输出类别与真实类别之间的差异即训练损失值，进而提高模型性能。

本申请实施例通过上述过程，选取了典型图像样本进行计算机视觉模型的迭代训练，在保证能够得到较好的模型识别效果的同时，节省了大量人工标注图像样本的时间和精力，大大提高了模型的训练效率。

在本申请的一个实施例中，所述图像识别结果包括图像预测概率值，所述选取单元720还用于：将所述图像预测概率值与预设概率值进行比较，根据比较结果确定模糊样本图像和清晰样本图像；基于正态分布概率模型分别对所述模糊样本图像和所述清晰样本图像进行样本抽取。

在本申请的一个实施例中，所述选取单元720还用于：根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性，以根据所述样本属性确定所述计算机视觉模型的训练样本权重。

在本申请的一个实施例中，所述选取单元720还用于：将所述第二样本图像集中各样本图像的图像识别结果与图像人工标注结果进行比较；根据比较结果确定各样本图像的样本难易属性。

在本申请的一个实施例中，所述选取单元720还用于：若比较结果表征的差异度大于预设阈值，则确定相应的样本图像的样本难易属性为困难，否则为常规；将样本难易属性为困难的各样本图像的比较结果作为相应的样本图像的标注差异属性。

在本申请的一个实施例中，所述标注差异属性包括候选框位置差异、候选框大小差异和候选框类别差异中的至少一种，所述选取单元720还用于：根据样本难易属性为困难的各样本图像的标注差异属性确定相应的样本图像的训练样本权重。

在本申请的一个实施例中，所述训练单元730还用于：通过前端页面可视化地展示所述第二样本图像集中各样本图像的图像识别结果和标注信息。

本申请实施例还提供了一种计算机视觉任务的实现装置800，如图8所示，所述计算机视觉任务的实现装置800包括：获取单元810和执行单元820。

本申请实施例的获取单元810，用于获取待处理图像。

本申请实施例的执行单元820，用于利用计算机视觉模型执行基于所述待处理图像的计算机视觉任务，得到任务执行结果，其中所述计算机视觉模型基于如前所述的计算机视觉模型的训练装置训练得到。

在执行太阳能电站图像分割或者故障检测等任务时，可以先获取待处理的任务图像，然后利用上述训练方法得到的计算机视觉模型对待处理的任务图像进行图像分割处理或者故障检测处理，进而得到任务处理结果。这里的计算机视觉模型具体可以采用如下训练装置训练得到：

识别单元，用于利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；选取单元，用于基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；训练单元，用于根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本申请的技术方案，通过利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。本申请通过选取典型样本图像对计算机视觉模型进行迭代训练，节省了大量人工标注样本图像的时间和精力，大大提高了模型的训练效率。此外，通过将人工标注和模型标注结果比较，能够得到难样本图像，从而训练出具有较好识别性能的模型。通过训练效果的可视化展示，可以更直观地看到交并比等指标，便于找出满足要求但与实际结果有偏差的样本识别结果，使模型更加精确。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的计算机视觉模型的训练装置或计算机视觉任务的实现装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图9示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备900包括处理器910和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器920。存储器920可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器920具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码931的存储空间930。例如，用于存储计算机可读程序代码的存储空间930可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码931。计算机可读程序代码931可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图10所示的计算机可读存储介质。图10示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质1000存储有用于执行根据本申请的方法步骤的计算机可读程序代码931，可以被电子设备900的处理器910读取，当计算机可读程序代码931由电子设备900运行时，导致该电子设备900执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码931可以执行上述任一实施例中示出的方法。计算机可读程序代码931可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种计算机视觉模型的训练方法，其特征在于，包括：

利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；

基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；

根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

2.根据权利要求1所述的计算机视觉模型的训练方法，其特征在于，所述图像识别结果包括图像预测概率值，所述基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像包括：

将所述图像预测概率值与预设概率值进行比较，根据比较结果确定模糊样本图像和清晰样本图像；

基于正态分布概率模型分别对所述模糊样本图像和所述清晰样本图像进行样本抽取。

3.根据权利要求1所述的计算机视觉模型的训练方法，其特征在于，所述根据选取的样本图像生成第二样本图像集包括：

根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性，以根据所述样本属性确定所述计算机视觉模型的训练样本权重。

4.根据权利要求3所述的计算机视觉模型的训练方法，其特征在于，所述根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性包括：

将所述第二样本图像集中各样本图像的图像识别结果与图像人工标注结果进行比较；

根据比较结果确定各样本图像的样本难易属性。

5.根据权利要求4所述的计算机视觉模型的训练方法，其特征在于，所述根据比较结果确定各样本图像的样本难易属性包括：

若比较结果表征的差异度大于预设阈值，则确定相应的样本图像的样本难易属性为困难，否则为常规；

所述根据所述图像识别结果确定所述第二样本图像集中各样本图像的样本属性还包括：

将样本难易属性为困难的各样本图像的比较结果作为相应的样本图像的标注差异属性。

6.根据权利要求5所述的计算机视觉模型的训练方法，其特征在于，所述标注差异属性包括候选框位置差异、候选框大小差异和候选框类别差异中的至少一种，所述根据所述样本属性确定所述计算机视觉模型的训练样本权重包括：

根据样本难易属性为困难的各样本图像的标注差异属性确定相应的样本图像的训练样本权重。

7.根据权利要求1至6任一项所述的计算机视觉模型的训练方法，其特征在于，所述根据所述第二样本图像集对所述计算机视觉模型进行迭代训练包括：

通过前端页面可视化地展示所述第二样本图像集中各样本图像的图像识别结果和标注信息。

8.一种计算机视觉任务的实现方法，其特征在于，包括：

获取待处理图像；

利用计算机视觉模型执行基于所述待处理图像的计算机视觉任务，得到任务执行结果，其中所述计算机视觉模型基于权利要求1至6任一项所述的计算机视觉模型的训练方法训练得到。

9.一种计算机视觉模型的训练装置，其特征在于，包括：

识别单元，用于利用计算机视觉模型对第一样本图像集中的样本图像进行识别，得到图像识别结果；

选取单元，用于基于图像识别结果对所述第一样本图像集中的样本图像进行分类，并基于统计分布函数分别选取各分类下的至少部分样本图像，根据选取的样本图像生成第二样本图像集；

训练单元，用于根据所述第二样本图像集对所述计算机视觉模型进行迭代训练，根据每个迭代训练阶段得到的训练损失值对所述计算机视觉模型进行参数更新或结束训练。

10.一种计算机视觉任务的实现装置，其特征在于，包括：

获取单元，用于获取待处理图像；

执行单元，用于利用计算机视觉模型执行基于所述待处理图像的计算机视觉任务，得到任务执行结果，其中所述计算机视觉模型基于权利要求9所述的计算机视觉模型的训练装置训练得到。

11.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至6或权利要求7中任一项所述的计算机视觉模型的训练方法，或者如权利要求8中所述的计算机视觉模型的实现方法。

12.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至6或权利要求7中任一项所述的计算机视觉模型的训练方法，或者如权利要求8中所述的计算机视觉模型的实现方法。

Images