CN111160469B - 一种目标检测***的主动学习方法 - Google Patents

Abstract

本发明提供了一种目标检测***的主动学习方法，该方法包括：获取样本训练集对目标检测模型进行模型训练，根据训练后的目标检测模型对未标记样本集进行样本预测，得到预测结果；分别计算未标记样本集中每个未标记样本所携带的信息量，得到多个样本信息量；根据样本信息量对未标记样本进行排序以选取信息量最大的目标样本；根据所述目标样本分别对已标记样本集和未标记样本集进行更新，并重新依序执行模型训练、样本预测、信息量计算和目标样本选取和标记，直至已标记样本集满足停止条件时，停止针对目标检测模型的训练。本发明通过对目标检测模型训练过程中样本信息量的衡量和评估，选择对模型训练最有效的样本进行人工标注，提高了样本标注效率。

Description

一种目标检测***的主动学习方法

技术领域

本发明属于目标检测技术领域，尤其涉及一种目标检测***的主动学习方法。

背景技术

目标检测是计算机视觉领域的经典任务，在自动驾驶、视频监控、人机交互和人脸检测等领域有重要应用价值，其目的是在自然场景中快速准确地定位和识别特定目标，但复杂多样的场景使得任务本身极具挑战性。近年来随着深度学习技术的快速发展，基于卷积神经网络的目标检测算法获得了关注和广泛研究，极大地提升了目标检测的结果。

目标检测技术实施过程中，针对训练样本的标注操作尤为重要，但是在现有目标检测技术中已标注资源往往是有限的，同时存在海量的无标注数据未被利用。通常，需要花费大量时间和人工的方式来注释图像中的每个目标，进而导致整个过程非常的耗时、困难，成本很高。

主动学习通过筛选数据的方式，允许目标检测学习算法选择训练样本集中的富含信息量的样本，实现仅对部分样本进行标注就能达到较好的训练效果，从而提升了标注效率。

发明内容

本发明实施例的目的在于提供一种目标检测***的主动学习方法，旨在解决现有的目标检测技术实施过程中，由于采用人工手动进行训练样本标注所导致的样本标注效率低下的问题。

本发明实施例是这样实现的，一种目标检测***的主动学习方法，所述方法包括：

获取本地预存储的样本训练集，所述样本训练集包括已标记样本集和未标记样本集；

根据所述已标记样本集对目标检测模型进行模型训练，并根据训练后的所述目标检测模型对所述未标记样本集进行样本预测，以得到预测结果；

根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量，以得到多个样本信息量；

根据所述样本信息量对所述未标记样本进行排序，并根据排序结果以选取信息量最大的目标样本；

根据所述目标样本分别对所述已标记样本集和所述未标记样本集进行更新，并根据更新后的所述已标记样本集和所述未标记样本集重新依序执行所述目标检测模型的训练、针对所述未标记样本集的样本预测、针对每个所述未标记样本所携带的信息量的计算和针对所述目标样本的选取和标记，直至判断到更新后的所述已标记样本集满足停止条件时，停止针对所述目标检测模型的训练。

更进一步的，所述预测结果中包括每个所述未标记样本中的候选目标的个数、每个所述候选目标对应所述样本训练集中各个分类类别的概率分布集合、每个所述候选目标的边界框的对应空间位置坐标集合。

更进一步的，所述根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量的步骤包括：

分别计算每个所述候选目标的信息熵，以得到信息熵值；

分别计算每个所述候选目标边界框的交并比，以得到交并比值；

根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量。

更进一步的，所述根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量所采用的计算公式为：

或

或

或

其中，x_i为任一所述未标记样本，其所携带信息量值为Score(x_i)，其预测结果的候选目标的边界框集合为Ent(b)为所述信息熵值，IoU(b)为所述交并比值，α是IoU项的系数，x^*为选取的目标样本。

更进一步的，所述计算每个所述候选目标的信息熵所采用的计算公式为：

其中，Ent(b)为所述候选目标b的所述信息熵值，C为所述样本训练集中所有分类类别的集合，为所述候选目标b对应分类类别c的概率值。

更进一步的，所述根据所述目标样本分别对所述已标记样本集和所述未标记样本集进行更新的步骤包括：

对所述目标样本进行标记；

将标记后的所述目标样本加入所述已标记样本集，并在所述未标记样本集中删除所述目标样本。

更进一步的，所述将标记后的所述目标样本加入所述已标记样本集的步骤之后，所述方法还包括：

当判断到所述已标记样本集中的样本数量大于数量阈值时，判定所述已标记样本集满足所述停止条件。

本发明实施例，通过基于对目标检测模型的训练，以达到仅对部分样本进行标注就能达到较好的训练效果，提高了样本标注效率，通过根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量的设计，以自动挑选出最有信息量的样本，有效的提高了所述目标样本获取的准确性，且通过对所述已标记样本集和所述未标记样本集进行更新的设计，以达到对所述目标检测模型进行参数更新的效果。

附图说明

图1是本发明第一实施例提供的目标检测***的主动学习方法的流程图；

图2是本发明第二实施例提供的目标检测***的主动学习方法的流程图；

图3是本发明第二实施例提供的目标检测***的主动学习方法的具体实施步骤结构框图；

图4是本发明第三实施例提供的目标检测***的结构示意图；

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

请参阅图1，是本发明第一实施例提供的目标检测***的主动学习方法的流程图，包括步骤：

步骤S10，获取本地预存储的样本训练集；

其中，所述样本训练集包括已标记样本集和未标记样本集，该已标记样本集和未标记样本集的比例可以根据需求进行设置；

例如，获取到的样本训练集为X＝{x₁,x₂,…,x_N}，其中N为样本图像总数量，整个数据集上存在K个分类类别，为C＝{c₄,c₂,…,c_K}。将整个训练样本集分为已标记样本集L和未标记样本集U；

在训练过程开始时，首先随机选择一小部分(10％)样本数据对其进行标注作为初始已标记集L，其余样本全部作为未标注集U；

步骤S20，根据所述已标记样本集对目标检测模型进行模型训练，并根据训练后的所述目标检测模型对所述未标记样本集进行样本预测，以得到预测结果；

其中，通过使用数据集L对目标检测模型进行训练，经过一定的训练之后得到相应的参数，并将学习到的模型应用于U进行预测，得到预测结果，该预测结果包括每张图像中每个目标对于K个类别的概率分布及其边界框的位置数据；

步骤S30，根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量，以得到多个样本信息量；

其中，基于对未标记数据集U的预测结果，利用预设选择策略来计算每个未标记样本所携带的样本信息量S；

步骤S40，根据所述样本信息量对所述未标记样本进行排序，并根据排序结果以选取目标样本；

其中，通过基于样本信息量S的大小排序，以选取5％的最有用的训练图像；

步骤S50，根据所述目标样本分别对所述已标记样本集和所述未标记样本集进行更新；

其中，通过对该5％的最有用的训练图像进行标记，并将所述训练图像添加到已标注集L中，并相应地从U中剔除；

步骤S60，根据更新后的所述已标记样本集和所述未标记样本集重新依序执行所述目标检测模型的训练、针对所述未标记样本集的样本预测、针对每个所述未标记样本所携带的信息量的计算和针对所述目标样本的选取和标记，直至判断到更新后的所述已标记样本集满足停止条件时，停止针对所述目标检测模型的训练；

其中，通过重复进行目标检测模型的训练、未标记样本集的样本预测、信息量的计算和目标样本的选取和标记步骤，以达到对目标检测模型的迭代训练的效果；

本实施例，通过基于对目标检测模型的训练，以达到仅对部分样本进行标注就能达到较好的训练效果，提高了样本标注效率，通过根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量的设计，以自动挑选出最有信息量的样本，有效的提高了所述目标样本获取的准确性，且通过对所述已标记样本集和所述未标记样本集进行更新的设计，以达到对所述目标检测模型进行参数更新的效果。

实施例二

请参阅图2，是本发明第二实施例提供的目标检测***的主动学习方法的流程图，包括步骤：

步骤S11，获取本地预存储的样本训练集；

其中，所述样本训练集包括已标记样本集和未标记样本集；

例如，请参阅图3，获取到的样本训练集为X＝{x₁,x₂,…,x_N}，其中N为样本图像总数量，整个数据集上存在K个分类类别，为C＝{c₁,c₂,…,c_K}。将整个训练样本集分为已标记样本集L和未标记样本集U；

在训练过程开始时，首先随机选择一小部分(10％)样本数据对其进行标注作为初始已标记集L，其余样本全部作为未标注集U；

步骤S21，根据所述已标记样本集对目标检测模型进行模型训练，并根据训练后的所述目标检测模型对所述未标记样本集进行样本预测，以得到预测结果；

其中，所述预测结果中包括每个所述未标记样本中的候选目标的个数、每个所述候选目标对应所述样本训练集中各个分类类别的概率分布集合、每个所述候选目标的边界框的对应空间位置坐标集合；

具体的，在预测阶段，对于一张给定的图像x_i，在目标检测算法网络参数θ下，模型的输出记为下式：

其中，N_obj为该图像经预测得到的候选目标个数，为第m个候选预测目标对应各个分类类别的概率分布集合；

对各个类别的概率之和为1，即/>Box_m＝{(x_m,y_m),(x_{m_off},y_{m_off})}为该预测目标的边界框的对应空间位置坐标集合；

步骤S31，分别计算每个所述候选目标的信息熵，以得到信息熵值，并分别计算每个所述候选目标边界框的交并比，以得到交并比值；

其中，所述计算每个所述候选目标的信息熵所采用的计算公式为：

其中，Ent(b)为所述候选目标b的所述信息熵值，C为所述样本训练集中所有分类类别的集合，为所述候选目标b对应分类类别c的概率值；

步骤S41，根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量，以得到多个样本信息量；

本实施例中，为了对定为准确率信息进行定义和表示，首先引入交并比IoU的概念，即Intersection over Union，是一种检测相应物体定位准确度的一个标准。IoU的计算方式为两个区域重叠的部分除以两个区域的集合部分得出的结果，其公式如下：

其中，Box₄和Box₂为两个不同的区域；

该步骤中，所述根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量所采用的计算公式为：

或

或

或

其中，x_i为任一所述未标记样本，其所携带信息量值为Score(x_i)，其预测结果的候选目标的边界框集合为Ent(b)为所述信息熵值，IoU(b)为所述交并比值，α是IoU项的系数，x^*为选取的目标样本。

具体的，信息熵-交并比结合型选择策略有两种形式，乘积形式和加法形式：

(1)信息熵-交并比结合型选择策略的乘积形式:

乘积形式将熵函数与IoU度量相乘，因此选择函数考虑了预测边界框的定位误差。由于图像信息度量公式中信息熵项的值越大代表所含信息量越大，而IoU的值越小代表所含信息量越大，所以接下来的公式中IoU项采用‘1-IoU’的形式使其成为值越大代表所含信息量越大。该结合型选择策略的乘积形式包括函数A、B和C；

函数(A)中以每张图像的所有候选目标中具有最小的信息熵与‘1-IoU’的乘积的值代表该图像的信息量。而函数(B)中每张图像的信息量由所有候选目标中的信息熵与‘1-IoU’的乘积之和来定义。与函数(B)相比，函数(C)中每张图像的信息量的定义为，首先对所有候选目标的信息熵项和‘1-IoU’项分别求和，然后再将两者相乘。3种乘积形式最终都选择信息量分数最大的图像作为下一轮待标记的样本。

(2)信息熵-交并比结合型选择策略的加法形式：

与大多数优化损失函数类似，结合型选择策略的加法形式将IoU项作为一个正则项引入选择策略，α越大，意味着定位信息在总信息量中所占的重要性越大。与乘积形式相比，加法形式需要对系数α进行参数调整以权衡定位和分类信息之间的比重，系数α的最优值需要根据实际数据集的情况来调整；

步骤S51，根据所述样本信息量对所述未标记样本进行排序，并根据排序结果以选取信息量最大的目标样本；

步骤S61，对所述目标样本进行标记，将标记后的所述目标样本加入所述已标记样本集，并在所述未标记样本集中删除所述目标样本；

步骤S71，根据更新后的所述已标记样本集和所述未标记样本集重新依序执行所述目标检测模型的训练、针对所述未标记样本集的样本预测、针对每个所述未标记样本所携带的信息量的计算和针对所述目标样本的选取和标记，直至判断到更新后的所述已标记样本集满足停止条件时，停止针对所述目标检测模型的训练；

优选的，该步骤中，当判断到所述已标记样本集中的样本数量大于数量阈值时，判定所述已标记样本集满足所述停止条件；

本实施例，通过基于对目标检测模型的训练，以达到自动进行样本标注的效果，提高了样本标注效率，通过根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量的设计，以自动挑选出最有信息量的样本，有效的提高了所述目标样本获取的准确性，且通过对所述已标记样本集和所述未标记样本集进行更新的设计，以达到对所述目标检测模型进行参数更新的效果，优选的，本实施例中，结合型选择策略通过引入IoU项与原始函数相结合，使得IoU项成为基于不确定度采样公式的权重或正则项，其将边界框的定位与分类任务视为同等重要的任务，IoU项在权衡评估未标注数据集中样本的信息量时起着重要作用，信息熵-交并比结合型选择策略的乘积形式和加法形式都优化了选择策略函数，有效的避免了选择仅对改善目标分类性能有益而对定位性能不利的数据。在选择策略函数中引入IoU可以更全面地评估未标记样本的信息量。

实施例三

请参阅图4，是本发明第三实施例提供的目标检测***100的结构示意图，包括：训练集获取模块10、模型训练模块11、信息量计算模块12、样本排序模块13和样本集更新模块14，其中：

训练集获取模块10，用于获取本地预存储的样本训练集，所述样本训练集包括已标记样本集和未标记样本集；

模型训练模块11，用于根据所述已标记样本集对目标检测模型进行模型训练，并根据训练后的所述目标检测模型对所述未标记样本集进行样本预测，以得到预测结果。

其中，所述预测结果中包括每个所述未标记样本中的候选目标的个数、每个所述候选目标对应所述样本训练集中各个分类类别的概率分布集合、每个所述候选目标的边界框的对应空间位置坐标集合。

信息量计算模块12，用于根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量，以得到多个样本信息量。

其中，所述信息量计算模块12还用于：分别计算每个所述候选目标的信息熵，以得到信息熵值；分别计算每个所述候选目标边界框的交并比，以得到交并比值；根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量。

具体的，所述根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量所采用的计算公式为：

或

或

或

其中，x_i为任一所述未标记样本，其所携带信息量值为Score(x_i)，其预测结果的候选目标的边界框集合为Ent(b)为所述信息熵值，IoU(b)为所述交并比值，α是IoU项的系数，x^*为选取的目标样本。

进一步地，所述计算每个所述候选目标的信息熵所采用的计算公式为：

其中，Ent(b)为所述候选目标b的所述信息熵值，C为所述样本训练集中所有分类类别的集合，为所述候选目标b对应分类类别c的概率值。

样本排序模块13，用于根据所述样本信息量对所述未标记样本进行排序，并根据排序结果以选取信息量最大的目标样本。

样本集更新模块14，用于根据所述目标样本分别对所述已标记样本集和所述未标记样本集进行更新，并根据更新后的所述已标记样本集和所述未标记样本集重新依序执行所述目标检测模型的训练、针对所述未标记样本集的样本预测、针对每个所述未标记样本所携带的信息量的计算和针对所述目标样本的选取和标记，直至判断到更新后的所述已标记样本集满足停止条件时，停止针对所述目标检测模型的训练。

其中，所述样本集更新模块14还用于：对所述目标样本进行标记；将标记后的所述目标样本加入所述已标记样本集，并在所述未标记样本集中删除所述目标样本。

此外，所述样本集更新模块14还用于：当判断到所述已标记样本集中的样本数量大于数量阈值时，判定所述已标记样本集满足所述停止条件。

本实施例，通过基于对目标检测模型的训练，以达到仅对部分样本进行标注就能达到较好的训练效果，提高了样本标注效率，通过根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量的设计，以自动挑选出最有信息量的样本，有效的提高了所述目标样本获取的准确性，且通过对所述已标记样本集和所述未标记样本集进行更新的设计，以达到对所述目标检测模型进行参数更新的效果。

本领域技术人员可以理解，图4中示出的组成结构并不构成对本发明的目标检测***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，而图1-2中的目标检测***的主动学习方法亦采用图4中所示的更多或更少的部件，或者组合某些部件，或者不同的部件布置来实现。本发明所称的单元、模块等是指一种能够被所述当前目标检测***中的处理器(图未示)所执行并功能够完成特定功能的一系列计算机程序，其均可存储于所述当前目标检测***的存储设备(图未示)内。

上述实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，而不能以任何方式解释为本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其他具体实施方式，这些方式都将落入本发明的保护范围内。

Claims (5)

1.一种目标检测***的主动学习方法，其特征在于，所述方法包括：

获取本地预存储的样本训练集，所述样本训练集包括已标记样本集和未标记样本集；

根据所述已标记样本集对目标检测模型进行模型训练，并根据训练后的所述目标检测模型对所述未标记样本集进行样本预测，以得到预测结果；

根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量，以得到多个样本信息量；

根据所述样本信息量对所述未标记样本进行排序，并根据排序结果以选取信息量最大的目标样本；

根据所述目标样本分别对所述已标记样本集和所述未标记样本集进行更新，并根据更新后的所述已标记样本集和所述未标记样本集重新依序执行所述目标检测模型的训练、针对所述未标记样本集的样本预测、针对每个所述未标记样本所携带的信息量的计算和针对所述目标样本的选取和标注，直至判断到更新后的所述已标记样本集满足停止条件时，停止针对所述目标检测模型的训练，所述预测结果中包括每个所述未标记样本中的候选目标的个数、每个所述候选目标对应所述样本训练集中各个分类类别的概率分布集合、每个所述候选目标的边界框的对应空间位置坐标集合，所述根据所述预测结果和预设选择策略分别计算所述未标记样本集中每个未标记样本所携带的信息量的步骤包括：

分别计算每个所述候选目标的信息熵，以得到信息熵值；

分别计算每个所述候选目标边界框的交并比，以得到交并比值；

根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量。

2.如权利要求1所述的目标检测***的主动学习方法，其特征在于，所述根据所述交并比值和所述信息熵值以计算每个所述未标记样本所携带的信息量所采用的计算公式为：

或

或

或

其中，x_i为任一所述未标记样本，其所携带信息量值为Score(x_i)，其预测结果的候选目标的边界框集合为Ent(b)为所述信息熵值，IoU(b)为所述交并比值，α是IoU项的系数，x^*为选取的目标样本。

3.如权利要求1所述的目标检测***的主动学习方法，其特征在于，所述计算每个所述候选目标的信息熵所采用的计算公式为：

其中，Ent(b)为所述候选目标b的所述信息熵值，C为所述样本训练集中所有分类类别的集合，为所述候选目标b对应分类类别c的概率值。

4.如权利要求1所述的目标检测***的主动学习方法，其特征在于，所述根据所述目标样本分别对所述已标记样本集和所述未标记样本集进行更新的步骤包括：对所述目标样本进行标记；将标记后的所述目标样本加入所述已标记样本集，并在所述未标记样本集中删除所述目标样本。

5.如权利要求4所述的目标检测***的主动学习方法，其特征在于，所述将标记后的所述目标样本加入所述已标记样本集的步骤之后，所述方法还包括：当判断到所述已标记样本集中的样本数量大于数量阈值时，判定所述已标记样本集满足所述停止条件。