CN112633065A - 一种基于数据增强的人脸检测方法、***、存储介质及终端 - Google Patents

一种基于数据增强的人脸检测方法、***、存储介质及终端 Download PDF

Info

Publication number
CN112633065A
CN112633065A CN202011303542.8A CN202011303542A CN112633065A CN 112633065 A CN112633065 A CN 112633065A CN 202011303542 A CN202011303542 A CN 202011303542A CN 112633065 A CN112633065 A CN 112633065A
Authority
CN
China
Prior art keywords
scale
face
image
data
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011303542.8A
Other languages
English (en)
Inventor
赵磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202011303542.8A priority Critical patent/CN112633065A/zh
Publication of CN112633065A publication Critical patent/CN112633065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于数据增强的人脸检测方法、***、存储介质及终端，该方法包括：从预先划分好的测试集中获取待检测的目标图像；将所述待检测的目标图像输入预先训练的人脸检测模型中；其中，所述人脸检测模型是基于数据增强后的训练数据样本训练所生成；输出检测到的多个人脸；其中，所述多个人脸带有类别标记的边界框。因此，采用本申请实施例，由于本申请将采集的训练样本进行数据增强，使得不同尺度的大小人脸数据分布更加均衡，通过增强后的训练数据对人脸检测模型中的pyramidbox网络进行训练后，使得人脸检测模型的检测性能大幅度提升，从而进一步提高了图像中人脸的检测精度。

Description

一种基于数据增强的人脸检测方法、***、存储介质及终端
技术领域
本发明涉及计算机的深度学习技术领域，特别涉及一种基于数据增强的人 脸检测方法、***、存储介质及终端。
背景技术
基于深度学习的目标检测任务中，特别是实际场景中广泛应用的人脸检测 任务中，对于人脸、小人脸的检测难度很大，面临许多技术挑战，这是因为图 片分辨率比较低，图片模糊，背景噪音多。
现有的人脸检测方法主要包括传统的图像金字塔和多尺度滑动窗口检测人 脸。还包括基于数据扩增方法，通过增加人脸样本数量和种类来提升人脸检测 性能；基于特征融合的方法，将高层、低层的多尺度特征融合来提升检测性能； 基于数据锚采样和匹配策略的方法；利用上下文信息的方法等。在基于数据锚 采样和匹配策略的方法中，Pyramidbox网络提出了基于anchor的上下文信息 用于监督学习小的、模糊和部分遮挡人脸方法。同时，提出了基于尺度感知的 Data-anchor-sampling(DAS)训练策略，以改变训练样本中大、小人脸的分布。 DAS方法对小尺度人脸检测效果比较明显，由于这种采样方式会造成不同尺度 的人脸数据分布不均衡，使得人脸检测模型的检测性能降低，从而进一步降低 了图像中人脸的检测精度。
发明内容
本申请实施例提供了一种基于数据增强的人脸检测方法、***、存储介质 及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单 的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘 这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此确定 为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于数据增强的人脸检测方法，方法 包括：
从预先划分好的测试集中获取待检测的目标图像；
将所述待检测的目标图像输入预先训练的人脸检测模型中；其中，所述人 脸检测模型是基于数据增强后的训练数据样本训练所生成；
输出检测到的多个人脸；其中，所述多个人脸带有类别标记的边界框。
可选的，所述生成处理后的人脸检测框之后，还包括：
将所述检测到的多个人脸进行展示。
可选的，所述从预先划分好的测试集中获取待检测的目标图像之前，还包 括：
采集多个带有人脸的图像数据样本；
将所述带有人脸的图像数据样本划分为训练集、验证集以及测试集；
针对所述训练集中的图像数据样本进行数据增强处理，生成数据锚采样后 的训练数据；
通过人脸检测算法(PyramidBox)创建人脸检测模型；
将所述数据锚采样后的训练数据输入所述创建的人脸检测模型中进行训练， 输出模型损失值；
当所述模型损失值达到预设最小阈值时，生成预先训练的人脸检测模型。
可选的，所述针对所述训练集中的图像数据样本进行数据增强处理，生成 数据锚采样后的训练数据，包括：
从所述训练集中选取任意一个图像样本确定为待增强的图像样本；
按照预先定义的不同大小和/或不同长宽比的锚(anchor)尺度从所述待增 强的图像样本中选择任一尺度的人脸边界框；
将所述选择的任一尺度的人脸边界框进行缩放，并从所述缩放后的人脸边 界框中获取目标人脸的640*640子区域图像；
继续执行从所述训练集中剩下的图像样本中选取一个图像样本确定待增强 的图像样本，直到所述训练集中各图像样本全部具备640*640子区域图像时， 生成数据锚采样后的训练数据。
可选的，所述将所述选择的任一尺度的人脸边界框进行缩放，包括：
针对Pyramidbox检测网络中的6个不同检测网络层所要检测人脸的不同尺 度大小，得到Anchor尺度集合{16，32,64,128,256,512}；
采用遍历算法从所述Anchor尺度集合中逐一遍历与所述人脸边界框最接 近的人脸锚尺度；
根据所述人脸锚尺度从预先设计的目标缩放尺度集中选择任一缩放尺度的 索引，并根据所述选择的任一缩放尺度的索引从所述Anchor尺度集合中获取所 述索引的尺度；
根据所述获取的索引的尺度计算所述选择的任一尺度的人脸边界框所对应 的目标人脸所需尺度；其中，所述目标人脸所需尺度计算公式为：
Figure BDA0002787527620000031
其中，
Figure BDA0002787527620000032
是Anchor尺度集合中获取所 述索引的尺度；
基于所述目标人脸所需尺度和所述选择的任一尺度的人脸边界框对应的尺 度计算尺度缩放参数；
根据所述尺度缩放参数将所述述择的任一尺度的人脸边界框进行缩放。
可选的，所述尺度缩放参数计算公式为s*＝starget/sface；其中，starget为 目标人脸所需尺度，sface为所述选择的任一尺度的人脸边界框对应的尺度。
第二方面，本申请实施例提供了一种基于数据增强的人脸检测***，该系 统包括：
图像获取模块，用于从预先划分好的测试集中获取待检测的目标图像；
图像输入模块，用于将所述待检测的目标图像输入预先训练的人脸检测模 型中；其中，所述人脸检测模型是基于数据增强后的训练数据样本训练所生成；
图像输出模块，用于输出检测到的多个人脸；其中，所述多个人脸带有类 别标记的边界框。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储 有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中， 存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步 骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，基于数据增强的人脸检测***首先从预先划分好的测 试集中获取待检测的目标图像，然后将待检测的目标图像输入预先训练的人脸 检测模型中，其中人脸检测模型是基于数据增强后的训练数据样本训练所生成， 最后输出检测到的多个人脸，其中多个人脸带有类别标记的边界框。因此，采 用本申请实施例，由于本申请将采集的训练样本进行数据增强，使得不同尺度 的大小人脸数据分布更加均衡，通过增强后的训练数据对人脸检测模型中的 pyramidbox网络进行训练后，使得人脸检测模型的检测性能大幅度提升，从而 进一步提高了图像中人脸的检测精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明 的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于数据增强的人脸检测方法的流程示意 图；
图2是本申请实施例提供的一种训练数据的数据增强方法的流程图；
图3是本申请实施例提供的一种基于数据增强的人脸检测模型训练方法的 流程示意图；
图4是本申请实施例提供的一种基于数据增强的人脸检测***的***结构 示意图；
图5是本申请实施例提供的一种终端示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人 员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实 施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同 或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一 致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的 一些方面相一致的***和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述 目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言， 可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中， 除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联 关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同 时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一 种“或”的关系。
到目前为止，现有的人脸检测方法主要包括传统的图像金字塔和多尺度滑 动窗口检测人脸。还包括基于数据扩增方法，通过增加人脸样本数量和种类来 提升人脸检测性能；基于特征融合的方法，将高层、低层的多尺度特征融合来 提升检测性能；基于数据锚采样和匹配策略的方法；利用上下文信息的方法等。 在基于数据锚采样和匹配策略的方法中，Pyramidbox网络提出了基于anchor 的上下文信息用于监督学习小的、模糊和部分遮挡人脸方法。同时，提出了基 于尺度感知的Data-anchor-sampling(DAS)训练策略，以改变训练样本中大、 小人脸的分布。DAS方法对小尺度人脸检测效果比较明显，由于这种采样方式会造成不同尺度的人脸数据分布不均衡，使得人脸检测模型的检测性能降低， 从而进一步降低了图像中人脸的检测精度。为此，本申请提供了一种基于数据 增强的人脸检测方法、***、存储介质及终端，以解决上述相关技术问题中存 在的问题。本申请提供的技术方案中，由于本申请将采集的训练样本进行数据 增强，使得不同尺度的大小人脸数据分布更加均衡，通过增强后的训练数据对 人脸检测模型中的pyramidbox网络进行训练后，使得人脸检测模型的检测性能 大幅度提升，从而进一步提高了图像中人脸的检测精度，下面采用示例性的实 施例进行详细说明。
下面将结合附图1-附图3，对本申请实施例提供的基于数据增强的人脸检 测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依 曼体系的基于数据增强的人脸检测***上。该计算机程序可集成在应用中，也 可确定为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种基于数据增强的人脸检测方法的 流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，从预先划分好的测试集中获取待检测的目标图像；
其中，验证集是验证模型是否达到预设最小损失值的样本图像数据，测试 集是用来测试模型的检测精度是否到达预期效果。待检测的图像是测试集中的 图像帧。
通常，现有的人脸检测方法基于数据锚采样和匹配策略的方法进行检测， 在进行检测时，通过人脸检测模型来检测待检测的目标图像中的多个人脸(例 如多个小人脸图像)，其中人脸检测模型是通过Pyramidbox网络创建并训练生 成的，Pyramidbox算法神经网络提出了基于锚(anchor)的上下文信息用于监 督学习人脸的、模糊和部分遮挡的方法，以及同时提出了基于尺度感知的 Data-anchor-sampling(DAS)训练策略，以改变训练样本中大、小人脸的分布， 通过数据增强的方式增加小脸样本。
DAS方法对小尺度人脸增强效果比较明显，由于这种采样方式会造成不同 尺度的人脸数据分布不均衡，使得人脸检测模型的检测性能降低，从而进一步 降低了图像中人脸的检测精度。因此，本发明将现有的DAS采样方法进行有效 改进，使得经过本发明的训练数据进行增强后，使得不同尺度的大、小人脸数 据分布更加均衡，使得训练后的pyramidbox网络检测性能提升有很大改善。
在一种可能的实现方式中，基于数据增强的人脸检测***在进行检测时， 首先从预先划分好的测试集中获取待检测的目标图像，该目标图像中包括大量 的人脸(例如大量的小人脸图像)。
S102，将所述待检测的目标图像输入预先训练的人脸检测模型中；其中， 所述人脸检测模型是基于数据增强后的训练数据样本训练所生成；
其中，预先训练的人脸检测模型是具备检测图像帧中多个人脸的数学模型。
通常，预先训练的人脸检测模型在进行模型训练时，首先采集多个带有人 脸的图像数据样本，再将带有人脸的图像数据样本划分为训练集、验证集以及 测试集，然后针对训练集中的图像数据样本进行数据增强处理，生成数据锚采 样后的训练数据，再通过人脸检测算法(PyramidBox)创建人脸检测模型，最 后将数据锚采样后的训练数据输入创建的人脸检测模型中进行训练，输出模型 损失值，并当模型损失值达到预设最小阈值时，生成预先训练的人脸检测模型。
进一步地，在针对训练集中的图像数据样本进行数据增强处理，生成数据 锚采样后的训练数据时，首先从所述训练集中选取任意一个图像样本确定为待 增强的图像样本，再按照预先定义的不同大小和/或不同长宽比的锚(anchor) 尺度从所述待增强的图像样本中选择任一尺度的人脸边界框，然后将选择的任 一尺度的人脸边界框进行缩放，并从缩放后的人脸边界框中获取目标人脸的 640*640子区域图像，最后继续执行从所述训练集中剩下的图像样本中选取一 个图像样本确定待增强的图像样本，直到所述训练集中各图像样本全部具备 640*640子区域图像时，生成数据数据锚采样后的训练数据。
进一步地，在获取训练集中各图像样本的优先级时，首先获取训练集中各 图像样本指示的采集时间，然后基于采集时间确定训练集中各图像的优先级。
进一步地，在将选择的任一尺度的人脸边界框进行缩放时，首先针对 Pyramidbox检测网络中的6个不同检测网络层所要检测人脸的不同尺度大小， 得到Anchor尺度集合{16，32,64,128,256,512}，其中，Anchor尺度集合尺度 的数值对应人脸边界框中的多个人脸相关区域数据，然后采用遍历算法从所述 Anchor尺度集合中逐一遍历与所述人脸边界框最接近的人脸锚尺度，再根据人 脸锚尺度从预先设计的目标缩放尺度集中选择任一缩放尺度的索引，并根据选 择的任一缩放尺度的索引从Anchor尺度集合中获取索引的尺度，再根据获取的 索引的尺度计算选择的任一尺度的人脸边界框所对应的目标人脸所需尺度；其 中，目标人脸所需尺度计算公式为：
Figure BDA0002787527620000071
其中，
Figure BDA0002787527620000072
是Anchor尺度集合中获取所述索引的尺度，再基于目标人脸所需尺度和 选择的任一尺度的人脸边界框对应的尺度计算尺度缩放参数，最后根据所尺度 缩放参数将选择的任一尺度的人脸边界框进行缩放。
进一步地，尺度缩放参数计算公式为s*＝starget/sface；其中，starget为目 标人脸所需尺度，sface为选择的任一尺度的人脸边界框对应的尺度。
在一种可能的实现方式中，在根据上述创建人脸检测模型以及将人脸检测 模型训练结束后，再将步骤S101获取的待检测的目标图像输入训练结束的人脸 检测模型，从而检测到待检测的目标图像中多个人脸。
S103，输出检测到的多个人脸；其中，所述多个人脸带有类别标记的边界 框。
通常，例如图2所示，图2是本申请实施例提供的一种针对训练数据进行 数据增强的具体流程方法图，首先采集人脸数据并将采集的人脸数据分为训练 集、验证集以及测试集，再从人脸训练集中随机选择一张图像，然后从该图像 中随机选择一个人脸尺度，在从该图像所有的锚尺度中选择与该人脸尺度最接 近的人脸锚尺度，再从预先生成的目标缩放尺度集中随机选择一个尺度索引， 根据该尺度索引随机选择一个目标人脸尺度，再根据第一次选择的人脸尺度和 目标人脸尺度计算人脸缩放尺度，并将原图像按照缩放尺度调整为缩放图像， 最后从缩放后的图像中随机选择包含人脸的子图像，并重复上述方法过程，得 到满足数量的训练样本用于训练检测网络。
为了便于理解，此处举例说明数据增强过程，1、从图像中随机选择一个 Sface的人脸gtbox。2、从(16,32,64,128,256,512)锚尺度(anchor)中找 到匹配该gtbox的anchor尺度S1。3、从目标(16,32,64,S1*2)中随机选择 一个尺度S2。4、对包含Sface的原图进行改变(resize)，resize的具体值为 scale＝S2/Sface，5、从resize之后的图片中crop成640×640大小的图进行 训练。
比如：第一步为随机选择一个人脸，假设其尺度为140pix；第二步为找 到与之最匹配的预定义anchor尺度，128pix；第三步为从{16、32、64、128、 256}中随机选择一个目标尺度，如32pix；第四步为将包含140pix人脸的原 图img1，做scale＝32/140＝0.2285的resize，得到img2；第六步为从 img2中crop出包含该人脸的640x 640子图像。
DAS操作可以改变数据的分布：1提升小尺度人脸的占比，2通多大尺度人 脸生成小尺度人脸，以增加小尺度人脸的多样性。
在一种可能的实现方式中，在基于步骤S102检测到多个人脸人脸后，将检 测到的多个人脸人脸输出并进行展示。
在本申请实施例中，基于数据增强的人脸检测***首先从预先划分好的测 试集中获取待检测的目标图像，然后将待检测的目标图像输入预先训练的人脸 检测模型中，其中人脸检测模型是基于数据增强后的训练数据样本训练所生成， 最后输出检测到的多个人脸，其中多个人脸带有类别标记的边界框。因此，采 用本申请实施例，由于本申请将采集的训练样本进行数据增强，使得不同尺度 的大小人脸数据分布更加均衡，通过增强后的训练数据对人脸检测模型中的 pyramidbox网络进行训练后，使得人脸检测模型的检测性能大幅度提升，从而 进一步提高了图像中人脸的检测精度。
请参见图3，为本申请实施例提供的一种基于数据增强的人脸检测模型的 模型训练方法的流程示意图。该基于数据增强的人脸检测模型的模型训练方法 可以包括以下步骤：
S201，采集多个带有人脸的图像数据样本；
S202，将带有人脸的图像数据样本划分为训练集、验证集以及测试集；
S203，从所述训练集中选取任意一个图像样本确定为待增强的图像样本；
S204，按照预先定义的不同大小和/或不同长宽比的锚(anchor)尺度从待 增强的图像样本中选择任一尺度的人脸边界框；
在一种可能的实现方式中，从一张训练图像中随机选择一个尺度Sface的人 脸边界框，这里PyramidBox中预定义的anchor尺度分别为：si＝24+i，其中 i＝0,1,...,5。
S205，将选择的任一尺度的人脸边界框进行缩放，并从缩放后的人脸边界 框中获取目标人脸的640*640子区域图像；
在一种可能的实现方式中，在进行缩放时，首先从所有的anchor尺度中找 出与Sface最接近的人脸锚尺度。计算公式如下：
Figure BDA0002787527620000091
其中ianchor表示与基于选定的人脸边界框最匹配的anchor尺度的索引。
然后，为了保持随机选择尺度的均衡化，需要根据选择不同尺度条件，从 目标缩放尺度集中随机选择一个尺度的索引itarget。计算公式如下：
itarget＝random{set0}，其中set0＝{i0，i1}
itarget＝random{set1}，其中set1＝{i0，i1，i2}
itarget＝random{set2}，其中set2＝{i0，i1，i2，i3}
itarget＝random{set3}，其中set3＝{i2，i3，i4，i5}
itarget＝random{set4}，其中set4＝{i3，i4，i5}
itarget＝random{set5}，其中set5＝{i4，i5}
这里的set0，set1，set2，set3，set4，set5分别表示ianchor取锚尺度索引 0，1，2，3，4，5时的目标缩放尺度集。
以及，为了保持区间的尺度连续性，更改了目标人脸尺度为：
Figure BDA0002787527620000101
其中
Figure BDA0002787527620000102
是(3)中尺度索引itarget对应的anchor尺度。
最后，将人脸尺度Sface重新调整所需的缩放尺度为：
s*＝starget/sface
并将原训练图像按缩放尺度s*调整为缩放图像，再从缩放图像中随机选择 包含人脸的640*640子区域图像，得到数据锚采样后的训练数据。
S206，继续执行按照所述优先级的高低顺序从所述训练集中确定待增强的 图像样本，直到所述训练集中各图像样本全部具备640*640子区域图像时，生 成数据锚采样后的训练数据；
S207，通过人脸检测算法(PyramidBox)创建人脸检测模型；
S208，将数据锚采样后的训练数据输入创建的人脸检测模型中进行训练， 输出模型损失值；
S209，当模型损失值达到预设最小阈值时，生成预先训练的人脸检测模型。
在本申请实施例中，基于数据增强的人脸检测***首先从预先划分好的测 试集中获取待检测的目标图像，然后将待检测的目标图像输入预先训练的人脸 检测模型中，其中人脸检测模型是基于数据增强后的训练数据样本训练所生成， 最后输出检测到的多个人脸，其中多个人脸带有类别标记的边界框。因此，采 用本申请实施例，由于本申请将采集的训练样本进行数据增强，使得不同尺度 的大小人脸数据分布更加均衡，通过增强后的训练数据对人脸检测模型中的 pyramidbox网络进行训练后，使得人脸检测模型的检测性能大幅度提升，从而 进一步提高了图像中人脸的检测精度。
下述为本发明***实施例，可以用于执行本发明方法实施例。对于本发明 ***实施例中未披露的细节，请参照本发明方法实施例。
请参见图4，其示出了本发明一个示例性实施例提供的基于数据增强的人 脸检测***的结构示意图。该基于数据增强的人脸检测***可以通过软件、硬 件或者两者的结合实现成为智能机器人的全部或一部分。该***1包括图像获 取模块10、图像输入模块20、图像输出模块30。
图像获取模块10，用于从预先划分好的测试集中获取待检测的目标图像；
图像输入模块20，用于将所述待检测的目标图像输入预先训练的人脸检测 模型中；其中，所述人脸检测模型是基于数据增强后的训练数据样本训练所生 成；
图像输出模块30，用于输出检测到的多个人脸；其中，所述多个人脸带有 类别标记的边界框。
需要说明的是，上述实施例提供的基于数据增强的人脸检测***在执行基 于数据增强的人脸检测方法时，仅以上述各功能模块的划分进行举例说明，实 际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备 的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另 外，上述实施例提供的基于数据增强的人脸检测***与基于数据增强的人脸检 测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，基于数据增强的人脸检测***首先从预先划分好的测 试集中获取待检测的目标图像，然后将待检测的目标图像输入预先训练的人脸 检测模型中，其中人脸检测模型是基于数据增强后的训练数据样本训练所生成， 最后输出检测到的多个人脸，其中多个人脸带有类别标记的边界框。因此，采 用本申请实施例，由于本申请将采集的训练样本进行数据增强，使得不同尺度 的大小人脸数据分布更加均衡，通过增强后的训练数据对人脸检测模型中的 pyramidbox网络进行训练后，使得人脸检测模型的检测性能大幅度提升，从而 进一步提高了图像中人脸的检测精度。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被 处理器执行时实现上述各个方法实施例提供的基于数据增强的人脸检测方法。 本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使 得计算机执行上述各个方法实施例的基于数据增强的人脸检测方法。
请参见图5，为本申请实施例提供了一种终端的结构示意图。如图5所示， 终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接 口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可 选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各 种借口和线路连接整个终端1000内的各个部分，通过运行或执行存储在存储器 1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数 据，执行终端1000的各种功能和处理数据。可选的，处理器1001可以采用数 字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处 理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、 用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制； 调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成 到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)， 也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非 瞬时性计算机可读介质(non-transitory computer-readable storage medium)。 存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可 包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的 指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功 能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方 法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储***。如图5所示，确定为一种计算机存储介质的存储器 1005中可以包括操作***、网络通信模块、用户接口模块以及基于数据增强的 人脸检测应用程序。
在图5所示的终端1000中，用户接口1003主要用于为用户提供输入的接 口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的 基于数据增强的人脸检测应用程序，并具体执行以下操作：
从预先划分好的测试集中获取待检测的目标图像；
将所述待检测的目标图像输入预先训练的人脸检测模型中；其中，所述人 脸检测模型是基于数据增强后的训练数据样本训练所生成；
输出检测到的多个人脸；其中，所述多个人脸带有类别标记的边界框。
在一个实施例中，处理器1001在执行生成处理后的人脸检测框之后时，还 执行以下操作：
将所述检测到的多个人脸进行展示。
在一个实施例中，处理器1001在执行从预先划分好的测试集中获取待检 测的目标图像之前时，还执行以下操作：
采集多个带有人脸的图像数据样本；
将所述带有人脸的图像数据样本划分为训练集、验证集以及测试集；
针对所述训练集中的图像数据样本进行数据增强处理，生成数据锚采样后 的训练数据；
通过人脸检测算法(PyramidBox)创建人脸检测模型；
将所述数据锚采样后的训练数据输入所述创建的人脸检测模型中进行训练， 输出模型损失值；
当所述模型损失值达到预设最小阈值时，生成预先训练的人脸检测模型。
在一个实施例中，处理器1001在执行针对所述训练集中的图像数据样本进 行数据增强处理，生成数据锚采样后的训练数据时，具体执行以下操作：
从所述训练集中选取任意一个图像样本确定为待增强的图像样本；
按照预先定义的不同大小和/或不同长宽比的锚(anchor)尺度从所述待增 强的图像样本中选择任一尺度的人脸边界框；
将所述选择的任一尺度的人脸边界框进行缩放，并从所述缩放后的人脸边 界框中获取目标人脸的640*640子区域图像；
继续执行从所述训练集中剩下的图像样本中选取一个图像样本确定待增强 的图像样本，直到所述训练集中各图像样本全部具备640*640子区域图像时， 生成数据锚采样后的训练数据。
在一个实施例中，处理器1001在执行将所述选择的任一尺度的人脸边界框 进行缩放时，具体执行以下操作：
针对Pyramidbox检测网络中的6个不同检测网络层所要检测人脸的不同尺 度大小，得到Anchor尺度集合{16，32,64,128,256,512}；
采用遍历算法从所述Anchor尺度集合中逐一遍历与所述人脸边界框最接 近的人脸锚尺度；
根据所述人脸锚尺度从预先设计的目标缩放尺度集中选择任一缩放尺度的 索引，并根据所述选择的任一缩放尺度的索引从所述Anchor尺度集合中获取所 述索引的尺度；
根据所述获取的索引的尺度计算所述选择的任一尺度的人脸边界框所对应 的目标人脸所需尺度；其中，所述目标人脸所需尺度计算公式为：
Figure BDA0002787527620000141
其中，
Figure BDA0002787527620000142
是Anchor尺度集合中获取所述 索引的尺度；
基于所述目标人脸所需尺度和所述选择的任一尺度的人脸边界框对应的尺 度计算尺度缩放参数；
根据所述尺度缩放参数将所述述择的任一尺度的人脸边界框进行缩放。
在一个实施例中，处理器1001在执行获取所述训练集中各图像样本的优先 级时，具体执行以下操作：
获取所述训练集中各图像样本指示的采集时间；
基于所述采集时间确定所述训练集中各图像的优先级。
在本申请实施例中，基于数据增强的人脸检测***首先从预先划分好的测 试集中获取待检测的目标图像，然后将待检测的目标图像输入预先训练的人脸 检测模型中，其中人脸检测模型是基于数据增强后的训练数据样本训练所生成， 最后输出检测到的多个人脸，其中多个人脸带有类别标记的边界框。因此，采 用本申请实施例，由于本申请将采集的训练样本进行数据增强，使得不同尺度 的大小人脸数据分布更加均衡，通过增强后的训练数据对人脸检测模型中的 pyramidbox网络进行训练后，使得人脸检测模型的检测性能大幅度提升，从而 进一步提高了图像中人脸的检测精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读 取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中， 的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之 权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (9)

1.一种基于数据增强的人脸检测方法，其特征在于，所述方法包括：
从预先划分好的测试集中获取待检测的目标图像；
将所述待检测的目标图像输入预先训练的人脸检测模型中；其中，所述人脸检测模型是基于数据增强后的训练数据样本训练所生成；
输出检测到的多个人脸；其中，所述多个人脸带有类别标记的边界框。
2.根据权利要求1所述的方法，其特征在于，所述输出检测到的多个人脸之后，还包括：
将所述检测到的多个人脸进行展示。
3.根据权利要求1所述的方法，其特征在于，所述从预先划分好的测试集中获取待检测的目标图像之前，还包括：
采集多个带有人脸的图像数据样本；
将所述带有人脸的图像数据样本划分为训练集、验证集以及测试集；
针对所述训练集中的图像数据样本进行数据增强处理，生成数据锚采样后的训练数据；
通过人脸检测算法(PyramidBox)创建人脸检测模型；
将所述数据锚采样后的训练数据输入所述创建的人脸检测模型中进行训练，输出模型损失值；
当所述模型损失值达到预设最小阈值时，生成预先训练的人脸检测模型。
4.根据权利要求3所述的方法，其特征在于，所述针对所述训练集中的图像数据样本进行数据增强处理，生成数据锚采样后的训练数据，包括：
从所述训练集中选取一个图像样本确定为待增强的图像样本；
按照预先定义的不同大小和/或不同长宽比的锚(anchor)尺度从所述待增强的图像样本中选择任一尺度的人脸边界框；
将所述选择的任一尺度的人脸边界框进行缩放，并从所述缩放后的人脸边界框中获取目标人脸的640*640子区域图像；
继续执行从所述训练集中剩下的图像样本中选取一个图像样本确定待增强的图像样本，直到所述训练集中各图像样本全部具备640*640子区域图像时，生成数据数据锚采样后的训练数据。
5.根据权利要求4所述的方法，其特征在于，所述将所述选择的任一尺度的人脸边界框进行缩放，包括：
针对Pyramidbox检测网络中的6个不同检测网络层所要检测人脸的不同尺度大小，得到Anchor尺度集合{16，32，64，128，256，512}；
采用遍历算法从所述Anchor尺度集合中逐一遍历与所述人脸边界框最接近的人脸锚尺度；
根据所述人脸锚尺度从预先设计的目标缩放尺度集中选择任一缩放尺度的索引，并根据所述选择的任一缩放尺度的索引从所述Anchor尺度集合中获取所述索引的尺度；
根据所述获取的索引的尺度计算所述选择的任一尺度的人脸边界框所对应的目标人脸所需尺度；其中，所述目标人脸所需尺度计算公式为：
Figure FDA0002787527610000021
其中，
Figure FDA0002787527610000022
是Anchor尺度集合中获取所述索引的尺度；
基于所述目标人脸所需尺度和所述选择的任一尺度的人脸边界框对应的尺度计算尺度缩放参数；
根据所述尺度缩放参数将所述述择的任一尺度的人脸边界框进行缩放。
6.根据权利要求5所述的方法，其特征在于，所述尺度缩放参数计算公式为s*＝starget/sface；其中，starget为目标人脸所需尺度，sface为所述选择的任一尺度的人脸边界框对应的尺度。
7.一种基于数据增强的人脸检测***，其特征在于，所述***包括：
图像获取模块，用于从预先划分好的测试集中获取待检测的目标图像；
图像输入模块，用于将所述待检测的目标图像输入预先训练的人脸检测模型中；其中，所述人脸检测模型是基于数据增强后的训练数据样本训练所生成；
图像输出模块，用于输出检测到的多个人脸；其中，所述多个人脸带有类别标记的边界框。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～6任意一项的方法步骤。
9.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6任意一项的方法步骤。
CN202011303542.8A 2020-11-19 2020-11-19 一种基于数据增强的人脸检测方法、***、存储介质及终端 Pending CN112633065A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303542.8A CN112633065A (zh) 2020-11-19 2020-11-19 一种基于数据增强的人脸检测方法、***、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303542.8A CN112633065A (zh) 2020-11-19 2020-11-19 一种基于数据增强的人脸检测方法、***、存储介质及终端

Publications (1)

Publication Number Publication Date
CN112633065A true CN112633065A (zh) 2021-04-09

Family

ID=75303619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303542.8A Pending CN112633065A (zh) 2020-11-19 2020-11-19 一种基于数据增强的人脸检测方法、***、存储介质及终端

Country Status (1)

Country Link
CN (1) CN112633065A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298913A (zh) * 2021-06-07 2021-08-24 Oppo广东移动通信有限公司 数据增强方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222657A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 单步人脸检测器优化***、方法、装置
CN110363137A (zh) * 2019-07-12 2019-10-22 创新奇智(广州)科技有限公司 人脸检测优化模型、方法、***及其电子设备
CN110598638A (zh) * 2019-09-12 2019-12-20 Oppo广东移动通信有限公司 模型训练方法、人脸性别预测方法、设备及存储介质
CN111553227A (zh) * 2020-04-21 2020-08-18 东南大学 基于任务指导的轻量级人脸检测方法
CN111898410A (zh) * 2020-06-11 2020-11-06 东南大学 无约束场景下的基于上下文推理的人脸检测方法
CN111914665A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222657A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 单步人脸检测器优化***、方法、装置
CN110363137A (zh) * 2019-07-12 2019-10-22 创新奇智(广州)科技有限公司 人脸检测优化模型、方法、***及其电子设备
CN110598638A (zh) * 2019-09-12 2019-12-20 Oppo广东移动通信有限公司 模型训练方法、人脸性别预测方法、设备及存储介质
CN111553227A (zh) * 2020-04-21 2020-08-18 东南大学 基于任务指导的轻量级人脸检测方法
CN111898410A (zh) * 2020-06-11 2020-11-06 东南大学 无约束场景下的基于上下文推理的人脸检测方法
CN111914665A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU TANG等: "PyramidBox: A Context-assisted Single Shot Face Detector", 《ARXIV:1803.07737V2[CS.CV]》, pages 1 - 21 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298913A (zh) * 2021-06-07 2021-08-24 Oppo广东移动通信有限公司 数据增强方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN112434721B (zh) 一种基于小样本学习的图像分类方法、***、存储介质及终端
CN108664981B (zh) 显著图像提取方法及装置
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及***
CN109671020B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN111104962A (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
JP2023520846A (ja) 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器
CN109583509B (zh) 数据生成方法、装置及电子设备
WO2022227770A1 (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
JP2015079505A (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
CN111914843B (zh) 文字检测方法、***、设备及存储介质
CN108875931B (zh) 神经网络训练及图像处理方法、装置、***
CN112149694B (zh) 一种基于卷积神经网络池化模块的图像处理方法、***、存储介质及终端
CN112633077B (zh) 一种基于层内多尺度特征增强的人脸检测方法、***、存储介质及终端
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
CN112488999A (zh) 一种图像中小目标检测方法、***、存储介质及终端
CN115330940A (zh) 一种三维重建方法、装置、设备和介质
CN108986210B (zh) 三维场景重建的方法和设备
CN112633065A (zh) 一种基于数据增强的人脸检测方法、***、存储介质及终端
CN117253071B (zh) 基于多级伪标签增强的半监督目标检测方法及***
CN112633085A (zh) 一种基于注意力导向机制的人脸检测方法、***、存储介质及终端
CN110796115A (zh) 图像检测方法、装置、电子设备及可读存储介质
CN114820755B (zh) 一种深度图估计方法及***
CN114529689B (zh) 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及***
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和***
CN113222843B (zh) 一种图像修复方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination