CN113554692A - 一种人脸检测模型训练方法、人脸检测方法及相关装置 - Google Patents

一种人脸检测模型训练方法、人脸检测方法及相关装置 Download PDF

Info

Publication number
CN113554692A
CN113554692A CN202110956647.1A CN202110956647A CN113554692A CN 113554692 A CN113554692 A CN 113554692A CN 202110956647 A CN202110956647 A CN 202110956647A CN 113554692 A CN113554692 A CN 113554692A
Authority
CN
China
Prior art keywords
sample set
training sample
stage
face detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110956647.1A
Other languages
English (en)
Inventor
邱尚锋
张文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110956647.1A priority Critical patent/CN113554692A/zh
Publication of CN113554692A publication Critical patent/CN113554692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了一种人脸检测模型训练方法、人脸检测方法及相关装置，方法包括：在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集；依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；基于待训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。将第一人脸检测模型按照从简单到复杂的方式进行训练，并且将第一人脸模型检测模型无法识别的较小的人脸进行识别训练，使得轻量级的第一人脸检测模型具备重量级模型的能力，使得忽略的小脸也能够进入训练过程中，有效提升了轻量级模型预测小脸的能力，从而提升轻量级模型的检测精度。

Description

一种人脸检测模型训练方法、人脸检测方法及相关装置
技术领域
本发明涉及人脸检测领域，具体而言，涉及一种人脸检测模型训练方法、人脸检测方法及相关装置。
背景技术
直播审核中日亿量级的截图审核需求下，为了减少审核成本，一般采用轻量级模型对图像中的人脸进行检测或者直接使用重量级模型对人脸进行检测。
现有技术中当仅采用轻量级模型对人脸进行检测时，由于图像中人脸的大小不一，轻量级模型无法对小脸进行检测，造成检测精度较低，此时需要采用重量级模型对小脸进行检测，则会增加成本。
发明内容
本发明的目的包括，例如，提供了一种人脸检测模型训练方法、人脸检测方法及相关装置，其能够在降低审核成本的基础上，提升人脸检测模型的检测精度。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种人脸检测模型训练方法，所述方法包括：
在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集，其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集；
依次按照第一阶段训练样本集、所述第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；
基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型。
在可选的实施方式中，所述在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集的步骤，包括：
获取所述待训练样本集中的人脸框面积大于第一预设面积范围的训练样本，作为第一阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第二预设面积范围的训练样本，作为第二阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第三预设面积范围的训练样本，作为第三阶段训练样本集；
其中，所述第一预设面积范围大于所述第二预设面积范围，所述第二预设面积范围大于所述第三预设面积范围；所述第一预设面积范围为(2562，+∞)，所述第二预设范围面积为(642，+∞)，所述第三预设面积范围为(162，+∞)。
在可选的实施方式中，所述基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型包括：
确定所述第一人脸检测模型在训练过程中忽略的人脸框；其中，忽略的人脸框基于重量级监测模型对第一人脸检测模型的训练进行监测得到，忽略的人脸框面积小于所述第三预设面积；
将携带有忽略的人脸框的人脸图像作为目标训练样本集；
基于所述目标训练样本集和所述第三阶段训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型，其中，所述第三训练样本集不包含所述目标训练样本集，且所述目标训练样本集属于待训练样本集。
在可选的实施方式中，所述方法还包括：
确定人脸框的长度信息和宽度信息；
基于所述人脸框的长度信息和宽度信息，确定所述人脸框的面积。
第二方面，本申请实施例提供了一种人脸检测方法，所述方法包括：
获取待检测图像；
基于目标人脸检测模型对所述待检测图像中的人脸进行检测，其中，所述目标人脸检测模型通过依次按照第一阶段训练样本集、所述第二阶段训练样本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集，所述待训练样本集包含第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集。
第三方面，本申请实施例提供了一种人脸检测模型训练装置，所述装置包括：
确定模块，用于在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集，其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集；
第一训练模块，用于依次按照第一阶段训练样本集、所述第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；
第二训练模块，用于基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型。
第四方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述人脸检测模型训练方法的步骤。
第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述人脸检测模型训练方法的步骤。
本申请具有以下有益效果：
本申请通过在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集；依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；基于待训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。将第一人脸检测模型按照从简单到复杂的方式进行训练，并且将第一人脸模型检测模型无法识别的较小的人脸进行识别训练，使得轻量级的第一人脸检测模型具备重量级模型的能力，使得忽略的小脸也能够进入训练过程中，有效提升了轻量级模型预测小脸的能力，从而提升轻量级模型的检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的方框示意图；
图2为本发明实施例提供的一种人脸检测模型训练方法的流程示意图之一；
图3为本发明实施例提供的一种人脸检测模型训练方法的流程示意图之二；
图4为本发明实施例提供的一种人脸检测模型训练方法的流程示意图之三；
图5为本发明实施例提供的一种人脸检测方法的流程示意图；
图6为本发明实施例提供的一种人脸检测模型训练装置的结构框图；
图7为本发明实施例提供的一种人脸检测装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
目前对人脸检测模型训练的方案中，一般采用轻量级模型对图像中的人脸进行检测或者直接使用重量级模型对人脸进行检测。
但是经过发明人大量研究发现，采用轻量级模型对人脸进行检测时，由于图像中人脸的大小不一，轻量级模型无法对小脸进行检测，造成检测精度较低，此时需要采用重量级模型对小脸进行检测，则会增加审核的成本。
有鉴于对上述问题的发现，本实施例提供了一种人脸检测模型训练方法、人脸检测方法及相关装置，能够在降低审核成本的基础上，提升人脸检测模型的检测精度，下面对本实施例提供的方案进行详细阐述。
本实施例提供一种可以对人脸检测模型进行训练的电子设备或者可以对人脸进行检测的电子设备。在一种可能的实现方式中，所述电子设备可以为用户终端，例如，电子设备可以是，但不限于，服务器、智能手机、个人电脑(PersonalComputer，PC)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile InternetDevice，MID)以及图像采集装置等。
该电子设备可以具有图像采集部件(如，摄像头)；或者具有能够与图像采集部件进行通信的数据接口，从而获取图像采集部件采集的图像。该电子设备还可以具有能够对人脸检测模型进行训练的部件和对人脸进行检测的部件，例如，中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphic Processing Unit，GPU)等，从而执行本实施例提供的人脸检测模型训练方法或人脸检测方法。
在另一种可能的实现方式中，所述电子设备也可以为能够与用户终端通信的服务器。该服务器可以在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集，其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段样训练本集包含第二阶段训练样本集和第一阶段训练样本集；依次按照第一阶段训练样本集、所述第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型。
在另一种可能的实现方式中，该服务器可以获取待检测图像；基于目标人脸检测模型对所述待检测图像中的人脸进行检测，其中，所述目标人脸检测模型通过依次按照第一阶段训练样本集、所述第二阶段训练样本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集，所述待训练样本集包含第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集。
请参照图1所示的该电子设备100的结构示意图。该电子设备100包括人脸检测模型训练装置110、人脸检测装置150、存储器120、处理器130以及通信单元140。
该存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。该人脸检测模型训练装置110或人脸检测装置150包括至少一个可以软件或固件(Firmware)的形式存储于存储器120中或固化在服电子设备100的操作***(Operating System，OS)中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块，例如人脸检测模型训练装置110或人脸检测装置150所包括的软件功能模块及计算机程序等。该人脸检测模型训练装置110或人脸检测装置150中的计算机可执行指令被处理器执行时，实现该人脸检测模型训练方法或人脸检测方法。
其中，该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，该处理器130在接收到执行指令后，执行该程序。该通信单元140用于通过网络收发数据。
该处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参照图2，图2为应用于图1所示的电子设备100的一种人脸检测模型训练方法的流程图，以下将对所述方法包括各个步骤进行详细阐述。
步骤201：在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集。
其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，第二阶段训练样本集包含第一阶段训练样本集，第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集。
步骤202：依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型。
步骤203：基于待训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。
待训练样本集包括多张图像，多张图像中包括至少一个人脸框，其中，人脸框中包含人脸图像，人脸图像的人脸框是人工标注出来的。
基于人工标注确定待训练样本集中的各样本的人脸框，并确定人脸框的面积。由于待训练样本集中的各样本中的人脸大小不同，因此人脸图像的人脸框的面积也不同。对于人脸框的面积的确定，可以基于识别技术，自动识别人脸框的面积，或者基于人工计算人脸框的面积。
获取待训练样本集中人脸框面积大于第一预设面积的各样本，作为第一阶段训练样本集。获取待训练样本集中人脸框面积大于第二预设面积的各样本，作为第二阶段训练样本集。获取待训练样本集中人脸框面积大于第三预设面积的各样本，作为第三阶段训练样本集。
需要说明的是，第一预设面积大于第二预设面积，第二预设面积大于第三预设面积。
例如：待训练样本集包括的样本为A、B、C、D、E，F，五个样本，且A中包括的人脸框为一个，且人脸框大于第一预设面积，B中包括的人脸框为两个，一个人脸框大于第一预设面积，另一个人脸框大于第二预设面积，C中包括的人脸框为一个，且人脸框大于第三预设面积，D中包括的人脸框为一个，且人脸框的面积大于第二预设面，E中包括的人脸框为两个，一个人脸框大于第二预设面积，另一个人脸框大于第三预设面积，F中包括一个人脸框，且人脸框面积小于第三预设面积。基于人脸框的面积确定多个阶段的训练样本集，其中，第一阶段训练样本集为(A，B)，第二阶段训练样本集为(A，B，D，E)，第三阶段训练样本集为(A，B，C，D，E)。
先按照第一阶段训练样本集对人脸检测模型进行训练，再按照第二阶段训练样本集对，基于第一阶段训练样本集训练得到的人脸检测模型进行训练，再按照第三阶段训练样本集对，基于第二阶段训练样本集训练得到的人脸检测模型进行训练，得到第一人脸检测模型。
当依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集训练得到第一人脸检测模型后，例如上述举例中，待训练样本集中还包括F，F不属于第一阶段训练样本集，不属于第二阶段训练样本集，不属于第三阶段训练样本集，F中的人脸框面积小于第三预设面积。将所有的待训练样本集对第一人脸检测模型进行训练。
由于第一人脸检测模型为轻量级模型，轻量级框架侧重于减小开发的复杂度，相应的它的处理能力便有所减弱。因此对于人脸框面积小于第三预设面积，即待训练样本F，第一人脸检测模型无法对该训练样本进行识别，在第一人脸检测模型对训练样本进行训练时，F这类样本会被忽略，为了使得第一人脸训练模型学习识别人脸框小于第三预设面积的能力，则将所有训练样本都进行训练，待训练样本中包括F这类样本。
从而使得第一人脸检测模型拥有重量级模型识别人脸框小于第三预设面积的能力，提升人脸检测模型的识别精准度。本申请通过在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集；依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；基于待训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。将第一人脸检测模型按照从简单到复杂的方式进行训练，并且将第一人脸模型检测模型无法识别的较小的人脸进行识别训练，使得轻量级的第一人脸检测模型具备重量级模型的能力，使得忽略的小脸也能够进入训练过程中，有效提升了轻量级模型预测小脸的能力，从而提升轻量级模型的检测精度。
为了有效的对待训练样本集进行分类，针对上述步骤201，在本申请的另一实施例中，如图3所示，提供了一种人脸检测模型训练方法，具体包括如下步骤：
步骤201-1：获取待训练样本集中的人脸框面积大于第一预设面积范围的训练样本，作为第一阶段的训练样本集。
步骤201-2：获取待训练样本集中人脸框面积大于第二预设面积范围的训练样本，作为第二阶段的训练样本集。
步骤201-3：获取待训练样本集中人脸框面积大于第三预设面积范围的训练样本，作为第三阶段的训练样本集。
其中，第一预设面积范围大于第二预设面积范围，第二预设面积范围大于第三预设面积范围；第一预设面积范围为(2562，+∞)，第二预设范围面积为(642，+∞)，第三预设面积范围为(162，+∞)。
将待训练样本集按照人脸框的面积大小，分为不同阶段的训练样本集。
以上训练样本分类方式的原理由易至难理论，人脸检测模型的设计是由一个backbone(骨架网络)+三个head(头部网络)构成，其中backbone网络负责从各阶段训练样本集中提取特征，而不同的head网络负责从不同特征做出类别的决策以及人脸框大小的回归判定，回归的是人脸框的中心坐标以及人脸框的长宽，同时在人脸检测中还会进行人脸五个关键点的回归判定，五个关键点分别指：左眼中心点，右眼中心点，鼻子中心点，左嘴角边缘点，右嘴角边缘点。不同head网络负责计算不同大小人脸样本，因而通过对训练样本进行了大小划分，在不同的训练阶段使不同head网络专注在对应输入大小的训练样本上，从而使得不同的head网络对循序渐进的输入样本获得更好的分工，从而获得性能的有效提升。通过阶段性的对人脸检测模型进行训练，使得最终训练阶段所使用的模型再参数上具备对人脸样本的部分先验信息，通过渐进的训练阶段让模型参数相比于采用随机参数初始化更具备捕捉到人脸细节信息的能力。本申请通过在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集；依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；基于待训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。将第一人脸检测模型按照从简单到复杂的方式进行训练，并且将第一人脸模型检测模型无法识别的较小的人脸进行识别训练，使得轻量级的第一人脸检测模型具备重量级模型的能力，使得忽略的小脸也能够进入训练过程中，有效提升了轻量级模型预测小脸的能力，从而提升轻量级模型的检测精度。
为了使第一人脸检测模型学习重量级模型的检测特性，针对上述步骤203，在本申请的另一实施例中，如图4所示，提供了一种人脸检测模型训练方法，具体包括如下步骤：
步骤203-1：确定第一人脸检测模型在训练过程中忽略的人脸框。
其中，忽略的人脸框基于重量级监测模型对第一人脸检测模型的训练进行监测得到，忽略的人脸框面积小于第三预设面积。
步骤203-2：将携带有忽略的人脸框的人脸图像作为目标训练样本集。
步骤203-3：基于目标训练样本集和第三阶段训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。
其中，第三训练样本集不包含目标训练样本集，且目标训练样本集属于待训练样本集。
由于人脸框能够对模型训练产生影响存在一个前提条件，即该输入人脸框面积大小不能小于128，这是原始轻量级检测模型训练框架的缺陷，即原始轻量级人脸检测模型，原始轻量级模型在训练过程中会对小脸进行忽略，原始轻量级人脸检测模型的最小检测块的大小区域是16^2，训练过程中，若是人工标注的标准人脸框的大小达不到最小检测区域的1/2，就会被丢弃，不参与模型参数的训练，而导致训练过程无法捕捉到面积小于128的人脸框中的人脸信息，而在分析训练样本时发现，面积小于128的训练样本占比达到了30％以上，因而原始人脸检测模型，无法检测小脸目标造成了极大的性能影响。为了解决这个缺陷，通过在训练阶段添加额外的重量级监测模型对第一人脸检测模型进行监测，从而使得被忽略的人脸能够融入到第一人脸检测模型训练过程中，其中忽略的人脸框面积小于第三预设面积。通过增加重量级监测模型使得训练过程中小脸不被忽略，从而使得第一人脸检测模型获得检测小脸的能力。
重量级监测模型选择能够有效检测小脸的重量级模型，由于其具备检测小脸的能力，因而输入到第一人脸检测模型中的样本包含了人脸框的人脸样本以外还叠加了重量级监测模型挑选出来的人脸框，并且重量级监测模型只在图2中的方法中的步骤203加入训练，因为第一阶段训练、第二阶段训练以及第三阶段训练的训练样本集包含的人脸大小是属于第一人脸检测模型可以检测到的大小级别，而最后的阶段通过添加重量级监测模型来使所有小脸能够进入到学习进程中而不被忽略，修正了第一人脸检测模型的缺陷，从而极大提升了第一人脸检测模型的小脸检测能力。
本申请还提供了一种人脸检测方法，如图5所示，提供了一种人脸检测方法，具体包括如下：
步骤301：获取待检测图像。
步骤302：基于目标人脸检测模型对待检测图像中的人脸进行检测。
其中，目标人脸检测模型通过依次按照第一阶段训练样本集、第二阶段样训练本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，第二阶段训练样本集包含第一阶段训练样本集，第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集，待训练样本集包含第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集。
基于训练好的目标人脸检测模型对待检测图像中的人脸进行检测，由于目标人脸检测模型通过依次按照第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，由于训练好的目标人脸检测模型具有相较于原始人脸检测模型更优的检测精度，因此，采用训练好的目标人脸检测模型对人脸进行检测，可以对人脸进行快速识别，并且可以识别小脸，提升识别的准确度。
本发明有效结合了采用训练样本集对人脸检测模型进行阶段性训练，并且增加重量级监测模型的小脸的监测策略，使得轻量级的人脸检测模型的小目标检测能力获得极大提升，在提升性能的同时没有增加审核负担。
请参照图6，本实施例还提供一种应用于图1所述电子设备100的人脸检测模型训练装置110，所述人脸检测模型训练装置110包括：
确定模块111，用于在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集，其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集。
本实施例中，所述确定模块111可用于执行图2的步骤201，关于所述确定模块111的具体描述可参照对所述步骤201的描述。
第一训练模块112，用于依次按照第一阶段训练样本集、所述第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型。
本实施例中，所述第一训练模块112可用于执行图2所示的步骤202，关于所述第一训练模块112的具体描述可参对所述步骤202的描述。
第二训练模块113，用于基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型。
本实施例中，所述第二训练模块113可用于执行图2所示的步骤203，关于所述第二训练模块113的具体描述可参对所述步骤203的描述。
可选地，在一些可能的实现方式中，所述确定模块111具体用于：
获取所述待训练样本集中的人脸框面积大于第一预设面积范围的训练样本，作为第一阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第二预设面积范围的训练样本，作为第二阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第三预设面积范围的训练样本，作为第三阶段训练样本集，其中，所述第一预设面积范围大于所述第二预设面积范围，所述第二预设面积范围大于所述第三预设面积范围；所述第一预设面积范围为(2562，+∞)，所述第二预设范围面积为(642，+∞)，所述第三预设面积范围为(162，+∞)。
可选地，在一些可能的实现方式中，所述第二训练模块113具体用于：
确定所述第一人脸检测模型在训练过程中忽略的人脸框；其中，忽略的人脸框基于重量级监测模型对第一人脸检测模型的训练进行监测得到，忽略的人脸框面积小于所述第三预设面积；
将携带有忽略的人脸框的人脸图像作为目标训练样本集；
基于所述目标训练样本集和所述第三阶段训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型，其中，所述第三阶段训练样本集不包含所述目标训练样本集，且所述目标训练样本集属于待训练样本集。
综上所述，本申请通过在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集；依次按照第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；基于待训练样本集对第一人脸检测模型进行训练，得到目标人脸检测模型。将第一人脸检测模型按照从简单到复杂的方式进行训练，并且将第一人脸模型检测模型无法识别的较小的人脸进行识别训练，使得轻量级的第一人脸检测模型具备重量级模型的能力，使得忽略的小脸也能够进入训练过程中，有效提升了轻量级模型预测小脸的能力，从而提升轻量级模型的检测精度。
请参照图7，本实施例还提供一种应用于图1所述电子设备100的人脸检测装置150，所述人脸检测装置150包括：
获取模块151，获取待检测图像。
本实施例中，所述获取模块151可用于执行图5的步骤301，关于所述获取模块151的具体描述可参照对所述步骤301的描述。
检测模块152，用于基于目标人脸检测模型对所述待检测图像中的人脸进行检测，其中，所述目标人脸检测模型通过依次按照第一阶段训练样本集、所述第二阶段训练样本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集，所述待训练样本集包含第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集。
本实施例中，所述检测模块152可用于执行图5的步骤302，关于所述检测模块152的具体描述可参照对所述步骤302的描述。
本发明有效结合了采用训练样本集对人脸检测模型进行阶段性训练，并且增加重量级监测模型的小脸的监测策略，使得轻量级的人脸检测模型的小目标检测能力获得极大提升，在提升性能的同时没有增加审核负担。
本申请还提供一种电子设备100，电子设备100包括处理器130以及存储器120。存储器120存储有计算机可执行指令，计算机可执行指令被处理器130执行时，实现该人脸检测模型训练方法或人脸检测方法。
本申请实施例还提供一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序被处理器130执行时，实现该人脸检测模型训练方法或人脸检测方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种人脸检测模型训练方法，其特征在于，所述方法包括：
在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集，其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集；
依次按照所述第一阶段训练样本集、所述第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；
基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型。
2.根据权利要求1所述的方法，其特征在于，所述在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集的步骤，包括：
获取所述待训练样本集中的人脸框面积大于第一预设面积范围的训练样本，作为第一阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第二预设面积范围的训练样本，作为第二阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第三预设面积范围的训练样本，作为第三阶段训练样本集；
其中，所述第一预设面积范围大于所述第二预设面积范围，所述第二预设面积范围大于所述第三预设面积范围；所述第一预设面积范围为(2562，+∞)，所述第二预设范围面积为(642，+∞)，所述第三预设面积范围为(162，+∞)。
3.根据权利要求2所述的方法，其特征在于，所述基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型包括：
确定所述第一人脸检测模型在训练过程中忽略的人脸框；其中，忽略的人脸框基于重量级监测模型对第一人脸检测模型的训练进行监测得到，忽略的人脸框面积小于所述第三预设面积；
将携带有忽略的人脸框的人脸图像作为目标训练样本集；
基于所述目标训练样本集和所述第三阶段训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型，其中，所述第三阶段训练样本集不包含所述目标训练样本集，且所述目标训练样本集属于待训练样本集。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定人脸框的长度信息和宽度信息；
基于所述人脸框的长度信息和宽度信息，确定所述人脸框的面积。
5.一种人脸检测方法，其特征在于，所述方法包括：
获取待检测图像；
基于目标人脸检测模型对所述待检测图像中的人脸进行检测，其中，所述目标人脸检测模型通过依次按照第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集，所述待训练样本集包含第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集。
6.一种人脸检测模型训练装置，其特征在于，所述装置包括：
确定模块，用于在待训练样本集中，基于人脸框的面积确定多个阶段的训练样本集，其中，多个阶段的训练样本集包括第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集；
第一训练模块，用于依次按照第一阶段训练样本集、所述第二阶段训练样本集以及第三阶段训练样本集对人脸检测模型进行训练，得到第一人脸检测模型；
第二训练模块，用于基于所述待训练样本集对所述第一人脸检测模型进行训练，得到目标人脸检测模型。
7.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：
获取所述待训练样本集中的人脸框面积大于第一预设面积范围的训练样本，作为第一阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第二预设面积范围的训练样本，作为第二阶段训练样本集；
获取所述待训练样本集中人脸框面积大于第三预设面积范围的训练样本，作为第三阶段训练样本集，其中，所述第一预设面积范围大于所述第二预设面积范围，所述第二预设面积范围大于所述第三预设面积范围；所述第一预设面积范围为(2562，+∞)，所述第二预设范围面积为(642，+∞)，所述第三预设面积范围为(162，+∞)。
8.一种人脸检测装置，其特征在于，所述装置包括：
获取模块，获取待检测图像；
检测模块，用于基于目标人脸检测模型对所述待检测图像中的人脸进行检测，其中，所述目标人脸检测模型通过依次按照第一阶段训练样本集、第二阶段训练样本集、第三阶段训练样本集以及待训练样本集对人脸检测模型进行训练得到，所述第二阶段训练样本集包含第一阶段训练样本集，所述第三阶段训练样本集包含第二阶段训练样本集和第一阶段训练样本集，所述待训练样本集包含第一阶段训练样本集、第二阶段训练样本集以及第三阶段训练样本集。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
CN202110956647.1A 2021-08-19 2021-08-19 一种人脸检测模型训练方法、人脸检测方法及相关装置 Pending CN113554692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110956647.1A CN113554692A (zh) 2021-08-19 2021-08-19 一种人脸检测模型训练方法、人脸检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110956647.1A CN113554692A (zh) 2021-08-19 2021-08-19 一种人脸检测模型训练方法、人脸检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN113554692A true CN113554692A (zh) 2021-10-26

Family

ID=78105842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110956647.1A Pending CN113554692A (zh) 2021-08-19 2021-08-19 一种人脸检测模型训练方法、人脸检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN113554692A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416304A (zh) * 2018-03-12 2018-08-17 中科视拓（北京）科技有限公司 一种利用上下文信息的三分类人脸检测方法
CN111126108A (zh) * 2018-10-31 2020-05-08 北京市商汤科技开发有限公司 图像检测模型的训练和图像检测方法及装置
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、***、计算机设备及存储介质
CN111738133A (zh) * 2020-06-17 2020-10-02 北京奇艺世纪科技有限公司 模型训练方法、目标检测方法、装置、电子设备及可读存储介质
US10990850B1 (en) * 2018-12-12 2021-04-27 Amazon Technologies, Inc. Knowledge distillation and automatic model retraining via edge device sample collection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416304A (zh) * 2018-03-12 2018-08-17 中科视拓（北京）科技有限公司 一种利用上下文信息的三分类人脸检测方法
CN111126108A (zh) * 2018-10-31 2020-05-08 北京市商汤科技开发有限公司 图像检测模型的训练和图像检测方法及装置
US10990850B1 (en) * 2018-12-12 2021-04-27 Amazon Technologies, Inc. Knowledge distillation and automatic model retraining via edge device sample collection
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、***、计算机设备及存储介质
CN111738133A (zh) * 2020-06-17 2020-10-02 北京奇艺世纪科技有限公司 模型训练方法、目标检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US11954852B2 (en) Medical image classification method, model training method, computing device, and storage medium
CN108171158B (zh) 活体检测方法、装置、电子设备及存储介质
US10846537B2 (en) Information processing device, determination device, notification system, information transmission method, and program
US20150010203A1 (en) Methods, apparatuses and computer program products for performing accurate pose estimation of objects
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN112784835B (zh) 圆形***的真实性识别方法、装置、电子设备及存储介质
CN110059635B (zh) 一种皮肤瑕疵检测方法及装置
CN111027450A (zh) 银行卡信息识别方法、装置、计算机设备及存储介质
US20200210459A1 (en) Method and apparatus for classifying samples
JP7036401B2 (ja) 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN111028222A (zh) 视频检测方法和装置、计算机存储介质及相关设备
CN110826646A (zh) 机器人视觉测试方法、装置、存储介质及终端设备
CN111597933A (zh) 人脸识别方法和装置
CN105740752B (zh) 敏感图片过滤方法和***
US9565413B2 (en) Picture interaction method, apparatus, system and mobile terminal
US20200311401A1 (en) Analyzing apparatus, control method, and program
CN113554692A (zh) 一种人脸检测模型训练方法、人脸检测方法及相关装置
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
Liu et al. Visual privacy-preserving level evaluation for multilayer compressed sensing model using contrast and salient structural features
US20230063608A1 (en) Measure gui response time
US20210019553A1 (en) Information processing apparatus, control method, and program
CN105956550B (zh) 一种视频鉴别的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination