CN111985374A - 人脸定位方法、装置、电子设备及存储介质 - Google Patents

人脸定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111985374A
CN111985374A CN202010808926.9A CN202010808926A CN111985374A CN 111985374 A CN111985374 A CN 111985374A CN 202010808926 A CN202010808926 A CN 202010808926A CN 111985374 A CN111985374 A CN 111985374A
Authority
CN
China
Prior art keywords
face
image
mask
face positioning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010808926.9A
Other languages
English (en)
Other versions
CN111985374B (zh
Inventor
隆超
黄磊
彭菲
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanvon Manufacturer Co ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN202010808926.9A priority Critical patent/CN111985374B/zh
Publication of CN111985374A publication Critical patent/CN111985374A/zh
Application granted granted Critical
Publication of CN111985374B publication Critical patent/CN111985374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸定位方法，属于人脸定位技术领域，有助于提升人脸定位的准确度。所述方法包括：对目标人脸图像进行预处理，得到图像数据矩阵；通过预先训练的人脸定位模型对图像数据矩阵进行特征映射处理，确定目标人脸图像对应的图像特征；根据图像特征，对目标人脸图像进行人脸定位，其中，人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和无口罩遮挡人脸图像训练的，标签包括人脸定位框位置和尺寸真实值、热力图，其中，热力图采用高斯掩膜技术生成；通过人脸定位模型的损失函数，以热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算人脸定位模型的模型误差，并以最小的模型误差为目标进行模型训练。

Description

人脸定位方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸定位技术领域，特别是涉及一种人脸定位方法、装置、电子设备及计算机可读存储介质。
背景技术
人脸定位广泛应用于考勤、门禁、安防等相关的人脸识别领域。其中，现有技术中的单阶段的人脸检测方法主要基于Anchor(锚点)的分类和回归，通常会在经典框架(如SSD(Single Shot MultiBox Detector)和Yolo(You Only Look Once)系列)的基础上进行优化，其检测速度较两阶段法快，检测性能较级联法优，是一种检测性能和速度平衡的算法，也是当前人脸检测算法优化的主流方向。然而，现有技术中的单阶段的人脸检测方法在人脸被部分遮挡的情况下，检测性能较低。例如，建筑、制造、医药、餐饮等特殊行业要求，人员在工作过程中需要佩戴口罩，而口罩遮挡造成了用于人脸识别的相关设备无法正常使用。该情况主要由于口罩遮挡了人脸大部分有效信息，在信息不全的情况下人脸检测方法出现人脸定位错误的情况严重。
可见，现有技术中单阶段的人脸定位方法还需要改进。
发明内容
本申请提供一种人脸定位方法，有助于提升人脸定位准确度。
为了解决上述问题，第一方面，本申请实施例提供了一种人脸定位方法，包括：
对目标人脸图像进行预处理，得到图像数据矩阵；
通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，
所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；
根据所述图像特征，对所述目标人脸图像进行人脸定位。
第二方面，本申请实施例提供了一种人脸定位装置，包括：
图像预处理模块，用于对目标人脸图像进行预处理，得到图像数据矩阵；
图像特征提取模块，用于通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；
人脸定位模块，用于根据所述图像特征，对所述目标人脸图像进行人脸定位。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的人脸定位方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的人脸定位方法的步骤。
本申请实施例公开的人脸定位方法，通过对目标人脸图像进行预处理，得到图像数据矩阵；通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；根据所述图像特征，对所述目标人脸图像进行人脸定位，有效提升了人脸定位的准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的人脸定位方法流程图；
图2是本申请实施例一的人脸定位方法中人脸定位模型结构示意图；
图3是本申请实施例一的人脸定位方法中图像特征确定步骤的流程图；
图4是本申请实施例一的前端模块结构示意图；
图5是本申请实施例一的双向特征金字塔结构示意图；
图6是本申请实施例二的人脸定位装置结构示意图之一；
图7是本申请实施例二的人脸定位装置结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例公开的一种人脸定位方法，如图1所示，所述方法包括步骤110至步骤130。
步骤110，对目标人脸图像进行预处理，得到图像数据矩阵。
本申请实施例中所述的预处理包括但不限于：调整图像尺寸、归一化图像内容数据等。
例如，由于采集设备的不同或者人脸具体图像采集设备远近的不同等原因，会导致采集到的目标人脸图像尺寸大小不一，在本申请的一些实施例中，可以首先将采集到的目标人脸图像调整到预设尺寸。
再例如，对于采集到的彩色图像，其颜色值通常为0到255，为了减少后续运算量，可以将所述目标人脸图像的像素值从0到255归一化到0到1。本申请的一些实施例中，还可以进一步对归一化处理后的图像进行减均值等一系列图像预处理操作，以减小运算量，提升定位精度。
步骤120，通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征。
其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图。进一步的，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练。
本申请实施例中所述的人脸定位模型是预先训练的。本申请的一些实施例中，在通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征的步骤之前，还包括，根据有口罩遮挡人脸图像和无口罩遮挡人脸图像构建训练样本；基于所述训练样本训练人脸定位模型。其中，每条所述训练样本的样本数据为预处理后的图像矩阵，样本标签包括：样本类别(用于指示样本数据为有口罩遮挡或无口罩遮挡)、人脸定位框的位置和尺寸真实值、热力图。
本申请的一些实施例中，为了提升人脸定位模型的定位准确性，根据有口罩遮挡人脸图像(即戴口罩的人脸图像)和无口罩遮挡人脸图像(即不戴口罩的人脸图像)分别构建训练样本，用来训练所述人脸定位模型。
具体的，以每幅人脸图像作为样本数据，并为该样本数据设置相应的样本标签，这样，根据每幅人脸图像可以生成一条训练样本，搜集若干训练样本，构建样本集合。
样本标签中的人脸定位框是相应样本数据对应的人脸图像中人脸定位框尺寸真实值，样本标签中的热力图是相应样本数据对应的人脸图像的热力图。
本申请的一些实施例中，所述人脸定位框的位置和尺寸的真实值为人脸定位框的中心、人脸定位框的长和宽的真实值，可以根据人工标注结果得到。本申请的另一些实施例中，所述人脸定位框的位置和尺寸的真实值也可以通过计算机执行已有算法，进行机器标注的标注结果得到。本申请对样本标签中人脸定位框位置和尺寸真实值的获取方式不做限定。
本申请的一些实施例中，根据有口罩遮挡人脸图像构造的样本数据的样本标签中的热力图与根据无口罩遮挡人脸图像构造的样本数据的样本标签中的热力图的生成方式不同。
热力图可以通过颜色变化和分布直观地展示数据分布的焦点。例如，以特殊高亮的形式显示网站访客热衷的页面区域和访客所在的地理区域。本申请实施例中通过热力图标识人脸图像中的焦点区域。例如，以高点区域标识人脸中心位置。
在本申请的一些实施例中，所述根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据，包括：初始化一热力图；根据所述无口罩遮挡人脸图像中人脸定位框的尺寸确定高斯掩模半径；通过预设高斯核将所述人脸定位框的中心映射到所述热力图的中心，根据所述高斯掩模半径更新所述热力图中的圆形区域，根据更新后的所述热力图确定未遮挡人脸部分热力图数据。例如，首先生成一张全是0的热力图；然后，依据人脸定位框的宽和高为基本比例，计算生成高斯掩模半径的取值，如可以通过如下方式计算高斯掩模半径radius：
radius＝(h+w)+(h+w)2-4*(h*w*(1-0.7)/(1+0.7))，其中，h表示人脸定位框的高，w表示人脸定位框的宽；之后，将样本数据的人脸定位框通过一个高斯核分布到热力图上面去，生成一个黑色图像上的亮点圆。人脸定位框的位置确定了热力图高斯核的圆心位置(即亮点圆的圆心),人脸定位框的长和宽确定亮点圆的半径。
本申请的一些实施例中，所述根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据，包括：初始化一热力图；根据所述有口罩遮挡人脸图像中人脸定位框的尺寸确定高斯掩模半径；通过预设高斯核将所述人脸定位框的中心映射到所述热力图的中心，根据所述高斯掩模半径更新所述热力图中的上半圆区域，并根据所述高斯掩模半径以预设单一颜色值更新所述热力图中的下半圆区域，根据更新后的所述热力图确定未遮挡人脸部分热力图数据。例如，首先生成一张全是0的热力图；然后，依据人脸定位框的宽和高为基本比例，计算生成高斯掩模半径的取值，如可以通过如下方式计算高斯掩模半径radius：
radius＝(h+w)+(h+w)2-4*(h*w*(1-0.7)/(1+0.7))，其中，h表示人脸定位框的高，w表示人脸定位框的宽；之后，将样本数据的人脸定位框通过一个高斯核分布到热力图上面去，生成一个黑色图像上的亮点上半圆。人脸定位框的位置确定了热力图高斯核的圆心位置(即亮点上半圆的圆心),人脸定位框的长和宽确定亮点上半圆的半径。然后，对有口罩遮挡的人脸部分对应的下半圆以预设单一颜色值(如0.0001)填充，得到有口罩遮挡的人脸图像的热力图。本申请实施例中所述的预设单一颜色值通常为接近黑色的颜色值。
按照上述方法得到的若干训练样本分别输入至所述人脸定位模型，用于训练所述人脸定位模型的参数。
在模型训练过程中，首先，通过所述人脸定位模型对所述图像数据矩阵进行特征映射处理，确定输入样本数据匹配的图像特征。例如，对于输入的每个训练样本，通过所述人脸定位模型中依次设置的各网络，对输入训练样本的样本数据进行特征提取和映射，得到每个样本数据匹配的图像特征，其中，所述图像特征用于指示人脸定位框的预估值。
之后，通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标优化模型参数，直至模型收敛。例如，通过模型的损失函数根据输入的所有训练样本的人脸定位框的预估值和真实值的差值，以及输入的热力图，计算所述人脸定位模型的误差，并以所述误差最小为目标通过梯度下降法优化模型参数，直至所述人脸定位模型的误差收敛到预设范围，即完成所述人脸定位模型的训练。
本申请的一些实施例中，所述损失函数根据热力图数据确定图像特征中各维度向量的计算权重，通过改变人脸图像中口罩区域的学习方向，将未被口罩遮挡部位的权重加大，从而改变模型训练的注意力机制。使得学习注意力集中在未被口罩遮挡的区域和人头区域，从而提升定位准确度。
通过所述人脸定位模型中依次设置的各网络，对输入训练样本的样本数据进行特征提取和映射，得到人脸定位框的预估值和热力图预估值的具体实施方式参见后续对目标人脸图像的人脸定位过程，此处不再赘述。
本申请的一些实施例中，所述人脸定位模型的主干网络结构包括串行连接的：前端特征提取网络、多个卷积神经网络和特征融合网络。如图2所示，包括：前端特征提取网络210、串行连接的卷积神经网络220、230和240，以及特征融合网络250。其中，卷积神经网络可以采用inception网络、resnet网络、shfflenet网络和squzeenet网络等，本发明对此不作限定。参考图3，本申请的一些实施例中，所述通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征，包括：子步骤S1至子步骤S3。
子步骤S1，通过预先训练的人脸定位模型中的前端特征提取网络对所述图像数据矩阵进行多层卷积运算和特征降维映射，确定所述前端特征提取网络的隐层输出和模块输出。
本申请的一些实施例中，所述前端特征提取网络210进一步还可以包括至少两个特征映射结构。例如，所述前端特征提取网络210包括：由串行连接的N个卷积层和1个池化层组成的第一特征映射结构，由串行连接的M个卷积层和1个池化层组成的第二特征映射结构，其中，M和N为大于1的整数，N大于M。
所述串行连接的多个卷积神经网络中的首个卷积神经网络(如图2中的卷积神经网络220)的输入连接至所述前端特征提取网络210的输出。
本申请的一些实施例中，如图4所示，所述前端特征提取网络210至少包括串行连接的第一卷积层2101、第二卷积层2102、第一池化层2103、第三卷积层2104和第二池化层2105，其中，所述第一卷积层2101和所述第二卷积层2102的卷积核大于所述第三卷积层2104的卷积核。例如，所述第一卷积层2101和所述第二卷积层2102的卷积核为5*5，感受野为2，所述第三卷积层2104的卷积核为3*3，感受野为2。本申请的一些实施例中，所述第一池化层2103和第二池化层2105的卷积核为3*3，感受野为2。经过这样的前端特征提取网络之后，输入至所述前端特征提取网络的原始图像特征将被压缩为原来的1/16，并且，原始图像特征中的特征内容不会被损失。
本申请的一些实施例中，所述通过预先训练的人脸定位模型中的前端特征提取网络对所述图像数据矩阵进行多层卷积运算和特征降维映射，确定所述前端特征提取网络的隐层输出和模块输出，包括：依次通过所述第一卷积层和所述第二卷积层对所述图像数据矩阵进行卷积运算，并通过所述第一池化层对所述第二卷积层的输出进行特征映射，得到所述前端特征提取网络的隐层输出；依次通过所述第三卷积层和所述第二池化层对所述隐层输出进行卷积运算和特征映射，确定所述前端特征提取网络的模块输出。
首先，将目标人脸图像进行预处理后得到的图像数据矩阵输入至如图2所示的前端特征提取网络210，通过所述前端特征提取网络210的所述第一卷积层2101和所述第二卷积层2102依次对所述图像数据矩阵进行卷积运算，之后，由所述前端特征提取网络210的所述第一池化层2103对所述第二卷积层2102的输出进行特征映射，所述第一池化层2103将输出一组隐层向量，例如可以记为F1。接下来，进一步通过所述前端特征提取网络210的所述第三卷积层2104对所述第一池化层2103输出的隐层向量F1进行卷积运算，之后通过所述第二池化层2105对所述第三卷积层2104的输出进行特征映射，得到所述前端特征提取网络210的模块输出。所述前端特征提取网络210的模块输出为一组向量，例如可以记为F2。
所述前端特征提取网络210在提取图像数据矩阵特征的同时，将特征图快速缩小16倍，这样有利于后面主干网络快速提取特征。
子步骤S2，通过所述人脸定位模型中串行连接的多个卷积神经网络，对所述前端特征提取网络的模块输出进行逐级加深的抽象映射，分别确定每个所述卷积神经网络的输出。
接下来，所述前端特征提取网络210的模块输出，例如前述向量F2将输入至串行连接的多个卷积神经网络中的首个卷积神经网络220。
例如，所述前端特征提取网络210的模型输出F2依次输入如图2所示的卷积神经网络220，由所述卷积神经网络220对输入的向量F2进行特征提取，得到特征信息例如表示为F3；之后，由所述卷积神经网络230对所述卷积神经网络220的输出向量F3进行特征提取，得到特征信息例如表示为F4；再然后，由所述卷积神经网络240对所述卷积神经网络230的输出向量F4进行特征提取，得到特征信息例如表示为F5。
本申请的一些实施例中，串行连接的多个卷积神经网络依次加深,从而提取到的特征层次依次变深,多个层次的特征带有着不同的信息,都是进行人脸检测和定位所需要的信息。每个所述卷积神经网络的结构可以参见现有技术中的卷积神经网络，此处不再赘述。
子步骤S3，将所述前端特征提取网络的所述隐层输出和模块输出、每个所述卷积神经网络的输出拼接为待融合特征，通过所述人脸定位模型中的特征融合网络，对所述待融合特征进行多尺度特征融合，确定所述目标人脸图像对应的图像特征。
接下来，将如图2中所示的所述前端特征提取网络210的所述隐层输出F1和模块输出F2、每个所述卷积神经网络的输出F3、F4和F5拼接为待融合特征，并将该待融合特征输入至所述特征融合网络250，由所述特征融合网络250对所述待融合特征进行多尺度特征融合，最后得到所述目标人脸图像对应的图像特征。
本申请的一些实施例中，所述特征融合网络为双向特征金字塔网络。所述双向特征金字塔网络可以采用如图5所示的网络结构。例如，所述双向特征金字塔网络包括前向传播网络分支510、反向传播网络分支520，以及，融合网络分支530。
本申请的一些实施例中，所述通过所述人脸定位模型中的特征融合网络，对所述待融合特征进行多尺度特征融合，确定所述目标人脸图像对应的图像特征，包括：自顶向下依次通过所述双向特征金字塔网络前向传播网络分支的各卷积层对所述待融合特征进行下采样，以及，自底向上依次通过所述双向特征金字塔网络反向传播网络分支的各所述卷积层对所述待融合特征进行上采样；将所述前向传播网络分支的卷积层的输出和所述反向传播网络分支的相应卷积层的输出进行融合；对所述进行融合的结果进行卷积和回归处理，输出与所述目标人脸图像对应的图像特征。
例如，将所述待融合特征分别输入至所述双向特征金字塔网络的前向传播网络分支510和反向传播网络分支520，通过所述前向传播网络分支510自顶向下依次设置的各卷积层对所述待融合特征进行下采样，每个卷积层将输出不同尺度的特征图；另一方面，对于输入至反向传播网络分支520的特征图，通过自底向上依次设置的各卷积层对所述待融合特征进行上采样，每个卷积层将输出不同尺度的特征图。之后，通过融合网络分支530对所述前向传播网络分支510和所述反向传播网络分支520中相同大小的特征图(如所述前向传播网络分支510最顶层的卷积层5101和所述反向传播网络分支520最底层的卷积层5201输出的特征图)进行融合，在融合之后，进一步采用如3*3的卷积核对每个融合结果进行卷积运算，将卷积运算后得到的特征图调整到指定尺度。通过对每个融合结果进行卷积运算，还可以消除上采样的混叠效应。
以前向传播网络分支510和反向传播网络分支520各有5层卷积层为例，经过前向传播网络分支510和反向传播网络分支520进行卷积运算，前向传播网络分支510和反向传播网络分支520各输出5个尺度的特征图，每个特征图都是三个维度，即h,w,c三个维度，其中，h和w表示特征图的长和宽，c表示特征图的厚度，不同尺度的特征图的厚度相同，长和宽依次减半，例如，前向传播网络分支510和反向传播网络分支520相应卷积层输出的5个尺度的特征图长、宽均分别为512、256、128、64和32。然后将这5个特征图通过融合网络分支530进行融合。例如，把两个大尺度特征图采用感受野为2的卷积核进行卷积运算(如长为512和256的特征图)，即进行下采样，使得特征图缩小一半，得到特征图F7(如长为128的特征图)；同时，把两个小尺度特征图(如长为32和64的特征图)采用感受野为2的卷积核进行反卷积运算，即进行上采样，使得特征图依次扩大一倍，得到特征图F8(如长为128的特征图)；最后，将卷积和反卷积运算后得到的特征图F7和F8，以及前向传播网络分支510和反向传播网络分支520输出的融合后的中间尺度特征图(如长为128的特征图)进行融合，得到指定尺度的特征图，作为目标人脸图像匹配的图像特征。
由于戴口罩后人脸特征损失严重，通过双向特征金字塔网络对多个尺度的多个特征图进行特征融合，用低维特征弥补高维特征的信息损失，用高维度特征弥补低维特征的感受野不足，从而提升特征提取精度，进一步提升人脸定位的准确度。
继续参阅图1，步骤130，根据所述图像特征，对所述目标人脸图像进行人脸定位。
本申请实施例中所述人脸定位模型输出的图像特征用于指示人脸定位框位置和尺寸信息，所述人脸定位模型还输出目标人脸图像的类别信息，所述类别信息用于指示是否有口罩遮挡。进一步的，通过对所述图像特征进行解码，即可得到所述图像特征中指示的人脸定位框的位置和尺寸信息，从而实现对所述目标人脸图像进行人脸定位。
本申请实施例公开的人脸定位方法，通过对目标人脸图像进行预处理，得到图像数据矩阵；通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；根据所述图像特征，对所述目标人脸图像进行人脸定位，有效提升了人脸定位的准确度。
本申请实施例公开的人脸定位方法，通过对有口罩遮挡的人脸图像和无口罩遮挡的人脸图像设置热力图标签和人脸定位框标签，构造训练样本，然后，在模型训练过程中，通过执行损失函数，以热力图作为样本数据对应的真实值和模型输出的预测值之间误差的计算权重计算模型误差，通过热力图改变人脸口罩区域的学习方向，将未被口罩遮挡部位的特征权重加大，从而改变模型训练的注意力机制，达到提升人脸定位准确度的效果。
进一步的，通过双向特征金字塔网络进行多尺度特征融合，通过金字塔自顶而下和自底而上的双向特征融合减少了信息损失，可以明显改善人脸定位精度。
另一方面，通过在人脸定位模型的骨干网络前端设置的前端特征提取网络，可以明显提升后续模型的运行速度，从而方便模型在嵌入式环境中的部署应用。本申请针对戴口罩场景的人脸进行快速定位，避免口罩遮挡部分信息缺失带来的漏检和误检，经过实验对比，对20*20到512*512大小不同多个尺度的目标人脸图像具备通用性，人脸定位速度是MTCNN(multi task convolutional neural network,多任务卷积神经网络)的4倍以上，完全满足嵌入式设备的应用需求。
实施例二
对应于方法实施例，本申请另一实施例中公开了一种人脸定位装置，如图6所示，所述装置包括：
图像预处理模块610，用于对目标人脸图像进行预处理，得到图像数据矩阵；
图像特征提取模块620，用于通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；
人脸定位模块630，用于根据所述图像特征，对所述目标人脸图像进行人脸定位。
本申请的一些实施例中，如图7所示，所述图像特征提取模块620进一步包括：
前端特征提取子模块6201，用于通过预先训练的人脸定位模型中的前端特征提取网络对所述图像数据矩阵进行多层卷积运算和特征降维映射，确定所述前端特征提取网络的隐层输出和模块输出；
特征抽象映射子模块6202，用于通过所述人脸定位模型中串行连接的多个卷积神经网络，对所述前端特征提取网络的模块输出进行逐级加深的抽象映射，分别确定每个所述卷积神经网络的输出；
特征融合子模块6203，用于将所述前端特征提取网络的所述隐层输出和模块输出、每个所述卷积神经网络的输出拼接为待融合特征，通过所述人脸定位模型中的特征融合网络，对所述待融合特征进行多尺度特征融合，确定所述目标人脸图像对应的图像特征。
本申请的一些实施例中，所述特征融合网络为双向特征金字塔网络，所述特征融合子模块6203，进一步用于：
自顶向下依次通过所述双向特征金字塔网络前向传播网络分支的各卷积层对所述待融合特征进行下采样，以及，自底向上依次通过所述双向特征金字塔网络反向传播网络分支的各所述卷积层对所述待融合特征进行上采样；
将所述前向传播网络分支的卷积层的输出和所述反向传播网络分支的相应卷积层的输出进行融合；
对所述进行融合的结果进行卷积和回归处理，输出与所述目标人脸图像对应的图像特征。
本申请的一些实施例中，所述前端特征提取网络至少包括串行连接的第一卷积层、第二卷积层、第一池化层、第三卷积层和第二池化层，其中，所述第一卷积层和所述第二卷积层的卷积核大于所述第三卷积层的卷积核，所述前端特征提取子模块6201，进一步用于：
所述第一池化层依次通过所述第一卷积层和所述第二卷积层对所述图像数据矩阵进行卷积运算，并通过所述第一池化层对所述第二卷积层的输出进行特征映射，得到所述前端特征提取网络的隐层输出；
依次通过所述第三卷积层和所述第二池化层对所述隐层输出进行卷积运算和特征映射，确定所述前端特征提取网络的模块输出。
本申请的一些实施例中，所述根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据，包括：
初始化一热力图；
根据所述无口罩遮挡人脸图像中人脸定位框的尺寸确定高斯掩模半径；
通过预设高斯核将所述人脸定位框的中心映射到所述热力图的中心，根据所述高斯掩模半径更新所述热力图中的圆形区域，根据更新后的所述热力图确定未遮挡人脸部分热力图数据。
本申请的一些实施例中，所述根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据，包括：
初始化一热力图；
根据所述有口罩遮挡人脸图像中人脸定位框的尺寸确定高斯掩模半径；
通过预设高斯核将所述人脸定位框的中心映射到所述热力图的中心，根据所述高斯掩模半径更新所述热力图中的上半圆区域，并根据所述高斯掩模半径以预设单一颜色值更新所述热力图中的下半圆区域，根据更新后的所述热力图确定未遮挡人脸部分热力图数据。
本申请实施例所述的人脸识别装置用于实现本申请实施例公开的人脸识别方法，所述装置的各个模块的具体实施方式与方法的相应步骤一至，此处不再赘述。
本申请实施例公开的人脸定位装置，通过对目标人脸图像进行预处理，得到图像数据矩阵；通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；根据所述图像特征，对所述目标人脸图像进行人脸定位，有效提升了人脸定位的准确度。
本申请实施例公开的人脸定位装置，通过对有口罩遮挡的人脸图像和无口罩遮挡的人脸图像设置热力图标签和人脸定位框标签，构造训练样本，然后，在模型训练过程中，通过执行损失函数，以热力图作为样本数据对应的真实值和模型输出的预测值之间误差的计算权重计算模型误差，通过热力图改变人脸口罩区域的学习方向，将未被口罩遮挡部位的特征权重加大，从而改变模型训练的注意力机制，达到提升人脸定位准确度的效果。
进一步的，通过双向特征金字塔网络进行多尺度特征融合，通过金字塔自顶而下和自底而上的双向特征融合减少了信息损失，可以明显改善人脸定位精度。
另一方面，通过在人脸定位模型的骨干网络前端设置的前端特征提取网络，可以明显提升后续模型的运行速度，从而方便模型在嵌入式环境中的部署应用。本申请针对戴口罩场景的人脸进行快速定位，避免口罩遮挡部分信息缺失带来的漏检和误检，经过实验对比，对20*20到512*512大小不同多个尺度的目标人脸图像具备通用性，人脸定位速度是MTCNN(multi task convolutional neural network,多任务卷积神经网络)的4倍以上，完全满足嵌入式设备的应用需求。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一所述的人脸定位方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一所述的人脸定位方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种人脸定位方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种人脸定位方法，其特征在于，包括：
对目标人脸图像进行预处理，得到图像数据矩阵；
通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，
所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；
根据所述图像特征，对所述目标人脸图像进行人脸定位。
2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征的步骤，包括：
通过预先训练的人脸定位模型中的前端特征提取网络对所述图像数据矩阵进行多层卷积运算和特征降维映射，确定所述前端特征提取网络的隐层输出和模块输出；
通过所述人脸定位模型中串行连接的多个卷积神经网络，对所述前端特征提取网络的模块输出进行逐级加深的抽象映射，分别确定每个所述卷积神经网络的输出；
将所述前端特征提取网络的所述隐层输出和模块输出、每个所述卷积神经网络的输出拼接为待融合特征，通过所述人脸定位模型中的特征融合网络，对所述待融合特征进行多尺度特征融合，确定所述目标人脸图像对应的图像特征。
3.根据权利要求2所述的方法，其特征在于，所述特征融合网络为双向特征金字塔网络，所述通过所述人脸定位模型中的特征融合网络，对所述待融合特征进行多尺度特征融合，确定所述目标人脸图像对应的图像特征的步骤，包括：
自顶向下依次通过所述双向特征金字塔网络前向传播网络分支的各卷积层对所述待融合特征进行下采样，以及，自底向上依次通过所述双向特征金字塔网络反向传播网络分支的各所述卷积层对所述待融合特征进行上采样；
将所述前向传播网络分支的卷积层的输出和所述反向传播网络分支的相应卷积层的输出进行融合；
对所述进行融合的结果进行卷积和回归处理，输出与所述目标人脸图像对应的图像特征。
4.根据权利要求2所述的方法，其特征在于，所述前端特征提取网络至少包括串行连接的第一卷积层、第二卷积层、第一池化层、第三卷积层和第二池化层，其中，所述第一卷积层和所述第二卷积层的卷积核大于所述第三卷积层的卷积核，所述通过预先训练的人脸定位模型中的前端特征提取网络对所述图像数据矩阵进行多层卷积运算和特征降维映射，确定所述前端特征提取网络的隐层输出和模块输出的步骤，包括：
所述第一池化层依次通过所述第一卷积层和所述第二卷积层对所述图像数据矩阵进行卷积运算，并通过所述第一池化层对所述第二卷积层的输出进行特征映射，得到所述前端特征提取网络的隐层输出；
依次通过所述第三卷积层和所述第二池化层对所述隐层输出进行卷积运算和特征映射，确定所述前端特征提取网络的模块输出。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据的步骤，包括：
初始化一热力图；
根据所述无口罩遮挡人脸图像中人脸定位框的尺寸确定高斯掩模半径；
通过预设高斯核将所述人脸定位框的中心映射到所述热力图的中心，根据所述高斯掩模半径更新所述热力图中的圆形区域，根据更新后的所述热力图确定未遮挡人脸部分热力图数据。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据的步骤，包括：
初始化一热力图；
根据所述有口罩遮挡人脸图像中人脸定位框的尺寸确定高斯掩模半径；
通过预设高斯核将所述人脸定位框的中心映射到所述热力图的中心，根据所述高斯掩模半径更新所述热力图中的上半圆区域，并根据所述高斯掩模半径以预设单一颜色值更新所述热力图中的下半圆区域，根据更新后的所述热力图确定未遮挡人脸部分热力图数据。
7.一种人脸定位装置，其特征在于，包括：
图像预处理模块，用于对目标人脸图像进行预处理，得到图像数据矩阵；
图像特征提取模块，用于通过预先训练的人脸定位模型对所述图像数据矩阵进行特征映射处理，确定所述目标人脸图像对应的图像特征；其中，所述人脸定位模型是基于设置有标签的有口罩遮挡人脸图像和设置有标签的无口罩遮挡人脸图像训练的，所述标签至少包括：人脸定位框位置和尺寸的真实值、热力图，其中，所述无口罩遮挡人脸图像的热力图包括：根据所述无口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分热力图数据；所述有口罩遮挡人脸图像的热力图包括：根据所述有口罩遮挡人脸图像中人脸定位框的位置和尺寸采用高斯掩膜技术生成的未遮挡人脸部分半圆热力图数据，以及，口罩部分半圆单一颜色图数据；通过所述人脸定位模型的损失函数，以所述热力图指示的权重对人脸定位框的预估值与真实值之间的误差进行加权运算，计算所述人脸定位模型的模型误差，并以最小的所述模型误差为目标进行模型训练；
人脸定位模块，用于根据所述图像特征，对所述目标人脸图像进行人脸定位。
8.根据权利要求7所述的装置，其特征在于，所述图像特征提取模块进一步包括：前端特征提取子模块，用于通过预先训练的人脸定位模型中的前端特征提取网络对所述图像数据矩阵进行多层卷积运算和特征降维映射，确定所述前端特征提取网络的隐层输出和模块输出；
特征抽象映射子模块，用于通过所述人脸定位模型中串行连接的多个卷积神经网络，对所述前端特征提取网络的模块输出进行逐级加深的抽象映射，分别确定每个所述卷积神经网络的输出；
特征融合子模块，用于将所述前端特征提取网络的所述隐层输出和模块输出、每个所述卷积神经网络的输出拼接为待融合特征，通过所述人脸定位模型中的特征融合网络，对所述待融合特征进行多尺度特征融合，确定所述目标人脸图像对应的图像特征。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的人脸定位方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的人脸定位方法的步骤。
CN202010808926.9A 2020-08-12 2020-08-12 人脸定位方法、装置、电子设备及存储介质 Active CN111985374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010808926.9A CN111985374B (zh) 2020-08-12 2020-08-12 人脸定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010808926.9A CN111985374B (zh) 2020-08-12 2020-08-12 人脸定位方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111985374A true CN111985374A (zh) 2020-11-24
CN111985374B CN111985374B (zh) 2022-11-15

Family

ID=73434927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010808926.9A Active CN111985374B (zh) 2020-08-12 2020-08-12 人脸定位方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111985374B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418115A (zh) * 2020-11-27 2021-02-26 湖南师范大学 一种基于改进ssd模型的口罩佩戴检测方法
CN112699848A (zh) * 2021-01-15 2021-04-23 上海交通大学 一种针对图像的密集人群的计数方法及***
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN113850197A (zh) * 2021-09-27 2021-12-28 中国工商银行股份有限公司 业务处理方法、装置和电子设备
CN113903094A (zh) * 2021-10-22 2022-01-07 兰州乐智教育科技有限责任公司 一种宿舍签到的安全认证方法、装置、设备以及存储介质
CN114387680A (zh) * 2022-03-24 2022-04-22 广东红橙云大数据有限公司 评估信息的生成方法、装置、电子设备及介质
CN114462495A (zh) * 2021-12-30 2022-05-10 浙江大华技术股份有限公司 一种脸部遮挡检测模型的训练方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111046826A (zh) * 2019-12-20 2020-04-21 北京碧拓科技有限公司 一种远红外热成像人脸关键点的定位方法
CN111209822A (zh) * 2019-12-30 2020-05-29 南京华图信息技术有限公司 一种热红外图像的人脸检测方法
CN111222425A (zh) * 2019-12-26 2020-06-02 新绎健康科技有限公司 一种人脸五官定位的方法及装置
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111444862A (zh) * 2020-03-30 2020-07-24 深圳信可通讯技术有限公司 一种人脸识别的方法及装置
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111046826A (zh) * 2019-12-20 2020-04-21 北京碧拓科技有限公司 一种远红外热成像人脸关键点的定位方法
CN111222425A (zh) * 2019-12-26 2020-06-02 新绎健康科技有限公司 一种人脸五官定位的方法及装置
CN111209822A (zh) * 2019-12-30 2020-05-29 南京华图信息技术有限公司 一种热红外图像的人脸检测方法
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111444862A (zh) * 2020-03-30 2020-07-24 深圳信可通讯技术有限公司 一种人脸识别的方法及装置
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUJIA CHEN等: "Adversarial Occlusion-aware Face Detection", 《ARXIV》 *
王雅欣等: "基于生成对抗网络的人脸热红外图像生成", 《信息技术与网络安全》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418115A (zh) * 2020-11-27 2021-02-26 湖南师范大学 一种基于改进ssd模型的口罩佩戴检测方法
CN112699848A (zh) * 2021-01-15 2021-04-23 上海交通大学 一种针对图像的密集人群的计数方法及***
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN112785582B (zh) * 2021-01-29 2024-03-22 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN113850197A (zh) * 2021-09-27 2021-12-28 中国工商银行股份有限公司 业务处理方法、装置和电子设备
CN113903094A (zh) * 2021-10-22 2022-01-07 兰州乐智教育科技有限责任公司 一种宿舍签到的安全认证方法、装置、设备以及存储介质
CN114462495A (zh) * 2021-12-30 2022-05-10 浙江大华技术股份有限公司 一种脸部遮挡检测模型的训练方法及相关装置
CN114462495B (zh) * 2021-12-30 2023-04-07 浙江大华技术股份有限公司 一种脸部遮挡检测模型的训练方法及相关装置
CN114387680A (zh) * 2022-03-24 2022-04-22 广东红橙云大数据有限公司 评估信息的生成方法、装置、电子设备及介质
CN114387680B (zh) * 2022-03-24 2022-05-27 广东红橙云大数据有限公司 评估信息的生成方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111985374B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111985374B (zh) 人脸定位方法、装置、电子设备及存储介质
CN112396115B (zh) 基于注意力机制的目标检测方法、装置及计算机设备
US20180114071A1 (en) Method for analysing media content
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN108304835A (zh) 文字检测方法和装置
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN110443258B (zh) 文字检测方法、装置、电子设备及存储介质
CN109472193A (zh) 人脸检测方法及装置
CN110349167A (zh) 一种图像实例分割方法及装置
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN116092179A (zh) 一种改进的yolox跌倒检测***
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、***及终端
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN115187820A (zh) 轻量化的目标检测方法、装置、设备、存储介质
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及***
Dianqing et al. Remote sensing landslide target detection method based on improved Faster R-CNN
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN117036984B (zh) 一种融合注意力机制的级联u型网络云检测方法及***
CN112215188A (zh) 交警姿态识别方法、装置、设备及存储介质
CN115908831B (zh) 一种图像检测方法及装置
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230216

Address after: 065200 No. 1, Hanwang Road, Yanjiao Economic and Technological Development Zone, Sanhe City, Langfang City, Hebei Province

Patentee after: HANVON MANUFACTURER Co.,Ltd.

Address before: 100193, No. 5, building 8, No. three northeast Wang Xi Road, Beijing, Haidian District

Patentee before: HANWANG TECHNOLOGY Co.,Ltd.