CN111241924B - 基于尺度估计的人脸检测及对齐方法、装置、存储介质 - Google Patents

基于尺度估计的人脸检测及对齐方法、装置、存储介质 Download PDF

Info

Publication number
CN111241924B
CN111241924B CN201911387732.XA CN201911387732A CN111241924B CN 111241924 B CN111241924 B CN 111241924B CN 201911387732 A CN201911387732 A CN 201911387732A CN 111241924 B CN111241924 B CN 111241924B
Authority
CN
China
Prior art keywords
scale
face
attention
detection
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911387732.XA
Other languages
English (en)
Other versions
CN111241924A (zh
Inventor
徐小丹
刘小扬
何学智
王欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newland Digital Technology Co ltd
Original Assignee
Newland Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newland Digital Technology Co ltd filed Critical Newland Digital Technology Co ltd
Priority to CN201911387732.XA priority Critical patent/CN111241924B/zh
Publication of CN111241924A publication Critical patent/CN111241924A/zh
Application granted granted Critical
Publication of CN111241924B publication Critical patent/CN111241924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于尺度估计的人脸检测及对齐方法，将图片输入尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度图像；将多个尺度图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；将预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。本发明具有适应性强、对小尺度人脸有更高的检出的优点。

Description

基于尺度估计的人脸检测及对齐方法、装置、存储介质
技术领域
本发明涉及视频监控及图像处理技术领域，特别涉及一种基于尺度估计的人脸检测及对齐方法、装置、存储介质。
背景技术
随着科技的快速发展,计算机视觉在社会生活中日渐流行,人脸检测及对齐技术便是其中的一个研究热点，在现实生活中有着众多应用，如刷脸门禁、手机解锁、安全监控、身份查验等等，人脸检测及对齐技术的应用给日常生活带来了较大的便利。在实际场景中，一幅图像可能同时包含不同尺度的人脸，例如小尺度与大尺度人脸，为了能够同时检测不同尺度的人脸，现有做法中，一是使用均匀分布的图像金字塔，在密集的金字塔图像上进行检测；二是设计一个大的网络在多尺度的特征图上进行检测。但是，这些方法具有计算复杂度高的缺点。此外，为了减少金字塔个数，有的检测技术中会使用尺度估计方法，而该方法在图像中存在多尺度人脸时，容易忽略小尺度的人脸，造成人脸漏检测的错误，给人脸检测的应用带来诸多不便。
发明内容
本发明要解决的技术问题是如何提供一种计算复杂度较低、不易忽略小尺度人脸的人脸检测及对齐的方法及装置。
为了解决上述技术问题，本发明的技术方案为：
一种基于尺度估计的人脸检测及对齐方法，包括步骤：
将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，所述尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；所述尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度的图像；
将多个尺度的所述图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
将所述预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据所述检测框提取出对应的人脸特征点。
优选地，所述尺度估计网络的训练包括：
人脸尺度向量标注：预设多个尺度区间，将人脸宽和高的均值作为人脸尺度，如存在属于一区间尺度的人脸，则分数向量上对应的分数置为1；如不存在属于此区间尺度的人脸，则分数向量上对应的分数置为0；
制作人脸注意力图：制作人脸掩模，并根据人脸尺度预分配注意力权重，预分配注意力权重的公式包括：
其中s为人脸尺度，σ与μ为概率分布参数；
使用尺度的多类二分类损失losss以及人脸注意力图的二分类损失lossa作为损失函数，训练损失loss＝losss+λlossa，其中λ为权重系数。
优选地，Na表示尺度区间数量，pn表示第n个尺度区间的标签，/>表示第n个尺度区间的估计结果。
优选地，Na表示所述人脸注意力图的像素数，qn表示第n个像素的标签，/>表示第n个像素的估计结果。
优选地，anchor Pnet及anchor Rnet的模型训练过程包括：
anchor Pnet训练：anchor Pnet为全卷积网络，预设不同比例的K个anchor，若anchor对应的预定义框与标注框的交并比值大于第一预设值则标记该anchor为正样本，同时参与分类与回归计算；若所述交并比值小于第二预设值，则认为负样本，只参与分类，不参与回归计算；若所述交并比值大于第二预设值且小于第一预设值，则样本不进行分类判断，只参与回归；训练时需同时对K个anchor进行分类与检测；
anchor Rnet训练：将anchor Pnet检测后的结果和标注框与预设的anchor来生成所需的训练数据，训练时同时进行任务，任务包括对预设的K个anchor进行人脸分类、边界框回归以及特征点定位。
优选地，通过非极大值抑制算法去除非人脸候选框，以及执行步骤：使用非极大值抑制算法去除冗余框得到检测框时，
还包括局部极大必须覆盖数量为Nn的非极大的限制条件，其中，Nn为覆盖量阈值。
优选地，所述尺度估计网络包括特征提取模块、注意力辅助预测模块及预测模块；
所述特征提取模块，为全卷积网络，用于生成特征；
所述注意力辅助预测模块，将特征图反卷积为原图大小，用于学习人脸注意力图，学习人脸注意力特征；
所述预测模块，结合特征模块特征与人脸注意力特征来得到尺度概率向量，将尺度概率向量大于预设阈值的尺度输出。
第二方面，本发明还提出了基于尺度估计的人脸检测及对齐***，包括：
尺度估计模块：将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，所述尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；所述尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
缩放模块：将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度的图像；
anchor Pnet模块：将多个尺度的所述图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
anchor Rnet模块：将所述预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据所述检测框提取出对应的人脸特征点。
第三方面，本发明还提出一种基于尺度估计的人脸检测及对齐的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的人脸尺度检测及对齐的方法的步骤。
第四方面，本发明还提出一种基于尺度估计的人脸检测及对齐的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的基于尺度估计的人脸检测及对齐方法的步骤。
采用上述技术方案，由于本发明采用了基于anchor的级联人脸检测方法，先用简单快速的anchor Pnet来提取人脸的候选区域，之后再用相对复杂的anchor Rnet逐步修正，使得人脸检测能够更加快速与准确，可以适应一定范围的尺度，增强了对尺度估计结果的适应性，同时进行了人脸检测与对齐两个任务，由于两个网络的相互适应，使得使用小的网络结构便能达到不错的性能。此外，本发明采用了基于注意力的人脸尺度估计网络，使得其无需针对不同场景调节金字塔进行调参，从而能够自适应不同的场景，基于注意力的尺度估计网络对小尺度人脸有更高的检出，可以避免检测时对小尺度人脸的忽略。
附图说明
图1为本发明基于尺度估计的人脸检测及对齐方法一实施例的步骤流程图；
图2为发明基于尺度估计的人脸检测及对齐的待处理的原图；
图3为发明基于尺度估计的人脸检测及对齐的制作好的人脸注意力图；
图4为尺度估计网络模块图；
图5为anchor Pnet结构图；
图6为anchor Rnet结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明技术方案提出了基于尺度估计的人脸检测及对齐方法，包括步骤：
S10：将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
S20：将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度图像；
S30：将多个尺度图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
S40：将预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。
步骤S10中，尺度估计网络的训练过程为：
人脸尺度向量标注：预设多个尺度区间，将人脸宽和高的均值作为人脸尺度，如存在属于一区间尺度的人脸，则分数向量上对应的分数置为1；如不存在属于此区间尺度的人脸，则分数向量上对应的分数置为0；制作人脸注意力图：制作人脸掩模，并根据人脸尺度预分配注意力权重；使用尺度的多类二分类损失losss以及人脸注意力图的二分类损失lossa作为损失函数，训练损失loss＝losss+λlossa，其中λ为权重系数。
采用上述技术方案，由于本发明采用了基于anchor的级联人脸检测方法，先用简单快速的anchor Pnet来提取人脸的候选区域，之后再用相对复杂的anchor Rnet逐步修正，使得人脸检测能够更加快速与准确，可以适应一定范围的尺度。增强了对尺度估计结果的适应性，同时进行了人脸检测与对齐两个任务，由于两个网络的相互适应，使得使用小的网络结构便能达到不错的性能。此外，本发明采用了基于注意力的人脸尺度估计网络，使得其无需针对不同场景调节金字塔进行调参，从而能够自适应不同的场景，基于注意力的尺度估计网络对小尺度人脸有更高的检出，可以避免检测时对小尺度人脸的忽略。
本发明的一实施例中，实现人脸尺度估计的步骤包括：
步骤一：基于注意力的人脸尺度估计。
设计一个基于注意力的尺度估计网络用于生成尺度概率向量，然后将人脸尺度概率向量大于阈值T1的作为最终尺度S＝{S1，S2，S3.............Sn}；
具体步骤如下：
步骤1：基于注意力的尺度估计网络训练
参照图4，尺度估计网络由特征提取模块、注意力辅助预测模块与预测模块组成。特征提取模块是一个全卷积网络，用于生成特征；注意力辅助预测模块将特征图反卷积为原图大小，学习人脸注意力图，学习人脸注意力特征；预测模块结合特征模块特征与人脸注意力特征来得到尺度概率向量，将尺度概率向量大于预设阈值的尺度输出。
步骤1.1人脸尺度向量标注制作。由于检测网络的适应性，人脸尺度的尺度间隔可以设置大些，尺度间隔可为21。预设尺度X＝{22.5，23.5，24.5........2n}，应的尺度空间为XS＝{(22，23)，(23，24)..........(2n-0.5，2n+0.5)},标注人脸尺度s为人脸宽高的均值，根据对应的预设尺度对每个尺度区间标注0或1。实施中，预设尺度X＝{22，23，24........28}，总共7个尺度空间，尺度范围为[22,28]。
步骤1.2人脸注意力图制作。取人脸标注框内切椭圆组成的二值分割图作为人脸mask(掩模)，并根据人脸尺度对图像中的人脸预先分配注意力权重，预分配注意力权重公式如下所示：
其中s为人脸尺度，σ与μ为概率分布参数；
如图所示，其中图2为原图，图3为制作好的人脸注意力图。
步骤1.3使用多任务损失函数。
训练的损失由两部分组成，一为尺度的多类二分类损失lossa，二为人脸注意力图的二分类损失lossa。训练损失loss＝losss+λlossa。
其中,Na表示尺度区间数量，pn表示第n个尺度区间的标签，/>表示第n个尺度区间的估计结果。
式中，Na表示人脸注意力图的像素数。qn表示第n个像素的标签，/>表示第n个像素的估计结果。为权重系数，实施时可取2。
步骤2：基于注意力的尺度估计网络测试。
步骤2.1测试时，注意力辅助预测模块并不参与，只需前向特征提取模块与预测模块。具体实施为将图片降采样到256×256，然后输入到基于注意力的尺度估计网络中，得到一个1×7的尺度概率向量。将大于阈值T0的作为建议的人脸尺度S＝{s1,s2..........sn}。
步骤二：基于anchor的级联人脸检测与对齐方法，参照图5、图6。
基于anchor的级联人脸检测与对齐方法由两个卷积神经网络级联组成，分别为anchor Pnet、anchor Rnet。先用简单快速的anchor Pnet来提取人脸的候选区域，之后再用相对复杂的anchor Rnet逐步修正，使得人脸检测能够更加快速与准确。具体步骤如下：
步骤1：基于anchor的级联人脸检测与对齐方法训练
步骤1.1：anchor Pnet训练。
anchor Pnet是一个全卷积网络，通过设计不同比例的K个anchor A＝{a1,a2..........an}与标注框匹配来进行训练。若anchor对应的预定义框与标注框的Iou值大于0.65则标记该anchor为正样本，同时参与分类与回归计算；若小于0.3则认为负样本，只参与分类不参与回归计算；对于[0.4,0.65]的样本不进行分类判断，只参与回归。训练时需同时对K个anchor进行分类与检测。
anchor可设置任意长宽比，实施中，为了方便，将长宽比设为1，使用下式来得到多个anchor：ak＝γ*ak-1，其中,a1＝16，γ＝0.709，anchor数目为3；在16×16的图上的3个虚线框即为预设的3个anchor。
步骤1.2：训练anchor Rnet。
将anchor Pnet检测后的结果和标注框与预设的anchor来生成所需的训练数据，训练时需同时进行三个任务，即对预设的K个anchor进行人脸A＝{a1,a2.........ak}分类、边界框回归、特征点定位，其输入为48×48。实施时anchor的设计规则与步骤1.1一致，a1＝48，γ＝0.709，anchor数目为3。
步骤2：基于anchor的人脸检测与对齐方法测试
步骤2.1：anchor Pnet生成候选框。将使用尺度估计网络得到的尺度S＝{s1,s2.....sn}对图像进行缩放，得到多个尺度图像。由于anchor Pnet为全卷积网络，可以接受任意大小的输入，将多个尺度的图像依次输入到Pnet中，得到的大量候选框。经测试发现，候选框密集的地方是人脸的概率的很大，而孤立的候选框大概率是非人脸区域。因此，使用改进的非极大值抑制算法可以去除更多的非人脸候选框。改进的非极大值抑制算法为在非极大值抑制算法的基础上加上局部极大必须覆盖数量为Nn的非极大的限制条件。改进的非极大值抑制算法过程如下：
其中iou表示交并比，
本实施例中，覆盖量阈值Nn＝2，NMS阈值Nt＝0.5，置信度阈值T1＝0.6。
步骤2.2：anchor Rnet得到最终结果。将第一阶段生成的候选框在原图上剪裁并缩放到48×48大小，输入到anchor Rnet中，一个48×48输入将得到K个候选框，分别对应于K个anchor，将大于阈值T2的检测框使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。非极大值抑制算法过程如下：
实施中，NMS阈值Nt＝0.5，置信度阈值T2＝0.7。
本发明还提出了一种基于尺度估计的人脸检测及对齐***，包括：
尺度估计模块：将图片输入尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
缩放模块：将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度图像；
anchor Pnet模块：将多个尺度图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
anchor Rnet模块：将预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。
本发明还提出一种基于尺度估计的人脸检测及对齐的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述的人脸尺度检测及对齐的方法的步骤。该方法包括：
将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
：将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度图像；
将多个尺度图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
将预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。
本发明还提出一种基于尺度估计的人脸检测及对齐的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的人脸尺度检测及对齐的方法的步骤。
该方法包括：
将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度图像；
将多个尺度图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
将预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (7)

1.一种基于尺度估计的人脸检测及对齐方法，其特征在于，包括步骤：
将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，所述尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；所述尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度的图像；
将多个尺度的所述图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
将所述预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据所述检测框提取出对应的人脸特征点；
尺度估计网络的训练包括：
人脸尺度向量标注：预设多个尺度区间，将人脸宽和高的均值作为人脸尺度，如存在属于一区间尺度的人脸，则分数向量上对应的分数置为1；如不存在属于此区间尺度的人脸，则分数向量上对应的分数置为0；
制作人脸注意力图：制作人脸掩模，并根据人脸尺度预分配注意力权重，预分配注意力权重的公式包括：
其中s为人脸尺度，σ与μ为概率分布参数；
使用尺度的多类二分类损失losss以及人脸注意力图的二分类损失lossa作为损失函数，训练损失loss＝losss+λlossa，其中λ为权重系数；
其中，Ns表示尺度区间数量，pn表示第n个尺度区间的标签，/>表示第n个尺度区间的估计结果；
Na表示所述人脸注意力图的像素数，qn表示第n个像素的标签，/>表示第n个像素的估计结果。
2.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于：anchorPnet及anchorRnet的模型训练过程包括：
anchorPnet训练：anchorPnet为全卷积网络，预设不同比例的K个anchor，若anchor对应的预定义框与标注框的交并比值大于第一预设值则标记该anchor为正样本，同时参与分类与回归计算；若所述交并比值小于第二预设值，则认为负样本，只参与分类，不参与回归计算；若所述交并比值大于第二预设值且小于第一预设值，则样本不进行分类判断，只参与回归；训练时需同时对K个anchor进行分类与检测；
anchorRnet训练：将anchorPnet检测后的结果和标注框与预设的anchor来生成所需的训练数据，训练时同时进行任务，任务包括对预设的K个anchor进行人脸分类、边界框回归以及特征点定位。
3.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于：在执行步骤：通过非极大值抑制算法去除非人脸候选框，以及执行步骤：使用非极大值抑制算法去除冗余框得到检测框时，
还包括局部极大必须覆盖数量为Nn的非极大的限制条件，其中，Nn为覆盖量阈值。
4.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于，所述尺度估计网络包括特征提取模块、注意力辅助预测模块及预测模块；
所述特征提取模块，为全卷积网络，用于生成特征；
所述注意力辅助预测模块，将特征图反卷积为原图大小，用于学习人脸注意力图，学习人脸注意力特征；
所述预测模块，结合特征模块特征与人脸注意力特征来得到尺度概率向量，将尺度概率向量大于预设阈值的尺度输出。
5.一种基于尺度估计的人脸检测及对齐装置，其特征在于，包括：
尺度估计模块：将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，所述尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；所述尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；
缩放模块：将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度的图像；
anchor Pnet模块：将多个尺度的所述图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；
anchor Rnet模块：将所述预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据所述检测框提取出对应的人脸特征点；
其中，尺度估计网络的训练包括：
人脸尺度向量标注：预设多个尺度区间，将人脸宽和高的均值作为人脸尺度，如存在属于一区间尺度的人脸，则分数向量上对应的分数置为1；如不存在属于此区间尺度的人脸，则分数向量上对应的分数置为0；
制作人脸注意力图：制作人脸掩模，并根据人脸尺度预分配注意力权重，预分配注意力权重的公式包括：
其中s为人脸尺度，σ与μ为概率分布参数；
使用尺度的多类二分类损失losss以及人脸注意力图的二分类损失lossa作为损失函数，训练损失loss＝losss+λlossa，其中λ为权重系数；
其中，Ns表示尺度区间数量，pn表示第n个尺度区间的标签，/>表示第n个尺度区间的估计结果；
Na表示所述人脸注意力图的像素数，qn表示第n个像素的标签，/>表示第n个像素的估计结果。
6.一种基于尺度估计的人脸检测及对齐的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-4任一项所述的基于尺度估计的人脸检测及对齐方法的步骤。
7.一种基于尺度估计的人脸检测及对齐的存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时间实现权利要求1-4任一项所述的基于尺度估计的人脸检测及对齐方法的步骤。
CN201911387732.XA 2019-12-30 2019-12-30 基于尺度估计的人脸检测及对齐方法、装置、存储介质 Active CN111241924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911387732.XA CN111241924B (zh) 2019-12-30 2019-12-30 基于尺度估计的人脸检测及对齐方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911387732.XA CN111241924B (zh) 2019-12-30 2019-12-30 基于尺度估计的人脸检测及对齐方法、装置、存储介质

Publications (2)

Publication Number Publication Date
CN111241924A CN111241924A (zh) 2020-06-05
CN111241924B true CN111241924B (zh) 2024-06-07

Family

ID=70864141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911387732.XA Active CN111241924B (zh) 2019-12-30 2019-12-30 基于尺度估计的人脸检测及对齐方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN111241924B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783784A (zh) * 2020-06-30 2020-10-16 创新奇智(合肥)科技有限公司 建筑的空洞检测方法及装置、电子设备、存储介质
CN112037118B (zh) * 2020-07-16 2024-02-02 新大陆数字技术股份有限公司 图像缩放硬件加速方法、装置、***及可读存储介质
CN111860510B (zh) * 2020-07-29 2021-06-18 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
CN112183463B (zh) * 2020-10-23 2021-10-15 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112733671A (zh) * 2020-12-31 2021-04-30 新大陆数字技术股份有限公司 行人检测方法、装置及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
CN107844785A (zh) * 2017-12-08 2018-03-27 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法
CN109670452A (zh) * 2018-12-20 2019-04-23 北京旷视科技有限公司 人脸检测方法、装置、电子设备和人脸检测模型
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测***
CN109886128A (zh) * 2019-01-24 2019-06-14 南京航空航天大学 一种低分辨率下的人脸检测方法
CN110135243A (zh) * 2019-04-02 2019-08-16 上海交通大学 一种基于两级注意力机制的行人检测方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测***
CN107844785A (zh) * 2017-12-08 2018-03-27 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法
CN109670452A (zh) * 2018-12-20 2019-04-23 北京旷视科技有限公司 人脸检测方法、装置、电子设备和人脸检测模型
CN109886128A (zh) * 2019-01-24 2019-06-14 南京航空航天大学 一种低分辨率下的人脸检测方法
CN110135243A (zh) * 2019-04-02 2019-08-16 上海交通大学 一种基于两级注意力机制的行人检测方法及***

Also Published As

Publication number Publication date
CN111241924A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111241924B (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
EP3979200A1 (en) Video target tracking method and apparatus, computer device and storage medium
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN110378235B (zh) 一种模糊人脸图像识别方法、装置及终端设备
Fu et al. Fast crowd density estimation with convolutional neural networks
CN110717527A (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN103310236A (zh) 基于局部二维特征的拼接图像检测方法及***
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN112668522B (zh) 一种人体关键点与人体掩码联合检测网络及方法
CN110135446B (zh) 文本检测方法及计算机存储介质
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN114092793B (zh) 适用于复杂水下环境的端到端生物目标检测方法
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、***及设备
US20240203097A1 (en) Method and apparatus for training image processing model, and image classifying method and apparatus
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN115731422A (zh) 多标签分类模型的训练方法、分类方法及装置
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及***
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN110135435B (zh) 一种基于广度学习***的显著性检测方法及装置
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN117132503A (zh) 一种图像局部高亮区域修复方法、***、设备及存储介质
Li et al. CDMY: A lightweight object detection model based on coordinate attention
CN116543333A (zh) 电力***的目标识别方法、训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant