CN112580434B - 一种基于深度相机的人脸误检优化方法、***及人脸检测设备 - Google Patents

一种基于深度相机的人脸误检优化方法、***及人脸检测设备 Download PDF

Info

Publication number
CN112580434B
CN112580434B CN202011336341.8A CN202011336341A CN112580434B CN 112580434 B CN112580434 B CN 112580434B CN 202011336341 A CN202011336341 A CN 202011336341A CN 112580434 B CN112580434 B CN 112580434B
Authority
CN
China
Prior art keywords
face
image
depth
key points
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011336341.8A
Other languages
English (en)
Other versions
CN112580434A (zh
Inventor
辛冠希
高通
陈碧辉
钱贝贝
黄源浩
肖振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202011336341.8A priority Critical patent/CN112580434B/zh
Publication of CN112580434A publication Critical patent/CN112580434A/zh
Application granted granted Critical
Publication of CN112580434B publication Critical patent/CN112580434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度相机的人脸误检优化方法、***及人脸检测设备，包括：S1、获取目标区域的彩色图像和深度图像；S2、对彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；S3、将初始人脸框与彩色图像结合并进行裁剪得到人脸图像，进行图像分类，得到第一人脸区域图像；S4、检测人脸关键点在深度图像上的深度值，获得第二人脸区域图像；S5、根据人脸关键点的位置信息，求取人脸的旋转角度并将人脸进行重投影，以对第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。本发明提高了人脸关键点定位的准确率，且减少了每个关键特征点单独判断带来的误差累积，从而有效降低了人脸检测的误检率。

Description

一种基于深度相机的人脸误检优化方法、***及人脸检测 设备
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于深度相机的人脸误检优化方法、***及人脸检测设备。
背景技术
随着图像处理技术以及光学摄像技术等的发展，人脸检测技术已得到快速发展，并应用到各个领域中，如：在门禁、电子消费产品的开机以及使用过程中的身份验证等领域，通过人脸检测以进行身份验证；在安防监控等领域，通过人脸检测以搜索检测出目标物体并进行监控。
人脸检测是指对于任意一幅指定的图像，采用一定的策略对其进行搜索以确定其中是否包含有人脸，如果有包含人脸，则返回该人脸的位置信息；人脸检测是人脸识别、安防监控领域中一个重要的组成部分。
误检率作为为评价人脸检测的一个重要的指标，如果误检率越低，则检测的精度就越高，漏检错检就越少，所以人脸检测中都希望尽量能降低误检率。当前的人脸检测方法中，一般是采用单个模型输出人脸检测的结果和人脸关键点的信息，然而，使用单个模型的缺点是容易把非人脸的区域认为是人脸区域或者将大角度的测量也引入其中，导致误检率较高，影响后续的人脸比对和人脸识别，为后续的执行带来很大的干扰和增加人工甄别的成本。因此，有必要提供一种技术方案，以对人脸误检进行优化，提升检测的准确率。
上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种基于深度相机的人脸误检优化方法、***及人脸检测设备，以解决上述背景技术问题中的至少一种问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种基于深度相机的人脸误检优化方法，包括如下步骤：
S1、获取目标区域的彩色图像和深度图像；
S2、对所述彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；
S3、将所述初始人脸框与所述彩色图像结合并进行裁剪得到人脸图像，对所述人脸图像进行图像分类，得到第一人脸区域图像；
S4、结合所述人脸关键点与所述第一人脸区域图像，进一步检测所述人脸关键点在所述深度图像上的深度值，获得第二人脸区域图像；
S5、根据所述人脸关键点在所述第二人脸区域图像的位置信息，求取人脸的旋转角度并将所述人脸进行重投影，以对所述第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。
进一步地，步骤S1中，通过控制采集设备采集目标区域的所述彩色图像和所述深度图像；其中，所述采集设备为深度相机。
进一步地，步骤S1中，还包括：对所采集到的所述深度图像与所述彩色图像进行配准，以确定所述深度图像与所述彩色图像中的像素之间的对应关系。
进一步地，步骤S2包括：
S20、将所述彩色图像传输至主干特征提取网络，输出第一有效特征层；
S21、利用所述第一有效特征层进行特征图金字塔网络结构的构建，获取有效特征融合层；
S22、对获取的所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、利用所述第二有效特征层进行人脸预测，得到所述初始人脸框。
进一步地，步骤S22中，利用SSH结构对三个不同尺寸的所述有效特征融合层进行加强特征提取；其中，所述SSH结构包括三个并行卷积层结构，所述有效特征融合层经过所述三个并行卷积层结构后通过合并，得到所述第二有效特征层。
进一步地，步骤S3中，根据所述初始人脸框的位置信息对所述彩色图像进行裁剪，得到所述人脸图像，对所述人脸图像进行二分类，得到所述第一人脸区域图像。
进一步地，步骤S4中，基于步骤S2得到的所述人脸关键点的坐标和基于步骤S1获得的所述深度图像，通过判断所述第一人脸区域图像上的人脸关键点对应在所述深度图像上的所述人脸关键点的深度是否符合人脸的深度分布，进而判断该区域是否为人脸区域。
进一步地，步骤S5包括：
S50、计算所述人脸关键点的旋转角度，判断所述旋转角度是否在预设阈值范围之内；
S51、计算所述重投影人脸关键点的二维坐标，并与原始的人脸关键点坐标进行误差分析，确定人脸区域是否存在大角度偏向人脸。
本发明另一实施例技术方案为：
一种基于深度相机的人脸误检优化***，包括：采集设备、人脸检测模块、人脸二分类模块、深度筛选模块、以及关键点相对位置筛选模块；其中，
所述采集设备用于采集目标区域的彩色图像和深度图像；
所述人脸检测模块用于对所采集得到的所述彩色图像进行人脸检测，获得初始人脸框和人脸关键点，并将所述初始人脸框和所述人脸关键点分别传输至所述人脸二分类模块与所述深度筛选模块；
所述人脸二分类模块用于根据所述人脸初始框的位置信息在所述彩色图像对应位置上裁剪得到人脸图像，并对所述人脸图像进行二分类，获取第一人脸区域图像；
所述深度筛选模块用于根据所述人脸检测模块获取的所述人脸关键点的坐标信息，筛选所述第一人脸区域图像相对位置的深度值，获得第二人脸区域图像；
所述关键点相对位置筛选模块通过求取所述人脸关键点的相对位置分布，并判断其是否满足预设的人脸关键点位置相对分布，以确认最终人脸区域。
本发明实施例又一技术方案为：
一种人脸检测设备，包括前述实施例技术方案所述的基于深度相机的人脸误检优化***、处理与控制电路、以及输出单元；其中，所述处理与控制电路与所述人脸误检优化***和所述输出单元连接，以对所述人脸误检优化***与所述输出单元进行控制；所述输出单元用于对检测结果进行输出。
本发明技术方案的有益效果是：
相较于现有技术，本发明基于深度相机采集到的深度图像和彩色图像，根据图像上的人脸图像和人脸关键点，通过多个人脸检测模块判断人脸图像中的初始人脸区域是否为误检人脸，从而加快了检测效率，提高了人脸关键点定位的准确率，且避免了每个关键特征点单独判断带来的误差累积，从而有效降低了人脸检测的误检率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例基于深度相机的人脸误检优化方法的流程图。
图2是根据本发明另一个实施例基于深度相机的人脸误检优化***的示意图。
图3是根据本发明又一个实施例人脸检测设备的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，术语“第一”、“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1所示为本发明一个实施例基于深度相机的人脸误检优化方法的流程示意图，方法包括以下步骤：
S1、获取目标区域的彩色图像和深度图像；
控制采集设备采集目标区域的彩色图像和深度图像，在一些实施例中，采集设备可以为基于结构光、双目、TOF(时间飞行算法)等技术方案的深度相机。在一个实施例中，采集设备包括结构光深度相机和彩色相机，以分别采集目标区域的深度图像与彩色图像。其中，深度图像与彩色图像的采集频率可以相同也可以不同，根据具体的功能需求进行相应的设定，比如以60FPS的频率交叉采集深度图像与彩色图像，最后分别获取30FPS的深度图像以及彩色图像。
在一个实施例中，采集设备所采集到的深度图像与彩色图像被进一步配准，即通过配准算法找到深度图像与彩色图像中的像素之间的对应关系，以消除二者之间由于空间位置不同所产生的视差。其中，配准可以由采集设备中的专用处理器来完成，也可以由外部处理器完。经配准后的深度图像与彩色图像可以实现多种功能，比如可以加快物体检测与识别。在一个实施例中，先对彩色图像进行物体检测，再利用像素对应关系直接定位出深度图像中的物体，由此可以减少一次对深度图像的物体检测算法；在一个实施例中，先对上一帧的彩色图像进行物体检测，在下一帧进行深度图像采集时，仅获取物体所在位置上的像素的深度值，即仅输出物体部分的深度图像，从而减少深度图像提取算法的计算量，同时降低数据传输带宽。反之，也可以先对深度图像进行物体检测或识别，再利用像素对应关系加速对彩色图像中物体的检测或识别。
S2、对步骤S1中获取的彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；
将彩色图像传输至彩色图像人脸检测模型进行检测，获取人脸区域，得到初始人脸框和人脸关键点；在本发明实施例中，彩色图像人脸检测模型是基于RetinaFace人脸检测算法搭建；具体的，步骤S2包括：
S20、将彩色图像输送至主干特征提取网络，输出最后三个第一有效特征层；
在一个实施例中，主干特征提取网络包括深度可分离卷积(Mobilenet)模型或深度残差网络(Resnet)模型；优选Mobilenet模型，可减少模型的参数。
S21、利用三个有效特征层进行特征图金字塔网络(FPN)结构的构建，获取有效特征融合层；
在一个实施例中，利用卷积核为1×1卷积层对三个有效特征层进行通道数的调整，并利用调整后的有效特征层进行上采样和图像融合以实现三个有效特征层的特征融合，得到三个不同尺寸的有效特征融合层，进而完成FPN结构的构建。应当理解的是，卷积层的卷积核大小可根据实际情况进行设计，此处不作特别限定。
S22、对获取的有效特征融合层进行加强特征提取，输出第二有效特征层；
在一个实施例中，利用SSH(Single Stage Headless Face Detector，单点无头人脸检测器)结构对三个不同尺寸的有效特征融合层进行加强特征提取，其中，SSH结构包括三个并行卷积层结构，三个卷积层结构被配置为1个3×3卷积层、2个3×3卷积层及3个3×3卷积层进行并联(即第一个卷积层为1个3×3卷积层、第二个卷积层为2个3×3卷积层、第三个卷积层为3个3×3卷积层)，如此设计，增大了卷积层的感受野((receptive field))，并减少了参数的计算。有效特征融合层经过三个并行卷积层结构后通过concat函数合并，得到新的有效特征层，即三个不同尺寸的有效特征融合层经过三个并行卷积层结构可得到三个新的具有SSH结构的不同尺寸的第二有效特征层。
S23、利用第二有效特征层进行人脸预测，得到初始人脸框及人脸关键点；
在一些实施例中，具有SSH结构的三个不同尺寸的第二有效特征层等效于将整幅彩色图像划分成不同大小的网格，每个网格上包含两个先验框，每个先验框代表彩色图像上的一定区域，对每个先验框进行人脸检测，通过设置置信度的阈值为0.5，对先验框是否包含人脸的概率进行预测，并与阈值进行比对，若先验框的概率大于阈值，则该先验框包含人脸，即为初始人脸框。应当理解的是，置信度的阈值可根据实际情况进行具体设置，此处不作限制。
进一步地，对初始人脸框进行调整获取人脸关键点；其中，人脸关键点包括五个关键点，分别为左眼、右眼、鼻子、左嘴角及右嘴角，每个人脸关键点需要两个调整参数，对每个初始人脸框中心的x、y轴进行调整以获取人脸关键点坐标。
S3、将初始人脸框与彩色图像结合并进行裁剪得到人脸图像，对人脸图像进行图像分类，得到第一人脸区域图像；
具体的，根据初始人脸框的位置信息对彩色图像进行裁剪，得到人脸图像，对人脸图像进行二分类，得到第一人脸区域图像；在一些实施例中，人脸二分类模型依次包括1个输入层、4个卷积层、1个全连接层以及1个soft-max层，输入层的图像为根据初始人脸框的位置信息在彩色图像上裁剪得到人脸图像，人脸图像从输入层传递至卷积层，卷积层将人脸图像进行特征提取，根据卷积层中卷积核的大小，获得对应的特征图，以提取人脸图像的全局特征；卷积层后面连接一个批归一化层(pooling)和Relu激活函数层；其中，批归一化层用于对获取的特征图进行降维，以减小计算数量，Rule激活函数层将归一化后的图像进行非线性激活，提高人脸二分类模型的非线性表达能力。全连接层包括有多个神经元，全连接层与最后一卷积层是全连接状态，因此，经过全连接层后，可以得到一个与神经元数量相同维度的特征向量。输出层为soft-max层，soft-max层包括两个神经元，经过全连接层的特征向量平均给予soft-max层的两个神经元，分别对应于人脸图像在真实人脸和假冒人脸的二分类上的概率分布；预先设置的的真实人脸概率阈值为0.6，若经过人脸检测模型检测出的概率大于阈值时，则该人脸图像中的人脸为真实人脸，得到第一人脸区域图像；若小于阈值，则结束操作。应当理解的是，预先设置的真实人脸概率可根据实际情况进行设置，此处不作限制。
S4、结合人脸关键点与第一人脸区域图像，检测深度图像上对应的人脸关键点的深度值，获得第二人脸区域图像；
具体的，根据人脸关键点的位置信息，判断第一人脸区域图像对应的人脸关键点在深度图像上的深度值是否符合人脸深度分布，从而获得第二人脸区域图像。
在一些实施例中，基于步骤S2得到的人脸关键点坐标和基于步骤S1获得的深度图像，通过判断第一人脸区域图像上的五个人脸关键点对应在深度图像上的五个人脸关键点的深度是否符合人脸的深度分布，进而判断该区域是否为人脸区域。优选地，预先设置深度阈值，选取五个人脸关键点中深度值最大的关键点与深度值最小的关键点进行深度值作差，得到深度差值，若深度差值在预先设置的深度阈值范围内，且均在有效距离范围内，即不存在无效的深度值，则第一人脸区域存在真实人脸，进一步获取第二人脸区域图像；若深度差值在预先设置的深度阈值范围之外，即使其在有效距离范围内，该区域也不存在真实人脸，则判断为非人脸区域。
S5、根据人脸关键点在第二人脸区域图像的位置信息，求取人脸的旋转角度并将所述人脸进行重投影，以对第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。
在一些实施例中，步骤S5包括以下步骤：
S50、基于步骤S2得到的人脸关键点的坐标信息，计算人脸关键点的旋转角度，判断人脸旋转角度是否在预设阈值范围之内。
假设其中一点人脸关键点在相机坐标系下的空间3D点的坐标为(Xw,Yw,Zw)，通过检测到的人脸关键点在像素坐标系下的齐次坐标为(u,v,1)，即:
其中，s为尺度因子(s不为0)，(Xw,Yw,Zw,1)为人脸关键点在相机坐标系中的齐次坐标，M1和M2分别为深度相机的内参数和外参数，dX和dY分别为人脸关键点在X、Y轴方向上的物理尺寸，(u0,v0)为人脸图像中心点坐标，f为有效焦距，R为一个3×3的旋转矩阵，T为3×1的平移矩阵。
对于R和T进行展开，得:
对矩阵相乘并展开得：
基于步骤S2，五个人脸关键点的二维坐标及三维坐标是已知的，代入上式，可通过求解线性方程组可得到矩阵R和T的初值，再利用非线性最小二乘法迭代求解最优值。
在一个实施例中，假设四元数q＝(q0,q1,q2,q3)，根据罗格里格斯公式，得:
根据四元数求解欧拉角得：
其中，α、β、γ分别定义为绕Z轴、Y轴及X轴的旋转角度，如果用欧拉角表示，即为Yaw、Pitch、Roll。
在一个实施例中，基于上述求解的α、β、γ，计算其绝对值之和，即 比较/>与预设阈值δ的大小，若/>则判定所检测的人脸区域为偏正向的人脸，可继续进行下一步操作；若/>则判定所检测的人脸区域为大角度人脸，则删除该人脸图像，以剔除大角度偏转人脸图像。
S51、根据深度图像中的人脸关键点的三维坐标及步骤S50求解得的深度相机的外参数，计算出重投影人脸关键点的二维坐标，并与原始的人脸关键点坐标进行误差分析，确定人脸区域是否存在大角度偏向人脸。
在一个实施例中，假设深度图像中的人脸关键点的三维坐标的齐次坐标为(X,Y,Z,1)，基于步骤S50得到的相机外参数，即旋转矩阵R和平移矩阵T，重投影后的人脸关键点的二维坐标为(x,y,1)，即：
将重投影后的计算的人脸关键点的二维坐标(x,y,1)与原始的人脸关键点二维坐标(u,v,1)进行误差计算，若误差大于预先设置的误差阈值，则认为该人脸区域为大角度偏转人脸，即可删除该人脸图像；若该误差小于预先设置的误差阈值，则认为该人脸区域为偏正向人脸，即最终确认人脸区域以便于后续的人脸比对和身份识别。
图2为根据本发明另一实施例提供的一种基于深度相机的人脸误检优化***的结构示意图。***200包括：采集设备201、人脸检测模块202、人脸二分类模块203、深度筛选模块204及关键点相对位置筛选模块205；其中，采集设备201用于采集目标区域的彩色图像和深度图像；人脸检测模块202用于对采集设备201采集得到的彩色图像进行人脸检测，获得初始人脸框和人脸关键点，并将初始人脸框和人脸关键点分别传输至人脸二分类模块203和深度筛选模块204；人脸二分类模块203用于根据人脸初始框的位置信息在彩色图像对应位置上裁剪得人脸图像，对人脸图像进行二分类，获取第一人脸区域图像；深度筛选模块204用于根据人脸检测模块202获取的人脸关键点的坐标信息，筛选第一人脸区域图像相对位置的深度值，获取第二人脸区域图像；关键点相对位置筛选模块205通过求取人脸检测模块202的人脸关键点的相对位置分布，并判断其是否满足预设的人脸关键点位置相对分布，以确认最终人脸区域。
在一些实施例中，采集设备201为基于结构光、双目、TOF(时间飞行算法)等技术方案的深度相机。
在一些实施例中，采集设备201包括结构光深度相机和彩色相机，以分别采集目标区域的深度图像与彩色图像。其中，深度图像与彩色图像的采集频率可以相同也可以不同，根据具体的功能需求进行相应的设定，比如以60FPS的频率交叉采集深度图像与彩色图像，最后分别获取30FPS的深度图像以及彩色图像。
在一些实施例中，人脸检测模块202通过彩色图像人脸检测模型进行检测；其中，彩色图像人脸检测模型为基于RetinaFace人脸检测算法搭建而成。
需要说明的是，本发明实施例基于深度相机的人脸误检优化***具体实施前述实施例基于深度相机的人脸误检优化方法，各模块的功能详细描述参见前述基于深度相机的人脸误检优化方法，在此不再赘述。
图3为根据本发明又一实施例提供的一种人脸检测设备300，包括前述任一实施例方案所述的基于深度相机的人脸误检优化***200、处理与控制电路301、以及输出单元302；其中，处理与控制电路301与人脸误检优化***200和输出单元302连接，用于对人脸误检优化***200与输出单元302进行控制；输出单元302用于对检测结果进行输出。本发明实施例人脸检测设备通过人脸误检优化***进行人脸误检优化，可降低人脸检测的误检率，从而提升检测的准确率。
本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的基于深度相机的人脸误检优化方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机***访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述基于深度相机的人脸误检优化方法。
可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (9)

1.一种基于深度相机的人脸误检优化方法，其特征在于，包括如下步骤：
S1、获取目标区域的彩色图像和深度图像；
S2、对所述彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；
S3、将所述初始人脸框与所述彩色图像结合并进行裁剪得到人脸图像，对所述人脸图像进行图像分类，得到第一人脸区域图像；
S4、结合所述人脸关键点与所述第一人脸区域图像，检测所述人脸关键点在所述深度图像上的深度值，获得第二人脸区域图像；
S5、根据所述人脸关键点在所述第二人脸区域图像的位置信息，求取人脸的旋转角度并将所述人脸进行重投影，以对所述第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域；
步骤S5包括：
S50、计算所述人脸关键点的旋转角度，判断所述旋转角度是否在预设阈值范围之内；
S51、计算所述重投影人脸关键点的二维坐标，并与原始的人脸关键点坐标进行误差分析，确定人脸区域是否存在大角度偏向人脸；
步骤S51包括：将重投影后的计算的人脸关键点的二维坐标(x,y,1)与原始的人脸关键点二维坐标(u,v,1)进行误差计算，若误差大于预先设置的误差阈值，则人脸区域为大角度偏向人脸并删除相对应的所述第二人脸区域图像。
2.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S1中，通过控制采集设备采集目标区域的所述彩色图像和所述深度图像；其中，所述采集设备为深度相机。
3.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于，步骤S1中，还包括：对所采集到的所述深度图像与所述彩色图像进行配准，以确定所述深度图像与所述彩色图像中的像素之间的对应关系。
4.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S2包括：
S20、将所述彩色图像传输至主干特征提取网络，输出第一有效特征层；
S21、利用所述第一有效特征层进行特征图金字塔网络结构的构建，获取有效特征融合层；
S22、对获取的所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、利用所述第二有效特征层进行人脸预测，得到所述初始人脸框。
5.如权利要求4所述基于深度相机的人脸误检优化方法，其特征在于：步骤S22中，利用SSH结构对三个不同尺寸的所述有效特征融合层进行加强特征提取；其中，所述SSH结构包括三个并行卷积层结构，所述有效特征融合层经过所述三个并行卷积层结构后通过合并，得到所述第二有效特征层。
6.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S3中，根据所述初始人脸框的位置信息对所述彩色图像进行裁剪，得到所述人脸图像，对所述人脸图像进行二分类，得到所述第一人脸区域图像。
7.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S4中，基于步骤S2得到的所述人脸关键点的坐标和基于步骤S1获得的所述深度图像，通过判断所述第一人脸区域图像上的人脸关键点对应在所述深度图像上的所述人脸关键点的深度是否符合人脸的深度分布，进而判断该区域是否为人脸区域。
8.一种基于深度相机的人脸误检优化***，其特征在于，包括：采集设备、人脸检测模块、人脸二分类模块、深度筛选模块、以及关键点相对位置筛选模块；其中，
所述采集设备用于采集目标区域的彩色图像和深度图像；
所述人脸检测模块用于对所述彩色图像进行人脸检测，获得初始人脸框和人脸关键点，并将所述初始人脸框和所述人脸关键点分别传输至所述人脸二分类模块与所述深度筛选模块；
所述人脸二分类模块用于根据所述人脸初始框的位置信息在所述彩色图像对应位置上裁剪得到人脸图像，并对所述人脸图像进行二分类，获取第一人脸区域图像；
所述深度筛选模块用于根据所述人脸检测模块获取的所述人脸关键点的坐标信息，筛选所述第一人脸区域图像相对位置的深度值，获得第二人脸区域图像；
所述关键点相对位置筛选模块通过求取所述人脸关键点的相对位置分布，并判断其是否满足预设的人脸关键点位置相对分布，以确认最终人脸区域；
所述关键点相对位置筛选模块具体用于：计算所述人脸关键点的旋转角度，判断所述旋转角度是否在预设阈值范围之内；将所述人脸进行重投影，计算重投影人脸关键点的二维坐标，将重投影后的计算的人脸关键点的二维坐标(x,y,1)与原始的人脸关键点二维坐标(u,v,1)进行误差计算，若误差大于预先设置的误差阈值，则人脸区域为大角度偏向人脸并删除相对应的所述第二人脸区域图像。
9.一种人脸检测设备，其特征在于：包括权利要求8所述的基于深度相机的人脸误检优化***、处理与控制电路、以及输出单元；其中，所述处理与控制电路与所述人脸误检优化***和所述输出单元连接，以对所述人脸误检优化***与所述输出单元进行控制；所述输出单元用于对检测结果进行输出。
CN202011336341.8A 2020-11-25 2020-11-25 一种基于深度相机的人脸误检优化方法、***及人脸检测设备 Active CN112580434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011336341.8A CN112580434B (zh) 2020-11-25 2020-11-25 一种基于深度相机的人脸误检优化方法、***及人脸检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011336341.8A CN112580434B (zh) 2020-11-25 2020-11-25 一种基于深度相机的人脸误检优化方法、***及人脸检测设备

Publications (2)

Publication Number Publication Date
CN112580434A CN112580434A (zh) 2021-03-30
CN112580434B true CN112580434B (zh) 2024-03-15

Family

ID=75123375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011336341.8A Active CN112580434B (zh) 2020-11-25 2020-11-25 一种基于深度相机的人脸误检优化方法、***及人脸检测设备

Country Status (1)

Country Link
CN (1) CN112580434B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688701B (zh) * 2021-08-10 2022-04-22 江苏仁和医疗器械有限公司 一种基于计算机视觉的面瘫检测方法及***
CN113688768A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 基于人工智能的人脸检测方法、装置、设备及介质
CN117078682B (zh) * 2023-10-17 2024-01-19 山东省科霖检测有限公司 一种大规模网格化空气质量等级精准评估方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794465A (zh) * 2015-05-13 2015-07-22 上海依图网络科技有限公司 一种基于姿态信息的活体检测方法
CN105205437A (zh) * 2014-06-16 2015-12-30 浙江宇视科技有限公司 基于头部轮廓验证的侧脸检测方法及装置
CN107944380A (zh) * 2017-11-20 2018-04-20 腾讯科技（深圳）有限公司 身份识别方法、装置及存储设备
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别***
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
EP3528173A1 (en) * 2017-09-09 2019-08-21 Apple Inc. Implementation of biometric authentication with detection and display of an error indication
CN110349152A (zh) * 2019-07-16 2019-10-18 广州图普网络科技有限公司 人脸图像质量检测方法及装置
CN110390229A (zh) * 2018-04-20 2019-10-29 杭州海康威视数字技术股份有限公司 一种人脸图片筛选方法、装置、电子设备及存储介质
CN110728234A (zh) * 2019-10-12 2020-01-24 爱驰汽车有限公司 驾驶员人脸识别方法、***、设备及介质
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信（上海）有限公司 人脸活体检测方法、装置、检测***及存储介质
CN111191553A (zh) * 2019-12-24 2020-05-22 杭州宇泛智能科技有限公司 人脸跟踪方法、装置及电子设备
CN111382634A (zh) * 2018-12-29 2020-07-07 河南中原大数据研究院有限公司 一种基于深度视频流的三维人脸识别方法
WO2020140723A1 (zh) * 2018-12-30 2020-07-09 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
CN111783749A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN112487921A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205437A (zh) * 2014-06-16 2015-12-30 浙江宇视科技有限公司 基于头部轮廓验证的侧脸检测方法及装置
CN104794465A (zh) * 2015-05-13 2015-07-22 上海依图网络科技有限公司 一种基于姿态信息的活体检测方法
EP3528173A1 (en) * 2017-09-09 2019-08-21 Apple Inc. Implementation of biometric authentication with detection and display of an error indication
CN107944380A (zh) * 2017-11-20 2018-04-20 腾讯科技（深圳）有限公司 身份识别方法、装置及存储设备
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别***
CN110390229A (zh) * 2018-04-20 2019-10-29 杭州海康威视数字技术股份有限公司 一种人脸图片筛选方法、装置、电子设备及存储介质
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN111382634A (zh) * 2018-12-29 2020-07-07 河南中原大数据研究院有限公司 一种基于深度视频流的三维人脸识别方法
WO2020140723A1 (zh) * 2018-12-30 2020-07-09 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
CN110349152A (zh) * 2019-07-16 2019-10-18 广州图普网络科技有限公司 人脸图像质量检测方法及装置
CN110728234A (zh) * 2019-10-12 2020-01-24 爱驰汽车有限公司 驾驶员人脸识别方法、***、设备及介质
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信（上海）有限公司 人脸活体检测方法、装置、检测***及存储介质
CN111191553A (zh) * 2019-12-24 2020-05-22 杭州宇泛智能科技有限公司 人脸跟踪方法、装置及电子设备
CN111783749A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN112487921A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D Face Recognition Under Expressions,Occlusions and Pose Variations;Hassen Drira 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;2270 - 2283 *
Multi-view Face Detection Using Deep Convolutional Neural Networks;Sachin Sudhakar Farfade 等;《arXiv:1502.02766v3 [cs.CV]》;1-8 *
基于多角度视频的人脸识别***的设计与实现;刘光富;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-2560 *

Also Published As

Publication number Publication date
CN112580434A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112580434B (zh) 一种基于深度相机的人脸误检优化方法、***及人脸检测设备
CN108805016B (zh) 一种头肩区域检测方法及装置
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN116052026B (zh) 一种无人机航拍图像目标检测方法、***及存储介质
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
US9128188B1 (en) Object instance identification using template textured 3-D model matching
WO2023279799A1 (zh) 对象识别方法、装置和电子***
CN112528974A (zh) 测距方法、装置、电子设备及可读存储介质
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及***
CN117237431A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN115471542A (zh) 一种基于YOLO v5的包装物双目识别定位方法
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN117475253A (zh) 一种模型训练方法、装置、电子设备及存储介质
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN116778214A (zh) 一种行为检测方法、装置、设备及其存储介质
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN110163829B (zh) 图像生成方法、装置和计算机可读存储介质
CN112967399A (zh) 三维时序图像生成方法、装置、计算机设备和存储介质
CN116194956A (zh) 场景的3d点云的生成
CN115049822B (zh) 三维成像方法及装置
CN111931830B (zh) 视频融合处理方法、装置、电子设备及存储介质
CN112197747B (zh) 利用无线定位辅助目标检测的方法和装置
CN116403275B (zh) 基于多目视觉检测封闭空间中人员行进姿态的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant