CN109583304A - 一种基于结构光模组的快速3d人脸点云生成方法及装置 - Google Patents

一种基于结构光模组的快速3d人脸点云生成方法及装置 Download PDF

Info

Publication number
CN109583304A
CN109583304A CN201811281494.XA CN201811281494A CN109583304A CN 109583304 A CN109583304 A CN 109583304A CN 201811281494 A CN201811281494 A CN 201811281494A CN 109583304 A CN109583304 A CN 109583304A
Authority
CN
China
Prior art keywords
face
infrared
image
coding
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811281494.XA
Other languages
English (en)
Inventor
刘立恒
葛晨阳
刘欣
谢艳梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Original Assignee
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd filed Critical NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201811281494.XA priority Critical patent/CN109583304A/zh
Publication of CN109583304A publication Critical patent/CN109583304A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于结构光模组的快速3D人脸点云生成方法及装置，该方法包括：S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。该方法有利于大幅降低结构光模组在智能手机3D自拍、人脸解锁、3D扫描重建应用过程中的计算资源，有利于实时点云处理。

Description

一种基于结构光模组的快速3D人脸点云生成方法及装置
技术领域
本公开属于视觉处理和人工智能技术领域，具体涉及一种基于结构光模组的快速3D人脸点云生成方法及装置。
背景技术
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、3D人脸识别、3D打印等领域有着广泛的应用前景，已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC/平板电脑、智能家电等，为用户带来“科幻”般的操控方式和全新的人机交互体验。
随着科技的发展，人脸识别技术日益成熟，多种装置及***例如笔记本电脑、移动终端以及门禁***等开始通过获取待检测视频，并通过检测待检测视频中的人脸以完成对身份的识别。但由于合法用户人脸的平面图形较容易取得，非法用户可以通过在待检测视频中添加合法用户的假体人脸例如合法用户的照片等，并使用包括该假体人脸的待检测视频通过人脸识别，从而降低了人脸识别的准确性，损害了用户体验。苹果iPhone X采用结构光模组进行3D人脸识别，将原来的2D人脸识别准确率在五万分之一左右提升到了百万分之一，从而使得3D人脸识别方式用于智能手机开机、Face ID和人脸支付成为可能。由于苹果iPhone X是对整幅图进行散斑解码，计算量相对较大，时间相对较长，如何能够快速准确的获取3D人脸点云是实现3D人脸识别的关键。
发明内容
鉴于此，本公开提供了一种基于结构光模组的快速3D人脸点云生成方法，包括：
S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；
S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；
S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；
S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。
本公开还提供了一种基于结构光模组的快速3D人脸点云生成装置，包括结构光模组、识别定位人脸所在图像单元、有效人脸编码区域提取单元、人脸区域深度感知单元、3D人脸点云生成单元，其中，
所述结构光模组，包括红外编码投射器、红外摄像头、红外泛光源；其中所述红外编码投射器，用于投射结构光编码图案；所述红外摄像头，跟红外编码投射器或红外泛光源一起联合工作，用于采集红外编码图或红外图；所述红外泛光源，用于产生均匀的红外光照射目标物体或投射空间；
所述识别定位人脸所在图像单元，用于通过结构光模组的红外摄像头识别定位人脸所在的图像区域，在红外图像中标识出人脸区域；
所述有效人脸编码区域提取单元，用于打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述在红外图像中标识出的人脸区域映射到红外编码图像中，获取有效人脸编码区域；
所述人脸区域深度感知单元，用于将所述有效人脸编码区域结合所对应的参考编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；
所述3D人脸点云生成单元，用于将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。
通过上述技术方案，仅对标示出的人脸的有效人脸编码区域进行深度解码，生成3D人脸点云，可实时生成人脸3D点云，有利于降低结构光模组在3D自拍、人脸识别、3D人脸扫描重建过程中的计算量、达到实时处理的目的。
附图说明
图1是本公开一个实施例中所提供的一种基于结构光模组的快速3D人脸点云生成方法的流程示意图；
图2是本公开一个实施例中所提供的一种基于结构光模组的快速3D人脸点云生成装置的结构示意图；
图3是本公开一个实施例中所提供的RGB人脸检测与提取流程图；
图4是本公开一个实施例中所提供的随机散斑编码图案的深度解码流程图；
图5是本公开一个实施例中所提供的图像坐标系示意图；
图6是本公开一个实施例中所提供的三个坐标关系示意图；
图7是本公开一个实施例中所提供的结构光模组的结构示意图。
具体实施方式
下面结合附图1至附图7对本发明进行进一步的详细说明。
在一个实施例中，参见图1，其公开了一种基于结构光模组的快速3D人脸点云生成方法，包括：
S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；
S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；
S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；
S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。
其中在RGB图像或红外图像中标识出人脸区域可以用方框在RGB图像或红外IR图像中框出人脸区域。
本实施例仅对标示出的人脸的有效人脸编码区域进行解码，生成3D人脸点云，同等平台情况下，相比较对于整幅图像进行解码，大幅降低计算量。
在另一个实施例，其中结构光模组如带RGB摄像头，则提前对RGB摄像头和红外摄像头标定好，可利用RGB摄像头识别定位人脸；如不带RGB摄像头，结合红外泛光照明，可利用IR摄像头识别定位人脸。
能够理解，本实施例对于RGB摄像头或红外时IR摄像头如何识别定位人脸给出了说明。
在另一个实施例，
(1)所述利用RGB摄像头识别定位人脸的具体步骤包括：
S10011，通过结构光模组的RGB摄像头采集RGB图像作为待检测图像；
S10012，计算出所述待检测图像中所有的像素点与肤色相似的程度，进而可得到肤色似然图，以便将所述待检测图像中的肤色区域分割出来；
S10013，排除非肤色区域，完成候选区域的图像的筛选；
S10014，制作人脸模板，并对候选区域的图像与人脸模板进行匹配，通过检测判断是否为人脸区域，以便将人脸区域提取出来；
显然，上述实施例给出了利用RGB摄像头识别定位人脸的具体步骤。然而需要说明的是，利用RGB摄像头进行人脸识别的现有技术同样可以结合到上述实施例。本公开的侧重也不在于如何RGB摄像头定位和识别人脸。毕竟，通过RGB摄像头和现有技术中各种算法步骤来定位和识别人脸已经有很多技术，本实施例只是给出了本公开的一种实施方式。
(2)所述利用红外摄像头识别定位人脸的具体步骤包括：
S10021，获取红外人脸数据集和非红外人脸数据集作为训练集，对训练集进行预处理，用Harr-like特征表示人脸特征，使用“积分图”实现特征数值的快速计算，以便训练一个红外人脸检测器；
S10022，将待输入红外人脸图像进行预处理，通过红外人脸检测器判断是人脸还是非人脸；如果是人脸，按照设定的窗口，提取出人脸区域。
同样能够理解，此处具体示例了利用红外摄像头识别定位人脸的具体步骤。然而需要说明的是，利用IR摄像头进行人脸识别的现有技术同样可以结合到上述实施例。本公开的侧重也不在于如何IR摄像头定位和识别人脸。毕竟，通过IR摄像头和现有技术中各种算法步骤来定位和识别人脸已经有很多技术，本实施例只是给出了本公开的一种实施方式。
更进一步的，下文给出的也是本公开更加具体的示例，以便通过RGB摄像头或IR摄像头定位、识别人脸，在理解现有技术之后，以下这些具体示例都不应当构成对于本公开第一个实施例所揭示的技术方案和本公开的发明构思的限定：
在另一个实施例，步骤S100具体包括：
RGB图识别框出人脸区域过程，如图3通过结构光模组的RGB摄像头采集RGB，由于人脸肤色和非人脸肤色分布范围在YCbCr中交叉重叠区域较小，可以利用肤色信息分开人脸区域和非人脸区域：
将RGB进行去噪、颜色补偿预处理；
建立肤色模型：收集大量人脸图片样本，收集的样本应多样化，包含不同性别，年龄以及种类，并剪切出人脸肤色区域做统计样本；
再将RGB转换到YCbCr色彩空间，统计所有像素的Cb、Cr的数量；根据肤色的高斯模型(注，高斯公式)，计算出均值，同时计算出方差，以及协方差；能够理解也可以通过其他方式计算均值、方差、协方差。
在前述基础上，总之，利用人脸肤色和非人脸肤色分布的特点，可以计算出所给图像中所有的像素点与肤色相似的程度，即肤色似然度，进而可得到肤色似然图。进而可以将图像中的肤色区域分割出来(例如，利用肤色似然图，进行二值化处理，当然，也可以采用其他常规处理手段)。
示例性的，针对肤色分割图中的噪声，可以为了更有利于处理而进行去噪。由于人脸存在像眼睛、嘴巴这样的非肤色区域，使得人脸图像经过上述处理后会产生很多空洞，排除那些没有空洞的区域，可以更准确的获取人脸区域。通过计算区域中的空洞数来判断是否为人脸区域，完成对最后的区域进行筛选。
例如：制作人脸模板，选取一些RGB人脸图像，并计算得到灰度图像；手动截取人脸区域，根据人脸先验知识，设定模板尺寸；对人脸模板的灰度分布进行标准化。对经过肤色筛选后的图像与人脸模板进行匹配，输入带匹配图像，调用模板，设定尺寸大小为宽度W*长度H(W、H为整数，表示像素点个数)的人脸模板，通过计算相关系数，从而得到匹配的相似度，相关系数与设定阈值比较大小，如果其大于设定阈值，则该区域为人脸区域，反之为非人脸区域。并将人脸区域提取出来。
IR图识别框出人脸区域过程，Haar特征值反映了图像的灰度变化情况，Harr特征的特征值定义为白色矩形像素和减去黑色矩形像素和，由于人脸和非人脸图像在相同位置上值的大小是不一样的，因此可以用这些特征来区分人脸和非人脸。获取红外人脸数据集和非红外人脸数据集作为训练集，对训练集进行预处理，用Harr-like特征表示人脸特征，使用“积分图”实现特征数值的快速计算。用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器。将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度。训练出一个红外人脸检测器后，将待输入红外人脸图像进行预处理，通过红外人脸检测器就可以判断是人脸还是非人脸。如果是人脸按照设定的窗口，提取出红外人脸。
在另一个实施例中，步骤S200具体包括：如果结构光模组带RGB摄像头，则利用内外参和坐标映射，得到RGB人脸区域所对应的有效人脸编码区域；通过标定映射关系找到IR图的人脸区域，主要过程包括采集标定板图像、标定摄像头内、外参数，RGB摄像头和IR摄像头进行匹配：
采集标定板图像，采用棋盘法进行标定，用RGB摄像头和IR摄像头拍摄多幅不同角度下的棋盘图片，每一个角度同时采集IR图像和RGB图像。
标定RGB摄像头和IR摄像头内、外参数，利用现有的标定工具箱(matlab标定箱、opencv标定箱)进行标定，获取RGB摄像头和IR摄像头的内、外参数。
RGB摄像头和IR摄像头进行匹配：
(1)将RGB人脸区域图像素转换到空间坐标
Prgb＝dis*inv(t)*p_rgb，其中p_rgb是RGB图像的像素坐标矩阵，dis为距离值，inv(t)为RGB摄像头内参矩阵的逆矩阵；Prgb为RGB图像空间坐标。
(2)由于IR摄像头的坐标和RGB摄像头的坐标不同，需要一个旋转平移变换联系起来Pir＝R*Prgb+T其中Pir为红外图像的空间坐标，R为旋转矩阵，T为平移矩阵。
(3)Uir＝fxir*Pir(1)/Pir(3)+Cxir；
Vir＝fyir*Pir(2)/Pir(3)+cyir；
其中X-Pir(1)，Y-Pir(2)，Z-Pir(3)；(Uir，Vir)为红外图像素坐标，fxir、fyir为IR摄像头焦距，cxir、cyir是IR摄像头成像中心点。
如果结构光模组不带RGB摄像头，则红外图像中的人脸区域一一对应红外编码图像中的有效人脸编码区域。所述红外编码投射器可以投射包括随机散斑编码图案、规则散斑编码图案、符号阵列编码图案的结构光编码图案。
在另一个实施例中，步骤S300中的深度解码过程包括对随机散斑编码图案的块匹配视差计算方式，或对规则散斑编码图案、符号阵列编码图案的符号识别、校正和配准求取视差。所得到视差即偏移量，结合深度计算公式和已知的参考编码图像距离、IR摄像头焦距、像素点物理间距，计算得到人脸区域的深度信息。
作为示例，对随机散斑编码图案的深度解码过程如下，参见图4：
3.1预处理。对IR摄像头采集的红外散斑编码图进行一致性增强和二值化处理，使得输入红外散斑编码图像转为二值化散斑图像，以便于后续的匹配计算；
3.2散斑图像旋转。对二值化散斑图像选择顺时针或逆时针方向旋转90度或不旋转，以选择对X轴方向或Y轴方向进行块匹配搜索和深度计算；
3.3块匹配，二值化散斑图像结合已固化的参考散斑图像(投射在已知距离的垂直平面上并经相同的预处理步骤)进行块匹配运动估计，在参考散斑图像一定的搜索范围内通过相似度比较得到最优匹配块，得到输入二值化散斑图像块中心点与参考散斑图像中的最优匹配块中心点之间的偏移量，即视差；
3.4深度计算，根据单目结构光深度计算公式获得二值化散斑图每个像素点对应的深度值信息，计算公式如下：其中f是IR摄像头的焦距，s是红外编码投射器与IR摄像头之间的基线距离，d是参考散斑图像的已知距离，Δm是偏移量，μ为IR摄像头传感器像素点间距，d′为深度值，最后通过上述公式将二值化散斑图转换为深度图。
在另一个实施例中，步骤S400具体包括：在获取了人脸区域深度信息后，需要进行图像坐标系、摄像机坐标系和世界坐标系三个坐标系之间的变换，首先将包含人脸区域的深度信息的图像上的像素点转换到摄像机坐标系得到三维顶点坐标，然后再根据变换矩阵变换到真实世界坐标系下得到3D人脸点云坐标。具体过程如下，
图像坐标系，采用物体单位坐标表示坐标具有物理意义，如图5。其中图像平面与摄像机光轴的交点(通常是图像的中心点)为该坐标系的原点O1，其坐标为(u0，v0)，dx和dy分别表示x轴和y轴方向上每个像素的物理尺寸，则同一个图像中的某像素在像素单位坐标系和物理单位坐标系下的转换关系用齐次坐标和矩阵形式可以表示为，
摄像机坐标系，以相机的光心为原点Oc，其中Zc轴与相机光轴重合且垂直于成像平面，摄影方向为其正向，OcO1为摄像机焦距f，Xc、Yc轴分别与图像物理坐标表示法中的x轴、y轴平行，三个坐标系关系如图6所示。摄像机坐标系和图像坐标系(物理表示法)之间的关系用齐次坐标表示为
世界坐标系是现实环境中物体或摄像机的真实位置，XW、YW、ZW分别是世界坐标系的三个轴，设三维空间中某一点M在世界坐标系和摄像机坐标系中的齐次坐标分别为(Xw，Yw，Zw，1)T和(Xc，Yc，Zc，1)T，则两者相互转换关系为：
其中R表示一个3×3的旋转矩阵，t表示一个3×1的平移向量，T表示两个坐标系间的一个4×4的变换矩阵，根据以上图转换关系可以得到图像像素坐标系和世界坐标系的转换关系：
其中，(αx，αy，u0，v0)为摄像机的内部参数，(R，t)为摄像机外部参数，由摄像机相对于世界坐标系的位置决定。
在另一个实施例中，还公开了一种基于结构光模组的快速3D人脸点云生成装置，包括结构光模组、识别定位人脸所在图像单元、有效人脸编码区域提取单元、人脸区域深度感知单元、3D人脸点云生成单元，其中，
所述结构光模组，包括红外编码投射器、红外摄像头、红外泛光源；其中所述红外编码投射器，用于投射结构光编码图案；所述红外摄像头，跟红外编码投射器或红外泛光源一起联合工作，用于采集红外编码图或红外图；所述红外泛光源，用于产生均匀的红外光照射目标物体或投射空间；
所述识别定位人脸所在图像单元，用于通过结构光模组的红外摄像头识别定位人脸所在的图像区域，在红外图像中标识出人脸区域；
所述有效人脸编码区域提取单元，用于打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述在红外图像中标识出的人脸区域映射到红外编码图像中，获取有效人脸编码区域；
所述人脸区域深度感知单元，用于将所述有效人脸编码区域结合所对应的参考编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；
所述3D人脸点云生成单元，用于将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。
在另一个实施例中，所述结构光模组还包括RGB摄像头；其中，所述识别定位人脸所在图像模块，用于通过结构光模组的RGB摄像头识别定位人脸所在的图像区域，在RGB图像中标识出人脸区域；所述有效人脸编码区域提取模块，用于打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述在RGB图像中标识出的人脸区域映射到红外编码图像中，获取有效人脸编码区域。
其中，所述的结构光模组，如图7所示，包括红外编码投射器400、IR摄像头200、红外泛光源300，RGB摄像头100可以包括也可以不包括，如包括则提前标定好RGB摄像头和IR摄像头的内参和外参；
其中红外编码投射器400，用于投射随机散斑编码图案、规则散斑编码图案、符号阵列编码图案等结构光编码图案，一般采用激光二极管LD或垂直腔面发射激光器VCSEL作为激光光源，或MEMS投射装置、微型投影仪，用于投射一定的FoV范围的结构光编码图案；
其中IR摄像头200，用于跟红外编码投射器或红外泛光源一起联合工作，用于采集红外编码图或IR图；
其中红外泛光源300，用于产生均匀的红外光照射目标物体或投射空间，一般采用VCSEL或LED作为光源；
其中RGB摄像头100，一般采用高像素高画质的摄像头，其受拍摄环境和自动曝光等影响，所拍摄的帧频可变，由RGB摄像头输出一个场同步信号，再让IR摄像头与其同步拍摄一帧、二帧或多帧。
虽然上述的实施例在特定的***或方法中完成，然其并非限定本发明。同时对于通过处理器控制或寄存器配置方式指定红外编码图像中的ROI(感兴趣区域)进行深度解码用于3D识别的方式，同本发明实施步骤基本相同。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.一种基于结构光模组的快速3D人脸点云生成方法，包括：
S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；
S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；
S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；
S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。
2.根据权利要求1所述的方法，其中，优选的，步骤S100具体包括：
如果结构光模组带RGB摄像头，则提前对RGB摄像头和红外摄像头标定好，利用RGB摄像头识别定位人脸；如果结构光模组不带RGB摄像头，结合红外泛光照明，利用红外摄像头识别定位人脸。
3.根据权利要求2所述的方法，其中，
(1)所述利用RGB摄像头识别定位人脸的具体步骤包括：
S10011，通过结构光模组的RGB摄像头采集RGB图像作为待检测图像；S10012，计算出所述待检测图像中所有的像素点与肤色相似的程度，进而可得到肤色似然图，以便将所述待检测图像中的肤色区域分割出来；
S10013，排除非肤色区域，完成候选区域的图像的筛选；
S10014，制作人脸模板，并对候选区域的图像与人脸模板进行匹配，通过检测判断是否为人脸区域，以便将人脸区域提取出来；
(2)所述利用红外摄像头识别定位人脸的具体步骤包括：
S10021，获取红外人脸数据集和非红外人脸数据集作为训练集，对训练集进行预处理，用Harr-like特征表示人脸特征，使用“积分图”实现特征数值的快速计算，以便训练一个红外人脸检测器；
S10022，将待输入红外人脸图像进行预处理，通过红外人脸检测器判断是人脸还是非人脸；如果是人脸，按照设定的窗口，提取出人脸区域。
4.根据权利要求1所述的方法，其中，步骤S200具体包括：
如果结构光模组带RGB摄像头，则利用内外参和坐标映射，得到RGB人脸区域所对应的有效人脸编码区域；如果结构光模组不带RGB摄像头，则红外图像中的人脸区域一一对应红外编码图像中的有效人脸编码区域。
5.根据权利要求1所述的方法，其中，
所述红外编码投射器可以投射包括随机散斑编码图案、规则散斑编码图案、符号阵列编码图案的结构光编码图案。
6.根据权利要求1所述的方法，其中，步骤S300中解码包括对随机散斑编码图案的块匹配视差计算方式，或：对规则散斑编码图案和符号阵列编码图案的符号识别、校正和配准求取视差。
7.根据权利要求1所述的方法，其中，步骤S400具体包括：
在获取了有效人脸编码区域的深度信息后，进行图像坐标系、摄像机坐标系和世界坐标系三个坐标系之间的变换：首先将包含有效人脸编码区域的深度信息的图像上的像素点转换到摄像机坐标系得到三维顶点坐标，然后再根据变换矩阵变换到真实世界坐标系下得到3D人脸点云坐标。
8.一种基于结构光模组的快速3D人脸点云生成装置，包括：
结构光模组、识别定位人脸所在图像单元、有效人脸编码区域提取单元、人脸区域深度感知单元、3D人脸点云生成单元，其中，
所述结构光模组，包括红外编码投射器、红外摄像头和红外泛光源；其中所述红外编码投射器，用于投射结构光编码图案；所述红外摄像头，跟红外编码投射器或红外泛光源一起联合工作，用于采集红外编码图或红外图；所述红外泛光源，用于产生均匀的红外光照射目标物体或投射空间；
所述识别定位人脸所在图像单元，用于通过结构光模组的红外摄像头识别定位人脸所在的图像区域，在红外图像中标识出人脸区域；
所述有效人脸编码区域提取单元，用于打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述在红外图像中标识出的人脸区域映射到红外编码图像中，获取有效人脸编码区域；
所述人脸区域深度感知单元，用于将所述有效人脸编码区域结合所对应的参考编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；
所述3D人脸点云生成单元，用于将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。
9.根据权利要求8所述的装置，其中，
所述结构光模组还包括RGB摄像头；其中，
所述识别定位人脸所在图像单元，用于通过结构光模组的RGB摄像头识别定位人脸所在的图像区域，在RGB图像中标识出人脸区域；
所述有效人脸编码区域提取单元，用于打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述在RGB图像中标识出的人脸区域映射到红外编码图像中，获取有效人脸编码区域。
10.根据权利要求9所述的装置，其中，RGB摄像头采用高像素高画质的摄像头，所拍摄的帧频可变。
CN201811281494.XA 2018-10-23 2018-10-23 一种基于结构光模组的快速3d人脸点云生成方法及装置 Pending CN109583304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811281494.XA CN109583304A (zh) 2018-10-23 2018-10-23 一种基于结构光模组的快速3d人脸点云生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811281494.XA CN109583304A (zh) 2018-10-23 2018-10-23 一种基于结构光模组的快速3d人脸点云生成方法及装置

Publications (1)

Publication Number Publication Date
CN109583304A true CN109583304A (zh) 2019-04-05

Family

ID=65920836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811281494.XA Pending CN109583304A (zh) 2018-10-23 2018-10-23 一种基于结构光模组的快速3d人脸点云生成方法及装置

Country Status (1)

Country Link
CN (1) CN109583304A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246212A (zh) * 2019-05-05 2019-09-17 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110414435A (zh) * 2019-07-29 2019-11-05 深兰科技（上海）有限公司 基于深度学习和结构光的三维人脸数据的生成方法及设备
CN110490865A (zh) * 2019-08-22 2019-11-22 易思维（杭州）科技有限公司 基于螺柱高反光特性的螺柱点云分割方法
CN111749550A (zh) * 2020-06-30 2020-10-09 德施曼机电（中国）有限公司 基于3d结构光的智能门锁***、智能门锁、存储介质
CN112487963A (zh) * 2020-11-27 2021-03-12 新疆爱华盈通信息技术有限公司 安全帽的佩戴检测方法及***
CN112562082A (zh) * 2020-08-06 2021-03-26 长春理工大学 一种三维人脸重建方法及***
CN112861764A (zh) * 2021-02-25 2021-05-28 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN112883870A (zh) * 2021-02-22 2021-06-01 北京中科深智科技有限公司 一种人脸影像映射方法及***
CN113255587A (zh) * 2021-06-24 2021-08-13 深圳市光鉴科技有限公司 基于深度相机的刷脸支付***
CN113379893A (zh) * 2021-05-27 2021-09-10 杭州小肤科技有限公司 一种利用光学反射合成3d人脸模型的方法
CN113408377A (zh) * 2021-06-03 2021-09-17 山东交通学院 基于温度信息的人脸活体检测方法
CN113673285A (zh) * 2020-05-15 2021-11-19 深圳市光鉴科技有限公司 深度相机抓拍时的深度重建方法、***、设备及介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
WO2022040941A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 深度计算方法、装置、可移动平台及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169475A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种基于kinect相机的人脸三维点云优化处理方法
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及***
CN108537191A (zh) * 2018-04-17 2018-09-14 广州云从信息科技有限公司 一种基于结构光摄像头的三维人脸识别方法
CN108665535A (zh) * 2018-05-10 2018-10-16 青岛小优智能科技有限公司 一种基于编码光栅结构光的三维结构重建方法与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169475A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种基于kinect相机的人脸三维点云优化处理方法
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及***
CN108537191A (zh) * 2018-04-17 2018-09-14 广州云从信息科技有限公司 一种基于结构光摄像头的三维人脸识别方法
CN108665535A (zh) * 2018-05-10 2018-10-16 青岛小优智能科技有限公司 一种基于编码光栅结构光的三维结构重建方法与***

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246212A (zh) * 2019-05-05 2019-09-17 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110246212B (zh) * 2019-05-05 2023-02-07 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110414435A (zh) * 2019-07-29 2019-11-05 深兰科技（上海）有限公司 基于深度学习和结构光的三维人脸数据的生成方法及设备
CN110490865A (zh) * 2019-08-22 2019-11-22 易思维（杭州）科技有限公司 基于螺柱高反光特性的螺柱点云分割方法
CN110490865B (zh) * 2019-08-22 2022-04-01 易思维（杭州）科技有限公司 基于螺柱高反光特性的螺柱点云分割方法
CN113673285A (zh) * 2020-05-15 2021-11-19 深圳市光鉴科技有限公司 深度相机抓拍时的深度重建方法、***、设备及介质
CN113673285B (zh) * 2020-05-15 2023-09-12 深圳市光鉴科技有限公司 深度相机抓拍时的深度重建方法、***、设备及介质
CN111749550A (zh) * 2020-06-30 2020-10-09 德施曼机电（中国）有限公司 基于3d结构光的智能门锁***、智能门锁、存储介质
CN112562082A (zh) * 2020-08-06 2021-03-26 长春理工大学 一种三维人脸重建方法及***
WO2022040941A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 深度计算方法、装置、可移动平台及存储介质
CN112487963A (zh) * 2020-11-27 2021-03-12 新疆爱华盈通信息技术有限公司 安全帽的佩戴检测方法及***
CN112883870A (zh) * 2021-02-22 2021-06-01 北京中科深智科技有限公司 一种人脸影像映射方法及***
CN112861764A (zh) * 2021-02-25 2021-05-28 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN112861764B (zh) * 2021-02-25 2023-12-08 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN113379893A (zh) * 2021-05-27 2021-09-10 杭州小肤科技有限公司 一种利用光学反射合成3d人脸模型的方法
CN113379893B (zh) * 2021-05-27 2022-02-11 杭州小肤科技有限公司 一种利用光学反射合成3d人脸模型的方法
CN113408377A (zh) * 2021-06-03 2021-09-17 山东交通学院 基于温度信息的人脸活体检测方法
CN113255587A (zh) * 2021-06-24 2021-08-13 深圳市光鉴科技有限公司 基于深度相机的刷脸支付***
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113888614B (zh) * 2021-09-23 2022-05-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109583304A (zh) 一种基于结构光模组的快速3d人脸点云生成方法及装置
Raghavendra et al. Exploring the usefulness of light field cameras for biometrics: An empirical study on face and iris recognition
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
WO2019056988A1 (zh) 人脸识别方法及装置、计算机设备
CN109271950B (zh) 一种基于手机前视摄像头的人脸活体检测方法
US20150347833A1 (en) Noncontact Biometrics with Small Footprint
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
US20160019420A1 (en) Multispectral eye analysis for identity authentication
US20170091550A1 (en) Multispectral eye analysis for identity authentication
US8755607B2 (en) Method of normalizing a digital image of an iris of an eye
WO2016010724A1 (en) Multispectral eye analysis for identity authentication
CN107563304A (zh) 终端设备解锁方法及装置、终端设备
CN108416291B (zh) 人脸检测识别方法、装置和***
CN112052831A (zh) 人脸检测的方法、装置和计算机存储介质
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN112232155A (zh) 非接触指纹识别的方法、装置、终端及存储介质
CN110909634A (zh) 可见光与双红外线相结合的快速活体检测方法
Labati et al. Fast 3-D fingertip reconstruction using a single two-view structured light acquisition
CN111582036A (zh) 可穿戴设备下基于形状和姿态的跨视角人物识别方法
CN108197549A (zh) 基于3d成像的人脸识别方法及终端
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
Zhong et al. VeinDeep: Smartphone unlock using vein patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication