CN117581260A - 人脸深度图像的面部变形补偿方法、成像装置和存储介质 - Google Patents

人脸深度图像的面部变形补偿方法、成像装置和存储介质 Download PDF

Info

Publication number
CN117581260A
CN117581260A CN202280036355.9A CN202280036355A CN117581260A CN 117581260 A CN117581260 A CN 117581260A CN 202280036355 A CN202280036355 A CN 202280036355A CN 117581260 A CN117581260 A CN 117581260A
Authority
CN
China
Prior art keywords
face
image
facial
data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280036355.9A
Other languages
English (en)
Inventor
约瑟夫·萨里尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN117581260A publication Critical patent/CN117581260A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸深度图像的面部变形补偿方法、一种成像装置和一种存储介质。所述面部变形补偿方法包括：创建通用面部变形图，所述通用面部变形图包括通用面部特征数据；获取用户面部图像；以及将所述通用面部变形图应用于所述用户面部图像。其中，将所述通用面部变形图应用于所述用户面部图像的步骤包括：利用所述通用面部特征数据和用户面部特征数据对所述通用面部变形图进行变形；以及利用变形后的所述通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。根据本发明，能够获得具有更好的精确度的人脸深度图像。

Description

人脸深度图像的面部变形补偿方法、成像装置和存储介质
相关申请的引用
本申请要求于2021年05月31日向中华人民共和国国家知识产权局提交的第202110602233.9号中国专利申请的权益，在此将其全部内容以援引的方式整体并入本文中。
技术领域
本发明涉及计算机视觉中的人脸图像的面部变形补偿。具体地，本发明涉及一种能够提高人脸图像的深度精度的人脸图像的面部变形补偿方法、成像装置和存储介质。
背景技术
画像技术被广泛应用于互联网等多行业领域，主要以用画像为主，可以用来挖掘用户特征、掌握用户偏好、以及深入彻底的了解和掌握被刻画对象。同样，大型机械设备也可以像人一样被刻画，也可以通过画像技术进行特征提取和完成全面描述刻画。大型机械设备出厂、生产和维修过程都产生了大量的监控、监测数据，这些数据可以直接反应出设备的显著特征，但是只是通过大量的数据无法直观深入的挖掘出其特征。所以构建机械设备画像，可以准确的挖掘提取机械设备各方面特征、并将其全面的呈现出来，便于我们及时了解掌握设备状态和运行现状。
作为一门研究如何使机器通过“看”去理解世界的学科，计算机视觉技术是目前深度学习领域最热门的研究领域之一。具体来说，通过相机与计算单元的结合，在一定场景下机器视觉***能够代替人眼对目标进行识别、跟踪和测量等工作。在计算机视觉技术的诸多分支之中，人脸识别(face ID)是最为重要的一个方面，其与计算机视觉的关系也最为紧密。
近年来，随着智能手机和移动支付的普及，人脸识别技术越来越多地收到了人们的关注。其实人脸识别技术最早的研究还要追溯到20世纪50年代，当时已经有科学家在研究人脸轮廓的提取方法，但受限于技术水平，这项技术的相关研究一度停滞，直到20世纪80年代，人脸识别的方法才有了新的突破，神经生理学、脑神经学、视觉等相关知识被引入，人脸识别进入了新的发展阶段。
当前，人脸识别能够被用于解锁手机、自动开门、人员注册、员工考勤记录、扫脸支付等等与人们的生活息息相关的诸多应用场景。例如，我们已经习惯了每天利用人脸识别技术解锁手机、结账付款，是那么的自然，但这项技术背后包含着一系列复杂的技术处理流程。简单来说，就是先利用摄像头等设备代替人眼，来获取图像，利用计算机对图像信息进行处理，综合人类的认知模式来检测、提取、识别出图像中的人脸特征。
为了提高对人脸的检测和识别的精度，已经有人提出了利用人脸的深度图像和点云信息来进行面部识别的技术。其中，为了获取人脸的深度信息，可以使用间接测量飞行时间(indirect Time-of-Flight，iToF)***。作为通过测量相位偏移，即发射波与反射波之间的相位差来测量距离或深度差异的间接测量方案，iToF深度测量方法已经在本领域内被广泛应用，例如通过四相位的控制信号计算出深度信息的四步相位法。
发明内容
要解决的技术问题
然而，在采用iToF获取深度信息时，获取的深度数据的精确度会受到一些因素的影响。例如，由于人脸的复杂立体几何结构，可能会致使发射的相同光束经过不同的多个路径抵达接收传感器，从而导致信号的衰减和相移。这样的多径干扰(Multipath interference，MPI)会致使获得的深度图像的精确度不佳，产生例如虚像等缺陷。另外，由于人类的皮肤实际上并非是理想的光反射表面，而是很可能会发生次表面散射(Sub-Surface-Scattering，SubSS)的表面。因此，由于人类皮肤的材质特性而导致的次表面散射也会对深度数据的精确度产生不利影响。由于上述问题的存在，会致使获取的人脸图像产生变形。
鉴于上述问题，本发明期望提供一种能够对通过iTof方式获取的人脸图像的面部变形进行补偿的方法、成像装置和存储介质，从而获得具有更好的精确度的人脸深度图像。
技术方案
根据本发明的实施例提供了一种面部变形补偿方法，包括如下步骤：创建通用面部变形图，所述通用面部变形图包括通用面部特征数据；获取用户面部图像；以及将所述通用面部变形图应用于所述用户面部图像。将所述通用面部变形图应用于所述用户面部图像的步骤包括：利用所述通用面部特征数据和用户面 部特征数据对所述通用面部变形图进行变形；以及利用变形后的所述通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。所述通用面部变形图可以包含随机的人脸样本的样本数据和GT数据之间的深度信息差异的数据。
在根据本发明的实施例的方法中，所述通用面部变形图可以是通过以下方式创建的：获取人脸样本的iToF数据；获取所述人脸样本的GT数据；使所述GT数据与所述iToF数据对齐，以计算出表示所述GT数据与所述iToF数据之间的深度信息差异的第一深度差异图像；检测并提取所述人脸样本的样本面部特征数据；将所述样本面部特征数据与所述第一深度差异图像进行匹配，从而获得第二深度差异图像，所述第二深度差异图像具有作为标记的所述样本面部特征数据；获取所述通用面部特征数据；基于所述通用面部特征数据并利用所述第二深度差异图像中所标记的所述样本面部特征数据，对所述第二深度差异图像进行变形，以获得与所述通用面部特征数据相匹配且标记有所述通用面部特征数据的第三深度差异图像，所述第三深度差异图像作为所述通用面部变形图。
在根据本发明的实施例的方法中，计算所述第一深度差异图像的步骤可以包括：将所述iToF数据的点云转换为网格；使所述GT数据和所述网格对齐；将对齐后的所述GT数据和所述网格进行投影，获得GT数据的投影图像和所述iToF数据的投影图像；基于所述GT数据的投影图像和所述iToF数据的投影图像计算所述第一深度差异图像。
在根据本发明的实施例的方法中，计算所述第一深度差异图像的步骤可以包括：利用相机内参数，直接对所述GT数据进行投影，获得所述GT数据的投影图像；对所述iToF数据的点云进行投影获得所述iToF数据的投影图像；基于所述iToF数据的投影图像和所述GT数据的投影图像，计算所述第一深度差异图像。
在根据本发明的实施例的方法中，应用所述通用面部变形图的步骤可以包括：从所述用户面部图像中检测并提取所述用户面部特征数据；对所述通用面部变形图进行变形，以使所述通用面部变形图中标记的通用面部特征数据与检测出的所述用户面部特征数据相匹配，由此获得第四深度差异图像；以及基于所述第四深度差异图像对所述用户面部图像中的深度信息进行补偿。
在根据本发明的实施例的方法中，创建所述通用面部变形图的步骤还可以包括：获取所述人脸样本的所述iToF数据的拍摄参数；改变所述拍摄参数的值，重复进行生成所述第三深度差异图像的步骤；以及基于针对多组所述拍摄参数的值而生成多个所述第三深度差异图像，多个所述第三深度差异图像构成所述通用面部变形图。并且，应用所述通用面部变形图的步骤还可以包括：获取所述用户面部图像的所述拍摄参数，并将所述拍摄参数插值到到所述通用面部变形图中，以获得与所述用户面部图像的所述拍摄参数相对应的标记有所述通用面部特征数据的第五深度差异图像；从所述用户面部图像中检测并提取所述用户面部特征数据；对所述第五深度差异图像进行变形，以使所述第五深度差异图像中标记的所述通用面部特征数据与检测出的所述用户面部特征数据相匹配，由此获得第六深度差异图像；以及基于所述第六深度差异图像对所述用户面部图像中的深度信息进行补偿。
在根据本发明的实施例的方法中，所述拍摄参数可以包括所述面部视角方向和相机之间的角度，以及所述相机和面部之间的距离。
在根据本发明的实施例的方法中，所述角度包括偏转角和俯仰角。
根据本发明的另一实施例，提供了一种成像装置，包括：成像单元，配置为获取用户面部图像；存储单元，存储有通用面部变形图，所述通用面部变形图包含通用面部特征数据；以及处理单元，配置为：从所述用户面部图像中检测并提取用户面部特征数据；利用所述通用面部特征数据和所述用户面部特征数据对所述通用面部变形图进行变形；以及利用变形后的所述的通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。
根据本发明的又一实施例，提供了一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时前文中所述的方法。
有益效果
根据本发明，在根据本发明的方法中，创建了与面部特征信息相关联的深度变形图来校正iToF设备在拍摄已知场景(此处为人脸)时产生的深度误差。这样的深度变形图是根据在不同关键构造(例如，[偏转角，俯仰角，距离])处的被记录场景而创建的，然后对其进行变换以适合通用的面部模型。此外，通过基于关键构造处的变形插值计算出所需的变形，将深度变形图应用于在一定范围内的任何其它构造，从而使得通用人脸模型拟合至特定模型，实现对任意特定人脸图像的深度变形的补偿。根据本发明，能够获得具有更好的精确度的人脸深度图像。
应当理解，本发明的有益效果不限于上述效果，而可以是本文中说明的任何有益效果。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是图示了选取人脸的特征点的示例的示意图；
图2是图示了iToF相机与被摄人脸之间的相对角度的示例的示意图；
图3是图示了根据本发明的面部补偿方法的主要步骤的流程图；
图4是图示了根据本发明的面部补偿方法中的创建通用面部变形图的各步处理及相应的图像的示意图；
图5是图示了根据本发明的通过点云对齐获得第一深度差异图像的各步处理及其相应的图像的示意图；
图6是图示了从通用人脸获得的通用面部特征的示意性框图；
图7是图示了根据本发明的通过利用面部特征检测和狄洛尼三角化(Delaunay Triangulation)来实现深度差异图像的变形(morphining)的示例的示意图；
图8是图示了根据本发明实施例的拍摄函数的示例；
图9是图示了根据本发明的不同的距离拍摄函数的示例；
图10是图示了根据本发明的在相同距离处的不同角度拍摄函数的示例；
图11是图示了根据本发明的关键点构造处的第二深度差异图像的示例的示意图；
图12是图示了根据本发明的关键点构造处的第三深度差异图像的示例的示意图；
图13图示了根据本发明的基于关键点构造处的第三深度差异图像进行的插值计算的处理的示意图；
图14图示了根据本发明的基于相同距离处的关键点构造的第三深度差异图像进行的插值计算的仿真结果的示意图；
图15图示了根据本发明的基于关键点构造处的第三深度差异图像进行的插值计算的处理的示意图；
图16图示了根据本发明的获得第一深度差异图像的方法的变形例的示意图；
图17图示了根据本发明的应用通用面部变形图对深度信息进行补偿的处理的示例的流程图；
图18中图示了基于特定的拍摄参数由通用面部变形图GFDM获得特定的第五深度差异图像DDI5的示例；
图19是图示了根据本发明的实施例的成像装置的构造的示例的框图。
图20是图示了根据本发明的实施例的电子设备的构造的示例的框图。
具体实施方式
下面，将参照附图详细说明根据本发明的各具体实施例。需要强调的是，附图中的所有尺寸、形状、位置关系等仅是示意性的，并且为了图示方便而不一定是按照真实比例图示的，因而不具有限定性。此外，在以下所述的实施方案中，相同的部件、配置和步骤等由相同的附图标记表示，并且将省略对它们的重复说明。
此外，将根据以下项的顺序来说明本发明。
1、本发明的面部补偿方法概述
2、创建通用面部变形图的处理的详细说明
2.1、创建通用面部变形图的各步骤的说明
2.2、点云对齐的示例说明
2.3、步骤S14和S16中的面部特征提取的示例说明
2.4、深度差异图像的变形(morphing)的示例说明
2.5、基于拍摄参数的插值计算的示例的说明
2.6、获得第一深度差异图像的方法的变形例
3、应用通用面部变形图对深度信息进行补偿的处理的详细说明
4、根据本发明的成像装置
5、根据本发明的电子设备
1、根据本发明的面部补偿方法概述
在基于iToF技术的人脸识别应用中，目前存在的主流方法的基本逻辑流程是相近或相似的，都是要将获取的图像中的人脸特征提取出来，转换到一个合适的子空间里，然后在这个子空间里衡量类似性或分类学习，从而进行人脸识别。
在从获取的图像提取人脸特征的过程中，会有很多因素(包括前文所述的那些因素)导致人脸图像出现变形。例如，同一个人，如果他/她的姿势，面部的朝向不同，我们人类仍然能认出这个人，而计算机可能就认不出了。针对这样由于面部的歪斜导致的问题的办法是已知的，通常是先检测人脸主要特征的特征点，然后根据这些特征点对检测到的人脸做对齐校准。例如，由Vahid Kazemi和Josephine Sullivan在2014年发明的方法，他们给人脸的重要部分选取如图1所示的68个特征点(Landmarks)。这68个点的位置是固定的，所以只需要先构建一个学习***然后对***进行一些训练，就能在任何脸部找到这68个点。有了这68个点，通过仿射变换(affine transform)将原来比较歪的脸摆正，尽量消除误差，就可以对人脸进行校正了。
因此，我们可以构想，在使用iToF***获取了深度图像信息之后，也可以通过特征提取，构建某种对应的变换关系，创建与之相关的学习***，继而利用该***来校正所拍摄的不同人脸图像中的因MPI和SubSS等因素导致的面部变形。在本文中，我们认为，当使用iToF相机获取图像时，由于前文中所述的各种因素导致的人脸图像的面部变形主要取决于下述因素：
(a)角度(angle)
这里的角度是指拍摄相机与被摄人脸之间的相对角度。例如，可以指定为相机光轴与被摄人脸视线方向之间的角度。例如，如图2所示，相机光轴与被摄人脸视线方向之间具有偏转角(yaw)θ。
(b)距离(distance)
这里指的是从相机镜头到被摄人脸的距离。如图2所示，相机光轴与被摄人脸的距离为d。
基于以上分析，根据本发明的人脸深度图像的面部变形补偿方法如图3所示可以被设定为大致分为以下三个步骤：
S1：构建通用面部变形图(generic face deformation map)GFDM。这里所说的通用面部变形图GFDM是指表示通常的人脸图像的面部变形状态的一系列图或图库。由于其也可以被表示为与相关影响因素(例如角度和距离)相关的函数，因而也可以被称为通用面部变形图函数。该步骤类似于上文所述的构建学习***并对其进行训练的“学习”步骤。因而，该步骤整体上可以仅进行一次，一旦完成，就能够获得以后可以用于对具体的用户面部图像进行面部变形补偿的“补偿***”。
S2：对作为拍摄对象的用户的人脸进行拍摄，获取用户面部图像的图像数据。iToF***的摄像部除了可以获取用户面部的iToF数据之外，还可以通过额外地设置红外像素和普通摄像像素而获得IR图像数据和RGB图像数据等其它图像数据，这些数据都被包含在用户面部图像的图像数据中。
S3：将所述通用面部变形图GFDM应用于所述用户面部图像，从而校正所述用户面部图像的面部变形。
下面，将分别对根据本发明的人脸深度图像的面部变形补偿方法的上述三个步骤的实施例进行详细的说明。
2、创建通用面部变形图的步骤的详细说明
2.1、创建通用面部变形图的各步骤的说明
参照图4所示，上文中所述的通用面部变形图例如可以通过以下方式来创建。
首先，在步骤S11中，获取随机人脸样本的图像数据作为样本数据。这里的随机人脸样本可以是任何一位随机选取的用户或测试者的人脸样本，也可以是高度仿真的人脸模型。这样的图像数据是通过iToF***针对人脸样本采集的，因而至少包含iToF数据，还可以包含IR图像数据和RGB图像数据等其它类型的图像数据。在iToF数据中包含人脸样本的深度信息。这里，可以根据需要采用任何已知的iToF***对人脸样本进行采集。在采集样本数据的过程中，可以采集整个头部的样本数据，也可以仅采集关注区域(即，面部)的样本数据。在前一种情况下，获取样本数据的步骤还应当包含从采集的iToF数据中剪辑提取出关注的面部区域的数据的步骤。
然后，在步骤S12中，获取作为在后续步骤中的比较基准的基本事实(ground truth，GT)数据。这 里的GT数据是基于与在上一步骤中使用的随机人脸样本相同的随机人脸样本的精确面部模型(3D)而获得的。例如，可以通过三维扫描技术或多角度摄像技术等获得这样的精确面部模型的GT数据。基于这样的精确面部模型的GT数据具有随机人脸样本精确的几何特征和皮肤纹理特征。因而，在后续的处理过程中，基于这样的GT数据构建的通用面部变形图，能够有效地消除或减轻MPI和SubSS等因素对面部图像的不利影响。
接着，在步骤S13中，将在步骤S11中获得的样本数据和步骤S12中获取的GT数据对齐，进而计算出表示所述GT数据与所述面部关注区域的深度信息差异的第一深度差异图像(depth difference image)DDI1。具体地，可以通过本领域内已知的点云对齐技术来实现上述对齐。
例如，如图5所示，可以将获得的关注区域的样本数据中的点云先转换为网格，然后使GT数据与该网格对齐。接着，将对齐后的GT数据和网格进行投影，获得GT数据的投影图像和关注区域的样本数据的投影图像。最后，基于GT的投影图像和关注区域的样本数据的投影图像之间的差异计算出第一深度差异图像DDI1。在此情况下，第一深度差异图像DDI1的输出分辨率是可以任意选择的。
在下文中将对样本数据与GT数据的点云对齐的示例进行更为详细的说明。
接下来，在步骤S14中，从随机人脸样本的图像数据中检测并提取该随机人脸样本的样本面部特征SFL。这里需要说明的是，随机人脸样本的图像数据中除了上文中提到的iToF数据之外，还包含有随机人脸样本的IR图像、RGB图像或激光图像中的至少一种，以用于提取样本面部特征SFL。例如，通过在iToF***的摄像部中额外地设置红外像素和普通摄像像素，可以使随机人脸样本的图像数据中包含有iToF数据、IR图像数据和RGB图像数据。另外，应当理解的是，因为随机人脸样本的iToF数据和本步骤中使用的上述数据均来自于相同的随机人脸样本的图像数据，因此本步骤中所述的处理也可以在步骤S11中一并完成。
可以采用本领域中任何适用的面部特征检测技术从获取的随机人脸样本的图像数据中检测并提取该随机人脸样本的样本面部特征(sample face landmark)SFL。提取出的面部特征例如可以是如图1中所示的面部的68个特征点的数据的集合。下文中将对本步骤中所涉及的提取面部特征SFL的处理的示例进行说明。
然后，在步骤S15中，将样本面部特征SFL与第一深度差异图像DDI1进行匹配，从而获得第二深度差异图像DDI2。这样的匹配可以理解为将检测并提取出的样本面部特征SFL加入到基于相同的随机人脸样本而获得的第一深度差异图像DDI1中的对应位置中。换言之，获得的第二深度差异图像DDI2包含了样本面部特征SFL作为标记。此后，根据需要，还可以采用各种滤波器对第二深度差异图像DDI2进行图形滤波，以清除图中的杂质。
随后，在步骤S16中，获取通用面部特征(generic face landmark)数据GFL。通用面部特征数据GFL是基于通用人脸图像提取的。如图6所示，例如可以采用上文提到的方法，基于通用人脸图像(这里是IR图像)提取出如图1所示的表示通用面部特征的68个特征点的数据。这里的所谓的“通用人脸图像”可以是具有根据特定的国家、地区、民族、性别等因素而设定的特定人群的共同面部特征的人脸图像。除了IR图像之外，还可以是诸如RGB图像、激光图像等其它合适的图像类型。因而，通用面部特征数据GFL相当于一种通用化的人脸特征结构或纹理，用于在后续步骤中校正面部特征的坐标系，使得校正后的坐标系能够应用于所有的面部变形补偿。
从通用人脸图像中提取出通用面部特征的处理与上文中所述的步骤S14中的面部特征提取处理类似，可以根据需要采用本领域中任何已知的使用的面部特征检测和提取处理方法。这样的面部特征的检测和提取处理可以参照下文中的示例。需要说明的是，也可以在步骤S11中一并完成对通用面部特征数据GFL的获取，并将其存储在诸如内存等存储装置中以待调用。
最后，在步骤S17中，基于通用面部特征数据GFL，利用第二深度差异图像DDI2中所标记的样本面部特征数据SFL，对第二深度差异图像DDI2进行变形(morphing)，以获得与通用面部特征数据GFL相匹配且标记有通用面部特征数据GFL的第三深度差异图像DDI3。
应当理解的是，在理想情况下，获得的第三深度差异图像DDI3即是通用面部变形图GFDM。这里的理想情况例如在上文中的多个步骤中，当获取与随机人脸样本相关的数据时，iToF***的相机正对着随机人脸样本，并且相机与随机人脸样本的距离也是固定不变的。然而，在绝大部分情况下，上文中提到的拍摄参数(距离，角度)会发生变化。因此，为了获得通用面部变形图GFDM，还需要基于不同的拍摄参数重复进行上述生成第三深度差异图像DDI3的步骤，从而生成与多组拍摄参数(距离，角度)相对应的多个第三深度差异图像DDI3 1、DDI3 2、DDI3 3……等。最后，通过这多个第三深度差异图像DDI3 1、DDI3 2、DDI3 3……等之间的插值计算，获得通用面部变形图GFDM。换言之，通用面部变形图GFDM可以由与拍摄参数(距离，角度)相关联的插值计算函数表达。下文中将详细说明与获取通用面部变形图GFDM相关的插 值计算的示例。此后，根据需要，还可以采用各种滤波器对所述通用面部变形图进行图形滤波，以清除所述通用面部变形图中的杂质。
2.2、步骤S13中的点云对齐的示例说明
在上述步骤S13中涉及的点云对齐的方法在本领域内是已知的，例如，可以通过调用Point Cloud Library(PCL)注册库中算法找到基于不同视图获取的多组点云数据集中的正确的点对应关系，并且将它们对齐到单个点云点云模型中，从而实现不同的数据集中的点云对齐。PCL注册库中的算法工作是通过在给定的多个输入数据集中找到正确的点对应关系，并估计可以通过旋转和平移而将每个单独的数据集转换成一致的全局坐标框架的刚性变换来进行的。
通常，将一对点云数据集配对之后的输出通常是一个刚性转换矩阵(4x4)，其表示必须在其中一个数据集(我们可以称之为源集)上应用的旋转和平移，以便与另一数据集(我们可以称之为目标集或模型)完美对齐。将两个数据集中的点云对齐的步骤大致如下。需要注意的是，可以根据需要遍历任何或所有步骤。
首先，从一组点中确定最能代表两个数据集中的场景(例如，人脸)的兴趣点(即关键点)。这里的关键点是在场景中具有“特殊属性”的兴趣点，例如书的一角或书上写有“SONY”的字母“S”。PCL中有许多可用的不同的关键点，如NARF，SIFT和FAST等。或者，也可以将每个点或子集作为关键点。但这样直接输入的问题是，每帧中有大量的点，因此会产生海量的对应关系。
然后，在每个关键点上，计算一个特征描述符。特征描述符用于组装关键点的信息并生成向量以使得它们能够相互比较。同样地，有许多已知的特征选项可供选择，例如NARF，FPFH，BRIEF或SIFT。
接着，从特征描述符的集合以及它们在两个数据集中的XYZ位置，基于特征和位置之间的相似性，估计一组对应关系。
然后，考虑到数据通常被认为是嘈杂的，并不是所有的对应关系都是有效的，所以拒绝那些不利于对齐过程的不良对应关系。例如，可以使用RANSAC或通过减少数量并仅使用找出的对应关系中的一定比例的对应关系来完成不良对应关系的拒绝。
最后，从剩余的一组良好的对应关系中，计算实际的运动变换并不断迭代直至满足一些收敛准则，从而获得对齐点云的变换关系。
2.3、步骤S14和S16中的面部特征提取的示例说明
在上文中所述的步骤S14中需要从随机人脸样本的图像数据中检测并提取该随机人脸样本的样本面部特征SFL，而在步骤S16中需要基于通用人脸图像提取通用面部特征数据GFL。面部特征(facial landmark)通常是指用来定位和代表面部的显著区域(salient region)的面部结构。检测面部特征是形状预测问题的子集。给定输入图像(通常是指定感兴趣的对象的ROI)，形状预测器会尝试沿着形状定位感兴趣的关键点。在本领域内，已经存在了多种用于面部特征检测和提取的方法。下面仅针对其中的示例进行大致的阐述。
通常，检测面部特征包含两步处理：
步骤1：定位在图像中的人脸。
步骤2：检测面部ROI上的关键面部结构。
人脸检测(步骤1)可以通过多种方式实现。例如，可以使用OpenCV的内置Haar级联。这可能会应用到专门针对人脸检测任务而预训练的HOG+线性SVM对象检测器。或者，我们甚至可以使用基于深度学习的算法来进行人脸定位。对于本发明而言，用何种方法检测图像中的人脸并没有那么重要，只要能获得人脸边界框(即图像中人脸的(x，y)坐标)即可。
给定脸部区域，然后可以应用步骤2：检测脸部区域中的关键脸部结构。本领域内已经存在有各种各样的面部特征检测器和检测算法，但是所有方法本质上都是尝试对以下面部区域进行定位和标记：
嘴、右眉、左眉、右眼、左眼、鼻子、下颌
例如，可以使用dlib程序库中包含的如图1所示的由Kazemi和Sullivan提出的利用68个特征点来代表关键脸部结构的面部特征预测器。当然，还有其他类型的面部标志检测器，包括可以在HELEN数据集中进行训练的194点模型。它们能够用于高质量地对面部特征进行实时检测。
无论使用哪个数据集，都可以利用相同的dlib框架在输入的训练数据上训练预测器。尤其是在需要训练专用的脸部特征检测器或自定义形状预测器的情况下，这将非常有用。
应当理解的是，以上简要说明仅仅是从人脸图像中提取面部特征的示例性说明。可以根据需要选择任何适合的面部特征的检测和提取方法。为了突出说明重点，本文中将不再赘述。
2.4、步骤S17中的深度差异图像的变形的示例说明
下面，本文将对上文步骤S17中所述的基于通用面部特征数据GFL，利用第二深度差异图像DDI2中所标记的样本面部特征数据SFL，对第二深度差异图像DDI2进行变形(morphing)，以获得第三深度差异图像DDI3的处理过程进行详细说明。
为了将图像I变换为图像J，需要首先在两个图像之间建立像素对应。换句话说，对于图像中的每个像素(x i,y i)，我们需要在图像J中找到它的对应像素(x j,y j)。假设我们找到了这些对应关系，则可以分两步进行图像变形。首先，我们需要计算被变形图像中的像素的位置(x m,y m)。由下式给出
x m＝(1-α)x i+αx j
y m＝(1-α)y i+αy j (1)
其次，我们需要使用以下公式求出(x m,y m)处的像素强度
M(x m，y m)＝(1-α)I(x i，y i)+αJ(x j，y j) (2)
显然，按照上式(1)和(2)可以为图像I中的每个像素找到图像J中的对应点，但这样做费时费力，且没有必要。这里，如果可以仅计算一部分有代表性的关键点的对应关系，则会大大简化处理过程。因此，我们可以构想，在此处利用提取出的表示面部关键结构的面部特征点来建立对应关系，并为其余像素进行插值，由此来简化变形处理过程。
在本发明的情况下，例如可以使用上文中说明的68个特征点作为对应点来建立对应关系。因此，首先获取这些对应点。如图7所示，第二深度差异图像DDI2中所标记的样本面部特征数据SFL就是作为对应点的68个特征点的数据。当然，可以理解的是，可以根据需要添加更多的点或减小部分点。例如，可以添加两侧耳朵、颅顶中央、颧骨顶点等位置处的特征点作为对应点。
然后，如图7中所示，我们基于这些点对第二深度差异图像DDI2进行狄洛尼三角化。狄洛尼三角化的结果是一个三角形的列表，这些三角形由68点阵列中的点的指标表示。如图7所示，三角化将第二深度差异图像DDI2切分成了若干个三角形，这些三角形的顶点都是68个特征点中的3个点。三角化被存储为三列数组。例如，可以是如下形式：
(38,40,37)、(35,30,29)、(38,37,20)、(18,37,36)、(33,32,30)……
可以想象，如果基于相同的特征点对两幅人脸图像进行上述三角化，则两幅图像中的对应的三角形表示的是相似的面部区域。因此，我们能够获得两幅人脸图像的三角(或者，区域)对应。
在将第二深度差异图像DDI2三角化后，由于通用面部特征数据GFL是已经获取的，所以相当于我们已经知道了第二深度差异图像DDI2中的各个特征点在变形后的图像中的位置和坐标。然后，就可以通过计算仿射变换(Affine Transform)而使第二深度差异图像DDI2中的各个三角形变形，从而使第二深度差异图像DDI2中的各个特征点的位置与通用面部特征数据GFL中的各个特征点的位置相匹配。通过这样的三角匹配，第二深度差异图像DDI2变形为表示通用面部变形图GFDM的第三深度差异图像DDI3。
上文中提到的仿射变换是将一组3个点(即一个三角形)转换为另一组任意3个点(即另一个三角形)的最简单方法。它对平移(移动)(translation/shift)、缩放(scale)、旋转(rotation)和错切(shear)进行编码。例如，使用仿射变换，可以在任何方向和比例下将正方形的形状更改为平行四边形。但是，仿射变换的灵活性不足以将正方形变换为任意四边形。换句话说，在进行仿射变换之后，图形中的平行线继续保持平行关系。
当前，有多个软件库可以实现仿射变换的计算。例如，在OpenCV中，仿射变换是一个2×3的矩阵。该矩阵中的前两列对旋转、缩放和错切进行编码，最后一列对平移进行编码。
因此，对于点(x,y)而言，可以通过下式求得其通过仿射变换后的点(x t,y t)
因此，通过利用这样的仿射变换，就可以实现上文中提到的第二深度差异图像DDI2中的各个三角形的与通用面部特征数据GFL的匹配变形。
2.5、步骤S17中的基于拍摄参数的插值计算的示例的说明
如上文所述，在绝大部分情况下，iToF***的拍摄参数(距离，角度)会发生变化，这也是导致面部图像变形的原因之一。因此，在绝大部分情况下，为了获得通用面部变形图GFDM，还需要基于不同的拍摄参数重复进行上述生成第三深度差异图像DDI3的步骤，从而生成与多组拍摄参数(距离，角度)相对应的多个第三深度差异图像DDI31、DDI32、DDI33……等。最后，通过这多个第三深度差异图像DDI31、DDI32、DDI33……等之间的插值计算，获得通用面部变形图GFDM。下面，将详细说明根据本发明的用于表达通用面部变形图GFDM的与拍摄参数(距离，角度)相关联的插值计算函数。
如前文所述地，可以使用iToF相机与被摄人脸之间距离以及iToF相机的光轴与被摄人脸的视角方向之间的角度来作为这里的拍摄参数。图8示出了作为拍摄函数的距离和角度的示例。可以设想，只需要用前文所述的方法计算出特定的关键点构造(key point configuration)处的深度差异图像，即第三深度差异图像DDI3，然后对其它构造处的结果进行插值，即可获得能够通用面部变形图GFDM。可以理解的是，除了距离和角度之外，还可以添加其它参数。例如，如果获得了RGB图像，可以添加颜色参数以考虑皮肤的颜色。但是当使用红外光时，获取的皮肤数据更加均匀(例如，白皮肤和黑皮肤之间的等级差大约为15％)，远低于RGB域。因此，可以认为仅使用距离和角度作为参数的方法对所有类型的皮肤均有效。
如图9和图10所示，例如，我们可以考虑至少3个距离，每个距离处的至少9个点作为关键点构造。例如，距离为30cm、40cm和50cm。每个距离处通过改变被摄面部相对于相机的光轴之间的俯仰角(pitch)和偏转角(yaw)，获得如图10中所示的9个关键点构造。这样，我们就一共可以获得例如至少27个关键点构造。
因此，通过改变拍摄参数并反复进行前文中所述的获得第三深度差异图像的方法，就能够获得针对每个关键点构造的第三深度差异图像DDI3。这样，就可以将通用面部变形图GFDM想象为包含有用于进行插值的多个关键点构造处的深度差异图像的集合。因而，我们可以将这样的插值计算定义为如下表达式以表示像素(x,y)的状态：
Δ(x,y)＝interpolate_generic_deformation(x,y,yaw,pitch,distance)
这里，interpolate_generic_deformation是基于所有关键点构造(例如，27个)的深度差异图像的插值函数，由此能够获得适应于所有可能位置的通用面部变形图GFDM。
下面，我们将参照图11至图13简要说明基于关键点构造处的深度差异图像的插值的构思和过程。
图11中图示了例如在距离相机50cm处的9个关键点构造处获得的过滤后的标记有样本面部特征数据SFL的第二深度差异图像DDI2。在图12中示出了分别对这9个第二深度差异图像DDI2进行变形后获得的标记有通用面部特征数据GFL的第三深度差异图像DDI3。
我们可以假定距离不变，则可以利用这9个第三深度差异图像DDI3进行插值计算，从而求出该距离处任意位置的第三深度差异图像DDI3。图13图示了该过程的思路和过程。图中的“？”代表需要利用插值获得的某位置处的第三深度差异图像。可以构想，“？”在坐标轴中的坐标可以通过三种可能的方式求出。例如，图13的四边形坐标示出了直接值(y D,p D)，五边形坐标示出了线性值(y L，p L)，六边形坐标示出了圆弧值(y C，p C)。不论采用何种方式，“？”处的偏转图的插值(即，y值)可以通过9个作为插值计算的框架的第二深度差异图像DDI2的偏转图的插值计算得出。例如，如图13中所示，“？”处的y值可以由处于第4位置和处于第5位置处的第二深度差异图像DDI2的y值的插值计算得出。类似地，也可以通过插值计算求出“？”处的俯仰图的插值(即，p值)。例如，如图13中所示，“？”处的p值可以由处于第8位置和处于第3位置处的第二深度差异图像DDI2的p值的插值计算得出。
然后，可以通过下式计算出插值的俯仰图和插值的偏转图之间的融合值(blending value)。
Diff＝k*y+(1-k)*p (5)
其中，这里的k是p值与y值之间的比率，由下式表示
k＝y/(y+p) (6)
在上式(5)和(6)中，可以根据需要使用不同的插值类型设定不同的k值，从而获得直接值(y D,p D)、线性值(y L，p L)和/或圆弧值(y C，p C)。另外，如果y值和p值均为0，则设定k＝0.5。
可以理解的是，上述同一距离内的插值过程也适用于更多偏转和俯仰角度轴线的情况。在这样的扩展的情况下，作为插值框架的关键点构造的第三深度差异图像更多，插值计算会变得更加精细。
在图14的a至d中示出了由图13中所示的插值计算过程求出的50cm处的四个随机位置处的第三深度差异图像DDI3的仿真示意图。在图14的a至d中，图像下方的两个数据条分别表示该位置的俯仰角值和偏转角值，且当角度为0时，数据条中的色块处于正中处。
下面，我们接着讨论实际使用的考虑了距离的插值计算的情况。
首先，根据上面的说明，已经能够针对多个距离(例如，三个，分别为50cm、40cm和30cm)如上所述地分别求出相同距离内的任意位置处的俯仰角值和偏转角值的插值。那么，如图15中所示，对于任意的位于给定的距离、俯仰角和偏转角处(例如，图中的“？”处)的深度差异图像的插值计算可以按照如下步骤进行：
(1)在三个距离(例如图15所示的30cm(d0)、40cm(d1)和50cm(d2))坐标系中的距给定位置(d)处最接近的近距离坐标系中插值计算相应的俯仰角值p和偏转角值y。在图15所示的示例中，“？”位置处于30cm(d0)与40cm(d1)之间，则先在最接近的30cm处的近距离坐标系中的通过上述的插值计算求出相应的y0和p0，然后获得i0；
(2)然后，在三个距离坐标系中的距给定位置处最接近的远距离坐标系中插值计算相应的俯仰角值p和偏转角值y。在图15所示的示例中，在最接近的40cm处的远距离坐标系中通过上述的插值计算求出相应的y1和p1，然后获得i1；
(3)基于下面的距离系数对i0和i1进行插值计算；
Diff＝k*i0+(1-k)*i1 (7)
在上式(7)中，k＝(d1+d)/(d1+d0)
这样，通过反复迭代上述插值计算，就可以通过所有可用的关键点构造的第三深度差异图像DDI3之间的插值获得能够表示任意位置处的深度差异图像，而这样的图像集或者函数就是根据本发明的通用面部变形图GFDM。
应当理解的是，上述插值计算过程中，也可以先在距给定位置处最接近的远距离坐标系中插值计算相应的俯仰角值p和偏转角值y，然后在距给定位置处最接近的近距离坐标系中插值计算相应的俯仰角值p和偏转角值y。另外，可以理解的是，为了使创建的通用面部变形图GFDM更加准确，可以基于相同的拍摄参数针对多个随机人脸样本采集多组样本数据。然后针对每组样本数据分别进行上面的插值计算，获得多组第三深度差异图像。最后，针对每组拍摄参数，计算多组样本数据中的对应位置处的平均第三深度差异图像，从而获得由多个平均第三深度差异图像构成的通用面部变形图GFDM。
2.6、获得第一深度差异图像的方法的变形例
在上文中，已经参照图5说明了通过点云对齐获得第一深度差异图像DDI1的示例。除此之外，还可以根据情况使用其它方法由采集的点云数据获得第一深度差异图像DDI1。
例如，如图16中所示，在所使用的iToF相机的相机内参数(camera instrinsics)是已知的情况下，可以利用相机内参数在深度图像域中直接将GT网格投影成深度图像，然后将获得的面部关注区域的样本数据中的点云进行投影，以获得面部关注区域的投影图像，然后基于GT的投影图像和面部关注区域的投影图像计算出第一深度差异图像DDI1。
这里提到的相机内参数是与所使用的iToF相机的内部固有摄像属性相关的一组函数或模型，其能够表示被摄对象中的任意点与该相机的拍摄图像中的对应点的位置转换关系。例如，相机内属性可以包括iToF相机坐标中的点与其在图像上的投影之间的关系的模型。这样的模型例如由如下相机矩阵(齐次坐标)表示的针孔模型。
在上式(8)中，f x和f y是x和y方向上的镜头焦距；c x和c y是相机主点(principal point)位置；s为偏斜(skew)因子。
此外，相机内属性还可以包括畸变参数d＝[k 1k 2k 3p 1p 2]。这里，k 1、k 2、k 3是轴向畸变参数，p 1和p 2是切向畸变参数。
通过调用这些已知的相机内参数，能够在深度图像域中直接将GT网格投影成深度图像。
另外，如图16中所示，在本变形例中，在计算第一深度差异图像DDI1之前，还可以利用其它类型的图像数据(例如，IR图像、RGB图像或激光图像等)，确认GT的投影图像是否已经对齐。应当理解的是，该步骤不是必需的。
3、应用通用面部变形图对深度信息进行补偿的处理的详细说明
首先，我们考虑一种最简单的情况，即拍摄的用户面部图像与之前获得样本面部图像的拍摄条件完全相同。即，用户面部图像具有与样本面部图像完全相同的拍摄参数。在此情况下，首先从所述用户面部图像中检测并提取用户面部特征(client face landmark)数据CFL。然后，对通用面部变形图GFDM进行变形，以使通用面部变形图GFDM中标记的通用面部特征数据与检测出的用户面部特征数据CFL相匹配。这里的变形可以理解为前文中所述的变形的逆过程。由此，获得了第四深度差异图像DDI4(未图示)。最后，基于第四深度差异图像DDI4对用户面部图像中的深度信息进行补偿。
显然，除了上述的简单情况之外，更多的情况下，实际的用户面部图像与学习过程中获得的样本面部图像的拍摄条件是不同的。在这样的情况下，就可以通过利用通用面部变形图GFDM计算出与该用户面部图像相对应的面部变形图，从而对用户面部图像中的深度信息进行补偿。下面将参照图17说明在该情况下应用通用面部变形图对深度信息进行补偿的实施例的各步骤的处理。需要说明的是，为了图示清楚，图17中还示出了上文中所述的对用户的人脸进行拍摄以获取用户面部图像的图像数据的步骤S2。
在步骤S31中，从拍摄的用户面部图像中检测并提取用户面部特征数据CFL。该步骤的执行方法可以参考上文中说明的面部特征检测和提取的示例。
接着，在步骤S32中，获取所述用户面部图像的拍摄参数(距离，角度)，并将拍摄参数插值到通用面部变形图中GFDM，以获得与用户面部图像的特定拍摄参数相对应的标记有通用面部特征数据GFL的特定的第五深度差异图像DDI5。图18中图示了这样的基于特定的2组拍摄参数由通用面部变形图GFDM获得2个特定点结构的第五深度差异图像DDI5的示例。
然后，在步骤S33中，对第五深度差异图像DDI5进行变形，以使第五深度差异图像DDI5中标记的通用面部特征数据GFL与检测出的所述用户面部特征数据CFL相匹配，由此获得第六深度差异图像DDI6。
最后，在步骤S34中，基于第六深度差异图像DDI6对iToF相机拍摄的用户面部图像中的iToF深度信息进行补偿，得到校正后的用户面部图像。
在上文中，已经对根据本发明的能够对通过iTof方式获取的人脸图像的面部变形进行补偿的方法进行了说明。在根据本发明的方法中，创建了与面部特征信息相关联的深度变形图来校正iToF设备在拍摄已知场景(此处为人脸)时产生的深度误差。这样的深度变形图是根据在不同关键构造(例如，[偏转角，俯仰角，距离])处的被记录场景而创建的，然后对其进行变换以适合通用的面部模型。此外，通过基于关键构造处的变形插值计算出所需的变形，将深度变形图应用于在一定范围内的任何其它构造，从而使得通用人脸模型拟合至特定模型，实现对任意特定人脸图像的深度变形的补偿。根据这样的方法，能够获得具有更好的精确度的人脸深度图像。
4、根据本发明的成像装置
本发明还提供了一种成像装置。该成像装置能够使用iTof成像单元进行拍摄，并能够应用前文中所述的面部变形补偿方法对拍摄的人脸深度图像进行补偿。下面将参照图19对根据本发明的成像装置1900的构成例进行说明。成像装置1900例如具有成像单元1901、处理单元1902和存储单元1903。
成像单元1901可包括iToF传感器，以取得用户面部的iToF数据。成像单元1901将iToF传感器获得的iToF数据朝后述的处理单元1902输出。iToF数据通过基于传感数据计算照射光与反射光之间的相位差，能够取得被摄体的距离信息(深度)。此外，成像单元1901还可以包含其他类型的光学摄像单元或传感器单元，以获取诸如IR图像、RGB图像或激光图像等其它类型的图像信息。
处理单元1902包括拍摄参数检测模块、面部特征检测模块、面部图像变形模块和面部图像校正模块。处理单元1902可通过相应模块执行如上述的本发明的面部补偿方法。
例如，处理单元1902可通过拍摄参数检测模块获取用户面部图像的拍摄参数，例如如上所述的面部视角方向与成像装置1901的光轴之间的角度(例如，偏转角和俯仰角)，以及成像装置1901和用户面部之间的距离。处理单元1902可通过面部特征检测模块从通过成像单元1901获得的用户面部图像(例如，IR或RGB图像)中检测并提取用户面部特征数据CFL。处理单元1902还可将通过拍摄参数检测模块获取的用户面部图像的拍摄参数插值到从存储单元1903中获得的通用面部变形图GFDM中。处理单元1902还可通过面部图像变形模块对从存储单元1903中获得的通用面部变形图GFDM进行变形。并且，处理单元1902可通过面部图像校正模块，利用变形后的通用面部变形图对用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。存储单元1903中存储的通用面部变形图GFDM可以是预先计算 好存入其中的。或者，处理单元1902还可以包含通用面部变形图计算模块(未图示)，其通过调用拍摄参数检测模块和面部特征检测模块的数据按照前文中所述的方法计算出通用面部变形图GFDM，并存入存储单元1903中以供使用。
根据本发明的成像装置能够创建与面部特征信息相关联的深度变形图来校正iToF设备在拍摄已知场景(此处为人脸)时产生的深度误差。这样的深度变形图是根据在不同关键构造(例如，[偏转角，俯仰角，距离])处的被记录场景而创建的，然后对其进行变换以适合通用的面部模型。此外，根据本发明的成像装置通过基于关键构造处的变形插值计算出所需的变形，将深度变形图应用于在一定范围内的任何其它构造，从而能够使通用人脸模型拟合至特定模型，实现对任意特定人脸图像的深度变形的补偿。因此，根据本发明的成像装置能够获得具有更好的精确度的人脸深度图像。
5、根据本发明的电子设备
除了上述的成像装置之外，如上所述的根据本发明的补偿方法还可以有很多其它的应用。例如，它还可以应用于除了成像装置之外的其它电子设备和***中。例如，车载自动驾驶***中的行人识别***、安保***、手机支付平台等等。
下面将参照图20对根据本发明的应用示例的电子设备2000的构成例进行说明。电子设备2000例如具有CPU2001、ROM2002、RAM2003、记录介质2004、输入输出接口2005、通信接口2006、操作输入设备2008和显示设备2009。此外，电子设备2000具有iTOF传感器2007或能够与iTOF传感器2007通信。并且，在电子设备2000中，例如利用作为数据的传输路径的总线2010将各构成要素间连接。
CPU2001由例如利用CPU等的运算电路构成的1个或者2个以上的处理器或者各种处理电路等构成，作为对电子设备2000整体进行控制的控制部发挥功能。并且，CPU2001可执行基于如上所述的本发明的方法的程序。
ROM2002存储CPU2001使用的程序或运算参数等控制用数据等。RAM2002例如暂时存储由CPU2001执行的程序等。
记录介质2004例如存储在上述实施方式所涉及的方法中使用的图像等各种各样的数据。此处，作为记录介质2004，例如能够举出闪存等非易失性存储器等。并且，记录介质2004能够相对于电子设备2000装卸。
输入输出接口2005例如连接操作输入设备2008或显示设备2009等。作为输入输出接口2005，例如能够举出USB(通用串行总线，Universal Serial Bus)端子、DVI(数字视频接口，Digital Visual Interface)端子、HDMI(高清晰度多媒体接口，High-Definition Multimedia Interface)(注册商标)端子、各种处理电路等。
操作输入设备2008例如作为接受用户对电子设备2000的操作的输入部发挥功能，且在电子设备2000的内部与输入输出接口2008连接。
显示设备2009对用户输出识别结果，装备在电子设备2000上，且在电子设备2000的内部与输入输出接口2005连接。作为显示设备2009，例如能够举出液晶显示器或有机EL显示器(有机电致发光显示器，Organic Electro-Luminescence Display)等。
另外，输入输出接口2005还能够与电子设备2000外部的操作输入设备(例如键盘或鼠标等)或外部的显示设备等外部设备连接。并且，输入输出接口2005也可以与驱动器(省略图示)连接。该驱动器是磁盘、光盘或者半导体存储器等可移动记录介质用的读写器，内置或者外置于电子设备2000。该驱动器读取记录在所装备的可移动记录介质中的信息，并向RAM2003输出。并且，该驱动器也能够向所装备的可移动记录介质写入记录。
通信接口2006作为用于与电子设备2000的外部装置以无线或者有线的方式进行通信的通信部发挥功能。通信接口2006可通过因特网获取本发明的上述方法中的相关数据，例如通用面部特征等。此处，作为通信接口2006，例如能够举出通信天线以及RF(射频，Radio frequency)电路(无线通信)、IEEE802.15.1端口以及收发电路(无线通信)、IEEE802.11端口以及收发电路(无线通信)、或者LAN(局域网，Local Area Network)端子以及收发电路(有线通信)等。
iTOF传感器2007作为本发明的获取人脸的iToF图像数据的装置发挥功能。
以上对电子设备2000的硬件构成的一例进行了说明。另外，电子设备2000的硬件构成并不限于图20所示的构成。详细地说，上述的各构成要素可以使用通用的部件构成，也可以由为了实现各构成要素的功能而专门化了的硬件构成。上述构成能够根据实施时的技术水平而适当变更。
本发明例如可以如下进行、构造或配置。
(1)一种面部变形补偿方法，包括：
创建通用面部变形图，所述通用面部变形图包括通用面部特征数据；
获取用户面部图像；以及
将所述通用面部变形图应用于所述用户面部图像，包括：
利用所述通用面部特征数据和用户面部特征数据对所述通用面部变形图进行变形；以及
利用变形后的所述通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。
(2)
根据上面(1)所述的方法，其中，
所述通用面部变形图是通过以下方式创建的：
获取人脸样本的iToF数据；
获取所述人脸样本的GT数据；
使所述GT数据与所述iToF数据对齐，以计算出表示所述GT数据与所述iToF数据之间的深度信息差异的第一深度差异图像；
检测并提取所述人脸样本的样本面部特征数据；
将所述样本面部特征数据与所述第一深度差异图像进行匹配，从而获得第二深度差异图像，所述第二深度差异图像具有作为标记的所述样本面部特征数据；
获取所述通用面部特征数据；
基于所述通用面部特征数据并利用所述第二深度差异图像中所标记的所述样本面部特征数据，对所述第二深度差异图像进行变形，以获得与所述通用面部特征数据相匹配且标记有所述通用面部特征数据的第三深度差异图像，所述第三深度差异图像作为所述通用面部变形图。
(3)
根据上面(2)所述的方法，其中，计算所述第一深度差异图像包括：
将所述iToF数据的点云转换为网格；
使所述GT数据和所述网格对齐；
将对齐后的所述GT数据和所述网格进行投影，获得GT数据的投影图像和所述iToF数据的投影图像；
基于所述GT数据的投影图像和所述iToF数据的投影图像计算所述第一深度差异图像。
(4)
根据上面(2)所述的方法，其中，计算所述第一深度差异图像包括：
利用相机内参数，直接对所述GT数据进行投影，获得所述GT数据的投影图像；
对所述iToF数据的点云进行投影获得所述iToF数据的投影图像；
基于所述iToF数据的投影图像和所述GT数据的投影图像，计算所述第一深度差异图像。
(5)
根据上面(4)所述的方法，还包括：
在对所述GT数据进行投影后，确认所述GT数据的投影图像是否与所述人脸样本的图像对齐。
(6)
根据上面(2)至(5)中任一项所述的方法，其中，
应用所述通用面部变形图包括：
从所述用户面部图像中检测并提取所述用户面部特征数据；
对所述通用面部变形图进行变形，以使所述通用面部变形图中标记的通用面部特征数据与检测出的所述用户面部特征数据相匹配，，由此获得第四深度差异图像；以及
基于所述第四深度差异图像对所述用户面部图像中的深度信息进行补偿。
(7)
根据上面(2)至(5)中任一项所述的方法，其中，
创建所述通用面部变形图还包括：
获取所述人脸样本的所述iToF数据的拍摄参数；
改变所述拍摄参数的值，重复进行生成所述第三深度差异图像的步骤；以及
基于针对多组所述拍摄参数的值而生成多个所述第三深度差异图像，多个所述第三深度差异图像构成所述通用面部变形图。
(8)
根据上面(7)所述的方法，其中，
应用所述通用面部变形图包括：
获取所述用户面部图像的所述拍摄参数，并将所述拍摄参数插值到所述通用面部变形图中，以获得与所述用户面部图像的所述拍摄参数相对应的标记有所述通用面部特征数据的第五深度差异图像；
从所述用户面部图像中检测并提取所述用户面部特征数据；
对所述第五深度差异图像进行变形，以使所述第五深度差异图像中标记的所述通用面部特征数据与检测出的所述用户面部特征数据相匹配，由此获得第六深度差异图像；以及
基于所述第六深度差异图像对所述用户面部图像中的深度信息进行补偿。
(9)
根据上面(7)所述的方法，其中，
所述拍摄参数包括所述面部视角方向和相机之间的角度，和所述相机和面部之间的距离。
(10)
根据上面(9)所述的方法，其中，
所述角度包括偏转角和俯仰角。
(11)
根据上面(2)至(5)中任一项所述的方法，其中，
创建所述通用面部变形图还包括：
获取所述人脸样本的所述iToF数据的拍摄参数；
改变所述拍摄参数的值，重复进行生成所述第三深度差异图像的步骤；以及
基于针对多组所述拍摄参数的值而生成多个所述第三深度差异图像，作为样本图像，并且
其中，所述人脸样本为随机人脸样本，并且，创建所述通用面部变形图还包括：
针对多个人脸样本，生成多组所述样本图像，以及
针对每组所述拍摄参数的值，计算多组所述样本图像的平均值，从而生成由多个平均第三深度差异图像构成的所述通用面部变形图。
(12)
根据上面(11)所述的方法，其中，
应用所述通用面部变形图包括：
获取所述用户面部图像的所述拍摄参数，并将所述拍摄参数插值到所述通用面部变形图中，以获得与所述用户面部图像的所述拍摄参数相对应的标记有所述通用面部特征数据的第五深度差异图像；
从所述用户面部图像中检测并提取所述用户面部特征数据；
对所述第五深度差异图像进行变形，以使所述第五深度差异图像中标记的所述通用面部特征数据与检测出的所述用户面部特征数据相匹配，由此获得第六深度差异图像；以及
基于所述第六深度差异图像对所述用户面部图像中的深度信息进行补偿。
(13)
一种成像装置，包括：
成像单元，配置为获取用户面部图像；
存储单元，存储有通用面部变形图，所述通用面部变形图包含通用面部特征数据，其中，所述通用面部变形图是根据上述(7)和(9)-(11)中任一项所述的方法生成的；以及
处理单元，配置为：
从所述用户面部图像中检测并提取用户面部特征数据；
利用所述通用面部特征数据和所述用户面部特征数据对所述通用面部变形图进行变形；以及
利用变形后的所述通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。
(14)
根据上面(13)所述的成像装置，其中，
所述处理单元还被配置为：
获取所述用户面部图像的拍摄参数，并插值到所述通用面部变形图中，以获得标记有所述通用面部特征数据的补偿用深度差异图像；
基于所述用户面部特征数据并利用所述补偿用深度差异图像中标记的所述通用面部特征数据，使得所述补偿用深度差异图像变形；以及
基于变形后的所述补偿用深度差异图像对所述用户面部图像中的深度信息进行补偿。
(15)
一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时实施上面(1)至(12)中任一项所述的方法。
尽管在上面已经参照附图说明了根据本发明的补偿方法、成像装置和存储介质，但是本发明不限于此，且本领域技术人员应理解，在不偏离本发明随附权利要求书限定的实质或范围的情况下，可以做出各种改变、组合、次组合以及变型。

Claims (15)

  1. 一种面部变形补偿方法，包括：
    创建通用面部变形图，所述通用面部变形图包括通用面部特征数据；
    获取用户面部图像；以及
    将所述通用面部变形图应用于所述用户面部图像，包括：
    利用所述通用面部特征数据和用户面部特征数据对所述通用面部变形图进行变形；以及
    利用变形后的所述通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。
  2. 根据权利要求1所述的方法，其中，
    所述通用面部变形图是通过以下方式创建的：
    获取人脸样本的iToF数据；
    获取所述人脸样本的GT数据；
    使所述GT数据与所述iToF数据对齐，以计算出表示所述GT数据与所述iToF数据之间的深度信息差异的第一深度差异图像；
    检测并提取所述人脸样本的样本面部特征数据；
    将所述样本面部特征数据与所述第一深度差异图像进行匹配，从而获得第二深度差异图像，所述第二深度差异图像具有作为标记的所述样本面部特征数据；
    获取所述通用面部特征数据；
    基于所述通用面部特征数据并利用所述第二深度差异图像中所标记的所述样本面部特征数据，对所述第二深度差异图像进行变形，以获得与所述通用面部特征数据相匹配且标记有所述通用面部特征数据的第三深度差异图像，所述第三深度差异图像作为所述通用面部变形图。
  3. 根据权利要求2所述的方法，其中，计算所述第一深度差异图像包括：
    将所述iToF数据的点云转换为网格；
    使所述GT数据和所述网格对齐；
    将对齐后的所述GT数据和所述网格进行投影，获得GT数据的投影图像和所述iToF数据的投影图像；
    基于所述GT数据的投影图像和所述iToF数据的投影图像计算所述第一深度差异图像。
  4. 根据权利要求2所述的方法，其中，计算所述第一深度差异图像包括：
    利用相机内参数，直接对所述GT数据进行投影，获得所述GT数据的投影图像；
    对所述iToF数据的点云进行投影获得所述iToF数据的投影图像；
    基于所述iToF数据的投影图像和所述GT数据的投影图像，计算所述第一深度差异图像。
  5. 根据权利要求4所述的方法，还包括：
    在对所述GT数据进行投影后，确认所述GT数据的投影图像是否与所述人脸样本的图像对齐。
  6. 根据权利要求2至5中任一项所述的方法，其中，
    应用所述通用面部变形图包括：
    从所述用户面部图像中检测并提取所述用户面部特征数据；
    对所述通用面部变形图进行变形，以使所述通用面部变形图中标记的通用面部特征数据与检测出的所述用户面部特征数据相匹配，，由此获得第四深度差异图像；以及
    基于所述第四深度差异图像对所述用户面部图像中的深度信息进行补偿。
  7. 根据权利要求2至5中任一项所述的方法，其中，
    创建所述通用面部变形图还包括：
    获取所述人脸样本的所述iToF数据的拍摄参数；
    改变所述拍摄参数的值，重复进行生成所述第三深度差异图像的步骤；以及
    基于针对多组所述拍摄参数的值而生成多个所述第三深度差异图像，多个所述第三深度差异图像构成所述通用面部变形图。
  8. 根据权利要求7所述的方法，其中，
    应用所述通用面部变形图包括：
    获取所述用户面部图像的所述拍摄参数，并将所述拍摄参数插值到所述通用面部变形图中，以获得与所述用户面部图像的所述拍摄参数相对应的标记有所述通用面部特征数据的第五深度差异图像；
    从所述用户面部图像中检测并提取所述用户面部特征数据；
    对所述第五深度差异图像进行变形，以使所述第五深度差异图像中标记的所述通用面部特征数据与检测出的所述用户面部特征数据相匹配，由此获得第六深度差异图像；以及
    基于所述第六深度差异图像对所述用户面部图像中的深度信息进行补偿。
  9. 根据权利要求7所述的方法，其中，
    所述拍摄参数包括所述面部视角方向和相机之间的角度，和所述相机和面部之间的距离。
  10. 根据权利要求9所述的方法，其中，
    所述角度包括偏转角和俯仰角。
  11. 根据权利要求2至5中任一项所述的方法，其中，
    创建所述通用面部变形图还包括：
    获取所述人脸样本的所述iToF数据的拍摄参数；
    改变所述拍摄参数的值，重复进行生成所述第三深度差异图像的步骤；以及
    基于针对多组所述拍摄参数的值而生成多个所述第三深度差异图像，作为样本图像，并且
    其中，所述人脸样本为随机人脸样本，并且，创建所述通用面部变形图还包括：
    针对多个人脸样本，生成多组所述样本图像，以及
    针对每组所述拍摄参数的值，计算多组所述样本图像的平均值，从而生成由多个平均第三深度差异图像构成的所述通用面部变形图。
  12. 根据权利要求11所述的方法，其中，
    应用所述通用面部变形图包括：
    获取所述用户面部图像的所述拍摄参数，并将所述拍摄参数插值到所述通用面部变形图中，以获得与所述用户面部图像的所述拍摄参数相对应的标记有所述通用面部特征数据的第五深度差异图像；
    从所述用户面部图像中检测并提取所述用户面部特征数据；
    对所述第五深度差异图像进行变形，以使所述第五深度差异图像中标记的所述通用面部特征数据与检测出的所述用户面部特征数据相匹配，由此获得第六深度差异图像；以及
    基于所述第六深度差异图像对所述用户面部图像中的深度信息进行补偿。
  13. 一种成像装置，包括：
    成像单元，配置为获取用户面部图像；
    存储单元，存储有通用面部变形图，所述通用面部变形图包含通用面部特征数据，其中，所述通用面部变形图是根据权利要求7和9-11中任一项所述的方法生成的；以及
    处理单元，配置为：
    从所述用户面部图像中检测并提取用户面部特征数据；
    利用所述通用面部特征数据和所述用户面部特征数据对所述通用面部变形图进行变形；以及
    利用变形后的所述通用面部变形图对所述用户面部图像中的深度信息进行补偿，从而校正所述用户面部图像的面部变形。
  14. 根据权利要求13所述的成像装置，其中，
    所述处理单元还被配置为：
    获取所述用户面部图像的拍摄参数，并插值到所述通用面部变形图中，以获得标记有所述通用面部特征数据的补偿用深度差异图像；
    基于所述用户面部特征数据并利用所述补偿用深度差异图像中标记的所述通用面部特征数据，使得所述补偿用深度差异图像变形；以及
    基于变形后的所述补偿用深度差异图像对所述用户面部图像中的深度信息进行补偿。
  15. 一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时实施权利要求1至12中任一项所述的方法。
CN202280036355.9A 2021-05-31 2022-05-24 人脸深度图像的面部变形补偿方法、成像装置和存储介质 Pending CN117581260A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021106022339 2021-05-31
CN202110602233.9A CN115482182A (zh) 2021-05-31 2021-05-31 人脸深度图像的面部变形补偿方法、成像装置和存储介质
PCT/CN2022/094646 WO2022253043A1 (zh) 2021-05-31 2022-05-24 人脸深度图像的面部变形补偿方法、成像装置和存储介质

Publications (1)

Publication Number Publication Date
CN117581260A true CN117581260A (zh) 2024-02-20

Family

ID=84323897

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110602233.9A Pending CN115482182A (zh) 2021-05-31 2021-05-31 人脸深度图像的面部变形补偿方法、成像装置和存储介质
CN202280036355.9A Pending CN117581260A (zh) 2021-05-31 2022-05-24 人脸深度图像的面部变形补偿方法、成像装置和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110602233.9A Pending CN115482182A (zh) 2021-05-31 2021-05-31 人脸深度图像的面部变形补偿方法、成像装置和存储介质

Country Status (5)

Country Link
US (1) US20240242318A1 (zh)
EP (1) EP4350615A1 (zh)
JP (1) JP2024522535A (zh)
CN (2) CN115482182A (zh)
WO (1) WO2022253043A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524371C2 (sv) * 2002-07-10 2004-08-03 Nolato Ab Metod och anordning för applicering av en tvådimensionell bild på en tredimensionell yta
CN109859097B (zh) * 2019-01-08 2023-10-27 北京奇艺世纪科技有限公司 脸部图像处理方法、设备、图像处理设备、介质
CN110222583A (zh) * 2019-05-14 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于面部识别的面部生成技术

Also Published As

Publication number Publication date
EP4350615A1 (en) 2024-04-10
CN115482182A (zh) 2022-12-16
WO2022253043A1 (zh) 2022-12-08
US20240242318A1 (en) 2024-07-18
JP2024522535A (ja) 2024-06-21

Similar Documents

Publication Publication Date Title
CN111414798B (zh) 基于rgb-d图像的头部姿态检测方法及***
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
US10846844B1 (en) Collaborative disparity decomposition
US20190228263A1 (en) Training assistance using synthetic images
CN103810475B (zh) 一种目标物识别方法及装置
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和***
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN114022560A (zh) 标定方法及相关装置、设备
CN105139401A (zh) 一种深度图中深度的可信度的评估方法
CN110120013A (zh) 一种点云拼接方法及装置
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
Heather et al. Multimodal image registration with applications to image fusion
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
EP4350615A1 (en) Facial deformation compensation method for facial depth image, and imaging apparatus and storage medium
CN117115434A (zh) 数据分割装置和方法
Thangarajah et al. Vision-based registration for augmented reality-a short survey
Karaca et al. Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching
Howells et al. Depth maps comparisons from monocular images by midas convolutional neural networks and dense prediction transformers
Brooks et al. Data registration
CN112633300B (zh) 一种多维交互的图像特征参数提取匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination