CN111279390B - 用于构建用户面部图像的装置和方法以及介质 - Google Patents

用于构建用户面部图像的装置和方法以及介质 Download PDF

Info

Publication number
CN111279390B
CN111279390B CN201880070253.2A CN201880070253A CN111279390B CN 111279390 B CN111279390 B CN 111279390B CN 201880070253 A CN201880070253 A CN 201880070253A CN 111279390 B CN111279390 B CN 111279390B
Authority
CN
China
Prior art keywords
image
camera
face
user
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880070253.2A
Other languages
English (en)
Other versions
CN111279390A (zh
Inventor
M·S·阿瑟瑞亚
W·J·艾伦
C·I·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN111279390A publication Critical patent/CN111279390A/zh
Application granted granted Critical
Publication of CN111279390B publication Critical patent/CN111279390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种装置包括支撑件、第一摄像机和第二摄像机以及处理器。所述支撑件被配置为被安装到用户的头部。第一摄像机被安装到支撑件上并且被定位为捕获用户面部的第一图像。第二摄像机被安装到支撑件并且被定位为捕获用户面部的第二图像，该第二图像与第一图像不重叠。处理器被安装到支撑件，并且被编程以将第一图像和第二图像拼接在一起以构建用户面部的图像。

Description

用于构建用户面部图像的装置和方法以及介质
技术领域
本公开涉及通过拼接不重叠图像构建用户面部图像。
背景技术
头戴式显示器(HMD)是可以包括显示光学器件和/或摄像机的可穿戴设备。例如，HMD可以被用于虚拟现实应用中，在该虚拟现实应用中，安装在HMD上的摄像机被用于获取用户面部的图像。然后，获取的图像可以被用于构建用户的虚拟图像。
发明内容
根据本公开的一方面，提供了一种用于构建用户的面部的图像的装置，包括：支撑件，被配置为放置于用户的头部附近；光源，被安装到支撑件，其中，光源将多个基准投影到用户的面部上；第一摄像机，被安装在支撑件上，并且被放置用于捕获用户的面部的第一图像，其中，第一图像表现面部的第一部分和多个基准的第一子集；第二摄像机，被安装在支撑件上，并且被放置用于捕获用户的面部的第二图像，第二图像与第一图像不重叠，其中，第二图像表现面部的第二部分和多个基准的第二子集；以及处理器，被安装到支撑件，并且被编程用于：通过在第一子集的至少一个基准和第二子集的至少一个基准之间建立对应关系，将第一图像和第二图像拼接在一起，以构建用户的面部的图像。
根据本公开的另一方面，提供了一种用于构建用户的面部的图像的方法，包括：使用显示器的光源，将多个基准投影到正在使用显示器的用户的面部上；使用显示器的第一摄像机捕获第一图像，其中，第一图像表现面部的第一部分和多个基准的第一子集；使用显示器的第二摄像机捕获第二图像，其中，第二图像表现面部的第二部分和多个基准的第二子集，其中，第一图像和第二图像不重叠；以及基于多个基准的第一子集的位置和多个基准的第二子集的位置，识别面部上的落在第一摄像机的第一视场和第二摄像机的第二视场之外的特征的空间坐标。
根据本公开的又一方面，提供了一种非暂态机器可读存储介质，被用处理器可执行的指令编码，该机器可读存储介质包括：使用显示器的光源，将多个基准投影到正在使用显示器的用户的面部上的指令；使用显示器的第一摄像机捕获第一图像的指令，其中，第一图像表现面部的第一部分和多个基准的第一子集；使用显示器的第二摄像机捕获第二图像的指令，其中，第二图像表现面部的第二部分和多个基准的第二子集，其中，第一图像和第二图像不重叠；以及基于多个基准的第一子集的位置和多个基准的第二子集的位置，识别面部上的落在第一摄像机的第一视场和第二摄像机的第二视场之外的特征的空间坐标的指令。
附图说明
图1示出本公开的示例装置的高级框图；
图2示出用于操作头戴式显示器的示例方法的流程图；
图3示出可以在执行图2的方法期间捕获的图像的示例；
图4示出用于操作头戴式显示器的示例方法的流程图；
图5示出用于头戴式显示器的摄像机的静态校准的示例方法的流程图；
图6示出可以在执行图5的方法期间使用的校准图案的示例；
图7示出用于头戴式显示器的摄像机的动态校准的示例方法的流程图；以及
图8示出装置的示例。
具体实施方式
本公开广义地描述用于通过使用不重叠图像构建用户面部图像的装置、方法和非暂态计算机可读介质。如上所述，头戴式显示器(HMD)是可以包括显示光学器件和/或摄像机的可穿戴设备。例如，HMD可以被用于虚拟现实应用中，在该虚拟现实应用中，安装在HMD上的摄像机被用于获取用户面部的图像。然后，获取的图像可以被用于构建用户的虚拟图像。例如，虚拟图像可以表现用于模拟捕获的图像中用户面部表情的面部表情。模拟的面部表情又可以被用于使内容或触觉(haptics)适于用户当前的情绪、判定用户对特定内容的反应、和/或为多玩家游戏制作用户化身动画等各种应用。
为了在虚拟图像中准确模拟用户面部表情，许多VR应用依赖于面部标志点的认知(knowledge)。面部标志点是用户面部的具有已知的、独特的位置和空间分隔的特征(例如，眼睛、鼻子、嘴等)。定位出(pinpoint)这些标志点的位置并不总是简单的任务。例如，当由多个不同的摄像机获取用户面部的图像时，由于深度差异、视场差异(可能不重叠)、遮挡、以及可能因摄像机而异的其它几何畸变，可能难以检测到标志点。
本公开的示例提供用于对准和拼接由HMD的多个摄像机捕获的多个不重叠图像以构建穿戴HMD的用户的单个面部图像的方法。在图像捕获时，一组基准(fiducial)(例如，参考标记)被投影到用户面部上，使得所述基准在多个图像中可见。然后，通过使用可以离线收集的摄像机参数，校正多个图像的静态畸变(由于例如镜头畸变、摄像机之间的相对旋转和平移差、和/或由于摄像机的视场变化而导致的相对尺度(scale)差)。还通过使用在图像捕获时或紧挨着图像捕获之前收集的摄像机参数，校正多个图像的动态畸变(由于例如用户关于摄像机的姿势的差异、用户面部轮廓的变化、以及从一个会话到另一会话用户在HMD穿戴方式上的变化)。静态畸变和动态畸变的校正还校正多个图像中的基准的空间取向，这允许一个图像中的基准与另一个图像中的对应基准匹配，由此使得图像能够彼此对准或拼接在一起。可以按该方式对准多个图像，直到构建用户的单个面部图像。随后，面部标志点可以位于该单个面部图像中，并且被用于确定用户面部表情。
在本发明的上下文中，术语“拼接”是指对准两个或更多个不重叠图像以形成复合图像的操作。由于两个或更多个不重叠图像不重叠，因此在复合图像中可能存在间隙(例如，代表成像景物的在不重叠图像中的任一个中不存在的部分)。因此，尽管拼接操作可以使不重叠图像对准使得它们彼此正确地取向和定位，拼接操作却不能去除不重叠图像之间自然存在的间隙。然而，可以在拼接之后，使用另外的操作来填充这些间隙。
此外，尽管本公开的示例是在头戴式显示器(即，被配置为穿戴在用户头部的设备)的上下文中描述的，但本文所描述的示例同样适用于可以位于用户头部附近而实际上不安装或穿戴在头部的显示设备。例如，显示设备可以配置有柄，该柄握在用户手中，使得摄像机、显示器和/或其它部件位于用户头部附近(例如，类似于一副观剧眼镜(operaglasses))。
图1表现本公开的示例装置100的高级框图。该装置可以包括例如头戴式显示器。因此，在一个示例中，装置100通常包括支撑件102、多个摄像机1041-1042(以下单独称为“摄像机104”或统称为“摄像机104”)和处理器106。
支撑件102被配置为被安装在人类用户身上，在用户面部附近。例如，支撑件102可以被配置为穿戴在用户头部。因此，支撑件102可以具有大致圆形或椭圆形，并且可以被构建为头带、头盔或类似的头饰。可选地，支撑件102可以被配置为一副眼镜或护目镜。在更进一步的例子中，支撑件102可以不被配置为穿戴在用户头部，而是可以被配置为以其它某种方式被支撑件在用户头部附近。例如，支撑件102可以包括柄，该柄握在用户手中，使得摄像机104位于用户头部附近。
多个摄像机104至少包括被安装在支撑件102的向内侧(例如，当装置100由用户穿戴时，为面向用户的侧)的第一摄像机(例如，摄像机1041)和第二摄像机(例如，摄像机1042)。尽管在图1中示出两个摄像机104，但是装置100可以包括多于两个的摄像机。摄像机104被放置用于在用户穿戴装置100时捕获用户面部的图像。例如，第一摄像机1041可以从第一视场捕获用户面部的第一图像1081，而第二摄像机1042可以从第二视场捕获用户面部的第二图像1082。在一个示例中，由多个摄像机104捕获的图像1081和1082不重叠。例如，在第一图像1081中表现的任何特征都可以不在第二图像1082中被表现。这使得将图像拼接在一起以构建用户的单个面部图像的任务更具挑战性。
多个摄像机102可以包括不同类型的摄像机。例如，多个摄像机102可以包括二维摄像机、三维摄像机、热成像摄像机、立体摄像机和/或其它类型的摄像机。多个摄像机102中的两个或更多个摄像机102可以具有不同的镜头几何形状、不同的光学元件和/或不同的传感器***。
处理器106也可以被安装到支撑件106，并且可以包括微控制器、微处理器、中央处理单元(CPU)芯、专用集成电路(ASIC)或现场可编程门阵列(FPGA)等。在另一示例中，处理器106可以不被安装到支撑件102，而是可以位于远离支撑件102的位置。在这种情况下，处理器106可以直接或间接地与安装到支撑件的多个摄像机104通信(例如，通过无线网络连接)。处理器106被编程(例如，使用存储在非暂态计算机可读存储介质上的一组指令)以将由多个摄像机104捕获的多个图像拼接在一起，以构建用户的单个(例如，复合)面部图像。例如，处理器可以将第一图像1081和第二图像1082拼接在一起以构建单个面部图像110。
图2示出用于操作头戴式显示器的示例方法200的流程图。例如，可以通过图1所示的装置100的部件执行方法200。因此，在图2的讨论中可以参考装置100的各种部件，以便于理解。然而，方法200不限于用图1所示的装置来实现。
方法200在框202开始。在框204中，使用头戴式显示器的光源，将多个基准投影到穿戴头戴式显示器的用户的面部上。光源可以包括以已知对人类视觉相对安全的波长(例如，红外)发射光的一个或更多个发光二极管(LED)。各LED可以与安装到HMD的多个摄像机中的一个相关联。各基准可以包括投影到用户面部上的标记，诸如点、短划线或x等。
在框206中，表现用户面部的第一部分和基准的第一子集的第一图像由头戴式显示器的第一摄像机捕获。例如，图3示出可以在执行图2的方法200期间捕获的图像300的示例。例如，图3的图像300可以是根据方法200的框206捕获的第一图像。如图所示，图像300表现用户面部的一部分以及在图像捕获时投影到用户面部上的多个基准302(在图3中表现为多个x)。
在框208中，表现用户面部的第二部分和基准的第二子集的第二图像由头戴式显示器的第二摄像机捕获。在一个示例中，第二图像与第一图像不重叠。即，在第二图像中表现的特征或基准均不能在第一图像中被表现。例如，如果第一图像表现用户面部的右上部分，则第二图像可以表现用户面部的左上部分，或者用户面部的除右上部分之外的其它某部分。
在又一示例中，在第一图像和第二图像之间可能存在间隙。例如，第一图像可能表现用户面部的右上部分，第二图像可能表现用户面部的左上部分，但是用户面部的位于右上部分和左上部分之间的某部分可能在第一图像和第二图像的任一个中都没有被表现。在一个示例中，在框204中的基准投影之前，第一摄像机和第二摄像机之间的空间间隔是已知的。
在框210中，基于第一图像中的基准的第一子集和第二图像中的基准的第二子集的位置，识别落在第一摄像机的第一视场和第一摄像机的第二视场之外的用户面部的特征的空间坐标。如结合框208讨论的，第一图像可以表现用户面部的右上部分，第二图像可以表现用户面部的左上部分，但是用户面部的位于右上部分和左上部分之间的某部分可能在第一图像和第二图像的任一个中都没有被表现。用户面部的位于右上部分和左上部分之间的该部分可能在第一摄像机和第二摄像机的各自视场之外。然而，如下面结合图4更详细地描述的，本公开的示例可以使用在第一图像和第二图像中表现的基准以在第一图像和第二图像的像素之间进行插值，由此生成填充第一图像和第二图像之间的间隙的第三图像。第三图像可以推断出在第一图像或第二图像中未表现的特征的空间坐标。
方法200在框212结束。
图4示出用于操作头戴式显示器的示例方法400的流程图。具体而言，方法400包括方法200的更详细版本，该更详细版本包括基准投影之前的校准操作。例如，可以通过图1所示的装置100的部件执行方法400。因此，在图4的讨论中可以参考装置100的各种部件以便于理解。然而，方法400不限于用图1所示的装置来实现。
方法400在框402开始。在框404中，头戴式显示器的多个摄像机(至少包括第一摄像机和第二摄像机)被校准以校正静态畸变(例如，可能由于诸如镜头、组件和/或光源等的差异的硬件差异而由摄像机引入的图像畸变)。如下面进一步详细讨论的，根据框404的校准将使用校准图案以导出摄像机中的每一个的一组静态变换(例如，第一摄像机的第一组静态变换和第二摄像机的单独的第二组静态变换)。在一个示例中，在用户将HMD放置在他或她的头部上之前执行框404。
在框406中，多个摄像机被校准以校正动态畸变(例如，可能由于诸如用户相对于摄像机的姿势的差异、用户面部轮廓的变化和/或HMD如何从一个会话到另一个会话被穿戴的差异的运行时(run-time)差异而由摄像机引入的图像畸变)。如下面进一步详细讨论的，根据框406的校准使用校准图案以导出摄像机中的每一个的一组动态变换(例如，第一摄像机的第一组动态变换和第二摄像机的单独的第二组动态变换)。在一个示例中，在用户将HMD放置在他或她的头部上之后执行块406。
在框408中，由多个摄像机捕获多个图像，这里，多个图像包括用户面部的多个部分以及由HMD的一个或更多个光源投影的多个基准。基准可以如上文结合方法200讨论的那样被投影。因此，基准与可以在框404和406中使用的校准图案不同。
在框410中，通过使用在框404和406中导出的静态变换和动态变换，校正在框408中捕获的多个图像的静态畸变和动态畸变。因此，可以针对由摄像机到摄像机的变化引起的几何畸变，对多个图像进行解扭曲和校正。静态畸变和动态畸变的校正还导致在多个图像中存在的基准的空间间隔。
在框412中，基于多个图像中的基准的位置，识别落在多个摄像机的第一视场之外的用户面部的特征的空间坐标。因此，框412类似于方法200的框210。因此，本公开的示例可以使用在图像中表现的基准以在图像的像素之间进行插值，由此生成填充图像之间的间隙的另外的图像。另外的图像可以推断出在第一或第二图像中未表现的特征的空间坐标。
在框414中，可以通过使用在框410中在空间上重新定位的多个基准，拼接或对准多个图像。即，通过在第一图像中的基准和第二图像中的基准之间建立对应关系，第一图像和第二图像可以被对准。例如，如果第一图像中的基准位于用户右眼的中心下方并且第二图像中的基准位于用户左眼的下方，则第一图像和第二图像可以彼此对准。如上所述，可以通过在第一图像和第二图像的像素之间插值并生成图像以填充间隙，修正(rectify)第一图像和第二图像之间的任何间隙。
方法400在框416结束。因此，方法400的最终产品可以是从多个不重叠图像拼接在一起的用户的单个面部图像(这些不重叠图像可能具有间隙，这些间隙在该拼接之后被填充)，这里，所述多个不重叠图像中的每个图像表现用户面部的一部分。所述多个图像可以被精确对准，使得可以高精度地识别标志点。
图5示出用于头戴式显示器的摄像机的静态校准的示例方法500的流程图。例如，可以根据方法400的框404执行方法500。
方法500在框502开始。在框504中，选择头戴式显示器的摄像机。如上所述，HMD可以包括多个摄像机。如下面进一步详细讨论的，可以对HMD的摄像机中的每一个执行方法500的框。因此，框504的初始迭代可以选择多个摄像机中的第一摄像机。然而，框504的后续迭代可以选择HMD的其它摄像机(例如，第二摄像机、第三摄像机等)。
在框506中，静态校准图案被放置在已知距离处，该距离近似于当HMD正在使用时从第一摄像机到用户的距离。因此，框504可以在HMD投入使用之前发生(例如，对于VR应用)，甚至可以在第一摄像机被安装在HMD上之前发生。
在一个示例中，静态校准图案包括一些定义明确的规则图案，诸如印刷在基板(例如，瓷砖或片材或其它基板)上的棋盘格、栅格(grid)或网格(meash)。例如，图6示出可以在执行图5的方法500期间使用的校准图案600的示例。例如，可以根据方法500的框506使用图6的校准图案600。在所示的示例中，校准图案600包括由多条相交的直线形成的栅格图案。
在框508中，由第一摄像机捕获静态校准图案的第一图像。由于第一摄像机可能特有的静态畸变，因此静态校准图案的第一图像可以用几何畸变的方式表现静态校准图案。例如，图6示出可以由第一摄像机捕获的静态校准图案600的示例图像602。如所示出的那样，栅格图案的相交线在图像602中不是直的。
在框510中，静态校准图案的第一图像中的几何畸变被校正，以生成地面真值(ground turth)参考图案。在一个例子中，地面真值参考图案在几何上接近于静态校准图案。例如，图6示出对应于校准图案600和图像602的示例地面真值参考图案604。如图所示，与校准图案600的线类似，地面真值参考图案604的相交线是直的。
在框512中，使用头戴式显示器的第一光源来对被投影的校准图案投影。在一个例子中，第一光源是与第一摄像机配对的光源(例如，红外LED)。因此，第一摄像机和第一光源可以被放置为使得第一摄像机能够捕获由第一光源投影的光的图像。
被投影的校准图案可以被投影到被放置在已知距离处的平坦单色(例如，灰色)表面上，该距离近似于当HMD在使用中时从第一摄像机到用户的距离。在一个示例中，被投影的校准图案与在框506中使用的静态校准图案一样(例如，相同的几何形状和尺寸)。因此，如果在框506中使用的静态校准图案看起来像图6的校准图案600，则在框512中使用的被投影的校准图案也将看起来像校准图案600。
在框514中，由第一摄像机捕获被投影的校准图案的第一图像。由于第一摄像机和/或第一光源可能特有的静态畸变，因此，与图6的示例图像602类似，被投影的校准图案的第一图像可以按几何畸变的方式表现被投影的校准图案。
在框516中，确定在头戴式显示器中是否存在另外的摄像机。如上所述，HMD可以包括多个摄像机。如果在HMD中存在另外的摄像机，则方法500返回到框504并且选择HMD的下一摄像机。然后以上述方式对下一摄像机重复框506-514。
然而，如果在HMD中没有另外的摄像机，则方法500前进到框518。直到方法500到达框518时，它将能够访问多个图像。该多个图像至少包括由HMD的第一摄像机捕获的被投影的校准图案的第一图像(如上所述在框506-514的第一迭代中被捕获)以及由HMD的第二摄像机捕获的被投影的校准图案的第二图像(如上所述在框506-514的第二迭代中被捕获)，这里，第二摄像机不同于第一摄像机。被投影的校准图案的第一图像和第二图像是各摄像机畸变、各摄像机和对应光源之间的相对旋转和平移差、以及由于各摄像机的视场变化而引起的相对比例差的函数。
在框518中，多个图像被校正以匹配地面真值参考图案(例如，地面真值参考图案604)，由此彼此匹配。根据框518来校正图像涉及去除几何畸变、校正旋转和/或缩放图像，直到该图像匹配地面真值参考图案。
在框520中，从框518中的多个图像的校正导出多个静态变换。所述静态变换包括对多个图像执行的用于生成地面真值参考图案的数学运算。例如，再次参考图6，当校正看起来像图像602的被投影的参考图案的图像以匹配地面真值参考图案604时，可以导出一组静态变换606。例如根据方法400的框410，与各图像相关联的该组静态变换被存储用于捕获该图像的摄像机并在以后被使用。
方法500在框522结束。
图7示出用于头戴式显示器的摄像机的动态校准的示例方法700的流程图。可以例如根据方法400的框406执行方法700。
方法700在框702开始。在框704中，选择头戴式显示器的摄像机。如上所述，HMD可以包括多个摄像机。如下面进一步详细讨论的，可以对HMD的摄像机中的每一个执行方法700的框。因此，框704的初始迭代可以选择多个摄像机中的第一摄像机。然而，框704的后续迭代可以选择HMD的其它摄像机(例如，第二摄像机、第三摄像机等)。
在框706中，通过使用头戴式显示器的第一光源，被投影的校准图案被投影到用户面部的一部分上。在一个示例中，第一光源是与HMD的第一摄像机配对的光源(例如，红外LED)。因此，第一摄像机和第一光源可以被放置为使得第一摄像机能够捕获由第一光源投影的光的图像。
在一个示例中，被投影的校准图案与用于校正静态畸变(例如，根据方法500)的静态和被投影的校准图案一样(例如，相同的几何形状和尺寸)。因此，在框706中使用的被投影校准图案可以看起来像图6的校准图案600。
在框708中，由第一摄像机捕获被投影的校准图案的第一图像。由于第一摄像机和/或第一光源可能特有的静态和/或动态畸变，因此，与图6的示例图像602类似，被投影的校准图案的第一图像可能按几何畸变的方式表现被投影的校准图案。
在框710中，确定在头戴式显示器中是否存在另外的摄像机。如上所述，HMD可以包括多个摄像机。如果在HMD中有另外的摄像机，则方法700返回到框704并且选择HMD的下一摄像机。然后按上述方式对下一摄像机重复框706-708。
然而，如果在HMD中没有另外的摄像机，则方法700前进到框712。直到方法700到达框712时，它将访问多个图像。该多个图像至少包括由HMD的第一摄像机捕获的被投影的校准图案的第一图像(如上所述在框706-708的第一迭代中捕获的)以及由HMD的第二摄像机捕获的被投影的校准图案的第二图像(如上所述在框706-708的第二迭代中捕获的)，这里，第二摄像机不同于第一摄像机。
在框712中，通过使用与对应的摄像机相关联的静态变换组，多个图像被校正以匹配地面真值参考图案(例如，图6的地面真值参考图案604)。静态变换组可以根据诸如结合图5描述的处理被导出。根据框712校正图像涉及去除几何畸变、校正旋转和/或缩放图像，直到图像与地面真值参考图案匹配。
在框714中，从框712中的多个图像的校正导出多个动态变换。动态变换包括对多个图像执行以生成地面真值参考图案的数学运算。例如，根据方法400的框410，与各图像相关联的动态变换组被存储用于捕获该图像的摄像机并在以后被使用。
方法700在框716结束。
在一些示例中，可以使用与HMD的各摄像机相关联的光源以创建深度地图，该深度地图有助于校正由于深度感知的差异而导致的畸变。图像中的标志点的畸变可能随深度差而变化。在摄像机和用户之间的距离较大的***中，这种畸变通常可以忽略不计。然而，对于摄像机和用户之间的距离可能是几厘米(例如，2-3厘米)的HMD，这种畸变会被放大。因此，本公开的示例可以基于使用光源创建的深度地图来分割捕获的图像。该情况下的各分割可以在执行图像的后处理时对该分割中的所有像素利用相同的变换。
应当注意，尽管没有明确指定，但是上述方法200、400、500和700的框、功能或操作中的一些可以包括针对特定的应用而存储、显示和/或输出。换句话说，根据特定的应用，方法中讨论的任何数据、记录、字段和/或中间结果都可以存储、显示和/或输出到另一个设备。此外，图2、图4、图5和图7中的记载确定操作或者涉及决定的框、功能或操作未必意味着确定操作的两个分支都被实施。
图8示出装置800的示例。在一个示例中，装置800可以是装置100。在一个示例中，装置800可以包括处理器802和非暂态计算机可读存储介质804。非暂态计算机可读存储介质604可以包括当由处理器802执行时使得处理器802执行各种功能的指令806、808、810和812。
指令806可以包括通过使用头戴式显示器的光源将多个基准投影到穿戴头戴式显示器的用户面部上的指令。指令808可以包括通过使用头戴式显示器的第一摄像机捕获第一图像的指令，其中，第一图像表现面部的第一部分和所述多个基准的第一子集。指令810可以包括通过使用头戴式显示器的第二摄像机捕获第二图像的指令，其中，第二图像表现面部的第二部分和多个基准的第二子集，其中，第一图像和第二图像不重叠。指令812可以包括基于多个基准的第一子集的位置和多个基准的第二子集的位置，识别落在第一摄像机的第一视场和第二摄像机的第二视场之外的面部上的特征的空间坐标的指令。
应当理解，上述公开的变型以及其它特征和功能或其替代品可以组合成许多其它不同的***或应用。以后可能作出各种目前无法预见或无法预料的替代、修改或变更，这些替代、修改或变更也意在由所附权利要求包含在内。

Claims (14)

1.一种用于构建用户的面部的图像的装置，包括：
支撑件，被配置为放置于所述用户的头部附近；
光源，被安装到所述支撑件，其中，所述光源将多个基准投影到所述用户的面部上；
第一摄像机，被安装在所述支撑件上，并且被放置用于捕获所述用户的面部的第一图像，其中，所述第一图像表现所述面部的第一部分和所述多个基准的第一子集；
第二摄像机，被安装在所述支撑件上，并且被放置用于捕获所述用户的面部的第二图像，所述第二图像与所述第一图像不重叠，其中，所述第二图像表现所述面部的第二部分和所述多个基准的第二子集；以及
处理器，被安装到所述支撑件，并且被编程用于：通过在所述第一子集的至少一个基准和所述第二子集的至少一个基准之间建立对应关系，将所述第一图像和所述第二图像拼接在一起，以构建所述用户的面部的图像。
2.根据权利要求1所述的装置，其中，所述第一摄像机和所述第二摄像机被安装在所述支撑件的向内侧。
3.一种用于构建用户的面部的图像的方法，包括：
使用显示器的光源，将多个基准投影到正在使用所述显示器的所述用户的面部上；
使用所述显示器的第一摄像机捕获第一图像，其中，所述第一图像表现所述面部的第一部分和所述多个基准的第一子集；
使用所述显示器的第二摄像机捕获第二图像，其中，所述第二图像表现所述面部的第二部分和所述多个基准的第二子集，其中，所述第一图像和所述第二图像不重叠；以及
基于所述多个基准的所述第一子集的位置和所述多个基准的所述第二子集的位置，识别所述面部上的落在所述第一摄像机的第一视场和所述第二摄像机的第二视场之外的特征的空间坐标。
4.根据权利要求3所述的方法，还包括：
通过在所述第一子集的至少一个基准和所述第二子集的至少一个基准之间建立对应关系，将所述第一图像和所述第二图像拼接在一起以构建所述面部的单个图像。
5.根据权利要求3所述的方法，其中，所述第一摄像机和所述第二摄像机之间的几何间隔在所述投影之前是已知的。
6.根据权利要求3所述的方法，还包括：
在所述第一图像的像素和所述第二图像的像素之间插值；以及
基于所述插值，生成第三图像以填充所述第一图像和所述第二图像之间的间隙。
7.根据权利要求3所述的方法，还包括：
在所述投影之前，校准所述第一摄像机和所述第二摄像机以针对静态畸变进行校正。
8.根据权利要求7所述的方法，其中，所述校准包括：
导出针对所述第一摄像机的第一组静态变换和针对所述第二摄像机的第二组静态变换。
9.根据权利要求8所述的方法，其中，所述导出包括：
使用所述显示器的所述光源，将已知图案投射到表面上；
使用所述第一摄像机，捕获所述表面上的所述已知图案的第一图像；
使用所述第二摄像机，捕获所述表面上的所述已知图案的第二图像；
基于对所述已知图案的认知，校正所述第一图像中的几何畸变，其中，对所述第一图像中的几何畸变的校正成为所述第一组静态变换；以及
基于对所述已知图案的认知，校正所述第二图像中的几何畸变，其中，对所述第二图像中的几何畸变的校正成为所述第二组静态变换。
10.根据权利要求7所述的方法，还包括：
在校准以针对静态畸变进行校正之后以及在所述投影之前，校准所述第一摄像机和所述第二摄像机以针对动态畸变进行校正。
11.根据权利要求10所述的方法，其中，所述校准包括：
导出针对所述第一摄像机的第一组动态变换和针对所述第二摄像机的第二组动态变换。
12.根据权利要求11所述的方法，其中，所述导出包括：
使用所述显示器的所述光源，将已知图案投射到表面上；
使用所述第一摄像机，捕获所述表面上的所述已知图案的第一图像；
使用所述第二摄像机，捕获所述表面上的所述已知图案的第二图像；
基于对所述已知图案的认知，校正所述第一图像中的几何畸变，其中，对所述第一图像中的几何畸变的校正成为所述第一组静态变换；以及
基于对所述已知图案的认知，校正所述第二图像中的几何畸变，其中，对所述第二图像中的几何畸变的校正成为所述第二组静态变换。
13.一种非暂态机器可读存储介质，被用处理器可执行的指令编码，该机器可读存储介质包括：
使用显示器的光源，将多个基准投影到正在使用所述显示器的用户的面部上的指令；
使用所述显示器的第一摄像机捕获第一图像的指令，其中，所述第一图像表现所述面部的第一部分和所述多个基准的第一子集；
使用所述显示器的第二摄像机捕获第二图像的指令，其中，所述第二图像表现所述面部的第二部分和所述多个基准的第二子集，其中，所述第一图像和所述第二图像不重叠；以及
基于所述多个基准的所述第一子集的位置和所述多个基准的所述第二子集的位置，识别所述面部上的落在所述第一摄像机的第一视场和所述第二摄像机的第二视场之外的特征的空间坐标的指令。
14.根据权利要求13所述的非暂态机器可读存储介质，其中，所述指令还包括：
通过在所述第一子集的至少一个基准和所述第二子集的至少一个基准之间建立对应关系，将所述第一图像和所述第二图像拼接在一起以构建所述面部的单个图像的指令。
CN201880070253.2A 2018-02-06 2018-02-06 用于构建用户面部图像的装置和方法以及介质 Active CN111279390B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/016985 WO2019156651A1 (en) 2018-02-06 2018-02-06 Constructing images of users' faces by stitching non-overlapping images

Publications (2)

Publication Number Publication Date
CN111279390A CN111279390A (zh) 2020-06-12
CN111279390B true CN111279390B (zh) 2023-11-07

Family

ID=67549517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070253.2A Active CN111279390B (zh) 2018-02-06 2018-02-06 用于构建用户面部图像的装置和方法以及介质

Country Status (4)

Country Link
US (2) US11228709B2 (zh)
EP (1) EP3682420A4 (zh)
CN (1) CN111279390B (zh)
WO (1) WO2019156651A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11571786B2 (en) * 2018-03-13 2023-02-07 Applied Materials, Inc. Consumable part monitoring in chemical mechanical polisher
WO2020142589A1 (en) * 2019-01-04 2020-07-09 Gopro, Inc. Face detection in spherical images
CN113365037B (zh) * 2020-03-06 2023-05-23 中强光电股份有限公司 特征表面投影***及特征表面的投影方法
CN114511443A (zh) * 2020-10-29 2022-05-17 北京中祥英科技有限公司 图像处理、图像识别网络训练和图像识别的方法及装置
US20230007182A1 (en) * 2021-07-02 2023-01-05 Genesys Logic, Inc. Image controller, image processing system and image correcting method
CN116400495B (zh) * 2023-03-16 2024-02-23 金陵科技学院 一种基于run优化算法的波前校正***
CN117612070B (zh) * 2024-01-19 2024-05-03 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
CN101299270A (zh) * 2008-05-27 2008-11-05 东南大学 三维扫描***中的多个摄像机同步快速标定方法
CN103152518A (zh) * 2011-12-01 2013-06-12 索尼公司 图像处理***和方法
CN103179339A (zh) * 2011-12-01 2013-06-26 索尼公司 图像处理***和方法
CN103270540A (zh) * 2010-12-30 2013-08-28 派尔高公司 使用摄像机网络跟踪运动对象
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US8659668B2 (en) * 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7740361B2 (en) 2006-04-21 2010-06-22 Mersive Technologies, Inc. Alignment optimization in image display systems employing multi-camera image acquisition
US20140043329A1 (en) 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
GB2534580B (en) 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
DE112016004437T5 (de) 2015-09-29 2018-07-05 BinaryVR, Inc. Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit
US10684674B2 (en) * 2016-04-01 2020-06-16 Facebook Technologies, Llc Tracking portions of a user's face uncovered by a head mounted display worn by the user

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
CN101299270A (zh) * 2008-05-27 2008-11-05 东南大学 三维扫描***中的多个摄像机同步快速标定方法
CN103270540A (zh) * 2010-12-30 2013-08-28 派尔高公司 使用摄像机网络跟踪运动对象
CN103152518A (zh) * 2011-12-01 2013-06-12 索尼公司 图像处理***和方法
CN103179339A (zh) * 2011-12-01 2013-06-26 索尼公司 图像处理***和方法
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム

Also Published As

Publication number Publication date
EP3682420A4 (en) 2021-05-05
CN111279390A (zh) 2020-06-12
EP3682420A1 (en) 2020-07-22
WO2019156651A1 (en) 2019-08-15
US11228709B2 (en) 2022-01-18
US20220132037A1 (en) 2022-04-28
US20210289134A1 (en) 2021-09-16
US11727544B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111279390B (zh) 用于构建用户面部图像的装置和方法以及介质
US11386572B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
US10482663B2 (en) Virtual cues for augmented-reality pose alignment
US10424117B2 (en) Controlling a display of a head-mounted display device
EP3321885B1 (en) Computer program and head-mounted display device
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
US7928977B2 (en) Image compositing method and apparatus for superimposing a computer graphics image on an actually-sensed image
US10235806B2 (en) Depth and chroma information based coalescence of real world and virtual world images
KR20160121798A (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
US11156843B2 (en) End-to-end artificial reality calibration testing
WO2021146035A1 (en) Compensation for deformation in head mounted display systems
WO2018072491A1 (zh) 一种图像生成方法、装置以及计算机可执行非易失性存储介质
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
JP2022539603A (ja) ディスプレイシステム較正のための眼球カメラシステムおよび方法
US20220060680A1 (en) Head mounted display apparatus
JP6701694B2 (ja) 頭部装着型表示装置およびコンピュータープログラム
CN110662012A (zh) 一种裸眼3d显示效果优化的排图方法、***及电子设备
Cutolo et al. Optical see-through head-mounted displays with short focal distance: Conditions for mitigating parallax-related registration error
US10248842B1 (en) Face tracking using structured light within a head-mounted display
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN113589533A (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
US11232588B2 (en) Information processing apparatus and device information derivation method
JP2011081630A (ja) 画像生成装置、画像生成方法、および、プログラム
CN109644259A (zh) 三维影像预处理方法、装置及头戴显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant