CN116547719A - 传感器仿真 - Google Patents

传感器仿真 Download PDF

Info

Publication number
CN116547719A
CN116547719A CN202180078957.6A CN202180078957A CN116547719A CN 116547719 A CN116547719 A CN 116547719A CN 202180078957 A CN202180078957 A CN 202180078957A CN 116547719 A CN116547719 A CN 116547719A
Authority
CN
China
Prior art keywords
image sensor
hmd
image
implementations
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180078957.6A
Other languages
English (en)
Inventor
J·S·诺里斯
B·M·索梅
O·古特克内希特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116547719A publication Critical patent/CN116547719A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文所公开的各种具体实施包括能够在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上执行应用程序的设备、***和方法。在一些具体实施中，该应用程序被配置用于在包括呈不同于该第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行。在一些具体实施中，从该执行应用程序接收对来自该第二图像传感器的图像数据的请求。响应于该请求，在该HMD处，确定虚拟图像传感器的姿势，基于该虚拟图像传感器的该姿势生成图像数据，并且将所生成图像数据提供给该执行应用程序。

Description

传感器仿真
技术领域
本公开整体涉及在电子设备上提供图像内容，并且具体地，涉及基于图像传感器仿真提供图像的***、方法和设备。
背景技术
电子设备具有不同的图像传感器配置。例如，通常意图在用户面部前方几英寸到几英尺处使用的移动设备可具有意图在用户正使用该设备时捕获用户图像的前置相机。不意图以相同方式使用的其他设备，诸如头戴式设备(HMD)，可不具有捕获类似的用户图像的前置相机。设计用于在第一类型的设备上执行的应用程序可在另一类型的设备上(例如，经由仿真器)执行。然而，应用程序的请求和与图像传感器的其他交互可能由于不同类型的设备之间的配置差异而不提供期望的结果。例如，在于不具有在用户前方几英寸到几英尺处面向用户的前置相机的设备(例如，HMD)上仿真应用程序的情况下，对来自预期以此方式使用的前置相机的图像的请求可能不提供期望的结果。
发明内容
本文所公开的各种具体实施包括在具有第一图像传感器配置的设备上(例如，经由仿真器)执行应用程序的设备、***和方法，其中该应用程序意图用于具有第二图像传感器配置的设备。例如，应用程序可意图用于在具有通常在用户前方几英寸到几英尺处使用且面向用户的前置相机的移动设备上执行，并且可在具有不同图像传感器配置的设备(诸如不具有意图在用户前方几英寸到几英尺处使用且面向用户的前置相机的设备)上使用。在一些具体实施中，此种执行涉及：通过根据虚拟图像传感器姿势修改执行设备自己的图像传感器数据来对应用程序的对前置和后置相机馈送的请求作出响应。例如，应用程序可包括对移动设备的前置相机馈送的请求，并且对此种请求的响应可通过仿真前置图像传感器馈送来在具有不同图像传感器配置的设备上提供。例如，这涉及从在用户前方几英寸到几英尺处且面向用户的视点提供用户的表示的自拍视图。又如，应用程序可请求移动设备的后置相机馈送，并且响应可通过从在用户前方几英寸到几英尺处且背对用户的虚拟设备的位置提供环境的视图来提供。
本文所公开的各种具体实施包括在具有呈第一图像传感器配置的第一图像传感器的设备上实现呈第二不同图像传感器配置的虚拟第二图像传感器的设备、***及方法。在一些具体实施中，包括向外、向内或向下图像传感器的HMD实现虚拟前置图像传感器或虚拟后置图像传感器以生成前置图像传感器数据或后置图像传感器数据以用于正在HMD上执行的应用程序。在一些具体实施中，HMD通过根据虚拟图像传感器姿势修改HMD的图像传感器数据来对来自执行应用程序的对前置和后置相机馈送的请求作出响应。例如，HMD可仿真前置设备相机以提供HMD用户的表示(例如，照片般逼真的化身)的“自拍”视图。又如，HMD可仿真后置设备相机以从在HMD用户前方几英尺处的虚拟图像传感器的位置提供物理环境或扩展现实(XR)环境的图像传感器馈送。在一些具体实施中，图像传感器馈送可以是静止图像、图像序列、视频等。
在一些具体实施中，HMD执行寻求通常在智能电话、平板电脑等上可用的前置相机馈送的应用程序。在此情况下，HMD可在XR环境(例如，MR、VR等)中自动创建虚拟图像传感器，该虚拟图像传感器提供自拍图片或流式传输HMD用户的化身的自拍视图以用于该应用程序。在一些具体实施中，虚拟前置图像传感器对HMD用户表现为HMD用户可围绕HMD用户自由定位(例如，在3D空间中)的在XR环境中定位在HMD用户前方的相机的3D模型。在一些具体实施中，虚拟相机的3D模型在HMD用户前方浮动且被呈现为具有其自己的附接预览，使得HMD用户知道或查看到浮动3D相机模型正在“看”的事物。在一些具体实施中，HMD从在线或云应用商店下载应用程序且在不修改的情况下执行应用程序。
在一些具体实施中，一种方法包括：在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上执行应用程序，该应用程序被配置用于在包括呈不同于第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行。在一些具体实施中，从执行应用程序接收对来自呈第二图像传感器配置的第二图像传感器的图像数据的请求。在一些具体实施中，响应于请求，确定虚拟图像传感器的姿势，基于虚拟图像传感器的姿势和来自第一图像传感器的图像数据生成图像数据，并且将所生成图像数据提供给执行应用程序。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作环境的图示。
图2是根据一些具体实施的示例性电子设备的图示。
图3是示出示例性环境的框图。
图4是示出根据一些具体实施的在图3的环境中捕获帧序列中的帧的移动设备的框图。
图5至图7是示出根据一些具体实施的基于物理环境的包括虚拟图像传感器的3D表示的XR环境的图示。
图8是示出根据一些具体实施的在具有呈第一图像传感器配置的第一图像传感器的HMD上生成呈第二不同图像传感器配置的第二图像传感器的图像数据的示例性方法的流程图。
图9示出根据一些具体实施的示例性HMD的框图。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
图1示出了在物理环境105中使用电子设备120的示例性操作环境100。人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。
在图1的示例中，设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如，设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备120由用户穿戴。例如，设备120可以是手表、HMD等。在一些具体实施中，设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。
在一些具体实施中，设备120被配置为管理和协调用户115的XR环境。在一些具体实施中，包括呈第一图像传感器配置的第一图像传感器的HMD使用来自第一图像传感器的图像数据来生成对应于呈第二不同图像传感器配置的第二图像传感器的图像数据。
根据一些具体实施，当用户115出现在物理环境105内时，电子设备120向用户115呈现XR环境。人可使用电子设备120与完全或部分模拟的XR环境交互和/或感知完全或部分模拟的XR环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR***，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR***可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR***可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR***可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。
许多不同类型的电子***可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式***、基于投影的***、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入***(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式***可具有不透明显示器和一个或多个扬声器。其它头戴式***可被配置为接受不透明外部显示器(例如，智能电话)。头戴式***可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的***可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影***也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。
图2是示例性设备200的框图。设备200示出了设备120的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备200包括一个或多个处理单元202(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器206、一个或多个通信接口208(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口210、一个或多个显示器212、一个或多个面向内部或面向外部的图像传感器***214、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中，该一条或多条通信总线204包括互连***部件和控制***部件之间的通信的电路***。在一些具体实施中，该一个或多个I/O设备及传感器206包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些具体实施中，一个或多个显示器212被配置为向用户呈现内容。在一些具体实施中，一个或多个显示器212对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)或类似显示器类型。在一些具体实施中，一个或多个显示器212对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备200可包括单个显示器。又如，电子设备200包括针对用户的每只眼睛的显示器。
在一些具体实施中，一个或多个面向内部或面向外部的传感器***214包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。该一个或多个图像传感器***214可以包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机或者基于事件的相机等。在各种具体实施中，该一个或多个图像传感器***214还包括发射光的照明源，诸如闪光灯。在一些具体实施中，该一个或多个图像传感器***214还包括相机上图像信号处理器(ISP)，其被配置为对图像数据执行多个处理操作。
存储器220包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。
在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储可选的操作***230和一个或多个指令集240。操作***230包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集240包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集240是能够由一个或多个处理单元202执行以实施本文所述技术中的一种或多种的软件。
在一些具体实施中，指令集240包括虚拟传感器生成器242，该虚拟传感器生成器可由处理单元202执行以根据本文所公开的技术中的一种或多种技术确定给定电子设备的传感器类型的特征。在一些具体实施中，虚拟传感器生成器242被执行以确定所请求图像传感器类型(例如，移动电子设备的前置或后置RGB或RGB-D图像传感器)输出的姿势和数据。
在一些具体实施中，指令集240包括传感器数据调节器244，该传感器数据调节器可由处理单元202执行以根据本文所公开的技术中的一种或多种技术生成对应于不同传感器类型或配置的图像数据。在一些具体实施中，传感器数据调节器244根据本文所公开的技术中的一种或多种技术修改来自面向内部或外部的传感器***214或传感器206的数据以生成对应于虚拟图像传感器(例如，不同传感器类型或配置)的图像数据。在一些具体实施中，传感器数据调节器244被执行以修改例如面向内部或外部的传感器***214捕获的物理环境的图像或深度数据，以根据虚拟定位在对应XR环境中的不同传感器类型的特征和当前姿势来提供图像或深度数据。
尽管指令集240被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。图2更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
本文所公开的各种具体实施包括在具有呈第一图像传感器配置的第一图像传感器的HMD上生成对应于呈第二不同图像传感器配置的第二图像传感器的数据的设备、***和方法。在一些具体实施中，HMD使用向外、向内或向下图像传感器数据来对应于前置图像传感器或后置图像传感器的数据以用于正在HMD上执行的应用程序。在一些具体实施中，HMD通过根据虚拟图像传感器姿势修改HMD的图像传感器数据来对对前置和后置图像传感器(例如，相机)馈送的请求作出响应。例如，HMD可仿真前置设备图像传感器(例如，智能电话、平板电脑等的显示器侧的图像传感器)以提供HMD用户的表示(例如，照片般逼真的化身)的“自拍”视图。又如，HMD可仿真后置设备图像传感器(例如，与智能电话、平板电脑等的显示器侧相背的图像传感器)以从在HMD用户前方几英尺处的虚拟图像传感器的位置提供环境的视图。在一些具体实施中，图像传感器馈送可以是静止图像、图像序列、视频等。
在一些具体实施中，HMD执行寻求通常在智能电话、平板电脑等上可用的前置图像传感器馈送的应用程序。在此情况下，HMD可在XR环境中自动创建虚拟图像传感器，该虚拟图像传感器提供自拍图片或替代地将HMD用户的化身的自拍视图流式传输到应用程序中。在一些具体实施中，虚拟图像传感器对HMD用户表现为HMD用户可围绕HMD用户自由定位(例如，在3D空间中)的在XR环境中在用户前方浮动的图像传感器的3D模型。在一些具体实施中，在XR环境中在HMD用户前方浮动的图像传感器的3D模型被呈现为具有其自己的附接预览，使得HMD用户知道或查看到浮动3D图像传感器模型正在“看”的事物。在一些具体实施中，HMD从在线或云应用商店下载应用程序。在一些具体实施中，HMD从在线或云应用商店下载应用程序且在不修改的情况下执行应用程序。
在一些具体实施中，HMD前置虚拟图像传感器可由在HMD处操作的硬件或软件自动控制，使得当HMD用户(例如，化身)选择、观看或指向HMD用户的XR环境中的某物时，前置虚拟图像传感器可缩小或以其他方式调节图像传感器馈送以将化身连同所选择、查看或指向的任何事物一起捕获。
在一些具体实施中，HMD执行寻求通常在智能电话、平板电脑、移动电子设备等上可用的后置图像传感器的应用程序。在此情况下，HMD可提供虚拟图像传感器的包括虚拟图像传感器所看到的任何虚拟内容的视角，或HMD可向应用程序提供上文所述的示出虚拟前置图像传感器的相反方向的图像传感器馈送(例如，HMD用户的化身的自拍视图)。在一些具体实施中，当应用程序请求后置图像传感器时，HMD可在XR环境中提供手持式图像传感器的等效物。在一些具体实施中，当应用程序请求与从HMD用户的头部(或从HMD的面向外的图像传感器)发出的射线对准的后置图像传感器时，HMD可提供示出视频透传的图像传感器馈送。在一些具体实施中，当应用程序请求不与从HMD用户的头部发出的射线对准的后置图像传感器时，HMD可提供示出场景或XR环境中的虚拟内容的图像数据。
例如，当HMD执行视频会议应用程序时，HMD用户在视频通话中将表现为HMD用户的化身。在视频会议应用程序中的一些具体实施中，HMD用户还可向视频会议通话中的其他人示出物理环境中的HMD用户的化身以及HMD用户在XR环境中正在使用或查看的任何虚拟内容。在不同应用程序(例如，视频会议应用程序)中的一些具体实施中，HMD用户的化身可与对应音频唇形同步。在不同应用程序中的一些具体实施中，HMD用户的化身可以是照片般逼真的。
又如，当HMD执行社交媒体应用程序时，HMD用户可对HMD用户在XR环境中看到的内容进行“图片拍摄”或“视频拍摄”，或者让HMD用户在XR环境中自拍，并且将图片/视频张贴到对应社交媒体服务/站点或HMD用户在其中登记的远程可访问服务/站点。在一些具体实施中，图片或视频可在上传之前应用过滤器等。在一些具体实施中，HMD可执行独立图像过滤应用程序(例如，美容建模应用程序、漫画应用程序等)。
又如，当HMD执行寻求前置或后置图像传感器流的各种应用程序时，可使用默认视角来实现每个应用程序，该默认视角随后可(例如，由HMD用户)手动或自动调节。
在一些具体实施中，表示所请求图像传感器(例如，前置图像传感器、后置图像传感器等)中的任何所请求图像传感器的虚拟图像传感器可用于生成来自虚拟图像传感器的视角的图像数据，该图像数据包含HMD的物理图像传感器捕获的图像数据、HMD的物理图像传感器捕获的图像数据的经修改版本、来自XR环境的虚拟内容或它们的组合。
参考图3，物理环境305包括第一用户正在使用的第一电子设备320和第二用户正在使用的第二电子设备325。在该示例中，环境305是包括图画330的房间。两个设备320、325可单独操作或与未示出的附加设备进行交互，以捕获环境的图像、检测或跟踪那些图像中的对象，或者基于图像和所检测/跟踪的对象来呈现XR内容。两个设备320、325中的每个设备可无线地或经由有线连接与单独的控制器(未示出)通信以执行一个或多个功能。类似地，两个设备320、325中的每个设备可存储可用于XR环境的信息，或者可与存储该信息的独立设备诸如服务器或其他计算设备通信。
在一些具体实施中，设备诸如设备325是第二用户佩戴的HMD。在一些具体实施中，设备诸如第一设备320是被配置为向第一用户呈现XR环境的手持式电子设备(例如，智能电话或平板电脑)。第一设备320和第二设备325各自被配置为使用基于图像传感器或其他传感器检测到的图像或其他真实世界信息来提供XR环境。
在一些具体实施中，第一设备320或第二设备325使得用户能够改变视点或以其他方式修改XR环境或与XR环境交互。在一些具体实施中，第一设备320或第二设备325被配置为接收与所显示的XR内容交互的用户输入。例如，可在XR内容中呈现虚拟对象，诸如真实世界的人或对象的3D表示，或各自具有交互式命令的信息显示。用户可通过在相应设备上或以其他方式使用相应设备提供用户输入来相对于所描绘的真实对象重新定位虚拟对象或信息显示，或者与交互式命令进行交互。
图4是根据一些具体实施的在显示器310中显示基于图3的物理环境305的XR环境400的第一设备320或第二设备325的框图。例如，当执行物理环境305中的应用程序时，XR环境400可从由第一设备320或第二设备325捕获的帧序列中的帧生成。如图4所示，第一设备320或第二设备325显示包括图画330的描绘430和虚拟内容440的XR环境400。在一些具体实施中，XR环境400由第一设备320和第二设备325共享。
图5是示出根据一些具体实施的基于物理环境的包括虚拟图像传感器的3D表示的XR环境的图示。如图5所示，根据一些具体实施，HMD设备525基于物理环境505来显示XR环境500。例如，当执行物理环境505中的应用程序时，可从由HMD 525捕获的帧序列中的帧生成XR环境500。如图5所示，HMD 525使用显示器510诸如光学透视显示器来显示XR环境500。
在一些具体实施中，HMD 525包括第一配置的图像传感器545。在一些具体实施中，第一配置的图像传感器545包括面向外、面向内和/或面向下的图像传感器的阵列。在一些具体实施中，HMD 525的面向外的图像传感器的阵列提供围绕HMD 525的用户515的360°视图或小于360°视图。在一些具体实施中，HMD 525的面向内的图像传感器的阵列提供HMD用户515的面部(例如，注视方向、面部表情、眼睛的生理特征等)或面部的一部分的视图。在一些具体实施中，HMD 525的面向下的图像传感器的阵列提供HMD用户515的躯干、手臂、手和脚的视图。
在一些具体实施中，HMD 525执行请求或使用通常在智能电话设备、平板设备等上可用的一个或多个图像传感器(例如，前置图像传感器、后置图像传感器等)的应用程序。这可例如在HMD 525仿真被创建以在与HMD 525具有不同的传感器或不同的传感器配置的不同设备(例如，智能电话设备、平板设备等)上执行的应用程序时发生。在一些具体实施中，HMD 525使用来自图像传感器545的图像数据生成来自虚拟图像传感器(例如，前置或后置图像传感器)的图像、图像序列或视频以用于在HMD 525上执行的当前应用程序。在一些具体实施中，HMD 525以执行应用程序所请求的形式或格式提供虚拟图像传感器馈送。因此，在一些具体实施中，在HMD 525上执行的应用程序当在HMD 525上运行时不被修改，即使HMD525不包括所请求图像传感器(例如，前置图像传感器或后置图像传感器)也是如此。在一些具体实施中，在HMD 525上执行的应用程序是图像处理应用程序。
在一些具体实施中，HMD 525向HMD用户515显示在XR环境中在HMD 545上执行的应用程序请求的类型的虚拟图像传感器的2D或3D模型。在一些具体实施中，HMD 525向HMD用户515显示包括在HMD 545上执行的应用程序请求的类型的虚拟图像传感器的完整电子设备的2D或3D模型。在一些具体实施中，HMD 525向HMD用户515显示表示在HMD 545上执行的应用程序请求的类型的虚拟图像传感器的虚拟对象的2D/3D模型。例如，HMD 525可显示应用程序的包含图像数据的2D或3D表示，该图像数据将由应用程序在于预期设备上执行时显示。此2D或3D表示可与应用程序请求的类型的虚拟图像传感器共同定位。
如图5所示，在HMD 525上执行的应用程序请求来自平板电子设备的前置图像传感器的图像数据。在一些具体实施中，HMD 525通过修改来自图像传感器545的图像数据以实现虚拟前置图像传感器或虚拟前置图像传感器的图像数据来对执行应用程序请求的平板电子设备的前置图像传感器图像数据作出响应。如图5所示，HMD 525通过向HMD用户515显示为虚拟平板设备550的3D模型来对执行应用程序请求的图像数据作出响应。在一些具体实施中，虚拟平板设备550包括在XR环境500的一部分中呈现的前置图像传感器和后置图像传感器。如图5所示，虚拟平板设备550至少包括显示器551、主页按钮552、前置图像传感器553、后置图像传感器554、操作者控件555和输入/输出端口556。
在一些具体实施中，HMD 525提供虚拟平板设备550的默认姿势(例如，位置和取向)。在一些具体实施中，虚拟平板设备550的默认姿势为平胸，在HMD用户515前方2英尺处。在一些具体实施中，虚拟平板设备550的默认姿势是基于在HMD 525上执行的应用程序。因此，来自虚拟平板设备550的前置图像传感器图像数据的默认姿势对于在HMD 525上执行的视频电话通话应用程序、视频会议应用程序、以及“自拍”应用程序是不同的。例如，“自拍”应用程序的默认姿势是从45°角度向下观看HMD用户515的视角视图。
在一些具体实施中，HMD用户515可在XR环境500中自由定位虚拟平板设备550或虚拟前置图像传感器553(例如，在3D空间中)。在一些具体实施中，虚拟平板设备550通过与HMD用户515的手共同定位来定位。在一些具体实施中，虚拟平板设备550通过HMD用户515的动作(例如，注视)或操作者命令来定位。在一些具体实施中，虚拟平板设备550基于当前在HMD 525上执行的应用程序自动定位。在一些具体实施中，虚拟平板设备550或虚拟图像传感器表示可自动控制(例如，定位、定向、缩放等)，使得HMD用户515(例如，化身)的面部、肩部和头部、整个身体等保持在虚拟图像传感器553、554的视场(FOV)中。例如，虚拟图像传感器553可自动控制，使得当HMD用户515拾起或拿起对象时，虚拟图像传感器553缩小或以其他方式调节以将化身连同对象一起保持在虚拟图像传感器553的FOV中。
在一些具体实施中，当HMD 525确实具有捕获如虚拟图像传感器553将观看到的用户或物理环境的视图的图像传感器时，HMD 525可向应用程序提供来自虚拟图像传感器553的视角的仅包含来自XR环境的虚拟内容的图像数据。在一些具体实施中，虚拟内容可包括用户515的化身表示。化身表示可基于HMD 525的图像传感器(诸如面向内或面向下的图像传感器)捕捉的图像生成。在其中HMD 525确实具有捕获如虚拟图像传感器553将观看到的用户或物理环境的视图的图像传感器的一些具体实施中，HMD 525可向应用程序提供基于图像传感器捕获的图像生成的图像数据。例如，可使用视点校正技术来使所捕获的用户或物理环境的图像扭曲，以使得图像看起来好像它们是使用虚拟图像传感器的姿势而非HMD525上的物理图像传感器捕获的。
图6是示出根据一些具体实施的基于物理环境的包括虚拟图像传感器的表示的XR环境的图示。在一些具体实施中，HMD 525向HMD用户515显示表示在HMD 545上执行的应用程序请求的类型的虚拟图像传感器的对象的2D/3D模型。如图6所示，根据一些具体实施，HMD 525通过向HMD用户515显示表示前置图像传感器的2D图像传感器表示560来对执行应用程序请求的前置图像传感器馈送作出响应。
在一些具体实施中，将表示虚拟图像传感器的2D图像传感器表示560与对应预览570(例如，图像、视频)一起呈现给HMD用户515，使得HMD用户515知道或查看到2D图像传感器表示560所表示的前置虚拟图像传感器正在“看”的事物。如图6所示，附接预览570示出表示HMD用户515的化身575。在一些具体实施中，化身575可跟踪HMD用户515的面部表情。在一些具体实施中，化身575是HMD用户515的照片般逼真的化身。
图7是示出根据一些具体实施的基于物理环境的包括虚拟图像传感器的3D表示的XR环境的图示。如图7所示，根据一些具体实施，HMD设备525基于物理环境505显示XR环境500，该XR环境包括具有后置图像传感器554的3D模型虚拟平板设备550。如图7所示，在HMD525上执行的应用程序请求在智能电话、平板电脑等上可用的后置图像传感器的图像数据。在此情况下，根据一些具体实施，HMD 525提供虚拟后置图像传感器554视图，该视图是HMD用户515的包括HMD用户515看到的任何虚拟内容的第一人称视角。另选地，在此情况下中，HMD 525提供从后置图像传感器554的位置拍摄的虚拟后置图像传感器馈送，该虚拟后置图像传感器馈送示出虚拟前置图像传感器553(例如，HMD用户的化身的自拍视图)的相反方向。在一些具体实施中，当应用程序请求来自后置图像传感器的图像数据时，HMD 525可在XR环境500中提供手持式后置图像传感器表示的虚拟后置图像传感器554等效物。在一些具体实施中，HMD 525可将虚拟后置图像传感器表示为在XR环境500中呈现的2D/3D虚拟对象，该2D/3D虚拟对象可由HMD用户515手动或自动定位和控制。
在一些具体实施中，虚拟后置图像传感器554与对应预览580(例如，图像、视频)一起呈现给HMD用户515，使得HMD用户515知道或查看到虚拟后置图像传感器554正在“看”的事物。如图7所示，附接预览580示出XR环境550的HMD用户515的包括图画330的描绘430和虚拟对象730(例如，图片)的第一人称视角。
在一些具体实施中，当应用程序在后置图像传感器与从HMD用户515的头部或从HMD 525的面向外的图像传感器发出的射线对准时请求图像数据时，HMD 525可提供示出图像数据或视频透传的虚拟图像传感器馈送。在这些具体实施中，可使来自HMD 525的面向外的图像传感器的图像数据或视频透传扭曲以执行视点校正以考虑HMD 525的面向外的图像传感器和虚拟后置图像传感器之间的姿势差异。在一些具体实施中，虚拟图像传感器馈送还可包括如虚拟后置图像传感器观看到的XR环境500中的虚拟内容。在一些具体实施中，当应用程序在后置图像传感器未与从HMD用户515的头部或从HMD 525的面向外的图像传感器发出的射线对准时请求图像数据时，HMD 525可提供示出如虚拟后置图像传感器观看到的XR环境500中的虚拟内容的虚拟图像传感器馈送。在一些具体实施中，当应用程序请求来自虚拟后置图像传感器的图像数据时，HMD 525可将虚拟后置图像传感器554的姿势限制到允许视频透传的位置。
在一些具体实施中，HMD 525从在线或云应用程序站点或商店下载请求图像数据的应用程序。在一些具体实施中，HMD 525从在线或云应用程序站点下载应用程序且在不修改的情况下执行应用程序。
图8是示出根据一些具体实施的在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上仿真呈不同于第一图像传感器配置的第二图像传感器配置的第二图像传感器的示例性方法的流程图。在一些具体实施中，HMD执行请求来自图像传感器(例如，前置图像传感器或后置图像传感器)的图像数据的应用程序。在一些具体实施中，HMD通过基于虚拟图像传感器姿势生成图像数据(例如，修改HMD的图像传感器数据)来对对图像传感器馈送(例如，前置和后置图像传感器)的请求作出响应。例如，HMD可仿真前置设备图像传感器以提供HMD用户的表示(例如，照片般逼真的化身)的自拍视图。又如，HMD可仿真后置设备图像传感器以从在用户前方几英尺处且背对用户的虚拟图像传感器的位置提供环境的视图。在一些具体实施中，方法800由设备(例如，图1至图2的电子设备120、200)执行。可使用电子设备或由彼此通信的多个设备来执行方法800。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
如上所述，基于HMD是否具有捕获如将虚拟图像传感器将观看到的用户或物理环境的视图的图像传感器，使用所仿真虚拟图像传感器生成来自虚拟图像传感器的角视角的图像数据，该图像数据包含HMD的物理图像传感器捕获的图像数据、HMD的物理图像传感器捕获的图像数据的经修改版本、来自XR环境的虚拟内容或它们的组合。
在框810处，方法800在具有呈第一图像传感器配置的第一图像传感器的HMD上执行应用程序，该应用程序被配置用于在包括呈不同于第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行。在一些具体实施中，HMD执行请求来自前置或后置图像传感器的图像数据的应用程序。在一些具体实施中，HMD不具有前置或后置图像传感器，或不具有呈应用程序所预期配置的前置或后置图像传感器。在一些具体实施中，HMD的第一图像传感器包括面向外、面向内及面向下的图像传感器的阵列。在一些具体实施中，HMD的面向外的图像传感器的阵列提供围绕HMD用户的360°视图。在一些具体实施中，HMD的面向外的图像传感器的阵列提供围绕用户的或小于360°视图，诸如HMD用户前方的70°至90°视图。在一些具体实施中，HMD的面向内的图像传感器的阵列提供HMD用户的面部(例如，注视方向、面部表情、眼睛的生理特征等)或面部的一部分的视图。在一些具体实施中，HMD的面向下的图像传感器的阵列提供HMD用户的躯干、手臂、手和脚的视图。在一些具体实施中，HMD中的至少一个处理器操作以使用HMD上的传感器来提供所请求图像数据。
在框820处，方法800从执行应用程序接收对来自呈第二图像传感器配置的第二图像传感器的图像数据的请求。在一些具体实施中，HMD接收对来自前向图像传感器或后置图像传感器的图像传感器馈送的请求。在一些具体实施中，HMD接收对来自第二电子设备(例如，智能电话或平板电脑)的前置图像传感器或后置图像传感器的图像传感器馈送的请求。在一些具体实施中，HMD接收对来自第二电子设备的前置图像传感器或后置图像传感器的图像传感器馈送的请求，且期望第二电子设备具有相对于HMD用户(例如，图像请求应用程序的用户)的规定位置。在一些具体实施中，HMD接收对来自第二图像传感器的图像传感器馈送的请求，该第二图像传感器包括在包括HMD的物理环境中的默认位置。
在一些具体实施中，第二设备可自动放置(例如，默认位置)，如同由HMD用户手持一样定位，或由HMD用户手动定位。在一些具体实施中，图像传感器馈送可以是静止图像、图像序列、视频等。
在框830处，方法800通过确定虚拟图像传感器的姿势来对请求作出响应。在一些具体实施中，虚拟图像传感器的位置和取向被标识为在HMD的用户前方和上方2-3英尺处。在一些具体实施中，虚拟图像传感器的位置和取向被标识为平胸且在HMD的用户前方2至3英尺处。在一些具体实施中，虚拟图像传感器的位置和取向由HMD的用户预先确定。在一些具体实施中，虚拟图像传感器的位置和取向由HMD的用户在执行应用程序时确定。在一些具体实施中，虚拟图像传感器的位置和取向被标识为在由HMD显示给HMD用户的虚拟电子设备、智能电话、平板电脑或手持式电子设备上。在一些具体实施中，虚拟图像传感器的位置和取向由操作者命令诸如语音命令或手势标识。在一些具体实施中，虚拟图像传感器的位置和取向由HMD用户的伸出的手(例如，右手或左手)的当前位置标识。在一些具体实施中，虚拟图像传感器的位置和取向被标识为基于HMD用户的移动或动作而变化的位置(例如，虚拟图像传感器的姿势改变，使得HMD用户完全保持在虚拟图像传感器的FOV中)。在一些具体实施中，虚拟图像传感器的位置和取向是基于在框810处执行的应用程序或应用程序类型。
在框830处，方法800进一步基于虚拟图像传感器的姿势生成图像数据。在一些具体实施中，所生成图像数据包括虚拟图像，该虚拟图像表示如同从具有呈第二图像传感器配置的第二图像传感器的虚拟设备的图像传感器的姿势拍摄的图像。在一些具体实施中，虚拟图像被提供为如同是从为前置图像传感器或后置图像传感器的虚拟图像传感器的图像传感器的姿势拍摄的。在一些具体实施中，所生成图像数据模拟第二图像传感器配置的光学特性。例如，HMD操作以模仿智能电话、平板电脑、膝上型计算机等的前置图像传感器捕获的自拍图像。在一些具体实施中，HMD可不包括捕获HMD用户的视图的图像传感器，或者并不类似于智能电话、平板电脑、膝上型计算机等的前置图像传感器的图像传感器那样捕获HMD用户的视图。在这些具体实施中，所生成图像数据可包括如从虚拟图像传感器的视角观看的HMD用户的虚拟表示(例如，化身)。在一些具体实施中，HMD用户的虚拟表示可基于来自HMD的面向内的图像传感器的图像生成，这些面向内的图像传感器提供用户面部的至少一部分(例如，注视方向、面部表情、眼睛的生理特征等)的视图以动态地模仿HMD的用户的面部表情。在一些具体实施中，图像数据还可包括如虚拟图像传感器所观看到的用户在其中操作的XR环境的虚拟内容，以及如果可用的话，如HMD的图像传感器(例如，在虚拟图像传感器定位在用户前方的情况下，为后置图像传感器)捕获的与HMD用户相对的物理环境的图像数据。在一些具体实施中，所生成图像数据(例如，自拍图像)基于虚拟图像传感器的姿势使用HMD的用户的表示。接着，在框830处，方法800将所生成图像数据提供给执行应用程序。
在一些具体实施中，在框830处，方法800基于虚拟图像传感器的姿势和来自第一图像传感器的图像数据生成图像数据。在一些具体实施中，基于虚拟图像传感器的姿势修改所获得图像数据以提供所生成图像数据。在一些具体实施中，修改所获得图像数据包括：基于第一图像传感器的姿势和虚拟图像传感器的姿势来执行视点校正。例如，可使来自第一图像传感器的图像数据扭曲以执行视点校正，以使图像数据看起来好像来自第一图像传感器的数据是使用虚拟图像传感器的所确定姿势捕获的。在一些具体实施中，第一图像传感器配置包括HMD的面向外、面向内或面向下的图像传感器。在一些具体实施中，修改所获得图像数据以提供如同从具有第二图像传感器配置的虚拟设备的图像传感器的姿势拍摄的虚拟图像。在一些具体实施中，修改从第一图像传感器获得的图像数据以模拟第二图像传感器配置的光学特性。在一些具体实施中，修改从第一图像传感器获得的图像数据以考虑其他操作者控制器动作，诸如向上或向下移动、向左或向右移动、放大或缩小等。在一些具体实施中，修改从第一图像传感器获得的图像数据以考虑其他信息，例如，缩小以考虑HMD用户抓握对象，以确保HMD用户和被抓握对象两者都在虚拟图像可见。在一些具体实施中，所生成图像数据基于来自第一图像传感器的图像数据(例如，HMD用户姿势)来定位化身。在一些具体实施中，所生成图像数据基于物理环境的大小来设定化身的大小。在一些具体实施中，所生成图像数据是基于第一图像传感器的面向内的图像传感器或面向下的图像传感器。
在一些具体实施中，HMD接收对来自第二电子设备(例如，智能电话或平板电脑)的前置图像传感器或后置图像传感器的图像传感器馈送的请求。在一些具体实施中，第二设备的虚拟表示可自动放置，如同由HMD用户手持一样定位，或由XR环境中的HMD用户手动定位。
在一些具体实施中，在框830处，方法800生成虚拟对象，该虚拟对象是移动电子设备诸如智能电话的前置或后置图像传感器的3D模型或其他表示。在一些具体实施中，前置图像传感器的3D模型仅包括图像传感器及控件诸如图像类型选择、姿势、位置调节、启动或滚动操作器。在一些具体实施中，3D模型是包括呈第二图像传感器配置的第二图像传感器的电子设备的可操作3D表示。在一些具体实施中，3D模型包括具有前置或后置图像传感器的整个平板设备或智能电话设备。例如，虚拟3D模型可在GGR环境中复制整个平板或智能电话设备。在一些示例中，所执行的应用程序的视图可被显示在虚拟对象(例如，虚拟智能电话或虚拟平板)的虚拟显示器内。
在一些具体实施中，应用程序正在XR环境中执行。在一些具体实施中，执行应用程序包括：显示应用程序的视觉表示，其中虚拟图像传感器的姿势是基于应用程序的视觉表示的姿势。例如，虚拟图像传感器可定位在应用程序的视觉表示的上方、下方、内部、旁边等。
在一些具体实施中，所生成图像数据对应于提供HMD的用户的表示的视角视点的前置虚拟图像传感器。
在一些具体实施中，HMD还包括在执行应用程序的同时捕获音频数据的传感器。在一些具体实施中，HMD捕获的音频数据包括点源音频数据、背景音频数据、定向音频数据、空间化音频数据(例如，3D环绕声)等。在一些具体实施中，HMD还包括在执行应用程序的同时捕获深度数据的传感器。在一些具体实施中，HMD捕获的深度数据对应于HMD捕获的图像数据。
在一些具体实施中，图像处理应用程序包括与第二设备的通信会话的多个片段，诸如视频会议应用程序(例如，多用户通信应用程序)。在一些具体实施中，图像处理应用程序包括现有视频会议应用程序、社交媒体应用程序、流式传输应用程序、图像过滤应用程序、视频电话呼叫等。在一些具体实施中，在HMD处操作的图像处理应用程序处于XR环境中。
本文所公开的各种具体实施包括在具有呈第一图像传感器配置的第一图像传感器的第一电子设备上仿真第二电子设备的呈第二不同图像传感器配置的第二图像传感器的设备、***和方法。在一些具体实施中，第一电子设备是HMD。在一些具体实施中，第一电子设备是平板电子设备或智能电话电子设备。第一图像传感器配置和第二图像传感器配置可具有在使用时面向不同的相应方向的图像传感器。例如，第一图像传感器配置包括被配置为面向前、后、下、侧面或上方向的图像传感器，并且第二图像传感器配置具有被配置为面向与第一图像传感器配置的图像传感器被配置为面向的前、后、下、侧面或上方向不同的方向的图像传感器。例如，第一图像传感器配置包括被配置为从在第一设备佩戴在头部上时的位置面向前、后、向下、侧向或向上的图像传感器，并且第二图像传感器配置包括被配置为在第二设备的显示器被手持并观看时面向用户的面部的图像传感器。例如，第一图像传感器配置包括在第一设备佩戴在头部上时不能捕捉整个面部的图像的图像传感器，并且第二图像传感器配置包括被配置为在第二设备被手持并观看时捕捉整个面部的图像的图像传感器。
在一些具体实施中，图像传感器可以是RGB相机、深度传感器、RGB-D相机、单色相机、一个或多个2D相机、事件相机、IR相机等。在一些具体实施中，图像传感器是HMD处的面向外的相机。在一些具体实施中，使用传感器的组合。在一些具体实施中，传感器用于生成表示物理环境的XR环境。在一些具体实施中，传感器用于生成包括物理环境的XR环境的虚拟内容。在一些具体实施中，可使用彩色图像。另选地，在一些具体实施中，可使用灰度图像。
图9示出根据一些具体实施的示例性HMD 900的框图。在一些具体实施中，设备900包括用于检测眼睛位置和眼睛移动的眼睛跟踪***。例如，眼睛跟踪***可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近红外(NIR)照相机)和朝向用户915的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备900的照明源可发射NIR光以照明用户915的眼睛，并且NIR相机可捕获用户915的眼睛的图像。在一些具体实施中，可分析眼睛跟踪***捕获的图像以检测用户915的眼睛的位置和移动，或者检测一只眼睛或两只眼睛的注视方向。在一些具体实施中，眼睛跟踪***可以检测关于眼睛的其他信息，诸如眨眼(例如，速率或持续时间)、瞳孔扩张或扫视运动。此外，从眼睛跟踪图像估计的注视点可使得能够与设备900的近眼显示器上示出的内容进行基于注视的交互。
如图9所示，设备900包括容纳设备900的各种部件的外壳901(或壳体)。外壳901包括(或耦接到)设置在外壳901的(相对于用户915的)近侧端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将设备900保持在用户915的面部上的适当位置(例如，围绕用户915的眼睛)。
外壳901容纳显示器910，该显示器显示图像、朝向用户915的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器910通过具有一个或多个透镜905的目镜发射光，该一个或多个透镜折射由显示器910发射的光，使显示器对用户915表现为处于比从眼睛到显示器910的实际距离更远的虚拟距离。为了使用户915能够聚焦在显示器910上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。
外壳901还容纳跟踪***，该跟踪***包括一个或多个光源922、相机924和控制器980。一个或多个光源922将光发射到用户915的眼睛上，光反射为可由相机924检测的光图案(例如，闪光圈)。基于光图案，控制器980可确定用户915的眼睛跟踪特征。例如，控制器980可确定用户915的一只眼睛或两只眼睛的注视方向。又如，控制器980可确定用户915的眨眼状态(睁眼或闭眼)。又如，控制器980可确定扫视运动、瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源922发射，从用户915的眼睛反射，并且由相机924检测。在各种具体实施中，来自用户915的眼睛的光在到达相机924之前从热镜反射或通过目镜。
显示器910发射第一波长范围内的光，并且一个或多个光源922发射第二波长范围内的光。类似地，相机924检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。
在一些具体实施中，眼睛跟踪(或者特别地，所确定注视方向)用于跟踪用户915(例如，随时间推移)的焦距。在一些具体实施中，眼睛跟踪(或者特别地，所确定注视方向)还用于使用户能够进行交互(例如，用户915通过观看显示器910上的选项来选择它)，提供注视点渲染(例如，在用户915正在观看的显示器910的区域中呈现更高的分辨率并且在显示器910上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器910上提供的图像)。
在各种具体实施中，一个或多个光源922朝向用户915的眼睛发射光，该光以多个闪烁的形式反射。
在各种具体实施中，相机924是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户915的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。
在各种具体实施中，相机924是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。
在一些具体实施中，设备900使用3D计算机视觉重建技术来生成物理环境905的3D地图。在一些具体实施中，设备900使用一个或多个图像传感器990(例如，相机或深度传感器)来获得物理环境905的图像。在一些具体实施中，图像是2D图像或3D图像。在一些具体实施中，图像传感器990是设备900处的面向外的传感器。在一些具体实施中，图像传感器990可以是RGB相机、深度传感器、RGB-D相机、一个或多个2D相机、IR相机等。在一些具体实施中，使用传感器的组合。在一些具体实施中，图像用于在设备900处生成物理环境905的3D地图。在一些具体实施中，图像传感器990用于生成表示物理环境905的至少一部分的XR环境。在一些具体实施中，XR环境是在设备900处使用视觉惯性里程计测距(VIO)或即时定位与地图构建(SLAM)位置跟踪等生成的。在一些具体实施中，可使用彩色图像。另选地，在一些具体实施中，可使用灰度图像。
在一些具体实施中，设备900使用VIO***来跟踪设备900在物理环境中的位置。在一些具体实施中，VIO实时跟踪设备900在物理环境905中的6DOF移动(例如，3DOF的空间(xyz)运动(平移)和3DOF的角(俯仰/偏航/滚动)运动(旋转))。在一些具体实施中，VIO在设备900的显示器上的每一帧刷新之间，重新计算或更新电子设备位置在物理环境905中的位置。例如，VIO每秒10次、30次或60次或更多次地重新计算设备900的位置。在一些具体实施中，VIO使用视觉传感器(例如，相机***)通过将现实世界中的点与每一帧中的图像传感器上的像素匹配以及使用惯性***(例如，加速度计和陀螺仪、惯性测量单元(IMU)等)来跟踪位置。在一些具体实施中，VIO跟踪设备900在物理环境905中行进的距离。在一些具体实施中，VIO由为电子设备提供XR开发平台的软件开发工具包实现。在一些具体实施中，VIO生成并更新物理环境905的3D地图。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或***，以便不使要求保护的主题晦涩难懂。
除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个***不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机***，其访问存储的软件，该软件将计算***从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
本发明的前述具体实施方式和发明内容应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (30)

1.一种方法，所述方法包括：
在处理器处：
在具有呈第一图像传感器配置的第一图像传感器的设备上执行应用程序，所述应用程序被配置用于在包括呈不同于所述第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行；
从正在执行的所述应用程序接收对来自呈所述第二图像传感器配置的所述第二图像传感器的图像数据的请求；以及
响应于所述请求：
确定虚拟图像传感器的姿势；
基于所述虚拟图像传感器的所述姿势和来自所述第一图像传感器的图像数据生成图像数据；以及
将所生成的图像数据提供给正在执行的所述应用程序。
2.根据权利要求1所述的方法，其中生成图像数据包括：
基于所述虚拟图像传感器的所述姿势修改来自所述第一图像传感器的所述图像数据以提供所生成的图像数据。
3.根据权利要求2所述的方法，其中修改所获得的图像数据包括：基于所述第一图像传感器的姿势和所述虚拟图像传感器的所述姿势来执行视点校正。
4.根据权利要求1至3中任一项所述的方法，其中所生成的图像数据模拟所述第二图像传感器的光学特性。
5.根据权利要求1至4中任一项所述的方法，其中生成图像数据包括：基于来自所述第一图像传感器的所述图像数据来生成化身。
6.根据权利要求5所述的方法，还包括：基于所述设备正在其中操作的物理环境的大小来设定所述化身的大小。
7.根据权利要求1至6中任一项所述的方法，其中所述第一图像传感器包括面向内的图像传感器或面向下的图像传感器。
8.根据权利要求1至7中任一项所述的方法，还包括：
在呈所述第二图像传感器配置的所述第二图像传感器的3D表示中呈现用户可选择输入控件。
9.根据权利要求1至8中任一项所述的方法，还包括：
呈现包括呈所述第二图像传感器配置的所述第二图像传感器的电子设备的可操作3D表示。
10.根据权利要求1至9中任一项所述的方法，其中所述第二图像传感器包括前置图像传感器或后置图像传感器。
11.根据权利要求9至10中任一项所述的方法，还包括：
在所述电子设备的所述3D表示附近生成所生成的图像数据的预览图像。
12.根据权利要求9至10中任一项所述的方法，还包括：
在所述电子设备的所述3D表示上生成所生成的图像数据的预览图像。
13.根据权利要求1至9中任一项所述的方法，其中所述第二图像传感器包括前置图像传感器，并且其中生成图像数据包括：基于来自所述第一图像传感器的所述图像数据来生成化身。
14.根据权利要求1至9中任一项所述的方法，其中所述第二图像传感器包括后置图像传感器，并且其中生成图像数据包括：基于所述虚拟图像传感器的所述姿势来修改来自所述第一图像传感器的所述图像数据以提供所生成的图像数据。
15.根据权利要求1至14中任一项所述的方法，其中所述应用程序正在扩展现实(XR)环境中执行。
16.根据权利要求15中任一项所述的方法，其中所生成的图像数据包括如由所述虚拟图像传感器查看到的来自所述XR环境的虚拟对象。
17.根据权利要求1至16中任一项所述的方法，其中执行所述应用程序包括：呈现所述应用程序的视觉表示，并且其中所述虚拟图像传感器的所述姿势是基于所述应用程序的所述视觉表示的姿势。
18.根据权利要求1至17中任一项所述的方法，其中来自正在执行的所述应用程序的对图像数据的所述请求包括对深度数据的请求。
19.根据权利要求1至18中任一项所述的方法，还包括：从正在执行的所述应用程序接收对音频数据的请求。
20.根据权利要求1至19中任一项所述的方法，其中正在执行的所述应用程序是提供与第二设备的通信会话的多个片段的图像处理应用程序。
21.根据权利要求1至20中任一项所述的方法，其中所生成的图像数据提供所述设备的用户的视角视点。
22.根据权利要求21所述的方法，其中所述HMD的所述用户的视角视点包括基于来自所述第一图像传感器的所述图像数据动态地模仿所述HMD的所述用户的面部表情的化身。
23.根据权利要求1至21中任一项所述的方法，其中所述设备是头戴式设备(HMD)。
24.根据权利要求1所述的方法，其中所述第一图像传感器配置和所述第二图像传感器配置包括在使用时面向不同的相应方向的图像传感器。
25.根据权利要求1所述的方法，其中：
所述第一图像传感器配置包括被配置为面向前、后、下、侧面或上方向的图像传感器；以及
所述第二图像传感器配置包括被配置为面向与所述第一图像传感器配置的所述图像传感器被配置为面向的前、后、下、侧面或上方向不同的方向的图像传感器。
26.根据权利要求1所述的方法，其中：
所述第一图像传感器配置包括被配置为从在所述第一设备被佩戴在头部上时的位置面向前、后、向下、侧向或向上的图像传感器；以及
所述第二图像传感器配置包括被配置为在所述第二设备的显示器被手持并观看时面向用户的面部的图像传感器。
27.根据权利要求1所述的方法，其中：
所述第一图像传感器配置包括当所述第一设备佩戴在头部上时不能捕获整个面部的图像的图像传感器；以及
所述第二图像传感器配置包括当所述第二设备被手持并观看时捕获所述整个面部的图像的图像传感器。
28.一种***，包括：
非暂态计算机可读存储介质；和
一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述***执行包括以下操作的操作：
在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上执行应用程序，所述应用程序被配置用于在包括呈不同于所述第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行；
从正在执行的所述应用程序接收对来自呈所述第二图像传感器配置的所述第二图像传感器的图像数据的请求；以及
响应于所述请求：
确定虚拟图像传感器的姿势；
基于所述虚拟图像传感器的所述姿势和来自所述第一图像传感器的图像数据生成图像数据；以及
将所生成的图像数据提供给正在执行的所述应用程序。
29.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：
在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上执行应用程序，所述应用程序被配置用于在包括呈不同于所述第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行；
从正在执行的所述应用程序接收对来自呈所述第二图像传感器配置的所述第二图像传感器的图像数据的请求；以及
响应于所述请求：
确定虚拟图像传感器的姿势；
基于所述虚拟图像传感器的所述姿势和来自所述第一图像传感器的图像数据生成图像数据；以及
将所生成的图像数据提供给正在执行的所述应用程序。
30.根据权利要求29所述的非暂态计算机可读存储介质，其中响应于所述请求，所述操作还包括：
从所述第一图像传感器获得图像数据；以及
基于所述虚拟图像传感器的所述姿势修改所获得的图像数据以提供所生成的图像数据。
CN202180078957.6A 2020-09-25 2021-09-07 传感器仿真 Pending CN116547719A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063083188P 2020-09-25 2020-09-25
US63/083,188 2020-09-25
PCT/US2021/049207 WO2022066400A1 (en) 2020-09-25 2021-09-07 Sensor emulation

Publications (1)

Publication Number Publication Date
CN116547719A true CN116547719A (zh) 2023-08-04

Family

ID=78333244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180078957.6A Pending CN116547719A (zh) 2020-09-25 2021-09-07 传感器仿真

Country Status (3)

Country Link
US (1) US20230288701A1 (zh)
CN (1) CN116547719A (zh)
WO (1) WO2022066400A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893152B1 (en) * 2023-02-15 2024-02-06 Dell Products L.P. Sentiment-based adaptations of user representations in virtual environments

Also Published As

Publication number Publication date
WO2022066400A1 (en) 2022-03-31
US20230288701A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
CN110908503B (zh) 跟踪设备的位置的方法
US20190371072A1 (en) Static occluder
CN112639685B (zh) 模拟现实（sr）中的显示设备共享和交互
US11238616B1 (en) Estimation of spatial relationships between sensors of a multi-sensor device
CN112116716A (zh) 基于检测到的对象来定位的虚拟内容
CN110715647A (zh) 使用多次三维扫描进行对象检测
CN116778368A (zh) 使用语义分割的平面检测
US20240077937A1 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
CN114514493A (zh) 增强设备
US11961195B2 (en) Method and device for sketch-based placement of virtual objects
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230290014A1 (en) Attention-driven rendering for computer-generated objects
US20230288701A1 (en) Sensor emulation
US11430198B1 (en) Method and device for orientation-based view switching
US20230290096A1 (en) Progressive body capture of user body for building an avatar of user
US20230377249A1 (en) Method and Device for Multi-Camera Hole Filling
US11606498B1 (en) Exposure of panoramas
US11468611B1 (en) Method and device for supplementing a virtual environment
US10964056B1 (en) Dense-based object tracking using multiple reference images
US20240007607A1 (en) Techniques for viewing 3d photos and 3d videos
WO2024054433A2 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
CN112581628A (zh) 用于解决焦点冲突的方法和设备
WO2023096940A2 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
CN116941239A (zh) 三维环境内的图像显示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination