CN110866966A - 利用与环境相匹配的逼真表面属性渲染虚拟对象 - Google Patents

Abstract

本公开涉及利用与环境相匹配的逼真表面属性渲染虚拟对象。在一个具体实施中，公开了一种用于在虚拟对象和物理环境之间提供视觉一致性的方法。该方法包括使用电子设备的图像传感器在电子设备处获取描绘物理环境中的物理表面的第一内容。基于第一内容使用视觉一致性模型来确定由物理表面表现出的外在属性。基于外在属性生成表示虚拟对象的第二内容以在显示器上展示。

Description

利用与环境相匹配的逼真表面属性渲染虚拟对象

相关申请的交叉引用

本申请要求2018年8月27日提交的美国临时申请序列No.62/723,180的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及用于生成计算机生成现实(CGR)环境的***、方法和设备，并且具体地涉及生成在虚拟对象和邻近电子设备的物理环境之间提供视觉一致性的CGR环境。

背景技术

存在各种电子设备，诸如头戴式设备(也被称为头戴式耳机和HMD)，这些电子设备具有为用户展示CGR环境的显示器。这些设备通常利用预设的(或固定的)虚拟内容来生成CGR环境。当展示在电子设备的显示器上时，该预设的内容提供相同的CGR环境，而不考虑虚拟对象和电子设备物理上所处的物理环境的物理表面之间的视觉一致性。

发明内容

本文所公开的各种具体实施包括用于在虚拟对象和物理环境之间提供视觉一致性的设备、***和方法。在一个具体实施中，方法包括使用电子设备的图像传感器来获取描绘物理环境中的物理表面的第一内容。基于第一内容使用视觉一致性模型来确定由物理表面表现出的外在属性。基于外在属性生成表示虚拟对象的第二内容以在显示器上展示。

在另一个具体实施中，***包括电子设备，该电子设备具有显示器、处理器和计算机可读存储介质。计算机可读存储介质包括在由处理器执行时使得***执行操作的指令。该操作包括使用视觉一致性模型来获取由邻近电子设备的物理表面表现出的外在属性。表示虚拟对象的内容基于外在属性生成并且被展示在电子设备的显示器上。

在另一个具体实施中，非暂态计算机可读存储介质存储程序指令，该程序指令能够在计算机上计算机执行以执行操作。该操作包括提供一组训练图像，该组训练图像描绘由物理表面表现出的外在属性的变化。使用机器学习过程利用该组训练图像来训练视觉一致性模型。视觉一致性模型被配置为基于描绘物理表面的图像数据来确定由物理表面表现出的外在属性。视觉一致性模型被集成到CGR应用程序中，该CGR应用程序被配置为生成用于在显示器上展示的表示虚拟对象的内容。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的框图。

图2是适用于一些具体实施的示例性电子设备的框图。

图3是示出用于在虚拟对象和物理环境之间提供视觉一致性的方法的示例的流程图。

图4是示出用于在虚拟对象和物理环境之间提供视觉一致性的方法的另一个示例的流程图。

图5是示出用于在虚拟对象和物理环境之间提供视觉一致性的方法的另一个示例的流程图。

图6示出了在电子设备的显示器上展示的视图的示例，该视图包括描绘在邻近电子设备的物理环境中的物理对象的第一内容，该物理对象具有表现出外在属性的物理表面。

图7示出了在显示器上展示的视图的示例，该视图包括表示虚拟对象的第二内容，该第二内容不是基于由图6所示的物理表面表现出的外在属性而生成的。

图8示出了在显示器上展示的视图的示例，该视图包括表示虚拟对象的第二内容，该第二内容是基于由图6所示的物理表面表现出的外在属性而生成的。

图9示出了在显示器上展示的视图的示例，该视图包括反映了由物理表面表现出的外在属性的变化的更新的第二内容。

图10示出了在显示器上展示的视图的示例，该视图包括表示虚拟对象的第二内容，该第二内容是基于由物理对象的多个表面表现出的多个外在属性而生成的。

图11示出了在显示器上展示的视图的示例，该视图包括基于虚拟对象的几何结构而生成的表示虚拟对象的第二内容。

图12示出了在显示器上展示的视图的示例，该视图包括基于物理表面的几何结构而生成的表示虚拟对象的第二内容。

图13示出了根据一些具体实施的虚拟对象的三维表示的示例。

图14示出了与图13的三维表示相对应的表面的点云表示的示例。

图15示出了根据一些具体实施的纹理贴图的示例。

图16示出了根据一些具体实施的纹理贴图的另一个示例。

图17示出了根据一些具体实施的纹理贴图的另一个示例。

图18示出了利用图15的纹理贴图对图14的点云表示进行贴图混合的示例。

图19示出了利用图16的纹理贴图对图14的点云表示进行贴图混合的示例。

图20示出了利用图17的纹理贴图对图14的点云表示进行贴图混合的示例。

图21示出了将材料属性添加到图13的三维表示的示例。

图22示出了将纹理添加到图13的三维表示的示例。

图23示出了使用图22的纹理对图21的材料属性进行贴图调节的示例。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

参见图1，示出了一些具体实施的示例性操作环境100，并且其一般被指定为100。一般来讲，操作环境100示出了被配置为向用户展示计算机生成现实(“CGR”)环境的电子设备110。CGR环境是指人们经由电子***感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR***可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节展示给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的一个或多个特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以使用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，所述音频对象创建3D或空间音频环境，所述3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于展示MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，***可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于展示AR环境的电子***可具有透明或半透明显示器，人可以透过他直接查看物理环境。该***可以被配置为在透明或半透明显示器上展示虚拟对象，使得人使用该***感知叠加在物理环境之上的虚拟对象。另选地，***可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上展示组合物。人使用***经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着***使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上展示AR环境时使用那些图像。进一步另选地，***可以具有投影***，该投影***将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人使用该***感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子***使人能够感测和/或与各种CGR环境交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入***(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式***可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式***可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式***可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过所述媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或他们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***也可以被配置为将虚拟对象投影到物理环境中，例如，作为全息图或在物理表面上。

如本文所用，“感觉内容”或“内容”通常是指物理环境中的外部刺激的属性或特性，该外部刺激可由用户的一个或多个感觉器官感知。“感觉内容”或“内容”的示例包括听觉内容、视觉内容、触觉内容、嗅觉内容、味觉内容或其组合。

“感觉内容”或“内容”可以是基于其来源而可区分的。例如，自然/物理感觉内容可源自靠近电子设备110(例如，场景105)的物理(真实世界)环境。因此，具有或不具有电子设备110的用户可感知物理感觉内容。相比之下，虚拟感觉内容是指由计算设备(例如，电子设备110)生成或至少处理的感觉内容。虚拟感觉内容可包括由计算设备生成或至少处理的二维(“2D”)或三维(“3D”)图形/图像内容、声音、触感反馈等。因此，没有计算设备的用户不能感知虚拟感觉内容。

在图1所示的示例中，电子设备110被示出为头戴式设备(“HMD”)。本领域的技术人员将认识到，HMD只是适用于实现电子设备110的一种形状因数。适用于实现电子设备110的其他形状因数包括智能电话、AR眼镜、智能眼镜、台式计算机、膝上型计算机、平板电脑、计算设备等。在一些具体实施中，电子设备110包括软件、固件或硬件的合适组合。

例如，电子设备110可包括图像传感器112和输出设备(例如，图2的显示器208)。用于实现输出设备的合适设备的示例包括显示器、音频扬声器、触觉设备等。在一个具体实施中，电子设备110包括输出设备，该输出设备设置在电子设备110的面向内的表面上。

图像传感器112被配置为获取与电子设备110所处的场景或物理环境(例如，场景105)相对应的图像数据。在一个具体实施中，图像传感器112是图像传感器阵列的一部分，该图像传感器阵列被配置为捕获与电子设备110所处的物理环境(例如，场景105)相对应的光场图像。在一个具体实施中，图像传感器112是深度相机的部件。

一些具体实施根据视觉感觉内容描述了虚拟感觉内容和物理感觉内容。然而，具体实施不限于视觉感觉内容，而是当电子设备包括适当的传感器和输出设备时，可包括上文参照图1描述的任何类型的感觉内容。例如，当电子设备分别包括适当的传感器和输出设备(诸如麦克风和扬声器)时，本文所公开的方面同样适用于听觉内容。

图2是适用于一些具体实施的示例性电子设备110的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备110包括一个或多个处理器202(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个I/O设备204、一个或多个面向内部或面向外部的图像传感器206、一个或多个显示器208、一个或多个通信接口210(例如，USB、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口212、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线250。简而言之，GPU可包括专用电子电路，其被设计为快速操纵和改变存储器以加速帧缓冲器中的图像的创建。GPU可以存在于视频卡上，或可以嵌入CPU主板上，或者在某些CPU中，在CPU管芯上。

一个或多个I/O设备204被配置为在电子设备110和用户之间提供交换命令、请求、信息、数据等的人机界面。一个或多个I/O设备204可包括但不限于键盘、指向设备、麦克风、操纵杆等。

一个或多个图像传感器***206包括被配置为获取描绘电子设备110所处的物理环境的内容(“物理内容”)的图像传感器(例如，图像传感器112)。在一个具体实施中，一个或多个图像传感器***206包括图像传感器阵列，该图像传感器阵列被配置为捕获与电子设备110所处的物理环境相对应的光场图像。在一个具体实施中，图像传感器212被设置在电子设备110的外表面上。用于实现一个或多个图像传感器***206的图像传感器的合适图像传感器的示例可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(“CMOS”)图像传感器或电荷耦合器件(“CCD”)图像传感器)、单色相机、IR相机或者基于事件的相机等。

在一些具体实施中，一个或多个图像传感器***206被配置为获取与包括用户眼睛的用户面部的至少一部分相对应的图像数据。在各种具体实施中，一个或多个图像传感器***206还包括在用户面部的一部分上发射光的照明源，诸如闪光灯或闪光源。

在一些具体实施中，一个或多个显示器208被配置为向用户展示如下文更详细描述的内容。在一些具体实施中，一个或多个显示器208对应于全息、数字光处理(“DLP”)、液晶显示器(“LCD”)、硅上液晶(“LCoS”)、有机发光场效应晶体管(“OLET”)、有机发光二极管(“OLED”)、表面传导电子发射器显示器(“SED”)、场发射显示器(“FED”)、量子点发光二极管(“QD-LED”)、微机电***(“MEMS”)或者类似显示器类型。在一些具体实施中，一个或多个显示器208对应于衍射、反射、偏振、全息等波导显示器。在一些具体实施中，一个或多个显示器208能够展示物理内容和虚拟内容的任何组合。

在一个具体实施中，一个或多个显示器208包括显示设备，该显示设备包括多个像素并且被配置为展示包括使用图像传感器112获取的图像数据的内容。可使用发光二极管(LED)、有机发光二极管(OLED)、等离子体单元、液晶显示器(LCD)部件等来实现所述多个像素中的每个像素。在一个具体实施中，一个或多个显示器208被设置在电子设备110的面向内的表面上。在一个具体实施中，一个或多个显示器208是透视显示器，其中物理环境的一部分透过其是可见的。

在一个具体实施中，一个或多个显示器208包括用于展示左眼视点和右眼视点的立体图像显示器。在一个具体实施中，立体图像显示器展示与电子设备110所处的物理环境(例如，图1的场景105)相对应的场景的3D表示的立体子集。在一个具体实施中，使用由包括在图像传感器***206中的图像传感器阵列捕获的光场图像来重建场景的3D表示。

一个或多个通信接口210可包括适合于建立到一个或多个网络的有线或无线数据或电话连接的任何设备或设备组。网络接口设备的非限制性示例包括以太网网络适配器、调制解调器等。设备可以将消息作为电信号或光信号进行传输。

一个或多个编程(例如，I/O)接口212被配置为将一个或多个I/O设备与电子设备110的其他部件通信地耦接。因此，一个或多个编程接口212能够经由一个或多个I/O设备204接受来自用户的命令或输入并且将输入的输入传输至一个或多个处理器202。

存储器220可包括任何合适的计算机可读介质。计算机可读存储介质不应被理解为暂态信号本身(例如，无线电波或其他传播电磁波、穿过诸如波导的传输介质传播的电磁波、或通过导线传输的电信号)。例如存储器220可包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括相对于一个或多个处理单元202处于远程位置的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。存储在存储器220中的指令可由一个或多个处理器202执行以执行各种方法和操作，包括用于丰富下文更详细描述的本地来源图像数据的技术。

在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作***230和CGR模块240。操作***230包括用于处理各种基础***服务和用于执行硬件相关的任务的过程。在一些具体实施中，CGR模块240被配置为基于由物理表面表现出的外在属性来生成经由一个或多个显示器208展示给用户的CGR环境。为此，在各种具体实施中，CGR模块240包括视觉一致性模型242、CGR展示单元244、机器视觉单元246和数据交换单元248。

在一些具体实施中，视觉一致性模型242被配置为基于描绘使用图像传感器***206获取的物理表面的内容来确定由物理表面表现出的外在属性(或针对外在属性的值)。出于该目的，在各种具体实施中，视觉一致性模型242包括指令或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，CGR展示单元244被配置为使用由物理表面表现出的外在属性(或针对外在属性的值)来生成用于在一个或多个显示器208上展示的表示虚拟对象的内容，该外在属性(或针对外在属性的值)是由视觉一致性模型242基于描绘使用图像传感器***206获取的物理表面的内容来确定的。出于该目的，在各种具体实施中，CGR展示单元244包括指令或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，机器视觉单元246被配置为对从图像传感器***206的图像传感器接收的图像数据执行各种图像处理技术(例如，分类、特征提取、多尺度信号分析、模式识别、投影、物理几何估计等)。出于该目的，在各种具体实施中，机器视觉单元246包括指令或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据交换单元248被配置为从电子设备110外部的一个或多个计算设备获取数据(例如，展示数据、交互数据、传感器数据、位置数据等)。在一些具体实施中，数据交换单元248被配置为向电子设备110外部的一个或多个计算设备传输数据(例如，展示数据、位置数据等)。出于这些目的，在各种具体实施中，数据传输单元248包括指令或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管视觉一致性模型242、CGR展示单元244、机器视觉单元246和数据交换单元248被示为驻留在单个设备(例如，电子设备110)上，但应当理解，在其他具体实施中，视觉一致性模型242、CGR展示单元244、机器视觉单元246和数据交换单元248的任何组合可位于单独的计算设备中。

图2更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。单元的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

渲染虚拟对象时的一个重要考虑因素是，当在显示器上展示给用户时，虚拟对象应该看起来逼真并且平滑地融入周围的物理环境中。生成CGR环境的一种现有技术涉及大体上估计周围物理环境的照明水平。然后，在将虚拟对象渲染在周围物理环境上使其被叠加在显示器上时，现有技术应用该估计的照明水平。

例如，由使用该现有技术的电子设备生成的一个CGR体验可估计与暗室相关联的照明水平。然后，在将虚拟花瓶渲染在暗室中的桌子上使其被叠加在显示器上时，电子设备可应用该估计的照明水平。基于暗室的估计的照明水平而渲染的虚拟花瓶可能看起来比在不考虑黑暗房间的照明水平的情况下渲染的虚拟花瓶更逼真。然而，即使物理环境的总体照明水平可用足够的准确度来确定并且被应用到渲染虚拟对象，仍存在虚拟对象和物理环境在视觉上不一致的情况。

以举例的方式，灰尘可能已经积聚在了上述暗室中的桌子上。在该情况下，电子设备的用户将期望在该桌子上被叠加在显示器上的虚拟花瓶也看起来是被灰尘覆盖的。然而，当渲染虚拟花瓶时，仅暗室的总体照明水平被考虑。因此，虽然虚拟花瓶可模拟整个周围房间的暗度，但虚拟花瓶的表面将缺少下面的桌子的灰尘覆盖的外观。因此，没有任何积聚的灰尘的虚拟花瓶将在视觉上看起来不同于下面的积聚了灰尘的桌子。因此，由于当渲染虚拟对象时未能考虑到由周围物理环境中的物理表面表现出的外在属性(例如，灰尘)，虚拟对象和周围物理环境之间的视觉一致性在该现有技术下受到限制。

如本文所用，“表面属性”是指由物理环境中的物理表面表现出的可视觉感知的表面特性。表面属性基于他们的来源是可区分的。“内在属性”是源自物理表面的材料组成的表面属性。换句话说，由物理表面表现出的内在属性同其与物理表面所处的物理环境的相互作用无关。物理表面可表现出的一些内在属性包括：颜色属性(例如，分布、强度、对比度、图案化等)、不透明度、反射率、光泽度、半透明度等。“外在属性”是源自靠近物理表面的物理环境的表面属性。换句话说，由物理表面表现出的外在属性取决于其与物理表面所处的物理环境的相互作用。物理表面可表现出的一些外在属性包括：灰尘覆盖、潮湿、结冰、积雪、生锈、脏污、磨损、下雨、刮擦、花粉覆盖、晒太阳、污渍、烧焦、烟雾受损等。

与上述现有技术相比，本文所公开的一些具体实施生成了CGR体验，该CGR体验基于由物理环境中的物理表面表现出的外在属性在虚拟对象和物理环境之间提供视觉一致性。因此，由电子设备生成的CGR体验将修改前一个示例中的虚拟对象，使其看起来像下面的桌面那样被灰尘覆盖的。具体地讲，如下文更详细描述的，电子设备将使用视觉一致性模型来获取由下面的桌面表现出的外在属性(即，灰尘覆盖的)，并且基于外在属性生成表示虚拟花瓶的内容。如下文还更详细描述的，视觉一致性模型基于描绘下面的桌面的内容来确定外在属性。在一些具体实施中，视觉一致性模型确定针对外在属性的值。例如，该值可以是下面的桌面表现出外在属性的概率估计。

图3是示出用于在虚拟对象和物理环境之间提供视觉一致性的方法300的示例的流程图。在框302处，方法300包括提供一组训练图像，该组训练图像描绘由物理表面表现出的外在属性的变化。在一个具体实施中，该组训练图像是一组标记的训练图像，其包括用于每个标记的训练图像的上下文标记，每个上下文标记识别在该标记的训练图像中描绘的外在属性的对应变化的特定值。在一个具体实施中，该组训练图像是一组未标记的训练图像。

在框304处，方法300包括使用机器学习过程使用该组训练图像来训练视觉一致性模型(例如，图2的视觉一致性模型242)。在一个具体实施中，视觉一致性模型被配置为基于描绘物理表面的内容来确定由物理表面表现出的外在属性。在一个具体实施中，视觉一致性模型被配置为基于描绘物理表面的图像数据来确定由物理表面表现出的针对外在属性的值。

在一个具体实施中，机器学习过程采用监督学习技术。如本领域的技术人员所理解的，监督学习技术是其中计算设备识别用期望的输出(例如，用于每个标记的训练图像的上下文标记)映射示例性输入(例如，一组标记的训练图像)的规则(或功能)的机器学习过程。用于该具体实施的合适的监督学习技术的示例包括：线性回归、逻辑回归、神经网络、支持向量机、朴素贝叶斯、随机森林、分类树等。

在一个具体实施中，机器学***均值、层次聚类、混合模型等)、降维技术(例如，主成分分析、独立成分分析、自动编码器等)等。在一个具体实施中，训练视觉一致性模型包括使一组未标记的训练图像聚类成多个群集。在该具体实施中，多个群集中的每个群集对应于外在属性的特定变化。

在其中该组训练图像是一组未标记的训练图像的一个具体实施中，方法300还包括提供用于分配给所述多个群集中的每一个的手动定义的上下文标记。在其中该组训练图像是一组未标记的训练图像的一个具体实施中，方法300还包括提供包括用于每个标记的训练图像的上下文标记的一组标记的训练图像、每个上下文标记识别在该标记的训练图像中描绘的外在属性的对应变化。在其中该组训练图像是一组未标记的训练图像的一个具体实施中，方法300还包括提供包括用于每个标记的训练图像的上下文标记的一组标记的训练图像，每个上下文标记识别在该标记的训练图像中描绘的外在属性的对应变化的特定值。

在一个具体实施中，将手动定义的上下文标记或该组标记的训练图像提供给将该组未标记的训练图像聚类成所述多个群集的相同的机器学习过程。例如，可经由反馈机制将手动定义的上下文标记提供给该机器学习过程。在一个具体实施中，将该组未标记的训练图像聚类成所述多个群集的机器学习过程是第一机器学习过程。在该具体实施中，将手动定义的上下文标记或该组标记的训练图像提供给不同于第一机器学习过程的第二机器学习过程。

在框306处，方法300包括将视觉一致性模型集成到CGR应用程序中，该CGR应用程序生成用于在显示器上展示的表示虚拟对象的内容。在一个具体实施中，CGR应用程序被实现为图2的CGR模块240。在一个具体实施中，视觉一致性模型被配置为确定由物理表面表现出的多个外在属性。在一个具体实施中，视觉一致性模型被配置为确定由物理表面表现出的针对多个外在属性的值。

在一个具体实施中，视觉一致性模型是第一视觉一致性模型，并且外在属性是第一外在属性。在该具体实施中，方法300还包括使用机器学习过程利用第二组训练图像来训练第二视觉一致性模型。第二组训练图像描绘第二外在属性的变化。在一个具体实施中，第二视觉一致性模型被配置为基于描绘物理表面的图像数据来确定由物理表面表现出的第二外在属性。在一个具体实施中，第二视觉一致性模型被配置为基于描绘物理表面的图像数据来确定由物理表面表现出的针对第二外在属性的值。在一个具体实施中，方法300还包括将第二视觉一致性模型集成到CGR应用程序中，该CGR应用程序生成用于在显示器上展示的表示虚拟对象的内容。

图4是示出用于在虚拟对象和物理环境之间提供视觉一致性的方法400的另一个示例的流程图。在框402处，方法400包括使用电子设备的图像传感器来获取描绘物理环境中的物理表面的第一内容。在一个具体实施中，第一内容是物理环境的视频，其包括物理环境的图像序列。在框404处，方法400包括基于第一内容使用视觉一致性模型来确定由物理表面表现出的外在属性。在一个具体实施中，使用图2的视觉一致性模型242来实现该视觉一致性模型。在一个具体实施中，基于第一内容使用视觉一致性模型来确定针对外在属性的值。在一个具体实施中，该值为物理表面表现出外在属性的概率估计。在一个具体实施中，该值指示物理表面表现出外在属性的程度。

在框406处，方法400包括基于外在属性生成表示虚拟对象的第二内容以在显示器上展示。在一个具体实施中，基于针对外在属性的值生成表示虚拟对象的第二内容。在一个具体实施中，生成第二内容涉及以基于概率估计的量改变虚拟对象的外观。在一个具体实施中，显示器是透视显示器，其中物理环境的一部分透过该透视显示器是可见的。在一个具体实施中，显示器是包括多个像素的显示设备。

图5是示出用于在虚拟对象和物理环境之间提供视觉一致性的方法500的另一个示例的流程图。在框502处，方法500包括从视觉一致性模型获取由邻近电子设备的物理表面表现出的外在属性。在一个具体实施中，外在属性由图2的CGR展示单元244获取。在一个具体实施中，从视觉一致性模型获取针对外在属性的值。在一个具体实施中，使用图2的视觉一致性模型242来实现该视觉一致性模型。在一个具体实施中，视觉一致性模型基于描绘物理表面的图像数据来确定由物理表面表现出的针对外在属性的值。在一个具体实施中，使用电子设备的图像传感器来获取描绘物理表面的图像数据。在一个具体实施中，使用电子设备外部的图像传感器来获取描绘物理表面的图像数据。

在框504处，方法500包括基于外在属性生成表示虚拟对象的内容。在一个具体实施中，基于针对外在属性的值生成表示虚拟对象的内容。在框506处，方法500包括在电子设备的显示器上展示表示虚拟对象(例如，图8的虚拟对象820)的内容。在一个具体实施中，展示表示虚拟对象的内容包括基于物理环境中物理表面相对于电子设备的空间位置来识别显示器上的虚拟对象的放置位置。在一个具体实施中，使用电子设备的图像传感器来确定空间位置。在一个具体实施中，使用电子设备外部的图像传感器来确定空间位置。在一个具体实施中，显示器是透视显示器，其中物理环境的一部分透过该透视显示器是可见的。在一个具体实施中，显示器是包括多个像素的显示设备。

在一个具体实施中，所获取的针对外在属性的值是初始值。在一个具体实施中，方法500还包括当在显示器上展示表示虚拟对象的内容时获取外在属性的更新值(其不同于初始值)。在一个具体实施中，更新值对应于在获取初始值(例如，图9的物理对象910)之后由物理表面表现出的外在属性的变化。在一个具体实施中，方法500还包括根据获取的更新值来更新表示虚拟对象(例如，图9的虚拟对象920)的内容。在一个具体实施中，更新内容反映了在获取初始值之后由物理表面表现出的外在属性的变化。在一个具体实施中，方法500还包括在显示器上展示表示虚拟对象的更新内容。

在一个具体实施中，使用用户的眼睛跟踪特性来识别物理环境中的物理表面，该眼睛跟踪特性指示用户在获取描绘物理表面的第一内容之前正在查看物理表面。在一个具体实施中，基于与包括用户眼睛的用户面部的至少一部分相对应的图像数据来确定眼睛跟踪特性。在一个具体实施中，使用图像传感器***206来获取与用户面部的至少一部分相对应的图像数据。在一个具体实施中，一个或多个图像传感器***206包括在用户面部的一部分上发射光能(例如，光)的照明源，诸如闪光灯或闪光源。在一个具体实施中，基于由使用眼睛跟踪特性识别的物理表面表现出的外在属性来生成表示虚拟对象的内容。

在一个具体实施中，基于由物理表面表现出的多个外在属性来生成表示虚拟对象(例如，图10的虚拟对象1020)的内容。在一个具体实施中，基于使用一个视觉一致性模型描绘物理表面的内容来确定由物理表面表现出的多个外在属性。在一个具体实施中，基于使用多个视觉一致性模型描绘物理表面的内容来确定由物理表面表现出的所述多个外在属性，每个视觉一致性模型被配置为确定至少一个外在属性。

在一个具体实施中，表示虚拟对象(例如，图11的虚拟对象1120)的内容是部分地基于虚拟对象的几何形状而生成的。在一个具体实施中，确定虚拟对象的几何形状涉及评估驻留在定义虚拟对象的参数或属性的电子设备110的存储器(例如，存储器220)中的数据(例如，文件)。

在一些具体实施中，描绘物理表面的内容还描绘了物理环境的邻近物理表面的区域。在一个具体实施中，在确定由物理表面表现出的外在属性或针对外在属性的值之前预处理描绘物理表面的内容。在一个具体实施中，预处理描绘物理表面的内容包括将内容分割成多个图像片段，多个图像片段各自对应于该区域中的不同特征。在一个具体实施中，描绘物理表面的内容包括描绘物理环境的邻近物理表面的区域的时间间隔图像序列。在一个具体实施中，预处理描绘物理表面的内容包括对描绘该区域的时间间隔图像序列执行图像校正。

在一个具体实施中，预处理描绘物理表面的内容包括估计对应于物理环境的区域的至少一部分的几何结构。在一个具体实施中，表示虚拟对象(例如，图12的虚拟对象1220)的内容部分地基于所述估计的几何结构生成。在一个具体实施中，使用通过该内容获取的运动结构信息来估计对应于物理环境的区域的几何结构。在一个具体实施中，使用从图像传感器***206获取的内容和深度信息来估计对应于物理环境的区域的几何结构。在一个具体实施中，使用从该内容获取的单个图像帧来估计对应于物理环境的区域的几何结构。

在一个具体实施中，生成表示虚拟对象的内容包括基于针对外在属性的值来对虚拟对象的点云表示进行贴图混合。图18示出了对虚拟对象的点云表示进行贴图混合的示例。在一个具体实施中，生成表示虚拟对象的内容包括生成具有基于针对外在属性的值定义的至少一个参数的过程纹理映射。在该具体实施中，过程纹理映射被应用于虚拟对象的三维表示的表面。

在一个具体实施中，描绘物理表面的内容从多个不同视点描绘了该物理表面。在该具体实施中，基于此类内容和相机姿态信息来确定物理表面表现出的针对外在属性的值。在该具体实施中，相机姿态信息对应于多个不同视点的至少一个子集。在一个具体实施中，相机姿态信息与虚拟相机相关联。

在一个具体实施中，生成表示虚拟对象的内容包括基于针对外在属性的值来调制对应于虚拟对象的三维表示的表面的材料属性。在一个具体实施中，生成表示虚拟对象的内容包括基于针对外在属性的值来将纹理贴图(或贴花图像)应用到虚拟对象的三维表示的表面。

在一个具体实施中，方法300、方法400或方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一个具体实施中，方法300、方法400或方法500由存储在非暂态计算机可读介质(例如，存储器)中的处理器执行代码执行。

图6示出了由显示器208展示的视图600，该视图包括描绘邻近电子设备110的物理环境中的物理对象610的物理表面611的第一内容。使用图像传感器来获取在示例600中展示在显示器208上的第一内容。在一个具体实施中，图像传感器(例如，图像传感器112)是电子设备110的部件。在一个具体实施中，图像传感器在电子设备110的外部。如图6所示，物理表面611表现出外在属性。由物理表面611表现出的外在属性可表示聚积在物理对象610上的灰尘。如上所述，电子设备110的视觉一致性模型242确定外在属性或针对外在属性的值，CGR展示单元244可利用该外在属性来生成表示虚拟对象的第二内容。

在视图600中，物理表面611为物理对象610的周向表面。然而，其他具体实施都不受此限制。根据一些具体实施，视觉一致性模型242可确定由与物理环境中的特定对象无关的物理表面所表现出的外在属性(或针对外在属性的值)。例如，如果物理环境对应于室内空间(例如建筑物内的房间)，则视觉一致性模型242确定由限定室内空间的物理表面(例如，地板、墙壁、天花板等)所表现出的外在属性。又如，物理环境可对应于户外空间，诸如山地森林。在该示例中，视觉一致性模型242确定表现出从山地森林下面的山地或山林延伸的岩石露头的外在属性。

图7至图8是展示第二内容的显示器208的示例，该第二内容表示具有与图6中所示的第一内容所描绘的物理环境不同的视觉一致性程度的虚拟对象。图7的视图700包括表示虚拟对象720的第二内容和描绘物理对象610的第一内容。图8的视图800包括表示虚拟对象820的第二内容和描绘物理对象610的第一内容。

在一个具体实施中，CGR展示单元244不利用视觉一致性模型242确定在生成表示虚拟对象720的第二内容时物理表面611表现出的外在属性(或针对外在属性的值)。即，生成表示虚拟对象720的第二内容不是基于视觉一致性模型242确定由物理表面611表现出的外在属性(或针对外在属性的值)。

在一个具体实施中，CGR展示单元244利用视觉一致性模型242确定在生成表示虚拟对象820的第二内容时物理表面611表现出的外在属性(或针对外在属性的值)。即，生成表示虚拟对象820的第二内容基于视觉一致性模型242确定由物理表面611表现出的外在属性(或针对外在属性的值)。

图7和图8之间的比较示出了视图700中的虚拟对象720和物理对象610之间的视觉一致性小于视图800中的虚拟对象820和物理对象610之间的视觉一致性。可通过将视图700的虚拟表面721与视图800的虚拟表面821进行比较来看到视觉一致性的这种差异。具体地讲，视图800的虚拟表面821表现出对应于由物理表面611所表现的外在属性的视觉外观，而视图700的虚拟表面721则不表现。继续上述示例，其中外在属性表示出已聚积在物理对象610上的灰尘，虚拟表面721的外观未被修改为像物理表面611那样展示落满灰尘，而虚拟表面821的外观已被修改为展示落满灰尘。

转到图9，物理环境中的物理表面表现出的外在属性可在展示表示虚拟对象的内容时改变。为了保持虚拟对象和物理环境之间的视觉一致性，可更新表示虚拟对象的内容以反映外在属性中的所述改变。以举例的方式，外在属性可表示已聚积在物理对象610上的灰尘，如以上参考图6所讨论的。当在显示器208上展示表示虚拟对象820的第二内容，如图8所示，阵风可能干扰聚积在物理对象610上的灰尘。

图6和9之间的比较示出了外在属性的这种改变。在受到阵风干扰之前，在视图600中，灰尘一致地分布在物理对象610的物理表面611上。然而，在受到阵风干扰之后，所述灰尘不再均匀分布，如视图900所示。在视图900中，描绘外在属性中的所述改变的更新的第一内容通过图像传感器获取并展示在显示器208上。在视图900中展示在显示器208上的更新的第一内容包括物理对象910，该物理对象在受到阵风干扰之后表示物理对象610。

在图9中，第一物理表面区域911表示物理表面611的第一部分，所述第一部分相比由第二物理表面区域913表示的物理表面611的第二部分更接近阵风的源。由于更接近阵风的源，因此第一物理表面区域911在视图900中基本上没有灰尘。尽管不是完全没有灰尘，但阵风已使第二物理表面区域913具有比物理表面611的对应部分更少的灰尘。

除了在显示器208上展示之外，更新的第一内容还被提供到视觉一致性模型242。基于更新的第一内容，视觉一致性模型242确定对应于外在属性中的改变的更新的外在属性(或针对外在属性的更新的值)。在显示器208上展示(图8的)表示虚拟对象820的第二内容时，CGR展示单元244获取更新的外在属性(或更新的值)。根据获取更新的外在属性(或更新的值)，CGR展示单元244更新表示虚拟对象820的第二内容。更新表示虚拟对象820的第二内容形成图9的表示虚拟对象920的更新的第二内容。反映外在属性中的改变的所述更新的第二内容展示在如视图900所示的显示器208上。

图9还示出类似于由物理对象910表现出的外在属性(例如，灰尘)的不均匀分布，CGR展示单元244可在生成更新的第二内容时不均匀地修改虚拟对象920的表面外观。例如，在示例900中，邻近第一物理表面区域911的第一虚拟表面区域921似乎也基本上没有灰尘。在一个具体实施中，生成第一虚拟表面区域921涉及CGR展示单元244将基于纹理的贴花应用到虚拟对象920的三维表示的表面。又如，邻近第二物理表面区域913的第二虚拟表面区域923在受到阵风干扰之前看起来也比虚拟表面821的对应部分的灰尘少。

如图10所示，可确定由多个物理表面表现出的外在属性，同时提供虚拟对象和物理环境之间的视觉一致性。在视图1000中，物理对象1010的两个表面(例如，物理表面1011和1013)表现出外在属性。在视图1000中由物理表面1011和1013所表现出的外在属性可表示冰的积聚。相比之下，暴露于太阳辐射可防止物理对象1010的物理表面1015表现出任何冰积聚。

描绘物理对象1010的物理表面1011、1013和1015的第一内容使用电子设备110的图像传感器来获取以展示在显示器208上。如图10所示，第一内容还描绘了物理环境的邻近物理表面1011、1013和1015的区域1050。该第一内容被提供给视觉一致性模型242以确定由物理表面1011、1013和1015表现出的外在属性。在视觉一致性模型242确定外在属性之前，机器视觉单元246可预处理第一内容。

在一个具体实施中，预处理第一内容包括将第一内容分割成多个图像片段，所述多个图像片段各自对应于区域1050中的不同特征。例如，在图10中，物理表面1011、1013和1015将各自被认为是区域1050中的不同特征。在该示例中，预处理第一内容可涉及机器视觉单元246对第一内容执行前景检测。作为执行前景检测的结果，机器视觉单元246将对应于物理对象1010的第一内容的子集与从该子集中排除的第一内容(例如，对应于区域1050)进行区分。预处理第一内容还可涉及机器视觉单元246对第一内容执行边缘检测。作为执行边缘检测的结果，机器视觉单元246识别物理对象1010和邻近物理环境的区域1050之间的边界。执行边缘检测还可有利于识别物理对象1010的物理表面1011、1013和1015之间的边界。

基于第一内容，视觉一致性模型242确定由物理表面1011、1013和1015表现出的外在属性。视觉一致性模型242向CGR展示单元244提供由物理表面1011、1013和1015表现出的外在属性。CGR展示单元244基于由物理表面1011、1013和1015向CGR展示单元244表现出的外在属性来生成表示虚拟对象1020的第二内容。

为了提供虚拟对象1020和邻近电子设备110的物理环境之间的视觉一致性，CGR展示单元244修改虚拟对象1020的表面外观以在生成第二内容时反映物理对象1010的表面外观。例如，在示例1000中，虚拟表面1021和1023表现出分别由物理表面1011和1013表现出的外在属性(例如，冰积聚)。类似于物理表面1015，在视图1000中，虚拟表面1025似乎不表现出任何冰积聚。

图10还示出了由物理表面表现出的多个外在属性，同时提供虚拟对象和物理环境之间的视觉一致性。除了上面讨论的物理表面1011和1013所表现出的冰积聚外在属性之外，物理表面1011在视图1000中表现出第二外在属性1012。由物理表面1011表现出的第二外在属性1012可表示覆盖冰积聚部分的积雪。

基于描绘物理对象1010的第一内容，视觉一致性模型242确定由物理表面1011表现出的第二外在属性。视觉一致性模型242向CGR展示单元244提供由物理表面1011表现出的第二外在属性1012。在这种情况下，CGR展示单元244基于上面讨论的冰积聚外在属性和由物理表面1011表现出的第二外在属性1012来生成表示虚拟对象1020的第二内容。如图10所示，表示虚拟对象1020的第二内容包括看起来具有覆盖冰积聚部分的积雪的虚拟表面1021的部分1022。

在一个具体实施中，提供虚拟对象1020和邻近电子设备110的物理环境之间的视觉一致性涉及将描绘物理对象1010的第一内容的一部分与虚拟视觉内容1030重叠。在一个具体实施中，虚拟视觉内容1030可形成表示虚拟对象1020的第二内容的一部分。在一个具体实施中，虚拟视觉内容1030可不同于表示虚拟对象1020的第二内容。例如，虚拟视觉内容1030可表示第二虚拟对象。

在一个具体实施中，视觉一致性模型242由一个视觉一致性模型构成，所述视觉一致性模型被配置为确定由物理表面1011和1013表现出的冰积聚外在属性和由物理表面1011表现出的第二外在属性1012。在一个具体实施中，视觉一致性模型242由两个视觉一致性模型组成：第一视觉一致性模型和第二视觉一致性模型。该具体实施的第一视觉一致性模型被配置为确定由物理表面1011和1013表现出的冰积聚外在属性。该具体实施的第二视觉一致性模型被配置为确定由物理表面1011表现出的第二外在属性1012。

图11和图12示出了表示虚拟对象的内容可部分地基于对象几何结构来生成。例如，在图11中，视图1100包括物理对象610，该物理对象包括物理表面611。如上参照图6所讨论的，由物理表面611表现出的外在属性可表示物理对象610上所聚积的灰尘。与图6的被描绘为具有相对平坦的上表面(例如，虚拟表面621)的虚拟对象620不同，虚拟对象1120的上表面(例如，虚拟表面1121)包括升高的特征部1122。如果虚拟对象1120存在于物理环境中，那么作用于虚拟对象1120的物理力(例如，重力)可阻止任何灰尘聚积在升高的特征部1122上。

为了提供虚拟对象和邻近电子设备110的物理环境之间的视觉一致性，CGR展示单元244可在生成表示虚拟对象的内容时将虚拟对象的几何结构考虑在内。例如，在生成表示虚拟对象1120的内容时，CGR展示单元244修改虚拟对象1120的表面外观以反映类似形状的物理对象在这种物理环境中将具有的表面外观。在一个具体实施中，生成表示虚拟对象1120的内容涉及确定虚拟对象1120的几何结构。在一个具体实施中，确定虚拟对象1120的几何结构涉及评估存在于定义虚拟对象220的参数或属性的电子设备110的存储器(例如，存储器1120)中的数据(例如，文件)。

如图11所示，虚拟对象1120诸如虚拟表面1123的升高或倾斜的表面似乎基本上没有灰尘，而虚拟对象1120诸如虚拟表面1121的平坦表面像物理表面611那样展示为落满灰尘。本领域的技术人员将会知道，在生成表示虚拟对象的内容时，可考虑到超出具有升高或倾斜表面的虚拟对象的其他几何结构。例如，在一些外在参数(例如，锈)被表现在其他非凹进的表面区域中之前，这些外在参数可被表现在物理对象表面的凹进区域(例如，可存在于物理对象表面上的各种角落和缝隙)中。在该示例中，被确定为生成表示虚拟对象1120的内容的虚拟对象1120的几何结构可对应于虚拟对象1120的周边周围的虚拟表面的凹进区域。对围绕虚拟对象1120的周边定义的虚拟表面所定义的封闭特性进行评估可有利于该确定。

转到图12，视图1200包括描绘物理对象1210的第一内容。如图12所示，与图11的被描绘为具有相对平坦的上表面(例如，虚拟表面611)的物理对象610不同，物理对象1210的上表面(例如，物理表面1211)包括升高的特征部1212。如果图12中的外在属性表示物理表面1211上通常聚积的灰尘，那么作用于物理对象1210上的物理力(例如，重力)阻止任何灰尘聚积在升高的特征部1212上。

虚拟对象1220在视图1200中被定位为具有设置在升高的特征部1212上的一端，而相对端设置在物理对象1210的对应于物理表面1211的相对平坦的上表面上。如果假定物理对象1210在视图1200中静止在平坦的水平表面上，那么虚拟表面1221的取向由于其放置而相对于该水平表面在竖直方向1240上被偏置。虚拟表面1221通过升高的特征部1212的偏置相对于物理对象1210下面的水平表面在垂直方向1240上引入虚拟表面1221的角度，否则该角度将不存在。

图12示出了虚拟表面1221相对于正常情况1250的角度，该角度小于与升高的特征部1212的升高表面或倾斜表面(例如，物理表面1213)相关联的类似角度。同样地，如果虚拟对象1220存在于物理环境中，那么与完全阻止灰尘聚积在升高的特征部1212的升高或倾斜表面上相比，作用于虚拟对象1220上的物理力(例如，重力)可不完全阻止任何灰尘聚积在虚拟表面1221上。虽然这些力可能不完全阻止任何灰尘聚积在虚拟表面1221上，但那些力可能会影响在虚拟表面1221上的灰尘的分布。

例如，邻近升高的特征部1212的虚拟表面1221的倾斜区域1223看起来基本上没有灰尘。然而，在倾斜区域1223的外部，虚拟表面1221看起来具有与存在于升高的特征部1212外部的物理表面1211上的灰尘聚积相当的灰尘聚积。虚拟对象1220的表面外观的此类非均匀修改对应于CGR展示单元244，其部分地基于与物理对象1210相关联的估计的几何结构来生成表示虚拟对象1220的第二内容。

在一个具体实施中，提供虚拟对象1220和邻近物理环境之间的视觉一致性涉及在确定由物理表面(例如，物理表面1211)表现出的外在属性之前预处理第一内容。在该具体实施中，描绘物理对象1210的第一内容还描绘了物理环境的邻近物理对象1210的区域1250。在一个具体实施中，预处理第一内容包括使用从第一内容获取的运动结构信息估计对应于该区域的至少一部分的几何结构。在一个具体实施中，预处理第一内容包括基于从图像传感器***206获取的第一内容和深度信息来估计对应于该区域的至少一部分的几何结构。在一个具体实施中，预处理第一内容包括基于从第一内容获取的单个图像帧估计对应于该区域的至少一部分的几何结构。

图13示出了根据一些具体实施的表示虚拟对象的内容的示例。在图13的示例中，虚拟对象是一双鞋，并且该内容对应于这双鞋的三维表示。图13所示的一双鞋的表面的至少一部分可使用一组点来表示，其中每个点表示三维空间中的位置。这些点云表示的一个示例在图14中示出。具体地讲，图14的示例示出了对应于这些鞋中的一只的鞋底的表面的点云表示。

在一些具体实施中，提供虚拟对象和邻近电子设备的物理环境之间的视觉一致性涉及对虚拟对象的点云表示进行贴图混合。对点云表示进行贴图混合是指当生成表示虚拟对象的内容时用纹理贴图(或贴花图像)填充点云表示的每个点。纹理贴图的示例在图15至图17中示出。纹理贴图可利用如图15所示的二维图像元件实现，或者利用如图16和图17所示的三维图像元件实现。

图18示出了利用图15的纹理贴图对图14的点云表示进行贴图混合的示例。图19示出了利用图16的纹理贴图对图14的点云表示进行贴图混合的示例。图20示出了利用图17的纹理贴图对图14的点云表示进行贴图混合的示例。

在一些具体实施中，提供虚拟对象和邻近电子设备的物理环境之间的视觉一致性涉及配置对应于虚拟对象的三维表示的表面的材料属性。一般来讲，材料属性被配置为限定如何渲染虚拟对象的三维表示的表面，从而限定该表面的视觉外观。在一个具体实施中，材料属性被提供给图2的CGR展示单元244的着色器功能。在图21的示例中，已将“有光泽的”(或镜面的)材料属性添加到图13的三维表示中，使得鞋的表面看起来润湿或没有磨损。

在一些具体实施中，提供虚拟对象和邻近电子设备的物理环境之间的视觉一致性涉及调制对应于虚拟对象的三维表示的表面的材料属性。例如，在图22中，噪声纹理被添加到图13的三维表示中。图22的噪声纹理可用于调制图21所示的“有光泽的”材料属性。在一个具体实施中，用纹理调制材料属性涉及同时将具有材料属性的纹理添加作为漫反射颜色。图21和图23之间的比较示出，通过利用噪声纹理调制“有光泽的”材料属性，可改变鞋的表面看起来润湿或没有磨损的程度。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”(“a”“an”)和“该/所述”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”或“comprising”)本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种在虚拟对象和物理环境之间提供视觉一致性的方法，所述方法包括：

在具有图像传感器的电子设备处：

使用所述图像传感器来获取描绘所述物理环境中的物理表面的第一内容；

基于所述第一内容使用视觉一致性模型来确定由所述物理表面表现出的外在属性；以及

基于所述外在属性生成表示虚拟对象的第二内容以在显示器上展示。

2.根据权利要求1所述的方法，其中所述外在属性为灰尘、润湿、结冰、锈迹、脏污或磨损。

3.根据权利要求1所述的方法，其中使用描绘所述外在属性的变化的一组训练图像来训练所述视觉一致性模型以确定所述外在属性。

4.根据权利要求1所述的方法，其中基于所述第一内容使用所述视觉一致性模型来确定针对所述外在属性的值。

5.根据权利要求4所述的方法，其中基于针对所述外在属性的所述值来生成表示所述虚拟对象的所述第二内容。

6.根据权利要求1所述的方法，其中使用描绘所述外在属性的变化的一组训练图像来训练所述视觉一致性模型以确定针对所述外在属性的值。

7.根据权利要求4所述的方法，其中所述值为所述物理表面表现出所述外在属性的概率估计。

8.根据权利要求7所述的方法，其中生成所述第二内容包括以一量改变所述虚拟对象的外观，所述量基于所述概率估计。

9.根据权利要求1所述的方法，其中生成表示所述虚拟对象的所述第二内容包括：

基于所述外在属性对所述虚拟对象的点云表示进行贴图混合；

生成具有基于所述外在属性定义的至少一个参数的过程纹理映射，并且将所述过程纹理映射应用于所述虚拟对象的三维表示的表面；

基于所述外在属性调制对应于所述虚拟对象的三维表示的表面的材料属性；或者

基于所述外在属性来将基于纹理的贴花应用到所述虚拟对象的三维表示的表面。

10.根据权利要求1所述的方法，其中描绘所述物理表面的所述第一内容还描绘所述物理环境的邻近所述物理表面的区域，并且其中所述方法还包括：

在确定由所述物理表面表现出的所述外在属性之前预处理所述第一内容。

11.根据权利要求10所述的方法，其中预处理所述第一内容包括：

将所述第一内容分割成多个图像片段，所述多个图像片段各自对应于所述区域中的不同特征。

12.根据权利要求10所述的方法，其中所述第一内容包括描绘所述区域的时间间隔图像序列，并且其中预处理所述第一内容包括：

使用从所述第一内容获取的运动结构信息来估计对应于所述区域的至少一部分的几何结构。

13.根据权利要求12所述的方法，其中部分地基于所估计的几何结构来生成表示所述虚拟对象的所述第二内容。

14.根据权利要求10所述的方法，其中预处理所述第一内容还包括：

对描绘所述场景的所述时间间隔图像序列执行图像校正。

15.根据权利要求1所述的方法，其中所述第一内容从多个不同视点描绘所述物理表面，并且其中所述值基于所述第一内容和与所述多个不同视点的至少一个子集相对应的相机姿态信息来确定。

16.一种***，所述***包括：

电子设备，所述电子设备具有显示器；

处理器；和

计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由所述处理器执行时使得所述***执行操作，所述操作包括：

使用视觉一致性模型来获取由邻近所述电子设备的物理表面表现出的外在属性；

基于所述外在属性生成表示虚拟对象的内容；以及

在所述显示器上展示表示所述虚拟对象的所述内容。

17.根据权利要求16所述的***，其中所述视觉一致性模型被配置为基于描绘所述物理表面的图像数据来确定由所述物理表面表现出的所述外在属性。

18.根据权利要求17所述的***，其中描绘所述物理表面的所述图像数据从所述电子设备的图像传感器接收。

19.根据权利要求16所述的***，其中，使用描绘所述外在属性的变化的一组训练图像来训练所述视觉一致性模型以确定所述外在属性。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在计算机上计算机执行以执行操作的程序指令，所述操作包括：

提供描绘由物理表面表现出的外在属性的变化的一组训练图像；

使用机器学习过程利用所述一组训练图像来训练视觉一致性模型，所述视觉一致性模型被配置为基于描绘物理表面的图像数据来确定由所述物理表面表现出的所述外在属性；以及

将所述视觉一致性模型集成到计算机生成的现实(CGR)应用程序中，所述应用程序生成用于在显示器上展示的表示虚拟对象的内容。

Images