CN117242497A - 环境共享 - Google Patents

Abstract

本文所公开的各种具体实施包括在通信会话期间生成并且共享/发送物理环境的3D表示的设备、***和方法。可以替换该3D表示的一些元素(例如，点)以改善建模和发送过程的质量和/或效率。用户的设备可在该通信会话期间在该物理环境的扫描期间提供视图和/或反馈，以便于准确理解正在发送什么。附加信息(例如，该物理环境的一部分的第二表示)也可在通信会话期间发送。该第二表示可表示未由该3D表示来表示的部分的一个方面(例如，更多细节、照片质量图像、实况等)。

Description

环境共享

技术领域

本公开整体涉及使用传感器在通信会话期间提供视图的电子设备，这些视图包括包含参与会话的用户的物理环境的表示的视图。

背景技术

诸如视频会议、交互式游戏会话和其他交互式社交体验的通信会话使得用户能够共享他们的物理环境的2D图像。例如，基于web的视频会议技术使得用户能够在他们的物理环境内同时共享他们自己的2D图像和视频。现有技术不足以促进在通信会话期间共享3D环境。

发明内容

本文所公开的各种具体实施包括在通信会话期间生成并且共享/发送物理环境的3D表示的设备、***和方法。可以替换该3D表示的一些元素(例如，点云的点、或网格的点或多边形)以改善建模和发送过程的质量和/或效率。例如，一些元素可以用非点/非多边形元素(例如平面元素、几何外壳元素等)来替换。场景理解语义可用于确定要替换该3D表示的哪些元素。在一些具体实施中，表示物理环境的墙壁、天花板和地板的部分的元素可用平面元素或对应于该物理环境的多个周边区域的基本形状的几何外壳来替换。相反，表示家具、窗帘、壁挂等的其他元素仍包括在该3D表示中。选择性地更改该3D表示以替换某些元素可提供更清洁的感觉、更坚实的感觉、更封闭的感觉和/或更轻的感觉环境。更改该3D表示可以额外提供更紧凑的3D表示，用于更高效和更快速的通信和渲染。

在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法生成物理环境的3D表示(例如，3D点云)。该3D表示具有元素(例如，点)，每个元素具有3D位置并且表示该物理环境的一部分的外观(例如，颜色)。该方法确定该3D表示的元素的对象类型(例如，诸如“墙壁”的语义标签)。在一些具体实施中，这涉及使用机器学***面元素替换墙壁元素。在另一个示例中，这涉及用几何外壳(例如，诸如用于矩形房间的3D矩形的空3D形状)替换房间边界元素(例如，墙壁、天花板、地板)。该视觉特征的颜色和/或纹理可以基于评估该物理环境(例如经由纹理匹配)来确定。该替换可减小该3D表示的大小，例如，潜在地用相对少量的视觉特征来替换数百或数千个元素。该方法提供该3D表示的视图，该3D表示包括该第二组元素和该视觉特征。因此，例如，用户视图可以基于描绘沙发、窗帘、桌子等的该3D表示的剩余元素以及诸如表示房间的边界部分的语义外壳之类的几何形状。

本文所公开的各种具体实施包括在通信会话期间生成并且共享/发送物理环境的3D表示的设备、***和方法。在该通信会话期间由用户设备例如在该物理环境的扫描期间获得的传感器数据用于生成该3D表示。该用户的设备可以在该扫描期间提供视图和/或反馈以便于准确理解正在发送的内容。例如，当该用户扫描环境时，他或她的视图可以示出具有图形指示的物理环境，该图形指示将作为该3D表示的一部分而被包括/发送的部分与未作为该3D表示的一部分被包括/发送的部分区分开。该用户可以到处移动该设备以包括/发送该物理环境或多或少部分，并且“绘画效果”可提供与涉及正在被包括/发送的内容的改变有关的反馈。另外，该用户可提供可用于设置边界或以其他方式减少将被发送的内容的输入，例如，选择将不被发送的该物理环境的某些对象或区域。

在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法在通信会话期间在物理环境的扫描期间获得传感器数据。例如，这可涉及在宿主开始与其他用户共享/发送他或她的环境的通信会话期间获得图像和深度数据。该方法基于该传感器数据在该扫描期间更改该物理环境的3D表示(例如，3D点云)，其中该更改改变该物理环境的哪些部分被表示在该3D表示中。根据改变该3D表示，在该扫描期间提供的该物理环境的视图中更新图形指示。该图形指示对应于在该3D表示中表示的该物理环境的第一部分与在该3D表示中未表示的该物理环境的第二部分之间的边界。在该通信会话期间发送该3D表示，这可以使得接收电子设备能够提供该3D表示的视图。

本文所公开的各种具体实施包括在通信会话期间生成并且发送物理环境的3D表示的设备、***和方法。基于用户动作，使用附加内容来补充该3D表示。例如，可以将更详细的或实况的内容(例如，图像)定位在视图中的该3D表示的一部分的位置或前面。在一个示例中，唱片播放器的实况图像内容可以包括在该唱片播放器的3D表示的一部分的前面以提供更高保真的表示和/或实况内容，例如，示出该旋转的唱片。

在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法生成物理环境的3D表示(例如，3D点云)。该方法在该通信会话期间发送该3D表示。该方法还在该通信会话期间发送该物理环境的一部分的第二表示。

该第二表示可提供比该3D表示更详细的视图。该第二表示可与该3D表示同时显示。该第二表示可包括该物理环境的该部分的图像或视频和指定该第二表示相对于该3D表示的定位的位置数据。该第二表示可独立地显示，例如作为进入另一个用户的世界的“窗口”。这可涉及以保留一些空间连续性的方式基于约束来定位该第二表示。例如，该第二表示可被呈现在该呈现用户(或其表示)的前面，以指示他或她正在使用该第二表示发送的该世界的部分的方向。在另一个示例中，能够以相对于该呈现用户(或其表示)的空间偏移(例如，距离和角度)来呈现该第二表示，该空间偏移与该呈现用户和他或她正在使用该第二表示发送的世界的部分之间的空间偏移相匹配。在其他示例中，该第二表示可在该呈现用户(或化身)的位置、以距离该化身预定义的偏移、覆盖在该化身上、在由查看用户控制的位置(例如，应用窗口、手等)中、或使用另选的或附加的呈现位置选择准则来显示。

在一些具体实施中，该第二表示表示未由该3D表示来表示的部分的一个方面(例如，更多细节、照片质量图像、实况等)。该第二表示可以是图像数据、实况数据、相机透传图像、更详细的3D表示等。

在一些具体实施中，基于用户输入来进行发送。例如，这可涉及识别输入(例如，该宿主指向该唱片播放器)、基于该输入识别对象以及基于识别该对象确定发送该第二表示。

在一些具体实施中，该方法基于该3D表示来提供该物理环境的视图，并且该视图包括该物理环境的部分的该第二表示。在一些具体实施中，该第二表示基于该部分的对应表示在该3D表示中的位置来定位，例如，在点云的对应点的前面或位置中。此类定位可涉及基于到该3D环境中的视点来调整图像入口的角度。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的在通信会话期间在物理环境中操作的示例性电子设备。

图2示出了根据一些具体实施的图1的该物理环境的3D表示的描绘。

图3示出了根据一些具体实施的图2的该3D表示的视图，该3D表示中一些元素被替换为视觉特征。

图4示出了根据一些具体实施的图2的该3D表示的视图，该3D表示中一些元素被替换为视觉特征并且视觉特征设有基于该物理环境的纹理。

图5示出了根据一些具体实施的附加表示，该附加表示用于提供图4的该视图中所描绘的对象的附加方面。

图6示出了根据一些具体实施的在通信会话期间的扫描期间提供的反馈。

图7是示出了根据一些具体实施的用于在通信会话期间生成和发送物理环境的3D表示的方法的流程图。

图8是示出了根据一些具体实施的用于在通信会话期间提供物理环境的扫描中的反馈的方法的流程图。

图9是示出了根据一些具体实施的用于在通信会话期间提供在3D表示中描绘的对象的附加方面的方法的流程图。

图10是根据一些具体实施的电子设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了示例性电子设备105，该示例性电子设备在通信会话期间(例如，当电子设备105与一个或多个正在与彼此或者诸如通信会话服务器等中间设备发送信息的其他电子设备(未示出)进行通信时)在物理环境100中操作。在图1的该示例中，物理环境100是包括墙壁130、132、134、天花板140、地板150、窗户160、沙发170、桌子175、咖啡杯180和壁挂190的房间。电子设备105包括一个或多个相机、麦克风、深度传感器或可用于捕获关于物理环境100及其内的对象的信息和关于电子设备105的用户110的信息以及评估该物理环境及其内的对象的其他传感器。关于物理环境100和/或用户110的信息可用于在通信会话期间提供视觉和音频内容。例如，通信会话可向3D环境的一个或多个参与者(例如，用户110和/或未示出的其他参与者)提供视图，该3D环境是基于物理环境100的相机图像和/或深度相机图像生成，并且是基于用户110的相机图像和/或深度相机图像的用户110的表示。

图2示出了图1的物理环境100的3D表示的描绘200。在该示例中，点230对应于墙壁130，点232对应于墙壁132，点234对应于墙壁134，点240对应于天花板140，点250对应于地板150，点260对应于窗户160，点270对应于沙发170，点275对应于桌子175，点280对应于咖啡杯180，并且点290对应于挂壁190。注意，实际的3D表示(例如，3D点云、3D网格等)可具有更多可变的、更不一致地间隔开的元素位置、更多或更少的元素或以其他方式不同于作为实际的3D点云的图示而非准确描绘而提供的描绘200。3D表示的点例如可对应于由深度传感器测量的深度值，并且因此对于更远离该传感器的对象而言可比对于更靠近该传感器的对象而言更稀疏。该3D表示的点中的每个点均对应于3D坐标系中的位置并且具有指示物理环境100的对应部分的外观的特性(例如，颜色)。在一些具体实施中，初始3D表示是基于传感器数据生成的，并且然后执行改进过程以改进该3D表示，例如，通过填孔、执行致密化来添加点以使该表示更密集等。

图3示出了图2的该3D表示的视图，该3D表示中一些元素被替换为视觉特征。对应于墙壁130的点230已被替换为平面元素330。对应于墙壁132的点232已被替换为平面元素332(除了对应于窗户160的框架的点260之外)。对应于墙壁134的点234已被替换为平面元素334，除了对应于壁挂190的点290。对应于天花板140的点240已被替换为平面元素340。对应于地板150的点250已被替换为平面元素350。在一些具体实施中，平面元素被单独地用来表示物理环境的周边区域(例如，墙壁、天花板、地板)。在其他具体实施中，则使用另选的几何形状。例如，3D形状的外壳或其部分(例如，矩形立方体的5个内表面)用于替换房间或其他物理环境的对应周边区域。在一些具体实施中，该设备基于传感器数据确定房间布局，并且基于该房间布局选择替换的几何形状。

在图3的示例中，虽然点230、232、234、240、250被替换为平面元素，但是其他点(例如，表示该沙发的点270、表示桌子175的点275以及表示咖啡杯180的点280)仍然被包括在该3D表示内。基于这些剩余点270、275、280和平面元素330、332、334、340、350(或其他视觉特征)来提供视图300。例如，该3D表示可包括该平面元素或与该平面元素相关联，并且此信息可在该通信会话期间提供到设备105上的渲染引擎或该通信会话中所涉及的其他设备。向该通信会话中所涉及的其他设备提供该3D表示可允许那些设备的用户感觉好像他们处于与用户110相同的物理环境100中。该点和平面元素信息用于提供包括这两者的视图，例如，如图3的视图300中所示。

如图3所示，选择性地更改该3D表示以替换某些点可提供更清洁的感觉、更坚实的感觉、更封闭的感觉和/或更轻的感觉环境。更改该3D表示可以额外提供更紧凑的3D表示，用于更高效和更快速的通信和渲染。

图4示出了图2的该3D表示的视图400，在该3D表示中一些点被替换为视觉特征(例如，平面元素、几何元素、外壳等)，其中视觉特征设有基于该物理环境的纹理。具体地，平面元素440具有基于天花板140的外观生成的纹理(见图1)。例如，这种纹理可通过分析对应于物理环境100的天花板140部分的图像的一部分来识别。可使用比对应于该纹理的外观的密集点数据更少的数据来存储纹理。例如，可使用简化图案内的重复元素的表示来存储纹理。

图5示出了用于提供对象(即，咖啡杯180)的附加方面的附加表示520。具体地，在该示例中，附加表示520是与该3D表示一起提供的咖啡杯180的图像，并且用于显示比该3D表示的点所提供的咖啡杯180的更优的表示。附加表示520可包括更优质(例如，比3D点云的点更密集的图像像素)的图像数据、实况数据、相机透传图像/视频、更详细的3D表示、和/或实现咖啡杯180的更详细描绘525的其他信息。

在一些具体实施中，提供附加表示520基于用户输入。例如，这可涉及识别输入(例如，用户指向咖啡杯或具有对应于咖啡杯180的凝视方向510)、基于该输入识别咖啡杯180以及基于识别该对象确定发送附加表示520。

图5提供由设备505(对应于设备105或与设备105进行通信会话的另一个设备)基于该3D表示(包括一个或多个3D元素、视觉特征、或其组合)呈现的物理环境100的视图515，并且该视图包括物理环境100的特定部分的附加表示520。在一些具体实施中，附加表示520基于该部分的对应表示在该3D表示中的位置来定位，例如，在对应于咖啡杯180的点云的对应点280的前面或位置中。此类定位可涉及基于到该3D环境中的视点来调整图像入口的角度。例如，如果用户110站在靠左边几英尺处，则可以在其3D位置处旋转附加表示520以便从用户的视点更好地观看。附加表示520可以单独呈现或者与该3D表示组合呈现。在一些具体实施中，能够以保留一些空间连续性的方式基于约束来定位附加表示520。例如，附加表示520可由该通信会话中的其他参与者呈现在设备105的用户(或其表示)的前面，以指示咖啡杯180在物理环境100中的方向。在另一个示例中，附加表示520可由该通信会话中的其他参与者以相对于设备105的用户(或其表示)的空间偏移(例如，距离和角度)来呈现，该空间偏移匹配物理环境100中的设备105的用户与咖啡杯180之间的空间偏移。在其他示例中，该附加表示可在该呈现用户(或化身)的位置、以距离该化身预定义的偏移、覆盖在该化身上、在由查看用户控制的位置(例如，应用窗口、手等)中、或使用另选的或附加的呈现位置选择准则来显示。

在又一些具体实施中，该附加表示可由该通信会话中的其他参与者代替设备105的用户(或其表示、在距离设备105的用户(或其表示)预定义的偏移处、覆盖在设备105的用户(或其表示)上、在由其他参与者控制的位置中(例如，应用窗口，附接到其他参与者的身体部位等)来呈现等。

在一些具体实施中，由于设备105位于物理环境100中，因此设备105可通过透明/半透明显示器呈现物理环境100的直接视图，或者可以使用不透明显示器呈现物理环境100的透传图像，而不显示物理环境100的该3D表示(例如，3D点云、3D网格或(多个)视觉特征)中的任何表示。在这些具体实施中，设备105可呈现覆盖在物理环境100的直接或间接视图上的与设备105进行通信会话的其他用户的图像或表示(例如，化身)。设备105还可显示作为该通信会话的一部分的虚拟对象(例如，应用窗口、虚拟棋盘游戏等)。在一些具体实施中，设备105可替代地呈现物理环境100的直接或间接视图以及物理环境100的哪个(些)部分正被发送给该通信会话的其他参与者/与该通信会话的其他参与者共享的图形指示，如以下结合图6和图8更详细的描述。然而，该通信会话中的其他用户的设备可单独使用该3D表示或者与它们自己的物理环境的直接或间接视图相结合来呈现物理环境100的视图。例如，该通信会话中的其他用户的设备可以呈现与视图515类似或相同的物理环境100的视图，或者可以呈现覆盖在它们自身环境的直接(例如，经由透明/半透明显示器)或透传图像上的与视图515类似的物理环境100的视图。这些设备还可显示作为该通信会话的一部分的其他用户(例如，用户110)或虚拟对象的图像或表示。

图6示出了在通信会话期间的扫描期间提供的反馈。在该示例中，用户110在通信会话期间使用设备105来扫描物理环境100。该扫描可以是有意的或无意的、引导的或非引导的、持续时间受限的或正在进行的。在该扫描期间(和/或在该通信会话内)，设备105显示关于该扫描的反馈，以提供关于物理环境100的哪些部分将被和/或正被所发送的3D表示描绘以及哪些部分将不被描绘的信息。例如，设备105提供包括物理环境100的第一部分周围的边界610的视图600，该边界被包括在该3D表示中并且因此将在该通信会话内发送。边界610之外的物理环境100的第二部分被该边界标识为不包括/发送。此外，该第一部分(在边界610内)可以例如通过使用该3D表示的元素(例如，点)和/或使用区别性视觉特性(例如，颜色、高亮等)来表示而进行区分。当用户移动设备105并且获得对应于物理环境100的先前未扫描部分的传感器数据时，该3D表示可在该通信会话期间进行更新和发送。边界610可以改变其位置以示出该3D表示的附加物。在一些具体实施中，该反馈提供绘画效果，其中该用户移动设备105以捕获修改该3D表示的传感器数据，同时看到用区别性视觉特性来描画视图600中的该物理环境的对应所表示部分的反馈。

在图1至图6的示例中，电子设备105被示出为手持式设备。电子设备105可以是移动电话、平板电脑、膝上型电脑等等。在一些具体实施中，电子设备105可由用户穿戴。例如，电子设备105可以是手表、头盔式设备(HMD)、头戴式设备(眼镜)、耳机、耳挂式设备等。在一些具体实施中，设备105的功能通过两个或更多个设备来实现，例如移动设备和基站或头戴式设备和耳挂式设备。各种功能可以分布在多个设备中，包括但不限于功率功能、CPU功能、GPU功能、存储功能、存储器功能、视觉内容显示功能、音频内容生产功能等。可以用于实现电子设备105的功能的多个设备可以通过有线或无线通信彼此通信。

根据一些具体实施，电子设备105在通信会话期间生成扩展现实(XR)环境并向一个或多个用户呈现该XR环境。人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与物理环境交互。这可与扩展现实(XR)环境相反，该XR环境可以是指人们可使用电子设备感测或交互的部分或完全模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR***，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR***可检测用户的头部移动，并且以模拟声音和视图将如何在物理环境中改变的方式调整呈现给用户的听觉和图形内容。在其他示例中，XR***可检测呈现XR环境的电子设备(例如，膝上型计算机、平板电脑、移动电话等)的移动。因此，XR***可以模拟声音和视图将如何在物理环境中改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如身体运动的表示(例如，语音命令)可使XR***调整图形内容的属性。

众多类型的电子***可允许用户感测XR环境或与XR环境交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的镜片(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的***、可头戴式***、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入***(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机和扬声器阵列。头戴式***可包括不透明显示器和一个或多个扬声器。其他头戴式***可被配置为接收不透明外部显示器，诸如，智能电话的不透明外部显示器。头戴式***可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式***可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术，诸如硅上液晶、LED、uLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的***可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

图7是示出了用于在通信会话期间生成和发送物理环境的3D表示的方法700的流程图。在一些具体实施中，设备诸如电子设备105执行方法700。在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD、耳挂式设备或服务器设备上执行方法700。方法700由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法700。

在框710处，方法700生成物理环境的三维(3D)表示(例如，3D点云、3D网格等)，该3D表示包括元素(例如，点云的点或网格的点或多边形)，每个元素具有3D位置并且表示该物理环境的一部分的外观(例如，颜色)。在一个示例中，在通信会话期间生成托管用户的房间的3D点云。在这样的通信会话中，作为向多个用户提供共享环境体验的一部分，该通信会话的化身或其他用户表示可以(但不必须)定位在该3D表示内。

在框720处，方法700确定该3D表示的元素的对象类型(例如，诸如“墙壁”的语义标签)。这可涉及使用机器学习模型或算法来为点云的点或3D网格的点/多边形提供基于场景理解的语义标记(例如，桌子、沙发、墙壁等)。例如，场景理解机器学习模型或算法可识别对应于家具对象类型(例如，沙发、软垫凳、椅子、长凳、桌子、咖啡桌、边桌、床、餐具柜、橱柜、衣柜等)和房间周边对象类型(例如，墙壁、天花板、地板、角落、托盘天花板等)的点云的点的类型。

在框730处，根据确定该3D表示的元素的对象类型，方法700用视觉特征替换对应于第一对象类型的该3D表示的第一组元素，其中不对应于该第一对象类型的该3D表示的第二组元素保留在该3D表示中。在一些具体实施中，基于对象类型(例如，家具对墙壁对手持式对象)、距离(例如，接近用户或超过阈值距离)、对象大小(例如，仅替换大于阈值长度、体积等的对象)、复杂性(例如，仅替换具有实体或图案表面外观的对象)和/或一个或多个其他准则来确定替换哪些元素。

在一个示例中，被替换的第一组元素是与周边区域(例如，墙壁、地板、天花板等)相关联的元素，并且被替换为视觉特征(这是平面元素)。可使用位置/朝向信息(例如，6DOF姿势)和标识形状类型、大小、颜色、纹理等的信息来界定平面元素。在另一个示例中，这涉及用几何外壳(例如，诸如用于矩形房间的3D矩形的空3D形状)替换房间边界元素(例如，墙壁、天花板、地板)。可使用位置/朝向信息(例如，6DOF姿势)和标识形状类型、大小、颜色、纹理等的信息来类似地定义外壳。图1至图3示出了替换第一组元素而将第二组元素保留在3D表示内。

该视觉特征的颜色和/或纹理可以基于评估该物理环境(例如经由纹理匹配)来确定，如图4中所示。例如，这可涉及获得该物理环境的图像，识别对应于该第一组元素的图像的一部分，以及基于该图像的部分生成该视觉特征的外观特性(例如，颜色、纹理、打光等)。

在一些具体实施中，视觉特征对应于窗户、门、玻璃墙壁或通过其可看见光和/或室外内容的其他元素。这样的视觉特征可以具有对应于或以其他方式基于该物理环境的特性。例如，通向外部(阳光充足的)风景的窗户可以具有对应于较亮的外部环境的明亮外观。通过此类元素可见的外部内容可被模糊或以其他方式遮蔽以提供该总体环境的感觉而不显露细节，例如，青草和绿化可表现为模糊的绿色/褐色区域，天空可表现为模糊的蓝色/白色区域等。模糊和遮蔽内容可提供更合意的用户体验以及根据用户的隐私要求、偏好、同意和许可来提供共享。

在一些具体实施中，执行边缘处理以将点云的点的外观与诸如平面元素或外壳之类的视觉特征的附近部分融合。

在框740处，方法700向远程电子设备提供该3D表示，该3D表示包括该第二组元素和该视觉特征。在一些具体实施中，该发送和/或接收电子设备提供该3D表示的视图。提供此类视图可包括显示该3D表示的视图。相应地，例如，用户视图可基于描绘该沙发、窗帘、桌子等的例如3D点云的3D表示的剩余元素以及诸如表示房间的边界部分的语义外壳之类的几何形状。

图8是示出了用于在通信会话期间在物理环境的扫描中提供反馈的方法800的流程图。在一些具体实施中，设备诸如电子设备105执行方法800。在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD、耳挂式设备或服务器设备上执行方法800。方法800由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法800。

在框810处，方法800在通信会话期间的物理环境的扫描期间获得传感器数据(例如，图像、深度数据、运动等)。在一些具体实施中，在该扫描期间基于接收对应于该物理环境的先前未扫描部分的传感器数据，更新该物理环境的3D表示。例如，用户可移动或重新定向该设备，使得该设备的传感器朝向该物理环境的先前未被扫描的部分。在一些具体实施中，用户有意地移动并且定向该设备以试图捕获该物理环境的一个或多个特定区域。在另一个示例中，在没有执行扫描的明确意图的情况下进行该扫描，因为用户会在该通信会话期间自然地移动并且重新定向该设备。

在框820处，方法800基于该传感器数据在该扫描期间更改该物理环境的3D表示(例如，3D点云)，其中该更改改变该物理环境的哪些部分被表示在该3D表示中。

在框830处，根据更改该3D表示，方法800更新在该扫描期间提供的该物理环境的视图中的图形指示，该图形指示对应于在该3D表示中表示的该物理环境的第一部分与在该3D表示中未表示的该物理环境的第二部分之间的边界。图6提供了图形指示的图示，该图形指示对应于表示在3D表示中的物理环境的第一部分与未表示在该3D表示中的第二部分之间的边界。在该扫描期间获得对应于该物理环境的先前未扫描部分的附加传感器数据时，该图形指示可以移动。

在一些具体实施中，在扫描过程期间提供的反馈涉及应用视觉特性来区分该第一部分和该第二部分，例如，经由改变用于在扫描期间描绘物理环境的不同部分的外观/颜色/点的绘画效果。

在一些具体实施中，并非物理环境的所有扫描部分都被包括在3D表示中和/或被发送到通信会话中所涉及的其他用户。例如，方法800可涉及接收标识(例如，对象或边界)，该标识限制该物理环境的哪些部分被表示在该3D表示中并且在该通信会话期间发送。用户可以绘制线或3D边界，并且将该边界的一侧上的该物理环境的所有部分从所共享/发送的3D表示的包含中排除。所有3D建模和共享/发送应当根据用户隐私要求、偏好、许可和同意来执行。

在框840处，方法800在该通信会话期间发送该3D表示。在该通信会话期间发送的3D表示可被更改(例如，当3D表示被更新时，其可被重新发送)，以基于在该扫描期间被扫描的先前未扫描部分来共享该物理环境的先前未扫描部分。

图9是示出了用于在通信会话期间提供在3D表示中描绘的对象的附加方面的方法的流程图。在一些具体实施中，设备诸如电子设备105执行方法900。在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD、耳挂式设备或服务器设备上执行方法900。方法900由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法900。

在框910处，方法900生成物理环境的3D表示(例如，3D点云、网格等)。在框920处，方法900在通信会话期间发送该3D表示。这可使得接收电子设备能够提供该3D表示的视图。

在框930处，方法900在该通信会话期间发送该物理环境的一部分的第二表示，其中该第二表示包括该物理环境的部分的图像或视频和指定该第二表示相对于该3D表示的定位的位置数据。该第二表示可表示未由该3D表示来表示的部分的一个方面(例如，更多细节、照片质量图像、实况等)。该第二表示可以是图像数据、实时数据、相机透传图像等。

该发送可涉及识别输入(例如，宿主指向唱片播放器、用户看着特定对象超过阈值时间量等)、基于该输入识别该物理环境的对象或部分以及提供该第二表示以表示与该物理环境的所识别对象或部分相关联的附加内容。

方法900可基于该3D表示来提供该物理环境的视图，其中该视图包括该物理环境的部分的该第二表示。图5提供了包括在3D表示(例如，物理环境100的3D表示)内的次级表示(例如，示出咖啡杯180的视图的520)的图示。在一些具体实施中，可由在框910处产生该3D表示的同一设备提供(例如，显示)视图。在一些具体实施中，该3D表示和/或附加表示可被发送到一个或多个其他电子设备/与之共享，该一个或多个其他电子设备基于接收所发送的信息来显示视图。在其他具体实施中，该视图可由作为该通信会话的一部分的其他设备提供(例如，显示)。

该第二表示可基于该部分的对应表示在该3D表示中的位置来定位，例如，在对应于该物理环境的相关联的对象或部分的点云的对应点或3D网格的点/多边形的前面或位置。可基于观看者在该3D环境内的视点来定位该第二表示，以提供期望的观看角度，例如，即使该角度与该对象在该物理环境内的实际朝向稍微不同。在其他示例中，该第二表示可在该呈现用户(或化身)的位置、以距离该化身预定义的偏移、覆盖在该化身上、在由查看用户控制的位置(例如，应用窗口、手等)中、或使用另选的或附加的呈现位置选择准则来显示。

此外，可在传感器数据内捕获实况内容并且该实况内容用于提供关于特定对象或环境部分的实况信息。如果传感器当前未获得实况数据，则可提供最近的实况图像或序列，直到附加的实况传感器数据可用为止。

图9中所示的共享/发送特征可实现为选择性共享特征(例如，点与共享特征)，该选择性共享特征使得用户能够在共享环境会话期间选择性地共享增强环境信息，其中硬件和/或通信约束限制或防止共享关于物理环境的所有方面的高保真和/或实况信息。

图10是电子设备1000的框图。设备1000示出了电子设备105的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备1000包括一个或多个处理单元1002(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器1006、一个或多个通信接口1008(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口1010、一个或多个输出设备1012、一个或多个面向内部和/或面向外部的图像传感器***1014、存储器1020以及用于互连这些部件和各种其他部件的一条或多条通信总线1004。

在一些具体实施中，该一条或多条通信总线1004包括互连***部件并控制***部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备及传感器1006包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)，等等。

在一些具体实施中，一个或多个输出设备1012包括一个或多个显示器，该一个或多个显示器被配置为向用户呈现3D环境的视图。在一些具体实施中，一个或多个显示器1012对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，设备1000包括单个显示器。又如，设备1000包括针对用户的每只眼睛的显示器。

在一些具体实施中，一个或多个输出设备1012包括一个或多个音频产生设备。在一些具体实施中，该一个或多个输出设备1012包括一个或多个扬声器、环绕声扬声器、扬声器阵列或用于产生空间化声音例如3D音频效应的耳机。此类设备可虚拟地将声源放置在3D环境中，包括一个或多个听者的后面、上方或下方。生成空间化声音可涉及变换声波(例如，使用头部相关的传输函数(HRTF)、混响或消除技术)来模拟自然声波(包括来自墙壁和地板的反射)，该自然声波从3D环境中的一个或多个点发出。空间化的声音可以诱使听者的大脑将声音解释成如同该声音发生在3D环境中的一个或多个点处(例如，来自一个或多个特定声源)，即使实际声音可能由其他位置中的扬声器产生。一个或多个输出设备1012可以附加地或另选地被配置为生成触觉。

在一些具体实施中，该一个或多个图像传感器***1014被配置为获得对应于物理环境的至少一部分的图像数据。例如，该一个或多个图像传感器***1014可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中，该一个或多个图像传感器***1014还包括发射光的照明源，诸如闪光灯。在各种具体实施中，该一个或多个图像传感器***1014还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。

存储器1020包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器1020包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器1020任选地包括与一个或多个处理单元1002远程定位的一个或多个存储设备。存储器1020包括非暂态计算机可读存储介质。

在一些具体实施中，存储器1020或存储器1020的非暂态计算机可读存储介质存储可选的操作***1030和一个或多个指令集1040。操作***1030包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集1040包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集1040是能够由一个或多个处理单元1002执行以实施本文所述技术中的一种或多种的软件。

指令集1040包括3D表示生成器指令集1042，其被配置为在执行时例如在通信会话期间生成和/或发送物理环境的表示，如本文所述。指令集1040还包括视图/会话提供器程序指令集1044，其被配置为在执行时确定提供本文所述的3D环境的视图。指令集1040可以体现为单个软件可执行文件或多个软件可执行文件。

尽管指令集1040被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图10更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本技术的一个方面在于收集并使用可包括用户数据的传感器数据，以改善电子设备的用户体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可以包括运动数据、生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥***来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或***，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个***不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机***，其访问存储的软件，该软件将计算***从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (76)

1.一种方法，包括：

在处理器处：

生成物理环境的三维(3D)表示，所述3D表示包括元素，每个元素具有3D位置并且表示所述物理环境的一部分的外观；

确定用于所述3D表示的所述元素的对象类型；

根据确定所述3D表示的所述元素的所述对象类型，用视觉特征替换对应于第一对象类型的所述3D表示的第一组元素，其中不对应于所述第一对象类型的所述3D表示的第二组元素保留在所述3D表示中；以及

向远程电子设备提供所述3D表示，所述3D表示包括所述第二组元素和所述视觉特征。

2.根据权利要求1所述的方法，其中所述远程电子设备提供所述3D表示的视图，所述视图包括所述第二组元素和所述视觉特征。

3.根据权利要求1至2中任一项所述的方法，其中所述3D表示是点云，并且所述元素是点。

4.根据权利要求1至3中任一项所述的方法，其中确定用于所述3D表示的所述元素的对象类型包括使用机器学习模型来提供对所述物理环境的场景理解。

5.根据权利要求1至4中任一项所述的方法，其中所述对象类型包括家具对象类型和房间周边对象类型。

6.根据权利要求1至5中任一项所述的方法，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括一个或多个平面元素。

7.根据权利要求1至6中任一项所述的方法，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括对应于所述物理环境的周边的至少一部分的几何元素。

8.根据权利要求1至7中任一项所述的方法，还包括：

获得所述物理环境的图像；

识别对应于所述第一组元素的所述图像的一部分；以及

基于所述图像的所述部分生成所述视觉特征的外观特性。

9.根据权利要求1至8中任一项所述的方法，其中使用比所述第一组元素更少的数据来定义所述视觉特征。

10.一种***，包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述***执行包括以下项的操作：

生成物理环境的三维(3D)表示，所述3D表示包括元素，

每个元素具有3D位置并且表示所述物理环境的一部分的外观；

确定用于所述3D表示的所述元素的对象类型；

根据确定所述3D表示的所述元素的所述对象类型，用视觉特征替换对应于第一对象类型的所述3D表示的第一组元素，其中不对应于所述第一对象类型的所述3D表示的第二组元素保留在所述3D表示中；以及

向远程电子设备提供所述3D表示，所述3D表示包括所述第二组元素和所述视觉特征。

11.根据权利要求10所述的***，其中所述3D表示是点云，并且所述元素是点。

12.根据权利要求10至11中任一项所述的***，其中确定用于所述3D表示的所述元素的对象类型包括使用机器学习模型来提供对所述物理环境的场景理解。

13.根据权利要求10至12中任一项所述的***，其中所述对象类型包括家具对象类型和房间周边对象类型。

14.根据权利要求10至13中任一项所述的***，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括一个或多个平面元素。

15.根据权利要求10至14中任一项所述的***，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括对应于所述物理环境的周边的至少一部分的几何元素。

16.根据权利要求10至15中任一项所述的***，还包括：

获得所述物理环境的图像；

识别对应于所述第一组元素的所述图像的一部分；以及

基于所述图像的所述部分生成所述视觉特征的外观特性。

17.根据权利要求10至16中任一项所述的***，其中使用比所述第一组元素更少的数据来定义所述视觉特征。

18.根据权利要求10至15中任一项所述的***，其中在通信会话期间向电子设备提供所述3D表示的所述视图。

19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行以执行包括以下项的操作：

生成物理环境的三维(3D)表示，所述3D表示包括元素，每个元素具有3D位置并且表示所述物理环境的一部分的外观；

确定用于所述3D表示的所述元素的对象类型；

根据确定所述3D表示的所述元素的所述对象类型，用视觉特征替换对应于第一对象类型的所述3D表示的第一组元素，其中不对应于所述第一对象类型的所述3D表示的第二组元素保留在所述3D表示中；以及

向远程电子设备提供所述3D表示，所述3D表示包括所述第二组元素和所述视觉特征。

20.根据权利要求19所述的非暂态计算机可读存储介质，其中所述远程电子设备提供所述3D表示的视图，所述视图包括所述第二组元素和所述视觉特征。

21.根据权利要求19至20中任一项所述的非暂态计算机可读存储介质，其中所述3D表示是点云，并且所述元素是点。

22.根据权利要求19至21中任一项所述的非暂态计算机可读存储介质，其中确定用于所述3D表示的所述元素的对象类型包括使用机器学习模型来提供对所述物理环境的场景理解。

23.根据权利要求19至22中任一项所述的非暂态计算机可读存储介质，其中所述对象类型包括家具对象类型和房间周边对象类型。

24.根据权利要求19至23中任一项所述的非暂态计算机可读存储介质，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括一个或多个平面元素。

25.根据权利要求19至24中任一项所述的非暂态计算机可读存储介质，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括对应于所述物理环境的周边的至少一部分的几何元素。

26.根据权利要求19至25中任一项所述的非暂态计算机可读存储介质，还包括：

获得所述物理环境的图像；

识别对应于所述第一组元素的所述图像的一部分；以及

基于所述图像的所述部分生成所述视觉特征的外观特性。

27.根据权利要求19至26中任一项所述的非暂态计算机可读存储介质，其中使用比所述第一组元素更少的数据来定义所述视觉特征。

28.一种方法，包括：

在处理器处：

在通信会话期间在物理环境的扫描期间获得传感器数据；

在所述扫描期间基于所述传感器数据更改所述物理环境的三维(3D)表示，其中所述更改改变所述物理环境的哪些部分被表示在所述3D表示中；

根据更改所述3D表示，更新在所述扫描期间提供的所述物理环境的视图中的图形指示，所述图形指示对应于在所述3D表示中表示的所述物理环境的第一部分与在所述3D表示中未表示的所述物理环境的第二部分之间的边界；以及

在所述通信会话期间发送所述3D表示

29.根据权利要求28所述的方法，其中在所述扫描期间基于接收对应于所述物理环境的先前未扫描部分的传感器数据，更新所述物理环境的所述3D表示。

30.根据权利要求28至29中任一项所述的方法，其中更改在所述通信会话期间发送的所述3D表示，以基于在所述扫描期间正在扫描的所述先前未扫描部分发送所述物理环境的先前未扫描部分。

31.根据权利要求28至30中任一项所述的方法，其中所述图形指示将所述物理环境的在所述通信会话中发送的部分与所述物理环境的未在所述通信会话中发送的部分区分开。

32.根据权利要求28至31中任一项所述的方法，其中在所述扫描期间获得对应于所述物理环境的先前未扫描部分的附加传感器数据时，所述图形指示移动。

33.根据权利要求28至32中任一项所述的方法，还包括应用视觉特性来区分所述第一部分和所述第二部分。

34.根据权利要求28至33中任一项所述的方法，还包括接收标识，所述标识限制所述物理环境的哪些部分被表示在所述3D表示中并且在所述通信会话期间发送。

35.根据权利要求34所述的方法，其中所述标识对将不被发送的所述物理环境的对象或区域进行标识。

36.一种***，包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述***执行包括以下项的操作：

在通信会话期间在物理环境的扫描期间获得传感器数据；

在所述扫描期间基于所述传感器数据更改所述物理环境的三维(3D)表示，其中所述更改改变所述物理环境的哪些部分被表示在所述3D表示中；

根据更改所述3D表示，更新在所述扫描期间提供的所述物理环境的视图中的图形指示，所述图形指示对应于在所述3D表示中表示的所述物理环境的第一部分与在所述3D表示中未表示的所述物理环境的第二部分之间的边界；以及

在所述通信会话期间发送所述3D表示。

37.根据权利要求36所述的***，其中基于接收对应于所述物理环境的先前未扫描部分的传感器数据，在所述扫描期间更新物理环境的所述3D表示。

38.根据权利要求36至37中任一项所述的***，其中更改在所述通信会话期间发送的所述3D表示，以基于在所述扫描期间正在扫描的所述先前未扫描部分发送所述物理环境的先前未扫描部分。

39.根据权利要求36至38中任一项所述的***，其中所述图形指示将所述物理环境的在所述通信会话中发送的部分与所述物理环境的未在所述通信会话中发送的部分区分开。

40.根据权利要求36至39中任一项所述的***，其中在所述扫描期间获得对应于所述物理环境的先前未扫描部分的附加传感器数据时，所述图形指示移动。

41.根据权利要求36至40中任一项所述的***，还包括应用视觉特性来区分所述第一部分和所述第二部分。

42.根据权利要求36至41中任一项所述的***，还包括接收标识，所述标识限制所述物理环境的哪些部分被表示在所述3D表示中并且在所述通信会话期间发送。

43.根据权利要求35所述的***，其中所述标识对将不被发送的所述物理环境的对象或区域进行标识。

44.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行以执行包括以下项的操作：

在通信会话期间在物理环境的扫描期间获得传感器数据；

在所述扫描期间基于所述传感器数据更改所述物理环境的三维(3D)表示，其中所述更改改变所述物理环境的哪些部分被表示在所述3D表示中；

根据更改所述3D表示，更新在所述扫描期间提供的所述物理环境的视图中的图形指示，所述图形指示对应于在所述3D表示中表示的所述物理环境的第一部分与在所述3D表示中未表示的所述物理环境的第二部分之间的边界；以及

在所述通信会话期间发送所述3D表示。

45.根据权利要求44所述的非暂态计算机可读存储介质，其中基于接收对应于所述物理环境的先前未扫描部分的传感器数据，在所述扫描期间更新物理环境的所述3D表示。

46.根据权利要求44至45中任一项所述的非暂态计算机可读存储介质，其中更改在所述通信会话期间发送的所述3D表示，以基于在所述扫描期间正在扫描的所述先前未扫描部分发送所述物理环境的先前未扫描部分。

47.根据权利要求44至46中任一项所述的非暂态计算机可读存储介质，其中所述图形指示将所述物理环境的在所述通信会话中发送的部分与所述物理环境的未在所述通信会话中发送的部分区分开。

48.根据权利要求44至47中任一项所述的非暂态计算机可读存储介质，其中在所述扫描期间获得对应于所述物理环境的先前未扫描部分的附加传感器数据时，所述图形指示移动。

49.根据权利要求44至48中任一项所述的非暂态计算机可读存储介质，还包括应用视觉特性来区分所述第一部分和所述第二部分。

50.根据权利要求44至49中任一项所述的非暂态计算机可读存储介质，还包括接收标识，所述标识限制所述物理环境的哪些部分被表示在所述3D表示中并且在所述通信会话期间发送。

51.根据权利要求44所述的非暂态计算机可读存储介质，其中所述标识对将不被发送的所述物理环境的对象或区域进行标识。

52.一种方法，包括：

在处理器处：

生成物理环境的三维(3D)表示；

在通信会话期间发送所述3D表示；以及

在所述通信会话期间发送所述物理环境的一部分的第二表示，其中所述第二表示包括所述物理环境的所述部分的图像或视频和指定所述第二表示相对于所述3D表示的定位的位置数据。

53.根据权利要求52所述的方法，其中远程电子设备基于所发送的3D表示和所发送的第二表示来提供所述物理环境的视图，其中所述视图包括所述物理环境的所述部分的所述第二表示。

54.根据权利要求53所述的方法，其中基于所述3D表示中所述部分的对应表示的位置将所述第二表示定位在所述视图中。

55.根据权利要求54所述的方法，其中所述第二表示定位在所述对应表示的前面。

56.根据权利要求55所述的方法，其中所述第二表示定位在所述对应表示的位置。

57.根据权利要求52至56中任一项所述的方法，其中所述第二表示包括由相机捕获的所述物理环境的所述部分的图像。

58.根据权利要求52至57中任一项所述的方法，其中所述第二表示包括所述物理环境的所述部分的实况透传视频馈送。

59.根据权利要求52至58中任一项所述的方法，其中基于接收输入发送所述第二表示。

60.根据权利要求59所述的方法，其中所述输入是标识所述物理环境的所述部分的手势。

61.一种***，包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述***执行包括以下项的操作：

生成物理环境的三维(3D)表示；

在通信会话期间发送所述3D表示；

在所述通信会话期间发送所述物理环境的一部分的第二表示，其中所述第二表示包括所述物理环境的所述部分的图像或视频和指定所述第二表示相对于所述3D表示的定位的位置数据。

62.根据权利要求61所述的***，其中远程电子设备基于所发送的3D表示和所发送的第二表示来提供所述物理环境的视图，其中所述视图包括所述物理环境的所述部分的所述第二表示，其中基于所述3D表示中所述部分的对应表示的位置将所述第二表示定位在所述视图中。

63.根据权利要求62所述的***，其中所述第二表示定位在所述对应表示的前面。

64.根据权利要求62所述的***，其中所述第二表示定位在所述对应表示的位置。

65.根据权利要求61至64中任一项所述的***，其中所述第二表示包括由相机捕获的所述物理环境的所述部分的图像。

66.根据权利要求61至64中任一项所述的***，其中所述第二表示包括所述物理环境的所述部分的实况透传视频馈送。

67.根据权利要求61至66中任一项所述的***，其中基于接收输入发送所述第二表示。

68.根据权利要求61所述的***，其中所述输入是标识所述物理环境的所述部分的手势。

69.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行以执行包括以下项的操作：

生成物理环境的三维(3D)表示；

在通信会话期间发送所述3D表示；以及

在所述通信会话期间发送所述物理环境的一部分的第二表示，，其中所述第二表示包括所述物理环境的所述部分的图像或视频和指定所述第二表示相对于所述3D表示的定位的位置数据。

70.根据权利要求69所述的非暂态计算机可读存储介质，其中远程电子设备基于所发送的3D表示和所发送的第二表示来提供所述物理环境的视图，其中所述视图包括所述物理环境的所述部分的所述第二表示，其中基于所述3D表示中所述部分的对应表示的位置将所述第二表示定位在所述视图中。

71.根据权利要求69所述的非暂态计算机可读存储介质，其中所述第二表示定位在所述对应表示的前面。

72.根据权利要求69所述的非暂态计算机可读存储介质，其中所述第二表示定位在所述对应表示的位置。

73.根据权利要求69至72中任一项所述的非暂态计算机可读存储介质，其中所述第二表示包括由相机捕获的所述物理环境的所述部分的图像。

74.根据权利要求69至73中任一项所述的非暂态计算机可读存储介质，其中所述第二表示包括所述物理环境的所述部分的实况透传视频馈送。

75.根据权利要求69至74中任一项所述的非暂态计算机可读存储介质，其中基于接收输入发送所述第二表示。

76.根据权利要求69所述的非暂态计算机可读存储介质，其中所述输入是标识所述物理环境的所述部分的手势。