CN116965014A - 3d环境内基于上下文的对象查看 - Google Patents

3d环境内基于上下文的对象查看 Download PDF

Info

Publication number
CN116965014A
CN116965014A CN202280016057.3A CN202280016057A CN116965014A CN 116965014 A CN116965014 A CN 116965014A CN 202280016057 A CN202280016057 A CN 202280016057A CN 116965014 A CN116965014 A CN 116965014A
Authority
CN
China
Prior art keywords
environment
media object
media
viewing
viewing state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280016057.3A
Other languages
English (en)
Inventor
A·达维格
T·里克
T·R·皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116965014A publication Critical patent/CN116965014A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本文所公开的各种具体实施包括使用基于上下文确定的不同查看状态来呈现媒体对象的视图的设备、***和方法。在一些具体实施中，呈现3D环境的视图。然后，确定与查看该3D环境内的一个或多个媒体对象相关联的上下文，该媒体对象与用于提供该一个或多个媒体对象内的深度外观的数据相关联。基于该上下文，确定用于查看该3D环境内的该一个或多个媒体对象中的媒体对象的查看状态，该查看状态定义该媒体对象将被呈现为平面对象还是被呈现为具有该媒体对象内的深度。根据确定该查看状态是第一查看状态，使用用于提供深度外观的该媒体对象的相关联数据来在该3D环境内呈现该媒体对象。

Description

3D环境内基于上下文的对象查看
技术领域
本公开整体涉及渲染扩展现实(XR)内容的电子设备，尤其涉及其中由物理环境内的电子设备基于上下文在三维(3D)环境中呈现XR内容的***、方法和设备。
背景技术
当电子设备在3D环境中显示注册到物理环境的3D XR内容的多个实例时，3D环境的显示变得杂乱和分散注意力。因此，需要用于对3D环境内的3D XR内容的多个实例的呈现进行优先排序、布置和/或简化的技术。
发明内容
本文所公开的各种具体实施包括使用基于上下文确定的不同查看状态(例如，作为平面对象或具有深度)来呈现3D环境内的一个或多个媒体对象的视图的设备、***和方法。在一些具体实施中，在3D环境的视图内提供媒体对象。该视图可示出其他对象(例如，背景设置或物理环境)的深度。相反，该媒体对象可基于来自媒体对象捕捉环境的不同传感器数据(例如，立体图像对、深度图、视差等)来示出深度。在一些具体实施中，通过选择性地使用该媒体对象的传感器数据，使用不同的查看状态来提供该媒体对象。在一些具体实施中，基于上下文，确定该媒体对象是否和/或如何呈现深度。例如，只有用户正在凝视的媒体对象以立体方式显示，而其余媒体对象以2D方式显示。又如，仅特定距离范围和/或视角内的媒体对象以立体方式或视差显示。再如，单个媒体对象以立体方式显示，其他媒体对象以视差显示。在一些具体实施中，通过减少或避免其中许多媒体对象提供不一致深度体验的杂乱环境，深度的选择性使用提供了更舒适的用户体验。在一些具体实施中，可通过在媒体对象改变查看状态时提供转变效果来进一步改善用户体验。
一般来讲，本说明书中描述的主题的一个创新方面可体现于包含以下动作的方法中：呈现3D环境的视图；以及确定与查看该3D环境内的一个或多个媒体对象相关联的上下文，其中该一个或多个媒体对象与用于提供该一个或多个媒体对象内的深度外观的数据相关联。基于该上下文，确定用于查看该3D环境内的该一个或多个媒体对象中的媒体对象的查看状态，该查看状态定义该媒体对象将被呈现为平面对象还是被呈现为具有该媒体对象内的深度。然后，根据确定该查看状态是第一查看状态，使用用于提供深度外观的该媒体对象的相关联数据在该3D环境内呈现该媒体对象。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1示出了根据一些具体实施的3D环境。
图2至图4示出了根据一些具体实施的包括XR内容的3D环境。
图5是示出根据一些具体实施的使用基于上下文确定的不同查看状态来呈现3D环境内的一个或多个媒体对象的视图的示例性方法的流程图。
图6示出了根据一些具体实施的示例性操作环境。
图7示出了根据一些具体实施的示例性电子设备。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
本文所公开的各种具体实施包括由物理环境内的电子设备基于上下文在3D环境内呈现XR内容的设备、***和方法。通过电子设备进行的立体3D成像将两个偏移二维(2D)图像分别呈现给查看者的左眼和右眼。然后，在查看者的大脑中组合该对偏移2D左眼图像和右眼图像，以给出3D深度的感知。立体技术不同于以全三维显示图像的3D显示器。
在一些具体实施中，诸如媒体对象(例如，虚拟对象、图标、小组件、徽标、动画、3D照片、3D视频、可执行应用等)之类的XR内容是3D媒体对象。在一些具体实施中，基于媒体对象所定位的位置(例如，中心、靠近用户等)、媒体对象的大小、凝视跟踪、电子设备/用户的交互、电子设备/用户的定向或其组合，在3D环境内将一个或多个3D媒体对象的显示从第一查看状态(例如，2D/平面)转变为第二查看状态(例如，3D/立体)。在一些具体实施中，通过创建中间图像，使用多对左眼和右眼立体图像将一个或多个3D媒体对象从平面显示状态转变为立体显示状态。在一些具体实施中，媒体对象的子集被选择为以立体3D方式呈现，而其余媒体对象以2D方式显示。在一些具体实施中，被选择为以立体3D方式呈现的媒体对象的子集是基于上下文的。在一些具体实施中，以立体3D方式呈现一个或多个媒体对象中的单个媒体对象。在一些具体实施中，以立体3D方式呈现的媒体对象中的单个媒体对象进一步与其余媒体对象隔离。
图1示出了根据一些具体实施的3D环境。如图1所示，3D环境包括物理环境105，该物理环境包括第一绘画102、第二绘画104、桌子106和窗口108。在一些具体实施中，图1示出了示出物理环境105的电子设备的显示器。
图2示出了根据一些具体实施的包括XR内容的3D环境。在一些具体实施中，图2示出了根据一些具体实施的包括物理环境105以及XR内容的电子设备的显示器。在一些具体实施中，XR内容包括(例如，使用诸如SLAM之类的基于视觉的3D环境来表示物理环境105)被定位(例如，姿态和定向)在物理环境105内的一个或多个3D媒体对象。或者，使用其他3D定位或定位技术来表示物理环境105，并且在物理环境105内定位XR内容。在其他具体实施中，XR内容相对于电子设备的用户或电子设备的显示器定位。在图2中，用于查看媒体对象的查看窗口210位于物理环境105内。
如图2所示，查看窗口210用于滚动浏览多个3D照片。在图2中，多个3D照片包括3D照片212、214、216。在一些具体实施中，当用户使用查看窗口210滚动浏览3D照片时，使用立体成像仅将3D照片214显示为具有深度。相反，使用单视场成像显示3D照片212、216或将其显示为不具有深度。在一些另选具体实施中，使用立体成像仅以深度呈现用户正在查看(例如，通过凝视跟踪已知)的一个3D照片，而所有其余3D照片被呈现为2D或平面对象。应当理解，虽然3D照片212和216被呈现为2D或平面对象，但是它们仍可被视为并呈现为在房间的3D环境内具有3D姿态(例如，位置和定向)的对象。仅3D照片212和216的内容可以2D方式呈现。
在一些具体实施中，用户可在多个3D照片212、214、216之间快速浏览或切换其凝视，而不停留在单个照片上。在这种情况下，所有3D照片212、214、216可被显示为没有深度的2D对象。在一些具体实施中，凝视跟踪使用时间间隔(例如，阈值时间量)，使得仅当用户的凝视停止并且固定在3D照片212、214、216中的单个照片上时，该单个照片才被选择并且转变为使用立体成像的3D查看。在一些具体实施中，在预设时间间隔内发生使用立体成像的所选照片从2D对象到3D照片的转变。
在一些具体实施中，从使用立体成像的媒体对象的3D呈现到2D或单视场呈现的转变通过使媒体对象的一只眼睛看到的与另一只眼睛相匹配的交叉渐进来执行(例如，将右眼看到的内容改变为与左眼看到的内容相匹配，反之亦然)。例如，交叉渐进技术随时间在一系列步骤中改变与媒体对象对应的右眼图像(例如，2D图像)的部分，直至与媒体对象对应的右眼图像的部分和与媒体对象对应的左眼图像的部分相匹配。或者，交叉渐进技术在多个帧上在一系列步骤中改变与媒体对象对应的左眼图像(例如，2D图像)的部分，直至与媒体对象对应的左眼图像的部分和与媒体对象对应的右眼图像的部分相匹配。交叉渐进技术可足够快地发生，使得用户看不到失真，并且仅看到对单视场呈现的改变(例如，没有深度)。还可使用交叉渐进技术(例如，相反地)从单视场呈现转变为使用立体成像的3D呈现。
在其他具体实施中，使用重投影技术执行从使用立体成像的3D呈现到2D或单视场呈现的转变。在这些具体实施中，生成附加的视觉指示器以突出显示从2D呈现到立体呈现的转变，反之亦然。在这些具体实施中，对于在转变期间呈现的每一帧，重投影技术分别为左眼和右眼创建附加的适当投影的2D图像对。在一个具体实施中，对于在转变期间呈现的每一帧，重投影技术仅为一只眼睛(例如，仅左眼或仅右眼)创建附加的适当投影的2D图像。通过这种方式，由于已知转变端点，因此重投影技术可添加附加的视觉信息(例如，帧)以在转变期间突出显示转变。重投影技术可足够快地发生，使得用户不会看到失真，而仅看到呈现的改变。
在另选具体实施中，使用瞳孔距离(IPD)转变技术执行从使用立体成像的3D呈现到2D或单视场呈现的转变，反之亦然。在这些具体实施中，用户的IPD是已知的(例如，凝视跟踪)，并且IPD转变技术从用户的IPD(例如，使用立体成像的3D呈现)改变为0IPD(例如，2D或单视场呈现)。
在一个具体实施中，IPD转变技术由定义为IPD＝0的相同位置处的两个虚拟图像传感器或相机表示，并且被隔开距离等于用户的IPD(例如，平均人类IPD为64mm)的两个虚拟图像传感器被定义为IPD＝1。在该具体实施中，从使用立体成像的3D呈现到单视场呈现的转变在预设数目的帧或预设时间内实现从IPD＝1到IPD＝0的转变。IPD转变技术可足够快地发生，使得用户不会看到失真，而仅看到呈现的改变。在一些具体实施中，使用其他转变技术从使用深度的3D呈现切换为不具有深度的2D或平面呈现，反之亦然。
图3至图4示出了根据一些具体实施的包括XR内容的3D环境。在图3中，在物理环境105内呈现包括媒体对象321、322、323、324、325、326、327和328的多个媒体对象320。在一些具体实施中，媒体对象321-328中的每个媒体对象使用相同的3D呈现模式。在一些具体实施中，媒体对象321-328中的每个媒体对象包括不同于物理环境105并且不同于其他媒体对象321-328的3D呈现模式。在一些具体实施中，3D媒体对象中的每个3D媒体对象在不具有深度信息的情况下至少在3D呈现模式与2D呈现模式之间转变。
在一些具体实施中，3D媒体对象包括或具有相关联深度数据(例如，深度图)，该相关联深度数据用于创建其3D呈现模式。在一个具体实施中，当媒体对象的视点在3D环境内移动(例如，用户从左向右移动或向上或向下移动)时，与媒体对象相关联的深度数据用于创建3D效果。在一个具体实施中，与媒体对象相关联的深度数据至少确定媒体对象的前景和背景，并且前景和背景的选择性不同移动用于呈现3D视差呈现模式。在这种情况下，深度信息被移除以生成用于媒体对象的平面或2D呈现模式(例如，在没有其相关联深度数据的情况下呈现)。
在一些具体实施中，用于媒体对象的3D呈现模式使用基于进入门户或进入不同3D环境的3D视图的深度。在这种情况下，2D呈现模式可使用门户的平面化图像或不同3D环境的平面化图像。
如图3中所示，电子设备的活动(例如，用户选择3D视频)将媒体对象324转变为立体3D呈现模式，并将其余媒体对象321-323和325-328转变为2D呈现模式。或者，其余媒体对象321-323和325-328可使用视差技术来显示。
如图4所示，所选择的媒体对象322-323(例如，在特定距离范围和/或视角内的媒体对象)以立体3D呈现模式显示，并且其余媒体对象321和324-328已转变为2D呈现模式。因此，在一些具体实施中，媒体对象的子集使用第一成像技术来显示，并且其余媒体对象的子集使用第二成像技术来显示。
在一些具体实施中，除了凝视跟踪之外的动作可用于选择多个3D媒体对象中的一个或多个媒体对象以使用立体3D呈现模式。例如，电子设备与媒体对象之间的空间或角度距离可用于选择用于立体3D呈现模式的媒体对象中的一个或多个媒体对象。
在一些具体实施中，当电子设备位于对应的3D查看位置(例如，在3D环境内)时，媒体对象仅被呈现为3D呈现模式。对应的3D查看区域的大小(例如，宽度、长度、高度、半径等)随着与媒体对象相关联的深度数据的量或类型而变化。在一些具体实施中，当电子设备转变出3D查看位置时，媒体对象的呈现模式自动转变为平面。在一些具体实施中，对应的3D查看位置基于电子设备的用户的定向。
在一些具体实施中，第一媒体对象使用其3D呈现模式来显示，但是当附加的XR内容(例如，菜单、图标、媒体对象等)覆盖第一媒体内容时，第一媒体对象被转变为其平面呈现模式。防止或减少覆盖多个或不同3D XR内容可减少将电子设备的用户暴露于3D查看不一致的影响。
在一些具体实施中，媒体对象可包括空间化音频(例如，环绕立体声或与沉浸式体验相关联的音频)。在一些具体实施中，3D呈现模式可包括空间化音频或更复杂音频，并且对应的平面呈现模式可包括较小粒度音频，诸如来自单一方向的点源音频或立体声。
在一些具体实施中，媒体对象的至少一些内容在呈现模式之间转变期间被隐藏或视觉上模糊。例如，当媒体对象转变为3D呈现模式时，雾或其他视觉效果可覆盖媒体对象的至少一部分。提供使用此类技术，可减少到3D表示的突然或分散注意力的转变，或最小化它们对电子设备的用户的影响。
本文所公开的各种具体实施包括使用基于上下文确定的不同查看状态来呈现3D环境内的一个或多个媒体对象的视图的设备、***和方法。在一些具体实施中，在3D环境的视图内提供媒体对象。所述视图可示出其他对象(例如，背景设置或物理环境)的深度。相反，所述媒体对象可基于来自媒体对象捕捉环境的不同传感器数据(例如，立体图像对、深度图、视差等)来示出深度。
在一些具体实施中，通过选择性地使用媒体对象的传感器数据来使用不同的查看状态(例如，被呈现为平面对象或被呈现为具有3D环境内的深度)来提供媒体对象。在一些具体实施中，基于上下文，确定所述媒体对象是否和/或如何呈现深度。例如，只有用户正在凝视的媒体对象以立体方式显示，而其余媒体对象以2D方式显示。又如，仅特定距离范围和/或视角内的媒体对象以立体方式或使用视差显示。再如，单个媒体对象以立体方式显示，其他媒体对象以视差显示。通过减少或避免其中许多媒体对象提供不一致深度体验的杂乱环境，深度的选择性使用(例如，基于媒体对象传感器信息)提供了更舒适的用户体验。在一些具体实施中，可通过在媒体对象改变查看状态时(例如，在平面对象之间或被呈现为具有3D环境内的深度)提供转变效果来进一步改善用户体验。
图5是示出使用基于上下文确定的不同查看状态(例如，作为平面对象或具有深度)来呈现3D环境内的一个或多个媒体对象的视图的示例性方法的流程图。在一些具体实施中，方法500由设备(例如，图6和图7的电子设备620、700)执行。方法500可使用电子设备执行，或者由彼此通信的多个设备执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，方法500由具有处理器的电子设备执行。
在框510处，方法500呈现3D环境的视图。在一些具体实施中，3D环境的视图包括周围物理环境的光学透视视图或视频透传视图。例如，该视图使用与3D环境内的物理对象的3D位置对应的第一数据来描绘3D环境的对象的深度。或者，3D环境包括从视点提供沉浸式虚拟3D环境的视图的立体图像。
在框520处，方法500确定与查看3D环境内的一个或多个媒体对象相关联的上下文，该一个或多个媒体对象与用于提供该一个或多个媒体对象内的深度外观的数据相关联。在一些具体实施中，每个媒体对象是立体图像对或与深度数据(例如，用于产生类似视差效果的3D效果的深度图)相关联。在一些具体实施中，根据凝视方向是否指向3D环境内的一个或多个媒体对象中的一个媒体对象来确定上下文。或者，根据是否存在与3D环境内的一个或多个媒体对象中的一个媒体对象的交互(例如，滚动)来确定上下文。在其他具体实施中，根据定向是否指向在3D环境内的一个或多个媒体对象中的一个媒体对象的阈值距离或阈值角度内来确定上下文。此外，可根据附加的XR内容(例如，用户界面组件)是否覆盖3D环境的视图中的一个或多个媒体对象中的一个媒体对象来确定上下文。
在框530处，基于上下文，方法500确定用于查看3D环境内的一个或多个媒体对象中的媒体对象的查看状态，该查看状态定义该媒体对象将被呈现为平面对象还是被呈现为具有该媒体对象内的深度。
在一个示例中，媒体对象的查看状态包括(al)基于使用一对立体左眼图像和右眼图像中的单个图像的2D，以及(a2)基于使用多对立体左眼图像和右眼图像的立体深度。在另一个示例中，媒体对象的查看状态包括(bl)基于使用图像而不使用其相关联深度数据的2D，以及(b2)基于使用图像及其相关联深度数据的具有深度的3D效果，例如以提供视差深度效果。在又一个示例中，媒体对象的查看状态包括(cl)基于门户或其他3D环境视图的平面化图像的平面部分，以及(c2)基于进入门户或其他3D环境视图的3D视图的深度。
在框540处，根据确定查看状态是第一查看状态，方法500使用用于提供深度外观媒体对象的相关联数据在3D环境内呈现该媒体对象。在一些具体实施中，第一查看状态是立体查看状态，其中左眼视图和右眼视图接收3D环境内的一对立体查看位置，该一对立体查看位置是使用在捕捉环境内的不同位置处捕捉的图像对生成的。针对媒体对象在3D环境内的不同查看位置呈现该媒体对象的该立体查看状态。在一些具体实施中，第一查看状态是立体查看状态，其中左眼视图和右眼视图通过以下方式提供媒体对象的不同视图：使用与媒体对象相关联的深度数据来分离该媒体对象的前景部分和背景部分；以及调整前景部分和背景部分以提供用于左眼视图和右眼视图的不同视差深度视图。在一些具体实施中，用于提供深度外观的相关联数据是媒体对象的内容的3D几何形状。在一些具体实施中，与媒体对象相关联的深度数据来自深度传感器、确定深度估计的一对立体传感器、使用计算机视觉技术(例如，SLAM、VIO等)获得等。在一些具体实施中，媒体对象是虚拟环境的3D照片、3D视频或3D图像。
在一些具体实施中，根据确定查看状态是第二查看状态，方法500不使用用于提供深度外观的媒体对象的相关联数据来在3D环境内呈现该媒体对象。例如，第二查看状态是单视场查看状态，其中左眼视图和右眼视图接收媒体对象的相同视图。在另一个示例中，第二查看状态是2D查看状态，其中左眼视图和右眼视图用于形成媒体对象的2D视图。
在一些具体实施中，基于上下文，方法500确定用于查看一个或多个媒体对象中的第一媒体对象的第一查看状态，并且在3D环境内使用用于提供深度外观的第一媒体对象的相关联数据来呈现该第一媒体对象。然后，根据确定用于查看3D环境中的一个或多个媒体对象中的第二媒体对象的查看状态不同于第一查看状态的第二查看状态，不使用用于提供深度外观的第二媒体对象的相关联数据与第一媒体对象并发地在3D环境内呈现第二媒体对象。
在一些具体实施中，方法500确定与查看3D环境内的一个或多个媒体对象相关联的更新的上下文。基于更新的上下文，确定用于查看3D环境内的媒体对象的更新的查看状态。此外，根据确定查看状态是第一查看状态并且更新的查看状态是第二查看状态，在时间段内将媒体对象的呈现从使用用于提供深度外观的该媒体对象的相关联数据呈现该媒体对象转变为不使用用于提供深度外观的该媒体对象的相关联数据呈现该媒体对象。在一些具体实施中，该媒体对象的至少一些内容在转变期间被隐藏或模糊处理。在一些具体实施中，该转变基于用于提供深度外观的相关联数据。
在一些具体实施中，重复执行框510至540。在一些具体实施中，本文所公开的技术可以在可穿戴设备上实现，该可穿戴设备提供周围物理环境的光学透视视图或视频透传视图。
图6示出了在物理环境605中使用电子设备620的示例性操作环境600。人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可被包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或者与物理环境交互。这可与扩展现实(XR)环境形成对比，该XR环境可以是指人们可使用电子设备感知或与之交互的部分或全部模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR***，人的物理运动或其表示的一部分可被跟踪，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR***可检测用户的头部移动，并且以模拟声音和视觉在物理环境中如何改变的方式来调整呈现给用户的听觉和图形内容。在其他示例中，XR***可检测呈现XR环境的电子设备(例如，膝上型电脑、平板电脑、移动电话等)的移动。因此，XR***可以模拟声音和视觉在物理环境中如何改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如物理运动的表示(例如，语音命令)可使得XR***调整图形内容的属性。
许多类型的电子***可允许用户感测XR环境或与XR环境交互。示例的不完全列表包括待放置在用户眼睛上的具有集成显示能力的镜片(例如，接触镜片)、平视显示器(HUD)、基于投影的***、头戴式***、具有集成显示技术的窗或挡风玻璃、头戴式耳机/耳机、具有或不具有触觉反馈的输入***(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机以及扬声器阵列。头戴式***可包括不透明显示器和一个或多个扬声器。其他头戴式***可被配置为接收不透明外部显示器诸如智能电话的外部显示器。头戴式***可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式***可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术诸如硅基液晶、LED、uLED、OLED、激光扫描光源、数字光投射或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的***可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。
在图6的示例中，设备620被示出为单个设备。设备620的一些具体实施是手持式的。例如，设备620可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备620由用户615穿戴。例如，设备620可以是手表、头戴式设备(HMD)等。在一些具体实施中，设备620的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备620的功能的多个设备可经由有线或无线通信彼此通信。
图7是示例性设备700的框图。设备700示出了设备620的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备700包括一个或多个处理单元702(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器706、一个或多个通信接口708(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.1lx、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口710、一个或多个显示器712、一个或多个面向内部或面向外部的传感器***714、存储器720以及用于互连这些部件和各种其他部件的一条或多条通信总线704。
在一些具体实施中，该一条或多条通信总线704包括互连***部件和控制***部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备及传感器706包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)或类似物的设备。
在一些具体实施中，一个或多个显示器712被配置为向用户呈现内容。在一些具体实施中，一个或多个显示器712对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)或类似显示器类型。在一些具体实施中，一个或多个显示器712对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备700可包括单个显示器。又如，电子设备700包括用于用户的每只眼睛的显示器。
在一些具体实施中，一个或多个面向内部或面向外部的传感器***714包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。该一个或多个图像传感器***714可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机等。在各种具体实施中，该一个或多个图像传感器***714还包括发射光的照明源，诸如闪光灯。在一些具体实施中，该一个或多个图像传感器***714还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。
存储器720包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器720包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器720任选地包括与一个或多个处理单元702远程定位的一个或多个存储设备。存储器720包括非暂态计算机可读存储介质。
在一些具体实施中，存储器720或存储器720的非暂态计算机可读存储介质存储可选的操作***730和一个或多个指令集740。操作***730包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集740包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集740是能够由一个或多个处理单元702执行以实施本文所述技术中的一种或多种的软件。
在一些具体实施中，指令集740包括媒体对象生成器742，该媒体对象生成器可由处理单元702执行，以使用根据本文所公开的技术中的一种或多种技术基于上下文确定的不同查看状态(例如，作为平面对象或具有深度)呈现3D环境内的一个或多个媒体对象的视图。
尽管指令集740被示出为驻留在单个设备上，但是应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。图7更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。
本领域的那些普通技术人员将意识到没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。此外，其他有效方面和/或变体不包括本文所述的所有具体细节。因此，描述了若干细节以便提供对附图中所示的示例性方面的透彻理解。此外，附图仅示出了本公开的一些示例性实施方案，因此不应被视为限制。
虽然本说明书包含许多具体实施细节，但是这些具体实施细节不应被理解为是对任何发明或可能要求保护的内容的范围的限制，而应被理解为对特定于特定发明的特定实施方案的特征的描述。本说明书中在不同实施方案的上下文中描述的某些特征也可以在单个实施方案中组合地实现。相反地，在单个实施方案的上下文中描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施方案中实现。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求保护，但是要求保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求保护的组合可涉及子组合或子组合的变型。
类似地，虽然操作在附图中以特定次序示出，但不应将此理解为要求以相继次序或所示的特定次序来执行此类操作，或者要求执行所有所示的操作以实现期望的结果。在某些情况中，多任务和并行处理可能是有利的。此外，上述实施方案中各个***部件的划分不应被理解为在所有实施方式中都要求此类划分，并且应当理解，所述程序部件和***可一般性地一起整合在单个软件产品中或者封装到多个软件产品中。
因此，已经描述了主题的特定实施方案。其他实施方案也在以下权利要求书的范围内。在某些情况下，权利要求书中所述的动作能够以不同的次序执行，并且仍能实现期望的结果。此外，附图中所示的过程未必要求所示的特定次序或者先后次序来实现期望的结果。在某些具体实施中，多任务和并行处理可能是有利的。
本说明书中描述的主题和操作的实施方案可在数字电子电路中或在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)或在它们中的一者或多者的组合中实现。本说明书中所述主题的实施方案可被实现为一个或多个计算机程序，即在计算机存储介质上编码的计算机程序指令的一个或多个模块，以用于由数据处理装置执行或控制数据处理装置的操作。另选地或除此之外，该程序指令可在人工生成的传播信号上被编码，例如机器生成的电信号、光信号或电磁信号，该电信号、光信号或电磁信号被生成以对信息进行编码以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备，或者它们中的一者或多者的组合，或者包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备中。此外，虽然计算机存储介质并非传播信号，但计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理部件或介质(例如，多个CD、磁盘或其他存储设备)，或者包括在一个或多个单独的物理部件或介质中。
术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机、片上***、或前述各项中的多项或组合。该装置可包括专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。除了硬件之外，该装置还可包括为所考虑的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理***、操作***、跨平台运行环境、虚拟机或它们中的一者或多者的组合的代码。该装置和执行环境可实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个***不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机***，其访问存储的软件，该软件将计算***从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (25)

1.一种方法，所述方法包括：
在处理器处：
呈现三维(3D)环境的视图；
确定与查看所述3D环境内的一个或多个媒体对象相关联的上下文，所述一个或多个媒体对象与用于提供所述一个或多个媒体对象内的深度外观的数据相关联；
基于所述上下文，确定用于查看所述3D环境内的所述一个或多个媒体对象中的媒体对象的查看状态，所述查看状态定义所述媒体对象将被呈现为平面对象还是被呈现为具有所述媒体对象内的深度；以及
根据确定所述查看状态是第一查看状态，使用用于提供深度外观的所述媒体对象的相关联数据来在所述3D环境内呈现所述媒体对象。
2.根据权利要求1所述的方法，所述方法还包括：根据确定所述查看状态是第二查看状态，不使用用于提供深度外观的所述媒体对象的相关联数据来在所述3D环境内呈现所述媒体对象。
3.根据权利要求1至2中任一项所述的方法，其中所述第二查看状态包括单视场查看状态，其中左眼视图和右眼视图接收所述媒体对象的一对相同视图。
4.根据权利要求1所述的方法，其中所述第一查看状态包括立体查看状态，其中左眼视图和右眼视图接收所述3D环境内的一对立体查看位置，所述一对立体查看位置是使用在捕捉环境内的不同位置处捕捉的图像对生成的。
5.根据权利要求4所述的方法，其中针对所述媒体对象在所述3D环境内的不同查看位置来呈现所述媒体对象的所述立体查看状态。
6.根据权利要求1所述的方法，其中所述第一查看状态包括立体查看状态，其中左眼视图和右眼视图通过以下方式提供所述媒体对象的不同视图：
使用用于提供深度外观的所述相关联数据来分离所述媒体对象的前景部分和背景部分，其中用于提供深度外观的所述相关联数据包括与所述媒体对象相关联的深度数据；以及
调整所述前景部分和所述背景部分以提供用于所述左眼视图和所述右眼视图的不同视图。
7.根据权利要求1至6中任一项所述的方法，其中从深度传感器获得用于提供深度外观的所述相关联数据。
8.根据权利要求1至6中任一项所述的方法，其中从立体对深度估计获得用于提供深度外观的所述相关联数据。
9.根据权利要求1至6中任一项所述的方法，其中从计算机视觉技术获得用于提供深度外观的所述相关联数据。
10.根据权利要求1至9中任一项所述的方法，其中所述视图使用与所述3D环境内的对象的3D位置对应的第一数据来描绘所述3D环境的所述对象的深度。
11.根据权利要求1至10中任一项所述的方法，所述方法还包括：
基于所述上下文，确定用于查看所述3D环境内的所述一个或多个媒体对象中的第二媒体对象的查看状态；以及
根据确定用于查看所述第二媒体对象的所述查看状态是不同于所述第一查看状态的第二查看状态，不使用用于提供深度外观的所述第二媒体对象的相关联数据与所述媒体对象并发地在所述3D环境内呈现所述第二媒体对象。
12.根据权利要求1至10中任一项所述的方法，其中确定所述上下文包括确定凝视方向是否指向所述3D环境内的所述一个或多个媒体对象中的一个媒体对象。
13.根据权利要求1至12中任一项所述的方法，其中确定所述上下文包括确定是否存在与所述3D环境内的所述一个或多个媒体对象中的一个媒体对象的交互。
14.根据权利要求1至13中任一项所述的方法，其中确定所述上下文包括确定定向是否指向在所述3D环境内的所述一个或多个媒体对象中的一个媒体对象的距离内。
15.根据权利要求1至14中任一项所述的方法，其中确定所述上下文包括确定用户界面组件是否在所述3D环境的所述视图中覆盖所述一个或多个媒体对象中的一个媒体对象。
16.根据权利要求1至15中任一项所述的方法，所述方法还包括：
确定与查看所述3D环境内的所述一个或多个媒体对象相关联的更新的上下文；
基于所述更新的上下文，确定用于查看所述3D环境内的所述媒体对象的更新的查看状态；以及
根据确定所述查看状态是所述第一查看状态并且所述更新的查看状态是第二查看状态，在时间段内将所述媒体对象的呈现从使用用于提供深度外观的所述媒体对象的相关联数据来呈现所述媒体对象转变为不使用用于提供深度外观的所述媒体对象的相关联数据来呈现所述媒体对象。
17.根据权利要求16所述的方法，所述方法还包括：通过在时间段内调整所述媒体对象的一只眼睛的视图以匹配所述媒体对象的另一只眼睛的视图，将所述查看状态从所述第一查看状态转变为第二查看状态。
18.根据权利要求16所述的方法，其中所述转变包括：使用深度数据或所述3D环境的3D表示来对转变的多个帧中的每个帧执行重投影。
19.根据权利要求16所述的方法，其中所述转变基于用于提供深度外观的所述相关联数据，其中用于提供深度外观的所述相关联数据包括所述媒体对象的内容的3D几何形状。
20.根据权利要求16所述的方法，其中所述媒体对象的至少一些内容在所述转变期间被隐藏或模糊处理。
21.根据权利要求1至20中任一项所述的方法，其中所述媒体对象包括3D照片。
22.根据权利要求1至20中任一项所述的方法，其中所述媒体对象包括3D视频。
23.根据权利要求1至20中任一项所述的方法，其中所述媒体对象包括虚拟环境的3D图像。
24.一种***，所述***包括：
非暂态计算机可读存储介质；和
一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述***执行包括以下项的操作：
呈现三维(3D)环境的视图；
确定与查看所述3D环境内的一个或多个媒体对象相关联的上下文，所述一个或多个媒体对象与用于提供所述一个或多个媒体对象内的深度外观的数据相关联；
基于所述上下文，确定用于查看所述3D环境内的所述一个或多个媒体对象中的媒体对象的查看状态，所述查看状态定义所述媒体对象将被呈现为平面对象还是被呈现为具有所述媒体对象内的深度；以及
根据确定所述查看状态是第一查看状态，使用用于提供深度外观的所述媒体对象的相关联数据来在所述3D环境内呈现所述媒体对象。
25.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够经由一个或多个处理器执行以执行操作的程序指令，所述操作包括：
呈现三维(3D)环境的视图；
确定与查看所述3D环境内的一个或多个媒体对象相关联的上下文，所述一个或多个媒体对象与用于提供所述一个或多个媒体对象内的深度外观的数据相关联；
基于所述上下文，确定用于查看所述3D环境内的所述一个或多个媒体对象中的媒体对象的查看状态，所述查看状态定义所述媒体对象将被呈现为平面对象还是被呈现为具有所述媒体对象内的深度；以及
根据确定所述查看状态是第一查看状态，使用用于提供深度外观的所述媒体对象的相关联数据来在所述3D环境内呈现所述媒体对象。
CN202280016057.3A 2021-03-18 2022-03-09 3d环境内基于上下文的对象查看 Pending CN116965014A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163162597P 2021-03-18 2021-03-18
US63/162,597 2021-03-18
PCT/US2022/019411 WO2022197493A1 (en) 2021-03-18 2022-03-09 Context-based object viewing within 3d environments

Publications (1)

Publication Number Publication Date
CN116965014A true CN116965014A (zh) 2023-10-27

Family

ID=83322332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280016057.3A Pending CN116965014A (zh) 2021-03-18 2022-03-09 3d环境内基于上下文的对象查看

Country Status (3)

Country Link
US (1) US20230419593A1 (zh)
CN (1) CN116965014A (zh)
WO (1) WO2022197493A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580430B1 (en) * 2000-08-23 2003-06-17 Nintendo Co., Ltd. Method and apparatus for providing improved fog effects in a graphics system
US20030090485A1 (en) * 2001-11-09 2003-05-15 Snuffer John T. Transition effects in three dimensional displays
JP2009246625A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 立体表示装置及び立体表示方法並びにプログラム
KR20120017228A (ko) * 2010-08-18 2012-02-28 엘지전자 주식회사 이동 단말기 및 상기 이동 단말기의 영상 표시 방법
JP2012060236A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
EP3204824A4 (en) * 2014-10-07 2018-06-20 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
EP3629136B1 (en) * 2015-10-08 2024-04-17 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US10909751B2 (en) * 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content

Also Published As

Publication number Publication date
US20230419593A1 (en) 2023-12-28
WO2022197493A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US11132546B2 (en) Plane detection using semantic segmentation
US11972607B2 (en) Plane detection using semantic segmentation
US20190371072A1 (en) Static occluder
US11238616B1 (en) Estimation of spatial relationships between sensors of a multi-sensor device
US11430198B1 (en) Method and device for orientation-based view switching
US11321926B2 (en) Method and device for content placement
US20230377249A1 (en) Method and Device for Multi-Camera Hole Filling
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US12033240B2 (en) Method and device for resolving focal conflict
US11468611B1 (en) Method and device for supplementing a virtual environment
US11315278B1 (en) Object detection and orientation estimation
US20230419593A1 (en) Context-based object viewing within 3d environments
US20230403386A1 (en) Image display within a three-dimensional environment
US20240007607A1 (en) Techniques for viewing 3d photos and 3d videos
US20230262406A1 (en) Visual content presentation with viewer position-based audio
US10964056B1 (en) Dense-based object tracking using multiple reference images
US20230298278A1 (en) 3d photos
US11301035B1 (en) Method and device for video presentation
US12014472B1 (en) Methods and devices for improved inverse iterative warping
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
CN116941239A (zh) 三维环境内的图像显示
EP3931672A1 (en) Generating adapted virtual content to spatial characteristics of a physical setting
CN112581628A (zh) 用于解决焦点冲突的方法和设备
CN116981978A (zh) 用于动态确定呈现和过渡区域的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination