CN113661473A - 用于对象的感知属性向量 - Google Patents

用于对象的感知属性向量 Download PDF

Info

Publication number
CN113661473A
CN113661473A CN202080027969.1A CN202080027969A CN113661473A CN 113661473 A CN113661473 A CN 113661473A CN 202080027969 A CN202080027969 A CN 202080027969A CN 113661473 A CN113661473 A CN 113661473A
Authority
CN
China
Prior art keywords
representation
physical
physical element
implementations
affordance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080027969.1A
Other languages
English (en)
Inventor
M·德拉蒙德
S·C·M·斯瓦普拉普
B·莫根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113661473A publication Critical patent/CN113661473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一些具体实施中，一种方法包括获得物理布景的语义构造。在一些具体实施中，该物理布景的语义构造包括物理元素的表示和该物理元素的语义标签。在一些具体实施中，该方法包括获得该物理元素的增强现实(ER)表示。在一些具体实施中，该方法包括基于物理元素的语义标签来合成该物理元素的ER表示的感知属性向量(PPV)。在一些具体实施中，该PPV包括表征该物理元素的ER表示的一个或多个感知特征值。在一些具体实施中，该方法包括复合与该物理元素的ER表示相关联的示能表示。在一些具体实施中，该示能表示允许根据PPV中包括的感知特征值与该物理元素的ER表示进行交互。

Description

用于对象的感知属性向量
相关申请的交叉引用
本申请要求于2019年4月23日提交的美国临时专利申请号62/837285的权益，该申请全文以引用方式并入。
技术领域
本公开整体涉及用于对象的感知属性向量。
背景技术
一些设备能够生成并呈现增强现实(ER)布景。一些ER布景包括虚拟布景，该虚拟布景是物理布景的模拟替换。一些ER布景包括增强布景，该增强布景是物理布景的修改版本。呈现ER布景的一些设备包括移动通信设备，诸如智能电话、可头戴显示器(HMD)、眼镜、抬头显示器(HUD)和光学投影***。呈现ER布景的大多数先前可用的设备在提供与物理布景相同水平的交互方面是无效的。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1A至图1D是例示根据一些具体实施的生成感知属性向量的图示。
图2是根据一些具体实施的示例性设备的框图。
图3A至图3B是根据一些具体实施的生成感知属性向量的方法的流程图表示。
图4是根据一些具体实施的利用生成感知属性向量的各种部件启用的设备的框图。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于生成用于增强型现实对象感知属性向量的设备、***和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括获得物理布景的语义构造。在一些具体实施中，该物理布景的语义构造包括物理元素的表示和该物理元素的语义标签。在一些具体实施中，该方法包括获得该物理元素的增强现实(ER)表示。在一些具体实施中，该方法包括基于物理元素的语义标签来合成该物理元素的ER表示的感知属性向量(PPV)。在一些具体实施中，该PPV包括表征该物理元素的ER表示的一个或多个感知特征值。在一些具体实施中，该方法包括复合与该物理元素的ER表示相关联的示能表示。在一些具体实施中，该示能表示允许根据PPV中包括的感知特征值与该物理元素的ER表示进行交互。
根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
描述了用于与各种增强型现实技术相关地使用此类***的电子***和技术的各种示例。
物理布景是指各个人可在不使用电子***的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
与物理布景相比，增强型现实(ER)布景是指各种人通过使用电子***可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在ER中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER***检测到人向上看，ER***可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对ER布景中的虚拟对象的属性的调整。
人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中，人可仅感测音频对象和/或仅与其交互。
虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。
混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。
在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子***可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，***可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。
增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子***可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当***捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子***中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影***以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。
AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。
各种***允许人们感测ER布景和/或与其交互。例如，头戴式***可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式***内。头戴式***可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式***中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子***可以是基于投影的***。在基于投影的***中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的***还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER***的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
本公开提供了用于生成用于物理元素的增强现实(ER)表示的感知属性向量(PPV)的方法、***和/或设备。该PPV包括表征物理元素的ER表示的各种感知特征值。该感知特征值指示在ER布景中实例化的ER对象可如何检测物理元素的ER表示并与该物理元素的ER表示交互。与该物理元素的ER表示相关联地复合示能表示。该示能表示允许根据包括在PPV中的感知特征值与物理元素的ER表示进行交互。
图1A是根据一些实施方式的示例性操作环境10的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，该操作环境10包括电子设备100。
在图1A的示例中，电子设备100由用户(未示出)握持。在一些具体实施中，电子设备100包括智能电话、平板电脑、膝上型电脑等。在一些具体实施中，电子设备100包括由用户穿戴的可穿戴计算设备。例如，在一些具体实施中，电子设备100包括可头戴设备(HMD)。在一些具体实施中，HMD被成形为形成接收具有显示器的设备(例如，该具有显示器的设备能够滑动到HMD中以用作HMD的显示器)的接收器。另选地，在一些具体实施中，HMD包括集成显示器。
在各种具体实施中，电子设备100获得物理布景的语义构造110，并且基于语义构造110合成ER布景120。在一些具体实施中，语义构造110包括表示物理布景中的物理元素的物理元素表示112。在一些具体实施中，该语义构造110包括物理元素的语义标签114。由于电子设备100基于物理布景的语义构造110合成ER布景120，因此ER布景120与该物理布景在一定程度内相似。
在一些具体实施中，物理元素表示112表示位于语义构造110表示的物理布景内的物理元素。例如，物理元素表示112表示真实对象，诸如电视、沙发、咖啡桌等。在一些具体实施中，物理元素表示112表示物理布景的边界表面(例如，物理布景的地板、墙壁和/或天花板)。
在一些具体实施中，物理元素的语义标签114包括关于位于语义构造110表示的物理布景内的物理元素的信息。在一些具体实施中，语义标签114指示对应物理元素的类型(例如，语义标签指示对应物理元素是沙发)。在一些具体实施中，语义标签114指示其对应物理元素的各种物理属性(例如，语义标签指示沙发的颜色、质地、材料等)。
在图1A的示例中，ER布景120包括物理元素122的ER表示和边界表面124的ER表示。在各种具体实施中，电子设备100基于物理元素表示112和包括在物理布景的语义构造110中的语义标签114来生成物理元素122的ER表示和边界表面124的ER表示。在一些具体实施中，物理元素122的ER表示和/或边界表面124的ER表示被称为ER对象。
在图1A的示例中，ER布景120包括ER电视122a，该ER电视表示由包括在语义构造110中的物理元素表示112中的一个物理元素表示识别的真实电视。在图1A的实例中，ER布景120还包括ER沙发122b、ER咖啡桌122c、ER电视遥控器122d、ER门122e和ER门把手122f，它们分别表示真实沙发、真实咖啡桌、真实电视遥控器、真实门和真实门把手，位于由语义构造110表示的物理布景中。
在各种具体实施中，物理元素122的ER表示的ER属性与位于语义构造110表示的物理布景中的对应物理元素的物理属性在一定程度内相似。在一些具体实施中，物理元素122的ER表示的视觉属性被选择为匹配位于物理布景中的对应物理元素的视觉属性。例如，ER沙发122b的颜色与对应真实沙发的颜色在一定程度内相似。类似地，ER咖啡桌122d的质地与对应的真实咖啡桌的质地在一定程度内相似。
在图1A的示例中，边界表面124的ER表示包括ER地板124a，该ER地板表示由包括在语义构造110中的物理元素表示112中的一个物理元素表示识别的真实地板。边界表面124的ER表示还包括ER前墙壁124b和ER侧墙壁124c，它们分别表示由语义构造110表示的物理布景的真实前墙壁和真实侧墙壁。边界表面124的ER表示与物理环境中的物理边界表面在一定程度内相似。
参考图1B，在各种具体实施中，电子设备100合成用于物理元素122的ER表示和边界表面124的ER表示的相应感知属性向量(PPV)130。在各种具体实施中，每个PPV 130包括表征物理元素的对应ER表示的一个或多个感知特征值132。例如，PPV 130包括第一PPV，该第一PPV包括表征ER电视122a的第一组感知特征值(例如，第一组感知特征值指示ER电视122a的尺寸、ER电视122a的分辨率、ER电视122a的刷新率等)。类似地，PPV 130包括第二PPV，该第二PPV包括表征ER沙发122b的第二组感知特征值(例如，第二组感知特征值指示ER沙发122b的尺寸、颜色、质地和/或材料)。
在各种具体实施中，感知特征值132表征物理元素的ER表示的一个或多个物理属性。在一些具体实施中，感知特征值132表征ER表示的质地。例如，ER表示的感知特征值132指示ER表示在被ER对象诸如操作人员的ER表示、目标实现器或虚拟智能代理(VIA)触摸时看起来是平滑的还是粗糙的。
在一些具体实施中，感知特征值132表征物理元素的ER表示的硬度。例如，ER沙发122b的感知特征值132表征扶手的硬度和/或ER沙发122b的衬垫的硬度。又如，ER地板124a的感知特征值132表征ER地板124a的硬度，该硬度确定ER地板124a上的ER对象下落的结果。例如，如果ER地板124a的感知特征值132指示ER地板124a与混凝土一样硬，则下落诸如玻璃之类的精细ER对象可导致ER对象断裂。然而，如果ER地板124a的感知特征值132指示ER地板124a与地毯一样软，则下落精细的ER对象可导致ER对象保持完整。
在各种具体实施中，感知特征值132表征物理元素的ER表示的气味。例如，在一些具体实施中，感知特征值132限定用于物理元素的ER表示的气味函数。例如，ER沙发122b的感知特征值132表征ER沙发122b被ER对象诸如ER狗或ER人闻起来气味如何。在一些具体实施中，用于物理元素的ER表示的气味函数将气味的程度(例如，气味的强度)定义为与物理元素的ER表示的距离的函数。
在一些具体实施中，电子设备100基于语义构造110中包括的信息生成PPV 130(例如，PPV 130中的感知特征值132)。在一些具体实施中，电子设备100基于包括在语义构造110中的语义标签114生成PPV 130。例如，在一些具体实施中，电子设备100基于语义标签114获取(例如，检索)感知特征值132，并且利用感知特征值132来合成PPV 130。在一些具体实施中，电子设备100生成搜索查询，该搜索查询包括语义标签114作为搜索词，通过将搜索查询提交给搜索引擎来执行搜索，以及接收感知特征值132作为搜索结果。
参见图1C，在各种具体实施中，电子设备100复合与物理元素122的ER表示相关联的相应示能表示140。例如，电子设备100复合与ER电视122a相关联的电视示能表示140a、与ER沙发122b相关联的沙发示能表示140b、与ER咖啡桌122c相关联的咖啡桌示能表示140c、与ER电视遥控器122d相关联的电视遥控器示能表示140d、与ER门122e相关联的门示能表示140e，以及与ER门把手122f相关联的门把手示能表示140f。
在各种具体实施中，示能表示140允许根据包括在物理元素122的对应PPV 130中的感知特征值132来与物理元素的对应ER表示进行交互。例如，电视示能表示140a允许根据ER电视122a的PPV 130中包括的感知属性值132与ER电视122a进行交互(例如，角色目标实现器的ER表示可激活电视示能表示140a以打开或关闭ER电视122a)。类似地，门把手示能表示140f允许根据ER门把手122f的PPV 130中包括的感知属性值132与ER门把手122f进行交互(例如，VIA的ER表示可以调用门把手示能表示140f来转动ER门把手122f)。
参见图1D，在一些具体实施中，ER人126可激活示能表示140中的一个或多个示能表示以与对应的ER表示122进行交互。例如，ER人126可移动更靠近门把手示能表示140f并激活门把手示能表示140f，以便转动ER门把手122f，这可导致ER门122e打开/关闭。类似地，ER人126可以移动得更靠近电视遥控器示能表示140d并激活电视遥控器示能表示140d，以便拾取ER电视遥控器122d。在拾取电视遥控器示能表示122d之后，ER人126可以再次激活电视遥控器示能表示140d，以便通过ER电视遥控器122d操作ER电视122a。在一些具体实施中，ER人126为目标实现器(例如，角色目标实现器)的ER表示。在一些具体实施中，ER人126是操作电子设备100的人(例如，电子设备100的用户)的ER表示。在一些具体实施中，ER人126为VIA的ER表示。
在一些具体实施中，由用户50穿戴的可头戴设备(HMD)(未示出)根据各种具体实施呈现(例如，显示)ER布景120。在一些具体实施中，HMD包括显示ER布景120的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括可头戴壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备100可附接到可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备100)的接收器。例如，在一些具体实施中，电子设备100滑动/卡扣到可头戴壳体或以其他方式附接到该可头戴壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)ER布景120。
图2示出了电子设备200的框图。在一些具体实施中，电子设备200实现图1A至图1D所示的电子设备100。如图2所示，在一些具体实施中，电子设备200包括数据获取器210、ER合成器220、PPV合成器230和示能表示复合器240。
在各种具体实施中，数据获取器210获得物理布景的语义构造110。在一些具体实施中，数据获取器210通过从数据存储器检索语义构造110来获得语义构造110。在一些具体实施中，数据获取器210通过从生成语义构造110的另一个设备接收语义构造110来获得语义构造110。在一些具体实施中，数据获取器210生成语义构造110。在一些具体实施中，数据获取器210将语义构造110发送到ER合成器220和PPV合成器230。
在各种具体实施中，ER合成器220基于物理布景的语义构造110合成ER布景(例如，图1A-图1D所示的ER布景120)。如本文所述，ER布景120包括物理元素122的ER表示和边界表面124的ER表示。在一些具体实施中，ER合成器220实例化ER布景120中的一个或多个目标实现器。在此类具体实施中，ER布景120包括在ER布景120中实例化的目标实现器的ER表示(例如，ER布景120包括图1D所示的ER人126)。在一些具体实施中，ER合成器220实例化ER布景120中的VIA。在此类具体实施中，ER布景120包括VIA的ER表示(例如，图1D所示的ER人126)。
在一些具体实施中，PPV合成器230为ER布景120中物理元素122的ER表示合成PPV130。在一些具体实施中，PPV合成器230基于语义构造110中包括的语义标签114合成PPV130。例如，在一些具体实施中，PPV合成器230确定感知特征值(例如图1B中所示的感知特征值132)，并且利用该感知特征值来合成PPV 130。在一些具体实施中，PPV合成器230基于语义标签114所指示的物理属性来计算PPV 130的感知特征值。在一些具体实施中，PPV合成器230通过执行使用语义标签114作为搜索词的搜索来获取感知特征值，以及接收感知特征值作为搜索结果。在一些具体实施中，PPV合成器230将PPV 130提供给示能表示复合器240。
在各种具体实施中，示能表示复合器240将示能表示140复合在ER布景120内。如本文所述，在一些具体实施中，示能表示复合器240复合与物理元素122的对应ER表示相关联的示能表示140。例如，如图1C所示，在一些具体实施中，示能表示复合器240将电视示能表示140a复合成与ER电视122a相邻。更一般地，在一些具体实施中，示能表示复合器240将示能表示140复合成与物理元素122的ER表示相邻。在一些具体实施中，由示能表示复合器240复合的示能表示140是不可见的。然而，在此类具体实施中，示能表示140仍可由ER对象诸如ER人126检测到。因此，在一些具体实施中，复合示能表示140不降低ER布景120与ER布景120所对应的物理布景之间的相似性程度。
图3A是根据一些具体实施的生成PPV的方法300的流程图表示。在各种具体实施中，方法300由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器的设备(例如，图1A至图1D所示的电子设备100和/或图2所示的电子设备200)执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
如框310所表示，在一些具体实施中，方法300包括获取物理布景的语义构造。例如，方法300包括获取图1A-图2所示的语义构造110。在一些具体实施中，方法300包括从生成语义构造的另一设备接收语义构造。在一些具体实施中，方法300包括检索语义构造(例如，从非暂态存储器或远程数据存储库中检索)。在一些具体实施中，物理布景的该语义构造包括物理元素的表示。例如，语义构造110包括图1A-图2所示的物理元素表示112。在一些具体实施中，语义构造包括物理元素的语义标签。例如，语义构造110包括图1A-图2所示的语义标签112。
如框320所表示，在一些具体实施中，方法300包括获取物理元素的ER表示。在一些具体实施中，方法300包括从非暂态存储器或远程数据存储库检索物理元素的ER表示。在一些具体实施中，方法300包括基于语义构造中包括的信息(例如，基于物理元素的表示和物理元素的语义标签)生成物理元素的ER表示。在一些具体实施中，方法300包括从另外的设备接收物理元素的ER表示。
如框330所表示，在一些具体实施中，方法300包括基于物理元素的语义标签来合成该物理元素的ER表示的PPV。例如，基于图1B所示的语义标签114合成PPV 130。在一些具体实施中，该PPV包括表征该物理元素的ER表示的一个或多个感知特征值。例如，PPV 130包括图1B所示的一个或多个感知特征值132。
如框340所表示，在一些具体实施中，该方法300包括复合与该物理元素的ER表示相关联的示能表示。例如，复合与图1C所示的ER表示相关联的示能表示140。在一些具体实施中，该示能表示允许根据PPV中包括的感知特征值与该物理元素的ER表示进行交互。例如，示能表示140允许ER人126与物理元素122的ER表示进行交互。
参见图3B，如框320a所表示，在一些具体实施中，方法300包括基于物理布景的语义构造生成对应于物理布景的ER布景。在此类具体实施中，ER布景包括物理元素的ER表示。例如，生成包括物理元素122的ER表示的ER布景120(如图1A所示)。
如框330a所表示，在一些具体实施中，一个或多个感知特征值表征物理元素的ER表示的一个或多个物理属性。例如，该感知特征值表征物理元素的ER表示的颜色、尺寸、材料类型、质地和/或硬度。
如框330b所表示，在一些具体实施中，一个或多个感知特征值表征物理元素的ER表示的气味。例如，在一些具体实施中，该一个或多个感知特征值限定用于物理元素的ER表示的气味函数。在一些具体实施中，气味函数限定不同类型的目标实现器可从其检测物理元件的ER表示的距离。例如，气味函数限定ER狗可闻到ER狗骨的程度。又如，气味函数限定ER狗可闻到ER熏肉碎块的第一距离，以及ER人可闻到ER熏肉碎块的第二距离。
如框330c所表示，在一些具体实施中，方法300包括基于语义标签来获得一个或多个感知特征值，并且利用感知特征值来合成PPV。例如，在一些具体实施中，语义标签指示物理元素的类型。在此类具体实施中，方法300包括获得通常与物理元素的类型相关联的真实属性，以及将感知特征值设置为对应于该真实属性。例如，设置感知特征值以指示与该物理元素的该真实属性在一定程度内相似的ER属性。
如框330d所表示，在一些具体实施中，方法300包括基于语义标签执行搜索，以及接收一个或多个感知特征值作为搜索结果。例如，在一些具体实施中，方法300包括使用语义标签作为搜索词，将搜索词输入到搜索引擎中，以及从搜索引擎接收感知特征值作为搜索结果。
在一些具体实施中，方法300包括从将物理元素的类型映射到特定感知特征值的库来检索一个或多个感知特征值。
如框340a所表示，在一些具体实施中，示能表示允许ER对象触摸物理元素的ER表示。例如，ER对象(例如，目标实现器的ER表示、VIA的ER表示或人的ER表示，例如，图1D所示的ER人126)可激活电视示能表示140a以触摸ER电视122a。
在一些具体实施中，示能表示允许ER对象移动物理元素的ER表示。例如，ER对象(例如，目标实现器的ER表示、VIA的ER表示或人的ER表示，例如，图1D所示的ER人126)可激活门示能表示140e以移动ER门122e(例如，在打开位置和关闭位置之间)。
在一些具体实施中，示能表示允许ER对象拾取物理元素的ER表示。例如，ER对象(例如，目标实现器的ER表示、VIA的ER表示或人的ER表示，例如，图1D所示的ER人126)可激活电视遥控器示能表示140d以拾取ER电视遥控器122d。
如框340b所表示，在一些具体实施中，示能表示允许ER对象修改(例如，破坏)物理元素的ER表示。在一些具体实施中，ER对象可激活示能表示以投掷物理元素的对应ER表示，从而导致物理元素的ER表示破坏。例如，ER对象(例如，目标实现器的ER表示、VIA的ER表示或人的ER表示，例如，图1D所示的ER人126)可激活电视遥控器示能表示140d，以将ER电视遥控器122d投掷在ER电视122a处，从而导致ER电视122a破坏。
在一些具体实施中，示能表示允许动物理元素的ER表示停止显示。例如，如果该ER表示为ER狗犒赏物，则ER狗可食用该ER狗犒赏物并使ER狗犒赏物停止显示。在一些具体实施中，该示能表示允许物理元素的ER表示隐藏而不被看到(例如，通过将其覆盖)。
如框340c所表示，在一些具体实施中，示能表示允许ER对象改变物理元素的ER表示的状态。例如，在激活时，门示能表示140e和/或门把手示能表示140f允许ER门122e在打开状态和关闭状态之间移动。类似地，在被激活时，电视示能表示140a和/或电视遥控器示能表示140d允许ER电视122a在打开状态和关闭状态之间切换。
如框340d所表示，在一些具体实施中，方法300包括检测示能表示的操纵，并且基于示能表示的操纵来修改物理元素的ER表示。例如，检测ER人126已激活门把手示能表示140f，并显示ER门把手122f的移动(例如，旋转)。
图4是根据一些具体实施的设备400(例如，图1A-图1D所示的电子设备100和/或图2所示的电子设备200)的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备400包括一个或多个处理单元(CPU)401、网络接口402、编程接口403、存储器404、输入/输出(I/O)传感器405以及用于互连这些部件和各种其他部件的一条或多条通信总线406。
在一些具体实施中，提供了网络接口402以便除其他用途之外，在云托管的网络管理***与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，该一条或多条通信总线406包括互连和控制***部件之间的通信的电路。存储器404包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器404任选地包括与该一个或多个CPU 401远程地定位的一个或多个存储设备。存储器404包括非暂态计算机可读存储介质。
在一些具体实施中，I/O传感器405包括捕获物理布景的图像和/或视频的图像传感器(例如，相机)。在一些具体实施中，I/O传感器405包括捕获物理布景的深度数据的深度传感器。
在一些具体实施中，存储器404或存储器404的非暂态计算机可读存储介质存储以下程序、模块以及数据结构，或者它们的子集，包括任选的操作***408、数据获取器210、ER合成器220、PPV合成器230和示能表示复合器240。如本文所述，在各种具体实施中，数据获取器210获取物理布景的语义构造。为此，数据获取器210包括指令210a以及启发法和元数据210b。如本文所述，在各种具体实施中，ER合成器220获得物理元素的ER表示。为此，ER合成器220包括指令220a以及启发法和元数据220b。如本文所述，在各种具体实施中，PPV合成器230合成用于物理元素的ER表示的PPV。为此，PPV合成器230包括指令230a以及启发法和元数据230b。如本文所述，在各种具体实施中，示能表示复合器240复合具有物理元素的ER表示的示能表示。为此，示能表示复合器240包括指令240a以及启发法和元数据240b。
在各种具体实施中，虚拟智能代理(VIA)的ER表示执行动作以满足(例如，完成或实现)VIA的目标。在一些具体实施中，VIA从操作者(例如，设备的用户)获取目标。在一些具体实施中，VIA的ER表示(例如，表示VIA的ER对象)从人类操作者的ER表示获取目标。例如，人类操作者的ER表示指示VIA的ER表示在ER布景中执行动作。这样，在一些具体实施中，VIA在ER布景中通过操纵VIA的ER表示来执行动作。在一些具体实施中，VIA的ER表示能够执行人类操作者的ER表示无法执行的ER动作。在一些具体实施中，VIA的ER表示基于VIA从物理布景中获取的信息执行ER动作。例如，当VIA在物理布景中检测到门铃的振铃时，VIA的ER表示轻推人类操作者的ER表示。
在各种具体实施中，目标实现器的ER表示执行动作以满足(例如，完成或实现)目标实现器的目标。在一些具体实施中，目标实现器与特定目标相关联，并且目标实现器的ER表示执行动作以提高满足该特定目标的可能性。在一些具体实施中，目标实现器的ER表示称为对象表示，例如，因为目标实现器的ER表示表示各种对象(例如，真实对象或虚构对象)。在一些具体实施中，表示角色的目标实现器称为角色目标实现器。在一些具体实施中，角色目标实现器执行动作以实现角色目标。在一些具体实施中，表示装备的目标实现器称为装备目标实现器。在一些具体实施中，装备目标实现器执行动作以实现装备目标。在一些具体实施中，表示环境的目标实现器被称为环境目标实现器。在一些具体实施中，环境目标实现器执行环境动作以实现环境目标。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定实施方案并非旨在对权利要求进行限制。如在本实施方案的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (25)

1.一种方法，包括：
在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：
获得物理布景的语义构造，其中所述物理布景的所述语义构造包括物理元素的表示和所述物理元素的语义标签；
获得所述物理元素的增强现实(ER)表示；
基于所述物理元素的所述语义标签来确定表征所述物理元素的所述ER表示的一个或多个感知特征值；以及
复合与所述物理元素的所述ER表示相关联的示能表示，其中所述示能表示允许根据所述一个或多个感知特征值与所述物理元素的所述ER表示进行交互。
2.根据权利要求1所述的方法，其中所述一个或多个感知特征值表征所述物理元素的所述ER表示的一个或多个物理属性。
3.根据权利要求1和2中任一项所述的方法，其中所述一个或多个感知特征值表征所述物理元素的所述ER表示的质地。
4.根据权利要求1至3中任一项所述的方法，其中所述一个或多个感知特征值表征所述物理元素的所述ER表示的硬度。
5.根据权利要求1至4中任一项所述的方法，其中所述一个或多个感知特征值表征所述物理元素的所述ER表示的气味。
6.根据权利要求1至5中任一项所述的方法，其中所述一个或多个感知特征值限定用于所述物理元素的所述ER表示的气味函数。
7.根据权利要求1至6中任一项所述的方法，其中确定所述一个或多个感知特征值包括：
基于所述语义标签执行搜索；以及
接收所述一个或多个感知特征值作为搜索结果。
8.根据权利要求1至7中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示被ER对象触摸。
9.根据权利要求1至8中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示被ER对象移动。
10.根据权利要求1至9中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示被ER对象拾取。
11.根据权利要求1至10中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示被ER对象修改。
12.根据权利要求1至11中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示被ER对象打破。
13.根据权利要求1至12中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示由ER对象停止显示。
14.根据权利要求1至13中任一项所述的方法，其中所述示能表示允许所述物理元素的所述ER表示的状态被ER对象改变。
15.根据权利要求8至14中任一项所述的方法，其中所述ER对象包括目标实现器的ER表示。
16.根据权利要求8至14中任一项所述的方法，其中所述ER对象包括智能代理的ER表示。
17.根据权利要求8至14中任一项所述的方法，其中所述ER对象包括操作所述设备的人的ER表示。
18.根据权利要求1至17中任一项所述的方法，还包括：
检测对所述示能表示的操纵；以及
基于所述示能表示的所述操纵来修改所述物理元素的所述ER表示。
19.根据权利要求1至18中任一项所述的方法，还包括：
基于所述物理布景的所述语义构造生成对应于所述物理布景的ER布景，其中所述ER布景包括所述物理元素的所述ER表示。
20.根据权利要求1至19中任一项所述的方法，其中确定所述一个或多个感知特征值包括合成包括所述一个或多个感知特征值的感知属性向量(PPV)。
21.根据权利要求20所述的方法，其中合成所述PPV包括：
基于所述语义标签来获得所述一个或多个感知特征值；以及
利用所述感知特征值来合成所述PPV。
22.根据权利要求20至21中任一项所述的方法，其中合成所述PPV包括：
从将物理元素的类型映射到特定感知特征值的库中检索所述一个或多个感知特征值。
23.一种设备，包括：
一个或多个处理器；
非暂态存储器；
一个或多个显示器；以及
存储在所述非暂态存储器中的一个或多个程序，当由所述一个或多个处理器执行时，所述一个或多个程序使得所述设备执行权利要求1至22中所述的方法中的任一种方法。
24.一种存储一个或多个程序的非暂态存储器，当由具有显示器的设备的一个或多个处理器执行时，所述一个或多个程序使得所述设备执行权利要求1至22中所述的方法中的任一种方法。
25.一种设备，包括：
一个或多个处理器；
非暂态存储器；
显示器；以及
用于使得所述设备执行权利要求1至22中所述的方法中的任一种方法的装置。
CN202080027969.1A 2019-04-23 2020-04-20 用于对象的感知属性向量 Pending CN113661473A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962837285P 2019-04-23 2019-04-23
US62/837,285 2019-04-23
PCT/US2020/028963 WO2020219380A1 (en) 2019-04-23 2020-04-20 Perceptual property vector for an object

Publications (1)

Publication Number Publication Date
CN113661473A true CN113661473A (zh) 2021-11-16

Family

ID=70680613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027969.1A Pending CN113661473A (zh) 2019-04-23 2020-04-20 用于对象的感知属性向量

Country Status (4)

Country Link
US (1) US11961191B2 (zh)
CN (1) CN113661473A (zh)
DE (1) DE112020002062T5 (zh)
WO (1) WO2020219380A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
CN105786178A (zh) * 2016-02-23 2016-07-20 广州视睿电子科技有限公司 场景对象信息呈现方法和***
US20170185151A1 (en) * 2015-12-28 2017-06-29 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
US20180365898A1 (en) * 2017-06-16 2018-12-20 Microsoft Technology Licensing, Llc Object holographic augmentation
CN109313652A (zh) * 2016-06-24 2019-02-05 微软技术许可有限责任公司 全息对象的关系绘制

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179651A1 (en) * 1999-07-16 2012-07-12 Marchese Leonard Electronic Space And Method For Providing Resources To Facilitate Ideation
CN104142995B (zh) * 2014-07-30 2017-09-26 中国科学院自动化研究所 基于视觉属性的社会事件识别方法
US9342227B2 (en) * 2014-09-02 2016-05-17 Microsoft Technology Licensing, Llc Semantic card view
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR102445364B1 (ko) * 2016-04-21 2022-09-19 매직 립, 인코포레이티드 시야 주위의 시각적 아우라

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
US20170185151A1 (en) * 2015-12-28 2017-06-29 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
CN105786178A (zh) * 2016-02-23 2016-07-20 广州视睿电子科技有限公司 场景对象信息呈现方法和***
CN109313652A (zh) * 2016-06-24 2019-02-05 微软技术许可有限责任公司 全息对象的关系绘制
US20180365898A1 (en) * 2017-06-16 2018-12-20 Microsoft Technology Licensing, Llc Object holographic augmentation

Also Published As

Publication number Publication date
US11961191B2 (en) 2024-04-16
DE112020002062T5 (de) 2022-05-19
WO2020219380A1 (en) 2020-10-29
US20210398359A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
US11348316B2 (en) Location-based virtual element modality in three-dimensional content
CN107209386B (zh) 增强现实视野对象跟随器
US11100659B2 (en) Object detection using multiple three dimensional scans
WO2016122973A1 (en) Real time texture mapping
US20230351715A1 (en) Virtual paper
US10984607B1 (en) Displaying 3D content shared from other devices
US20210150774A1 (en) Method, device, and system for delivering recommendations
US11710286B2 (en) Virtual object kit
US20200066025A1 (en) Rendering virtual objects with realistic surface properties that match the environment
CN111602391A (zh) 用于根据物理环境定制合成现实体验的方法和设备
US20210407185A1 (en) Generating a Semantic Construction of a Physical Setting
CN113661473A (zh) 用于对象的感知属性向量
US20210398327A1 (en) Responding to Representations of Physical Elements
CN113661470A (zh) 基于物理尺寸呈现环境
US20230401758A1 (en) Generating Content for Physical Elements
US11270671B1 (en) Configuring objective-effectuators
US11869144B1 (en) Modeling a physical environment based on saliency
US11430184B1 (en) Deformation joints
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
JP2022532864A (ja) 環境に基づく通信データの提示
CN113646733A (zh) 辅助表情

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination