CN113678173A - 用于虚拟对象的基于图绘的放置的方法和设备 - Google Patents

用于虚拟对象的基于图绘的放置的方法和设备 Download PDF

Info

Publication number
CN113678173A
CN113678173A CN202080028194.XA CN202080028194A CN113678173A CN 113678173 A CN113678173 A CN 113678173A CN 202080028194 A CN202080028194 A CN 202080028194A CN 113678173 A CN113678173 A CN 113678173A
Authority
CN
China
Prior art keywords
computer
generated graphical
implementations
content creation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080028194.XA
Other languages
English (en)
Inventor
R·S·布洛克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113678173A publication Critical patent/CN113678173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/16—Customisation or personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Civil Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Structural Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一些具体实施中，在包括一个或多个相机和非暂态存储器耦接到一个或多个处理器的设备处执行计算机生成的图形对象的基于图绘的放置的方法。该方法包括获取涉及内容创建界面(例如，绘图板)的输入，其中该输入对应于候选对象的图绘，并且其中内容创建界面便于创建能利用该设备呈现的计算机生成的图形对象。该方法还包括：利用对应于候选对象的图绘的输入来获取三维(3D)模型；利用所获取的3D模型来生成计算机生成的图形对象；以及导致与利用该设备的一个或多个相机获取的图像一起呈现计算机生成的图形对象。

Description

用于虚拟对象的基于图绘的放置的方法和设备
技术领域
本公开整体涉及计算机图形，并且具体地讲，涉及用于计算机生成的图形对象的基于图绘的放置的***、方法和设备。
背景技术
在一些情况下，用户可通过从预先存在的库中选择虚拟对象来填充其计算机生成的房间。然而，这限制了计算机生成的房间的可定制性。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作架构的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4A和图4B示出了根据一些具体实施的第一计算机生成的图形呈现场景。
图5A和图5B示出了根据一些具体实施的第二计算机生成的图形呈现场景。
图6A和图6B示出了根据一些具体实施的计算机生成的图形对象的基于图绘的放置的方法的流程图表示。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于将计算机生成的图形对象(有时也称为“虚拟对象”、“图形对象”或“ER对象”)基于图绘放置到计算机生成的图形布景(有时也称为“虚拟布景”、“图形布景”或“ER布景”)中的设备、***和方法。由于这些对象和布景是使用电子设备诸如平板电脑、智能电话、计算机来提供的，因此它们有时也被称为计算机生成的对象或计算机生成的布景。根据一些具体实施，在包括一个或多个相机和非暂态存储器耦接到一个或多个处理器的设备处执行该方法。该方法包括获取涉及内容创建界面(例如，绘图板)的输入，其中该输入对应于候选对象的图绘，并且其中内容创建界面便于创建能利用该设备呈现的计算机生成的图形对象。该方法还包括：利用对应于候选对象的图绘的输入来获取三维(3D)模型；利用所获取的3D模型来生成计算机生成的图形对象；以及导致与利用该设备的一个或多个相机获取的图像一起呈现计算机生成的图形对象。
根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。描述了用于与各种增强型现实技术相关地使用此类***的电子***和技术的各种示例。
物理布景是指各个人可在不使用电子***的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
与物理布景相比，增强型现实(ER)布景是指各种人通过使用电子***可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在ER中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER***检测到人向上看，ER***可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对ER布景中的虚拟对象的属性的调整。
人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中，人可仅感测音频对象和/或仅与其交互。
虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。
混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。
在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子***可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，***可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。
增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子***可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当***捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子***中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影***以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。
AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分可以图形方式修改(例如，放大)，使得经修改的部分仍表示初始捕获的图像(但不是其完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。
各种***允许人们感测ER布景和/或与其交互。例如，近眼***可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合在近眼***内。近眼***可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。近眼***中也可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子***可以是基于投影的***。在基于投影的***中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的***还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER***的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100包括任选的控制器110和电子设备120(例如，平板电脑、移动电话、膝上型电脑、可穿戴计算设备等)。
在一些具体实施中，控制器110被配置为管理和协调用于用户150(在本文中有时也称为“ER布景”、“虚拟布景”、“图形布景”或“计算机生成的图形布景”)和零个或多个其他用户的计算机生成的图形体验128。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理布景105处于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一示例中，控制器110是位于物理布景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110的功能由电子设备120提供。这样，在一些具体实施中，控制器110的部件集成到电子设备120中。
在一些具体实施中，电子设备120被配置为向用户150呈现音频和/或视频内容。在一些具体实施中，电子设备120被配置为向用户150呈现计算机生成的图形体验128。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。
根据一些具体实施，当用户150物理地存在于物理布景105内时，电子设备120向用户150呈现计算机生成的图形体验128，其中物理布景105包括处于电子设备120的视场111内的桌子107。这样，在一些具体实施中，用户150将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在呈现计算机生成的图形体验128时，电子设备120被配置为呈现计算机生成的图形内容(例如，计算机生成的图形圆柱体109)并使得能够在显示器122上实现物理布景105(例如，包括桌子107)的视频透传。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
在一些具体实施中，显示器122对应于使得能够实现物理布景105(包括桌子107)的光学透传的加成显示器。例如，显示器122对应于透明透镜，并且电子设备120对应于用户150佩戴的一副眼镜。因此，在一些具体实施中，电子设备120通过以下方式呈现用户界面：将计算机生成的图形内容(例如，计算机生成的图形圆柱体109)投影到加成显示器上，其继而从用户150的角度叠置在物理布景105上。在一些具体实施中，电子设备120通过以下方式呈现用户界面：将计算机生成的图形内容(例如，计算机生成的图形圆柱体109)显示在加成显示器上，其继而从用户150的角度叠置在物理布景105上。
在一些具体实施中，用户150穿戴电子设备120，诸如近眼***。因此，电子设备120包括被提供以显示计算机生成的图形内容的一个或多个显示器(例如，单个显示器或每只眼睛一个显示器)。例如，电子设备120包围用户150的视场。在此类具体实施中，电子设备120通过在一个或多个显示器上显示对应于计算机生成的图形体验128的数据或者通过将对应于计算机生成的图形体验128的数据投影到用户150的视网膜上来呈现计算机生成的图形体验128。
在一些具体实施中，电子设备120包括显示计算机生成的图形体验128的集成显示器(例如，内置显示器)。在一些具体实施中，电子设备120包括可头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备120可附接到可头戴式壳体。在各种具体实施中，可头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备120)的接收器。例如，在一些具体实施中，电子设备120滑动/卡扣到可头戴式壳体中或以其他方式附接到该可头戴式壳体。在一些具体实施中，附接到可头戴式壳体的设备的显示器呈现(例如，显示)计算机生成的图形体验128。在一些具体实施中，将电子设备120替换成被配置为呈现计算机生成的图形内容的ER室、围场或房间，在其中用户150不穿戴电子设备120。
在一些具体实施中，控制器110和/或电子设备120使得用户150的计算机生成的图形表示基于来自电子设备120和/或物理布景105内任选的远程输入设备的移动信息(例如，身体姿态数据、眼睛跟踪数据、手部跟踪数据等)而在计算机生成的图形体验128内移动。在一些具体实施中，任选的远程输入设备对应于物理布景105内的固定或可移动的感测装备(例如，图像传感器、深度传感器、红外(IR)传感器、事件相机、麦克风等)。在一些具体实施中，每个远程输入设备被配置为在用户150物理地在物理布景105内时收集/捕获输入数据并且将输入数据提供给控制器110和/或电子设备120。在一些具体实施中，远程输入设备包括麦克风，并且输入数据包括与用户150相关联的音频数据(例如，语音样本)。在一些具体实施中，远程输入设备包括图像传感器(例如，相机)，并且输入数据包括用户150的图像。在一些具体实施中，输入数据表征用户150在不同时间的身体姿态。在一些具体实施中，输入数据表征用户150在不同时间的头部姿态。在一些具体实施中，输入数据表征在不同时间与用户150的手相关联的手跟踪信息。在一些具体实施中，输入数据表征用户150的身体部分(诸如他/她的手)的速度和/或加速度。在一些具体实施中，输入数据指示用户150的关节位置和/或关节取向。在一些具体实施中，远程输入设备包括反馈设备，诸如扬声器、灯等。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信***(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位***(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中，该一条或多条通信总线204包括互连***部件和控制***部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作***230和体验引擎240。
操作***230包括用于处理各种基础***服务和用于执行硬件相关任务的过程。
在一些具体实施中，体验引擎240被配置为管理和协调用于一个或多个用户的一个或多个计算机生成的图形体验(在本文中有时也称为“ER布景”、“虚拟布景”、“图形布景”、或“计算机生成的图形布景”)(例如，用于一个或多个用户的单个计算机生成的图形体验，或者用于一个或多个用户的相应群组的多个计算机生成的图形体验)。为此，在各种具体实施中，体验引擎240包括数据获取器242、标测器和***引擎244、内容管理器246、交互和操纵引擎248、内容创建引擎250、以及数据传输器262。
在一些具体实施中，数据获取器242被配置为从控制器110的I/O设备206、电子设备120、和任选的远程输入设备170A和170B中的至少一者获取数据(例如，呈现数据、输入数据、用户交互数据、用户输入、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，标测器和***引擎244被配置为标测物理环境105以及跟踪至少电子设备120相对于物理环境105的方位/位置。为此，在各种具体实施中，映射器和***引擎244包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容管理器246被配置为生成(即，渲染)、管理和修改呈现给用户的计算机生成的图形布景(有时也称为“虚拟布景”、“图形布景”或“计算机生成的图形体验”)。为此，在各种具体实施中，内容管理器246包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，交互和操纵引擎248被配置为解译涉及计算机生成的图形布景的用户交互和/或修改输入。为此，在各种具体实施中，交互和操纵引擎248包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容创建引擎250被配置为基于用户输入获取用于放置到计算机生成的图形布景中的计算机生成的图形对象(有时也称为“虚拟对象”、“图形对象”或“ER对象”)，其中用户输入对应于候选对象的图绘。为此，在各种具体实施中，内容创建引擎250包括输入解译器252、任选的深度推断引擎254、模型获取器256和任选的3D模型库258。
在一些具体实施中，输入解译器252被配置为获取和解译涉及内容创建界面的用户输入(例如，内容创建输入)。根据一些具体实施，内容创建界面对应于平面2D界面。根据一些具体实施，内容创建界面对应于体积3D界面。根据一些具体实施，用户输入对应于内容创建界面内的一个或多个触笔输入、触摸输入、眼睛跟踪输入、手指/手部跟踪输入等。为此，在各种具体实施中，输入解译器252包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，任选的深度推断引擎254被配置为基于摄影测量技术等推断对应于图绘的候选对象的深度信息(例如，深度图或网格)。为此，在各种具体实施中，深度推断引擎254包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，模型获取器256被配置为基于对应于候选对象的图绘的用户输入来获取3D模型。根据一些具体实施，获取3D模型包括将候选对象的图绘匹配到3D模型库258中的预先存在的3D模型。根据一些具体实施，3D模型库258相对于控制器110本地或远程存储。根据一些具体实施，3D模型库258存储多个3D模型。根据一些具体实施，获取3D模型包括基于候选对象的图绘和来自深度推断引擎254的深度信息来生成3D模型。在一些具体实施中，模型获取器256还被配置为利用所获取的3D模型来生成计算机生成的图形对象。例如，模型获取器256通过将纹理或UV图应用于网格(例如，所获取的3D模型)来生成计算机生成的图形对象。为此，在各种具体实施中，模型获取器256包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器262被配置为至少向电子设备120传输数据(例如，呈现数据诸如与计算机生成的图形布景相关联的经渲染的图像帧、位置数据等)。为此，在各种具体实施中，数据传输器262包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
尽管数据获取器242、标测器和***引擎244、内容管理器246、交互和操纵引擎248、内容创建引擎250和数据传输器262被图示成驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、标测器和***引擎244、内容管理器246、交互和操纵引擎248、内容创建引擎250和数据传输器262的任何组合可位于分开的计算设备中。
在一些具体实施中，控制器110的功能和/或部件与下文在图3中所示的电子设备120组合或由其提供。此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意图。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图3是根据一些具体实施的电子设备120(例如，移动电话、平板电脑、膝上型电脑、可穿戴计算设备等)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中，一条或多条通信总线304包括互连和控制***部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、磁力仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎、一个或多个深度传感器(例如，结构光、飞行时间等)、眼睛跟踪引擎等中的至少一者。
在一些具体实施中，一个或多个显示器312被配置为向用户呈现计算机生成的图形布景。在一些具体实施中，一个或多个显示器312还被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实视频透传)。在一些具体实施中，一个或多个显示器312对应于触摸屏显示器。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。
在一些具体实施中，一个或多个任选的面向内部和/或外部的图像传感器314对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、IR图像传感器、基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作***330和呈现引擎340。
操作***330包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎340被配置为经由一个或多个显示器312向用户呈现计算机生成的图形内容。出于该目的，在各种具体实施中，呈现引擎340包括数据获取器342、呈现器344、交互处理器346和数据传输器350。
在一些具体实施中，数据获取器342被配置为从电子设备120的I/O设备及传感器306、控制器110、和远程输入设备170A和170B中的至少一者获取数据(例如，呈现数据，诸如与计算机生成的图形布景相关联的经渲染的图像帧、输入数据、用户交互数据、用户输入、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，呈现器344被配置为经由一个或多个显示器312呈现和更新计算机生成的图形内容(例如，与计算机生成的图形布景相关联的经渲染的图像帧)。为此，在各种具体实施中，呈现器344包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，交互处理器346被配置为检测与所呈现的计算机生成的图形内容的用户交互。在一些具体实施中，交互处理器346被配置为检测涉及内容创建界面的用户输入(例如，内容创建输入)。根据一些具体实施，内容创建界面对应于平面2D界面。根据一些具体实施，内容创建界面对应于体积3D界面。根据一些具体实施，用户输入对应于内容创建界面内的一个或多个触笔输入、触摸输入、眼睛跟踪输入、手指/手部跟踪输入等。为此，在各种具体实施中，交互处理器346包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器350被配置为至少向控制器110传输数据(例如，呈现数据、位置数据、用户交互数据、用户输入等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
尽管数据获取器342、呈现器344、交互处理器346和数据传输器350被图示成驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、呈现器344、交互处理器346和数据传输器350的任何组合可位于分开的计算设备中。
此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图4A和图4B示出了根据一些具体实施的第一计算机生成的图形呈现场景。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。图4A和图4B分别示出了第一计算机生成的图形呈现场景的实例400和450的序列。
如图4A所示，与时间T1相关联的第一计算机生成的图形呈现场景的实例400包括物理布景105和显示在电子设备120的显示器122上的计算机生成的图形布景425。当用户150物理地存在于物理布景105内时，电子设备120向用户150呈现计算机生成的图形布景425，该物理布景包括电子设备120的面向外部的图像传感器的视场111内的桌子107。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。
换句话讲，在一些具体实施中，电子设备120被配置为呈现计算机生成的图形内容并使得能够实现显示器122上物理布景105(例如，包括桌子107)的至少一部分的光学透传或视频透传。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
如图4A所示，电子设备120还在显示器122上显示内容创建界面410和工具面板420。根据一些具体实施，内容创建界面410被配置为检测/接收用户输入，诸如由用户150握持的触笔401的图绘或笔画或者来自用户150的触摸/手指输入。根据一些具体实施，工具面板420包括被配置为追溯地和/或预期地改变用户输入的一个或多个特性(诸如线条宽度、线条颜色、线条类型、填充颜色、纹理填充剂等)的可选择工具。
在一些具体实施中，响应于在内容创建界面410内检测到对应于候选对象的图绘的用户输入，电子设备120被配置为基于候选对象的图绘获取3D模型，并且基于3D模型在计算机生成的图形布景425内呈现计算机生成的图形对象。因此，基于涉及内容创建界面410的用户图绘，将计算机生成的图形对象放置在计算机生成的图形布景425内。在一些具体实施中，下文参考图6A和图6B中的方法600更详细地描述用于获取3D模型的过程。如图4B所示，与时间T2相关联的第一计算机生成的图形呈现场景的实例450示出了响应于在内容创建界面410内检测到用户输入465(例如，棕榈树的图绘)而在计算机生成的图形布景425内显示的计算机生成的图形对象475(例如，3D棕榈树)。
图5A和图5B示出了根据一些具体实施的第二计算机生成的图形呈现场景。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。图5A和图5B类似于并修改自图4A和图4B。因此，本文使用类似的附图标记，并且为了简洁起见，将仅讨论不同之处。图5A和图5B分别示出了第二计算机生成的图形呈现场景的实例500和550的序列。
如图5A所示，与时间T1相关联的第二计算机生成的图形呈现场景的实例500包括物理布景105、显示在电子设备120的显示器122上的计算机生成的图形布景425、以及辅助电子设备520。在一些具体实施中，电子设备120被配置为呈现计算机生成的图形内容并使得能够实现显示器122上物理布景105(例如，包括桌子107)的至少一部分的光学透传或视频透传。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
如图5A所示，辅助电子设备520显示内容创建界面410。根据一些具体实施，内容创建界面410被配置为检测/接收输入，诸如由用户150握持的触笔401的图绘或笔画或者来自用户150的触摸输入。例如，辅助电子设备520对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。根据一些具体实施，辅助电子设备520经由一个或多个有线或无线通信信道(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备120和/或控制器110通信地耦接。
在一些具体实施中，响应于在内容创建界面410内检测到对应于候选对象的图绘的用户输入，电子设备120被配置为基于候选对象的图绘获取3D模型，并且基于3D模型在计算机生成的图形布景425内呈现计算机生成的图形对象。因此，基于涉及与辅助电子设备520相关联的内容创建界面410的用户图绘，将计算机生成的图形对象放置在计算机生成的图形布景425(由电子设备120呈现)内。在一些具体实施中，下文参考图6A和图6B中的方法600更详细地描述用于获取3D模型的过程。如图5B所示，与时间T2相关联的第二计算机生成的图形呈现场景的实例550示出了响应于检测到与辅助电子设备520相关联的内容创建界面410内的用户输入465(例如，棕榈树的图绘)而显示在由电子设备120呈现的计算机生成的图形布景425内的计算机生成的图形对象475(例如，3D棕榈树)。
图6A和图6B示出了根据一些具体实施的计算机生成的图形对象的基于图绘的放置的方法600的流程图表示。在各种具体实施中，方法600由具有一个或多个相机和非暂态存储器耦接到一个或多个处理器的设备执行(例如，图1和图2中的控制器110；图1和图3中的电子设备120；或它们的合适组合)、或其部件。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如上所述，在一些情况下，用户可通过从预先存在的库中选择虚拟对象来填充其计算机生成的房间。然而，这限制了计算机生成的房间的可定制性。因此，根据一些具体实施，为了允许用户进一步可定制性，基于内容创建界面(例如，绘图板)上候选对象的图绘获取(例如，针对计算机生成的图形对象的库进行匹配或者实时地生成)3D模型，并且对应于3D模型的计算机生成的图形对象被放置到计算机生成的图形布景中。在一些具体实施中，图绘相对于内容创建界面的位置限定计算机生成的图形对象在计算机生成的图形布景内的放置位置。在一些具体实施中，内容创建界面的角度限定计算机生成的图形对象被放置在计算机生成的图形布景内的角度。
如框6-1所示，方法600包括获取涉及内容创建界面(例如，绘图板)的输入，其中该输入对应于候选对象的图绘，并且其中内容创建界面便于创建能利用该设备呈现的计算机生成的图形对象。在一些具体实施中，设备或其部件(例如，图2中的输入解译器252)获取并解译涉及内容创建界面的输入。
根据一些具体实施，内容创建界面对应于平面二维(2D)内容创建界面。根据一些具体实施，输入(例如，内容创建输入)对应于内容创建界面内的一个或多个触笔输入、触摸输入、眼睛跟踪输入、手指/手部跟踪输入等。例如，图4A和图4B中所示的序列示出了电子设备120从触笔401检测到的输入。在一些具体实施中，内容创建界面对应于三维(3D)内容创建界面。
在一些具体实施中，方法600包括根据确定该输入与内容创建界面的边界相距在阈值距离内而在获取对应于候选对象的图绘的输入时生成触觉反馈。例如，参考图4A，当输入在内容创建界面410的边缘附近时，电子设备120生成触觉反馈。
在一些具体实施中，方法600包括响应于检测到调用命令而导致显示内容创建界面，其中该输入涉及内容创建界面。例如，参考图4A，电子设备120使得响应于调用命令诸如手部手势、语音命令等而与计算机生成的图形布景425同时地显示内容创建界面410。
在一些具体实施中，如框6-1a所示，方法600包括与利用设备的一个或多个相机获取的图像一起显示内容创建界面。因此，设备将计算机生成的图形内容(包括内容创建界面和任何计算机生成的图形对象)与利用设备的一个或多个相机(例如，面向外部的相机)获取的图像合成(例如，视频透传)，以生成用于由设备呈现的计算机生成的图形布景。例如，内容创建界面叠置在利用设备的一个或多个相机获取的图像上和/或计算机生成的图形布景上。
在一些具体实施中，如框6-1b所示，方法600包括导致在第二设备上显示内容创建界面。例如，图5A和图5B中所示的序列示出了在电子设备120呈现计算机生成的图形布景425时在辅助电子设备520上显示的内容创建界面410。
在一些具体实施中，如框6-1c所示，内容创建界面邻近计算机生成的图形布景显示。例如，图4A和图4B中所示的序列示出了邻近计算机生成的图形布景425同时显示的内容创建界面410。
如框6-2所示，方法600包括利用对应于候选对象的图绘的输入来获取三维(3D)模型。在一些具体实施中，设备或其部件(例如，图2中的模型获取器256)基于对应于候选对象的图绘的输入来获取3D模型。
在一些具体实施中，如框6-2a所示，获取3D模型包括将候选对象的图绘匹配到3D模型库中的预先存在的3D模型。在一些具体实施中，设备或其部件(例如，图2中的模型获取器256)通过将候选对象的图绘匹配到3D模型库258中的预先存在的3D模型来获取3D模型。例如，模型获取器256从3D模型库258获取在预定义置信度阈值内匹配候选对象的图绘的3D模型。
在一些具体实施中，如框6-2b所示，获取3D模型包括基于候选对象的图绘来生成3D模型。在一些具体实施中，设备或其部件(例如，图2中的模型获取器256)通过基于候选对象的图绘和(任选地)深度信息实时生成3D模型来获取3D模型。根据一些具体实施，生成3D模型包括基于摄影测量技术等推断与候选对象的图绘相关联的深度信息。在一些具体实施中，设备或其部件(例如，图2中的深度推断引擎254)基于摄影测量技术等推断对应于图绘的候选对象的深度信息(例如，深度图或网格)。
如框6-3所示，方法600包括利用所获取的3D模型生成计算机生成的图形对象。在一些具体实施中，控制器110或其部件(例如，图2中的模型获取器256)利用所获取的3D模型生成计算机生成的图形对象。在一些具体实施中，方法600包括生成计算机生成的图形对象，包括获取具有纹理的网格。
如框6-4所示，方法600包括导致与利用设备的一个或多个相机获取的图像一起呈现计算机生成的图形对象。例如，参考图4B，电子设备120响应于在内容创建界面410内检测到用户输入465(例如，棕榈树的图绘)而在计算机生成的图形布景425内显示计算机生成的图形对象475(例如，3D棕榈树)。
作为一个示例，假设控制器110和电子设备120的功能是分开的，则控制器110或其部件(例如，图2中的内容管理器246)渲染与包括计算机生成的图形对象的计算机生成的图形布景相关联的图像帧。继续该示例，控制器110或其部件(例如，图2中的数据传输器262)将经渲染的图像帧传输给电子设备120。最后，继续该示例，电子设备120或其部件(例如，图3中的数据获取器342)接收经渲染的图像帧，并且电子设备120或其部件(例如，图3中的呈现器344)经由一个或多个显示器312显示经渲染的图像帧。
又如，假设控制器110和电子设备120的功能被组合，则设备或其部件(例如，图2中的内容管理器246)渲染与包括计算机生成的图形对象的计算机生成的图形布景相关联的图像帧，并且设备或其部件(例如，图3中的呈现器344)经由一个或多个显示器312显示经渲染的图像帧。
在一些具体实施中，如框6-4a所示，方法600包括利用所获取的与候选对象的图绘相对应的输入的位置来确定计算机生成的图形对象的显示位置，并且其中导致呈现计算机生成的图形对象包括导致在所确定的显示位置处呈现计算机生成的图形对象。在一些具体实施中，该输入在内容创建界面内的位置确定与将计算机生成的图形对象放置到计算机生成的图形布景中相关联的平移坐标。换句话讲，转换将该输入在内容创建界面内的位置映射到计算机生成的图形布景内的放置位置。因此，作为一个示例参考图5A，如果在3D内容创建界面410相对于y轴的上部部分内检测到与候选对象的图绘相关联的输入，则设备基于该输入的位置将计算机生成的图形对象放置到计算机生成的图形布景中，使得计算机生成的图形对象在被显示在计算机生成的图形布景内时可漂浮在空中。
在一些具体实施中，如框6-4b所示，计算机生成的图形对象的至少一个旋转维度对应于内容创建界面的角度。在一些具体实施中，将计算机生成的图形对象放置到计算机生成的图形布景中的一个或多个旋转维度(例如，俯仰、翻滚和/或偏航)是基于内容创建界面的角度。因此，作为一个示例，如果内容创建界面以45°角俯仰，则设备将计算机生成的图形对象以45°角俯仰放置到计算机生成的图形布景中。例如，用户能够旋转和/或平移内容创建界面。在一些具体实施中，将计算机生成的图形对象放置到计算机生成的图形布景中的一个或多个旋转维度(例如，俯仰、翻滚和/或偏航)是基于该输入相对于内容创建界面的角度。
在一些具体实施中，如框6-5所示，方法600包括：获取涉及所呈现的计算机生成的图形对象的附加输入；以及根据该附加输入修改所呈现的计算机生成的图形对象。在一些具体实施中，如框6-5a所示，修改所呈现的计算机生成的图形对象包括缩放计算机生成的图形对象、旋转计算机生成的图形对象、平移计算机生成的图形对象、以动画方式显示计算机生成的图形对象等。在一些具体实施中，如框6-5b所示，修改所呈现的计算机生成的图形对象包括修改计算机生成的图形对象的颜色、纹理、着色、阴影、形状等中的至少一者。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (18)

1.一种方法，包括：
在包括一个或多个相机和非暂态存储器耦接到一个或多个处理器的设备处：
获取涉及内容创建界面的输入，
其中所述输入对应于候选对象的图绘，并且
其中所述内容创建界面便于创建能利用所述设备进行呈现的计算机生成的图形对象；
利用对应于所述候选对象的所述图绘的所述输入来获取三维(3D)模型；
利用所获取的所述3D模型来生成计算机生成的图形对象；以及
导致与利用所述设备的所述一个或多个相机获取的图像一起呈现所述计算机生成的图形对象。
2.根据权利要求1所述的方法，其中获取所述3D模型包括将所述候选对象的所述图绘匹配到3D模型库中的预先存在的3D模型。
3.根据权利要求1所述的方法，其中获取所述3D模型包括基于所述候选对象的所述图绘来生成所述3D模型。
4.根据权利要求1至3中任一项所述的方法，其中所述输入对应于涉及所述内容创建界面的一个或多个触笔输入、一个或多个触摸输入、一个或多个手指跟踪输入、一个或多个手部跟踪输入或一个或多个眼睛跟踪输入中的至少一者。
5.根据权利要求1至4中任一项所述的方法，还包括：
与利用所述设备的所述一个或多个相机获取的图像一起显示所述内容创建界面。
6.根据权利要求1至4中任一项所述的方法，还包括：
导致在第二设备上显示所述内容创建界面。
7.根据权利要求1至4中任一项所述的方法，其中生成所述计算机生成的图形对象包括获取具有纹理的网格。
8.根据权利要求1至7中任一项所述的方法，还包括：
利用所获取的对应于所述候选对象的所述图绘的所述输入的位置来确定所述计算机生成的图形对象的显示位置，并且其中导致呈现所述计算机生成的图形对象包括导致在所确定的所述显示位置处呈现所述计算机生成的图形对象。
9.根据权利要求1至8中任一项所述的方法，其中所述计算机生成的图形对象的至少一个旋转维度对应于所述内容创建界面的角度。
10.根据权利要求1至9中任一项所述的方法，还包括：
根据确定所述输入与所述内容创建界面的边界相距在阈值距离内，在获取对应于所述候选对象的所述图绘的所述输入时生成触觉反馈。
11.根据权利要求1至10中任一项所述的方法，还包括：
获取涉及所呈现的所述计算机生成的图形对象的附加输入；以及
根据所述附加输入修改所呈现的所述计算机生成的图形对象。
12.根据权利要求11所述的方法，其中修改所述计算机生成的图形对象包括缩放、旋转、平移或以动画方式显示所述计算机生成的图形对象中的至少一者。
13.根据权利要求11至12中任一项所述的方法，其中修改所述计算机生成的图形对象包括修改所述计算机生成的图形对象的颜色、纹理、着色、阴影或形状中的至少一者。
14.根据权利要求1至13中任一项所述的方法，其中所述内容创建界面对应于二维(2D)内容创建界面。
15.根据权利要求1至13中任一项所述的方法，其中所述内容创建界面对应于三维(3D)内容创建界面。
16.一种设备，包括：
一个或多个处理器；
非暂态存储器；
一个或多个相机；以及
一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，当由所述一个或多个处理器执行时，所述一个或多个程序使得所述设备执行权利要求1至15所述的方法中的任一种方法。
17.一种存储一个或多个程序的非暂态存储器，当由具有一个或多个相机的设备的一个或多个处理器执行时，所述一个或多个程序使得所述设备执行权利要求1至15所述的方法中的任一种方法。
18.一种设备，包括：
一个或多个处理器；
非暂态存储器；
一个或多个相机；以及
装置，所述装置用于使得所述设备执行根据权利要求1至15所述的方法中的任一种方法。
CN202080028194.XA 2019-08-30 2020-08-25 用于虚拟对象的基于图绘的放置的方法和设备 Pending CN113678173A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962894534P 2019-08-30 2019-08-30
US62/894,534 2019-08-30
PCT/US2020/047823 WO2021041428A1 (en) 2019-08-30 2020-08-25 Method and device for sketch-based placement of virtual objects

Publications (1)

Publication Number Publication Date
CN113678173A true CN113678173A (zh) 2021-11-19

Family

ID=72433006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080028194.XA Pending CN113678173A (zh) 2019-08-30 2020-08-25 用于虚拟对象的基于图绘的放置的方法和设备

Country Status (4)

Country Link
US (2) US11527049B2 (zh)
EP (1) EP3914998A1 (zh)
CN (1) CN113678173A (zh)
WO (1) WO2021041428A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778114A (zh) * 2022-03-07 2023-09-19 北京百度网讯科技有限公司 对组件进行操作的方法、电子设备、存储介质及程序产品
US12002154B1 (en) 2024-01-22 2024-06-04 Illuscio, Inc. Systems and methods for automatic and dynamic generation of shape-conforming and computationally efficient colliders for point clouds

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954899B1 (en) * 1997-04-14 2005-10-11 Novint Technologies, Inc. Human-computer interface including haptically controlled interactions
US20150262412A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
US10068379B2 (en) * 2016-09-30 2018-09-04 Intel Corporation Automatic placement of augmented reality models
US10284815B2 (en) 2017-07-26 2019-05-07 Blue Jeans Network, Inc. System and methods for physical whiteboard collaboration in a video conference

Also Published As

Publication number Publication date
EP3914998A1 (en) 2021-12-01
WO2021041428A1 (en) 2021-03-04
US20230060596A1 (en) 2023-03-02
US11527049B2 (en) 2022-12-13
US11961195B2 (en) 2024-04-16
US20210383613A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
JP6967043B2 (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
CN111880644A (zh) 多用户即时定位与地图构建（slam）
US11132546B2 (en) Plane detection using semantic segmentation
CN110633617B (zh) 使用语义分割的平面检测
US20190371072A1 (en) Static occluder
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
JP7155291B2 (ja) 環境の動き回り
US11682138B2 (en) Localization and mapping using images from multiple devices
US11961195B2 (en) Method and device for sketch-based placement of virtual objects
CN110715647A (zh) 使用多次三维扫描进行对象检测
CN114514493A (zh) 增强设备
KR20210016288A (ko) 컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화
CN111602391B (zh) 用于根据物理环境定制合成现实体验的方法和设备
US11430198B1 (en) Method and device for orientation-based view switching
US11321926B2 (en) Method and device for content placement
US11468611B1 (en) Method and device for supplementing a virtual environment
US11315278B1 (en) Object detection and orientation estimation
CN116583870A (zh) 用于多相机孔填充的方法和设备
CN112654951A (zh) 基于现实世界数据移动头像
US20240221328A1 (en) Method and Device for Sketch-Based Placement of Virtual Objects
US10964056B1 (en) Dense-based object tracking using multiple reference images
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
CN117581180A (zh) 用于在3d中导航窗口的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination