CN107250891A - 头戴式显示器与真实世界对象之间的相互通信 - Google Patents

头戴式显示器与真实世界对象之间的相互通信 Download PDF

Info

Publication number
CN107250891A
CN107250891A CN201680010275.0A CN201680010275A CN107250891A CN 107250891 A CN107250891 A CN 107250891A CN 201680010275 A CN201680010275 A CN 201680010275A CN 107250891 A CN107250891 A CN 107250891A
Authority
CN
China
Prior art keywords
virtual
real
objects
processor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680010275.0A
Other languages
English (en)
Other versions
CN107250891B (zh
Inventor
朱利安·M·乌尔巴赫
N·拉扎雷夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OTOY CO
Original Assignee
OTOY CO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OTOY CO filed Critical OTOY CO
Publication of CN107250891A publication Critical patent/CN107250891A/zh
Application granted granted Critical
Publication of CN107250891B publication Critical patent/CN107250891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123—Shopping for digital content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在第一显示装置上实现与虚拟空间中所产生的虚拟对象的用户交互。使用第一显示装置的传感器和相机数据，识别其表面上具有标记的真实世界对象。相对于真实世界对象上的标记来产生和显示虚拟3D空间中的虚拟对象。对真实3D空间中的真实世界对象的操纵导致虚拟3D空间中的虚拟对象的属性发生变化。所述标记包括关于要产生的特定渲染物的信息。可以基于标记中所包括的信息来产生和显示不同的虚拟对象。当真实世界对象具有传感器时，将来自真实世界对象的传感器数据传输到第一显示装置以基于传感器输入来增强虚拟对象或虚拟场景的显示。本地或远程存储器可以进一步定义、增强或修改真实世界对象的特性。

Description

头戴式显示器与真实世界对象之间的相互通信
背景技术
互联网、移动数据网络和硬件的快速发展导致开发出许多类型的装置。此类装置包括如膝上型计算机之类的更大型装置以及承载在用户身体部位上的穿戴式装置的更小型装置。此类穿戴式装置的实例包括眼镜、头戴式显示器、智能手表或装置以监控穿戴者的生物信息。可以将包括文本、音频和视频数据的移动数据串流到装置上。然而，由于其有限的屏幕尺寸和处理能力，其使用会受到限制。
发明内容
本公开涉及用于实现与虚拟对象的用户交互的***和方法，其中经由对真实世界对象的操纵来渲染虚拟3D空间中的虚拟对象，并由本地或远程数据源来增强或修改所述虚拟对象。在一些实施例中，公开了一种用于实现与虚拟对象的用户交互的方法。所述方法包括：由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记。处理器识别真实3D空间中的真实世界对象相对于用户双眼的位置和定向，并渲染相对于标记被定位和定向在虚拟3D空间中的虚拟对象。经由对真实(3D)空间中的真实世界对象的操纵来控制虚拟对象的显示。所述方法进一步包括：由处理器传输渲染数据以在第一显示装置上视觉地呈现虚拟对象。在一些实施例中，虚拟对象的视觉呈现可不包括真实世界对象，使得用户仅看到虚拟空间中的虚拟对象。在一些实施例中，虚拟对象的视觉呈现可以包括真实世界对象的图像，使得由虚拟对象来增强或修改真实视觉对象的视图。
在一些实施例中，将虚拟对象配置成用于可经由对真实世界对象的操纵来操纵的方法进一步包括：由处理器检测真实世界对象的位置和定向中的一者的变化；基于真实世界对象的检测到的变化来更改虚拟空间中的虚拟对象的一个或多个属性；以及由处理器将渲染数据传输到第一显示装置，以视觉地显示具有经更改的属性的虚拟对象。
在一些实施例中，真实世界对象是包括触摸屏在内的第二显示装置。第二显示装置存在于第一显示装置的相机的视野中，且可通信地联接到第一显示装置。此外，标记显示在第二显示装置的触摸屏上。所述方法进一步包括：由处理器从第二显示装置接收关于用户触摸输入的数据；以及响应于关于用户触摸输入的数据来操纵虚拟空间中的虚拟对象。在一些实施例中，关于用户触摸输入的数据(包括用户身体部位相对于标记在触摸屏上的位置信息和对虚拟对象的操纵)进一步包括：由处理器响应于用户触摸输入来改变虚拟空间中的虚拟对象的位置，以跟踪虚拟对象的位置信息或大小。在一些实施例中，用户触摸输入对应于单次轻击或多次轻击、轻击并按住、旋转、轻扫或捏动缩放手势中的一者。在一些实施例中，所述方法进一步包括：由处理器从第一显示装置和第二显示装置中的一者或多者中所包括的多个传感器中的至少一者接收关于输入的数据；以及由处理器响应于此类传感器输入数据来操纵虚拟对象和虚拟场景中的一者。在一些实施例中，多个传感器可以包括相机、陀螺仪、加速度计和磁力计。因此，来自第一和/或第二显示装置的传感器输入数据实现了互相跟踪。因此，即使第一和第二显示装置中的一者或多者移出另一者的视野，仍通过在第一与第二显示装置之间相互交换此类运动/位置传感器数据来实现精确的相对位置跟踪。
在一些实施例中，真实世界对象是另一个对象的3D打印模型，且虚拟对象包括另一对象的虚拟外表面。虚拟外表面编码另一对象的真实世界表面反射率性质。虚拟对象的大小可以基本上类似于3D打印模型的大小。所述方法进一步包括：由处理器响应于指示购买渲染图(rendering)的另外的输入来渲染虚拟外表面。
在一些实施例中，公开了一种包括处理器和存储介质的计算装置，所述存储介质用于将由处理器执行的程序逻辑有形地存储在其上。编程逻辑使得处理器能够执行各种操作，这些操作与实现与虚拟对象的用户交互相关联。由处理器来执行存在检测逻辑以用于与第一显示装置通信地来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记。由处理器执行识别逻辑以用于识别真实3D空间中的真实世界对象相对于用户双眼的位置和定向。处理器执行以下各项：渲染逻辑，其用于渲染相对于标记被定位和定向在虚拟3D空间中的虚拟对象；操纵逻辑，其用于响应于对真实3D空间中的真实世界对象的操纵来操纵虚拟对象；以及传输逻辑，其用于由处理器传输渲染数据以在第一显示装置的显示器上视觉地显示虚拟对象。
在一些实施例中，操纵逻辑进一步包括：由处理器执行的变化检测逻辑，其用于检测真实世界对象的位置和定向中的一者的变化；由处理器执行的更改逻辑，其用于基于真实世界对象的检测到的变化来更改虚拟空间中的虚拟对象的位置和定向中的一者或多者；以及由处理器执行的变化传输逻辑，其用于将经更改的位置和定向传输到第一显示装置。
在一些实施例中，真实世界对象是包括触摸屏和多种传感器在内的第二显示装置。第二显示装置a)存在于第一显示装置的相机的视野中，且可通信地联接到第一显示装置，不过不需要存在于视野中，因为其他传感器也可以提供用于准确跟踪两个装置(以每一者相对于另一者的方式)的有用数据。标记显示在第二显示装置的触摸屏上，且操纵逻辑进一步包括：由处理器执行的接收逻辑，其用于从第二显示装置接收关于用户触摸输入的数据；以及由处理器执行的逻辑，其用于响应于关于用户触摸输入的数据来操纵虚拟空间中的虚拟对象。关于用户触摸输入的数据可以包括用户身体部位相对于标记在触摸屏上的位置信息。操纵逻辑进一步包括：由处理器执行的位置改变逻辑，其用于改变虚拟空间中的虚拟对象的位置以跟踪位置信息；以及由处理器执行的大小改变逻辑，其用于响应于用户触摸输入来改变虚拟对象的大小。
在一些实施例中，处理器包括在第一显示装置中，且设备进一步包括：由处理器执行的显示逻辑，其用于在第一显示装置的显示器上显示虚拟对象。
一种非暂时性处理器可读存储介质包括处理器可执行指令，所述指令用于由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记。在一些实施例中，非暂时性处理器可读介质进一步包括用于以下各项的指令：识别真实3D空间中的真实世界对象相对于用户双眼的位置和定向；渲染相对于标记被定位和定向在虚拟3D空间中的虚拟对象，所述虚拟对象可经由对真实3D空间中的真实世界对象的操纵来操纵；以及由处理器传输渲染数据以在第一显示装置的显示器上视觉地显示虚拟对象。在一些实施例中，用于经由对真实世界对象的操纵来操纵虚拟对象的指令进一步包括用于以下各项的指令：检测真实世界对象的位置和定向中的一者的变化；基于真实世界对象的检测到的变化来更改虚拟空间中的虚拟对象的位置和定向中的一者或多者；以及基于检测到的变化向用户显示处于经更改的位置和定向中的一者或多者的虚拟对象。
在一些实施例中，真实世界对象是包括触摸屏在内的第二显示装置，其存在于第一显示装置的相机的视野中且可通信地联接到第一显示装置。标记显示在第二显示装置的触摸屏上。非暂时性介质进一步包括用于以下各项的指令：从第二显示装置接收关于用户触摸输入的数据；以及响应于关于用户触摸输入的数据来操纵虚拟空间中的虚拟对象。
在一些实施例中，真实世界对象是另一个对象的3D打印模型，且虚拟对象包括另一对象的虚拟外表面。虚拟外表面编码另一对象的真实世界表面反射率性质，且虚拟对象的大小基本上类似于3D打印模型的大小。非暂时性介质进一步包括用于由处理器响应于指示购买渲染图的另外的输入来渲染虚拟外表面的指令。在一些实施例中，渲染数据进一步包括用于将真实世界对象连同虚拟对象的图像包括在视觉显示中的数据。在一些实施例中，虚拟对象可以在从传输的渲染数据产生的显示中修改或增强真实世界对象的图像。
这些和其他实施例将参考以下详细描述和附图而为本领域普通技术人员所显而易见。
附图说明
在附图(这些附图并未按比例且相同的附图标记贯穿几个视图指示相同的元件)中：
图1是根据一些实施例的说明，其示出了经由对真实世界中的真实世界对象的操纵实现与虚拟世界中所产生的虚拟对象的用户交互；
图2是根据一些实施例的说明，其示出了关于触敏表面上的标记来产生虚拟对象；
图3是根据一些实施例的另一个说明，其示出了与虚拟对象的用户交互；
图4是根据本文中所描述的一些实施例的说明，其示出了向用户提供对象的深度信息连同照明数据；
图5是根据本文中所描述的实施例用于建立用于体积显示的控制机制的***的示意图；
图6是根据一些实施例的预处理模块的示意图；
图7是根据一个实施例的详述实现与虚拟对象的用户交互的示例性方法的流程图；
图8是根据一些实施例的详述分析关于真实世界对象属性的变化的数据并识别虚拟对象204的对应变化的示例性方法的流程图；
图9是根据本文中所描述的一些实施例的详述提供对象的照明数据连同其深度信息的示例性方法的流程图；
图10是根据一些实施例的描绘在穿戴式计算装置内的某些实例模块的框图；
图11是根据一些实施例示出了用于购买和下载渲染图的***的示意图；
图12说明根据本文中所描述的实施例的计算装置的内部架构；以及
图13是根据本公开的实施例说明了计算装置的客户端装置实施方式的示意图。
具体实施方式
现将在下文中参考附图更完整地描述主题，所述附图形成该主题的一部分且通过说明示出了特定的示例性实施例。然而，主题可以多种不同的形式体现，且因此所涵盖或要求的主题旨在解释为不受限于本文中所阐述的任何示例性实施例；提供仅仅是说明性的示例性实施例。同样，预期所要求或涵盖的主题的相当广泛的范围。除了别的之外，例如，主题可体现为方法、装置、部件或***。因此，实施例可(例如)采取硬件、软件、固件或其任何组合(不同于软件本身)的形式。因此，以下详细描述并不旨在通过限制意义进行理解。
在附图中，一些特征可被夸大以示出特定部件的细节(且诸图中所示的任何大小、材料和类似细节旨在为说明性的而非为限制性的)。因此，本文中所公开的任何特定结构和功能细节将不解释为限制性的，而是仅仅作为教导本领域技术人员以各种方式采用所公开的实施例的代表性基础。
下文参考方法和装置的框图和操作说明来描述实施例以选择和呈现与特定话题有关的介质。应理解，可以借助于模拟或数字硬件及计算机程序指令来实施框图或操作说明中的每个框以及框图或操作说明中的框的组合。可以将这些计算机程序指令或逻辑提供到通用计算机、专用计算机、ASIC或其他可编程数据处理设备的处理器，使得所述指令(经由计算机或其他可编程数据处理设备的处理器来执行)实施框图或一个或多个操作框中执行的功能/动作，由此改变执行装置的特性和/或功能性。
在一些替代性实施方式中，框中所注释的功能/动作可不按操作说明中所注释的顺序发生。例如，取决于所涉及的功能性/动作，连续示出的两个框可以基本上同时执行，或这些框可以有时按相反次序执行。此外，通过实例来提供被呈现和描述为本公开中的流程图的方法的实施例，以提供对技术的更完整的理解。所公开的方法并不限于本文中所呈现的操作和逻辑流程。可以想到替代性实施例，其中各种操作的顺序被更改，并且其中独立地执行被描述为更大操作的一部分的子操作。
出于本公开的目的，术语“服务器”应理解为指代提供处理、数据库和通信设施的服务点。通过实例且非限制，术语“服务器”可以指代具有关联的通信和数据存储及数据库设施的单个物理处理器，或其可以指代处理器和关联的网络及存储装置的联网或集群复合体，以及支持由服务器提供的服务的操作软件和一个或多个数据库***及应用软件。服务器可在配置和能力方面广泛地变化，但一般地服务器可包括一个或多个中央处理单元和存储器。服务器还可包括一个或多个额外大容量存储装置、一个或多个电源供应器、一个或多个有线或无线网络接口、一个或多个输入/输出接口或者一个或多个操作***(诸如，Windows Server、Mac OS X、Unix、Linux、FreeBSD等)。
出于本公开的目的，“网络”应理解为指代可联接装置使得可交换通信(诸如，在服务器与客户端装置或其他类型的装置之间(例如，包括在经由无线网络联接的无线装置之间))的网络。网络还可包括大容量存储器，诸如(例如)网络附接存储器(NAS)、存储区域网络(SAN)或其他形式的计算机或机器可读介质。网络可包括互联网、一个或多个局域网(LAN)、一个或多个广域网(WAN)、有线类型的连接、无线类型的连接、蜂窝式连接或其任何组合。同样，子网络可在更大型网络内互操作，这些子网络可采用不同的架构或可以遵从不同协议或与不同协议兼容。各种类型的装置可(例如)变得可用于为不同架构或协议提供可互操作能力。作为一个说明性实例，路由器可在本该单独和独立的LAN之间提供链路。
通信链路可包括(例如)模拟电话线路，诸如双绞线、同轴电缆、完整或部分数字线路(包括T1、T2、T3或T4型线路)、综合业务数字网络(ISDN)、数字用户线路(DSL)、无线链路(包括射频、红外线、光学或其他有线或无线通信方法卫星链路)，或其他通信链路(诸如可为本领域技术人员已知或将变得已知的有线链路或无线链路)。此外，计算装置或其他有关的电子装置可远程联接到网络(诸如，例如经由电话线路或链路)。
计算装置能够发送或接收信号(诸如，经由有线或无线网络)，或能够处理或存储信号(诸如，在存储器中以作为物理存储器状态)，且因此可操作为服务器。因此，能够操作为服务器的装置可包括作为实例的专用机架安装式服务器、桌上型计算机、膝上型计算机、机顶盒、组合了各种特征(诸如，前述装置的两个或多个特征)的集成装置等。
在说明书和权利要求书通篇中，术语可具有上下文中所暗示或暗含的超出明确陈述的含义的微妙含义。同样，如本文中所使用的短语“在一个实施例中”未必指代同一个实施例，且如本文中所使用的短语“在另一个实施例中”未必指代不同的实施例。例如，预期所要求的主题全部或部分地包括实例实施例的组合。一般地，可至少部分地从上下文中的使用情况来理解术语。例如，如本文中所使用的术语(诸如“和”、“或”或“和/或”)可包括多种含义，这些含义可至少部分地取决于其中使用此类术语的上下文。通常，在用于关联列表(诸如A、B或C)的情况下，“或”旨在意指此处在包括性意义上使用的A、B和C以及此处在排他性意义上使用的A、B或C。另外，至少部分地取决于上下文，如本文中所使用的术语“一个或多个”可用来描述在单数意义上的任何特征、结构或特性，或可用来描述呈复数意义上的特征、结构或特性的组合。类似地，至少部分地取决于上下文，诸如“一(a/an)”或“所述/该(the)”的术语可理解为表达单数使用情况或表达复数使用情况。另外，再次至少部分地取决于上下文，术语“基于”可理解为未必旨在表达一组排他性因素，而是可改为允许存在未必明确描述的额外因素。
各种装置当前可用于访问内容，所述内容可本地存储在装置上或经由本地网络(诸如，BluetoothTM网络)或更大型网络(诸如，互联网)串流到装置。随着穿戴式装置(诸如，智能手表、眼镜和头戴式显示器)的到来，用户无需携带更笨重的装置(诸如，膝上型计算机)以访问数据。戴在用户脸部上的装置(诸如，眼镜和头戴式显示器)以不同的模式操作，这些模式可以包括增强现实模式和虚拟现实模式。在增强现实模式中，当用户通过装置的镜头或观看屏幕(如由关联的处理器产生)来观察真实世界时，可见图像的显示内容被覆盖。在虚拟现实模式中，用户的真实世界视角被替换为由与装置的镜头或观看屏幕相关联的处理器产生的显示内容。
不管操作模式如何，对于用户而言在显示中与虚拟对象交互都会是极为不便的。尽管用于用户交互的命令可涉及口头或手势命令，但在当前可用的穿戴式装置上并未实现(例如)经由触摸输入的对虚拟对象的更精细控制。在需要对虚拟对象进行更精细控制的虚拟环境中，诸如当沿精确的轨迹来移动虚拟对象时(例如，文件到特定文件夹，或游戏环境中的虚拟对象)，除经由视觉显示的反馈之外还实现触觉输入可以改进用户体验。
本文中公开了若干实施例，以通过在物理对象与穿戴式装置之间实施双向通信增强在(例如)由穿戴式显示装置产生的虚拟环境中的用户体验。图1是示出了用户102的说明100，该用户经由与真实世界中的真实世界对象106交互来与虚拟世界中所产生的虚拟对象104进行交互。虚拟对象104由场景处理模块150产生，所述场景处理模块与穿戴式计算装置108通信或为穿戴式计算装置108的一部分或部件。在一些实施例中，场景处理模块150可以由可以将数据发送到穿戴式装置108的另一个处理器执行，其中所述另一处理器可以与穿戴式装置108构成整体、与穿戴式装置108部分地整合、或与穿戴式装置108分离。虚拟对象104是相对于标记110产生的，所述标记关于真实世界对象106的表面112是可见的或可检测到的。虚拟对象104可以进一步相对于标记110被锚定，使得真实世界中的标记110的任何变化都可以导致虚拟世界中的虚拟对象104的属性发生对应或期望的变化。
在一些实施例中，虚拟对象104可以包括2D(二维)平面图像、3D(三维)体积全息图或光场数据。虚拟对象104由穿戴式装置108相对于真实世界对象106来投射，并且可由用户102在穿戴式装置108的显示屏幕上观看到。在一些实施例中，虚拟对象104相对于标记110被锚定，使得标记110(或将标记承载在其上的表面112)的移位、倾斜或旋转中的一者或多者可以导致虚拟对象104发生对应的位置移位或倾斜和/或旋转。可以了解，发生标记110的位置属性(诸如，其在空间中的位置或定向)的变化不仅仅是由于用户120移动真实世界对象106，而且还由于用户102的头部130相对于真实世界对象106移位。穿戴式装置108以及对象106一般包括定位/移动检测部件(诸如，陀螺仪)或产生准许确定穿戴式装置108相对于装置106的位置的数据的软件或硬件元件。可以基于用户头部130相对于真实世界对象106的移动来改变虚拟对象104。在一些实施例中，对应于真实世界对象106变化的虚拟对象104的变化可以超越虚拟对象104的可见属性。例如，如果虚拟对象104是游戏中的角色，那么可以基于对受制于游戏的编程逻辑的真实世界对象的操纵来改变虚拟对象104的性质。
虚拟世界中的虚拟对象104对真实世界中的标记110的位置/定向以及装置106和108的定向的相对确定做出反应。因此，用户102能够经由对真实世界对象106的操纵来与虚拟对象104交互或操纵虚拟对象104。可了解，仅关于图1中所描绘的实例论述了位置和定向，因为承载标记110的表面112被假设为非触敏的。本文中论述了若干实施例，其中使用具有将标记承载在其上的触敏表面的真实世界对象，不过表面112可以是静态表面，诸如具有由用户102做出的标记的纸张、游戏板或能够承载标记的其他物理对象。虽然将表面112示为平面的，但此仅仅是为了说明而非限制。在一些实施例中，也可以使用包括弯曲部分、脊或其他不规则形状的表面。在一些实施例中，标记110可以是可由场景处理模块150辨识的任何识别标识。此类标识可以包括(不限于)QR(快速响应)码、条形码或其他图像、文本或甚至如上所述的用户产生的标识。在一些实施例中，可以将整个表面112辨识为标记(例如，经由表面112的纹理形状或大小)，且因此可无需单独的标记110。
在真实世界对象106是显示装置的情况下，标记可以是显示在真实世界对象106上的图像或文本或对象。这使得能够经由如本文中将进一步描述的触敏表面来控制虚拟对象104的除其位置和定向之外的属性，诸如但不限于其大小、形状、色彩或其他属性。可了解，在应用本文中所描述的技术中，虚拟对象104的属性变化是作为对用户操纵真实世界对象106的反应或响应。
在一些实施例中，穿戴式计算装置108可以包括但不限于增强现实眼镜，诸如GOOGLE GLASSTM、Microsoft HoloLens和ODG(Osterhout Design Group)智能眼镜等。增强现实(AR)眼镜使得用户102能够看见他/她周围的事物，同时通过显示从AR眼镜的本地存储器或从线上资源(诸如，其他服务器)检索的额外信息来增强周围的事物。在一些实施例中，穿戴式装置可以包括虚拟现实头罩式耳机，诸如(例如)SAMSUNG GEAR VRTM或Oculus Rift。在一些实施例中，可以充当增强现实眼镜或虚拟现实眼镜的单个头罩式耳机用来产生虚拟对象104。因此，用户102基于穿戴式装置108操作的模式能够看见或不能够看见真实世界对象106连同虚拟对象104。本文中所描述的实施例将VR环境的沉浸性性质和与AR环境相关联的触觉反馈相结合。
虚拟对象104可以直接由穿戴式计算装置108产生，或者其可以是从通信地联接到穿戴式装置108的另一个远程装置(未示出)接收的渲染图。在一些实施例中，远程装置可以是经由近程网络(诸如，蓝牙网络或其他近场通信)连接的游戏装置。在一些实施例中，远程装置可以是经由Wi-Fi或其他有线或无线连接来连接到穿戴式装置108的服务器。
当用户102最初激活穿戴式计算装置102时，穿戴式计算装置108中所包括的背向式相机或其他感测装置(诸如，从用户102的脸部向外指去的IR检测器(未示出))被激活。基于用户102的头部或其他身体部位的定位，可以使相机或传感器将与存在于用户102的手中或最接近用户102的手的真实世界对象106相关联的图像数据接收作为输入。在一些实施例中，传感器接收关于整个表面112的数据，包括标记110的位置和定向。所接收的图像数据可以与虚拟对象104的已知或产生的光场数据一起使用，以便以相对于标记110的位置/定向来产生虚拟对象104。在其中由穿戴式装置108接收虚拟对象104的渲染图的实施例中，场景处理模块150相对于标记110来定位和定向虚拟对象104的渲染图。
当用户102对真实世界中的真实世界对象106的属性(位置或其他方面)做出改变时，该变化由穿戴式装置108上的相机检测到并被提供到场景处理模块150。场景处理模块150对虚拟对象104或虚拟世界中围绕虚拟对象104的虚拟场景中的一者做出对应的改变。例如，如果用户102使真实世界对象移位或倾斜，那么此类信息由穿戴式装置108的相机获得，所述相机将获得的信息提供到场景处理模块150。基于真实世界对象106的当前位置/定向与真实世界对象106的新位置/定向之间的Δ(差值)，场景处理模块150确定要应用于虚拟对象104和/或虚拟场景(其中产生虚拟3D空间中的虚拟对象104)的对应变化。可以基于与虚拟对象104或虚拟场景相关联的编程指令来对关于要应用于虚拟对象104和虚拟场景中的一者或多者的变化进行确定。在真实世界对象106有能力检测其自身的位置/定向的其他实施例中，对象106可以传达其自身的数据，所述数据可以单独使用或与来自穿戴式装置108上的相机/传感器的数据结合使用。
在一些实施例中，所实施的对应于真实视觉对象106变化的虚拟对象104的变化可以取决于与虚拟环境相关联的编程。场景处理模块150可以经编程以对应于被应用于真实世界对象的给定变化对不同虚拟世界中的虚拟对象104实施不同变化。例如，真实世界对象106中的某种倾斜可导致虚拟对象104在第一虚拟环境中发生对应倾斜，而真实世界对象106的同种倾斜可导致虚拟对象104在第二虚拟环境中发生不同的变化。出于简单性之目的，本文中示出了单个虚拟对象104。然而，根据本文中所描述的实施例，也可以产生和操纵相对于彼此及标记110来定位的多个虚拟对象。
图2是根据一些实施例的说明200，其示出了关于触敏表面212上的标记210来产生虚拟对象204。在这种情况下，可以使用具有触摸屏的计算装置以代替非触敏的真实世界对象106。用户102可以采用标记210，所述标记通过在计算装置206上执行的程序或软件而产生在该计算装置的触摸屏212上。可以用作真实世界对象的此类计算装置的实例可以包括(但不限于)智能电话、平板计算机、平板手机、电子阅读器或其他类似的手持型装置。在这种情况下，可以经由近程网络(诸如，BluetoothTM等等)在穿戴式装置108与手持型装置206之间建立双向通信信道。此外，由穿戴式装置108的面向外的相机或传感器获得手持型计算装置206的图像数据。类似地，也可以由手持型装置206的前向式相机来接收与穿戴式装置208相关联的图像数据。使用计算装置206能够更精确地对标记210进行位置跟踪，因为穿戴式装置108和计算装置206中的每一者均能够跟踪另一个装置相对于其自身的位置并在位置改变时传达装置之间的此类位置数据。
在计算装置206上执行或与计算装置206通信的预处理模块250可以被配置成经由通信信道(诸如，近程网络)将数据从计算装置206的定位和/或运动感测部件传输到穿戴式装置108。预处理模块250还可以被配置成从外部源(诸如，穿戴式装置108)接收定位数据。通过说明且非限制，可以由场景处理模块150和预处理模块250中的一者或多者经由近程网络将传感器数据作为封包化数据来传输，其中封包是以(例如)FourCC(四字符代码)格式来配置的。位置数据的此类相互交换使得能够相对于穿戴式装置108来更精确地定位或跟踪计算装置206。例如，如果计算装置206和穿戴式装置108中的一者或多者移出另一者的相机的视野，那么它们仍可以经由如本文中所详述的位置/运动传感器数据的相互交换来继续跟踪彼此的位置。在一些实施例中，场景处理模块150可以采用传感器数据融合技术(诸如但不限于，卡尔曼滤波法或多视图几何)来融合图像数据，以便确定计算装置206和穿戴式装置108的相对位置。
在一些实施例中，预处理模块250可以是存储在计算装置206的本地存储器中并可由包括在计算装置206内的处理器执行的‘应用程序(app)’的软件。根据如本文所详述的各种实施例，预处理模块250可以配置有各种子模块，这些子模块使得能够执行与显示虚拟对象的渲染图和用户交互相关联的不同任务。
预处理模块250可以进一步被配置成显示计算装置206的表面212上的标记210。如前文所提到的，标记210可以是图像、QR码、条形码等。因此，标记210可以被配置成使得其编码有与要产生的特定虚拟对象204相关联的信息。在一些实施例中，预处理模块250可以被配置成显示不同标记，这些标记中的每一者均可以各自编码对应于特定虚拟对象的信息。在一些实施例中，标记是用户可选的。这使得用户102能够选择要渲染的虚拟对象。在一些实施例中，可以基于虚拟环境和/或由用户102观看到的内容来自动选择/显示标记中的一者或多者。
当显示特定标记(诸如，标记210)时，穿戴式装置108可以被配置成读取被编码于其中的信息并渲染/显示对应的虚拟对象204。尽管出于简单性之目的图2仅示出了一个标记210，但是可了解，也可以同时在表面212上显示多个标记，其中每个标记编码多个虚拟对象中的一者的数据。如果表面212上所显示的多个标记是独特的，那么同时显示不同的虚拟对象。类似地，可以渲染单个虚拟对象的多个实例，其中标记中的每一者均将包括识别虚拟对象的独特实例的标识，使得得以维持标记与其虚拟对象之间的对应性。此外，可了解，可以同时显示的标记的数目受制于计算装置206的可用表面积的约束。
图3是根据一些实施例的另一个说明300，其示出了与虚拟对象的用户交互。采用计算装置206作为虚拟对象204的真实世界锚定物的优点是：用户102能够经由计算装置206的触摸屏212来提供触摸输入，以便与虚拟对象204交互。在计算装置206上执行的预处理模块250从与触摸屏212相关联的传感器接收用户102的触摸输入数据。由预处理模块250分析接收到的传感器数据以识别用户触摸输入相对于标记210和触摸屏212中的一者或多者的位置和轨迹。可以经由通信网络将经处理的触摸输入数据传输到穿戴式装置108以供进一步分析。在一些实施例中，用户102的触摸输入可以包括多个向量。用户102可以通过将多个手指放置成接触所述触摸屏212来提供多点触摸输入。因此，每个手指均包括触摸输入的向量，其中虚拟对象204的属性的所得变化被实施作为用户触摸向量的函数。在一些实施例中，用户输入的第一向量可以与用户手指302关于触摸屏212的触摸相关联。触摸、手势、挥动、轻击或多位数动作可以用作产生与屏幕212的交互的向量的实例。用户输入的第二向量可以包括由用户的手304造成的计算装置206的运动。基于其中产生虚拟对象204的虚拟环境的编程逻辑，可以采用这些向量中的一者或多者来操纵虚拟对象204。可经由多点触摸控制机制在虚拟对象204上执行的操作包括(不限于)按比例缩放、旋转、修剪、激光作用、挤出或选择其虚拟对象204的若干部分。
如果由穿戴式装置108渲染虚拟对象204，那么可以由穿戴式装置108的场景处理模块150执行虚拟对象204的对应变化。如果渲染发生在远程装置处，那么将经处理的触摸输入数据传输到远程装置，以便导致虚拟对象204的属性发生适当变化。在一些实施例中，一旦从计算装置206接收到经处理的触摸输入数据，便可以由穿戴式装置108将此类数据传输到远程装置。在一些实施例中，可以直接将经处理的触摸输入数据从计算装置206传输到远程装置，以相应地导致虚拟对象204发生变化。
本文中所描述的实施例提供了一种用于由穿戴式装置产生的体积显示的基于触摸的控制机制。可以经由触摸输入在虚拟对象204上实现的属性变化可以包括(但不限于)：几何属性的变化，所述几何属性为诸如位置、定向、大小和运动方向、加速度、大小、形状；或光学属性的变化，所述光学属性为诸如照明、色彩或其他渲染性质。例如，如果用户102身处虚拟空间(诸如，虚拟漫画书店)中，那么即使当用户102握住计算装置206时仍投射计算装置206的图像。即当用户102握住真实世界对象206时，这给用户102一种他正握住并操纵真实世界的书的感觉。然而，用户102在计算装置206的投射的图像上所看见的内容是在虚拟漫画书店外部的用户所看不到的虚拟内容。图4是根据本文中所描述的一些实施例的说明400，其示出了向用户提供对象的深度信息连同照明数据。包括如所详述的3D虚拟对象的渲染图向用户102提供表面反射率信息。本文中公开了若干实施例，以另外向用户102提供对象的深度信息。这可以通过以下步骤实现：提供对象的真实世界模型402，并用如本文中所详述的反射率数据来增强。在一些实施例中，模型402可以具有标记，例如打印在其上的QR码。这使得能够将如由穿戴式装置108产生的对应对象的反射率数据的体积显示关联或锚定到真实世界模型402。
真实世界模型402的图像被投射到虚拟环境中，所述虚拟环境具有围住其的对应体积渲染。例如，图4示出了在虚拟空间或环境中如由用户102所看到的模型402的显示406。在这种情况下，虚拟对象404包括真实世界对象(诸如，汽车)的虚拟外表面。包括虚拟外表面的虚拟对象404对汽车对象的真实世界表面(漫射、镜面反射、焦散、反射率等)性质进行编码，且虚拟对象的大小可以与模型402相同，或可以与模型402基本上不同。如果虚拟表面的大小与模型402相同，那么用户102将看见与模型402大小相同的显示。如果虚拟对象404的大小大于或小于模型402，那么显示406将因此呈现为大于或小于真实世界对象402。
对应的真实世界对象的表面细节404被投射到真实世界模型402上以产生显示406。在一些实施例中，显示406可以包括体积3D显示。结果，模型402与其表面细节404一起向处理模型402的用户102呈现为单一整体。替代性地，模型402向用户102呈现为具有被漆在其上的其表面细节404。此外，对真实世界模型402的操纵呈现为导致在虚拟环境中由用户102所看到的单一整体发生变化。
在一些实施例中，QR码或标记可以指示用户102购买特定渲染图。因此，当穿戴式装置108的相机扫描QR码时，由穿戴式装置108从服务器(未示出)检索适当的渲染图并将其投射到模型402上。例如，已购买用于特定汽车模型和色彩的渲染图的用户将在显示406中看到此类渲染图，而未购买任何特定渲染图的用户可在显示406中看到用于汽车的通用渲染图。在一些实施例中，标记可仅被用来在虚拟空间中相对于模型402来定位3D显示，使得可以将单个模型与不同的渲染图一起使用。此类实施例促进了提供应用程序内购买，其中用户102可以在身处虚拟环境中的同时或经由计算装置206选择购买或租借渲染图连同任何音频/视频/触觉数据，如下文将进一步详述的。
如上文所详述的模型402是真实世界中存在的汽车模型。在这种情况下，几何性质(诸如，大小和形状)与光学性质(诸如，显示406的照明和反射率)两者均类似于其模型经由显示406被虚拟化的汽车。然而，可了解，可以不必根据上述实施例产生模型，其中所述模型对应于真实世界中不存在的虚拟对象。在一些实施例中，虚拟对象的几何性质(诸如，大小和形状)或光学性质中的一者或多者可以基本上不同于真实世界对象和/或3D打印模型。例如，可以产生3D显示，其中真实世界3D模型402可具有某些彩色表面，而在最终3D显示中投射到其上的虚拟表面可具有不同的色彩。
真实世界模型402可以包括各种金属或非金属材料，诸如但不限于纸张、塑料、金属、木材、玻璃或其组合。在一些实施例中，真实世界模型402上的标记可以是可移除的或可替换的标记。在一些实施例中，标记可以是永久性标记。标记可以(不限于)被打印、蚀刻、凿刻、胶合或以其他方式附接到真实世界模型402，或变得与真实世界模型402构成整体。在一些实施例中，可以(例如)由3D打印机来产生模型402。在一些实施例中，可以由设备(诸如，灯光舞台)来获得对象的表面反射率数据，所述对象为诸如真实世界(例如，被投射为体积3D显示)中存在的那些对象。在一些实施例中，可以完全由计算设备来产生对象的表面反射率数据。例如，可以利用用于产生3D显示的双向反射率分布函数(“BRDF”)来给对象表观建模。
图5是根据本文中所描述的实施例用于建立用于体积显示的控制机制的***的示意图500。***500包括：真实世界对象106/206；穿戴式装置108，其包括头戴式显示器(HMD)520且可通信地联接到场景处理模块150。HMD 520可以包括穿戴式装置108中所包括的镜头，所述镜头向用户102显示所产生的虚拟对象。在一些实施例中，场景处理模块150可以包括在穿戴式装置108中，使得在穿戴式装置108中处理与产生AR/VR场景有关的数据。在一些实施例中，场景处理模块150可以接收经渲染的场景，并采用穿戴式装置108的API(应用编程接口)以在HMD上产生VR/AR场景。
场景处理模块150包括接收模块502、场景数据处理模块504和场景产生模块506。接收模块502被配置成从不同的源接收数据。因此，接收模块502可以包括另外的子模块，这些子模块包括(但不限于)光场模块522、装置数据模块524和相机模块526。光场模块522被配置成接收光场，所述光场可以进一步经处理，从而为用户102产生视口(viewport)。在一些实施例中，可以在近程联网源(诸如，游戏装置)处产生光场数据，或可以在穿戴式装置108处从遥远的源(诸如，远程服务器)接收光场数据。在一些实施例中，光场数据还可以从穿戴式装置108的本地存储器中检索光场数据。
装置数据模块524被配置成从各种装置接收数据，所述各种装置包括经通信联接的真实世界对象(其为计算装置206)。在一些实施例中，装置数据模块524被配置成从穿戴式装置108和计算装置206中的一者或多者的定位/运动传感器(诸如，加速度计、磁力计、罗盘和/或陀螺仪)接收数据。这使得能够精确地相对定位穿戴式装置108和计算装置206。所述数据可以包括由真实世界对象206的触摸屏传感器获得的经处理的用户输入数据。此类数据可以经处理以确定AR/VR场景的内容和/或要应用于经渲染的AR/VR场景的变化。在一些实施例中，装置数据模块524可以进一步被配置成从穿戴式计算装置108的机载装置(诸如，加速度计、陀螺仪或其他传感器)中接收数据。
相机模块526被配置成从与穿戴式装置108相关联的相机和与真实世界对象204相关联的相机中的一者或多者中接收图像数据。除由装置数据模块524接收的数据之外，此类相机数据也可以经处理以相对于真实世界对象204来确定穿戴式装置108的定位和定向。基于用户102所采用的真实世界对象的类型，可以采用包括在接收模块502中的子模块中的一者或多者以收集数据。例如，如果使用真实世界对象106或模型402，那么在数据收集过程中可不采用诸如装置数据模块524的子模块，因为此类真实世界对象不传输用户输入数据。
场景数据处理模块504包括相机处理模块542、光场处理模块544和输入数据处理模块546。相机处理模块542最初从附接到穿戴式装置108的背向式相机中接收数据，以检测和/或确定真实世界对象相对于穿戴式装置108的位置。如果真实世界对象自身不包括相机，那么处理来自穿戴式装置相机的数据以确定真实世界对象的相对位置和/或定向。对于还可以包括相机的计算装置206而言，也可以使用来自其相机的数据以更准确地确定穿戴式装置108和计算装置206的相对位置。也分析来自穿戴式装置相机的数据以相对于包括其上的标记的真实世界对象106来识别该标记、其位置和定向。如前文所论述的，可以相对于标记来产生和/或操纵一个或多个虚拟对象。另外，如果标记用来在模型上产生购买的渲染图，那么可以基于如从穿戴式装置相机的数据所识别的标记来选择渲染图。此外，如果穿戴式装置108和真实世界对象106或206中的一者或多者处于运动状态，那么还可以使用对相机数据的处理来追踪轨迹。此类数据可以进一步经处理以确定AR/VR场景或在经渲染的场景中的现有虚拟对象可能需要的变化。例如，可基于用户头部130的移动(如由相机处理模块542所分析的)来增加或减小虚拟对象104/204的大小。
光场处理模块544处理从本地源、点对点源或基于云的联网源中的一者或多者获得的光场数据，以相对于所识别的真实世界对象来产生一个或多个虚拟对象。光场数据可以包括(但不限于)关于渲染资产(诸如，虚拟环境内的化身)的信息和渲染资产的状态信息。基于接收到的数据，光场模块544输出适合场景的2D/3D几何和虚拟对象104/204的纹理、RGB数据。在一些实施例中，虚拟对象104/204的状态信息(诸如空间位置和定向参数)也可以是如由相机处理模块542所确定的真实世界对象106/206的位置/定向的函数。在其中使用诸如真实世界对象104的对象的一些实施例中，因为不产生用户触摸输入数据，所以来自相机处理模块542和光场处理模块544的数据可以经组合以产生虚拟对象106。
在其中将计算装置用作真实世界对象206的实施例中，采用输入处理模块546来进一步分析从计算装置206接收的数据并确定经渲染的虚拟对象的变化。如前文所描述的，输入数据处理模块546被配置成接收位置和/或运动传感器数据(诸如，来自计算装置206的加速度计和/或陀螺仪的数据)，以相对于穿戴式装置108来准确地定位计算装置206。可经由建立在穿戴式装置108与计算装置206之间的通信信道来接收此类数据。通过说明且非限制，可以经由近程网络从计算装置206接收传感器数据以作为封包化数据，其中封包是以(例如)FourCC(四字符代码)格式来配置的。在一些实施例中，场景处理模块150可以采用传感器数据融合技术(诸如但不限于，卡尔曼滤波法或多视图几何)来融合图像数据，以便确定计算装置206和穿戴式装置108的相对位置。基于计算装置206的定位和/或运动，可以在虚拟对象204的可见和不可见属性中的一者或多者中实现变化。
另外，输入处理模块546可以被配置成从计算装置206接收关于用户手势的预处理数据。这使得用户102能够与虚拟对象204交互，其中用户102执行特定手势，以便实现虚拟对象204的各种属性的期望变化。可以辨识各种类型的用户手势，并且这些用户手势与经渲染的虚拟对象的多种属性变化相关联。可以由编程逻辑确定用户手势与要应用于虚拟对象的变化之间的此类对应性，所述编程逻辑与虚拟对象204和其中产生该虚拟对象204的虚拟环境中的一者或多者相关联。可以由输入处理模块546分析用户手势(诸如但不限于，在触摸屏212上执行的轻击、轻扫、滚动、捏动、缩放，和另外的倾斜、移动、旋转或以其他方式与计算装置206的交互)，以确定对应的动作。
在一些实施例中，可以由输入处理模块546基于经预处理的用户输入数据来确定虚拟对象104/204的可见属性以及要应用于此类属性的变化。在一些实施例中，还可以基于输入处理模块546的数据分析来确定虚拟对象104/204的不可见属性。
由场景产生模块506接收来自场景数据处理模块504的各种子模块的输出，以产生向用户显示虚拟对象104/204的视口。场景产生模块506因此基于所有源来执行场景的最终组装和打包，且然后与HMD API交互以产生最终的输出。由场景产生模块506向HMD输出最终的虚拟或增强现实场景。
图6是根据一些实施例的预处理模块250的示意图。真实世界对象206中所包括的预处理模块250从计算装置206的各种传感器接收输入数据，并产生场景处理模块150可以采用来操纵虚拟对象104/204和虚拟环境中的一者或多者的数据。预处理模块250包括输入模块602、分析模块604、通信模块606和渲染模块608。输入模块602被配置成从真实世界对象204中所包括的各种传感器和部件(诸如但不限于，其相机、位置/运动传感器(诸如，加速度计、磁力计或陀螺仪)和触摸屏传感器)接收输入。将此类传感器数据从计算装置206传输到穿戴式装置108提供了更有凝聚力的用户体验。这解决了涉及跟踪真实世界对象和虚拟对象的其中一个问题，该问题一般导致糟糕的用户体验。促进计算装置206和穿戴式装置108的传感器和相机之间的双向通信并将来自两个装置108、206的传感器数据融合可以导致跟踪虚拟和真实世界3D空间中的对象的错误明显较少，且因此导致更好的用户体验。
分析模块604处理由输入模块602接收的数据，以确定要执行的各种任务。来自计算装置206的相机和来自位置/运动传感器(诸如，加速度计和陀螺仪)的数据经处理以确定定位数据，所述定位数据包括计算装置206相对于穿戴式装置108的位置、定向和轨迹中的一者或多者。与来自装置数据接收模块524和相机模块526的数据结合采用该定位数据，以更准确地确定计算装置206和穿戴式装置108相对于彼此的位置。分析模块604可以进一步被配置成处理(例如)来自触摸屏传感器的原始传感器数据，以识别特定用户手势。这些可以包括已知的用户手势或对于虚拟环境而言独特的手势。在一些实施例中，用户102可以提供多指输入，例如所述输入可对应于与特定虚拟环境相关联的手势。在这种情况下，分析模块604可以被配置成确定信息(诸如，用户的触摸向量的大小和方向)，并将该信息传输到场景处理模块150。
来自分析模块604的经处理的传感器数据被传输到通信模块606。由通信模块606打包和压缩经处理的传感器数据。此外，通信模块606还包括用于确定将打包的数据传输到穿戴式装置108的最佳方式的编程指令。如本文中所提到的，计算装置206可以经由不同的通信网络连接到穿戴式装置108。可以由通信模块606基于质量或速度来选择网络以将打包的传感器数据传输到穿戴式装置108。
标记模块608被配置成基于用户选择或基于与虚拟环境有关的预定信息来产生标记。标记模块608包括标记存储器682、选择模块684和显示模块686。标记存储器682可以是包括在计算装置206中的本地存储介质的一部分。标记存储器682包括对应于可以在计算装置206上渲染的不同虚拟对象的多个标记。在一些实施例中，当计算装置206的用户被授权永久或暂时地存储渲染图时(由于从线上或线下供应商购买、作为奖励或其他原因)，可以下载与所述渲染图相关联的标记并将其存储在标记存储器682中。可了解，标记存储器682可以不包括可以被渲染为虚拟对象的所有虚拟对象的标记。这是因为：在一些实施例中，可以基于(例如)虚拟环境中的信息来渲染除与所述多个标记有关的虚拟对象之外的虚拟对象。由于标记可以包括编码数据结构或图像(诸如，QR码或条形码)，所以它们可以与自然语言标签相关联，可以显示所述自然语言标签以供用户选择特定渲染图。
选择模块684被配置成从标记存储器682中选择标记中的一者或多者以供显示。在一些实施例中，选择模块684被配置成基于用户输入来选择标记。在一些实施例中，选择模块684还被配置成用于基于来自穿戴式装置108的关于特定虚拟环境的输入来自动选择标记。关于所选标记的信息被传达到显示模块686，所述显示模块在触摸屏212上显示所选标记中的一者或多者。如果由用户102选择标记，那么所述标记的位置可以由用户102提供，或可自动地基于预定配置。例如，如果用户102选择标记来玩游戏，那么可基于与该游戏相关联的预定配置来自动布置所选标记。类似地，如果基于虚拟环境来自动选择标记，那么可基于如从穿戴式计算装置接收的关于虚拟环境的信息来自动布置所述标记。由显示模块684接收关于所选标记的数据，所述显示模块从标记存储器682检索所选标记，并在触摸屏212上进行显示。
图7是根据一个实施例的详述实现与虚拟对象的用户交互的方法的示例性流程图700。所述方法在702处开始，其中检测在真实3D空间中真实世界对象106/206的存在，所述真实世界对象具有在其表面112/212上的标记110/210。在一些实施例中，包括在穿戴式装置108中的相机使得场景处理模块150能够检测真实世界对象106/206。在其中真实世界对象是计算装置206的实施例中，还可以采用来自其定位/运动传感器(诸如但不限于，加速度计、陀螺仪或罗盘)的信息来确定其属性，这进而提高了此类确定的精确度。
在704处，获得标记110/210或计算装置206的属性，诸如在真实3D空间中其相对于穿戴式装置108或相对于戴上穿戴式装置108的用户102双眼的位置和定向。在一些实施例中，可以通过分析来自包括在穿戴式装置108和真实世界对象206中的相机和加速度计/陀螺仪的数据来获得属性。如前文所提到的，可以经由通信信道在穿戴式装置108与计算装置206之间交换来自相机和传感器的数据。可以采用各种分析技术(诸如但不限于，卡尔曼滤波法)来处理传感器数据并提供输出，所述输出可以用来对虚拟对象和/或虚拟场景进行编程。在706处，扫描标记110/210，并且确定其中的任何编码信息。
在708处，渲染在3D虚拟空间的一个或多个虚拟对象104/204。它们的初始位置和定向可以取决于如由用户102从穿戴式装置108的显示器看到的真实世界对象106/206的位置/定向。虚拟对象104/204在计算装置206的表面112/212上的位置将取决于标记110/210在表面112/212上的相对位置。不同于真实3D空间中的对象(诸如，用户肉眼可见的真实世界对象104/204或标记110/210)，虚拟3D空间中的虚拟对象104/204(在708处被渲染)仅为戴上穿戴式装置108的用户102可见。当其他用户戴着被配置成观看经渲染的对象的相应穿戴式装置时，在708处被渲染的虚拟对象104/204也可以基于这些用户的相应视图而为他们可见。然而，针对其他用户产生的视图可从他们自身的视角示出虚拟对象104/204，所述视角将基于这些用户针对真实3D空间中的真实世界对象106/206/标记110/210的透视角度。因此，多位观看者可以同时观看虚拟对象204并与其交互。其中一个用户与虚拟对象104/204的交互可以基于其他用户针对虚拟对象104/204的透视角度而为他们可见。此外，虚拟对象104/204还被配置成经由对真实3D空间中的真实世界对象106/206的操纵/与之的交互而在虚拟3D空间中受控或可操纵。
在一些实施例中，与穿戴式装置108通信的处理器可以渲染虚拟对象104/204，并将渲染图传输到穿戴式装置108以向用户102显示。渲染处理器可以通过近程通信网络(诸如，蓝牙网络)或者通过远程网络(诸如，Wi-Fi网络)来通信地联接到穿戴式装置108。渲染处理器可以包括在游戏装置中，所述游戏装置位于用户102位置处并连接到穿戴式装置108。渲染处理器可以包括在服务器中，所述服务器位于距用户102遥远的位置处，并通过网络(诸如，互联网)来传输渲染图。在一些实施例中，穿戴式装置108中所包括的处理器可以产生虚拟对象204的渲染图。在710处，在穿戴式装置108的显示屏幕上向用户102显示虚拟3D空间中的经渲染的虚拟对象104/204。
在712处确定真实世界对象106/206的属性中的一者是否已发生变化。真实世界对象106/206的可检测的属性变化包括但不限于：位置、定向、静止/运动状态的变化；以及触摸屏212上出现的变化(如果将计算装置206用作真实世界对象)，诸如用户102的手指的存在或移动。在后一种情况下，计算装置206可以被配置成将其属性或属性的任何变化传输到穿戴式装置108。如果在712处未检测到变化，那么所述过程返回到710以继续显示虚拟对象104/204。如果在712处检测到变化，那么分析关于检测到的变化的数据，并在714处识别要应用于虚拟对象104/204的对应变化。在716处，实现虚拟对象104/204的一个或多个属性的变化(如在714处所识别的)。在718处，在穿戴式装置108的显示器上向用户102显示具有经更改的属性的虚拟对象104/204。
图8是根据一些实施例的详述分析关于真实世界对象属性的变化的数据并识别虚拟对象204的对应变化的方法的示例性流程图800。所述方法在802处开始，其中接收关于真实世界对象106/206的属性变化的数据。在804处，确定要对虚拟对象104/204做出的对应的属性变化。经由对真实3D空间中的真实世界对象104/204的属性做出的变化，可以实现虚拟3D空间中的虚拟对象104/204的可见和不可见属性的各种变化。可以对此类变化进行译码，或可以包括用于虚拟对象104/204和/或其中产生虚拟对象104/204的虚拟环境的程序逻辑。因此，真实世界对象206到虚拟对象104/204的属性变化映射受约束于虚拟对象104/204和/或虚拟环境的编程方面的局限性。如果在806处确定虚拟对象104/204的一个或多个属性要改变，那么在808处实现虚拟对象104/204的对应变化。在810处向用户显示经更改的虚拟对象104/204。如果在806处确定没有要改变的虚拟对象属性，那么在812处舍弃关于真实世界对象属性的变化的数据，且所述过程在结束框处终止。
图9是根据本文中所描述的一些实施例的提供对象的照明数据连同其深度信息的示例性方法。所述方法在902处开始，其中在902处产生真实世界模型402，所述真实世界模型具有附接到其或与之构成整体的标记。如本文中所描述的，可以经由不同的方法从各种材料中产生真实世界模型402。例如，其可以被雕刻、凿刻、蚀刻在各种材料上。在一些实施例中，其可以是经由3D打印机获得的树脂模型。用户102可(例如)从供应商采购到此类真实世界模型(诸如，模型402)。当用户102在穿戴式装置108的视野中握住模型402时，在904处检测真实3D空间中存在的对象的真实世界模型402的存在。在906处，识别真实世界模型的表面上的标记。另外，所述标记还有助于确定模型402的属性，诸如其在真实3D空间中的位置和定向。在一些实施例中，标记可以是QR码或条形码，其具有关于被编码于其中的渲染图的信息。因此，在908处，将与所述标记相关联的数据传输到远程服务器。在910处，从远程服务器接收与模型402的渲染图相关联的数据。在912处，向用户102显示与接收到的渲染图结合的真实世界模型402。在一些实施例中，真实世界模型402的3D图像可最初在步骤904处在检测到其存在后便出现在虚拟空间中，且渲染图随后在步骤912处出现在3D图像上。
图10是根据一些实施例描绘在穿戴式计算装置内的某些实例模块的框图。可了解，穿戴式计算***/装置100的某些实施例可以包括比图10中所示的那些模块更多或更少的模块。穿戴式装置108包括处理器1000、显示屏幕1030、音频部件1040、存储介质1050、电源1060、收发器1070和检测模块/***1080。可以了解，虽然仅示出了一个处理器1000，但穿戴式装置108可以包括多个处理器，或处理器1000可以包括若干个任务特定的子处理器。例如，处理器1000可以包括用于控制包括在穿戴式装置108内的各种装备的通用子处理器和用于产生并操纵显示屏幕1030上的显示的专用图形处理器。
当由用户102激活时，存储介质1050中所包括的场景处理模块150由处理器1000加载以供执行。由处理器1000执行包括与各种任务相关联的编程逻辑的各种模块，且因此可以基于来自此类编程模块的输入来激活不同部件，诸如显示屏幕1030(其可以是HMD 520)、音频部件1040、收发器1070或任何触觉输入/输出元件。
由处理器1000从各种部件接收不同类型的输入，诸如来自真实世界对象106的用户手势输入或来自音频部件1040(诸如，麦克风)的音频输入。处理器1000还可以经由收发器1070从本地存储介质1050或从远程服务器(未示出)接收与要显示在显示屏幕1030上的内容有关的输入。处理器1000还被配置成将适当的输出提供到穿戴式装置108的不同模块和其他联网资源(诸如，远程服务器(未示出))，或编程有用于执行上述操作的指令。
由处理器1000所执行的适当的编程或处理逻辑来处理因此从不同模块接收的各种输入，所述编程或处理逻辑提供如本文中所详述的响应性输出。编程逻辑可以存储在处理器1000的机载存储器单元中，或可以从外部处理器可读存储装置/介质1050来检索编程逻辑且可根据需要由处理器1000加载所述编程逻辑。在实施例中，处理器1000执行编程逻辑以在显示屏幕1030上显示由远程服务器串流的内容。在这种情况下，处理器1000可仅显示接收到的渲染图。此类实施例使得即使在减轻具有穿戴式装置的强大机载处理器需求的同时仍使得能够在穿戴式装置上显示高质量图形。在实施例中，处理器1000可以执行显示操纵逻辑，以便基于从真实世界对象106接收的用户输入来对所显示的内容做出改变。由处理器1000执行的显示操纵逻辑可以是与虚拟对象104/204或其中产生虚拟对象104/204的虚拟环境相关联的编程逻辑。根据本文中的实施例，由处理器1000产生的显示可以是AR显示，其中渲染图覆盖在用户102能够通过显示屏幕1030看见的真实世界对象上面。根据本文中的实施例，由处理器产生的显示可以是VR显示，其中用户102沉浸在虚拟世界中且无法看见真实世界。穿戴式装置108还包括相机1080，所述相机能够将在其视野中的图像数据记录为照片或记录为音频/视频数据。另外，其还包括实现准确的位置确定的定位/运动感测元件，诸如加速度计1092、陀螺仪1094和罗盘1096。
图11是根据一些实施例的示出用于购买和下载渲染图的***1100的示意图。***1100可以包括经由网络1130(其可以包括互联网)彼此可通信联接的以下各项：穿戴式装置108、真实世界对象(其为计算装置206)、供应商服务器1110和存储服务器1120。在一些实施例中，穿戴式装置108和计算装置206可经由如前文所提到的近程网络彼此联接。穿戴式装置108和/或计算装置206内的元件(其使得能够有权使用信息/商业来源(诸如，网站))还可以使得用户102能够购买渲染图。在一些实施例中，用户102可以采用计算装置206中所包括的浏览器来访问供应商的网站以购买特定虚拟对象。在一些实施例中，虚拟环境(诸如，游戏、虚拟书店、娱乐应用程序等)可以包括微件，所述微件使得穿戴式装置108和/或计算装置206能够联系供应商服务器1110来做出购买。用户102一旦完成购买交易，便由供应商服务器1110将信息(诸如，与所购买的虚拟对象104/204相关联的标记110/210)传输到由用户102指定的装置。当用户102采用标记110/210来访问虚拟对象104/204时，从存储服务器1120检索与渲染虚拟对象104/204相关联的代码，并将所述代码传输到穿戴式装置108以供渲染。在一些实施例中，代码可以本地存储在用户指定的装置(诸如但不限于，穿戴式装置108或计算装置206中的一者)上以供未来访问。
图12是根据本文中所描述的实施例示出的计算装置1200的内部架构的示意图1200，所述计算装置可以是被采用来将渲染图传输到穿戴式装置108的远程服务器或本地游戏装置。计算装置1200包括一个或多个处理单元(本文中也称为CPU)1212，所述处理单元与至少一个计算机总线1202建立接口。以下各项也与计算机总线1202建立接口：一个或多个永续性存储介质1206；网络接口1214；存储器1204，例如随机存取存储器(RAM)、运行时瞬时存储器、只读存储器(ROM)等；介质磁盘驱动器接口1220，其是用于可以读取和/或写入到包括可移除式介质(诸如，软盘、CD-ROM、DVD等)的介质的驱动器的接口；显示接口1210，其作为用于监控器或其他显示装置的接口；输入装置接口1218，其可以包括用于键盘或指示装置(诸如但不限于，鼠标)的接口中的一者或多者；以及未单独示出的各种各样的其他接口1222，诸如并行和串行端口接口、通用串行总线(USB)接口等。
存储器1204与计算机总线1202建立接口，以便在执行软件程序(诸如，操作***、应用程序、装置驱动程序和包括程序代码或逻辑的软件模块)和/或用于计算机可执行的过程步骤的指令期间将存储在存储器1204中的信息提供到CPU 1212，从而并入其中所描述的功能性(例如，其中所描述的过程流中的一者或多者)。CPU 1212首先从存储器(例如，存储器1204、一个或多个存储介质1206、可移除式介质驱动器和/或其他存储装置)加载用于计算机可执行过程步骤或逻辑的指令。然后，CPU 1212可以执行所存储的过程步骤以便执行所加载的计算机可执行过程步骤。在执行计算机可执行过程步骤期间，可以由CPU 1212访问所存储的数据(例如，由存储装置所存储的数据)。
一个或多个永续性存储介质1206是可以用来存储软件和数据(例如，操作***和一个或多个应用程序)的计算机可读存储介质。一个或多个永续性存储介质1206还可以用来存储装置驱动程序(诸如，数字相机驱动程序、监控器驱动程序、打印机驱动程序、扫描仪驱动程序或其他装置驱动程序中的一者或多者)、网页、内容文件、元数据、播放列表和其他文件。一个或多个永续性存储介质1206可以进一步包括根据本文中所描述的实施例的程序模块/程序逻辑和用来实施本公开的一个或多个实施例的数据文件。
图13是根据本公开的实施例说明计算装置的客户端装置实施方式的示意图，所述计算装置可以用作(例如)真实世界对象206。客户端装置1300可包括计算装置，所述计算装置能够发送或接收信号(诸如，经由有线或无线网络)且能够运行应用软件或“应用程序”1310。客户端装置可(例如)包括桌上型计算机或便携式装置，诸如蜂窝电话、智能电话、显示传呼机、射频(RF)装置、红外线(IR)装置、个人数字助理(PDA)、手持型计算机、平板计算机、膝上型计算机、机顶盒、穿戴式计算机、组合了各种特征的集成装置(诸如，前述装置的特征)的集成装置等。
客户端装置可在特征的能力方面发生变化。客户端装置可以包括标准部件，诸如经由电路1326互连的CPU 1302、电源供应器1328、存储器1318、ROM 1320、BIOS 1322、网络接口1330、音频接口1332、显示器1334、小键盘1336、照明器1338、I/O接口1340。所要求的主题旨在涵盖范围广泛的潜在变化。例如，手机的小键盘1336可包括数字小键盘或功能性有限的显示器1334(诸如，用于显示文本的单色液晶显示器(LCD))。然而，相比之下，作为另一个实例，启用网络功能的客户端装置1300可包括一个或多个物理或虚拟键盘1336、大容量存储器、一个或多个加速度计1321、一个或多个陀螺仪1323和罗盘1325、磁力计1329、全球定位***(GPS)1324或其他位置识别类型能力、触感接口1342或具有高程度的功能性的显示器(诸如，例如触敏性彩色2D或3D显示器)。存储器1318可以包括随机存取存储器1304，所述随机存取存储器包括数据存储器1308的区域。客户端装置1300还可以包括相机1327，所述相机被配置成获得在其视野中的对象的图像数据，并将其记录为静止的照片或记录为视频。
客户端装置1300可包括或可执行多种操作***1306，包括个人计算机操作***(诸如，Windows、iOS或Linux)或移动操作***(诸如，iOS、Android或Windows Mobile)等。客户端装置1300可包括或可执行多种可能的应用程序1310，诸如实现与其他装置的通信的客户端软件应用程序1314，诸如传达一个或多个消息，诸如经由电子邮件、短消息服务(SMS)或多介质消息服务(MMS)，包括经由网络(诸如，社交网络)，所述社交网络包括(例如)Facebook、LinkedIn、Twitter、Flickr或Google+(仅提供几个可能的例子)。客户端装置1300还可包括或执行用于传达内容(诸如，例如文本内容、多介质内容等)的应用程序。客户端装置1300还可包括或执行用于执行多种可能的任务的应用程序，所述任务为诸如浏览1312、搜索、播放各种形式的内容(包括本地存储或串流的内容，诸如视频或游戏(诸如，梦幻体育联盟))。提供前述内容是为了说明所要求的主题旨在包括范围广泛的可能的特征或能力。
出于本公开的目的，计算机可读介质存储计算机数据，所述数据可以包括可由计算机执行的呈机器可读形式的计算机程序代码。通过实例且非限制，计算机可读介质可包括用于有形或固定地存储数据的计算机可读存储介质和用于瞬时解释包含代码的信号的通信介质。如本文中所使用的，计算机可读存储介质是指物理或有形存储器(与信号相反)，且包括(但不限于)易失性和非易失性、可移除式和非可移除式介质，其实施在任何方法或技术中以用于有形地存储信息(诸如，计算机可读指令、数据结构、程序模块或其他数据)。计算机可读存储介质包括但不限于RAM、ROM、EPROM、EEPROM、快闪存储器或其他固态存储器技术、CD-ROM、DVD或其他光学存储器、磁带盒、磁盘存储器或其他磁性存储装置、或任何其他物理或物质介质，所述物理或物质介质可以用来有形地存储期望的信息或数据或指令，并且其可以由计算机或处理器访问。
出于本公开的目的，***或模块是软件、硬件或固件(或其组合)、程序逻辑、过程或功能性、或其部件，其执行或促进本文中所描述的过程、特征和/或功能(具有或不具有人的交互或增强)。模块可以包括子模块。模块的软件部件可存储在计算机可读介质上。模块可与一个或多个服务器构成整体，或可由一个或多个服务器加载并执行。可将一个或多个模块分组到引擎或应用程序中。
本领域技术人员将认识到，可以许多种方式实施本公开的方法和***，且因而这些方法和***将不受前述示例性实施例和实例的限制。换句话说，由单个或多个部件以硬件和软件或固件的各种组合来执行功能元件，且可将个别功能分布在客户端或者服务器或两者处的软件应用程序当中。就此而言，可将本文中所描述的不同实施例的任何数目个特征组合到单个或多个实施例中，且具有少于、多于本文中所描述的所有特征的替代性实施例是有可能的。功能性还可以现在已知或将变得已知的方式完全或部分地分布在多个部件当中。因此，众多的软件/硬件/固件组合有可能实现本文中所描述的功能、特征、接口和偏好。此外，本公开的范围涵盖用于实施所描述的特征和功能及接口的常规地已知的方式，以及可对本文中所描述的硬件或软件或固件部件做出的、如现在和以后将由本领域技术人员理解的那些变化和修改。
虽然已在一个或多个实施例方面描述了***和方法，但将理解，本公开无需受限于所公开的实施例。预期涵盖被包括在权利要求书的精神和范围内的各种修改和类似布置，所述权利要求书的范围应符合广义解释，以便涵盖所有此类修改和类似结构。本公开包括以下权利要求书的任何和所有实施例。

Claims (44)

1.一种方法，其包括：
由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记；
由所述处理器识别真实3D空间中的所述真实世界对象相对于用户双眼的位置和定向；
由所述处理器渲染相对于所述标记被定位和定向在虚拟3D空间中的虚拟对象，并且所述虚拟对象被配置成经由对所述真实3D空间中的所述真实世界对象的操纵来实现在所述虚拟3D空间中的控制；以及
由所述处理器将渲染数据传输到所述第一显示装置，以视觉地呈现所述虚拟3D空间中的所述虚拟对象。
2.根据权利要求1所述的方法，其中，所述虚拟对象被配置成经由对所述真实世界对象的操纵来实现控制进一步包括：
由所述处理器检测所述真实世界对象的所述位置和定向中的一者的变化。
3.根据权利要求2所述的方法，进一步包括：
由所述处理器基于所述真实世界对象的检测到的变化来更改所述虚拟空间中的所述虚拟对象的位置和定向中的一者或多者；以及
由所述处理器将渲染数据传输到所述第一显示装置，以基于所述检测到的变化在经更改的位置和定向中的一者或多者处来视觉地显示所述虚拟对象。
4.根据权利要求1所述的方法，所述真实世界对象是包括触摸屏在内的第二显示装置，所述第一显示装置通信地联接到所述第二显示装置，所述联接实现所述第一显示装置与所述第二显示装置之间的数据交换。
5.根据权利要求4所述的方法，其中在所述第二显示装置的所述触摸屏上检测到所述标记。
6.根据权利要求4所述的方法，进一步包括：
由所述处理器从所述第二显示装置接收关于所述用户的触摸输入的数据；以及
由所述处理器响应于关于所述用户的触摸输入的所述数据来操纵所述虚拟空间中的所述虚拟对象或虚拟场景。
7.根据权利要求6所述的方法，关于所述用户的触摸输入的所述数据包括所述用户的身体部位相对于所述标记在所述触摸屏上的位置信息。
8.根据权利要求7所述的方法，对所述虚拟对象的所述操纵进一步包括：
由所述处理器改变所述虚拟空间中的所述虚拟对象的位置以跟踪所述位置信息。
9.根据权利要求6所述的方法，对所述虚拟对象的所述操纵进一步包括：
由所述处理器响应于所述用户的触摸输入来改变所述虚拟对象的大小、形状、照明和渲染性质中的一者或多者。
10.根据权利要求9所述的方法，其中所述用户的触摸输入对应于选自由以下各项组成的一群手势的手势：单次轻击或多次轻击、轻击并按住、旋转、轻扫或捏动缩放手势。
11.根据权利要求4所述的方法，其进一步包括：
由所述处理器从所述第二装置中所包括的多个传感器中的至少一者接收关于输入的数据；
由所述处理器响应于来自所述第二装置的传感器输入数据来操纵所述虚拟对象或所述虚拟场景。
12.根据权利要求1所述的方法，其中对真实世界对象的所述检测包括对另一个对象的3D打印模型的检测。
13.根据权利要求12所述的方法，其中所述虚拟对象包括所述另一个对象的虚拟外表面，所述虚拟外表面编码所述另一个对象的真实世界表面材料的光学性质。
14.根据权利要求13所述的方法，其中所述虚拟对象的几何和渲染性质中的一者或多者基本上类似于所述3D打印模型的对应性质。
15.根据权利要求14所述的方法，其进一步包括：
由所述处理器接收用于购买所述虚拟对象的渲染数据的用户输入；以及
由所述处理器将关于所述用户对所述渲染数据的购买信息传输到供应商服务器。
16.根据权利要求12所述的方法，其中所述虚拟对象的其他几何或渲染性质中的一者或多者不同于所述3D打印模型的对应性质。
17.根据权利要求16所述的方法，其进一步包括：
由所述处理器接收用于购买所述虚拟对象的渲染数据的用户输入；以及
由所述处理器将关于所述用户对所述渲染数据的购买信息传输到供应商服务器。
18.根据权利要求16所述的方法，其进一步包括：
由所述处理器检测所述用户已购买所述虚拟对象的渲染数据以与所述3D打印模型一起使用；
由所述处理器根据所述已购买的渲染数据来渲染所述虚拟对象。
19.根据权利要求1所述的方法，其进一步包括：
由所述处理器在所述第一显示装置的显示器上显示所述虚拟对象。
20.一种设备，其包括：
处理器；
非暂时性存储介质，其具有存储在其上的处理器可执行的编程逻辑，所述编程逻辑包括：
存在检测逻辑，其与第一显示装置通信地来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记；
识别逻辑，其识别真实3D空间中的所述真实世界对象相对于用户双眼的位置和定向；
渲染逻辑，其渲染相对于所述标记被定位和定向在虚拟3D空间中的虚拟对象；
操纵逻辑，其响应于对所述真实3D空间中的对所述真实世界对象的操纵来操纵所述虚拟对象；以及
传输逻辑，其通过所述处理器传输渲染数据，以在所述虚拟3D空间中视觉地显示所述虚拟对象。
21.根据权利要求20所述的设备，所述操纵逻辑进一步包括：
识别逻辑，其检测所述真实世界对象的位置或定向的变化。
22.根据权利要求21所述的设备，所述操纵逻辑进一步包括：
更改逻辑，其基于所述真实世界对象的检测到的变化来更改所述虚拟空间中的所述虚拟对象的一个或多个属性；以及
显示逻辑，其向所述用户显示具有经更改的属性的所述虚拟对象。
23.根据权利要求20所述的设备，所述第一显示装置通信地联接到第二显示装置，所述联接实现与由所述第二显示装置产生的数据的交换。
24.根据权利要求23所述的设备，所述标记被显示在所述第二显示装置的触摸屏上。
25.根据权利要求24所述的设备，所述操纵逻辑进一步包括：
接收逻辑，其从所述第二显示装置接收关于所述用户的触摸输入的数据；以及
用于响应于关于所述用户的触摸输入的所述数据来操纵所述虚拟空间中的所述虚拟对象的逻辑。
26.根据权利要求25所述的设备，关于所述用户的触摸输入的所述数据包括所述用户的身体部位相对于所述标记在所述触摸屏上的位置信息。
27.根据权利要求26所述的设备，所述操纵逻辑进一步包括：
更改逻辑，其改变所述虚拟空间中的所述虚拟对象的位置、定向、大小和渲染性质中的至少一者。
28.根据权利要求26所述的设备，所述操纵逻辑进一步包括：
更改逻辑，其响应于所述用户的触摸输入来改变所述虚拟对象的位置、定向、大小、几何和渲染性质中的至少一者。
29.根据权利要求20所述的设备，所述真实世界对象是另一个对象的3D打印模型。
30.根据权利要求29所述的设备，所述虚拟对象包括所述另一个对象的虚拟外表面，所述虚拟外表面编码有所述另一个对象的真实世界表面性质。
31.根据权利要求30所述的设备，所述虚拟对象的所述性质基本上类似于所述3D打印模型的所述性质。
32.根据权利要求30所述的设备，所述虚拟对象的大小不同于所述3D打印模型的大小。
33.根据权利要求20所述的设备，所述处理器包括在所述第一显示装置中。
34.根据权利要求33所述的设备，其进一步包括：
显示逻辑，其在所述第一显示装置的显示器上显示所述虚拟对象。
35.一种非暂时性处理器可读存储介质，其包括处理器可执行指令，所述指令用于：
由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记；
由所述处理器识别真实3D空间中的所述真实世界对象相对于用户双眼的位置和定向；
由所述处理器渲染相对于所述标记被定位和定向在虚拟3D空间中的虚拟对象，所述虚拟对象被配置成经由对所述真实3D空间中的所述真实世界对象的操纵实现控制；以及
由所述处理器传输渲染数据，以视觉地显示所述虚拟3D空间中的所述虚拟对象。
36.根据权利要求35所述的非暂时性介质，用于经由对所述真实世界对象的操纵来操纵所述虚拟对象的指令进一步包括用于执行以下步骤的指令：
由所述处理器检测所述真实世界对象的位置和定向中的一者的变化。
37.根据权利要求35所述的非暂时性介质，进一步包括用于执行以下步骤的指令：
由所述处理器基于所述真实世界对象的所述检测到的变化来更改所述虚拟空间中的所述虚拟对象的一个或多个属性；以及
由所述处理器向所述用户显示具有经更改的属性的所述虚拟对象。
38.根据权利要求35所述的非暂时性介质，所述第一显示装置通信地联接到第二显示装置，所述联接实现与由所述第二显示装置产生的数据的交换。
39.根据权利要求38所述的非暂时性介质，所述标记被显示在所述第二显示装置的触摸屏上。
40.根据权利要求39所述的非暂时性介质，进一步包括用于执行以下步骤的指令：
由所述处理器从所述第二显示装置接收关于所述用户的触摸输入的数据；以及
由所述处理器响应于关于所述用户的触摸输入的所述数据来操纵所述虚拟空间中的所述虚拟对象。
41.根据权利要求35所述的非暂时性介质，所述真实世界对象是另一个对象的3D打印模型，所述虚拟对象包括所述另一个对象的虚拟外表面，所述虚拟外表面编码所述另一个对象的真实世界表面反射率性质，且所述虚拟对象的大小基本上类似于所述3D打印模型的大小。
42.根据权利要求41所述的非暂时性介质，其进一步包括用于执行以下步骤的指令：
由所述处理器响应于指示购买所述渲染图的另外的输入来渲染所述虚拟外表面。
43.根据权利要求35所述的非暂时性介质，用于所述视觉显示数据的所述渲染数据包括用于所述真实世界对象的图像的显示数据。
44.根据权利要求43所述的非暂时性介质，所述渲染数据包括导致所述虚拟对象修改在所述虚拟3D空间中的所述真实世界对象的所述图像的数据。
CN201680010275.0A 2015-02-13 2016-02-12 头戴式显示器与真实世界对象之间的相互通信 Active CN107250891B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/621,621 US20170061700A1 (en) 2015-02-13 2015-02-13 Intercommunication between a head mounted display and a real world object
US14/621,621 2015-02-13
PCT/US2016/017710 WO2016130895A1 (en) 2015-02-13 2016-02-12 Intercommunication between a head mounted display and a real world object

Publications (2)

Publication Number Publication Date
CN107250891A true CN107250891A (zh) 2017-10-13
CN107250891B CN107250891B (zh) 2020-11-17

Family

ID=56615140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010275.0A Active CN107250891B (zh) 2015-02-13 2016-02-12 头戴式显示器与真实世界对象之间的相互通信

Country Status (6)

Country Link
US (1) US20170061700A1 (zh)
EP (1) EP3256899A4 (zh)
KR (1) KR102609397B1 (zh)
CN (1) CN107250891B (zh)
HK (1) HK1245409A1 (zh)
WO (1) WO2016130895A1 (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592520A (zh) * 2017-09-29 2018-01-16 京东方科技集团股份有限公司 Ar设备的成像装置及成像方法
CN108038916A (zh) * 2017-12-27 2018-05-15 上海徕尼智能科技有限公司 一种增强现实的显示方法
CN108776544A (zh) * 2018-06-04 2018-11-09 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
CN108833741A (zh) * 2018-06-21 2018-11-16 珠海金山网络游戏科技有限公司 用于ar与实时动捕相结合的虚拟摄影棚***及其方法
CN109765989A (zh) * 2017-11-03 2019-05-17 奥多比公司 虚拟和物理交互的动态映射
CN110069972A (zh) * 2017-12-11 2019-07-30 赫克斯冈技术中心 自动探测真实世界物体
WO2019154169A1 (zh) * 2018-02-06 2019-08-15 广东虚拟现实科技有限公司 跟踪交互装置的方法、存储介质以及电子设备
CN110168618A (zh) * 2017-01-09 2019-08-23 三星电子株式会社 增强现实控制***和方法
CN110389653A (zh) * 2018-04-16 2019-10-29 宏达国际电子股份有限公司 用于追踪和渲染虚拟对象的追踪***及用于其的操作方法
CN110663032A (zh) * 2017-12-21 2020-01-07 谷歌有限责任公司 加强对增强现实(ar)应用的测试的支持
CN110716685A (zh) * 2018-07-11 2020-01-21 广东虚拟现实科技有限公司 图像显示方法、图像显示装置及其实体对象
CN111077985A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、***及其交互装置
CN111077983A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及交互设备
CN111083464A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示投放***
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及***
CN111357029A (zh) * 2017-11-17 2020-06-30 电子湾有限公司 基于现实世界环境中对象的特征对三维模型数据的渲染
CN111372779A (zh) * 2017-11-20 2020-07-03 皇家飞利浦有限公司 针对三维打印对象的打印缩放
CN111383345A (zh) * 2018-12-29 2020-07-07 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN111381670A (zh) * 2018-12-29 2020-07-07 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、***、终端设备及存储介质
CN111399631A (zh) * 2019-01-03 2020-07-10 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
CN111399630A (zh) * 2019-01-03 2020-07-10 广东虚拟现实科技有限公司 虚拟内容交互方法、装置、终端设备及存储介质
CN111433712A (zh) * 2017-12-05 2020-07-17 三星电子株式会社 增强和虚拟现实的转换边界和距离响应界面的方法及其电子设备
CN111736692A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 显示方法、显示装置、存储介质与头戴式设备
CN111766937A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、终端设备及存储介质
CN111766936A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN111818326A (zh) * 2019-04-12 2020-10-23 广东虚拟现实科技有限公司 图像处理方法、装置、***、终端设备及存储介质
CN111913565A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、***、终端设备及存储介质
CN111913564A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的操控方法、装置、***、终端设备及存储介质
CN111913560A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、***、终端设备及存储介质
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN112055033A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN112055034A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
CN112639685A (zh) * 2018-09-04 2021-04-09 苹果公司 模拟现实（sr）中的显示设备共享和交互
CN113168230A (zh) * 2018-12-07 2021-07-23 微软技术许可有限责任公司 用于管理与三维对象相关联的数据的智能代理
CN113795814A (zh) * 2019-03-15 2021-12-14 索尼互动娱乐股份有限公司 虚拟人物现实间跨界
CN114402589A (zh) * 2019-09-06 2022-04-26 Z空间股份有限公司 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、***及存储介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10058775B2 (en) * 2014-04-07 2018-08-28 Edo Segal System and method for interactive mobile gaming
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
KR20180021515A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
MX2022004787A (es) 2016-10-12 2022-12-01 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
US9972140B1 (en) * 2016-11-15 2018-05-15 Southern Graphics Inc. Consumer product advertising image generation system and method
US11003305B2 (en) 2016-11-18 2021-05-11 Zspace, Inc. 3D user interface
US10271043B2 (en) * 2016-11-18 2019-04-23 Zspace, Inc. 3D user interface—360-degree visualization of 2D webpage content
US10127715B2 (en) * 2016-11-18 2018-11-13 Zspace, Inc. 3D user interface—non-native stereoscopic image conversion
DE102016123315A1 (de) * 2016-12-02 2018-06-07 Aesculap Ag System und Verfahren zum Interagieren mit einem virtuellen Objekt
KR20180083144A (ko) * 2017-01-12 2018-07-20 삼성전자주식회사 마커를 검출하기 위한 방법 및 그 전자 장치
US10444506B2 (en) * 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
US10657367B2 (en) 2017-04-04 2020-05-19 Usens, Inc. Methods and systems for hand tracking
US10871934B2 (en) * 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor
WO2019017900A1 (en) * 2017-07-18 2019-01-24 Hewlett-Packard Development Company, L.P. PROJECTING INPUTS TO REPRESENTATIONS OF THREE-DIMENSIONAL OBJECTS
WO2019032014A1 (en) * 2017-08-07 2019-02-14 Flatfrog Laboratories Ab TACTILE INTERACTION SYSTEM IN VIRTUAL REALITY
US10803674B2 (en) * 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
MX2020006407A (es) 2017-12-19 2020-09-07 Ericsson Telefon Ab L M Dispositivo de presentacion visual montado en la cabeza y metodo del mismo.
WO2019144000A1 (en) * 2018-01-22 2019-07-25 Dakiana Research Llc Method and device for presenting synthesized reality content in association with recognized objects
JP7279646B2 (ja) * 2018-02-07 2023-05-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
KR102045875B1 (ko) * 2018-03-16 2019-11-18 서울여자대학교 산학협력단 리얼센스를 이용한 목표물 3d 모델링방법
WO2019203837A1 (en) * 2018-04-19 2019-10-24 Hewlett-Packard Development Company, L.P. Inputs to virtual reality devices from touch surface devices
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
EP3811183B1 (en) * 2018-06-21 2024-01-03 Magic Leap, Inc. Methods and apparatuses for providing input for head-worn image display devices
CN113282225B (zh) * 2018-08-24 2024-03-15 创新先进技术有限公司 触控操作方法、***、设备及可读存储介质
US10930049B2 (en) * 2018-08-27 2021-02-23 Apple Inc. Rendering virtual objects with realistic surface properties that match the environment
US11036284B2 (en) 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US10691767B2 (en) 2018-11-07 2020-06-23 Samsung Electronics Co., Ltd. System and method for coded pattern communication
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN111199583B (zh) * 2018-11-16 2023-05-16 广东虚拟现实科技有限公司 一种虚拟内容显示方法、装置、终端设备及存储介质
US11675200B1 (en) * 2018-12-14 2023-06-13 Google Llc Antenna methods and systems for wearable devices
KR102016676B1 (ko) 2018-12-14 2019-08-30 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템
US11386872B2 (en) * 2019-02-15 2022-07-12 Microsoft Technology Licensing, Llc Experiencing a virtual object at a plurality of sizes
US10861243B1 (en) * 2019-05-31 2020-12-08 Apical Limited Context-sensitive augmented reality
US11546721B2 (en) * 2019-06-18 2023-01-03 The Calany Holding S.À.R.L. Location-based application activation
WO2021013380A1 (de) * 2019-07-22 2021-01-28 Sew-Eurodrive Gmbh & Co. Kg Verfahren zum betreiben eines systems und system zur durchführung des verfahrens
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
CN111161396B (zh) * 2019-11-19 2023-05-16 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
US20210201581A1 (en) * 2019-12-30 2021-07-01 Intuit Inc. Methods and systems to create a controller in an augmented reality (ar) environment using any physical object
JP2021157277A (ja) * 2020-03-25 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2021239203A1 (en) * 2020-05-25 2021-12-02 Telefonaktiebolaget Lm Ericsson (Publ) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for providing a virtual display
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image
US11995776B2 (en) 2021-01-19 2024-05-28 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices
US20230013539A1 (en) * 2021-07-15 2023-01-19 Qualcomm Incorporated Remote landmark rendering for extended reality interfaces
US11687221B2 (en) 2021-08-27 2023-06-27 International Business Machines Corporation Augmented reality based user interface configuration of mobile and wearable computing devices
IT202100027923A1 (it) * 2021-11-02 2023-05-02 Ictlab S R L Metodo di analisi balistica e relativo sistema di analisi

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1060772A2 (en) * 1999-06-11 2000-12-20 Mixed Reality Systems Laboratory Inc. Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
CN1746821A (zh) * 2004-09-07 2006-03-15 佳能株式会社 虚拟现实呈现装置和信息处理方法
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
WO2008002208A1 (en) * 2006-06-29 2008-01-03 Telefonaktiebolaget Lm Ericsson (Publ) A method and arrangement for purchasing streamed media.
US20110175903A1 (en) * 2007-12-20 2011-07-21 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
CN102274633A (zh) * 2010-06-11 2011-12-14 任天堂株式会社 图像显示***、装置以及方法
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US20120172127A1 (en) * 2010-12-29 2012-07-05 Nintendo Co., Ltd. Information processing program, information processing system, information processing apparatus, and information processing method
US20120176409A1 (en) * 2011-01-06 2012-07-12 Hal Laboratory Inc. Computer-Readable Storage Medium Having Image Processing Program Stored Therein, Image Processing Apparatus, Image Processing System, and Image Processing Method
US20120218298A1 (en) * 2011-02-25 2012-08-30 Nintendo Co., Ltd. Information processing system, information processing method, information processing device and tangible recording medium recording information processing program
CN102834799A (zh) * 2010-03-01 2012-12-19 Metaio有限公司 在真实环境的视图中显示虚拟信息的方法
CN103003783A (zh) * 2011-02-01 2013-03-27 松下电器产业株式会社 功能扩展装置、功能扩展方法、功能扩展程序以及集成电路
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN103149689A (zh) * 2011-12-06 2013-06-12 微软公司 扩充的现实虚拟监视器
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
CN103500446A (zh) * 2013-08-28 2014-01-08 成都理想境界科技有限公司 基于计算机视觉的测距方法及其在hmd上的应用
US20140063060A1 (en) * 2012-09-04 2014-03-06 Qualcomm Incorporated Augmented reality surface segmentation
US20140111838A1 (en) * 2012-10-24 2014-04-24 Samsung Electronics Co., Ltd. Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
US20140232637A1 (en) * 2011-07-11 2014-08-21 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
CN104081319A (zh) * 2012-02-06 2014-10-01 索尼公司 信息处理设备和信息处理方法

Family Cites Families (206)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) * 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US20090109240A1 (en) * 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8624924B2 (en) * 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US8648875B2 (en) * 2008-05-14 2014-02-11 International Business Machines Corporation Differential resource applications in virtual worlds based on payment and account options
US20100048290A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
EP2156869A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device and method of interaction
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US9824495B2 (en) * 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
KR100974900B1 (ko) * 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
US8606657B2 (en) * 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US20120005324A1 (en) * 2010-03-05 2012-01-05 Telefonica, S.A. Method and System for Operations Management in a Telecommunications Terminal
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395474A3 (en) * 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
EP2395766B1 (en) * 2010-06-14 2016-03-23 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
JP5149939B2 (ja) * 2010-06-15 2013-02-20 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
JP5769392B2 (ja) * 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
JP5627973B2 (ja) * 2010-09-24 2014-11-19 任天堂株式会社 ゲーム処理をするためのプログラム、装置、システムおよび方法
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5739674B2 (ja) * 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5480777B2 (ja) * 2010-11-08 2014-04-23 株式会社Ｎｔｔドコモ オブジェクト表示装置及びオブジェクト表示方法
WO2012065146A2 (en) * 2010-11-12 2012-05-18 Wms Gaming, Inc. Integrating three-dimensional elements into gaming environments
EP2649504A1 (en) * 2010-12-10 2013-10-16 Sony Ericsson Mobile Communications AB Touch sensitive haptic display
US9111418B2 (en) * 2010-12-15 2015-08-18 Bally Gaming, Inc. System and method for augmented reality using a player card
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
EP2656181B1 (en) * 2010-12-22 2019-10-30 zSpace, Inc. Three-dimensional tracking of a user control device in a volume
KR20120075065A (ko) * 2010-12-28 2012-07-06 (주)비트러스트 이동단말을 이용한 증강현실 구현 시스템, 그 방법 및 증강현실을 이용한 온라인 구매 시스템, 그 방법
US9652046B2 (en) * 2011-01-06 2017-05-16 David ELMEKIES Augmented reality system
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5756322B2 (ja) * 2011-04-08 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5778967B2 (ja) * 2011-04-08 2015-09-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5812665B2 (ja) * 2011-04-22 2015-11-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2012243147A (ja) * 2011-05-20 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5735861B2 (ja) * 2011-06-01 2015-06-17 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
JP5791433B2 (ja) * 2011-08-31 2015-10-07 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
US9292184B2 (en) * 2011-11-18 2016-03-22 Zspace, Inc. Indirect 3D scene positioning control
US20130171603A1 (en) * 2011-12-30 2013-07-04 Logical Choice Technologies, Inc. Method and System for Presenting Interactive, Three-Dimensional Learning Tools
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20130285919A1 (en) * 2012-04-25 2013-10-31 Sony Computer Entertainment Inc. Interactive video system
EP2822516A4 (en) * 2012-05-07 2015-11-25 St Jude Medical Atrial Fibrill STEREOSCOPIC DISPLAY OF A NAVIGATION SYSTEM OF A MEDICAL DEVICE
GB2502591B (en) * 2012-05-31 2014-04-30 Sony Comp Entertainment Europe Apparatus and method for augmenting a video image
US9837121B2 (en) * 2012-06-12 2017-12-05 Sony Corporation Information processing device, information processing method, and program
US9829996B2 (en) * 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
US9417692B2 (en) * 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US10380469B2 (en) * 2012-07-18 2019-08-13 The Boeing Company Method for tracking a device in a landmark-based reference system
US20150206349A1 (en) * 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9576397B2 (en) * 2012-09-10 2017-02-21 Blackberry Limited Reducing latency in an augmented-reality display
JP6021568B2 (ja) * 2012-10-02 2016-11-09 任天堂株式会社 画像処理用プログラム、画像処理装置、画像処理システム、および画像処理方法
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9019268B1 (en) * 2012-10-19 2015-04-28 Google Inc. Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information
CA2927447C (en) * 2012-10-23 2021-11-30 Roam Holdings, LLC Three-dimensional virtual environment
US20140132595A1 (en) * 2012-11-14 2014-05-15 Microsoft Corporation In-scene real-time design of living spaces
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US20160140766A1 (en) * 2012-12-12 2016-05-19 Sulon Technologies Inc. Surface projection system and method for augmented reality
WO2014106823A2 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9430877B2 (en) * 2013-01-25 2016-08-30 Wilus Institute Of Standards And Technology Inc. Electronic device and method for selecting augmented content using the same
WO2014119097A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和***
JP6283168B2 (ja) * 2013-02-27 2018-02-21 任天堂株式会社 情報保持媒体および情報処理システム
JP6224327B2 (ja) * 2013-03-05 2017-11-01 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
CN105051650A (zh) * 2013-03-19 2015-11-11 日本电气方案创新株式会社 三维解锁设备、三维解锁方法和程序
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
EP3920148A1 (en) * 2013-04-04 2021-12-08 Sony Group Corporation Information processing device, information processing method, and program
CN105103198A (zh) * 2013-04-04 2015-11-25 索尼公司 显示控制装置、显示控制方法以及程序
JP6304242B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20140317659A1 (en) * 2013-04-19 2014-10-23 Datangle, Inc. Method and apparatus for providing interactive augmented reality information corresponding to television programs
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
WO2014175324A1 (ja) * 2013-04-24 2014-10-30 川崎重工業株式会社 ワーク加工作業支援システムおよびワーク加工方法
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US9466149B2 (en) * 2013-05-10 2016-10-11 Google Inc. Lighting of graphical objects based on environmental conditions
US10217285B2 (en) * 2013-05-30 2019-02-26 Charles Anthony Smith HUD object design and method
US9354702B2 (en) * 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
JP6329343B2 (ja) * 2013-06-13 2018-05-23 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102138511B1 (ko) * 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
US9080868B2 (en) * 2013-09-06 2015-07-14 Wesley W. O. Krueger Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US9224237B2 (en) * 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
KR102133843B1 (ko) * 2013-10-31 2020-07-14 엘지전자 주식회사 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
AU2013273722A1 (en) * 2013-12-19 2015-07-09 Canon Kabushiki Kaisha Method, system and apparatus for removing a marker projected in a scene
US20160184725A1 (en) * 2013-12-31 2016-06-30 Jamber Creatice Co., LLC Near Field Communication Toy
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US9274340B2 (en) * 2014-02-18 2016-03-01 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
US20150242895A1 (en) * 2014-02-21 2015-08-27 Wendell Brown Real-time coupling of a request to a personal message broadcast system
JP6313467B2 (ja) * 2014-02-24 2018-04-18 アマゾン テクノロジーズ インコーポレイテッド 集計したレビューデータを用いてサイズベースの製品推薦を改良する方法及びシステム
US9721389B2 (en) * 2014-03-03 2017-08-01 Yahoo! Inc. 3-dimensional augmented reality markers
JP6348732B2 (ja) * 2014-03-05 2018-06-27 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
KR102184402B1 (ko) * 2014-03-06 2020-11-30 엘지전자 주식회사 글래스 타입의 이동 단말기
JP6307627B2 (ja) * 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
US9911243B2 (en) * 2014-03-15 2018-03-06 Nitin Vats Real-time customization of a 3D model representing a real product
US20170124770A1 (en) * 2014-03-15 2017-05-04 Nitin Vats Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object's functionality
US9552674B1 (en) * 2014-03-26 2017-01-24 A9.Com, Inc. Advertisement relevance
US9681122B2 (en) * 2014-04-21 2017-06-13 Zspace, Inc. Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
WO2015176163A1 (en) * 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
CA2893586C (en) * 2014-06-17 2021-01-26 Valorisation-Recherche, Limited Partnership 3d virtual environment interaction system
US10321126B2 (en) * 2014-07-08 2019-06-11 Zspace, Inc. User input device camera
US9123171B1 (en) * 2014-07-18 2015-09-01 Zspace, Inc. Enhancing the coupled zone of a stereoscopic display
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US20170337408A1 (en) * 2014-08-18 2017-11-23 Kumoh National Institute Of Technology Industry-Academic Cooperation Foundation Sign, vehicle number plate, screen, and ar marker including boundary code on edge thereof, and system for providing additional object information by using boundary code
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
JP5812550B1 (ja) * 2014-10-10 2015-11-17 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム
KR20160049494A (ko) * 2014-10-27 2016-05-09 이문기 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
WO2016100931A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc Method, system and device for navigating in a virtual reality environment
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9727977B2 (en) * 2014-12-29 2017-08-08 Daqri, Llc Sample based color extraction for augmented reality
US9811650B2 (en) * 2014-12-31 2017-11-07 Hand Held Products, Inc. User authentication system and method
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US20160232713A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
JP6336930B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336929B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN107912061B (zh) * 2015-03-06 2021-06-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
JP6328579B2 (ja) * 2015-03-13 2018-05-23 富士フイルム株式会社 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
WO2016181473A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム
JP6609994B2 (ja) * 2015-05-22 2019-11-27 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6742701B2 (ja) * 2015-07-06 2020-08-19 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP6598617B2 (ja) * 2015-09-17 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
CN109074153A (zh) * 2016-03-29 2018-12-21 斋藤创造研究所株式会社 一种输入装置及图像显示***
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
KR102317776B1 (ko) * 2016-10-05 2021-10-25 매직 립, 인코포레이티드 표면 모델링 시스템들 및 방법들
KR20180041890A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
EP3316080B1 (en) * 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
DE102016121281A1 (de) * 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
US20180314322A1 (en) * 2017-04-28 2018-11-01 Motive Force Technology Limited System and method for immersive cave application
WO2019028479A1 (en) * 2017-08-04 2019-02-07 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUSES FOR DEPLOYING AND TARGETING VIRTUAL OBJECTS SENSITIVE TO CONTEXT AND MODELING BEHAVIOR OF VIRTUAL OBJECTS BASED ON PHYSICAL PRINCIPLES
JP6950390B2 (ja) * 2017-09-15 2021-10-13 富士通株式会社 表示制御プログラム、装置、及び方法
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
CN110569006B (zh) * 2018-06-05 2023-12-19 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1060772A2 (en) * 1999-06-11 2000-12-20 Mixed Reality Systems Laboratory Inc. Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
CN1746821A (zh) * 2004-09-07 2006-03-15 佳能株式会社 虚拟现实呈现装置和信息处理方法
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
WO2008002208A1 (en) * 2006-06-29 2008-01-03 Telefonaktiebolaget Lm Ericsson (Publ) A method and arrangement for purchasing streamed media.
US20110175903A1 (en) * 2007-12-20 2011-07-21 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
CN102834799A (zh) * 2010-03-01 2012-12-19 Metaio有限公司 在真实环境的视图中显示虚拟信息的方法
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN102274633A (zh) * 2010-06-11 2011-12-14 任天堂株式会社 图像显示***、装置以及方法
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US20120172127A1 (en) * 2010-12-29 2012-07-05 Nintendo Co., Ltd. Information processing program, information processing system, information processing apparatus, and information processing method
US20120176409A1 (en) * 2011-01-06 2012-07-12 Hal Laboratory Inc. Computer-Readable Storage Medium Having Image Processing Program Stored Therein, Image Processing Apparatus, Image Processing System, and Image Processing Method
CN103003783A (zh) * 2011-02-01 2013-03-27 松下电器产业株式会社 功能扩展装置、功能扩展方法、功能扩展程序以及集成电路
US20120218298A1 (en) * 2011-02-25 2012-08-30 Nintendo Co., Ltd. Information processing system, information processing method, information processing device and tangible recording medium recording information processing program
US20140232637A1 (en) * 2011-07-11 2014-08-21 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
CN103149689A (zh) * 2011-12-06 2013-06-12 微软公司 扩充的现实虚拟监视器
CN104081319A (zh) * 2012-02-06 2014-10-01 索尼公司 信息处理设备和信息处理方法
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20140063060A1 (en) * 2012-09-04 2014-03-06 Qualcomm Incorporated Augmented reality surface segmentation
US20140111838A1 (en) * 2012-10-24 2014-04-24 Samsung Electronics Co., Ltd. Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
CN103500446A (zh) * 2013-08-28 2014-01-08 成都理想境界科技有限公司 基于计算机视觉的测距方法及其在hmd上的应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
W.BIRKFELLNER ET,AL: "Development of the Varioscope AR.A see-through HMD for computer-aided surgery", 《PROCEEDINGS IEEE AND ACM INTERNATIONAL SYMPOSIUM ON AUGMENTED REALITY(ISAR 2000)》 *
YOON-SUK JIN,ET AL: "ARMO:Augmented Reality based Reconfigurable Mock-up", 《2007 6TH IEEE AND ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *
孙效华等: "可穿戴设备交互设计研究", 《装饰》 *

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168618A (zh) * 2017-01-09 2019-08-23 三星电子株式会社 增强现实控制***和方法
CN110168618B (zh) * 2017-01-09 2023-10-24 三星电子株式会社 增强现实控制***和方法
US10580214B2 (en) 2017-09-29 2020-03-03 Boe Technology Group Co., Ltd. Imaging device and imaging method for augmented reality apparatus
CN107592520A (zh) * 2017-09-29 2018-01-16 京东方科技集团股份有限公司 Ar设备的成像装置及成像方法
CN107592520B (zh) * 2017-09-29 2020-07-10 京东方科技集团股份有限公司 Ar设备的成像装置及成像方法
CN109765989A (zh) * 2017-11-03 2019-05-17 奥多比公司 虚拟和物理交互的动态映射
CN111357029A (zh) * 2017-11-17 2020-06-30 电子湾有限公司 基于现实世界环境中对象的特征对三维模型数据的渲染
CN111372779B (zh) * 2017-11-20 2023-01-17 皇家飞利浦有限公司 针对三维打印对象的打印缩放
CN111372779A (zh) * 2017-11-20 2020-07-03 皇家飞利浦有限公司 针对三维打印对象的打印缩放
CN111433712A (zh) * 2017-12-05 2020-07-17 三星电子株式会社 增强和虚拟现实的转换边界和距离响应界面的方法及其电子设备
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN110069972B (zh) * 2017-12-11 2023-10-20 赫克斯冈技术中心 自动探测真实世界物体
CN110069972A (zh) * 2017-12-11 2019-07-30 赫克斯冈技术中心 自动探测真实世界物体
CN110663032A (zh) * 2017-12-21 2020-01-07 谷歌有限责任公司 加强对增强现实(ar)应用的测试的支持
CN108038916A (zh) * 2017-12-27 2018-05-15 上海徕尼智能科技有限公司 一种增强现实的显示方法
WO2019154169A1 (zh) * 2018-02-06 2019-08-15 广东虚拟现实科技有限公司 跟踪交互装置的方法、存储介质以及电子设备
US10993078B2 (en) 2018-04-16 2021-04-27 Htc Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
TWI714054B (zh) * 2018-04-16 2020-12-21 宏達國際電子股份有限公司 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
CN110389653B (zh) * 2018-04-16 2023-05-02 宏达国际电子股份有限公司 用于追踪和渲染虚拟对象的追踪***及用于其的操作方法
CN110389653A (zh) * 2018-04-16 2019-10-29 宏达国际电子股份有限公司 用于追踪和渲染虚拟对象的追踪***及用于其的操作方法
CN108776544B (zh) * 2018-06-04 2021-10-26 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
CN108776544A (zh) * 2018-06-04 2018-11-09 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
CN108833741A (zh) * 2018-06-21 2018-11-16 珠海金山网络游戏科技有限公司 用于ar与实时动捕相结合的虚拟摄影棚***及其方法
CN110716685A (zh) * 2018-07-11 2020-01-21 广东虚拟现实科技有限公司 图像显示方法、图像显示装置及其实体对象
CN110716685B (zh) * 2018-07-11 2023-07-18 广东虚拟现实科技有限公司 图像显示方法，图像显示装置、***及其实体对象
CN112639685B (zh) * 2018-09-04 2024-03-08 苹果公司 模拟现实（sr）中的显示设备共享和交互
CN112639685A (zh) * 2018-09-04 2021-04-09 苹果公司 模拟现实（sr）中的显示设备共享和交互
CN111083464A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示投放***
CN111077985A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、***及其交互装置
CN111077983A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及交互设备
CN111083463A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及显示***
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及***
CN113168230A (zh) * 2018-12-07 2021-07-23 微软技术许可有限责任公司 用于管理与三维对象相关联的数据的智能代理
CN111383345A (zh) * 2018-12-29 2020-07-07 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN111381670B (zh) * 2018-12-29 2022-04-01 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、***、终端设备及存储介质
CN111381670A (zh) * 2018-12-29 2020-07-07 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、***、终端设备及存储介质
CN111399631B (zh) * 2019-01-03 2021-11-05 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
CN111399630A (zh) * 2019-01-03 2020-07-10 广东虚拟现实科技有限公司 虚拟内容交互方法、装置、终端设备及存储介质
CN111399631A (zh) * 2019-01-03 2020-07-10 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
CN113795814A (zh) * 2019-03-15 2021-12-14 索尼互动娱乐股份有限公司 虚拟人物现实间跨界
CN111766936A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN111766937A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、终端设备及存储介质
CN111766937B (zh) * 2019-04-02 2024-05-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、终端设备及存储介质
CN111818326A (zh) * 2019-04-12 2020-10-23 广东虚拟现实科技有限公司 图像处理方法、装置、***、终端设备及存储介质
CN111818326B (zh) * 2019-04-12 2022-01-28 广东虚拟现实科技有限公司 图像处理方法、装置、***、终端设备及存储介质
CN111913560A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、***、终端设备及存储介质
CN111913565A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、***、终端设备及存储介质
CN111913564A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的操控方法、装置、***、终端设备及存储介质
CN111913565B (zh) * 2019-05-07 2023-03-07 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、***、终端设备及存储介质
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN112055034B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN112055033A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN112055034A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
CN114402589A (zh) * 2019-09-06 2022-04-26 Z空间股份有限公司 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
CN114402589B (zh) * 2019-09-06 2023-07-11 Z空间股份有限公司 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
CN111736692A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 显示方法、显示装置、存储介质与头戴式设备
CN111736692B (zh) * 2020-06-01 2023-01-31 Oppo广东移动通信有限公司 显示方法、显示装置、存储介质与头戴式设备
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、***及存储介质

Also Published As

Publication number Publication date
EP3256899A1 (en) 2017-12-20
US20170061700A1 (en) 2017-03-02
HK1245409A1 (zh) 2018-08-24
KR20170116121A (ko) 2017-10-18
CN107250891B (zh) 2020-11-17
KR102609397B1 (ko) 2023-12-01
EP3256899A4 (en) 2018-10-31
WO2016130895A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
CN107250891A (zh) 头戴式显示器与真实世界对象之间的相互通信
US10928974B1 (en) System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
CN105637564B (zh) 产生未知对象的扩增现实内容
US11604562B2 (en) Interface carousel for use with image processing software development kit
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
CN109195675A (zh) 稀疏slam坐标系的共享
US20230297445A1 (en) Software development kit for image processing
CN109074154A (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
US20240135633A1 (en) Generating ground truth datasets for virtual reality experiences
CA2926861A1 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US20210279969A1 (en) Crowd sourced mapping system
EP3131064B1 (en) Searching image content
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
KR102548919B1 (ko) 위치 기반 증강-현실 시스템
KR102393765B1 (ko) 디자인 정보 제공 방법
CN105988664B (zh) 用于设置光标位置的设备和方法
US20220375028A1 (en) Dynamic over-rendering in late-warping
Abbas et al. Augmented reality-based real-time accurate artifact management system for museums
KR20240006669A (ko) 늦은-워핑에서의 동적 오버-렌더링
TWI766258B (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
CN106371736A (zh) 交互方法、交互设备及操作棒
US20240143067A1 (en) Wearable device for executing application based on information obtained by tracking external object and method thereof
US11663738B2 (en) AR data simulation with gaitprint imitation
US20240212287A1 (en) Augmented reality ergonomics evaluation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1245409

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant