CN106716302B - 用于显示图像的方法、设备和计算机可读介质 - Google Patents

用于显示图像的方法、设备和计算机可读介质 Download PDF

Info

Publication number
CN106716302B
CN106716302B CN201580048858.8A CN201580048858A CN106716302B CN 106716302 B CN106716302 B CN 106716302B CN 201580048858 A CN201580048858 A CN 201580048858A CN 106716302 B CN106716302 B CN 106716302B
Authority
CN
China
Prior art keywords
real
user
world
viewpoint
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580048858.8A
Other languages
English (en)
Other versions
CN106716302A (zh
Inventor
J·莱帕南
P·萨里
E·勒波南
A·勒蒂涅米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN106716302A publication Critical patent/CN106716302A/zh
Application granted granted Critical
Publication of CN106716302B publication Critical patent/CN106716302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开的示例涉及用于显示图像的方法、设备和计算机程序。在某些示例中，检测位于头戴式显示器的用户的真实世界视点中的真实世界物理对象。这样的检测触发对检测到的真实世界物理对象的至少一部分的至少一个捕获图像在头戴式显示器上的显示。

Description

用于显示图像的方法、设备和计算机可读介质
技术领域
本公开的示例涉及用于显示图像的方法、设备和计算机程序。不影响前述内容，一些示例涉及用于在虚拟现实显示设备中显示真实世界中所捕获图像的方法、设备和计算机程序。
背景技术
虚拟现实显示设备(例如，诸如头戴式显示器(HMD)，近眼显示器(NED)，虚拟现实护目镜/头盔)通常是完全沉浸式的，因为虚拟现实显示设备的用户可能仅能够看到在虚拟现实显示设备的显示器上所显示的内容，例如，在虚拟世界中发生了什么。然而，这种完全沉浸式虚拟现实显示设备在虚拟现实显示设备的用户希望与真实世界交互时呈现出一些问题。
任何先前公布的文档或本说明书中的任何背景技术的列举或讨论不应被视为承认文档或背景技术是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以解决或者不解决一个或多个背景技术中的问题。
发明内容
本发明如独立权利要求阐明的那样。
根据本公开的至少一些但不一定是所有示例，提供了一种方法，包括至少部分地引起产生以下操作的动作：
检测位于头戴式显示器的用户的真实世界视点中的真实世界物理对象；以及
响应于所述检测，触发检测到的真实世界物理对象的至少一部分的至少一个捕获图像在头戴式显示器上的显示。
根据本公开的至少一些但不一定是所有示例，提供了一种设备，包括被配置为使得该设备能够至少执行上述方法的装置。
根据本公开的至少一些但不一定是所有示例，提供了一种设备，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器；至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得装置至少执行上述方法。
根据本公开的至少一些但不一定是所有示例，提供了一种计算机程序，当由至少一个处理器执行时，使得至少上述方法被执行。
根据本公开的至少一些但不一定是所有的示例，提供了一种由指令编码的非暂态计算机可读介质，当由至少一个处理器执行时，使得至少上述方法被执行。
根据本公开的至少一些但不一定是所有示例，提供了一种芯片组或模块，其包括被配置为使得至少上述方法被执行的处理电路***。
当前讨论的示例和所附权利要求可以以对本领域普通技术人员显而易见的任何方式适当地组合。
附图说明
为了更好地理解对于理解本发明的详细描述和某些实施例有用的本公开的各种示例，现在将仅通过示例的方式参考附图，其中：
图1示意性地示出了一种方法；
图2示意性地示出了另一种方法；
图3示意性地示出了一种设备；
图4示意性地示出了另一设备；
图5示意性地示出了一种方法流程图；
图6A、7A和8A示意性地示出了使用中的设备，图6B、7B和 8B示出了设备的显示器的对应示例屏幕截图；
图9A和10A示意性地示出了设备的进一步使用，图9B和10B 示出了设备的显示器的对应示例屏幕截图；
图11A和11B示出了设备的显示器的示例屏幕截图；并且
图12A和12B示出了设备的显示器的示例屏幕截图。
具体实施方式
附图示意性地示出了包括至少部分地引起导致以下结果的动作的方法：检测(101)位于头戴式显示器(610)的用户(603)的真实世界视点(602)中的真实世界物理对象(601)；响应于所述检测，触发(102)所检测到的真实世界对象(601)的至少一部分的至少一个捕获图像(601')在头戴式显示器(610)上的显示。
在不限制权利要求的范围的情况下，本公开的一些示例的优点可以是使得用户能够在佩戴头戴式显示器时观看所捕获的真实世界对象的图像，从而有助于用户与物理真实世界对象的交互。在某些特定示例中，头戴式显示器被配置为显示虚拟现实环境以及所检测到的真实世界对象，该真实世界对象的所捕获到的图像对应于用于在虚拟现实环境中控制或通信的用户输入设备而被显示。在某些方面，可以想到提供“增强的虚拟现实”(参见“增强现实”)的本公开的示例，其中虚拟现实用“现实”增强，“现实”即真实世界对象的捕获图像。
头戴式显示器(HMD)例如可以是可佩戴的显示设备，并且可以包括近眼显示器(NED)。头戴式显示器可以采取例如以下形式：眼镜，护目镜或头盔。头戴式显示器可以被配置为虚拟现实显示设备，以在除了虚拟现实环境之外，还显示所捕获的真实世界物理对象的图像。
用户的真实世界视点可以是例如用户的真实世界：视点、视场、视角(perspective)、视线或参照系。用户的真实世界视点可以取决于或涉及用户的眼睛和/或头部的方位/方向。
现在将参考附图描述本公开的各种示例。在附图中使用类似的附图标记来表示类似的特征。为了清楚起见，不一定在所有附图中显示所有附图标记。
图1示意性地示出了根据本公开的示例的方法100的流程图。图1的组件框是功能性的，并且所描述的功能可以或可以不由单个物理实体(诸如参考图3中300所描述的)来执行。
在框101中，检测位于头戴式显示器(图7A的610)的用户 (图7A的603)的真实世界视点(图7A的602a)中的真实世界物理对象(例如图7A的键盘601)。在框102中，对用户真实世界视点(602a)中的真实世界物理对象(601)的检测触发在头戴式显示器(610)上生成检测到的真实世界对象的至少一部分的至少一个捕获图像(图7A的601')的显示。
图2示意性地示出了根据本公开的示例的另一方法200的流程图。图2的流程图表示其中的一个可能的场景。所示的流程框的顺序不是绝对必需的，因此原则上可以不按顺序执行各个框。此外，不是所有的框都是必要的。
在方法200中，用户使用头戴式显示器来观看虚拟现实环境 (例如，图6B的虚拟世界602')。在框201中，确定在虚拟现实环境内是否存在用于与真实世界对象进行用户交互的可用性/机会。例如，在真实世界对象是用于向虚拟现实环境中提供用户输入(诸如命令或通信)的用户输入设备的情况下，可以确定是否存在用于经由用户输入设备来进行用户输入的合适的机会。在某些特定示例中，诸如图6A至图8B所示，这可以对应于弹出聊天框605'或用于文本输入的其它机会。响应于框201的确定用户与真实世界对象的交互的可用性，这然后可以触发用于根据框101在用户的真实世界视点中检测真实世界物理对象的过程。
由于显示真实世界对象的捕获图像占据了头戴式显示器上的显示空间，因此希望仅在必要时显示捕获的图像。在本公开的一些示例中，通过仅在确定用于经由真实世界对象的用户交互的机会之后开始框101的过程，这可以提供以下技术效果：当不存在用户与真实世界对象交互的机会时，避免框101的检测以及后续的框102的显示的不必要的发生。例如，如果没有用于文本输入的机会，则这避免了对键盘的不必要的检测和在虚拟现实环境中显示所捕获的键盘的图像，否则这将不仅浪费资源(例如，尤其是处理和功率)，而且还避免遮蔽虚拟现实环境，从而不必要地不利地影响用户在虚拟现实环境中的沉浸水平。
响应于框201的确定过程，可以发生框101中的对用户的真实世界视点中的真实世界物理对象的检测。该检测可以包括框202中的捕获用户的真实世界视点的至少一部分的一个或多个图像。这可以例如经由包括一个或多个图像捕获设备的头戴式显示器来实现，一个或多个图像捕获设备在头戴式显示器上被适当地放置并且校准，使得它们捕获对应于用户真实世界视点的对象场景的一个或多个第一人称视点图像。即实际上，捕获在用户没有佩戴头戴式显示器的情况下将会看到的真实世界场景的一个或多个图像。在框203 中，对在框202中捕获的一个或多个图像执行对象/图像识别过程，以便标识和检测真实世界物理对象，例如确定步骤201所确定的存在进行交互的可用性的真实世界物理对象。通过对象/图像识别来检测的真实世界物理对象可以对应于一个或多个预定的物理对象，例如用户输入设备，诸如键盘、小型键盘、游戏控制器、以及包括触敏输入设备和触敏显示器的其他手动操作的输入设备。
在已经在用户的真实世界视点602a中检测到真实世界物理对象之后，在框102中使得检测到的真实世界对象的一个或多个图像被显示在头戴式显示器上。如框204所示，这可以包含裁剪所捕获的用户的整个真实世界视点的图像，使得裁剪后的图像基本上仅由检测到的真实世界物理对象组成。然后，可以与虚拟现实环境 (602a')的显示同时地在头戴式显示器的显示器上显示裁剪后的图像(例如，图7B的601')。由此，提供了虚拟现实和真实世界图像的混合，其中真实世界对象的捕获图像被结合到虚拟环境的显示中。
在框205中，监测和跟踪用户的视点。这可以通过可安装在头戴式显示器中的一个或多个方位或方向传感器来实现，其可以监视和检测头戴式显示器的方位和方向的变化，从而基于感测到的用户头部的方向和方位(例如，摇、俯仰和转动)来显示确定佩戴头戴式显示器的用户的真实世界视点。在替代示例中，不基于用户的头部运动来确定用户的视点，而是可以基于用户的眼睛的方向和方位来确定用户的视点。在该示例中，可以在头戴式显示器中提供用于感测用户眼睛的视线的方位和方向的一个或多个设备，诸如面向用户眼睛跟踪用户眼睛运动的内置式相机。
在框206中，确定真实世界对象相对于用户的真实世界视点的相对位置。这可以例如基于分析从用户的真实世界视点捕获的图像并且确定所捕获的图像中检测到的真实世界物体的位置来实现。在框207中，所确定的真实世界对象相对于用户的真实世界视点的相对位置被用来调整在头戴式显示器的显示器内显示的真实世界对象的所捕获图像的相对位置。具体地，调整所捕获的图像在显示器中的位置，使得其在虚拟环境的显示的视角/用户的虚拟视点中的相对位置对应于所确定的真实世界对象相对于用户的真实世界视点的相对位置。在不限制权利要求的范围的情况下，本公开的一些示例的优点可以是使得捕获的图像能够显示在头戴式显示器的显示器中的虚拟位置处，该虚拟位置对应于相对于该用户的真实世界视点的该对象的真实世界位置。通过跟踪真实世界对象相对于用户的真实世界视点的相对位置，可以保持真实世界对象相对于用户的真实世界视点/真实世界参照系的位置与真实世界对象相对于用户的虚拟视点/ 虚拟参照系的所显示的捕获图像的位置之间的对应关系。
在框208中，可以检测用户输入，诸如由头戴式显示器的图像捕获设备捕获和识别的预定手势，其在框209中导致捕获图像的显示的移除。这使得用户能够选择性地控制所捕获的图像的显示的移除，当用户不再需要/要求其显示时。例如，用户可能已经完成了他或她与真实世界对象的交互和/或不希望与真实世界对象交互，并且因而不需要显示该对象的捕获的图像。
上文所描述的方法讨论了捕获用户的真实世界视点的一个或多个图像，并且基于所捕获的图像在头戴式显示器的显示器中显示一个或多个图像。应当理解，捕获的至少一个图像可以对应于以下中的任何一个：图像序列、视频和实时图像。所显示的至少一个捕获的图像还可以对应于检测到对象的区域的实况相机馈送。在不限制权利要求的范围的情况下，本公开的一些示例的优点可以是使得用户能够看到他或她自己，看到他或她自己的与真实世界对象的实时用户交互，从而便于用户仍在佩戴头戴式显示器并且观看虚拟现实环境的同时与真实世界对象交互(例如，如图7B所示，看到用户自己的手606'在键盘601'上的显示)。
在某些示例中，一个或多个框可以以不同的顺序执行，或者在时间上重叠、串行或并行地执行，一个或多个框可以以某些方式的组合被省略或添加或改变。例如，框208和209可以被移动或添加到流程图的任何部分，例如在框201、101和102中的任一个之前或之后。
本公开的示例可以采取方法，设备或计算机程序的形式。因此，示例可以在硬件、软件或硬件和软件的组合中实现。
图1和图2中所示的框可以表示方法中的动作和/或计算机程序中的指令/代码的片段。
将理解，每个框和框的组合可以通过各种装置来实现，装置诸如硬件、固件和/或包括一个或多个计算机程序指令的软件。例如，上述的一个或多个过程可以由计算机程序指令体现。在这方面，体现上文描述的过程的计算机程序指令可以由存储器设备存储并且由处理器执行。
如将理解的，任何这样的计算机程序指令可以被加载到计算机或其他可编程设备(即硬件)上以产生机器，使得当在可编程设备上执行时，指令创建用于实现在框中所规定的功能的装置。这些计算机程序指令还可以存储在可指导可编程装置以特定方式工作的计算机可读介质中，以使得存储在计算机可读存储器中的指令产生包括实现在框中所规定的功能的指令装置的制品。计算机程序指令还可以被加载到可编程设备上，以使得在可编程设备上执行一系列操作动作，以产生计算机实现的过程，使得在可编程装置上执行的指令提供用于实现在框中所规定的功能的动作。
现在将参照图3描述根据本公开中的示例的设备300。图3重点在于描述设备的操作所必需的功能性组件。
设备300包括控制器301。控制器301的实现可以是单独的硬件 (例如，包括一个或多个处理器的处理电路***和包括一个或多个存储器元件的存储器电路***)、某些方面具有软件的形式，包括单独的固件或可以是硬件和软件(包括固件)的组合。
控制器301可以使用能够实现硬件功能的指令来实现，例如通过使用通用或专用处理器中的可执行计算机程序指令，其可以存储在计算机可读存储介质(磁盘，存储器等)或由将由这样的处理器执行的信号载体来承载。
在所图示的示例中，设备300包括由处理器302和存储器303 提供的控制器301。虽然在其他实现中示出了单个处理器和单个存储器，但是可以存在多个处理器和/或可以存在多个存储器，其中的一些或全部可以是集成的/可移除的和/或可以提供永久/半永久/动态/高速缓存的存储器。
存储器303存储包括计算机程序指令305的计算机程序304，计算机程序指令305在被加载到处理器302中时控制设备的操作。计算机程序指令提供使设备能够执行当前描述的方法的逻辑和例程。
至少一个存储器303和计算机程序指令305被配置为利用至少一个处理器302使设备300至少执行例如关于图1和图2所描述的方法。
处理器302被配置为从存储器303读取和向存储器303写入。处理器302还可以包括输入接口306，经由输入接口306，数据(尤其是例如用于检测和显示真实世界对象的图像的图像捕获数据、用于确定用户视点的传感器数据、用于显示虚拟现实环境的虚拟现实环境数据和用户输入数据)和/或命令被输入到处理器302。处理器 302还可以包括输出接口307，经由输出接口307，数据(尤其是例如真实世界对象的捕获图像数据，以及用于在头戴式显示器上显示的虚拟现实环境数据)和/或命令由处理器302输出。
计算机程序可以经由任何合适的传递机制311到达设备300。传递机制311可以是例如非暂态计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器或数字通用盘的记录介质或有形地体现计算机程序304的制品。传递机制可以是被配置为可靠地传送计算机程序304的信号。
设备300可以接收、传播或传输计算机程序304作为计算机数据信号。
对“计算机可读存储介质”、“计算机程序产品”、“有形地体现的计算机程序”等或者“控制器”、“计算机”、“处理器”等的引用应当被理解为不仅涵盖具有诸如单/多处理器架构和顺序 (冯·诺依曼)/并行架构之类的不同架构的计算机，而且还涵盖了专用电路，诸如现场可编程门阵列(FPGA)、专用集成电路 (ASIC)、信号处理设备以及其它设备。针对计算机程序、指令、代码等的引用应当被理解为包含用于可编程处理器的软件或者固件，诸如作为示例，硬件设备的可编程内容，无论其是用于处理器的指令，还是针对固定功能设备、门阵列或可编程逻辑设备等的配置设置。
设备可以例如是：电路***、芯片组、模块或设备/***310，其额外地包括额外的设备/组件，例如一个或多个图像捕获设备 308、显示设备309和用于检测和监测用户的真实世界视点的传感器 (未示出)。该设备可以被包括在头戴式显示器中，或者可以与头戴式显示器分离并且与头戴式显示器(直接或以其他方式)通信，例如经由有线或无线通信。该装置可以用于在头戴式显示器上显示在头戴式显示器的用户的真实世界视点内检测到的真实世界对象的至少一部分的至少一个捕获图像。
图4示意性地示出了根据本公开的示例的另一设备410。设备 410具有提供近眼显示设备的头戴式显示器的形式，特别是具有用户佩戴的眼镜/护目镜的形式。头戴式显示器可以提供不透明/不透光/ 不可看透的可佩戴显示器。
设备410包括图3的设备300以及另外两个向用户提供立体显示的显示设备409，以及两个图像捕获设备408和408，以使得能够捕获用户的真实世界视点的立体图像。该设备可以包括一个或多个传感器408'以检测和监测用户的真实世界的视点(例如，用于测量方向/方位的传感器)。该设备还可以包括一个或多个音频输出设备 409'。此外，该设备还可以包括用于与远程计算设备通信的通信接口 (未示出)，远程计算设备例如是提供用于在设备上显示的虚拟现实环境的数据的数据源。
设备300/410可以另外提供一个或多个音频/文本/视频通信功能 (例如，电信通信、视频通信和/或文本传输(短消息服务(SMS)/ 多媒体消息服务(MMS)/电子邮件)功能)，交互式/非交互式观看功能(例如网络浏览、导航、TV/节目观看功能)，音乐录制/播放功能(例如，运动图像专家组-1音频层3(MP3)或其他格式和/ 或(频率调制/幅度调制)无线电广播记录/播放)，数据功能的下载 /发送，图像捕获功能(例如，使用(例如内置的)数字照相机)和游戏功能。
尽管上文已经按照包括各种组件的方式描述了上文的装置，但是应当理解，组件可以实现为或者由装置的相应处理元件或处理器控制。就这一点而言，下文描述的每个组件可以是以硬件、软件或硬件和软件的组合体现的任何设备、装置或电路***中的一个或多个，其被配置为执行各自元件的相应的功能，如下文更为具体的描述的那样。
如在本申请中所使用的，术语“电路***”是指以下全部内容：
(a)仅硬件的电路实现(诸如仅以模拟和/或数字电路***的实现)；以及
(b)电路和软件(和/或固件)的组合，诸如(如可应用的)： (i)处理器的组合或者(ii)一起工作而使得诸如移动电话或服务器的设备执行各种功能的处理器/软件(包括数字信号处理器)、软件和存储器的部分；以及
(c)电路，诸如微处理器或者微处理器的部分，其需要软件或固件进行操作，即使该软件或固件并非物理上存在。
“电路***”的该定义应用于本申请中对该术语的所有使用，包括在任意权利要求中。作为另外的示例，如本申请所使用的，术语“电路***”还将覆盖仅一个处理器(或多个处理器)或者处理器的一部分及其伴随软件和/或固件的实施方式。例如并且在能够应用于特定权利要求要素的情况下，术语“电路***”还将覆盖用于移动电话的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络设备或其它网络设备中类似的集成电路。
本公开的示例提供方法和由提供用于执行该方法的动作的功能的各种模块或装置组成的相应的设备。模块或装置可以被实现为硬件，或者可以被实现为由计算机处理器执行的软件或固件。特别地，在固件或软件的情况下，本公开的示例可以被提供为包括计算机可读存储结构的计算机程序产品，在该计算机可读存储结构之上包含用于由计算机处理器执行的计算机程序指令(即，软件或固件)。
可以在模块中提供设备。如本文所使用的，“模块”是指排除将由终端制造商或用户添加的某些部分/组件的单元或设备。例如，设备可以被提供为与头戴式显示器结合使用的模块。
虽然在某些实现方式的示例中，可以在头戴式显示器本身中提供该设备，但是其他类型的电子设备，例如但不限于手持便携式电子设备、平板计算机、移动电话、个人数字助理(PDA)、寻呼机、移动计算机、台式计算机、电视机、游戏设备、膝上型计算机、相机、视频记录器和其他类型的电子***，可以设置有根据本公开的示例的设备。这样的其他设备和类型的***被配置为与头戴式设备的显示器通信并且控制头戴式设备的显示器。
图5示出了与在虚拟现实环境/世界中通过键盘输入文本输入 (entry)有关的本公开的特定示例的流程图500。还参考图6A至 8B。
首先，在框501中，确定用户是否能够使用键盘输入任何内容。由于在虚拟环境/世界视图中显示用户的键盘占用屏幕空间，因此希望仅在需要时显示键盘。如果没有输入任何内容的可能性，则不执行过程的后序部分，并且将不显示键盘。如果没有输入文本的可能性，***将等待，直到在继续过程之前有输入文本的可能性。
输入文本的可能性可以对应于在虚拟环境602'中存在/显示的聊天窗口评论框605'。这可以指示键盘输入是可能的。如果存在输入文本的可能性，则流程图继续到框502。
在框502中，确定键盘是否在头戴式显示设备的相机的视点中，并且从而确定键盘是否在用户的真实世界视点中。如果用户的键盘不在相机馈送中(即，根据图6A)，则***等待，直到键盘在相机馈送中和/或存在输入文本的可能性。在图6A和8A中，用户的真实世界视点602为键盘601不位于用户的真实世界视点602内。因此，没有捕获到键盘的图像并且在头戴式显示器上显示，如图6B 和8B所示，其中只有虚拟世界环境602'的显示。所显示的虚拟世界环境602a'具有对应于用户的真实世界视点602a的虚拟视点602a'，例如，用户是将他/她的头部向左、向右还是向上转动，所显示的虚拟环境的视角将进行调整以便表示朝向左、向右或向上看的相应的虚拟视角/视点。
如果键盘在相机的视图中(例如，用户向下看，使得相机的视图改变并且该相机现在可以检测到键盘，或者替选地用户可以向上移动键盘，使得该键盘出现在相机的视图中并且能够被检测)，则流程图进行到框503，其中向用户显示相机馈送。可以在头戴式显示器中显示视频窗口，其显示相机视图的至少一部分。为了确定键盘是否在相机的视图中，可以对捕获的图像执行对象识别方法。用户可以执行初始设置以教导对象识别***他或她的键盘看起来像什么，以便改善对象识别和对键盘的跟踪。在图7A中，用户向下看，即调整了他的真实世界视点602a，使得键盘601现在位于用户的新的真实世界视点602a内。在对该视点处的相机馈送的图像进行识别之后，可以检测键盘，并且可以与虚拟现实环境602a'(其具有对应于用户的真实世界视点602a的虚拟视点602a')一起显示键盘601'的图像。由于在覆盖虚拟现实环境的视频窗口中向用户呈现实时馈送的键盘的捕获图像，所以用户能够在键盘附近看到用户的手606的镜头606'，使得用户可以看到他或她自己操作键盘并选择所需的键进行键入。
可以裁剪相机馈送，使得仅显示相机馈送的相关部分，也即键盘本身，而不是相机馈送的整个视野。用户能够看到键盘以及他或她的操作键盘的手，用户可以输入文本并且响应聊天窗口。一旦用户已经完成使用键盘，则用户可以再次向上看，如图8A所示，使得用户的视野不再包括键盘，并且不再显示键盘的图像，如图8B所示。
如图9A所示，用户的真实世界视点602a使得键盘601位于用户的真实世界视点602a的底部。相应地显示键盘601'的捕获的图像，使得其位于用户的虚拟环境602a'的虚拟视野的底部。相比之下，在图10A中，用户的真实世界视点602b使得键盘601位于用户的真实世界视点602b的顶部，并且相应地将键盘601'的捕获的图像显示在虚拟环境602b'的用户虚拟视点的顶部。因此，所显示的键盘图像601'被显示在相对于虚拟观察点602b'的位置处，该虚拟观察点 602b'对应于实际键盘相对于用户的真实世界观察点602b的位置。这有助于用户与键盘的交互，因为相对于键盘在真实生活中的真实位置，键盘的图像被感知为处于合适的位置。
图11A示出头戴式显示器的显示的屏幕截图，其中为向下看键盘的用户呈现键盘601'的捕获图像的显示以及具有特定虚拟视野的虚拟世界环境602'的表示。如果用户不希望看到所显示的键盘601' 的捕获图像，则用户可以用他或她的手112来执行手势，例如，将他的双手手掌转为向上并且使它们彼此远离，并且移出相机的视野范围。该预定用户输入或手势可以被检测和解释为移除键盘601'的显示的控制信号，之后如图11B所示，键盘的图像被移除。可以使用对象识别技术来跟踪用户的手以确定手势。
图12和12B示出了头戴式显示器的屏幕截图的示例，其中虚拟世界环境702a'可以被拉伸/压缩、变形或以其他方式变换，以容纳键盘601'的捕获图像的显示的包含物，同时将虚拟世界环境被键盘的显示遮蔽的程度降到最低。如图12A所示，键盘601'的图像简单地覆盖在虚拟世界环境702a'的背景图像的上面。因此，键盘的图像遮蔽了虚拟世界环境的某些方面，例如三个房子的较低层的窗户。在本公开的某些示例中，呈现的虚拟世界环境被变换(例如，调整其形状、大小和视角)，以便容纳键盘的图像，同时仍然保持虚拟世界中的一切对用户可见。如图12B所示，虚拟世界702a”的图像在键盘的上方和下方被压缩并且在键盘周围被拉伸，以便减少/避免键盘的覆盖图像遮蔽真实世界环境背景。因此，如图12B所示，房屋的底层窗户仍保持可见。在本公开的某些示例中，该方法可以包括：尽管存在键盘的附加显示，确定用户希望保持显示的虚拟世界环境 (例如，图12A和12B的示例中的较低层的窗户)中是否存在任何感兴趣区域/点，在这种情况下，虚拟现实环境可以被适当地变换，以便最大化虚拟世界环境的可见性，特别是虚拟世界环境中的感兴趣的区域/点。
使用流程图和示意框图来描述本公开的示例。应当理解，(流程图和框图的)每个框以及框的组合可以由计算机程序的计算机程序指令来实现。这些程序指令可以提供给一个或多个处理器、处理电路***或控制器，使得在一个或多个处理器、处理电路***或控制器上执行的指令创建用于引起实现在一个或多个框中指定的功能的装置。计算机程序指令可以由处理器执行以使一系列操作步骤由处理器执行以产生计算机实现的过程，使得在处理器上执行的指令提供步骤用于实现一个或多个框中指定的功能。
因此，框支持：用于执行指定功能的装置的组合；用于执行指定功能的动作的组合；以及用于执行指定功能的计算机程序指令/算法。还将理解，每个框和框的组合可以由执行指定的功能或步骤的专用的基于硬件的***来实现，或由专用硬件和计算机程序指令的组合来实现。
在先前的说明书中描述的特征，可以以除了已明确描述的组合之外的组合来使用。
虽然已经参考某些特征描述了功能，但是这些功能可以由其它特征来执行，无论是否描述。虽然已经参考特定示例描述了特征，但是这些特征也可以存在于其他示例中，无论是否被描述。
应当理解，在不脱离如权利要求中所述的本发明的范围的情况下，可以对给出的示例进行修改。
术语“包括”在本文中以包含而非排他的含义被使用。也就是说，对于X包括Y的任何引用都指示X可以包括仅一个Y或者可以包括多于一个Y。如果意在以排他性含义来使用“包括”，则将在上下文中通过提到“仅包括一个…”或者通过使用“构成”而清楚地表明。
在本描述中，参考了各种示例。与示例有关的特征或功能的描述指示那些特征或功能在该示例中出现。无论是否明确指出，文本中使用的术语“示例”或“例如”或“可以”都表示这样的特征或功能至少存在于所描述的示例中，而无论其是否作为一个示例进行描述，并且它们可以在一些或全部的其它示例中出现，但并非必然如此。因此，“示例”、“例如”或“可以”是指一类示例中的特定实例。该实例的性质可以仅是该实例的性质，或者是该类别的性质，或者是该类别中包括该类别中的一些但非全部实例的子类别的性质。
在上文的描述中，所描述的设备可以可选地或附加地包括在一些其他示例中的、包括分布式***(例如，客户端/服务器设备***)的设备。在其中所提供的设备形成为(或方法实现为)分布式***的示例中，形成***的组件和/或部分的每个设备提供(或实现)可以共同实现本公开的实施例的一个或多个特征。在一些示例中，设备由除了其初始制造商之外的实体重新配置以通过提供附加软件(例如通过用户下载这样的软件)来实现本公开的实施例，当执行该软件时，该设备实现本公开的实施例的示例(这样的实现或者完全基于该设备，或者作为如本文中上文所提到的设备***的一部分)。
上文的描述描述了本公开的一些示例，然而本领域普通技术人员将意识到可能的替选结构和方法特征，其提供与本文中上文所描述的这种结构和特征的具体示例等同的功能，并且为了简洁和清楚起见，从上面的描述中省略了。尽管如此，上述描述应当被隐含地理解为包括对提供等同功能的这种替代结构和方法特征的引用，除非在本公开的实施例的上述描述中明确地排除了这样的替代结构或方法特征。
尽管在之前的说明书中，努力将注意力集中于本发明中被认为特别重要的那些特征，但是应当理解的是，申请人要求保护关于之前所涉及和/或在附图中所示出的任何可专利的特征或特征的组合，而无论是否对其进行了特别强调。

Claims (16)

1.一种用于显示图像的方法，包括引起产生以下操作的动作：
在头戴式显示器上显示虚拟现实环境；
在所述虚拟现实环境中接收用户输入到所述虚拟现实环境的请求；
响应于所述请求，检测位于所述头戴式显示器的用户的真实世界视点中的真实世界物理对象；
响应于检测到位于所述头戴式显示器的所述用户的所述真实世界视点中的所述真实世界物理对象，使得检测的所述真实世界物理对象的至少一部分的一个或多个图像将被显示在所述头戴式显示器上，所述一个或多个图像包括：捕获图像的序列、捕获的视频、实时捕获的图像和实况相机馈送；以及
通过压缩、拉伸或变形所述虚拟现实环境显示来变换在所述头戴式显示器上显示的所述虚拟现实环境的显示，以容纳检测的所述真实世界物理对象的至少一部分的至少一个捕获图像的显示。
2.根据权利要求1所述的方法，其中所述头戴式显示器的所述用户的所述真实世界视点对应于所述用户在没有佩戴所述头戴式显示器的情况下的所述用户的视点。
3.根据权利要求1或2所述的方法，进一步包括：提供虚拟现实和真实世界图像的混合，其中所述真实世界物理对象的至少一个捕获的图像被结合到所述虚拟现实环境的所述显示中。
4.根据权利要求1或2所述的方法，其中所述真实世界物理对象是用户输入设备。
5.根据权利要求1或2所述的方法，进一步包括：监测所述用户的真实世界视点。
6.根据权利要求5所述的方法，进一步包括：根据监测的所述用户的真实世界视点来对在所述头戴式显示器上的所述显示的所述一个或多个图像进行定位。
7.根据权利要求1或2所述的方法，进一步包括：捕获所述用户的真实世界视点的至少一个图像。
8.根据权利要求7所述的方法，其中检测所述用户的真实世界视点中的所述真实世界物理对象包括：对所述用户的真实世界视点的捕获的所述至少一个图像执行对象识别。
9.根据权利要求1或2所述的方法，其中所显示的所述至少一个图像基本上由所述真实世界物理对象组成。
10.根据权利要求1或2所述的方法，进一步包括：响应于对用户输入的检测，移除所述真实世界物理对象的捕获的所述至少一个图像的所述显示。
11.一种用于显示图像的设备，包括被配置为使所述设备能够至少执行如权利要求1至10中的一项或多项所述的方法的装置。
12.一种用于显示图像的芯片组，包括根据权利要求11所述的设备。
13.一种用于显示图像的模块，包括根据权利要求11所述的设备。
14.一种用于显示图像的设备，包括根据权利要求11所述的设备。
15.一种头戴式显示器，包括根据权利要求11所述的设备。
16.一种计算机可读介质，所述计算机可读介质包括程序指令，用于使装置执行根据权利要求1至10中的任一项所述的方法。
CN201580048858.8A 2014-09-11 2015-09-11 用于显示图像的方法、设备和计算机可读介质 Active CN106716302B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14184455.5A EP2996017B1 (en) 2014-09-11 2014-09-11 Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
EP14184455.5 2014-09-11
PCT/FI2015/050595 WO2016038253A1 (en) 2014-09-11 2015-09-11 Method, apparatus and computer program for displaying an image

Publications (2)

Publication Number Publication Date
CN106716302A CN106716302A (zh) 2017-05-24
CN106716302B true CN106716302B (zh) 2021-04-13

Family

ID=51542183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580048858.8A Active CN106716302B (zh) 2014-09-11 2015-09-11 用于显示图像的方法、设备和计算机可读介质

Country Status (7)

Country Link
US (1) US10916057B2 (zh)
EP (1) EP2996017B1 (zh)
JP (1) JP6826029B2 (zh)
CN (1) CN106716302B (zh)
MX (1) MX2017003204A (zh)
WO (1) WO2016038253A1 (zh)
ZA (1) ZA201702365B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
US10665019B2 (en) 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
EP3299931A1 (en) * 2016-09-27 2018-03-28 Alcatel Lucent Altered-reality control method and altered-reality control system
US10168798B2 (en) * 2016-09-29 2019-01-01 Tower Spring Global Limited Head mounted display
EP3327544B1 (en) 2016-11-25 2021-06-23 Nokia Technologies Oy Apparatus, associated method and associated computer readable medium
US10839520B2 (en) * 2017-03-03 2020-11-17 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Eye tracking applications in computer aided diagnosis and image processing in radiology
US10409363B1 (en) 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
US10646767B2 (en) 2017-03-07 2020-05-12 vSports, LLC Mixed reality sport simulation and training system
US10204456B2 (en) * 2017-03-07 2019-02-12 vGolf, LLC Mixed reality golf simulation and training system
GB2555501B (en) 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
WO2018218253A1 (en) 2017-05-26 2018-11-29 vSports, LLC Mixed-reality kick tracking and simulation
WO2018227011A1 (en) 2017-06-07 2018-12-13 vSports, LLC Mixed-reality sports tracking and simulation
CN109804332B (zh) 2017-06-15 2020-08-14 腾讯科技（深圳）有限公司 即时预览沉浸式内容的***和方法
WO2018227505A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of connecting two different environments using hub
CN110915211A (zh) * 2017-07-21 2020-03-24 惠普发展公司，有限责任合伙企业 虚拟现实中的物理输入设备
US10983663B2 (en) * 2017-09-29 2021-04-20 Apple Inc. Displaying applications
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
EP3495771A1 (en) * 2017-12-11 2019-06-12 Hexagon Technology Center GmbH Automated surveying of real world objects
US10991138B2 (en) * 2017-12-22 2021-04-27 The Boeing Company Systems and methods for in-flight virtual reality displays for passenger and crew assistance
WO2019200615A1 (en) * 2018-04-20 2019-10-24 Nokia Shanghai Bell Co., Ltd. Apparatus, methods and computer programs for facilitating tuning of an antenna
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10600246B2 (en) * 2018-06-15 2020-03-24 Microsoft Technology Licensing, Llc Pinning virtual reality passthrough regions to real-world locations
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10769754B2 (en) * 2018-10-31 2020-09-08 Dolby Laboratories Licensing Corporation Virtual reality cinema-immersive movie watching for headmounted displays
US10824244B2 (en) * 2018-11-19 2020-11-03 Facebook Technologies, Llc Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US11422669B1 (en) 2019-06-07 2022-08-23 Facebook Technologies, Llc Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US11334212B2 (en) * 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
JP7242448B2 (ja) * 2019-07-03 2023-03-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実制御方法およびプログラム
CN114222942A (zh) * 2019-08-12 2022-03-22 奇跃公司 用于虚拟和增强现实的***和方法
CN113711175A (zh) 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
WO2021062278A1 (en) 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
JP7485527B2 (ja) 2020-03-19 2024-05-16 Ｌｉｎｅヤフー株式会社 提供装置、提供方法及び提供プログラム
CN112462937B (zh) * 2020-11-23 2022-11-08 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11783449B2 (en) * 2021-12-09 2023-10-10 Htc Corporation Method for adjusting displayed content based on host posture, host, and computer readable storage medium
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、***及存储介质
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
CN117827013B (zh) * 2024-03-05 2024-05-14 青岛三诚众合智能设备科技有限公司 基于图像处理的生产技能智能学习方法及***、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077572A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 画像表示装置
CN103995352A (zh) * 2013-02-14 2014-08-20 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US9595169B2 (en) * 2006-08-31 2017-03-14 Cfph, Llc Game of chance systems and methods
JP2010533006A (ja) * 2007-03-01 2010-10-21 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 仮想世界とコミュニケーションを取るためのシステムおよび方法
JP2009025918A (ja) 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
US8675025B2 (en) 2009-12-17 2014-03-18 Nokia Corporation Method and apparatus for providing control over a device display based on device orientation
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5834439B2 (ja) 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US20130257732A1 (en) 2012-03-29 2013-10-03 Robert Duffield Adaptive virtual keyboard
US9128921B2 (en) * 2012-05-31 2015-09-08 Blackberry Limited Touchscreen keyboard with corrective word prediction
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP2014164503A (ja) 2013-02-25 2014-09-08 Sharp Corp 情報端末、画像表示方法及びプログラム
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP2015114757A (ja) 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102332326B1 (ko) 2014-01-23 2021-11-30 소니그룹주식회사 화상 표시 장치 및 화상 표시 방법
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2016021747A1 (ko) * 2014-08-05 2016-02-11 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077572A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 画像表示装置
CN103995352A (zh) * 2013-02-14 2014-08-20 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Also Published As

Publication number Publication date
WO2016038253A1 (en) 2016-03-17
MX2017003204A (es) 2017-07-20
ZA201702365B (en) 2018-12-19
EP2996017A1 (en) 2016-03-16
EP2996017B1 (en) 2022-05-11
CN106716302A (zh) 2017-05-24
JP6826029B2 (ja) 2021-02-03
JP2017528834A (ja) 2017-09-28
US20170263056A1 (en) 2017-09-14
US10916057B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
CN106716302B (zh) 用于显示图像的方法、设备和计算机可读介质
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
US10585473B2 (en) Visual gestures
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN108604175B (zh) 装置和关联方法
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
KR20140142337A (ko) 증강 현실 광 가이드 디스플레이
CN108027707B (zh) 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
EP3702008A1 (en) Displaying a viewport of a virtual space
US20240248532A1 (en) Method and device for visualizing multi-modal inputs
US11782548B1 (en) Speed adapted touch detection
JP6999822B2 (ja) 端末装置および端末装置の制御方法
US20240019928A1 (en) Gaze and Head Pose Interaction
WO2024155767A1 (en) Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스
WO2022103741A1 (en) Method and device for processing user input for multiple devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant