CN110915211A - 虚拟现实中的物理输入设备 - Google Patents

虚拟现实中的物理输入设备 Download PDF

Info

Publication number
CN110915211A
CN110915211A CN201780093200.8A CN201780093200A CN110915211A CN 110915211 A CN110915211 A CN 110915211A CN 201780093200 A CN201780093200 A CN 201780093200A CN 110915211 A CN110915211 A CN 110915211A
Authority
CN
China
Prior art keywords
virtual reality
input device
window
physical
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093200.8A
Other languages
English (en)
Inventor
K·司马萨斯
堀井裕司
I·N·鲁滨孙
R·P·马丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN110915211A publication Critical patent/CN110915211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种示例***包括：相机，相机用于捕获至少一个物理输入设备的图像；虚拟现实(VR)环境显示部分，VR环境显示部分用于生成VR环境；窗口形成部分，窗口形成部分用于在VR环境中创建窗口，其中，VR环境中的窗口的位置与包括至少一个物理输入设备的交互区域的物理位置相对应；输入设备显示部分，输入设备显示部分用于形成来自相机的、至少一个物理输入设备的图像；以及VR头戴式设备，VR头戴式设备包括用于显示VR环境、窗口和至少一个物理输入设备的图像的合成图像的头戴式显示器。合成图像包括窗口内的至少一个物理输入设备的图像。

Description

虚拟现实中的物理输入设备
背景技术
虚拟现实正在包括商业和个人娱乐在内的众多应用中变得流行。在许多此类应用中，在虚拟现实(VR)头戴式设备中设置有VR显示器。VR头戴式设备可以由用户佩戴，其中，VR显示器位于至少一只眼睛上方。于是，用户可以通过他或她的头部的移动而在虚拟现实环境中四处移动。
附图说明
为了更全面地理解各种示例，现在参考以下结合附图进行的描述，在附图中：
图1图示了示例虚拟现实(VR)***；
图2图示了具有窗口的示例VR环境以及相应的示例物理输入设备；
图3图示了具有安装在示例VR头戴式设备中的相机的示例布置；
图4图示了具有相对于输入设备安装的相机的另一示例布置；
图5是图示了用于VR环境显示的示例方法的流程图；并且
图6图示了具有计算机可读存储介质的示例***的框图，计算机可读存储介质包括可由处理器执行以进行虚拟现实显示的指令。
具体实施方式
本文描述的各种示例涉及虚拟现实显示器。在各种示例中，VR头戴式设备包括显示器和处理器。处理器可以使显示器向用户呈现VR环境。在VR环境中形成窗口，窗口例如与物理输入设备(诸如，键盘或鼠标)的物理位置相对应。窗口在VR环境内的位置可以基于例如标识与物理输入设备的物理位置相对应的区域的标记。在此窗口内，处理器显示从相机接收的物理输入设备的图像。因此，当观看VR环境时，用户在与物理输入设备的物理位置大致相同的位置处观看到VR环境中的物理输入设备。进一步地，通过使用头戴式设备中的处理器在来自相机的图像中进行合成，可以显著减少显示延迟。
如上所述，在许多情况下，在虚拟现实(VR)头戴式设备中设置有VR显示器，VR头戴式设备可以由用户佩戴，其中，VR显示器位于至少一只眼睛上方。于是，用户可以通过他或她的头部的移动而在VR环境中四处移动。在一些情况下，用户可以与诸如键盘或鼠标等输入设备进行交互，作为虚拟现实体验的一部分。例如，用户可以在观看VR环境的同时向***提供输入。在VR环境内显示输入设备可以允许用户更无缝地将虚拟现实体验与物理设备结合起来，并且简化了在虚拟现实环境中使用传统用户输入设备的任务。
现在参考图1，图示了示例虚拟现实(VR)***100。图1的示例***100包括相机110、VR环境显示部分120、窗口形成部分130、输入设备显示部分140和头戴式设备150。在各种示例中，相机110可以是数码相机，以提供视频流。如下所述，在一些示例中，相机110可以被设置为头戴式设备150的一部分。在其他示例中，相机110可以设置在固定的物理位置处。在各种示例中，相机耦接至VR环境显示部分120、窗口形成部分130、输入设备显示部分140、或诸如VR头戴式设备等的头戴式设备150中的至少一个。VR环境显示部分120、窗口形成部分130和输入设备显示部分140可以合成图像以在头戴式设备150的头戴式显示器160上显示。VR环境显示部分120、窗口形成部分130和/或输入设备显示部分140可以实施为硬件、软件、固件或其组合。在一个示例中，VR环境显示部分120、窗口形成部分130或输入设备显示部分140中的至少一个在附接到头戴式设备130中的头戴式显示器140的处理器中实施。在另一示例中，VR环境显示部分120、窗口形成部分130和输入设备显示部分140中的每一个可以在头戴式设备的外部，例如，在经由电缆或无线地连接到头戴式设备150的PC中。
在各种示例中，头戴式显示器160可以包括针对每只眼睛的屏幕或屏幕部分。在一个示例中，头戴式显示器160包括屏幕，屏幕包括与用户的每只眼睛相对应的左眼部分和右眼部分。
在各种示例中，设置VR环境显示部分120以生成要在头戴式显示器160上显示的虚拟现实环境。在这方面，VR环境显示部分120可以从用户接收与期望的VR环境相关联的数据，例如，用户的位置和注视方向。数据可以与例如视频游戏或生产力应用程序(productivity application)相关联。在一个示例中，VR环境显示部分120使用数据来生成两个相应的图像，一个图像针对头戴式显示器160的左眼部分，并且另一个图像针对头戴式显示器160的右眼部分。如上所述，在一些示例中，VR环境显示部分120可以设置在头戴式设备150中(例如，在头戴式设备150的处理器中)，并且在其他示例中，可以设置在头戴式设备150的外部(例如，在连接到头戴式设备150的PC的处理器中)。
在各种示例中，设置窗口形成部分130以在由VR环境显示部分120生成的VR环境中形成窗口。如下更详细地描述的，由窗口形成部分130形成的窗口可以是透明区域，从透明区域移除VR环境，例如，以允许用户看到物理环境中的物体。此外，在一些示例中，窗口形成部分130可以设置在头戴式设备150中，并且在其他示例中，可以设置在头戴式设备150的外部。
在各种示例中，由窗口形成部分130形成的窗口与至少一个物理输入设备的物理位置相对应。至少一个物理输入设备的物理位置可以通过各种方式中的任何一种来确定，下面描述这些方式的示例。因此，VR环境中的窗口的位置与物理环境中的物理输入设备的位置相对应。物理输入设备可以是诸如键盘、鼠标、轨迹球、数字化手写板、触摸屏等各种输入设备中的任何一种。
在各种示例中，示例***100包括输入设备显示部分140。输入设备显示部分140可以使用来自相机110的至少一个物理输入设备(例如，键盘、鼠标、轨迹球、数字化手写板、触摸屏等)的图像。根据各种示例，输入设备显示部分140将至少一个物理输入设备放置在由窗口形成部分130在VR环境中形成的窗口内。头戴式显示器160可以显示包括由VR环境显示部分120提供的VR环境、由窗口形成部分130形成的窗口和由输入设备显示部分140提供的任何输入设备的合成图像。此外，在一些示例中，输入设备显示部分140可以设置在头戴式设备150中，并且在其他示例中，可设置在头戴式设备150的外部。在一个示例中，输入设备显示部分140设置在头戴式设备150中以显著减少延迟。
现在参考图2，图示了具有示例VR环境210和相应的物理环境250的示例布置200。在示例布置200中，示例VR环境210被图示为房间212。各种物体(例如，动画角色、家具等)可以被包括在所图示的VR环境210中。例如，VR环境210可以由诸如视频游戏等数据文件指定。示例VR环境210可以由例如图1的示例***100的VR环境显示部分120生成。图2的示例VR环境210包括在其中形成的窗口214。如上参考图1的示例所述，窗口214可以由图1的示例***100的窗口形成部分130形成。
在图2的示例布置200中，示例物理环境250包括例如在桌面上可用的各种部件。在图2的示例中，示例物理环境250包括监视器252、键盘254和鼠标256。如上所述，相机(例如，图1的相机110)可以捕获至少一个物理输入设备的图像。
在各种示例中，示例VR环境210中的窗口214可以由窗口形成部分130通过识别要在其中操作物理输入设备的交互区域(诸如，如图2所图示的交互区域258等)的位置和范围来形成。可以以各种方式来实现对交互区域258的识别。例如，在一个示例中，图1的示例***100的头戴式设备150可以设置有在物理环境中可由头戴式设备150或***100追踪的控制器。在一些示例中，可以将控制器(在图2中图示为标记260a至260d)放置成在校准过程期间划定交互区域258。在其他示例中，控制器可以保持在所图示的位置以实时地划定交互区域258。例如，一经识别交互区域258，窗口形成部分130可以将窗口214放置在VR环境210中的相应位置处。
在窗口214形成并且适当地放置在虚拟环境210中的情况下，输入设备显示部分140可以在至少一个物理设备的图像中进行合成。在这方面，相机可以捕获交互区域258的图像，交互区域258包含至少一个物理输入设备(诸如，键盘254或鼠标256)。由相机捕获的图像可以与虚拟现实环境合成在一起，并且在头戴式显示器160上显示给用户。
如上参考图1所述，在一些示例中，相机110可以设置在头戴式设备150内。图3图示了这样一个示例。现在参考图3，图示了具有安装在示例VR头戴式设备中的相机的示例布置300。在图3的示例中，示例布置300包括佩戴有VR头戴式设备320的用户310。用户310被示出为正在工作站330上工作，工作站330可以包括至少一个物理输入设备(诸如，键盘340和鼠标350)。图3的示例VR头戴式设备320包括相机，其中，相机的视野的至少一部分360包含交互区域370。在将相机物理地包括在头戴式设备320中的情况下，可能已经对相机进行校准，使得相机图像中的物体在经由头戴式显示器显示给用户时出现在与物体在现实世界中的位置相对应的位置。因此，交互区域370的由相机捕获的图像的位置与交互区域的物理位置和范围相对应，物理位置和范围又与由图1的窗口形成部分130在虚拟现实环境中形成的窗口相对应。VR头戴式设备320或其一部分(例如，图1的输入设备显示部分140)可以使用该窗口的边界将相机图像向下裁剪到与交互区域370相对应的部分360，并且将裁剪后的相机图像结合在虚拟现实环境的窗口内。
在其他示例中，图1的***100的相机110可以与头戴式设备150在物理上分离。图4图示了这样一个示例。现在参考图4，图示了具有相对于交互区域安装的相机的另一示例布置400。类似于图3的示例布置300，图4的示例布置400包括佩戴有VR头戴式设备420的用户410。用户410被示出为正在工作站430上工作，工作站430可以包括位于交互区域中的至少一个物理输入设备，诸如键盘440。示例布置400包括安装在工作站430上方的相机450。在各种示例中，相机450可以安装在附连至工作站的臂或另一部件上。在这方面，相机450的位置相对于交互区域是固定的，并且物理输入设备(例如，键盘440)可以在交互区域内四处移动。
在相机450与头戴式设备420分离的情况下，相机450和头戴式设备420的相应图像之间缺乏校准，这意味着用于虚拟现实环境的交互区域窗口不能用于限定相机图像中的交互区域。例如，在图4的示例中，相机450从头顶位置捕获键盘440的图像，同时VR头戴式设备被放置成与头顶位置成角度θ。在这种情况下，用于识别到图1的窗口形成部分130的交互区域的方法被扩展为类似地限定到输入设备显示部分140的区域。例如，这是通过在相机图像中识别用于描绘交互区域的控制器位置(通过形状识别、或者控制器上的闪光灯或添加的机器可读字形)来完成的。相机相对于交互区域是固定的，因此被识别为与交互区域相对应的相机图像部分保持固定。于是，输入设备显示部分140将此相机图像部分映射到虚拟现实环境中的交互区域的当前视图。在各种示例中，这可以通过变换(例如，拉伸和偏斜)相机图像部分以使其适配在交互区域的虚拟现实视图的轮廓内来完成。例如，在不变换相机图像的情况下，当在虚拟现实环境的窗口中显示物理输入设备的视图时，相机450和VR头戴式设备420的位置差异可能导致物理输入设备的视图不自然或失真。VR头戴式设备420可以通过例如以与角度θ相对应的方式在虚拟现实环境的窗口中拉伸键盘440的图像来补偿视角的差异。
根据本文描述的各种示例，将由图像捕获设备(例如，相机)捕获的物理输入设备的图像与VR头戴式设备中的虚拟现实环境相结合。例如，如上参考图1所述，输入设备显示部分140可以设置在头戴式设备150内。通过在VR头戴式设备内提供此功能，可以显著减少用户对物理输入设备进行的动作与在头戴式设备的显示器上对由相机捕获的那些动作的显示之间的延迟。
现在参考图5，流程图图示了用于VR环境显示的示例方法。图5的示例方法500包括形成虚拟现实环境(框510)。如上所述，VR环境的形成可以由VR头戴式设备中的处理器或与VR头戴式设备分离的另一处理器进行。在以上图1的示例中，可以形成VR环境以供示例***100的VR环境显示部分120显示。
示例方法500进一步地包括识别物理环境中的交互区域(框520)。如上所述，例如，可以通过使用VR头戴式设备可追踪或可识别的标记或控制器来识别交互区域。
图5的示例方法500进一步地包括在VR环境中形成窗口(框530)。在各种示例中，VR环境中的窗口的位置与物理环境中的交互区域的位置相对应。如图2的示例中所图示的，窗口214可以是在VR环境中创建的透明区域。
示例方法500进一步地包括从图像捕获设备接收交互区域中的至少一个物理输入设备的实时图像(框540)。在这方面，相机可以提供交互区域的实时(例如，基本上连续刷新的)图像。可以在交互区域内提供至少一个物理输入设备(例如，键盘、鼠标、轨迹球、数字化手写板、触摸屏等)，并且可以将至少一个物理输入设备包括在捕获的图像中。实时图像可以由VR头戴式设备中的处理器从相机中接收。示例方法包括显示VR环境和物理输入设备的实时图像(框550)。如上所述，物理输入设备被显示在形成在VR环境中的窗口内。VR环境和窗口中的实时图像可以被显示在VR头戴式设备的显示器上，诸如图1的示例***100的头戴式显示器160。
现在参考图6，图示了具有非暂态计算机可读存储介质的示例***的框图，非暂态计算机可读存储介质包括可由处理器执行以进行虚拟现实显示的指令。***600包括处理器610和非暂态计算机可读存储介质620。计算机可读存储介质620包括可由处理器610执行以进行本文描述的各种功能的示例指令621至622。在各种示例中，非暂态计算机可读存储介质620可以是各种存储设备中的任何一种，包括但不限于随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、闪速存储器、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)等。在各种示例中，处理器610可以是通用处理器、专用逻辑电路等。
示例指令包括形成合成图像指令621。在各种示例中，可以使用VR环境、窗口和至少一个物理输入设备的实时图像来生成合成图像。如上所述，VR环境中的窗口的位置与包括至少一个物理输入设备的交互区域的物理位置相对应。如上所述，可以通过例如使用标记来限定区域或使用形状识别来识别物理输入设备来确定交互区域的物理位置。
示例指令进一步包括显示合成图像指令622。如上所述，可以从与VR头戴式设备耦接的相机接收物理输入设备的实时图像，并且可以将该图像显示在VR环境中的窗口中。
因此，在各种示例中，用户可以在观看VR环境的同时观看到物理输入设备。用户在形成在VR环境中的窗口内观看到物理输入设备。进一步地，通过使用头戴式设备中的处理器，可以显著减少显示延迟。
各种示例的软件实施方式可以利用具有基于规则的逻辑和其他逻辑的标准编程技术来完成，以完成各种数据库搜索步骤或过程、相关步骤或过程、比较步骤或过程以及决策步骤或过程。
出于说明和描述的目的，已经呈现了各种示例的前述描述。前述描述并非旨在穷举的或限于所公开的示例，并且鉴于以上教导，修改和变型是可能的或者是可以从各种示例的实践中获取的。选择并描述本文所讨论的示例以便解释本公开的各种示例的原理和性质及其实际应用，以使得本领域技术人员能够在各种示例中以及在适合于设想的特定用途的各种修改的情况下利用本公开。本文描述的示例的特征可以以方法、装置、模块、***和计算机程序产品的所有可能组合来组合。
本文还应注意，尽管以上描述了示例，但是这些描述不应被视为具有限制意义。而是，在不脱离所附权利要求中限定的范围的情况下，可以进行多种变型和修改。

Claims (15)

1.一种***，包括：
相机，所述相机用于捕获至少一个物理输入设备的图像；以及
虚拟现实(VR)环境显示部分，所述虚拟现实环境显示部分用于生成虚拟现实环境；
窗口形成部分，所述窗口形成部分用于在所述虚拟现实环境中创建窗口，所述虚拟现实环境中的所述窗口的位置与包括所述至少一个物理输入设备的交互区域的物理位置相对应；
输入设备显示部分，所述输入设备显示部分用于形成来自所述相机的、所述至少一个物理输入设备的图像；以及
虚拟现实头戴式设备，所述虚拟现实头戴式设备包括头戴式显示器，所述头戴式显示器用于显示所述虚拟现实环境、所述窗口和所述至少一个物理输入设备的所述图像的合成图像，其中，所述合成图像包括所述窗口内的所述至少一个物理输入设备的所述图像。
2.如权利要求1所述的***，其中，所述至少一个物理输入设备包括键盘、鼠标、轨迹球、数字化手写板或触摸屏中的至少一个。
3.如权利要求1所述的***，其中，所述相机安装在所述虚拟现实头戴式设备中或相对于所述交互区域的固定位置处。
4.如权利要求1所述的***，其中，所述虚拟现实环境显示部分、所述窗口形成部分或所述输入设备显示部分中的至少一个设置在包括所述头戴式显示器的所述虚拟现实头戴式设备内。
5.如权利要求1所述的***，其中，所述相机提供所述至少一个物理输入设备的实时图像以在所述窗口内显示。
6.一种方法，包括：
由虚拟现实(VR)头戴式设备中的处理器形成虚拟现实环境；
确定包括至少一个物理输入设备的交互区域的物理位置；
在所述虚拟现实环境中形成窗口，所述虚拟现实环境中的所述窗口的位置与所述至少一个物理输入设备的物理位置相对应；
从图像捕获设备接收所述至少一个物理输入设备的实时图像；以及
在头戴式显示器上显示所述虚拟现实环境和所述至少一个物理设备的所述实时图像，其中，所述至少一个物理设备的所述实时图像位于所述窗口中。
7.如权利要求6所述的方法，其中，所述至少一个物理输入设备包括键盘、鼠标、轨迹球、数字化手写板或触摸屏中的至少一个。
8.如权利要求6所述的方法，其中，所述图像捕获设备安装在所述虚拟现实头戴式设备中。
9.如权利要求6所述的方法，其中，所述图像捕获设备安装在相对于所述交互区域的固定位置处。
10.如权利要求6所述的方法，其中，所述交互区域的物理位置是使用与所述虚拟现实头戴式设备耦接的控制器的被追踪的位置来确定的。
11.一种非暂态计算机可读存储介质，编码有可由计算***的处理器执行的指令，所述计算机可读存储介质包括用于进行以下操作的指令：
形成合成图像，所述合成图像包括虚拟现实(VR)环境、窗口和至少一个物理设备的实时图像，其中，所述虚拟现实环境中的所述窗口的位置与包括所述至少一个物理输入设备的交互区域的物理位置相对应；以及
在头戴式显示器上显示所述合成图像，其中，所述至少一个物理设备的所述实时图像位于所述窗口中，
其中，所述处理器位于包括所述头戴式显示器的虚拟现实(VR)头戴式设备中。
12.如权利要求11所述的非暂态计算机可读存储介质，其中，所述至少一个物理输入设备包括键盘、鼠标、轨迹球、数字化手写板或触摸屏中的至少一个。
13.如权利要求11所述的非暂态计算机可读存储介质，其中，所述实时图像是从安装在所述虚拟现实头戴式设备中的图像捕获设备接收的。
14.如权利要求11所述的非暂态计算机可读存储介质，其中，所述实时图像是从安装在相对于所述交互区域的固定位置处的图像捕获设备接收的。
15.如权利要求11所述的非暂态计算机可读存储介质，其中，所述交互区域的物理位置是使用与所述头戴式显示器耦接的被追踪的控制器来确定的。
CN201780093200.8A 2017-07-21 2017-07-21 虚拟现实中的物理输入设备 Pending CN110915211A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/043391 WO2019017976A1 (en) 2017-07-21 2017-07-21 PHYSICAL INPUT DEVICE IN VIRTUAL REALITY

Publications (1)

Publication Number Publication Date
CN110915211A true CN110915211A (zh) 2020-03-24

Family

ID=65015989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093200.8A Pending CN110915211A (zh) 2017-07-21 2017-07-21 虚拟现实中的物理输入设备

Country Status (3)

Country Link
US (1) US11137824B2 (zh)
CN (1) CN110915211A (zh)
WO (1) WO2019017976A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189059B2 (en) * 2019-07-17 2021-11-30 Apple Inc. Object tracking for head-mounted devices
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
US20220229534A1 (en) * 2020-04-08 2022-07-21 Multinarity Ltd Coordinating cursor movement between a physical surface and a virtual surface
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169366A (zh) * 2011-03-18 2011-08-31 汤牧天 三维立体空间中的多目标跟踪方法
US20130027572A1 (en) * 2011-07-27 2013-01-31 Google Inc. Head-Mounted Display That Displays A Visual Representation Of Physical Interaction With An Input Interface Located Outside Of The Field Of View
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
CN106156769A (zh) * 2016-07-14 2016-11-23 上海摩象网络科技有限公司 基于特征频率光学***的多目标识别技术
WO2017053462A1 (en) * 2015-09-23 2017-03-30 Integenx Inc. Systems and methods for live help
CN106575151A (zh) * 2014-06-17 2017-04-19 奥斯特豪特集团有限公司 用于头戴式计算的外部用户接口
US20170124765A1 (en) * 2015-10-28 2017-05-04 Fujitsu Limited Control method and information processing system
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
CN106886218A (zh) * 2017-03-05 2017-06-23 长沙修恒信息科技有限公司 一种基于机器视觉的自动追踪防护方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US20090040296A1 (en) * 2007-08-06 2009-02-12 Moscato Jonathan D Head mounted display assembly
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US20100182340A1 (en) 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US20140240354A1 (en) 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
US20160027214A1 (en) 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
KR20170055908A (ko) * 2015-11-12 2017-05-22 최해용 모자형 가상현실 디스플레이 영상시스템
CN105589562A (zh) * 2016-03-22 2016-05-18 京东方科技集团股份有限公司 一种虚拟现实设备和虚拟现实***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169366A (zh) * 2011-03-18 2011-08-31 汤牧天 三维立体空间中的多目标跟踪方法
US20130027572A1 (en) * 2011-07-27 2013-01-31 Google Inc. Head-Mounted Display That Displays A Visual Representation Of Physical Interaction With An Input Interface Located Outside Of The Field Of View
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
CN106575151A (zh) * 2014-06-17 2017-04-19 奥斯特豪特集团有限公司 用于头戴式计算的外部用户接口
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
WO2017053462A1 (en) * 2015-09-23 2017-03-30 Integenx Inc. Systems and methods for live help
US20170124765A1 (en) * 2015-10-28 2017-05-04 Fujitsu Limited Control method and information processing system
CN106156769A (zh) * 2016-07-14 2016-11-23 上海摩象网络科技有限公司 基于特征频率光学***的多目标识别技术
CN106886218A (zh) * 2017-03-05 2017-06-23 长沙修恒信息科技有限公司 一种基于机器视觉的自动追踪防护方法

Also Published As

Publication number Publication date
WO2019017976A1 (en) 2019-01-24
US11137824B2 (en) 2021-10-05
US20200387215A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US11137824B2 (en) Physical input device in virtual reality
US10810797B2 (en) Augmenting AR/VR displays with image projections
US9947141B2 (en) Method of image processing for an augmented reality application
US11315287B2 (en) Generating pose information for a person in a physical environment
US9460340B2 (en) Self-initiated change of appearance for subjects in video and images
US9972130B2 (en) Apparatus and method for implementing augmented reality by using transparent display
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
CN111273766B (zh) 用于生成链接到物品模拟现实表示的示能表示的方法、设备和***
US11212501B2 (en) Portable device and operation method for tracking user's viewpoint and adjusting viewport
JP2018533124A (ja) 注視仮想オブジェクト識別モジュール、注視半透過性を実現するためのシステム、および関連する方法
JP7419003B2 (ja) 情報表示装置、情報表示方法及び情報表示システム
US11682045B2 (en) Augmented reality advertisements on objects
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
GB2525304B (en) Interactive information display
CN110796116A (zh) 多面板显示***、具有多面板显示***的车辆及显示方法
CN110597397A (zh) 增强现实的实现方法、移动终端及存储介质
US11703682B2 (en) Apparatus configured to display shared information on plurality of display apparatuses and method thereof
US11182976B2 (en) Device for influencing virtual objects of augmented reality
JP7258620B2 (ja) 画像処理システム、及び画像処理方法
CN114299262A (zh) 增强现实ar场景的展示方法及装置
US10482641B2 (en) Virtual reality display
US10783853B2 (en) Image provision device, method and program that adjusts eye settings based on user orientation
JP6762544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2023048018A1 (ja) 表示装置、表示装置の制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324

RJ01 Rejection of invention patent application after publication