CN111989643A - 从触摸表面设备向虚拟现实设备的输入 - Google Patents

从触摸表面设备向虚拟现实设备的输入 Download PDF

Info

Publication number
CN111989643A
CN111989643A CN201880092460.8A CN201880092460A CN111989643A CN 111989643 A CN111989643 A CN 111989643A CN 201880092460 A CN201880092460 A CN 201880092460A CN 111989643 A CN111989643 A CN 111989643A
Authority
CN
China
Prior art keywords
touch screen
screen device
processor
touch
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880092460.8A
Other languages
English (en)
Inventor
堀井裕司
M·温基普拉姆
I·N·鲁滨孙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN111989643A publication Critical patent/CN111989643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在示例实施方式中，提供了虚拟现实(VR)***。该VR***包括头戴式显示器(HMD)、手戴式接口、无线通信接口和处理器。该HMD用于显示计算机生成的人工世界。该无线通信接口用于建立无线通信路径。该处理器通信地耦接至该HMD、手戴式接口和无线通信接口。该处理器用于接收触摸屏设备被该HMD或该手戴式设备中的***设备定位的指示，以通过该无线通信接口建立和该触摸屏设备的无线连接，并通过该触摸屏设备接收输入。

Description

从触摸表面设备向虚拟现实设备的输入
背景技术
虚拟现实(VR)***是允许用户体验人工世界的可穿戴的交互***。用户可以通过VR***的显示器在视觉上看到计算机生成的世界。VR***可以提供娱乐、模拟等。例如，人工世界可以是用于娱乐的视频游戏的一部分。在另一个示例中，VR世界可以是模拟，以对员工进行公司环境中的程序或过程的培训。
附图说明
图1是具有本公开的触摸表面设备的虚拟现实***的示例的框图；
图2示出了本公开的虚拟现实***的框图；
图3示出了本公开的虚拟现实***的虚拟现实显示器中的触摸表面设备的示例显示；
图4是用于将虚拟现实设备连接到触摸表面设备以从触摸表面设备接收输入的示例方法的流程图；以及
图5是存储有由本公开的处理器执行的指令的示例非暂态计算机可读存储介质的框图。
具体实施方式
本文描述的示例提供了可以连接到触摸表面设备并从触摸表面设备接收输入的虚拟现实(VR)***。如上所述，VR***是允许用户体验人工世界的可穿戴的交互***。用户可以通过VR***的显示器在视觉上看到计算机生成的世界。
在某些实例中，在VR***的人工世界中，使用触摸屏设备提供输入可以比使用手势更有效。但是，当用户佩戴VR***的头戴式显示器(HMD)时，用户可能无法看到现实世界的周围环境(可能包括触摸屏设备)。
本文的示例提供了一种VR***，当用户参与VR***的人工世界时，该VR***可用于自动定位附近的触摸表面设备。因此，用户可以在VR***的人工世界中定位触摸屏设备，自动连接到触摸屏设备，并使用触摸屏设备提供输入。换句话说，用户不需要移除VR***的HMD即可找到并连接到触摸屏设备。
图1示出了本公开的VR***100的框图。在一个示例中，VR***100可以包括头戴式显示器(HMD)102、手戴式接口104和触摸屏设备106。VR***100可以包括处理器108，该处理器108可以经由有线或无线连接通信地耦接至手戴式接口104。在一个示例中，处理器108可以位于HMD 102的外部。在一个示例中，如图1所示，处理器108可以被集成为HMD 102的部分。如下所述，处理器108可以执行存储在存储器中的各种指令和/或功能。
如上所述，有时使用触摸屏设备可以是比经由手戴式接口104使用手势更准确的向HMD 102提供输入的方式。然而，当HMD 102是激活的并且以虚拟现实(VR)模式在显示器112上显示计算机生成的人工世界时，用户可能无法看到触摸屏设备106位于何处。
在一个示例中，触摸屏设备106可以具有可由HMD 102和/或手戴式接口104检测到的标记120。当激活VR模式时，除了标记120之外，房间中的其他对象都不会出现在显示器112中。
在一个示例中，标记120可以是可以由耦接至HMD 102的相机110(例如，红、绿、蓝(RGB)摄像机、红外相机等)检测到的预定义的动态标记。例如，用户可以使用HMD102环视房间，以查看预定义的动态标记是否出现在显示器112中。与静态或固定代码相反，预定义的动态标记可以是不断变化的标记或代码。预定义的动态标记的形状可以周期性地改变，预定义的动态标记的颜色可以周期性地改变，预定义的动态标记内的代码可以周期性地改变，等等。
在一示例中，标记120可以是特定波长的光的发射。例如，相机110可以是红外相机，并且可以检测由触摸屏设备106发射的人眼不可见光的红外波长，从而不会分散VR***100的非用户的注意力。光的红外波长可以允许VR***100的非用户将触摸屏设备106用作传统设备，同时允许相机110定位触摸屏设备106。可以在显示器112上示出光的红外波长，使得用户可以朝触摸屏设备106移动。
在一示例中，触摸屏设备106可以向VR***100的处理器108注册。因此，VR***100可以知道触摸屏设备106的显示器的尺寸。HMD 102或手戴式接口104可以发射信号以唤醒触摸屏设备106。标记120可以是触摸屏设备106的显示器的辉光。然后，相机110可以通过搜索从屏幕发出的光来识别触摸屏设备106，该屏幕具有与向VR***100注册的触摸屏设备106相同的尺寸。
在一个示例中，手戴式接口104可以用于在没有标记120的情况下定位触摸屏设备106。在一个示例中，手戴式接口104可以包括发射器114。发射器114可以是广播无线信号的无线发射器。
当触摸屏设备106接收无线信号时，触摸屏设备106可以发送由接收器116接收的响应信号。接收器116可以是从触摸屏设备106接收响应信号的无线接收器。这样的无线链路的示例可以包括蓝牙、射频识别(RFID)、近场通信(NFC)等。在一个示例中，可以基于从触摸屏设备106接收响应信号的时间来计算到触摸屏设备106的距离。当接收到响应信号时，可以在显示器112中示出触摸屏设备106的形象化符号(avatar)。随着用户进一步远离或靠近触摸屏设备106，该形象化符号可以变得更小或更大。
在一个示例中，手戴式接口104可以包括触觉反馈118。触觉反馈118可以是当手戴式接口104位于触摸屏设备106上方或预定距离(例如几英寸)内时提供反馈(例如，振动或嗡嗡声)的部件。在一示例中，触觉反馈的强度可以变化并且与检测到的设备接近度成比例。因此，当触觉反馈118提供恒定反馈时，用户可以定位并抓住触摸屏设备106。
在一示例中，在用户完成使用触摸屏设备106之后，用户可以将触摸屏设备106放置在某个位置。VR***100可以记住触摸屏设备106被放置的位置，使得下次用户想要定位和使用触摸屏设备106时，可以更快地定位触摸屏设备106。
一旦定位触摸屏设备106，就可以拿持触摸屏设备106。相机110可以用于检测触摸屏设备106的取向。在一示例中，触摸屏设备106可以具有可以检测触摸屏设备106的取向的传感器。触摸屏设备106的取向可以被传送至处理器108用于显示。在触摸屏设备106被定位，由用户拿持并且检测到取向之后，触摸屏设备106可以通信地耦接至HMD102。触摸屏设备106还可以以检测到的取向显示在计算机生成的人工世界中，如下面进一步详细讨论的。然后，触摸屏设备106可以用于向显示器112上显示的计算机生成的人工世界提供输入。
图2示出了VR***200的框图。VR***200可以包括与图1所示的VR***100类似的部件。在一个示例中，HMD 102可以通信地耦接至处理器108。当HMD 102以VR模式运行时，HMD 102可以显示计算机生成的人工世界。换言之，当用户穿着HMD102并在VR模式下与计算机生成的人工世界互动时，用户可能无法看到他或她的周围环境。
处理器108还可以通信地耦接至手戴式接口104。如上所述，处理器108可以经由有线或无线连接与手戴式接口104通信。手戴式接口104可以被戴在用户的手的背部周围，以向处理器108提供运动检测、姿势检测等。
处理器108也可以通信地耦接至无线通信接口202。无线通信接口202可以建立和触摸屏设备106的无线连接204。然后，处理器108可以通过无线连接204从触摸屏设备106接收输入。
在一个示例中，如上所述，触摸屏设备106可以向由处理器108执行的VR应用程序注册。在一个示例中，与用户相关联或由用户拥有的多个不同的触摸屏设备106可以被注册到VR***100。例如，用户可以有在计算机生成的人工世界中使用的触摸屏电话和触摸屏平板设备。
除了了解触摸屏设备106的尺寸之外，该注册过程还可用于在以HMD 102的VR模式工作的触摸屏设备106上下载应用程序。例如，当触摸屏设备106被定位时，该应用可以允许触摸屏设备106自动建立与处理器108的无线连接204。
该应用程序还可以允许触摸屏设备106追踪显示器的哪些位置(例如，x-y坐标)被触摸并将位置信息发送到处理器108。处理器108然后可以识别在计算机生成的人工世界中显示的触摸屏设备106的形象化符号上显示的触摸输入。触摸输入可以与功能相关联，并且可以在HMD 102的VR模式期间在计算机生成的人工世界中执行该功能。
图3示出了VR***100的HMD 102中的触摸屏设备106的形象化符号306的示例显示器112。例如，在定位了触摸屏设备106并且接收到用户正在握住触摸屏设备106的指示之后，显示器112可以示出触摸屏设备106的形象化符号306。形象化符号306可以在用户握住触摸屏设备106的取向上示出触摸屏设备106。形象化符号306还可以示出图形用户界面(GUI)308的触摸输入310、312和314。
形象化符号306的尺寸可以类似于触摸屏设备106的尺寸。GUI 308的大小可以类似于将在触摸屏设备106上显示的GUI的大小。触摸输入310、312和314的数量和大小可以是触摸屏设备106的大小或尺寸的函数。
如图3所示，触摸屏设备106可以被驱动并且是激活的，但是显示空白屏幕。换言之，触摸屏设备106尽管被激活并连接到HMD 102，但是可能不显示任何信息或GUI。在一些示例中，触摸屏设备106可以是没有显示器的触摸屏设备。由于触摸屏设备106不显示任何信息，因此可以与VR***100一起使用没有显示器的触摸屏设备。
然而，在示出计算机生成的人工世界的显示器112中，形象化符号306可以显示具有触摸输入310、312和314的GUI 308。应当注意，尽管在图3中示出了三个触摸输入，但是，可以在形象化符号306中显示任意数量的触摸输入。在计算机生成的人工世界中，用户可能想要选择触摸输入310。用户可以触摸触摸屏设备106上与形象化符号306中的触摸输入310的位置相关联的位置。触摸屏设备106可以检测触摸并且记录被触摸的位置。可以经由无线连接204将该位置发送到HMD 102的处理器108。
在一个示例中，触摸屏设备106可以显示与由触摸屏设备106执行的应用或操作***相关联的图像。触摸屏设备106上的图像可以被发送到处理器108以在显示器112上显示。因此，具有触摸输入310、312和314的GUI 308可以是在触摸屏设备106上显示的内容。换言之，显示器112可以显示由触摸屏设备106实际显示的内容。这可以允许用户在计算机生成的人工世界中使用触摸屏设备106时在触摸屏设备106上查看消息、通知等。
处理器108可以基于从触摸屏设备106接收的位置信息来确定选择了哪个触摸输入。例如，处理器108可以基于从触摸屏设备接收的位置信息确定选择了触摸输入310。
然后，处理器108可以确定与触摸输入310相关联的功能。例如，触摸输入310、312和314可以与可以在计算机生成的世界中执行的不同功能相关联。例如，计算机生成的世界可能是建筑模拟。每个触摸输入310、312和314可以是触摸输入，以使用不同的工具、使用不同的车辆、构建不同的结构等。触摸输入310可以与拆除结构的功能相关联。处理器108可以确定触摸输入310被选择以拆除一个结构。处理器108然后可以提示用户在计算机生成的人工世界中选择结构，并基于触摸输入310的选择而拆除选择的结构。
应当注意，输入310、312和314可以与不同应用中的其他功能相关联。例如，计算机生成的人工世界可以是视频游戏，旅行模拟器等，并且输入310、312和314可以在不同的计算机生成的人工世界中执行不同的功能。
因此，VR***100可以允许用户在使用HMD 102的同时定位触摸屏设备106。因此，用户不需要停用VR模式并移除HMD 102来定位触摸屏设备106。另外，触摸屏设备106可以连接到HMD 102，并用于在计算机生成的人工世界中提供触摸输入。例如，触摸屏设备106的形象化符号306可以被显示在计算机生成的人工世界中，并且被用来与计算机生成的人工世界交互或执行不同的功能。
图4示出了用于将虚拟现实设备连接至触摸表面设备以从触摸表面设备接收输入的示例方法400的流程图。在一个示例中，方法400可以由虚拟现实***100或图5所示的并在下文所述的装置500执行。
在框402处，方法400开始。在框404处，方法400接收到定位的触摸屏设备被拿持的指示。例如，用户可能想要使用触摸屏设备来向虚拟现实***中的虚拟现实世界提供输入。当在虚拟现实世界中时，用户可能无法看到他或她在现实世界中的周围环境。
因此，可以使用上述方法之一来定位触摸屏设备。在一示例中，指示可以是在定位和/或拿持触摸屏设备时触发的触觉反馈。在一示例中，指示可以是当触摸屏设备被定位和/或拿持时的听觉指示。例如，可以在虚拟现实***的音频中播放提示音或音调。在一示例中，指示可以是当触摸屏设备被定位和/或拿持时的视觉指示。例如，触摸屏设备的轮廓可以闪烁，或者可以在虚拟现实***中显示触摸屏设备。
在框406处，方法400在计算机生成的人工世界中生成触摸屏设备的形象化符号，并使该形象化符号显示在虚拟现实(VR)***的头戴式显示器(HMD)中，该显示器显示计算机生成的人工世界。例如，可以在VR***的HMD中生成并显示触摸屏设备的图形表示。
在一个示例中，触摸屏设备的形象化符号可以显示在真实触摸屏设备上未示出的图像或界面。例如，现实中的触摸屏设备可能已打开电源，但显示空白屏幕。然而，触摸屏设备的形象化符号可以显示具有可以选择的不同按钮的菜单。VR***可以通过注册过程了解触摸屏设备的尺寸。该注册过程还可以包括在与VR***一起工作的触摸屏设备上下载应用程序，以使触摸屏设备可以识别触摸屏设备的某些区域的选择并将该选择传达给VR***。
因此，VR***可以了解如何在触摸屏设备的形象化符号中确定菜单和按钮的大小和位置。按钮在触摸屏设备的形象化符号中的位置可以对应于真实触摸屏设备上的相同位置。
在框408处，方法400建立和触摸屏设备的无线连接。触摸屏设备可以与虚拟现实***无线通信以交换数据、输入和输出。在一个示例中，无线连接可以是蓝牙低功耗(BLE)连接、Wi-Fi连接、局域网(LAN)连接等。当触摸屏设备被定位并确认被拿持时，VR***可以自动启动配对过程或建立无线连接过程。
在框410处，方法400在计算机生成的人工世界中接收对触摸屏设备的形象化符号上的触摸输入的选择。例如，用户可能正在计算机生成的人工世界中玩游戏。触摸屏设备可以用于在游戏中进行选择。用户可以通过与计算机生成的人工世界中的触摸屏设备的形象化符号的交互来触摸实际触摸屏设备的屏幕的区域。
真实触摸屏设备可以检测用户触摸真实触摸屏设备的显示器的位置。该位置可以被发送到VR***。VR***可以将触摸屏设备的形象化符号上的触摸输入与被触摸的真实触摸屏设备的位置相关联。
在框412处，方法400执行与计算机生成的人工世界中的触摸输入相关联的功能。在一个示例中，触摸屏设备的形象化符号中的每个按钮可以与计算机生成的人工世界内的功能相关联。当在框410中接收到触摸输入的选择时，VR***可以识别与所选择的触摸输入相关联的功能。使用上面的游戏示例，在计算机生成的人工世界中选择触摸输入可以配备特定的武器。因此，当在计算机生成的人工世界中选择武器触摸输入时，特定的武器可以被装备在计算机生成的人工世界中。在框414处，方法400结束。
图5示出了装置500的示例。在一个示例中，装置500可以是虚拟现实***100。在一个示例中，装置500可以包括处理器502和非暂态计算机可读存储介质504。非暂态计算机可读存储介质504可以包括指令506、508、510、512和514，它们在由处理器502执行时使处理器502执行各种功能。
在一个示例中，指令506可以包括在虚拟现实(VR)***的头戴式显示器(HMD)显示计算机生成的人工世界的同时定位触摸屏设备的指令。指令508可以包括建立和触摸屏设备的无线连接的指令。指令510可以包括在计算机生成的人工世界中显示触摸屏设备的形象化符号的指令，其中，该形象化符号显示与在触摸屏设备上显示的触摸输入不同的触摸输入。指令512可以包括用于接收在形象化符号上显示的触摸输入的选择的指令。指令514可以包括用于执行与计算机生成的人工世界中的触摸输入相关联的功能的指令。
将意识到，上述公开以及其他特征和功能的变型或其替代可以组合成许多其他不同的***或应用。本领域技术人员可以随后进行其中各种目前无法预见或无法预料的替换、修改、变化或改进，这些替换、修改、变化或改进也将由所附权利要求书涵盖。

Claims (15)

1.一种虚拟现实(VR)***，包括：
头戴式显示器(HMD)，以显示计算机生成的人工世界；
手戴式接口；
无线通信接口，以建立无线通信路径；和
处理器，所述处理器通信地耦接至所述HMD、所述手戴式接口和所述无线通信接口，所述处理器接收触摸屏设备被所述HMD或所述手戴式设备中的***设备定位的指示，以通过所述无线通信接口建立和所述触摸屏设备的无线连接，并通过所述触摸屏设备接收输入。
2.据权利要求1所述的VR***，其中，所述***设备包括：
相机，所述相机耦接至所述HMD并且通信地耦接至所述处理器，以检测所述触摸屏设备上的预定义的动态标记，并将所述预定义的动态标记传送至所述处理器作为所述指示。
3.据权利要求1所述的VR***，其中，所述***设备包括：
相机，所述相机耦接至所述HMD并且通信地耦接至所述处理器，以检测由所述触摸屏设备发射的人眼不可见的光的波长，并将检测到的所述光的波长传送至所述处理器以作为所述指示。
4.据权利要求1所述的VR***，其中，所述***设备包括：
位于所述手戴式接口中的无线发射器，以发射无线信号；和
位于所述手戴式接口中的无线接收器，以响应于所述触摸屏设备接收到所述无线信号而从所述触摸屏设备接收响应信号。
5.根据权利要求4所述的VR***，其中，所述手戴式接口包括触觉反馈设备，以在所述手戴式接口位于所述触摸屏设备上方时提供触觉反馈。
6.据权利要求1所述的VR***，其中，当所述触摸屏设备被定位时，所述处理器生成所述触摸屏设备的形象化符号，并且所述HMD在所述计算机生成的人工世界中显示所述形象化符号。
7.据权利要求6所述的VR***，其中，所述处理器为所述触摸屏设备的所述形象化符号生成触摸屏输入按钮，并且所述HMD在所述计算机生成的人工世界中的所述触摸屏设备的所述形象化符号上显示所述触摸屏输入按钮。
8.一种用处理器可执行的指令编码的非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括：
在虚拟现实(VR)***的头戴式显示器(HMD)显示计算机生成的人工世界时，定位触摸屏设备的指令；
建立和所述触摸屏设备的无线连接的指令；
在所述计算机生成的人工世界中显示所述触摸屏设备的形象化符号的指令，其中，所述形象化符号显示的触摸输入与在所述触摸屏设备上显示的触摸输入不同；
接收在所述形象化符号上显示的触摸输入的选择的指令；和
在所述计算机生成的人工世界中执行与所述触摸输入相关联的功能的指令。
9.据权利要求8所述的非暂态计算机可读存储介质，其中，所述定位所述触摸屏设备的指令包括：
在所述触摸屏设备上检测预定义的动态标记的指令。
10.据权利要求8所述的非暂态计算机可读存储介质，其中，所述定位所述触摸屏设备的指令包括：
检测所述触摸屏设备发射的人眼不可见的光的波长的指令。
11.据权利要求8所述的非暂态计算机可读存储介质，其中，所述定位所述触摸屏设备的指令包括：
发射由所述触摸屏设备接收的无线信号的指令；
响应于所述触摸屏设备接收到所述无线信号而从所述触摸屏设备接收响应信号的指令；
基于所述响应信号计算到所述触摸屏设备的距离的指令。
12.据权利要求11所述的非暂态计算机可读存储介质，还包括：
随着所述距离改变，根据所述距离改变所述触摸屏的所述形象化符号的大小的指令。
13.一种方法，包括：
由处理器接收被定位的触摸屏设备正在被拿持的指示；
由所述处理器在计算机生成的人工世界中生成所述触摸屏设备的形象化符号，并使所述形象化符号显示在显示所述计算机生成的人工世界的虚拟现实(VR)***的头戴式显示器(HMD)中；
由所述处理器建立和所述触摸屏设备的无线连接；
由所述处理器接收在所述计算机生成的人工世界中的所述触摸屏设备的所述形象化符号上的触摸输入的选择；和
由所述处理器执行与所述计算机生成的人工世界中的所述触摸输入相关联的功能。
14.根据权利要求13所述的方法，还包括：
由所述处理器通过在所述VR***的存储器中存储多个触摸屏设备中的每个触摸屏设备的标识和屏幕大小，来注册与用户相关联的所述多个触摸屏设备。
15.根据权利要求13所述的方法，还包括：
由所述处理器发射无线信号以唤醒所述多个触摸屏设备中的触摸屏设备；和
由所述处理器检测大约等于所述触摸屏设备的所述屏幕大小的光的区域以定位所述触摸屏设备。
CN201880092460.8A 2018-04-19 2018-04-19 从触摸表面设备向虚拟现实设备的输入 Pending CN111989643A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/028377 WO2019203837A1 (en) 2018-04-19 2018-04-19 Inputs to virtual reality devices from touch surface devices

Publications (1)

Publication Number Publication Date
CN111989643A true CN111989643A (zh) 2020-11-24

Family

ID=68240283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092460.8A Pending CN111989643A (zh) 2018-04-19 2018-04-19 从触摸表面设备向虚拟现实设备的输入

Country Status (4)

Country Link
US (1) US11455035B2 (zh)
EP (1) EP3756074A4 (zh)
CN (1) CN111989643A (zh)
WO (1) WO2019203837A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363616A (zh) * 2020-10-27 2021-02-12 上海影创信息科技有限公司 分体式vr/ar装置
US11927752B2 (en) * 2022-02-16 2024-03-12 Htc Corporation Control method and mobile device in immersive system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062022A1 (en) * 2013-09-04 2015-03-05 Qualcomm Incorporated Wearable display device use-based data processing control
US20150241969A1 (en) * 2013-09-13 2015-08-27 Nod, Inc. Methods and Systems for Integrating One or More Gestural Controllers into a Head Mounted Wearable Display or Other Wearable Devices
KR20160066451A (ko) * 2014-12-02 2016-06-10 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
US20160274662A1 (en) * 2015-03-20 2016-09-22 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
CN106774888A (zh) * 2016-12-15 2017-05-31 北京国承万通信息科技有限公司 具有定位功能的***及其设备
US20170262056A1 (en) * 2016-03-11 2017-09-14 Sony Interactive Entertainment Inc. Selection of optimally positioned sensors in a glove interface object
US20170329419A1 (en) * 2016-05-11 2017-11-16 Google Inc. Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN107407965A (zh) * 2015-03-09 2017-11-28 谷歌公司 连接至移动计算设备的虚拟现实头戴设备
KR20180010845A (ko) * 2016-07-22 2018-01-31 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012174208A (ja) * 2011-02-24 2012-09-10 Sony Corp 情報処理装置、情報処理方法、プログラム及び端末装置
US9152226B2 (en) 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
KR101991133B1 (ko) 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
EP3092631A4 (en) 2014-02-24 2017-09-27 Sony Corporation Smart wearable devices and methods for optimizing output
US9420075B2 (en) 2014-07-16 2016-08-16 DODOcase, Inc. Virtual reality viewer and input mechanism
US9811649B2 (en) * 2014-11-13 2017-11-07 Intel Corporation System and method for feature-based authentication
US20170061700A1 (en) 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10083544B2 (en) 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US9886086B2 (en) 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
US10248307B2 (en) 2015-09-28 2019-04-02 Adobe Inc. Virtual reality headset device with front touch screen
KR102279063B1 (ko) * 2016-03-31 2021-07-20 삼성전자주식회사 이미지 합성 방법 및 그 전자장치
US20170293351A1 (en) 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
US20170300116A1 (en) 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
US10237509B1 (en) * 2016-08-05 2019-03-19 Apple Inc. Systems with keyboards and head-mounted displays
KR20180055660A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20180055661A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062022A1 (en) * 2013-09-04 2015-03-05 Qualcomm Incorporated Wearable display device use-based data processing control
US20150241969A1 (en) * 2013-09-13 2015-08-27 Nod, Inc. Methods and Systems for Integrating One or More Gestural Controllers into a Head Mounted Wearable Display or Other Wearable Devices
KR20160066451A (ko) * 2014-12-02 2016-06-10 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
CN107407965A (zh) * 2015-03-09 2017-11-28 谷歌公司 连接至移动计算设备的虚拟现实头戴设备
US20160274662A1 (en) * 2015-03-20 2016-09-22 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
US20170262056A1 (en) * 2016-03-11 2017-09-14 Sony Interactive Entertainment Inc. Selection of optimally positioned sensors in a glove interface object
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
US20170329419A1 (en) * 2016-05-11 2017-11-16 Google Inc. Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
KR20180010845A (ko) * 2016-07-22 2018-01-31 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
CN106774888A (zh) * 2016-12-15 2017-05-31 北京国承万通信息科技有限公司 具有定位功能的***及其设备

Also Published As

Publication number Publication date
WO2019203837A1 (en) 2019-10-24
US20220011861A1 (en) 2022-01-13
US11455035B2 (en) 2022-09-27
EP3756074A4 (en) 2021-10-20
EP3756074A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
US20200213534A1 (en) Selective identification and order of image modifiers
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
US10379605B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US9950258B2 (en) System, program, and method for operating screen by linking display and plurality of controllers connected via network
JP2013141207A (ja) ハンドヘルドプロジェクタを用いたマルチユーザインタラクション
CN102033702A (zh) 影像显示装置及其显示控制方法
EP3531246A1 (en) Systems and methods for haptifying virtual objects using smart stickers
CN111989643A (zh) 从触摸表面设备向虚拟现实设备的输入
CN103430131A (zh) 用于基于关联的标识的方法、***和电子设备
KR20180075099A (ko) Hmd 장치 및 그의 제어 방법
CN107148604B (zh) 电子装置和反馈提供方法
CN109144598A (zh) 基于手势的电子面罩人机交互方法与***
KR102292619B1 (ko) 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
CN106647794A (zh) 飞行控制方法和装置
CN113920221A (zh) 信息处理装置、信息处理方法及计算机可读介质
KR101673805B1 (ko) 블록과 사물 인터넷 동작 기기의 관계를 설정하는 방법 및 사용자 단말기
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
US10262278B2 (en) Systems and methods for identification and interaction with electronic devices using an augmented reality device
US12001646B2 (en) Computer-implemented method, computer, and program for rendering a three-dimensional object in a virtual reality space
US20200179797A1 (en) Interactive systems and methods of using same
CN111913560B (zh) 虚拟内容的显示方法、装置、***、终端设备及存储介质
JP6298915B1 (ja) ゲームプログラム、方法、および情報処理装置
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置
TWI686743B (zh) 控制耳機裝置之方法、耳機裝置、電腦可讀媒體及紅外線感測器
TWI482053B (zh) 運用多點雷射導控技術之多人互動遊戲系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination