CN106468949A - 用于通知对象的虚拟现实头戴装置及其方法 - Google Patents

用于通知对象的虚拟现实头戴装置及其方法 Download PDF

Info

Publication number
CN106468949A
CN106468949A CN201610670033.6A CN201610670033A CN106468949A CN 106468949 A CN106468949 A CN 106468949A CN 201610670033 A CN201610670033 A CN 201610670033A CN 106468949 A CN106468949 A CN 106468949A
Authority
CN
China
Prior art keywords
head
wearing device
user
screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610670033.6A
Other languages
English (en)
Other versions
CN106468949B (zh
Inventor
尹皙焕
W.库戴米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/828,107 external-priority patent/US10002429B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106468949A publication Critical patent/CN106468949A/zh
Application granted granted Critical
Publication of CN106468949B publication Critical patent/CN106468949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种虚拟现实(VR)头戴装置可以包括控制器和与所述控制器操作地耦合的显示器。所述显示器可以显示内容。当与所述VR头戴装置操作地耦合的至少一个传感器在指定区域内检测到对象时，所述控制器可以通知检测到所述对象。

Description

用于通知对象的虚拟现实头戴装置及其方法
技术领域
本公开总体上涉及一种虚拟现实(VR)头戴装置。更具体地说，本公开涉及一种用于将对象通知给其用户的VR头戴装置及其方法。
背景技术
虚拟现实(VR)头戴装置(headset)普遍用于娱乐目的、训练目的和商业目的。用户将VR头戴装置佩戴在他/她的头部上。使用VR头戴装置，用户可通过运行的软件应用体验VR。VR头戴装置将软件应用的三维(3D)图像投影到其显示器上。然而，当运行软件应用的内容时，用户不能够看到他/她周围发生了什么。例如，用户容易撞上对象诸如过路人、宠物、家具或墙壁或靠近对象而识别不出它们。
在此方面，需要的是允许用户识别用户周围对象的VR头戴装置及其操作方法。特别是，需要VR头戴装置及其操作方法将用户周围的对象通知给用户。
发明内容
为解决现有技术的以上讨论的缺陷，本公开的一个主要方面是提供一种用于检测用户周围的对象并且通知所述对象的虚拟现实(VR)头戴装置及其方法。
根据本公开的一个方面，一种VR头戴装置可以包括控制器和与所述控制器操作地耦合的显示器。所述显示器可以显示内容。当与VR头戴装置操作地耦合的至少一个传感器在指定区域内检测到对象时，控制器可以通知检测到所述对象。
根据本公开的另一个方面，一种用于操作VR头戴装置的方法可以包括：显示内容；以及当通过与VR头戴装置操作地耦合的至少一个传感器在指定区域内检测到对象时，通知检测到所述对象。
根据以下详细描述，本发明的其他方面、优点以及显著特征将对于本领域技术人员变得明显，所述详细描述结合附图公开了本发明的示范性实施例。
附图说明
根据结合附图进行的以下详细描述，本公开的某些示范性实施例的以上和其他方面、特征和优点将变得更为显而易见，在附图中：
图1示出佩戴根据本公开实施例的虚拟现实(VR)头戴装置的用户的周围环境；
图2A示出根据本公开实施例的包括至少一个传感器的VR头戴装置的状态；
图2B示出根据本公开实施例的包括至少一个传感器的VR头戴装置的另一个状态；
图2C示出根据本公开实施例的包括至少一个传感器的VR头戴装置的又一个状态；
图3A示出根据本公开实施例的通知对象的VR头戴装置的屏幕；
图3B示出根据本公开实施例的通知另一个对象的VR头戴装置的屏幕；
图3C示出根据本公开实施例的通知又一个对象的VR头戴装置的屏幕；
图3D示出根据本公开实施例的通知又一个对象的VR头戴装置的屏幕；
图3E示出根据本公开实施例的通知另一个对象的VR头戴装置的屏幕；
图3F示出根据本公开实施例的通知另一个对象的VR头戴装置的屏幕；
图4A示出根据本公开实施例的基于对象与VR头戴装置之间的距离显示通知的VR头戴装置屏幕；
图4B示出根据本公开实施例的基于对象与VR头戴装置之间的距离显示另一个通知的VR头戴装置屏幕；
图5示出根据本公开实施例的VR头戴装置和至少一个传感器；
图6示出根据本公开实施例的VR头戴装置的操作方法；
图7示出根据本公开实施例的VR头戴装置的另一种操作方法；
图8示出根据本公开实施例的VR头戴装置的又一种操作方法；
图9示出根据本公开实施例的VR头戴装置与至少一个传感器之间的信号流；并且
图10示出根据本公开实施例的VR头戴装置与至少一个传感器之间的另一个信号流。
在整个附图中，相同参考标号将被理解成指代相同部分、组件和结构。
具体实施方式
在进行以下详细描述之前，阐明在本专利文档中使用的某些词语和短语的定义可能是有利的。术语“包括”和“包含”以及其衍生词意味着没有限制的包括。术语“或”是包括的，意指和/或。短语“与……相关联”和“与其相关联”以及其衍生词可以意指包括、被包括在……内，与……互连、包含、被包含在……内、连接到或与……连接、耦合到或与……耦合、与……可通信、与……协作、交错、并列、接近于、结合到或与……结合、具有、具有……属性等。术语“控制器”意指控制至少一个操作的任何设备、***或其一部分，这种设备可以硬件、固件或软件、或上述中的至少两者的某种组合来实现。应当注意的是，不论是本地或远程，与任何特定控制器相关联的功能可以是集中式的或分布式的。贯穿本专利文档提供某些词语和短语的定义。本领域普通技术人员应当理解，在许多(如果不是大多数)实例中，此类定义适用于如此定义的词语和短语的先前使用和未来使用。
下文讨论的图1至图10以及用于在本专利文档中描述本公开的原理的各种实施例仅仅是举例说明，并且不应当以任何方式被解释为限制本公开的范围。本领域技术人员将理解的是，本公开的这些原理可以在任何适当安排的虚拟现实(VR)头戴装置中实现。
本公开提供一种VR头戴装置及其操作方法，用于当用户在VR中而无法看到对象时，将对对象的可视通知和可听通知给予用户。使用可视通知和可听通知，用户能够注意到对象而不用取下VR头戴装置或激活相机来观察他/她的周围环境。
VR头戴装置可以通过VR图像的可视通知(例如，VR图像的发光区域)来将对象检测告知给用户。基于发光区域，可视通知可以通知用户对象处于六个不同方向之一上。另外，VR头戴装置可以根据发光区域的相对厚度和/或发光区域的相对亮度来指示对象与VR头戴装置之间的距离。VR头戴装置可以给予指示对象与VR头戴装置之间的距离的可听通知。高频可听通知可以指示关于接近用户的对象和/或靠近用户的对象的信息。
在本文中，“阈值距离”可以用于控制可视通知和可听通知。当对象比阈值距离(例如，6英尺)更接近时，可以激活可视通知和可听通知。当对象在阈值距离之外时，可以不激活可视通知和可听通知。
图1描绘佩戴着根据本公开实施例的VR头戴装置110的用户的周围环境。
参考图1，当VR头戴装置110不以相机模式操作时，佩戴着VR头戴装置110的用户不能够看见用户前面的墙壁。当用户正观看内容(例如，视频游戏)时，用户能够看见投影在VR头戴装置110内的显示器上的VR视频。用户在未识别出他/她的周围环境中的对象的情况下可能走向墙壁150。即使用户正坐在或站在一个地点，用户仍然不能够看见走近所述用户的另一个人或宠物。
因此，VR头戴装置110可以被配置来检测对象(例如，墙壁150)，并且给用户提供与对象有关的可视通知和可听通知。VR头戴装置110可以使用在功能上与VR头戴装置110连接的至少一个传感器120来检测用户附近的对象。至少一个传感器120可以包括射频(雷达)传感器、红外传感器、声传感器或那些传感器中的两个或更多个的组合。
图2A、图2B和图2C描绘根据本公开实施例的包括至少一个传感器120的VR头戴装置110。
图2A是佩戴VR头戴装置110的用户的顶视图。至少一个传感器120可以被布置(但不限于)在VR头戴装置110的顶部上，在从VR头戴装置110的顶部横跨用户头部的顶部至用户头部的背面的顶部绑带(strap)上，以及在从VR头戴装置110的左侧绕用户头部的背面到VR头戴装置110的右侧的侧绑带上。至少一个传感器120可以以各种方式布置。
图2B是佩戴VR头戴装置110的用户的后视图。至少一个传感器120可以被布置(但不限于)在从VR头戴装置110的顶部横跨用户头部的顶部至用户头部的背面的顶部绑带上，以及在从VR头戴装置110的左侧绕用户头部的背面到VR头戴装置110的右侧的侧绑带上。至少一个传感器120可以以各种方式布置。
图2C是佩戴VR头戴装置110的用户的底视图。至少一个传感器120可以被布置(但不限于)在VR头戴装置110的底部上。至少一个传感器120可以以各种方式布置。
图3A至图3F描绘根据本公开实施例的通知对象的VR头戴装置110的屏幕300。VR头戴装置110的显示器可以根据检测到的对象的位置在屏幕300的至少一部分中显示指示物(例如，通知)。指示物可以通过点亮对应于对象位置的区域来呈现。或者，指示物可以通过绘阴影于对应于对象位置的区域来呈现。或者，指示物可以通过在对应于对象位置的区域中显示预定义形状和颜色的图形、图、或文本来呈现。
在下文中，作为举例，指示物包括发光区域。在图3A至图3F中，发光区域(或特亮区域或不同颜色区域)可用于指示在用户附近的对象的位置或方向。
图3A描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300可以在屏幕300的左边缘上显示发光区域301。使用发光区域301，屏幕300可以显示在用户左边检测到的对象。
图3B描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300可以在屏幕300的右边缘上显示发光区域302。使用发光区域302，屏幕300可以显示在用户右边检测到的对象。
图3C描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300可以在屏幕300的左边缘上显示发光区域303，以及在屏幕300的右边缘上显示发光区域304。使用发光区域303和304，屏幕300可以显示在用户前面检测到的对象。
在一些实施例中，屏幕300可以使用发光区域303和304来显示在用户前面的对象的位置或方向。与图3A、图3B、图3E和图3F的发光区域相比，屏幕300可以向发光区域303和/或304添加额外的亮度。例如，当对象位于用户的左对角线方向上时，相比发光区域304，屏幕300可以更明亮地显示左边缘发光区域303。例如，当对象位于用户的右对角线方向上时，相比发光区域303，屏幕300可以更明亮地显示右边缘发光区域304。
在一些其他实施例中，屏幕300可以使用发光区域303和304来显示在用户前面的对象的位置或方向。与图3A、图3B、图3E和图3F的发光区域相比，屏幕300可以以不同颜色显示发光区域303和/或304。例如，当对象位于用户的左对角线方向上时，屏幕300可以以不同颜色显示左边缘发光区域303，并且以现有的颜色显示发光区域304。例如，当对象位于用户的右对角线方向上时，屏幕300可以以不同颜色显示右边缘发光区域304，并且以现有的颜色显示发光区域303。
图3D描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300可以在屏幕300的上边缘上显示发光区域305，并且在屏幕300的下边缘上显示发光区域306。使用发光区域305和306，屏幕300可以显示在用户后面检测到的对象。
在一些实施例中，屏幕300可以使用发光区域305和306来显示在用户后面的对象的位置或方向。与图3A、图3B、图3E和图3F的发光区域相比，屏幕300可以向发光区域305和/或306添加额外的亮度。例如，当对象位于用户的左对角线方向上时，相比发光区域306，屏幕300可以更明亮地显示上边缘发光区域305。例如，当对象位于用户的右对角线方向上时，相比发光区域305，屏幕300可以更明亮地显示下边缘发光区域306。
在一些其他实施例中，屏幕300可以使用发光区域305和306来显示在用户后面的对象的位置或方向。与图3A、图3B、图3E和图3F的发光区域相比，屏幕300可以以不同颜色显示发光区域305和/或306。例如，当对象位于用户的左对角线方向上时，屏幕300可以以不同颜色显示上边缘发光区域305，并且以现有的颜色显示发光区域306。例如，当对象位于用户的右对角线方向上时，屏幕300可以以不同颜色显示下边缘发光区域306，并且以现有的颜色显示发光区域305。
图3E描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300可以在屏幕300的上边缘上显示发光区域307。使用发光区域307，屏幕300可以显示在用户上方检测到的对象。
图3F描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300可以在屏幕300的下边缘上显示发光区域308。使用发光区域308，屏幕300可以显示在用户下方检测到的对象。
图4A和图4B描绘根据本公开实施例的基于对象与VR头戴装置110之间的距离显示通知的VR头戴装置110的屏幕300。
图4A描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300的左边缘上的发光区域401是相对厚的，这指示在用户左边检测到的对象是相对接近VR头戴装置110的。
图4B描绘VR头戴装置110的屏幕300。屏幕300可以显示被用户观看的VR图像。屏幕300的左边缘上的发光区域402是相对薄的，这指示在用户左边检测到的对象是相对远离VR头戴装置110的。
在一些实施例中，屏幕300可以修改发光区域401和402的厚度，以便指示与对象的相对距离。例如，当对象更接近VR头戴装置110时，屏幕300可以增加发光区域401和402的厚度。基于发光区域401和402的厚度变化，用户可以识别出对象与VR头戴装置110之间的距离缩短。
在一些其他实施例中，屏幕300可以修改发光区域401和402的亮度，以便指示与对象的相对距离。例如，当对象更接近VR头戴装置110时，屏幕300可以增加发光区域401和402的亮度。基于发光区域401和402的亮度变化，用户可以识别出对象与VR头戴装置110之间的距离缩短。
在一些其他实施例中，屏幕300可以修改发光区域401和402的厚度和亮度，以便指示与对象的相对距离。例如，当对象更接近VR头戴装置110时，屏幕300可以增加发光区域401和402的厚度和亮度两者。基于发光区域401和402的厚度变化和亮度变化，用户可以识别出对象与VR头戴装置110之间的距离缩短。
在一些其他实施例中，屏幕300可以修改发光区域401和402的发光周期，以便指示与对象的相对距离。例如，当对象更接近VR头戴装置110时，屏幕300可以缩短发光区域401和402的发光周期。
图5是根据本公开实施例的VR头戴装置110和至少一个传感器120的框图。
参考图5，VR头戴装置110可以在功能上连接到布置在VR头戴装置110的外部表面或头部绑带上的一个或多个传感器120。VR头戴装置110还可包括VR头戴装置控制器510、存储器520、VR源视频530、视频处理器540、显示器550、扬声器560、以及相机570。
VR头戴装置控制器510可以是用于通过运行存储在存储器520中的一个或多个应用程序和操作***程序来控制VR头戴装置510的操作的微处理器或微控制器。
视频处理器540可以从VR源视频530接收源视频内容。视频处理器540可以在显示器550的至少一个屏幕上显示源视频内容。VR源视频530可以是无线地或经由线连接到VR头戴装置110的外部VR视频播放器。VR源视频530可以是包括存储器520的一部分的内部存储器。源视频内容可以存储在内部存储器中。在相机模式下，VR头戴装置控制器510可以控制视频处理器540来通过相机570输出用户的周围环境而不是源视频内容，以使得用户能够在显示器550上看见他/她的周围环境。
VR头戴装置控制器510可以接收至少一个传感器120的输出。取决于哪个传感器检测到比阈值距离更接近的对象，VR头戴装置控制器510可以根据对象的信息(即，移动和/或速度)来确定方向、距离和距离变化。响应于对象，VR头戴装置控制器510可以控制视频处理器540来如图3A至图3F以及图4A和图4B所示在屏幕300上呈现至少一个发光区域。在检测到对象时，VR头戴装置控制器510可以控制扬声器560来使用声音(例如，各种音调)将所述对象通知给用户。VR头戴装置控制器510可以控制扬声器560来根据对象的距离变化增大或减小可听通知的频率。例如，音调频率增大可以指示对象正在接近用户。音调频率减小可以指示对象远离用户。
根据各种实施例，VR头戴装置可以包括控制器和在功能上与控制器连接的显示器。显示器可以显示内容。当在功能上与VR头戴装置连接的至少一个传感器在指定区域内检测到对象时，控制器可以通知对象检测。显示器可以显示与VR头戴装置与检测到的对象之间的距离有关的信息。
VR头戴装置还可包括在功能上与VR头戴装置连接的扬声器。控制器可以通过扬声器输出通知对象检测的声音。控制器可以根据VR头戴装置与检测到的对象之间的距离来控制声音的频率。
显示器可以显示指示对象检测的指示物。可以在显示内容的屏幕上的与检测到的对象位置对应的区域中显示指示物。控制器可以根据VR头戴装置与检测到的对象之间的距离来控制指示物的亮度。指示物可以包括指示以下中至少一者的文本：检测到的对象的位置信息和检测到的对象与VR头戴装置之间的距离信息。
显示器可以将与对象检测有关的项目与内容重叠并显示。VR头戴装置还可包括用于生成检测到的对象的图像的相机。显示器可以将由相机生成的检测到的对象的图像与内容重叠并且显示。
图6是根据本公开实施例的VR头戴装置110的操作方法的流程图600。
参考图6，在操作605中，用户激活VR头戴装置110并且将VR头戴装置110放在他/她的头部上。当VR头戴装置110被激活时，用户可以使用VR头戴装置110来运行应用。
在步骤610中，VR头戴装置110可以从至少一个传感器120接收关于检测到的对象的信息。VR头戴装置110可以在周期性基础上从至少一个传感器120接收对象信息。VR头戴装置110可以从至少一个传感器120接收多个对象的信息。例如，当检测到两个对象时，VR头戴装置110可以从至少一个传感器120接收所有对象信息。
在步骤615中，当检测到在阈值距离内的对象时，VR头戴装置110可以将对象通知给用户。当对象移动时，VR头戴装置110可以通知所述对象的移动方向和速度信息。在图7中将解释操作615的细节。
在步骤620中，在检测到对象时，VR头戴装置110可以确定是否自动激活直通(passthrough)相机。直通相机可以指示展示用户的周围环境的相机。当自动激活直通相机时，VR头戴装置110可以结束VR视频并且在操作630中显示直通相机的视图。VR头戴装置110可以通过相机570展示直通相机的视图。当未自动激活直通相机时，VR头戴装置110可以在操作625中确定用户是否手动激活直通相机。例如，用户可以通过按压VR头戴装置110的外部按钮来手动激活直通相机。
在步骤625中，用户可以选择是否手动激活直通相机。例如，用户可以使用VR图像中关于直通激活的弹出窗口来选择是否激活直通相机。当用户手动激活直通相机时，VR头戴装置110可以在操作630中展示直通相机的视图。用户可以通过直通相机的视图来识别对象。当用户未手动激活直通相机时，VR头戴装置110可以在操作635中确定是否结束VR模式。在一些实施例中，VR头戴装置110可以确定是否在VR模式中改变内容。
在步骤630中，VR头戴装置110可以自动展示直通相机的视图。用户可以手动显示直通相机的视图。直通相机可以在功能上连接到VR头戴装置110。例如，直通相机可以使用各种通信技术(例如，长期演进(LTE)或无线保真(WiFi))将直通相机的视图发送到VR头戴装置110。
在步骤635中，VR头戴装置110可以确定是否结束VR模式。当并未结束VR模式时，VR头戴装置110可以返回至操作610。当直通相机被激活时，VR头戴装置110可以将直通相机视图重叠在屏幕300的左上角上。当VR模式结束时，VR头戴装置110可能不在屏幕300上显示对象信息。
图7是根据本公开实施例的VR头戴装置110的另一种操作方法的流程图700。
参考图7，VR头戴装置110可以使用至少一个传感器120来检测对象靠近。图7示出图6的操作615的细节。也就是说，图7示出VR头戴装置110的用于将至少一个传感器120检测到的对象靠近通知给用户的方法。
在步骤705中，VR头戴装置110可以确定对象是否在用户前面。VR头戴装置110可以从至少一个传感器120接收对象信息。基于所述信息，VR头戴装置110可以确定对象是否在用户前面。当对象在用户前面时，VR头戴装置110可以在屏幕300的左边缘和右边缘上显示发光区域303和304。用户可以基于发光区域303和304的位置来识别对象的位置。在操作730中，VR头戴装置110可以在屏幕300上显示对象与VR头戴装置110之间的距离的各种通知。例如，VR头戴装置110可以在屏幕300上显示距离的可视通知。例如，VR头戴装置110可以激活距离的可听通知。当用户不需要距离信息时，操作730可以被省略。
在步骤710中，当对象不在用户前面时，VR头戴装置110可以确定对象是否在用户后面。当对象在用户后面时，VR头戴装置110可以在操作711中在屏幕300的上边缘和下边缘上显示发光区域305和306。在操作730中，VR头戴装置110可以在屏幕300上显示对象与VR头戴装置110之间的距离的各种通知。
在步骤715中，当对象不在用户后面时，VR头戴装置110可以确定对象是否在用户右边。当对象在用户右边时，VR头戴装置110可以在操作716中在屏幕300的右边缘上显示发光区域302。在操作730中，VR头戴装置110可以在屏幕300上显示对象与VR头戴装置110之间的距离的各种通知。
在步骤720中，当对象不在用户右边时，VR头戴装置110可以确定对象是否在用户左边。当对象在用户左边时，VR头戴装置110可以在操作721中在屏幕300的左边缘上显示发光区域301。在操作730中，VR头戴装置110可以在屏幕300上显示对象与VR头戴装置110之间的距离的各种通知。
在步骤725中，当对象不在用户左边时，VR头戴装置110可以确定对象是否在用户上方或下方。当对象在用户上方或下方时，VR头戴装置110可以在操作726中在屏幕300的上边缘或下边缘上显示发光区域307或308。在操作730中，VR头戴装置110可以在屏幕300上显示对象与VR头戴装置110之间的距离的各种通知。当对象既不在用户上方也不在用户下方时，VR头戴装置110可以在图6的操作620中确定是否自动激活直通相机。也就是说，VR头戴装置110可以自动激活直通相机。通过激活直通相机，VR头戴装置110可以将对象通知给用户。尽管在图7中顺序地执行操作705、710、715、720和725，但是这些操作可以各种顺序或同时执行。
在步骤730中，VR头戴装置110可以在屏幕300上显示对象与VR头戴装置110之间的距离的各种通知。例如，VR头戴装置110可以在屏幕300上将对象与VR头戴装置110之间的距离显示为数字。所述数字可以根据对象的移动而实时改变。例如，VR头戴装置110可以通过扬声器560使用声音(例如，“在前方2米处检测到对象”)来将对象与VR头戴装置110之间的距离通知给用户。所述声音可以是由用户记录的声音。在显示对象与VR头戴装置110之间的距离的各种通知之后，VR头戴装置110可以在图6的操作620中确定是否自动激活直通相机。也就是说，VR头戴装置110可以自动激活直通相机并且因此将对象通知给用户。
图8是根据本公开实施例的VR头戴装置110的又一种操作方法的流程图800。
参考图8，在步骤805中，VR头戴装置110可以在屏幕300上显示内容。例如，VR头戴装置110可以显示内容，诸如由在功能上连接到VR头戴装置110的电子设备运行的视频。例如，VR头戴装置110可以显示内容，诸如由VR头戴装置110运行的视频。
在步骤810中，VR头戴装置110可以确定(或识别)在指定区域中是否检测到对象。VR头戴装置110可以基于从在功能上与VR头戴装置110连接的至少一个传感器120接收的信息来确定在指定区域中是否检测到对象。至少一个传感器120可以包括用于处理从对象测量的值的计算设备。在一些实施例中，当至少一个传感器120检测到用户周围的对象时，所接收的信息可以在周期性基础上从所述至少一个传感器120接收。在这种情况下，至少一个传感器可以将以下信息中的一者周期性地发送到VR头戴装置110：指示在用户周围检测到对象的信息和指示在用户周围未检测到对象的信息。当检测到对象时，VR头戴装置110可以进行到操作815。
在步骤815中，VR头戴装置110可以在屏幕300上显示对象检测。VR头戴装置110可以使用各种显示方法来显示对象检测，以用于将用户周围的对象通知给用户。在一些实施例中，VR头戴装置110可以在屏幕300上显示指示对象位置的文本。例如，当对象在用户左边时，VR头戴装置110可以显示文本“在左边检测到对象”。文本可以由用户预先设置。在一些其他实施例中，VR头戴装置110可以将指示对象位置的项目与内容重叠并且显示。例如，当在用户右边检测到对象时，VR头戴装置110可以将项目重叠和显示在所显示内容的右边缘上。项目(例如，图像、图标、表情图标、文本、数字、特殊字符)可以与内容重叠并且被显示。在本文中，可以在预先设置的区域中显示项目。也就是说，无论对象位置如何，可以在固定区域中显示项目。
在一些其他实施例中，VR头戴装置110可以使用声音来显示对象检测。例如，VR头戴装置110可以通过其扬声器560将对象通知给用户。可以使用声音以各种方式显示对象检测。例如，VR头戴装置110可以使用环绕发声(surround sounding)来将对象位置通知给用户。环绕发声可以通过四个分开的扬声器输出声音，并且因此从每个方向向用户输出声音。例如，当对象基于用户从左边移动到右边时，VR头戴装置110可以输出声音，以使得用户可以听见从左边移动到右边的声音。例如，VR头戴装置110可以通过扬声器560向用户广播声音消息。当检测到从用户的左边移动到右边的对象时，VR头戴装置110可以通过扬声器向用户输出声音“检测到从左边移动到右边的对象”。
在一些其他实施例中，VR头戴装置110可以根据对象位置在屏幕300的边缘上显示发光区域。例如，VR头戴装置110可以根据对象的移动来调整发光区域在屏幕300的边缘上的位置。因此，用户可以实时识别对象移动。例如，当检测到两个或更多个对象时，VR头戴装置110可以使用不同颜色的发光区域来识别对象。
图9是根据本公开实施例的VR头戴装置110与至少一个传感器120之间的信号流图。
参考图9，在步骤905中，至少一个传感器120可以在用户周围环境的指定区域中检测对象。对象检测可以指示对象存在于指定区域中。另外，对象检测可以指示识别对象。例如，当孩子朝向用户行进时，至少一个传感器120可以将孩子识别为对象。例如，当孩子朝向用户行进时，至少一个传感器120可以分析对象的外观和行为，并且因此将对象识别为孩子。在一些实施例中，传感器可以按顺序或同时检测对象。例如，多个传感器可以按照前、后、左、右、上和下的次序来检测对象。例如，多个传感器可以周期性地同时检测对象。在检测到对象时，至少一个传感器120可以将对象信息发送到VR头戴装置110。当没有检测到对象时，至少一个传感器120可以尝试检测对象。至少一个传感器120的对象检测可以对应于图8的操作810。
在步骤910中，当检测到对象时，至少一个传感器120可以确定对象与VR头戴装置110之间的距离。可以各种方式来确定对象与VR头戴装置110之间的距离。例如，至少一个传感器120可以通过使用红外光来确定对象与VR头戴装置110之间的距离。也就是说，当至少一个传感器120可以发射红外光时，所述至少一个传感器120可以通过测量所发射的红外光被对象反射并且返回到至少一个传感器120所花费的时间来确定对象与VR头戴装置110之间的距离。例如，至少一个传感器120可以通过使用全球定位***(GPS)来确定对象与VR头戴装置110之间的距离。也就是说，至少一个传感器120可以从人造卫星接收对象位置和对象与VR头戴装置110之间的距离信息，并且因此确定对象位置和对象与VR头戴装置110之间的距离。当对象移动时，至少一个传感器120可以确定对象的移动方向和速度。
在步骤915中，至少一个传感器120可以确定所确定的距离是否比阈值距离更短。阈值距离可以由VR头戴装置110或用户预定义。可以考虑用户可移动的空间来确定阈值距离。当所确定的距离比阈值距离更长时，至少一个传感器120可以返回操作905中以尝试检测对象。当新对象进入阈值距离时或当阈值距离之外的对象进入阈值距离时，尝试对象检测可能是有利的。
在步骤920中，当所确定的距离比阈值距离更短时，至少一个传感器120可以向VR头戴装置110发送通知消息。通知消息可以包括关于对象位置和对象与VR头戴装置110之间的距离的信息。另外，当对象移动时，通知消息可以包括关于对象的移动方向和速度的信息。
在步骤925中，VR头戴装置110可以从至少一个传感器120接收通知消息，并且随后在屏幕300上显示对象检测。VR头戴装置110可以在屏幕300上显示对象的各种信息。例如，VR头戴装置110可以在屏幕300上显示对象位置和对象与VR头戴装置110之间的距离。例如，VR头戴装置110可以显示对象的移动方向和速度。因此，用户可以识别阈值距离内的对象。图9的操作925可以对应于图8的操作815。
图10是根据本公开实施例的VR头戴装置110与至少一个传感器120之间的另一个信号流图。
参考图10，在步骤1005中，至少一个传感器120可以在用户周围环境的指定区域中检测对象。当检测到对象时，至少一个传感器120可以将关于对象的信息发送到VR头戴装置110。所述信息可以包括对象的位置、类型和温度。在一些实施例中，当对象温度较高时，VR头戴装置110可以用红色显示对象的图像。当对象温度较低时，VR头戴装置110可以用蓝色显示对象的图像。当没有检测到对象时，至少一个传感器120可以在周期性基础上尝试检测对象。
在步骤1010中，当检测到对象时，至少一个传感器120可以确定对象与VR头戴装置110之间的距离。所述距离可以是对象与至少一个传感器之间的距离或对象与用户之间的距离。用于确定距离的各种标准可以由用户定义。例如，用户可以配置VR头戴装置110以便基于在功能上与VR头戴装置110连接的电子设备(例如，机顶盒)来确定距离。图10的操作1010可以对应于图9的操作910。
在步骤1015中，至少一个传感器120可以将通知消息发送到VR头戴装置110。所述通知消息可以包括关于对象位置和对象与VR头戴装置110之间的距离的信息。可以无线地或经由线将通知消息从至少一个传感器120发送到VR头戴装置110。例如，当至少一个传感器120和VR头戴装置110彼此在功能上连接时，所述至少一个传感器120可以使用蓝牙功能将通知消息发送到VR头戴装置110。图10的操作1015可以对应于图9的操作920。
在步骤1020中，在从至少一个传感器120接收通知消息之后，VR头戴装置110可以确定所确定的距离是否比阈值距离更短。阈值距离可以由VR头戴装置110或用户预定义。例如，当用于使用VR头戴装置110的空间较宽时，用户可以延长阈值距离。当用于使用VR头戴装置110的空间较窄时，用户可以缩短阈值距离。当所确定的距离比阈值距离更长时，至少一个传感器120可以返回操作1005中以尝试检测对象。图10的操作1020可以对应于图9的操作915。
在步骤1025中，当所确定的距离比阈值距离更短时，VR头戴装置110可以在屏幕300上显示对象位置和对象与VR头戴装置110之间的距离。用户可以识别对象位置和对象与VR头戴装置110之间的距离。当用户识别对象时，VR头戴装置110可以将显示从屏幕300移除。图10的操作1025可以对应于图9的操作925。
根据各种实施例，一种用于操作VR头戴装置的方法可以包括：显示内容；以及当通过在功能上与VR头戴装置连接的至少一个传感器在指定区域内检测到对象时，通知对象检测。所述方法还可包括显示关于VR头戴装置与检测到的对象之间的距离的信息。
通知对象检测可以包括输出通知对象检测的声音。所述方法还可包括根据VR头戴装置与检测到的对象之间的距离来控制声音频率。
通知对象检测可以包括显示指示对象检测的指示物。可以在显示内容的屏幕上的与检测到的对象位置对应的区域中显示指示物。所述方法还可包括根据VR头戴装置与检测到的对象之间的距离来控制指示物的亮度。指示物可以包括指示检测到的对象的位置信息和检测到的对象与VR头戴装置之间的距离信息中的至少一者。
通知对象检测可以包括将与对象检测有关的项目与内容重叠并且显示。所述方法还可包括将由相机生成的检测到的对象的图像与内容重叠并且显示。
如以上阐明的，佩戴VR头戴装置的用户可以识别对象的靠近。
尽管已经利用示范性实施例来描述本公开，但是可以向一位本领域技术人员建议各种改变和修改。本公开旨在涵盖如落在所附权利要求书范围内的此类改变和修改。

Claims (15)

1.一种虚拟现实VR头戴装置，其包括：
控制器；以及
显示器，其与所述控制器操作地耦合，
其中所述显示器显示内容，并且
当与所述VR头戴装置操作地耦合的至少一个传感器在指定区域内检测到对象时，其中所述控制器通知检测到所述对象。
2.如权利要求1所述的VR头戴装置，其中所述显示器进一步被配置为显示与VR头戴装置和检测到的对象之间的距离有关的信息。
3.如权利要求1所述的VR头戴装置，还包括：
扬声器，其与所述控制器操作地耦合，
其中所述控制器进一步被配置为通过所述扬声器输出通知所述对象检测的声音。
4.如权利要求3所述的VR头戴装置，其中所述控制器进一步被配置为根据VR头戴装置与检测到的对象之间的距离控制声音频率。
5.如权利要求1所述的VR头戴装置，其中所述显示器进一步被配置来显示指示检测到所述对象的指示物。
6.如权利要求5所述的VR头戴装置，其中在显示内容的屏幕上的与检测到的对象的位置对应的区域中显示指示物。
7.如权利要求5所述的VR头戴装置，其中所述控制器进一步被配置为根据VR头戴装置与检测到的对象之间的距离控制指示物亮度。
8.如权利要求7所述的VR头戴装置，其中所述指示物包括指示以下信息中的至少一者的文本：关于检测到的对象的位置的信息和关于检测到的对象与VR头戴装置之间的距离的信息。
9.如权利要求1所述的VR头戴装置，其中显示器将与所述对象检测有关的项目与所述内容重叠。
10.如权利要求1所述的VR头戴装置，还包括：
相机，其用于生成检测到的对象的图像，
其中所述显示器将由相机生成的检测到的对象的所述图像与所述内容重叠。
11.一种用于操作虚拟现实VR头戴装置的方法，其包括：
显示内容；以及
当通过与VR头戴装置操作地耦合的至少一个传感器在指定区域内检测到对象时，通知检测到所述对象。
12.如权利要求11所述的方法，还包括：
显示关于VR头戴装置与检测到的对象之间的距离的信息。
13.如权利要求11所述的方法，其中通知检测到所述对象的步骤包括输出通知检测到所述对象的声音。
14.如权利要求13所述的方法，还包括：
根据所述VR头戴装置与检测到的对象之间的距离来控制所述声音的频率。
15.如权利要求11所述的方法，其中通知检测到所述对象的步骤包括显示指示检测到所述对象的指示物。
CN201610670033.6A 2015-08-17 2016-08-15 用于通知对象的虚拟现实头戴装置及其方法 Active CN106468949B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/828,107 2015-08-17
US14/828,107 US10002429B2 (en) 2015-08-17 2015-08-17 Apparatus and method for notifying a virtual reality user of real world objects
KR10-2016-0032975 2016-03-18
KR1020160032975A KR20170021188A (ko) 2015-08-17 2016-03-18 객체를 통지하기 위한 가상 현실 헤드셋 및 그의 방법

Publications (2)

Publication Number Publication Date
CN106468949A true CN106468949A (zh) 2017-03-01
CN106468949B CN106468949B (zh) 2019-12-13

Family

ID=56740849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610670033.6A Active CN106468949B (zh) 2015-08-17 2016-08-15 用于通知对象的虚拟现实头戴装置及其方法

Country Status (2)

Country Link
EP (1) EP3133468A1 (zh)
CN (1) CN106468949B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971501A (zh) * 2017-03-09 2017-07-21 广州三星通信技术研究有限公司 用于虚拟现实设备的提醒方法和提醒装置
CN107650639A (zh) * 2016-07-26 2018-02-02 马自达汽车株式会社 视野控制装置
CN108572724A (zh) * 2017-03-08 2018-09-25 克拉蔻股份有限公司 基于虚拟现实头盔使用的安全和环境控制的***和方法
CN110603080A (zh) * 2017-03-08 2019-12-20 索尼互动娱乐有限责任公司 对干扰的游戏中反应
CN110998491A (zh) * 2017-08-02 2020-04-10 微软技术许可有限责任公司 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN111108746A (zh) * 2017-09-22 2020-05-05 惠普发展公司，有限责任合伙企业 对象的检测

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11863510B2 (en) 2017-03-29 2024-01-02 Samsung Electronics Co., Ltd. Systems and methods for notification delivery
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US10607367B2 (en) 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
US20230081452A1 (en) * 2021-09-10 2023-03-16 Qualcomm Incorporated Proximity motion sensing for virtual reality systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877390A (zh) * 2005-06-08 2006-12-13 大学光学科技股份有限公司 具有数字内容显示的焦距可调整的头戴式显示***及用于实现该***的装置
US20130328928A1 (en) * 2012-06-12 2013-12-12 Sony Computer Entertainment Inc. Obstacle avoidance apparatus and obstacle avoidance method
US20140364212A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted dipslay
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
US20150094142A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877390A (zh) * 2005-06-08 2006-12-13 大学光学科技股份有限公司 具有数字内容显示的焦距可调整的头戴式显示***及用于实现该***的装置
US20130328928A1 (en) * 2012-06-12 2013-12-12 Sony Computer Entertainment Inc. Obstacle avoidance apparatus and obstacle avoidance method
US20140364212A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted dipslay
US20150094142A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107650639A (zh) * 2016-07-26 2018-02-02 马自达汽车株式会社 视野控制装置
CN107650639B (zh) * 2016-07-26 2021-02-19 马自达汽车株式会社 视野控制装置
CN108572724A (zh) * 2017-03-08 2018-09-25 克拉蔻股份有限公司 基于虚拟现实头盔使用的安全和环境控制的***和方法
CN110603080A (zh) * 2017-03-08 2019-12-20 索尼互动娱乐有限责任公司 对干扰的游戏中反应
CN108572724B (zh) * 2017-03-08 2022-07-12 克拉蔻股份有限公司 基于虚拟现实头盔使用的安全和环境控制的***和方法
US11533194B2 (en) 2017-03-08 2022-12-20 Crackle, Inc. Security and environmental control based on virtual reality headset usage
CN106971501A (zh) * 2017-03-09 2017-07-21 广州三星通信技术研究有限公司 用于虚拟现实设备的提醒方法和提醒装置
CN106971501B (zh) * 2017-03-09 2019-07-26 广州三星通信技术研究有限公司 用于虚拟现实设备的提醒方法和提醒装置
CN110998491A (zh) * 2017-08-02 2020-04-10 微软技术许可有限责任公司 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN111108746A (zh) * 2017-09-22 2020-05-05 惠普发展公司，有限责任合伙企业 对象的检测
US11335177B2 (en) 2017-09-22 2022-05-17 Hewlett-Packard Development Company, L.P. Detection of objects based on change in wireless signal

Also Published As

Publication number Publication date
EP3133468A1 (en) 2017-02-22
CN106468949B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN106468949A (zh) 用于通知对象的虚拟现实头戴装置及其方法
CN107015638B (zh) 用于向头戴式显示器用户报警的方法和装置
KR20170021188A (ko) 객체를 통지하기 위한 가상 현실 헤드셋 및 그의 방법
US9851786B2 (en) System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US10796467B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
US9690367B2 (en) System and method for assisting a user in locating physical objects while the user is in a virtual reality environment
US20210043007A1 (en) Virtual Path Presentation
US10198866B2 (en) Head-mountable apparatus and systems
EP3163407A1 (en) Method and apparatus for alerting to head mounted display user
US20160224110A1 (en) Method of interaction by gaze and associated device
US20170287301A1 (en) Virtual Reality Proximity Sensors
US20180315246A1 (en) Information processing device, information processing method, and program
CN109495641B (zh) 一种提醒方法及移动终端
US20180205888A1 (en) Information processing device, information processing method, and program
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
WO2020050186A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11216066B2 (en) Display device, learning device, and control method of display device
US11132052B2 (en) System for generating cues in an augmented reality environment
WO2016094568A1 (en) System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
JPWO2018198503A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112269472A (zh) 构建虚拟边界对象的方法和***及其vr眼镜
US11455035B2 (en) Inputs to virtual reality devices from touch surface devices
KR102171180B1 (ko) 영화 관람 정보 제공 시스템
CN112365605A (zh) 场地进入对象的提示方法和***及其vr眼镜
US11195525B2 (en) Operation terminal, voice inputting method, and computer-readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant