CN109804332B - 即时预览沉浸式内容的***和方法 - Google Patents
即时预览沉浸式内容的***和方法 Download PDFInfo
- Publication number
- CN109804332B CN109804332B CN201780060887.5A CN201780060887A CN109804332B CN 109804332 B CN109804332 B CN 109804332B CN 201780060887 A CN201780060887 A CN 201780060887A CN 109804332 B CN109804332 B CN 109804332B
- Authority
- CN
- China
- Prior art keywords
- virtual space
- user
- content
- location
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims 3
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
在计算***处执行一种用于基于用户位置在虚拟空间中呈现内容预览的方法。所述计算***以通信方式连接到用户佩戴的头戴式显示器。所述方法包括:在所述虚拟空间中呈现用户界面面板,其中,所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;使用所述用户附近的位置跟踪***测量所述头戴式显示器在物理空间中的位置;根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;以及当确定所述用户在所述虚拟空间中的位置和所述多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与所述对应内容海报相关联的内容预览替换所述用户界面面板。
Description
技术领域
所公开的实施例涉及计算机技术领域,尤其涉及基于用户位置在虚拟空间中呈现内容预览的***和方法。
背景技术
虚拟现实(virtual reality,VR)是一种计算机技术,其使用用户佩戴的头戴式显示器(head-mounted display,HMD),与在物理空间中用户周围的位置跟踪***相结合,以产生模拟用户在虚拟环境中的存在的逼真的图像、声音以及其它感觉。使用虚拟现实设备的人能够沉浸在虚拟世界中,并以多种方式与虚拟特征或物品交互,包括玩游戏乃至远程进行手术等。HMD通常设置有传感器和收发器。该传感器用于收集例如用户的位置和移动等数据。该收发器用于将此类数据传送到运行VR***的计算机,并从该计算机接收新指令和数据,以使得HMD可以向用户呈现该指令和数据。尽管VR技术近年来取得了很大的进步,但它仍然相对不成熟且面临着许多挑战,例如如何针对有不同需要的不同用户定制其操作、如何在用户从虚拟世界中的一个应用移动到另一应用时创建无缝用户体验,以及如何在现实世界与虚拟世界之间切换而不会对用户体验产生负面影响。
发明内容
本申请通过提出一种解决方案来解决上面提出的挑战,以提高用户使用虚拟现实***的整体体验。
根据本申请的一方面,在计算***中执行一种用于基于用户位置在虚拟空间中呈现内容预览的方法。所述计算***具有一个或多个处理器、用于存储待由所述一个或多个处理器执行的程序的存储器,并且所述计算***以通信方式连接到用户佩戴的头戴式显示器。所述方法包括以下步骤:在所述虚拟空间中呈现用户界面面板,其中所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;使用所述用户附近的位置跟踪***测量物理空间中所述头戴式显示器的位置;根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;以及当确定所述用户在所述虚拟空间中的位置和所述多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与所述对应内容海报相关联的内容预览替换所述用户界面面板。
根据本申请的另一方面,一种用于基于用户位置呈现虚拟空间中的内容预览的计算***以通信方式连接到用户佩戴的头戴式显示器。所述计算***包括一个或多个处理器、存储器,以及存储于所述存储器中的多个程序。所述多个程序当由所述一个或多个处理器执行时致使所述计算***执行包括以下各项的一个或多个操作:在所述虚拟空间中呈现用户界面面板,其中所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;使用所述用户附近的位置跟踪***测量所述头戴式显示器在物理空间中的位置;根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;以及当确定所述用户在所述虚拟空间中的位置和多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与所述对应内容海报相关联的内容预览替换所述用户界面面板。
根据本申请的又一方面,一种非瞬时性计算机可读存储介质结合具有一个或多个处理器的计算***存储用于基于用户位置在虚拟空间中呈现内容预览的多个程序。所述计算***以通信方式连接到用户佩戴的头戴式显示器。所述多个程序当由所述一个或多个处理器执行时致使所述计算***执行包括以下各项的一个或多个操作:在所述虚拟空间中呈现用户界面面板,其中所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;使用所述用户附近的位置跟踪***测量所述头戴式显示器在物理空间中的位置;根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;以及当确定所述用户在所述虚拟空间中的位置和所述多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与所述对应内容海报相关联的内容预览替换所述用户界面面板所显示的内容。
附图说明
通过结合附图对以下本发明的各个方面的进行详细描述,将更清楚地理解本发明的前述实施例以及另外的实施例。贯穿附图的多个视图,相同的附图标记表示相应的部件。
图1为本申请实施例中虚拟现实环境的示意性框图,该虚拟现实环境包括虚拟现实***和与该虚拟现实***通信连接的多个第三方设备;
图2为本申请实施例中虚拟现实***的位置跟踪***的示意性框图;
图3为本申请实施例用于实现虚拟现实***的计算***的不同组件的示意性框图;
图4A和图4B为本申请实施例由虚拟现实***执行的用于基于用户位置定制虚拟空间的用户界面面板的过程;
图5A和图5B为本申请实施例由虚拟现实***执行的用于基于用户位置在虚拟空间中呈现内容预览的过程;以及
图6A和图6B为本申请实施例由虚拟现实***执行的用于更新虚拟空间的操作设置的过程。
具体实施方式
以下实施例的描述参考附图,以便说明可以由本申请实现的具体实施例。本申请中提到的方向术语,例如“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”、“侧”仅用作附图方向的参考。因此,所使用的方向术语仅用于解释和理解本申请,而不是限制本申请。在图中,具有相似结构的单元用相同的附图标记表示。
图1为本申请实施例中虚拟现实环境的示意性框图,该虚拟现实环境包括虚拟现实***和与该虚拟现实***通信连接的多个第三方设备。在本实施例中,虚拟现实***包括计算***10,所述计算***与头戴式显示器(head-mounted display,HMD)10-1、手持式遥控器10-2和输入/输出设备10-3通信连接。在一些实施例中,HMD 10-1通过一根或多根电线连接到计算***10;在一些其它实施例中,双方经由私有协议或例如Wi-Fi、蓝牙、低功耗蓝牙(bluetooth low energy,BLE)等标准协议支持的无线通信信道彼此连接。在一些实施例中,计算***10主要负责生成包括在虚拟现实环境中呈现的内容的虚拟现实环境,并负责将与虚拟现实环境相关联的数据发送到HMD 10-1,以向佩戴HMD 10-1的用户呈现这样的环境。在一些其它实施例中,来自计算***10的数据尚未完全准备好由HMD 10-1进行再现。实际上,HMD 10-1负责将数据进一步处理成可由佩戴HMD 10-1的用户查看和交互的内容。换句话说,支持本申请的软件可以全部集中在一个设备(例如,计算***10或HMD 10-1)上,或者分布在多个硬件之间。但是,所属领域的技术人员应理解,本申请的后续描述仅用于说明的目的,而不应被解释为以任何方式对本申请的范围施加任何限制。
在一些实施例中,手持式遥控器10-2以有线或无线方式连接到HMD 10-1和计算***10中的至少一个。遥控器10-2可以包括用于与HMD 10-1或计算***10交互的一个或多个传感器,例如,用于提供遥控器10-2的位置和朝向(统称为遥控器10-2的位置)。用户可以按下遥控器10-2上的按钮或以预定方式移动遥控器10-2以向计算***10、或HMD 10-1、或两者发出指令。如上所述,支持虚拟现实***的软件可以分布在计算***10与HMD 10-1之间。因此,两个硬件都可能需要知道遥控器10-2的当前位置以及其移动模式,来正确地呈现虚拟现实环境。在一些其它实施例中,遥控器10-2直接连接到计算***10或HMD 10-1,例如直接连接到HMD 10-1,而不是直接连接到两者。此时,通过遥控器10-2输入的用户指令首先由HMD 10-1接收,然后经由双方之间的通信信道转发到计算***10。
随着物联网(internet of things,IOT)的到来,家庭中越来越多的电子设备连接在一起。如图1所示,虚拟现实***1也与家庭中的多个第三方设备通信连接。例如,用户可以选择将手机20-1或其它可穿戴设备连接到计算***10,使得用户能够在用虚拟现实***玩时接收来电或消息。在一些实施例中,计算***10与同一家庭中的一个或多个家用电器通信连接,例如,冰箱20-2、火灾探测器或烟雾探测器20-3、微波炉20-4、或恒温器20-5等。通过将这些家用电器连接到计算***10,虚拟现实***的用户可以从这些家用电器中的一个或多个接收警报或消息。例如,用户可以使用虚拟现实***来玩游戏,同时使用炉灶来烹饪食物。炉灶经由短程无线连接(例如,蓝牙)与计算***10通信连接,这样,当炉灶上的厨具过热并且可能会对家庭造成潜在的火灾时,警报信号被发送到计算***10并且通过HMD10-1呈现给用户。如下所述,当虚拟现实***提供越来越接近现实的沉浸式体验并且用户越来越容易忘记其周围环境时,尤其需要这种能力。尽管图1中描绘了几个第三方设备,但是所属领域的技术人员应理解,它们仅用于说明的目的,并且许多其它第三方设备也可以连接到虚拟现实***。
在一些实施例中,HMD 10-1被配置成在预定义空间(例如,5×5平方米)中操作以确定HMD 10-1的位置(包括位置和朝向)。为了实现此位置跟踪特征,HMD 10-1具有一个或多个传感器,包括微机电***(microelectromechanical system,MEMS)陀螺仪、加速度计和激光位置传感器,这些传感器与位置距HMD不远的不同方向上的多个监视器通信连接,以用于确定HMD 10-1自身的位置和朝向。图2为本申请实施例中虚拟现实***的位置跟踪***的示意性框图。在本实施例中,在四个不同的位置部署四个“灯塔”基站10-4以用于以亚毫米精度跟踪用户的移动。位置跟踪***在需要捕获的任何对象上使用多个光电传感器。两个或两个以上的灯塔基站在HMD 10-1操作的空间内扫过结构光激光器以避免遮挡问题。所属领域的技术人员应理解,本领域还存在可以用于跟踪HMD 10-1的移动的其它位置跟踪技术,例如惯性跟踪、声跟踪、磁跟踪等。
图3为本申请实施例用于实现虚拟现实***的计算***10的不同组件的示意性框图。计算***10包括用于执行存储在存储器312中的模块、程序、和/或指令从而执行预定义操作的一个或多个处理器302,一个或多个网络接口或其它通信接口310,存储器312,以及一个或多个通信总线314。该通信总线314用于将这些组件互连在一起,并将计算***10互连到头戴式显示器10-1、遥控器10-2、包括多个监视器10-4的位置跟踪***,以及各种第三方设备。在一些实施例中,计算***300包括用户界面304,所述用户界面包括显示设备308和一个或多个输入设备306(例如,键盘、或鼠标、或触摸屏)。在一些实施例中,存储器312包括高速随机存取存储器,例如动态随机存取存储器(dynamic random access memory,DRAM)、静态随机存取存储器(static random-access memory,SRAM)、或其它随机存取固态存储设备。在一些实施例中,存储器312包括非易失性存储器,例如一个或多个磁盘存储设备、光盘存储设备、闪存设备、或其它非易失性固态存储设备。在一些实施例中,存储器312包括位置上远离处理器302的一个或多个存储设备。存储器312,或存储器312内的一个或多个存储设备(例如,一个或多个非易失性存储设备)包括非瞬时性计算机可读存储介质。在一些实施例中,存储器312或存储器312的计算机可读存储介质存储以下程序、模块、和数据结构、或其子集:
·操作***316,包括用于处理各种基本***服务和用于执行硬件相关任务的程序;
·网络通信模块318,用于将计算***10经由通信网络接口310和诸如因特网、其它广域网、局域网、城域网等的一个或多个(有线或无线的)通信网络连接到其它计算设备(例如,图1中所示的HMD 10-1、遥控器10-2、和第三方设备以及图2中所示的监视器10-4);
·用户界面调整模块320,用于调整由虚拟现实***生成的虚拟现实环境中的用户界面面板,所述用户界面面板类似于计算机***或手机的主屏幕,用户可以与用户界面面板交互且选择要在虚拟空间中呈现的虚拟内容或虚拟应用,在一些实施例中,用户界面面板具有由虚拟***定义的默认位置322,该默认位置由用户界面调整模块320基于用户在虚拟空间中的位置(由虚拟现实***根据位置跟踪***测量的头戴式显示器的物理位置确定)来定制;
·用户位置跟踪模块324,用于确定由虚拟现实***定义的用户在虚拟空间中的当前位置,并用于跟踪用户在虚拟空间中的移动,并且在一些实施例中,基于如由位置跟踪***确定的在物理空间中头戴式显示器的物理位置326来确定用户在虚拟空间中的虚拟位置328,并且在一些实施例中,对用户在虚拟空间中的移动的连续跟踪使用户的移动模式明确化,以得知用户的意图;
·全局集线器***330,用于在虚拟世界与现实世界之间切换用户体验,全局集线器***330包括:透视相机模块332,其用于激活例如内置于头戴式显示器10-1中的透视相机,以将由所述相机捕获的图像投影到头戴式显示器的屏幕上,使得用户可以快速切换到现实世界以处理某些事项,而无需从其头上取下头戴式显示器;虚拟现实启动器334,其用于启动例如虚拟空间中用户前面的用户界面面板,以便用户可以选择虚拟内容中的一个或应用中的一个以使用虚拟现实***进行再现;以及虚拟现实呈现引擎336,其用于在虚拟空间中呈现用户选择的内容或应用;以及
·内容数据库338,用于存储要在虚拟空间中可视化的各种虚拟内容和虚拟应用,并且在一些实施例中,内容数据库338进一步包括与完整内容相结合的内容预览340,使得用户可以更直观的方式可视化内容预览340而无需激活完整内容342。
以上描述了虚拟现实***的硬件和在虚拟现实***上运行的一些软件的功能,本申请的其余部分针对虚拟现实***的三个特定特征,该虚拟现实***克服了在当今虚拟现实应用中发现的问题。
具体地,图4A和图4B为根据本申请实施例的由虚拟现实***执行的用于基于用户位置定制虚拟空间的用户界面面板的过程。由于不同的用户具有不同的身高、不同的头部形状、不同的视力、和在观看相同对象时有不同的习惯,因此不能保证同一HMD的用户界面面板的默认位置和朝向很好地适合于不同的用户。根据图4A所示的过程,虚拟现实***定制用户界面面板的位置,以自动地为不同用户实现优化的位置,而无需任何用户输入,或基于用户的响应自动为不同用户实现优化的位置。
如图4A所示,计算***首先为虚拟现实***生成(410)虚拟空间。此虚拟空间包括在虚拟空间中具有默认位置的用户界面面板。接下来,计算***在头戴式显示器中呈现(420)虚拟空间。在一些实施例中,基于普通人的身高、头部大小、和视力来确定默认位置。如上所述,默认位置不一定是针对佩戴头戴式显示器的特定用户的优化位置。
为了找到针对该特定用户的优化位置,计算***使用邻近用户的位置跟踪***测量(430)头戴式显示器在物理空间中的位置。如上文结合图2所述,位置跟踪***定义物理空间并测量头戴式显示器(或更具体地,头戴式显示器中的传感器)在物理空间内的移动。
在测量物理位置之后,计算***根据头戴式显示器在物理空间中的位置确定(440)用户在虚拟空间中的位置。接下来,计算***根据用户在虚拟空间中的位置更新(450)用户界面面板在虚拟空间中的默认位置。因为计算***已经考虑了用户的实际体型和身高,所以更新的用户界面面板的位置可以比默认位置更好地适合于特定用户。
在一些实施例中,计算***通过测量(450-1)用户界面面板在虚拟空间中的位置与用户在虚拟空间中的位置之间的空间关系,然后根据测得的空间关系估计(450-3)用户在虚拟空间中的视场角。接下来,计算***根据估计的用户的视场角将用户界面面板的默认位置调整(450-5)到当前位置,使得用户界面面板的当前位置基本上在估计的用户的视场角内。
一些实施例中,计算***使用位置跟踪***来检测(450-11)头戴式显示器在物理空间中的移动,然后根据头戴式显示器在物理空间中的移动确定(450-13)用户在虚拟空间中的当前位置。为此,虚拟现实***在物理空间与虚拟空间之间建立映射关系,所述映射关系包括从物理空间到虚拟空间的坐标系的转换和关系中的一个或多个和/或物理空间与虚拟空间的坐标系的关系。接下来,计算***更新(450-15)用户界面面板在虚拟空间中的当前位置与用户在虚拟空间中的当前位置之间的空间关系,根据更新的空间关系更新(450-17)用户的视场角,以及根据更新的用户的视场角更新(450-19)用户界面面板在虚拟空间中的当前位置。在一些实施例中,计算***可以反复地执行所述过程,直到找到用户界面面板的优化位置。
在一些实施例中,根据更新的用户的视场角更新用户界面面板在虚拟空间中的当前位置相对于用户的距离。在一些实施例中,根据更新的用户的视场角更新用户界面面板在虚拟空间中相对于用户的朝向。在一些实施例中,计算***通过测量以下内容来检测头戴式显示器在物理空间中的移动:头戴式显示器在物理空间中的移动的方向,头戴式显示器在物理空间中的移动的幅度,头戴式显示器在物理空间中的移动的轨迹、和/或头戴式显示器在物理空间中的移动的频率。
图4B描绘如何定制460-3用户界面面板以找到优化位置的不同场景。当用户戴上头戴式显示器并开始与在虚拟现实***中具有默认用户面板位置460-1的用户界面面板460交互时,虚拟现实***监视用户的移动460-5。例如,如果默认位置太靠近用户,则用户可以有意识地或下意识地向后移动或向后倾斜以增加与用户界面面板的距离。相反,如果用户感觉用户界面面板太远,则用户可以向前移动或向前倾斜以减小与用户界面面板的距离。根据相应用户移动的检测,计算***可以增大470-1用户与用户界面面板之间的距离,或减小470-3用户与用户界面面板之间的距离。
类似地,当用户在佩戴头戴式显示器时抬头或低头时,计算***可以通过向上提升475-1用户界面面板或向下推动475-3用户界面面板来调整用户界面面板的高度以适应用户的位置和偏好。当佩戴头戴式显示器的用户向前或向后倾斜头部时,计算***可以将用户界面面板向前倾斜480-1或向后倾斜480-3。当佩戴头戴式显示器的用户向左或向右旋转头部时,计算***可以将用户界面面板侧向左滑动485-1或向右滑动485-3。在一些实施例中,用户面板位置的调整幅度与用户的头部移动成比例。在一些其它实施例中,由每次用户的头部移动触发的用户面板位置调整的幅度是恒定的,并且计算***基于用户头部移动的频率多次调整(每次通过恒定移动调整)用户界面的位置。
图5A和图5B为本申请实施例由虚拟现实***执行的用于基于用户位置在虚拟空间中呈现内容预览的过程。此过程基于用户的位置、移动、以及动作来相应地检测用户的真实意图,而不一定需要用户的明确动作,例如按下遥控器10-2上的某个按钮。
首先,计算***在虚拟空间中呈现(510)用户界面面板。如图5B所示,用户界面面板562包括多个内容海报,每个内容海报在虚拟空间中具有唯一的位置。接下来,计算***使用邻近用户的位置跟踪***测量(520)头戴式显示器在物理空间中的位置,并根据头戴式显示器在物理空间中的位置确定(530)用户在虚拟空间中的位置。如图5B所示,位置跟踪引擎565测量头戴式显示器的位置560并将其转换为用户在虚拟空间中相对于用户界面面板562的位置。根据确定用户在虚拟空间中的位置和多个内容海报中的至少一个的位置满足预定义条件,计算***在虚拟空间中用与对应内容海报相关联的内容预览替换(540)用户界面面板。例如,如图5B所示,当确定570用户在虚拟空间中的位置与长城海报在虚拟空间中的位置相同时,呈现引擎580从内容数据库575中检索长城的内容预览575-1,并在头戴式显示器560中呈现所述内容预览。
在一些实施例中,当用户在虚拟空间中的对应内容海报后停留至少预定义的时间量时,满足预定义条件(540-1)。在一些其它实施例中,当用户从虚拟空间中的对应内容海报退出至少预定义的时间量时,不再满足预定义条件。在一些实施例中,计算***检测(530-1)头戴式显示器在物理空间中的移动,并根据头戴式显示器在物理空间中的移动更新(530-3)用户在虚拟空间中的位置。
在一些实施例中,在虚拟空间中呈现与对应内容海报相关联的内容预览时,计算***根据头戴式显示器在物理空间中的当前位置持续更新(550-1)用户在虚拟空间中的当前位置。因此,根据确定用户在虚拟空间中的当前位置和对应内容海报的位置不再满足预定义条件,计算***在虚拟空间中用用户界面面板替换(550-3)与对应内容海报相关联的内容预览。在一些其它实施例中,根据确定用户在虚拟空间中的当前位置和对应内容海报的位置满足预定义条件至少预定义的时间量,计算***在虚拟空间中用与对应内容海报相关联的完整视图替换(550-5)与对应内容海报相关联的内容预览。在又一些其它实施例中,根据确定用户在虚拟空间中的移动满足预定义的移动模式,计算***在虚拟空间中用与对应内容海报相关联的完整视图替换(550-7)与对应内容海报相关联的内容预览。如图5B所示,假设用户已经接受585访问长城内容的完整视图(例如,当满足上述两个条件中的一个时),则虚拟现实***的呈现引擎580会检索长城内容的完整视图并将其呈现在头戴式显示器560中。
图6A和图6B为本申请实施例由虚拟现实***执行的用于更新虚拟空间的操作设置的过程。此过程解决了当存在来自第三方设备的消息或警报到达虚拟现实***时如何“中断”用户在虚拟世界中的沉浸式体验的问题。
首先,计算***根据用户在虚拟空间中的当前位置来呈现(610)虚拟空间中的应用。如上所述,根据使用邻近用户的位置跟踪***测量的头戴式显示器在物理空间中的位置来确定用户在虚拟空间中的当前位置。
接下来,计算***从与计算***通信连接的第三方设备接收(620)警报。如上文结合图1所述,第三方设备可以是经由短程无线连接而连接到计算***10的手机、或家用电器、或IOT设备。如图6B所示,当用户经由头戴式显示器660与虚拟内容665交互时,虚拟现实***的全局集线器***650从连接到虚拟现实***的手机接收警报。
作为响应,计算***生成(630)并以可视地与应用区分并且与警报唯一关联的方式在虚拟空间中显示表示警报的符号。在一些实施例中,所述符号包括(630-1)第三方设备的图像,并且在虚拟空间中用户的视场角中心显示。例如,第三方设备可以是与计算***通信连接的手机,并且警报对应于选自由以下组成的分组中的一个:用手机接收来自其他人的新呼叫、用手机接收来自其他人的新消息、用手机接收预约提醒。如图6B所示,在虚拟内容665的中心显示文本消息665-1,该文本消息665-1指示有用户的母亲的来电。
接下来,根据检测到用户对符号的响应,计算***用与警报和第三方设备相关联的操作设置替换(640)虚拟空间中的应用。在一些实施例中,所述响应指示用户将应答所述警报。因此,计算***暂停(640-1)虚拟空间中的应用,激活(640-3)头戴式显示器上的透视相机,并在头戴式显示器屏幕上呈现(640-7)由透视相机捕获的视图。
在一些其它实施例中,第一响应指示用户可能应答警报。此时,计算***暂停(640-1)虚拟空间中的应用并在虚拟空间中显示(640-5)操作开关面板,操作开关面板包括与虚拟空间中的第三方设备交互的选项、返回到虚拟空间的主屏幕的选项、恢复虚拟空间中的应用的选项。如图6B所示,透视相机670-3允许用户响应来电,而不必从其头上取下头戴式显示器660。如图6B所示,在检测到用户的响应670之后,全局集线器***650向用户呈现三个选项,包括呈现虚拟现实内容670-1、打开头戴式显示器660中的透视相机670-3、允许用户响应来电而不必从其头上取下头戴式显示器660、或者激活虚拟现实启动器670-5。
虽然上文描述了特定实施例,但是应理解,并不旨在将本发明限制于这些特定实施例。相反,本发明包括在所附权利要求的精神和范围内的替代、修改、和等同物。阐述了许多具体细节以提供对本文提出的主题的透彻理解。但是对于所属领域的普通技术人员来说显而易见的是,可以在没有这些具体细节的情况下实践主题。在其它情况下,未详细描述众所周知的方法、程序、组件、和电路,以免不必要地混淆实施例的各方面。
尽管术语第一、第二等可以在本文中用于描述各种元件,但这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。例如,在不脱离本申请的范围的情况下,第一排名标准可以被称为第二排名标准,并且类似地,第二排名标准可以被称为第一排名标准。第一排名标准和第二排名标准都是排名标准,但它们不是相同的排名标准。
本文中用于描述对本发明的术语仅为了描述特定实施例,而不是要限制本发明。如在本发明的描述和所附权利要求中所使用的,单数形式“一”、“一个”和“所述”旨在也包括复数形式,除非上下文另有明确说明。还应理解,本文所用的术语“和/或”是指并包括一个或多个相关的所列项目的任何和所有可能的组合。还应理解,当在本说明书中使用时,术语“包含”和/或“包括”指定所述特征、操作、元件、和/或组件的存在,但是不排除存在或添加一个或多个其它特征、操作、元件、组件、和/或其分组。
如本文所使用的,术语“如果”根据上下文可以被解释为表示“当......时”或“在......的时候”或“响应于确定”或“根据确定”或“响应于检测”到所陈述的先决条件为真。类似地,短语“如果确定[陈述的先决条件为真]”或“如果[陈述的先决条件为真]”或“当[陈述的先决条件为真]时”可以根据上下文被解释为表示“在确定......的时候”或“响应于确定”或“根据确定”或“在检测......后”或“响应于检测”到所陈述的先决条件为真。
尽管各图中的一些以特定顺序示出了多个逻辑阶段,但是可以重新排序不依赖于顺序的阶段,并且可以组合或分解其它阶段。虽然具体提到了一些重新排序或其它分组,但是其它重新排序或分组对于所属领域的普通技术人员来说是显而易见的,因此不提供详尽的替代方案列表。此外,应认识到,这些阶段可以用硬件、固件、软件或其任何组合来实现。
出于阐释的目的,已参考具体实施例描述了前述描述。然而,以上的说明性论述并非旨在穷举或将本发明限制于所公开的精确形式。鉴于以上教示,许多修改及变化是可能的。选择和描述实施例是为了最好地解释本发明的原理及其实际应用,由此使得所属领域的其他技术人员能够最佳地利用本发明以及具有适合于所预期的具体用途的各种修改的各种实施例。实施例包括在所附权利要求的精神和范围内的替代、修改和等同物。阐述了许多具体细节以便提供对本文提出的主题的透彻理解。但是对于所属领域的普通技术人员来说显而易见的是,可以在不使用这些具体细节的情况下实践主题。在其它情况下,未详细描述众所周知的方法、程序、组件、和电路,以免不必要地混淆实施例的各方面。
Claims (20)
1.一种基于用户位置在虚拟空间中呈现内容预览的方法,其特征在于,在具有一个或多个处理器、用于存储待由所述一个或多个处理器执行的程序的存储器的计算***处,其中所述计算***以通信方式连接到用户佩戴的头戴式显示器,所述方法包括:
为虚拟现实***生成包括具有默认位置的用户界面面板的虚拟空间;其中所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;
在所述虚拟空间中呈现所述用户界面面板;
使用所述用户附近的位置跟踪***测量所述头戴式显示器在物理空间中的位置;
根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;
根据所述用户在所述虚拟空间中的位置更新所述用户界面面板在所述虚拟空间中的所述默认位置;以及
当确定所述用户在所述虚拟空间中的位置和所述多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与该内容海报相关联的内容预览替换所述用户界面面板。
2.根据权利要求1所述的方法,其特征在于,进一步包括:
当在所述虚拟空间中呈现与所述内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的当前位置连续地更新所述用户在所述虚拟空间中的当前位置;以及
当确定所述用户在所述虚拟空间中的当前位置和所述内容海报在所述虚拟空间中的位置不再满足所述预定义条件时,在所述虚拟空间中利用所述用户界面面板替换与所述内容海报相关联的所述内容预览。
3.根据权利要求1所述的方法,其特征在于,当所述用户在所述虚拟空间中的所述内容海报后面至少预定义时间量时,满足所述预定义条件。
4.根据权利要求3所述的方法,其特征在于,当所述用户从所述虚拟空间中的所述内容海报前存在至少预定义时间量时,不再满足所述预定义条件。
5.根据权利要求1所述的方法,其特征在于,根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置,包括:
检测所述头戴式显示器在所述物理空间中的移动;以及
根据所述头戴式显示器在所述物理空间中的移动更新所述用户在所述虚拟空间中的位置。
6.根据权利要求1所述的方法,其特征在于,进一步包括:
当在所述虚拟空间中呈现与所述内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的当前位置连续地更新所述用户在所述虚拟空间中的当前位置;以及
当确定所述用户在所述虚拟空间中的当前位置和所述内容海报在所述虚拟空间中的位置满足所述预定义条件中的至少预定义时间量时,在所述虚拟空间中利用与所述内容海报相关联的完整视图替换与所述内容海报相关联的所述内容预览。
7.根据权利要求1所述的方法,其特征在于,进一步包括:
当在所述虚拟空间中呈现与所述内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的移动连续地监视所述用户在所述虚拟空间中的移动;以及
当确定所述用户在所述虚拟空间中的移动满足预定义移动模式时,在所述虚拟空间中利用与所述内容海报相关联的完整视图替换与所述内容海报相关联的所述内容预览。
8.根据权利要求1所述的方法,其特征在于,所述位置跟踪***包括多个监视器,且所述头戴式显示器包括一个或多个传感器,所述一个或多个传感器与所述多个监视器通信以确定所述头戴式显示器在所述物理空间中的位置。
9.一种用于基于用户位置在虚拟空间中呈现内容预览的计算***,其中所述计算***以通信方式连接到用户佩戴的头戴式显示器,其特征在于,所述计算***包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中的多个程序,其中所述多个程序在由所述一个或多个处理器执行时致使所述计算***执行一个或多个操作,包括:
为虚拟现实***生成包括具有默认位置的用户界面面板的虚拟空间;其中所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;
在所述虚拟空间中呈现所述用户界面面板;
使用所述用户附近的位置跟踪***测量所述头戴式显示器在物理空间中的位置;
根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;
根据所述用户在所述虚拟空间中的位置更新所述用户界面面板在所述虚拟空间中的所述默认位置;以及
当确定所述用户在所述虚拟空间中的位置和所述多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与该内容海报相关联的内容预览替换所述用户界面面板。
10.根据权利要求9所述的计算***,其特征在于,所述一个或多个操作进一步包括用于以下的操作:
当在所述虚拟空间中呈现与所述内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的当前位置连续地更新所述用户在所述虚拟空间中的当前位置;以及
当确定所述用户在所述虚拟空间中的当前位置和所述内容海报在所述虚拟空间中的位置不再满足所述预定义条件时,在所述虚拟空间中利用所述用户界面面板替换与所述内容海报相关联的所述内容预览。
11.根据权利要求9所述的计算***,其特征在于,当所述用户在所述虚拟空间中的所述内容海报后面至少预定义时间量时,满足所述预定义条件。
12.根据权利要求11所述的计算***,其特征在于,当所述用户从所述虚拟空间中的所述内容海报前存在至少预定义时间量时,不再满足所述预定义条件。
13.根据权利要求9所述的计算***,其特征在于,所述根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置,包括:
检测所述头戴式显示器在所述物理空间中的移动;以及
根据所述头戴式显示器在所述物理空间中的移动更新所述用户在所述虚拟空间中的位置。
14.根据权利要求9所述的计算***,其特征在于,所述一个或多个操作进一步包括用于以下的操作:
当在所述虚拟空间中呈现与所述对应内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的当前位置连续地更新所述用户在所述虚拟空间中的当前位置;以及
当确定所述用户在所述虚拟空间中的当前位置和所述对应内容海报在所述虚拟空间中的位置满足所述预定义条件至少预定义时间量时,在所述虚拟空间中利用与所述对应内容海报相关联的完整视图替换与所述对应内容海报相关联的所述内容预览。
15.根据权利要求9所述的计算***,其特征在于,所述一个或多个操作进一步包括用于以下的操作:
当在所述虚拟空间中呈现与所述对应内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的移动连续地监视所述用户在所述虚拟空间中的移动;以及
当确定所述用户在所述虚拟空间中的移动满足预定义移动模式时,在所述虚拟空间中利用与所述对应内容海报相关联的完整视图替换与所述对应内容海报相关联的所述内容预览。
16.一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质与具有一个或多个处理器的计算***相结合,用于基于用户位置在虚拟空间中呈现内容预览,其中,所述计算***以通信方式连接到用户佩戴的头戴式显示器,并且所述非瞬时性计算机可读存储介质存储多个程序,所述多个程序在由所述一个或多个处理器执行时致使所述计算***执行一个或多个操作,其特征在于,该一个或多个操作包括:
为虚拟现实***生成包括具有默认位置的用户界面面板的虚拟空间;其中所述用户界面面板包括多个内容海报,每一内容海报在所述虚拟空间中具有唯一位置;
在所述虚拟空间中呈现所述用户界面面板;
使用所述用户附近的位置跟踪***测量所述头戴式显示器在物理空间中的位置;
根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置;
根据所述用户在所述虚拟空间中的位置更新所述用户界面面板在所述虚拟空间中的所述默认位置;以及
当确定所述用户在所述虚拟空间中的位置和所述多个内容海报中的至少一个在所述虚拟空间中的位置满足预定义条件时,在所述虚拟空间中利用与该内容海报相关联的内容预览替换所述用户界面面板。
17.根据权利要求16所述的非瞬时性计算机可读存储介质,其特征在于,所述一个或多个操作进一步包括用于以下的操作:
当在所述虚拟空间中呈现与所述对应内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的当前位置连续地更新所述用户在所述虚拟空间中的当前位置;以及
当确定所述用户在所述虚拟空间中的当前位置和所述对应内容海报的位置不再满足所述预定义条件时,在所述虚拟空间中利用所述用户界面面板替换与所述对应内容海报相关联的所述内容预览。
18.根据权利要求16所述的非瞬时性计算机可读存储介质,其特征在于,根据所述头戴式显示器在所述物理空间中的位置确定所述用户在所述虚拟空间中的位置的所述操作进一步包括:
检测所述头戴式显示器在所述物理空间中的移动;以及
根据所述头戴式显示器在所述物理空间中的移动更新所述用户在所述虚拟空间中的位置。
19.根据权利要求16所述的非瞬时性计算机可读存储介质,其特征在于,所述一个或多个操作进一步包括用于以下的操作:
当在所述虚拟空间中呈现与所述内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的当前位置连续地更新所述用户在所述虚拟空间中的当前位置;以及
当确定所述用户在所述虚拟空间中的当前位置和所述内容海报在所述虚拟空间中的位置满足所述预定义条件至少预定义时间量时,在所述虚拟空间中利用与所述内容海报相关联的完整视图替换与所述内容海报相关联的所述内容预览。
20.根据权利要求16所述的非瞬时性计算机可读存储介质,其特征在于,所述一个或多个操作进一步包括用于以下的操作:
当在所述虚拟空间中呈现与所述内容海报相关联的所述内容预览时:
根据所述头戴式显示器在所述物理空间中的移动连续地监视所述用户在所述虚拟空间中的移动;以及
当确定所述用户在所述虚拟空间中的移动满足预定义移动模式时,在所述虚拟空间中利用与所述内容海报相关联的完整视图替换与所述内容海报相关联的所述内容预览。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/088516 WO2018227502A1 (en) | 2017-06-15 | 2017-06-15 | System and method of instantly previewing immersive content |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109804332A CN109804332A (zh) | 2019-05-24 |
CN109804332B true CN109804332B (zh) | 2020-08-14 |
Family
ID=64659664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780060887.5A Active CN109804332B (zh) | 2017-06-15 | 2017-06-15 | 即时预览沉浸式内容的***和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10901499B2 (zh) |
EP (1) | EP3639114B1 (zh) |
CN (1) | CN109804332B (zh) |
WO (1) | WO2018227502A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018152685A1 (en) * | 2017-02-22 | 2018-08-30 | Tencent Technology (Shenzhen) Company Limited | Image processing in a vr system |
US11361512B2 (en) * | 2020-03-26 | 2022-06-14 | Facebook Technologies, Llc. | Systems and methods for detecting intrusion while in artificial reality |
US11985176B2 (en) * | 2021-09-24 | 2024-05-14 | Jvckenwood Corporation | Virtual-break-room providing system, virtual-break-room providing device, and virtual-break-room providing method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101583950A (zh) * | 2007-01-10 | 2009-11-18 | 通腾科技股份有限公司 | 用于显示富内容文档的导航装置及方法 |
CN101785221A (zh) * | 2007-06-28 | 2010-07-21 | 诺基亚公司 | 为内容提供商提供改进型空间用户接口的方法、计算机程序产品和装置 |
CN105359076A (zh) * | 2013-06-18 | 2016-02-24 | 微软技术许可有限责任公司 | 多步骤虚拟对象选择 |
CN106569598A (zh) * | 2016-10-31 | 2017-04-19 | 努比亚技术有限公司 | 菜单栏的管理装置及方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6795972B2 (en) * | 2001-06-29 | 2004-09-21 | Scientific-Atlanta, Inc. | Subscriber television system user interface with a virtual reality media space |
DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
JP2011238168A (ja) | 2010-05-13 | 2011-11-24 | Hitachi Ltd | サーバクライアント連携システム、及びタスク制御方法 |
US10627860B2 (en) | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
US20120306850A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US20130141419A1 (en) * | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
US8963805B2 (en) * | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
JP2014149712A (ja) * | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
US9878235B2 (en) | 2013-06-07 | 2018-01-30 | Sony Interactive Entertainment Inc. | Transitioning gameplay on a head-mounted display |
US10089786B2 (en) * | 2013-08-19 | 2018-10-02 | Qualcomm Incorporated | Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking |
KR20160024168A (ko) * | 2014-08-25 | 2016-03-04 | 삼성전자주식회사 | 전자 장치의 디스플레이 제어 방법 및 전자 장치 |
EP2996017B1 (en) | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
US10429923B1 (en) * | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
US10684485B2 (en) * | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
US10007352B2 (en) * | 2015-08-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Holographic display system with undo functionality |
KR20170058793A (ko) * | 2015-11-19 | 2017-05-29 | 삼성전자주식회사 | 가상 현실 환경에서 정보를 제공하는 방법 및 장치 |
CN105676455B (zh) | 2016-02-01 | 2017-07-18 | 深圳超多维光电子有限公司 | 头戴式显示设备 |
CN106200956A (zh) * | 2016-07-07 | 2016-12-07 | 北京时代拓灵科技有限公司 | 一种虚拟现实领域多媒体呈现和交互的方法 |
US20180021627A1 (en) * | 2016-07-20 | 2018-01-25 | Strive VR, LLC | Interactive and Dynamic Fitness System |
CN106293337A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种虚拟现实vr设备及其数据显示方法 |
CN106527713B (zh) * | 2016-11-07 | 2019-11-08 | 金陵科技学院 | Vr的三维数据渲染***及其方法 |
KR20180058097A (ko) * | 2016-11-23 | 2018-05-31 | 삼성전자주식회사 | 이미지를 표시하는 전자 장치 및 그 제어 방법 |
KR102660859B1 (ko) * | 2016-12-27 | 2024-04-26 | 삼성전자주식회사 | 전자 장치, 웨어러블 장치 및 전자 장치의 표시 객체 제어 방법 |
US10325409B2 (en) * | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
-
2017
- 2017-06-15 CN CN201780060887.5A patent/CN109804332B/zh active Active
- 2017-06-15 WO PCT/CN2017/088516 patent/WO2018227502A1/en unknown
- 2017-06-15 EP EP17913521.5A patent/EP3639114B1/en active Active
-
2019
- 2019-10-01 US US16/590,140 patent/US10901499B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101583950A (zh) * | 2007-01-10 | 2009-11-18 | 通腾科技股份有限公司 | 用于显示富内容文档的导航装置及方法 |
CN101785221A (zh) * | 2007-06-28 | 2010-07-21 | 诺基亚公司 | 为内容提供商提供改进型空间用户接口的方法、计算机程序产品和装置 |
CN105359076A (zh) * | 2013-06-18 | 2016-02-24 | 微软技术许可有限责任公司 | 多步骤虚拟对象选择 |
CN106569598A (zh) * | 2016-10-31 | 2017-04-19 | 努比亚技术有限公司 | 菜单栏的管理装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200033941A1 (en) | 2020-01-30 |
EP3639114A1 (en) | 2020-04-22 |
CN109804332A (zh) | 2019-05-24 |
EP3639114A4 (en) | 2021-01-20 |
EP3639114B1 (en) | 2024-03-06 |
US10901499B2 (en) | 2021-01-26 |
WO2018227502A1 (en) | 2018-12-20 |
EP3639114C0 (en) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109804333B (zh) | 基于用户的物理尺寸定制用户界面面板的***和方法 | |
CN109844694B (zh) | 使用集线器连接两个不同环境的***和方法 | |
US11164380B2 (en) | System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality | |
EP3211513B1 (en) | Head mounted display, mobile information terminal, image processing device, display control program, and display control method | |
TW202113428A (zh) | 用於針對頭戴式顯示器產生動態障礙物碰撞警告之系統和方法 | |
US20210382547A1 (en) | Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users | |
US10901499B2 (en) | System and method of instantly previewing immersive content | |
KR20160026143A (ko) | 통신 기능 제어 방법 및 이를 지원하는 전자 장치 | |
KR20160026323A (ko) | 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치 | |
WO2020151594A1 (zh) | 视角转动的方法、装置、设备及存储介质 | |
US11216149B2 (en) | 360° video viewer control using smart device | |
CN105765513A (zh) | 信息处理装置、信息处理方法和程序 | |
JP7258766B2 (ja) | 割り込みに対するゲーム内反応 | |
JP7309913B2 (ja) | 視点回転の方法、装置、端末およびコンピュータプラグラム | |
EP3521978B1 (en) | Apparatus and method for tracking a focal point in a head mounted display system | |
CN112817453A (zh) | 虚拟现实设备和虚拟现实场景中物体的视线跟随方法 | |
CN113546419B (zh) | 游戏地图显示方法、装置、终端及存储介质 | |
JP6757404B2 (ja) | シースルー・グラス用の補助アイテム選択 | |
KR20180048158A (ko) | 디스플레이 운용 방법 및 이를 지원하는 전자 장치 | |
US12041288B2 (en) | Changing resource utilization associated with a media object based on an engagement score | |
TW202324041A (zh) | 與遠端設備的使用者互動 | |
US20210216146A1 (en) | Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information | |
US12008160B2 (en) | Eye tracking based selection of a user interface (UI) element based on targeting criteria | |
CN113646830A (zh) | 信息处理设备、信息处理方法和程序 | |
JP2017006355A (ja) | ヘッドマウントディスプレイを制御するプログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |