CN105573486A - 具有与移动计算设备介接的接口的头戴式设备(hmd)*** - Google Patents
具有与移动计算设备介接的接口的头戴式设备(hmd)*** Download PDFInfo
- Publication number
- CN105573486A CN105573486A CN201510293120.XA CN201510293120A CN105573486A CN 105573486 A CN105573486 A CN 105573486A CN 201510293120 A CN201510293120 A CN 201510293120A CN 105573486 A CN105573486 A CN 105573486A
- Authority
- CN
- China
- Prior art keywords
- shell
- smart phone
- optical device
- content
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims description 87
- 230000002452 interceptive effect Effects 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 30
- 238000000429 assembly Methods 0.000 claims description 2
- 230000000712 assembly Effects 0.000 claims description 2
- 239000011521 glass Substances 0.000 description 44
- 238000000034 method Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 29
- 210000003128 head Anatomy 0.000 description 20
- 238000012545 processing Methods 0.000 description 13
- 238000009432 framing Methods 0.000 description 12
- 238000007654 immersion Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000141353 Prunus domestica Species 0.000 description 1
- 241001515806 Stictis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/04—Supports for telephone transmitters or receivers
- H04M1/05—Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Abstract
本发明提供一种头戴式显示器(HMD)***。所述***包括外壳和安置在所述外壳中的光学器件。所述***还包括安置在所述外壳中的处理器,以及与所述处理器介接的快门控制逻辑。所述快门控制逻辑被配置来操作以在打开所述光学器件的左眼侧并关闭所述光学器件的右眼侧与打开所述光学器件的所述右眼侧并关闭所述光学器件的所述左眼侧之间交替。保持器部分与所述外壳集成。所述保持器部分被配置来接纳具有显示屏的智能设备。当用户佩戴所述HMD***时,所述显示屏在朝向所述用户的脸部的方向上朝所述外壳的所述光学器件定向。操作中的快门控件被配置来实现:当通过所述外壳的所述光学器件观看时,在所述智能设备的所述显示屏上呈现的图像数据的三维视图。
Description
优先权要求
本申请是2014年5月30日提交的美国临时专利申请第62/006,022号的非临时申请,且所述美国临时专利申请以引用的方式并入本文中。
技术领域
本发明涉及用于观看媒体内容的头戴式耳机,并且更特定来说,涉及可集成智能设备并且处理用于3D呈现的图像数据的头戴式耳机。
背景技术
计算行业和视频游戏行业这些年已经发生了许多变化。随着计算能力的扩展,视频游戏的开发者已经创建了适合于提高的计算能力的游戏软件。为此目的,视频游戏开发者一直在译码并入有复杂操作和数学运算的游戏,以产生非常逼真的游戏体验。
这些游戏被呈现为包括游戏控制台、便携式游戏设备的游戏***的一部分,和/或被提供为服务器或云上的服务。众所周知,游戏控制台被设计成连接到监视器(通常是电视机),并且通过手持式控制器/输入设备实现用户交互。游戏控制台可包括专门处理硬件以及其它胶连硬件、固件和软件,所述专门处理硬件包括CPU、用于处理密集图形操作的图形处理器、用于执行几何变换的向量单元。游戏控制台可进一步被设计成具有用于接纳游戏压缩光盘的光盘托盘,以便通过游戏控制台进行本地游戏。在线游戏和多玩家游戏也是可能的,其中用户可通过互联网与其他用户交互地比赛或一起玩游戏。随着游戏复杂性不断地激起玩家的兴趣,游戏和硬件制造商不断进行革新来实现额外且更逼真的交互性。
计算机游戏行业的发展趋势在于开发增加用户与游戏***之间的交互的游戏。实现更丰富的交互体验的一种方式是使用无线游戏控制器,所述无线游戏控制器的移动和示意动作被游戏***跟踪。这些移动和示意动作被用作游戏的输入。示意动作输入一般来说涉及使如计算***、视频游戏控制台、智能家电等电子设备对用户在玩游戏时做出的被电子设备捕获的一些示意动作做出反应。
实现更具沉浸式的交互体验的另一种方式是使用头戴式显示器(HMD)。头戴式显示器由用户佩戴,并且可被配置来在HMD的显示部分中呈现各种图形,如虚拟空间的视图。呈现在头戴式显示器上的图形可覆盖用户视野的很大一部分或甚至全部。因此,头戴式显示器可向用户提供沉浸式体验。随着对互联网的连通性持续增加,已经引入了HMD***的更多配置,并且每个配置具有某些优点和相关联的局限性。
正是在这种情况下,本发明的实施方案应运而生。
发明内容
描述关于能够将内容呈现到显示屏幕并且特定来说呈现在头戴式显示器(HMD)上的***、方法和装置的实施方案。所呈现的内容可包括丰富的三维内容,所述三维内容可在沉浸式虚拟现实内容的环境下呈现。
在一个实施方案中,提供一种设备,所述设备包括用于接纳智能电话的狭槽或保持器。所述设备被配置有皮带或头部附接结构,使得智能电话可被定位在狭槽或保持器中。在一个配置中,智能电话的屏幕对于用户是可视的,很大程度上以与具有集成在其中的屏幕的传统HMD相同的方式可视。因此,所述设备不包括显示屏,而是使用智能电话的显示屏来呈现将由用户观看的图像。在一个实现方式中,智能电话将与互联网通信,以访问内容或访问来自智能电话的存储器的内容。在连接模式下,智能电话可获得流式内容或已下载内容,当智能电话正作为头戴式设备运行时,所述内容可被呈现在智能电话上。在一个实施方案中,使呈现在电话的显示器上的内容失真以产生三维图像,并且智能电话保持设备的光学器件可使所述图像去失真,使得智能电话所显示的内容在经由设备的光学器件观看时,将表现为丰富的三维图像/视频/交互式数据。在一个配置中,头戴式设备将包括快门控制逻辑,所述快门控制逻辑将允许控制设备的右眼和左眼光学器件,使得图像数据被快速开闭以展示左、右、左、右、左、右……等图像,从而实质上使头戴式显示器(即,保持设备和智能电话)所呈现的图像数据能够为三维、丰富且沉浸式的。
提供一种头戴式显示器(HMD)***。所述***包括外壳以及安置在外壳中的光学器件。所述***还包括安置在外壳中的处理器,以及与处理器介接的快门控制逻辑。所述快门控制逻辑被配置来操作以在打开光学器件的左眼侧和关闭光学器件的右眼侧与打开光学器件的所述右眼侧和关闭光学器件的所述左眼侧之间交替。保持器部分与外壳集成。保持器部分被配置来接纳具有显示屏的智能设备。当用户佩戴HMD***时,所述显示屏在朝向用户的脸的方向上朝外壳的光学器件定向。操作中的快门控件被配置来实现:当通过外壳的光学器件观看时,呈现在智能设备的显示屏上的图像数据的三维视图。
在另一个实施方案中,提供一种用于呈现虚拟现实内容的***。所述***包括经由皮带附接到用户的头部的外壳。所述***还包括集成在外壳中的光学器件。显示光学器件定向在外壳的内侧上,当外壳附接到用户的头部时,外壳被配置成朝用户的眼睛定向。保持器集成在外壳中。保持器被配置来接纳智能电话或智能设备(即,平板计算机或具有屏幕的设备)。在一个实例中,智能电话的屏幕朝向外壳的显示光学器件定向。智能电话与保持器具有数据连接,以实现外壳的电子设备与智能电话的电子设备之间的数据通信。快门控制逻辑与外壳的电子设备介接。光学控制逻辑与光学器件介接。处理器被配置来与快门控制逻辑和光学控制逻辑介接。处理器被配置来设置快门控制逻辑,以便在将从智能电话的屏幕获得的图像数据仅呈现到光学器件的左眼侧与随后仅呈现到光学器件的右眼侧之间相继地切换。处理器进一步被配置来与光学控制逻辑介接,使得对于当图像数据被提供到光学器件的左眼侧和右眼侧时来说,呈现被最佳化。快门控制逻辑实现:当通过外壳的光学器件观看时,根据呈现在智能电话的屏幕上的图像数据的三维图像的显示(如用户所感知)。
在一些实现方式中,所述***包括用于将智能电话连接到外壳的设备接口(有线或无线)。
在一些实现方式中,所述***包括外壳的惯性传感器。所述惯性传感器提供外壳的移动和定向数据,并且外壳的移动和定向数据被传送到智能电话。智能电话使用外壳的移动和定向数据以及智能电话的惯性传感器所产生的移动和定向来微调外壳的移动和定向,以便影响或更新进入智能电话所呈现的虚拟现实场景中的观看方向和视角。
在一些实现方式中,所述***包括将来自外壳的惯性传感器的至少一些数据与来自智能电话的惯性传感器的数据组合来改进对外壳的跟踪。
在一些实现方式中,所述***包括多个发光二极管,其被安置在外壳的表面上,所述发光二极管用于使用至少一个摄像头跟踪外壳的位置。
在一些实现方式中,所述***包括多个光电二极管,其被安置在外壳的表面上,所述光电二极管用于使用位于将在其内跟踪外壳的空间中的至少一个发光设备来跟踪外壳的位置。
在一些实现方式中,所述***包括外壳的用于处理透视模式的电子设备的电路,在透视模式下,智能电话的前置摄像头被激活。当处于所述透视模式时,快门控制逻辑被暂停,并且光学控制逻辑实现根据智能电话的屏幕的图像数据的显示,所述显示经由智能电话的前置摄像头展示现实世界视野。
在一些实现方式中,所述***包括外壳的用于处理透视模式的电子设备的电路,在透视模式下,外壳的前置摄像头被激活。当处于所述透视模式时,快门控制逻辑被暂停,并且光学控制逻辑实现根据智能电话的屏幕的图像数据的显示,所述显示经由外壳的前置摄像头展示真实世界视图。
在一些实现方式中,所述***包括与外壳集成的网络接口。所述网络接口提供对用于连接到具有数字内容的互联网站点的网络的访问权。数字内容是流式内容或交互式流式内容之一,并且其中流式交互式内容将由智能电话呈现,以供经由外壳的光学器件显示。
在一些实现方式中,所述***包括智能电话所提供的网络接口。所述网络接口提供对用于连接到具有数字内容的互联网站点的网络的访问权。数字内容是流式内容或交互式流式内容之一,其中流式交互式内容将由智能电话呈现,以供经由外壳的光学器件显示。
在一些实施方案中,被集成到外壳中的光学器件包括左眼光学器件和右眼光学器件。
在一些实施方案中,外壳包括设备输入端(即,用于与输入设备或信息通信的接口)。设备输入端被配置成用于接收用户输入,所述用户输入用于控制在智能电话所产生的图像数据中呈现的交互式内容场景的至少一部分。
在一个实施方案中,用户输入是经由控制器、手部示意动作、触摸示意动作或语音控制或其组合。
附图说明
图1A示出根据一个实施方案的佩戴设备的用户,所述设备例如为可接纳智能电话或智能设备的外壳,所述设备呈眼镜或头戴式设备(HMD)的形式。
图1B示出根据一个实施方案的眼镜的侧视图,所述眼镜包括电子设备和用于智能电话的保持器。
图1C示出根据一个实施方案的具有用于保持智能电话的狭槽的眼镜的透视图。
图1D示出根据一个实施方案的示例性智能电话,所述智能电话还可包括智能设备、平板设备或具有用于显示内容的屏幕的任何设备。
图2示出根据一个实施方案的佩戴HMD设备的用户,图2包括智能电话以及与HMD设备所呈现的场景的交互。
图3A示出外壳的示例性形状因子,例如可保持智能电话的接纳器单元,其中智能电话的摄像头是前置的。
图3B示出根据一个实施方案的示例性配置,其中通过导线将智能电话连接到外壳接纳单元以及所述接纳单元/外壳的光学器件。
图4A示出根据一个实施方案的作为接纳器单元或外壳的一部分的示例性电子设备,以及所述电子设备与光学器件和智能电话的接口。
图4B示出根据一个实施方案的实例,其中智能电话的软件被配置来处理帧选择和左/右眼选择,包括扩大呈现(按比例放大),以及对显示的处理和通过HMD外壳的光学器件的观看。
图4C示出根据一个实施方案的实例,其中快门逻辑将光学器件设置为左/右交替观看。
图5示出根据一个实施方案的外壳的电气***的实例,所述外壳的电气***可包括快门控制逻辑、控制器光学器件、处理器、网络接口、惯性传感器、存储器、帧缓冲器以及用于与智能电话连接的设备接口,以及对数字内容的互联网访问。
图6示出根据一个实施方案的实例,其中位于同一地点的用户可在本地共享内容(例如对等),包括与云***共享内容。
图7示出VR体验中的HMD***的另一个实例,所述HMD***使用智能电话和快门逻辑来提供丰富的3D内容。
图8A示出根据一个实施方案的佩戴HMD的用户的实例,所述HMD与计算设备和用于跟踪的摄像头介接。
图8B示出根据一个实施方案的多个LED,所述LED可用于摄像头跟踪,并且在一些状况下,光电二极管可集成到外壳表面上,以使用激光或光发射源提供跟踪。
图9示出使用客户端***的游戏玩法的一个实例。
图10示出根据一个实施方案的HMD的实例,所述HMD经由游戏控制台进行跟踪和玩游戏。
图11示出根据一个实施方案的可被制作成外壳或HMD***的一部分的示例性电子设备。
图12提供根据一个实施方案的数据中心以及例如经由网络访问到与多个用户的接口来进行多玩家交互、通信和/或玩游戏的实例。
具体实施方式
描述关于实现将内容呈现到显示屏幕的***、方法和装置的实施方案。所呈现的内容可包括丰富的三维内容,所述三维内容可在沉浸式虚拟现实内容的环境下呈现。所述内容可以是游戏相关、娱乐相关、通信相关、社交通信或共享相关,或这些和其它类型的媒体和信息的组合。在参考图1A到图7所述的一些实例中,示出可被配置来与第二计算设备通信的头戴式耳机设备。在一个实例中,第二计算设备可以是智能电话、平板计算机、计算机、手表,或可通信以获得图像内容并且实现此类图像内容的呈现的某一设备。
在一个实现方式中,提供一种头戴式设备,所述头戴式设备包括狭槽或保持器,其用于接纳智能电话,以便允许所述智能电话的屏幕作为头戴式设备的显示器。因此,在这个实例中,头戴式设备不包括显示屏,而是替代地在智能电话被***或放置在头戴式设备的保持器中时,将使用智能电话的显示屏。可经由有线或无线连接将智能电话连接到头戴式设备。在此类实现方式中,智能电话将与互联网通信以访问内容,如流式内容或已下载内容,所述内容在智能电话被***或耦合到头戴式设备时,可被呈现在智能电话上。在基本形式中,头戴式设备将包括用于与智能电话有线或无线通信的电子设备。所述头戴式设备可包括用于实现被呈现在显示器上的内容的观看的光学器件。
在一个实施方案中,使被呈现在电话显示器上的内容失真以产生三维图像,并且头戴式显示器的光学器件可使所述图像去失真,使得智能电话所显示的内容在经由头戴式设备的光学器件观看时,将表现为丰富的三维图像/视频/交互式数据。在另一个实施方案中,在被***头戴式设备中时,智能电话的显示器上所呈现的内容将呈现图像,所述图像可由头戴式设备处理以表现为三维。在一个实施方案中,所述头戴式设备将包括快门控制逻辑,所述快门控制逻辑将允许控制头戴式设备的右眼和左眼光学器件,使得图像数据被快速开闭以展示左、右、左、右、左、右……等图像,这实质上使头戴式显示器所呈现的图像数据能够为三维、丰富且沉浸式的。
图1A示出佩戴头戴式设备的用户的实例,所述头戴式设备可包括保持、***、夹到、滑入、关联到头戴式设备,或与所述设备配对的智能电话60。在一个实施方案中,当智能电话60被***眼镜50中时,所述眼镜可界定HMD。所述头戴式设备可以是简单的壳体设备,所述壳体设备将智能电话60保持在适当位置,并且提供用于观看智能电话60的屏幕的光学器件。在另一个实施方案中,所述头戴式设备可更加智能,所述头戴式设备可包括在智能电话60被连接到、接近或关联到头戴式设备时,用于与智能电话60通信的电子设备。在这个说明中,将所述头戴式设备示出为眼镜50,其具有连接或夹到所述眼镜的智能电话。
所述智能电话可使用其本地无线通信电路来与网络110如互联网通信。智能电话60可通信到各种内容站点,其包括云游戏内容、云娱乐内容、社交媒体内容或通过互联网或专用网络可访问的任何其它类型的内容。在一个实施方案中,一旦已接收到正由智能电话60访问的内容,智能电话就可下载并执行所述内容。在另一个实施方案中,所述内容可从互联网资源流式传输,并且在需要时被输送到智能电话60。在一个实施方案中,从服务提供商流式传输内容,所述服务提供商提供游戏、内容、娱乐内容,或在结合头戴式设备或眼镜50使用时,供智能电话消费的其它多媒体。
图1B示出一副眼镜50的侧视图,所述眼镜50包括当智能电话60已被***眼镜50或由眼镜50保持时,用于与智能电话60介接的电子设备。在这个实例中,智能电话60垂直地位于眼镜50的狭槽或保持器中,使得智能电话60摄像头面朝前,以便在用户佩戴眼镜50时,允许具有对环境的透视视野或直通视野。眼镜50的主体界定外壳70。外壳70可保持电子设备90,并且可包括保持器91。如本文所述的保持器应当包括用于保持、夹持、夹紧、固定、附接或以其它方式将智能电话维持在适当位置的任何结构。在一个实施方案中,当用户与智能电话60设备通过眼镜50所显示的虚拟场景交互,并且用户希望与虚拟场景断开以与另一个人交互、进行电话呼叫、暂停游戏、暂停会话或交互式会话或通信时,使用透视模式(即,透明或半透明模式)的激活。还可自动触发透视模式,如当接收到信号时或当需要安全警报或通知时。
图1C示出眼镜的实例,所述眼镜包括电子设备90,其用于在被连接在一起时,与眼镜50和智能电话60的插头、蓝牙、Wi-Fi和其它无线协议或有线连接、插头、连接器通信。在这个实例中,当眼镜50被佩戴或***在用户脸上时,智能电话屏幕60a侧将面向用户眼睛的位置或大体上朝向眼睛。智能电话的后侧可包括可面向前的智能电话摄像头。在一个实施方案中,眼镜50可包括狭槽或孔70a,使得智能电话后侧的摄像头可看穿眼镜50的壳体。在另一个实施方案中,眼镜50的壳体可包括透视或透明面板,以允许智能电话60的摄像头看穿所述面板。
图1D示出智能电话60的实例,所述智能电话60可包括位于后侧并且还位于前侧上的摄像头。当智能电话被***眼镜50中时,智能电话的屏幕侧60a将面向前朝向用户眼睛。如下文将描述,在一个实施方案中,眼镜50可包括光学器件80,所述光学器件80将位于用户眼睛与智能电话60的屏幕60a之间。可定制光学器件80来提供对智能电话屏幕60a所提供的内容的观看,并且使呈现、设定尺寸、重新设定尺寸、清晰度、时效和其它失真或非失真调整最佳化。
图2示出佩戴头戴式设备(眼镜)50的用户的实例,所述头戴式设备50已接纳或将要接纳智能电话60。在一个实施方案中,智能电话60连接到头戴式设备50的电子设备90,使得光学器件80可与智能电话60的逻辑、软件、固件同步,以用于通过光学器件80向用户呈现智能电话屏幕60a的图像。在一个实施方案中,由智能电话60呈现的内容将是虚拟现实三维内容,所述内容以已下载的应用程序的形式或以来自网站、服务、服务提供商、内容提供商、娱乐提供商等的流式格式输送到智能电话60。在一个实施方案中,在智能电话60上呈现的内容是虚拟现实呈现内容,所述内容在定义为VR空间的示例性屏幕中示出。
智能电话60的前置摄像头可监视眼镜50的此正视图,以便帮助用户与场景交互,如允许用户12将手14放置到场景16中,以与VR空间中的内容交互。因此,现实世界空间中的用户可将他的手放置到前置摄像头的视空间中,并且这由在智能电话上操作的软件检测,以允许将用户的手14共混到VR空间中。用户的手可被呈现到VR空间中,作为用户实际的手或作为增强现实,或作为增强和现实世界图像的共混。
图3A示出眼镜50的实例,所述眼镜50被展示为外壳,所述外壳包括用于接纳智能电话60的夹子或搁架71。应当理解的是,外壳的形状和人体工程学可取决于具体实现方式而改变。因此,本文所提供的示例性实现方式仅仅是根据各个实施方案的实例,所述实例可被修改,只要它们起作用并且提供设备之间的交互性即可。
在这个特定实例中,外壳包括夹子71(或保持器),所述夹子71允许前置摄像头自由地观看用户的现实世界中的前部空间或区域。在一个实施方案中,如上所提及,内容可从透明模式切换以观看虚拟现实空间外部,并且返回到现实世界空间。因此,当用户希望观看现实世界并且退出VR空间时,前置摄像头20提供现实世界视野。在另一个实施方案中,当用户正在VR空间中交互时,前置摄像头20可向用户提供安全通知。举例来说,如果用户在特定空间中四处行走,并且危险地接近台阶、墙壁或一些其它物体,那么可在头戴式显示器中向用户提供通知,如消息、通知、警报、声音、触觉反馈等。
因此,当用户沉浸在虚拟现实空间中时,摄像头20对提供现实世界空间的安全通知有用。用户还可在部分透明视野、完全透明视野、完全和部分透明视野的共混或部分视野中具备从虚拟现实空间出来进入现实世界空间的转变,所述视野可展示用户感兴趣或在用户正佩戴由智能电话60启用的头戴式设备时可能危险的实际特征。
图3B示出头戴式设备的实例,所述头戴式设备包括头带和外壳70。外壳70被示出为包括电子设备90和光学器件80,当智能电话被放置在狭槽、保持器、夹子或连接件71中时,电子设备90和光学器件80位于用户眼睛将处于的位置与智能电话60屏幕的正面之间。还可结合外壳提供电池来为电子设备90供电。
在另一个实施方案中,连接器插头或导线30可用于经由被安置在外壳70中的电池32提供电力。在另一个实施方案中,智能电话60的电池可操作头戴式设备50的电子设备90。如上所提及,智能电话60还可以是平板计算机、计算机单元、局部计算机单元或具有显示屏的任何混合设备。在这个实例中,通过USB链路连接器36将智能电话60连接到接纳器单元。智能电话60因此连接到接纳器单元的电子设备90,以用于处置从智能电话60接收到的信息,如图像数据与光学器件80的操作的同步。
图4A示出可用于头戴式设备50中的电子设备单元90的实例。在一个实例中,电子设备单元90可包括用于连接到智能电话60的设备接口98。设备接口98可与微处理器94和存储器96通信。微处理器94可耦合到作为电子设备单元90或接纳器单元的一部分的惯性传感器91。惯性传感器91可包括加速度计、陀螺仪、磁力仪和其一个或多个的组合或那些设备的组合。一般来说,当由用户佩戴时,惯性传感器91提供关于外壳70的移动和定位的数据。
这些运动和移动可被转换成关于位置的信息,所述信息可用于跟踪,并且可用于相对于正被呈现或与之交互的虚拟现实内容来展示或改变智能电话60所提供的图像(即,图像内容)。举例来说,当用户12四处移动他的头部时,智能电话60的显示器60a可基于与用户正看向或远离的那些位置相关联的内容,提供不同图像和场景。微处理器单元94还可与显示器快门逻辑92通信。显示器快门逻辑92可耦合到光学器件控制器逻辑93,所述光学控制器逻辑93随后耦合到接纳器单元(即,外壳)的光学器件80。在一个实施方案中,可将内容以格式化的三维形式或以正常的非格式化形式,从远程服务器提供到智能电话60。举例来说,每帧可包括左眼图像和右眼图像,所述左眼图像和右眼图像实质上是被提供到左眼和右眼并且以失真格式提供的同一图像。在一个实施方案中,此帧流可以流式格式从服务下载到智能电话,以便经由光学器件80显示在接纳器单元上。
显示器快门逻辑92可配置所述***,以顺序左、右、左、右、左、右等向相应眼睛示出所接收帧的图像。以这种方式,左眼将看见用于所接收帧的来自所述帧的左边部分的内容,并且随后右眼将看见用于接下来接收到的帧的来自所述帧的右边部分的内容,并且随后左眼将看见所接收帧的左边部分,并且随后右眼将看见用于下一帧来自所述帧的右边部分的内容等。参考图4C更详细地示出此情况。
图4B示出佩戴具有智能电话60***其中的头戴式设备的用户12的实例。在这个实例中,智能电话处理将从云处理***接收帧流,所述帧流可将三维游戏输送到便携式设备。在这个说明中,正被输送到智能电话的每帧将各自包括左眼和右眼图像内容。智能电话60上或头戴式设备的电子设备90上或头戴式设备的电子设备90和智能电话60两者上所执行的软件模块将执行帧(例如,来自云处理***的帧流)的接收。可例如以每秒30帧的速度输送帧流。取决于实现方式,其它帧速率是可能的。
如图所示,所接收图像帧模块将接收图像,且扩大呈现(按比例放大)模块将按比例放大图像帧的选定左边或右边部分。正被按比例放大的选定左边或右边图像帧将被提供到智能电话60的显示器,以供在智能电话设备60的整个屏幕上显示,而不是使智能电话设备以较小的较少沉浸式格式示出左眼和右眼两者。此外,软件可包括逻辑,使得头戴式设备可选择顺序地开闭左眼或右眼,使得左眼或右眼将以连续顺序看见由智能电话呈现的整个屏幕。在一个实例中,示出帧0、1、2、3、4和5。这些帧正被从云***流式传输,并且每帧将包括左眼和右眼图像内容。根据一个实施方案,对于帧0来说,软件将选择来自所述帧的左眼图像内容,并且将扩大呈现所述左眼内容以供显示在便携式设备上。
在同步中,软件将向眼镜的快门***提供指令,所述指令将打开左眼的快门,使得用户在按比例放大的图像被提供到电话的整个显示屏时,用左眼观看整个屏幕。相同过程将对帧1发生,例外的是右眼内容被按比例放大、被示出在显示屏上,并且快门将向用户的右眼示出所述内容。这个过程将按顺序继续,以便向由智能电话正显示的内容提供三维效果。在一个实施方案中,软件和智能电话实质上向眼镜提供帧选择和扩大呈现以及快门选择指令。
在替代实施方案中,从来源接收到的图像数据将提供完整图像,从而避免了对扩大呈现的需要。在这种状况下,快门逻辑将向左眼和右眼简单地展示内容,相继地切换,以便提供三维效果。如此,可在预先格式化或不预先格式化由智能电话60经由光学器件80输送或显示的图像内容的情况下处理3D效果。在这个实施方案中,因此,快门逻辑与智能电话的屏幕所呈现的图像的帧速率简单地同步,并且左/右快门开闭提供必需的三维效果。在一些实施方案中,发送图像数据(例如,交互式视频)以供结合快门***使用,并且在其它实施方案中,图像数据由外壳70的电子设备90简单地发送,并且快门开闭由外壳70的电子设备90完成。
图4C示出来自流式服务的以每秒30帧到达的流的实例。在这个实例中,利用眼镜的快门***,每只眼睛每秒看见15帧。在时间0处,电话将显示已按比例放大的左眼图像内容,并且快门将打开左眼来观看所述内容。在时间1处,软件将选择来自已按比例放大的帧的右眼内容,并且快门将允许右眼观看整个电话显示屏。对于时间2、时间3等,此过程将继续。在其它实施方案中,可取决于带宽而增加图像流进入智能电话60的帧速率。在一个实施方案中,如果帧流的帧速率是每秒60帧,那么每只眼睛每秒将看见30帧。实质上,可通过简单地使用快门***来将内容做成丰富的三维内容,所述快门***将选择帧的图像的若干部分,并且随后将按比例放大的版本显示到显示屏上。如上所述,按比例放大是可选的,并且***可对完整的所接收图像帧和快门开闭进行操作,并且经由光学器件80来显示。在一些实施方案中,帧速率还可以是每秒120、240或更多帧,取决于带宽和处理能力。
在又一实例中,参考图4B和图4C,三维视频流被传送到头戴式显示器(即,智能电话60的屏幕60a)。三维视频流的每帧包括左眼图像和右眼图像两者。处理给定帧来提取左眼图像或右眼图像,但不会提取两者。对于给定帧来说,所提取的图像(左眼或右眼)被扩大呈现以配合头戴式显示器的显示尺寸,并且头戴式显示器的快门被设置成允许显示给定帧(左眼或右眼)的当前被提取并扩大呈现的部分。随后,显示给定帧的所提取和扩大呈现部分。
对于连续帧来说,提取、扩大呈现、快门设置和显示操作在左眼图像与右眼图像之间交替,使得对于给定帧,仅处理左眼图像部分或右眼图像部分,以及下一帧处理左眼图像部分或右眼图像部分的另一个等。在正常帧速率的情况下,以交替方式仅处理给定帧的左眼图像部分或右眼图像部分对于人类视觉***是不可辨别的,并且在处理三维视频流中提供了改进的效率。并且,视频流还可提供非3D图像数据,所述非3D图像数据是通过快门开闭产生的给定3D效果。另外,在一些实施方案中,不需要扩大呈现图像数据,并且可关闭全尺寸图像。
图5示出电子设备单元90的实例,所述电子设备单元90可包括其它功能性、电路、固件、逻辑、处理器、存储器等。这些特征仅仅是示范性的,并且取决于实现方式,一些***可包括更多或更少设备。在图5所提供的一个实例中,电子设备单元90可以是眼镜50的一部分。电子设备单元90将包括处理器94,所述处理器94可包括图形处理器或GPU或通用处理器。在一个实施方案中,可提供多个处理器或多核处理器。处理器94可与可作为眼镜或头戴式设备的一部分的惯性传感器91通信。惯性传感器91可收集用于运动、移动、航位推测和跟踪的信息。此信息可与处理器94共享。
在另一个实施方案中,多个光电二极管安置在外壳表面上。所述光电二极管用于使用位于有待跟踪外壳的空间/房间中的至少一个发光设备来跟踪外壳的位置。举例来说,光电二极管可安置在外壳表面上,例如彼此具有已知的物理间隔。光发射器可例如在各个方向上射出光,使得所述光中的一些光将接触/到达光电二极管。计算或校准定时简档,使得定时是已知的或与检测和发射同步。以这种方式,有可能识别某些光电二极管何时检测到光,并且因为发射器(例如,被放置在房间中的一个或两个旋转发射器)的位置以及定时是已知的,所以有可能识别外壳上具有光电二极管的位置。因为发射和检测是在使用HMD***期间进行的,所以有助于对HMD/外壳的跟踪。
处理器还可控制快门控制逻辑92,所述快门控制逻辑92随后可与可控制的光学器件93介接,所述可控制的光学器件93可控制眼镜的左眼和右眼光学器件80。在一个实施方案中,处理器还可耦合到帧缓冲器95和存储器96,或仅耦合到存储器96。帧缓冲器95还可与图像呈现逻辑97通信,所述图像呈现逻辑97还向光学器件80的左眼和右眼提供图像数据。举例来说,头戴式设备(眼镜)50还可接收来自互联网的单独的内容或数据馈送,所述内容或数据馈送可与智能电话60所接收的并且由智能电话屏幕60a显示的内容共混。在一个实施方案中,可利用头戴式显示器50所提供的额外内容来增加智能电话60所显示的内容。在一个实施方案中,头戴式设备(眼镜)50所获得的内容可与智能电话所接收并显示的内容共混、多路复用或相适应。举例来说,内容可在头戴式设备所接收到的内容与智能电话60所接收到的内容之间切换。
在其它实施方案中,取决于正显示的内容、覆盖物(overlay)、通信信息、第二频道聊天馈送、社交网络数据、图片显示数据中的图片或其它内容可通过眼镜的光学器件提供到左眼或右眼或两只眼睛,并且可与智能电话设备60所提供的数据共混或被其代替或与之交错。在一个实施方案中,智能电话设备60和电子设备单元90可包括网络接口99和设备接口98,所述网络接口99和设备接口98将允许与互联网通信,并且提供对各种内容站点的访问。所述内容站点可向设备提供内容来用于VR呈现、图像产生、通信、社交网络共享、虚拟现实旅游、目的地旅游内容、云游戏内容、云娱乐内容、社交媒体内容、流媒体服务器、附近的头戴式显示器玩家和其它信息。
在一个实施方案中,可使用主动式快门3D***(例如,交替帧序列、交替图像、AI、交替视场、视场顺序或消逝方法)来显示立体3D图像。在一个配置中,***通过以下方式来工作:仅呈现既定用于左眼的图像,同时阻挡右眼的视野,随后呈现右眼图像,同时阻挡左眼,并且快速重复此过程,使得中断不会干扰两个图像变成单个3D图像的感知融合。
某些主动式快门3D***使用液晶快门眼镜(也称为“LC快门眼镜”或“主动式快门眼镜”)。OLED屏幕也是可用的。每只眼睛的镜片包含液晶层,所述层具有在被施加电压时变得不透明,在其它时候为透明的性质。眼镜由定时信号控制,所述定时信号允许眼镜交替地阻挡一只眼睛,并且随后阻挡另一只,这与屏幕的刷新速率同步。可经由有线信号或通过红外线或射频(例如,蓝牙,DLP链路)发射器以无线方式来实现视频设备的定时同步。主动式快门3D***还可被实施来在一些剧院中呈现3D电影,并且它们可用于在CRT、等离子体、LCD上呈现3D图像,在HMD***、VR显示***、智能电话、游戏控制台、屏幕、显示器和其组合上呈现3D图像。
图6示出多玩家或多用户环境的实例,其中多个用户可在使用结合智能电话60的头戴式设备50。在一个实施方案中,智能电话60可与云***通信,所述云***可提供流式VR内容。在一个实施方案中,用户可彼此紧密接近,这可允许与智能电话和VR内容混合相关联的***和软件切换通信模式。举例来说,如果一对用户正在共享虚拟显示站点或位置或交互区,那么内容的一些或全部可经由对等网络(即,以配对模式)在所述用户之间传送,所述对等网络是从点对云网络变化的模式。
当检测到用户的接近时或按照用户设置或请求,切换可随着时间的过去而动态地发生。通过启用本地对等通信,还可减小等待时间。当交互式视频正被流式传输到两个用户时,切换到对等可能是为了选择数据,例如数据通道。举例来说,本地通信如消息接发、聊天、音频通道和通知可经由对等网络传送,同时交互式数据被从服务器流式传输给每个用户。在某些状况下,可将某些流式数据发送给一个用户,并且将此数据共享给另一用户,例如当一个用户具有比另一用户高的宽带连接时。因此,这些实施方案将允许用户共享VR空间,并且以混合模式的方式在彼此之间传送数据,这可允许到云***的通信和对等通信、近场通信、Wi-Fi通信、蓝牙通信或其它所连接的有线或无线链路的任何组合。
图7示出头戴式设备50的另一个实例,所述头戴式设备50可包括用于接纳智能电话60的狭槽71。如上文所论述,智能电话60可通过连接器40来连接到头戴式设备或外壳70。连接器40可以是有线连接或无线连接。一旦将智能电话60***外壳的保持器71中,智能电话60就可允许其前置摄像头面朝前。在一个实施方案中,外壳被设计成使得智能电话的摄像头可向前观看,而不会被阻挡。头戴式设备50还可包括如上所述的电子设备90和光学器件80。在这个实施方案中,头戴式设备还可包括两个额外的摄像头,如HMD50的外壳上的左摄像头或右摄像头。当用户决定在虚拟现实场景到现实生活之间翻转时,这些额外的摄像头可例如在穿过模式(或传输或半传输模式)下提供对用户前面的内容的三维观看,以及用户前面的现实世界场景。
在这个实例中,头戴式设备50的电子设备90可包括可与互联网通信的无线网络接口99或有线接口。被示出为***外壳的保持器71中的智能电话60还可包括其本身的互联网连接。智能电话的摄像头面向前,但也可包括其它摄像头。当然,智能电话60可包括其本身的惯性传感器(未示出)。另外,头戴式设备50可包括惯性传感器91,所述惯性传感器91也与头戴式设备50的处理器94通信。头戴式设备50的惯性传感器91可与智能电话的惯性传感器通信。
在一个实施方案中,共混、混合或航位推测可发生在从头戴式设备50的惯性传感器91收集的数据与从智能电话60收集的数据之间,从而避免在观看VR场景中的内容时将不自然的误报、不平稳移动、非预期的运动或触发。在这个实例中,处理器94与快门控件92和摄像头选择右-左通信,所述摄像头选择右-左与用于右眼和左眼的光学器件控件93通信。还可提供存储器和/或帧缓冲器95,使得处理器94可向显示屏提供与电话显示屏所提供的数据不同的数据,或除了由这个智能电话提供的内容之外,可通过头戴式设备提供共混、多路复用、覆盖、消息覆盖、社交连接覆盖等。在一个实施方案中,处理器可用于选择摄像头选择右/左,使得当用户希望看穿设备并且看现实世界时,可激活头戴式设备的前置左摄像头和右摄像头。
通过两个摄像头来看现实世界可借助于快门控件92发生,所述快门控件92在左眼与右眼之间按顺序并连续地翻转。这个功能性将提供更加逼真的与现实世界相关联的图像,并且包括单个摄像头前置***无法提供的三维深度视角。在又一实施方案中,头戴式设备50的前置摄像头可有助于安全特征,如当用户正接近墙壁、物体、楼梯或不安全区时警告用户。
在又一实例中,参考图4B和图4C,将三维视频流传送到头戴式显示器。所述三维视频流的每帧包括左眼图像和右眼图像两者。给处理定帧来提取左眼图像或右眼图像,但不会提取两者。对于给定帧来说,所提取的图像(左眼或右眼)被扩大呈现以配合头戴式显示器的显示尺寸,并且头戴式显示器的快门被设置成允许显示给定帧(左眼或右眼)的当前被提取并扩大呈现的部分。随后,显示给定帧的所提取和扩大呈现的部分。
对于连续帧来说,提取、扩大呈现、快门设置和显示操作在左眼图像与右眼图像之间交替,使得对于给定帧,仅处理左眼图像部分或右眼图像部分,并且下一帧处理左眼图像部分或右眼图像部分的另一个等。在正常帧速率的情况下,以交替方式仅处理给定帧的左眼图像部分或右眼图像部分对于人类视觉***是不可辨别的,并且在处理三维视频流中提供改进的效率。
在其它实施方案中,摄像头可与HMD或智能电话分开提供。摄像头可指向HMD以跟踪HMD。在一些实施方案中,可一起使用摄像头的组合,所述组合可包括HMD上的摄像头、电话上的摄像头以及观看HMD的摄像头(例如,当被连接到计算机时)。如此,应理解,参考图1A到图7所述的实施方案或所述实施方案的零件可与参考图8到图12所述的零件、部件、特征或实施方案组合,以便定义各种混合实施方案。
考虑到前述内容,参考图8到图12描述额外的实施方案。
在一个实例中,由用户佩戴的HMD为用户提供观看丰富的多媒体内容的机会,所述多媒体内容可包括视频游戏、电影、互联网内容和其它类型的交互式和非交互式内容。使用***的组合来执行对HMD的跟踪。所述***包括但不限于:HMD中的惯性传感器,以及使用一个或多个摄像头的光学跟踪。用于光学跟踪的摄像头可捕获佩戴HMD的用户的视频,因此当用户带着HMD四处移动时,可分析视频帧以确定HMD的位置、定向和移动。广义地说,HMD所呈现的某些内容动态地取决于HMD的移动。
举例来说,如果HMD提供进入场景中的视野,那么用户能够自然地移动他或她的头部来观看场景的其它部分。在视频游戏实例中,佩戴HMD的用户可在任何方向上移动他或她的头部,以在虚拟场景中和虚拟场景周围移动。在一个实施方案中,以丰富的三维(3D)格式呈现虚拟场景。因此,为了流畅地呈现HMD中的内容,将以高保真度来跟踪HMD的移动。
在图8A和图8B中所示的HMD的一个配置中,HMD被配置来与客户端***106通信,所述客户端***106呈现被呈现给HMD的内容。在一些实施方案中,可从远程服务器或使用云游戏基础架构的服务器流式传输所述内容(例如,游戏、电影、视频、音频、图像、多媒体等)。在一些实例中,将内容下载到客户端***106,以用于呈现并且随后传送到HMD。
如上所述,跟踪可包括使用安置在HMD内的惯性传感器。示例性惯性传感器包括一个或多个加速度计以及一个或多个陀螺仪。一些实现方式可包括或多或少的惯性传感器。除惯性传感器之外,还可使用摄像头来跟踪HMD。在一个实施方案中,HMD配置有若干个灯(例如,发光二极管(LED)),所述灯充当标记。随后可通过客户端***分析摄像头所捕获的一个或多个视频帧来容易地识别标记。在一个配置中,HMD包括前部单元(例如,本文也称为光学器件块)的四个隅角上的四个LED以及后面部分上的两个LED。
在一个实例中,前部单元102a在每侧上包括正面和侧面,其中所述正面和侧面界定大致连续的表面。在本文所提供的各个实例中,前部LED被界定在前部单元102a的外壳中并且被安置有透明塑料,其当LED接通时可照明。此外,在一些实施方案中,前部LED被配置成部分安置在前表面上,并且部分安置在侧表面上,以便界定部分L形状,或弯曲的L形状,或回旋镖形状、或弯曲矩形,或曲线、或点,或圆形、或图案或其组合。
当用户直接面对摄像头108时以及当用户开始避开直接面对摄像头108时,这种形状允许跟踪前部单元102a。当用户面向旁边,并且进一步远离直接面对摄像头时,前部LED将可见,直到仅前部一侧上的LED可见且后侧上的LED之一可见为止。这是从前部LED到前部和后部LED的转变。由于这种转变,如上所述,需要前部LED与后部LED之间的分开距离,使得可进行准确的跟踪。
更进一步,当佩戴HMD的用户面向摄像头时,摄像头应当能够看到全部四个LED。四个前部LED的间隔对于客户端***106是已知的。举例来说,可通过客户端***106上所执行的程序来访问HMD的几何模型,以便确定当用户佩戴HMD时用户头部的深度(相对于摄像头)和定向。举例来说,因为四个LED在一个实施方案中被安置在隅角(例如,描绘矩形形状)上,所以有可能从所捕获的视频帧确定用户是在向下、向上还是向侧面观看。
然而,因为可在HMD中呈现的交互式内容几乎可以是无限的,所以用户能够在几乎每个维度中观看虚拟场景并且与之交互。佩戴HMD的用户因此可决定在任何方向上转动他或她的头部,头部不一定总是相对于摄像头面向前。实际上,取决于所呈现的内容(例如,沉浸式交互式视频游戏、移动、虚拟旅游、剪辑、音频和其组合),用户将多次面对摄像头的侧面和直接背离摄像头。
在此类交互式会话期间,跟踪HMD的摄像头将从看见前部四个LED转为间或看见前部LED中的两个LED的侧面且还看见后部LED之一。虽然前部四个LED基于HMD的几何模型保持在固定相对定向上,但是后部LED可取决于对HMD的头带的调整设置而改变位置。举例来说,如果头部较小的用户将头带调到合适,那么前部LED与后部LED之间的距离(例如,当从侧面观看时)相对于针对另一个用户的较大头部的调整设置将更靠近。
为了说明头带调整的变化的原因,配置某一过程来校准HMD的几何模型,使得前部LED与后部LED之间的间隔(例如,当从侧面观看时,当用户转动他或她的头部远离直面摄像头时)可用于向HMD准确地呈现场景内容,并且从所需视角、角度和/或定向提供场景。在一个实现方式中,几何模型是计算机模型,所述计算机模型存储/包含HMD102的尺寸和/或三维轮廓,类似于计算机辅助设计(CAD)绘图可示出的尺寸和/或三维轮廓。然而,所述几何模型不显示为绘图,而是被存储为可由游戏、或电影、或软件,或固件,或硬件,或其组合访问的数据集,以便实现准确的跟踪。
还通过实例,在一个实施方案中,HMD102的三维轮廓可包括HMD的每个形状和LED区的形状的轮廓、LED相对于轮廓中的形状的位置、HMD的物理结构的角和轮廓线,以及界定HMD的特征和构造的测量值的数据集。具体来说,几何模型可包括尺寸数据,所述尺寸数据界定LED在前部单元102a上的精确相对布局。然而,因为后部LED耦合到可调整的头带,所以在校准期间必须更新间隔距离,使得可利用前部LED与后部LED之间的更准确距离来更新几何模型。
在一个实施方案中,校准过程被配置来在对视频帧的分析确定了后部LED之一是可见的之后起始(例如,从仅前部LED可见时开始)。举例来说,在会话(例如,玩游戏或交互式会话)开始的时候,常见的是,用户将使HMD面向摄像头。在某一时刻,用户将转动他的头部远离摄像头,从而将暴露后部LED中的至少一个。此时,正在进行的对视频帧的分析将检测到后部LED的出现。
在一个实施方案中,随着用户继续移动,过程将分析若干帧,以便使可见的后部LED和可见的前部LED与惯性数据相关联。针对每帧而呈现的惯性数据例如用于关联可见的后部LED与可见的前部LED之间的估计的间隔距离。在一个实例中,来自HMD的陀螺仪数据用于确定在HMD移动时用户头部的旋转运动。此外,作为实例,来自HMD的加速计数据用于确定移动,如位置(例如,倾斜度/间距)和旋转。
因此,使用来自HMD的所捕获视频帧的图像数据(即,当后部LED和前部LED可见时),与图像数据组合的惯性数据将呈现前部LED与后部LED之间的所估计的间隔距离,以用于HMD的头带的当前尺寸设置。这个数据随后用于校准HMD的几何模型,所述几何模型包括所估计的间隔距离。在一个实施方案中,所述校准可时常更新,并且还可单独为HMD的每一侧校准。
一旦对HMD的几何模型的校准完成,用户就可在会话期间进行交互。然而,一旦会话完成,有可能一不同用户可能希望有权使用所述HMD。此时,新的用户也将可能将HMD的头带调整到另一个尺寸,这将会引起前部LED与后部LED之间的实际间隔距离的改变。在一个实施方案中,可使用先前更新的校准或来自原始几何模型的尺寸开始新的会话。
在开始时,玩游戏或交互式会话将顺利进行,其中HMD中所呈现的场景将基于用户头部的移动来呈现。当佩戴HMD的用户面向前朝向摄像头时,情况将是如此,其中HMD前部的四个LED之间的固定间隔是已知的。然而,一旦用户转向远离摄像头并且发现后部LED,在没有自动校准的情况下,***将在HMD中所呈现的内容中看见跳跃或弹出。发生这种情况是因为对HMD的跟踪(所述跟踪利用对LED的标记跟踪来识别位置)将与HMD的实际位置不同步。
在一个实施方案中,每当用户使HMD面对侧面时,其中前部LED和后部LED变得可见(即,来自当仅前部LED或仅后部LED可见时),就执行关于是否需要重新校准的确定。在一个实例中,如果针对当前会话的校准已发生,并且所述会话在当前校准的情况下正在进行,那么***将在后台运行校准,以确定当前校准是否仍处于预定义的公差余裕内。举例来说,如果相同用户在玩游戏期间调整了头带,或脱下HMD来进行较小尺寸调整,或一些其他人短暂地试戴过HMD,那么前部与后部之间的实际间隔将不同于用于在初始校准期间估计间隔的间隔。
公差余裕被配置或选择为使得在新的后台校准显示呈现毛刺、跳跃或弹出将可能发生(例如,在HMD中所呈现的视频图像中)的情况下,新的校准应当成为当前校准。
在又一实施方案中,HMD将包括将设置旗标的头带调整检测器。所述旗标可由***和/或游戏执行来读取,所述标志可用于要求重新校准几何模型。举例来说,如果用户在HMD的使用期间调整头带,那么***可经由所述旗标来警告应当重新运行校准。如果因为另一个用户试戴过HMD而发生调整,甚至当正在进行同一会话时,也可发生相同警告。在其它实施方案中,可在开始新的会话后或在***检测到HMD已静止一段时间或一段时间未移动时产生所述旗标。在新的会话发生之前或甚至在会话期间,此类指示符可被视为头带可能已被调整的可能性。
图8A示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的***。示出用户100正佩戴着头戴式显示器(HMD)102。以类似于眼镜、护目镜或头盔的方式佩戴HMD102,并且所述HMD102被配置来向用户100显示视频游戏或其它内容。借助于提供紧密接近用户眼睛的显示机构(光学器件和显示屏)和被输送到HMD的内容的格式,HMD102被配置来向用户提供沉浸式体验。在一个实例中,HMD102可向用户眼睛中的每一只提供显示区,所述显示区占据用户视场的大部分或甚至全部。
在一个实施方案中,HMD102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是任何通用或专用计算机,包括但不限于:游戏控制台、个人计算机、膝上型计算机、平板计算机、移动设备、蜂窝电话、平板、瘦客户端、机顶盒、流媒体设备等。在一些实施方案中,HMD102可直接连接到互联网,这可允许云游戏,而无需单独的本地计算机。在一个实施方案中,计算机106可被配置来执行视频游戏(和其它数字内容),并且输出来自所述视频游戏的视频和音频,以供HMD102呈现。计算机106在本文中还可被称为客户端***106a,所述客户端***106a在一个实例中是视频游戏控制台。
在一些实施方案中,计算机可以是本地或远程计算机,并且计算机可运行仿真软件。在云游戏实施方案中,计算机是远程的,并且可由多种计算服务表示,所述计算服务可在数据中心中虚拟化,其中游戏***/逻辑可虚拟化并通过网络分配给用户。
用户100可操作控制器104来提供视频游戏的输入。在一个实例中,摄像头108可被配置来捕获用户100位于其中的交互式环境的图像。可分析这些所捕获的图像来确定用户100、HMD102和控制器104的位置和移动。在一个实施方案中,控制器104包括一个灯(或多个灯),所述灯可被跟踪来确定它的位置和定向。另外,如下文更详细地描述,HMD102可包括一个或多个灯,所述灯在玩游戏期间可作为标记被大体上实时地跟踪以确定HMD102的位置和定向。
摄像头108可包括用来捕获来自交互式环境的声音的一个或多个麦克风。可处理麦克风阵列所捕获的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声音,以便排除不是来自所识别位置的其它声音。此外,摄像头108可被定义成包括多个图像捕获设备(例如,立体摄像头对)、IR摄像头、深度摄像头及其组合。
在一些实施方案中,计算机106可在计算机106的处理硬件上以本地方式执行游戏。可以任何形式获得游戏或内容,如物理媒体形式(例如,数字光盘、磁带、插件、拇指驱动器、固态芯片或插件等),或借助于经由网络110从互联网下载。在另一个实施方案中,计算机106充当通过网络与云游戏提供商112通信的客户端。云游戏提供商112可维护并且执行用户100正玩的视频游戏。计算机106将来自HMD102、控制器104和摄像头108的输入传输给云游戏提供商,云游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(如视频数据、音频数据和触觉反馈数据)被传输到计算机106。计算机106在传输之前可进一步处理所述数据,或可将数据直接传输到相关设备。举例来说,将视频流和音频流提供到HMD102,而将振动反馈命令提供到控制器104。
在一个实施方案中,HMD102、控制器104和摄像头108本身可以是连接到网络110的联网设备,以便与云游戏提供商112通信。举例来说,计算机106可以是不另外执行视频游戏处理但促进通路网络流量的本地网络设备(如路由器)。HMD102、控制器104和摄像头108到网络的连接可以是有线或无线的。在一些实施方案中,可从任何内容源120获得HMD102上所执行的内容或显示器107上可显示的内容。示例性内容源可包括例如,提供可下载内容和/或流式内容的互联网站点。在一些实例中,内容可包括任何类型的多媒体内容,如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。
如下文将更详细地描述,在此类内容是沉浸式3D交互式内容的情况下,玩家100可在HMD102上玩游戏。当玩家正在玩游戏时,可将HMD102上的内容共享到显示器107。在一个实施方案中,被共享到显示器107的内容可允许接近玩家100或远程的其他用户在用户玩游戏时观看。在其它实施方式中,观看玩家100在显示器107上玩游戏的另一个玩家可与玩家100交互地参与。举例来说,观看显示器107上的游戏玩法的用户可控制游戏场景中的人物角色、提供反馈、提供社交互动和/或提供评论(经由文本、经由语音、经由动作、经由示意动作等),这使得没有佩戴HMD102的用户能够与玩家100、游戏玩法或HMD102中正呈现的内容以社交方式交互。
图8B示出根据本发明的实施方案的头戴式显示器(HMD)。如图所示,HMD102包括多个灯200A到200H、200J和200K(例如,其中200K和200J朝向HMD头带的后部或后侧定位)。这些灯中的每一个可被配置成具有特定形状和/或位置,并且可被配置成具有相同或不同颜色。灯200A、200B、200C和200D被布置在HMD102的前表面上。灯200E和200F被布置在HMD102的侧表面上。而且,灯200G和200H被布置在HMD102的隅角处,从而跨越HMD102的前表面和侧表面。将了解,可在用户使用HMD102的交互式环境的所捕获图像中识别所述灯。
基于对灯的识别和跟踪,可确定HMD102在交互式环境中的位置和定向。将进一步了解,所述灯中的一些灯可见或不可见,取决于HMD102相对于图像捕获设备的具体定向。并且,可暴露灯(例如,灯200G和200H)的不同部分以用于图像捕获,取决于HMD102相对于图像捕获设备的定向。在一些实施方案中,惯性传感器安置在HMD102中,所述惯性传感器提供关于定位的反馈,从而无需灯。在一些实施方案中,灯和惯性传感器一起工作,以便实现位置/运动数据的混合和选择。
在一个实施方案中,灯可被配置来向附近其他人指示HMD的当前状态。举例来说,所述灯中的一些或全部可被配置成具有某一颜色布置、密度布置,所述灯被配置成闪烁、具有某一开/关配置,或指示HMD102的当前状态的其它布置。作为实例,所述灯可被配置来显示视频游戏的活动游戏玩法(通常是发生在活动时间轴期间或游戏场景内的游戏玩法)对抗视频游戏的其它不活动游戏玩法方面期间的不同配置,如导航菜单界面或配置游戏设置(在所述设置期间,游戏时间轴或场景可不活动或暂停)。所述灯还可被配置来指示游戏玩法的相对强度等级。举例来说,灯的强度或闪烁速率在游戏玩法的强度增加时可增加。
HMD102可另外包括一个或多个麦克风。在所示出的实施方案中,HMD102包括界定于HMD102的前表面上的麦克风204A和204B,以及界定于HMD102的侧表面上的麦克风204C。通过利用麦克风阵列,可处理来自麦克风中的每一个的声音以确定声源的位置。可以各种方式利用此信息,所述方式包括排除不想要的声源、使声源与视觉识别相关联等。
HMD102还可包括一个或多个图像捕获设备。在所示出的实施方案中,HMD102被示出为包括图像捕获设备202A和202B。通过利用立体图像捕获设备对,可从HMD102的视角捕获环境的三维(3D)图像和视频。可将此类视频呈现给用户,以在佩戴HMD102时向用户提供“视频透视”能力。就是说,虽然严格意义上来说,用户不能透视HMD102,但是图像捕获设备202A和202B所捕获的视频可提供功能均等物,其能够如同看穿HMD102一样看见HMD102外部的环境。
此类视频可利用虚拟元素来增强,以便提供增强的现实体验,或可与虚拟元素以其它方式组合或共混。虽然在所示出的实施方案中,在HMD102的前表面上示出两个摄像头,但是将了解,可存在任何数目的面向外部的摄像头,或单个摄像头可安装在HMD102上,并且定向在任何方向上。举例来说,在另一个实施方案中,HMD102的侧面上可安装有摄像头,以便提供对环境的额外全景图像捕获。
图9示出使用客户端***106的游戏玩法的一个实例,所述客户端***106能够将视频游戏内容呈现到用户100的HMD102。在这个说明中,被提供给HMD的游戏内容处于丰富的交互式3-D空间中。如上所论述,游戏内容可被下载到客户端***106,或可在一个实施方案中由云处理***执行。云游戏服务112可包括用户140的数据库,用户140被允许接入特定游戏、与其他朋友分享经验、发评论以及管理他们的账户信息。
云游戏服务还可存储特定用户的游戏数据150,所述游戏数据150在玩游戏、未来玩游戏、共享到社交媒体网络期间可用,或用于存储奖品、奖项、状态、排名等。社交数据160还可由云游戏服务112管理。社交数据可由单独的社交媒体网络管理,所述社交媒体网络可通过互联网110与云游戏服务112介接。通过互联网110,可连接任何数目的客户端***106,以便访问内容并且与其他用户交互。
继续参考图9的实例,在HMD中所观看的三维交互式场景可包括游戏玩法,如以3-D视图中所示出的人物角色。一个人物角色(例如P1)可由佩戴HMD102的用户100控制。这个实例展示两个玩家之间的篮球运动场景,其中HMD用户100在3-D视图中在另一个人物角色上方把球扣入球篮。其他人物角色可以是游戏的AI(人工智能)人物角色,或可由另一个玩家或多个玩家(Pn)控制。佩戴HMD102的用户100被展示为在使用空间中四处走动,其中HMD可基于用户的头部移动和身***置来四处移动。摄像头108被展示成定位在房间中的显示屏上方,然而,对于HMD的使用来说,摄像头108可被放置在可捕获HMD102的图像的任何位置。如此,从摄像头108的视角看,因为HMD102中所呈现的内容可取决于HMD102被定位的方向,所以用户102被展示为从摄像头108和显示器107转向约90度。当然,在HMD的使用期间,用户100将四处移动、转动他的头部、在各个方向上看,因为可能会需要利用由HMD呈现的动态虚拟场景。
图10示出根据一个实施方案的在使用期间佩戴HMD102的用户。在这个实例中,展示使用由摄像头108从所捕获的视频帧获得的图像数据来跟踪802HMD。另外,展示还可使用由摄像头108从所捕获的视频帧获得的图像数据来跟踪804控制器。还展示其中HMD经由电缆806连接到计算***106的配置。在一个实施方案中,HMD从相同电缆获得电力或可连接到另一条电缆。在又一个实施方案中,HMD可具有可再充电的电池,以便避免额外的电源线。
参考图11,展示示出根据本发明的实施方案的头戴式显示器102的示例性部件的图。应理解,HMD102可包括或不包括或多或少的部件,取决于启用的配置和功能。头戴式显示器102可包括用于执行程序指令的处理器900。存储器902被提供用于存储目的,并且可包括易失性存储器和非易失性存储器。包括显示器904,所述显示器904提供用户可观看的视觉界面。
显示器904可由单个显示器或可以每只眼睛单独显示屏的形式界定。当提供两个显示屏时,有可能分别提供左眼和右眼视频内容。将视频内容单独呈现给每只眼睛例如可提供对三维(3D)内容更好的沉浸式控制。如上所述,在一个实施方案中,通过使用针对一只眼睛的输出,第二屏幕107具备HMD102的第二屏幕内容,并且随后格式化所述内容以供以2D格式显示。一只眼睛在一个实施方案中可以是左眼视频馈送,而在其它实施方案中它可以是右眼视频馈送。
电池906可被提供为头戴式显示器102的电源。在其它实施方案中,电源可包括插座连接电源。在其它实施方案中,可提供插座连接电源和电池906。运动检测模块908可包括各种运动敏感硬件中的任一种,如磁力仪910、加速计912和陀螺仪914。
加速计是用于测量反作用力所引起的加速度和重力的设备。单轴和多轴(例如,六轴)模型能够检测不同方向上的加速度的量级和方向。加速计用于感测倾斜度、振动和冲击。在一个实施方案中,使用三个加速计912来提供重力方向,所述重力方向为两个角度(世界空间俯仰和世界空间横滚)给出绝对参考。
磁力仪测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中,在头戴式显示器内使用三个磁力仪910,从而确保世界空间偏航角的绝对参考。在一个实施方案中,磁力仪被设计来跨越地球磁场,地球磁场为±80微特斯拉。磁力仪受金属影响,并且提供与实际偏航无变化的偏航测量。磁场可由于环境中的金属而扭曲,从而导致偏航测量的偏差。如果必要的话,那么可使用来自其它传感器(如陀螺仪或摄像头)的信息来校准此偏差。在一个实施方案中,加速计912与磁力仪910一起使用,以便获得头戴式显示器102的倾斜度和方位角。
陀螺仪是用于基于角动量的原理来测量或维持定向的设备。在一个实施方案中,三个陀螺仪914基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪帮助检测快速旋转。然而,陀螺仪在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置陀螺仪,所述重新设置可使用其它可利用的信息来完成,所述信息如基于对物体、加速计、磁力仪等的视觉跟踪的位置/定向确定。
提供摄像头916来用于捕获真实环境的图像和图像流。头戴式显示器102可包括一个以上摄像头(任选地),其包括后置摄像头(当用户正在观看头戴式显示器102的显示时背离用户),和前置摄像头(当用户正在观看头戴式显示器102的显示时直接朝向用户)。另外,深度摄像头918可被包括在头戴式显示器102内,以用于感测真实环境中的物体的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器920。并且,可包括麦克风922,以用于从真实环境捕获音频,所述音频包括来自周围环境的声音、用户的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块924。在一个实施方案中,触觉反馈模块924能够引起头戴式显示器102的移动和/或振动,以便向用户提供触觉反馈。
LED926被提供为头戴式显示器102的状态的视觉指示器。举例来说,LED可指示电池剩余电量、通电等。提供读卡器928来使头戴式显示器102从存储卡读取信息和将信息写入到存储卡。包括USB接口930作为用于实现***设备的连接或连到其它设备(如其它便携式设备、计算机等)的连接的接口的一个实例。在头戴式显示器102的各个实施方案中,可包括各种接口中的任一种来实现头戴式显示器102的更大的连通性。
可包括WiFi模块932,以用于实现经由无线联网技术来连接到互联网。并且,头戴式显示器102可包括用于实现无线连接到其它设备的蓝牙模块934。还可包括通信链路936,以用于连接到其它设备。在一个实施方案中,通信链路936利用红外线传输来进行无线通信。在其它实施方案中,通信链路936可利用用于与其它设备通信的各种无线或有线传输协议中的任一种。
包括输入按钮/传感器938来提供用户的输入接口。可包括各种输入接口中的任一种,如按钮、示意动作、触摸板、操纵杆、轨迹球等。超声波通信模块940可包括在头戴式显示器102中,以用于促进经由超声波技术与其它设备的通信。
包括生物传感器942来实现来自用户的生理数据的检测。在一个实施方案中,生物传感器942包括一个或多个干电极,其用于通过用户皮肤、语音检测、眼睛视网膜检测来检测用户的生物电信号以识别用户/简档等。
已将头戴式显示器102的前述部件描述为仅仅是可包括在头戴式显示器102中的示范性部件。在本发明的各个实施方案中,头戴式显示器102可或可不包括前面提及的各种部件中的一些部件。头戴式显示器102的实施方案可另外包括目前未描述、但在本领域已知的其它部件,以用于促进如本文所述的本发明的方面的目的。
本领域技术人员将了解,在本发明的各个实施方案中,可结合显示器上所显示的交互式应用来利用前面提及的手持式设备,以提供各种交互式功能。仅作为实例且不作为限制来提供本文所述的示范性实施方案。
在一个实施方案中,如本文所提及的客户端和/或客户端设备可包括头戴式显示器(HMD)、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线设备、数字垫、独立设备、手持式玩游戏设备和/或类似设备。通常,客户端被配置来接收经编码的视频流,对视频流进行解码,并且将所得的视频呈现给用户(例如游戏玩家)。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端成一体的显示器上或在如监视器或电视机等单独设备上将视频流呈现给用户。
客户端任选地被配置来支持一个以上游戏玩家。举例来说,游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家(例如,P1、P2……Pn)。这些玩家中的每一个可接收或共享视频流,或单个视频流可包括特别针对每个玩家而产生(例如,基于每个玩家的视角而产生)的帧的区。任何数目的客户端可以是本地的(例如,位于同一地点)或地理上分散的。游戏***中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用,术语“游戏玩家”用于指玩游戏的人,并且术语“玩游戏设备”用于指用于玩游戏的设备。在一些实施方案中,玩游戏设备可以指多个计算设备,其进行合作来向用户传达游戏体验。
举例来说,游戏控制台或HMD可与视频服务器***合作来传达通过HMD观看的游戏。在一个实施方案中,游戏控制台从视频服务器***接收视频流,并且游戏控制台将所述视频流或对所述视频流式的更新转发给HMD和/或电视机以便进行呈现。
更进一步来说,HMD可用于观看所产生或所使用的任何类型的内容和/或与之交互,如视频游戏内容、电影内容、视频剪辑文件内容、网络内容、广告内容、比赛内容、博弈游戏内容、电话会议/会谈内容、社交媒体内容(例如,发帖、消息、流媒体、朋友的活动和/或玩游戏)、视频部分和/或音频内容、以及经由浏览器和应用程序通过互联网从来源消耗的内容,以及任何类型的流式内容。当然,前述列举的内容不具有限制性,因为任何类型的内容均可被呈现,只要其可在HMD中观看或被呈现到屏幕或HMD的屏幕即可。
客户端可(但不需要)还包括被配置来用于修改接收到的视频的***。举例来说,客户端可被配置来:执行进一步呈现,将一个视频图像叠加在另一个视频图像上,修剪视频图像,和/或类似操作。举例来说,客户端可被配置来接收各种类型的视频帧,如I帧、P帧和B帧,并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中,客户端的构件被配置来对视频流执行进一步呈现、阴影处理、转换成3-D、转换成2D、失真消除、设定尺寸或类似操作。客户端的构件任选地被配置来接收一个以上的音频或视频流。
客户端的输入设备可包括:例如,单手游戏控制器、双手游戏控制器、示意动作辨别***、注视辨别***、语音辨别***、键盘、操纵杆、指点设备、力反馈设备、运动和/或位置感测设备、鼠标、触摸屏、神经接口、相机、还未开发出的输入设备,和/或类似设备。
视频源可包括呈现逻辑,例如被存储在计算机可读媒体如存储器上的硬件、固件和/或软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。所述呈现逻辑的全部或部分任选地安置在一个或多个图形处理单元(GPU)内。呈现逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当的纹理等的处理级。呈现逻辑可产生已编码的原始视频。举例来说,可根据Adobe标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程产生视频流,任选地将所述视频流打包以便传达到设备上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768,1080p,但是可使用任何其它帧大小。帧速率是每秒的视频帧数。视频流可包括不同类型的视频帧。举例来说,H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示设备上的全部宏块/像素的信息,而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用,术语“帧大小”意在指帧内的像素数。术语“帧数据大小”是用来指存储所述帧所需的字节数。
在一些实施方案中,客户端可以是通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算设备、便携式游戏设备、蜂窝式电话、机顶盒、流媒体接口/设备、智能电视机或联网显示器,或能够被配置来满足如本文所定义的客户端功能性的任何其它计算设备。在一个实施方案中,云游戏服务器被配置来检测用户正利用的客户端设备的类型,并且提供适合用户的客户端设备的云游戏体验。举例来说,可使图像设置、音频设置和其它类型的设置针对用户的客户端设备最佳化。
图12示出信息服务提供商架构的实施方案。信息服务提供商(ISP)1070向地理上分散并且经由网络1086连接的用户1082传达大量信息服务。ISP可仅传达一种类型的服务,如股票价格更新,或多种服务,如广播媒体、新闻、运动、游戏等。另外,由每个ISP提供的服务是动态的,就是说,可在任何时间点增加或移除服务。因此,向特定个人提供特定类型服务的ISP可随时间而改变。举例来说,当用户在她的家乡时,所述用户可由接近用户的ISP服务,并且当用户到不同城市旅游时,所述用户可由不同ISP服务。家乡ISP将所需的信息和数据传递到新的ISP,使得用户信息“跟随”用户到新的城市,从而使数据更靠近用户并且容易访问。在另一个实施方案中,可在主ISP与服务器ISP之间建立主-服务器关系,所述主ISP管理用户的信息,并且服务器ISP在主ISP的控制下与用户直接介接。在另一个实施方案中,当客户端在世界范围内移动时,数据从一个ISP传递到另一个ISP,以便使处于较好位置来服务用户的ISP成为传达这些服务的ISP。
ISP1070包括应用服务提供商(ASP)1072,所述应用服务提供商(ASP)1072通过网络向客户提供基于计算机的服务。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供到特定应用程序(如客户关系管理)的访问权的简单形式是通过使用标准协议,如HTTP。应用软件驻留在供应商的***上,并且由用户通过使用HTML的网页浏览器、通过供应商提供的专用客户端软件或其它远程接口如瘦客户端来访问。
在广泛的地理区域范围内传达的服务常常使用云计算。云计算是一种计算方式,其中通过互联网提供可动态扩展和常常虚拟化的资源作为服务。用户无需是支持用户的“云”中的技术基础架构方面的专家。云计算可被分为不同服务,如基础架构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常提供从网络浏览器接入的在线共用商业应用程序,而软件和数据被存储在服务器上。基于在计算机网络图中如何描绘互联网以及其隐藏的复杂基础架构的抽象概念,将术语云用作互联网(例如,使用服务器、存储和逻辑)的隐喻。
此外,ISP1070包括游戏处理服务器(GPS)1074,所述游戏处理服务器(GPS)1074由游戏客户端使用来玩单个玩家或多玩家视频游戏。通过互联网玩的大多数视频游戏均经由连到游戏服务器的连接来操作。通常,游戏使用专用的服务器应用程序,所述服务器应用程序收集来自玩家的数据,并且将其分发给其它玩家。这比对等布置更高效率且更有效,但是其需要单独的服务器来托管服务器应用程序。在另一个实施方案中,GPS建立玩家与他们的相应玩游戏设备之间的通信来交换信息而无需依赖集中化GPS。
专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行,从而提供更大的带宽和专用的处理能力。专用服务器是托管大多数基于PC的多玩家游戏的游戏服务器的优选方法。大型多玩家在线游戏在通常由软件公司(所述软件公司拥有游戏版权)托管的专用服务器上运行,从而允许所述专用服务器控制并更新内容。
广播处理服务器(BPS)1076向观众分配音频或视频信号。对非常小范围的观众广播有时称为窄播。广播分配的最后一站是信号如何到达听众或观看者,并且如同无线电台或电视台,所述信号可从空中到达天线和接纳器,或可通过有线电视或有线广播(或“无线电缆”)经由电台或直接从网络到达。互联网还可给接受者带来无线电或电视(特别是利用多播),从而允许共享信号和带宽。历史上,广播已受地理区域限定,如国家广播或区域广播。然而,在快速互联网扩散的情况下,广播不再受地理位置限定,因为内容可到达几乎全世界的任何国家。
存储服务提供商(SSP)1078提供计算机存储空间和相关管理服务。SSP还提供定期备份和归档。通过提供存储作为服务,用户可根据需要订购更多的存储空间。另一个主要优点在于,SSP包括备份服务,并且用户在其计算机的硬盘驱动器发生故障时,将不会丢失他们的全部数据。此外,多个SSP可具有用户数据的全部或部分拷贝,从而允许用户独立于用户所处的位置或正用于访问数据的设备以高效方式访问数据。举例来说,当用户在移动中时,用户可访问家用计算机中以及移动电话中的个人文件。
通信提供商1080提供到达用户的连接性。一种通信提供商是提供对互联网的访问的互联网服务提供商(ISP)。ISP使用适于传达互联网协议数据报的数据传输技术连接其客户,所述数据传输技术如拨号上网、DSL、电缆调制解调器、光纤、无线或专用高速互连件。通信提供商还可提供消息接发服务,如电子邮件、即时消息接发和SMS发短信。另一种类型的通信提供商是网络服务提供商(NSP),所述网络服务提供商(NSP)通过提供到互联网的直接主干访问来销售带宽或网络接入。网络服务提供商可由电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视经营商等组成。
数据交换1088使ISP1070内部的若干模块互连,并且经由网络1086将这些模块连接到用户1082。数据交换1088可覆盖ISP1070的全部模块均在附近的小型区域,或当不同模块在地理上分散时,可覆盖较大的地理区域。举例来说,数据交换1088可包括数据中心的机柜内的快速千兆位以太网(或更快),或洲际虚拟局域网(VLAN)。
用户1082利用客户端设备1084来访问远程服务,所述客户端设备1084包括至少一个CPU、一个显示器和I/O。所述客户端设备可以是PC、移动电话、上网本、平板计算机、游戏***、PDA等。在一个实施方案中,ISP1070辨识客户端所使用的设备的类型,并且调整所采用的通信方法。在其它状况下,客户端设备使用标准通信方法(如html)来访问ISP1070。
本发明的实施方案可以通过各种计算机***配置来实践,包括手持式装置、微处理器***、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明也可以在分布式计算环境下实践,其中由通过基于有线或无线的网络链接的远程处理设备来执行任务。
考虑到以上实施方案,应理解,本发明可以采用涉及存储于计算机***中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操作的操作。本文所述的形成本发明的一部分的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。所述装置可出于所要求的目的而专门构造而成,或所述装置可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说,各种通用机器可以与根据本文的教示所编写的计算机程序一起使用,或者可以更方便地构造更专门的装置来执行所要求的操作。
本发明也可以体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可存储数据的任何数据存储设备,所述数据随后可由计算机***读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合计算机***上的计算机可读有形介质,使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了所述方法操作,但应理解,其它内务处理操作可以在操作之间执行,或者可以调整操作以使得它们在略微不同的时间发生,或者可以分布在***中,所述***允许处理操作以与所述处理相关的各种时间间隔发生,只要重叠操作的处理以所需方式执行即可。
尽管为了理解的清楚性目的而略微详细地描述了前述发明,但很显然,可以在所附权利要求的范围内做出某些变化和修改。因此,本发明实施方案应被认为是说明性而非限制性的,并且本发明不限于本文所给出的细节,而是可在所附权利要求书的范围和等效物内进行修改。
Claims (22)
1.一种用于呈现虚拟现实内容的***,其包括:
外壳,其经由皮带附接到用户的头部;
集成在所述外壳中的光学器件,显示光学器件定向在所述外壳的内侧上,当所述外壳附接到所述用户的所述头部时,所述外壳被配置来用于朝所述用户的眼睛定向;
集成在所述外壳中的保持器,所述保持器被配置来接纳智能电话,其中所述智能电话的屏幕朝所述外壳的所述显示光学器件定向,所述智能电话具有与所述保持器的数据连接,以实现所述外壳的电子设备与所述智能电话的电子设备之间的数据通信;
快门控制逻辑,其与所述外壳的所述电子设备介接;
光学器件控制逻辑,其与所述光学器件介接;以及
处理器,其被配置来与所述快门控制逻辑和所述光学器件控制逻辑介接,所述处理器被配置来设置所述快门控制逻辑,以便在将从所述智能电话的所述屏幕获得的图像数据仅呈现到所述光学器件的左眼侧与随后仅呈现到所述光学器件的右眼侧之间相继地切换,所述处理器进一步被配置来与所述光学器件控制逻辑介接,使得呈现对于当将所述图像数据提供到所述光学器件的所述左眼侧和右眼侧时来说是最佳化的,其中所述快门控制逻辑实现:当通过所述外壳的所述光学器件观看时,根据呈现在所述智能电话的所述屏幕上的所述图像数据的三维图像的显示。
2.如权利要求1所述的***,其还包括,
设备接口,其用于将所述智能电话连接到所述外壳。
3.如权利要求1所述的***,其还包括,
所述外壳的惯性传感器,所述惯性传感器提供所述外壳的移动和定向数据,所述外壳的所述移动和定向数据被传送到所述智能电话;
其中所述智能电话使用所述外壳的所述移动和定向数据以及所述智能电话的惯性传感器所产生的移动和定向,以微调所述外壳的移动和定向,以便影响或更新进入所述智能电话所呈现的虚拟现实场景中的观看方向和视角。
4.如权利要求3所述的***,其还包括,
将来自所述外壳的所述惯性传感器的至少一些数据与来自所述智能电话的所述惯性传感器的数据组合,以改进对所述外壳的跟踪。
5.如权利要求1所述的***,其还包括,
多个发光二极管,其安置在所述外壳的表面上,所述发光二极管用于使用至少一个摄像头来跟踪所述外壳的位置。
6.如权利要求1所述的***,其还包括,
多个光电二极管,其安置在所述外壳的表面上,所述光电二极管用于使用位于将在其内跟踪所述外壳的空间中的至少一个发光设备来跟踪所述外壳的位置。
7.如权利要求1所述的***,其还包括,
所述外壳的所述电子设备的电路,其用于处理透视模式,在所述透视模式下,所述智能电话的前置摄像头被激活;
其中当处于所述透视模式时,所述快门控制逻辑被暂停,并且所述光学器件控制逻辑实现根据所述智能电话的所述屏幕的图像数据的显示,所述显示经由所述智能电话的所述前置摄像头展示现实世界视野。
8.如权利要求1所述的***,其还包括,
所述外壳的所述电子设备的电路,其用于处理透视模式,在所述透视模式下,所述外壳的前置摄像头被激活;
其中当处于所述透视模式时,所述快门控制逻辑被暂停,并且所述光学器件控制逻辑实现根据所述智能电话的所述屏幕的图像数据的显示,所述显示经由所述外壳的所述前置摄像头展示现实世界视野。
9.如权利要求1所述的***,其还包括,
与所述外壳集成的网络接口,所述网络接口提供对用于连接到具有数字内容的互联网站点的所述网络的访问权,所述数字内容是流式内容或交互式流式内容之一,其中流式交互式内容将由所述智能电话呈现,以供经由所述外壳的所述光学器件显示。
10.如权利要求1所述的***,其还包括,
所述智能电话所提供的网络接口,所述网络接口提供对用于连接到具有数字内容的互联网站点的所述网络的访问权,所述数字内容是流式内容或交互式流式内容之一,其中流式交互式内容将由所述智能电话呈现,以供经由所述外壳的所述光学器件显示。
11.如权利要求1所述的***,其中集成到所述外壳中的所述光学器件包括左眼光学器件和右眼光学器件。
12.如权利要求1所述的***,其中所述外壳包括设备输入端,所述设备输入端被配置来用于接收用户输入,所述用户输入用于控制在所述智能电话所产生的所述图像数据中呈现的交互式内容场景的至少一部分。
13.如权利要求11所述的***,其中所述用户输入是经由控制器、手部示意动作、触摸示意动作或语音控制或其组合。
14.一种头戴式显示器(HMD)***,其包括:
外壳;
安置在所述外壳中的光学器件;
安置在所述外壳中的处理器;
与所述处理器介接的快门控制逻辑,所述快门控制逻辑被配置来操作以在打开所述光学器件的左眼侧并关闭所述光学器件的右眼侧与打开所述光学器件的所述右眼侧并关闭所述光学器件的所述左眼侧之间交替;以及
与所述外壳集成的保持器部分,所述保持器部分被配置来接纳具有显示屏的智能设备,当用户佩戴所述HMD***时,所述显示屏在朝向所述用户的脸部的方向上朝所述外壳的所述光学器件定向;
其中操作中的快门控件被配置来实现呈现在所述智能设备的所述显示屏上的图像数据的三维视图。
15.如权利要求14所述的头戴式显示器(HMD)***,其中用于关闭所述左眼侧或右眼侧光学器件的所述快门被配置来致使所述光学器件变成与透明相反的不透明。
16.如权利要求14所述的头戴式显示器(HMD)***,其还包括,
光学器件控件,其用于调整通过所述光学器件呈现的所述图像数据的焦距。
17.如权利要求16所述的头戴式显示器(HMD)***,其中所述调整包括执行图像失真调整、设定尺寸调整或其组合。
18.如权利要求14所述的头戴式显示器(HMD)***,其中所述外壳包括至少一个前置摄像头。
19.如权利要求14所述的头戴式显示器(HMD)***,其中所述外壳包括光电二极管,以便实现对所述外壳的跟踪,所述光电二极管以预定义间隔布置在所述外壳的表面上。
20.如权利要求14所述的头戴式显示器(HMD)***,其中所述外壳包括发光二极管,以便实现通过摄像头对所述外壳的跟踪。
21.如权利要求14所述的头戴式显示器(HMD)***,其还包括,
与所述外壳集成的网络接口,所述网络接口提供对用于连接到具有数字内容的互联网站点的所述网络的访问权,所述数字内容是流式内容或交互式流式内容之一,其中流式交互式内容将由所述智能设备呈现,以供经由所述外壳的所述光学器件显示。
22.如权利要求14所述的头戴式显示器(HMD)***,其还包括,
由所述智能设备提供的网络接口,所述网络接口提供对用于连接到具有数字内容的互联网站点的所述网络的访问权,所述数字内容是流式内容或交互式流式内容之一,其中所述流式交互式内容将由所述智能设备呈现,以供经由所述外壳的所述光学器件显示。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462006022P | 2014-05-30 | 2014-05-30 | |
US62/006,022 | 2014-05-30 | ||
US14/712,886 US9551873B2 (en) | 2014-05-30 | 2015-05-14 | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
US14/712,886 | 2015-05-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105573486A true CN105573486A (zh) | 2016-05-11 |
CN105573486B CN105573486B (zh) | 2019-08-16 |
Family
ID=53398189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510293120.XA Active CN105573486B (zh) | 2014-05-30 | 2015-06-01 | 具有与移动计算设备介接的接口的头戴式设备(hmd)*** |
Country Status (7)
Country | Link |
---|---|
US (2) | US9551873B2 (zh) |
EP (1) | EP3149538B1 (zh) |
JP (1) | JP6526721B2 (zh) |
KR (1) | KR101955224B1 (zh) |
CN (1) | CN105573486B (zh) |
TW (1) | TWI613462B (zh) |
WO (1) | WO2015183621A1 (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055113A (zh) * | 2016-07-06 | 2016-10-26 | 北京华如科技股份有限公司 | 一种混合现实的头盔显示***及控制方法 |
CN106101637A (zh) * | 2016-07-12 | 2016-11-09 | 姜正红 | 一种在虚拟环境中实现多界面显示及功能操作的视觉*** |
CN106454194A (zh) * | 2016-09-14 | 2017-02-22 | 惠州Tcl移动通信有限公司 | 一种基于vr设备的视频方法及*** |
CN106506489A (zh) * | 2016-10-27 | 2017-03-15 | 北京传送科技有限公司 | 一种用于vr设备与计算机的数据连接设备 |
CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
CN106873778A (zh) * | 2017-01-23 | 2017-06-20 | 深圳超多维科技有限公司 | 一种应用的运行控制方法、装置和虚拟现实设备 |
CN107390375A (zh) * | 2016-05-16 | 2017-11-24 | 石庆俊 | 单目双目可切换vr头盔显示器 |
CN107526432A (zh) * | 2016-06-15 | 2017-12-29 | 意美森公司 | 用于经由罩壳提供触觉反馈的***和方法 |
CN107561705A (zh) * | 2016-06-30 | 2018-01-09 | 谷歌公司 | 可头戴式设备中的布线 |
CN107666040A (zh) * | 2016-07-28 | 2018-02-06 | 三星电子株式会社 | 包括适配的有性连接器的接口连接器设备 |
CN107703627A (zh) * | 2016-08-08 | 2018-02-16 | 石庆俊 | 视角展宽的单目双目可切换vr头盔显示器 |
WO2018039586A1 (en) * | 2016-08-26 | 2018-03-01 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
CN108983421A (zh) * | 2017-06-02 | 2018-12-11 | 富泰华工业(深圳)有限公司 | 佩戴显示装置 |
CN109416679A (zh) * | 2016-06-21 | 2019-03-01 | 蓝色歌姬有限责任公司 | 用于混合现实交互的多个电子控制和追踪装置 |
CN109963142A (zh) * | 2017-12-25 | 2019-07-02 | 广东虚拟现实科技有限公司 | 视觉显示***及方法,以及头戴显示装置 |
CN109997067A (zh) * | 2016-12-01 | 2019-07-09 | 阴影技术公司 | 使用便携式电子设备的显示装置和方法 |
CN110244461A (zh) * | 2018-03-09 | 2019-09-17 | 财团法人工业技术研究院 | 增强现实显示***及其显示方法 |
CN110431509A (zh) * | 2016-09-22 | 2019-11-08 | 闵尚圭 | 折叠式虚拟现实设备 |
CN110506247A (zh) * | 2017-01-25 | 2019-11-26 | 克拉蔻股份有限公司 | 用于虚拟现实环境内的交互式单元的***和方法 |
CN111727400A (zh) * | 2018-03-01 | 2020-09-29 | 谷歌有限责任公司 | 虚拟和增强现实低持久性的主动式lcd快门 |
CN111965823A (zh) * | 2020-08-22 | 2020-11-20 | 江苏科群通讯建设有限公司 | 一种虚拟现实眼镜、终端设备及*** |
CN113168004A (zh) * | 2018-11-21 | 2021-07-23 | 瑞典爱立信有限公司 | 与用户可佩戴的头戴式耳机连接的移动电子设备的校准 |
US11415798B2 (en) | 2018-03-09 | 2022-08-16 | Industrial Technology Research Institute | Augmented reality device |
Families Citing this family (226)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8020095B2 (en) | 1997-11-14 | 2011-09-13 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment |
US9632315B2 (en) | 2010-10-21 | 2017-04-25 | Lockheed Martin Corporation | Head-mounted display apparatus employing one or more fresnel lenses |
US10359545B2 (en) | 2010-10-21 | 2019-07-23 | Lockheed Martin Corporation | Fresnel lens with reduced draft facet visibility |
US10585472B2 (en) | 2011-08-12 | 2020-03-10 | Sony Interactive Entertainment Inc. | Wireless head mounted display with differential rendering and sound localization |
US10209771B2 (en) | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
US20150212647A1 (en) * | 2012-10-10 | 2015-07-30 | Samsung Electronics Co., Ltd. | Head mounted display apparatus and method for displaying a content |
US8947216B2 (en) | 2012-11-02 | 2015-02-03 | Immersion Corporation | Encoding dynamic haptic effects |
US9898084B2 (en) | 2012-12-10 | 2018-02-20 | Immersion Corporation | Enhanced dynamic haptic effects |
US9202352B2 (en) | 2013-03-11 | 2015-12-01 | Immersion Corporation | Automatic haptic effect adjustment system |
US9092954B2 (en) | 2013-03-15 | 2015-07-28 | Immersion Corporation | Wearable haptic device |
US9630098B2 (en) * | 2013-06-09 | 2017-04-25 | Sony Interactive Entertainment Inc. | Head mounted display |
US10162416B2 (en) | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
US9207764B2 (en) | 2013-09-18 | 2015-12-08 | Immersion Corporation | Orientation adjustable multi-channel haptic device |
US9213408B2 (en) | 2013-10-08 | 2015-12-15 | Immersion Corporation | Generating haptic effects while minimizing cascading |
US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
US10254836B2 (en) | 2014-02-21 | 2019-04-09 | Immersion Corporation | Haptic power consumption management |
US9575319B2 (en) | 2014-03-10 | 2017-02-21 | Ion Virtual Technology Corporation | Method and system for reducing motion blur when experiencing virtual or augmented reality environments |
US9529200B2 (en) | 2014-03-10 | 2016-12-27 | Ion Virtual Technology Corporation | Method and system for reducing motion blur when experiencing virtual or augmented reality environments |
US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
US9420075B2 (en) | 2014-07-16 | 2016-08-16 | DODOcase, Inc. | Virtual reality viewer and input mechanism |
KR102271833B1 (ko) | 2014-09-01 | 2021-07-01 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 기록 매체 |
WO2016061447A1 (en) | 2014-10-17 | 2016-04-21 | Lockheed Martin Corporation | Head-wearable ultra-wide field of view display device |
KR102227481B1 (ko) * | 2014-10-24 | 2021-03-15 | 삼성디스플레이 주식회사 | 표시 장치 |
US11144119B2 (en) * | 2015-05-01 | 2021-10-12 | Irisvision, Inc. | Methods and systems for generating a magnification region in output video images |
US10146304B2 (en) * | 2014-11-10 | 2018-12-04 | Irisvision, Inc. | Methods and apparatus for vision enhancement |
US11546527B2 (en) | 2018-07-05 | 2023-01-03 | Irisvision, Inc. | Methods and apparatuses for compensating for retinitis pigmentosa |
US11372479B2 (en) * | 2014-11-10 | 2022-06-28 | Irisvision, Inc. | Multi-modal vision enhancement system |
US20220171456A1 (en) * | 2014-11-10 | 2022-06-02 | Irisvision, Inc. | Method and System for Remote Clinician Management of Head-Mounted Vision Assist Devices |
US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
US9829711B2 (en) | 2014-12-18 | 2017-11-28 | Ion Virtual Technology Corporation | Inflatable virtual reality headset system |
US10073523B2 (en) | 2014-12-23 | 2018-09-11 | Immersion Corporation | Position control of a user input element associated with a haptic output device |
US10269392B2 (en) | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
US10216277B2 (en) | 2015-02-25 | 2019-02-26 | Immersion Corporation | Modifying haptic effects for slow motion |
KR20160105321A (ko) | 2015-02-27 | 2016-09-06 | 임머숀 코퍼레이션 | 사용자의 무드에 기초하는 액션 생성 |
US9939650B2 (en) * | 2015-03-02 | 2018-04-10 | Lockheed Martin Corporation | Wearable display system |
US10261482B2 (en) * | 2015-03-26 | 2019-04-16 | Ca, Inc. | Initiating actions on wearable devices |
US9952669B2 (en) | 2015-04-21 | 2018-04-24 | Immersion Corporation | Dynamic rendering of etching input |
US10261582B2 (en) | 2015-04-28 | 2019-04-16 | Immersion Corporation | Haptic playback adjustment system |
US9936194B2 (en) * | 2015-05-29 | 2018-04-03 | Google Llc | Active shutter head mounted display |
JP2018524673A (ja) * | 2015-06-01 | 2018-08-30 | トムソン ライセンシングThomson Licensing | 仮想現実の反応性アニメーション |
KR20160141982A (ko) * | 2015-06-02 | 2016-12-12 | 삼성전자주식회사 | 제어 패널을 포함하는 인체 착용형 장치 |
KR20170004608A (ko) * | 2015-07-03 | 2017-01-11 | 엘지전자 주식회사 | 스마트 디바이스 및 이의 제어방법 |
US10109161B2 (en) | 2015-08-21 | 2018-10-23 | Immersion Corporation | Haptic driver with attenuation |
US10555688B1 (en) * | 2015-08-22 | 2020-02-11 | Bertec Corporation | Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device |
US10860843B1 (en) | 2015-08-22 | 2020-12-08 | Bertec Corporation | Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device |
US11992746B1 (en) | 2015-08-22 | 2024-05-28 | Bertec Corporation | Hybrid display system for a force measurement assembly, an exercise device, or an interactive game |
US11301045B1 (en) | 2015-08-22 | 2022-04-12 | Bertec Corporation | Measurement system that includes at least one measurement assembly, a visual display device, and at least one data processing device |
US9836845B2 (en) * | 2015-08-25 | 2017-12-05 | Nextvr Inc. | Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment |
US10380966B2 (en) * | 2015-08-31 | 2019-08-13 | International Business Machines Corporation | Power and processor management for a personal imaging system |
CN105120253B (zh) * | 2015-09-10 | 2018-01-30 | 京东方科技集团股份有限公司 | 3d播放*** |
US20170092002A1 (en) * | 2015-09-30 | 2017-03-30 | Daqri, Llc | User interface for augmented reality system |
US9897818B2 (en) | 2015-10-06 | 2018-02-20 | Handstands Promo, Llc | Ocular frame for stereoscopic image viewer |
JP6517358B2 (ja) * | 2015-10-08 | 2019-05-22 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム |
US10754156B2 (en) | 2015-10-20 | 2020-08-25 | Lockheed Martin Corporation | Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system |
KR20170055908A (ko) * | 2015-11-12 | 2017-05-22 | 최해용 | 모자형 가상현실 디스플레이 영상시스템 |
JP2017130190A (ja) * | 2015-12-04 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 電子機器、表示システム |
TWI596378B (zh) * | 2015-12-14 | 2017-08-21 | 技嘉科技股份有限公司 | 可攜式虛擬實境系統 |
EP3185535A1 (en) * | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method and apparatus for controlling a discrepant aiming direction of a camera |
CN105657408B (zh) * | 2015-12-31 | 2018-11-30 | 北京小鸟看看科技有限公司 | 虚拟现实场景的实现方法和虚拟现实装置 |
CN105700684A (zh) * | 2016-01-12 | 2016-06-22 | 深圳多哚新技术有限责任公司 | 一种头显设备传感器数据中断的处理方法和装置 |
JP6581514B2 (ja) * | 2016-01-13 | 2019-09-25 | 日本放送協会 | 三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 |
JP2017130201A (ja) | 2016-01-20 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 入力システム、および電子機器 |
JP2019505843A (ja) | 2016-01-22 | 2019-02-28 | コーニング インコーポレイテッド | 広視野パーソナル表示装置 |
CN105739703A (zh) * | 2016-02-02 | 2016-07-06 | 北方工业大学 | 面向无线头戴显示设备的虚拟现实体感交互***及方法 |
JP6709633B2 (ja) * | 2016-02-17 | 2020-06-17 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びゲームシステム |
US10353491B2 (en) | 2016-02-17 | 2019-07-16 | Outlyer, LLC | System and method for motion processing in mobile devices |
US10334076B2 (en) * | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
WO2017147178A1 (en) * | 2016-02-22 | 2017-08-31 | Google Inc. | Separate time-warping for a scene and an object for display of virtual reality content |
US10422976B2 (en) | 2016-02-26 | 2019-09-24 | Samsung Electronics Co., Ltd. | Aberration corrected optical system for near-eye displays |
US10606342B2 (en) * | 2016-02-26 | 2020-03-31 | Samsung Eletrônica da Amazônia Ltda. | Handsfree user input method for controlling an immersive virtual environment application |
CN105786184A (zh) * | 2016-03-02 | 2016-07-20 | 广州聚变网络科技有限公司 | 一种虚拟现实*** |
US10455214B2 (en) * | 2016-03-03 | 2019-10-22 | Disney Enterprises, Inc. | Converting a monocular camera into a binocular stereo camera |
US20170255229A1 (en) * | 2016-03-04 | 2017-09-07 | DODOcase, Inc. | Virtual reality viewer |
US10317989B2 (en) | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
US10976809B2 (en) * | 2016-03-14 | 2021-04-13 | Htc Corporation | Interaction method for virtual reality |
JP2017183825A (ja) * | 2016-03-28 | 2017-10-05 | 京セラ株式会社 | ヘッドマウントディスプレイ |
US20170289529A1 (en) * | 2016-03-29 | 2017-10-05 | Google Inc. | Anaglyph head mounted display |
US10099122B2 (en) * | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
US10088898B2 (en) | 2016-03-31 | 2018-10-02 | Verizon Patent And Licensing Inc. | Methods and systems for determining an effectiveness of content in an immersive virtual reality world |
CN107301679A (zh) * | 2016-04-15 | 2017-10-27 | 孙万霖 | 虚拟现实看房*** |
US20170296421A1 (en) * | 2016-04-15 | 2017-10-19 | Dean TRAVERS | Head-mounted apparatus and methods for treatment and enhancement of visual function |
CN105828063B (zh) * | 2016-04-22 | 2018-01-19 | 上海乐相科技有限公司 | 一种显示方法、移动终端及虚拟现实vr眼镜 |
US9995936B1 (en) | 2016-04-29 | 2018-06-12 | Lockheed Martin Corporation | Augmented reality systems having a virtual image overlaying an infrared portion of a live scene |
US9823477B1 (en) * | 2016-05-02 | 2017-11-21 | Futurewei Technologies, Inc. | Head mounted display content capture and sharing |
US10522106B2 (en) * | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
CN106020456A (zh) * | 2016-05-11 | 2016-10-12 | 北京暴风魔镜科技有限公司 | 获取用户头部姿态的方法、装置和*** |
US10198874B2 (en) | 2016-05-13 | 2019-02-05 | Google Llc | Methods and apparatus to align components in virtual reality environments |
US10722800B2 (en) | 2016-05-16 | 2020-07-28 | Google Llc | Co-presence handling in virtual reality |
US10592048B2 (en) * | 2016-05-17 | 2020-03-17 | Google Llc | Auto-aligner for virtual reality display |
US10502363B2 (en) * | 2016-05-17 | 2019-12-10 | Occipital, Inc. | Self-contained mixed reality head mounted display |
US10556175B2 (en) | 2016-06-10 | 2020-02-11 | Immersion Corporation | Rendering a haptic effect with intra-device mixing |
US10401962B2 (en) | 2016-06-21 | 2019-09-03 | Immersion Corporation | Haptically enabled overlay for a pressure sensitive surface |
EP3264371B1 (en) | 2016-06-28 | 2021-12-29 | Nokia Technologies Oy | Apparatus for sharing objects of interest and associated methods |
US10210724B2 (en) | 2016-06-29 | 2019-02-19 | Immersion Corporation | Real-time patterned haptic effect generation using vibrations |
US10657701B2 (en) * | 2016-06-30 | 2020-05-19 | Sony Interactive Entertainment Inc. | Dynamic entering and leaving of virtual-reality environments navigated by different HMD users |
US10191541B2 (en) * | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
CN109219795A (zh) * | 2016-07-05 | 2019-01-15 | 深圳脑穿越科技有限公司 | 页面切换方法、装置、终端以及存储介质 |
TWI661851B (zh) * | 2016-07-26 | 2019-06-11 | 光旴科技股份有限公司 | 頭戴式目標物同步健身系統 |
CN106019597A (zh) * | 2016-07-27 | 2016-10-12 | 北京小米移动软件有限公司 | 虚拟现实眼镜 |
US10242427B2 (en) * | 2016-07-29 | 2019-03-26 | Massachusetts Institute Of Technology | Deviation magnification: revealing departures from ideal geometries |
WO2018026893A1 (en) * | 2016-08-03 | 2018-02-08 | Google Llc | Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments |
TWI621034B (zh) * | 2016-08-11 | 2018-04-11 | 拓景科技股份有限公司 | 虛擬實境環境中實境資訊之顯示方法及系統,及其相關電腦程式產品 |
US20180059788A1 (en) * | 2016-08-23 | 2018-03-01 | Colopl, Inc. | Method for providing virtual reality, program for executing the method on computer, and information processing apparatus |
WO2018044073A1 (en) * | 2016-09-01 | 2018-03-08 | Samsung Electronics Co., Ltd. | Image streaming method and electronic device for supporting the same |
US10773179B2 (en) | 2016-09-08 | 2020-09-15 | Blocks Rock Llc | Method of and system for facilitating structured block play |
US10095461B2 (en) * | 2016-09-23 | 2018-10-09 | Intel IP Corporation | Outside-facing display for head-mounted displays |
US9977510B1 (en) * | 2016-09-23 | 2018-05-22 | Wayne A. Moffett | Gesture-driven introduction system |
US10617956B2 (en) | 2016-09-30 | 2020-04-14 | Sony Interactive Entertainment Inc. | Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space |
JP6813670B2 (ja) * | 2016-09-30 | 2021-01-13 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
US10828560B2 (en) * | 2016-09-30 | 2020-11-10 | Sony Interactive Entertainment Inc. | Systems and methods for stereoscopic vision with head mounted display |
US10346950B2 (en) | 2016-10-05 | 2019-07-09 | Hidden Path Entertainment, Inc. | System and method of capturing and rendering a stereoscopic panorama using a depth buffer |
US10712835B2 (en) * | 2016-10-06 | 2020-07-14 | Htc Corporation | System and method for detecting hand gesture |
US10652284B2 (en) * | 2016-10-12 | 2020-05-12 | Samsung Electronics Co., Ltd. | Method and apparatus for session control support for field of view virtual reality streaming |
WO2018090060A1 (en) * | 2016-11-14 | 2018-05-17 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
US11030879B2 (en) | 2016-11-22 | 2021-06-08 | Sony Corporation | Environment-aware monitoring systems, methods, and computer program products for immersive environments |
US10452133B2 (en) * | 2016-12-12 | 2019-10-22 | Microsoft Technology Licensing, Llc | Interacting with an environment using a parent device and at least one companion device |
CN106774893B (zh) * | 2016-12-15 | 2019-10-18 | 飞狐信息技术(天津)有限公司 | 一种虚拟现实交互方法及虚拟现实设备 |
WO2018112643A1 (en) * | 2016-12-23 | 2018-06-28 | Eyexpo Technology Corp. | System and method for providing virtual reality interface |
US10147460B2 (en) | 2016-12-28 | 2018-12-04 | Immersion Corporation | Haptic effect generation for space-dependent content |
US20180192031A1 (en) * | 2017-01-03 | 2018-07-05 | Leslie C. Hardison | Virtual Reality Viewing System |
US10437343B2 (en) | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
US10212428B2 (en) | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
US11132840B2 (en) * | 2017-01-16 | 2021-09-28 | Samsung Electronics Co., Ltd | Method and device for obtaining real time status and controlling of transmitting devices |
US10534191B2 (en) | 2017-01-25 | 2020-01-14 | Hewlett-Packard Development Company, L.P. | Light transmissive regions to pass light to cameras |
TWI619048B (zh) * | 2017-01-26 | 2018-03-21 | 智崴資訊科技股份有限公司 | 虛擬實境操作系統及其操作方法 |
TWI659393B (zh) * | 2017-02-23 | 2019-05-11 | National Central University | 多鏡頭影像深度之3d空間繪製系統 |
CN106908951A (zh) * | 2017-02-27 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
US10512846B2 (en) | 2017-03-07 | 2019-12-24 | Sony Interactive Entertainment LLC | Emulating player behavior after player departure |
US10946280B2 (en) | 2017-03-08 | 2021-03-16 | Sony Interactive Entertainment LLC | In-game reactions to interruptions |
RU2667602C2 (ru) * | 2017-03-15 | 2018-09-21 | Общество с ограниченной ответственностью "АВИАРЕАЛ" | Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов |
JP7129181B2 (ja) | 2017-03-17 | 2022-09-01 | 旭化成株式会社 | ヘッドマウントディスプレイ用部材 |
US10564725B2 (en) | 2017-03-23 | 2020-02-18 | Immerson Corporation | Haptic effects using a high bandwidth thin actuation system |
US20180276470A1 (en) * | 2017-03-23 | 2018-09-27 | Rohde & Schwarz Gmbh & Co. Kg | Measuring system and method for displaying a live view of a measurement setup superimposed on measurement results |
US10698068B2 (en) | 2017-03-24 | 2020-06-30 | Samsung Electronics Co., Ltd. | System and method for synchronizing tracking points |
WO2018190826A1 (en) * | 2017-04-12 | 2018-10-18 | Hewlett-Packard Development Company, L.P. | Transfer to head mounted display |
US11494986B2 (en) * | 2017-04-20 | 2022-11-08 | Samsung Electronics Co., Ltd. | System and method for two dimensional application usage in three dimensional virtual reality environment |
US10444865B2 (en) * | 2017-05-01 | 2019-10-15 | Google Llc | Tracking of position and orientation of objects in virtual reality systems |
US10885711B2 (en) * | 2017-05-03 | 2021-01-05 | Microsoft Technology Licensing, Llc | Virtual reality image compositing |
WO2018204980A1 (en) * | 2017-05-11 | 2018-11-15 | Yao Chang Yi | Three dimensional tracking systems |
CN107132657B (zh) * | 2017-05-22 | 2023-06-30 | 歌尔科技有限公司 | Vr一体机、手机、手机和vr一体机套装 |
US10542300B2 (en) * | 2017-05-31 | 2020-01-21 | Verizon Patent And Licensing Inc. | Methods and systems for customizing virtual reality data |
US10714027B1 (en) * | 2017-06-05 | 2020-07-14 | Google Llc | Backlight driving mechanism for virtual reality |
US10366584B2 (en) | 2017-06-05 | 2019-07-30 | Immersion Corporation | Rendering haptics with an illusion of flexible joint movement |
US10194078B2 (en) | 2017-06-09 | 2019-01-29 | Immersion Corporation | Haptic enabled device with multi-image capturing abilities |
TWI622808B (zh) * | 2017-06-13 | 2018-05-01 | 群光電子股份有限公司 | 頭戴式顯示裝置 |
US10796484B2 (en) * | 2017-06-14 | 2020-10-06 | Anand Babu Chitavadigi | System and method for interactive multimedia and multi-lingual guided tour/panorama tour |
WO2018227505A1 (en) * | 2017-06-15 | 2018-12-20 | Tencent Technology (Shenzhen) Company Limited | System and method of connecting two different environments using hub |
CN107360345B (zh) * | 2017-06-30 | 2019-06-07 | 维沃移动通信有限公司 | 一种图像数据的处理方法和移动终端 |
US10429949B2 (en) * | 2017-06-30 | 2019-10-01 | Htc Corporation | User interaction apparatus and method |
CN107238930A (zh) * | 2017-07-19 | 2017-10-10 | 北京小米移动软件有限公司 | 虚拟现实眼镜 |
CN107275904B (zh) * | 2017-07-19 | 2024-05-24 | 北京小米移动软件有限公司 | 虚拟现实眼镜的数据连接线 |
CN107169309B (zh) * | 2017-07-26 | 2018-04-13 | 北京为凡医疗信息技术有限公司 | 基于头戴式检测设备的视野检测方法、***及检测装置 |
US10382383B2 (en) | 2017-07-28 | 2019-08-13 | Upheaval LLC | Social media post facilitation systems and methods |
US20190041987A1 (en) | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
US10585286B2 (en) | 2017-08-15 | 2020-03-10 | Samsung Electronics Co., Ltd. | System and method for displaying real or virtual scene |
RU2665289C1 (ru) * | 2017-08-15 | 2018-08-28 | Самсунг Электроникс Ко., Лтд. | Система отображения реальной или виртуальной сцены и способ ее функционирования |
US10976551B2 (en) | 2017-08-30 | 2021-04-13 | Corning Incorporated | Wide field personal display device |
EP3676622A4 (en) | 2017-09-02 | 2021-04-28 | Proxxi Technology Corporation | HAPTIC ELECTRIC INJURY PROTECTION SYSTEMS AND PROCEDURES |
US10477298B2 (en) | 2017-09-08 | 2019-11-12 | Immersion Corporation | Rendering haptics on headphones with non-audio data |
TWI646433B (zh) | 2017-09-12 | 2019-01-01 | 宏碁股份有限公司 | 頭戴式顯示系統 |
EP3457299B1 (en) * | 2017-09-15 | 2021-06-09 | Neopost Technologies | Method for augmented reality assisted document archival |
TWI679555B (zh) * | 2017-10-12 | 2019-12-11 | 華碩電腦股份有限公司 | 擴增實境系統以及提供擴增實境之方法 |
CN109670282B (zh) * | 2017-10-17 | 2023-12-22 | 深圳富泰宏精密工业有限公司 | 解锁***、解锁方法及电子装置 |
US11099392B2 (en) * | 2017-10-18 | 2021-08-24 | Hewlett-Packard Development Company, L.P. | Stabilized and tracked enhanced reality images |
CN107749076B (zh) * | 2017-11-01 | 2021-04-20 | 太平洋未来科技(深圳)有限公司 | 增强现实场景中生成现实光照的方法和装置 |
US10509463B2 (en) | 2017-11-17 | 2019-12-17 | Microsoft Technology Licensing, Llc | Mixed reality offload using free space optics |
US10558260B2 (en) | 2017-12-15 | 2020-02-11 | Microsoft Technology Licensing, Llc | Detecting the pose of an out-of-range controller |
SG11202005776TA (en) * | 2017-12-18 | 2020-07-29 | Alt Llc | Method and system for optical-inertial tracking movable objects |
US10583359B2 (en) | 2017-12-28 | 2020-03-10 | Immersion Corporation | Systems and methods for providing haptic effects related to touching and grasping a virtual object |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
TWI694355B (zh) * | 2018-02-07 | 2020-05-21 | 宏達國際電子股份有限公司 | 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體 |
EP3752977A4 (en) | 2018-02-13 | 2022-04-06 | Frank Werblin | CONTRAST SENSITIVITY COMPENSATION METHODS AND APPARATUS |
US10726765B2 (en) * | 2018-02-15 | 2020-07-28 | Valve Corporation | Using tracking of display device to control image display |
KR102111531B1 (ko) * | 2018-03-06 | 2020-05-15 | 서울대학교병원 | Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 |
JP7210153B2 (ja) * | 2018-04-04 | 2023-01-23 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
US10565764B2 (en) | 2018-04-09 | 2020-02-18 | At&T Intellectual Property I, L.P. | Collaborative augmented reality system |
US11454783B2 (en) | 2018-04-25 | 2022-09-27 | Samsung Electronics Co., Ltd. | Tiled triplet lenses providing a wide field of view |
CN108345117B (zh) * | 2018-04-27 | 2024-02-02 | 歌尔科技有限公司 | 头戴显示设备及其夹紧固定机构 |
US11493999B2 (en) | 2018-05-03 | 2022-11-08 | Pmcs Holdings, Inc. | Systems and methods for physical proximity and/or gesture-based chaining of VR experiences |
US10665067B2 (en) | 2018-06-15 | 2020-05-26 | Immersion Corporation | Systems and methods for integrating haptics overlay in augmented reality |
CN108970109A (zh) * | 2018-06-21 | 2018-12-11 | 珠海金山网络游戏科技有限公司 | 一种基于意念控制的虚拟现实游戏的方法、装置和*** |
US10951875B2 (en) * | 2018-07-03 | 2021-03-16 | Raxium, Inc. | Display processing circuitry |
KR102638377B1 (ko) | 2018-08-14 | 2024-02-20 | 주식회사 케이티 | 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말 |
US11100713B2 (en) | 2018-08-17 | 2021-08-24 | Disney Enterprises, Inc. | System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems |
CN109144265A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示切换方法、装置、穿戴式设备及存储介质 |
CN116980967A (zh) | 2018-09-28 | 2023-10-31 | 苹果公司 | 基于无线通信信道带宽条件的电子设备内容提供调节 |
US11818419B2 (en) | 2018-09-28 | 2023-11-14 | Apple Inc. | Mobile device content provisioning adjustments based on wireless communication channel bandwidth condition |
US11870972B2 (en) | 2018-10-02 | 2024-01-09 | Within Unlimited, Inc. | Methods, systems and devices supporting real-time shared virtual reality environment |
US11032532B2 (en) | 2018-10-04 | 2021-06-08 | Samsung Electronics Co., Ltd. | Electronic device and method for providing virtual device via at least portion of content |
KR101992138B1 (ko) * | 2018-12-10 | 2019-06-24 | 주식회사 델바인 | 입체 영상 디스플레이 장치 |
CN113453774A (zh) * | 2018-12-28 | 2021-09-28 | 奇跃公司 | 用于增强和虚拟现实显示***的低运动到光子延迟架构 |
EP3891584B1 (en) | 2019-01-22 | 2023-08-30 | Hewlett-Packard Development Company, L.P. | Mixed reality presentation |
CN110221432B (zh) * | 2019-03-29 | 2021-07-16 | 华为技术有限公司 | 头戴式显示器的图像显示方法及设备 |
US11361513B2 (en) * | 2019-04-23 | 2022-06-14 | Valve Corporation | Head-mounted display with pass-through imaging |
TWI715026B (zh) * | 2019-05-06 | 2021-01-01 | 宏碁股份有限公司 | 網路虛擬實境之控制方法及應用其之主機 |
US10499044B1 (en) | 2019-05-13 | 2019-12-03 | Athanos, Inc. | Movable display for viewing and interacting with computer generated environments |
US11265487B2 (en) | 2019-06-05 | 2022-03-01 | Mediatek Inc. | Camera view synthesis on head-mounted display for virtual reality and augmented reality |
CN112055264B (zh) * | 2019-06-06 | 2022-11-01 | 舜宇光学(浙江)研究院有限公司 | 一种视频数据拆分方法及其***以及电子设备和计算*** |
US12040993B2 (en) * | 2019-06-18 | 2024-07-16 | The Calany Holding S. À R.L. | Software engine virtualization and dynamic resource and task distribution across edge and cloud |
US12033271B2 (en) | 2019-06-18 | 2024-07-09 | The Calany Holding S. À R.L. | 3D structure engine-based computation platform |
US12039354B2 (en) | 2019-06-18 | 2024-07-16 | The Calany Holding S. À R.L. | System and method to operate 3D applications through positional virtualization technology |
CN114128303B (zh) | 2019-06-28 | 2024-06-11 | 交互数字Vc控股公司 | 获得3d场景元素的方法和客户端设备 |
US12025803B2 (en) | 2019-07-31 | 2024-07-02 | Hewlett-Packard Development Company, L.P. | Head-mounted displays |
KR102381446B1 (ko) * | 2019-08-05 | 2022-04-01 | 장대규 | 스마트 기기를 구비한 led 마스크 |
EP4014468A4 (en) * | 2019-08-12 | 2022-10-19 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
US11394954B1 (en) * | 2019-08-19 | 2022-07-19 | Snap Inc. | Portable 3D projector with sharing to multiple viewers |
CN110533780B (zh) | 2019-08-28 | 2023-02-24 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
US20200045240A1 (en) * | 2019-10-12 | 2020-02-06 | Adam Diamond | Hood with Multiple Cameras |
KR102290339B1 (ko) * | 2019-10-16 | 2021-08-19 | 그리드스페이스(주) | Vr 타입 웨어러블 치료장치 |
US20210132963A1 (en) * | 2019-11-05 | 2021-05-06 | Varjo Technologies Oy | System and method for presenting notifications on head-mounted display device and external computing device |
JP7029087B2 (ja) * | 2020-03-25 | 2022-03-03 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
DE112021002658T5 (de) | 2020-05-07 | 2023-03-30 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren, Gehäuse für Head-Mounted-Display und Head-Mounted Display-System |
TWI717296B (zh) * | 2020-06-24 | 2021-01-21 | 南亞塑膠工業股份有限公司 | 雲端網絡商城系統 |
FR3114428B1 (fr) * | 2020-09-23 | 2024-04-12 | Squaremind | Systeme pour generer un modele de corps humain et un avatar numerique dans un afficheur d’un casque de realite virtuelle, procede associe |
EP4202531A4 (en) | 2020-11-24 | 2024-03-20 | Samsung Electronics Co., Ltd. | WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA |
US11652878B2 (en) * | 2020-11-30 | 2023-05-16 | Arm Limited | Extended-reality system and method |
US11115512B1 (en) | 2020-12-12 | 2021-09-07 | John G. Posa | Smartphone cases with integrated electronic binoculars |
US11709626B2 (en) * | 2021-01-14 | 2023-07-25 | EMC IP Holding Company LLC | Scheduling storage system tasks to promote low latency and sustainability |
CN113144592B (zh) * | 2021-03-03 | 2023-05-16 | 南京爱奇艺智能科技有限公司 | Vr设备与移动设备的交互方法 |
US11935198B2 (en) | 2021-06-29 | 2024-03-19 | Snap Inc. | Marker-based virtual mailbox for augmented reality experiences |
US12039673B2 (en) | 2021-07-21 | 2024-07-16 | Sony Interactive Entertainment Inc. | Augmented reality artificial intelligence enhance ways user perceive themselves |
US20230217007A1 (en) * | 2021-12-30 | 2023-07-06 | Ilteris Canberk | Hyper-connected and synchronized ar glasses |
KR20240035046A (ko) | 2022-09-08 | 2024-03-15 | 충북대학교 산학협력단 | 가상 현실을 이용한 감염 관리 교육 시스템 및 방법 |
TWI837830B (zh) * | 2022-09-19 | 2024-04-01 | 光陣三維科技股份有限公司 | 依三維影像轉動選擇播放對應影像串流之系統及方法 |
CN118377400B (zh) * | 2024-06-24 | 2024-08-23 | 北京格如灵科技有限公司 | 一种基于cave环境的沉浸交互方法及*** |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07140416A (ja) * | 1993-09-27 | 1995-06-02 | Casio Comput Co Ltd | ヘッドマウントディスプレイ |
TW275590B (en) * | 1994-12-09 | 1996-05-11 | Sega Enterprises Kk | Head mounted display and system for use therefor |
JP3467017B2 (ja) * | 2000-11-30 | 2003-11-17 | キヤノン株式会社 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
CN1570695A (zh) * | 2003-07-22 | 2005-01-26 | 吕兴增 | 折射影像显示装置 |
JP2007071782A (ja) * | 2005-09-08 | 2007-03-22 | Canon Inc | 位置姿勢計測システム及びその計測方法、並びに制御プログラム |
US9891435B2 (en) * | 2006-11-02 | 2018-02-13 | Sensics, Inc. | Apparatus, systems and methods for providing motion tracking using a personal viewing device |
JP2007256960A (ja) * | 2007-04-12 | 2007-10-04 | Olympus Corp | 頭部装着型映像表示装置 |
US20090040296A1 (en) * | 2007-08-06 | 2009-02-12 | Moscato Jonathan D | Head mounted display assembly |
US20090237355A1 (en) * | 2008-03-24 | 2009-09-24 | Storm Orion | Head tracking for virtual reality displays |
US8957835B2 (en) * | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
CN201323907Y (zh) * | 2008-11-07 | 2009-10-14 | 李泓锋 | 能随身观看影像的帽子 |
JP2011145488A (ja) * | 2010-01-14 | 2011-07-28 | Sony Corp | ヘッドマウントディスプレイ |
US8908015B2 (en) * | 2010-03-24 | 2014-12-09 | Appcessories Llc | Apparatus and method for producing images for stereoscopic viewing |
KR20110111830A (ko) * | 2010-04-05 | 2011-10-12 | 문장일 | 안경형 마우스 시스템 |
US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
JP2012094936A (ja) * | 2010-10-22 | 2012-05-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN202075545U (zh) * | 2011-03-21 | 2011-12-14 | 应慧倩 | 一种可视式阅读头盔 |
JP5694077B2 (ja) | 2011-07-14 | 2015-04-01 | 株式会社東芝 | ステージ装置及びプロセス装置 |
US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US9255813B2 (en) * | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
US9423827B2 (en) * | 2011-12-01 | 2016-08-23 | Seebright Inc. | Head mounted display for viewing three dimensional images |
US8792189B2 (en) * | 2012-01-26 | 2014-07-29 | Bibek Sahu | Personal media viewing device |
JP5538483B2 (ja) * | 2012-06-29 | 2014-07-02 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
US9268136B1 (en) * | 2012-09-28 | 2016-02-23 | Google Inc. | Use of comparative sensor data to determine orientation of head relative to body |
US9058053B2 (en) * | 2012-10-26 | 2015-06-16 | The Boeing Company | Virtual reality display system |
GB2499102B (en) | 2013-01-11 | 2013-12-25 | Mvr Global Ltd | Head-mounted display device |
US20140354782A1 (en) * | 2013-05-29 | 2014-12-04 | Ethan Lowry | Stereoscopic Camera Apparatus |
US10585478B2 (en) * | 2013-09-13 | 2020-03-10 | Nod, Inc. | Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices |
CA2938895C (en) * | 2014-02-18 | 2019-02-12 | Merge Labs, Inc. | Head mounted display goggles for use with mobile computing devices |
US9575319B2 (en) * | 2014-03-10 | 2017-02-21 | Ion Virtual Technology Corporation | Method and system for reducing motion blur when experiencing virtual or augmented reality environments |
-
2015
- 2015-05-14 US US14/712,886 patent/US9551873B2/en active Active
- 2015-05-18 WO PCT/US2015/031435 patent/WO2015183621A1/en active Application Filing
- 2015-05-18 JP JP2016570342A patent/JP6526721B2/ja active Active
- 2015-05-18 EP EP15729277.2A patent/EP3149538B1/en active Active
- 2015-05-18 KR KR1020167037055A patent/KR101955224B1/ko active IP Right Grant
- 2015-05-25 TW TW104116664A patent/TWI613462B/zh active
- 2015-06-01 CN CN201510293120.XA patent/CN105573486B/zh active Active
-
2016
- 2016-03-25 US US15/081,770 patent/US9606363B2/en active Active
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107390375A (zh) * | 2016-05-16 | 2017-11-24 | 石庆俊 | 单目双目可切换vr头盔显示器 |
CN107526432A (zh) * | 2016-06-15 | 2017-12-29 | 意美森公司 | 用于经由罩壳提供触觉反馈的***和方法 |
CN109416679A (zh) * | 2016-06-21 | 2019-03-01 | 蓝色歌姬有限责任公司 | 用于混合现实交互的多个电子控制和追踪装置 |
CN107561705A (zh) * | 2016-06-30 | 2018-01-09 | 谷歌公司 | 可头戴式设备中的布线 |
CN106055113A (zh) * | 2016-07-06 | 2016-10-26 | 北京华如科技股份有限公司 | 一种混合现实的头盔显示***及控制方法 |
CN106055113B (zh) * | 2016-07-06 | 2019-06-21 | 北京华如科技股份有限公司 | 一种混合现实的头盔显示***及控制方法 |
CN106101637A (zh) * | 2016-07-12 | 2016-11-09 | 姜正红 | 一种在虚拟环境中实现多界面显示及功能操作的视觉*** |
CN107666040A (zh) * | 2016-07-28 | 2018-02-06 | 三星电子株式会社 | 包括适配的有性连接器的接口连接器设备 |
CN107666040B (zh) * | 2016-07-28 | 2020-12-11 | 三星电子株式会社 | 头戴式设备 |
CN107703627A (zh) * | 2016-08-08 | 2018-02-16 | 石庆俊 | 视角展宽的单目双目可切换vr头盔显示器 |
CN106843456B (zh) * | 2016-08-16 | 2018-06-29 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
US10699472B2 (en) | 2016-08-26 | 2020-06-30 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
WO2018039586A1 (en) * | 2016-08-26 | 2018-03-01 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
US11127195B2 (en) | 2016-08-26 | 2021-09-21 | Magic Leap, Inc. | Continuous time warp for virtual and augmented reality display systems and methods |
US11200730B2 (en) | 2016-08-26 | 2021-12-14 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
CN106454194A (zh) * | 2016-09-14 | 2017-02-22 | 惠州Tcl移动通信有限公司 | 一种基于vr设备的视频方法及*** |
CN106454194B (zh) * | 2016-09-14 | 2020-10-27 | 惠州Tcl移动通信有限公司 | 一种基于vr设备的视频方法及*** |
CN110431509A (zh) * | 2016-09-22 | 2019-11-08 | 闵尚圭 | 折叠式虚拟现实设备 |
CN106506489A (zh) * | 2016-10-27 | 2017-03-15 | 北京传送科技有限公司 | 一种用于vr设备与计算机的数据连接设备 |
CN109997067B (zh) * | 2016-12-01 | 2021-12-14 | 阴影技术公司 | 使用便携式电子设备的显示装置和方法 |
CN109997067A (zh) * | 2016-12-01 | 2019-07-09 | 阴影技术公司 | 使用便携式电子设备的显示装置和方法 |
CN106873778B (zh) * | 2017-01-23 | 2020-04-28 | 深圳超多维科技有限公司 | 一种应用的运行控制方法、装置和虚拟现实设备 |
CN106873778A (zh) * | 2017-01-23 | 2017-06-20 | 深圳超多维科技有限公司 | 一种应用的运行控制方法、装置和虚拟现实设备 |
CN110506247A (zh) * | 2017-01-25 | 2019-11-26 | 克拉蔻股份有限公司 | 用于虚拟现实环境内的交互式单元的***和方法 |
CN110506247B (zh) * | 2017-01-25 | 2023-08-04 | 克拉蔻股份有限公司 | 用于虚拟现实环境内的交互式单元的***和方法 |
CN108983421A (zh) * | 2017-06-02 | 2018-12-11 | 富泰华工业(深圳)有限公司 | 佩戴显示装置 |
CN109963142A (zh) * | 2017-12-25 | 2019-07-02 | 广东虚拟现实科技有限公司 | 视觉显示***及方法,以及头戴显示装置 |
CN109963142B (zh) * | 2017-12-25 | 2024-04-26 | 广东虚拟现实科技有限公司 | 视觉显示***及方法,以及头戴显示装置 |
CN111727400A (zh) * | 2018-03-01 | 2020-09-29 | 谷歌有限责任公司 | 虚拟和增强现实低持久性的主动式lcd快门 |
CN110244461A (zh) * | 2018-03-09 | 2019-09-17 | 财团法人工业技术研究院 | 增强现实显示***及其显示方法 |
US11415798B2 (en) | 2018-03-09 | 2022-08-16 | Industrial Technology Research Institute | Augmented reality device |
US11635628B2 (en) | 2018-03-09 | 2023-04-25 | Industrial Technology Research Institute | Augmented reality display system and display method thereof |
CN110244461B (zh) * | 2018-03-09 | 2024-02-23 | 财团法人工业技术研究院 | 增强现实显示***及其显示方法 |
CN113168004B (zh) * | 2018-11-21 | 2023-01-06 | 瑞典爱立信有限公司 | 与用户可佩戴的头戴式耳机连接的移动电子设备的校准 |
CN113168004A (zh) * | 2018-11-21 | 2021-07-23 | 瑞典爱立信有限公司 | 与用户可佩戴的头戴式耳机连接的移动电子设备的校准 |
CN111965823A (zh) * | 2020-08-22 | 2020-11-20 | 江苏科群通讯建设有限公司 | 一种虚拟现实眼镜、终端设备及*** |
Also Published As
Publication number | Publication date |
---|---|
CN105573486B (zh) | 2019-08-16 |
KR101955224B1 (ko) | 2019-03-08 |
US20150348327A1 (en) | 2015-12-03 |
KR20170023030A (ko) | 2017-03-02 |
US9551873B2 (en) | 2017-01-24 |
WO2015183621A1 (en) | 2015-12-03 |
US9606363B2 (en) | 2017-03-28 |
JP6526721B2 (ja) | 2019-06-05 |
TW201608281A (zh) | 2016-03-01 |
EP3149538B1 (en) | 2021-02-17 |
US20160209658A1 (en) | 2016-07-21 |
JP2017528935A (ja) | 2017-09-28 |
TWI613462B (zh) | 2018-02-01 |
EP3149538A1 (en) | 2017-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105573486B (zh) | 具有与移动计算设备介接的接口的头戴式设备(hmd)*** | |
US10642566B2 (en) | Methods and systems for social sharing head mounted display (HMD) content with a second screen | |
EP3265864B1 (en) | Tracking system for head mounted display | |
US20210365110A1 (en) | Head Mounted Display With Adjustable Headband | |
CN107683449B (zh) | 控制经由头戴式显示器呈现的个人空间内容 | |
US10010788B2 (en) | Game controller with lights visible inside and outside the game controller | |
CN105358227B (zh) | 分享三维游戏过程 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |