CN104932677A - 互动式多驾乘者虚拟现实驾乘*** - Google Patents

互动式多驾乘者虚拟现实驾乘*** Download PDF

Info

Publication number
CN104932677A
CN104932677A CN201510119170.6A CN201510119170A CN104932677A CN 104932677 A CN104932677 A CN 104932677A CN 201510119170 A CN201510119170 A CN 201510119170A CN 104932677 A CN104932677 A CN 104932677A
Authority
CN
China
Prior art keywords
virtual
driver
headband device
virtual environment
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510119170.6A
Other languages
English (en)
Other versions
CN104932677B (zh
Inventor
B·K·赫尔曼
S·艾克麦尔
P·库尔扎瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DreamWorks Animation LLC
Original Assignee
DreamWorks Animation LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DreamWorks Animation LLC filed Critical DreamWorks Animation LLC
Publication of CN104932677A publication Critical patent/CN104932677A/zh
Application granted granted Critical
Publication of CN104932677B publication Critical patent/CN104932677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种虚拟现实驾乘***包括具有至少一个座位、第一头带器、第二头带器,以及一个或多个渲染处理器的平台。第一和第二头带器各自具有运动感应单元和被配置以显示动画视频的显示单元。一个或多个处理器被配置以渲染虚拟环境的第一动画视频从基于第一头带器的物理位置和取向的视角,和渲染虚拟环境的第二动画视频从基于第二头带器的物理位置和取向的视角。

Description

互动式多驾乘者虚拟现实驾乘***
技术领域
本申请一般涉及虚拟现实驾乘***,并且,更具体地,涉及一种***,其中多个驾乘者在物理上相互接近,各自在共同的虚拟环境中体验虚拟驾乘,且被提供虚拟环境的个体视角。
背景技术
虚拟现实是计算机模拟环境,可以模拟真实的或想象的环境中用户的物理存在。虚拟现实环境典型地包括在计算机屏幕或通过立体(例如,3D)显示器显示的视觉图像。虚拟现实环境也可以包括通过扬声器或耳机提供的声音和反馈的力经由,例如,动态平台或振动控制器或操纵杆。虚拟现实的应用包括医疗、游戏、以及军事环境。
涉及多个用户的虚拟现实环境通常包括在远程位置控制虚拟环境中他们自己的虚拟表现的个人。在多玩家的在线游戏中,例如,每个玩家坐在他自己的计算机旁并通过使用键盘、鼠标、操纵杆,或其它输入设备在虚拟空间内移动。一些游戏可以允许在玩家之间远程交互经由文字或语音通信。这样,玩家互动仅在虚拟空间,及通过远程通信。此外,虚拟环境不被实际或玩家的相对物理位置影响。
发明内容
本申请公开了虚拟现实驾乘***,该***提供改进的虚拟现实体验,其中多个驾乘者共享公共的互为镜像的物理和虚拟空间。共享的虚拟空间受物理空间中每个驾乘者的位置和运动影响使得多个驾乘者可在相同时间在物理和局部空间交互和通信。
根据本文描绘的虚拟现实驾乘***,***的每个驾乘者在虚拟环境中都有虚拟表现。虚拟环境中每个驾乘者的位置对应于在共享物理空间中驾乘者的位置,相对于其他驾乘者的位置。
驾乘者被提供个体显示器显示相同虚拟环境的视觉图像。然而,每个驾乘者被展示不同的视角基于虚拟环境中驾乘者的位置。驾乘者还被提供传感器跟踪他们的物理位置。驾乘者可以通过在物理空间的移动改变他在虚拟空间中的位置。他还可以看到虚拟环境中其他驾乘者的位置和运动。由于驾乘者可以移动自己且看到虚拟空间中他人的移动,所以他们可在虚拟空间进行交互同时在共享物理空间中也可进行交互。
附图说明
图1描绘了虚拟现实驾乘***的示范性的实施方案。
图2A-2B描绘了示范性的虚拟现实头带器。
图3A描绘了使用虚拟现实驾乘***在第一物理位置的两名驾乘者。
图3B描绘了由对应于图3A中所示的两名驾乘者的第一物理位置的驾乘者之一看到的示范性虚拟视图。
图3C描绘了由对应于图3A中所示的两名驾乘者的第一物理位置的其他驾乘者看到的示范性虚拟视图。
图4A描绘了定位在使用虚拟现实驾乘***的第二物理位置的驾乘者。
图4B描绘了由对应于图4A中所示的两名驾乘者的第二物理位置的驾乘者之一看到的示范性虚拟视图。
图4C描绘了由对应于图4A中所示的两名驾乘者的第二物理位置的其他驾乘者看到的示范性虚拟视图。
图5A描绘了定位在使用虚拟现实驾乘***的第三物理位置的驾乘者。
图5B描绘了由对应于图5A中所示的两名驾乘者的第三物理位置驾乘者之一看到的示范性虚拟视图。
图5C描绘了由对应于图5A中所示的两名驾乘者的第三物理位置的其他驾乘者看到的示范性虚拟视图。
图6描绘了虚拟现实驾乘***的实施方案的框图。
图7描绘了用于操作虚拟现实驾乘***的示范性进程。
图8描绘了用于操作虚拟现实驾乘***的另一个示范性进程。
图9描绘了虚拟现实驾乘***的实施方案的框图。
图10描绘了用于操作虚拟现实驾乘***的示范性进程。
图11描绘了用于操作虚拟现实驾乘***的另一个示范性进程。
图12描绘了示范性计算***。
在附图中描绘的实施方案仅仅是示范性的。本领域技术人员将容易认识从下面的讨论,即本文所示的结构和方法的替代实施方案可以被采用,不脱离本文所描绘的原理。
具体实施方式
下面的描绘阐述了具体的配置、参数等等。然而,应该认识到,这样的描绘不旨在限制本申请,而是提供为示范性实施方案的描述。
图1描绘了物理空间101中虚拟现实驾乘***100的实施方案。虚拟现实驾乘***100包括座位102和虚拟现实头带器104。座位102被安装在平台103上,可包括墙壁、门、窗、灯或其它特征以创建周围结构。该结构可以与乘客将体验的虚拟现实驾乘的类型相关联。
为了驾乘虚拟现实驾乘***100,每个驾乘者坐在座位102且头上戴头带器104。每个头带器104显示虚拟环境的视频图像给驾乘者。图2A-2B描绘了示范性虚拟现实头带器104的放大视图。头带器104包括显示器/传感器部分106和绑带108来将头带器104固定到驾乘者的头部。显示器/传感器部分106包括产生虚拟环境的二维或三维表现的显示单元。虚拟环境可以通过在头带器104中将图像投影到小型化的屏幕被显示。在一些实施方案中,该显示单元可以包括阴极射线管、发光二极管、液晶显示器等等。光学器件可用于操纵和调节来自于显示器的光来呈现给驾乘者。如在图2B中所见,例如,头带器包括双目光学器件110用于观看显示器。
头带器104还可以包括运动感应单元,包括传感器,诸如,例如,陀螺仪、加速度计,等等,以检测和跟踪在物理空间101中的驾乘者头的运动。头带器104可在一、二,或三个维度跟踪平移运动。头带器104还可以跟踪一个、两个,或三个轴旋转。通过跟踪平移和旋转运动,驾乘者的头的位置可以被确定。为了公开的目的,位置信息可包括位置(例如,线性位置,诸如对象沿直线参照***的x、y,和z轴的坐标)和/或取向(例如,角位置、角定向,或航向、仰角,以及相对于固定参考***的对象的转弯)。头带器104还可以包括用于重新校准的方法。例如,磁力计可以被包括以校正用在头带器104中的陀螺仪的漂移。
每个头带器104提供给驾乘者来自虚拟环境的个体视角的视频图像。每个驾乘者在虚拟环境中具有位置和取向(即虚拟位置和虚拟取向)。虚拟位置可以基于在物理空间101中驾乘者的物理位置。类似地,虚拟取向可以基于驾乘者的物理取向。驾乘者可被展示虚拟环境的视图从他的虚拟位置和在他的虚拟取向的方向。随着驾乘者物理地转动他的头,在头带器104中的运动传感器可检测运动并从他的虚拟位置改变驾乘者的虚拟环境的视图。例如,当驾乘者转动他的头向右侧,头带器显示虚拟环境中的图像向虚拟环境中驾乘者的虚拟位置的右侧。驾乘者可“环顾”虚拟环境简单地通过移动他的头如他在物理空间101中同样的方式,不需要单独的控制器或输入设备来改变图像的角度。在实施方案中,包括传感器以检测和跟踪平移运动,驾乘者也可以移动到在虚拟环境中的不同的位置通过围绕虚拟现实驾乘***100的平台103移动,由此改变他的虚拟视角的原点。
虚拟环境的视频可以被通过计算机处理器提供给头带器104。处理器可以从头带器104接收位置数据,并提供视频信号给头带器104基于接收到的位置数据。在一些实施方案中,处理器提供动画视频图像给头带器104。在这样的实施方案中,基于驾乘者的虚拟位置,处理器渲染虚拟环境的动画视频内容从驾乘者的虚拟位置和驾乘者看的方向。
再次参考图1,虚拟现实驾乘***100包括座位102,驾乘者可以坐在上面同时通过头带器104体验虚拟环境。座位102可以是动态的,以便提供与由驾乘者看到的出现在虚拟环境中的视觉事件相关联的物理感觉。例如,座位102可以通过振动、旋转、平移、等等移动,以增加虚拟体验。在一个实施方案中,驾乘者可以被展示他在颠簸的路上驾乘汽车的虚拟环境。座位102可振动或摇动来模拟人由于路面颠簸感觉到的力量。
另外,虚拟现实驾乘***100可以提供音频来伴随头带器104的视觉图像和动态座位102的运动。在一些实施方案中,环绕立体声扬声器可以位于平台103***的四周使所有驾乘者听到相同的音频。优选地,从头带器104中分离的音频源使音频不必基于驾乘者的位置被调整。此外,通过共享公共的音频源,所有的驾乘者可体验来自于相同位置的特定声音,不管每个驾乘者物理上位于什么地方或面对什么方向。公共音频源还允许驾乘者围绕平台103移动,如果是独立音频***,例如,被内置于座位,这将是不可能的。
通过链接驾乘者的虚拟位置到他的物理位置,及提供虚拟环境的个体视图,虚拟现实驾乘***100允许在共享物理空间101中的多个驾乘者影响公共虚拟环境,及在该虚拟环境中彼此交互。当体验公共虚拟环境时驾乘者如何彼此交互的例子现在将参照图3A-5C详细地被描述。
图3A描绘了两名驾乘者使用虚拟现实驾乘***300的前视图。驾乘者A306和驾乘者B308挨着彼此面向前方在动态长凳302上坐着。他们戴着虚拟现实头带器304,显示每个驾乘者公共虚拟环境中自己的个体视角。
在开始驾乘之前,驾乘***300可以被初始化来关联初始物理位置与物理空间的每个头带器304,并在物理和虚拟环境中建立共同的前进方向。在一些实施方案中,头带器的初始物理位置确定相应的在虚拟环境中驾乘者的初始虚拟位置。共同的前进方向被建立,当在物理空间中朝向前进方向时,使驾乘者被提供虚拟环境的朝前的视图。
在下面的例子中,驾乘者体验虚拟驾乘在汽车前排座位。图3B描绘了一旦驾乘开始,由驾乘者A306看到的虚拟环境的示范性视图。驾乘者A306在虚拟环境中的位置被确定,通过他相对于驾乘者B308的物理位置。由于驾乘者A306物理上坐在驾乘者B的左侧,如图3A所示,所以驾乘者A306从汽车驾驶座看到虚拟环境的第一人视角。此外,由于驾乘者A306在物理空间朝前,所以他从车的前挡风玻璃看出。
图3C描绘了由驾乘者B308从他自己的第一人视角看到的虚拟环境的示范性视图。由于驾乘者B308物理上位于驾乘者A的右侧,所以驾乘者B308从车的前排乘客座位看到虚拟环境。由于他的头在物理上也朝前,所以他也看到了虚拟环境视图,通过前风挡玻璃看出去。
因此,图3A-3C示出了驾乘者在虚拟世界中的位置和视角对应于在物理空间中他们各自的物理位置和头部取向。
转到图4A-4C,现在将描述驾乘者在虚拟环境中改变他的观看角度的能力。图4A描绘了驾乘者A306和驾乘者B308使用虚拟现实驾乘***300的另一个前视图。在图4A中,然而,驾乘者A的头部转向他的右边,使他的头面向驾乘者B308。
图4B描绘了由驾乘者A306看到的虚拟环境的示范性视图对应于图4A所示的两名驾乘者的位置。在图4A中,驾乘者A306在物理上面向驾乘者B308。因此,在虚拟环境中,驾乘者A306看到了看向右侧的视角从汽车的驾驶座位朝向乘客座位。由于驾乘者B308也使用虚拟现实驾乘***,所以在虚拟环境有图形表示308V(例如,化身)与驾乘者B相关联。虚拟环境中驾乘者B308的图形表示308V的虚拟位置对应于在物理空间中相对于驾乘者A306的驾乘者B的位置。这样,通过看向乘客座位,驾乘者A306看到紧挨着他坐在乘客座位的驾乘者B308的图形表示308V。
此外,由于驾乘者B308在物理空间中仍然朝前,如图4A所示,所以驾乘者A306看到驾乘者B的图形表示308V面朝车前挡风玻璃。因此,通过转动他的头部,驾乘者A306改变在虚拟环境中他看到的方向。驾乘者A306还可以从驾乘者B的图形表示308V中区别出驾乘者B308在物理上是朝前的。
图4C描绘了由驾乘者B308看到的虚拟环境的示范性视图对应于图4A所示的两名驾乘者的位置。值得注意的是,由于驾乘者B308物理上没有移动(即,他依然坐在驾乘者A的右侧,且他的头依然朝前),所以虚拟环境中他的视图没有从图3C所示的改变。
转到图5A-5C,驾乘者影响虚拟环境的能力现在将被描述。图5A描绘了驾乘者A306和B308使用虚拟现实驾乘***300的另一个前视图。在图5A中,驾乘者A的头转向他的右侧如图4A中,但驾乘者B的头现在转向面对驾乘者A306。
图5B描绘了由驾乘者A306看到的虚拟环境的示范性视图对应于图5A中所示的两名驾乘者的位置。由于驾乘者A306没有移动从图4A所示的他的位置,所以驾乘者A306仍然看到从汽车的驾驶座位看向右侧的视角,包括驾乘者B308的图形表示308V。然而,现在驾乘者B308已经转过头朝向驾乘者A306,驾乘者A306看到驾乘者B308的表示308V面向他。因此,通过在物理世界中转动他的头,驾乘者B308已经影响由驾乘者A306看到的虚拟环境。
图5C描绘了由驾乘者B308看到的虚拟环境的示范性视图对应于图5A中所示的两名驾乘者的位置。由于驾乘者B308已经在物理上转过头朝向驾乘者A306,所以驾乘者B308现在看到看向左侧的视角视图从汽车的乘客座位朝向驾驶座位。因此,驾乘者B308看到驾驶座位的驾乘者A306的图形表示306V。此外,驾乘者B308看到在虚拟环境中驾乘者A的表示306V面向他,就像他在物理空间。
应当认识到,尽管上面例子中由每个驾乘者看到的视图已经关于驾乘者头部的分立状态被描述,但是驾乘者的头部位置可以不断被更新。优选地,位置被更新以足够高的速率来最小化不连续性或图像的模糊,并精确地表示当驾乘者移动头部,他将期望看到的视图。另外,应该认识到,在虚拟环境中对象和景物可以被示出,以在一段时间接近和移动驾乘者,来给他们汽车正在移动的效果。
图3A-5C说明每个驾乘者如何能看到虚拟环境中其他人的动作。看到互相的动作可以让驾乘者A306和驾乘者B308互动,并且在虚拟环境中通过他们在物理空间的运动通信。另外,由于驾乘者彼此紧挨着坐着,他们可以彼此说话而不需要远程通信。然而,因为驾乘者戴着头带器,所以他们不能在物理上互相看到。有些驾乘者可能会发现与某人交谈尴尬,不能区分他们是否正看着他们。***通过允许驾乘者看互相的图形表示来解决当他们在真实的物理空间谈论时,这提供了更自然的通信方式。因此,驾乘者可以交流和互动以更相似于他们将在物理空间的方式的方式,同时也体验了虚拟环境。
除了头部运动,在一些实施方案中,该***可包括传感器以跟踪驾乘者的物理手势,诸如,例如,手的动作,可以在虚拟环境中提供另一种通信方法,并且增加与自然通信的相似性。
还应当认识到,尽管图3A-5C所示的虚拟现实驾乘***被描述为仅仅两名驾乘者使用,但是该***可被配置为任意数量的驾乘者,每个都使用他们自己的头带器和都共享公共的物理空间和公共的虚拟空间。
此外,该***不限于任何特定的虚拟环境。例如,驾乘者可以分享虚拟体验,其中他们乘坐圣诞老人的雪橇到北极,假想的生物在天空中飞回来,驾乘吉普车经过野生动物园,或其它真实的或想象的虚拟驾乘体验。该***也并不限于驾乘者的任何特定的虚拟表示。驾乘者可以在虚拟空间被表示为,例如,精灵、动物、机器人、或某些其它真实的或虚构的角色。另外,不同的驾乘者可通过不同的角色来表示。在一个实施方案中,驾乘者的个体特征,诸如,例如,眼的形状和颜色、皮肤颜色、头发样式和颜色、身高、体重、体格,等等,可以用来创建驾乘者在虚拟环境中的真实表示。
现在转向图6,示范性的虚拟现实驾乘***600的结构被描述。特别是,图6描绘了包括头带器604、工作站606和服务器608的虚拟现实驾乘***600的实施方案的框图。正如所示,每个头带器604被连接到工作站606,且每个工作站606被连接到服务器608。因此,头带器604通过服务器608经由工作站606被联网在一起。
在一个实施方案中,头带器604经由工作站606通信物理位置和取向数据到服务器608。工作站606从服务器608接收信息,指示与其它头带器604相关联的图形表示的虚拟位置。服务器608还可以提供与虚拟环境中的元素或事件(例如,风景、角色的运动,等等)相关的数据和/或图形表示的特征。
如上面所提到的,显示给驾乘者的图像可以是虚拟环境的动画视频。工作站606可以包括用于渲染动画视频或内容的处理器。每个工作站606渲染虚拟环境的视图基于与其相应的头带器604相关联的虚拟位置(它是基于在物理空间中头带器604的物理位置)。每个工作站606还使用与网络中其他头带器604相关联的虚拟位置信息,以正确渲染与其他头带器604相关联的图形表示。
例如,与上面描述的图3A-5C中的驾乘者A306戴的头带器相关联的工作站必须知道驾乘者B308位于什么地方,及在虚拟环境中驾乘者B308面向的方向,以正确渲染与驾乘者B308相关联的图形表示。因此,每个工作站606渲染唯一视图给其相关的头带器604,同时也说明其他头带器的位置。在一些实施方案中,工作站606通过服务器608从属在一起,使得在虚拟环境中的事件对所有的驾乘者同时发生。驾乘者是否实际观看事件,然而,取决于在其发生的时间驾乘者是否正在看事件的方向。
图7描绘了由虚拟现实驾乘***600的服务器608执行的示范性进程。在步骤702中,服务器608从工作站606接收虚拟现实驾乘***600中的每个头带器604的物理位置数据。物理位置数据可以包括,例如,头带器604的位置(例如,在直线***中X、Y和Z坐标)和取向(例如,航向、海拔,和转弯或偏航、俯仰,和翻滚)。在步骤704中,服务器608转换头带器604的物理位置向在虚拟环境中的位置。与头带器相关联的虚拟位置对应于驾乘者戴着头带器604的图形表示的虚拟位置。接下来,在步骤706中,虚拟驾乘者的位置被发送到个体工作站606,以用于渲染动画虚拟环境。
图8描绘了由虚拟现实驾乘***600的工作站606执行的示范性进程。在步骤802中,工作站606接收其相关联的头带器604的物理位置数据。物理头带器位置数据被发送到服务器608在步骤804中。如上所讨论的,服务器608可以从每个工作站606收集物理头带器位置数据,并将它们转换成相应的虚拟位置。在步骤806中,工作站606从服务器608接收与其他驾乘者相关联的虚拟位置。在步骤808中,虚拟位置被用于渲染来自于驾乘者视角的虚拟环境的视频,包括其他驾乘者的图形表示基于他们的物理位置。在步骤810中,所渲染的视频被发送到相关联的头带器604以显示给驾乘者。
在图9中描绘的替代实施方案中,头带器904可以被直接连接到服务器908,服务器908分配在几个渲染处理器906中的动画视频渲染处理。不同于图6所示的架构中的工作站606,渲染处理器906的数目不一定等于虚拟驾乘***900中的头带器904的数量。
图10描绘了由虚拟现实驾乘***900的服务器908执行的示范性进程1000。在步骤1002中,服务器908从头带器904接收物理位置数据。在步骤1004中,服务器908转换来自于每个头带器904的物理头带器位置数据到相应的虚拟位置。在步骤1006中,服务器908发送渲染处理请求到渲染处理器。渲染处理请求包括与头带器904相关联的虚拟位置数据。在步骤1008中,服务器接收来自处理器906的渲染的动画视频,然后发送渲染的动画视频到头带器904用于显示在步骤1010中。
图11描绘了由虚拟现实驾乘***900的渲染处理器906执行的示范性进程。在步骤1102中,处理器906接收来自服务器908的渲染请求。该渲染请求可以包括与驾乘者相关联的虚拟位置数据。在步骤1104中,该虚拟位置被用于渲染来自于特定驾乘者视角的虚拟环境的视频,包括其他驾乘者的图形表示基于他们的物理位置。在步骤1106中,渲染的视频被发送到服务器908。
图12描绘了配置以执行上述处理中的任一项的示范性计算***1200的组件。在一些实施方案中,工作站、渲染处理器,和/或上面描述的服务器可以包括计算***1200的某些或全部元素。计算***1200可以包括,例如,处理器、内存、存储器,和输入/输出设备(例如,监视器、键盘、手写笔、绘图设备、磁盘驱动器、网络连接等)。然而,计算***1200可以包括电路或其它专门的硬件用于执行处理的一些或所有方面。在一些操作设置中,计算***1200可以被配置为***,其包括一个或多个单元,其中的每一个被配置以在软件、硬件,或其某种组合上执行处理的一些方面。
在计算***1200中,主***1202可包括主板1204,具有总线连接输入/输出(“I/O”)部分1206、一个或多个中央处理单元(“CPU”)1208,和内存部分1210,其可具有与其相关的闪存卡1212。内存部分1210可以包含计算机可执行指令和/或数据用于执行进程700、800、1000,和/或1100。I/O部分1206可以被连接到显示1224、键盘1214、磁盘存储单元1216,和介质驱动器单元1218。介质驱动单元1218可以读/写非暂时性计算机可读存储介质1220,其中可包含程序1222和/或数据。
至少基于上述进程的结果的一些值可以被保存为后续使用。另外,非暂时性计算机可读存储介质可被用于存储(例如,明确体现)一个或多个计算机程序用于通过计算机的方法来执行上述进程中的任一项。该计算机程序可以被写,例如,用通用目的编程语言(例如,Pascal、C、C++、Java,等等),或者一些专门的专用语言。
前边描述的具体实施方案以用于说明和描述的目的进行呈现。它们不旨在穷举或限制所公开的权利要求书的精确形式的范围,并且应当理解的是,许多修改和变化是可能的根据上述教导。

Claims (16)

1.一种虚拟现实驾乘***包括:
平台包括:
至少一个座位;
第一头带器具有第一运动感应单元和被配置以显示虚拟环境的第一动画视频的第一显示单元,所述第一头带器位于所述平台内的第一物理位置且朝向第一物理取向;和
第二头带器具有第二运动感应单元和被配置以显示所述虚拟环境的第二动画视频的第二显示单元,所述第二头带器位于所述平台内的第二物理位置且朝向第二物理取向;和
一个或多个渲染处理器被配置以渲染:
所述虚拟环境的第一动画视频来自基于所述第一物理位置和所述第一物理取向的第一视角;和
所述虚拟环境的第二动画视频来自基于所述第二物理位置和所述第二物理取向的第二视角。
2.如权利要求1所述的虚拟现实驾乘***,其中所述第一头带器与所述虚拟环境中的虚拟位置相关联基于所述第一头带器的第一物理位置,且与所述虚拟环境中的虚拟取向相关联基于所述第一头带器的第一物理取向。
3.如权利要求2所述的虚拟现实驾乘***,其中所述第一动画视频提供所述虚拟环境的第一人视角从所述虚拟位置和基于所述虚拟取向的方向。
4.如权利要求1所述的虚拟现实驾乘***,其中
所述第一头带器与所述虚拟环境中的图形表示相关联,和
其中所述图形表示显示在所述第二动画视频中,在基于相对于所述第二头带器的物理位置的第一头带器的物理位置的位置上,且至少部分所述图形表示具有基于所述第一头带器的第一物理取向的取向。
5.如权利要求4所述的虚拟现实驾乘***,其中所述第一运动感应单元感应平移运动。
6.如权利要求5所述的虚拟现实驾乘***,其中所述虚拟环境中的图形表示的位置改变当所述第一运动感应单元感应平移运动。
7.如权利要求4所述的虚拟现实驾乘***,其中所述第一运动感应单元感应旋转运动。
8.如权利要求7所述的虚拟现实驾乘***,其中至少部分的图形表示的取向改变当所述第一运动感应单元感应旋转运动。
9.如权利要求1所述的虚拟现实驾乘***,其中所述座位被配置以基于发生在虚拟环境中的事件移动。
10.一种产生虚拟现实驾乘的方法,所述方法包括:
渲染虚拟环境的第一动画视频从基于第一头带器的第一物理位置和所述第一头带器的第一物理取向的第一视角;
渲染所述虚拟环境的第二动画视频从基于第二头带器的第二物理位置和所述第二头带器的第二物理取向的第二视角;
显示所述第一动画视频在所述第一头带器的第一显示单元;和
显示所述第二动画视频在所述第二头带器的第二显示单元。
11.如权利要求10所述的方法,其中所述第一头带器与所述虚拟环境中的虚拟位置相关联基于所述第一头带器的第一物理位置,且与所述虚拟环境中的虚拟取向相关联基于所述第一头带器的第一物理取向。
12.如权利要求11所述的方法,其中所述第一动画视频提供所述虚拟环境的第一人视角从所述虚拟位置和基于所述虚拟取向的方向。
13.如权利要求11所述的方法,
其中第一头带器与所述虚拟环境中的图形表示相关联,和
其中所述图形表示显示在所述第二动画视频中,在基于相对于所述第二头带器的物理位置的第一头带器的物理位置的位置上,并且至少部分所述图形表示具有基于所述第一头带器的第一物理取向的取向。
14.如权利要求13所述的方法,其中所述虚拟环境中的图形表示的位置改变当包括在所述第一头带器中的运动感应单元感应平移运动。
15.如权利要求13所述的方法,其中至少部分所述图形表示的取向改变当包括在所述第一头带器中的运动感应单元感应旋转运动。
16.如权利要求10所述的方法,还包括:
移动座位基于发生在所述虚拟环境中的事件。
CN201510119170.6A 2014-03-18 2015-03-18 互动式多驾乘者虚拟现实驾乘*** Active CN104932677B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461955154P 2014-03-18 2014-03-18
US61/955,154 2014-03-18

Publications (2)

Publication Number Publication Date
CN104932677A true CN104932677A (zh) 2015-09-23
CN104932677B CN104932677B (zh) 2019-10-25

Family

ID=52692506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510119170.6A Active CN104932677B (zh) 2014-03-18 2015-03-18 互动式多驾乘者虚拟现实驾乘***

Country Status (3)

Country Link
US (1) US9996975B2 (zh)
EP (1) EP2921938A1 (zh)
CN (1) CN104932677B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302427A (zh) * 2016-08-09 2017-01-04 深圳市豆娱科技有限公司 在虚拟现实环境中的分享方法及装置
CN106289243A (zh) * 2016-08-03 2017-01-04 上海乐相科技有限公司 一种磁力计自动校准方法及***
CN106484350A (zh) * 2016-09-30 2017-03-08 上海大界机器人科技有限公司 基于机械臂机械运动机制的图形成像控制方法
CN106528164A (zh) * 2016-11-11 2017-03-22 上海远鉴信息科技有限公司 虚拟现实中双向协助操作方法及***
CN109475774A (zh) * 2016-06-13 2019-03-15 索尼互动娱乐股份有限公司 虚拟现实环境中的视图位置处的观众管理
CN109568944A (zh) * 2017-09-29 2019-04-05 日本聚逸株式会社 游戏处理方法、游戏处理装置、游戏处理***及记录介质
CN109716266A (zh) * 2016-09-23 2019-05-03 苹果公司 沉浸式虚拟显示
CN112567318A (zh) * 2018-08-10 2021-03-26 奥迪股份公司 运行至少两个由乘员各自戴在头部的显示设备的方法和***

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
EP3096212B1 (en) * 2015-05-18 2020-01-01 DreamWorks Animation LLC Method and system for calibrating a virtual reality system
US10555688B1 (en) * 2015-08-22 2020-02-11 Bertec Corporation Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device
US11301045B1 (en) 2015-08-22 2022-04-12 Bertec Corporation Measurement system that includes at least one measurement assembly, a visual display device, and at least one data processing device
US11992746B1 (en) 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
US10860843B1 (en) 2015-08-22 2020-12-08 Bertec Corporation Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device
JP6706473B2 (ja) * 2015-09-14 2020-06-10 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US10969748B1 (en) * 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
US11132839B1 (en) * 2016-03-01 2021-09-28 Dreamcraft Attractions Ltd. System and method for integrating real props into virtual reality amusement attractions
DE102016104337A1 (de) * 2016-03-09 2017-09-14 Vr Coaster Gmbh & Co. Kg Positionsbestimmung und Ausrichtung eines Virtual Reality Headsets und Fahrgeschäft mit einem Virtual Reality Headset
US10832490B2 (en) 2016-03-11 2020-11-10 Sangwha Co., Ltd. Virtual reality experience apparatus capable of providing experiencing user with virtual reality image and physical motion
WO2017155193A1 (ko) * 2016-03-11 2017-09-14 주식회사 상화 가상현실 체험장치
KR101885127B1 (ko) * 2016-03-11 2018-08-03 주식회사 상화 가상현실 체험장치
WO2017155194A1 (ko) * 2016-03-11 2017-09-14 주식회사 상화 가상현실 체험장치
US10086300B1 (en) * 2016-03-30 2018-10-02 Nicholas G. Suttell Combined translational and rotational motion simulator
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
CN109154867B (zh) * 2016-03-30 2022-05-17 尼古拉斯·G·苏特尔 结合式平移和旋转运动模拟器
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US10643391B2 (en) * 2016-09-23 2020-05-05 Apple Inc. Immersive virtual display
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
US10596460B2 (en) 2016-10-13 2020-03-24 Positron, Llc Controlled dynamic multi-axis virtual reality system
GB2560004B (en) * 2017-02-24 2020-11-25 Sony Interactive Entertainment Inc Virtual reality
CN106932905A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10282909B2 (en) * 2017-03-23 2019-05-07 Htc Corporation Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
US10639557B2 (en) * 2017-06-22 2020-05-05 Jntvr Llc Synchronized motion simulation for virtual reality
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
CN108499105B (zh) 2018-04-16 2022-02-25 腾讯科技(深圳)有限公司 在虚拟环境中进行视角调整的方法、装置及存储介质
DE102018206657A1 (de) * 2018-04-30 2019-10-31 Audi Ag Verfahren und Steuervorrichtung zum Betreiben eines Kraftfahrzeugs
CN110599701A (zh) * 2019-09-10 2019-12-20 北京为快科技有限公司 一种vr内容自助方法、装置、存储介质以及计算机设备
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
US20230259197A1 (en) * 2020-07-02 2023-08-17 VirtuReal Pty Ltd A Virtual Reality System
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
WO2023133149A1 (en) * 2022-01-04 2023-07-13 Universal City Studios Llc Facial activity detection for virtual reality systems and methods
US20230302372A1 (en) * 2022-03-24 2023-09-28 Disney Enterprises, Inc. Vehicle entertainment system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
CN103258338A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和***
CN103456025A (zh) * 2012-06-01 2013-12-18 波音公司 虚拟和实际环境中的传感器增强的定位

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309381A (ja) * 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
US6007338A (en) * 1997-11-17 1999-12-28 Disney Enterprises, Inc. Roller coaster simulator
JP2005520665A (ja) * 2002-03-22 2005-07-14 デイヴィッド ヴィ スレルケル 娯楽用乗り物
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
WO2010105499A1 (en) * 2009-03-14 2010-09-23 Quan Xiao Methods and apparatus for providing user somatosensory experience for thrill seeking jumping like activities
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US8491403B2 (en) * 2011-07-08 2013-07-23 Nathan Schreibfeder Amusement ride system
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
CN103258338A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和***
CN103456025A (zh) * 2012-06-01 2013-12-18 波音公司 虚拟和实际环境中的传感器增强的定位

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109475774B (zh) * 2016-06-13 2022-06-03 索尼互动娱乐股份有限公司 虚拟现实环境中的视图位置处的观众管理
CN109475774A (zh) * 2016-06-13 2019-03-15 索尼互动娱乐股份有限公司 虚拟现实环境中的视图位置处的观众管理
CN106289243A (zh) * 2016-08-03 2017-01-04 上海乐相科技有限公司 一种磁力计自动校准方法及***
CN106289243B (zh) * 2016-08-03 2019-07-12 上海乐相科技有限公司 一种磁力计自动校准方法及***
CN106302427B (zh) * 2016-08-09 2019-11-29 深圳市摩登世纪科技有限公司 在虚拟现实环境中的分享方法及装置
CN106302427A (zh) * 2016-08-09 2017-01-04 深圳市豆娱科技有限公司 在虚拟现实环境中的分享方法及装置
CN109716266A (zh) * 2016-09-23 2019-05-03 苹果公司 沉浸式虚拟显示
CN106484350B (zh) * 2016-09-30 2019-04-09 上海大界机器人科技有限公司 基于机械臂机械运动机制的图形成像控制方法
CN106484350A (zh) * 2016-09-30 2017-03-08 上海大界机器人科技有限公司 基于机械臂机械运动机制的图形成像控制方法
CN106528164A (zh) * 2016-11-11 2017-03-22 上海远鉴信息科技有限公司 虚拟现实中双向协助操作方法及***
CN109568944A (zh) * 2017-09-29 2019-04-05 日本聚逸株式会社 游戏处理方法、游戏处理装置、游戏处理***及记录介质
CN109568944B (zh) * 2017-09-29 2022-05-27 日本聚逸株式会社 游戏处理方法、游戏处理装置、游戏处理***及记录介质
CN112567318A (zh) * 2018-08-10 2021-03-26 奥迪股份公司 运行至少两个由乘员各自戴在头部的显示设备的方法和***
US11940622B2 (en) 2018-08-10 2024-03-26 Audi Ag Method and system for operating at least two display devices carried by respective vehicle occupants on the head
CN112567318B (zh) * 2018-08-10 2024-05-31 奥迪股份公司 运行至少两个由乘员各自戴在头部的显示设备的方法和***

Also Published As

Publication number Publication date
EP2921938A1 (en) 2015-09-23
US9996975B2 (en) 2018-06-12
US20150269780A1 (en) 2015-09-24
CN104932677B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN104932677A (zh) 互动式多驾乘者虚拟现实驾乘***
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
US10181212B2 (en) Method and system for reducing motion sickness in virtual reality ride systems
JP7198213B2 (ja) 拡張乗り物システム及び方法
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US10996757B2 (en) Methods and apparatus for generating haptic interaction for virtual reality
US11765335B2 (en) Synthetic stereoscopic content capture
CN106489171B (zh) 立体图像显示器
US11094107B2 (en) Information processing device and image generation method
US20210082187A1 (en) Haptic simulation of motion in virtual reality
JP7104539B2 (ja) シミュレーションシステム及びプログラム
KR102177734B1 (ko) 가상 현실에서의 홀드된 객체 안정화
TW201944365A (zh) 增強第一身視角體驗的方法
US20240169676A1 (en) Rotational navigation in a virtual environment with a visual reference
WO2022107294A1 (ja) Vr映像空間生成システム
JP3638669B2 (ja) 画像合成方法及びゲーム装置
WO2024072595A1 (en) Translating interactions on a two-dimensional interface to an artificial reality experience
WO2023212349A1 (en) Avatar state versioning for multiple devices
Apostolopoulos Navigating a virtual environment using eye movements

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant