CN105359061A - 计算机图形显示***及方法 - Google Patents

计算机图形显示***及方法 Download PDF

Info

Publication number
CN105359061A
CN105359061A CN201480023808.XA CN201480023808A CN105359061A CN 105359061 A CN105359061 A CN 105359061A CN 201480023808 A CN201480023808 A CN 201480023808A CN 105359061 A CN105359061 A CN 105359061A
Authority
CN
China
Prior art keywords
processing unit
user
data processing
data
input block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480023808.XA
Other languages
English (en)
Inventor
J·埃尔韦舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN105359061A publication Critical patent/CN105359061A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Position Input By Displaying (AREA)

Abstract

数据处理单元(110)生成被发送至用户(U)所佩戴的头戴式结构(120)的显示屏(123)的图形数据(Dgr)。因此，用户(U)可以查看图像数据(Dimg)，图像数据(Dimg)反映了数据处理单元(110)所实现的虚拟现实环境，即，图像数据(Dimg)表示用户(U)在虚拟现实环境中从特定位置(P)处以及在特定方向(D)上所看到的视场(FoV)。头戴式结构(120)包括将轮廓分明的光图案(LP1)投影到反光面(130)上的第一光源(125)。数据处理单元(110)与用于记录表示第一轮廓分明的光图案(LP1)的图像数据(Dimg)的图像配准单元(115)相连。数据处理单元(110)基于图像数据(Dimg)计算图形数据(Dgr)。

Description

计算机图形显示***及方法
背景技术和现有技术
本发明总体上涉及用于计算机模拟环境或所谓的虚拟现实(VR)环境的计算机图形。更具体地，本发明涉及一种根据权利要求1的前序部分所述的计算机图像显示***，以及一种根据权利要求9的前序部分所述的方法。本发明还涉及一种根据权利要求17所述的计算机程序产品以及一种根据权利要求18所述的计算机可读介质。
VR环境通常以高度可视的三维(3D)方式来模拟用户处于现实世界或虚幻世界的实际存在。大多数当前的VR环境主要是在计算机屏幕上或通过特定的立体显示器进行显示的视觉体验。然而，有些模拟包括附加感觉信息，例如通过扬声器或麦克风的声音。例如用于医疗或游戏应用的触觉***还可以包括众所周知的为力反馈的触觉信息。用户可以通过标准的输入装置(如键盘和鼠标)与VR环境进行交互。在更高级的应用中，可以使用诸如有线手套(或数据手套)之类的多模式设备。
优选地采用头戴式显示(HMD)***来为用户提供真实的视觉体验。在此，根据用户如何移动他/她的头部，显示器呈现图形数据，该图形数据表现用户在VR环境中从特定位置以及在特定方向上所看到的视场。因此，HMD***需要高度精确地跟踪用户的头部移动情况。如今，为了这个目的，将各种形式的加速计和陀螺仪集成到HMD***。然而，该方法存在许多问题。
首先，必须定义一个中立或原始位置，该位置与VR环境中用户的视场的特定位置和方向相关联。然后，必须对从原始位置在每个方向上的每次运动以及每个旋转进行跟踪，以确定应当如何改变显示给用户的视场，以便维持VR环境连续且真实的效果。这是一个非常有挑战性的任务，因为必须对具有六个自由度(例如，三个空间坐标和三个角坐标)的参数保持最新。当然，随着时间的推移，错误会积累，最终使得：通过图形数据显示给用户的视场与实际上本该显示的视场之间存在不可接受的较大不一致。例如，如果用户快速地向上/下、左/右、后/前和/或有角度地摇动他/她的头部，则这些影响变得特别明显。然而，如果由于某些原因造成移动跟踪的丢失，则***需要重置。即，用户必须返回到原始位置。在游戏应用中，这可能仅仅令人烦恼，而在医疗应用(例如，远程手术)中，结果确实会非常严重。
如今，实际上还不存在上述加速计/陀螺仪(这需要对用户头部的所有位置和角度变化进行重复更新和记录)技术的替代技术用于将控制数据提供给计算机，使得计算机可以生成用于例如通过HMD***以真实的方式将VR环境显示给用户。
然而，在完全不同的技术领域中，存在如下技术方案：依靠其他类型的信号来对物理环境中实际位置和方向进行配准，即与投射光图案相关的光信号。
JP2005-017203描述了一种用于配准如何在一段时间间隔期间定位商店中的各个顾客的***。在这里为每个顾客提供了一个照明灯，该照明灯将具有指定几何形状的光学标记投影到商店的墙或天花板上。通过经由商店中的至少一个摄像机对从墙或天花板反射的间接光的研究来计算在给定的时间每个顾客的位置。此外，通过研究来自顾客的光学标记的形状如何变化，可以获得顾客的三维坐标。
US2005/0213081公开了一种用于控制机器人的解决方案，其中，固定光源将光图案投影到机器人在其中进行操作的房间的天花板上。在此，机器人通过经由布置在该机器人上的摄像机获取图像数据来进行导航。更准确地，基于通过摄像机配准的特定光图案，机器人确定平面上的二维位置(x，y)和方向(θ)。
与现有技术相关的问题
因此，公知的HMD***中的基于加速计/陀螺仪的技术存在如下需求问题：定义原始位置、错误积累，以及由于位置和/或方向更新过程中的任何中断所引起的故障。
上面所提及的基于光学的解决方案能够分别确定一个实体的完整的空间位置或者二维位置和一维方向。然而，这些参考文献都没有提供与生成计算机图形相关的任何提示。
发明内容
本发明的目的在于减轻上述问题，并且因此提供适合于为用户显示VR环境的增强型计算机图形显示。
根据本发明的一个方面，通过最初描述的计算机图像显示***解决了上述目的，其中，头戴式结构包括配置成将第一轮廓分明的光图案投影到反光面的第一光源。数据处理单元与被配置成记录表示第一轮廓分明的光图案的图像数据的图像配准单元相连。数据处理单元被布置成基于图像数据计算图形数据。这里的图形数据表示用户从虚拟现实环境中的特定位置处沿着特定方向所看到的视场。
该计算机图像显示***是有利的，因为该***能够以高成本效益、可靠、健壮的方式将视场显示给与VR环境进行交互的用户。
根据本发明的这个方面的一个优选实施例，数据处理单元被配置成基于单一时刻由图像配准单元所记录的图像数据实时计算图形数据。因此，确定视场并不需要任何历史位置和/或方向数据。即，基于关于用户所在房间的某些假设，第一轮廓分明的光图案的图像提供了关于头戴式结构的位置和朝向的绝对参考。基于此，然后可以产生合适的视场。
根据本发明的该方面的另一优选实施例，计算机图形显示***包括至少一个输入单元，该输入单元被配置成由用户操作，并且作为用户操作的响应产生用于影响数据处理单元所实现的虚拟现实环境的控制命令。例如，第一输入单元可以是键盘、动作按钮、滚轮、鼠标、触摸板、操纵杆、和/或操纵球。此外，由此产生的控制命令指定：在虚拟现实环境中的至少一个维度上移动将视场显示给用户的位置；围绕虚拟现实环境中的至少一个轴旋转将视场显示给用户的方向和/或操作虚拟现实环境中的至少一个对象。因此，显示给用户的视场和图形对象可能受到除头戴式结构的位置与方向以外因素的影响。因此，可以通过相对简单的方式快速地(dramatically)操作VR环境，并且用户可以通过头戴式结构便利地查看所有这样的操作情况。
根据本发明的这个方面的又一优选实施例，计算机图形表示***包括至少一个输入单元，该输入单元(类似于头戴式结构)设置有被配置成将第二轮廓分明的光图案投影到反光面上的光源。图像配准单元还可以被配置成记录表示第二轮廓分明的光图案的图像数据；并且还基于表示第二轮廓分明的光图案的图像数据计算对虚拟现实环境的影响。例如，输入单元可以包括被配置成，作为输入单元如何定位和/或朝向的响应产生控制命令的指向设备。所生成的控制命令指定了虚拟现实环境中的对象的各种操作方式。换句话说，输入单元可以执行VR环境中的枪，通过枪可以瞄准目标并且进行射击。所提出的与输入装置相关联的第二轮廓分明的光图案使得其可以以极低的边际成本非常准确地模拟复杂的交互形式。
根据本发明的这个方面的又一实施例，光源被配置成发射红外光谱中的光线。因此，所投影的光图案可以是人肉眼不可见的。
根据本发明的这个方面的又一实施例，光源可以被配置成发射连续光。这是有利的，因为通过这种方式图像配准单元不需要与光源同步，并且因此该设计具有成本效率和鲁棒性。
根据本发明的另一方面，通过最初描述的方法实现了上述目的，其中，假定头戴式结构包括第一光源，并且数据处理单元与图像配准单元相连。该方法还涉及：通过第一光源将第一轮廓分明的光图案投影到反光面；通过图像配准单元记录表示第一轮廓分明的光图案的图像数据；以及基于该图像数据计算图形数据。该图形数据表示用户从虚拟现实环境中的特定位置处沿着特定方向所看到的视场。根据参考所提到的装置的上述讨论，本方法及其优选实施实施例的优点是显而易见的。
根据本发明的又一方面，通过计算机程序产品实现该目的，该程序产品可加载至计算机的存储器，并且包括当其运行于计算机上时用于实现上面所提出的方法的软件。
根据本发明的另一方面，通过计算机可读介质实现该目的，在该计算机可读介质上记录有程序，其中，当该程序被加载到计算机上时该程序用于控制计算机执行上面所提到的方法。
根据如下描述和所附权利要求，本发明的其他优点、有益特点和应用是显而易见的。
附图说明
现在参考附图，借助于作为示例进行公开的优选实施例更严密地描述本发明。
图1示出了根据本发明的一个实施例，用户通过第一输入装置和头戴式计算机图形显示结构与VR环境进行交互；
图2示出了根据本发明的一个实施例，如何生成显示给用户的视场；
图3示出了根据本发明的一个实施例，要投影到反光面上的轮廓分明的图案的示例；
图4示出了根据本发明的一个实施例，图3中的轮廓分明的图案的图像可以如何出现；
图5示出了根据本发明的一个实施例，用户通过第二输入装置和头戴式计算机图形显示结构与VR环境进行交互；以及
图6通过流程图示出了根据本发明的通用方法。
具体实施方式
图1示出了用户U通过所提出的计算机图形显示***与由数据处理单元110实现的VR环境进行交互。在此，用户U使用第一输入装置140和头戴式结构120来与VR环境进行交互。然而，如下面参考图5所要讨论的，还可以将一个或多个第二输入装置连接至数据处理单元110以用于生成影响VR环境的控制命令Ctrl。
头戴式结构120携带有显示屏123，该显示屏123布置成使得：当用户U佩戴了头戴式结构120时，用户U可观察到显示屏123上所显示的图像数据Dimg。头戴式结构120通信地(例如，通过无线链接)与数据处理单元110连接，并且被配置成通过该连接接收来自数据处理单元110的图形数据Dgr。
数据处理单元110被配置成生成图形数据Dgr以显示给用户U，其中，如图2所示，图形数据Dgr表示用户U在VR环境中从特定位置P以及在特定方向D上所看到的视场FoV。位置P在VR环境中由坐标Xp、YP和Zp表示。因此，在VR环境中，方向D分别由相对于三个轴X、Y和Z的三个角度(未示出)表示。
根据本发明，显示给用户U的图形数据Dgr取决于位置P和方向D。反过来，参数P和D特别地取决于用户U其头部(或更准确地，头戴式结构120)的位置和朝向。然而，参数P和D还可以取决于通过第一输入装置140生成并且馈送至数据处理单元110的控制命令Ctrl。换句话说，用户U所在的房间的物理坐标和方向通常不能转化成(或映射成)VR环境中的坐标P和方向D。实际上，用户U可以在输入命令Ctrl时保持他/她的头部完全静止，这会使得参数P和D中的一个或两个参数差别很大(例如，在某一方向上快速移动和/或绕着一个轴旋转整个VR环境)。
在任何情况下，头戴式结构120的所有物理移动会使得参数P和D中的一个或两个参数发生变化。为了配准这些移动，头戴式结构120包括第一光源125，该第一光源125被配置成将第一轮廓分明的光图案LP1投影到反光面130上，例如用户U所在的房间的天花板。
此外，数据处理单元110与图像配准单元115连接，图像配准单元115被配置成记录表示第一轮廓分明的光图案LP1的图像数据Dimg。数据处理单元110还被配置成基于图像数据Dimg计算图形数据Dgr。现在将参考图3和图4来对如何执行该计算进行说明。
图3示出了要投影到反光面130上的第一轮廓分明的图案LP1的示例。图3表示在一个平面上完全垂直投影出现的图案LP1。优选地，图案LP1包括如图3所示的以非重复方式布置的多个元素。如果图案LP1的元素使得其任何形变都易于被检测和量化，则这也是有利的。然而，应该记住的是，任何非重复图案基本上都可以用作图案LP1。因此，图3中的图案仅仅是本发明的一个实施例的非限制性示例。
图4示出了当通过图像配准单元115进行配准时，图3中的图案LP1可以如何出现在图像数据Dimg中。在此，图像数据Dimg仅包括图案LP1的子选项。通常，这是以下事实的结果：用户U相对于图像配准单元115的位置和视场RV的位置使得图像配准单元仅能配准图案LP1的一部分。图像数据Dimg中所包含的图案LP1的特定子选项是与参数P相关的位置指示符。优选地，如果头戴式结构120没有校准到与图像配准单元115一致，则数据处理单元110被配置成基于图像数据Dimg中所包含的图案LP1的特定子选项来获得VR环境中的绝对位置P。此外，在没有校准的情况下，图案LP1中的元素的尺寸加上关于用户身高以及距天花板的典型高度的默认假设提供了针对VR环境中的位置坐标P的悬高测量的初始值ZP。
在图3所示的示例中，由图像配准单元115所配准的图像数据Dimg还对应于图案LP1的形变。在此，形变的类型和量级指示头戴式结构120相对于反光表面130和图像配准单元115的朝向。另外，如果没有执行校准，则数据处理单元110优选地被配置成基于图案LP1的形变的类型和量级来获得VR环境中的绝对方向D。自然地，如上面所提到的，房间中的用户U的物理位置与VR环境中的参数P和D之间通常没有具体的对应关系。因此，对于参数P和D的初始假设仅构造了用于显示表示VR环境中的视场的图形数据Dgr的起始点。基于这个初始点，然后用户U可以通过经由第一输入装置140输入所期望的控制命令Ctrl的来改变参数P和/或D。实际上，这可以涉及在键盘上输入命令，和/或操作动作按钮、滚轮、鼠标、触摸板、操纵杆和/或操纵球。因此，控制命令Ctrl可以指定：在VR环境中的至少一个维度X、Y和/或Z上移动将视场FoV显示给用户U的位置P；围绕VR环境中的至少一个轴旋转将视场FoV显示给用户U的方向D；和/或操作VR环境中的至少一个对象。
根据本发明的一个优选实施例，第一光源125被配置成发射红外光谱中的光线。这是有利的，因为通过这种方式，人类观察者不需要因该光线而转移注意力(该光线对于他/她是不可见的)。同样地，这也是相对简单的，使图像配准单元115适应于这样的光并使得配准单元115对来自其他光源的干扰相对不敏感。
然而，一种用于减少来自外部光线的不期望的影响的常用策略是以周期的方式发射光线(例如，根据给定图案进行接通与关闭之间的切换)。因此，可以将光源是被动的时记录的环境光从光源是主动的时配准的图像数据中除去。然而，根据本发明的一个优选实施例，第一光源125也可以被配置成发射连续光。这是有利的，因为这是一个非常简单并且低成本的设计，而图像配准单元115不需要与第一光源125同步。
反过来，这还便利于计算图形数据Dgr。根据本发明的一个优选实施例，数据处理单元110被配置成基于由图像配准单元115在单一时刻所记录的图像数据Dimg来实时地计算图形数据Dgr。实时包括基于在多个时刻所记录的图像数据Dimg来计算图形数据Dgr。这允许***外推图形数据Dgr，以考虑与以下方面的任何延迟：测量图像数据Dimg的轮廓分明的图案、确定轮廓分明的图案的位置以及生成图形数据Dgr。优选地，***可以使用大约3个图像数据Dimg的实例来将大约50ms的图形数据外推到未来，而本领域的技术人员可以容易地理解其他配置。相对于现有技术的解决方案(这取决于相对测量)，这是可行的，这是由于这里的每组图像数据Dimg(例如，数据帧)照这样提供了用户头部(或更准确地，头戴式结构120)的位置和方向的绝对测量。
图5示出了根据本发明的一个实施例，用户U通过第二输入装置520和头戴式结构120与VR环境进行交互，其中，第二输入装置520和头戴式结构120通信地连接至数据处理单元110。优选地，将第二输入装置520和头戴式结构120通过各自的无线通信资源链接至数据处理单元110。
第二输入单元520包括第二光源525，第二光源525被配置成将第二轮廓分明的光图案LP2投影到反光面130上。对于至少一个参数(例如，颜色或形状)，第二轮廓分明的光图案LP2不同于第一轮廓分明的光图案LP1，然而，在其他方面具有相同的通用特征。图像配准单元115还被配置成记录表示第二轮廓分明的光图案LP2的图像数据Dimg，并且基于此图像数据Dimg，数据理单元110被配置成计算影响VR环境的至少一个参数。例如，类似于关于头戴式结构120的上述讨论，对于数据处理单元110简单的是计算第二输入单元520的位置和方向。因此，如果例如第二输入单元520是代表VR环境中的枪或类似武器的手持式指向设备，则数据处理单元可以确定枪的瞄准点。此外，如果用户U生成了用于指定激活枪的控制命令Ctrl，则数据处理单元110可以计算是否击中VR环境中的给定实体。
与现有技术解决方案相比，本发明的一个重要优点是：(与显示给用户U的视场FoV相关联的)头戴式结构120和第二输入单元520基于完全相同的参考***(即，反光面130上分别代表光图案LP1和LP2的图像数据Dimg)与VR环境交互。这意味着不存在用户U所看到的事物与第二输入单元520所瞄准的事物之间存在偏差的风险。如上面所提及的，不需要对VR环境进行校准。这意味着，例如如果到数据处理单元110的连接(多个连接)被暂时中断，则一旦重新建立连接，则头戴式结构120和第二输入单元520会自动地再次彼此协调。
同样值得一提的是，在极其低的边际成本下，可以将任意数量的第二输入单元520添加至***。例如，可以包括代表盾牌、剑和其他武器的第二输入单元520。这又使得其能够以非常高的真实性模拟与VR环境的形式复杂的交互。
优选地，数据处理单元110包括存储单元112或者通信地与存储单元112连接，存储单元112用于存储计算机程序产品PP，计算机程序产品PP包括当其在数据处理单元110上运行时用于控制数据处理单元110执行上述动作的软件。
现在我们将参考图6对根据本发明用于显示计算机图形的通用方法进行描述。
在第一步骤610中，用户U所佩戴的头戴式结构120中的光源将第一轮廓分明的光图案LP1投影到反光面130(例如房间的天花板)上。并行于步骤610，步骤620通过与数据处理单元110相关联的图像配准单元115记录表示第一轮廓分明的光图案LP1的图像数据Dimg。
然后，步骤630计算表示用户U在VR环境中从特定位置P处以及在特定方向D上所看到的视场FoV的图形数据Dgr。更具体地，基于第一轮廓分明的光图案LP1的知识、与所配准的图像数据Dimg的对比，以及图像数据Dimg所表示的第一轮廓分明的图案LP1的子选项和形变，来确定图形数据Dgr。
此后，步骤640将图形数据Dgr转移至头戴式结构120，并且下一步骤650将图像数据Dimg显示到头戴式结构120的显示屏123上。
接着，过程循环回到步骤610和620。
对反光面或类似物的任何引用是指能够反射或分散任何数量光线的任何表面。例如，该表面可以以镜子的方式进行镜面发射，或者可以以天花板的方式进行散射。本发明的目的是，充分地通过通常在家庭或办公环境中所找到的大多数表面上的反射来发挥作用。在某些实施例中，本发明还可以通过具有逆反射效果的反光面来发挥作用。
本发明提供用于确定上面所描述的设备或光源的方向、位置和/或身份的所有必要部件。所述方向、位置和/或身份信息用于改变图形数据Dgr。例如，轮廓分明的光图案LP1或LP2的特征可以用于确定设备的方向、位置或身份。具有某些多种元素的轮廓分明的光图案可以识别连接至数据处理单元110的特定设备。多种元素的布置和朝向可以使得数据处理单元110能够确定设备或光源的位置或方向。
需要理解的是，本发明可能只需要轮廓分明的光图案(如LP1或LP2)的一部分来发挥作用。图像数据Dimg可以仅包括轮廓分明的光图案的一部分，并且基于光图案的配置及其非重复的结构，数据处理单元110可以充分地确定图形数据Dgr。
参照图6所描述的所有的过程步骤、和这些步骤的任何子步骤都可以借助于编程计算机装置进行控制。此外，尽管上面参照附图所描述的本发明的实施例包括计算机装置和在计算机装置中执行的过程，但是本发明还延伸到计算机程序，尤其是适合于将本发明付诸实践的载体中或载体上的计算机程序。程序可以是下列任何形式：源代码、目标代码、代码中间源，以及采取部分编译形式、或采取适合于根据本发明的过程的实现中使用的任何其他形式的目标代码。程序可以是操作***的一部分或者是独立的应用程序。载体可以是任何能够携带程序的实体或设备。例如，载体可以包括存储介质，例如，闪存、ROM(只读存储器，如DVD(数字视频/通用磁盘)、CD(光盘)或半导体ROM)、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)或磁记录介质(如，软盘或硬盘)。此外，载体可以是可传输载体如可以通过电缆或光缆或者通过无线电或其他方式传输的电信号或光信号。当以通过缆线或其他设备或装置直接传输的信号来体现程序时，载体可以由这样的缆线或设备或者装置构成。另外，载体可以是其中嵌入有程序的集成电路，该集成电路适合于执行相关过程或者用于执行相关过程。
本说明书所使用的术语“包括(comprises)/包括(comprising)”用于指定存在提及的特征、整体、步骤或者组件。然而，该术语也不排除存在或附加有一个或多个其他特征、整体、步骤或组件或其组合。
本发明不限于附图中所描述的实施例，而可以在权利要求的范围内自由变化。

Claims (18)

1.一种计算机图形显示***，包括：
数据处理单元(110)，其被配置成生成显示给用户(U)的图形数据(Dgr)；以及
携带有显示屏(123)的头戴式结构(120)，所述显示屏(123)被布置成使得：当所述用户(U)佩戴所述头戴式结构(120)时，所述用户(U)可观察到所述显示屏(123)上所显示的图像数据(Dimg)，所述头戴式结构(120)通信地与所述数据处理单元(110)连接并且被配置成接收来自所述数据处理单元(110)的所述图形数据(Dgr)以便将所述图形数据(Dgr)显示在所述显示屏(123)上，所述图形数据(Dgr)反映了所述数据处理单元(110)所实现的虚拟现实环境；
其特征在于，
所述头戴式结构(120)包括第一光源(115)，其被配置成将第一轮廓分明的光图案(LP1)投影到反光面(130)上；以及
所述数据处理单元(110)与图像配准单元(115)相关联，所述图像配准单元(115)被配置成记录表示所述第一轮廓分明的光图案(LP1)的图像数据(Dimg)，并且所述数据处理单元(110)被布置成基于所述图像数据(Dimg)计算所述图形数据(Dgr)，所述图形数据(Dgr)表示所述用户(U)在所述虚拟现实环境中从特定位置(P)处以及在特定方向(D)上所看到的视场(FoV)。
2.根据权利要求1所述的计算机图形显示***，其中，所述数据处理单元(110)被配置成基于由所述图像配准单元(115)在单个时刻所记录的图像数据(Dimg)来实时地计算所述图形数据(Dgr)。
3.根据前述权利要求中的任一项所述的计算机图形显示***，包括至少一个输入单元(140、520)，所述至少一个输入单元(140、520)被配置成由所述用户(U)进行操作，并且响应于所述操作生成用于影响所述数据处理单元(110)所实现的所述虚拟现实环境的控制命令(Ctrl)。
4.根据权利要求3所述的计算机图形显示***，其中，
所述至少一个输入单元中的至少一个第一输入单元(140)由下列各项中的至少一项代表：键盘、动作按钮、滚轮、鼠标、触摸板、操纵杆、以及操纵球，并且
所述控制命令(Ctrl)指定下列各项中的至少一项：在所述虚拟现实环境中的至少一个维度(X，Y，Z)上移动将所述视场(FoV)显示给所述用户(U)的所述特定位置(P)；围绕所述虚拟现实环境中至少一个轴旋转将所述视场(FoV)显示给所述用户(U)的所述特定方向(D)；以及操作所述虚拟现实环境中的至少一个对象。
5.根据前述权利要求中的任一项所述的计算机图形显示***，其中，所述至少一个输入单元中的至少一个第二输入单元(520)包括第二光源(525)，所述第二光源(525)被配置成将第二轮廓分明的光图案(LP2)投影到反光面(130)上，所述图像配准单元(115)被配置成记录表示所述第二轮廓分明的光图案(LP2)的图像数据(Dimg)，并且所述数据处理单元(110)被布置成还基于表示所述第二轮廓分明的光图案(LP2)的所述图像数据(Dimg)来计算对所述虚拟现实环境的影响。
6.根据权利要求5所述的计算机图形显示***，其中，
所述至少一个第二输入单元(520)包括指向设备，其被配置成响应于对所述输入单元(520)的定位和/或定向而生成所述控制命令(Ctrl)；以及
所述控制命令(Ctrl)指定所述虚拟现实环境中的至少一个对象的操作。
7.根据前述权利要求中的任一项所述的计算机图形显示***，其中，所述第一光源(125)被配置成发射红外光谱中的光。
8.根据前述权利要求中的任一项所述的计算机图形显示***，其中，所述第一光源(125)被配置成发射连续光。
9.一种用于将计算机图形显示给用户(U)的方法，所述方法包括：
在数据处理单元(110)中生成图形数据(Dgr)，所述图形数据(Dgr)反映了所述数据处理单元(110)所实现的虚拟现实环境；
将所述图形数据(Dgr)从所述数据处理单元(110)转移至携带有显示屏(123)的头戴式结构(120)；以及
在所述用户(U)佩戴所述头戴式结构(120)时，将所述图像数据(Dimg)显示在所述头戴式结构(120)的所述显示屏(123)上；
其特征在于，所述头戴式结构(120)包括第一光源(125)，所述数据处理单元(110)与图像配准单元(115)相关联，并且所述方法包括：
通过所述第一光源(125)将第一轮廓分明的光图案(LP1)投影到反光面(130)上；
通过所述图像配准单元(115)记录表示所述第一轮廓分明的光图案(LP1)的图像数据(Dimg)；以及
基于所述图像数据(Dimg)计算所述图形数据(Dgr)，所述图形数据(Dgr)表示用户(U)在所述虚拟现实环境中从特定位置(P)处以及在特定方向(D)上所看到的视场(FoV)。
10.根据权利要求9所述的方法，其中，所述图形数据(Dgr)是基于所述图像配准单元(115)在单个时刻所记录的图像数据(Dimg)实时地计算出的。
11.根据权利要求9或10所述的方法，其中，所述数据处理单元(110)通信地与至少一个输入单元(140，520)相连，并且所述方法包括：响应于所述至少一个输入单元(140，520)的用户操作，生成用于影响所述数据处理单元(110)所实现的所述虚拟现实环境的控制命令(Ctrl)。
12.根据权利要求11所述的方法，其中，所述至少一个输入单元中的至少一个第一输入单元(140)由下列各项中的至少一项代表：键盘、动作按钮、滚轮、鼠标、触摸板、操纵杆、和操纵球，并且所述控制命令(Ctrl)指定下列各项中的至少一项：在所述虚拟现实环境中的至少一个维度(X，Y，Z)上移动将所述视场(FoV)显示给所述用户(U)的所述特定位置(P)；围绕所述虚拟现实环境中至少一个轴旋转将所述视场(FoV)显示给所述用户(U)的所述特定方向(D)；以及操作所述虚拟现实环境中的至少一个对象。
13.根据权利要求9至12中任一项所述的方法，其中，所述至少一个输入单元中的至少一个第二输入单元(520)包括第二光源(525)，并且所述方法包括：
通过所述第二光源(525)将第二轮廓分明的光图案(LP2)投影到所述反光面(130)上，
将表示所述第二轮廓分明的光图案(LP2)的图像数据(Dimg)记录在所述图像配准单元(115)中，以及
还基于表示所述第二轮廓分明的光图案(LP2)的所述图像数据(Dimg)计算对所述虚拟现实环境的影响。
14.根据权利要求13所述的方法，其中，所述至少一个第二输入单元(520)包括指向设备，其被配置成响应于对所述输入单元(520)的定位和/或朝向而生成所述控制命令(Ctrl)，并且所述控制命令(Ctrl)指定对所述虚拟现实环境中的至少一个对象进行的操作。
15.根据权利要求9至14中任一项所述的方法，所述方法包括所述第一光源(125)发射红外光谱中的光。
16.根据权利要求9至15中任一项所述的方法，所述方法包括所述第一光源(125)连续地发射光。
17.一种可加载至计算机的存储器(125)中的计算机程序产品(PP)，包括：当所述计算机程序产品在所述计算机上运行时用于控制权利要求9至16中任一项所述的步骤的软件。
18.一种其上记录有程序的计算机可读介质(125)，其中，所述程序用于使得计算机控制权利要求9至16中任一项所述的步骤。
CN201480023808.XA 2013-04-26 2014-04-28 计算机图形显示***及方法 Pending CN105359061A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13165481.6 2013-04-26
EP20130165481 EP2797313A1 (en) 2013-04-26 2013-04-26 Computer graphics presentation system and method
PCT/EP2014/058555 WO2014174109A1 (en) 2013-04-26 2014-04-28 Computer graphics presentation system and method

Publications (1)

Publication Number Publication Date
CN105359061A true CN105359061A (zh) 2016-02-24

Family

ID=48325382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023808.XA Pending CN105359061A (zh) 2013-04-26 2014-04-28 计算机图形显示***及方法

Country Status (5)

Country Link
US (3) US9978179B2 (zh)
EP (1) EP2797313A1 (zh)
KR (1) KR20160005720A (zh)
CN (1) CN105359061A (zh)
WO (1) WO2014174109A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502417A (zh) * 2016-11-08 2017-03-15 北京暴风魔镜科技有限公司 移动虚拟现实设备适配电脑外设的方法、装置和***
CN106502323A (zh) * 2016-10-20 2017-03-15 精元电脑股份有限公司 能叠加虚拟键盘的显示装置
US9978179B2 (en) 2013-04-26 2018-05-22 John Elvesjö Computer graphics presentation systems and methods
CN113180593A (zh) * 2020-01-29 2021-07-30 西门子医疗有限公司 显示设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6581203B2 (ja) 2015-03-04 2019-09-25 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 仮想現実システムにおけるスパース投影
US9996149B1 (en) * 2016-02-22 2018-06-12 Immersacad Corporation Method for one-touch translational navigation of immersive, virtual reality environments
CN106547378A (zh) * 2016-12-07 2017-03-29 歌尔科技有限公司 一种用于vr设备的触控装置和虚拟现实***
CN116778120A (zh) 2016-12-13 2023-09-19 奇跃公司 增强现实显示***
CA3059209A1 (en) * 2017-04-27 2018-11-01 Magic Leap, Inc. Light-emitting user input device
EP4212222A1 (en) 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
US11454722B2 (en) * 2019-09-19 2022-09-27 Microsoft Technology Licensing, Llc IR-reflective structural support for virtual experiences
DE102020206392A1 (de) * 2020-05-20 2021-11-25 Gixel GmbH Brillen-Anzeige-System zum Anzeigen eines virtuellen Bildes in einem Sichtfeld eines Nutzers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294138A (ja) * 2003-03-26 2004-10-21 Hitachi Ltd 光線方向測定装置および測定方法
CN102176888A (zh) * 2008-08-25 2011-09-07 苏黎世大学数学和自然科学部 可调整的虚拟现实***
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657163A (en) * 1995-05-31 1997-08-12 Delco Electronics Corporation Fiber optic illumination of HUD image source
JP2005017203A (ja) 2003-06-27 2005-01-20 Matsushita Electric Ind Co Ltd 位置検出装置
JP2005275120A (ja) 2004-03-25 2005-10-06 Toshiba Corp スクリーン傾斜検出装置、スクリーン傾斜検出方法、及び投写型プロジェクタ装置
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
JP5084167B2 (ja) 2006-03-31 2012-11-28 キヤノン株式会社 位置姿勢計測方法及び装置
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
EP2797313A1 (en) 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294138A (ja) * 2003-03-26 2004-10-21 Hitachi Ltd 光線方向測定装置および測定方法
CN102176888A (zh) * 2008-08-25 2011-09-07 苏黎世大学数学和自然科学部 可调整的虚拟现实***
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9978179B2 (en) 2013-04-26 2018-05-22 John Elvesjö Computer graphics presentation systems and methods
US10134197B2 (en) 2013-04-26 2018-11-20 The Incredible Machine Of Sweden Ab Computer graphics presentation systems and methods
CN106502323A (zh) * 2016-10-20 2017-03-15 精元电脑股份有限公司 能叠加虚拟键盘的显示装置
CN106502417A (zh) * 2016-11-08 2017-03-15 北京暴风魔镜科技有限公司 移动虚拟现实设备适配电脑外设的方法、装置和***
CN113180593A (zh) * 2020-01-29 2021-07-30 西门子医疗有限公司 显示设备

Also Published As

Publication number Publication date
US20190057553A1 (en) 2019-02-21
EP2797313A1 (en) 2014-10-29
US20180232957A1 (en) 2018-08-16
US9978179B2 (en) 2018-05-22
US20140320531A1 (en) 2014-10-30
US10134197B2 (en) 2018-11-20
US10304255B2 (en) 2019-05-28
KR20160005720A (ko) 2016-01-15
WO2014174109A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
CN105359061A (zh) 计算机图形显示***及方法
CN110199325B (zh) 仿真***、处理方法以及信息存储介质
Hilfert et al. Low-cost virtual reality environment for engineering and construction
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
KR102181587B1 (ko) 가상 환경 제어 시스템
US20140160162A1 (en) Surface projection device for augmented reality
JP6558839B2 (ja) 媒介現実
JP2019516174A (ja) ヘッドマウントディスプレイ追跡
US11494528B2 (en) Tool bridge
CN105393284A (zh) 基于人类身体数据的空间雕刻
KR102561022B1 (ko) 가상 및 증강 현실 환경에서의 제어기 시각화
US11209903B2 (en) Rendering of mediated reality content
JP6979469B2 (ja) 媒介現実コンテンツのレンダリング
US20210081051A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
WO2017139695A1 (en) Multiuser telepresence interaction
WO2017122270A1 (ja) 画像表示装置
Broll Augmented reality
US11194439B2 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US10559131B2 (en) Mediated reality
JP6918189B2 (ja) シミュレーションシステム及びプログラム
Lanier et al. The RealityMashers: Augmented Reality Wide Field-of-View Optical See-Through Head Mounted Displays
US20230191259A1 (en) System and Method for Using Room-Scale Virtual Sets to Design Video Games
KR102212508B1 (ko) 가상 환경 제어 시스템
US10650595B2 (en) Mediated reality
JP2024096657A (ja) 仮想現実制御システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160714

Address after: Swedish tibbers

Applicant after: Seth Tibbott INCALCU Machinery Co. Ltd.

Address before: Stockholm

Applicant before: J Ai Erweishe

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160224

WD01 Invention patent application deemed withdrawn after publication