CN102047199A - 交互式虚拟现实图像生成*** - Google Patents

交互式虚拟现实图像生成*** Download PDF

Info

Publication number
CN102047199A
CN102047199A CN200980119203XA CN200980119203A CN102047199A CN 102047199 A CN102047199 A CN 102047199A CN 200980119203X A CN200980119203X A CN 200980119203XA CN 200980119203 A CN200980119203 A CN 200980119203A CN 102047199 A CN102047199 A CN 102047199A
Authority
CN
China
Prior art keywords
image
executor
observer
attitude
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980119203XA
Other languages
English (en)
Inventor
J·F·G·M·舒勒曼
G·J·A·范登伯根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Proteins BV
Original Assignee
Virtual Proteins BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Proteins BV filed Critical Virtual Proteins BV
Publication of CN102047199A publication Critical patent/CN102047199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了图像生成***和方法，它们提供观察者其上重叠了包含虚拟物体的虚拟空间的物理工作空间的大体上实时的混合现实体验，并允许观察者通过在物理工作空间中进行的动作，操纵虚拟空间中的虚拟物体，以及实施所述方法的程序和存储实施所述方法的所述程序的存储介质。

Description

交互式虚拟现实图像生成***
技术领域
本发明涉及虚拟现实***及其操纵。具体地说，本发明涉及图像生成***和方法，它们向观察者提供物理工作空间的大体上实时的混合现实体验，在该物理工作空间上重叠了包含虚拟物体的虚拟空间，并允许观察者通过在物理工作空间中进行的动作来操纵虚拟物体，以及实施所述方法的程序和存储实施所述方法的程序的存储介质。
背景技术
已知混合现实***，其中，向观察者呈现包含虚拟物体的虚拟空间的场景，所述虚拟物体重叠在围绕着观察者的真实物理空间馈入上。
例如，US 2002/0075286 A1公开了这样的***，其中观察者佩戴着头戴式显示器(HMD)，在观察者的眼睛位置处和视线方向上投射出混合现实空间的立体视觉图像。使用复杂的***发射器-接收器传感器装备跟踪观察者头和手的运动。***于是要求进行所述***装备的大量安装和标定，这降低了其便携性和相对非专家用户使用的方便性。另外，***仅仅向观察者提供了与所感知虚拟物体的非常有限的互动(如果有的话)，并且不允许使用仪器来操纵虚拟现实。
因此，持续存在着设计不复杂的便携式混合现实***的紧迫需要，它们能够容易地置于标准的工作区域上，例如安装在桌面上，不需要包括HMD，不要求在操作前进行复杂的***装备安装和标定，能够由相对经验不多的观察者操纵，并且使观察者能够大量且直观地与混合现实工作空间中的虚拟物体互动并操纵它们。这样的***能够享有大量的应用程序，比如包括训练、教学和研究应用程序、表演、示范、娱乐和游戏。
发明内容
因此本发明的目的是提供图像生成***和方法，它们给予观察者其上重叠了包含虚拟物体的虚拟空间的物理工作空间的大体上实时的混合现实体验，并允许观察者通过在物理工作空间中进行的动作，大量且直观地与所述虚拟物体在虚拟空间中的互动并操纵它们，以及实施所述方法的程序和存储实施所述方法的所述程序的存储介质。
与所确立的术语一致，本图像生成***也可以适宜地表示为交互式图像生成***或单元、交互式虚拟现实***或单元或者交互式混合现实***或单元。
优选情况下，本交互式虚拟现实单元可以是小型的且易于用户操作。例如，为了准备所述***的操作所述用户可以将其放置在标准的工作区域比如桌子上，将所述***的若干图像拾取构件瞄准在所述工作区表面上或附近的工作空间，并且将所述***连接到计算机(可选地包括显示器)，以便接收混合现实空间的图像并以简单的方式操纵更多维的虚拟物体。
优选情况下，本***可以是便携式的并且可以具有与便携性协调的尺寸和重量。
同样在优选情况下，所述***可以具有一个或多个进一步的优点，比如：它可以具有不复杂的设计，可以容易地置于标准的工作区域，例如安装在桌面上，不需要包括HMD，不要求在使用前进行大量广泛的***装备安装和标定，以及/或者可以由受培训相对不多的观察者操作。
所以，本发明的一方面提供了允许观察者操纵虚拟物体的图像生成***，包括用于捕获物理工作空间的图像的图像拾取装置；用于产生包括所述虚拟物体的虚拟空间的图像的虚拟空间图像生成装置；用于通过合成由虚拟空间图像生成装置所产生的虚拟空间的图像和由图像拾取装置所输出的物理工作空间的图像，来产生复合图像的复合图像生成装置；用于显示由合成图像生成装置所产生的合成图像的显示装置；用于由观察者操纵虚拟物体的操纵器；以及用于确定所述操纵器在物理工作空间中的姿态的操纵器姿态判断装置，其特征在于，所述***被配置为将由所述操纵器姿态判断装置所确定的所述操纵器在物理工作空间中的姿态的变化变换为所述虚拟物体在虚拟空间中的姿态和/或状态的变化。
本图像生成***通常可以包括管理装置，用于管理关于物体在物理工作空间中的姿态和状态的信息以及管理关于虚拟物体在虚拟空间中的姿态和状态的信息。所述管理装置可以接收、计算、存储和更新关于该物体的姿态和状态的信息，并且可以将所述信息传播到所述***的其他组件，比如允许产生物理工作空间、虚拟空间的所述图像以及将其组合的复合图像。为了允许所述***的实时操作，所述管理装置可以被配置为以数据流的方式接收、处理和输出数据和信息。
另一方面提供了允许观察者操纵虚拟物体的图像生成方法，包括以下步骤：获得物理工作空间的图像，产生包括所述虚拟物体的虚拟空间的图像，通过合成虚拟空间的图像和物理工作空间的图像而产生复合图像，以及确定操纵器在物理工作空间中的姿态，其特征在于，将所述操纵器在物理工作空间中的姿态的变化变换为所述虚拟物体在虚拟空间中的姿态和/或状态的变化。使用本图像生成***有利地实现了所述方法。
进一步的方面提供了机器可执行指令(程序)和存储所述程序的计算机可读存储介质，其中所述程序被配置为在本发明的所述图像生成***上执行所述图像生成方法。
本文使用的术语“物理工作空间”是指物理世界中其图像被图像拾取装置所捕获的部分。物理工作空间的假想边界以及由此确定的范围取决于为图像拾取装置选定的视角。在某实施例中，由显示装置向观察者显示的物理世界部分可以与由图像拾取装置所捕获的物理工作空间相匹配(如可以具有大体上相同的角度范围)。在另一个实施例中，向观察者显示的图像可以被“修剪”，也就是说向观察者显示的物理世界部分可以小于由图像拾取装置所捕获的物理工作空间(如可以具有较小的角度范围)。
术语“姿态”一般是指某物体在给定空间中，比如在物理或虚拟空间中，移动和转动的自由度。物体在给定空间中的姿态可以按照该物体在所述空间中的位置和方向来表示。例如，在3维空间中物体的姿态可以指该物体的3个移动和3个转动的自由度。
物体比如虚拟物体的术语“状态”包含物体除了其姿态以外的若干属性，由观察者在视觉上或以其他方式(如触觉输入)可感知。通常，术语“状态”可以包含该物体的外观，比如其尺寸、形状、形式、纹理、透明度等，以及/或者其可感知为触觉刺激的特征，比如硬度、软度、粗糙度、重量等。
本文所意指的虚拟物体可以包括但不限于任何的二维(2D)图像或电影物体，以及三维(3D)或四维(4D即随时间变化的3D物体)图像或电影物体或者其组合。表示这样的虚拟物体的数据可以适宜地被存储在数据存储介质上并可从其加载或者存储在存储器中。
为了改进观察者的体验，图像拾取装置可以被配置为大体上在观察者的眼睛位置处和视线方向上捕获物理工作空间的图像。同样，虚拟空间图像生成装置也可以被配置为大体上在观察者的眼睛位置处和视线方向上产生虚拟空间的图像。这就增加了观察者所感知的物理世界与观察者所观察到的所述物理和虚拟工作空间的所述复合图像之间的一致性。例如，观察者能在复合图像中看到的操纵器和可能还有他的手，大体上处于他通过其他感官输入，比如本体感受的、触觉的和/或听觉的输入而感知到的位置。因而，使得位于所述复合图像中的所述虚拟物体的操纵对于观察者更直观和自然。
为了大体上在观察者的眼睛位置处捕获物理工作空间的图像，图像拾取装置可以有利地被配置为在使用所述***时(也就是在观察者将其视线指向显示装置时)密切接近观察者的眼睛。例如在使用所述***时，图像拾取装置与观察者眼睛之间的距离可以小于约50cm，优选情况下小于约40cm，在甚至更优选情况下小于约30cm，比如约20cm或更少，约15cm或更少，约10cm或更少或者约5cm或更少。
为了大体上在观察者的视线方向上捕获物理工作空间的图像，图像拾取装置可以有利地被配置为在使用***时(也就是在观察者将其视线指向显示装置时)使得图像拾取装置的光轴大体上平行于观察者的视线方向。例如在使用所述***时，图像拾取装置的光轴可以定义与观察者的视线方向的角度为小于约30°，优选情况下小于约20°，更优选情况下小于约15°，比如约10°或更小，约7°或更小，约5°或更小或者约3°或更小，或者再更优选情况下角度逼近或成为0°。具体而言，优选情况下在使用所述***时，图像拾取装置的光轴可以大体上对应于(覆盖)观察者的视线方向，从而向观察者提供高度现实的体验。
例如在使用该***时，图像拾取装置与观察者眼睛之间的距离可以是约30cm或更小，更优选情况下约25cm或更小，甚至更优选情况下约20cm或更小，比如优选情况下约15cm，约10cm或者约5cm或更少，而图像拾取装置的光轴与观察者的视线方向之间的角度可以是约20°或更小，优选情况下约15°或更小，更优选情况下约10°或更小，甚至更优选情况下约7°或更小，再优选情况下约5°或更小，比如优选情况下约4°。约3°、约2°、约1°或更小，或者甚至更优选情况下可以是0°或逼近0°，或者图像拾取装置的光轴可以大体上对应于观察者的视线方向。
所述***可以有利地包括定位装置，被配置为定位彼此相对的图像拾取装置和显示装置，以便当观察者将其视线指向显示装置时(也就是当他正在使用本***时)，图像拾取装置将大体上在观察者的眼睛位置处和视线方向上捕获物理工作空间的图像，如以上解释。所述定位装置可以允许对图像拾取装置和显示装置进行持久定位(如在被认为对于操作特定***最佳的位置上)或者进行可调整定位(如允许观察者改变图像拾取装置和/或显示装置的位置，从而调整其相对位置)。例如定位装置可以是包括和被配置为定位彼此相对的图像拾取装置和显示装置的外壳。
进一步优选情况下，图像拾取装置可以被配置为使得在操作所述***的会话(本文称为“操作会话”)期间物理工作空间的位置和范围大体上不变，也就是说，物理工作空间的假想边界大体上保持相同。换言之，在操作会话期间，图像拾取装置可以捕获物理世界大体上相同部分的图像。例如，***可以包括支持装置，被配置为支持和/或保持图像拾取装置在物理世界中的预先确定或预先调整的位置和方向，从而图像拾取装置能够在操作会话期间捕获大体上相同物理工作空间的图像。例如，所述支持装置可以置于标准的工作区域(如桌子、书桌、桌面、会议桌、长凳、柜台等)上，并且可以被配置为支持和/或保持图像拾取装置在所述工作区域之上，并且被定向以便捕获所述工作区域或其部分的图像。
因此在这种实施例中，由图像拾取装置捕获(并且由显示装置向观察者呈现)的物理工作空间在观察者移动其头部和/或眼睛时不会改变。例如，图像拾取装置不是头上安装的。所以在这个实施例中，所述***不要求***装备检测观察者的头部和/或眼睛的姿态和/或移动。所述***因此高度适于便携式快速的应用，不必首先安装和标定这样的往往是复杂的***装备。不仅如此，因为当观察者在移动其头部和/或眼睛时，虚拟空间不需要连续地调整以便与所感知的新物理工作空间一致，所以***只需要相当少的计算能力。这就允许***对由于观察者对其的操纵而导致的虚拟空间中的变化更迅速地做出反应，从而给予观察者与虚拟物体的实时互动体验。
同样，显示装置也可以被配置为不跟随观察者的头部和/或眼睛移动。例如，显示装置不是头上安装的。确切地说，在观察者移动其头部和/或眼睛(前方)，而由图像拾取装置捕获(以及由显示装置向观察者呈现)的物理工作空间不改变的情况下，当观察者实际上移动了其头部和/或眼睛，却向其显示未移动的物理工作空间，有可能会导致在观察者的视觉输入与来自他的其他感知比如本体感受的输入之间不舒适的矛盾。当显示装置不跟随观察者的头部和/或眼睛移动时这种矛盾就不会发生。在某实例中，显示装置可以被配置为在操作会话期间显示装置的位置和方向大体上不改变。例如，所述***可以包括支持装置，被配置为支持和/或保持显示装置在物理世界中的预先确定或预先调整的位置和方向。用于支持和/或保持显示装置的所述支持装置可以与支持和/或保持图像拾取装置的支持装置相同也可以不同。
因此在这个实施例中，当观察者使用所述***时，他望着显示装置以便将自己浸入由显示装置所显示的虚拟现实场景中，但是他能够简单地通过将其凝视(眼睛)转移离开显示装置而立即‘返回’到其物理环境。这种特性致使所述***高度适于要求在扩张的和正常实体之间进行频繁切换的应用等，或者适于要求在会话期间若干观察者频繁进行交换或轮换的应用(如示范、教育等)。
优选情况下，所述***可以提供物理工作空间和/或虚拟空间以及优选情况下上述两种空间的立体视觉场景(3D场景)。这样的立体视觉场景允许观察者感知到所观察到的场景的纵深、确保了更真实的体验从而帮助观察者通过在物理工作空间中的动作更准确地操纵虚拟空间。
用于捕获物理空间的立体视觉图像、产生虚拟空间的立体视觉图像、将所述图像进行组合以产生所述物理加虚拟空间(如混合现实空间)的复合立体视觉图像以及用于立体视觉图像显示的装置和过程本身已公知，并且在此可以应用于本***的各自组件(见Judge，“Stereoscopic Photography”，Ghose Press 2008，ISBN：1443731366；Girling，“Stereoscopic Drawing：A Theory of 3-D Vision and its application to Stereoscopic Drawing”，1st ed.，Reel Three-D Enterprises 1990，ISBN：0951602892等文献)。
如上所述，本***包括一个或多个操纵器，从而观察者通过在物理工作空间中控制操纵器(如改变操纵器的姿态)能够与虚拟空间中的物体互动。
在某实施例中，所述***可以允许观察者将操纵器与给定虚拟物体或虚拟物体组可逆地相关联。因此，所述***被告知，操纵器在物理工作空间中的姿态的变化应当导致如此相关联的虚拟物体的姿态和/或状态的变化。虚拟物体与操纵器可逆地相关联的可能性允许观察者更准确地操纵虚拟空间。例如通过使操纵器靠近或接触混合现实场景中的虚拟物体并发送命令(如按压按钮)启动关联性，可以实现所述关联性。
在某实施例中，操纵器在物理工作空间中的姿态变化可以导致虚拟物体在虚拟空间中的姿态的定性的、更优选情况下也是定量的一致变化。这就确保了所述虚拟物体的操纵保持为对观察者是直观的。例如，至少虚拟物体的姿态变化的方向(如平移和/或旋转)可以与操纵器的姿态变化一致。优选情况下，虚拟物体的姿态变化的范围(程度)(如所述平移和/或旋转的程度)也可以与操纵器的姿态变化一致。作为替代，虚拟物体的姿态变化的范围(程度)(如所述平移和/或旋转的程度)可以通过给定因子相对于操纵器的变化按比例增加或减少。
优选情况下，操纵器可以是手持的或以其他方式与手相连。这就允许观察者在他的手正在持有或以其他方式连接到操纵器时，使用他的手来改变操纵器在物理工作空间中的姿态，从而导致虚拟物体在虚拟空间中的姿态和/或状态的改变。观察者的手在物理世界中的移动因此影响和控制着虚拟空间中的虚拟物体，从而观察者体验了与虚拟世界的互动。
同样在优选情况下，观察者能够看到操纵器以及，到这种程度观察者的手也进入了物理工作空间，他的手在由图像拾取装置所输出的物理工作空间的图像中。观察者因此收到了关于操纵器以及有可能时他的手在物理工作空间中的姿态的视觉信息。这样的视觉信息允许观察者更直观和准确地控制操纵器。
可选地和优选情况下，在虚拟空间的图像中可以产生虚拟光标(如通过虚拟空间图像生成装置)，使得虚拟光标变为重叠在由图像拾取装置输出的物理工作空间中操纵器的图像之上。虚拟光标在虚拟空间中的姿态优选情况下对应于操纵器在物理工作空间中的姿态，从而对虚拟光标的感知为该操作员提供了关于操纵器在物理工作空间中姿态的适当视觉信息。虚拟光标可以重叠在整个操纵器之上也可以重叠在其部分之上。
所述***可以包括一个操纵器也可以包括两个或更多个(比如3个、4个、5个或更多个)操纵器。典型情况下，操纵器可以被配置为由观察者的任一只手使用，但是能够想象操纵器被配置为由观察者的特定的手(如左手或右手)使用(如专用或偏爱使用)的。另外，在所述***中包括不只一个操纵器时，所述***可以被配置为允许任何两个或多个所述操纵器同时地或分开地操纵虚拟空间。所述***也可以被配置为允许任何两个或多个操纵器操纵相同的或不同的虚拟物体或物体集。因此，观察者可以选择使用任一只手或双手与虚拟空间互动，并且可以由所述任一只手或双手控制一个或多个操纵器。例如，观察者可以保留某只手控制特定的操纵器或特定组的操纵器，或者作为替代可以使用任一只手或双手控制所述操纵器或操纵器的子组。
操纵器在物理工作空间中的姿态由操纵器姿态判断装置评定，为此目的它可以采用各种装置和过程。以下是用于判断操纵器姿态所提出的几种发明措施。
在优选实施例中，操纵器姿态判断装置被配置为完全地或部分地根据图像拾取装置输出的物理工作空间图像判断操纵器在物理工作空间中的姿态。因此在本实施例中，操纵器在物理工作空间中的姿态完全地或部分地根据图像拾取装置输出的物理工作空间的图像确定。
这就有利地避免或减少了判断操纵器的姿态时对常规***装备的需要。因为***装备照例涉及与操纵器通信的放射(如电磁或超声波)发射机-接收机设备，所以避免或减少这样的***装备就减少了所述***及其操纵器(电子)设计的复杂性和能量要求。还避免或降低了对首次安装和标定这样的往往是复杂的***装备的要求，从而本***也高度适于便携式的快速的应用。另外，操纵器的姿态能够使用需要计算能力较少的快速图像分析算法和软件完全地或部分地确定，更加快速，所以为观察者提供了操纵虚拟物体更真实的实时体验。
为了允许在图像拾取装置输出的图像中识别出操纵器及其姿态，操纵器可以包括识别构件。该识别构件在图像中可以具有图像识别算法可识别的外观。另外，该识别构件可以被配置为在图像拾取装置捕获的图像中其外观(如尺寸和/或形状)是其相对于图像拾取装置的姿态的函数(并且因此通过适当的变换是其在物理工作空间中的姿态的函数)。因此，当所述函数已知(如能够理论预测或已经经验地确定)时，相对于图像拾取装置，所述识别构件的(以及包含同一构件的操纵器的)所述姿态能够根据图像拾取装置捕获的图像中所述识别构件的所述外观获得。相对于图像拾取装置的姿态然后能够容易地变换到物理工作空间中的姿态。识别构件可以包括一个或多个适宜的图形元素，比如一个或多个独特的图形标记或图案。具有所需功能的任何图像识别算法或软件都适于本文的用途；在PJ Besl and ND McKay，“A method for registration of 3-d shapes”，IEEE Trans.Pattern Anal.Mach.Intell.14(2)：239-256，1992等文献中讨论了若干示范算法。
在另一个实施例中，操纵器可以包括加速度计，被配置为通过测量由重力和/或由观察者产生的操纵器的移动而施加其上的加速度而测量操纵器在物理工作空间中的姿态。所以，在这个实施例中，操纵器在物理工作空间中的姿态至少部分地通过测量由重力和/或由观察者产生的操纵器的移动而施加在操纵器上的加速度来确定。加速度计的使用避免或减少了对***装备的需要，带来了近乎以上讨论的优点。
所述加速度计可以是任何常规的加速度计，并且优选情况下可以是3轴加速度计，即被配置为沿着全部三个坐标轴测量加速度。当操纵器处于静止时，所述加速度计的读数为沿着所述三个轴的重力。优选情况下，加速度计能够快速地确定操纵器相对于水平面的倾斜(歪斜、倾向)。因此，加速度计对于测量操纵器的滚动和倾斜可能尤为有用。
在又一个实施例中，操纵器可以(直接地或间接地)连接到n自由度的铰接设备。所述设备自由度的数目取决于期望的操纵范围。优选情况下，所述设备可以是6自由度的铰接设备以允许三维工作空间中大体上无限制的操纵。例如，6个自由度的设备可以是触觉设备。操纵器相对于所述铰接设备参考坐标系(如相对于这样的设备的基础)的姿态是容易得到的，并且能够适宜地被转换为物理工作空间中的姿态。因此，这个实施例允许甚至更快速地确定操纵器的姿态，从而为观察者提供操纵虚拟物体的真实实时体验。
本说明书设想的***使用任何一个以上所介绍的发明装置独自确定操纵器的姿态，或者组合任何两个或多个以上所介绍的发明装置来确定操纵器的姿态。优选情况下，组合所述装置可以提高所述姿态判断的准确度和/或速度。例如，所述不同的装置可以组合以产生冗余或补充的姿态信息。
例如，使用操纵器识别构件的图像识别的姿态判断对于假象敏感。根据所述识别构件的2D图像，所述透视图的微小变形都可能导致不正确的方向(位置估计对于这样的假象不太敏感)。例如，变形可能由于缺乏反差(不良照明条件)或由于图元光栅化而发生。给定了识别构件的2D图像，所述图像识别和姿态估计算法就可以返回许多可能的姿态。这个输入然后可以与来自加速度计的输入进行组合，以便根据由所述加速度计所确定的操纵器的倾角而排除不可能的姿态。
不仅如此，本说明书还预见了与其他常规的姿态判断装置比如与适宜的***装备结合地使用任何一个、两个或多个以上所介绍的发明装置确定操纵器的姿态。本说明书还设想了单独使用这样的常规装置。
所以，本发明还涉及本文所述的操纵器，尤其是其中操纵器包括以上教导的识别构件和/或以上教导的加速度计，以及/或者连接到以上教导的n自由度的铰接设备。
本***、方法和程序能够适应网络应用以容纳不只一位观察者。例如，观察者的每一位都可以收到混合现实空间的场景，包括他或她自己的物理工作空间作为背景，并且进一步包括与其余观察者共享的(即可见的)一个或多个虚拟物体。
优选情况下，由任何一位观察者在其自己工作空间内对共享虚拟物体的操纵都能够导致物体改变其在一位或多位或全部所述其余联网观察者的混合现实场景中的姿态和/或状态。优选情况下，观察者也可以在视觉上感知彼此的操纵器(或者虚拟操纵器光标)，并且操纵器(光标)可以被配置为(如标注为)唯一地标识控制它们的各自观察者。
所以，实施例提供了允许两位或多位观察者操纵虚拟物体的图像生成***，包括用于每位观察者捕获各自的观察者的物理工作空间的图像的图像拾取装置；用于产生包括虚拟物体的虚拟空间的图像的虚拟空间图像生成装置；用于通过对各自的观察者合成由虚拟空间图像生成装置所产生的虚拟空间的图像和由图像拾取装置所输出的物理工作空间的图像而为每位观察者产生复合图像的复合图像生成装置；用于向各自的观察者显示由合成图像生成装置所产生的合成图像的每位观察者的显示装置；用于由各自的观察者操纵虚拟物体的每位观察者的操纵器；以及用于确定操纵器在各自的观察者的物理工作空间中的姿态的操纵器姿态判断装置，其特征在于，所述***被配置为将由任何一位观察者的操纵器姿态判断装置所确定的操纵器在该观察者的物理工作空间中的姿态的变化，变换为虚拟物体在虚拟空间中的姿态和/或状态的变化。本发明的方法和程序能够容易地适应这样的***。
尽管本***在由图像拾取装置捕获并向观察者显示的物理工作空间对应于观察者执行其动作的实际工作区域(也就是说，图像拾取装置以及因此所捕获的物理工作空间往往靠近或接近观察者)的情况下尤为有用，但是也设想了由图像拾取装置捕获并向观察者进行显示的物理工作空间远离观察者(如在另一个房间、位置、国家、地球坐标或甚至在另一个天体上，比如在月球上)的情况。例如，在这个上下文中“远离”可以意味着5米或更多米(如≥10米，≥50米，≥100米，≥500米或更多)。观察者通过操纵其实际工作区域中的操纵器能够因此改变所述远程物理工作空间的背景上虚拟物体的姿态和/或状态。再现操纵器姿态的虚拟光标可以投射在混合现实空间中以帮助观察者的操纵。
所以，实施例提供了允许观察者操纵虚拟物体的图像生成***，包括用于捕获物理工作空间的图像的远程图像拾取装置；用于产生包括虚拟物体的虚拟空间的图像的虚拟空间图像生成装置；用于通过合成由虚拟空间图像生成装置所产生的虚拟空间的图像和由图像拾取装置输出的物理工作空间的图像产生复合图像的复合图像生成装置；用于显示由合成图像生成装置产生的合成图像的显示装置；用于由观察者操纵虚拟物体的操纵器；以及用于确定所述操纵器在最接近观察者的工作区域中的姿态的操纵器姿态判断装置，其特征在于，所述***被配置为将由所述操纵器姿态判断装置所确定的操纵器在所述最接近工作区域中的姿态的变化，变换为虚拟物体在虚拟空间中的姿态和/或状态的变化。本发明的方法和程序能够容易地适应这样的***。
本图像生成***、方法和程序可应用于各种各样的领域，尤其在可以有利于物体虚拟表示的可视化、操纵和分析之处(优选情况下3D或4D中的物体)。例如，在任何这样的领域中，所述***、方法和程序都可以用于实际的实践、研究和/或开发，或者出于培训、示范、教育、展览(如博物馆)、仿真等目的。可以应用本***、方法和程序的领域的非限制实例还包括以下各项：
-一般来说，物体虚拟表示的可视化、操纵和分析；虽然任何物体都可以由本***、方法和程序可视化、操纵和分析，但是尤为适合的可能不(容易地)适于在真实环境中对其进行分析的物体，如由于其尺寸、不可获得性、无法到达性等；例如，物体可能太小或太大而无法在真实环境中进行分析(如小物体的按比例适宜放大表示，如微小物体比如包括蛋白质或核酸的生物学分子或者微生物；大物体的按比例适宜缩小表示，比如人造物体如机械或建筑等，或者非人造物体，比如有生命的或无生命的物体、地质体、行星体、空间物体等)；
-一般来说，数据分析，比如在类似‘无限’虚拟空间中可视化的大量数据的可视化、操纵和分析；可以对级别明显不同的数据进行分析、分组以及识别和可视化其间的关系；
并且尤其在包括但不限于以下示范性领域：
-医学，如用于医学成像分析(如用于察看和操纵在X射线、CT、MRI、PET、超声波或其他成像中所获取的2D、3D或4D数据)，真实或模拟的有创或无创治疗或诊断过程以及对组织、器官或身体部位的真实或模拟的手术过程、解剖学和/或功能分析；例如，在医学领域中的任何应用都可以为了实际的医学实践(如诊断、治疗和/或手术实践)的目的，也可以为了研究、培训、教育或演示的目的；
-药物发现和开发，如用于目标生物分子(如蛋白质、多肽、肽、核酸比如DNA或RNA)结构、目标细胞结构、候选药物、候选药物与目标分子或细胞结构之间结合等的3D或4D可视化、操纵和分析；
-蛋白质结构确定，如用于蛋白质折叠、复合蛋白质折叠、蛋白质结构、蛋白质稳定性和蛋白质变性、蛋白质配体、蛋白质与蛋白质或者蛋白质与核酸相互作用等的3D或4D可视化、操纵和分析；
-建筑学、材料学和/或材料工程，用于包括人造和非人造材料和物体的物理材料和物体的虚拟表示的可视化、操纵和分析；
-勘探如石油、天然气、矿物或其他自然资源，如用于地质构造、(潜在的)采矿或钻探地点(如近海地点)等的虚拟表示的可视化、操纵和分析；
-产品设计和开发、工程(如化学、机械、民用或电子工程)和/或建筑，用于相关物体比如产品、原型、机械、建筑物等的虚拟表示的可视化、操纵和分析；
-纳米技术和生物纳米技术，如用于纳米尺寸物体的虚拟表示的可视化、操纵和分析；
-电子线路设计和分析，比如集成电路和晶片设计和开发，通常涉及多层3D设计，如用于电子电路、部分电路、电路层等的虚拟表示的可视化、操纵和分析；
-遥控操作，也就是远程装置(如机器、仪器、设备)的操作；例如，观察者可以看到和操纵代表视频中物理物体的虚拟物体，其中所述远程物理物体受到远程装置的操纵，并且由观察者对虚拟物体所进行的操纵被所述远程装置(按相同或不同比例)复制在所述物理物体上(如医疗过程和干预的远程控制)；
-地球外环境或条件的仿真。例如可以向地球上的观察者显示远程、地球外物理工作空间的背景(如由在空间中、空间站、空间飞船上或月球上的图像拾取装置获得的图像)，从而虚拟物体重叠在所述地球外物理工作空间的所述图像上并能够由观察者在近邻工作区域中的动作所操纵。因此，观察者获得了被浸入在所显示的地球外环境中以及操纵或驾驶其中物体的想法。另外，由图像拾取装置捕获的所述地球外物理工作空间可以用作又一个地球外环境(如另一颗行星比如火星)的表示或替换模型。优选情况下，观察者还可以收到来自操纵器的触觉输入以体验由图像拾取装置所捕获的地球外环境中或者在这用作又一个地球外环境的表示或替代模型时后者环境中的重力条件等。所以预知到了在航空航天技术领域中以及在提升公众对“空间现实”的意识中的若干应用(如为了展览和博物馆)；
-销售以及其他表演和示范，用于例如产品的可视化、操纵和分析；
-***生物学，如用于大型数据集的可视化和分析，比如由基因表达研究、蛋白质组研究、蛋白质与蛋白质相互作用网状物研究等所产生的数据集；
-金融和/或经济，如用于复杂和动态经济和/或金融***的可视化和分析；
-娱乐和游戏；
优选情况下，在以上和进一步的使用中的所述***的一个或多个操纵器可以(直接或间接地)连接到触觉设备以便增加观察者与虚拟物体操纵互动的触觉感(如经由操纵器对观察者施加力、振动和/或运动)。在虚拟现实解决方案中触觉设备和触觉表现本身已公知，并且能够适宜地与本***集成(参见McLaughlin等人的“Touch in Virtual Environ ments：Haptics and the Design of Interactive Systems”，1st ed.，Pearson Education 2001，ISBN 0130650978；M Grunwald，ed.，“Human Haptic Perception：Basics and Applications”，1st ed.，
Figure BPA00001258983100151
Basel 2008，ISBN 3764376112；Lin & Otaduy，eds.，“Haptic Rendering：Foundations，Algorithms and Applications”，A K Peters 2008，ISBN 1568813325等文献)。
附图说明
以下将仅仅举例并参考本发明的非限定实施例的附图更详细地介绍本发明，其中：
图1是本发明图像生成***实施例的示意表示；
图2是本发明图像生成***实施例的透视图；
图3是用于本发明图像生成***的操纵器实施例的透视图；
图4呈现了在包括基础标记的工作区域上安置的本发明图像生成***实施例的透视图，并且描绘了照相机(Xv、Yv、Zv、Ov)和世界(Xw、Yw、Zw、Ow)坐标系(在本说明书自始至终使用的符号“o”或“O”可以适宜地表示给定坐标系的原点)；
图5展示了基础标记的透视图并且描绘了世界(Xw、Yw、Zw、Ow)和导航(Xn、Yn、Zn、On)坐标系；
图6呈现了在包括基础标记的工作区域上安置的本发明图像生成***实施例的透视图，并且进一步包括操纵器，并且描绘了照相机(Xv、Yv、Zv、Ov)、世界(Xw、Yw、Zw、Ow)和操纵器(Xm、Ym、Zm、Om)的坐标系；
图7呈现了在工作区域上安置的本发明图像生成***实施例的透视图，并且进一步包括连接到6自由度的铰接设备的操纵器，并且描绘了照相机(Xv、Yv、Zv、Ov)、操纵器(Xm、Ym、Zm、Om)和铰接设备基础(Xdb、Ydb、Zdb、Odb)的坐标系；
图8展示了物理工作空间的所捕获图像的剪切实例；
图9展示了复合图像，其中虚拟空间包括由虚拟物体彼此投射和在所述工作台表面所投射的若干阴影；
图10至图13展示了对本图像生成***实施例的标定；
图14是框图，显示了包括计算机的本发明图像生成***实施例的功能布局。
具体实施方式
本文中所用的单数形式的“某”、“一个”和“所述”既包括单数又包括复数，除非上下文明确另外规定。
本文中所用的术语“包含”是“包括”的同义词，并且包罗或无限制而不排除另外的、未叙述的成员、分量或方法步骤。
由端点列举的数字范围包括在各自范围内所包含的一切数字和分数以及所列举的端点。
本文中所用的术语“约”当指可测量的值比如参数、量、短暂持续时间等时，意味着从所指定值包括某些变化，确切地说，从所指定值+/-10％或更少的变化，优选情况下+/-5％或更少的变化，更优选情况下+/-1％或更少的变化，以及再优选情况下+/-0.1％或更少的变化，只要这样的变化适于在所公开的发明中执行。应当理解，所述修饰词“约”所指的值其本身也被明确地和优选地公开。
本说明书中提及的全部文档在此引用作为参考。
除非另外定义，公开本发明时所使用的全部术语，包括技术和科学术语，都具有本发明所属领域普通技术人员普通理解的含意。利用进一步的指导，可以包括若干术语定义以便更适当地理解本发明的教导。
根据图1的图像生成***包括外壳1。外壳1在朝向工作空间2的面上包括图像拾取装置5、6，而在其相对面上包括显示装置7、8。图像拾取装置5、6瞄准物理工作空间2并适于捕获物理工作空间的图像。
图像拾取装置5、6可以包括一个或多个(如一个或至少两个)图像拾取构件5、6，比如照相机，更适合的是能够捕获视频数据帧的数字视频摄像机，适宜地配备了物镜或镜头***。为了允许本***大体上实时的操作，图像拾取装置5、6可以被配置为以每秒至少约30帧的速度捕获物理工作空间2的图像，优选情况下以对应于显示装置刷新速率的速率，例如每秒60帧刷新。本***的管理装置从而可以被配置为处理这样的数据流输入信息。
在图1所示的实施例中，图像拾取装置包括两个图像拾取构件，也就是视频摄像机5、6，彼此相隔一段距离地并排安置。左眼摄像机5被配置为意在为观察者左眼9捕获物理工作空间2的图像，而右眼摄像机6被配置为意在为观察者右眼10捕获物理工作空间2的图像。左眼摄像机5和右眼摄像机6因此能够分别供给物理工作空间2的左眼图像和右眼图像，当分别呈现给观察者左眼9和右眼10时它们为观察者产生了物理工作空间2的立体视觉场景(3D场景)。摄像机5与摄像机6之间的距离可以适宜地对应于普通预期观察者的瞳孔间距离。
在某实施例中，图像拾取装置的光轴(或若干光轴，如在图像拾取装置包含不只一个图像拾取构件时)可以是可调节的。例如在某实施例中，各个图像拾取构件的光轴可以相对于彼此和/或相对于显示装置(从而当观察者双眼指向显示装置时相对于观察者双眼的位置)进行调节。例如在图1的实施例中，图像拾取构件(摄像机)5、6的光轴可以相对于彼此和/或相对于显示构件7、8(从而相对于眼睛9、10)的位置进行调节。摄像机5、6物镜的光轴分别由13和14展示，定义了透视图16、17。同样，图像拾取构件5、6之间的距离也是可调节的。观察者从而可以将图像拾取构件5、6瞄准物理世界以便捕获物理工作空间2的适当立体视觉3D-视图。这取决于图像拾取构件5、6之间的距离和/或方向并能够容易地被有经验的观察者选择。从而，物理工作空间的场景也可以修改为包括虚拟物体的立体视觉显示的虚拟空间所期望的形式和尺寸。以上解释的图像拾取构件5、6的可调节性可以允许观察者将本***调整到自己的需要，以实现真实的和高质量的三维体验并提供操作方便性。
在另一个实施例中，图像拾取装置的位置和光轴(或若干光轴，如在图像拾取装置包含不只一个图像拾取构件时)可以是不可调节的，也就是预先确定或预先设定的。例如在某实施例中，各个图像拾取构件5、6的光轴相对于彼此和相对于显示构件7、8不可进行调节。同样，图像拾取构件5、6之间的距离也是不可调节的。例如，图像拾取构件5、6的距离和光轴相对于彼此和相对于显示构件7、8可以由制造商预先设定，如使用例如基于理论上的考虑或经验地预定为对特定***考虑为最佳的设置。
优选情况下，在操作会话期间，外壳1将图像拾取构件5、6支持和/或保持在物理世界中如此预定或预先调整的位置和方向上，从而在操作会话期间捕获大体上相同物理工作空间2的图像。
显示装置7、8可以包括一个或多个(如一个或至少两个)显示构件7、8，比如常规的液晶和棱镜显示器。为了允许本***大体上实时的操作，优选情况下显示装置7、8可以提供大体上与图像拾取装置5、6的图像捕获速率相同或更高的刷新速率。例如，显示装置7、8可以提供每秒至少约30帧的刷新速率，比如每秒60帧。优选情况下显示构件可以具有色彩。对于三种主色RGB的每一种或组合，它们可以具有但不限于水平至少约800像素和垂直至少约600像素的分辨率。本***的管理装置因此可以被配置为处理这样的数据流输出信息。
在图1所示的实施例中，显示装置包括两个显示构件7、8，彼此相隔一段距离地并排安置。左眼显示构件7被配置为显示通过将左眼图像拾取构件5所捕获的物理工作空间2的图像上重叠从左眼9的位置看去包括虚拟物体的虚拟空间图像所合成的复合图像。右眼显示构件8被配置为显示通过将右眼图像拾取构件6所捕获的物理工作空间2的图像上重叠从右眼10的位置看去包括虚拟物体的虚拟空间图像所合成的复合图像。这样的连接典型情况下不是直接的，但是可以适宜地通过管理装置，比如计算机。从而左眼显示构件7和右眼显示构件8能够分别提供混合现实空间的左眼和右眼复合图像，当分别呈现给观察者左眼9和右眼10时，它们为观察者产生混合现实工作空间的立体视觉场景(3D场景)。照相机5与显示器7的连接由点划线5a示意地展示，而照相机6与显示器8的连接由点划线6a示意地展示。分别用于左眼显示构件7和右眼显示构件8的包括虚拟物体的虚拟空间的立体视觉图像可以从计算机存储器3中存储的虚拟空间和/或虚拟物体4的表示中产生(分离)。这种分离用11和12示意地展示。存储着虚拟空间和/或虚拟物体4的表示的存储器可以在图像生成***的内部也可以在外部。优选情况下，本***可以包含连接装置，用于连接计算装置比如计算机的存储器，它也可以被配置为提供所述存储器中存储的虚拟空间和/或虚拟物体的图像。
显示构件7和8之间的距离可以适宜地对应于普通预期观察者的瞳孔间距离。在某实施例中，显示构件7、8之间的距离(以及可选地显示构件的其他位置方面)可以是可调整的，以允许对不同观察者进行个别修改。作为替代，显示构件7和8之间的距离也可以由制造商预先确定或预先设定。例如，制造商可以预知所述显示构件7和8之间的单一距离或几个明显区别的标准距离(比如三个明显区别的距离)以便容纳大体上一切预期观察者。
优选情况下，在操作会话期间，外壳1将显示构件7、8支持和/或保持在物理世界中预先确定或预先调整的位置和方向上。
另外，外壳1优选情况下被配置为将图像拾取装置5、6和显示构件7、8彼此相对地定位，以便当观察者将其视线指向显示构件7、8时，图像拾取装置5、6将大体上在观察者的眼睛位置处和视线方向上捕获物理工作空间的图像。
因此，图1示意地阐述的图像生成***包括彼此相隔一段距离地安置的至少两个图像拾取构件5、6，其中图像拾取构件5、6的每一个都被配置为提供用于观察者的每一只眼睛9、10的图像，进一步包括显示构件7、8用于为观察者的每一只眼睛9、10提供用于每只眼睛的图像，其中图像显示构件7、8被配置为接收虚拟物体4的立体视觉图像11、12(也就是虚拟物体表示)，以便将所述立体视觉图像与用于每只眼睛9、10的工作空间2的图像结合，以便提供虚拟物体4以及工作空间2的三维图像。
如图2所示，其上部20可见的外壳利用基座构件22和***式细长支柱构件21安装在由工作台26表示的标准工作区域之上。基座构件22优选情况下被配置为在大体上水平和平坦的工作区域26上提供稳固的安置。优选情况下，基座构件22和分支构件21可以折叠或叠合(如利用其间的标准关节连接)，以允许减小***的尺寸改进可携带性。***的安装、位置和尺寸不限于所展示的实例而是可以自由改变。
所以，本发明也设想了包含外壳1的图像捕获和显示单元，包含本文教导的图像拾取装置5、6和显示装置7、8，进一步包含基座构件22和***式细长支柱构件21，被配置为将外壳1安装在标准的工作区域26之上，正如本文的教导。所述单元可以连接到可编程计算装置比如计算机。
外壳相对于基座构件22从而相对于工作区域26的高度是可以进行调节的，并且在高度调节装置23、24的帮助下可以双向保证在所选择的高度。外壳相对于基座构件22从而相对于工作区域26的倾斜也是可以进行调节的，并且在所述高度调节装置23和24或者其他适合的倾斜调节装置(如常规的关节连接)的帮助下也可以双向保证在所选择的倾斜度。
每台都配备着物镜的照相机5和6在外壳的正面可见。面对观察者双眼的外壳的相对面包括显示器7和8(图2中不可见)。电气连接电缆25连接着外壳和基座构件22。
为了操作本***，观察者27可以将基座构件22放置在合适的工作区域上，比如工作台26。观察者27然后能够将照相机5、6指向工作区域26，如通过调整外壳相对于工作区域26的高度和/或倾斜度以及/或者通过调节照相机5、6相对于外壳的位置和/或方向(光轴)，使得照相机5、6能够捕获物理工作空间的图像。在所展示的实例中，所述空间通常在基座构件22的前方并在其上方，基座构件22静止在用作观察者27的物理工作空间的工作台26上。
观察者27使用本***时，观察显示装置，它呈现着物理工作空间上重叠着包含一个或多个虚拟物体28的虚拟空间图像的复合图像。优选情况下，虚拟物体28的投影比物理工作空间背景更靠近观察者。优选情况下，复合图像呈现物理工作空间和/或虚拟空间，更优选情况下，二者都在立体视觉场景中，以便向观察者27提供3D混合现实体验。这就提供了桌面安装的交互式虚拟现实***，观察者借以观察物理工作空间中的3D虚拟图像28，并且能够使用其图像也显示在所述工作空间2中的一个或多个操纵器30容易地操纵虚拟图像28。
在某实施例中，虚拟物体28可以投影在适于普通预期观察者的工作距离处，例如距离观察者双眼约0.2米与约1.2米之间。对于取坐姿的工作，适合的距离可以为约0.3-0.5米，而对于站立的工作适合的距离可以为约0.6-0.8米。
另外，观察者使用本***时，可以将显示装置(显示构件7、8)置于使得观察者能够使其凝视相对于水平面稍微地向下，如以约2°与12°之间的夹角，优选情况下，约5°与约9°之间。这便于观察者以放松的眼睛肌肉获得安闲的视觉。
如在图1和图2进一步所示，允许观察者与虚拟空间互动的装置30、35能够包含在本***中并可选地部署在物理工作空间2中。例如，本***可以包括一个或多个操纵器30以及可选地一个或多个导航仪35。在某实施例中，虚拟物体28的姿态和/或状态从而可以同时经由所述一个或多个操纵器30以及经由所述一个或多个导航仪35控制。
例如，本***可以包括导航仪35。优选情况下，导航仪35可以被配置为在虚拟空间上执行动作，大体上独立于导航仪35在物理工作空间2中的姿态。例如，导航仪35可用于响应由导航仪35给出的命令，移动、转动、摇摄和/或缩放一个或多个虚拟物体28。例如，导航仪可以是2D或3D的操纵杆、空间鼠标(3D鼠标)、键盘或类似的命令设备。
观察者27进一步具有操纵器30供其使用。
图3a显示了操纵器30实施例的透视图。该操纵器具有近似于人手的尺寸。操纵器包括识别构件31，在本实施例中由立方体形的图形模式形成。所述图形模式能够由适当的图像识别算法在图像拾取装置(照相机5、6)所拍摄的图像中识别，从而所述图形模式在由图像拾取装置捕获的物理工作空间的图像中的尺寸和/或形状允许图像识别算法确定所述识别构件31(从而操纵器30)相对于图像拾取装置的姿态。
虚拟3D光标33的计算机生成图像可以重叠在操纵器30或其一部分的图像上，如在识别构件31的图像上。因此在向观察者呈现的混合现实空间中，它可能显现为仿佛操纵器30和光标形成的单一构件34(见图3c)。光标33可以采取任何尺寸和/或形状，并且其外观可以变化以表示具体功能(例如，光标33可以提供为选择构件、抓取构件、测量设备或虚拟光源等)。因此，3D光标的各种3D表示可以重叠在操纵器上以提供后者的独特功能。
操纵器30允许观察者与一个或多个虚拟物体28互动。所述互动在观察者视野中被感知和解释。例如，这样的互动可以涉及操纵器30或其部分(如识别构件31)或光标33与虚拟物体28之间在混合现实图像中观察到的接触或接近的程度。
操纵器30可以进一步配备操纵构件32(见图3a)，用户用它能够对虚拟物体执行特殊动作，比如抓取(也就是将操纵器30与给定的虚拟物体28相关联以允许操纵后者)或推开所述表示或者操作单独的仪器比如导航仪或虚拟触觉构件。因此，在某实施例中，操纵构件32可以提供大体上与对导航仪35以上介绍的功能相同的功能。
优选情况下，在本图像生成***操作时涉及的过程可以由数据处理(计算)装置执行，比如计算机。所述计算机可以执行本***的管理装置的功能。图14是框图，显示了这种计算机实施例的功能布局。
附图标记51表示的计算机接收由图像拾取装置(照相机)5和6所捕获的图像信号(馈入)，可以可选地接收由外部操纵器姿态读取设备52(如加速度计或6自由度的铰接设备)所收集的有关操纵器30姿态的信息，可以可选地接收来自外部导航仪35的命令，执行处理比如管理和分析所收到的数据，以及为本***显示构件7和8产生图像输出信号。
左眼视频捕获单元53和右眼视频捕获单元54分别从照相机5和6捕获物理工作空间的图像输入。照相机5和6能够提供数字输入(比如图像表面上光栅化和量化的输入)，它能够由视频捕获单元53和54适当地处理。
该计算机可以可选地包括左眼视频修改单元55和右眼视频修改单元56，以便修改分别由左眼视频捕获单元53和右眼视频捕获单元54所捕获的图像。所述修改可以包括例如剪切和/或缩放图像，或者改变其他的图像属性比如对比度、亮度、颜色等。
由左眼视频捕获单元53(或左眼视频修改单元55)和右眼视频捕获单元54(或右眼视频修改单元56)所输出的图像数据被分别供给了左眼视频合成单元57和右眼视频合成单元58，它们被配置为将所述图像数据分别与由虚拟空间图像呈现单元59所供给的虚拟空间的左眼和右眼图像表示合成。
由左眼视频合成单元57和右眼视频合成单元58所合成的复合混合现实图像数据被分别输出到左眼图形单元60和右眼图形单元61，然后分别显示在左眼显示器7和右眼显示器8上。图形单元60、61能够适宜地产生适于利用显示器7、8进行显示的数字视频数据输出信号(比如每个像素都保持着量化值的光栅化的图像)。
表现虚拟3D物体特征的数据存储在3D物体数据单元62中，并且从该单元供给。3D物体数据单元62可以包括例如表明虚拟物体的几何形状、颜色、纹理、透明度和其他属性的数据。
由3D物体数据单元62所提供的3D物体数据由3D物体姿态/状态计算单元63处理，以便计算一个或多个虚拟物体相对于适宜坐标系的姿态和/或状态。3D物体姿态/状态计算单元63从操纵器姿态计算单元64接收输入，由此3D物体姿态/状态计算单元63被配置为将由操纵器姿态计算单元64所输出的操纵器相对于适宜坐标系的姿态中的变化变换为在相同或其他适宜坐标系中一个或多个虚拟物体姿态和/或状态中的变化。3D物体姿态/状态计算单元63还可以可选地接收来自导航仪输入单元65的命令输入，并且被配置为将所述命令输入变换为一个或多个虚拟物体相对于适宜坐标系的姿态和/或状态中的变化。导航仪输入单元65接收来自外部导航仪35的命令。
优选情况下，操纵器姿态计算单元64从左眼视频捕获单元53和右眼视频捕获单元54之一或双方接收输入。操纵器姿态计算单元64可以执行图像识别算法，它被配置为在由所述视频捕获单元53、54所供给的物理工作空间图像中识别操纵器30的识别构件31，从所述图像中确定所述识别构件31相对于照相机5和/或6的姿态，以及将这种信息变换为识别构件31(从而操纵器30)在适宜坐标系中的姿态。
作为替代或补充，操纵器姿态计算单元64可以从外部操纵器姿态读取设备52(如加速度计或6自由度的铰接设备)接收输入，并且可以将这种输入变换为操纵器30在适宜坐标系中的姿态。
优选情况下，关于操纵器30(或其识别构件31)在适宜坐标系中姿态的信息可以提供给操纵器光标计算单元66，它被配置为将这种信息变换为虚拟光标33在同一或其他适宜坐标系中的姿态。
来自3D物体姿态/状态计算单元63以及可选地操纵器光标计算单元66的数据被输出到虚拟空间图像呈现单元59，它被配置为将这种信息变换为虚拟空间的图像并将所述图像划分成用于观察者每只眼睛的立体视觉场景图像，以及将所述立体视觉场景图像提供给左眼和右眼视频合成单元57、58以产生复合图像。
大体上任何通用计算机都可以被配置为本发明的图像生成***的功能布局，比如图14所示的功能布局。这样的计算机硬件架构能够由本领域的技术人员实现，并且可以包含硬件组件，包括一个或多个处理器(CPU)、随机存取存储器(RAM)、只读存储器(ROM)、内部或外部数据存储介质(如硬盘驱动器)、一块或多块视频捕获电路板(用于接收和处理来自图像拾取装置的输入)、一块或多块图形电路板(用于处理图形信息并将其输出到显示装置)。以上组件可以适宜地经由计算机内部的总线互连。所述计算机可以进一步包含适合的接口用于与通用外部组件，比如监视器、键盘、鼠标、网络等进行通信以及与本图像生成***的外部组件，比如视频摄像机5、6；显示器7、8；导航仪35或操纵器姿态读取设备52进行通信。为了执行本图像生成***操作所需的过程，适宜的机器可执行指令(程序)可以存储在内部或外部数据存储介质上并加载到运行的计算机的存储器中。
本***的本实施例操作的相关方面将进一步讨论。
当本图像生成***准备使用(如安装在工作区域上，如图2所示)并被启动时，并且可选地也在本***的操作期间，进行本***的标定。所述标定的细节在本说明书的别处介绍。
物理工作空间的图像由图像拾取装置捕获(照相机5、6)。
包含位置识别构件(模式)44的基础标记36被放置在照相机5、6的视野中(见图4)。基础标记36可以是图像卡(正方形图像，黑框中的白背景)。图像识别软件能够用于确定基础标记36关于照相机局部空间(坐标系)的位置(图4中照相机的坐标系被表示为具有在右眼照相机的光圈处的原点(Ov)并定义了互相正交的坐标轴Xv、Yv、Zv)。
物理工作空间图像可以可选地修改，比如剪切。例如，在图8展示的情形中，作为背景向观察者呈现的是被剪切实况馈入帧40而不是工作空间完全图像39。这就允许更好地聚焦在所观察/操纵的虚拟物体上。这样，操纵器30能够(部分地)在观察者的视野之外(虚线部分)，然而操纵器30的识别构件31对于姿态估计算法所用的照相机仍然能够可见。所以，本发明还提供了被配置为对照相机输入光栅进行剪切的算法或程序的用法，以便在本文公开的图像生成***、方法和程序中便利缩放性能。
基础标记36用作世界坐标系即物理工作空间坐标系Xw、Yw、Zw、Ow的位置标志符。虚拟环境通过使用所述基础标记被放置在真实世界中。因此，虚拟空间中出现的全部虚拟物体(如在操作***的同时加载或产生的虚拟物体)都相对于基础标记36坐标系放置。
然后加载虚拟现实场景(空间)。这种场景能够包含不同种类的物品：1)静态场景：每个加载或新创建的物体被置于该静态场景中；优选情况下，静态场景由导航仪35控制，它可以是6个自由度的导航仪；2)***纵的物品：***纵的物体与操纵器相关联。
该过程进一步包括分析从导航仪35收到的命令。静态场景被放置在相对于世界坐标系Xw、Yw、Zw、Ow的导航坐标系(Xn、Yn、Zn、On)中(见图5)。虚拟物体在静态场景中的位置在导航坐标系Xn、Yn、Zn、On中定义。导航坐标系允许容易地摇摄和俯仰所述场景。6个自由度的导航仪35用于操纵(俯仰、摇摄)所述静态场景。为此目的，导航仪35的姿态被读取并映射到线速度和角速度。线速度被取为导航仪的相对平移乘以某个给定的平移比例因子。该比例因子确定平移速度。角速度是导航仪三个旋转角(围绕x轴、y轴和z轴)的相对旋转角三元组。如同线速度，角速度得自角的三元组乘以给定旋转比例因子。线速度和角速度都假设在场景空间(Xv、Yv、Zv、Ov)中给定。导航仪受观察者控制，所以通过假设在场景空间中控制该设备，就能够得到最直观的控制。使用线性变换(3×3矩阵)将速度变换到世界空间Xw、Yw、Zw、Ow。然后将世界空间的线速度和角速度沿时间积分以找到世界空间Xw、Yw、Zw、Ow中导航坐标系Xn、Yn、Zn、On的新位置和方向。
参考图6，一个或多个操纵器30可以用于选择和拖拉静态场面中的物体。例如，在本文介绍的情形中，物理空间中操纵器姿态的给定变化导致所操纵虚拟物体姿态中的相同变化。
观察者通过向***发送适当的命令能够将静态场景中给定的虚拟物体与操纵器30相关联。因此，所选定的虚拟物体从所述静态场景中脱离，并且被置于操纵器的坐标系Xm、Ym、Zm、Om中(图6)。当操纵器30在物理工作空间中的姿态变化时，操纵器的坐标系Xm、Ym、Zm、Om相对于世界坐标系Xw、Yw、Zw、Ow的位置和方向也会变化。因为与操纵器关联的虚拟物体在操纵器坐标系Xm、Ym、Zm、Om中定义，所以虚拟物体在世界坐标系Xw、Yw、Zw、Ow中的姿态也将随之变化。一旦操纵器从虚拟物体分离，物体可以被放回到静态场景中，使得其位置将再次定义在导航坐标系Xn、Yn、Zn、On中。
本过程从而进一步包含操纵器姿态计算。
在图6所示的实例中，操纵器30包括识别构件，它包括在已知配置(本文为立方体)中放置的许多图形标记(图案)。因此，当操纵器30放置在场景中时照相机可以扫描一至三个标记。标记相对于照相机坐标系Xv、Yv、Zv、Ov的姿态能够被图像识别和分析软件确定并变换到世界坐标Xw、Yw、Zw、Ow。因此，能够计算操纵器坐标系Xm、Ym、Zm、Om(其中定义了已经与操纵器相关联的虚拟物体)相对于世界坐标系Xw、Yw、Zw、Ow的位置和方向。
在图7所示的实例中，操纵器30被连接到6自由度的铰接设备38，它可以是例如触觉设备(如可感觉到的幻像)。
操纵器关于6个自由度设备基础的坐标系(Xdb、Ydb、Zdb、Odb)的相对布置易于获得。通过使用位于6个自由度设备基础处的标记37，如类似于工作区域上放置的基础标记36的标记(见图6)，能够确定该设备基础相对于场景坐标系(Xv、Yv、Zv、Ov)的姿态。
根据来自导航仪35和/或操纵器30的输入，使用本身公知的线性变换算法计算由导航仪和/或操纵器所控制的虚拟物体的姿态和/或状态。同样，根据来自操纵器30的输入，计算虚拟光标33的姿态。
然后呈现包括虚拟物体的虚拟空间图像。虚拟物体被呈现并重叠在物理工作空间实况馈入背景的上面以产生复合混合现实图像，比如使用传统的实时3D图形软件(如OpenGL、Direct3D)。
优选情况下，如图9所示，三维呈现可以包括一个或多个虚拟光源43，虚拟物体借此被照亮并在虚拟物体之间(物体阴影42)以及虚拟物体与桌面平面之间(桌面阴影41)投射实时阴影。做到这一点可以使用众所周知的若干过程，比如在Reeves，WT，DH Salesin，and PL Cook.1987，“Rendering Antialiased Shadows with Depth Maos.”Computer Graphics 21(4)(Proceedings of SIGGRAPH 87)中介绍的过程。阴影能够辅助观察者估计虚拟物体之间以及虚拟物体与桌面之间的相对距离。知道物体之间的相对距离，确切地说，知道虚拟物体与操纵器的3D表示之间的距离对选择和操纵虚拟物体是有用的。知道虚拟物体与地平面之间的距离对估计虚拟物体关于真实世界的尺寸是有用的。所以，本发明还提供了被配置使用人工光源产生阴影的算法或程序的用法，用于辅助观察者估计虚拟物体之间的相对距离以及虚拟物体关于物理环境，确切的说在本文公开的图像生成***、方法和程序中的相对尺寸。
最后，复合图像向显示装置输出并呈现给观察者。混合现实场景然后被刷新以获得实时(实况馈入)操作体验。优选情况下，刷新速率可以为每秒至少约30帧，优选情况下它可以对应显示装置的刷新速率比如每秒60帧。
现在详细介绍在本图像生成***启动时以及可选地在操作期间进行的标定。
利用所述标定过程，1)照相机5、6被配置为使得观察者在其左眼和右眼分别接收来自左照相机5和右照相机6的图像；2)照相机5、6被定位使得在照相机视野中对于一定范围的距离观察者收到的图像能够以令人满意的方式被感知为立体图像(也就是说，立体感知没有破坏成两个分开的图像)；3)物理世界中物体的每个3D虚拟表示的两个投影(也就是，向观察者的每只眼睛发送一个)都与对应的物理世界物体本身的两个投影(两幅图像)对准。
在本***启动时自动地完成第一个过程，确保来自左照相机5和右照相机6的图像被分别发送给左眼和右眼，并且在需要时交换图像。所期望的情形展示在图10的右画面中，而图10左画面显示了需要纠正的错误情形。
参考图11，自动例程等待直到在某短时间阶段内，在从照相机收到的两幅图像中都检测到了任何位置识别构件(图案)44。所述检测由用于姿态估计的众所周知的方法执行。这会生成两个变换矩阵，每幅图像用一个；所述矩阵的每一个都表示位置识别构件(图案)44在照相机局部空间(坐标系)中的位置，示意地展示为左照相机5的XLC、YLC和右照相机6的XRC、YRC，或者通过使用矩阵的逆表示照相机在位置识别构件(图案)44的局部空间(坐标系)中的位置，示意地展示为XRP、YRP。基于这些变换矩阵，算法能够确认哪个属于左照相机的局部空间(ML)以及哪个属于右照相机的局部空间(MR)。最初，假设这些矩阵之一将位置识别构件变换到左照相机的局部空间(即左照相机变换)，所以这个矩阵的逆表示从左照相机到位置识别构件的局部空间的变换(ML -1)。使用左照相机的逆变换来变换原点(O)因而产生左照相机在位置识别构件局部空间中的位置：
ML -1*O
而利用右照相机变换，这个位置的连续变换会产生左照相机在右照相机局部空间中的位置(P)：
P＝MR*ML -1*O
如果左照相机变换(因此对应的图像)属于左照相机的假设正确，那么左照相机在右照相机局部空间中的位置应当具有负的XRC分量(PX (RC))：
PX(RC)＜0
如果所述假设显示为不正确，就左眼与右眼之间自动交换图像。图像生成***还使观察者能够在任何时刻手工地交换(如给计算机命令或按压某键)向左眼和右眼发送的图像，例如解决自动检测没有提供正确结果的情况。
第二个过程，为了使立体感最佳而定位照相机可以由有经验的观察者执行也可以在本图像生成***的制造期间完成，如定位照相机5、6使得用户在常见的工作距离处立体感最佳，确切地说，优选实例在离开照相机5、6的位置30cm的距离。照相机图像的清晰度能够经由照相机驱动程序适当地控制。
优选情况下，第三个过程，对左右照相机图像分别不同地执行使得真实世界中物体的投影的3D表示与被投影物体本身对准。
参考图12和图13。位置识别构件(图案)44是投影到照相机图像45、46上真实世界的物体，与投影到同一图像上的虚拟表示47、48结合(+)。这些两幅图像必须对齐，如对准联合49、50所展示。
对左右照相机图像所提供的对准算法仅仅属于由呈现过程将图12中的虚拟表示投影到照相机图像上与物理位置识别构件44的相同区域所需分量的子集。全面地说，呈现过程要求一组矩阵，包括适合的模型视图矩阵和适合的投影矩阵，使用一组用于左图像而另一组用于右图像。在呈现过程期间，给定虚拟表示的尺寸使其与它表示的物理位置识别构件相同，置于其自身局部空间(坐标系)的原点，并以对公共图形库类似的方式使用对应的矩阵组投影到左图像或右图像(细节参见例如OpenGL说明书的‘Coordinate Transformations’节)。由呈现程序使用的投影矩阵相当于将物理物体捕获到照相机图像时由照相机镜头所进行的投影；它是从照相机局部空间到照相机图像空间的变换，它由虚拟现实***的执行范围之外的外部库标定，并且在执行期间保持固定。模型视图矩阵相当于从物理位置识别构件的局部空间(坐标系)到照相机局部空间的变换。这个矩阵由随后提供的对准算法在虚拟现实***执行范围内部对左右照相机分别计算。
对于左照相机，计算了从每个物理位置识别构件44的局部空间到左照相机局部空间的变换矩阵ML(图11)，所以实现了虚拟表示投影47与真实世界物体45投影的对准联合49。这对每幅新照相机图像都会发生；对于姿态估计众所周知的方法能够应用于左照相机图像，以便从每幅新图像中提取变换ML，用于物理世界中每个位置识别构件(图案)44。如果无法提取这样的变换，将不会发生虚拟表示的对准。
对于右照相机，计算了从每个物理位置识别构件44的局部空间到右照相机局部空间的变换矩阵MR(图11)，所以实现了虚拟表示投影48到右照相机图像中真实世界投影46的对准联合50。计算MR以不同于计算ML的方式进行。
参考图13，为了改进相干性，计算MR的算法首先建立了从左照相机局部空间(XLC、YLC)到右照相机局部空间(XRC、YRC)的固定变换ML2R。这个变换用于将左照相机局部空间中正确对准联合49的物体变换到右照相机局部空间中的正确对准联合50，因此定义MR如下：
MR＝ML2R*ML
由于变换ML2R不随时间改变所以仅仅必须在特定时刻计算一次，因为在本***操作期间这些照相机关于彼此具有固定的位置和方向。确定这个变换矩阵的算法在图像生成***的启动时就自动执行，并且能够按照观察者发出的命令的指示在任何其他时刻重复地执行。该算法一开始等待在短时间阶段内在两幅图像中都检测到任何位置识别构件(图案)44。这项检测还是以姿态估计的众所周知方法执行。检测结果是两个变换矩阵，一个变换矩阵用于两个图像；这些矩阵之一表示识别图案局部空间(XRP、YRP)到左照相机局部空间XLC、YLC的变换(左照相机变换，ML)，而另一个表示识别图案44在右照相机局部空间XRC、YRC中的位置(右照相机变换，MR)。逆左照相机变换(ML -1)与右照相机变换的乘积会产生从左照相机局部空间XLC、YLC到识别图案局部空间XRP、YRP，到右照相机局部空间XRC、YRC的变换(ML2R)，它就是所期望的结果：
ML2R＝Ma*ML -1
如果在已延长的时间阶段期间，在左照相机产生的图像中没有检测到一个识别构件44，对准算法就会将左照相机的对准方法与右照相机的对准方法进行交换。所以在这点上，通过每帧检测识别图案44并提取正确的变换矩阵而使得虚拟物体48与右照相机图像46对准，同时使用从右照相机局部空间XRC、YRC到左照相机局部空间XLC、YLC的固定变换现在执行了左图像中虚拟物体47的对准联合49；该变换是从左照相机局部空间到右照相机局部空间变换的逆：
MR2L＝ML2R -1
使用固定的MR2L和ML2R而不是分开提取变换矩阵ML和MR的优点在于，在前者情况下单一图像中成功提取ML或MR的任一个都足以在两幅图像中使虚拟表示投影与真实世界物体的投影都对齐。
实现本发明的目的也可以通过向***或装置提供存储着实现以上介绍实施例功能的软件程序代码的存储介质，并且使该***或装置的计算机(或者CPU或MPU)读出并执行该存储介质中存储的程序代码。
在这种情况下，从存储介质中读出的程序代码本身实现了以上介绍实施例的功能，所以存储着程序代码的存储介质以及程序代码本身构成了本发明。
提供程序代码的存储介质可以选自例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM、DVD-ROM、蓝光盘、固态盘以及网络连接的存储器(NAS)。
应当理解，实现以上介绍的实施例的功能不仅能够通过执行由计算机读出的程序代码，而且能够通过使计算机上运行的操作***(OS)根据程序代码的指令执行部分或全部的实际操作。
不仅如此，从存储介质中读出的程序代码还可以被写入到计算机中***的扩充板或者计算机连接的扩充单元中提供的存储器内，并且在扩充板或扩充单元中提供的CPU等可以实际上执行根据程序代码指令的部分或全部操作，以至于完成以上介绍的实施例的功能。
显而易见，根据本发明已经提供了图像生成***、方法和程序及其使用，它们提供了正如以上阐述的实质优点。虽然已经连同其特定实施例介绍了本发明，但是显然根据先前介绍，许多替代、修改和变化对于本领域技术人员将是显而易见的。所以，如下在附带权利要求书的实质和宽广范围中力图包含全部这些替代、修改和变化。

Claims (19)

1.一种允许观察者操纵虚拟物体的图像生成***，包括用于捕获物理工作空间的图像的图像拾取装置；用于产生包括所述虚拟物体的虚拟空间的图像的虚拟空间图像生成装置；用于通过合成由虚拟空间图像生成装置所产生的虚拟空间的图像以及由图像拾取装置所输出的物理工作空间的图像产生复合图像的复合图像生成装置；用于显示由合成图像生成装置所产生的合成图像的显示装置；用于由观察者操纵虚拟物体的操纵器；以及用于确定所述操纵器在物理工作空间中的姿态的操纵器姿态判断装置，其特征在于，所述***被配置为将由所述操纵器姿态判断装置所确定的所述操纵器在物理工作空间中的姿态的变化变换为所述虚拟物体在虚拟空间中的姿态和/或状态的变化。
2.根据权利要求1的图像生成***，其中，操纵器在物理工作空间中的姿态完全地或部分地根据图像拾取装置输出的物理工作空间的图像确定。
3.根据权利要求2的图像生成***，其中，操纵器包含识别构件，所述识别构件由图像识别算法在物理工作空间的图像中识别，所述识别构件在物理工作空间的图像中的外观是所述识别构件相对于图像拾取装置的姿态的函数。
4.根据权利要求1至3中任何一项的图像生成***，其中，操纵器在物理工作空间中的姿态至少部分地通过测量由重力和/或由观察者产生的操纵器移动施加在操纵器上的加速度来确定。
5.根据权利要求4的图像生成***，其中，操纵器包含加速度计。
6.根据权利要求1至5中任何一项的图像生成***，其中，操纵器被连接到n自由度的铰接设备。
7.根据权利要求1至6中任何一项的图像生成***，其中，操纵器在物理工作空间中的姿态变化导致所述虚拟物体在虚拟空间中的姿态的定性的、优选情况下也是定量的一致变化。
8.根据权利要求1至7中任何一项的图像生成***，其中，在虚拟空间的图像中产生虚拟光标，使得所述虚拟光标变为重叠在由图像拾取装置输出的物理工作空间中操纵器的图像之上。
9.根据权利要求1至8中任何一项的图像生成***，它可安装在标准的工作区域比如桌面上。
10.根据权利要求1至9中任何一项的图像生成***，其中，图像拾取装置被配置为大体上在观察者的眼睛位置处和视线方向上捕获物理工作空间的图像，以及虚拟空间图像生成装置被配置为大体上在观察者的所述眼睛位置处和视线方向上产生虚拟空间的图像。
11.根据权利要求1至10中任何一项的图像生成***，其中，图像拾取装置被配置为在操作所述***的会话期间物理工作空间的位置和范围大体上不改变。
12.根据权利要求1至11中任何一项的图像生成***，其中，显示装置被配置为在操作所述***的会话期间显示装置的位置和方向大体上不改变。
13.根据权利要求1至12中任何一项的图像生成***，被配置为提供物理工作空间和/或虚拟空间优选情况下两者的立体视觉场景。
14.根据权利要求1至13中任何一项的图像生成***，其中，所述***适于网络应用以容纳不只一个观察者。
15.根据权利要求1至14中任何一项的图像生成***，其中，由图像拾取装置捕获的物理工作空间远离观察者。
16.一种允许观察者操纵虚拟物体的图像生成方法，被配置为使用根据权利要求1至15中任何一项定义的所述图像生成***执行，所述方法包括以下步骤：获得物理工作空间的图像，产生包括所述虚拟物体的虚拟空间的图像，通过合成虚拟空间的图像和物理工作空间的图像而产生复合图像，以及确定操纵器在物理工作空间中的姿态，其特征在于，将所述操纵器在物理工作空间中的姿态的变化变换为所述虚拟物体在虚拟空间中的姿态和/或状态的变化。
17.一种程序和存储着所述程序的计算机可读的存储介质，其中，所述程序被配置为在根据权利要求1至15中任何一项定义的所述图像生成***上执行根据权利要求16的所述图像生成方法。
18.根据权利要求1至15中任何一项定义的所述***、根据权利要求16定义的方法以及/或者根据权利要求17定义的程序或存储着所述程序的介质的使用，用于物体的虚拟表示的可视化、操纵和分析或者用于数据分析。
19.根据权利要求1至15中任何一项定义的所述***、根据权利要求16定义的方法以及/或者根据权利要求17定义的程序或存储着所述程序的介质，在医学、药物发现与开发、蛋白质结构的确定、结构学、材料学、材料工程、勘探、产品设计与开发、工程、建筑、纳米技术、生物纳米技术、电子线路设计与开发、遥控操作、地球外环境或条件的仿真、销售以及其他表演和示范、***生物学、金融、经济、娱乐或游戏中的使用。
CN200980119203XA 2008-04-16 2009-04-16 交互式虚拟现实图像生成*** Pending CN102047199A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL1035303A NL1035303C2 (nl) 2008-04-16 2008-04-16 Interactieve virtuele reality eenheid.
NL1035303 2008-04-16
PCT/EP2009/054553 WO2009127701A1 (en) 2008-04-16 2009-04-16 Interactive virtual reality image generating system

Publications (1)

Publication Number Publication Date
CN102047199A true CN102047199A (zh) 2011-05-04

Family

ID=39865298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980119203XA Pending CN102047199A (zh) 2008-04-16 2009-04-16 交互式虚拟现实图像生成***

Country Status (8)

Country Link
US (1) US20110029903A1 (zh)
EP (1) EP2286316A1 (zh)
JP (1) JP2011521318A (zh)
CN (1) CN102047199A (zh)
CA (1) CA2721107A1 (zh)
IL (1) IL208649A0 (zh)
NL (1) NL1035303C2 (zh)
WO (1) WO2009127701A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258339A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 基于实况记录和基于计算机图形的媒体流的实时合成
CN103258338A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和***
CN105160942A (zh) * 2015-08-17 2015-12-16 武汉理工大学 面向船舶可视导航的通航环境可视化表示方法
CN105224070A (zh) * 2014-06-26 2016-01-06 阿迪达斯股份公司 体育活动平视显示器***和方法
CN106406543A (zh) * 2016-11-23 2017-02-15 长春中国光学科学技术馆 人眼控制vr场景变换装置
CN106463001A (zh) * 2014-06-13 2017-02-22 三菱电机株式会社 信息重叠图像显示装置和信息重叠图像显示程序
CN106796446A (zh) * 2014-08-04 2017-05-31 惠普发展公司，有限责任合伙企业 工作空间元数据管理
CN108014492A (zh) * 2016-11-01 2018-05-11 宏达国际电子股份有限公司 虚拟实境互动处理方法及电子装置
CN108492657A (zh) * 2018-03-20 2018-09-04 天津工业大学 一种用于颞骨手术术前培训的混合现实模拟***
CN108614636A (zh) * 2016-12-21 2018-10-02 北京灵境世界科技有限公司 一种3d实景vr制作方法
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
CN109478769A (zh) * 2016-07-26 2019-03-15 三菱电机株式会社 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
CN109863538A (zh) * 2016-08-26 2019-06-07 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互***、头戴显示装置、视觉交互装置及计算机可读介质
CN110476168A (zh) * 2017-04-04 2019-11-19 优森公司 用于手部跟踪的方法和***
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及***
CN111317490A (zh) * 2020-02-25 2020-06-23 京东方科技集团股份有限公司 一种远程操作控制***及远程操作控制方法
CN111887990A (zh) * 2020-08-06 2020-11-06 杭州湖西云百生科技有限公司 基于5g技术的远程手术导航云桌面***

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011016029A2 (en) * 2009-08-02 2011-02-10 Tel Hashomer Medical Research Infrastructure And Services Ltd System and method for objective chromatic perimetry analysis using pupillometer
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US8593512B2 (en) * 2010-02-05 2013-11-26 Creative Technology Ltd Device and method for scanning an object on a working surface
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
JP5548038B2 (ja) * 2010-06-14 2014-07-16 任天堂株式会社 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
WO2012101286A1 (en) 2011-01-28 2012-08-02 Virtual Proteins B.V. Insertion procedures in augmented reality
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
CA3035118C (en) * 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
CN102221832A (zh) * 2011-05-10 2011-10-19 江苏和光天地科技有限公司 一种煤矿无人工作面开发***
JP5670255B2 (ja) 2011-05-27 2015-02-18 京セラ株式会社 表示機器
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US20150153172A1 (en) * 2011-10-31 2015-06-04 Google Inc. Photography Pose Generation and Floorplan Creation
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
US9135735B2 (en) 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US9741145B2 (en) * 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
CN103873840B (zh) * 2012-12-12 2018-08-31 联想(北京)有限公司 显示方法及显示设备
US9412201B2 (en) 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
US9142063B2 (en) * 2013-02-15 2015-09-22 Caterpillar Inc. Positioning system utilizing enhanced perception-based localization
WO2014141504A1 (ja) 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
JP6217747B2 (ja) * 2013-04-16 2017-10-25 ソニー株式会社 情報処理装置及び情報処理方法
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
EP3027151B1 (en) * 2013-07-29 2019-09-11 Bioptigen, Inc. Procedural optical coherence tomography (oct) for surgery and related systems and methods
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
KR102077105B1 (ko) * 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
JP6314394B2 (ja) 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
JP2015109092A (ja) * 2014-12-17 2015-06-11 京セラ株式会社 表示機器
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6336930B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336929B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
CA2882968C (en) * 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
JP6328579B2 (ja) * 2015-03-13 2018-05-23 富士フイルム株式会社 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
JP6742701B2 (ja) * 2015-07-06 2020-08-19 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
KR20170025656A (ko) * 2015-08-31 2017-03-08 엘지전자 주식회사 가상 현실 기기 및 그의 렌더링 방법
CN105869214A (zh) * 2015-11-26 2016-08-17 乐视致新电子科技（天津）有限公司 一种基于虚拟现实设备的视锥体裁剪方法及装置
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
EP3455700A1 (en) 2016-05-12 2019-03-20 Google LLC System and method relating to movement in a virtual reality environment
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
CN105957000A (zh) * 2016-06-16 2016-09-21 北京银河宇科技股份有限公司 用于实现艺术品虚拟展示的设备以及方法
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
CN106249875A (zh) * 2016-07-15 2016-12-21 深圳奥比中光科技有限公司 体感交互方法以及设备
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
WO2018194965A1 (en) * 2017-04-17 2018-10-25 Siemens Aktiengesellschaft Mixed reality assisted spatial programming of robotic systems
US9959905B1 (en) 2017-05-05 2018-05-01 Torus Media Labs Inc. Methods and systems for 360-degree video post-production
US10713485B2 (en) 2017-06-30 2020-07-14 International Business Machines Corporation Object storage and retrieval based upon context
TWI643094B (zh) * 2017-07-03 2018-12-01 拓集科技股份有限公司 可變內容之虛擬實境方法及系統，及其相關電腦程式產品
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US10751877B2 (en) * 2017-12-31 2020-08-25 Abb Schweiz Ag Industrial robot training using mixed reality
US11741845B2 (en) * 2018-04-06 2023-08-29 David Merwin Immersive language learning system and method
CN110634048A (zh) * 2019-09-05 2019-12-31 北京无限光场科技有限公司 一种信息显示方法、装置、终端设备及介质
CN113129358A (zh) * 2019-12-30 2021-07-16 北京外号信息技术有限公司 用于呈现虚拟对象的方法和***

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06143161A (ja) * 1992-10-29 1994-05-24 Kobe Steel Ltd マニピュレータの制御方法及びその装置
US5590062A (en) * 1993-07-02 1996-12-31 Matsushita Electric Industrial Co., Ltd. Simulator for producing various living environments mainly for visual perception
US5803738A (en) * 1994-06-24 1998-09-08 Cgsd Corporation Apparatus for robotic force simulation
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
SE0102584D0 (sv) * 2001-07-23 2001-07-23 Ck Man Ab Sätt och anordning för bildpresentation
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
JP2005339377A (ja) * 2004-05-28 2005-12-08 Canon Inc 画像処理方法、画像処理装置
JP2006150567A (ja) * 2004-12-01 2006-06-15 Toyota Motor Corp ロボットの安定化制御装置
JP4677281B2 (ja) * 2005-05-11 2011-04-27 キヤノン株式会社 画像処理方法、画像処理装置
CN101273368A (zh) * 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
US8157651B2 (en) * 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8248462B2 (en) * 2006-12-15 2012-08-21 The Board Of Trustees Of The University Of Illinois Dynamic parallax barrier autosteroscopic display system and method
US20090305204A1 (en) * 2008-06-06 2009-12-10 Informa Systems Inc relatively low-cost virtual reality system, method, and program product to perform training

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258338A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和***
CN103258339A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 基于实况记录和基于计算机图形的媒体流的实时合成
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
CN106463001A (zh) * 2014-06-13 2017-02-22 三菱电机株式会社 信息重叠图像显示装置和信息重叠图像显示程序
CN106463001B (zh) * 2014-06-13 2018-06-12 三菱电机株式会社 信息重叠图像显示装置
CN105224070A (zh) * 2014-06-26 2016-01-06 阿迪达斯股份公司 体育活动平视显示器***和方法
US10715759B2 (en) 2014-06-26 2020-07-14 Adidas Ag Athletic activity heads up display systems and methods
CN106796446A (zh) * 2014-08-04 2017-05-31 惠普发展公司，有限责任合伙企业 工作空间元数据管理
CN106796446B (zh) * 2014-08-04 2020-05-12 惠普发展公司，有限责任合伙企业 工作空间元数据管理
CN105160942A (zh) * 2015-08-17 2015-12-16 武汉理工大学 面向船舶可视导航的通航环境可视化表示方法
CN109478769A (zh) * 2016-07-26 2019-03-15 三菱电机株式会社 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
CN109863538A (zh) * 2016-08-26 2019-06-07 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法
CN109863538B (zh) * 2016-08-26 2023-10-27 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法
CN108014492B (zh) * 2016-11-01 2021-01-26 宏达国际电子股份有限公司 虚拟实境互动处理方法及电子装置
CN108014492A (zh) * 2016-11-01 2018-05-11 宏达国际电子股份有限公司 虚拟实境互动处理方法及电子装置
CN106406543A (zh) * 2016-11-23 2017-02-15 长春中国光学科学技术馆 人眼控制vr场景变换装置
CN108614636A (zh) * 2016-12-21 2018-10-02 北京灵境世界科技有限公司 一种3d实景vr制作方法
CN110476168A (zh) * 2017-04-04 2019-11-19 优森公司 用于手部跟踪的方法和***
CN110476168B (zh) * 2017-04-04 2023-04-18 优森公司 用于手部跟踪的方法和***
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互***、头戴显示装置、视觉交互装置及计算机可读介质
CN108492657A (zh) * 2018-03-20 2018-09-04 天津工业大学 一种用于颞骨手术术前培训的混合现实模拟***
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及***
CN111317490A (zh) * 2020-02-25 2020-06-23 京东方科技集团股份有限公司 一种远程操作控制***及远程操作控制方法
CN111887990A (zh) * 2020-08-06 2020-11-06 杭州湖西云百生科技有限公司 基于5g技术的远程手术导航云桌面***

Also Published As

Publication number Publication date
JP2011521318A (ja) 2011-07-21
CA2721107A1 (en) 2009-10-22
IL208649A0 (en) 2010-12-30
US20110029903A1 (en) 2011-02-03
EP2286316A1 (en) 2011-02-23
WO2009127701A1 (en) 2009-10-22
NL1035303C2 (nl) 2009-10-19

Similar Documents

Publication Publication Date Title
CN102047199A (zh) 交互式虚拟现实图像生成***
Erolin Interactive 3D digital models for anatomy and medical education
US10893219B2 (en) System and method for acquiring virtual and augmented reality scenes by a user
Craig Understanding augmented reality: Concepts and applications
Suma et al. Leveraging change blindness for redirection in virtual environments
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及***
CN116310218A (zh) 表面建模***和方法
Forte et al. Cyberarchaeology: Experimenting with teleimmersive archaeology
JP2008009646A (ja) 画像処理装置、画像処理方法
Spiriev et al. Three-dimensional immersive photorealistic layered dissection of superficial and deep back muscles: anatomical study
Blanco Pons et al. Review of augmented reality and virtual reality techniques in rock art
Saggio et al. Augmented reality for restoration/reconstruction of artefacts with artistic or historical value
Yadav et al. Augmented Reality and its Science
Bhowmik Sensification of computing: adding natural sensing and perception capabilities to machines
CN109840943B (zh) 三维可视化分析方法及***
Saracini et al. Stereoscopy does not improve metric distance estimations in virtual environments
Christou et al. Using realistic virtual environments in the study of spatial encoding
Mihelj et al. Augmented reality
Zhang et al. An efficient method for creating virtual spaces for virtual reality
Fabri et al. Virtual and augmented reality
Chung et al. Optimizing camera setup for in-home first-person rendering mixed reality gaming system
Huang et al. 8.2: Anatomy Education Method using Autostereoscopic 3D Image Overlay and Mid‐Air Augmented Reality Interaction
Grochulla et al. Perceived spatial presence and body orientation affect the recall of out-of-sight places in an immersive sketching experiment
US20170052684A1 (en) Display control apparatus, display control method, and program
Schmidt Blended Spaces: Perception and Interaction in Projection-Based Spatial Augmented Reality Environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110504