CN1604026A - 图像显示方法和图像显示*** - Google Patents

Abstract

由图像输入装置俘获包括基于三维CAD数据创建的简单原型的真实空间图像。位置/方向测量装置测量图像输入装置和简单原型的和方向。信息处理器俘获表示由图像输入装置102俘获的图像中的简单原型的位置和方向的位置/方向信息。信息处理器进一步从图像抽取头部区域，再现简单原型上的三维计算机图形图像，在基于三维CAD数据的位置/方向信息的图像中排除所抽取的手部区域，以及合成图像和三维计算机图形图像。在这里，简单原型具有与手部区域的颜色不同的颜色。

Description

图像显示方法和图像显示***

技术领域

本发明涉及用于以指定视点，向观察者提供真实空间图像信息上的虚拟空间图像信息的图像显示***和图像显示方法。

背景技术

至今，混合现实***通过将真实空间图像和根据用户视点和用户观察方向创建的虚拟空间图像合并，为用户提供合成图像。在日本公开专利No.11-136706中公开的混合现实***可以为观察者提供虚拟物体真正存在于真实空间中的感觉以致用户可以通过真实大小的感觉，执行比传统的虚拟现实***(VR)更真实的观察。

另一方面，迄今为止，在设计/制造领域中，使用三维CAS(将称为3D-CAD)的设计形状和创作设计正成为主流。用于评价由3D-CAD设计的物体的主要方法包括用于可视地评价由3D-CAD创建的、在计算机屏幕上显示为三维计算机图形(在下文中称为3D-CD)的数据(立体数据)的方法以及用于通过使用用于可视和触觉评价的快速原型制作装置，创建简单的原型(简单的实体模型)的方法。

然而，在计算机屏幕上，将3D-CAD数据显示为3D-CG的方法可以提供虚拟空间的评价，但不能提供具有实际大小感觉的真实空间中的物体的评价。通过使用快速原型制作装置创建的简单原型(简单实体模型)的方法对识别粗略形状很有效，但由于处理精确度、材料等等的限制，不能重构在3D-CAD下设计的详细信息，诸如设计和/形状细节和颜色。因此，需要用于以更完善的形式评价设计数据的方法。

发明内容

本发明考虑到该问题而作出。因此，本发明的目的是通过使用简单原型，允许以更完善的形式评价设计。

为实现该目的，本发明的一个方面包括：

输入步骤，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括基于三维CAD数据创建的实体模型；

测量步骤，用于测量图像摄取设备和实体模型的位置和方向以及获得表示所拍摄图像中实体模型的位置和方向的位置/方向信息；

区域抽取步骤，用于从所拍摄图像抽取包括预定颜色的区域；以及

合并步骤，用于在没有由区域抽取步骤抽取的区域的情况下，在真实空间图像中，基于位置/方向信息和三维CAD数据，在实体模型上再现三维计算机图形图像以及将所拍摄图像和三维计算机图形图像合并。在这里，实体模型具有与将由区域抽取步骤抽取的区域的颜色不同的颜色。

本发明的另一方面包括：

输入步骤，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括基于三维CAD数据创建的实体模型；

特征点抽取步骤，从真实空间图像抽取标记，标记位于实体模型的已知三维位置处；

测量步骤，用于测量图像摄取设备和实体模型的位置和方向，获得表示真实空间图像中的实体模型的位置和方向的位置/方向信息，以及基于由特征点抽取步骤抽取的标记的位置，校正位置/方向信息；以及

合成步骤，用于基于位置/方向信息和三维CAD数据，在通过输入步骤获得的图像中，在实体模型上再现三维计算机图形图像，以及将真实空间图像和三维计算机图形图像合并。在这里，实体模型上的标记的三维位置是关于实体模型上的标志的位置。

从下文参照附图的描述中，本发明的其他目的、特点和优点将变得更加清楚。

附图说明

图1是表示根据本发明的第一实施例的混合现实***的示意结构的图；

图2是表示头戴式视频图像输入/输出设备(HMD)的结构的图；

图3是表示根据第一实施例的信息处理器的结构的框图；

图4A至4D是分别表示根据第一实施例的手部区域抽取处理的例子的图；

图5是表示根据第一实施例的处理流程的图；

图6是表示附着到简单原型的标记例子的图；

图7A和7B是分别表示用于表示标记的方法的例子的图；

图8是表示用于计算标记的位置信息的方法的例子的图；

图9是表示根据第二实施例的信息处理器的结构的框图；

图10是表示根据第二实施例的处理流程的图；

图11是表示根据第三实施例的处理流程的图；

图12是表示根据第四实施例的信息处理器的结构的框图；

图13是表示根据第四实施例的处理流程的图；以及

图14是示例说明相对于特征点，校正位置/方向度量的图。

具体实施方式

下面将参考附图，描述本发明的优选实施例。

在下面将描述的、根据这一实施例的混合现实***中，在通过使用相同位置和方向信息，由快速原型制作装置从三维CAD数据创建的简单原型(简单实体模型)上显示转换三维CAD数据产生的三维CG(3D-CG)数据。因此，可以同时实现可视评价和触觉评价以便能以更完善的形式评价三维CAD数据。此外，在用于由3D-CAD创建的三维数据产生的简单原型的处理中，为易于准备重叠处理，可以处理简单原型的颜色和形状等等。

[第一实施例]

下面将描述根据第一实施例的混合现实***。混合现实***设置基于由3D-CAD创建的三维数据而创建的简单原型(简单实体模型)，以及在该简单原型上显示的用来便于在3D-CG数据上抽取对应于操作者的手的部分的背景的颜色。

图1表示根据第一实施例的***结构。

图1包括将戴在观察者的头部，用于观察由真实空间和虚拟空间图像的合成而产生的图像的头戴式图像输入/输出装置(简称为HMD的头戴显示器)。图1进一步包括磁性发射机(magnetic transmitter)200、磁性传感器201和202、位置/方向测量装置205、简单原型(简单实体模型)300和基座301。磁性发射机200产生磁场。磁性传感器201和202用来测量由磁性发射机200产生的磁场的变化。位置/方向测量装置205基于磁性传感器201和202的测量结果，测量磁性传感器201和202的位置和方向。磁性传感器201连接到HMD100上并用来计算观察者视点的位置和观察者观察方向。简单原型(简单实体模型)充当将由观察者的手握住并操作的操作单元。与HMD100一样，磁性传感器202包括在简单原型300中。位置/方向测量装置205基于来自磁性传感器202的测量结果，计算简单原型300的位置和方向。基座301用于观察简单原型300。

图1进一步包括图像显示装置101、图像输入装置102和信息处理器400。图像显示装置101包含在HMD100中。用于左右眼的一对图像输入装置102包含在HMD100中。信息处理器400根据由位置/方向测量装置205计算的位置/方向信息，创建CG图像，将CG图像放在由HMD100的图像输入装置102输入的图像上，以及将最终合成的图像输出到HMD100的图像显示装置101上。

接着，将参考图2来描述HMD100的更具体结构。图2包括也在图1中示出的图像显示装置101和自由面棱镜(free form surfaceprism)(在下文中称为FFS棱镜)103。图像显示装置包括约0.5至几英寸小的液晶显示设备。FFS棱镜103作为用于放大图像显示装置101上的图像的透镜。在这种结构下，可以将在图像显示装置101上显示的图像提供为例如在观察者前2米距离处的90英寸图像。

图2进一步包括也在图1中示出的图像输入装置102和图像摄取***棱镜104。图像输入装置102包括图像摄取设备，诸如CCD照相机和CMOS照相机。图像摄取***棱镜104充当用于将真实空间中的光会聚到图像输入装置102中的透镜。图像摄取***棱镜104位于FFS棱镜103外以便两个棱镜的光轴可以相同。因此，可以消除由图像输入装置102输入的图像和在图像显示装置101上显示的图像间的视差，并且能够正常地重构真实空间的图像。

接着，将参考图3描述图1中信息处理器400的具体结构。

信息处理器400包括图像俘获部件401L和401R、位置/方向信息输入部件404及位置和方向计算部件405。图像俘获部件401L和401R俘获从图像输入装置102输入的图像数据以及将图像数据的数字信号提供到信息处理器400中。位置/方向信息输入部件404将来自位置/方向测量装置205的HMD100和简单300原型的位置/方向数据俘获到信息处理器400中。位置/方向计算部件405基于从位置/方向输入部件404输入的数据，计算HMD100和简单原型300间的相对位置关系。

信息处理器400进一步包括将放在简单原型300上的3D-CG再现数据306和CG再现部件407。CG再现部件407基于由位置/方向计算部件405计算的HMD100和简单原型300间的相对位置关系，计算将用于再现CG数据的位置、大小、角度(透视)等等。CG再现部件407基于计算结果，再现3D-CG再现数据406。

信息处理器400进一步包括图像合成部件402L和402R以及图像创建部件403L和403R。图像合成部件402L和402R将由CG再现部件407创建的CG图像放在由图像俘获部件401L和401R俘获的真实空间的图像数据上。图像创建部件403L和403R将合成图像转换成模拟数据以及将模拟数据输出到图像显示装置101。

信息处理器400进一步包括手部区域抽取部件420。手部区域抽取部件420基于手部颜色信息记录数据421，从由图像俘获部件401L和401R俘获的真实空间图像数据抽取手部区域并创建屏蔽图像。现在，将参考图4A至4D，详细地描述手部区域抽取部件420的示例性处理。

图像合成部件402通过虚拟空间图像(CG图像)放在(写)在真实空间图像数据上来创建合成图像。在这种情况下，由于在CG图像前将要实际放置的真实物体上写CG图像，在CG图像和真实物体间可能出现深度偏差。

图4A表示由图像输入装置102输入的真实空间图像数据的例子以及是由观察者的手握住的简单原型的图像。在简单原型之前存在有手的一部分(拇指部分)。图4B是合成图像，其中将对应于简单原型的CG图像放在图4A中的图像上。换句话说，由CG图像遮掩应当在简单原型之前的部分手，以及出现深度偏差。由此，观察者会感觉到在图像中一些东西是错的。

根据第一实施例的混合现实***可以使用在信息处理器400中保存的真实空间图像数据，通过图像处理，克服如上所述的深度偏差。换句话说，通过执行图像处理，仅从图像输入装置102输入的图像数据(图4A)抽取手部区域。由所抽取的手部区域创建屏蔽图像(图4C，以及创建用于在屏蔽图像中指定的无手部区域的CG图像。将CG图像放在真实空间图像上。由此，可以在简单原型之前显示手部区域，以及可以消除深度方面出现差错的感觉。

根据这一实施例，当操作者用手握住简单原型300时，用颜色，诸如蓝色给简单原型300着色，其色调与手部颜色的色调大不相同，以致可以从真实空间图像信息以高可靠性抽取对应于手的部分。真实空间图像信息还包括简单原型300的背景的真实对象(诸如放置简单原型300的基座301和周围屏幕)以及观察者的手和简单原型300。根据这一实施例，为了从真实空间图像信息以高可靠性抽取对应于手的部分，用颜色给简单原型300的背景的真实物体着色，其色调与手部颜色的色调大不相同。例如，可以用绿色对真实物体着色，或可以在其上覆盖绿色织物或纸。

此外，当背景中的简单原型300和真实物体具有基本上相同的颜色(诸如蓝)时，可以更容易创建手部颜色信息记录数据421。在这种情况下，手部颜色信息记录数据421用于从作为数字数据输入的真实空间图像信息抽取对应于观察者的手部的部分。换句话说，当简单原型300和背景具有不同颜色时，考虑到色空间中的具有颜色区域，必须记录将抽取的手部颜色区域。另一方面，当简单原型300和背景具有基本上相同的颜色时，考虑到色空间中具有颜色的区域，可以仅记录将抽取的手部颜色区域。下面将进一步描述这一点。由于通过指定色空间中的区域而记录颜色，将抽取的手部颜色区域略为根据背景颜色而定。换句话说，当背景颜色和手部颜色具有显著不同的色调时，可以粗略地定义将抽取的手部颜色区域。另一方面，当背景颜色和手部颜色具有相近的色调时，必须更精确地定义将抽取的手部颜色区域。否则，将背景颜色(或其一部分)抽取为手部颜色。因此，当背景和简单原型不具有基本上相同的颜色时，必须比背景和简单原型具有基本上相同的颜色的情形更精确地定义将抽取的手部颜色区域。

当简单原型和背景具有基本上相同的颜色(诸如蓝)时，简单原型和背景的真实物体间的边界线(轮廓)变得视觉上不清楚。因此，即使当相对于简单原型，稍微移动CG数据时，该移动在视觉上是不明显的。

将参考图5描述根据这一实施例的具有上述结构的信息处理器400中的处理流程。首先，将参考图5的左手边上的处理步骤来描述由3D-CAD数据创建简单原型300和3D-CG再现数据406的步骤。

为通过使用一般的3D-CAD***设计形态或创作设计(步骤1010)，通常将设计数据存储为所使用的3D-CAD***所固有的立体数据。通过使用例如快速原型制作装置，由立体数据创建简单原型300(步骤1110)。另一方面，3D立体数据由用于设计部件的一组几何参数表示并且不能在CG中原样再现。因此，将3D立体数据转换成适合于再现3D-CG的数据格式(诸如VRML)(步骤1210)。在根据这一实施例的混合现实***中，通过使用由该转换产生的3D-CG再现数据406来创建虚拟空间。

接着，将参考图5的右手边的处理步骤来描述根据这一实施例的混合现实***的处理步骤。

首先，在步骤2010前的步骤(未示出)测量简单原型300的初始位置和方向。例如，在预定位置和以预定方向固定简单原型300固定，以及读取此时磁性传感器202的位置和方向的测量值。然后，测量值和预定值之间的差值被处理为“传感器连接位置和方向”。位置/方向测量装置205使用数据和磁性发射机200和磁性传感器202的初始位置和方向来测量简单原型300的真实空间位置和方向(步骤2010)。类似地，位置/方向测量装置205使用磁性发射机200和磁性传感器201的数据来测量安装在真实空间中的观察者上的HMD100的位置和方向(步骤2020)。通过位置/方向信息输入装置404，将由位置/方向测量装置205提供的测量数据俘获到信息处理器中。然后，位置/方向计算部件405计算HMD100和简单原型300间的相对位置/方向关系(步骤2030)。

另一方面，与步骤2010、2020和2030并行，通过图像俘获部件400，将来自HMD装置100的图像输入装置101的真实空间图像俘获到信息处理器400中。

在步骤3010，信息处理器400的图像俘获部件401俘获真实空间图像数据。然后，手部区域抽取部件420将像素的颜色信息与预先通过手部颜色信息记录数据421记录的手部区域的颜色信息进行比较。如果像素的颜色信息与手部区域的颜色信息一致，把像素颜色判断为人的手的颜色。因此，将像素判断为手部区域(步骤5010)。然后，在所有像素上执行用于属于手部区域的判断。仅抽取判断为属于手部区域的像素，以及仅将手部区域的数据记录在存储器，诸如视频缓冲器中。因此，创建屏蔽图像(步骤5020)。

CG再现部件407通过使用在步骤2030计算的相对位置关系和3D-CG再现数据406，再现CG以及将CG存储在存储器(未示出)，诸如视频缓冲器中(步骤2040)。在这种情况下，如上所述，CG再现部件407不再现屏蔽图像中手部区域上的CG图像。

另一方面，将在步骤3010俘获的真实空间图像数据也存储在存储器，诸如视频缓冲器中(步骤3020)。图像合成部件402L和402R将在步骤2040创建的CG图像放在步骤3020存储的图像数据上(步骤4010)。例如，通过图像创建部件403将合成图像转换成模拟视频信号并在HMD100的图像显示装置101上显示(步骤4020)。由于合成图像不包括屏蔽图像的手部区域部件中的CG图像，可以获得具有图4D所示的自然深度的图像。

在图像显示装置101中的图像更新周期期间，或在CG再现的步骤2040的更新周期期间，重复步骤2010至4020以便可以实时提供信息。根据这一实施例的处理结果的例子如图4A至4D所示。

尽管根据第一实施例，磁性装置用作用于测量位置和方向的单元，但本发明不限于此。很显然，可以使用诸如光学位置/方向测量装置的另一单元。

如上所述，根据第一实施例，在具有通过相同三维数据创建的简单原型上，由3D-CAD创建的三维数据创建的3D-CG数据的显示器上，将从图像抽取的预定区域的颜色(诸如手部区域的颜色)不同于简单原型300和背景物体的颜色(诸如互补色)。最好，简单原型300和背景物体的颜色基本上相同。因此，可以更容易和安全地实现区域抽取。换句话说，可以更容易执行用于将3D-CG数据放在简单原型300上的准备(包括记录手部颜色信息记录数据)。

[第二实施例]

根据第一实施例，例如，磁性执行位置/方向测量。然而，在磁性位置/方向测量中，一些环境可能导致用于测量的精度的不稳定性。当在磁性发射机附近存在金属物体时，例如，磁场会变得扰动，这会导致磁性传感器输出不稳定值。此外，当磁性发射机和磁性传感器间的距离增加时，测量精度会减少，这是一个问题。不仅在磁性传感器而且在各种测量装置中产生测量精度的问题。

因此，根据第二实施例的混合现实***基于信息处理器400中的真实空间图像数据，校正位置和方向以便提高测量精度。例如，如图6所示，将用于图像识别的标记(marker)附着到在简单原型300上并用作特征点。可以使用各种标记，诸如按位置/方向算法的形状标记310和颜色标记311。此外，根据第二实施例，向简单原型300提供标记并用作用于连接位置/方向校正标记的参考。因此，可以容易获得用于所附着标记的位置信息。

在这里，将描述通过使用标记(在下文中，称为特征点)校正位置和方向的方法。在这里，将用于由一个特征点校正用于图像输入部件(照相机)的外部参数的方法描述为一般校正方法。在这里，特征点可以是放在真实空间中的简单原型上的不干胶贴纸类的标记。在这种情况下，不干胶贴纸类标记具有有关人工指定颜色和形状的信息。另外，特征点可以是以简单原型形式的特征部件。

图14表示用于图像输入装置(照相机)的外部参数(表示位置和方向的参数)的一般校正方法的示意图。在图14中，点A是指基于图像输入装置(照相机)和简单原型300的位置和方向所期望的特征点的位置，点B是指特征点的实际位置，以及点C是指图像输入装置(照相机)的视点的位置。在这种情况下，用点A和B表示的位置是照相机坐标***中的位置，以及点C是图像输入装置(照相机)的坐标系的原点。点P是指在图像平面上点A的位置，以及点Q是指在图像平面上点B的位置。在这里，如图14所示，(x_p，y_p)以及(x_q，y_q)分别是点P和Q的坐标，w和h分别是图像平面的宽度和高度，以及d是照相机焦距(从图像平面到图像输入装置的距离)。此外，v₁是从点C到点Q的矢量，v₂是从点C到点P的矢量，以及θ是v₁和v₂间的角度。

首先，将描述通过使用一个特征点，改变从点B方向到点A方向的方向θ的方法(即，通过使用旋转图像输入装置的校正方法)。

通过由这些设定值计算v₁和v₂，分向量可以表示为：

[EQ1]

$v_1=(x_q-\frac{w}{2},y_q-\frac{h}{2},-d)$ …(1)

$v_2=(x_p-\frac{w}{2},y_p-\frac{h}{2},-d)$

接着，通过下述方程式将矢量标准化为具有量值1的矢量：

[EQ2]

$v_1^{\′}=\frac{v_1}{\left|v_1\right|}$ …(2)

$v_2^{\′}=\frac{v_2}{\left|v_2\right|}$

在这里，当旋转图像输入装置(照相机)时，旋转轴垂直于具有矢量v₁和v₂的平面，并且是通过照相机的视点的位置(点C)的直线。通过下述方程式，可以由矢量v₁和v₂的向量积计算旋转轴的方向矢量(实际上是标准化的一个矢量(v₁′，v₂′)：

[EQ3]

$v_x=v_1^{\′}\×v_2^{\′}---\left(3\right)$

在这里，v_x是旋转轴的方向矢量，以及(l，m，n)是指其分量。旋转角θ是通过矢量v₁和v₂形成的角度以及可以由下述方程式计算：

[EQ4]

$\mathrm{\θ}=\arccos (v_1^{\′}\·v_2^{\′})---\left(4\right)$

因此，可以通过下述方程式，计算将用于通过旋转图像输入装置校正的校正矩阵ΔM_c。

[EQ5]

${\mathrm{\ΔM}}_c=\left[\begin{array}{cccc}\mathrm{ll}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& \mathrm{ml}(1-\cos \mathrm{\θ})+n\sin \mathrm{\θ}& \mathrm{nl}(1-\cos \mathrm{\θ})+m\sin \mathrm{\θ}& 0\\ \mathrm{lm}(1-\cos \mathrm{\θ})+n\sin \mathrm{\θ}& \mathrm{mm}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& \mathrm{nm}(1-\cos \mathrm{\θ})+l\sin \mathrm{\θ}& 0\\ \ln (1-\cos \mathrm{\θ})+m\sin \mathrm{\θ}& \mathrm{mn}(1-\cos \mathrm{\θ})+l\sin \mathrm{\θ}& \mathrm{nn}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(5\right)$

通过将校正矩阵乘以表示图像输入装置的位置和方向的矩阵，可以校正图像输入装置的位置和方向。换句话说，在点Q的位置处显示点P，以及由图像平面上的位置和方向所期望的标记位置与真实标记位置一致。尽管上面描述了使用旋转图像输入装置(照相机)的校正方法，但也可以使用用于通过图像输入装置的平行运动，校正误差的方法。即使通过使用多个特征点的校正方法，也可以获得相同的效果，但在此将省略其描述。

用于贴上标记符的标记可以是一组交叉直线(图7A)或包括一组表示交点的点的校验模型(图7B)。通过交叉直线形成的角度不限于90度，而是可以是任何角度，诸如60度。当精确地预定用于贴上标记的位置时，可以仅向该点提供标记。

通过模型再现、模型凸出或凸出和下形成给出标记。当物体预先包括标记模型或形状时，不需要另一标记。

通过使用激光测量仪器，测量指定标记的位置信息。在这里，当在平面上的检验模型中整齐地对准标志(mark)时，如图7A和7B所示，需要测量在一条直线上三个点处的标记的位置信息。因此，可以容易计算整个标记的位置信息。例如，在图8中，当标记A、B和C的位置信息是X_A＝(X_A，Y_A，Z_A)、X_B＝(X_B，Y_B，Z_B)和X_C＝(X_C，Y_C，Z_C)时，通过下述方程式，可以计算标记D的位置信息：

X_D＝X_A+3×(X_B-X_A)+4×(X_C-X_A)    [A]

如上所述，给定在已知位置处的标记，以及基于该标记，贴上标志。因此，可以执行参考图14所述的校正，以及可以提供下述优点：

(1)即使当贴上多个标志时，“仅需要测量三个点处的标记”。因此，可以降低测量次数；以及

(2)当重新贴上标记时，易于由标记计算标志的位置。由此，不必再执行测量(这是一个优点，因为使用激光测量仪器的测量需要时间和工作)。

术语“标记的位置”和“标志的位置”是指在简单原型300中限定的坐标***中的标志和标记的位置。

接着，将参考图9和10描述根据第二实施例的混合现实***的结构和处理流程。为根据第一实施例的该结构(图3)的相同部件和处理(图5)指定相同的参考标号，并且将省略对其的详细描述。

标记检测部件410由通过图像俘获部件40L和401R输入的图像检测图6中所示的标记以及将检测结果(诸如标记的位置)传送到位置/方向计算部件405。位置/方向计算部件405基于来自标记检测部件410的检测结果和基于从位置/方向信息输入部件404输入的位置/方向信息检测的标记位置，创建校正信息。通过使用校正信息，校正和输出基于通过位置/方向信息输入部件404输入的位置/方向信息计算的简单原型300的位置和方向。

向通过快速原型制作装置从3D立体数据创建的简单原型300指定标志(步骤1111)。然后，通过激光测量仪器，测量标志的位置，以及记录最终标志位置信息(步骤1112)。然后，参考指定标志，贴上标记(步骤1120)。此外，参考标志位置信息，计算有关贴上标记的位置的信息并记录(步骤1130)。例如，将标记贴在如图8所示的给定标志的位置，通过上述[A]，计算标记位置。

在混合现实***的处理中，在步骤3010，将真实空间图像数据俘获在信息处理器400中。然后，标记检测部件410从真实空间图像数据抽取附着到在简单原型300上的标记的位置。通过使用在步骤1130预先存储的标记位置以及在步骤3011从图像数据抽取的位置，计算校正信息，以及通过所计算的校正信息，校正从位置/方向测量装置205输出的并俘获到信息处理器400中的测量结果(步骤2031)。然后，通过使用校正数据，执行CG再现(2040)。

尽管根据这一实施例，贴上与给予简单原型300的标志相关标记，但本发明不限于此。可以贴上与给予简单原型300的背景中的真实物体(诸如基座)的标志相关的标记。向背景中的简单原型和真实物体指定标志。

如上所述，根据第二实施例，可以向简单原型提供标志并用作用于贴上标记的参考。因此，可以获得所贴的标记的位置信息。换句话说，可以容易执行对于在简单原型上设置3D-CG数据的处理的准备(记录标记位置信息)。

[第三实施例]

根据第三实施例，通过向简单原型的3D-CAD数据提供标志形式数据，向根据第二实施例的简单原型(简单实体模型)提供标记。将参考图11描述根据第三实施例的处理流程。与根据第二实施例的处理(图10)相同的步骤由相同的参考标号所表示。根据第三实施例的混合实体***的结构与第二实施例的结构(图9)相同。

首先，使用三维CAD***1010来向3D-CAD立体数据提供标志形式数据(步骤1011)以及在其上记录位置信息(步骤1012)。换句话说，向3D-CAD立体数据提供标志作为3D-CAD立体数据的形式数据。在这里，标志形式数据可以包括多个交叉通道或表示交点的多个小孔或凸起(见图7A和7B)。在这种情况下，由交叉通道形成的角度不限于90度，而是可以是任何角度，诸如60度。很显然，当精确地确定贴上标记的位置时，可以仅向位置提供形式数据，诸如小孔和凸起。在这里，仅通过指定标记位置，可以在3D-CAD***1010中内置用于自动向预定位置提供预创建的形状数据的机构。

接着，在步骤1110中，在3D制模创建处理中，用于例如光制模的快速原型制作装置创建具有标志形状的简单原型300。换句话说，在简单原型300的表面上提供小的通道或小孔或凸起。例如，创建具有如图7A或7B所示的标志的简单原型。参考指定标志形状，将标记贴在简单原型300上(步骤1120)。

基于有关给予3D-CAD立体数据的标志形状数据的位置信息(在步骤1012记录)，计算有关贴到简单原型300的标记的位置信息并记录(步骤1130)。可以在3D-CAD***1010中容易计算指定“有关形状数据的位置信息)。例如，可以由离最近标志形状的绝对距离和/或离背景中的多个标志形状的距离比，易于计算有关标记的位置信息。

另一方面，由于不需要指定到3D-CG再现数据的标志，将没有标志形状数据的3D-CAD立体数据转换成适合于再现3D-CG的数据格式(诸如VRML)(步骤1210)。例如，对不指定到3D-CAD实体数据的3D-CG再现数据的形状数据，定义“无再现”标志。在3D-CG再现数据转换步骤1210中，仅将没有“无再现”标志的形状数据转换成3D-CG数据。

混合现实***通过使用由转换生成的3D-CG再现数据406，创建虚拟空间。混合虚拟***的处理与第二实施例相同。

根据第三实施例，标志形状数据被给予简单模型的3D-CAD数据并用作用于贴上标记的参考。然而，本发明不限于此。在简单原型的背景中，可以将标志形状数据指定到真实物体的3D-CAD数据(诸如基座)以及可以用作用于贴上标记的参考。可以向简单原型和背景中的真实物体的3D-CAD数据指定标志形状数据。

尽管根据第三实施例，将标志形状数据指定到3D-CAD数据，可以将用于仅通过指定有关3D-CAD数据的标志位置，自动地提供预定形状数据的机构内置在3D-CAD***1010中。例如，响应提供标志形状数据的指令，可以在预定为所需位置的下左角提供如图7A所示的具有方格图案的标志。

如上所述，通过向简单原型的3D-CAD数据提供标志形状数据以及将标志形状数据用作用于贴上标记的参考，根据第三实施例，可以容易获得有关所贴标记的位置信息。换句话说，可以易于执行用于处理重叠放置原型和3D-CG数据的准备(记录标记位置信息)。

[第四实施例]

第四实施例是混合现实***，其中通过指定3D-CAD数据中的传感器嵌入位置，在简单原型(简单实体模型)中创建传感器嵌入形状。

图12表示根据第四实施例的信息处理器400的具体结构。根据第四实施例的信息处理器400的结构与第一实施例相同(图3)。然而，由于根据这一实施例，不抽取手部区域，在此省略与手部区域抽取有关的元件(为手部区域抽取部件420和手部颜色信息记录数据421)。很显然，可以执行如在第一实施例中的手部区域抽取和/或如在第二实施例中的标记抽取。

接着，将参考图13描述根据第四实施例的处理流程。向与根据第一实施例的处理(图5)相同的步骤指定相同的标记。

首先，使用三维CAD***1010指定3D-CAD立体数据中的传感器嵌入位置和方向。作为传感器嵌入位置，例如，可以指定传感器的中心位置。换句话说，向3D-CAD立体数据指定传感器嵌入形状数据(步骤1013)，以及记录其位置信息和方向信息(步骤1014)。由此，将传感器嵌入形状数据指定到3D-CAD立体数据中。例如，用于在规定位置和以规定方向自动提供预创建传感器嵌入形状数据的机构可以内置在3D-CAD***1010中。然后，例如，快速原型制作装置创建具有传感器嵌入形状的简单原型300(步骤1110)。

另一方面，由于不需要向3D-CG再现数据提供传感器嵌入形状，在3D-CG再现数据转换步骤1210，将没有传感器嵌入形状数据的3D-CAD立体数据转换成适合于再现3D-CG的数据格式(诸如VRML)。由此，通过例如定义用于3D-CAD立体数据的传感器嵌入形状的“无再现”标志以及避免在3D-CG再现数据转换步骤1210转换具有“无再现”标志的数据，创建没有传感器再现形状的3D-CG再现数据406。

混合现实***通过使用由转换产生的3D-CG再现数据406产生虚拟空间。换句话说，使用在步骤1014记录的传感器位置信息来记录简单原型300的位置和方向(步骤2001)。然后，使用关于发射机200和传感器202的所记录初始位置和方向数据来测量真实空间中简单原型300的位置和方向(步骤2010)。根据第一至第三实施例，在步骤2010前的步骤测量简单原型300的初始位置和方向。例如，可以在预定位置和以预定方向固定简单原型300，以及读取此时的传感器的位置和方向测量值。测量值和预定值间的差值被处理为“所安装的传感器的位置和方向”。

如上所述，根据第四实施例，通过指定3D-CAD数据上的传感器嵌入形状，可以在简单原型中容易创建传感器嵌入形状。换句话说，由于可以比创建简单原型更容易创建传感器嵌入形状，可以容易执行用于重叠放置简单原型和3D-CG数据(创建传感器嵌入形状)的准备，因此创建传感器嵌入形状。

如上所述，根据上述实施例，易于执行用于使用混合现实***的准备以便执行通过使用相同位置和方向信息，将通过转换3D-CAD数据创建的3D-CG数据放在快速原型装置中，由相同的3D-CAD数据产生的简单原型(简单实体模型)上的处理。

即使通过将存储用于实现根据上述实施例的功能的软件的程序代码的存储介质提供到***或装置以及由***或装置中的计算机(或CPU或MPU)读取和执行存储在该存储介质中的程序代码，显然可以实现本发明的目的。

在这种情况下，从存储介质读取的程序代码实现根据上述实施例的功能，以及本发明包括存储程序代码的存储介质。

用于提供程序代码的存储介质可以是软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失存储卡或ROM。

很显然，根据本发明，计算机执行所读取的程序代码以便可以实现上述实施例的功能。此外，根据本发明，例如在计算机上操作的操作***(OS)基于来自程序代码的指令，可以执行部分或全部实际处理以便该处理可以实现根据上述实施例的功能。

此外，根据本发明，在将从存储介质读取的程序代码写入计算机中的功能扩展板或连接到计算机、CPU，例如功能扩展板中的功能扩展单元中的存储器中，或功能扩展单元基于来自程序代码的指令，执行部分或全部实际处理后以便处理可以实现根据上述实施例的该功能。

尽管参考当前所认为的最佳实施例描述了本发明，应理解到本发明不限于所公开的实施例。相反，本发明意图覆盖包括在附加权利要求的精神和范围内的各种改进和等效配置。下述权利要求书的范围应符合最广泛的解释以便包含所有这些改进和等效结构和功能。

Claims (12)

1.一种用于以指定视点向观察者提供通过将虚拟空间图像和真实空间的图像合并生成的合成图像的图像显示方法，所述方法包括：

a)输入步骤，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括基于三维CAD数据创建的实体模型；

b)测量步骤，用于测量所述图像摄取设备和实体模型的位置和方向以及获得表示所述真实空间图像中所述实体模型的位置和方向的位置/方向信息；

c)区域抽取步骤，用于从所述真实空间图像抽取包括预定颜色的区域；以及

d)合成步骤，用于在没有由所述区域抽取步骤抽取的区域的情况下，在所述真实空间图像中，基于所述位置/方向信息和所述三维CAD数据，在所述实体模型上再现三维计算机图形图像以及将所述真实空间图像和所述三维计算机图形图像合并，

其特征在于，所述模型具有与将由所述区域抽取步骤抽取的区域的颜色不同的颜色。

2.如权利要求1所述的图像显示方法，其特征在于，所述实体模型具有将在所述区域抽取步骤抽取的区域的颜色的互补色。

3.如权利要求1所述的图像显示方法，其特征在于，所述实体模型的颜色基本上与将包括在所述真实空间图像的背景中的真实物体的颜色相同。

4.如权利要求1所述的图像显示方法，其特征在于，将包括在所述真实空间图像中的所述背景的真实物体的颜色不同于所述实体模型的颜色。

5.一种用于以指定视点向观察者提供通过将虚拟空间图像和真实空间的图像合并生成的合成图像的图像显示方法，所述方法包括：

a)输入步骤，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括基于三维CAD数据创建的实体模型；

b)特征点抽取步骤，用于从所述真实空间图像抽取标记，所述标记位于所述实体模型的已知三维位置处；

c)测量步骤，用于测量所述图像摄取设备和实体模型的位置和方向，获得表示所述真实空间图像中的所述实体模型的位置和方向的位置/方向信息，以及基于由所述特征点抽取步骤抽取的标记的位置，校正所述位置/方向信息；以及

d)合成步骤，用于基于所述位置/方向信息和所述三维CAD数据，在通过所述输入步骤获得的图像中，在所述实体模型上再现三维计算机图形图像，以及将所述真实空间图像和所述三维计算机图形图像合并，

其特征在于，所述实体模型上的标记的三维位置是关于所述实体模型上的标志的位置。

6.如权利要求5所述的图像显示方法，进一步包括用于测量所述实体模型上的标志的位置的测量步骤。

7.如权利要求5所述的图像显示方法，进一步包括：

创建步骤，用于基于包括标志的位置/形状数据的三维CAD数据，创建实体模型以便创建在其上具有所述标志的模型，

其特征在于，所述合成步骤基于排除所述标志的位置/形状数据的三维CAD数据，再现三维计算机图形图像，以及基于所述位置/形状数据，获得所述标志的位置。

8.如权利要求7所述的图像显示方法，其特征在于，通过指定用于创建所述三维CAD数据的三维CAD***中标志的位置，给出所述位置/形状数据。

9.一种用于以指定视点向观察者提供通过将虚拟空间图像和真实空间的图像合并生成的合成图像的图像显示方法，所述方法包括：

a)创建步骤，用于基于具有形状数据的三维CAD数据，创建具有附着部件的实体模型，所述形状数据用于形成用于位置/方向测量装置的所述附着部件；

b)输入步骤，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括所述模型；

c)测量步骤，用于测量所述图像摄取设备和实体模型的位置和方向以及获得表示所述真实空间图像中所述实体模型的位置和方向的位置/方向信息；以及

d)合成步骤，用于基于所述位置/方向信息和排除用于形成所述附着部件的形状数据的所述三维CAD数据，在所述真实空间图像中，在所述实体模型上再现三维计算机图形图像，以及将所述真实空间图像和所述三维计算机图形图像合并。

10.一种用于以指定视点向观察者提供通过将虚拟空间图像和真实空间的图像合并生成的合成图像的图像显示***，所述***包括：

a)输入单元，用于输入由图像摄取设备俘获的真实空间，真实空间图像信息包括基于三维CAD数据创建的实体模型；

b)测量单元，用于测量所述图像摄取设备和实体模型的位置和方向以及获得表示所述所拍摄的图像中所述实体模型的位置和方向的位置/方向信息；

c)区域抽取单元，用于从所述真实空间图像抽取包括预定颜色的区域；以及

d)合成单元，用于在没有由所述区域抽取单元抽取的区域的情况下，在所述真实空间图像中，基于所述位置/方向信息和所述三维CAD数据，在所述实体模型上再现三维计算机图形图像，以及将所述真实空间图像和所述三维计算机图形图像合并，

其特征在于，所述实体模型具有与将由所述区域抽取单元抽取的区域的颜色不同的颜色。

11.一种用于以指定视点向观察者提供通过将虚拟空间图像和真实空间的图像合并生成的合成图像的图像显示***，所述***包括：

a)输入单元，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括基于三维CAD数据创建的实体模型；

b)特征点抽取单元，用于从所述真实空间图像抽取标记，所述标记位于所述模型的已知三维位置处；

c)测量单元，用于测量所述图像摄取设备和实体模型的位置和方向，获得表示所述真实空间图像中的所述实体模型的位置和方向的位置/方向信息，以及基于由所述特征点抽取单元抽取的标记的位置，校正所述位置/方向信息；以及

d)合成单元，用于基于所述位置/方向信息和所述三维CAD数据，在通过所述图像摄取设备获得的图像中，在所述实体模型上，再现三维计算机图形图像，以及将所述真实空间图像和所述三维计算机图形图像合并，

其特征在于，所述实体模型上的标记的三维位置是关于所述实体模型上的标志的位置。

12.一种用于以指定视点向观察者提供通过将虚拟空间图像和真实空间的图像合并生成的合成图像的图像显示***，所述***包括：

a)创建单元，用于基于具有形状数据的三维CAD数据，创建具有附着部件的实体模型，所述形状数据用于形成用于位置/方向测量装置的所述附着部件；

b)输入单元，用于输入由图像摄取设备俘获的真实空间图像，真实空间图像信息包括所述模型；

c)测量单元，用于测量所述图像摄取设备和实体模型的位置和方向以及获得表示所拍摄图像中所述模型的位置和方向的位置/方向信息；以及

d)合成单元，用于基于所述位置/方向信息和排除用于形成所述附着部件的形状数据的所述三维CAD数据，在所述真实空间图像中，在所述实体模型上再现三维计算机图形图像，以及将所述真实空间图像和所述三维计算机图形图像合并。

Images