CN1210543C - 传感器校准装置及方法、程序、信息处理方法及装置 - Google Patents

Abstract

提供一种传感器校准装置和传感器校准方法。校准信息计算部340使用世界坐标保持部310保持的多个特征点的世界坐标系中的位置数据和按来自指示部350的定时输入数据管理部330的位置姿势传感器130的测量值，计算按上述定时由摄影装置得到的图像中包含的特征点的第一坐标，并且输入由图像坐标取得部320取得的按上述定时由摄影装置得到的图像中包含的特征点的第二坐标，使用第一坐标和第二坐标求出校准信息。

Description

传感器校准装置及方法、程序、信息处理方法及装置

技术领域

本发明涉及为了使用位置姿势传感器测量摄影装置的位置姿势而进行位置姿势传感器的校准的技术、求出变换位置姿势传感器的输出值时使用的参数的技术。

背景技术

近年来，关于以现实空间和虚拟空间没有接缝的结合为目的的复合现实感的研究盛行。进行复合现实感的呈现的图像显示装置通过在由摄像机等摄影装置摄影的现实空间的图像上重叠显示虚拟空间(例如计算机图形描绘的虚拟物体、文字信息等)的图像来实现。

作为这种图像显示装置的应用，期待有在患者的体表面上重叠显示体内情况的手术支援、与浮游于现实空间中的虚拟的敌人对战的复合现实感游戏等的与迄今的虚拟现实感不同的新的领域。

针对这些应用，公共要求是能如何正确进行现实空间和虚拟空间之间的对位，进行比原来多的处理。

复合现实感中的对位问题归结于求出现实空间中设定的世界坐标系(后面简称世界坐标系)中的摄影装置的三维位置姿势的问题。作为解决这些问题的方法，一般利用磁传感器、超声波传感器等的三维位置姿势传感器来进行。

一般地，三维位置姿势传感器输出的输出值是传感器独自定义的传感器坐标系的观测点的位置姿势，并非世界坐标系的摄影装置的位置姿势。以例如Polhemus公司的磁传感器FASTRAK为例，作为传感器输出得到的是发射器定义的坐标系的接收器的位置姿势。因此，不能将传感器输出值原样用作世界坐标系的摄影装置的位置姿势，需要进行某些校准。具体说，需要把观测点的位置姿势变换为摄影装置的位置姿势的坐标变换和把传感器坐标系的位置姿势变换为世界坐标系的位置姿势的坐标变换。本说明书中，把将传感器输出值变换为世界坐标系的摄影装置的位置姿势的信息叫作校准信息。

图1是表示进行复合现实感呈现的一般图像显示装置的功能构成的框图。

头部安装部100上固定着显示画面110和摄像机120。未示出的用户安装头部安装部100使得显示画面110位于眼前时，用户眼前的情景由摄像机120摄像。因此，假想把摄像机120摄像的图像显示在显示画面110上时，如果不安装头部安装部100而用户用裸眼观察到的眼前情景，现经摄像机120和显示画面110观察。

位置姿势传感器130是测量固定于头部安装部100的观测点的传感器坐标系的位置姿势的装置，例如是由接收器131、发射器133、传感器控制部132构成的作为磁传感器的Polhemus公司的FASTRAK构成的。接收器131作为观测点固定于头部安装部100，传感器控制部132测量以发射器133的位置姿势为基准的传感器坐标系的接收器131的位置姿势并输出它。

另一方面，运算处理部170由位置姿势信息变换部140、存储器150、图像生成部160构成，例如可由1台通用计算机构成。位置姿势信息变换部140根据存储器150保存的校准信息对位置姿势传感器130输入的测量值进行变换，计算世界坐标系的摄像机120的位置姿势并将其作为位置姿势信息输出。图像生成部160根据从位置姿势信息变换部140输入的位置姿势信息生成虚拟图像，将其重叠在摄像机120摄像的实际图像上并输出。显示画面110从图像生成部160输入图像并显示它。通过以上构成，未示出的用户会有如同眼前的现实空间中存在虚拟物体的感觉。

接着使用图2说明在位置姿势信息变换部140中计算世界坐标系的摄像机的位置姿势的方法。图2是说明计算世界坐标系的摄像机的位置姿势的方法的图。

该图中，以世界坐标系200的传感器坐标系210(以发射器133的位置为原点的坐标系)的位置姿势为M_TW、以传感器坐标系210的位置姿势传感器130的观测点(即接收器131)的位置姿势为M_ST、以从位置姿势传感器130的观测点看到的摄像机120的位置姿势为M_CS、以世界坐标系200的摄像机120的位置姿势为M_CW。本说明书中，用从坐标系A向坐标系B(以物体B为基准的本地坐标系)的观察(viewing)变换矩阵M_BA(4×4)表示坐标系A的物体B的位置姿势。

此时，M_CW由下式表示：

M_CW＝M_CS·M_ST·M_TW                  (式A)

其中，M_ST是从位置姿势传感器130对位置姿势信息变换部140的输入、M_CW是从位置姿势信息变换部140对图像生成部160的输出，M_CS、M_TW相当于将M_ST变换为M_CW用的必要校准信息。位置姿势信息变换部140使用从位置姿势传感器130输入的M_ST和在存储器150中保存的M_CS和M_TW根据(式A)计算M_CW并将其输出到图像生成部160。

为进行现实空间和虚拟空间的正确的对位，需要通过某种部件在存储器150中设定正确的校准信息。只有给出正确的校准信息，才能实现在现实空间中进行了正确对位的虚拟图像的显示。

另外，存储器150的校准信息的保持形式未必是观察变换矩阵，只要是可定义从一方的坐标系看去的另一方的坐标系的位置和姿势的信息，则可采用任何形式。例如，可用记述位置的3个参数和由欧拉角表现姿势的3个参数的总计6个参数表现位置姿势。关于姿势，可用定义旋转轴的3值的矢量和围绕该轴的旋转角的4个参数表现，也可由根据定义旋转轴的矢量大小表现旋转角的3个参数表现。

也可由表示这些的反变换的参数(例如，传感器坐标系210的世界坐标系220的位置姿势)表现。其中，任一情况下，三维空间中的物体的位置和姿势都是位置有3个自由度、姿势有3个自由度的共计6个自由度，因此该图像显示装置的校准中必须的未知参数个数为从世界坐标系变换为传感器坐标系需要的6个参数和从观测点的位置姿势变换为摄像机的位置姿势需要的6个参数的共计12个参数。

作为设定校准信息的公知方法之一，有用户或操作者经未示出的输入部件通过对话变更定义存储器150中存储的M_CS和M_TW的12个参数(或与其等价的12个以上的参数)，进行反复试验调整，直到达到正确的对位的方法。

根据日本专利申请特愿2001-050990号公报(US AA(US公开序号)2002-95265)提出的校准方法，如果用某种方法得到M_CS和M_TW之一，则使用根据固定于某值的位置姿势信息生成的虚拟图像作为视觉队列(queue)，可简便地导出剩余的未知参数。

但是，前者的方法中，由于需要同时调整12个未知参数，因此花费很多时间，存在未必能得到正确的校准信息的问题。后者的方法中，必须进行导出已知的参数时的反复试验作业或使用几个校准用具的作业，存在改善余地。

本发明是考虑上述问题作出的，目的是更简便且不使用特别的校准用具就可取得用于把传感器测量的摄影装置的位置姿势变换为世界坐标系的位置姿势的校准信息。

发明内容

为达到本发明的目的，本发明提供一种传感器校准方法，具有如下构成。

即，作为计算用于测量摄影装置的位置姿势的位置姿势传感器的校准信息的传感器校准方法，包括：

传感器测量值输入步骤，输入使上述摄影装置位于多个摄影位置姿势的状态的上述位置姿势传感器的测量值；

图像坐标输入步骤，输入上述多个摄影位置姿势中上述摄影装置摄影的摄影图像上的多个特征点的图像坐标；

世界坐标输入步骤，输入上述多个特征点的世界坐标系的世界坐标；

校准信息计算步骤，根据上述传感器测量值、上述特征点的图像坐标的实测值和上述特征点的世界坐标，计算校准信息。

为达到本发明的目的，本发明提供一种传感器校准装置，具有如下构成。

即，作为一种传感器校准装置，计算用于测量摄影装置的位置姿势的位置姿势传感器的校准信息，包括：

测量值输入部件，输入使上述摄影装置位于多个摄影位置姿势的状态的上述位置姿势传感器的测量值；

图像坐标输入部件，输入上述多个摄影位置姿势中上述摄影装置摄影的摄影图像上的多个特征点的图像坐标；

世界坐标输入部件，输入上述多个特征点的世界坐标系的世界坐标；

校准信息计算部件，根据上述传感器测量值、上述特征点的图像坐标的实测值和上述特征点的世界坐标，计算校准信息。

本发明的其他特征和优点从下面参考附图的说明中会弄明白，其中在所有图中相同参考符号表示相同的或类似的部件。

附图说明

附图加入并且构成说明书的一部分，与说明一起表示出本发明的实施例，用于解释本发明的原理。

图1是表示进行复合现实感的呈现的一般图像显示装置的功能构成的框图；

图2是说明计算世界坐标系的摄像机的位置姿势的方法的图；

图3是表示包含本发明的第一实施例的校准装置的校准信息生成***的功能构成的图；

图4是本发明的第一实施例的校准装置求出校准信息时进行的处理的流程图；

图5是说明本发明的第二实施例的校准装置的简要构成的框图；

图6是说明第二实施例的校准装置的功能构成的框图；

图7是说明第二实施例的校准装置呈现的GUI的图；

图8是说明第二实施例的校准装置呈现的GUI中的文件菜单的图；

图9是说明在第二实施例的校准装置呈现的GUI中在现实图像上重叠表示标记的图像坐标的标志和附加信息并进行表示的状况的图；

图10是说明在第二实施例的校准装置呈现的GUI中不进行标记的鉴别时，在现实图像上重叠表示标记的图像坐标的标志和附加信息并进行表示的状况的图；

图11是说明在第二实施例的校准装置呈现的GUI中用CG描绘标记的世界坐标并重叠在现实图像上来进行表示的状况的图；

图12是说明在第二实施例的校准装置呈现的GUI中的数据取得对话框的图；

图13是说明图12的对话框的选择数据操作区域的图；

图14是说明在第二实施例的校准装置呈现的GUI中的初始值设定对话框的图；

图15是说明在第二实施例的校准装置呈现的GUI中的检测参数设定对话框的图；

图16是说明在第二实施例的校准装置呈现的GUI中的检测参数设定对话框的图；

图17是说明在第二实施例的校准装置中在图7的GUI图像显示区域显示颜色提取结果图像的状况的图；

图18A-C是说明在第二实施例的校准装置中利用传感器测量值自动计算本地变换的大概值的顺序的图；

图19是表示第二实施例的传感器校准装置的处理顺序的流程图；

图20是表示第二实施例中传感器校准装置的使用者使用传感器校准装置的顺序的流程图；

图21是说明第三实施例的传感器校准装置的简要构成的框图；

图22是说明第四实施例的传感器校准装置的简要构成的框图。

具体实施方式

根据附图具体描述本发明的优选实施例。

下面的实施例中，说明把本发明的校准装置及其方法用于图1的图像显示装置的校准中的情况。

(第一实施例)

为使用本实施例的校准装置进行图像显示装置的校准，在作为该图像显示装置显示的对象的现实空间中，需要配置世界坐标已知的最低3点以上的地标(特征点)。这里，各地标是可检测摄影图像上的其投影像的图像坐标并且可识别是那个地标的例如各自具有不同颜色的地标。世界坐标系以预定的1点为原点，还在从该原点开始的相互正交方向上采用x，y，z轴。并且，该坐标系中，上述3点的地标的坐标是已知的。即，预先对上述3点的地标测定从原点到x，y，z方向的距离。

图3是表示包含本实施例的校准装置的校准信息生成***的功能构成的框图。如该图所示，本实施例的校准装置300由世界坐标保持部310、图像坐标取得部320、数据管理部330、校准信息计算部340、指示部350构成，连接作为校准对象的图像显示装置的头部安装部100和位置姿势传感器130。

世界坐标保持部310保持各地标的世界坐标系的坐标数据(根据上述方法等预先测定的数据)，根据来自数据管理部330的要求将其输出。世界坐标保持部310对各地标的坐标数据附加关联各个地标的固有信息(地标的颜色、识别序号)的数据并保持。

图像坐标取得部320输入摄像机120摄影的图像，特定图像中摄影的地标的坐标和其识别序号(识别符)，根据来自数据管理部330的要求把这些信息输出到数据管理部330。作为图像的地标的坐标和识别序号的特定方法，例如参照世界坐标保持部310保持的各地标的颜色信息、在图像中提取具有各地标的颜色的区域，求出提取的区域的重心位置。这样，可求出各地标的图像的坐标。而且，参照世界坐标保持部310保持的各颜色的地标的识别序号信息，特定与各区域的颜色对应的识别序号。这样，可特定图像中哪个地标位于哪个位置。

数据管理部330从指示部350接收“数据取得”指示时，从图像坐标取得部320输入地标的图像坐标和识别序号，从世界坐标保持部310输入对应的地标的世界坐标，从位置姿势传感器130输入和摄影图像同一时刻的传感器测量值，向数据列表追加“世界坐标-传感器测量值-图像坐标”的组并保持它。根据来自校准信息计算部340的要求把生成的数据列表输出到校准信息计算部340。

校准信息计算部340从指示部350接收“计算校准信息”指示时，从数据管理部330输入数据列表，以其为基础计算校准信息，输出计算的校准信息。

指示部350由未示出的操作者输入数据取得命令时，把“数据取得”的指示发送到数据管理部330，在输入校准信息计算命令时，把“计算校准信息”的指示发送到校准信息计算部340。对指示部350的命令输入可使用例如键盘通过压下分配了特定命令的键进行。命令的输入可用由在显示器上显示的GUI进行等的任一方法进行。

图4是本实施例的校准装置求出校准信息时进行的处理的流程图。根据该流程图的程序码存储在本实施例的装置内的未示出的RAM、ROM等的存储器内，由未示出的CPU读出并执行。

步骤S1010中，指示部350判断是否由操作者输入了数据取得命令。输入了数据取得命令时，处理进行到步骤S1020。下面取输入数据取得命令的时刻放置摄像机120的视点位置为V_j。

步骤S1020中，数据管理部330从位置姿势传感器130(传感器控制部132)输入把摄像机120放置在视点位置上时的测量值M^Vj _ST。

步骤S1030中，数据管理部330从图像坐标取得部320输入位于视点位置V_j的摄像机120摄影的摄影图像的地标Q_k(k＝1，2，3…)的识别序号k和图像坐标u^VjQk。该输入在该摄影图像上摄入多个地标时分别对各个地标进行。

步骤S1040中，数据管理部330从世界坐标保持部310输入从图像坐标取得部320输入的各地标Q_k的(与各个识别序号k对应)世界坐标X^Qk _W。

接着步骤S1050中，数据管理部330对每个检测出的地标，把每个输入的数据追加到数据列表L_i。具体说，把对地标Q_k的图像坐标设为uⁱ＝u^VjQk＝[uⁱ _x，uⁱ _y]^T，把其世界坐标设为Xⁱ _W＝X^Qk _W＝[xⁱ _W，Yⁱ _W，Zⁱ _W，1]^T，把此时的传感器输出设为Mⁱ _ST＝M^Vj _ST，把[uⁱ，Xⁱ _W，Mⁱ _ST]的组作为第i个数据登录在列表中。这里，i表示向当前列表中登录的数据总数加上1的值。

通过以上处理可取得数据。

步骤S1060中，由指示部350判断目前取得的数据列表是否具有足够计算校准信息的信息。数据列表不满足条件时，再次返回步骤S1010，等待输入数据取得命令。另一方面，数据列表满足校准信息计算的条件时，把处理移动到步骤S1070。作为校准信息计算的条件，例如以得到与不同的3点以上的地标相关的数据、多个视点位置中取得数据、数据总数为6以上为条件。其中，输入数据的多样性越增多，导出的校准信息的精度越提高，因此可以设定条件以便要求更多的数据。

接着在步骤S1070中，判断是否由操作者输入了校准信息计算命令。输入了校准信息计算命令时，把处理移动到步骤S1080，未输入时，再次返回步骤S1010，等待输入数据取得命令。

校准信息计算部340通过由矢量大小定义旋转角、由矢量方向定义旋转轴方向的3值矢量在内部表现要求出的校准信息中的关于姿势的信息。并且，由摄像机120定义的坐标系的接收器131的位置(x_cs，y_cs，z_cs)和姿势(ξ_cs，ψ_cs，ζ_cs)表现M_cs，或由传感器坐标系210的世界坐标系200的位置(x_TW，y_TW，z_TW)和姿势(ξ_TW，ψ_TW，ζ_TW)表现M_TW。12个未知参数由矢量s＝(x_cs y_cs z_cs ξ_cs ψ_cs ζ_cs x_TW y_TW z_TW ξ_TW ψ_TWζ_TW)表现。

步骤S1080中，校准信息计算部340对矢量s提供适当的初始值(例如s＝[0002/π000002/π00]^T)。

步骤S1090中，校准信息计算部340对列表中的各数据L_i(i＝1，2，…N)根据传感器输出Mⁱ _ST、世界坐标Xⁱ _W和当前的s该地标的图像坐标的理论值u^’i＝[u^’i _x，u^’i _y，u^’i _z]。这里，所谓地标的图像坐标的理论值是指上述得到的传感器输出和从地标的世界坐标求出的本来地标应出当前图像中的位置(坐标)的数据。u^’i以s为变量，可由传感器输出Mⁱ _ST和世界坐标Xⁱ _W定义的如下函数确定。

u^’i＝Fⁱ(s)            (式B)

具体说，首先，根据下面的式子

$M(x,y,z,\mathrm{\ξ},\mathrm{\ψ},\mathrm{\ζ})=\left[\begin{array}{cccc}1& 0& 0& x\\ 0& 1& 0& y\\ 0& 0& 1& z\\ 0& 0& 0& 1\end{array}\right]$

$\left[\begin{array}{cccc}\frac{{\mathrm{\ξ}}^2}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& \frac{\mathrm{\ξ\ψ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})-\frac{\mathrm{\ζ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{\mathrm{\ξ\ζ}}{{\mathrm{\θ}}^2}(1-\cos )+\frac{\mathrm{\ψ}}{\mathrm{\θ}}\sin \mathrm{\θ}& 0\\ \frac{\mathrm{\ψ\ξ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\frac{\mathrm{\ζ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{{\mathrm{\ψ}}^2}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& \frac{\mathrm{\ψ\ζ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})-\frac{\mathrm{\ζ}}{\mathrm{\θ}}\sin \mathrm{\θ}& 0\\ \frac{\mathrm{\ζ\ξ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})-\frac{\mathrm{\ψ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{\mathrm{\ζ\ψ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\frac{\mathrm{\ξ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{{\mathrm{\ζ}}^2}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]$

                       (式C)

(其中， $\mathrm{\θ}=\sqrt{{\mathrm{\ξ}}^2+{\mathrm{\ψ}}^2+{\mathrm{\ζ}}^2}$ )

从作为s的构成要素的(x_cs，y_cs，z_cs)和(ξ_cs，ψ_cs，ζ_cs)计算观察变换矩阵M_cs、同样从(x_TW，y_TW，z_TW)和(ξ_TW，ψ_TW，ζ_TW)计算观察变换矩阵M_TW。接着由下式计算该地标的照相机坐标Xⁱ _c

Xⁱ _c＝[xⁱ _cyⁱ _czⁱ _c1]^T＝M_cs·Mⁱ _ST·M_TW·Xⁱ _W    (式D)

最后由下式计算图像坐标的理论值。

u^’i _x＝-f×xⁱ _c/zⁱ _c  u^’i _y＝-f×yⁱ _c/zⁱ _c     (式E)

步骤S1100中，校准信息计算部340对列表中的各数据L_i由下式计算该地标的图像坐标的理论值u^’i和实测值uⁱ的误差Δuⁱ

Δuⁱ＝uⁱ-u^’i                 (式F)

步骤S1110中，校准信息计算部340对列表中的各数据L_i计算在各要素中具有用矢量s的各要素偏微分(式B)的右边得到的解的2行×12列的雅格比矩阵 $J_{\mathrm{us}}^i(=\∂u/\∂s).$ 具体说，根据(式E)和(式D)计算在各要素中具有用照相机坐标Xⁱ _c的各要素偏微分(式E)的右边得到的解的2行×3列的雅格比矩阵 $J_{\mathrm{ux}}^i(=\∂u/\∂x)$ 和在各要素中具有用矢量s的各要素偏微分(式D)的右边得到的解的2行×12列的雅格比矩阵 $J_{\mathrm{xs}}^i(=\∂x/\∂s).$ 作为下式计算。

$J_{\mathrm{us}}^i=J_{\mathrm{ux}}^i{J}_{\mathrm{xs}}^i$ (式G)

步骤S1120中，校准信息计算部340根据步骤S1100和步骤S1110计算的对于列表中的全部数据L_i的误差Δuⁱ和雅格比矩阵J_us ⁱ计算s的修正值Δs。具体说，分别把对全部数据L_i的误差Δuⁱ和雅格比矩阵J_us ⁱ作成垂直并列的矢量U＝[Δu¹，Δu²…Δu^N]^T和 $\mathrm{\Φ}={[J_{\mathrm{us}}^1,J_{\mathrm{us}}^2\·\·\·J_{\mathrm{us}}^N]}^T,$ 使用Φ的一般逆矩阵作为下式计算。

Δs＝(Φ^TΦ)^-1Φ^TU            (式H)

步骤S1130中校准信息计算部340使用步骤S1120计算的修正值Δs进行修正。

s+Δs→s                      (式I)

步骤S1140中，校准信息计算部340使用U的各要素是否十分小或Δs是否十分小的判断基准判断计算是否收敛。未收敛时，使用修正后的s再次进行步骤S1090以后的处理。

步骤S1150中校准信息计算部340将得到的s作为校准信息输出。校准信息例如输出从s计算的2个观察变换矩阵。输出的形式可以是s本身，也可以是根据其他任一位置姿势记述方法的形式。

世界坐标保持部310、图像坐标取得部320、数据管理部330、校准信息计算部340和指示部350例如可由1台通用计算机构成。

<变形例1>

本实施例中，说明了在作为位置姿势传感器130使用Polhemus公司的磁传感器FASTRAK的图像显示装置的校准中采用上述校准装置和其方法的情况，但可根据本实施例的校准装置及其方法校准的图像显示装置的位置姿势传感器不限于FASTRAK。当然对将其他任一位置姿势传感器(例如Ascension Technology公司的Flock ofBirds、Nothern Digital Inc公司的OPTOTARK等)用于位置姿势的测量中的图像显示装置也可进行该校准。

<变形例2>

上述实施例中，通过使用将颜色作为识别信息的地标，利用阈值处理从图像提取特定颜色区域，把其重心位置作为具有该颜色的地标的图像坐标检测出来，来取得地标的图像坐标及其识别序号。但是，如果图像上的地标的投影坐标和地标的识别序号可特定，则可使用其他方法。例如，可使用将特定的图案作为识别信息的地标、通过图案匹配从图像提取特定图案的区域、将其检测位置作为具有该图案的地标的图像坐标来输出。不一定需要通过图像处理进行，可通过操作者的手动输入输入地标的图像坐标和其识别序号。此时，图像坐标取得部320通过用鼠标敲击来指定在作业用显示器上显示的摄像图像上的地标位置等的作业，使得操作者容易输入地标位置，希望为具有几个GUI的结构。

使用具有图像处理不希望识别的同一特征的多个地标时，可采用通过图像处理取得地标的图像坐标，通过手动输入来输入其识别序号的结构。地标的识别中可采用其它方法。例如，开始得到大致的校准信息时，通过比较(式B)计算的各地标的图像坐标的理论值和检测的地标的图像坐标可进行地标的识别。

通过图像处理取得的情况或通过手动输入取得的情况的任一情况下，地标可以不是人工的(人为的)，可使用自然特征。

<变形例3>

上述实施例中，步骤S1080中作为校准信息的初始值设定了适当的值。但是，初始值和实际值分离时，上述实施例中不能求出解不收敛的校准信息。为应对这种状况，预先设定不同的位置姿势的组合，将它们顺序用作初始值来进行步骤S1090到步骤S1140的处理，可选择解收敛时的s。还可以准备操作者进行初始值(或生成初始值需要的位置姿势信息)的输入用的初始值输入部，使用输入的初始值进行校准信息的计算处理。

<变形例4>

本发明的更好实施例中，校准装置还有图像生成部。图像生成部把图像坐标取得部320检测的地标的图像坐标重叠在摄影图像上并输出到显示画面。根据本变形例，操作者可边确认地标的检测状况边输入数据取得的指示。

图像生成部根据校准信息计算部340计算的校准信息计算各地标的图像坐标的理论值，将其重叠在摄像图像上并输出到显示画面。根据本变形例，操作者比较现实的地标和在那里显示的计算位置可进行校准作业的检验。

<变形例5>

上述实施例中，具有输入来自操作者的控制命令的指示部350，但该输入不一定需要，例如可以是每当图像坐标取得部320检测地标时进行向数据列表的追加、数据列表满足条件时校准信息计算部340进行校准信息的运算的结构。

<变形例6>

上述实施例中，图像生成装置和校准装置作为另外的装置构成，但当然可能构成具有上述校准装置的功能的图像生成装置。

<变形例7>

上述实施例中，进行呈现复合现实感的图像显示装置的位置姿势传感器的校准，但适用范围不限于此，可用于由位置姿势传感器测量摄影装置的位置姿势的其他任何用途。

如以上说明，根据第一实施例，可更简便并且不使用特别的校准工具就能取得用于将传感器测量的摄影装置的位置姿势变换为世界坐标系的位置姿势的校准信息。

(第二实施例)

本实施例的传感器校准装置求出用于将传感器测量的摄像部的位置姿势变换为世界坐标系的位置姿势的参数。

因此，本实施例的传感器校准装置使用

(1)不在同一直线上的4点以上的标记的世界坐标；

(2)在多个位置姿势摄影的图像上的标记的图像坐标；

(3)对(2)的图像摄影时的传感器测量值；

(4)传感器配置信息的初始值(大概值)。

来求出参数。

其中，(1)的标记的世界坐标是应在校准的基准阶段作为已知的信息准备的数据。标记(地标、特征点)需要在该图像显示装置作为显示对象的现实空间中配置世界坐标已知的最低3点以上。这里，各标记是可检测摄影图像上的其投影像的图像坐标并且可识别是哪个标记这种的例如各自具有不同颜色的标记。世界坐标系以预定的1点为原点，并且在从该原点开始的相互正交方向上采用X，Y，Z轴。并且，该坐标系中，上述3点的标记的坐标已知。即，预先对上述3点的坐标测定从原点开始的向X，Y，Z方向的距离。

(2)和(3)是校准时取得的数据。(4)的传感器配置信息的初始值未必是必要的数据，但不设定时，有时会得不到适当的解。

以这些数据作为输入，以各标记的世界坐标、传感器测量值还有传感器配置信息为基础求出该标记的图像坐标的理论值，计算和实测值的误差的和最小的校准信息(参数)。

另外使用利用其他信息的其他方法也可求出参数。

图5是表示本实施例的传感器校准装置的第二实施例的简要构成的框图。

图5中，5100是运算处理部，由计算机等的计算机构成。运算处理部5100内部备有CPU5101、RAM5102、图像生成装置5103、***总线5104、盘装置5105、输入装置5106、图像取入装置5107。

CPU5101根据校准程序控制校准处理。CPU5101连接***总线5104。可与RAM5102、图像生成装置5103、***总线5104、盘装置5105、输入装置5106、图像取入装置5107相互通信。

RAM5102由存储器等的主存储装置实现。RAM5102经***总线5104暂时保持校准程序的程序码、程序的控制信息、标记的世界坐标和图像坐标、本装置计算的校准信息等。

图像生成装置5103由图形卡等设备实现。经***总线5104把CPU5101执行的程序所生成的图像信息送到显示部5200。

***总线5104连接构成运算处理部5100的各设备，成为上述设备相互通信的通信路径。

盘装置5105由硬盘等的辅助存储装置实现。盘装置5105保持校准程序的程序码、程序的控制信息、标记的世界坐标和图像坐标、本装置计算的校准信息等。

输入装置5106由各种接口设备实现。将来自连接运算处理部5100的外部的设备的信号作为数据输入，经***总线5104把数据写入RAM5102中。

图像取入装置5107由捕获卡等设备实现。输入从摄影装置5302送出的图像，经***总线5104把图像数据写入RAM5102中。

5200是显示部，由CRT监视器、液晶监视器等的显示装置实现。用于显示从图像生成装置5103送出的图像信号，向本装置的使用者呈现结果。

5300是头部安装部，是本装置进行校准的对象。头部安装部5300由接收器5301和摄影装置5302构成。

接收器5301例如在磁传感器中由测量发射器5600产生的磁场的设备实现。接收器5301测量的磁场值送到传感器控制装置5500，由传感器控制装置5500变换为表示三维位置和姿势的参数。

摄影装置5302由键盘、鼠标等的用于控制运算处理部5100的输入设备实现。操作输入部5400向输入装置5106送出操作信号。未示出的本装置的使用者通过操作操作输入部5400给出控制本装置的指令。

传感器控制装置5500例如在磁传感器中控制接收器5301和发射器5600，以从接收器5301得到的信息为基础，计算接收器5301的上述三维位置和姿势信息。传感器控制装置5500计算的上述三维位置和姿势信息送出到输入装置5106中。

发射器5600例如在磁传感器中为由传感器控制装置5500计算接收器5301的三维位置和姿势而产生磁场。

本实施例中，说明了使用磁传感器的情况，但使用的传感器不限于磁传感器。例如可使用光学传感器、超声波传感器等，只要是能测量三维未知和姿势的传感器就不管传感器的种类如何。此时，接收器5301是传感器的测量对象，发射器5600是传感器控制装置5500计算接收器5301的三维位置和姿势时的传感器坐标系原点。

图6是表示本实施例的校准装置的功能构成的框图。图6的各部的处理在图5的运算处理部5100内进行。

世界坐标保持部5110保持各标记的世界坐标系的坐标数据，根据来自数据管理部5111的要求将其输出。世界坐标保持部5110对各标记的坐标数据附加关联各标记的固有的信息(标记的颜色信息、识别信息)的数据并进行保持。

数据管理部5111从指示部5115接收数据取得要求后，从图像坐标取得部5112输入标记的图像坐标和识别信息，从世界坐标保持部5110输入与上述识别信息对应的标记的世界坐标，向数据列表追加图像坐标、世界坐标、识别信息的组并保持它。从图像坐标取得部5112仅输入标记的图像坐标而不输入识别信息时，仅图像坐标向数据列表追加。从指示部5115接收数据鉴别要求时，变更标记的世界坐标、图像坐标、识别信息的组合，变更数据列表的数据。根据来自校准信息计算部5113的要求把生成的数据列表输出到校准信息计算部5113。

图像坐标取得部5112由图5的摄影装置5302摄影、特定由图5的图像取入装置5107获得的图像(下面记述为现实图像)中摄影的标记的坐标和识别信息，根据来自数据管理部5111的要求将这些信息输出到数据管理部5111。

校准信息计算部5113从指示部5115接收校准信息计算指示时，从数据管理部5111输入数据列表，以其为基础计算校准信息，把计算的校准信息送到校准信息保持部5114。

校准信息保持部5114保持校准信息计算部5113计算的校准信息，根据来自指示部5115的要求输出或变更保持的校准信息并保存为文件。从指示部5115接收输出要求时，输出校准信息。从指示部5115接收校准信息变更要求时，变更保持的校准信息的值。从指示部5115接收文件保存要求时，在盘装置5105中生成文件，把校准信息保存在上述文件中。从指示部5115接收文件读入要求时，废弃当前保持的校准信息，从盘装置5105读入指示的文件，把读入的值重新设定为当前的校准信息。从指示部5115接收复位要求时，废弃当前保持的校准信息，把本装置启动时保持的校准信息的默认值重新设定为当前的校准信息。依照来自校准信息计算部5113的要求，将校准信息保持部5114保持的校准信息送到校准信息计算部5113。送到校准信息计算部5113的校准信息在校准信息计算部5113计算校准信息时用作初始值。

指示部5115在本装置的使用者输入数据取得命令时把数据取得要求、在输入数据删除命令时把数据删除要求、在输入数据鉴别命令时把数据鉴别要求分别送到数据管理部5111。输入校准信息计算命令时，向校准信息计算部5113送出校准信息计算要求。

本实施例中，本装置的使用者在指示部5115进行指示时使用图7所示的GUI进行。图7的GUI由主窗口51000、图像显示区域51010、校准信息显示区域51020、操作按钮51030和文件菜单51040构成。如图8所示，文件菜单51040由保存子菜单51050和结束子菜单51060构成。

图像显示区域51010显示现实图像。表示图像坐标取得部5112特定的标记的坐标位置的标志和识别信息也重叠在现实图像上显示。

图9中表示将表示图像坐标取得部5112特定的标记的坐标位置的标志和识别信息重叠在现实图像上并在图像显示区域51010显示的状况。图9中椭圆形表示的是现实图像中摄影的标记。图像坐标取得部5112特定的图像坐标用四边形包围的×标志表示。图像坐标取得部5112特定的标记的识别信息重叠表示标记名称的文本表示。

通过在标记的图像坐标的位置上重叠标志，本装置的使用者可一眼就确认图像坐标取得部5112特定的目标。

通过重叠显示标记的识别信息，本装置的使用者可一眼就确认图像坐标取得部5112特定的标记是哪个标记。

这里，表示了为表示标记的图像坐标而重叠四边形包围的×标志的例子，但重叠的不限于四边形包围的×标志。可使用○×□标志等的各种记号和图标等，只要可确认图像坐标取得部5112特定的标记的图像坐标，任何一种都可以。

这里作为标记的识别信息，表示出重叠表示名称的文本的例子，但重叠的识别信息不限于文本。可使用图标、图像等来识别、可改变文本、图标、图像等的颜色、标记本身的颜色并显示来进行识别。只要本装置的使用者确认现实图像中摄影的标记和实际标记的对应，任何一种都可以。

图10中，表示出图像坐标取得部5112中进行标记的图像坐标的特定，不进行识别信息的特定，在数据管理部5111中不生成标记的世界坐标、图像坐标、识别信息的组的情况下的图像显示区域51010的显示例子。数据管理部5111中进行标记的世界坐标、图像坐标、识别信息的对应，生成组，下面表示为“标记鉴别”。

图10中，在标记的图像坐标中把×标志重叠在现实图像上。将“？”的文本重叠在现实图像上进行显示。图像显示区域51010中，进行标记的鉴别时，重叠显示用四边形包围的×标志和标记的识别信息，在不进行标记的鉴别时，切换显示方法。

关于进行标记的鉴别时和不进行标记的鉴别时的显示方法，不必要在整个图像显示区域51010中进行切换，可以按标记单位独立地切换图像显示区域51010中摄影的各标记。

图11中，表示出以当前的校准信息和接收器5301的位置姿势信息为基础，从摄影装置5302的视点开始由CG描绘世界坐标保持部5110保持的标记的世界坐标系的坐标，重叠在图像显示区域51010的现实图像上进行显示的状况。

根据本装置的校准正确进行的话，图像坐标取得部5112特定的标记的坐标、现实图像上重叠的该标记的世界坐标理论上是一致的。本装置的使用者通过发现标记的图像坐标和世界坐标的偏差量在视觉上随时确认本装置进行的校准的精度。

本实施例中，CG描绘标记的世界坐标，CG描绘的对象不限于标记的世界坐标。

例如，为确认世界坐标在现实图像上如何观测，描绘构成世界坐标系的坐标轴和平面、世界坐标原点等。

本校准装置的一部分使用进行复合现实感的呈现的图像显示装置实现的情况下，进行复合现实感的呈现时使用的虚拟世界和虚拟物体可用CG描绘。

为了图像坐标取得部5112特定标记的坐标而进行提取图像中的颜色区域的处理时，图像显示区域51010中替代现实图像可显示表示上述颜色提取处理的结果的图像。这样，本装置的使用者容易调整用于颜色区域提取处理的参数。

本装置的使用者使用鼠标等的定位设备指定图像显示区域51010中的图像坐标。例如，图像坐标取得部5112进行的标记的(现实图像中的)坐标的特定可由本装置的使用者本人进行，也可选择现实图像中摄影的希望的标记、变更对该标记的处理参数，由本装置的使用者手动给出识别信息。

校准信息显示区域51020中显示校准信息保持部5114保持的当前的校准信息。

操作按钮51030用于通过本装置的使用者用鼠标等的定位设备选择按钮的区域来控制本装置的举动和GUI。本实施例中，本装置的使用者选择操作按钮51030时，重新显示数据取得对话框、初始值设定对话框、检测参数设定对话框。

文件菜单51040通过本装置的使用者用鼠标等的定位设备选择菜单的区域来显示保存子菜单51050和结束子菜单51060。

保存子菜单51050通过本装置的使用者用鼠标等的定位设备选择子菜单的区域来向本装置给出指示。选择保存子菜单51050时，指示部5115发出文件保存命令，向校准信息保持部5114送出文件保存要求。

结束子菜单51060通过本装置的使用者用鼠标等的定位设备选择子菜单的区域来向本装置给出指示。选择结束子菜单51060时，结束该校准装置。指示部5115发出文件保存命令，向校准信息保持部5114送出文件保存要求，校准信息保持部5114待机到完成文件保存处理后结束该校准装置。

图12中表示数据取得对话框的例子。图12的数据取得对话框51100由数据列表显示区域51110、数据取得按钮51120、显示图像切换按钮51130、校准信息计算按钮51140、当前数据无效化/有效化按钮51150、选择数据删除按钮51160、选择数据显示区域51170、选择数据操作区域51180、误差显示区域51190、数据取得对话框结束按钮51195构成。

数据列表显示区域51110显示与至此取得的数据列表对应的现实图像的缩小图像的缩略图。本装置的使用者选择某个缩略图时，从数据列表选择与该图像对应的数据，显示在选择数据显示区域51170中。将与该图像对应的数据设为选择状态。成为选择状态的数据在当前数据无效化/有效化按钮5150、选择数据删除按钮51160压下时成为处理对象。

此时，图像显示区域51010中显示与数据列表对应的现实图像。数据列表显示区域51110缩小显示现实图像，由于本装置的使用者从缩小图像确认细节困难，因此图像显示区域51010中以不缩小的状态显示现实图像。从数据列表选择的标记的图像坐标、世界坐标、识别信息也根据关于图像显示区域51010的说明中所述的方法重叠显示在现实图像上。

数据取得按钮51120通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下数据取得按钮51120时，指示部5115发出数据取得命令，向数据管理部5111送出数据取得要求。把此时的现实图像追加到数据列表显示区域进行显示。

显示图像切换按钮51130通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下显示图像切换按钮51130时，切换在图像显示区域51010中显示的图像的模式。本装置的使用者可选择显示当前取得的现实图像的“实况图像显示模式”和在数据列表显示区域51110中显示当前选择的现实图像的“取得数据显示模式”。压下显示图像切换按钮51130时，当前的模式为实况图像显示模式时切换为取得数据显示模式、当前模式为取得数据显示模式时切换为实况图像显示模式。

校准信息计算按钮51140通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下校准信息计算按钮时，指示部5115发出校准信息计算命令，向校准信息计算部5113送出校准信息计算要求。

当前数据无效化/有效化按钮51150通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下当前数据无效化/有效化按钮51150时，在数据列表显示区域51110中当前选择的数据(摄影图像)有效时使该数据无效，从校准信息计算处理的对象去除选择数据。当前选择的数据无效时使该数据有效。

选择数据删除按钮51160通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下选择数据删除按钮51160时，指示部5115发出数据删除命令，向数据管理部5111送出数据删除要求。从数据列表显示区域51110删除当前选择的现实图像的缩略图。

选择数据显示区域51170显示本装置的使用者在数据列表显示区域51110中选择的数据。

选择数据操作区域51180用于由本装置的使用者操作选择数据。图13中表示选择数据操作区域51180的细节。

选择数据操作区域51180由标记选择按钮51181、标记追加按钮51182、标记识别信息选择菜单51183、标记删除按钮51184构成。

标记选择按钮51181通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下标记选择按钮51181时，将操作模式设定为“标记选择模式”。设定标记选择模式的状态下，本装置的使用者选择表示图像显示区域51010中显示的标记的坐标位置的标志附近时，将该标记设为选择状态。

标记追加按钮51182通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下标记追加按钮51182时，将操作模式设定为“标记追加模式”。设定标记追加模式的状态下，本装置的使用者选择表示图像显示区域51010的任何部位时，设定以该图像坐标为标记的坐标的新的标记，追加到数据列表。将该标记设为选择状态。

标记识别信息选择菜单51183通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择标记识别信息选择菜单51183时，一览显示数据列表上存储的标记识别信息。本实施例中，作为标记识别信息，使用表示标记名称的文字列。本装置的使用者使用鼠标等的定位设备从一览显示的标记识别信息中选择一个。选择标记识别信息时，指示部5115发出数据鉴别命令，把选择的识别信息、成为选择状态的标记信息与数据鉴别要求同时送到数据管理部5111。

标记删除按钮51184通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。压下标记删除按钮51184时，从数据列表删除当前成为选择状态的标记。

误差显示区域51190中显示校准信息计算部5113计算校准信息时的校准误差。本实施例中，显示对数据列表的各标记的误差和全部数据的误差的平均的2种校准误差。

本装置的使用者通过确认对各标记的校准误差，在校准信息计算部5113计算的校准信息的精度不足够时，或校准信息的计算中解不收敛时，容易特定成为其原因的标记。

通过确认全部数据的误差的平均，使用选择数据无效化/有效化按钮，可评价用于校准信息计算的数据的有效或无效的结果。

数据取得对话框结束按钮51195通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择数据取得对话框结束按钮51195时，数据取得对话框关闭。即便关闭了数据取得对话框，数据列表的内容也被保持。

图14表示初始值设定对话框51200的例子。初始值设定对话框由参数种类选择标签(tab)51210、参数设定区域51220、标准设定指定按钮51230、发射器观测按钮51240、复位按钮51250、初始值设定对话框结束按钮51260构成。

参数种类选择标签51210通过本装置的使用者用鼠标等的定位设备选择标签区域来选择设定初始值的校准信息的种类。标签区域中存在“Local Transform，本地变换”和“World Transform，世界变换”2种，选择“本地变换”的区域时，把校准信息模式设定为求出用于把传感器的测量值变换为摄像部的位置姿势的第一参数的“摄影装置—测量点之间校准信息模式”。选择“世界变换”的区域时，把校准信息模式设定为“世界坐标系—传感器坐标系之间校准信息模式”。

参数设定区域51220中，本装置的使用者用按钮、滑块、旋转按钮、键盘的数值输入等部件进行与当前的校准信息模式对应的校准信息的参数设定。本实施例中，通过单独或使用多个下面的方法进行校准信息的参数设定。

第一是指定定义位置和旋转角的矢量和围绕该轴的旋转角。

第二是指定未知和欧拉角。

第三是指定从摄影装置5302看到的接收器5301的绕x，y，z轴的各轴的旋转角和从接收器5301看到的摄影装置5302的绕x，y，z轴的各轴的旋转角。

进行校准信息的参数设定时，指示部5115发出校准信息变更命令，向校准信息保持部5114送出校准信息变更要求。

标准设定指定按钮51230通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。指定标准设定指定按钮51230时，指示部5115发出校准信息读入命令，向校准信息保持部5114送出校准信息读入要求。

发射器观测按钮51240通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择发射器观测按钮51240时，利用传感器测量值自动计算本地变换的大概值。

首先如图18A所示，调整照相机的位置姿势使得在摄影图像的大致中心传感器的发射器摄像后，敲击发射器观测按钮51240，根据此时的传感器测量值计算本地变换的大概值。

敲击发射器观测按钮51240时，指示部5115发出校准信息计算命令，向校准信息计算部5113送出校准信息计算要求。此时，校准信息计算部5113不使用数据管理部5111管理的数据列表中的世界坐标、图像坐标、识别信息而仅使用当前的传感器的测量值计算摄影装置5302和接收器5301之间的校准信息(本地变换)。

使用计算的大概值求出发射器的位置姿势的理论值，对应理论值生成发射器的虚拟图像的同时在对应摄影图像的理论值的图像位置上重叠显示发射器的虚拟图像(图18B)。

使用发射器观测按钮51240设定的本地变换由于在摄影装置的z轴方向的旋转角不定，因此通过方位角(z轴)滑动杆(参数设定区域51220)大概调整该参数(本地变换的z轴的姿势成分)。并且，根据该调整结果把发射器的虚拟图像实时更新(图18C)。也可调整其他参数。

复位按钮51250通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。指定复位按钮51250时，指示部5115发出复位命令，向校准信息保持部5114送出复位要求。

初始值设定对话框结束按钮51260通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择初始值设定对话框结束按钮51260时，关闭初始值设定对话框。即便关闭了初始值设定对话框，校准信息也被保持。

这样通过选择发射器观测按钮51240，利用传感器测量值，使用发射器不需要特别准备就可简单自动计算本地变换的大概值。发射器在本***中是必要结构，因此用户不必为执行本处理而进行特别处理。

图15，16中表示标记检测参数设定当口51300的例子。标记检测参数设定对话框51300由参数种类选择标签51310、标记检测参数设定区域51320、标记检测结果显示按钮51330、标记检测参数复位按钮51340、标记检测停止按钮51350、标记鉴别部件切换按钮51360、标记鉴别参数设定区域51370、标记鉴别参数复位按钮51380、检测参数设定对话框结束按钮51390构成。

参数种类选择标签51310通过本装置的使用者用鼠标等的定位设备选择标签区域来选择标记检测参数设定画面或标记鉴别参数设定画面之一并进行显示。

标记检测参数设定区域51320在参数种类选择标签51310中选择标记检测参数设定画面时显示。标记检测参数设定区域51320中本装置的使用者用滑块、数值输入框(box)等部件设定检测标记的颜色的临界值和作为标记识别的颜色区域的像素数的最小值。颜色的临界值是用于在某像素的各颜色成分的值超出该临界值时把该像素看作标记候补。

本实施例中，对表示绿色、蓝色的各颜色的亮度值的RGB设定临界值，但可对例如像素的Y、Cr、Cb成分设定临界值。对于颜色区域的像素数的最小值，用于在颜色区域的像素数小于设定的最小值时，该区域不能被识别为标记。本实施例中，仅确定了颜色区域的像素数的最小值，但可同时确定最大值，看作标记候补的像素数容纳在某范围内。

标记检测结果显示按钮51330在参数种类选择标签51310中选择标记检测参数设定画面时显示。标记检测结果显示按钮51330通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。指定标记检测结果显示按钮51330时，切换现实图像显示模式和颜色提取结果图像显示模式。现实图像显示模式中，图像显示区域51010中显示现实图像。颜色提取结果图像显示模式中在图像显示区域51010中显示色提取结果图像。图17所示的颜色提取结果图像中，仅表示实际图像中被提取的颜色区域。

标记检测参数复位按钮51340在参数种类选择标签51310中选择标记检测参数设定画面时显示。标记检测参数复位按钮51340通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。指定标记检测参数复位按钮51340时，废弃当前保持的标记检测参数，把启动本装置时设定的标记检测参数的默认值设定为当前的标记检测参数。

标记检测停止按钮51350在参数种类选择标签51310中选择标记检测参数设定画面时显示。标记检测停止按钮51350通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择标记检测停止按钮51350时，停止标记检测处理。

标记鉴别部件切换按钮51360在参数种类选择标签51310中选择标记鉴别参数设定画面时显示。标记鉴别部件切换按钮51360通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择标记鉴别部件切换按钮51360时，切换利用传感器测量值的标记鉴别功能的有效化、无效化。上述标记鉴别功能是从当前的传感器测量值和校准信息计算检测的标记的图像坐标和把世界坐标保持部5110保持的标记的世界坐标投影到摄影装置5302的设想面上的坐标的距离、在上述距离的最小值是最大许可值以下时自动进行标记鉴别的功能。

标记鉴别参数设定区域51370在参数种类选择标签51310中选择标记鉴别参数设定画面时显示。标记鉴别参数设定区域51370中本装置的使用者用滑块、数值输入框(box)等部件设定用于鉴别标记的最大许可距离。

标记鉴别参数复位按钮51380在参数种类选择标签51310中选择标记鉴别参数设定画面时显示。标记鉴别参数复位按钮51380通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。指定标记鉴别参数复位按钮51380时，废弃当前保持的标记鉴别参数，把启动本装置时设定的标记鉴别参数的默认值设定为当前的标记鉴别参数。

检测参数设定对话框结束按钮51390通过本装置的使用者用鼠标等的定位设备选择按钮区域来向本装置给出指示。选择检测参数设定对话框结束按钮51390时，关闭检测参数设定对话框。即便关闭了检测参数设定对话框，标记检测参数和标记鉴别参数也被保持。

图19是本实施例的传感器校准装置进行的处理的流程图。实现根据该流程图的处理的程序码存储在本实施例的装置内的盘装置5105、RAM5102等的存储装置中，由CPU5101读出并执行。

步骤S5000中启动本实施例的传感器校准装置。

步骤S5100中指示部5115判断是否从本装置的使用者输入了数据取得命令。输入了数据取得命令时，将处理移动到步骤S5110。

在步骤S5110中数据管理部5111从传感器控制部5500输入当前的接收器5301的位置姿势的测量值。

步骤S5120中，数据管理部5111从图像坐标取得部5112输入标记摄影装置5302摄像的摄像图像上的标记的识别信息和图像坐标。该输入在该摄像图像上的多个标记被摄像时对各个标记分别进行。

步骤S5130中数据管理部5111对检测的每个标记追加输入的数据。

步骤S5200中，指示部5115判断是否从本装置的使用者输入了数据列表的编辑操作。输入了数据列表的编辑操作时，移动到步骤S5210的处理。

步骤S5210中指示部5115发出对应本装置的使用者输入的数据列表的编辑操作的命令，进行数据列表的编辑。例如数据列表的编辑中，包含选择数据列表的要素、从数据列表删除要素、向数据列表追加新的标记、从数据列表删除已有的标记、对数据列表的已有的标记给出识别信息并鉴别的操作。

步骤S5300中由校准信息计算部5113判断到目前取得的数据列表是否具有足以计算校准信息的信息。数据列表不满足条件时，再次返回步骤S5100中，等待输入数据取得命令。另一方面，数据列表满足校准信息的计算条件时，把处理移动到步骤S5400。作为校准信息的计算条件，例如以得到与不同的3点以上的标记相关的数据、在多个视点位置取得数据、数据总数为6以上为条件。其中，输入数据的多样性越增多，导出的校准信息的精度越提高，因此按要求更多的数据来设定条件。

步骤S5400中判断本装置的使用者是否输入了校准信息计算命令。输入了校准信息计算命令时，把处理移动到步骤S5410，未输入时，再次返回步骤S5100，等待输入数据取得命令。

步骤S5140中由校准信息计算部5113执行校准信息的计算处理。

步骤S5500中指示部5115判断本装置的使用者是否输入了校准信息的编辑操作。输入了校准信息的编辑操作时，移动到步骤S5510的处理。

步骤S5510中指示部5115发出与本装置的使用者输入的校准信息的编辑操作对应的命令，进行校准信息的编辑。例如校准信息的编辑中包含校准信息的参数变更、校准信息的读入、校准信息的复位等操作。

步骤S5600中指示部5115判断本装置的使用者是否输入了校准信息的保存操作。输入了校准信息的保存操作时，移动到步骤S5610的处理。

步骤S5610中，指示部5115向校准信息保存部5114送出文件保存要求，把当前保持的校准信息输出到盘装置5105中。

步骤S5700中指示部5115判断本装置的使用者是否输入了传感器校准装置的结束操作。输入了传感器校准装置的结束操作时，移动到步骤S5800的处理。未输入时再次返回步骤S5100。

步骤S5800中进行用于结束本装置的处理。

图20是本实施例的传感器校准装置的使用者使用本装置进行传感器校准的标准操作的流程图。

步骤S51000中本装置的使用者启动本实施例的传感器校准装置。本装置的使用者确认本装置的图像坐标取得部5112是否正确特定标记的图像坐标和识别信息。正确特定时，进行到步骤S51200，未正确特定时进行到步骤S51110。

步骤S51110中，本装置的使用者使用例如标记检测参数设定对话框51300向指示部5115给出调整标记检测参数和标记鉴别参数的指示。

步骤S51200中本装置的使用者使用例如数据取得按钮51120向指示部5115发出数据取得命令。

步骤S51300中，本装置的使用者确认取得的数据列表的各数据是否良好。数据良好时，进行到步骤S51400，不好时依照状况进行到步骤S51310或返回步骤S51100。

步骤S51310中本装置的使用者使用例如数据取得对话框51100向指示部5115给出进行数据列表的编辑作业的指示。

步骤S51400中，本装置的使用者使用例如校准信息计算按钮51140向指示部5115发出校准信息计算命令。

步骤S51500中本装置的使用者确认校准信息计算部5113是否正确计算校准信息。正确计算时返回步骤S51600，未正确计算时返回步骤S51100。

步骤S51600中本装置的使用者确认校准信息计算部5113计算的校准信息是否良好。校准信息良好时，进行到步骤S51700，不好时依照状况进行到步骤S51610或返回步骤S51100。

步骤S51610中本装置的使用者使用例如初始值设定对话框51200对指示部5115给出进行校准信息的编辑的指示。

S51700中本装置的使用者使用例如保存子菜单51050向指示部5115发出文件保存命令。

步骤S51800中本装置的使用者使用例如结束子菜单51060结束本装置。

(第三实施例)

图21是表示传感器校准装置的第三实施例的简要构成的框图。第二实施例中显示部5200设置在头部安装部5300外部。第三实施例中显示部5200包含在头部安装部5300中。这样的结构可通过将例如像HMD那样可由本装置的使用者安装于头部的显示装置用作显示部5200实现。第三实施例中，使用头部可安装的显示装置，本装置的使用者可在与使用呈现复合现实感的图像显示装置的条件相同的条件下进行校准。

(第四实施例)

图22是表示传感器校准装置的第四实施例的简要构成的框图。第四实施例中显示部5200由第二实施例的在头部安装部5300外部配备的显示装置和第三实施例的由本装置的使用者安装在头部的显示装置二者构成。例如HMD与CRT监视器和液晶监视器这种通常的显示装置相比，一般来说分辨率低。使用这种显示装置时，本装置的使用者使用第二实施例中说明的GUI向本装置给出指示是困难的。这种情况下，考虑由2人使用本装置。

即，本装置的第一使用者看到的配备在头部安装部5300外部的显示装置(第二实施例的显示部)中显示第二实施例中说明的GUI，本装置的第二使用者安装在头部的显示装置(第三实施例的显示部)中显示除第二实施例说明的GUI外的在现实图像和在现实图像上重叠各种信息和CG的合成图像、标记的颜色提取图像等。本装置的操作由第一使用者进行，摄影装置5302和接收器5301的位置姿势的调整由第二使用者进行，可有效地进行校准作业。

(其他实施例)

本发明的目的当然也可通过把记录实现上述实施例的功能的软件程序码的存储介质(或记录媒体)提供给***或装置，该***过装置的计算机(或CPU或MPU)读出并执行存储介质中存储的程序码来实现。此时，从存储介质读出的程序码自身实现上述实施例的功能，存储该程序码的存储介质构成本发明。当然也包含通过执行计算机读出的程序码，不仅实现上述实施例的功能，还根据该程序码的指示由计算机上运转的操作***(OS)等执行实际处理的一部分或全部，通过该处理实现上述实施例的功能的情况。

另外，当然也包含从存储介质读出的程序码读入计算机上***的功能扩张卡和连接计算机的功能扩张单元上备有的存储器中后，根据该程序码的指示由该功能扩张卡和功能扩张单元上备有的CPU等执行实际的处理的一部分或全部。

将本发明用于上述存储介质时，在该存储介质中存储与前面说明的(图4和/或图15所示)流程图对应的程序码。

如以上说明，根据本发明，更简便且不使用特别的校准用具就可高精度地求出用于把传感器测量的摄像部的位置姿势变换为世界坐标系的位置姿势的参数(校准信息)。

尤其，用户可从取得的多个摄影图像选择求出参数时使用的摄影图像，因此求出参数时可避开不适当的摄影图像。

Claims (17)

1.一种传感器校准方法，计算用于测量摄影装置的位置姿势的位置姿势传感器的校准信息，其特征在于，包括：

传感器测量值输入步骤，输入使上述摄影装置位于多个摄影位置姿势的状态中的上述位置姿势传感器的测量值；

图像坐标输入步骤，输入上述多个摄影位置姿势中上述摄影装置所摄影的摄影图像上的多个特征点的图像坐标；

世界坐标输入步骤，输入上述多个特征点的世界坐标系的世界坐标；

校准信息计算步骤，根据上述传感器测量值、上述特征点的图像坐标的实测值和上述特征点的世界坐标，计算校准信息。

2.根据权利要求1所述的传感器校准方法，其特征在于，上述校准信息计算步骤还包括：

图像坐标计算步骤，根据上述传感器测量值和上述特征点的世界坐标计算该特征点的图像坐标的理论值；以及

误差计算步骤，计算由上述图像坐标计算步骤计算的上述特征点的图像坐标的理论值与上述图像坐标输入步骤输入的该特征点的图像坐标的误差，

将上述误差计算步骤计算的误差作为上述校准信息的精确度的评价值，计算上述校准信息。

3.根据权利要求2所述的传感器校准方法，其特征在于，上述校准信息计算步骤还包括：

修正值计算步骤，根据上述误差计算步骤计算的误差，计算减轻上述误差的校准信息的修正值；以及

校准信息更新步骤，由上述计算的上述修正值更新上述校准信息，

通过上述图像坐标计算步骤、上述误差计算步骤、上述修正值计算步骤和上述校准信息更新步骤的反复处理来计算上述校准信息。

4.根据权利要求1所述的传感器校准方法，其特征在于，上述校准信息是用于将作为上述位置姿势传感器的输出值的传感器坐标系的观测点的位置姿势变换为上述世界坐标系的上述摄影装置的位置姿势的信息。

5.根据权利要求4所述的传感器校准方法，其特征在于，上述校准信息由用于把上述传感器坐标系的位置姿势变换为上述世界坐标系的位置姿势的第一坐标变换信息，和用于将上述观测点的位置姿势变换为上述摄影装置的位置姿势的第二坐标变换信息构成。

6.根据权利要求5所述的传感器校准方法，其特征在于，上述第一坐标变换信息和上述第二坐标变换信息分别由关于位置的3个未知参数和关于姿势的3个未知参数构成。

7.根据权利要求1所述的传感器校准方法，其特征在于，上述图像坐标输入步骤通过图像处理检测上述图像坐标。

8.根据权利要求1所述的传感器校准方法，其特征在于，上述图像坐标输入步骤通过手动输入来指示上述图像坐标。

9.一种传感器校准装置，计算用于测量摄影装置的位置姿势的位置姿势传感器的校准信息，其特征在于，包括：

测量值输入部件，输入使上述摄影装置位于多个摄影位置姿势的状态的上述位置姿势传感器的测量值；

图像坐标输入部件，输入上述多个摄影位置姿势中上述摄影装置摄影的摄影图像上的多个特征点的图像坐标；

世界坐标输入部件，输入上述多个特征点的世界坐标系的世界坐标；

校准信息计算部件，根据上述传感器测量值、上述特征点的图像坐标的实测值和上述特征点的世界坐标，计算校准信息。

10.一种信息处理方法，求出用于将传感器所测量的摄影部的位置姿势变换为世界坐标系的位置姿势的参数，其特征在于：

取得使用上述摄影部在多个位置姿势对现实空间进行摄影得到的多个摄影图像，和在摄影每一个该摄影图像时的传感器的测量值，其中，在上述现实空间中配置了世界坐标已知的多个标记，

检测上述摄影图像的每一个中包含的标记的位置，

使用上述传感器的测量值、上述检测的标记的位置和该检测出的标记的世界坐标计算上述参数，并且

根据用户指示从上述取得的多个摄影图像中选择求出上述参数时使用的摄影图像。

11.根据权利要求10所述的信息处理方法，其特征在于，具有通过解析上述摄影图像自动检测标记的模式和通过用户指示检测标记的模式。

12.根据权利要求10所述的信息处理方法，其特征在于，在上述摄影图像上重叠显示表示上述标记的检测结果的信息。

13.根据权利要求10所述的信息处理方法，其特征在于，根据用上述参数进行变换处理的结果，对上述检测的标记的每一个显示误差。

14.根据权利要求10所述的信息处理方法，其特征在于，根据用上述参数进行变换处理的结果，显示上述检测的标记的误差的平均值。

15.根据权利要求10所述的信息处理方法，其特征在于，还预先取得上述传感器的发射器的世界坐标系中的位置信息。

16.一种使计算机执行信息处理方法的程序，该信息处理方法求出用于将传感器测量的摄影部的位置姿势变换为世界坐标系的位置姿势的参数，其特征在于，是具有如下步骤的程序：

取得使用上述摄影部在多个位置姿势对现实空间进行摄影得到的多个摄影图像，和在摄影每一个该摄影图像时的传感器的测量值，其中，在上述现实空间中配置了世界坐标已知的多个标记，

检测上述摄影图像的每一个中包含的标记的位置，

使用上述传感器的测量值、上述检测的标记的位置和该检测出的标记的世界坐标计算上述参数，

根据用户指示从上述取得的多个摄影图像中选择求出上述参数时使用的摄影图像。

17.一种信息处理装置，求出用于将传感器测量的摄影部的位置姿势变换为世界坐标系的位置姿势的参数，其特征在于，包括：

摄影部，对配置了世界坐标已知的多个标记的现实空间进行摄影；

传感器，测量上述摄影部的位置姿势；

输入部件，输入使用上述摄影部在多个位置姿势对现实空间进行摄影得到的多个摄影图像和在摄影每一个该摄影图像时的传感器的测量值，其中，在上述现实空间中配置了世界坐标已知的多个标记；

检测部件，检测上述摄影图像的每一个中包含的标记的位置，

选择部件，根据用户指示从上述取得的多个摄影图像中选择求出上述参数时使用的摄影图像；

计算部件，使用上述选择的摄影图像的每一个的上述传感器的测量值、上述检测的标记的位置和该检测出的标记的世界坐标来计算上述参数。

Images