CN1497244A - 信息处理方法和信息处理装置 - Google Patents

信息处理方法和信息处理装置 Download PDF

Info

Publication number
CN1497244A
CN1497244A CNA031544118A CN03154411A CN1497244A CN 1497244 A CN1497244 A CN 1497244A CN A031544118 A CNA031544118 A CN A031544118A CN 03154411 A CN03154411 A CN 03154411A CN 1497244 A CN1497244 A CN 1497244A
Authority
CN
China
Prior art keywords
sensor
parameter
mentioned
mark
transmitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA031544118A
Other languages
English (en)
Other versions
CN1284063C (zh
Inventor
小林俊广
秀
佐藤清秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1497244A publication Critical patent/CN1497244A/zh
Application granted granted Critical
Publication of CN1284063C publication Critical patent/CN1284063C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种信息处理方法和信息处理装置，更加简单、且不使用特别的校准用器具地取得，将位置姿势传感器的测量值变换成世界坐标系中的摄像装置的位置姿势用的校准信息。为此，在摄像装置中安装由发送器和接收器组成的位置姿势传感器的接收器，在测定摄像装置的位置姿势时，对摄像装置的位置姿势进行调整以使位置姿势传感器的发送器在摄影图像的大致中心被摄影，并基于此时刻的位置姿势传感器测量值，计算从接收器的位置姿势向摄像装置的位置姿势的坐标变换所必需的校准信息的粗略值。

Description

信息处理方法和信息处理装置
技术领域
本发明涉及计算在变换位置姿势传感器的输出值时所用的参数的信息处理方法和信息处理装置
背景技术
近年来，以将现实空间和虚拟空间无连接点的结合为目的的，有关复合现实感的研究正在盛行。通过进行复合现实感的提示的图像显示装置，在由摄像机等摄像装置所摄取的现实空间的图像上重叠显示虚拟空间(例如，由计算机图形学所描绘的虚拟物体和字符信息等)的图像而得以实现。
作为这样的图像显示装置的应用，期待在患者的身体表面上重叠显示体内的情形的手术支援，和与浮游在现实空间中的虚拟敌人作战的复合现实感游戏等，与迄今的虚拟现实不同的新领域。
对于这些应用被共通要求的是，如何准确地进行现实空间和虚拟空间之间的位置对合，从以往开始就进行了许多努力。
复合现实感中的位置对合问题，被归结于求解在现实空间中所设定的世界坐标系(以后，简称为世界坐标系)中的，摄像装置的3维位置姿势的问题。作为解决这些问题的方法，一般是进行利用磁式传感器或光学式传感器、超声波传感器等3维位置姿势传感器。
一般3维位置姿势传感器输出的输出值，是传感器独自定义的传感器坐标系中的测量点的位置姿势，而不是世界坐标系中的摄像装置的位置姿势。例如，如果以由发送器和接收器构成的Polhemus公司的磁式传感器FASTRAK为例，则作为传感器输出所得到的是发送器定义的坐标系中的接收器的位置姿势。从而，不能将传感器输出值原封不动地作为世界坐标系中的摄像装置的位置姿势来使用，需要进行某些校准(calibration)。具体来讲，就是需要将测量点的位置姿势变换成摄像装置的位置姿势的坐标变换，和将传感器坐标系中的位置姿势变换成世界坐标系中的位置姿势的坐标变换。此外，在本说明书中，把用于将摄像装置的位置姿势测定用传感器的输出值变换成世界坐标系中的摄像装置的位置姿势的信息称为校准信息。另外，设将从传感器坐标系向世界坐标系的坐标变换所必需的校准信息称为World Transform，将从测量点的位置姿势向摄像装置的位置姿势的坐标变换所必需的校准信息称为Local Transform。
为了进行现实空间和虚拟空间的准确的位置对合，需要通过某些方法设定准确的校准信息。只有给出准确的校准信息，才能实现在现实空间上准确地进行了位置对合的虚拟图像的显示。
此外，校准信息的保持形式，只要是能够定义从一方的坐标系看到的另一方的坐标系的位置和姿势的信息，则可以取任何形式。例如，也可以是表示从一方的坐标系向另一方的坐标系的变换的4行4列观测变换矩阵。另外，也可以用记述位置的3个参数和通过欧拉角表达姿势的3个参数共计6个参数来表达位置姿势。另外，关于姿势，既可以用定义旋转轴的3个值的矢量和绕该轴的旋转角这样的4个参数来表达，也可以通过由定义旋转轴的矢量的大小表达旋转角这样的3个参数来表达。
另外，也可以通过表示它们的逆变换的参数(例如，传感器坐标系中的世界坐标系的位置姿势)来表达。但是，由于在任何情况下，3维空间中的物体的位置和姿势都仅具有位置上3个自由度，姿势上3个自由度共计6个自由度，故校准所必需的未知参数数目则为，从传感器世界坐标系向世界传感器坐标系的变换所必需的6个参数(World Transform)和从测量点的位置姿势向摄像装置的位置姿势的变换所必需的6个参数(Local Transform)合计12个参数。
作为设定校准信息的公知的方法之一，有以下方法：用户或者操作者通过某些输入装置，交替地变更上述12个参数(或者与其等价的12以上的参数)，试探地进行调整直到达到准确的位置对合。
另外，根据由日本专利公开特开2002-229730号公报(JP-A-2002-29730)所提案的校准方法，如果用某种方法得到LocalTransform或者World Transform的任何一个，则通过将基于固定于某值的位置姿势信息所生成的虚拟图像作为视觉队列(Visual queue)进行使用，就能够简单地导出残留的未知参数。
但是，在上述以往的方法中，存在需要复杂的调整而在调整上花费时间之类的问题。
发明内容
本发明就是鉴于以上问题点而完成的，其主要目的是使用户能够简单地进行校准信息的调整。
即，本发明的第一技术方案提供一种计算用6于将传感器的测量值变换成摄像单元的位置姿势的第1参数的信息处理方法，其特征在于包括以下处理：取得在调整了摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时的传感器的测量值；以及使用传感器的测量值来计算第1参数。
另外，本发明的第二技术方案提供一种使计算机实现计算用于将传感器的测量值变换成摄像单元的位置姿势的第1参数的信息处理方法的程序，其特征在于包括以下程序：取得在调整了摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时的传感器的测量值的步骤的程序；以及使用传感器的测量值来计算第1参数的步骤的程序。
另外，本发明的第三技术方案提供一种计算用于将传感器的测量值变换成摄像单元的位置姿势的第1参数的信息处理装置，其特征在于包括：取得在调整了摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时的传感器的测量值的装置；以及使用传感器的测量值来计算第1参数的装置。
本发明的其他特征以及优点，通过以附图为参照的下面的说明将会弄明白。此外，在附图中对相同或相似的结构附加相同的参照标号。
附图说明
附图包含在说明书中，构成其一部分，表示本发明的实施形式，并与说明书的记述一起用于说明本发明的原理。
图1是说明有关本发明第1实施形式的校准装置的概略结构的框图。
图2是说明第1实施形式中的校准装置的功能结构的框图。
图3是对有关第1实施形式的校准装置呈现的GUI进行说明的图。
图4是对有关第1实施形式的校准装置呈现的GUI中，文件菜单进行说明的图。
图5是说明在有关第1实施形式的校准装置呈现的GUI中，在现实图像上重叠表示标记(marker)的坐标位置的记号和附加信息并进行显示的情形的图。
图6是说明在有关第1实施形式的校准装置呈现的GUI中，在未进行标记的识别的情况下，在现实图像上重叠表示标记的坐标位置的记号和附加信息并进行显示的情形的图。
图7是说明在有关第1实施形式的校准装置呈现的GUI中，用CG描绘标记的世界坐标系，并重叠在现实图像上进行显示的情形的图。
图8是对有关第1实施形式的校准装置呈现的GUI中，数据取得对话框进行说明的图。
图9是对图8的对话框中的选择数据操作区域进行说明的图。
图10是对有关第1实施形式的校准装置呈现的GUI中，初始值设定对话框进行说明的图。
图11是对有关第1实施形式的校准装置呈现的GUI中，检测参数设定对话框进行说明的图。
图12是对有关第1实施形式的校准装置呈现的GUI中，检测参数设定对话框进行说明的图。
图13是说明在有关第1实施形式的校准装置中，在图3的GUI图像显示区域上显示颜色抽取结果的情形的图。
图14A～14C是说明在有关第1实施形式的校准装置中，利用传感器测量值自动计算Local Transform的粗略值的过程的图。
图15是表示有关第1实施形式的传感器校准装置的处理过程的流程图。
图16是表示在第1实施形式中，传感器校准装置的用户使用传感器校准装置的过程的流程图。
图17是说明有关本发明第2实施形式的传感器校准装置的概略结构的框图。
图18是说明有关本发明第3实施形式的传感器校准装置的概略结构的框图。
图19是对有关第1实施形式的校准装置呈现的GUI中，初始值设定对话框进行说明的图。
具体实施方式
下面参照附图对本发明的优选实施形式进行详细说明。
<第1实施形式>
作为有关本发明的信息处理装置的实施形式的传感器校准装置，求出将由传感器所测量的传感器坐标系中的测量点的位置姿势变换成世界坐标系中的摄像单元的位置姿势用的校准信息。
为此，本实施形式的传感器校准装置使用
(1)不在同一直线上的4点以上的标记的世界坐标
(2)以多个位置姿势所拍摄的图像上的标记的世界坐标
(3)在拍摄(2)的图像时的传感器测量值
(4)传感器配置信息的初始值(粗略值)
来求出校准信息。
其中，(1)的标记的世界坐标是在校准的准备阶段作为已知的信息应预备的数据。标记(陆标、特征点)，在现实空间内需要配置世界坐标系已知的至少3点。这里，设各标记为，可检测摄影图像上的该投影像的图像坐标，且可识别是哪个标记那样的，例如各自具有不同颜色的标记。世界坐标系将预定的1点作为原点，进而取X、Y、Z轴为从此原点出发分别正交的方向。然后，设此坐标系中上述3点的标记的坐标已知。也就是，预先对上述3点测定从原点向X、Y、Z方向的距离。
(2)和(3)是在校准时将要取得的数据。(4)的传感器配置信息的初始值并非必要的数据，但有时如不进行设定就得不到合适的解。
输入这些数据，并以各标记的世界坐标、传感器测量值、以及传感器配置信息为基础来求出该标记的图像坐标的理论值，用最小自乘法来计算使与实测值的误差的和成为最小的校准信息(参数)。
此外，用使用其他的信息的别的方法来求出参数也没有关系。
图1是表示本实施形式的传感器校准装置的概略结构的框图。
图1中，100是运算处理单元，由电脑等计算机构成。运算处理单元100在其内部置备，CPU101、RAM102、图像生成装置103、***总线104、磁盘(disk)装置105、输入装置106、和图像取入装置107。
CPU101基于校准程序来控制校准处理。CPU101连接到***总线104，可与RAM102、图像生成装置103、磁盘装置105、输入装置106、和图像取入装置107相互进行通信。
RAM102由存储器等主存储装置实现。RAM102经***总线104临时保持校准程序的程序代码和程序的控制信息、标记的世界坐标系和图像坐标、本装置计算出的校准信息等。
图像生成装置103由图形显示卡等设备实现。经***总线104，将由在CPU101上执行的程序所生成的图像信息发送给显示单元200。
***总线104，连接构成运算处理单元100的各设备，是用于与上述设备相互进行通信的通信线路。
磁盘装置105，由硬盘等辅助存储装置实现。磁盘装置105，保持校准程序的程序代码和程序的控制信息、标记的世界坐标系和图像坐标、本装置计算出的校准信息等。
输入装置106，由各种接口设备实现。将来自连接到运算处理单元100外部的设备的信号作为数据进行输入，经***总线104将数据写入到RAM102。
图像取入装置107，由video/image采集插件等设备实现。输入从摄像装置302发送出的图像，并经***总线104将图像数据写入到RAM102。
200是显示单元，由CRT监视器、液晶显示器等显示器装置实现。用来显示从图像生成装置103发送出的视频图像信号，并将结果提示给本装置的用户。
300是头部安装单元，设置作为通过本校准装置进行校准的对象的传感器。头部安装单元300由构成传感器的接收器301和作为用传感器测定位置姿势的对象的摄像装置302构成。
接收器301，例如在磁传感器中，由测量发送器600产生的磁场的设备实现。接收器301所测量的磁场的值作为传感器输出发送给传感器控制单元500，由传感器控制单元500变换成表示三维位置和姿势的参数。
摄像装置302，由CCD摄像机等摄像装置实现。摄像装置302拍摄的视频信号被发送给图像取入装置107。
操作输入单元400，由键盘、鼠标等控制运算处理单元100用的输入设备实现。操作输入单元400将操作信号发送给输入装置106。未图示的本装置的用户，通过对操作输入单元400进行操作来发出控制本装置的指令。
传感器控制单元500，例如在磁传感器中，控制接收器301和发送器600，以从接收器301得到的信息为基础，来计算接收器301的三维位置和姿势信息。由传感器控制单元500计算出的上述三维位置和姿势信息被发送给输入装置106。
发送器600，例如在磁传感器中，使磁场产生以便传感器控制单元500计算接收器301的三维位置和姿势。
尽管在本实施形式中，对作为三维位置姿势传感器使用磁传感器的情况进行了说明，但所用的传感器并不限于磁传感器。也可以使用例如光学式传感器、超声波式传感器等，只要是能够测量三维位置和姿势的传感器，则不限传感器的种类。在此情况下，接收器301是传感器的测量对象，发送器600是传感器控制单元500计算接收器301的三维位置和姿势时的传感器坐标系原点。
图2是表示本实施形式中的校准装置的功能结构的框图。图2的各单元的处理在图1中的运算处理单元100内进行。
世界坐标保持单元110，保持各标记的世界坐标系中的坐标数据，并按照来自数据管理单元111的请求将其输出。另外，世界坐标保持单元110在各标记的坐标数据中将各个标记固有的信息(标记的颜色信息、识别信息)的数据关联起来进行保持。
数据管理单元111，当从指示单元115接受数据取得请求时，则从图像坐标取得单元112输入标记的图像坐标和识别信息，从世界坐标保持单元110输入对应于上述识别信息的标记的世界坐标，将图像坐标、世界坐标、识别信息的组追加到数据列表并进行保持。在从图像坐标取得单元112仅输入标记的图像坐标而未输入识别信息的情况下，仅将图像坐标追加到数据列表。另外，当从指示单元115接受数据删除请求时，则从数据列表删除数据。另外，当从指示单元115接受数据识别请求时，则变更标记的世界坐标、图像坐标、识别信息的组合，并变更数据列表的数据。另外，按照来自校准信息计算单元113的请求，将所生成的数量列表输出到校准信息计算单元113。
图像坐标取得单元112，对在图1中的摄像装置302拍摄，由图1中的图像取入装置107所获得的图像(以下记为现实图像)中所摄影的标记的坐标和识别信息进行确定，并按照来自数据管理单元111的请求将这些信息向数据管理单元111进行输出。
校准信息计算单元113当从指示单元115接受校准信息计算指示时，从数据管理单元112输入数据列表，以此为基础计算校准信息，将计算出的校准信息向校准信息保持单元114发送。
校准信息保持单元114，保持校准信息计算单元113计算出的校准信息，并按照来自指示单元115的请求，输出、变更将要保持的校准信息，或者保存到文件中。当从指示单元115接受输出请求时，输出校准信息。当从指示单元115接受校准信息变更请求时，变更将要保持的校准信息的值。当从指示单元115接受文件保存请求时，在磁盘装置105上生成文件并将校准信息保存到上述文件中。当从指示单元115接受文件读入请求时，废弃当前保持的校准信息，从磁盘装置105读入所指示的文件，并将所读入的值重新作为当前的校准信息进行设定。当从指示单元115接受复位请求时，废弃当前保持的校准信息，将在本装置启动时所保持的校准信息的缺省值重新作为当前的校准信息进行设定。另外，依照来自校准信息计算单元113的请求，将校准信息保持单元114保持着的校准信息向校准信息计算单元113发送。被发送给校准信息计算单元113的校准信息，在校准信息计算单元113计算校准信息时作为初始值来进行使用。
指示单元115，分别在从本装置的用户输入数据取得命令时对数据管理单元111发送数据取得请求，在输入数据删除命令时发送数据删除请求，在输入数据识别命令时发送数据识别请求，在输入数据删除命令时发送数据删除请求。另外，在输入校准信息计算命令时，对校准信息计算单元113发送校准信息计算请求。
本实施形式中，在本装置的用户对指示单元115进行指示时，使用图3所示的GUI。图3中的GUI，由主窗口1000、图像显示区域1010、校准信息显示区域1020、操作按钮1030和文件菜单1040构成。另外，如图4所示那样，文件菜单1040由保存子菜单1050和结束子菜单1060构成。
在图像显示区域1010中，显示现实图像。另外，关于由图像坐标取得单元112所确定的表示标记的坐标位置的记号和附加信息也重叠在现实图像上进行显示。
图5表示在现实图像上重叠由图像坐标取得单元112所确定表示标记的坐标位置的记号和附加信息并显示在图像显示区域1010上的情形。图5中椭圆形所示的是在现实图像中所拍摄的标记。另外，图像坐标取得单元112所确定的标记的图像坐标用由四边形包围的×记号来表示。进而，关于由图像坐标取得单元112所确定的识别信息，重叠表示标记的名称的文本并进行显示。
通过将记号重叠到标记的图像坐标的位置，本装置的用户就可一眼确认图像坐标取得单元112所确定的坐标。
另外，通过重叠显示标记的识别信息，本装置的用户就可一眼确认图像坐标取得单元112所确定的标记是哪个标记。
在这里示出重叠由四边形包围的×记号以表示标记的图像坐标的例子，但进行重叠的记号并不限于由四边形包围的×记号。也可以使用○、□、×、箭头等各种记号和图标等，只要能够辨识图像坐标取得单元112所确定的标记的图像坐标，则什么都可以。
另外，在这里作为标记的识别信息，示出重叠了表示名称的文本的例子，但进行重叠的识别信息并不限于文本。既可以使用图标或图像等来进行识别，也可以通过改变文本、图标、图像等的颜色、或标记本身的颜色进行显示来识别。只要本装置的用户能够确认在现实图像中所拍摄的标记与实际的标记的对应，则什么都可以。
图6中示出虽然在图像坐标取得单元112中已进行标记的图像坐标的确定，却未进行识别信息的确定，并在数据管理单元111中没有生成标记的世界坐标、图像坐标、识别信息的组的情况下的，图像显示区域1010的显示例。下面将在数据管理单元111中把标记的世界坐标、图像坐标、识别信息对应起来以生成组的操作表达为“对标记进行识别”。
图6中，在标记的图像坐标位置在现实图像上重叠有×记号。另外，在图6中由于不能识别标记，故在现实图像上重叠显示表示该旨意的“？”的文本。使得在图像显示区域1010中，在已进行标记的识别的情况下，例如像图5所示那样重叠显示由四边形包围的×记号和标记的识别信息，在未进行标记的识别的情况下，例如像图6所示那样切换显示方法。
关于已进行标记的识别的情况和未进行标记的识别的情况，不需要在图像显示区域1010整体上进行切换，对在图像显示区域1010上所拍摄的各标记，可按标记单位独立地进行切换。
另外，图7中示出以当前的校准信息和接收器301的位置姿势信息为基础，从摄像装置302的视点由CG描绘世界坐标保持单元110保持的标记的世界坐标系下的坐标，并重叠在图像显示区域1010的现实图像上进行显示的情形。
如果利用本装置的校准被正确地进行，则由图像坐标取得单元112所确定的标记的坐标和重叠在现实图像上的该标记的世界坐标的投影位置在理论上是一致的。本装置的用户，通过查看由图像坐标取得单元112所确定的标记的坐标和该标记的世界坐标的投影位置的偏差量，就可在视觉上随时确认由本装置所进行的校准的精度。
尽管在本实施形式中，是由CG来描绘标记的世界坐标，但用CG进行描绘的对象，并不限于标记的世界坐标。
例如，也可以描绘构成世界坐标系的坐标轴和平面、世界坐标原点等，以确认如何在现实图像上观测世界坐标系。
另外，在使用进行复合现实感的提示的图像现实装置来实现本校准装置的一部分的情况下，也可以用CG描绘在进行复合现实感的提示时所用的虚拟世界和虚拟物体。
在图像坐标取得单元112为了确定标记的坐标而进行抽取图像中的彩色区域的处理这样的情况下，也可以在图像显示区域1010中取代现实图像而显示表示上述彩色区域抽取处理的结果的图像。通过这样进行处理，本装置的用户就能够容易地调整彩色区域抽取处理用的参数。
本装置的用户，能够使用在指示单元115中所包含的、鼠标等定位装置，来指定图像显示区域1010中的图像坐标。例如，可由本装置的用户自身来进行图像坐标取得单元112进行的标记的(现实图像中的)坐标的确定，或者由本装置的用户用手动来选择在现实图像中被拍摄的所希望的标记、并变更对于该标记的处理参数，或给出识别信息。
在校准信息显示区域1020上显示校准信息保持单元114保持着的当前的校准信息。
操作按钮1030，用于通过由本装置的用户用鼠标等定位设备选择按钮的区域，来控制本装置的动作和GUI。在本实施形式中，当本装置的用户选择操作按钮1030时，则重新使数据取得对话框、初始值设定对话框、检测参数设定对话框进行显示。
文件菜单1040，通过由本装置的用户用鼠标等定位设备选择菜单的区域，使保存子菜单1050和结束子菜单1060进行显示。
保存子菜单1050，通过由本装置的用户用鼠标等定位设备选择子菜单的区域，对本装置给出指示。当选择保存子菜单1050时，指示单元115发出文件保存命令，并将文件保存请求发送给校准信息保持单元114。
结束子菜单1060，通过由本装置的用户用鼠标等定位设备选择子菜单的区域，对本装置给与指示。当选择结束子菜单1060时，则结束本校准装置。在校准信息保持单元114保持有未保存的校准信息的情况下，进行待机直到指示单元115发出文件保存命令，并将文件保存请求发送给校准信息保持单元114，校准信息保持单元114完成文件保存处理以后，结束本校准装置。
图8中示出数据取得对话框的例子。图8中的数据取得对话框1100，由数据列表显示区域1110、数据取得操作按钮1120、显示图像切换按钮1130、校准信息计算按钮1140、选择数据无效化/有效化按钮1150、选择数据删除按钮1160、选择数据显示区域1170、选择数据操作区域1180、误差显示区域1190、以及数据取得对话框结束按钮1195构成。
数据列表显示区域1110，显示对应于至此所取得的数据列表的现实图像的缩小图像的缩略图。当本装置的用户选择某个缩略图时，则从数据列表选出对应于该图像的数据，并显示在选择数据显示区域1170上。另外，将对应于该图像的数据设为选择状态。成为选择状态的数据，就成为选择数据无效化/有效化按钮1150、选择数据删除按钮1160被按下时的处理对象。
此时，在图3的图像显示区域1010上显示对应于所选择的数据的现实图像。数据列表显示区域1110缩小显示现实图像，由于本装置的用户难以从缩小图像确认细节，故在图像显示区域1010上以未进行缩小的状态显示现实图像。另外，关于从数据列表选出的标记的图像坐标、世界坐标、识别信息，也通过在与图像显示区域1010有关的说明中所述的方法，重叠在现实图像上进行显示。
数据取得按钮1120，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下数据取得按钮1120时，指示单元115发出数据取得命令，并将数据取得请求发送给数据管理单元111。另外，将该时刻的现实图像追加到数据列表显示区域进行显示。
显示图像切换按钮1130，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下显示图像切换按钮1130时，切换在图像显示区域1010上所显示的图像的模式。本装置的用户，可以选择显示当前所取得的现实图像的“实况图像显示模式”和显示在数据列表显示区域1110上当前所选择的现实图像的“取得数据显示模式”。当按下显示图像切换按钮1130时，在当前模式为实况图像显示模式时切换成取得数据显示模式，在当前模式为取得数据显示模式时切换成实况图像显示模式。
校准信息计算按钮1140，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下校准信息计算按钮时，指示单元115发出校准信息计算命令，并将校准信息计算请求发送给校准信息计算单元113。
选择数据无效化/有效化按钮1150，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。通过按下选择数据无效化/有效化按钮1150当在数据显示区域1110中当前所选择的数据(摄影图像)有效时使该数据无效，并从校准信息计算处理对象中排除选择数据。在当前所选择的数据无效时使该数据有效。
选择数据删除按钮1160，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下选择数据删除按钮1160时，指示单元115发出数据删除命令，并将数据删除指示发送给数据管理单元111。另外，将当前所选择的现实图像的缩略图从数据列表显示区域1110删除。
选择数据显示区域1170，显示本装置的用户在数据列表显示区域1110上所选择的数据。
选择数据操作区域1180，用来本装置的用户对选择数据进行操作。图9中示出选择数据操作区域1180的细节。
选择数据操作区域1180，由标记选择按钮1181、标记追加按钮1182、标记识别信息选择菜单1183和标记删除按钮1184构成。
标记选择按钮1181，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下标记选择按钮1181时，将操作模式设定成“标记选择模式”。当在设定成标记选择模式的状态下，本装置的用户选择表示在图像显示区域1010上所显示的标记的坐标位置的记号的附近时，将该标记设成选择状态。
标记追加按钮1182，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下标记追加按钮1182时，将操作模式设定成“标记追加模式”。当在设定成标记追加模式的状态下，本装置的用户选择图像显示区域1010的任意部位时，设定新标记，该新标记将该图像坐标作为标记的坐标，并追加到数据列表。进而将该标记设成选择状态。
标记识别信息选择菜单1183，通过本装置的用户用鼠标等定位设备选择菜单的区域，对本装置给与指示。当选择标记识别信息选择菜单1183时，一览显示存储在数据列表中的标记识别信息。在本实施形式中，作为标记识别信息，使用表示标记的名称的字符串。本装置的用户使用鼠标等定位设备，从一览显示的标记识别信息之中选择一个。当选择标记识别信息时，指示单元115发出数据识别命令，并与数据识别请求同时对数据管理单元111发送所选择的识别信息、成为选择状态的标记信息。
标记删除按钮1184通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当按下标记删除按钮1184时，将成为当前选择状态的标记从数据列表删除。
在误差显示区域1190上，显示校准信息计算单元113计算出校准信息时的校准误差。在本实施形式中，显示对于数据列表的各标记的误差和全部数据的误差平均这两种校准误差。
本装置的用户通过确认对于各标记的校准误差，则在校准信息计算单元113所算出的校准信息的精度不够的情况，或者在校准信息的计算中解不收敛的情况下，确定成为该原因的标记就变得容易。
另外，通过确认全部数据的误差的平均，就能够对使用选择数据无效化/有效化按钮，使校准信息的计算所用的数据有效或者无效后的结果进行评价。
数据取得对话框结束按钮1195，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当选择数据取得对话框结束按钮1195时就关闭数据取得对话框。即使关闭数据取得对话框，数据列表的内容也被保持。
在图10和图19中示出初始值设定对话框1200的例子。初始值设定对话框由参数种类选择标签1210、Local Transform设定区域1220、标准设定指定按钮1230、发送器(transmitter)观测按钮1240、复位按钮1250、初始值设定对话框结束按钮1260以及WorldTransform设定区域1270(图19)构成。
参数种类选择标签1210，通过本装置的用户用鼠标等定位设备选择标记的区域，选择设定初始值的校准信息的种别。在标签区域中存在“Local Transform”和“World Transform”两种，当选择“LocalTransform”区域时将校准信息模式设定成，进行用于将传感器的测量值变换成摄像单元的位置姿势的第1参数(Local Transform)的设定的“Local Transform mode”。当选择“World Transform”区域时将校准信息模式设定成，进行用于将传感器坐标系中的位置姿势变换成世界坐标系中的位置姿势的第2参数(World Transform)的设定的“World Transform mode”。图1 0中表示Local Transform mode的状态。
Local Transform设定区域1220，在校准信息模式为LocalTransform mode时进行显示。在Local Transform设定区域1220上本装置的用户能够用按钮、滑块(slider)、旋转按钮(spin button)、来自键盘的数值输入等方法，进行Local Transform的设定。在本实施形式中，通过单独使用或者并用多个下面的方法来进行校准信息的参数的设定。
第1、指定从摄像装置302看到的接收器301的位置和定义旋转轴的矢量和绕该轴的旋转角。
第2、指定从摄像装置302看到的接收器301的位置和欧拉角。
第3、指定从摄像装置302看到的接收器301的X、Y、Z轴的绕各轴的旋转角和从接收器301看到的摄像装置302的X、Y、Z轴的绕各轴的旋转角。
当进行校准信息的参数的设定时，指示单元115发出校准信息变更命令，并将校准信息变更请求发送给校准信息保持单元114。
标准设定指定按钮1230，在校准模式为Local Transform mode时进行显示，通过本装置的用户用鼠标等定位设备选择标准设定指定按钮1230的区域，对本装置给与指示。当指定标准设定指定按钮1230时，指示单元115发出校准信息读入命令，并将校准信息读入请求发送给校准信息保持单元114。其结果，就设定标准的LocalTransform的值。
发送器观测按钮1240，在校准模式为Local Transform mode时进行显示，通过本装置的用户用鼠标等定位设备选择发送器观测按钮1240的区域，对本装置给与指示。
通过选择发送器观测按钮1240，就能够利用传感器测量值自动计算Local Transform的粗略值。
首先，如图14A所示那样在对摄像装置302的位置姿势进行了调整以使传感器的发送器600在摄影图像的大致中心进行摄像以后，点按发送器观测按钮1240。基于该时刻的传感器测量值计算LocalTransform的粗略值。
当点按发送器观测按钮1240时，指示单元115发出校准信息计算命令，并将校准信息计算请求发送给校准信息计算单元113。此时，校准信息计算单元113，从数据管理单元111输入当前的传感器测量值，并基于传感器测量值和“发送器600在摄影图像的中心附近进行摄影”之类的信息，通过例如以下所示的过程来计算摄像装置302和接收器301间的校准信息(Local Transform)。
现在、当假设为能够充分忽视接收器301和摄像装置302之间的距离，即假设为接收器301和摄像装置302的位置相等时，就能够从当前的传感器测量值得到传感器坐标系中的摄像装置302的估测位置PSC＝[xSCySCzSC]T。这里，由于摄像装置302朝向作为传感器坐标系的原点的发送器600的方向，故能够将表示摄像装置坐标系的Z轴(从摄像装置302的原点朝摄像面的垂直后方向延伸的轴)的矢量VZ，作为对PSC进行了正规化的单元矢量而得到。接着，将与VZ不同的适当的单位矢量U和VZ的矢量积设为摄像装置坐标系的Y轴VY，进而将VY和VZ的矢量积设为摄像装置坐标系的X轴VX。以这样所得到的VZ、VY、VX为基础，如下式那样决定传感器坐标系中的摄像装置302的位置和姿势MSC。
M sc = x sc V X V Y V Z y sc z sc 0 0 0 1 (式1)
此外，在这里，通过“进行从对象B定义的坐标系B向坐标系A的坐标变换的4×4的矩阵(造型(modeling)变换矩阵)MAB”来表达“某坐标系A中的对象B的位置和姿势”。由于从此矩阵向表示位置和姿势的6值的参数的变换及其逆变换，是3维几何的基本知识，故详细的说明省略。
接着，当将待求解的Local Transform(将接收器301的位置和姿势变换成摄像装置302的位置和姿势的矩阵)记为MRC，将传感器坐标系中的接收器301的位置和姿势(当前的传感器测量值)记为MSR时，
MSC＝MSR·MRC            (式2)
的关系成立。由于根据式2，有
MRC＝MSR -1·MSC          (式3)
且MSR作为传感器测量值得到，所以通过使用式1中得到的MSC就能够根据式3得到Local Transform的粗略值。
此外，Local Transform的粗略值的计算方法并不限于此。例如也可以将传感器坐标系中的摄像装置302的姿势RSC作为RSC＝[VZVYVX]求出，并使用作为传感器测量值得到的传感器坐标系中的接收器301的姿势RSR，求出表示Local Transform的转置矩阵RSC＝RSR -1·RSC。
使用计算出的粗略值来求出发送器600的位置姿势的理论值，并依照理论值生成发送器600的虚拟图像，同时在依照摄影图像上的理论值的图像位置上重叠显示发送器600的虚拟图像(图14B)。
使用发送器观测按钮1240所设定的Local Transform由于摄像装置302的Z轴方向的旋转角不确定，所以用azimuth(z-axis)滑块(参数设定区域1220)粗略调整此参数(Local Transform的Z轴的姿势成分)。然后，依照该调整结果实时地更新发送器600的虚拟图像(图14C)。此外，也可调整其他的参数。
当选择参数种类标签1210的“World Transform”时，校准信息模式就变成World Transform mode，取代Local Transform设定区域1220而显示World Transform设定区域1270(图19)。
在World Transform设定区域1270上，本装置的用户能够用按钮、滑块(slider)、旋转按钮(spin button)、来自键盘的数值输入等方法，进行World Transform的设定。在本实施形式中，通过单独使用或者并用多个下面的方法来进行校准信息的参数的设定。
第1、指定世界坐标系中的发送器600的位置和定义旋转轴的矢量和绕该轴的旋转角。
第2、指定世界坐标系中的发送器600的位置和欧拉角。
第3、指定世界坐标系中的发送器600的X、Y、Z轴的绕各轴的旋转角和从发送器600看到的世界坐标系原点的X、Y、Z轴的绕各轴的旋转角。
当进行校准信息的参数的设定时，指示单元115发出校准信息变更命令，并将校准信息变更请求发送给校准信息保持单元114。
复位按钮1250，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当指定复位按钮1250时，指示单元115发出复位命令，并将复位请求发送给校准信息保持单元114。
初始值设定对话框结束按钮1260，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当选择初始值设定对话框结束按钮1260时，就关闭初始值设定对话框。即使关闭初始值设定对话框，校准信息也被保持。
这样，在Local Transform mode中，通过选择发送器观测按钮1240就能够利用传感器测量值无需特别的准备，并且简单地自动计算Local Transform的粗略值。由于发送器在本***中是必要的结构，故用户无需为进行本处理而进行特别的处理。
图11、图12中，表示标记检测参数设定对话框1300的例子。标记检测参数设定对话框1300由参数种类选择标签1310、标记检测参数设定区域1320、标记检测结果显示按钮1330、标记检测参数复位按钮1340、标记检测停止按钮1350、标记识别装置切换按钮1360、标记识别参数设定区域1370、标记识别参数复位按钮1380、以及检测参数设定对话框结束按钮1390构成。
参数种类选择标签1310，通过本装置的用户用鼠标等定位设备选择标签的区域，选择标记检测参数设定画面或者标记识别参数设定画面的任何一个并使其显示。
标记检测参数设定区域1320，在参数种类选择标签1310中标记检测参数设定画面被选择时进行显示。在标记检测参数设定区域1320上，本装置的用户使用滑块或数值输入框等装置，设定检测标记的颜色的阈值和作为标记进行识别的颜色区域的像素数的最小值。颜色的阈值，在某像素的各颜色成分的值超过该阈值的情况下，用来将该像素当作标记候选。
尽管在本实施形式中对表示关于红、绿、青各颜色的亮度值的R、G、B设定阈值，但也可以例如对像素的Y、Cr、Cb成分设定阈值。关于颜色区域的像素数的最小值，用来在颜色区域的像素数比已设定的最小值小的情况下，不将该区域作为标记进行辨识。尽管在本实施形式中仅决定颜色区域的像素数的最小值，但对于最大值也可以同时决定，以便将当作标记候选的像素数容纳在某个围内。
标记检测结果显示按钮1330，在参数种类选择标签1310中标记检测参数设定画面被选择时进行显示。标记检测结果显示按钮1330，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当指定标记检测结果显示按钮1330时，切换现实图像显示模式和颜色抽取结果图像显示模式。在现实图像显示模式下，将现实图像显示在图像显示区域1010上。在颜色抽取结果图像显示模式下，将颜色抽取结果显示在图像显示区域1010上。在图13所示的颜色抽取结果图像中，仅显示在现实图像中所抽取的颜色区域。
标记检测参数复位按钮1340，在参数种类选择标签1310中标记检测参数设定画面被选择时进行显示。标记检测参数复位按钮1340，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当指定标记检测参数复位按钮1340时，废弃当前保持的标记检测参数，并将启动本装置时所设定的标记检测参数的缺省值设定成当前的标记检测参数。
标记检测停止按钮1350，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当选择标记检测停止按钮1350时，停止标记检测处理。
标记识别装置切换按钮1360在参数种类选择标签1310中标记识别参数设定画面被选择时进行显示。标记识别装置切换按钮1360，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当选择标记识别装置切换按钮1360时，切换利用了传感器测量值的标记识别功能的有效化·无效化。上述标记识别功能是，在从当前的传感器测量值和校准信息，计算检测出的标记的图像坐标和将世界坐标保持单元110保持的标记的世界坐标投影到摄像装置302的摄像面的坐标之间的距离，上述距离的最小值为最大容许值以下的情况下，自动地进行标记的识别的功能。
标记识别参数设定区域1370在参数种类选择标签1310中标记识别参数设定画面被选择时进行显示。在标记识别参数设定区域1370上，本装置的用户使用滑块或数值输入框等方法，设定识别标记用的最大容许距离。
标记识别参数复位按钮1380在参数种类选择标签1310中标记识别参数设定画面被选择时进行显示。标记识别参数复位按钮1380，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当指示标记识别参数复位按钮1380时，废弃当前保持的标记识别参数，并将启动本装置时所设定的标记识别参数的缺省值设定成当前的标记识别参数。
检测参数设定对话框结束按钮1390，通过本装置的用户用鼠标等定位设备选择按钮的区域，对本装置给与指示。当选择检测参数设定对话框结束按钮1390时，关闭检测参数设定对话框1300。即使关闭检测参数设定对话框，标记检测参数和标记识别参数也进行保持。
图15是表示本实施形式的传感器校准装置进行的处理的流程图。此外，实现按照该流程图的处理的程序代码，保存在本实施形式的装置内的磁盘装置105或RAM102等存储装置内，由CPU101读出并执行。
在步骤S000中，启动本实施形式的传感器校准装置。
在步骤S100中，指示单元115判断是否从本装置的用户输入了数据取得命令。在已输入数据取得命令的情况下使处理向步骤S110转移。
在步骤S110中，数据管理单元111从传感器控制单元500输入当前的接收器301的位置姿势的测量值。
在步骤S120中，数据管理单元111从图像坐标取得单元112输入摄像装置302所摄取的摄影图像上的标记的识别信息和图像坐标。此输入，在该摄影图像上的多个标记被摄取的情况下，则对这些各个标记进行。
在步骤S130中，数据管理单元111从世界坐标保持单元110输入与在步骤S120中得到的识别信息对应的标记的世界坐标。
在步骤S140中，数据管理单元111对每个检测出的标记，将所输入的数据追加到数据列表。
在步骤S200中，指示单元115判断是否从本装置的用户输入了数据列表的编辑操作。在已输入数据列表的编辑操作的情况下则转移到步骤S210的处理。
在步骤S210中，指示单元115发出对应于从本装置的用户输入的数据列表的编辑操作的命令，进行数据列表的编辑。例如在数据列表的编辑中包含选择数据列表的要素、从数据列表删除选择要素、将新标记追加到数据列表、从数据列表删除已有的标记、对数据列表的已有的标记给与识别信息并进行识别之类的操作。
在步骤S300中，判断迄今由校准信息计算单元113所取得的数据列表是否具有足够用于计算校准信息的信息。在数据列表不满足条件的情况下，再次向步骤S100返回，等待数据取得命令的输入。另一方面，在数据列表满足校准信息计算的条件的情况下，使处理向步骤S400转移。作为校准信息计算的条件，例如将得到关于不同3点以上的标记的数据、在多个视点位置上进行数据的取得、以及数据总数为6个以上作为条件。但由于输入数据的多样性越增大所导出的校准信息的精度就越提高，故也可以设定条件以请求更多的数据。
在步骤S400中，判断是否从本装置的用户输入了校准信息计算命令。在已输入校准信息计算命令的情况下，使处理向步骤S410转移，在未输入的情况下，再次向步骤S100返回，等待数据取得命令的输入。
在步骤S410中，由校准信息计算单元113进行校准信息的计算处理。
在步骤S500中，指示单元115判断是否从本装置的用户输入了校准信息的编辑操作。在已输入校准信息的编辑操作的情况下则转移到步骤S510的处理。
在步骤S510中，指示单元115发出对应于从本装置的用户输入的校准信息的编辑操作的命令，进行校准信息的编辑。例如在校准信息的编辑中包含校准信息的参数的变更、校准信息的读入、校准信息的复位之类的操作。
在步骤S600中，指示单元115判断是否从本装置的用户输入了校准信息的保存操作。在已输入校准信息的保存操作的情况下则转移到步骤S610的处理。
在步骤S610中，指示单元115对校准信息保持单元114发出文件保存请求，并将当前所保持的校准信息输出到磁盘装置105。
在步骤S700中，指示单元115判断是否从本装置的用户输入了本装置的结束操作。在已输入校准信息的结束操作的情况下则转移到步骤S800的处理。在未输入的情况下再次向步骤S100返回。
在步骤S800中，进行用于结束本装置的处理。
图16是表示本实施形式的传感器校准装置的用户，使用本装置进行传感器的校准用的标准操作的流程图。
在步骤S1000中，本装置的用户启动本实施形式的传感器校准装置。
在步骤S1100中，本装置的用户使用摄像装置302摄取标记。本装置的用户确认本装置的图像坐标取得单元112是否正确地确定标记的图像坐标和识别信息。在能够正确地进行确定的情况下进入步骤S1200，在不能确认的情况下进行步骤S1110。
在步骤S1110中，本装置的用户例如使用标记检测参数设定对话框1300，对指示单元115给与进行标记检测参数和标记识别参数的调整用的指示。
在步骤S1200中，本装置的用户例如使用数据取得按钮1120对指示单元115发出数据取得命令。
在步骤S1300中，本装置的用户确认已取得的数据列表的各数据是否良好。在数据良好的情况下进入步骤S1400，在不良好的情况下依照状况进入步骤S1310或向步骤S1100返回。
在步骤S1310中，本装置的用户例如使用数据取得对话框1100对指示单元115给与进行数据列表的编辑操作用的指示。
在步骤S1400中，本装置的用户例如使用校准信息计算按钮1140对指示单元115发出校准信息计算命令。
在步骤S1500中，本装置的用户确认校准信息计算单元113是否正确地计算出校准信息。在已正确地计算出的情况下进入步骤S1600，在未计算出的情况下向步骤S1100返回。
在步骤S1600中，本装置的用户确认校准信息计算单元113计算出的校准信息是否良好。在校准信息良好的情况下进入步骤S1700，在不良好的情况下依照状况进行步骤S1610或向步骤S1100返回。
在步骤S1610中，本装置的用户例如使用初始值设定对话框1200对指示单元115给与进行校准信息的编辑用的指示。
在步骤S1700中，本装置的用户例如使用保存子菜单1050对指示单元115发出文件保存命令。
在步骤S1800中，本装置的用户例如使用结束子菜单1060使本装置结束。
<第2实施形式>
图17是说明利用本发明的传感器校准装置的第2实施形式中的概略结构的框图。在第1实施形式中显示单元200设置在头部安装单元300的外部。在第2实施形式中显示单元200包含在头部安装单元300中。这样的结构例如像HMD那样，通过将能够安装到本装置的用户头部的显示装置作为显示单元200使用而得以实现。在第2实施形式中通过使用可安装到头部的显示装置，本装置的用户就可在与使用提示复合现实感的图像显示装置的条件相同的条件下进行校准。
<第3实施形式>
图18是说明利用本发明的传感器校准装置的第3实施形式中的概略结构的框图。在第3实施形式中，显示单元200由第1实施形式中的置备于头部安装单元300的外部的显示装置和第2实施形式中的安装在本装置的用户头部的显示装置两者构成。例如HMD与CRT监视器和液晶监视器之类通常的显示器装置比较起来，一般分辨率低。在使用这样的显示装置的情况下，考虑到本装置的用户难以使用在第1实施形式中所说明的GUI对本装置给与指示。在这样的情况下，考虑例如由二人来使用本装置。
即，在本装置的第1用户观看的置备于头部安装单元300的外部的显示装置(第1实施形式中的显示单元)上，显示在第1实施形式中所说明的GUI，在安装在本装置的第2用户头部的显示装置(第2实施形式中的显示单元)上，显示除了在第1实施形式中所说明的GUI的，现实图像和在现实图像重叠了各种信息和CG的合成图像以及标记的颜色抽取图像等。通过使本装置的操作由第1用户进行，摄像装置302和接收器301的位置姿势的调整由第2用户进行，就可有效率地进行校准操作。
另外无需赘言，本发明的目的也是可以这样达到，就是通过将记录了实现上述实施形式的功能的软件程序代码的存储介质(或者记录介质)提供给***或者装置，该***或者装置的计算机(或者CPU和MPU)，读出并执行保存在存储介质中的程序代码。在这种情况下，就成为从存储介质读出的程序代码自身将实现上述的实施形式的功能，存储了该程序代码的存储介质将构成本发明。另外无需赘言，不仅包含通过计算机执行所读出的程序代码，上述的实施形式的功能得以实现的情况，也包含根据该程序代码的指示，在计算机上运行的操作***(OS)等进行实际处理的一部分或者全部，通过该处理上述实施形式的功能得以实现的情况。
进而无需赘言，也包含当从存储介质读出的程序代码，被写入到***计算机的功能扩充板和/或连接到计算机的功能扩充单元上所具备的存储器以后，根据该程序代码的指示，该功能扩充板和/或功能扩充单元上所具备的CPU等进行实际处理的一部分或者全部，通过该处理前面所说的实施形式的功能得以实现的情况。
在将本发明适用于上述存储介质的情况下，与先前说明了的(图15所示的)流程图对应的程序代码就保存在该存储介质中。
如以上所说明那样，根据本发明，在调整了摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时，取得上述传感器的测量值，基于使用上述传感器的测量值计算出的参数将上述发送器的虚拟图像重叠在摄影图像上，使重叠了该发送器的虚拟图像的摄影图像进行显示，输入关于上述参数的调整值的用户指示，同时依照该调整值来更新上述虚拟图像，因此就能够简单地进行参数的调整。
另外，由于使用传感器的发送器，故用户不需要进行特别的准备。
由于在不脱离本发明的精神和范围内，能够实现本发明大量而广泛的实施形式，应该理解为本发明并不限于特定的实施形式，而是由附加的权利要求所规定。

Claims (9)

1.一种计算用于将传感器的测量值变换成摄像单元的位置姿势的第1参数的信息处理方法，其特征在于包括以下处理：
取得在调整了上述摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时的上述传感器的测量值；以及
使用上述传感器的测量值来计算上述第1参数。
2.根据权利要求1所述的信息处理方法，其特征在于：
进而，基于计算出的上述第1参数，将上述发送器的虚拟图像重叠在摄影图像上，并使重叠了该发送器的虚拟图像的摄影图像进行显示；以及
输入关于上述第1参数的调整值的用户指示，并依照该调整值来更新上述虚拟图像。
3.根据权利要求2所述的信息处理方法，其特征在于：
进而，依照用户的手动(manual)指示，来设定计算世界坐标系中的发送器的位置姿势用的第2参数。
4.根据权利要求3所述的信息处理方法，其特征在于：
是将上述所设定的第1和第2参数用作初始值，对用于将传感器的测量值变换成世界坐标系中的摄像单元的位置姿势的第3参数进行最优化的信息处理方法，进一步包括以下处理，
取得通过使用上述摄像单元摄取配置有世界坐标已知的多个标记的现实空间而得到的摄影图像、以及进行了摄取时的上述传感器的测量值；
检测包含在上述摄影图像中的标记的位置；以及
使用上述传感器的测量值、上述检测出的标记位置以及该检测出的标记的世界坐标，对上述参数进行最优化。
5.一种使计算机实现计算用于将传感器的测量值变换成摄像单元的位置姿势的第1参数的信息处理方法的程序，其特征在于包括以下程序：
取得在调整了上述摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时的上述传感器的测量值的步骤的程序；以及
使用上述传感器的测量值来计算上述第1参数的步骤的程序。
6.根据权利要求5所述的程序，其特征在于：
进而还包括以下程序，基于计算出的上述第1参数，将上述发送器的虚拟图像重叠在摄影图像上，并使重叠了该发送器的虚拟图像的摄影图像进行显示的步骤的程序；以及
输入关于上述第1参数的调整值的用户指示，同时依照该调整值来更新上述虚拟图像的步骤的程序。
7.一种计算用于将传感器的测量值变换成摄像单元的位置姿势的第1参数的信息处理装置，其特征在于包括：
取得在调整了上述摄像单元的位置姿势使得能够摄影现实空间中的传感器的发送器时的上述传感器的测量值的装置；以及
使用上述传感器的测量值来计算上述第1参数的装置。
8.根据权利要求7所述的信息处理装置，其特征在于：
进而还包括，基于计算出的上述第1参数，将上述发送器的虚拟图像重叠在摄影图像上，并使重叠了该发送器的虚拟图像的摄影图像进行显示的装置；以及
输入关于上述第1参数的调整值的用户指示，同时依照该调整值来更新上述虚拟图像的装置。
9.一种计算机可读取的记录介质，其特征在于：
保存了权利要求5所述的程序。
CNB031544118A 2002-09-27 2003-09-27 信息处理方法和信息处理装置 Expired - Fee Related CN1284063C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002284243 2002-09-27
JP284243/2002 2002-09-27
JP2003332395A JP2004151085A (ja) 2002-09-27 2003-09-24 情報処理方法及び情報処理装置
JP332395/2003 2003-09-24

Publications (2)

Publication Number Publication Date
CN1497244A true CN1497244A (zh) 2004-05-19
CN1284063C CN1284063C (zh) 2006-11-08

Family

ID=32044645

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031544118A Expired - Fee Related CN1284063C (zh) 2002-09-27 2003-09-27 信息处理方法和信息处理装置

Country Status (4)

Country Link
US (1) US7035760B2 (zh)
EP (1) EP1411419A3 (zh)
JP (1) JP2004151085A (zh)
CN (1) CN1284063C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101367015A (zh) * 2007-06-18 2009-02-18 神奇游戏智能公司 采用可移动控制器进行交互控制的独立惯性导航***
CN101598985B (zh) * 2008-06-03 2011-10-19 广达电脑股份有限公司 用以产生座标校正点的影像处理装置及方法
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
CN103134425A (zh) * 2011-11-30 2013-06-05 佳能株式会社 信息处理装置及信息处理方法
TWI423075B (zh) * 2009-04-28 2014-01-11 Sony Corp Information processing apparatus, and information processing method, and program
CN105408837A (zh) * 2013-06-18 2016-03-16 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
CN110006420A (zh) * 2018-05-31 2019-07-12 上海快仓智能科技有限公司 建图方法、图像采集和处理***和定位方法
CN111727421A (zh) * 2018-02-19 2020-09-29 株式会社村上开明堂 基准位置设定方法和虚像显示装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
JP4522140B2 (ja) * 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
JP4689380B2 (ja) * 2004-09-28 2011-05-25 キヤノン株式会社 情報処理方法および装置
DE102005027678A1 (de) * 2005-06-15 2006-12-28 Siemens Ag Verfahren und Vorrichtung zur Markierung von dreidimensionalen Strukturen auf zweidimensionalen Projektionsbildern
US7505784B2 (en) 2005-09-26 2009-03-17 Barbera Melvin A Safety features for portable electronic device
US8270933B2 (en) 2005-09-26 2012-09-18 Zoomsafer, Inc. Safety features for portable electronic device
JP4550768B2 (ja) * 2006-05-09 2010-09-22 日本電信電話株式会社 画像検出方法および画像検出装置
CN101839092B (zh) * 2009-03-16 2013-08-21 徐克林 一种可拍照可发信息的防盗报警锁
CN101899927B (zh) * 2009-05-31 2014-07-23 徐克林 一种可拍照可发信息的防盗报警锁
JP5512378B2 (ja) * 2010-04-28 2014-06-04 株式会社Ｎｔｔドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US9204040B2 (en) 2010-05-21 2015-12-01 Qualcomm Incorporated Online creation of panoramic augmented reality annotations on mobile platforms
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US8442295B2 (en) * 2010-06-29 2013-05-14 Analogic Corporation Anti-counterfeiting / authentication
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
KR101355589B1 (ko) 2013-01-30 2014-01-24 한국기술교육대학교 산학협력단 각 분할 스핀영상을 이용한 얼굴인식 방법
WO2015072237A1 (ja) * 2013-11-13 2015-05-21 株式会社Ｊｖｃケンウッド 情報解析システム
JP6346445B2 (ja) 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
KR101543159B1 (ko) * 2014-05-02 2015-08-10 현대자동차주식회사 카메라를 이용한 영상 조정 시스템 및 방법
US9247322B1 (en) * 2015-05-29 2016-01-26 Schechter Tech, Llc Low-power user interface device for environmental monitoring system
JP2017058783A (ja) * 2015-09-14 2017-03-23 富士ゼロックス株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN105354820B (zh) * 2015-09-30 2018-05-22 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
KR102371409B1 (ko) * 2016-01-08 2022-03-07 삼성전자주식회사 센서 관리 방법 및 장치
CN106150205A (zh) * 2016-06-29 2016-11-23 杭州联络互动信息科技股份有限公司 一种检测异常开锁行为的方法和装置
CN106648101A (zh) * 2016-12-23 2017-05-10 宇龙计算机通信科技(深圳)有限公司 虚拟现实操作区域提示***、方法、装置以及控制终端
US10235774B1 (en) 2017-11-14 2019-03-19 Caterpillar Inc. Method and system for calibration of an image capturing device mounted on a machine
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
CN110750190B (zh) * 2019-10-17 2024-01-23 辽宁中航信诺科技有限公司 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法
CN111145264B (zh) * 2019-11-12 2023-09-08 达闼机器人股份有限公司 多传感器的标定方法、装置及计算设备
US11562488B2 (en) * 2020-10-15 2023-01-24 Adobe Inc. Image content snapping guidelines

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094625A (en) * 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
DE60000537T2 (de) * 1999-03-01 2003-01-30 Bae Sys Electronics Ltd System zur verfolgung von kopfbewegungen
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
JP3952297B2 (ja) 2002-08-29 2007-08-01 富士電機システムズ株式会社 モータ駆動制御装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101367015B (zh) * 2007-06-18 2013-01-09 神奇游戏智能公司 采用可移动控制器进行交互控制的独立惯性导航***
CN101367015A (zh) * 2007-06-18 2009-02-18 神奇游戏智能公司 采用可移动控制器进行交互控制的独立惯性导航***
CN101598985B (zh) * 2008-06-03 2011-10-19 广达电脑股份有限公司 用以产生座标校正点的影像处理装置及方法
CN102246121B (zh) * 2008-12-25 2016-01-13 松下知识产权经营株式会社 信息显示装置和信息显示方法
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
TWI423075B (zh) * 2009-04-28 2014-01-11 Sony Corp Information processing apparatus, and information processing method, and program
CN103134425A (zh) * 2011-11-30 2013-06-05 佳能株式会社 信息处理装置及信息处理方法
CN103134425B (zh) * 2011-11-30 2016-08-31 佳能株式会社 信息处理装置及信息处理方法
US9584768B2 (en) 2011-11-30 2017-02-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method and computer-readable storage medium
CN105408837A (zh) * 2013-06-18 2016-03-16 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
US10175483B2 (en) 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
CN105408837B (zh) * 2013-06-18 2019-07-12 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
CN111727421A (zh) * 2018-02-19 2020-09-29 株式会社村上开明堂 基准位置设定方法和虚像显示装置
CN110006420A (zh) * 2018-05-31 2019-07-12 上海快仓智能科技有限公司 建图方法、图像采集和处理***和定位方法
CN110006420B (zh) * 2018-05-31 2024-04-23 上海快仓智能科技有限公司 建图方法、图像采集和处理***和定位方法

Also Published As

Publication number Publication date
JP2004151085A (ja) 2004-05-27
US20040133379A1 (en) 2004-07-08
EP1411419A2 (en) 2004-04-21
US7035760B2 (en) 2006-04-25
CN1284063C (zh) 2006-11-08
EP1411419A3 (en) 2006-07-05

Similar Documents

Publication Publication Date Title
CN1284063C (zh) 信息处理方法和信息处理装置
CN1210543C (zh) 传感器校准装置及方法、程序、信息处理方法及装置
CN101067762A (zh) 信息处理设备及其控制方法和图像处理设备
CN1284073C (zh) 信息显示***及其信息处理装置、指示装置和标记显示法
CN1265304C (zh) 预览设备、电子设备以及图像形成装置
CN1865842A (zh) 用于确定位置和方位的方法和设备
CN1259890C (zh) 图像处理装置和方法
CN1270277C (zh) 图像失真校正方法和设备
JP4137078B2 (ja) 複合現実感情報生成装置および方法
CN1909590A (zh) 摄像装置、图像校正方法以及程序
CN1512434A (zh) 2维码读取方法和读取装置、数字照相机及其便携终端
CN100337185C (zh) 多监视器***和多监视器方法
US8350896B2 (en) Terminal apparatus, display control method, and display control program
CN1790376A (zh) 信息处理装置、输入设备以及方法、程序和信息处理***
CN1905689A (zh) 信息处理设备和方法
US10672143B2 (en) Image processing method for generating training data
CN1606754A (zh) 计算显示位置的装置和方法
JP2008046687A (ja) 撮影環境校正方法及び情報処理装置
CN1925626A (zh) 立体显示设备及其控制方法
CN1890987A (zh) 投影仪颜色校正方法
CN1262106C (zh) 输出对象图像数据的选择装置及方法
CN1696605A (zh) 标记放置信息估计方法和信息处理设备
CN1835569A (zh) 时移图像分配***，时移图像分配方法，时移图像请求装置及图像服务器
CN1517902A (zh) 位置姿势测量方法、位置姿势测量装置
CN1823523A (zh) 投影设备、倾斜角获取方法以及投影图像校正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061108

Termination date: 20180927

CF01 Termination of patent right due to non-payment of annual fee