JP2003269913A - Device and method for calibrating sensor, program, and storage medium - Google Patents
Device and method for calibrating sensor, program, and storage mediumInfo
- Publication number
- JP2003269913A JP2003269913A JP2002076760A JP2002076760A JP2003269913A JP 2003269913 A JP2003269913 A JP 2003269913A JP 2002076760 A JP2002076760 A JP 2002076760A JP 2002076760 A JP2002076760 A JP 2002076760A JP 2003269913 A JP2003269913 A JP 2003269913A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensor
- orientation
- coordinates
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、位置姿勢センサを
用いて撮像装置の位置姿勢を計測する目的において、位
置姿勢センサの較正を行う方法及び装置に関するもので
ある。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for calibrating a position and orientation sensor for the purpose of measuring the position and orientation of an image pickup device using the position and orientation sensor.
【０００２】[0002]
【従来の技術】近年、現実空間と仮想空間の繋ぎ目のな
い結合を目的とした、複合現実感に関する研究が盛んに
行われている。複合現実感の提示を行う画像表示装置
は、ビデオカメラなどの撮像装置によって撮影された現
実空間の画像に仮想空間（たとえばコンピュータ・グラ
フィックスにより描画された仮想物体や文字情報など）
の画像を重畳表示することで実現される。2. Description of the Related Art In recent years, research on mixed reality has been actively conducted for the purpose of seamless connection between a real space and a virtual space. An image display device that presents mixed reality presents an image of a real space captured by an image capturing device such as a video camera in a virtual space (for example, a virtual object drawn by computer graphics or character information).
It is realized by superimposing and displaying the image of.
【０００３】このような画像表示装置の応用としては、
患者の体表面に体内の様子を重畳表示する手術支援や、
現実空間に浮遊する仮想の敵と戦う複合現実感ゲームな
ど、今までのバーチャルリアリティとは異なった新たな
分野が期待されている。As an application of such an image display device,
Surgery support that displays the internal state of the patient on the surface of the patient,
New fields that are different from conventional virtual reality are expected, such as mixed reality games that fight virtual enemies floating in the real space.
【０００４】これらの応用に対して共通に要求されるの
は、現実空間と仮想空間の間の位置合わせをいかに正確
に行うかということであり、従来から多くの取り組みが
行われてきた。A common requirement for these applications is how to perform accurate alignment between the real space and the virtual space, and many efforts have been made in the past.
【０００５】複合現実感における位置合わせの問題は、
現実空間に設定した世界座標系（以後、単に世界座標系
と呼ぶ）における、撮像装置の３次元位置姿勢を求める
問題に帰結される。これらの問題を解決する方法とし
て、磁気式センサや超音波式センサなどの３次元位置姿
勢センサを利用することが一般的に行われている。The problem of alignment in mixed reality is
This results in the problem of obtaining the three-dimensional position and orientation of the imaging device in the world coordinate system set in the physical space (hereinafter simply referred to as the world coordinate system). As a method of solving these problems, it is general to use a three-dimensional position and orientation sensor such as a magnetic sensor or an ultrasonic sensor.
【０００６】一般に３次元位置姿勢センサが出力する出
力値は、センサが独自に定義するセンサ座標系における
測点の位置姿勢であって、世界座標系における撮像装置
の位置姿勢ではない。例えばPolhemus社の磁気式センサ
FASTRAKを例にとると、センサ出力として得られるの
は、トランスミッタが定義する座標系におけるレシーバ
の位置姿勢である。したがって、センサ出力値をそのま
ま世界座標系における撮像装置の位置姿勢として用いる
ことはできず、何らかの較正を行う必要がある。具体的
には、測点の位置姿勢を撮像装置の位置姿勢に変換する
座標変換と、センサ座標系における位置姿勢を世界座標
系における位置姿勢に変換する座標変換が必要となる。
なお、本明細書において、センサ出力値を世界座標系に
おける撮像装置の位置姿勢に変換するための情報を較正
情報と呼ぶこととする。Generally, the output value output from the three-dimensional position / orientation sensor is the position / orientation of the measuring point in the sensor coordinate system defined by the sensor, not the position / orientation of the image pickup device in the world coordinate system. For example Polhemus magnetic sensor
Taking FASTRAK as an example, the sensor output is the position and orientation of the receiver in the coordinate system defined by the transmitter. Therefore, the sensor output value cannot be used as it is as the position and orientation of the image pickup apparatus in the world coordinate system, and some kind of calibration needs to be performed. Specifically, coordinate conversion for converting the position / orientation of the measurement point into the position / orientation of the imaging device and coordinate conversion for converting the position / orientation in the sensor coordinate system into the position / orientation in the world coordinate system are required.
In this specification, information for converting the sensor output value into the position and orientation of the image pickup device in the world coordinate system will be referred to as calibration information.
【０００７】図１は、複合現実感の提示を行う一般的な
画像表示装置の機能構成を示すブロック図である。FIG. 1 is a block diagram showing the functional arrangement of a general image display device for presenting mixed reality.
【０００８】頭部装着部１００には、表示画面１１０及
びビデオカメラ１２０が固定されている。不図示のユー
ザが、表示画面１１０が眼前に位置するように頭部装着
部１００を装着すると、ユーザの眼前の情景がビデオカ
メラ１２０によって撮像される。したがって、仮にビデ
オカメラ１２０が撮像した画像を表示画面１１０に表示
したとすると、ユーザは、頭部装着部１００を装着して
いなければ裸眼で観察するであろう眼前の情景を、ビデ
オカメラ１２０と表示画面１１０を介して観察すること
になる。A display screen 110 and a video camera 120 are fixed to the head mounting portion 100. When a user (not shown) wears the head-mounted part 100 so that the display screen 110 is positioned in front of the eyes, the video camera 120 captures a scene in front of the eyes of the user. Therefore, if the image captured by the video camera 120 is displayed on the display screen 110, the user can view the scene in front of the user, which the user would observe with the naked eye without the head-mounted part 100, as the video camera 120. It will be observed through the display screen 110.
【０００９】位置姿勢センサ１３０は、頭部装着部１０
０に固定された測点のセンサ座標系における位置姿勢を
計測する装置であって、例えば、レシーバ１３１、トラ
ンスミッタ１３２，センサ制御部１３３よりなる磁気式
センサであるPolhemus社のFASTRAKによって構成されて
いる。レシーバ１３１は測点として頭部装着部１００に
固定されており、センサ制御部１３２は、トランスミッ
タ１３３の位置姿勢を基準としたセンサ座標系における
レシーバ１３１の位置姿勢を計測しこれを出力する。The position / orientation sensor 130 is used for the head mounting portion 10.
A device that measures the position and orientation of a measurement point fixed at 0 in a sensor coordinate system, and is configured by FASTRAK of Polhemus, which is a magnetic sensor including a receiver 131, a transmitter 132, and a sensor control unit 133, for example. . The receiver 131 is fixed to the head mounting unit 100 as a measurement point, and the sensor control unit 132 measures the position and orientation of the receiver 131 in the sensor coordinate system with the position and orientation of the transmitter 133 as a reference, and outputs this.
【００１０】一方、演算処理部１７０は、位置姿勢情報
変換部１４０、メモリ１５０、画像生成部１６０からな
り、例えば１台の汎用コンピュータにより構成すること
が可能である。位置姿勢情報変換部１４０は、メモリ１
５０が保持する較正情報に従って、位置姿勢センサ１３
０より入力した計測値に変換を加え、世界座標系におけ
るビデオカメラ１２０の位置姿勢を算出しこれを位置姿
勢情報として出力する。画像生成部１６０は、位置姿勢
情報変換部１４０より入力した位置姿勢情報に従って仮
想画像を生成し、これをビデオカメラ１２０が撮像した
実写画像に重畳して出力する。表示画面１１０は、画像
生成部１６０から画像を入力しこれを表示する。以上の
構成により、不図示のユーザは、眼前の現実空間に仮想
物体が存在するかのごとき感覚を得ることになる。On the other hand, the arithmetic processing section 170 comprises a position / orientation information converting section 140, a memory 150, and an image generating section 160, and can be constituted by, for example, one general-purpose computer. The position / orientation information conversion unit 140 uses the memory 1
According to the calibration information held by 50, the position and orientation sensor 13
The measured value input from 0 is converted, the position and orientation of the video camera 120 in the world coordinate system is calculated, and this is output as position and orientation information. The image generation unit 160 generates a virtual image according to the position / orientation information input from the position / orientation information conversion unit 140, superimposes the virtual image on the real image captured by the video camera 120, and outputs the virtual image. The display screen 110 receives an image from the image generator 160 and displays it. With the above configuration, the user (not shown) will have a feeling as if a virtual object were present in the real space in front of him.
【００１１】次に、図２を用いて、位置姿勢情報変換部
１４０において、世界座標系におけるビデオカメラの位
置姿勢を算出する方法を説明する。図２は世界座標系に
おけるビデオカメラの位置姿勢を算出する方法を説明す
る図である。Next, a method for calculating the position and orientation of the video camera in the world coordinate system in the position and orientation information conversion unit 140 will be described with reference to FIG. FIG. 2 is a diagram illustrating a method of calculating the position and orientation of the video camera in the world coordinate system.
【００１２】同図において、世界座標系２００における
センサ座標系２１０（トランスミッタ１３３の位置を原
点とする座標系）の位置姿勢をMTW、センサ座標系２１
０における位置姿勢センサ１３０の測点（すなわちレシ
ーバ１３１）の位置姿勢をMS T、位置姿勢センサ１３０
の測点からみたビデオカメラ１２０の位置姿勢をMCS、
世界座標系２００におけるビデオカメラ１２０の位置姿
勢をMCWとする。なお、本明細書では、座標系Ａにおけ
る物体Ｂの位置姿勢を、座標系Ａから座標系Ｂ（物体Ｂ
を基準とするローカル座標系）へのビューイング変換行
列MBA（４×４）で表記するものとする。In the figure, the position and orientation of the sensor coordinate system 210 (coordinate system having the position of the transmitter 133 as the origin) in the world coordinate system 200 is M TW , and the sensor coordinate system 21
The position and orientation of the measurement point (that is, the receiver 131) of the position and orientation sensor 130 at 0 is M S T , and the position and orientation sensor 130
The measurement point viewed from the position and orientation of the video camera 120 of M CS,
The position and orientation of the video camera 120 in the world coordinate system 200 is set to M CW . In addition, in this specification, the position and orientation of the object B in the coordinate system A are changed from the coordinate system A to the coordinate system B (object B
The viewing transformation matrix M BA (4 × 4) into the local coordinate system based on
【００１３】このときMCWは、 MCW ＝ MCS・MST・MTW （式Ａ） によって示すことができる。At this time, M CW can be represented by M CW = M CS · M ST · M TW (formula A).
【００１４】このうち、MSTが位置姿勢センサ１３０か
ら位置姿勢情報変換部１４０への入力、MCWが位置姿勢
情報変換部１４０から画像生成部１６０への出力であ
り、MCS及びMTWが、MSTをMCWに変換するために必要な較
正情報に相当する。位置姿勢情報変換部１４０は、位置
姿勢センサ１３０から入力されるMSTと、メモリ１５０
に保持されているMCS及びMTWとを用いて、（式Ａ）に基
づいてMCWを算出し、これを画像生成部１６０へと出力
する。Of these, M ST is an input from the position and orientation sensor 130 to the position and orientation information conversion unit 140, M CW is an output from the position and orientation information conversion unit 140 to the image generation unit 160, and M CS and M TW are , M ST corresponds to the calibration information needed to convert to M CW . Position and orientation information converter 140, and M ST input from the position and orientation sensor 130, a memory 150
M CW is calculated based on (Equation A) using M CS and M TW held in the table, and this is output to the image generation unit 160.
【００１５】現実空間と仮想空間の正確な位置合わせを
行うためには、何らかの手段によってメモリ１５０に正
確な較正情報が設定される必要がある。正確な較正情報
が与えられてはじめて、現実空間に正確に位置合わせの
なされた仮想画像の表示が実現される。In order to perform accurate alignment between the real space and the virtual space, it is necessary to set accurate calibration information in the memory 150 by some means. Only when accurate calibration information is provided can the display of a virtual image accurately registered in the real space.
【００１６】尚、メモリ１５０における較正情報の保持
形態は、必ずしもビューイング変換行列である必要はな
く、一方の座標系からみたもう一方の座標系の位置及び
姿勢が定義できる情報であれば、いずれの形態をとって
もよい。例えば、位置を記述する３パラメータと、姿勢
をオイラー角によって表現する３パラメータの計６パラ
メータで位置姿勢を表現してもよい。また、姿勢に関し
ては、回転軸を定義する３値のベクトルとその軸まわり
の回転角という４パラメータで表現してもよいし、回転
軸を定義するベクトルの大きさによって回転角を表現す
るような３パラメータによって表現してもよい。It should be noted that the storage form of the calibration information in the memory 150 does not necessarily have to be the viewing transformation matrix, and any information can be used as long as it can define the position and orientation of the other coordinate system viewed from one coordinate system. You may take the form of. For example, the position and orientation may be expressed by three parameters that describe the position and three parameters that express the orientation by Euler angles, that is, a total of six parameters. Further, the posture may be expressed by four parameters of a ternary vector defining a rotation axis and a rotation angle around the rotation axis, or the rotation angle may be expressed by the size of the vector defining the rotation axis. It may be expressed by three parameters.
【００１７】また、それらの逆変換を表わすパラメータ
（例えば、センサ座標系２１０における世界座標系２２
０の位置姿勢）によって表現しても良い。ただし、いず
れの場合も、３次元空間中における物体の位置及び姿勢
は、位置に３自由度、姿勢に３自由度の計６自由度を有
しているのみであるので、本画像表示装置の較正に必要
な未知パラメータ数は、世界座標系からセンサ座標系へ
の変換に必要な６パラメータと、測点の位置姿勢からビ
デオカメラの位置姿勢への変換に必要な６パラメータの
合計１２パラメータとなる。In addition, a parameter representing the inverse transformation (for example, the world coordinate system 22 in the sensor coordinate system 210) is used.
It may be expressed by a position and orientation of 0). However, in any case, since the position and orientation of the object in the three-dimensional space have only three degrees of freedom in position and three degrees of freedom in orientation, the image display device of the present invention has The number of unknown parameters required for calibration is a total of 12 parameters, 6 required for conversion from the world coordinate system to the sensor coordinate system and 6 required for conversion from the position / orientation of the measuring point to the position / orientation of the video camera. Become.
【００１８】較正情報を設定する公知の方法の一つとし
て、ユーザあるいはオペレータが、不図示の入力手段を
介して、メモリ１５０に格納されたMCS及びMTWを定義す
る１２のパラメータ（あるいはそれに等価な１２以上の
パラメータ）を対話的に変更し、正確な位置合わせが達
成されるまで調整を試行錯誤的に行うという方法があ
る。As one of the known methods of setting the calibration information, a user or an operator uses 12 input parameters (not shown) to define M CS and M TW stored in the memory 150 (or to them). There is a method in which 12 or more equivalent parameters) are interactively changed and the adjustment is performed by trial and error until accurate alignment is achieved.
【００１９】また、特願２００１−０５０９９０号公報
により提案された較正方法によれば、MCS及びMTWの一方
が何らかの方法で得られていれば、ある値に固定した位
置姿勢情報に基づいて生成した仮想画像を視覚キューと
して用いることで、残された未知パラメータを簡便に導
出することができる。Further, according to the calibration method proposed in Japanese Patent Application No. 2001-050990, if one of M CS and M TW is obtained by some method, the position and orientation information fixed to a certain value is used. By using the generated virtual image as a visual cue, the remaining unknown parameters can be easily derived.
【００２０】[0020]
【発明が解決しようとする課題】しかし、前者の方法で
は、１２の未知パラメータを同時に調整する必要がある
ため調整に著しく時間がかかり、必ずしも正確な較正情
報が得られるとは限らないという問題点があった。ま
た、後者の方法においても、既知とするパラメータを導
出する際に試行錯誤的作業あるいは何らかの較正用器具
を用いた作業を行う必要があるという改善の余地があっ
た。However, in the former method, since it is necessary to adjust 12 unknown parameters at the same time, the adjustment takes a considerably long time, and accurate calibration information is not always obtained. was there. Further, even in the latter method, there is room for improvement in that trial-and-error work or work using some kind of calibration tool needs to be performed when deriving a known parameter.
【００２１】本発明は以上の問題に鑑みてなされたもの
であり、センサにより計測された撮像装置の位置姿勢を
世界座標系における位置姿勢に変換するための較正情報
を、より簡便に、かつ、特別な較正用器具を用いること
なく取得することを目的とする。The present invention has been made in view of the above problems, and more simply and easily provides calibration information for converting the position and orientation of the image pickup device measured by the sensor into the position and orientation in the world coordinate system. It is intended to be acquired without using special calibration equipment.
【００２２】[0022]
【課題を解決するための手段】本発明の目的を達成する
為に、例えば本発明のセンサ較正装置は以下の構成を備
える。In order to achieve the object of the present invention, for example, the sensor calibration device of the present invention has the following configuration.
【００２３】すなわち、撮像装置の位置姿勢を計測する
ための位置姿勢センサの較正情報を求めるセンサ較正装
置であって、複数の特徴点の世界座標系における位置デ
ータを保持する保持手段と、前記位置姿勢センサにより
計測されたセンサ計測値を入力する入力手段と、前記撮
像装置により撮像された画像に含まれる特徴点の当該画
像における座標を取得する座標取得手段と、前記保持手
段が保持する前記複数の特徴点の世界座標系における位
置データと、所定のタイミングで前記入力手段により得
られる前記センサ計測値とを用いて、当該所定のタイミ
ングで前記撮像装置により得られる画像に含まれる特徴
点の当該画像における第１の座標を計算し、更に前記座
標取得手段により取得された前記所定のタイミングで前
記撮像装置により得られる画像に含まれる前記特徴点の
前記画像における第２の座標を入力し、当該第１の座標
と当該第２の座標とを用いて前記較正情報を求める較正
情報計算手段とを備えることを特徴とする。That is, a sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an image pickup device, said holding means for holding position data of a plurality of characteristic points in the world coordinate system, and the position. An input unit for inputting a sensor measurement value measured by an attitude sensor, a coordinate acquisition unit for acquiring coordinates of a feature point included in an image captured by the image capturing apparatus in the image, and the plurality of units held by the holding unit. Using the position data of the feature point in the world coordinate system and the sensor measurement value obtained by the input means at a predetermined timing, the feature point included in the image obtained by the imaging device at the predetermined timing The first coordinate in the image is calculated, and further, by the image pickup device at the predetermined timing acquired by the coordinate acquisition means. Calibration information calculating means for inputting second coordinates of the feature points included in the image in the image, and for obtaining the calibration information using the first coordinates and the second coordinates. And
【００２４】本発明の目的を達成する為に、例えば本発
明のセンサ較正方法は以下の構成を備える。In order to achieve the object of the present invention, for example, the sensor calibration method of the present invention has the following configuration.
【００２５】すなわち、撮像装置の位置姿勢を計測する
ための位置姿勢センサの較正情報を求めるセンサ較正方
法であって、複数の特徴点の世界座標系における位置デ
ータを所定の保持手段に保持する保持工程と、前記位置
姿勢センサにより計測されたセンサ計測値を入力する入
力工程と、前記撮像装置により撮像された画像に含まれ
る特徴点の当該画像における座標を取得する座標取得工
程と、前記保持手段が保持する前記複数の特徴点の世界
座標系における位置データと、所定のタイミングで前記
入力工程で得られる前記センサ計測値とを用いて、当該
所定のタイミングで前記撮像装置により得られる画像に
含まれる特徴点の当該画像における第１の座標を計算
し、更に前記座標取得工程で取得された前記所定のタイ
ミングで前記撮像装置により得られる画像に含まれる前
記特徴点の前記画像における第２の座標を入力し、当該
第１の座標と当該第２の座標とを用いて前記較正情報を
求める較正情報計算工程とを備えることを特徴とする。That is, a sensor calibration method for obtaining the calibration information of the position and orientation sensor for measuring the position and orientation of the image pickup device, in which the position data of a plurality of feature points in the world coordinate system is held in a predetermined holding means. A step, an input step of inputting a sensor measurement value measured by the position and orientation sensor, a coordinate acquisition step of acquiring coordinates of a feature point included in an image captured by the imaging device in the image, and the holding unit. Included in the image obtained by the imaging device at the predetermined timing, using position data in the world coordinate system of the plurality of characteristic points held by the sensor measurement value obtained at the input step at a predetermined timing. The first coordinates of the feature point in the image are calculated, and the imaging device is further acquired at the predetermined timing acquired in the coordinate acquisition step. A calibration information calculation step of inputting second coordinates in the image of the feature points included in the image obtained by, and obtaining the calibration information using the first coordinates and the second coordinates. Is characterized by.
【００２６】本発明の目的を達成する為に、例えば本発
明のセンサ較正装置は以下の構成を備える。In order to achieve the object of the present invention, for example, the sensor calibration device of the present invention has the following configuration.
【００２７】すなわち、撮像装置の位置姿勢を計測する
ための位置姿勢センサの較正情報を求めるセンサ較正装
置であって、複数の特徴点の世界座標系における座標を
保持する保持手段と、複数の撮像位置姿勢に前記撮像装
置を位置させた状態における前記位置姿勢センサの計測
値を入力する計測値入力手段と、前記複数の撮像位置姿
勢において前記撮像装置が撮像した撮像画像上における
複数の特徴点の画像座標の実測値を取得する画像座標取
得手段と、前記計測値入力手段および前記画像座標取得
手段よって得られた前記センサ計測値および前記特徴点
の画像座標の実測値と、前記保持手段が保持する当該特
徴点の世界座標に基づいて、前記較正情報を算出する較
正情報算出手段とを備えることを特徴とする。That is, a sensor calibration device for obtaining calibration information of a position / orientation sensor for measuring the position / orientation of the image pickup device, the holding device holding the coordinates of a plurality of feature points in the world coordinate system, and the plurality of image pickup devices. Measurement value input means for inputting a measurement value of the position and orientation sensor in a state where the imaging device is positioned in a position and orientation; and a plurality of feature points on the captured images captured by the imaging device in the plurality of imaging positions and orientations. An image coordinate acquisition unit that acquires the actual measurement value of the image coordinates, the sensor measurement value obtained by the measurement value input unit and the image coordinate acquisition unit, and the actual measurement value of the image coordinate of the characteristic point, and the holding unit hold it. And calibration information calculating means for calculating the calibration information based on world coordinates of the feature point.
【００２８】本発明の目的を達成する為に、例えば本発
明のセンサ較正方法は以下の構成を備える。In order to achieve the object of the present invention, for example, the sensor calibration method of the present invention has the following configuration.
【００２９】すなわち、撮像装置の位置姿勢を計測する
ための位置姿勢センサの較正情報を求めるセンサ較正方
法であって、複数の特徴点の世界座標系における座標を
予め所定の保持手段に保持しておき、複数の撮像位置姿
勢に前記撮像装置を位置させた状態における前記位置姿
勢センサの計測値を入力する計測値入力工程と、前記複
数の撮像位置姿勢において前記撮像装置が撮像した撮像
画像上における前記複数の特徴点の画像座標の実測値を
取得する画像座標取得工程と、前記計測値入力工程およ
び前記画像座標取得工程によって得られた前記センサ計
測値および前記特徴点の画像座標の実測値と、前記保持
手段が保持する当該特徴点の世界座標に基づいて、前記
較正情報を算出する較正情報算出工程とを含むことを特
徴とする。That is, it is a sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an image pickup device, in which coordinates of a plurality of feature points in the world coordinate system are held in advance in a predetermined holding means. Every other time, a measurement value input step of inputting a measurement value of the position and orientation sensor in a state where the imaging device is positioned in a plurality of imaging positions and orientations, and on a captured image captured by the imaging device in the plurality of imaging position and orientations. An image coordinate acquisition step of acquiring actual measurement values of image coordinates of the plurality of characteristic points, and a sensor measurement value obtained by the measurement value input step and the image coordinate acquisition step and an actual measurement value of image coordinates of the characteristic points. A calibration information calculating step of calculating the calibration information based on the world coordinates of the feature point held by the holding means.
【００３０】[0030]
【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施形態について詳細に説明する。Preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings.
【００３１】以下の実施形態では、本発明の較正装置及
びその方法を、図１の画像表示装置の較正に適用した場
合について説明する。In the following embodiments, the case where the calibration device and method of the present invention are applied to the calibration of the image display device of FIG. 1 will be described.
【００３２】本実施形態の較正装置を用いて画像表示装
置の較正を行うためには、当該画像表示装置が表示の対
象としている現実空間内に、世界座標が既知な最低３点
以上のランドマーク（特徴点）が配置されている必要が
ある。ここで、各ランドマークは、撮影画像上における
その投影像の画像座標が検出可能であって、かついずれ
のランドマークであるかが識別可能であるような、例え
ばそれぞれが異なる色を有するランドマークであるもの
とする。また、世界座標系は所定の１点を原点とし、更
にこの原点から夫々直交する方向にｘ、ｙ、ｚ軸をと
る。そしてこの座標系において上記３点のランドマーク
の座標が既知であるとする。つまり、予め上記３点のラ
ンドマークについて原点からｘ、ｙ、ｚ方向への距離を
測定しておく。In order to calibrate the image display device by using the calibration device of the present embodiment, at least three landmarks whose world coordinates are known are set in the real space which the image display device displays. (Characteristic points) must be placed. Here, for each landmark, for example, the image coordinates of the projected image on the captured image can be detected, and which landmark is identifiable, for example, landmarks having different colors Shall be In addition, the world coordinate system has one predetermined point as an origin, and further has x, y, and z axes in directions orthogonal to each other from this origin. Then, it is assumed that the coordinates of the three landmarks are known in this coordinate system. That is, the distances from the origin in the x, y, and z directions are measured in advance for the above three landmarks.
【００３３】図３は本実施形態における較正装置を含む
較正情報生成システムの機能構成を示すブロック図であ
る。同図に示すように、本実施形態における較正装置３
００は、世界座標保持部３１０、画像座標取得部３２
０、データ管理部３３０、較正情報算出部３４０、指示
部３５０から構成されており、較正対象である画像表示
装置の頭部装着部１００及び位置姿勢センサ１３０が接
続されている。FIG. 3 is a block diagram showing the functional arrangement of a calibration information generation system including the calibration device according to this embodiment. As shown in the figure, the calibration device 3 in the present embodiment
00 is the world coordinate holding unit 310, the image coordinate acquisition unit 32
0, a data management unit 330, a calibration information calculation unit 340, and an instruction unit 350, and the head mounting unit 100 of the image display device to be calibrated and the position and orientation sensor 130 are connected.
【００３４】世界座標保持部３１０は、各ランドマーク
の世界座標系における座標データ（上記方法などにより
予め測定しておいたデータ）を保持しており、データ管
理部３３０からの要求に従ってこれを出力する。また、
世界座標保持部３１０は各ランドマークの座標データに
夫々のランドマーク固有の情報（ランドマークの色、識
別番号）のデータを関連づけて保持している。The world coordinate holding unit 310 holds coordinate data of each landmark in the world coordinate system (data measured in advance by the above method or the like), and outputs it in accordance with a request from the data management unit 330. To do. Also,
The world coordinate holding unit 310 holds the coordinate data of each landmark in association with the data of the information (landmark color, identification number) peculiar to each landmark.
【００３５】画像座標取得部３２０は、ビデオカメラ１
２０が撮影した画像を入力し、画像中に撮影されている
ランドマークの座標及びその識別番号（識別子）を特定
し、データ管理部３３０からの要求に従ってこれらの情
報をデータ管理部３３０へと出力する。画像におけるラ
ンドマークの座標、及び識別番号の特定方法としては例
えば、世界座標保持部３１０が保持している各ランドマ
ークの色情報を参照して、画像中で各ランドマークの色
を有する領域を抽出し、更に抽出した領域における重心
位置を求める。このようにすることで各ランドマークの
画像における座標を求めることができる。更に世界座標
保持部３１０が保持している各色のランドマークの識別
番号情報を参照して、各領域の色に対応する識別番号を
特定する。このようにすることで、画像においてどのラ
ンドマークがどの位置にあるかを特定することができ
る。The image coordinate acquisition unit 320 is the video camera 1
The image photographed by 20 is input, the coordinates of the landmark photographed in the image and its identification number (identifier) are specified, and these pieces of information are output to the data management unit 330 according to a request from the data management unit 330. To do. As a method of specifying the coordinates of the landmark and the identification number in the image, for example, referring to the color information of each landmark held by the world coordinate holding unit 310, the area having the color of each landmark in the image is determined. The barycentric position in the extracted area is calculated. By doing so, the coordinates of each landmark in the image can be obtained. Further, the identification number information of the landmark of each color held by the world coordinate holding unit 310 is referred to, and the identification number corresponding to the color of each area is specified. By doing so, it is possible to specify which landmark is at which position in the image.
【００３６】データ管理部３３０は、指示部３５０から
「データ取得」の指示を受けると、画像座標取得部３２
０からランドマークの画像座標及び識別番号を入力し、
世界座標保持部３１０から対応するランドマークの世界
座標を入力し、位置姿勢センサ１３０から撮影画像と同
一時刻のセンサ計測値を入力し、［世界座標−センサ計
測値−画像座標］の組をデータリストに追加しこれを保
持する。また、較正情報算出部３４０からの要求にした
がって、生成したデータリストを較正情報算出部３４０
に出力する。When the data management section 330 receives the instruction of “data acquisition” from the instruction section 350, the image coordinate acquisition section 32.
Enter the image coordinates and the identification number of the landmark from 0,
The world coordinate of the corresponding landmark is input from the world coordinate holding unit 310, the sensor measurement value at the same time as the captured image is input from the position and orientation sensor 130, and the set [world coordinate-sensor measurement value-image coordinate] is data. Add it to the list and keep it. In addition, according to the request from the calibration information calculation unit 340, the generated data list is stored in the calibration information calculation unit 340.
Output to.
【００３７】較正情報算出部３４０は、指示部３５０か
ら「較正情報算出」の指示を受けると、データ管理部３
３０からデータリストを入力し、これをもとに較正情報
を算出し、算出した較正情報を出力する。When the calibration information calculation unit 340 receives the instruction of “calculation information calculation” from the instruction unit 350, the data management unit 3
A data list is input from 30, calibration information is calculated based on the data list, and the calculated calibration information is output.
【００３８】指示部３５０は、不図示のオペレータから
データ取得コマンドが入力されたときには「データ取
得」の指示をデータ管理部３３０に、較正情報算出コマ
ンドが入力されたときには「較正情報算出」の指示を較
正情報算出部３４０に送信する。指示部３５０へのコマ
ンドの入力は、例えばキーボードを用いて、特定のコマ
ンドを割り当てたキーを押すことによって行うことがで
きる。また、コマンドの入力は、ディスプレイ上に表示
されたＧＵＩで行うなどの、いずれの方法で行ってもよ
い。The instruction unit 350 gives an instruction of "data acquisition" to the data management unit 330 when a data acquisition command is input from an operator (not shown) and an instruction of "calibration information calculation" when a calibration information calculation command is input. Is transmitted to the calibration information calculation unit 340. A command can be input to the instruction unit 350 by using a keyboard, for example, and pressing a key to which a specific command is assigned. Further, the command input may be performed by any method such as a GUI displayed on the display.
【００３９】図４は、本実施形態の較正装置が較正情報
を求める際に行う処理のフローチャートである。なお、
同フローチャートに従ったプログラムコードは、本実施
形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ
内に格納され、不図示のＣＰＵにより読み出され、実行
される。FIG. 4 is a flow chart of processing performed when the calibration device of this embodiment obtains calibration information. In addition,
The program code according to the flowchart is stored in a memory such as a RAM or a ROM (not shown) in the device of the present embodiment, read by a CPU (not shown), and executed.
【００４０】ステップＳ１０１０において、指示部３５
０は、データ取得コマンドがオペレータから入力された
か否かの判定を行う。データ取得コマンドが入力されて
いる場合には、ステップＳ１０２０へと処理を移行させ
る。以下では、データ取得コマンドが入力された時点に
おいてビデオカメラ１２０が位置していた視点位置をVj
とする。In step S1010, the instruction unit 35
0 determines whether a data acquisition command has been input by the operator. If the data acquisition command has been input, the process moves to step S1020. In the following, the viewpoint position where the video camera 120 was located at the time when the data acquisition command was input is V j
And
【００４１】ステップＳ１０２０において、データ管理
部３３０は、位置姿勢センサ１３０（センサ制御部１３
２）から、視点位置Vjにビデオカメラ１２０が位置して
いる際の計測値MVj STを入力する。In step S1020, the data management unit 330 causes the position / orientation sensor 130 (sensor control unit 13).
From 2), the measured value M Vj ST when the video camera 120 is located at the viewpoint position V j is input.
【００４２】ステップＳ１０３０において、データ管理
部３３０は、視点位置Vjに位置するビデオカメラ１２０
によって撮影された撮像画像上におけるランドマークQk
（k＝１，２，３、、、）の識別番号k及び画像座標u
VjQkを、画像座標取得部３２０から入力する。この入力
は、当該撮像画像上に複数のランドマークが撮像されて
いる場合には、それら各々のランドマークに対して行わ
れる。In step S1030, the data management section 330 determines that the video camera 120 located at the viewpoint position V j.
Landmark Q k on the captured image taken by
(K = 1, 2, 3, ...) Identification number k and image coordinate u
VjQk is input from the image coordinate acquisition unit 320. When a plurality of landmarks are imaged on the captured image, this input is performed for each landmark.
【００４３】ステップＳ１０４０において、データ管理
部３３０は、画像座標取得部３２０から入力した各ラン
ドマークQkの（それぞれの識別番号kに対応する）世界
座標X Qk Wを、世界座標保持部３１０から入力する。In step S1040, data management
The section 330 is for each run input from the image coordinate acquisition section 320.
Domark QkWorld (corresponding to each identification number k)
Coordinate X Qk WIs input from the world coordinate holding unit 310.
【００４４】次に、ステップＳ１０５０において、デー
タ管理部３３０は、検出されたランドマーク毎に、入力
したデータをデータリストLiに追加する。具体的には、
ランドマークQkに対する画像座標をui=uVjQk=[ui x,ui y]
T、その世界座標をXi W=XQk W=[xi W,yi W,zi W,1]T、その際
のセンサ出力をMi ST=MVj STとして、[ui,xi W,Mi ST]の組
を、i番目のデータとしてリストに登録する。ここでiは
現在リストに登録されているデータ総数に１を足した値
を示す。Next, in step S1050, the data management unit 330 adds the input data to the data list L i for each detected landmark. In particular,
Image coordinates for landmark Q k are u i = u VjQk = [u i x , u i y ]
Let T be its world coordinate X i W = X Qk W = [x i W , y i W , z i W , 1] T , and let the sensor output at that time be M i ST = M Vj ST , then [u i , The pair of x i W , M i ST ] is registered in the list as the i-th data. Here, i indicates a value obtained by adding 1 to the total number of data currently registered in the list.
【００４５】以上の処理によって、データの取得が行わ
れる。Data is acquired by the above processing.
【００４６】ステップＳ１０６０では、指示部３５０に
よって、現在までに取得されたデータリストが、較正情
報を算出するに足るだけの情報を有しているかどうかの
判定が行われる。データリストが条件を満たしていない
場合には、再びステップＳ１０１０へと戻り、データ取
得コマンドの入力を待つ。一方、データリストが較正情
報算出の条件を満たしている場合には、ステップＳ１０
７０へと処理を移行させる。較正情報算出の条件として
は、例えば、異なる３点以上のランドマークに関するデ
ータが得られていること、複数の視点位置においてデー
タの取得が行われていること、及びデータ総数が６以上
であること、を条件とする。ただし、入力データの多様
性が増すほどに導出される較正情報の精度は向上するの
で、より多くのデータを要求するように条件を設定して
もよい。In step S1060, the instruction unit 350 determines whether or not the data list acquired up to the present time has enough information to calculate the calibration information. If the data list does not satisfy the condition, the process returns to step S1010 again to wait for the input of the data acquisition command. On the other hand, if the data list satisfies the condition for calculating the calibration information, step S10
The processing shifts to 70. The conditions for calculating the calibration information are, for example, that data regarding three or more different landmarks are obtained, that data is acquired at a plurality of viewpoint positions, and that the total number of data is six or more. , Is a condition. However, the accuracy of the derived calibration information improves as the diversity of the input data increases, so the condition may be set to request more data.
【００４７】次にステップＳ１０７０において、較正情
報算出コマンドがオペレータから入力されたか否かの判
定を行う。較正情報算出コマンドが入力されている場合
には、ステップＳ１０８０へと処理を移行し、入力され
ていない場合には、再びステップＳ１０１０へと戻り、
データ取得コマンドの入力を待つ。Next, in step S1070, it is determined whether a calibration information calculation command has been input by the operator. If the calibration information calculation command is input, the process proceeds to step S1080, and if not input, the process returns to step S1010 again.
Wait for input of data acquisition command.
【００４８】較正情報算出部３４０は、求めるべき較正
情報のうちの姿勢に関する情報を、ベクトルの大きさに
よって回転角を、ベクトルの向きによって回転軸方向を
定義するような３値のベクトルによって内部的に表現す
る。そして、MCSを、ビデオカメラ１２０が定義する座
標系におけるレシーバ１３１の位置(xCS,yCS,zCS)及び
姿勢（ξCS,ψCS,ζCS）によって表現し、また、M
TWを、センサ座標系２１０における世界座標系２００の
位置(xTW,yTW,zTW)及び姿勢（ξTW,ψTW,ζTW）によっ
て表現する。１２の未知パラメータは、ベクトルs＝（x
CS yCS zCS ξCS ψ CS ζCS xTW yTW zTW ξTW ψTW ζ
TW）によって表現される。The calibration information calculation unit 340 determines the calibration to be obtained.
Of the information, the information about the posture is set to the magnitude of the vector.
Therefore, the rotation angle is defined as
Internally represented by a ternary vector as defined
It And MCSIs defined by the video camera 120
Position of receiver 131 in the frame (xCS, yCS, zCS)as well as
Posture (ξCS, ψCS, ζCS) And also M
TWOf the world coordinate system 200 in the sensor coordinate system 210
Position (xTW, yTW, zTW) And attitude (ξTW, ψTW, ζTW) By
Express. The 12 unknown parameters are the vectors s = (x
CS yCS zCS ξCS ψ CS ζCS xTW yTW zTW ξTW ψTW ζ
TW).
【００４９】ステップＳ１０８０において、較正情報算
出部３４０は、ベクトルsに適当な初期値（例えばs=[0
0 0 ２／π 0 0 0 0 0 ２／π 0 0]T）を与える。In step S1080, the calibration information calculation unit 340 has an appropriate initial value (for example, s = [0
0 0 2 / π 0 0 0 0 0 0 2 / π 0 0] T ) is given.
【００５０】ステップＳ１０９０において、較正情報算
出部３４０は、リスト中の各データLi(i=1,2,,,,N)に対
して、当該ランドマークの画像座標の理論値u'i=[u'i x,
u'i y]を、センサ出力Mi ST、世界座標Xi Wおよび現在のs
に基づいて算出する。ここでランドマークの画像座標の
理論値とは、上記得られたセンサ出力とランドマークの
世界座標から求めた本来ランドマークが画像中に見える
べき位置（座標）のデータを指す。u'iは、sを変数とし
て、センサ出力Mi STおよび世界座標Xi Wによって定義さ
れる関数
u'i=Fi(s) （式Ｂ）
によって定めることができる。In step S1090, the calibration information calculation unit 340, for each data L i (i = 1,2 ,,, N) in the list, the theoretical value u ′ i = of the image coordinates of the landmark. [u ' i x ,
the u 'i y], the sensor output M i ST, the world coordinate X i W and the current s
It is calculated based on. Here, the theoretical value of the image coordinates of the landmark refers to the data of the position (coordinates) where the landmark should originally be visible in the image, obtained from the sensor output obtained above and the world coordinates of the landmark. u ′ i can be defined by a function u ′ i = F i (s) (equation B) defined by the sensor output M i ST and the world coordinate X i W with s as a variable.
【００５１】具体的には、まず、次式、
に基づいて、sの構成要素である(xCS,yCS,zCS)及び（ξ
CS,ψCS,ζCS）からビューイング変換行列MCSを、同様
に、(xTW,yTW,zTW)及び（ξTW,ψTW,ζTW）からビュー
イング変換行列MTWを算出する。次に、当該ランドマー
クのカメラ座標Xi Cを、
Xi C=[xi C yi C zi C 1]=MCS・Mi ST・MTW・Xi W （式Ｄ）
によって算出する。最後に、画像座標の理論値を、
u'i x=-f×xi C／zi C u'i y=-f×yi C／zi C （式Ｅ）
によって算出する。ただし、fはビデオカメラ１２０の
焦点距離である。Specifically, first, the following equation, Based on, the components of s are (x CS , y CS , z CS ) and (ξ
CS, [psi CS, a viewing transformation matrix M CS from zeta CS), likewise, calculated (x TW, y TW, z TW) and (xi] TW, [psi TW, viewing transformation matrix M TW from zeta TW) To do. Next, the camera coordinate X i C of the landmark is calculated by X i C = [x i C y i C z i C 1] = M CS · M i ST · M TW · X i W (Formula D) To do. Finally, the theoretical value of the image coordinates is calculated by u ′ i x = −f × x i C / z i C u ′ i y = −f × y i C / z i C (Equation E). However, f is the focal length of the video camera 120.
【００５２】ステップＳ１１００において、較正情報算
出部３４０は、リスト中の各データLiに対して、当該ラ
ンドマークの画像座標の理論値u'iと実測値uiとの誤差
Δuiを、
Δui=ui-u'i （式Ｆ）
によって算出する。In step S1100, the calibration information calculation unit 340 calculates an error Δu i between the theoretical value u ′ i of the image coordinates of the landmark and the measured value u i for each data L i in the list by Δu. i = u i −u ′ i (Equation F)
【００５３】ステップＳ１１１０において、較正情報算
出部３４０は、リスト中の各データLiに対して、（式
Ｂ）の右辺をベクトルsの各要素で偏微分した解を各要
素に持つ２行×１２列のヤコビ行列Ji us（=∂u／∂s）
を算出する。具体的には、（式Ｅ）の右辺をカメラ座標
Xi Cの各要素で偏微分した解を各要素に持つ２行×３列
のヤコビ行列Ji ux（=∂u／∂x）と、（式Ｄ）の右辺を
ベクトルsの各要素で偏微分した解を各要素に持つ３行
×１２列のヤコビ行列Ji xs（=∂x／∂s）をそれぞれ、
（式Ｅ）および（式Ｄ）に基づいて算出し、
Ji us=Ji uxJi xs （式Ｇ）
として算出する。In step S1110, the calibration information calculation unit 340 has, for each data L i in the list, 2 rows having a solution in which each element has a partial differential of the right side of (equation B) with each element of the vector s. 12-column Jacobi matrix J i us (= ∂u / ∂s)
To calculate. Specifically, the right side of (Equation E) is the camera coordinate.
A 2-row × 3-column Jacobian matrix J i ux (= ∂u / ∂x) that has a solution that is partially differentiated by each element of X i C , and the right side of (Equation D) with each element of vector s A Jacobian matrix J i xs (= ∂x / ∂s) of 3 rows × 12 columns, each having a partially differentiated solution in each element,
It is calculated based on (Equation E) and (Equation D), and is calculated as J i us = J i ux J i xs (Equation G).
【００５４】ステップＳ１１２０において、較正情報算
出部３４０は、ステップＳ１１００およびステップＳ１
１１０において算出した、リスト中の全てのデータLiに
対する誤差Δui及びヤコビ行列Ji usに基づいて、sの補
正値Δsを算出する。具体的には、全てのデータに対す
る誤差Δuiおよびヤコビ行列Ji usをそれぞれ垂直に並べ
たベクトルU=[Δu1 Δu2 ,,, ΔuN]TおよびΦ=[J1 us J2
us ,,, JN us]Tを作成し、Φの一般化逆行列を用いて、
Δs=(ΦTΦ)-1ΦTU （式Ｈ）
として算出する。In step S1120, the calibration information calculation unit 340 operates in steps S1100 and S1.
The correction value Δs of s is calculated based on the error Δu i for all the data L i in the list and the Jacobian matrix J i us calculated in 110. Specifically, a vector U = [Δu 1 Δu 2, ,, Δu N ] T and Φ = [J 1 us J 2 in which the error Δu i and the Jacobian matrix J i us for all the data are vertically arranged, respectively.
us ,,, J N us ] T , and using the generalized inverse matrix of Φ, calculate as Δs = (Φ T Φ) −1 Φ T U (formula H).
【００５５】ステップＳ１１３０において、較正情報算
出部３４０は、ステップＳ１１２０において算出した補
正値Δsを用いてsを補正する。In step S1130, the calibration information calculation unit 340 corrects s using the correction value Δs calculated in step S1120.
【００５６】ｓ＋Δｓ→ｓ （式Ｉ）
ステップＳ１１４０において、較正情報算出部３４０
は、Uの各要素が十分に小さいかどうか、あるいは、Δs
が十分に小さいかどうかといった何らかの判定基準を用
いて、計算が収束しているか否かの判定を行う。収束し
てない場合には、補正後のsを用いて、再度ステップＳ
１０９０以降の処理を行う。S + Δs → s (Equation I) In step S1140, the calibration information calculation unit 340
Is whether each element of U is small enough, or Δs
Whether or not the calculation is converged is determined using some criterion such as whether or not is sufficiently small. If not, use the corrected s and repeat step S
Processing after 1090 is performed.
【００５７】ステップＳ１１５０において、較正情報算
出部３５０は、得られたsを較正情報として出力する。
較正情報は、例えば、sから算出した２つのビューイン
グ変換行列を出力する。出力の形態はsそのものでもよ
いし、他のいずれの位置姿勢記述方法によるものでもよ
い。In step S1150, the calibration information calculation unit 350 outputs the obtained s as calibration information.
As the calibration information, for example, two viewing transformation matrices calculated from s are output. The output form may be s itself or any other position / orientation description method.
【００５８】なお、世界座標保持部３１０、画像座標取
得部３２０、データ管理部３３０、較正情報算出部３４
０、および指示部３５０は、例えば１台の汎用コンピュ
ータにより構成することが可能である。The world coordinate holding unit 310, the image coordinate acquisition unit 320, the data management unit 330, the calibration information calculation unit 34.
The 0 and the instruction unit 350 can be configured by, for example, one general-purpose computer.
【００５９】＜変形例１＞本実施形態では、位置姿勢セ
ンサ１３０としてPolhemus社の磁気式センサFASTRAKを
用いた画像表示装置の較正に上記較正装置及びその方法
を適用した場合について説明したが、本実施形態の較正
装置及びその方法によって較正可能な画像表示装置の位
置姿勢センサはFASTRAKに限定されるものではない。他
のいずれの位置姿勢センサ（例えばAscension Technolo
gy社のFlock of BirdsやNorthern Digital Inc.社のOPT
OTRAKなど）を位置姿勢の計測に用いた画像表示装置で
あっても、その較正を行うことができることはいうまで
もない。<Modification 1> In this embodiment, the case where the above calibration device and its method are applied to the calibration of the image display device using the magnetic sensor FASTRAK of Polhemus as the position and orientation sensor 130 has been described. The position and orientation sensor of the image display device that can be calibrated by the calibration device and the method thereof according to the embodiment is not limited to FASTRAK. Any other position and orientation sensor (eg Ascension Technolo
gy's Flock of Birds and Northern Digital Inc.'s OPT
It goes without saying that even an image display device using OTRAK or the like) for position / orientation measurement can be calibrated.
【００６０】＜変形例２＞上記実施形態では、ランドマ
ークの画像座標およびその識別番号の取得を、色を識別
情報として有するランドマークを用いて、閾値処理によ
り画像から特定色領域を抽出し、その重心位置を、当該
色を有するランドマークの画像座標として検出すること
で行っていた。しかし、画像上におけるランドマークの
投影座標及びランドマークの識別番号が特定可能であれ
ば、他のいずれの手法を用いてもよい。例えば、特定の
パターンを識別情報として有するランドマークを用い
て、パターンマッチングにより画像から特定パターンの
領域を抽出し、その検出位置を、当該パターンを有する
ランドマークの画像座標として出力してもよい。また、
画像処理によって行う必要は必ずしもなく、オペレータ
の手入力によってランドマークの画像座標およびその識
別番号を入力してもよい。この場合、画像座標取得部３
２０は、例えば作業用ディスプレイ上に表示された撮像
画像上のランドマーク位置をマウスクリックによって指
定する等の作業によって、オペレータが容易にランドマ
ーク位置を入力できるような、何らかのＧＵＩを有した
構成であることが望ましい。<Modification 2> In the above embodiment, the image coordinates of the landmark and the identification number thereof are acquired by using the landmark having the color as the identification information to extract the specific color area from the image by the threshold processing. The position of the center of gravity is detected as the image coordinates of the landmark having the color. However, any other method may be used as long as the projected coordinates of the landmark on the image and the identification number of the landmark can be specified. For example, a landmark having a specific pattern as identification information may be used to extract a specific pattern region from an image by pattern matching, and the detected position may be output as the image coordinates of the landmark having the pattern. Also,
It is not always necessary to perform image processing, and the image coordinates of the landmark and its identification number may be input manually by the operator. In this case, the image coordinate acquisition unit 3
The reference numeral 20 is a configuration having some kind of GUI such that the operator can easily input the landmark position by an operation such as designating the landmark position on the captured image displayed on the work display by mouse click. Is desirable.
【００６１】また、画像処理による識別の望めない同一
特徴をもつ複数のランドマークを用いる場合には、ラン
ドマークの画像座標の取得を画像処理によって行い、そ
の識別番号の入力を手入力によって行うといった構成を
とることもできる。また、ランドマークの識別には他の
いずれの方法をとってもよい。例えば、大まかな較正情
報が初めから得られている場合には、（式Ｂ）によって
算出される各ランドマークの画像座標の理論値と、検出
されたランドマークの画像座標の比較によって、ランド
マークの識別を行ってもよい。Further, when a plurality of landmarks having the same characteristics that cannot be identified by image processing are used, the image coordinates of the landmark are acquired by image processing and the identification number is manually input. It can also be configured. Further, any other method may be used for identifying the landmark. For example, when rough calibration information is obtained from the beginning, the landmark image coordinates are compared by comparing the theoretical value of the image coordinates of each landmark calculated by (Equation B) with the image coordinate of the detected landmark. May be identified.
【００６２】また、画像処理によって取得する場合ある
いは手入力によって取得する場合のいずれの場合におい
ても、ランドマークは必ずしも人工的（人為的）なもの
でなくてもよく、自然特徴を用いてもよい。In addition, the landmark does not necessarily have to be artificial (artificial) in either the case of being acquired by image processing or the case of manual input, and a natural feature may be used. .
【００６３】＜変形例３＞上記実施形態では、ステップ
Ｓ１０８０で較正情報の初期値として適当な値を設定し
ていた。しかし、初期値と実際の値がかけ離れている場
合には、上記実施形態では解が収束せず較正情報を求め
ることができない。このような状況に対処するため、異
なる位置姿勢の組み合わせを予め設定しておき、これら
を順次初期値として用いてステップＳ１０９０からステ
ップＳ１１４０までの処理を行い、解が収束した際のs
を選択するようにしてもよい。また、オペレータによる
初期値（あるいは初期値を生成するのに必要な位置姿勢
の情報）の入力を行う初期値入力部をさらに用意して、
入力された初期値を用いて較正情報算出処理を行うこと
も可能である。<Modification 3> In the above embodiment, an appropriate value is set as the initial value of the calibration information in step S1080. However, when the initial value and the actual value are far from each other, the solution does not converge and the calibration information cannot be obtained in the above embodiment. In order to deal with such a situation, a combination of different positions and orientations is set in advance, and these are sequentially used as initial values to perform the processing from step S1090 to step S1140.
May be selected. In addition, an initial value input unit for inputting an initial value (or position / orientation information necessary to generate the initial value) by the operator is further prepared,
It is also possible to perform the calibration information calculation process using the input initial value.
【００６４】＜変形例４＞本発明のより好適な変形例で
は、較正装置は画像生成部をさらに有している。画像生
成部は、画像座標取得部３２０によって検出されたラン
ドマークの画像座標を撮影画像に重畳して表示画面へ出
力する。本変形例によれば、オペレータは、ランドマー
クの検出状況を確認しながらデータ取得の指示を入力す
ることができる。<Modification 4> In a more preferred modification of the present invention, the calibration device further includes an image generation unit. The image generation unit superimposes the image coordinate of the landmark detected by the image coordinate acquisition unit 320 on the captured image and outputs the superimposed image coordinate to the display screen. According to this modification, the operator can input a data acquisition instruction while confirming the landmark detection status.
【００６５】また、画像生成部は、較正情報算出部３４
０が算出した較正情報に基づいて各ランドマークの画像
座標の理論値を算出し、これを撮像画像に重畳して表示
画面に出力する。本変形例によれば、オペレータは、現
実のランドマークとそこに表示される計算位置とを比較
することによって、較正作業の検証を行うことができ
る。Further, the image generation unit is composed of the calibration information calculation unit 34.
The theoretical value of the image coordinates of each landmark is calculated based on the calibration information calculated by 0, and the theoretical value is superimposed on the captured image and output on the display screen. According to this modification, the operator can verify the calibration work by comparing the actual landmark with the calculated position displayed there.
【００６６】＜変形例５＞上記実施形態では、オペレー
タからの制御コマンドを入力するための指示部３５０を
有していたが、この入力は必ずしも必要ではなく、例え
ば画像座標取得部３２０がランドマークを検出するごと
にデータリストへ追加を行い、データリストが条件を満
たした時点で較正情報演算部３４０が較正情報の演算を
行うような構成にしてもよい。<Modification 5> In the above embodiment, the instruction unit 350 for inputting the control command from the operator is provided, but this input is not always necessary. For example, the image coordinate acquisition unit 320 may be used as a landmark. May be added to the data list each time the data list is detected, and the calibration information calculation unit 340 may calculate the calibration information when the data list satisfies the condition.
【００６７】＜変形例６＞上記実施形態では、画像生成
装置と較正装置は別装置として構成されていたが、上記
較正装置の機能を有するような画像生成装置を構成する
ことも、もちろん可能である。<Modification 6> In the above embodiment, the image generating device and the calibration device are configured as separate devices, but it is of course possible to configure an image generating device having the function of the calibration device. is there.
【００６８】＜変形例７＞上記実施形態では、複合現実
感を提示する画像表示装置の位置姿勢センサの較正を行
うものであったが、適用範囲はこれに限定されるもので
はなく、位置姿勢センサによって撮像装置の位置姿勢を
計測するような他の何れの用途に適用することも可能で
ある。<Modification 7> In the above embodiment, the position / orientation sensor of the image display device for presenting mixed reality is calibrated, but the applicable range is not limited to this, and the position / orientation is not limited thereto. The present invention can be applied to any other application such as measuring the position and orientation of the image pickup device by a sensor.
【００６９】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。[Other Embodiments] An object of the present invention is to supply a storage medium (or recording medium) recording a program code of software for realizing the functions of the above-described embodiments to a system or an apparatus, and to execute the system or the apparatus. It is needless to say that this is also achieved by the computer (or CPU or MPU) of the device reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instructions of the program code. Do some or all of the actual processing,
It goes without saying that the processing includes the case where the functions of the above-described embodiments are realized.
【００７０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。Further, after the program code read from the storage medium is written in the memory provided in the function expansion card inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, Needless to say, this also includes a case where a CPU or the like included in the function expansion card or the function expansion unit performs a part or all of the actual processing and the processing realizes the functions of the above-described embodiments.
【００７１】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には先に説明した（図４に示す）フローチャ
ートに対応するプログラムコードが格納されることにな
る。When the present invention is applied to the above storage medium, the storage medium stores the program code corresponding to the above-described flowchart (shown in FIG. 4).
【００７２】[0072]
【発明の効果】以上説明したように、本発明によれば、
センサにより計測された撮像装置の位置姿勢を世界座標
系における位置姿勢に変換するための較正情報を、より
簡便に、かつ、特別な較正用器具を用いることなく取得
することができる。As described above, according to the present invention,
The calibration information for converting the position and orientation of the imaging device measured by the sensor into the position and orientation in the world coordinate system can be acquired more easily and without using a special calibration tool.
【図１】複合現実感の提示を行う一般的な画像表示装置
の機能構成を示すブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of a general image display device that presents mixed reality.
【図２】世界座標系におけるビデオカメラの位置姿勢を
算出する方法を説明する図である。FIG. 2 is a diagram illustrating a method of calculating the position and orientation of a video camera in the world coordinate system.
【図３】本発明の実施形態における較正装置を含む較正
情報生成システムの機能構成を示す図である。FIG. 3 is a diagram showing a functional configuration of a calibration information generation system including a calibration device according to an embodiment of the present invention.
【図４】本発明の実施形態における較正装置が較正情報
を求める際に行う処理のフローチャートである。FIG. 4 is a flowchart of processing performed when the calibration device according to the embodiment of the present invention obtains calibration information.
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１５年３月４日（２００３．３．４）[Submission date] March 4, 2003 (2003.3.4)
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】特許請求の範囲[Name of item to be amended] Claims
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【特許請求の範囲】[Claims]
【請求項１】 撮像装置の位置姿勢を計測するための位
置姿勢センサの較正情報を求めるセンサ較正方法であっ
て、
複数の特徴点の世界座標系における座標を予め所定の保
持手段に保持しておき、
複数の撮像位置姿勢に前記撮像装置を位置させた状態に
おける前記位置姿勢センサの計測値を入力する計測値入
力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像し
た撮像画像上における前記複数の特徴点の画像座標の実
測値を取得する画像座標取得工程と、
前記計測値入力工程および前記画像座標取得工程によっ
て得られた前記センサ計測値および前記特徴点の画像座
標の実測値と、前記保持手段が保持する前記特徴点の世
界座標に基づいて、前記較正情報を算出する較正情報算
出工程とを含むことを特徴とするセンサ較正方法。 1. A sensor calibration method for obtaining calibration information of a position / orientation sensor for measuring the position / orientation of an image pickup device, wherein coordinates of a plurality of characteristic points in a world coordinate system are held in advance in a predetermined holding means. Every other time, a measurement value input step of inputting a measurement value of the position and orientation sensor in a state where the imaging device is positioned in a plurality of imaging positions and orientations, and on a captured image captured by the imaging device in the plurality of imaging position and orientations. An image coordinate acquisition step of acquiring actual measurement values of image coordinates of the plurality of feature points, and a sensor measurement value obtained by the measurement value input step and the image coordinate acquisition step and an actual measurement value of image coordinates of the feature points, , sensor calibration method based on the world coordinates of the feature points wherein the holding means for holding, characterized in that it comprises a calibration information calculation step of calculating the calibration information
【請求項２】 前記較正情報算出工程は、
前記計測値入力工程によって入力された前記センサ計測
値と、現在の較正情報と、前記保持手段が保持する前記
特徴点の世界座標に基づいて、前記特徴点の画像座標の
理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記特徴点の
画像座標の理論値と、前記画像座標取得工程によって取
得された前記特徴点の画像座標の実測値との誤差を算出
する誤差算出工程をさらに有し、
前記誤差算出工程が算出する誤差を前記較正情報の正確
さの評価値として前記較正情報を算出することを特徴と
する、請求項１に記載のセンサ較正方法。 Wherein said calibration information calculation step, based the measured value input the sensor measurement value input by step, and the current calibration information, the world coordinates of the feature point in which the holding means for holding the an image coordinate calculation step of calculating a theoretical value of the image coordinates of the feature points, the and the theoretical value of the image coordinates image coordinates of the feature points calculated by the calculating step, of the feature points acquired by the image coordinate acquisition step Further comprising an error calculating step of calculating an error between the measured value of the image coordinates, wherein the calibration information is calculated using the error calculated by the error calculating step as an evaluation value of the accuracy of the calibration information. The sensor calibration method according to claim 1 .
【請求項３】 前記較正情報算出工程は、
前記誤差算出工程が算出する誤差にもとづいて、前記誤
差を軽減するような較正情報の補正値を算出する補正値
算出工程と、
前記補正値算出工程によって算出された前記補正値によ
り前記較正情報を更新する較正情報更新工程とをさらに
有し、
前記画像座標算出工程、前記誤差算出工程、前記補正値
算出工程及び前記較正情報更新工程の繰り返し処理によ
って前記較正情報を算出することを特徴とする、請求項
２に記載のセンサ較正方法。 3. The calibration information calculating step, based on the error calculated by the error calculating step, a correction value calculating step of calculating a correction value of the calibration information that reduces the error, and the correction value calculating step. A calibration information updating step of updating the calibration information with the correction value calculated by the step of repeating the image coordinate calculating step, the error calculating step, the correction value calculating step, and the calibration information updating step. The calibration information is calculated,
2. The sensor calibration method according to item 2 .
【請求項４】 前記較正情報は、前記位置姿勢センサの
出力値であるセンサ座標系における測点の位置姿勢を、
前記世界座標系における前記撮像装置の位置姿勢に変換
するための情報であることを特徴とする請求項１乃至３
のいずれか１項に記載のセンサ較正方法。 Wherein said calibration information, the position and orientation of the measuring point in the sensor coordinate system which is the output value of the position and orientation sensor,
Claims 1 to 3, characterized in that the information for converting the position and orientation of the imaging device in the world coordinate system
The method for calibrating the sensor according to claim 1.
【請求項５】 前記較正情報は、前記センサ座標系にお
ける位置姿勢を前記世界座標系における位置姿勢に変換
するための第一の座標変換情報と、前記測点の位置姿勢
を前記撮像装置の位置姿勢に変換するための第二の座標
変換情報からなることを特徴とする、請求項４に記載の
センサ較正方法。 Wherein said calibration information comprises a first coordinate conversion information for converting the position and orientation of the sensor coordinate system into the position and orientation in the world coordinate system, the position of the position and orientation of the measuring point the imaging device The sensor calibration method according to claim 4 , comprising second coordinate conversion information for converting the posture.
【請求項６】 前記第一の座標変換情報および前記第二
の座標変換情報はそれぞれ、位置に関する３つの未知パ
ラメータと、姿勢に関する３つの未知パラメータからな
ることを特徴とする、請求項５に記載のセンサ較正方
法。 Wherein each of said first coordinate transformation information and the second coordinate transformation information is three and the unknown parameters relating to the position, characterized in that it consists of three unknown parameters relating to position, according to claim 5 Sensor calibration method.
【請求項７】 前記特徴点は、現実空間中に配置したマ
ーカであることを特徴とする、請求項１乃至６のいずれ
か１項に記載のセンサ較正方法。 Wherein said feature point is characterized by a marker arranged on the physical space, the sensor calibration method according to any one of claims 1 to 6.
【請求項８】 前記特徴点は、現実空間中に存在する自
然特徴であることを特徴とする、請求項１乃至６のいず
れか１項に記載のセンサ較正方法。 Wherein said feature point is characterized by a natural features present in the real space, the sensor calibration method according to any one of claims 1 to 6.
【請求項９】 前記画像座標取得工程は、画像処理によ
って前記画像座標の実測値を検出し入力することを特徴
とする、請求項１乃至８のいずれか１項に記載のセンサ
較正方法。 Wherein said image coordinate acquisition process is characterized by inputting detected actual values of the image coordinates by image processing, sensor calibration method according to any one of claims 1 to 8.
【請求項１０】 前記画像座標取得工程は、手入力によ
って前記画像座標の実測値を検出し入力することを特徴
とする、請求項１乃至８のいずれか１項に記載のセンサ
較正方法。 Wherein said image coordinate acquisition step, characterized by the manual input detects the measured values of the image coordinates input, sensor calibration method according to any one of claims 1 to 8.
【請求項１１】 請求項１乃至１０のいずれかに記載の
センサ較正方法をコンピュータに実行させるためのプロ
グラム。 11. A program for executing the sensor calibration method according to the computer in any one of claims 1 to 10.
【請求項１２】 請求項１１に記載のプログラムを格納
するコンピュータ読み取り可能な記憶媒体。 12. A computer-readable storage medium that stores the program according to claim 11 .
【請求項１３】 撮像装置の位置姿勢を計測するための
位置姿勢センサの較正情報を求めるセンサ較正装置であ
って、
複数の特徴点の世界座標系における座標を保持する保持
手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態に
おける前記位置姿勢センサの計測値を入力する計測値入
力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像し
た撮像画像上における複数の特徴点の画像座標の実測値
を取得する画像座標取得手段と、
前記計測値入力手段および前記画像座標取得手段によっ
て得られた前記センサ計測値および前記特徴点の画像座
標の実測値と、前記保持手段が保持する前記特徴点の世
界座標に基づいて、前記較正情報を算出する較正情報算
出手段とを備えることを特徴とするセンサ較正装置。 13. A sensor calibration device for determining the position and orientation calibration data of the sensor for measuring the position and orientation of the image pickup device, a holding means for holding the coordinates in the world coordinate system of the plurality of feature points, a plurality of imaging Measurement value input means for inputting a measurement value of the position and orientation sensor in a state where the imaging device is positioned in a position and orientation; and a plurality of feature points on the captured images captured by the imaging device in the plurality of imaging positions and orientations. image coordinate acquisition means for acquiring the actual values of the image coordinates, the measured values of the image coordinates of the measurement value input unit and the image coordinates the sensor measurement value obtained Te by <br/> the acquisition means and the feature point , based on the world coordinates of the feature points wherein the holding means holds, sensor calibration device, characterized in that it comprises a calibration information calculation means for calculating the calibration information.
【手続補正２】[Procedure Amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２２[Name of item to be corrected] 0022
【補正方法】削除[Correction method] Delete
【手続補正３】[Procedure 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２３[Name of item to be corrected] 0023
【補正方法】削除[Correction method] Delete
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２４[Name of item to be corrected] 0024
【補正方法】削除[Correction method] Delete
【手続補正５】[Procedure Amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２５[Name of item to be corrected] 0025
【補正方法】削除[Correction method] Delete
【手続補正６】[Procedure correction 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２６[Correction target item name] 0026
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００２６】 [0026]
【課題を解決するための手段】
本発明の目的を達成する
為に、例えば本発明のセンサ較正方法は以下の構成を備
える。 In order to achieve the object of the present invention, for example, the sensor calibration method of the present invention has the following configuration.
【手続補正７】[Procedure Amendment 7]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２７[Name of item to be corrected] 0027
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００２７】すなわち、撮像装置の位置姿勢を計測する
ための位置姿勢センサの較正情報を求めるセンサ較正方
法であって、複数の特徴点の世界座標系における座標を
予め所定の保持手段に保持しておき、複数の撮像位置姿
勢に前記撮像装置を位置させた状態における前記位置姿
勢センサの計測値を入力する計測値入力工程と、前記複
数の撮像位置姿勢において前記撮像装置が撮像した撮像
画像上における前記複数の特徴点の画像座標の実測値を
取得する画像座標取得工程と、前記計測値入力工程およ
び前記画像座標取得工程によって得られた前記センサ計
測値および前記特徴点の画像座標の実測値と、前記保持
手段が保持する前記特徴点の世界座標に基づいて、前記
較正情報を算出する較正情報算出工程とを含むことを特
徴とする。That is, a sensor calibration method for obtaining the calibration information of the position and orientation sensor for measuring the position and orientation of the image pickup apparatus.
A law, the coordinates in the world coordinate system of a plurality of feature points
A measurement value input step of inputting a measurement value of the position / orientation sensor in a state in which the imaging device is held in a plurality of imaging positions / orientations in advance, and in the plurality of imaging positions / orientations, an image coordinate obtaining step of imaging apparatus acquires measured values of the image coordinates of the plurality of feature points in the captured image captured, thus obtained the measurement value input step Oyo <br/> beauty the image coordinate obtaining step the measured values of the image coordinates of the sensor measurement value and the feature points, and characterized in that based on the world coordinates of the feature points wherein the holding means for holding, and a calibration information calculation step of calculating the calibration information To do.
【手続補正８】[Procedure Amendment 8]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２８[Correction target item name] 0028
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００２８】本発明の目的を達成する為に、例えば本発
明のセンサ較正装置は以下の構成を備える。In order to achieve the object of the present invention, for example, the sensor calibration device of the present invention has the following configuration.
【手続補正９】[Procedure Amendment 9]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２９[Name of item to be corrected] 0029
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００２９】すなわち、撮像装置の位置姿勢を計測する
ための位置姿勢センサの較正情報を求めるセンサ較正装
置であって、複数の特徴点の世界座標系における座標を
保持する保持手段と、複数の撮像位置姿勢に前記撮像装
置を位置させた状態における前記位置姿勢センサの計測
値を入力する計測値入力手段と、前記複数の撮像位置姿
勢において前記撮像装置が撮像した撮像画像上における
複数の特徴点の画像座標の実測値を取得する画像座標取
得手段と、前記計測値入力手段および前記画像座標取得
手段によって得られた前記センサ計測値および前記特徴
点の画像座標の実測値と、前記保持手段が保持する前記
特徴点の世界座標に基づいて、前記較正情報を算出する
較正情報算出手段とを備えることを特徴とする。That is, the sensor calibration device for obtaining the calibration information of the position and orientation sensor for measuring the position and orientation of the image pickup device.
The coordinates of multiple feature points in the world coordinate system.
Holding means for holding , measurement value input means for inputting a measurement value of the position and orientation sensor in a state in which the imaging device is positioned in a plurality of imaging positions and orientations, and the imaging device imaged in the plurality of imaging positions and orientations Image coordinate acquisition means for acquiring measured values of image coordinates of a plurality of feature points on a captured image, the measured value input means, and the image coordinate acquisition
The measured values of the image coordinates of the resulting the sensor measured values and the characteristic points by the means, based on the world coordinates of the <br/> feature point said holding means holds, calibration information calculation to calculate the calibration information characterized in that it comprises a means.
Claims (21)
置姿勢センサの較正情報を求めるセンサ較正装置であっ
て、 複数の特徴点の世界座標系における位置データを保持す
る保持手段と、 前記位置姿勢センサにより計測されたセンサ計測値を入
力する入力手段と、 前記撮像装置により撮像された画像に含まれる特徴点の
当該画像における座標を取得する座標取得手段と、 前記保持手段が保持する前記複数の特徴点の世界座標系
における位置データと、所定のタイミングで前記入力手
段により得られる前記センサ計測値とを用いて、当該所
定のタイミングで前記撮像装置により得られる画像に含
まれる特徴点の当該画像における第１の座標を計算し、
更に前記座標取得手段により取得された前記所定のタイ
ミングで前記撮像装置により得られる画像に含まれる前
記特徴点の前記画像における第２の座標を入力し、当該
第１の座標と当該第２の座標とを用いて前記較正情報を
求める較正情報計算手段とを備えることを特徴とするセ
ンサ較正装置。1. A sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device, comprising: holding means for holding position data of a plurality of feature points in a world coordinate system; An input unit for inputting a sensor measurement value measured by an attitude sensor, a coordinate acquisition unit for acquiring coordinates of a feature point included in an image captured by the image capturing device in the image, and the plurality of units held by the holding unit. Using the position data of the feature point in the world coordinate system and the sensor measurement value obtained by the input means at a predetermined timing, the feature point included in the image obtained by the imaging device at the predetermined timing Calculate the first coordinate in the image,
Further, the second coordinates in the image of the feature points included in the image obtained by the imaging device at the predetermined timing acquired by the coordinate acquisition unit are input, and the first coordinates and the second coordinates are input. And a calibration information calculation unit that obtains the calibration information by using the sensor calibration apparatus.
標と前記第２の座標との差分に基づいて前記較正情報を
求めることを特徴とする請求項１に記載のセンサ較正装
置。2. The sensor calibration device according to claim 1, wherein the calibration information calculation unit obtains the calibration information based on a difference between the first coordinate and the second coordinate.
ーカであることを特徴とする請求項１に記載のセンサ較
正装置。3. The sensor calibration device according to claim 1, wherein the feature points are markers arranged in a physical space.
とする請求項１に記載のセンサ較正装置。4. The sensor calibration device according to claim 1, wherein the feature points are natural features.
置姿勢センサの較正情報を求めるセンサ較正方法であっ
て、複数の特徴点の世界座標系における位置データを所
定の保持手段に保持する保持工程と、 前記位置姿勢センサにより計測されたセンサ計測値を入
力する入力工程と、 前記撮像装置により撮像された画像に含まれる特徴点の
当該画像における座標を取得する座標取得工程と、 前記保持手段が保持する前記複数の特徴点の世界座標系
における位置データと、所定のタイミングで前記入力工
程で得られる前記センサ計測値とを用いて、当該所定の
タイミングで前記撮像装置により得られる画像に含まれ
る特徴点の当該画像における第１の座標を計算し、更に
前記座標取得工程で取得された前記所定のタイミングで
前記撮像装置により得られる画像に含まれる前記特徴点
の前記画像における第２の座標を入力し、当該第１の座
標と当該第２の座標とを用いて前記較正情報を求める較
正情報計算工程とを備えることを特徴とするセンサ較正
方法。5. A sensor calibration method for obtaining calibration information of a position / orientation sensor for measuring the position / orientation of an image pickup device, comprising holding position data of a plurality of feature points in a world coordinate system in a predetermined holding means. A step, an input step of inputting a sensor measurement value measured by the position and orientation sensor, a coordinate acquisition step of acquiring coordinates of a feature point included in an image captured by the image capturing device in the image, the holding unit Included in the image obtained by the imaging device at the predetermined timing, using position data in the world coordinate system of the plurality of characteristic points held by the sensor measurement value obtained at the input step at a predetermined timing. The first coordinate of the feature point in the image is calculated, and the image capturing device is used at the predetermined timing acquired in the coordinate acquisition step. A calibration information calculation step of inputting second coordinates of the feature points included in the obtained image in the image, and calculating the calibration information using the first coordinates and the second coordinates. A characteristic sensor calibration method.
該情報処理装置を請求項１乃至４のいずれか１項に記載
のセンサ較正装置として機能させることを特徴とするプ
ログラム。6. A program for causing the information processing device to function as the sensor calibration device according to claim 1, when read by the information processing device.
するプログラム。7. A program for executing the sensor calibration method according to claim 5.
格納し、コンピュータが読みとり可能な記憶媒体。8. A computer-readable storage medium that stores the program according to claim 6 or 7.
置姿勢センサの較正情報を求めるセンサ較正方法であっ
て、 複数の特徴点の世界座標系における座標を予め所定の保
持手段に保持しておき、 複数の撮像位置姿勢に前記撮像装置を位置させた状態に
おける前記位置姿勢センサの計測値を入力する計測値入
力工程と、 前記複数の撮像位置姿勢において前記撮像装置が撮像し
た撮像画像上における前記複数の特徴点の画像座標の実
測値を取得する画像座標取得工程と、 前記計測値入力工程および前記画像座標取得工程によっ
て得られた前記センサ計測値および前記特徴点の画像座
標の実測値と、前記保持手段が保持する当該特徴点の世
界座標に基づいて、前記較正情報を算出する較正情報算
出工程とを含むことを特徴とするセンサ較正方法。9. A sensor calibration method for obtaining calibration information of a position / orientation sensor for measuring the position / orientation of an image pickup device, wherein coordinates of a plurality of feature points in a world coordinate system are held in advance in a predetermined holding means. Every other time, a measurement value input step of inputting a measurement value of the position and orientation sensor in a state where the imaging device is positioned in a plurality of imaging positions and orientations, and on a captured image captured by the imaging device in the plurality of imaging position and orientations. An image coordinate acquisition step of acquiring actual measurement values of image coordinates of the plurality of feature points, and a sensor measurement value obtained by the measurement value input step and the image coordinate acquisition step and an actual measurement value of image coordinates of the feature points, A calibration information calculating step of calculating the calibration information based on world coordinates of the feature point held by the holding means.
値と、現在の較正情報と、前記保持手段が保持する前記
特徴点の世界座標に基づいて、当該特徴点の画像座標の
理論値を算出する画像座標算出工程と、 前記画像座標算出工程によって算出された前記特徴点の
画像座標の理論値と、前記画像座標取得工程によって取
得された当該特徴点の画像座標の実測値との誤差を算出
する誤差算出工程をさらに有し、 前記誤差算出工程が算出する誤差を前記較正情報の正確
さの評価値として前記較正情報を算出することを特徴と
する、請求項９に記載のセンサ較正方法。10. The calibration information calculation step is based on the sensor measurement value input in the measurement value input step, current calibration information, and world coordinates of the feature point held by the holding means. An image coordinate calculation step of calculating the theoretical value of the image coordinates of the feature points, a theoretical value of the image coordinates of the feature points calculated by the image coordinate calculation step, and of the feature points acquired by the image coordinate acquisition step. Further comprising an error calculating step of calculating an error between the measured value of the image coordinates, wherein the calibration information is calculated using the error calculated by the error calculating step as an evaluation value of the accuracy of the calibration information. The sensor calibration method according to claim 9.
出工程が算出する誤差にもとづいて、前記誤差を軽減す
るような較正情報の補正値を算出する補正値算出工程
と、 前記補正値算出工程によって算出された前記補正値によ
り前記較正情報を更新する較正情報更新工程とをさらに
有し、 前記画像座標算出工程、前記誤差算出工程、前記補正値
算出工程及び前記較正情報更新工程の繰り返し処理によ
って前記較正情報を算出することを特徴とする、請求項
１０に記載のセンサ較正方法。11. The calibration information calculation step, based on the error calculated by the error calculation step, a correction value calculation step of calculating a correction value of the calibration information that reduces the error, and the correction value calculation step. A calibration information updating step of updating the calibration information with the correction value calculated by the step of repeating the image coordinate calculating step, the error calculating step, the correction value calculating step, and the calibration information updating step. The sensor calibration method according to claim 10, wherein the calibration information is calculated.
の出力値であるセンサ座標系における測点の位置姿勢
を、前記世界座標系における前記撮像装置の位置姿勢に
変換するための情報であることを特徴とする請求項９乃
至１１のいずれか１項に記載のセンサ較正方法。12. The calibration information is information for converting a position / orientation of a measurement point in a sensor coordinate system, which is an output value of the position / orientation sensor, into a position / orientation of the imaging device in the world coordinate system. The sensor calibration method according to any one of claims 9 to 11, wherein:
おける位置姿勢を前記世界座標系における位置姿勢に変
換するための第一の座標変換情報と、前記測点の位置姿
勢を前記撮像装置の位置姿勢に変換するための第二の座
標変換情報からなることを特徴とする、請求項１２に記
載のセンサ較正方法。13. The calibration information includes first coordinate conversion information for converting a position / orientation in the sensor coordinate system into a position / orientation in the world coordinate system, and the position / orientation of the measurement point is the position of the imaging device. 13. The sensor calibration method according to claim 12, comprising second coordinate conversion information for converting the posture.
二の座標変換情報はそれぞれ、位置に関する３つの未知
パラメータと、姿勢に関する３つの未知パラメータから
なることを特徴とする、請求項１３に記載のセンサ較正
方法。14. The first coordinate conversion information and the second coordinate conversion information each include three unknown parameters regarding a position and three unknown parameters regarding a posture, according to claim 13. Sensor calibration method.
マーカであることを特徴とする、請求項９乃至１４のい
ずれか１項に記載のセンサ較正方法。15. The sensor calibration method according to claim 9, wherein the feature points are markers arranged in a physical space.
自然特徴であることを特徴とする、請求項９乃至１４の
いずれか１項に記載のセンサ較正方法。16. The sensor calibration method according to claim 9, wherein the feature points are natural features existing in a real space.
よって前記画像座標の実測値を検出し入力することを特
徴とする、請求項９乃至１６のいずれか１項に記載のセ
ンサ較正方法。17. The sensor calibration method according to claim 9, wherein in the image coordinate acquisition step, an actually measured value of the image coordinate is detected and input by image processing.
って前記画像座標の実測値を検出し入力することを特徴
とする、請求項９乃至１６のいずれか１項に記載のセン
サ較正方法。18. The sensor calibration method according to claim 9, wherein in the image coordinate acquisition step, a measured value of the image coordinate is manually detected and input.
センサ較正方法をコンピュータに実行させるためのプロ
グラム。19. A program for causing a computer to execute the sensor calibration method according to any one of claims 9 to 18.
する記憶媒体。20. A storage medium storing the program according to claim 19.
位置姿勢センサの較正情報を求めるセンサ較正装置であ
って、 複数の特徴点の世界座標系における座標を保持する保持
手段と、 複数の撮像位置姿勢に前記撮像装置を位置させた状態に
おける前記位置姿勢センサの計測値を入力する計測値入
力手段と、 前記複数の撮像位置姿勢において前記撮像装置が撮像し
た撮像画像上における複数の特徴点の画像座標の実測値
を取得する画像座標取得手段と、 前記計測値入力手段および前記画像座標取得手段よって
得られた前記センサ計測値および前記特徴点の画像座標
の実測値と、前記保持手段が保持する当該特徴点の世界
座標に基づいて、前記較正情報を算出する較正情報算出
手段とを備えることを特徴とするセンサ較正装置。21. A sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device, comprising: holding means for holding coordinates of a plurality of feature points in a world coordinate system; Measurement value input means for inputting a measurement value of the position and orientation sensor in a state where the imaging device is positioned in a position and orientation; An image coordinate acquisition unit that acquires an actual measurement value of the image coordinates; a sensor measurement value obtained by the measurement value input unit and the image coordinate acquisition unit; And a calibration information calculation unit that calculates the calibration information based on world coordinates of the feature point.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002076760A JP4095320B2 (en) | 2002-03-19 | 2002-03-19 | Sensor calibration device, sensor calibration method, program, storage medium |
| EP03251542A EP1349114A3 (en) | 2002-03-19 | 2003-03-13 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| CNB031207375A CN1210543C (en) | 2002-03-19 | 2003-03-18 | Sensor calibrating device and method, program, memory medium, information processing method and device |
| US10/390,739 US6792370B2 (en) | 2002-03-19 | 2003-03-19 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| US10/892,104 US7130754B2 (en) | 2002-03-19 | 2004-07-16 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002076760A JP4095320B2 (en) | 2002-03-19 | 2002-03-19 | Sensor calibration device, sensor calibration method, program, storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003269913A true JP2003269913A (en) | 2003-09-25 |
| JP4095320B2 JP4095320B2 (en) | 2008-06-04 |
Family
ID=29205420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002076760A Expired - Fee Related JP4095320B2 (en) | 2002-03-19 | 2002-03-19 | Sensor calibration device, sensor calibration method, program, storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4095320B2 (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008504105A (en) * | 2004-06-28 | 2008-02-14 | ハンガー オーソペディック グループ インコーポレイテッド | System and method for manufacturing medical devices |
| JP2009042082A (en) * | 2007-08-09 | 2009-02-26 | Fujifilm Corp | Method and device for setting three-dimensional coordinate system |
| US7640129B2 (en) | 2007-03-13 | 2009-12-29 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
| US7728852B2 (en) | 2004-03-31 | 2010-06-01 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US7817167B2 (en) | 2004-06-29 | 2010-10-19 | Canon Kabushiki Kaisha | Method and apparatus for processing information |
| US8320709B2 (en) | 2006-06-23 | 2012-11-27 | Canon Kabushiki Kaisha | Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images |
| JP2013113805A (en) * | 2011-11-30 | 2013-06-10 | Canon Inc | Information processor, information processor control method and program |
| KR101418873B1 (en) | 2013-03-27 | 2014-07-17 | 한국과학기술연구원 | method for calibating orientation measurement sensor, apparatus for calibating orientation measurement sensor, mobile electronic device comprising the same and program recording medium |
| US9542745B2 (en) | 2014-02-25 | 2017-01-10 | Fujitsu Limited | Apparatus and method for estimating orientation of camera |
| CN107449459A (en) * | 2016-04-18 | 2017-12-08 | 奥的斯电梯公司 | Automatic debugging system and method |
| CN109901123A (en) * | 2018-12-24 | 2019-06-18 | 文远知行有限公司 | Transducer calibration method, device, computer equipment and storage medium |
| CN111275766A (en) * | 2018-12-05 | 2020-06-12 | 杭州海康威视数字技术股份有限公司 | Calibration method and device for image coordinate system and GPS coordinate system and camera |
| KR20210034070A (en) * | 2019-03-26 | 2021-03-29 | 히다찌 겐끼 가부시키가이샤 | Calibration work support system |
| CN112634376A (en) * | 2020-12-25 | 2021-04-09 | 深圳中科飞测科技股份有限公司 | Calibration method and device, calibration equipment and storage medium |
| WO2021075113A1 (en) * | 2019-10-15 | 2021-04-22 | ソニー株式会社 | Information processing device, information processing method, and program |
| CN113013079A (en) * | 2021-02-09 | 2021-06-22 | 英特尔产品（成都）有限公司 | Tool and method for calibrating the mounting position of a distance sensor of an eddy current nozzle |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7242229B2 (en) | 2018-09-27 | 2023-03-20 | キヤノン株式会社 | Information processing device, information processing method, and program |
-
2002
- 2002-03-19 JP JP2002076760A patent/JP4095320B2/en not_active Expired - Fee Related
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7728852B2 (en) | 2004-03-31 | 2010-06-01 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP2008504105A (en) * | 2004-06-28 | 2008-02-14 | ハンガー オーソペディック グループ インコーポレイテッド | System and method for manufacturing medical devices |
| US7817167B2 (en) | 2004-06-29 | 2010-10-19 | Canon Kabushiki Kaisha | Method and apparatus for processing information |
| US8320709B2 (en) | 2006-06-23 | 2012-11-27 | Canon Kabushiki Kaisha | Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images |
| US7640129B2 (en) | 2007-03-13 | 2009-12-29 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
| JP2009042082A (en) * | 2007-08-09 | 2009-02-26 | Fujifilm Corp | Method and device for setting three-dimensional coordinate system |
| JP2013113805A (en) * | 2011-11-30 | 2013-06-10 | Canon Inc | Information processor, information processor control method and program |
| US9584768B2 (en) | 2011-11-30 | 2017-02-28 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method and computer-readable storage medium |
| KR101418873B1 (en) | 2013-03-27 | 2014-07-17 | 한국과학기술연구원 | method for calibating orientation measurement sensor, apparatus for calibating orientation measurement sensor, mobile electronic device comprising the same and program recording medium |
| US9542745B2 (en) | 2014-02-25 | 2017-01-10 | Fujitsu Limited | Apparatus and method for estimating orientation of camera |
| CN107449459A (en) * | 2016-04-18 | 2017-12-08 | 奥的斯电梯公司 | Automatic debugging system and method |
| CN107449459B (en) * | 2016-04-18 | 2022-02-25 | 奥的斯电梯公司 | Automatic debugging system and method |
| CN111275766A (en) * | 2018-12-05 | 2020-06-12 | 杭州海康威视数字技术股份有限公司 | Calibration method and device for image coordinate system and GPS coordinate system and camera |
| CN111275766B (en) * | 2018-12-05 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | Calibration method and device for image coordinate system and GPS coordinate system and camera |
| CN109901123A (en) * | 2018-12-24 | 2019-06-18 | 文远知行有限公司 | Transducer calibration method, device, computer equipment and storage medium |
| CN109901123B (en) * | 2018-12-24 | 2023-12-01 | 文远知行有限公司 | Sensor calibration method, device, computer equipment and storage medium |
| KR20210034070A (en) * | 2019-03-26 | 2021-03-29 | 히다찌 겐끼 가부시키가이샤 | Calibration work support system |
| KR102509346B1 (en) | 2019-03-26 | 2023-03-14 | 히다찌 겐끼 가부시키가이샤 | Corrective work support system |
| WO2021075113A1 (en) * | 2019-10-15 | 2021-04-22 | ソニー株式会社 | Information processing device, information processing method, and program |
| CN112634376A (en) * | 2020-12-25 | 2021-04-09 | 深圳中科飞测科技股份有限公司 | Calibration method and device, calibration equipment and storage medium |
| CN112634376B (en) * | 2020-12-25 | 2024-06-04 | 深圳中科飞测科技股份有限公司 | Calibration method and device, calibration equipment and storage medium |
| CN113013079A (en) * | 2021-02-09 | 2021-06-22 | 英特尔产品（成都）有限公司 | Tool and method for calibrating the mounting position of a distance sensor of an eddy current nozzle |
| CN113013079B (en) * | 2021-02-09 | 2023-08-25 | 英特尔产品（成都）有限公司 | Tool and method for calibrating the mounting position of a distance sensor of an eddy current suction nozzle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4095320B2 (en) | 2008-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7130754B2 (en) | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus | |
| JP4976756B2 (en) | Information processing method and apparatus | |
| US7657065B2 (en) | Marker placement information estimating method and information processing device | |
| US7529387B2 (en) | Placement information estimating method and information processing device | |
| JP4136859B2 (en) | Position and orientation measurement method | |
| JP4757142B2 (en) | Imaging environment calibration method and information processing apparatus | |
| JP4095320B2 (en) | Sensor calibration device, sensor calibration method, program, storage medium | |
| JP5230114B2 (en) | Information processing apparatus and information processing method | |
| JP6740033B2 (en) | Information processing device, measurement system, information processing method, and program | |
| JP2004151085A (en) | Method and apparatus for processing information | |
| US7123214B2 (en) | Information processing method and apparatus | |
| JP2017129567A (en) | Information processing apparatus, information processing method, and program | |
| JP2003132374A (en) | Image display device, its method and storage medium | |
| JP2005326282A (en) | Position and attitude measurement method and system | |
| JP6762913B2 (en) | Information processing device, information processing method | |
| JP4346950B2 (en) | Information processing method and apparatus | |
| JP4367926B2 (en) | Image composition system, image composition method, and image composition apparatus | |
| JP4566786B2 (en) | Position and orientation measurement method and information processing apparatus | |
| JP4991395B2 (en) | Information processing method and information processing apparatus | |
| JP2012145598A (en) | Information processing method and information processing device | |
| JP5726024B2 (en) | Information processing method and apparatus | |
| JP6109213B2 (en) | Information processing apparatus and method, program | |
| JP3840171B2 (en) | Image display apparatus and method, and storage medium | |
| JP4810403B2 (en) | Information processing apparatus and information processing method | |
| CN115842905B (en) | Projection method and projection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051206 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051222 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4095320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |