JP3817505B2 - 情報処理方法及び情報処理装置 - Google Patents
情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- JP3817505B2 JP3817505B2 JP2002284244A JP2002284244A JP3817505B2 JP 3817505 B2 JP3817505 B2 JP 3817505B2 JP 2002284244 A JP2002284244 A JP 2002284244A JP 2002284244 A JP2002284244 A JP 2002284244A JP 3817505 B2 JP3817505 B2 JP 3817505B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- coordinates
- calibration information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を求めるものに関する。
【0002】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に仮想空間(たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など)の画像を重畳表示することで実現される。
【0003】
このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、今までのバーチャルリアリティとは異なった新たな分野が期待されている。
【0004】
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。
【0005】
複合現実感における位置合わせの問題は、現実空間に設定した世界座標系(以後、単に世界座標系と呼ぶ)における、撮像装置の3次元位置姿勢を求める問題に帰結される。これらの問題を解決する方法として、磁気式センサや光学式センサ、超音波式センサなどの3次元位置姿勢センサを利用することが一般的に行われている。
【0006】
一般に3次元位置姿勢センサが出力する出力値は、センサが独自に定義するセンサ座標系における測点の位置姿勢であって、世界座標系における撮像装置の位置姿勢ではない。例えばPolhemus社の磁気式センサFASTRAKを例にとると、センサ出力として得られるのは、トランスミッタが定義する座標系におけるレシーバの位置姿勢である。したがって、センサ出力値をそのまま世界座標系における撮像装置の位置姿勢として用いることはできず、何らかの較正を行う必要がある。具体的には、測点の位置姿勢を撮像装置の位置姿勢に変換する座標変換と、センサ座標系における位置姿勢を世界座標系における位置姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値を世界座標系における撮像装置の位置姿勢に変換するための情報を較正情報と呼ぶこととする。
【0007】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によって正確な較正情報が設定される必要がある。正確な較正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【0008】
尚、較正情報の保持形態は、一方の座標系からみたもう一方の座標系の位置及び姿勢が定義できる情報であれば、いずれの形態をとってもよい。例えば、一方の座標系からもう一方の座標系への変換を表す4行4列のビューイング変換行列であってもよい。また、位置を記述する3パラメータと、姿勢をオイラー角によって表現する3パラメータの計6パラメータで位置姿勢を表現してもよい。また、姿勢に関しては、回転軸を定義する3値のベクトルとその軸まわりの回転角という4パラメータで表現してもよいし、回転軸を定義するベクトルの大きさによって回転角を表現するような3パラメータによって表現してもよい。
【0009】
また、それらの逆変換を表わすパラメータ(例えば、センサ座標系における世界座標系の位置姿勢)によって表現しても良い。ただし、いずれの場合も、3次元空間中における物体の位置及び姿勢は、位置に3自由度、姿勢に3自由度の計6自由度を有しているのみであるので、較正に必要な未知パラメータ数は、世界座標系からセンサ座標系への変換に必要な6パラメータと、測点の位置姿勢から撮像装置の位置姿勢への変換に必要な6パラメータの合計12パラメータとなる。
【0010】
較正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介して、前記12のパラメータ(あるいはそれに等価な12以上のパラメータ)を対話的に変更し、正確な位置合わせが達成されるまで調整を試行錯誤的に行うという方法がある。
【0011】
また、特許文献1により提案された較正方法によれば、測点の位置姿勢から撮像装置の位置姿勢への変換パラメータ、または世界座標系からセンサ座標系への変換パラメータのいずれかが何らかの方法で得られていれば、ある値に固定した位置姿勢情報に基づいて生成した仮想画像を視覚キューとして用いることで、残された未知パラメータを簡便に導出することができる。
【0012】
【特許文献1】
特開2002−229730号公報
【0013】
【発明が解決しようとする課題】
しかし、前者の方法では、12の未知パラメータを同時に調整する必要があるため調整に著しく時間がかかり、必ずしも正確な較正情報が得られるとは限らないという問題点があった。また、後者の方法においても、既知とするパラメータを導出する際に試行錯誤的作業あるいは何らかの較正用器具を用いた作業を行う必要があるという問題があった。
【0014】
本発明は以上の問題に鑑みてなされたものであり、センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ特別な較正器具を用いることなく、高精度に求めることができるようにすることを目的とする。
【0015】
【課題を解決するための手段】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
即ち、センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を求める情報処理方法であって、
世界座標が既知である複数のマーカが配置されている現実空間を、前記撮像部を用いて複数の位置姿勢で撮影することにより得られる複数の撮影画像、および該撮影画像の各々を撮影した際のセンサの計測値を取得し、
前記撮影画像に含まれるマーカの画像座標を検出し、
ユーザ指示に応じて、前記取得された複数の撮影画像から、前記較正情報を算出する際に使用する撮影画像を選択し、
前記選択された撮影画像の前記センサの計測値と、該選択された撮影画像の前記検出されたマーカの画像座標と、該検出されたマーカの世界座標とを用いて、前記較正情報を算出し、
前記撮影画像に、該撮影画像から検出されたマーカの画像座標と、該検出されたマーカの識別情報と、前記算出された較正情報を用いて該検出されたマーカの世界座標から求められた画像座標と、を合成して表示する
ことを特徴とする。
【0016】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
即ち、センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を求める情報処理装置であって、
世界座標が既知である複数のマーカが配置されている現実空間を、前記撮像部を用いて複数の位置姿勢で撮影することにより得られる複数の撮影画像、および該撮影画像の各々を撮影した際のセンサの計測値を入力する入力手段と、
前記撮影画像に含まれるマーカの画像座標を検出する検出手段と、
ユーザ指示に応じて、前記取得された複数の撮影画像から、前記較正情報を算出する際に使用する撮影画像を選択する選択手段と、
前記選択された撮影画像の前記センサの計測値と、該選択された撮影画像の前記検出されたマーカの画像座標と、該検出されたマーカの世界座標とを用いて、前記較正情報を算出する算出手段と、
前記撮影画像に、該撮影画像から検出されたマーカの画像座標と、該検出されたマーカの識別情報と、前記算出された較正情報を用いて該検出されたマーカの世界座標から求められた画像座標と、を合成して表示する手段と
を備えることを特徴とする。
【0019】
【発明の実施の形態】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
<第1の実施形態>
本実施形態のセンサ較正装置は、センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するためのパラメータを求める。
【0020】
そのため、本実施形態のセンサ較正装置は、
(1) 同一直線上にない4点以上のマーカの世界座標,
(2) 複数の位置姿勢で撮影した画像上におけるマーカの画像座標,
(3) (2)の画像を撮影したときのセンサ計測値,
(4) センサ配置情報の初期値(大まかな値),
を用いてパラメータを求める。
【0021】
このうち,(1)のマーカの世界座標は,較正の準備段階で既知の情報として用意すべきデータである。マーカ(ランドマーク、特徴点)は、当該画像表示装置が表示の対象としている現実空間内に、世界座標が既知な最低3点以上が配置されている必要がある。ここで、各マーカは、撮影画像上におけるその投影像の画像座標が検出可能であって、かついずれのマーカであるかが識別可能であるような、例えばそれぞれが異なる色を有するマーカであるものとする。世界座標系は所定の1点を原点とし、更にこの原点から夫々直交する方向にX、Y、Z軸をとる。そしてこの座標系において上記3点のマーカの座標が既知であるとする。つまり、予め上記3点のマーカについて原点からX、Y、Z方向への距離を測定しておく。
【0022】
(2)と(3)は,較正時に取得するデータである。(4)のセンサ配置情報の初期値は必ずしも必要なデータではないが、設定しないと適切な解が得られない場合がある。
【0023】
これらのデータを入力として,各マーカの世界座標,センサ計測値,そしてセンサ配置情報を基にそのマーカの画像座標の理論値を求め,実測値との誤差の和が最小となるような較正情報(パラメータ)を算出する。
なお、他の情報を用いる他の方法を用いてパラメータを求めても構わない。
【0024】
図1は本実施形態によるセンサ較正装置の第1の実施形態における概略構成を示すブロック図である。
図1において、100は演算処理部であり、コンピュータなどの計算機から構成される。演算処理部100はその内部にCPU101、RAM102、画像生成装置103、システムバス104、ディスク装置105、入力装置106、画像取込装置107を備える。
【0025】
CPU101は較正プログラムに基づき、較正処理を制御する。CPU101はシステムバス104に接続され、RAM102、画像生成装置103、ディスク装置105、入力装置106、画像取込装置107と相互に通信することが可能である。
【0026】
RAM102は、メモリ等の主記憶装置によって実現される。RAM102は、システムバス104を介して、較正プログラムのプログラムコードやプログラムの制御情報、マーカの世界座標および画像座標、本装置が算出した較正情報などを一時的に保持する。
【0027】
画像生成装置103は、グラフィックスカードなどの機器によって実現される。システムバス4を介して、CPU101上で実行されるプログラムによって生成された画像情報を表示部200に送出する。
システムバス104は、演算処理部100を構成する各機器が接続され、上記機器が相互に通信するための通信路となる。
【0028】
ディスク装置105は、ハードディスク等の補助記憶装置によって実現される。ディスク装置105は、較正プログラムのプログラムコードやプログラムの制御情報、マーカの世界座標および画像座標、本装置が算出した較正情報などを保持する。
【0029】
入力装置106は、各種インタフェース機器によって実現される。演算処理部100の外部に接続された機器からの信号をデータとして入力し、システムバス104を介して、RAM102にデータを書き込む。
【0030】
画像取込装置107は、キャプチャカードなどの機器によって実現される。撮像装置302から送出される画像を入力し、システムバス104を介して、RAM102に画像データを書き込む。
【0031】
200は表示部であり、CRTモニタ、液晶モニタなどのディスプレイ装置によって実現される。画像生成装置103から送出される映像信号を表示し、本装置の使用者に結果を提示するために用いられる。
300は頭部装着部であり、本装置によって較正を行う対象である。頭部装着部300はレシーバ301および撮像装置302から構成される。
【0032】
レシーバ301は、例えば磁気センサにおいては、トランスミッタ600が発生する磁界を計測する機器によって実現される。レシーバ301が計測した磁界の値は、センサ制御装置500に送出され、センサ制御部500によって、3次元位置および姿勢を表すパラメータに変換される。
撮像装置302は、CCDカメラなどの撮像装置によって実現される。撮像装置302が撮影する映像信号は画像取込装置107に送られる。
【0033】
操作入力部400は、キーボード、マウスなどの演算処理部100を制御するための入力機器によって実現される。操作入力部400は入力装置106に操作信号を送出する。図示しない本装置の使用者は、操作入力部400を操作することによって、本装置を制御する指令を与える。
【0034】
センサ制御部500は、例えば磁気センサにおいては、レシーバ301およびトランスミッタ500を制御し、レシーバ301から得た情報をもとに、レシーバ301の3次元位置および姿勢情報を算出する。センサ制御部500によって算出された前記三次元位置および姿勢情報は、入力装置106に送出される。
トランスミッタ600は、例えば磁気センサにおいては、センサ制御部500がレシーバ301の3次元位置および姿勢を算出するために、磁界を発生させる。
【0035】
本実施形態では、磁気センサを用いた場合について説明したが、用いるセンサは磁気センサに限られない。例えば光学式センサや、超音波式センサなどを用いてもよく、3次元位置および姿勢を計測することができるセンサであれば、センサの種類は問わない。この場合、レシーバ301はセンサの計測対象であり、トランスミッタ600は、センサ制御部500がレシーバ301の3次元位置および姿勢を算出するときのセンサ座標系原点である。
【0036】
図2は本実施形態における較正装置の機能構成を示すブロック図である。図2の各部の処理は図1における演算処理部100内で行われる。
世界座標保持部110は、各マーカの世界座標系における座標データを保持しており、データ管理部112からの要求に従って、これを出力する。また、世界座標保持部110は各マーカの座標データに各々のマーカ固有の情報(マーカの色情報、識別情報)のデータを関連づけて保持している。
【0037】
データ管理部111は、指示部115からデータ取得要求を受けると、画像座標取得部112からマーカの画像座標および識別情報を入力し、世界座標保持部110から前記識別情報に対応するマーカの世界座標を入力し、画像座標、世界座標、識別情報の組をデータリストに追加しこれを保持する。画像座標取得部112からマーカの画像座標のみが入力され、識別情報が入力されない場合においては、画像座標のみがデータリストに追加される。また、指示部115からデータ削除要求を受けると、データリストからデータを削除する。また、指示部115からデータ同定要求を受けると、マーカの世界座標、画像座標、識別情報の組み合わせを変更し、データリストのデータを変更する。また、較正情報算出部113からの要求に従って、生成したデータリストを較正情報算出部113に出力する。
【0038】
画像座標取得部112は、図1における撮像装置302が撮影し、図1における画像取込装置107によって獲得された画像(以下現実画像と表記する)中に撮影されているマーカの座標および識別情報を特定し、データ管理部111からの要求に従ってこれらの情報をデータ管理部111へと出力する。
【0039】
較正情報算出部113は指示部115から較正情報算出指示を受けると、データ管理部112からデータリストを入力し、これをもとに較正情報を算出し、算出した較正情報を較正情報保持部114へ送出する。
【0040】
較正情報保持部114は、較正情報算出部113が算出した較正情報を保持し、指示部115からの要求に従って、保持する較正情報を出力したり、変更したり、ファイルに保存する。指示部115から出力要求を受けると、較正情報を出力する。指示部115から較正情報変更要求を受けると、保持する較正情報の値を変更する。指示部115からファイル保存要求を受けると、ディスク装置105にファイルを作成し、較正情報を前記ファイルに保存する。指示部115からファイル読み込み要求を受けると、現在保持する較正情報を破棄し、ディスク装置105から指示されたファイルを読み込み、読み込まれた値を新たに現在の較正情報として設定する。指示部115からリセット要求を受けると、現在保持する較正情報を破棄し、本装置の起動時に保持していた較正情報のデフォルト値を新たに現在の較正情報として設定する。また、較正情報算出部113からの要求に応じて、較正情報保持部114が保持している較正情報を較正情報算出部113へ送出する。較正情報算出部113へ送出された較正情報は、較正情報算出部113が較正情報を算出する際に初期値として用いる。
【0041】
指示部115は、本装置の使用者からデータ取得コマンドが入力されたときにはデータ取得要求を、データ削除コマンドが入力されたときにはデータ削除要求を、データ同定コマンドが入力されたときにはデータ同定要求を、それぞれデータ管理部111に送出する。また、較正情報算出コマンドが入力されたときには、較正情報算出部113に較正情報算出要求を送出する。
【0042】
本実施形態において、本装置の使用者が指示部115に指示を行う際には、図3に示すGUIを用いて行う。図3におけるGUIは、メインウィンドウ1000、画像表示領域1010、較正情報表示領域1020、操作ボタン1030およびファイルメニュー1040から構成される。また、図4に示すように、ファイルメニュー1040は保存サブメニュー1050と終了サブメニュー1060から構成される。
【0043】
画像表示領域1010には、現実画像が表示される。また、画像座標取得部112が特定したマーカの座標位置を示す印および識別情報についても現実画像に重畳して表示される。
【0044】
図5には、画像座標取得部112が特定したマーカの座標位置を示す印および識別情報を、現実画像に重畳して画像表示領域1010に表示している様子を示している。図5において楕円形で示されているのは、現実画像中において撮影されているマーカである。また、画像座標取得部112が特定したマーカの画像座標を四角形で囲われた×印で示している。さらに、画像座標取得部112で特定されたマーカの識別情報について、マーカの名称を表すテキストを重畳して表示している。
【0045】
マーカの画像座標の位置に印を重畳することによって、本装置の使用者は、画像座標取得部112が特定した座標を一目で確認することが可能となる。
また、マーカの識別情報を重畳表示することによって、本装置の使用者は、画像座標取得部112が特定したマーカがどのマーカであるのかを、一目で確認することが可能となる。
【0046】
ここではマーカの画像座標を示すために四角形で囲われた×印を重畳した例を示したが、重畳するものは四角形で囲われた×印に限られない。○、×、□、矢印などの各種記号やアイコンなどを用いてもよく、画像座標取得部112が特定したマーカの画像座標を視認することができるものであれば、何でも良い。
【0047】
また、ここではマーカの識別情報として、名称を表すテキストを重畳した例を示しているが、重畳する識別情報はテキストのみに限られない。アイコンや画像などを用いて識別させても良いし、テキスト、アイコン、画像などの色や、マーカそのものの色を変えて表示することで識別させても良い。本装置の使用者が、現実画像中に撮影されているマーカと、実際のマーカとの対応を確認できるものであれば、何でも良い。
【0048】
図6では、画像座標取得部112においてマーカの画像座標の特定が行われているものの、識別情報の特定が行われておらず、データ管理部111においてマーカの世界座標、画像座標、識別情報との組が作成されていない場合における、画像表示領域1010の表示例を示している。データ管理部111において、マーカの世界座標、画像座標、識別情報との対応付けを行い、組を作成することを、以下「マーカを同定する」と表現する。
【0049】
図6では、マーカの画像座標に×印を現実画像に重畳している。また「?」のテキストを現実画像に重畳して表示している。画像表示領域1010において、マーカの同定が行われている場合には、四角形で囲われた×印とマーカの識別情報を重畳して表示し、マーカの同定が行われていない場合には、表示方法を切り替えるようにする。
【0050】
マーカの同定が行われている場合と行われていない場合の表示方法については、画像表示領域1010全体で切り替える必要はなく、画像表示領域1010で撮影されている各マーカについて、マーカ単位で独立に切り替えることが可能である。
【0051】
また、図7では、現在の較正情報およびレシーバ301の位置姿勢情報をもとに、世界座標保持部110が保持するマーカの世界座標系での座標を、撮像装置302の視点からCGによって描画し、画像表示領域1010の現実画像に重畳して表示している様子を示している。
【0052】
本装置による較正が正しく行われていれば、画像座標取得部112で特定されたマーカの座標と、現実画像に重畳された当該マーカの世界座標とは理論的に一致する。本装置の使用者は、マーカの画像座標と世界座標とのずれ量を見ることによって、本装置によって行われた較正の精度を視覚的に随時確認することが可能となる。
【0053】
本実施形態では、CGによってマーカの世界座標を描画しているが、CGで描画する対象は、マーカの世界座標に限られない。
例えば、世界座標系が現実画像上でどのように観測されるのかを確認するために、世界座標系を構成する座標軸や平面、世界座標原点などを描画するようにしてもよい。
【0054】
また、本較正装置の一部を、複合現実感の提示を行う画像表示装置を用いて実現している場合には、複合現実感の提示を行う際に用いる仮想世界や仮想物体をCGで描画するようにしてもよい。
【0055】
画像座標取得部112がマーカの座標を特定するために、画像中の色領域を抽出する処理を行っているような場合には、画像表示領域1010には、現実画像の代わりに前記色領域抽出処理の結果を示す画像を表示するようにしてもよい。このようにすることで、本装置の使用者が、色領域抽出処理のためのパラメータを容易に調整できるようになる。
【0056】
本装置の使用者は、マウス等のポインティングデバイスを用いて、画像表示領域1010中の画像座標を指定することができる。例えば、画像座標取得部112が行うマーカの(現実画像中の)座標の特定を本装置の使用者自身で行うことや、現実画像に撮影された所望のマーカを選択し、そのマーカに対する処理パラメータを変更したり、識別情報を本装置の使用者が手動で与えることが可能となる。
【0057】
較正情報表示領域1020には、較正情報保持部114が保持している現在の較正情報を表示する。
操作ボタン1030は、本装置の使用者が、ボタンの領域をマウス等のポインティングデバイスで選択することによって、本装置の挙動やGUIを制御するために用いられる。本実施形態においては、本装置の使用者が操作ボタン1030を選択すると、データ取得ダイアログ、初期値設定ダイアログ、検出パラメータ設定ダイアログを新たに表示させる。
【0058】
ファイルメニュー1040は、本装置の使用者が、メニューの領域をマウス等のポインティングデバイスで選択することによって、保存サブメニュー1050および終了サブメニュー1060を表示させる。
【0059】
保存サブメニュー1050は、本装置の使用者がサブメニューの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。保存サブメニュー1050が選択されると、指示部115はファイル保存コマンドを発行し、較正情報保持部114にファイル保存要求を送出する。
【0060】
終了サブメニュー1060は、本装置の使用者がサブメニューの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。終了サブメニュー1060が選択されると、本較正装置を終了する。較正情報保持部114が未保存の較正情報を保持している場合には、指示部115はファイル保存コマンドを発行し、較正情報保持部114にファイル保存要求を送出し、較正情報保持部114がファイル保存処理を完了するまで待機した後に、本較正装置を終了する。
【0061】
図8には、データ取得ダイアログの例を示している。図8におけるデータ取得ダイアログ1100は、データリスト表示領域1110、データ取得操作ボタン1120、表示画像切替ボタン1130、較正情報算出ボタン1140、選択データ無効化/有効化ボタン1150、選択データ削除ボタン1160、選択データ表示領域1170、選択データ操作領域1180、誤差表示領域1190、データ取得ダイアログ終了ボタン1195から構成される。
【0062】
データリスト表示領域1110は、これまでに取得したデータリストに対応する現実画像の縮小画像のサムネイルが表示される。本装置の使用者があるサムネイルを選択すると、その画像に対応するデータをデータリストから選び出し、選択データ表示領域1170に表示する。また、その画像に対応するデータを選択状態とする。選択状態になっているデータは、選択データ無効化/有効化ボタン1150、選択データ削除ボタン1160が押されたときの処理の対象となる。
【0063】
このとき、画像表示領域1010にはデータリストに対応する現実画像を表示する。データリスト表示領域1110は現実画像が縮小表示されており、本装置の使用者が縮小画像から詳細を確認するのは困難であるため、画像表示領域1010には縮小しない状態で現実画像を表示する。また、データリストから選び出したマーカの画像座標、世界座標、識別情報についても、画像表示領域1010に関する説明で述べた方法により、現実画像に重畳して表示する。
【0064】
データ取得ボタン1120は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。データ取得ボタン1120が押されると、指示部115はデータ取得コマンドを発行し、データ管理部111にデータ取得要求を送出する。また、その時点での現実画像をデータリスト表示領域に追加して表示する。
【0065】
表示画像切替ボタン1130は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。表示画像切替ボタン1130が押されると、画像表示領域1010に表示される画像のモードを切り替える。本装置の使用者は、現在取得されている現実画像を表示する「ライブ映像表示モード」と、データリスト表示領域1110で現在選択されている現実画像を表示する「取得データ表示モード」とを選択することが可能である。表示画像切替ボタン1130が押されると、現在のモードがライブ映像表示モードの時には取得データ表示モードに、現在のモードが取得データ表示モードの時にはライブ映像表示モードに切り替える。
【0066】
較正情報算出ボタン1140は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。較正情報算出ボタンが押されると、指示部115は較正情報算出コマンドを発行し、較正情報算出部113に較正情報算出要求を送出する。
【0067】
選択データ無効化/有効化ボタン1150は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。選択データ無効化/有効化ボタン1150を押すことによって、データ表示領域1110で現在選択されているデータ(撮影画像)が有効であるときには当該データを無効にし、較正情報算出処理の対象から選択データを除外する。現在選択されているデータが無効であるときには、当該データを有効にする。
【0068】
選択データ削除ボタン1160は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。選択データ削除ボタン1160が押されると、指示部115はデータ削除コマンドを発行し、データ管理部111にデータ削除指示を送出する。また、現在選択している現実画像のサムネイルをデータリスト表示領域1110から消去する。
【0069】
選択データ表示領域1170は、本装置の使用者がデータリスト表示領域1110で選択したデータが表示される。
選択データ操作領域1180は、本装置の使用者が選択データを操作するために用いられる。図9には、選択データ操作領域1180の詳細を示している。
選択データ操作領域1180は、マーカ選択ボタン1181、マーカ追加ボタン1182、マーカ識別情報選択メニュー1183、マーカ削除ボタン1184から構成される。
【0070】
マーカ選択ボタン1181は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ選択ボタン1181が押されると、操作モードを「マーカ選択モード」に設定する。マーカ選択モードが設定された状態で、本装置の使用者が、画像表示領域1010で表示されているマーカの座標位置を示す印の近傍を選択すると、当該マーカを選択状態にする。
【0071】
マーカ追加ボタン1182は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ追加ボタン1182が押されると、操作モードを「マーカ追加モード」に設定する。マーカ追加モードが設定された状態で、本装置の使用者が、画像表示領域1010の任意の部位を選択すると、その画像座標をマーカの座標とする新規のマーカを設定し、データリストに追加する。さらに当該マーカを選択状態にする。
【0072】
マーカ識別情報選択メニュー1183は、本装置の使用者がメニューの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ識別情報選択メニュー1183が選択されると、データリストに蓄積されているマーカ識別情報を一覧表示する。本実施形態では、マーカ識別情報として、マーカの名称を示す文字列を用いている。本装置の使用者は、マウス等のポインティングデバイスを用いて、一覧表示されたマーカ識別情報の中から一つを選択する。マーカ識別情報が選択されると、指示部115はデータ同定コマンドを発行し、選択した識別情報、選択状態になっているマーカ情報とをデータ管理部111に対して、データ同定要求と同時に送出する。
【0073】
マーカ削除ボタン1184は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ削除ボタン1184が押されると、現在選択状態になっているマーカをデータリストから削除する。
【0074】
誤差表示領域1190には、較正情報算出部113が較正情報を算出した際の較正誤差を表示する。本実施形態においては、データリストの各マーカに対する誤差と、全データの誤差の平均の2種類の較正誤差を表示している。
【0075】
本装置の使用者は、各マーカに対する較正誤差を確認することによって、較正情報算出部113が算出した較正情報の精度が十分でない場合、または較正情報の算出において解が収束しないような場合に、その原因となっているマーカを特定することが容易となる。
【0076】
また、全データの誤差の平均を確認することによって、選択データ無効化/有効化ボタンを用いて、較正情報の算出に用いるデータの有効もしくは無効にした結果を、評価することができる。
【0077】
データ取得ダイアログ終了ボタン1195は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。データ取得ダイアログ終了ボタン1195が選択されると、データ取得ダイアログを閉じる。データ取得ダイアログを閉じても、データリストの内容は保持される。
【0078】
図10には、初期値設定ダイアログ1200の例を示している。初期値設定ダイアログはパラメータ種選択タブ1210、パラメータ設定領域1220、標準設定視点ボタン1230、トランスミッタ観測ボタン1240、リセットボタン1250及び初期値設定ダイアログ終了ボタン1260から構成される。
【0079】
パラメータ種選択タブ1210は、本装置の使用者がタブの領域をマウス等のポインティングデバイスで選択することで、初期値を設定する較正情報の種別を選択する。タブの領域には”Local Transform”と”World Transform”の2種類が存在し、”Local Transform”の領域を選択すると、較正情報モードを、センサの計測値を撮像部の位置姿勢に変換するための第1のパラメータを求める「撮像装置−測点間較正情報モード」に設定する。”World Transform”の領域を選択すると、較正情報モードを「世界座標系−センサ座標系間較正情報モード」に設定する。
【0080】
パラメータ設定領域1220では、本装置の使用者が、ボタン、スライダ、スピンボタン、キーボードからの数値入力などの手段で、現在の較正情報モードに対応する較正情報のパラメータ設定を行うことができる。本実施形態では、以下の方法を単独または複数を併用することによって較正情報のパラメータの設定を行っている。
【0081】
第1に、位置と回転軸を定義するベクトルおよびその軸周りの回転角を指定する。
第2に、位置とオイラー角を指定する。
第3に、撮像装置302から見たレシーバ301のX、Y、Z軸の各軸周りの回転角およびレシーバ301から見た撮像装置302のX、Y、Z軸の各軸周りの回転角を指定する。
較正情報のパラメータの設定が行われると、指示部115は較正情報変更コマンドを発行し、較正情報保持部114へ較正情報変更要求を送出する。
【0082】
標準設定指定ボタン1230は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。標準設定指定ボタン1230が指定されると、指示部115は較正情報読み込みコマンドを発行し、較正情報保持部114へ較正情報読み込み要求を送出する。
【0083】
トランスミッタ観測ボタン1240は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。
トランスミッタ観測ボタン1240を選択することにより、センサ計測値を利用してLocal Transformの大まかな値を自動算出することができる。
【0084】
まず、図14(a)に示すように撮影画像のほぼ中心にセンサのトランスミッタが撮像されるようにカメラの位置姿勢を調整した後に,トランスミッタ観測ボタン1240をクリックする。その時点のセンサ計測値に基づいてLocal Transformの概略値が算出される。
【0085】
トランスミッタ観測ボタン1240がクリックされると、指示部115は較正情報算出コマンドを発行し、較正情報算出部113に較正情報算出要求を送出する。このとき、較正情報算出部113は、データ管理部111が管理するデータリストのうち、世界座標、画像座標、識別情報を用いずに、現在のセンサ計測値のみを用いることによって、撮像装置302とレシーバ301間の較正情報(Local Transform)を算出する。
【0086】
算出された概略値を用いてトランスミッタの位置姿勢の理論値を求め、理論値に応じてトランスミッタの仮想画像を生成するとともに、撮影画像上の理論値に応じた画像位置にトランスミッタの仮想画像を重畳し表示する(図14(b))。
【0087】
トランスミッタ観測ボタン1240を用いて設定したLocal Transformは撮像装置のZ軸方向の回転角が不定となるので、azimuth (z-axis)スライダーバー(パラメータ設定領域1220)でこのパラメータ(Local TransformのZ軸の姿勢成分)を大まかに調整する。そして、その調整結果に応じてトランスミッタの仮想画像をリアルタイムに更新する(図14(c))。なお、他のパラメータを調整することも可能である。
【0088】
リセットボタン1250は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。リセットボタン1250が指定されると、指示部115はリセットコマンドを発行し、較正情報保持部114にリセット要求を送出する。
【0089】
初期値設定ダイアログ終了ボタン1260は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。初期値設定ダイアログ終了ボタン1260が選択されると、初期値設定ダイアログを閉じる。初期値設定ダイアログを閉じても、較正情報は保持される。
【0090】
このように、トランスミッタ観測ボタン1240を選択することにより、センサ計測値を利用してLocal Transformの大まかな値をトランスミッタを用いて、特別な準備を必要とせず、しかも簡単に自動算出することができる。トランスミッタは本システムにおいて必要な構成であるので、ユーザは本処理を行うために特別な処理を行う必要がない。
【0091】
図11、図12には、マーカ検出パラメータ設定ダイアログ1300の例を示している。マーカ検出パラメータ設定ダイアログ1300はパラメータ種選択タブ1310、マーカ検出パラメータ設定領域1320、マーカ検出結果表示ボタン1330、マーカ検出パラメータリセットボタン1340、マーカ検出ボタン1350、マーカ同定手段切替ボタン1360、マーカ同定パラメータ設定領域1370、マーカ同定パラメータリセットボタン1380及びマーカ検出パラメータ設定ダイアログ終了ボタン1390から構成される。
【0092】
パラメータ種選択タブ1310は、本装置の使用者がタブの領域をマウス等のポインティングデバイスで選択することで、マーカ検出パラメータ設定画面またはマーカ同定パラメータ設定画面のいずれかを選択し、表示させる。
【0093】
マーカ検出パラメータ設定領域1320は、パラメータ種選択タブ1310において、マーカ検出パラメータ設定画面が選択されているときに表示される。マーカ検出パラメータ設定領域1320では、本装置の使用者が、スライダや数値入力ボックスなどの手段を用いて、マーカを検出する色のしきい値およびマーカとして認識する色領域の画素数の最小値を設定する。色のしきい値は、ある画素の各色成分の値が当該しきい値を上回っている場合に、その画素をマーカ候補とみなすために用いられる。
【0094】
本実施形態では赤、緑、青について各色の輝度値を示すR、G、Bについてしきい値を設定しているが、例えば画素のY、Cr、Cb成分にしきい値を設定するようにしてもよい。色領域の画素数の最小値については、色領域の画素数が設定した最小値よりも小さい場合には、当該領域をマーカとして認識しないようにするために用いられる。本実施形態においては、色領域の画素数の最小値のみを定めるようにしているが、最大値についても同時に定め、マーカ候補とみなす画素数がある範囲内に納まるようにしてもよい。
【0095】
マーカ検出結果表示ボタン1330は、パラメータ種選択タブ1310において、マーカ検出パラメータ設定画面が選択されているときに表示される。マーカ検出結果表示ボタン1330は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ検出結果表示ボタン1330が指定されると、現実画像表示モード色抽出結果画像表示モードとを切り替える。現実画像表示モードでは、画像表示領域1010に現実画像を表示する。色抽出結果画像表示モードでは、画像表示領域1010に色抽出結果画像を表示する。図13に示される色抽出結果画像では、実写画像中で抽出された色領域のみを表示している。
【0096】
マーカ検出パラメータリセットボタン1340は、パラメータ種選択タブ1310において、マーカ検出パラメータ設定画面が選択されているときに表示される。マーカ検出パラメータリセットボタン1340は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ検出パラメータリセットボタン1340が指定されると、現在保持しているマーカ検出パラメータを破棄し、本装置を起動したときに設定されるマーカ検出パラメータのデフォルト値を現在のマーカ検出パラメータに設定する。
【0097】
マーカ検出停止ボタン1350は、パラメータ種選択タブ1310において、マーカ検出パラメータ設定画面が選択されているときに表示される。マーカ検出停止ボタン1350は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ検出停止ボタン1350が選択されると、マーカ検出処理を停止する。
【0098】
マーカ同定手段切替ボタン1360は、パラメータ種選択タブ1310において、マーカ同定パラメータ設定画面が選択されているときに表示される。マーカ同定手段切替ボタン1360は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ同定手段切替ボタン1360が選択されると、センサ計測値を利用したマーカ同定機能の有効化・無効化を切り替える。前記マーカ同定機能は、現在のセンサ計測値および較正情報から、検出されたマーカの画像座標と、世界座標保持部110が保持するマーカの世界座標を撮像装置302の撮像面に投影した座標との距離を算出し、前記距離の最小値が最大許容値以下である場合には、自動的にマーカの同定を行う機能である。
【0099】
マーカ同定パラメータ設定領域1370は、パラメータ種選択タブ1310において、マーカ同定パラメータ設定画面が選択されているときに表示される。マーカ同定パラメータ設定領域1370では、本装置の使用者が、スライダや数値入力ボックスなどの手段を用いて、マーカを同定するための最大許容距離を設定する。
【0100】
マーカ同定パラメータリセットボタン1380は、パラメータ種選択タブ1310において、マーカ同定パラメータ設定画面が選択されているときに表示される。マーカ同定パラメータリセットボタン1380は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。マーカ同定パラメータリセットボタン1380が指定されると、現在保持しているマーカ同定パラメータを破棄し、本装置を起動したときに設定されるマーカ同定パラメータのデフォルト値を現在のマーカ同定パラメータに設定する。
【0101】
検出パラメータ設定ダイアログ終了ボタン1390は、本装置の使用者がボタンの領域をマウス等のポインティングデバイスで選択することで、本装置に指示を与える。検出おパラメータ設定ダイアログ終了ボタン1390が選択されると、検出パラメータ設定ダイアログ1390を閉じる。検出パラメータ設定ダイアログを閉じても、マーカ検出パラメータおよびマーカ同定パラメータは保持される。
【0102】
図15は、本実施形態のセンサ較正装置が行う処理のフローチャートである。なお、同フローチャートに従った処理を実現するプログラムコードは、本実施形態の装置内のディスク装置105やRAM102などの記憶装置内に格納され、CPU101により読み出され、実行される。
【0103】
ステップS000において、本実施形態のセンサ較正装置を起動する。
ステップS100において、指示部115は、本装置の使用者からデータ取得コマンドが入力されたか否かの判定を行う。データ取得コマンドが入力されている場合には、ステップS110へと処理を移行させる。
ステップS110において、データ管理部111は、センサ制御部500から現在のレシーバ301の位置姿勢の計測値を入力する。
【0104】
ステップS120において、データ管理部111は、撮像装置302が撮像した撮像画像上におけるマーカの識別情報及び画像座標を、画像座標取得部112から入力する。この入力は、当該撮像画像上の複数のマーカが撮像されている場合には、それら各々のマーカに対して行われる。
ステップS130において、データ管理部111は、検出されたマーカ毎に、入力したデータをデータリストに追加する。
【0105】
ステップS200において、指示部115は、本装置の使用者からデータリストの編集操作が入力されたか否かの判定を行う。データリストの編集操作が入力されている場合には、ステップS210の処理に移行させる。
【0106】
ステップS210において、指示部115は、本装置の使用者から入力したデータリストの編集操作に対応したコマンドを発行し、データリストの編集を行う。例えばデータリストの編集には、データリストの要素を選択する、データリストから選択要素を削除する、データリストに新規のマーカを追加する、データリストから既存のマーカを削除する、データリストの既存のマーカに識別情報を与え同定するという操作が含まれる。
【0107】
ステップS300では、較正情報算出部113によって、現在までに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。データリストが条件を満たしていない場合には、再びステップS100へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップS400へと処理を移行させる。較正情報算出の条件としては、例えば、異なる3点以上のマーカに関するデータが得られていること、複数の視点位置においてデータの取得が行われていること、及びデータ総数が6以上であること、を条件とする。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
【0108】
ステップS400では、本装置の使用者から較正情報算出コマンドが入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップS410へと処理を移行させ、入力されていない場合には、再びステップS100へと戻り、データ取得コマンドの入力を待つ。
【0109】
ステップS410では、較正情報算出部113によって、較正情報の算出処理が行われる。
ステップS500では、指示部115は、本装置の使用者から較正情報の編集操作が入力されたか否かの判定を行う。較正情報の編集操作が入力されている場合には、ステップS510の処理に移行させる。
【0110】
ステップS510において、指示部115は、本装置の使用者から入力した較正情報の編集操作に対応したコマンドを発行し、較正情報の編集を行う。例えば較正情報の編集には、較正情報のパラメータの変更、較正情報の読み込み、較正情報のリセットという操作が含まれる。
【0111】
ステップS600では、指示部115は、本装置の使用者から較正情報の保存操作が入力されたか否かの判定を行う。較正情報の保存操作が入力されている場合には、ステップS610の処理に移行させる。
ステップS610では、指示部115は、較正情報保持部114にファイル保存要求を送出し、現在保持している較正情報をディスク装置105に出力する。
【0112】
ステップS700では、指示部115は、本装置の使用者から、本装置の終了操作が入力されたか否かの判定を行う。較正情報の終了操作が入力されている場合には、ステップS800の処理に移行させる。入力されていない場合には、再びステップS100へ戻る。
ステップS800では、本装置を終了するための処理を行う。
【0113】
図16は、本実施形態のセンサ較正装置の使用者が、本装置を用いてセンサの較正を行うための標準的な操作のフローチャートである。
ステップS1000では、本装置の使用者は、本実施形態のセンサ較正装置を起動する。
【0114】
ステップS1100では、本装置の使用者は、撮像装置302を用いてマーカを撮像する。本装置の使用者は、本装置の画像座標取得部112がマーカの画像座標および識別情報が正しく特定しているか否かを確認する。正しく特定できている場合にはステップS1200へ進み、特定できてない場合には、ステップS1110へ進む。
【0115】
ステップS1110では、本装置の使用者は、例えばマーカ検出パラメータ設定ダイアログ1300を用いて、指示部115にマーカ検出パラメータおよびマーカ同定パラメータの調整を行うための指示を与える。
ステップS1200では、本装置の使用者は、例えばデータ取得ボタン1120を用いて、指示部115にデータ取得コマンドを発行させる。
【0116】
ステップS1300では、本装置の使用者は、取得したデータリストの各データが良好であるか否かを確認する。データが良好である場合にはステップS1400へ進み、良好でない場合には、状況に応じて、ステップS1310へ進む、またはステップS1100へ戻る。
【0117】
ステップS1310では、本装置の使用者は、例えばデータ取得ダイアログ1100を用いて、指示部115にデータリストの編集作業を行うための指示を与える。
ステップS1400では、本装置の使用者は、例えば較正情報算出ボタン1140を用いて、指示部115に較正情報算出コマンドを発行させる。
【0118】
ステップS1500では、本装置の使用者は、較正情報算出部113が、正しく較正情報を算出したか否かを確認する。正しく算出された場合にはステップS1600へ進み、算出されていない場合には、ステップS1100へ戻る。
ステップS1600では、本装置の使用者は、較正情報算出部113が算出した較正情報が良好であるか否かを確認する。較正情報が良好である場合には、ステップS1700へ進み、良好でない場合には、状況に応じてステップS1610へ進むか、ステップS1100へ戻る。
【0119】
ステップS1610では、本装置の使用者は、例えば初期値設定ダイアログ1200を用いて、指示部115に較正情報の編集を行うための指示を与える。
ステップS1700では、本装置の使用者は、例えば保存サブメニュー1050を用いて、指示部115にファイル保存コマンドを発行させる。
ステップS1800では、本装置の使用者は、例えば終了サブメニュー1060を用いて、本装置を終了させる。
【0120】
<第2の実施形態>
図17は本発明によるセンサ較正装置の第2の実施形態における概略構成を示すブロック図である。第1の実施形態では表示部200は頭部装着部300の外部に設けられていた。第2の実施形態では、表示部200は頭部装着部300に含まれる。このような構成は例えばHMDのように、本装置の使用者が頭部に装着することができる表示装置を表示部200として用いることよって実現される。第2の実施形態では、頭部に装着可能な表示装置を用いることにより、本装置の使用者が、複合現実感を提示する画像表示装置を使用する条件と同一の条件下で較正を行うことが可能となる。
【0121】
<第3の実施形態>
図18は本発明によるセンサ較正装置の第3の実施形態における概略構成を示すブロック図である。第3の実施形態では、表示部200は第1の実施形態における、頭部装着部300の外部に備えられる表示装置および、第2の実施形態における、本装置の使用者が頭部に装着する表示装置の両方から構成される。例えばHMDは、CRTモニタや液晶モニタといった通常のディスプレイ装置と比較して、一般的に解像度が低い。このような表示装置を用いた場合、本装置の使用者は、第1の実施形態で説明したGUIを用いて本装置に指示を与えることが困難となることが考えられる。このような場合、例えば本装置を二人で使用することが考えられる。
【0122】
すなわち、本装置の第一の使用者が見る、頭部装着部300の外部に備えられる表示装置(第1の実施形態における表示部)には、第1の実施形態で説明したGUIを表示し、本装置の第二の使用者が頭部に装着する表示装置(第2の実施形態における表示部)には、第1の実施形態で説明したGUIを除いた、現実画像および現実画像に各種情報やCGを重畳した合成画像、マーカの色抽出画像などを表示する。本装置の操作は第一の使用者が行い、撮像装置302およびレシーバ301の位置姿勢の調整は第二の使用者が行うようにすることで、効率的に較正作業を行うことが可能である。
【0123】
【他の実施形態】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0124】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0125】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した(図15に示す)フローチャートに対応するプログラムコードが格納されることになる。
【0126】
【発明の効果】
以上説明したように、本発明によれば、センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ特別な較正器具を用いることなく、高精度に求めることができる。
【0127】
特に、ユーザが、取得された複数の撮影画像から較正情報を求める際に使用する撮影画像を選択することが可能なので、較正情報を求める際に不適切な撮影画像をはずすことができる。
【0128】
また、請求項4の発明によれば、検出されたマーカのそれぞれについて誤差を表示するので、不適切な撮影画像を適切に選択することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る較正装置の概略構成を説明するブロック図である。
【図2】第1の実施形態における較正装置の機能構成を説明するブロック図である。
【図3】第1の実施形態に係る較正装置が呈示するGUIについて説明する図である。
【図4】第1の実施形態に係る較正装置が呈示するGUIのうち、ファイルメニューについて説明する図である。
【図5】第1の実施形態に係る較正装置が呈示するGUIで、現実画像にマーカの画像座標を示す印および付加情報を重畳して表示する様子を説明する図である。
【図6】第1の実施形態に係る較正装置が呈示するGUIで、マーカの同定が行われていない場合に、現実画像にマーカの画像座標を示す印および付加情報を重畳して表示する様子を説明する図である。
【図7】第1の実施形態に係る較正装置が呈示するGUIで、マーカの世界座標をCGで描画し、現実画像に重畳して表示する様子を説明する図である。
【図8】第1の実施形態に係る較正装置が呈示するGUIのうち、データ取得ダイアログについて説明する図である。
【図9】図8のダイアログにおける選択データ操作領域について説明する図である。
【図10】第1の実施形態に係る較正装置が呈示するGUIのうち、初期値設定ダイアログについて説明する図である。
【図11】第1の実施形態にる較正装置が呈示するGUIのうち、検出パラメータ設定ダイアログについて説明する図である。
【図12】第1の実施形態にる較正装置が呈示するGUIのうち、検出パラメータ設定ダイアログについて説明する図である。
【図13】第1の実施形態にる較正装置において、図3のGUIの画像表示領域に色抽出結果画像を表示する様子を説明する図である。
【図14】第1の実施形態にる較正装置において、センサ計測値を利用してLocal Transformの大まかな値を自動算出する手順を説明する図である。
【図15】第1の実施形態に係るセンサ較正装置の処理手順を示すフローチャートである。
【図16】第1の実施形態において、センサ較正装置の使用者がセンサ較正装置を使用する手順を示すフローチャートである。
【図17】第2の実施形態に係るセンサ較正装置の概略構成を説明するブロック図である。
【図18】第3の実施形態に係るセンサ較正装置の概略構成を説明するブロック図である。
Claims (7)
- センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を求める情報処理方法であって、
世界座標が既知である複数のマーカが配置されている現実空間を、前記撮像部を用いて複数の位置姿勢で撮影することにより得られる複数の撮影画像、および該撮影画像の各々を撮影した際のセンサの計測値を取得し、
前記撮影画像に含まれるマーカの画像座標を検出し、
ユーザ指示に応じて、前記取得された複数の撮影画像から、前記較正情報を算出する際に使用する撮影画像を選択し、
前記選択された撮影画像の前記センサの計測値と、該選択された撮影画像の前記検出されたマーカの画像座標と、該検出されたマーカの世界座標とを用いて、前記較正情報を算出し、
前記撮影画像に、該撮影画像から検出されたマーカの画像座標と、該検出されたマーカの識別情報と、前記算出された較正情報を用いて該検出されたマーカの世界座標から求められた画像座標と、を合成して表示する
ことを特徴とする情報処理方法。 - 前記マーカの画像座標の検出は、前記撮影画像を解析することにより自動的に行われ、
更に、前記表示された画像を用いたユーザ指示に基づき、前記検出されたマーカの画像座標の削除、および、前記撮影画像に含まれるマーカの画像座標の追加を行うことができることを特徴とする請求項1記載の情報処理方法。 - 前記表示された撮影画像は、ユーザ指示に応じて、前記複数の撮影画像から選択された画像であることを特徴とする請求項1又は2記載の情報処理方法。
- 更に、前記検出されたマーカのそれぞれに対する前記較正情報における誤差および該検出されたマーカのそれぞれに対する誤差の平均値を表示することを特徴とする請求項1乃至3の何れか1項に記載の情報処理方法。
- 更に、ユーザ指示に基づき、前記撮影画像に含まれるマーカの画像座標を検出する際に使用する検出条件を調整することを特徴とする請求項1乃至4の何れか1項に記載の情報処理方法。
- コンピュータに請求項1乃至5の何れか1項に記載の情報処理方法を実行させるためのプログラム。
- センサにより計測された撮像部の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を求める情報処理装置であって、
世界座標が既知である複数のマーカが配置されている現実空間を、前記撮像部を用いて複数の位置姿勢で撮影することにより得られる複数の撮影画像、および該撮影画像の各々を撮影した際のセンサの計測値を入力する入力手段と、
前記撮影画像に含まれるマーカの画像座標を検出する検出手段と、
ユーザ指示に応じて、前記取得された複数の撮影画像から、前記較正情報を算出する際に使用する撮影画像を選択する選択手段と、
前記選択された撮影画像の前記センサの計測値と、該選択された撮影画像の前記検出されたマーカの画像座標と、該検出されたマーカの世界座標とを用いて、前記較正情報を算出する算出手段と、
前記撮影画像に、該撮影画像から検出されたマーカの画像座標と、該検出されたマーカの識別情報と、前記算出された較正情報を用いて該検出されたマーカの世界座標から求められた画像座標と、を合成して表示する手段と
を備えることを特徴とする情報処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002284244A JP3817505B2 (ja) | 2002-09-27 | 2002-09-27 | 情報処理方法及び情報処理装置 |
EP03251542A EP1349114A3 (en) | 2002-03-19 | 2003-03-13 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
CNB031207375A CN1210543C (zh) | 2002-03-19 | 2003-03-18 | 传感器校准装置及方法、程序、信息处理方法及装置 |
US10/390,739 US6792370B2 (en) | 2002-03-19 | 2003-03-19 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
US10/892,104 US7130754B2 (en) | 2002-03-19 | 2004-07-16 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002284244A JP3817505B2 (ja) | 2002-09-27 | 2002-09-27 | 情報処理方法及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004118734A JP2004118734A (ja) | 2004-04-15 |
JP3817505B2 true JP3817505B2 (ja) | 2006-09-06 |
Family
ID=32277868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002284244A Expired - Fee Related JP3817505B2 (ja) | 2002-03-19 | 2002-09-27 | 情報処理方法及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3817505B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4367926B2 (ja) | 2004-05-17 | 2009-11-18 | キヤノン株式会社 | 画像合成システムおよび画像合成方法、および画像合成装置 |
JP4926817B2 (ja) * | 2006-08-11 | 2012-05-09 | キヤノン株式会社 | 指標配置情報計測装置および方法 |
JP5714232B2 (ja) * | 2009-03-12 | 2015-05-07 | オムロン株式会社 | キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 |
JP5728372B2 (ja) | 2011-11-30 | 2015-06-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP7242229B2 (ja) * | 2018-09-27 | 2023-03-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2002
- 2002-09-27 JP JP2002284244A patent/JP3817505B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004118734A (ja) | 2004-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7035760B2 (en) | Information processing method and information processing apparatus | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
US9767563B2 (en) | Image processing apparatus and method for obtaining position and orientation of imaging apparatus | |
US20030182072A1 (en) | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus | |
US7627137B2 (en) | Image composition system, image composition method, and image composition apparatus | |
US7664341B2 (en) | Index layout measurement method, position and orientation estimation method, index layout measurement apparatus, and position and orientation estimation apparatus | |
JP4522140B2 (ja) | 指標配置情報推定方法および情報処理装置 | |
EP1404126B1 (en) | Video combining apparatus and method | |
JP4926817B2 (ja) | 指標配置情報計測装置および方法 | |
JP4532982B2 (ja) | 配置情報推定方法および情報処理装置 | |
JP5196825B2 (ja) | 画像処理装置、画像処理方法 | |
JP4346950B2 (ja) | 情報処理方法および装置 | |
US8098263B2 (en) | Image processing method and image processing apparatus | |
JP2004062756A (ja) | 情報提示装置および情報処理方法 | |
TW201350912A (zh) | 資訊處理裝置,資訊處理系統及資訊處理方法 | |
JP2003269913A (ja) | センサ較正装置、センサ較正方法、プログラム、記憶媒体 | |
JP3817505B2 (ja) | 情報処理方法及び情報処理装置 | |
JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
JP2006293485A (ja) | 指標表示方法及び画像表示装置 | |
JP2009015648A (ja) | 画像処理装置、画像処理方法 | |
JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
JP2008139911A (ja) | 情報処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060612 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3817505 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |