JP2008224626A - 情報処理装置、情報処理方法、校正治具 - Google Patents

Abstract

【課題】 カメラキャリブレーションにおける相互標定と絶対標定の工程を統合すること。更に、客観視点カメラの撮影範囲に十分な参照点（基準指標）を固定して配置できない場合であっても、高精度な絶対標定を行うこと。更には、現実空間中に配置された指標の配置情報と客観視点カメラの配置情報とを求める作業工程をも統合すること。また、基準指標から数珠繋ぎに撮影できない場所に配置されている指標のキャリブレーションについても行うこと。
【解決手段】 校正治具５０を撮影装置２００の撮影範囲内で移動させる場合に撮影装置２００が撮影した複数の画像中の指標１１０の画像座標を抽出する。撮影装置１００が撮影した複数の画像中の環境配置指標３００の画像座標を抽出する。情報処理装置１０００は、抽出した画像座標に基づいて、未知パラメータとしての撮影装置２００のカメラパラメータを求める。
【選択図】 図１

Description

本発明は、現実空間中に配された撮影装置や指標の配置情報を推定するための技術に関するものである。

現実空間中を移動する撮影装置の位置及び姿勢を求める方法の一つに、現実空間中に配置あるいは設定した指標、及び撮影装置が撮影した画像に基づいて撮影装置の位置及び姿勢を求める方法がある（非特許文献１参照）。この方法では、撮影装置が撮影した画像内における指標の画像座標を検出し、検出した指標の画像座標とこの指標の３次元座標との対応関係を利用して、撮影装置の位置及び姿勢を求めている。

しかし、このように現実空間中の指標のみを用いて撮影装置の位置及び姿勢を求める手法は、指標が障害物により隠れてしまったり、指標の見え方が悪いと、撮影装置の位置及び姿勢を求めることができなくなる。そこで、計測対象である撮影装置自身にも指標を装着し、天井などに設置した他の複数の撮影装置によって外部からこれを撮影し、撮影したそれぞれの画像を併用することでロバストな計測を行う方法が提案されている（非特許文献２参照）。以下では、計測対象物体（ここでは撮影装置）を外部から撮影する撮影装置を、客観視点カメラと呼ぶことにする。

上記の計測手法では、計測の基準となる三次元座標系（以下、基準座標系と呼ぶ）における指標の位置や姿勢（以下、指標の配置情報と呼ぶ）を予め求めておく必要がある。基準座標系とは、現実空間中の一点を原点とし、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義される。また、客観視点カメラの基準座標系における位置及び姿勢や、歪み特性、焦点距離、画像中心等のカメラ固有のパラメータも予め求めておく必要がある。以下では、カメラの位置及び姿勢を、カメラの配置情報、あるいはカメラ外部パラメータと呼ぶ。また、焦点距離や画像中心等のカメラ固有のパラメータを、カメラ内部パラメータと呼ぶ。

以下では、指標の配置情報を取得する作業や工程を、指標のキャリブレーションと呼ぶ。指標のキャリブレーションは、定規や分度器、測量器等を用いた手計測によって行うことができる。しかし、手作業による計測には、手間がかかる、また精度が悪いといった問題がある。そのため、画像情報を利用して簡便かつ高精度に指標のキャリブレーションを行うことが従来より行われている。

指標の配置情報が現実空間中の一点の位置で表される指標（以下、点指標と呼ぶ）の配置情報は、バンドル調整法によって求めることができる（非特許文献３参照）。バンドル調整法は、様々な方向から撮影した多数の撮影画像をもとに、現実空間中の点群の位置と各撮影画像を撮影した際の撮影装置の位置及び姿勢を同時に求める手法である。具体的には、撮影画像上で観察される点の画像上での位置と、点の位置及び撮影装置の位置及び姿勢から計算される点の画像上での位置との誤差の和が最小になるように、点群の位置及び撮影装置の位置及び姿勢を最適化する手法である。

一方、正方形など２次元形状を持つ指標のように、配置情報が基準座標系における位置及び姿勢で表される指標（以下、２次元指標と呼ぶ）の場合には、点群の位置を求める上記の手法を直接適用することができない。そこで非特許文献４では、２次元指標と点指標の配置情報をバンドル調整法と同様の手法で求める手法が開示されている。夫々の指標の配置情報を基準座標系において計測するためには、いくつかの指標の基準座標系における配置情報が既知である必要がある。以下では、基準座標系における配置情報が既知な指標を基準指標と呼ぶ。基準座標系は、これらの基準指標によって定義されると考えることもできる。キャリブレーションの対象である夫々の指標は、基準指標から数珠繋ぎに撮影されていることが必要である。

ここで、「基準指標から数珠繋ぎに撮影される」とは、例えば次のような状況を指し示している。即ち、あるいくつかの画像上において基準指標と指標Ａが同時に撮影され、他のいくつかの画像上において指標Ａと指標Ｂが同時に撮影されている。そして、さらに他のいくつかの画像上において指標Ｂとその他の指標が同時に撮影されている。このように、データを辿ることによって基準指標とその他の指標との間の関係を導出可能な状況を示している。

一方、カメラの配置情報及び焦点距離や画像中心等のカメラ固有のパラメータを求める問題は、カメラキャリブレーションと呼ばれている（非特許文献５参照）。一般にカメラキャリブレーションは、３次元座標系における位置が既知な複数の点を観測することによって行われる。これは精密に作られた３次元参照物体など特別なキャリブレーション用参照物体を必要とする。また、２次元位置が既知の点を描いた参照平面を用いてキャリブレーションを行う手法も知られている（非特許文献６参照）。

写真測量の分野では、カメラ内部パラメータを求めることを内部標定、カメラ外部パラメータを求めることを外部標定と呼ぶ。内部標定は、外部標定を行う前に校正用ボード等を用いて別途事前に行っても良いし、外部標定と同時に行っても良い。また、外部標定は、相互標定と絶対標定に分類される。複数視点で撮影されたカメラの位置及び姿勢の相対的な関係を求めることを相互標定と呼ぶ。また、基準座標系におけるカメラの位置及び姿勢を求めることを絶対標定と呼ぶ。相互標定で求めたカメラの位置及び姿勢の情報は各カメラ間の相対関係であり、基準座標系とは異なるある仮の座標系における各カメラの位置及び姿勢を表している。

多数の客観視点カメラが、広範囲に、屋内の天井等に固定されるような状況において、これらのキャリブレーションを行うことを考える。従来技術による最も単純な実現方法は、相互評定を行わず、夫々のカメラの絶対評定を個別に行う方法である。そのためには、基準座標系を規定する参照物体を、夫々のカメラによって撮影すればよい。

また、カメラ間の相対関係を相互標定によって求めた後に、相互標定の仮座標系と基準座標系との間の変換を求めることによって各カメラの絶対標定を一括して行う方法もある。この場合、まず、基準座標系とは関連をもたない参照物体を複数のカメラで同時に観測することによって、内部標定と相互標定を同時に行う。次に、基準座標系を規定する別の参照物体を１台以上のカメラで観測することで、絶対標定を行う。なお、カメラの設置に先立って夫々のカメラの内部標定を個別に行い、カメラを設置した後に相互標定と絶対標定を順次行うことも一般的である。

以上のように、上述のいずれの方法においても、客観視点カメラの絶対標定は「基準座標系を規定する参照物体」を観測することによって実現される。ここで、基準座標系を規定する参照物体とは、基準座標系における位置の既知な点（参照点）の組をあたえるものである。これは、例えば、基準座標系における配置情報の既知な複数の指標（基準指標）を現実空間中に配置することによって構成される。絶対標定の精度は、観測される参照点の画像内及び空間内での分布に大きく依存している。すなわち、観測される参照点の分布が十分であれば、十分な精度の絶対標定を行うことができる。
佐藤，内山，田村："複合現実感における位置合わせ手法"，日本バーチャルリアリティ学会論文誌，ｖｏｌ．８，ｎｏ．２，ｐｐ．１７１−１８０，２００３． 佐藤，内山，山本："ＵＧ＋Ｂ法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法"，日本バーチャルリアリティ学会論文誌，ｖｏｌ．１０，ｎｏ．３，ｐｐ．３９１−４００，２００５． 社団法人 日本写真測量学会，"解析写真測量 改訂版"，１９８９． 小竹， 内山， 山本："マーカ配置に関する先験的知識を利用したマーカキャリブレーション方法，日本バーチャルリアリティ学会論文誌， Ｖｏｌ．１０，ｎｏ．３，ｐｐ．４０１−４１０，２００５． 植芝，岡谷，佐藤："カメラキャリブレーション"，情報処理学会研究報告，２００５−ＣＶＩＭ−１４８（１）． Ｚ．Ｚｈａｎｇ： "Ｆｌｅｘｉｂｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ ｂｙ Ｖｉｅｗｉｎｇ ａ Ｐｌａｎｅ ｆｒｏｍ Ｕｎｋｎｏｗｎ Ｏｒｉｅｎｔａｔｉｏｎｓ．" Ｐｒｏｃ．７ｔｈ Ｉｎｔ‘ｌ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ’９９），Ｖｏｌ．１，ｐｐ．６６６−６７３，１９９９． 加藤, M. Billinghurst, 浅野, 橘："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション", 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-616, 1999. 暦本純一："2 次元マトリックスコードを利用した拡張現実感システムの構成手法", インタラクティブシステムとソフトウェアV, 近代科学社, 1997. G. Klein, T. Drummond: "Robust Visual Tracking for Non-Instrumented Augmented Reality." Proc. International Symposium on Mixed Reality and Augmented Reality (ISMAR ’03), pp.113-122, 2003. 佐藤 淳："コンピュータビジョン −視覚の幾何学−"，コロナ社，1999． Tomasi, C. and Kanade, T. ："Shape and motion from image streams under orthography: A factorization method, "International Journal on Computer Vision, vol.9, no.2, pp.137-154.

しかし、客観視点カメラも基準指標も現実空間に固定されている状態において、高精度な絶対標定に必要な参照点を得ることは必ずしも容易ではない。客観視点カメラの撮影範囲内に基準指標を十分に配置できないと、客観視点カメラの絶対標定を正確に行うことができない。しかし、固定された客観視点カメラでは撮影範囲が限定されるため、限られた基準指標しか撮影することができない場合がある。そのため、客観視点カメラが撮影可能な範囲に基準指標を追加配置しなければならない。しかし、環境によっては、物理的な制約から、十分な基準指標を配置できない場合もある。また、参照点の分布は３次元的であることが望ましいが、基準指標を配置できるのは現実的には床面や壁面のみであり、このことが絶対標定の精度低下の原因となる。参照点を配置した立体形状の校正冶具を既知の位置に移動させながら撮影することも可能であるが、撮影に手間がかかることや、治具の配置精度が問題となる。

また、従来はカメラのキャリブレーションにおける相互標定と絶対標定の工程が分かれており、作業に手間のかかることが課題であった。加えて客観視点カメラのキャリブレーションと指標のキャリブレーションは別工程として行われていたので、その作業は手間のかかるものであった。

また、現実空間中に配置された指標のキャリブレーションを行う場合において、基準指標から数珠繋ぎに撮影できない場所に配置されている指標がある場合には、基準座標系におけるこの指標の配置情報を求めることができなかった。そのため、指標の配置場所に制限があり、必要以上に密に指標を配置しなければならなかった。

以上のように、客観視点カメラや指標のキャリブレーションを、より簡便かつ正確に行うことが課題であった。

本発明は以上の問題に鑑みてなされたものであり、カメラキャリブレーションにおける相互標定と絶対標定の工程を統合することを目的とする。

更に、本発明は、客観視点カメラの撮影範囲に十分な参照点（基準指標）を固定して配置できない場合であっても、高精度な絶対標定を行うことも目的とする。

更には、本発明は、現実空間中に配置された指標の配置情報と客観視点カメラの配置情報とを求める作業工程をも統合することを目的とする。また、本発明は、基準指標から数珠繋ぎに撮影できない場所に配置されている指標のキャリブレーションについても行うことも目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得手段と、
前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出手段と、
前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得手段と、
前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出手段と、
前記第１の抽出手段、前記第２の抽出手段のそれぞれが抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第１の撮影装置のカメラパラメータを求める計算手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得手段と、
前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出手段と、
前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得手段と、
前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出手段と、
前記第１の抽出手段、前記第２の抽出手段のそれぞれが抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第２指標の位置を求める計算手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の校正治具は以下の構成を備える。

即ち、固定して配置されている赤外カメラのカメラパラメータを求めるために、当該赤外カメラによる撮影の対象として現実空間に設けられる校正治具であって、
現実空間を撮影する１台以上の撮影装置と、
前記赤外カメラによって観測するための１つ以上の赤外マーカと
で構成されていることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得工程と、
前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出工程と、
前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得工程と、
前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出工程と、
前記第１の抽出工程、前記第２の抽出工程のそれぞれで抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第１の撮影装置のカメラパラメータを求める計算工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得工程と、
前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出工程と、
前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得工程と、
前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出工程と、
前記第１の抽出工程、前記第２の抽出工程のそれぞれで抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第２指標の位置を求める計算工程と
を備えることを特徴とする。

本発明の構成によれば、カメラキャリブレーションにおける相互標定と絶対標定の工程を統合することができる。

更に、客観視点カメラの撮影範囲に十分な参照点（基準指標）を固定して配置できない場合であっても、高精度な絶対標定を行うことができる。

更には、現実空間中に配置された指標の配置情報と客観視点カメラの配置情報とを求める作業工程をも統合することができる。

また、基準指標から数珠繋ぎに撮影できない場所に配置されている指標のキャリブレーションについても行うことができる

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は、現実空間中に配された１台以上の撮影装置の基準座標系における位置及び姿勢（配置情報）を算出するための、本実施形態に係るシステムの機能構成を示すブロック図である。即ち、カメラパラメータのうち外部パラメータについて算出する。

情報処理装置１０００にはキャリブレーション対象である１台以上の撮影装置２００が接続されており、本実施形態では、情報処理装置１０００が、この１台以上の撮影装置２００の配置情報を求める場合について説明する。

なお、撮影装置２００は図１では１台としているが、以下では一般的な説明を行うので、複数台の撮影装置２００が情報処理装置１０００に接続されているものとして説明する。以下の説明では、撮影装置２００の識別子をｊ（ｊ＝１，２，．．．，Ｎ_２）とする。ここでＮ_２は、撮影装置２００の総数を表している。即ち、本実施形態ではＮ_２台の撮影装置２００が情報処理装置１０００に接続されている。また、本実施形態では、撮影装置２００の内部パラメータは既知であるとする。

校正治具５０は、撮影装置２００の撮影範囲内において操作者が移動させるための治具である。本実施形態に係る校正治具５０は、図４Ａに示すように、１台の撮影装置１００と、この１台の撮影装置１００に対して棒部材を介して付加されている１つの指標１１０と、によって構成されている。図４Ａは、本実施形態に係る校正治具５０の外観例を示す図である。なお、指標１１０は、撮影装置上（撮影装置１００上）に設けられるのであれば、如何なる付加形態であっても良い。

撮影装置１００は、情報処理装置１０００を構成する第２画像取得部１０１０を介して情報処理装置１０００に接続されている。第２画像取得部１０１０は、例えばＰＣに設置されたビデオキャプチャカードである。撮影装置１００は、指標１５０ａ〜１５０ｃが配置されている現実空間の動画像を撮影するビデオカメラであり、撮影した各フレームの画像（現実空間画像）のデータは、第２画像取得部１０１０に入力される。

第２画像取得部１０１０は、撮影装置１００から受けた現実空間画像を順次、後段の第２指標抽出部１０２０に送出する。

第２指標抽出部１０２０は、第２画像取得部１０１０から受けた現実空間画像中の指標１５０ａ〜１５０ｃのそれぞれを構成する環境配置指標を抽出する。ここで、この環境配置指標について説明する。

現実空間中（現実空間中に存在する現実物体も含む）には、図３Ａに示すような四角形形状の指標１５０ａ〜１５０ｃ（以下、四角形指標１５０ａ〜１５０ｃと呼ぶ）が配置されている。図３Ａは、四角形指標１５０ａ〜１５０ｃの配置例を示す図である。

図３Ｂに示すように、四角形指標１５０ａ〜１５０ｃの内部には、自身に固有の識別子を表すパターンが記録されている。従って、画像中のある四角形指標中のパターンを読み取ることで、この四角形指標が四角形指標１５０ａ〜１５０ｃの何れであるのかを一意に同定することができる。ここで、１つの四角形指標の夫々の頂点３００ａ〜３００ｄを、環境配置指標と呼称する。以下では、環境配置指標３００ａ〜３００ｄをまとめて、環境配置指標３００と呼称する。図３Ｂは、四角形指標１５０ａ〜１５０ｃの構成例を示す図である。

環境配置指標３００の識別子をｉ（ｉ＝１，２，．．．，Ｎ_３）とする。基準座標系における環境配置指標３００の位置は既知であり、指標の配置情報として指標管理部１０５０に保持されている。

第２指標抽出部１０２０は、第２画像取得部１０１０から受けた現実空間画像に対して２値化処理を施した後にラベリング処理を行い、一定面積以上の領域の中から４つの直線によって形成されているものを四角形指標の候補領域として抽出する。さらに、抽出した候補領域の内部に特定のパターンがあるか否かを判定することによって、候補領域が四角形指標の領域であるかを判定する。そして最後に、四角形指標の領域として判定された領域内のパターンを読み出すことによって、この四角形指標の現実空間画像中における向き（方向）やその識別子を取得する。

そして第２指標抽出部１０２０は、現実空間画像中における環境配置指標の画像座標、識別子等を後段の指標管理部１０５０に送出する。

なお、環境配置指標３００は、四角形指標の頂点に限るものではなく、現実空間画像上において検出可能であって、かついずれの指標であるか識別可能である指標であれば、何れの形態であってもよい。例えば、図３Ｃに示すように、それぞれが異なる色を有する円形状の指標のような点指標１６０ａ〜１６０ｃであってもよい。この場合には、現実空間画像上から各々の指標の色に対応する領域を検出し、その重心位置を指標の検出座標（画像座標）とする。図３Ｃは、点指標を説明する図である。

また、それぞれが異なるテクスチャ特徴を有するような、現実空間中に元来存在する特徴的な点（自然特徴点）を点指標としてもよい。自然特徴点を現実空間画像から抽出する方法には様々なものが存在する。例えば、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを現実空間画像上に施すことにより、現実空間画像から指標を抽出することができる。

また、環境配置指標３００として赤外発光マーカを用いてもよい。この場合、撮影装置１００としては、赤外波長域のみを撮影するような赤外カメラを使用する。また、再帰性反射素材から成る指標（再帰性反射マーカ）を用いてもよい。この場合は、撮影装置１００の付近から赤外光を照射し、その反射を赤外カメラで撮影する。このように赤外光を利用することで、検出をロバストに行うことができる。これに限らず、現実空間中に固定された指標であってそれを撮影した画像から検出可能なものであれば、どのような指標であってもかまわない。もちろん、複数種類の指標を混在させて用いてもよい。

一方、撮影装置２００は、情報処理装置１０００を構成する第１画像取得部１０３０を介して情報処理装置１０００に接続されている。第１画像取得部１０３０は、例えばＰＣに設置されたビデオキャプチャカードである。撮影装置２００は、校正治具５０が配置されている現実空間の動画像を撮影するビデオカメラであり、撮影した各フレームの画像（現実空間画像）のデータは、第１画像取得部１０３０に入力される。

また、複数台の撮影装置２００が広範囲に設置されている場合には、第１画像取得部１０３０は、例えばLAN(Local Area Network)等のネットワークで接続されたＰＣに設置されたビデオキャプチャカードによって構成される。

ここで、撮影装置２００の撮影範囲内で、操作者が校正治具５０を移動させるのであるが、指標１１０は常に撮影装置２００によって撮影される。

第１指標抽出部１０４０は、第１画像取得部１０３０から受けた現実空間画像から指標１１０を抽出する。

なお、指標１１０は、校正治具５０に対して直接若しくは間接的に固定された指標であり、且つ、撮影装置２００が撮影する現実空間画像から抽出可能かつ識別可能であれば、何れの形態であってもよい。ここで、指標１１０の形態は、キャリブレーション対象である撮像装置２００の種類に応じて変更する必要がある。例えば、撮像装置２００が赤外カメラの場合には、赤外ＬＥＤ等によって構成される赤外自発光マーカを用いることが有効である。また、撮像装置２００の付近から赤外光を照射可能である場合には、再帰性反射素材から成る再帰性反射マーカを用いても良い（なお、赤外自発光マーカ及び再帰性反射マーカを赤外マーカと呼ぶ）。また、撮像装置２００がカラーカメラの場合には、特徴的な色を有するカラーマーカを用いることが有効である。また、それぞれが異なるテクスチャを有する指標を指標１１０として用いても良い。また、校正治具５０に元来存在する特徴点を指標１１０として用いてもよい。

校正治具５０に対する（すなわち、校正治具５０上に定義される座標系における）指標１１０の位置は既知であり、指標１１０の配置情報として指標管理部１０５０に保持されている。本実施形態では説明を簡単にするために、撮影装置１００上に定義される座標系（カメラ座標系）を、校正治具座標系とする。校正治具座標系とカメラ座標系とが異なる場合には、予め校正治具座標系における撮影装置１００の配置情報を求めておき、座標変換を行えばよい。

指標管理部１０５０は、第２指標抽出部１０２０によって抽出された環境配置指標３００の識別子ｉと画像座標、第１指標抽出部１０４０によって抽出された指標１１０の画像座標を管理する。更に上述の通り、指標管理部１０５０は予め既知の情報として登録された、環境配置指標３００の基準座標系における配置情報、校正治具５０上に定義される座標系における指標１１０の配置情報も管理している。指標管理部１０５０が管理する情報を指標情報とも呼称する。

治具概略位置姿勢算出部１０４５は、第２指標抽出部１０２０が抽出した環境配置指標３００の画像座標とその配置情報を指標管理部１０５０から入力し、校正治具５０の概略位置姿勢を算出する。算出された位置及び姿勢は、指標管理部１０５０に保持される。

指標概略位置算出部１０５５は、指標管理部１０５０が保持する指標１１０の配置情報と校正治具５０の概略位置姿勢とを用いて、基準座標系における指標１１０の概略位置を算出する。算出した概略位置は、指標１１０の画像座標と関連付けて指標管理部１０５０に保持される。

配置情報算出部１０７０は、指標１１０と環境配置指標３００の画像座標、夫々の指標の配置情報、指標１１０の概略位置、校正治具５０の概略位置及び姿勢等のデータを指標管理部１０５０から入力する。そして、撮影装置２００の配置情報を算出する。配置情報算出部１０７０は、算出した撮影装置２００の配置情報を、必要に応じて外部に出力する。

図２は、情報処理装置１０００が、撮影装置２００の基準座標系における位置及び姿勢を求める為に行う処理のフローチャートである。

先ずステップＳ２０１０では、第２画像取得部１０１０が、ある時刻αにおいて撮影装置１００が撮影した現実空間画像（第２画像）を取得する。

ステップＳ２０２０では、第１画像取得部１０３０が、同時刻αに夫々の撮影装置２００によって撮影された夫々の現実空間画像（第１画像）を取得する。即ち、本実施形態では、第１画像取得部１０３０、第２画像取得部１０１０は同期して画像取得処理を行うものとするので、同時刻（若しくは略同時刻）に第１画像取得部１０３０、第２画像取得部１０１０は画像を取得するものとする。

ステップＳ２０３０では、第２指標抽出部１０２０が、第２画像上における環境配置指標３００（第２指標）を抽出する。そして、抽出された各々の環境配置指標３００の画像座標ｖ_ｉα ^＾を、環境配置指標３００の識別子ｉ、時刻αと共に指標管理部１０５０に登録する。

ステップＳ２０４０では、第１指標抽出部１０４０が、第１画像上における指標１１０（第１指標）を抽出する。そして、抽出された指標１１０の画像座標ｕ_ｊα ^＾を、撮影装置２００の識別子ｊ、時刻αと共に指標管理部１０５０に登録する。

ステップＳ２０５０では、治具概略位置姿勢算出部１０４５が、時刻αにおける、校正治具５０の基準座標系での概略の位置及び姿勢を推定する。環境配置指標３００の基準座標系における位置及び姿勢は既知であるので、ステップＳ２０３０で抽出された環境配置指標３００の画像座標から、基準座標系における撮影装置１００の位置及び姿勢を算出する。この算出は、抽出された環境配置指標３００が同一平面上に分布していない場合には、ＤＬＴ法（Direct Linear Transformation Method）を用いて行うことができる（例えば非特許文献３を参照）。一方、抽出された環境配置指標３００が同一平面上に分布している場合には、平面ホグラフィーを用いてカメラの位置と姿勢を求める公知の方法（例えば非特許文献７，８を参照）が利用できる。さらに、校正治具座標系と撮影装置１００の座標系が異なる場合には、座標変換を適宜実行する。

以下では、物体の位置と姿勢の夫々を、３次元ベクトルｔ＝[t_x t_y t_z]^T、ω＝[ω_x ω_y ω_z]^Tによって表記する。そして、物体の位置及び姿勢を、それらを合わせた６次元の状態ベクトルによって表記する。ここで、姿勢ωは、ベクトルの方向が回転軸を表し、ベクトルの大きさが回転角を表す姿勢の３値表現方法である。また、以下では姿勢ωを適宜、回転軸ベクトルr_axis＝[r_x r_y r_z]^Tと回転角r_aによる表現形式や、３×３の回転変換行列Ｒによる表現形式に変換して使用する。r_aはωによって次式のように表される。

また、r_axisとの関係は次式のように表される。

また、Ｒとの関係は次式のように表される。

また、Ｒとｔをまとめて、４×４の同次変換行列Ｍによって物体の位置及び姿勢を表す場合もある。この場合、以下のようになる。

以下、校正治具５０の基準座標系での位置及び姿勢を表す６次元の状態ベクトルをΨと表記する。基準座標系における校正治具５０の位置及び姿勢を表す変換行列をＭ_ｗｃとすると、ΨとＭ_ｗｃは相互に変換できる。また、時刻αにおけるΨをΨ_α、Ｍ_ｗｃをＭ_ｗｃαと表す。

ステップＳ２０６０では、指標概略位置算出部１０５５が、ステップＳ２０４０で抽出された指標１１０の、時刻αにおける基準座標系での位置を推定する。時刻αにおける指標１１０の基準座標系での位置ｘ_ｗαは、ステップＳ２０５０で求めた時刻αにおける校正治具５０の位置及び姿勢Ｍ_ｗｃαと、既知の値である校正治具５０に対する指標１１０の位置ｘ_ｃから、次式によって求めることができる。

ここで、ｘ_ｃ及びｘ_ｗαは、同次座標系によって表現されている。

以上のステップＳ２０１０からステップＳ２０６０までの処理によって、ある時刻αにおける指標１１０の、撮影装置２００が撮影した現実空間画像上における画像座標と、基準座標系における３次元座標との組を得ることができる。

ステップＳ２０７０では、配置情報算出部１０７０が、指標管理部１０５０に蓄えられたデータが夫々の撮影装置２００の配置情報を計算するのに十分か否かを判定する。現在の取得データが十分であると判定した場合には、ステップＳ２０８０に処理を進める。一方、不十分であると判定した場合には、ステップＳ２０１０に処理を戻し、ステップＳ２０１０からステップＳ２０６０までの処理を再度実行する。この判定は、データの点数が閾値以上か否かという単純な基準に基づいて行うことができる。あるいは、抽出された指標の画像上での分布や、その３次元座標の空間中での分布が閾値以上であることを条件として加えてもよい。あるいは、十分なデータが得られたことをユーザが判定し、キー入力で指示を与えてもよい。

校正治具５０を異なる位置及び姿勢に移動させながらステップＳ２０１０からステップＳ２０６０までの処理を繰り返すことで、指標１１０が異なる複数の座標に位置している状態におけるデータを得ることができる。言い換えれば、異なる時刻α（α＝１，２，．．．．，Ｎ_１）におけるデータが取得できる。ここでＮ_１は、取得したデータ数を表している。

ステップＳ２０８０では、配置情報算出部１０７０が、撮影装置２００が撮影した現実空間画像上における指標１１０の画像座標と、基準座標系における指標１１０の３次元座標位置との組を用いて、撮影装置２００の概略配置情報を算出する。この処理は、ステップＳ２０５０の処理と同様に、ＤＬＴ法によって行うことができる。以下では、識別子ｊの撮影装置２００の配置情報を、６次元の状態ベクトルｓ_ｊ（ｊ＝１，２，．．．，Ｎ_２）によって表す。

ステップＳ２０９０では、配置情報算出部１０７０が、取得したデータの全体としての整合性を取ることによって、撮影装置２００の配置情報をより正確に算出する。この処理では、各時刻αにおける校正治具５０の位置及び姿勢を示す状態ベクトルΨ_αと、夫々の撮影装置２００の配置情報ｓ_ｊを変数（未知パラメータ）とおく。夫々の概略値はステップＳ２０８０までに求められているので、これを初期値とする。そして、各指標（指標１１０及び環境配置指標３００）上での投影誤差の残差の和を最小にするように、これらのパラメータを最適化する。ステップＳ２０９０における処理の詳細については改めて後述する。

ステップＳ２１００では、配置情報算出部１０７０が、ステップＳ２０９０で求めた撮影装置２００の基準座標系における配置情報を出力する。

次に、ステップＳ２０９０における処理の詳細について、図５に示すフローチャートを用いて説明する。図５は、ステップＳ２０９０の処理の詳細を示すフローチャートである。

なお、以下の説明では、ステップＳ２０９０の処理において最適化を行う未知パラメータを、（Ｎ_１＋Ｎ_２）×６次元の状態ベクトルｔ＝[ｓ^T Ψ^T]^Tと表現する。ここで、ｓ＝[ｓ₁ ^T … ｓ_N2 ^T]^T、Ψ＝[Ψ₁ ^T … Ψ_N1 ^T]^Tを表している。また、ｔ0は、現時点における状態ベクトルの推定値を表す。また、識別子ｊの撮影装置２００の配置情報の現時点における推定値をｓ_j0、時刻αにおける校正治具５０の位置及び姿勢の現時点における推定値をΨ_α０と表す。

ステップＳ３０１０では、検出されている全ての指標１１０の投影座標（画像座標）を推定する。識別子ｊの撮影装置２００が撮影した現実空間画像上における、時刻αにおける指標１１０の投影座標ｕ_ｊαの算出は、状態ベクトルｓ_ｊを用いて、次式のように表される。

ここで、Ｆ_１ｊは、識別子ｊの撮影装置２００の観測方程式を表すものであり、基準座標系からカメラ座標系への変換、および透視投影変換を含む関数である。ステップＳ３０１０では先ず、式５を用いて、現在のΨ_α０に基づいてｘ_ｗαを算出する。次に、式６を用いて、現在のｓ_j0に基づいて投影座標ｕ_ｊαを算出する。

ステップＳ３０２０では、検出されている全ての環境配置指標３００の投影座標を推定する。識別子ｉの環境配置指標３００の、時刻αにおいて撮影装置１００が撮影した現実空間画像上の投影座標（画像座標）ｖ_ｉαは、次式のように表される。

ここで、Ｆ_２は、撮影装置１００の観測方程式を表すものであり、基準座標系からカメラ座標系への変換、および透視投影変換を含む関数である。ａ_ｗｉは、環境配置指標３００の配置情報（基準座標系における位置）を表す。本実施形態では、環境配置指標３００の配置情報は既知の値として指標管理部１０５０に保持されている。ステップＳ３０２０は、式７を用いて、現在のΨ_α０に基づいて投影座標ｖ_ｉαを算出する。なお、校正治具座標系と撮影装置１００の座標系が異なる場合には、式７の観測方程式における基準座標系からカメラ座標系への変換において、そのオフセットを考慮すればよい。

ステップＳ３０３０では、ステップＳ３０１０で求めた指標１１０の投影座標ｕ_ｊαと、ステップＳ２０４０で抽出した指標１１０の画像座標ｕ_ｊα ^＾との間の誤差（投影誤差）Δｕ_ｊαを、次式によって算出する。

なお、以下では、「全時刻における撮影装置２００の夫々による指標１１０の観測」に通し番号を付け、ｎと表す。また、撮影装置２００の夫々が指標１１０を検出した回数の総和をＮ_４と表す（すなわち、ｎ＝１，．．．，Ｎ_４）。以下では、ｎ番目の点の投影誤差をΔｕ_ｎ＝−Δｕ_ｊαと表す。

ステップＳ３０４０では、ステップＳ３０２０で求めた環境配置指標３００の投影座標ｖ_ｉαと、ステップＳ２０３０で抽出した環境配置指標３００の画像座標ｖ_ｉα ^＾との間の投影誤差Δｖ_ｉαを、次式によって算出する。

なお、以下では、「全時刻における撮影装置１００による個々の環境配置指標３００の観測」に通し番号を付け、ξと表す。また、撮影装置１００が撮影した全画像上で検出された環境配置指標３００の総数（延べ数）をＮ_５と表す（すなわち、ξ＝１，．．．，Ｎ_５）。以下では、ξ番目の点の投影誤差をΔｖ_ξ＝−Δｖ_ｉαと表す。

ステップＳ３０５０では、ステップＳ３０３０とステップＳ３０４０で求めた投影誤差を最小化するように、状態ベクトルｔの補正を行う。

初めに、補正値を算出するための連立方程式（以下説明する式２０）の導出について説明する。

時刻αにおける指標１１０の基準座標系での位置ｘ_ｗαは、式５で示したようにΨ_αの関数である。したがって、式８は、ｓ_ｊとΨ_αの関数として、次式のように書き直すことができる。

同様に、式９は、Ψ_αの関数として、次式のように書き直すことができる。

投影誤差Δｕ_ｊα及びΔｖ_ｉαは、理論的には０になるが、誤差を含むので実際には０にはならない。そこで、全ての観測データにおける投影誤差の和、すなわち、以下の式１２及び式１３を最小化するように、非線形最小二乗法に基づいて状態ベクトルｔを推定する。

ここで、Ａ_ｊは、識別子ｊの撮影装置２００が指標１１０を観測（抽出）した時刻の集合を表す。また、Ｉ_αは、時刻αにおいて撮影装置１００によって観測（抽出）された環境配置指標３００の集合を表す。

Ｊ及びＨを最小化させる状態ベクトルｔの算出方法は、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法であってもよいし、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法であってもよいし、その他の公知の最適化手法を用いてもよい。以下ではその一例として、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法で解く場合について説明する。

式１２のＪをｓ_ｊ、Ψ_αの各成分ｓ_ｊγ、Ψ_αηで偏微分したものを０とおくと、以下の式１４，１５が得られる。

また、式１３のＨをΨ_αの各成分Ψ_αηで偏微分したものを０とおくと、以下の式１６が得られる。

次に、式９、式１０をテーラー展開すると、それぞれ以下の式１７，１８となる。

すなわち、状態ベクトルｔの各成分の補正値の線形関数として、投影誤差を近似できる。

ここで、状態ベクトルｔの各成分でＥ_１ｊ(ｓ_j0，Ψ_α0)を偏微分した偏微分係数をまとめ、（Ｎ_１＋Ｎ_２）×６次元のベクトルＪ_ｎ（ｎ＝１，２，．．．Ｎ_４）で表す。また、状態ベクトルｔの各成分でＥ_２ｉ(Ψ_α0)を偏微分した偏微分係数をまとめ、（Ｎ_１＋Ｎ_２）×６次元のベクトルＫ_ξ（ξ＝１，２，．．．Ｎ_５）で表す。なお、各偏微分係数は観測方程式から容易に導出可能であるので、その計算方法の具体的な説明は省略する。

式１７を式１４、１５に代入し、式１８を式１６に代入してまとめると、補正ベクトルΔに関する連立方程式１９を得ることができる。

ここで、Δ＝［Δｓ_１ … Δｓ_Ｎ２ ， ΔΨ_１ … ΔΨ_Ｎ１］^Ｔであり、状態ベクトルｔの各パラメータの補正値を表す。なお、式１９をヤコビ行列Ｊ＝［ΔＪ_１ … ΔＪ_Ｎ４ ， ΔＫ_１ … ΔＫ_Ｎ５］^Ｔと誤差ベクトルＥ＝［Δｕ_１ … Δｕ_Ｎ４ ， Δｖ_１ … Δｖ_Ｎ５］^Ｔによってまとめると、次式のように記述できる。

ステップＳ３０５０では、上記の連立方程式を解くことで、補正ベクトルΔを算出する。連立方程式の解法は、掃き出し法、あるいはガウス・ジョルダン法、あるいは共役勾配法など、その他公知の何れの連立一次方程式の解法を用いて解いてもよい。取得した画像が多い場合や、検出した指標が多い場合には、前処理で不完全コレスキー分解を行う前処理付き共役勾配法などで高速に計算することができる。

ステップＳ３０５０では更に、算出した補正ベクトルΔを用いて、次式に従って現在の状態ベクトルｔ_０を補正し、得られたベクトルを新たな状態ベクトルｔとする。

ステップＳ３０６０では、誤差ベクトルＥが予め定めた閾値より小さいかどうか、あるいは、補正ベクトルΔが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束している場合には、ステップＳ２０９０における処理を終了させ、処理をステップＳ２１００に進める。一方、収束していない場合には、ステップＳ３０１０へと処理を戻し、ステップＳ３０１０からステップＳ３０５０までの処理が繰り返し行われる。このとき、ステップＳ３０５０で補正された補正後の状態ベクトルtが、次のt₀として使用される。

以上説明したように、本実施形態によれば、基準座標系における撮影装置２００の位置及び姿勢、即ち、撮影装置２００の配置情報を求めることができる。これにより、参照物体とカメラ間の相対関係を求める工程と、基準座標系に変換する工程とを統合することができ、作業を簡略化できる。

また、撮影装置１００によって現実空間中に配置した環境配置指標３００を撮影すればよいので、客観視点カメラの撮影範囲に基準座標系を定義する指標を配置しなくてもよい。これにより、現実空間中に配置する指標の配置方法の制限を軽減することができる。

また、撮影装置１００による環境配置指標３００の観測情報を最適化計算（ステップＳ２０９０）の拘束条件として利用するので、推定される撮影装置２００の配置情報の精度が向上する。

＜変形例１−１＞
第１の実施形態では、撮影装置２００の内部パラメータを既知とし、その配置情報のみを求めるものであった。しかし、夫々の撮影装置２００の内部パラメータを、その配置情報と同時に算出してもよい。この場合、識別子ｊの撮影装置２００に関する未知パラメータを表すベクトルｓ_ｊに、撮影装置２００の配置情報を表す６パラメータに加え、その内部パラメータa_ｊを追加すればよい。

内部パラメータa_ｊは、例えば、焦点距離ｆ、画像中心の座標（ｕ_０、ｖ_０）、ｘ軸及びｙ軸方向のスケール・ファクターｋ_ｕ、ｋ_ｖ、及びせん断係数ｋ_ｓによって構成される。これらのパラメータにより、カメラ座標系ｘ_ｃの点を画像座標ｕへ変換する透視投影変換を表す行列Ａは、次式のように表される。

すなわち、ステップＳ２０９０における式６の観測方程式を、式２２の透視投影変換を考慮した形に変更すればよい。これにより、撮影装置２００の内部パラメータを未知パラメータとして追加し、指標の投影誤差を最小化するようなパラメータを非線形最適化により求めることができる。なお、初期値として使用する撮影装置２００の概略の内部パラメータは、ステップＳ２０８０において、公知の方法によって概略配置情報と共に求めることができる。あるいは、設計パラメータなどをもとに設定しておいてもよい。

＜変形例１−２＞
第１の実施形態では、ステップＳ２０９０において、校正治具５０の位置及び姿勢Ψも併せて最適化することにより、ステップＳ２０８０で求めた撮影装置２００の概略配置情報を高精度化していた。しかし、ステップＳ２０９０の処理は必須ではない。すなわち、ステップＳ２０８０で求めた撮影装置２００の配置情報をそのままステップＳ２１００で出力する構成であってもよい。例えば、撮影装置１００が高解像度のカメラである場合などは、ステップＳ２０５０で算出したΨの信頼性が高いと考えられる。このようにΨが信頼性高く求まるときは、ステップＳ２０９０の処理を省略してもよい。

＜変形例１−３＞
第１の実施形態では、指標１１０、及び環境配置指標３００として、現実空間中、及び現実空間画像上において点で表現される指標を用いていた。しかし、指標の形態はこれに限定されるものではなく、現実空間画像上で検出される輝度変化の起こるエッジ部分を指標として用いることが可能である。

非特許文献９において、エッジ情報を用いて撮影装置の位置及び姿勢を計測する手法が提案されている。係る手法では、ＣＡＤモデルのようなモデルを用意しておき、モデルのエッジを画像中のエッジにフィッティングさせることでカメラの位置姿勢を求める。即ち、この手法における、モデルのエッジを画像中のエッジにフィッティングさせることでカメラの位置姿勢を求める方法を用いても良い。

この場合、先ず、校正治具５０上に固定されている物体、または校正治具５０のエッジモデルと、現実空間中に固定されている物体のエッジモデルを予め準備しておく。次に、撮影装置１００が撮影した現実空間画像上で検出される、現実空間中に固定されている物体のエッジを用いて撮影装置１００の位置及び姿勢を算出する。撮影装置１００の位置及び姿勢が算出できるため、校正治具５０上に固定されている物体または校正治具５０の基準座標系における位置及び姿勢も算出できる。最後に、撮影装置２００が撮影した現実空間画像上で検出される、校正治具５０上に固定されている物体のエッジまたは校正治具５０のエッジを用いて撮影装置２００の配置情報を求めることができる。

式１２における指標１１０の投影座標と抽出座標の誤差を表す関数が、ここでは校正治具５０上のエッジモデルを画像上に投影したエッジと、撮影装置２００で撮影された画像上で検出したエッジとの誤差を表す関数となる。また、式１３における環境配置指標３００の投影座標と抽出座標の誤差を表す関数が、ここでは現実空間中に固定された物体のエッジモデルを画像上に投影したエッジと、撮影装置１００で撮影された現実空間画像上で検出したエッジとの誤差を表す関数となる。

エッジに対応した観測方程式から偏微分係数をまとめた行列も算出可能である。このように指標を用いた非線形最適化手法と同様に、エッジを用いた場合にも非線形最適化手法を適用して撮影装置２００の配置情報を求めることができる。

＜変形例１−４＞
第１の実施形態では、撮影装置１００の内部パラメータを既知としていた。しかし、夫々の撮影装置１００の内部パラメータを、その位置及び姿勢情報と同時に算出してもよい。この場合、撮影装置１００に関する未知パラメータとして、時刻αにおける位置及び姿勢を表すベクトルΨ_αに、撮影装置１００の内部パラメータｂを追加すればよい。

内部パラメータｂは、例えば、焦点距離ｆ、画像中心の座標（ｕ_０、ｖ_０）、ｘ軸及びｙ軸方向のスケール・ファクターｋ_ｕ、ｋ_ｖ、及びせん断係数ｋ_ｓによって構成される。これらのパラメータにより、カメラ座標系ｘ_ｃの点を画像座標ｕへ変換する透視投影変換を表す行列Ａ_１００は、次式のように表される。

すなわち、ステップＳ２０９０における式７の観測方程式を、式２３の透視投影変換を考慮した形に変更すればよい。これにより、撮影装置１００の内部パラメータを未知パラメータとして追加し、指標の投影誤差を最小化するようなパラメータを非線形最適化により求めることができる。なお、初期値として使用する撮影装置１００の概略の内部パラメータは、公知の方法によって概略配置情報と共に求めることができる。あるいは、設計パラメータなどをもとに設定しておいてもよい。

＜変形例１−５＞
第１の実施形態では、配置情報算出部１０７０における夫々の撮影装置２００の概略配置情報の算出を、指標１１０の基準座標系における３次元座標とその画像座標との対応関係に基づいて個別に行っていた（ステップＳ２０８０）。しかし、撮影装置２００の概略配置情報の算出方法はこれに限定されるものではなく、他の方法によって求めてもよい。

例えば、夫々の撮影装置２００の間での指標１１０の対応関係を利用して射影復元を行い、これに基づいて撮影装置２００の概略配置情報を求めてもよい。まず、画像間における指標１１０の対応関係から、夫々の撮影装置２００と、夫々の（異なる時刻αの）指標１１０の相対的な配置関係（ある仮の座標系における配置）を射影復元に基づいて推定する（詳細は例えば、非特許文献５，非特許文献１０を参照）。そして、その結果として得られた仮の座標系における指標１１０の座標と、ステップＳ２０６０で得られる基準座標系における当該指標１１０の座標の対応関係に基づいて、仮の座標系から基準座標系への変換行列を得る。最後に、得られた変換行列を用いて、基準座標系における撮影装置２００の概略配置情報を算出すればよい。

また、２台の撮影装置２００の間での指標１１０の対応関係を利用して視点間の基礎行列を求め、これに基づいて当該撮影装置２００の概略配置情報を求めてもよい。得られた基礎行列から撮影装置対と夫々の指標１１０の相対的な配置関係を算出できるので、上記と同様に概略配置情報を求めることができる。

＜変形例１−６＞
第１実施形態では、校正治具５０に対する指標１１０の配置情報（式５におけるｘ_ｃ）を既知としていた。しかし、校正治具５０に対する指標１１０の配置情報ｘ_ｃは未知であってもよく、この場合はｘ_ｃを未知パラメータの一つとして算出する。

校正治具５０に対する指標１１０の概略配置情報（ｘ_ｃの初期値）は、何らかの方法で予め求めておく。あるいは、校正治具座標系の原点を初期値としてもよい。そして、第１の実施形態における他のパラメータと同様に、非線形最適化手法によって概略配置情報を繰り返し補正することで算出する。

校正治具５０に対する指標１１０の配置情報ｘ_ｃ、各時刻αにおける校正治具５０の位置及び姿勢Ψ_α、夫々の撮影装置２００の配置情報ｓ_ｊを未知パラメータとする。即ち、状態ベクトルｔ＝[ｓ^T, Ψ^T,ｘ_ｃ ^T]^Tとおく）。このとき、第１の実施形態における式１２は、次式のように変更される。

置き換えられた式２４を用いて、第１の実施形態におけるステップＳ３０５０のように非線形最適化を行えばよい。

［第２の実施形態］
第１の実施形態では、環境配置指標３００の配置情報は全て既知として、現実空間中に固定された１台以上の撮影装置２００の配置情報を算出した。本実施形態では、環境配置指標３００として四角形指標１５０ａ〜１５０ｃの頂点を用いる場合であって、その一部の配置情報が未知である場合に、環境配置指標３００の配置情報と、現実空間中に固定された１台以上の撮影装置２００の配置情報を算出する。

図６は、本実施形態に係るシステムの機能構成を示すブロック図である。図６において図１と同じ部分については同じ番号を付けており、その説明は省略する。図６に示す如く、情報処理装置４０００にはキャリブレーション対象である１台以上の撮影装置２００に接続されており、本実施形態では、情報処理装置４０００が、この１台以上の撮影装置２００と環境配置指標３００の配置情報を算出する。本実施形態においても、撮影装置２００の内部パラメータは既知であるとする。

また、本実施形態では、配置情報が既知である環境配置指標３００と、配置情報が未知の環境配置指標３００が存在する点が、第１の実施形態とは異なる。以下では、図３Ａに示すような四角形指標１５０で、配置情報が既知の環境配置指標を「基準指標」と呼ぶ。また、撮影装置１００が撮影するいずれかの画像中には、基準指標が含まれている必要がある。

指標管理部４０５０は、後述する様々な情報を管理する。

治具概略位置姿勢算出部４０４５は、第２指標抽出部１０２０が抽出した環境配置指標３００に、基準座標系における配置情報が得られている指標が含まれている場合には、この指標の画像座標とその配置情報を指標管理部４０５０から入力する。そして、基準座標系における校正治具５０の概略位置姿勢を算出する。ここで、「基準座標系における配置情報が得られている指標」とは即ち、基準指標あるいは基準座標系における概略配置情報が得られている指標のことである。

一方、第２指標抽出部１０２０が抽出した環境配置指標３００に、基準座標系における配置情報が得られている指標が含まれていない場合には、治具概略位置姿勢算出部４０４５は次のような処理を行う。即ち、環境配置指標３００の概略配置情報と画像座標を用いて、ローカル座標系における校正治具５０の概略位置姿勢を算出する。算出された位置及び姿勢は、指標管理部４０５０に保持される。

指標概略位置算出部４０５５は、環境配置指標３００の画像座標と校正治具５０の概略位置姿勢とを用いて、配置情報が未知の環境配置指標３００の概略配置情報を推定する。ここで、校正治具５０の概略位置姿勢が基準座標系で得られている場合には、得られる概略配置情報は基準座標系におけるものとなる。一方、校正治具５０の概略位置姿勢がローカル座標系で得られている場合には、得られる概略配置情報はローカル座標系におけるものとなる。

指標概略位置算出部４０５５はさらに、指標管理部４０５０が保持する指標１１０の配置情報と（基準座標系あるいはローカル座標系における）校正治具５０の概略位置姿勢とを用いて、指標１１０の位置を算出する。算出した環境配置指標３００の概略配置情報と指標１１０の位置は、画像座標と関連付けられて指標管理部４０５０に保持される。

また、指標概略位置算出部４０５５は、撮影した画像中に基準指標または概略配置情報が得られている指標が含まれていない場合、抽出した四角形指標から一つを選択し、その頂点からなる環境配置指標３００を用いて新たなローカル座標系を定義する。さらに、このローカル座標系における環境配置指標３００の配置情報を設定する。また、ある座標系における配置情報を有する環境配置指標３００と他の座標系における配置情報を有する環境配置指標３００が同時に観測されている場合には、二つの座標系の統合処理を行う。

配置情報算出部４０７０は、指標１１０の画像座標、概略位置及び配置情報、環境配置指標３００の画像座標及び概略配置情報、校正治具５０の概略位置姿勢等のデータを指標管理部４０５０から入力する。そして、夫々の環境配置指標３００の配置情報と撮影装置２００の配置情報を算出する。配置情報算出部４０７０は、算出した撮影装置２００や環境配置指標３００の配置情報を、必要に応じて外部に出力する。

図７は、情報処理装置４０００が、撮影装置２００の基準座標系における位置及び姿勢、環境配置指標３００の基準座標系における位置を求める為に行う処理のフローチャートである。なお、図７において図２と同じ部分については同じ番号を付けており、その説明は省略する。即ち、ステップＳ２０１０からステップＳ２０４０の処理は、既に第１の実施形態で説明したとおりであるので、その説明は省略する。

ステップＳ５０００では、治具概略位置姿勢算出部４０４５、指標概略位置算出部４０５５がそれぞれ、校正治具５０の概略位置姿勢と、環境配置指標３００の概略配置情報と、指標１１０の概略位置を算出する。

図８は、ステップＳ５０００における処理の詳細を示すフローチャートである。

ステップＳ５０１０では、指標概略位置算出部４０５５が、ステップＳ２０３０で抽出した環境配置指標３００の中に、基準指標、或いは概略配置情報が算出済みの指標が含まれているか否かを判定する。これらの指標が含まれている場合にはステップＳ５０２０に処理を進め、含まれていない場合には、ステップＳ５０１５に処理を進める。

ステップＳ５０１５では、指標概略位置算出部４０５５が、ステップＳ２０３０で抽出した四角形指標１５０ａ〜１５０ｃの中から一つを選択し、その頂点からなる環境配置指標３００を用いて新たなローカル座標系を設定する。例えば、一つの頂点を原点と定義し、原点の右隣（反時計回り方向）に位置する頂点の座標を（1,0,0）、原点の左隣（時計回り方向）に位置する頂点の座標を(0,0,1)とおくことによって表現されるような座標系を定義する。ここで、選択された四角形指標１５０ａ〜１５０ｃのサイズ（一辺の長さ）が未知の場合には、定義されたローカル座標系の縮尺は不定となる。一方、四角形指標１５０ａ〜１５０ｃのサイズが既知の場合には、そのサイズに基づいてローカル座標系の縮尺を定めることができる。例えば、四角形指標１５０ａ〜１５０ｃの一辺の長さが１００ｍｍであることが既知である場合には、右隣の頂点の座標を(100,0,0)、左隣の頂点の座標を(0,0,100)とおいてローカル座標系を定義すればよい。

ステップＳ５０２０では、治具概略位置姿勢算出部４０４５が、第１の実施形態のステップＳ２０５０と同様に、時刻αにおける校正治具５０の概略位置姿勢を算出する。本実施形態では、抽出されている環境配置指標３００が属する座標系に応じて、校正治具５０の概略位置姿勢が属する座標系が決定される。ここで、「ある座標系に属する」とは、座標系における情報が得られていることを示す。すなわち、環境配置指標３００の配置情報がローカル座標系で得られている場合には、時刻αにおける校正治具５０の概略位置姿勢の推定値も、ローカル座標系におけるものとなる。なお、異なる座標系（基準座標系やローカル座標系）に属する環境配置指標３００が同時に撮影されている場合には、夫々の座標系における校正治具５０の概略位置姿勢が算出される。

ステップＳ５０３０では、指標概略位置算出部４０５５が、ステップＳ２０３０で抽出した環境配置指標３００の中に、異なる座標系に属する指標が同時に含まれているか否かを判定する。異なる座標系に属する指標を含んでいる場合にはステップＳ５０３５に処理を進め、含んでいない場合には、ステップＳ５０４０に処理を進める。

ステップＳ５０３５では、指標概略位置算出部４０５５が、検出された複数の座標系の統合を行う。検出された座標系が基準座標系を含んでいる場合には、他の座標系（ローカル座標系）を基準座標系に変換する。また、検出された座標系が基準座標系を含んでいない場合には、一つのローカル座標系を選択して、選択されたローカル座標系に他のローカル座標系を変換する。ステップＳ５０２０で算出した夫々の座標系における校正治具５０の概略位置姿勢から、一方の座標系からもう一方の座標系への変換行列を容易に求めることができる。変換行列が得られたら、統合される側の座標系に属する（他の時刻に得られた情報も含む）全ての情報（環境配置指標３００の概略配置情報、校正治具５０の概略位置姿勢、指標１１０の概略位置情報）を選択した座標系へと変換する。統合された座標系に関する情報は、全て廃棄される。なお、いずれかの座標系の縮尺が未知の場合には、縮尺を統一するための情報が必要となる。例えば、校正治具５０が異なる位置に位置している状況において夫々の座標系における校正治具５０の概略位置姿勢が得られれば、夫々の座標系における校正治具５０の位置関係に基づいて縮尺を統一できる。

ステップＳ５０４０では、指標概略位置算出部４０５５が、ステップＳ２０３０で抽出した環境配置指標３００の中に、配置情報が未知の環境配置指標３００が含まれているか否かを判定する。これらの指標が含まれている場合にはステップＳ５０５０に処理を進め、含まれない場合にはステップＳ５０６０に処理を進める。

ステップＳ５０５０では、指標概略位置算出部４０５５が、配置情報が未知の環境配置指標３００の概略配置情報を推定する。検出した環境配置指標３００が、サイズが既知な四角形指標で構成されている場合には、カメラ座標系における指標の位置を平面ホモグラフィーの計算によって算出する。さらに、ステップＳ５０５０で求めた校正治具５０の概略位置姿勢をもとに、（基準座標系あるいはローカル座標系における）指標の概略配置情報を推定する。一方、四角形指標のサイズが未知の場合には、複数の時刻における取得データ（校正治具５０の概略位置姿勢と指標の検出座標）を利用して、ステレオ法により指標の概略配置情報を推定する。

ステップＳ５０６０では、指標概略位置算出部４０５５が、第１の実施形態のステップＳ２０６０と同様に、ステップＳ２０４０で抽出された指標１１０の、時刻αにおける概略位置を推定する。ただし、本実施形態では、校正治具５０の概略位置姿勢がローカル座標系で得られている場合には、指標１１０の概略位置もローカル座標系におけるものとなる。

以上のステップＳ２０１０からステップＳ５０００までの処理によって、ある時刻αにおける指標１１０の、撮影装置２００の撮影画像上における画像座標と、基準座標系あるいはローカル座標系における３次元座標との組を得ることができる。また、ある時刻αにおける環境配置指標３００の、撮影装置１００による現実空間画像上における画像座標と、基準座標系あるいはローカル座標系における３次元座標との組を得ることができる。

ステップＳ５０７０では、配置情報算出部４０７０が、指標管理部４０５０に蓄えられたデータが撮影装置２００の配置情報及び環境配置指標３００の配置情報を計算するのに十分か否かを判定する。現在の取得データが十分であると判定した場合には、ステップＳ５０８０に処理を進める。一方、不十分であると判定された場合には、ステップＳ２０１０に処理を戻し、ステップＳ２０１０からステップＳ５０００までの処理を再度実行する。この判定は第１の実施形態におけるステップＳ２０７０と同様の基準に基づいて行うことができるため、詳細な説明は省略する。

校正治具５０を異なる位置及び姿勢に移動させながらステップＳ２０１０からステップＳ５０７０までの工程を繰り返すことで、第１の実施形態と同様に、指標１１０が異なる複数の座標に位置している状態におけるデータが取得できる。

ステップＳ５０８０では、配置情報算出部４０７０が第１実施形態におけるステップＳ２０８０と同様の処理を行う。即ち、撮影装置２００が撮影した現実空間画像上における指標１１０の画像座標と３次元座標（概略位置）との組を用いて、夫々の撮影装置２００の概略配置情報を算出する。本実施形態では、基準座標系に属する（基準座標系おける概略位置を有する）指標１１０が必要数個以上検出されている場合には、基準座標系における撮影装置２００の概略配置情報を算出する。また、ローカル座標系に属する指標１１０が必要数個以上検出されている場合には、ローカル座標系における撮影装置２００の概略配置情報を算出する。ある座標系に属する指標１１０と、他の座標系に属する指標１１０の双方が１台の撮影装置２００によって検出されている場合には、夫々の座標系における撮影装置２００の概略位置姿勢を算出する。なお、ステップＳ５０８５における座標系の統合（ローカル座標系から基準座標系への変換）は、このようにして得られた複数座標系における撮影装置２００の概略配置情報を利用して行われる。

ステップＳ５０８５では、配置情報算出部４０７０が、ローカル座標系で得られている各種の情報を基準座標系に変換する。なお、これまでの処理においてローカル座標系が一つも設定されていない場合には、本ステップの処理は実行されない。ステップＳ５０８０で得られている複数座標系における撮影装置２００の概略配置情報（夫々の座標系における撮影装置２００の位置と姿勢）を利用して、一方の座標系からもう一方の座標系への変換行列を算出する。この複数の座標系の中に基準座標系が含まれている場合には、他の座標系（ローカル座標系）を基準座標系に変換する変換行列を求める。また、基準座標系が含まれていない場合には、一つのローカル座標系を選択し、選択されたローカル座標系に他のローカル座標系を変換する変換行列を求める。変換行列が得られたら、統合される側の座標系に属する全ての情報（撮影装置２００の概略配置情報、環境配置指標３００の概略配置情報、治具５０の概略位置姿勢、指標１１０の概略位置情報）を、選択した座標系へと変換する。なお、いずれかの座標系の縮尺が未知の場合には、縮尺を統一するための情報が必要となる。例えば、複数台の撮影装置２００に関して夫々の座標系における撮影装置２００の概略配置情報が得られれば、夫々の座標系における撮影装置２００の位置関係に基づいて縮尺を統一できる。

ステップＳ５０９０では、配置情報算出部４０７０が、取得したデータの全体としての整合性を取ることによって、環境配置指標３００の配置情報と撮影装置２００の配置情報をより正確に算出する。この処理では、変数（未知パラメータ）として、各時刻αにおける校正治具５０の位置及び姿勢をΨ_α、夫々の撮影装置２００の配置情報をｓ_ｊ、基準指標以外の環境配置指標３００の概略配置情報をａ_ｗｉとおく。ここでｉ（ｉ＝１，２，．．．，Ｎ_３）は、基準指標以外の環境配置指標３００の識別子であり、Ｎ_３はその個数を表している。夫々の概略値はステップＳ５０８５までに求められているので、これを初期値とする。そして、各指標（指標１１０及び環境配置指標３００）上での投影誤差の残差の和を最小にするように、これらのパラメータを最適化する。ステップＳ５０９０における処理の詳細については後述する。

ステップＳ５１００では、配置情報算出部４０７０が、環境配置指標３００の基準座標系における配置情報と、撮影装置２００の基準座標における配置情報を出力する。

図９は、ステップＳ５０９０における処理の詳細を示すフローチャートである。

なお、以下の説明では、ステップＳ５０９０の処理において最適化を行う未知パラメータを、（Ｎ_１＋Ｎ_２）×６＋Ｎ_３×３次元の状態ベクトルｔ＝[ｓ^T, Ψ^T, a^T]^Tと表現する。ここで、ｓ，Ψは第１の実施形態と同様であり、a＝[a_ｗ１ ^T,…, a_ｗＮ３ ^T]^Tを表している。また、ｔ₀、ｓ_j0、Ψ_α０は第１の実施形態と同様に各パラメータの現時点における推定値を表している。同様に、識別子ｉの環境配置指標３００の配置情報の現時点における推定値を、a_ｗｉ０と表す。

ステップＳ６０１０では、第１の実施形態のステップＳ３０１０と同様に、検出されている全ての指標１１０の投影座標を式６に基づいて推定する。

ステップＳ６０２０では、第１の実施形態のステップＳ３０２０と同様に、検出されている全ての環境配置指標３００の投影座標を式７に基づいて推定する。本実施形態では、基準指標（配置情報が既知）以外の環境配置指標３００の配置情報は、その概略値が指標概略位置算出部４０５５によって算出され、指標管理部４０５０に保持されている。

ステップＳ６０３０では、第１の実施形態のステップＳ３０３０と同様に、指標１１０の投影誤差Δｕｊαを式８によって算出する。

ステップＳ６０４０では、第１の実施形態のステップＳ３０４０と同様に、環境配置指標３００の投影誤差Δｖｉαを式９によって算出する。

ステップＳ６０５０では、ステップＳ６０３０とステップＳ６０４０で求めた誤差を最小化するように、状態ベクトルｔの補正を行う。

初めに、補正値を算出するための連立方程式（以下の式３１）の導出について説明する。

指標１１０の投影誤差Δｕ_ｊαは、第１の実施形態と同様に、ｓ_ｊとΨ_αの関数として、次式１０のように表すことができる。一方、本実施形態において、環境配置指標３００の投影誤差Δｖ_ｉαは、Ψ_αとａ_ｗｉの関数として、次式のように書き直すことができる。

また、環境配置指標３００のうちの基準指標の投影誤差Δｖ_ｉ’αを、第１の実施形態における式１１と同様に、Ψ_αの関数として、次式のように表す。

なお、以下では、「全時刻における撮影装置１００による個々の基準指標の観測」に通し番号を付け、ξ’と表す。撮影装置１００が撮影した全画像上で検出された基準指標の総数（延べ数）をＮ_５’と表す（すなわち、ξ’＝１，．．．，Ｎ_５’）。以下では、ξ’番目の点の投影誤差をΔ^ξ’＝−Δｖ_ｉ’αと表す。

投影誤差Δｕ_ｊα、Δｖ_ｉα及びΔｖ_ｉ’αは、理論的には０になるが、誤差を含むので実際には０にはならない。そこで、第１の実施形態と同様に、全ての観測データにおける投影誤差の和、すなわち、以下の式２７〜式２９を最小化するように、非線形最小二乗法に基づいて状態ベクトルｔを推定する。

ここで、Ｉ_αは、時刻αにおいて撮影装置１００によって観測（抽出）された、基準指標以外の環境配置指標３００の集合を表す。また、Ｉ’_αは、時刻αにおいて撮影装置１００によって観測（抽出）された、基準指標の集合を表す。

Ｊ、Ｈ、及びＨ’を最小化させる状態ベクトルｔの算出方法は、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法であってもよいし、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法であってもよいし、その他の公知の最適化手法を用いてもよい。以下では、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法で解く場合について説明する。

第１の実施形態と同様に、Ｊをｓ_ｊ、Ψ_αの各成分で偏微分したものを０とおく。また、ＨをΨ_α、ａ_ｗｉの各成分で偏微分したものを０とおく。さらに、Ｈ’をΨ_αの各成分で偏微分したものを０とおく。第１の実施形態と同様に、状態ベクトルｔの各成分でＥ_１ｊ(ｓ_j0，Ψ_α0)を偏微分した偏微分係数をまとめ、ベクトルＪ_ｎ（ｎ＝１，２，．．．，Ｎ_４）で表す。また、状態ベクトルｔの各成分でＥ_２ｉ(Ψ_α0，ａ_ｗｉ０)を偏微分した偏微分係数をまとめ、ベクトルＫ_ξ（ξ＝１，２，．．．Ｎ_５）で表す。さらに、状態ベクトルｔの各成分でＥ_２ｉ’(Ψ_α0)を偏微分した偏微分係数をまとめ、ベクトルＫ’_ξ’（ξ’＝１，２，．．．Ｎ_５’）で表す。なお、各偏微分係数は観測方程式から容易に導出可能であるので、その計算方法の具体的な説明は省略する。これらをまとめると、第１の実施形態と同様に、補正ベクトルΔに関する連立方程式３０を得ることができる。

ここで、Δ＝［Δｓ_１ … Δｓ_Ｎ２ ， ΔΨ_１ … ΔΨ_Ｎ１ ， Δａ_ｗ１ … Δａ_ｗＮ５］^Ｔであり、状態ベクトルｔの各パラメータの補正値を表す。なお、式３０をヤコビ行列Ｊ＝［ΔＪ_１ … ΔＪ_Ｎ４ ， ΔＫ_１ … ΔＫ_Ｎ５ ， ΔＫ’_１ … ΔＫ’_Ｎ５’］^Ｔと誤差ベクトルＥ＝［Δｕ_１ … Δｕ_Ｎ４ ， Δｖ_１ … Δｖ_Ｎ５ ， Δｖ’_１ … Δｖ’_Ｎ５’］^Ｔによってまとめると、次式のように記述できる。

ステップＳ６０５０では、上記の連立方程式を解くことで、補正値Δを算出する。この方程式の解き方は、第１の実施形態で述べたように何れの公知の解法を用いてもよい。ステップＳ６０５０では更に、算出した補正値Δを用いて、式２１に従って状態ベクトルt₀を補正し、得られた値を新たな状態ベクトルtとする。

ステップＳ６０６０では、誤差ベクトルＥが予め定めた閾値より小さいかどうか、あるいは、補正値Δが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束している場合には、ステップＳ５０９０における処理を終了し、ステップＳ５１００に処理を進める。一方、収束していない場合には、ステップＳ６０１０へと処理を戻し、ステップＳ６０１０からステップＳ６０５０までの処理が繰り返し行われる。このとき、ステップＳ６０５０で補正された補正後の状態ベクトルtが、次のt₀として使用される。

以上の説明により、本実施形態によれば、撮影装置２００と環境配置指標３００の配置情報を併せて算出できる。撮影装置１００によって現実空間中に配置した環境配置指標３００を撮影すればよいので、撮影装置２００の撮影範囲に基準座標系を定義する指標を配置しなくてもよい。また、従来は別々の工程であった、参照物体とカメラ間の相対関係を求める工程と、基準座標系に変換する工程と、現実空間中に配置した指標の配置情報計測する工程を統合することができ、作業を簡略化できる。また、現実空間中に配置する指標の配置方法の制限を軽減することができる。

また、撮影装置１００のみを用いて環境配置指標３００のキャリブレーションを行う従来の方法では、全ての指標を数珠繋ぎに撮影する必要があるが、本実施形態によれば、数珠繋ぎに撮影することのできない指標のキャリブレーションを行うことができる。さらに、撮影装置２００による指標１１０の観測情報を、最適化計算（ステップＳ５０９０）の拘束条件として利用するので、推定される環境配置指標３００の精度が向上する。

＜変形例２−１＞
第２の実施形態では、校正治具５０の概略位置姿勢の算出に、その時点で概略配置情報が得られている環境配置指標３００の情報のみを用いている（ステップＳ５０５０）。また、環境配置指標３００の概略配置情報の算出にも、局所的なデータのみを用いている（ステップＳ５０６０）。そのため、十分な精度が得られないことがある。そこで、ステップＳ５０９０の処理を行う前に、ステップＳ５０８５として、撮影装置１００が撮影した全データを用いたバンドル調整を行い、環境配置指標３００の配置情報と校正治具５０の位置及び姿勢を高精度化してもよい。この場合、ステップＳ５０７０の処理は、ステップＳ５０８５とステップＳ５０９０の間で実行する。

このように初期値を改善することは、ステップＳ５１００の処理において局所解に陥ることを軽減させ、また繰り返し計算の収束速度を改善することになる。

＜変形例２−２＞
第１の実施形態及び第２の実施形態では、校正治具５０は、図４Ａ、４Ｂで示すように１つの撮影装置１００を有していた。しかし、校正治具５０は複数の撮影装置１００を有していても構わない。これにより、環境配置指標３００をより効率的に撮影することができる。

例えば、図１０Ａに示すように２台の撮影装置１００を用いて校正治具５０を構成してもよい。また、図１０Ｂに示すように、さらに多くの撮影装置１００を用いて校正治具５０を構成してもよい。また、図１０Ｃに示すように、指標１１０を有するビデオシースルー型ＨＭＤ（Head Mount Display）４００を校正治具５０として用いてもよい。この場合、ビデオシースルー型ＨＭＤ４００に内蔵されたカメラを撮影装置１００として利用できる。このとき、ビデオシースルー型HMD４００を装着したユーザが撮影装置２００の撮影範囲内を移動することで、撮影装置２００のキャリブレーションを行うことができる。図１０Ａ〜１０Ｃは、校正治具５０の構成例を示す図である。

なお、複数の撮影装置１００によって校正治具５０が構成される場合には、校正治具５０の定義する座標系上での、夫々の撮影装置１００の配置情報を予め求めておく必要がある。また、夫々の撮影装置１００のカメラ内部パラメータも与える必要がある。

複数の撮影装置１００を用いることで、ステップＳ２０５０またはステップＳ５０５０では、いずれか１つの撮影装置１００が環境配置指標３００を撮影していれば、校正治具５０の位置及び姿勢を算出できる。また、ステップＳ２０９０またはステップＳ５１００では、複数の撮影装置１００から得られるデータを区別して取り扱うという点以外は、上述の実施形態と同様に処理することができる。観測される環境配置指標３００が増加するので、最適化計算をより高精度に行うことができる。

また、第１の実施形態及び第２の実施形態では、校正治具５０は、図４Ａで示すように１つの指標１１０を有していた。しかし、校正治具５０は複数の指標１１０を有していても構わない。この場合、撮影装置２００が複数の点を同時に観測するので、データを効率的に取得できる。例えば図４Ｂは、３個の指標１１０を有する校正治具５０の例を示している。複数の指標１１０を用いる場合には、校正治具座標系における位置ｘ_ｃを夫々の指標１１０に与える必要がある。複数の指標１１０に関して得られるデータを区別して取り扱うという点以外は、上述の実施形態と同様に処理することができる。

なお、例えば図４Ｂのように複数の指標１１０の校正治具５０に対する配置情報が既知であれば、この情報を利用してローカル座標系の縮尺を求めることができる。また、複数の撮影装置１００によって校正治具５０が構成される場合にも同様に、撮影装置間の相対関係を利用してローカル座標系の縮尺を求めることができる。

また、複数個の校正治具５０を同時に用いてもよい。この場合、ステップＳ２０６０あるいはステップＳ５０７０までの処理は、夫々の校正治具５０について個別に実行する。そして、最適化を含むそれ以降の処理を、全データを用いて行えばよい。

以上のように、校正治具５０において複数の撮影装置１００や指標１１０を利用すること、または校正治具５０を複数個利用することで、短い時間でより多くの指標を撮影することができる。さらに縮尺を容易にあわせることができる。そのため、環境配置指標３００及び撮影装置２００の校正を効率化できる。

＜変形例２−３＞
第１の実施形態及び第２の実施形態では、撮影装置１００が常に環境配置指標３００を撮影していることを前提としていた。言い換えると、ある時刻（タイミング）において撮影装置１００が環境配置指標３００を撮影していない場合には、その時刻に撮影装置２００によって撮影された画像は使用していなかった。しかし、複数の撮影装置２００が同時に撮影した指標１１０の観測データは、撮影装置１００が環境配置指標３００を撮影していない場合であっても、パラメータの最適化計算に利用することができる。

以下、撮影装置１００が環境配置指標３００を撮影していない時刻α’における、複数の撮影装置２００による指標１１０の観測データの利用方法について簡単に述べる。ここでは第１の実施形態を例に説明するが、第２の実施形態も同様に拡張できる。

まず、ステップＳ２０４０の処理の後に、撮影装置１００が環境配置指標３００を撮影したか否か（ステップＳ２０５０の処理が可能かどうか）を判定する。そして、否と判断したときは、ステップＳ２０５０、ステップＳ２０６０の処理はスキップする。このとき、複数の撮影装置２００が指標１１０を同時に撮影していれば、その画像座標の組を保持しておく。

次に、ステップＳ２０８０の処理の後（ステップＳ２０８５）に、上記で保持している各時刻α’における指標１１０の、基準座標系における概略位置を求める。ステップＳ２０８０によって夫々の撮影装置２００の概略配置情報が得られているので、三角測量の原理を用いて指標１１０の概略位置を求めることができる。

最後に、ステップＳ２０９０における最適化計算を、上記データを利用する形に変形する。すなわち、夫々の時刻α’における指標１１０の位置を状態ベクトルtに追加して、全体の整合性が取れるようなパラメータの最適化計算を行う。ステップＳ３０１０で、これらの指標１１０の基準座標系における概略位置と、撮影装置２００の概略配置情報を用いて、指標１１０の投影座標を求める。そして、ステップＳ３０３０で、求めた投影座標と抽出座標との間の投影誤差を求める。このとき、投影誤差は撮影装置２００の配置情報ｓ_ｊと指標１１０の位置の関数となる。ステップＳ３０５０では、式１９の連立方程式に、夫々の時刻α’における指標１１０の観測データを追加する。すなわち、指標１１０の投影誤差、及び偏微分係数をまとめた行列をＥ及びＪに追加する。そして、この連立方程式を解くことで、各パラメータの誤差を減少させる補正値を算出する。

＜変形例２−４＞
第２実施形態では、校正治具５０に対する指標１１０の配置情報は既知としていた。しかし、校正治具５０に対する指標１１０の配置情報ｘ_ｃも未知パラメータとして算出してもよい。算出方法は、第１の実施形態における変形例１−６と同様であるので説明は省略する。

＜変形例２−５＞
第２の実施形態では、基準座標系を定義するための基準指標が存在することを前提としていた。しかし、基準座標系を定義する方法はこれに限定されるものではなく、他の方法によって基準座標系を定義してもよい。例えばサイズが既知な四角形指標１５０ａ〜１５０ｃを用いる場合、１台の撮影装置２００の基準座標系における配置情報が既知であれば、それによって基準座標系が定義できる。また、２台以上の撮影装置２００の基準座標系における配置情報が既知である場合には、これらの情報によって基準座標系を定義することができる。

まず、抽出した環境配置指標３００を用いて任意にローカル座標系を定義し、環境配置指標３００の配置情報を設定する。ここで前述した治具概略位置姿勢算出部４０４５は、ローカル座標系での環境配置指標３００の配置情報と画像座標とから、ローカル座標系での校正治具５０の概略位置姿勢を求める。また、指標概略位置算出部４０５５は、環境配置指標３００の画像座標とローカル座標系での校正治具５０の概略位置姿勢とを用いて、配置情報が未知の環境配置指標３００のローカル座標系での概略配置情報を求める。さらに、指標１１０の校正治具５０に対する配置情報と、ローカル座標系での校正治具５０の概略位置姿勢から指標１１０のローカル座標系での位置を算出する。算出方法は、上述の通りであるため説明は省略する。複数の基準座標系での指標１１０の位置と、ローカル座標系での指標１１０の位置対応に基づいてローカル座標系から基準座標系への変換行列を求め座標系を変換する。それにより基準座標系における環境配置指標３００の概略配置情報を推定することができる。

このように固定された撮影装置２００の２台以上の配置情報が既知であれば、基準座標系における環境配置指標３００の概略配置情報を推定することができるので基準指標は存在していなくてもよい。

なお、複数台の撮影装置２００の相互標定のみが目的の場合には、「基準座標系」を定義する事自体が不要であるので、基準指標はもちろん必要ない。また、サイズが既知な四角形指標１５０ａ〜１５０ｃが利用可能な場合には、撮影装置２００の相対的な配置の関係を、スケールを含めて求めることができる。一方、四角形指標１５０ａ〜１５０ｃのサイズが未知な場合には、空間の尺度は不定となる。また、撮影装置２００のキャリブレーションのみが目的である場合、配置情報が未知な環境配置指標３００を用いることでキャリブレーションの精度を向上させることや、数珠繋ぎに撮影できない撮影装置２００のキャリブレーションを行うことができる。

＜変形例２−６＞
本実施形態において、独立した座標系をひとつの座標系に統一するためには、縮尺を合わせる必要がある。環境配置指標３００又は複数の撮影装置２００の配置情報、校正治具５０を構成する複数の撮影装置１００の配置情報又は複数の指標１１０の配置情報、の何れか１つでも予め縮尺を規定することができれば、上述した手法を用いて座標系を統一することができる。すなわち、環境配置指標３００の配置情報と、現実空間中に固定された撮影装置２００の配置情報を算出することができる。

＜変形例２−７＞
第２の実施形態において、環境配置指標３００は、四角形指標１５０ａ〜１５０ｃの頂点に限定していた。しかし、環境配置指標３００の種類はこれに限定されるものではなく、第１の実施形態と同様に、現実空間画像上において検出可能であって、かついずれの指標であるか識別可能である指標であれば、何れの形態であってもよい。

ここで、環境配置指標３００の相対的な関係が未知である場合、ステップＳ５０２０における校正治具５０の概略位置姿勢算出処理と、ステップＳ５０５０における環境配置指標３００の概略配置情報算出処理を行うことはできない。この場合は、複数視点において撮影した複数の指標のデータを利用してこれらの情報を算出する。この算出には、ｎ点（ｎは３以上）の指標を撮影装置１００を移動させて撮影する。そして、ｍ枚（ｍは３以上）の画像それぞれから抽出した指標の画像座標を用いて、各視点における撮影装置１００の位置及び姿勢とｎ点の指標の配置情報を算出する公知の因子分解法（非特許文献１１を参照）が利用できる。また、画像間の対応点からエピポーラ幾何によって撮影装置の位置姿勢を算出し、ステレオ法によって指標の配置情報を算出する公知の方法（非特許文献１０を参照）を用いてもよい。

＜変形例２−８＞
第２の実施形態では、基準指標は図３Ａに示すような四角形指標１５０ａ〜１５０ｃで配置情報が既知かつのサイズが既知の環境配置指標であるとしていた。しかし、基準指標の種類はこれに限らない。例えば、図３Ｃに示すような、それぞれが異なる色を有する円形状の指標のような点指標１６０ａ〜１６０ｃであってもよい。この場合には、点指標１６０ａ〜１６０ｃの基準座標系における配置情報が既知であり、同一直線上にない３点以上の点群を基準指標とする。

＜変形例２−９＞
第２の実施形態では、撮影装置２００と環境配置指標３００の配置情報を求めることを目的としていた。しかし、撮影装置２００の配置情報が既知であるような状況において、環境配置指標３００のキャリブレーションのみを行うこともできる。この場合、夫々の撮影装置２００の配置情報ｓを固定値として扱えばよい。また、環境配置指標３００のキャリブレーションのみが目的である場合、配置情報が未知な撮影装置２００を用いることで、キャリブレーションの精度を向上させることや、数珠繋ぎに撮影できない指標のキャリブレーションを行うことができる。

また、基準指標が存在しない場合であっても、環境配置指標３００間の相対的な配置関係を推定する目的に用いることができる。もちろん、指標の校正のみではなく、画像系列を用いた点群の３次元復元（Ｓｈａｐｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれる技術）を改善する目的にも用いることができる。

［第３の実施形態］
図１に示した情報処理装置１０００を構成する各部、図６に示した情報処理装置４０００を構成する各部は、コンピュータプログラムの形態でもって実装しても良い。この場合、係るコンピュータプログラムはＰＣ（パーソナルコンピュータ）などのコンピュータが有するメモリに格納し、このコンピュータが有するＣＰＵ等が、係るコンピュータプログラムを実行することになる。

図１１は、情報処理装置１０００、４０００に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ１９０１は、ＲＡＭ１９０２やＲＯＭ１９０３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、本コンピュータを適用する情報処理装置１０００、４０００が行う上述の各処理を実行する。

ＲＡＭ１９０２は、外部記憶装置１９０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）１９０７，１９０８を介して受信した現実空間画像のデータを一時的に記憶する為のエリアを有する。まら、ＲＡＭ１９０２は、ＣＰＵ１９０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１９０２は各種のエリアを適宜提供することができる。

ＲＯＭ１９０３は、本コンピュータの設定データや、ブートプログラムなどを格納する。

操作部１９０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示を入力することができる。上記実施形態において説明したユーザ指示は、この操作部１９０４を用いて入力されることになる。

表示部１９０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１９０１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置１９０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１９０６には、ＯＳ（オペレーティングシステム）や、情報処理装置１０００、４０００が行うものとして説明した上記各処理をＣＰＵ１９０１に実行させる為のプログラムやデータが保存されている。また、外部記憶装置１９０６には、上記実施形態における説明で既知の情報として説明したものについてもデータとして保存されている。外部記憶装置１９０６に保存されているプログラムやデータはＣＰＵ１９０１による制御に従って適宜ＲＡＭ１９０２にロードされ、ＣＰＵ１９０１による処理対象となる。

Ｉ／Ｆ１９０７，１９０８はそれぞれ、撮影装置１００、２００を本コンピュータに接続するためのインターフェースとして機能するものである。撮影装置１００が撮影した各フレームの現実空間画像のデータはＩ／Ｆ１９０７を介して外部記憶装置１９０６やＲＡＭ１９０２に送出される。撮影装置２００が撮影した各フレームの現実空間画像のデータはＩ／Ｆ１９０８を介して外部記憶装置１９０６やＲＡＭ１９０２に送出される。

１９０９は上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

現実空間中に配された１台以上の撮影装置の基準座標系における位置及び姿勢（配置情報）を算出するための、本実施形態に係るシステムの機能構成を示すブロック図である。 情報処理装置１０００が、撮影装置２００の基準座標系における位置及び姿勢を求める為に行う処理のフローチャートである。 四角形指標１５０ａ〜１５０ｃの配置例を示す図である。 四角形指標１５０ａ〜１５０ｃの構成例を示す図である。 点指標を説明する図である。 本発明の第１の実施形態に係る校正治具５０の外観例を示す図である。 ３個の指標１１０を有する校正治具５０の外観例を示す図である。 ステップＳ２０９０の処理の詳細を示すフローチャートである。 本発明の第２の実施形態に係るシステムの機能構成を示すブロック図である。 情報処理装置４０００が、撮影装置２００の基準座標系における位置及び姿勢、環境配置指標３００の基準座標系における位置を求める為に行う処理のフローチャートである。 ステップＳ５０００における処理の詳細を示すフローチャートである。 ステップＳ５０９０における処理の詳細を示すフローチャートである。 校正治具５０の構成例を示す図である。 校正治具５０の構成例を示す図である。 校正治具５０の構成例を示す図である。 情報処理装置１０００、４０００に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

Claims (16)

1. 第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得手段と、
   前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出手段と、
   前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得手段と、
   前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出手段と、
   前記第１の抽出手段、前記第２の抽出手段のそれぞれが抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第１の撮影装置のカメラパラメータを求める計算手段と
   を備えることを特徴とする情報処理装置。
2. 前記第１の取得手段と前記第２の取得手段とは同期して画像取得を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記カメラパラメータには、外部パラメータとしての位置及び姿勢、内部パラメータとして焦点距離、画像中心の座標、ｘ軸及びｙ軸方向のスケール・ファクター、せん断係数のうち１つ以上が含まれていることを特徴とする請求項１に記載の情報処理装置。
4. 更に、前記第１指標の前記第２撮影装置上における位置を未知パラメータとして求めることを特徴とする請求項１に記載の情報処理装置。
5. 更に、前記第２の撮影装置の内部パラメータを未知パラメータとして求めることを特徴とする請求項１に記載の情報処理装置。
6. 更に、前記第２指標のうち１つ以上の位置を未知パラメータとして求めることを特徴とする請求項１に記載の情報処理装置。
7. 前記第１の撮影装置、及び／又は前記第２の撮影装置は複数台であることを特徴とする請求項１に記載の情報処理装置。
8. 前記計算手段は、
   前記第２の抽出手段が抽出した画像座標と、既知の情報として予め与えられている前記第２指標の空間中における位置とを用いて、前記第２の撮影装置の位置及び姿勢を推定する第１手段と、
   既知の情報として予め与えられている前記第２の撮影装置上における前記第１指標の位置と、前記第１手段が推定した前記第２の撮影装置の位置及び姿勢とを用いて、空間中における前記第１指標の位置を求める第２手段と、
   前記第１の抽出手段が抽出した画像座標と、前記第２手段が求めた前記第１指標の位置とを用いて、未知パラメータを求める第３手段と
   を備えることを特徴とする請求項１乃至３、請求項５乃至７の何れか１項に記載の情報処理装置。
9. 前記計算手段は更に、
   対象である前記未知パラメータの現在の推定値に基づいて求められる前記第１指標の画像座標と、前記第１の抽出手段が抽出した画像座標との第１誤差を求める手段と、
   当該未知パラメータの現在の推定値に基づいて求められる前記第２指標の画像座標と、前記第２の抽出手段が抽出した画像座標との第２誤差を求める手段と、
   前記第１の誤差、前記第２の誤差を用いて、前記未知パラメータを求める手段と
   を備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得手段と、
    前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出手段と、
    前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得手段と、
    前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出手段と、
    前記第１の抽出手段、前記第２の抽出手段のそれぞれが抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第２指標の位置を求める計算手段と
    を備えることを特徴とする情報処理装置。
11. 固定して配置されている赤外カメラのカメラパラメータを求めるために、当該赤外カメラによる撮影の対象として現実空間に設けられる校正治具であって、
    現実空間を撮影する１台以上の撮影装置と、
    前記赤外カメラによって観測するための１つ以上の赤外マーカと
    で構成されていることを特徴とする校正治具。
12. 前記赤外マーカは、自発光マーカあるいは再帰性反射マーカであることを特徴とする請求項１１に記載の校正治具。
13. 第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得工程と、
    前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出工程と、
    前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得工程と、
    前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出工程と、
    前記第１の抽出工程、前記第２の抽出工程のそれぞれで抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第１の撮影装置のカメラパラメータを求める計算工程と
    を備えることを特徴とする情報処理方法。
14. 第２指標が配された現実空間を撮影する第２の撮影装置と当該第２の撮影装置上に配された第１指標とで構成されている校正治具を、第１の撮影装置の撮影範囲内で移動させる場合に、複数の時刻において当該第１の撮影装置が撮影した複数の第１画像を取得する第１の取得工程と、
    前記第１画像の夫々から前記第１指標の画像座標を抽出し、前記複数の時刻における前記第１指標の画像座標を取得する第１の抽出工程と、
    前記複数の時刻において前記第２の撮影装置が撮影した複数の第２画像を取得する第２の取得工程と、
    前記第２画像の夫々から前記第２指標の画像座標を抽出し、前記複数の時刻における前記第２指標の画像座標を取得する第２の抽出工程と、
    前記第１の抽出工程、前記第２の抽出工程のそれぞれで抽出した前記複数の時刻における前記第１指標及び前記第２指標の画像座標を同時に利用して、未知パラメータとして、前記第２指標の位置を求める計算工程と
    を備えることを特徴とする情報処理方法。
15. コンピュータに請求項１３又は１４に記載の情報処理方法を実行させるためのコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images