JP4227037B2 - 撮像システム及び校正方法 - Google Patents

Description

本発明は、固定撮像手段及び移動撮像手段の校正を行う撮像システム及び校正方法に関するものである。

従来のカメラの校正手法としては、ストロングキャリブレーションとウィークキャリブレーションとがある。ストロングキャリブレーションでは、３次元座標（Ｘ，Ｙ，Ｚ）が既知な３次元空間中の点であるマーカー（ランドマークポイント）とその画像上での観測座標（ｕ，ｖ）との組み合わせからワールド座標系と画像座標系との射影関係として射影変換行列を推定し、推定した射影変換行列からカメラの内部変数と外部変数を求めるものである。この場合、我々が存在するワールド座標系と画像座標系との射影関係を推定するため、推定結果を直感的に理解及び評価し易く、一般的にワールド座標系においてデザインされるＣＧ（Computer Graphics）モデルとの親和性が高いという利点がある。たとえば、非特許文献１には、サッカースタジアム規模の大空間においてストロングキャリブレーションを行うことが開示されている。

一方、ウィークキャリブレーションは、２枚の画像上における対応点の組合せから画像間の射影関係であるエピポーラ方程式（Ｆ行列）を算出し、算出したエピポーラ方程式からカメラの内部変数と相対的な位置関係とを推定するものである（例えば、非特許文献２参照）。この場合、２枚の画像間における対応点の情報のみから射影関係の推定を行うため、対象世界の制約が少なく、また、校正時の作業が比較的少ないという利点がある。
アイ キタハラ（I. Kitahara）他、「大規模仮想現実のための大規模空間におけるマルチ映像記録」（Recording of Multiple Videos in Large-scale Space for Large-scale Virtualized Reality）、国際ディスプレイワークショップ会報（Proc. of International Display Workshops (AD/IDW'01)）、２００１年、ｐ．１３７７−ｐ．１３８０ キュー ロン（Q. Luong）他、「対応点及びＦ行列からの移動カメラの自己校正」（Self-calibration of a Moving Camera from Point Correspondence and Fundamental Matrix）、コンピュータビジョンインターナショナルジャーナル（International Journal Computer Vision）、１９９７年、Ｖｏｌ．２２，Ｎｏ．３，ｐ．２６１−ｐ．２８９

しかしながら、前者のストロングキャリブレーションでは、正確な校正を実現するために、全てのカメラに対して３次元座標及び画像座標上における正確な観測座標の組み合わせが多数必要となり、撮影に用いるカメラ台数の増加及び撮影対象エリアの拡大に伴い、正確なデータ収集が困難になるとともに、データ処理量が膨大となる。そのため、刻々と位置、姿勢が変化する移動撮影においてストロングキャリブレーションを実現するのは困難である。

一方、後者のウィークキャリブレーションは、作業が少ないため移動撮影手段への適正が高いが、２次元情報から３次元情報を推定する逆問題を解くことになるため、推定結果に誤差が発生し易い。また、ウィークキャリブレーションの結果のみでは、ワールド座標系との射影関係を得ることができない。

本発明の目的は、移動撮像手段のワールド座標系との対応付けを行うことができるとともに、簡便な校正作業で固定撮像手段及び移動撮像手段の校正を高精度に行うことができる撮像システム及び校正方法を提供することである。

本発明に係る撮像システムは、空間内の所定位置に固定された複数の固定撮像手段と、前記空間内において任意の位置に移動可能な移動体に装着され、前記移動体の移動に伴い、前記空間内において任意の位置に移動可能な移動撮像手段と、ストロングキャリブレーションにより、前記複数の固定撮像手段によって予め撮影されたマーカーの画像上の既知の観測座標及び前記マーカーの既知の３次元座標から前記複数の固定撮像手段の射影変換行列を算出する固定用射影変換行列算出手段と、前記複数の固定撮像手段と前記移動撮像手段との間のエピポーラ方程式を算出するエピポーラ方程式算出手段と、前記射影変換行列と前記エピポーラ方程式とから前記移動撮像手段の射影変換行列を算出する移動用射影変換行列算出手段と、前記移動用射影変換行列算出手段により算出された前記移動撮像手段の射影変換行列を取得し、前記移動撮像手段の校正を行う校正手段とを備え、前記複数の固定撮像手段及び前記移動撮像手段は、前記空間内の所定位置に配置された複数のマーカーを撮影し、前記エピポーラ方程式算出手段は、前記複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの、前記複数の固定撮像手段及び前記移動撮像手段の各画像上の対応点を検出し、検出した対応点の画像上の観測座標を用いて前記エピポーラ方程式を算出し、前記移動用射影変換行列算出手段は、前記固定撮像手段の射影変換行列をＰ、前記固定撮像手段と前記移動撮像手段との間のエピポーラ方程式をＦ、前記空間内の任意の３次元座標をＭとしたとき、前記空間内の任意の３次元座標Ｍを代入して（ｍ _ｔ ） ^Ｔ ＦＰＭ＝０を解くことにより、前記空間内の任意の３次元座標Ｍに対応する、前記移動撮像手段の画像上の観測座標ｍ _ｔ を算出し、前記３次元座標Ｍ及び前記観測座標ｍ _ｔ から前記移動撮像手段の射影変換行列を算出する。

本発明に係る撮像システムでは、複数の固定撮像手段の射影変換行列が算出されるので、複数の固定撮像手段を高精度に校正することができる。また、移動撮像手段のワールド座標系との対応付けを行うことができるとともに、２次元情報から３次元情報を推定する逆問題を解く処理が必要なくなり、推定誤差の影響を受けずに移動撮像手段の射影変換行列を高精度に求めることができ、移動撮像手段を高精度に校正することができる。この結果、移動撮像手段のワールド座標系との対応付けを行うことができるとともに、簡便な校正作業で固定撮像手段及び移動撮像手段の校正を高精度に行うことができる。

また、複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの対応点を検出し、検出した対応点を用いてエピポーラ方程式を高精度に算出することができる。

また、射影変換行列とエピポーラ方程式とから空間内の任意の３次元座標に対応する、移動撮像手段により撮像された画像上の観測座標を算出し、３次元座標及び観測座標から移動撮像手段の射影変換行列を算出しているので、２次元情報から３次元情報を推定する逆問題を解く必要がなくなり、推定誤差の影響を受けずに移動撮像手段の射影変換行列を高精度に求めることができ、移動撮像手段の位置及び姿勢を高精度に校正することができる。

前記移動撮像手段は、パン方向及びチルト方向に撮像方向を変更可能な可動撮像手段を含み、前記撮像システムは、前記移動撮像手段の回転中心位置を算出する回転中心算出手段をさらに備え、前記校正手段は、前記回転中心算出手段により算出された回転中心位置と、前記回転中心位置に対する前記移動撮像手段の移動時のパン値及びチルト値とから、前記移動撮像手段の移動時の剛体変換行列を求め、求めた剛体変換行列を前記移動用射影変換行列算出手段により算出された射影変換行列に掛け合わせて前記移動撮像手段の移動時の射影変換行列を算出し、前記移動撮像手段のパン方向及びチルト方向の校正を行う移動時射影変換行列算出手段を備えることが好ましい。

この場合、複数の固定撮像手段により撮影された画像を用いて移動撮像手段の回転中心位置を算出し、算出した回転中心位置に対する移動撮像手段の移動時のパン値及びチルト値から移動撮像手段の移動時の射影変換行列を算出しているので、射影変換行列の分解による外部パラメータ推定処理が必要なくなり、推定誤差の影響を受けずに移動撮像手段の移動時の射影変換行列を高精度に求めることができ、移動撮像手段のパン方向及びチルト方向の校正を高精度に行うことができる。

前記回転中心算出手段は、前記複数の固定撮像手段により撮影されたマーカーの３次元位置を算出するとともに、前記マーカーが画像中心に位置するときの前記移動撮像手段のパン値及びチルト値を取得し、前記３次元位置と前記パン値及びチルト値とから前記移動撮像手段の回転中心位置を算出することが好ましい。

この場合、複数の固定撮像手段により撮影されたマーカーの３次元位置を算出するとともに、マーカーが画像中心に位置するときの移動撮像手段のパン値及びチルト値を取得し、算出した３次元位置と対応するパン値及びチルト値とから移動撮像手段の回転中心位置を算出しているので、移動撮像手段の回転中心位置を高精度に求めることができる。

前記移動時射影変換行列算出手段は、前記可動撮像手段の撮影位置と前記可動撮像手段のパン値及びチルト値との関係を規定する制御行列Ｃ、前記マーカーの３次元位置を（Ｘ，Ｙ，Ｚ）、前記マーカーを画像の中心で撮影したときのパン値をｐａｎ、チルト値をｔｉｌｔ、任意の実数をλとしたとき、λ〔ｐａｎ ｔｉｌｔ １〕 ^Ｔ ＝Ｃ〔Ｘ Ｙ Ｚ １〕 ^Ｔ を満たす前記可動撮像手段の制御行列Ｃを最小二乗法により算出し、前記撮像システムは、前記可動撮像手段の撮影対象領域の入力を受け付け、前記撮影対象領域として与えられた３次元空間中で注目すべき位置（Ｘ，Ｙ，Ｚ）と、前記移動時射影変換行列算出手段により算出された制御行列Ｃとを用いて、λ〔ｐａｎ ｔｉｌｔ １〕 ^Ｔ ＝Ｃ〔Ｘ Ｙ Ｚ １〕 ^Ｔ から、受け付けた撮影対象領域に応じたパン値及びチルト値を算出するパン値及びチルト値算出手段と、前記パン値及びチルト値算出手段により算出されたパン値及びチルト値に応じて前記可動撮像手段を制御する制御手段とをさらに備えることが好ましい。

この場合、撮影を希望する撮影対象領域に適したパン値及びチルト値に可動撮像手段を自動的に制御することができる。

本発明に係る校正方法は、複数の固定撮像手段が所定位置に固定された空間内における任意の位置に移動可能な移動体に装着され、前記移動体の移動に伴い、前記空間内において任意の位置に移動可能な移動撮像手段の校正方法であって、ストロングキャリブレーションにより、前記複数の固定撮像手段によって予め撮影されたマーカーの画像上の既知の観測座標及び前記マーカーの既知の３次元座標から前記複数の固定撮像手段の射影変換行列を算出するステップと、前記複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの、前記複数の固定撮像手段及び前記移動撮像手段の各画像上の対応点を検出し、検出した対応点の画像上の観測座標を用いて、前記複数の固定撮像手段と前記移動撮像手段との間のエピポーラ方程式を算出するステップと、前記固定撮像手段の射影変換行列をＰ、前記固定撮像手段と前記移動撮像手段との間のエピポーラ方程式をＦ、前記空間内の任意の３次元座標をＭとしたとき、前記空間内の任意の３次元座標Ｍを代入して（ｍ _ｔ ） ^Ｔ ＦＰＭ＝０を解くことにより、前記空間内の任意の３次元座標Ｍに対応する、前記移動撮像手段の画像上の観測座標ｍ _ｔ を算出し、前記３次元座標Ｍ及び前記観測座標ｍ _ｔ から前記移動撮像手段の射影変換行列を算出し、前記移動撮像手段の校正を行うステップとを含むものである。

本発明によれば、移動撮像手段のワールド座標系との対応付けを行うことができるとともに、簡便な校正作業で固定撮像手段及び移動撮像手段の校正を高精度に行うことができる。

以下、本発明の一実施の形態による撮像システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による撮像システムの構成を示すブロック図である。

図１に示す撮像システムは、２台以上の固定カメラ１１〜１ｍ（ｍは２以上の整数）、２台以上の固定カメラ用校正処理部２１〜２ｍ、ネットワーク３１、１台以上の移動カメラ４１〜４ｎ（ｎは１以上の整数）及び移動カメラ用校正処理部５１〜５ｎを備える。固定カメラ１１〜１ｍの各々は、対応する固定カメラ用校正処理部２１〜２ｍに接続され、移動カメラ４１〜４ｎの各々は、対応する移動カメラ用校正処理部５１〜５ｎに接続される。固定カメラ用校正処理部２１〜２ｍ及び移動カメラ用校正処理部４１〜４ｎは、ネットワーク３１を介して相互に通信可能に接続される。ネットワークとしては、有線又は無線のＬＡＮ（Local Area Network）等を用いることができる。

固定カメラ１１は、空間内の所定位置、例えば、部屋又は廊下等の天井又は壁等に固定され、所定の撮影方向の画像を撮影して画像データを固定カメラ用校正処理部２１へ出力する。他の固定カメラ１２〜１ｍも固定カメラ１１と同様に構成され、同様に動作する。固定カメラ１１〜１ｍとしては、例えば、ソニー株式会社製高速パン・チルト・ズーム一体型カラーカメラＥＶＩ−Ｄ１００を固定モードで用いることができる。

固定カメラ用校正処理部２１では、全体の処理を開始する前に、固定カメラ１１が撮影した画像上でのマーカーの観測位置の２次元座標情報と３次元空間中でマーカーが存在する３次元座標情報との組み合わせを用いて固定カメラ１１（射影変換行列の算出）を予め行ってあるものとする。移動カメラの射影変換行列を求めるステップでは、移動カメラ用校正処理部５１〜５ｎの要求に応じて、ネットワーク３１を介して校正結果（射影変換行列）を出力する。同時に、固定カメラ１１で撮影した画像上でマーカーの追跡処理を行い、マーカーの２次元座標情報もネットワーク３１を介して移動カメラ用校正処理部５１〜５ｎに出力する。移動カメラの首振り移動の校正を行うステップでは、他の固定カメラ１２〜１ｍが撮影した画像（少なくとも２台以上の固定カメラの画像）を用いて空間中のマーカーの３次元位置を推定し、移動カメラ用校正処理部５１〜５ｎの要求に応じて、ネットワーク３１を介してマーカーの３次元位置情報を出力する。他の固定カメラ用校正処理部２２〜２ｍも固定カメラ用校正処理部２１と同様に構成され、同様に動作する。固定カメラ用校正処理部２１〜２ｍとしては、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、入力装置、通信装置及び表示装置等を備える通常のコンピュータを用いることができるが、専用のハードウエア回路により構成してもよい。なお、マーカーとしては、蛍光体を用いた印となるものを用いることができるが、この例に特に限定されず、画像中の特徴を取りやすい部分、物体の角、境界等の検出しやすい部分等を用いてもよい。

移動カメラ４１は、空間内において任意の位置に移動可能な移動体、例えば、移動する自律走行型ロボット又は人間等に装着され、装着者の移動に伴い空間内の任意の位置に移動可能で且つパン方向及びチルト方向に撮影方向を変更可能な可動カメラから構成され、撮影方向の画像を撮影して画像データを移動カメラ用校正処理部５１へ出力する。他の移動カメラ４２〜４ｎも移動カメラ４１と同様に構成され、同様に動作する。移動カメラ４１〜４ｎとしては、例えば、ソニー株式会社製高速パン・チルト・ズーム一体型カラーカメラＥＶＩ−Ｄ１００を可動モードで用いることができる。

移動カメラ用校正処理部５１は、ネットワーク３１を介して、固定カメラ用校正処理部２１〜２ｍ（少なくとも２台以上）で獲得した校正結果（射影変換行列）と固定カメラ１１〜１ｍが撮影した画像上でマーカーの追跡処理結果を取得し、それらの情報と、移動カメラ４１が撮影した画像上でマーカーの追跡処理を行った結果（マーカーの２次元座標）を用いて、移動カメラ４１の校正（射影変換行列の算出）を行う。他の移動カメラ用校正処理部５２〜５ｎも移動カメラ用校正処理部５１と同様に構成され、同様に動作する。移動カメラ用校正処理部５１〜５ｎとしては、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、入力装置、通信装置及び表示装置等を備える通常のコンピュータを用いることができるが、専用のハードウエア回路により構成してもよい。

図２は、２台の固定カメラ及び１台の移動カメラを用いた場合における図１に示す撮像システムの詳細な構成を示すブロック図である。図２では、固定カメラ１１，１２及び移動カメラ４１を用いて校正する例を示しており、また、図示及び説明を容易にするため、固定カメラ１３〜１ｍ、固定カメラ用校正処理部２２〜２ｍ、ネットワーク３１、移動カメラ４２〜４ｎ及び移動カメラ用校正処理部５２〜５ｎの図示を省略している。

図２に示すように、固定カメラ用校正処理部２１は、所定の校正処理プログラムを実行することにより、固定用射影変換行列算出部６１及び３次元位置計測部６２として機能する。移動カメラ用校正処理部５１は、所定の校正処理プログラムを実行することにより、対応点検出部７１、エピポーラ方程式算出部７２、観測座標算出部７３、移動用射影変換行列算出部７４、移動カメラ制御部７５、パン値及びチルト値取得部７６、回転中心算出部７７及び首振り移動時射影変換行列算出部７８として機能する。

固定用射影変換行列算出部６１は、ストロングキャリブレーションにより固定カメラ１１，１２の射影変換行列を算出（固定カメラ１１，１２の校正）を行う。また、固定用射影変換行列算出部６１は、算出した射影変換行列を観測座標算出部７３へ出力する。

固定カメラ１１，１２及び移動カメラ４１は、空間内の所定位置に配置された複数のマーカーを撮影し、対応点検出部７１は、固定カメラ１１，１２及び移動カメラ４１により撮影されたマーカーの対応点を検出してエピポーラ方程式算出部７２へ出力する。エピポーラ方程式算出部７２は、検出された対応点を用いて固定カメラ１１，１２と移動カメラ４１との間のエピポーラ方程式を算出して観測座標算出部７３へ出力する。観測座標算出部７３は、射影変換行列とエピポーラ方程式とから空間内の任意の３次元座標に対応する移動カメラ４１により撮像された画像上の観測座標を算出し、３次元座標及び観測座標の組み合わせを移動用射影変換行列算出部７４へ出力する。移動用射影変換行列算出部７４は、３次元座標及び観測座標から移動カメラ４１の射影変換行列を算出する。

３次元位置計測部６２は、固定カメラ１１，１２により撮影されたマーカーの３次元位置をステレオ法を用いて回転中心算出部７７へ出力する。移動カメラ制御部７５は、移動カメラ４１のパン方向及びチルト方向の位置を制御し、マーカートレース撮影時にマーカーが画像中心に位置するように移動カメラ４１のパン方向及びチルト方向の位置を制御する。パン値及びチルト値取得部７６は、固定カメラ１１，１２により撮影されたマーカーが画像中心に位置するときの移動カメラ４１のパン値及びチルト値を移動カメラ制御部７５から取得して回転中心算出部７７へ出力する。回転中心算出部７７は、３次元位置と対応するパン値及びチルト値とから移動カメラ４１のパン方向及びチルト方向の回転中心位置を算出して首振り移動時射影変換行列算出部７８へ出力する。

移動カメラ４１が首振り運動により移動したとき、パン値及びチルト値取得部７６は、移動時のパン値及びチルト値を移動カメラ制御部７５から取得して首振り移動時射影変換行列算出部７８へ出力する。首振り移動時射影変換行列算出部７８は、上記の位置及び姿勢の校正処理により移動用射影変換行列算出部７４が推定した射影変換行列を取得し、取得した射影変換行列及び回転中心位置に対する移動カメラ４１の首振り移動時のパン値及びチルト値から移動カメラ４１の首振り移動時の射影変換行列を算出し、移動カメラ４１のパン方向及びチルト方向の校正（首振り運動後の移動カメラ４１の校正）を行う。

本実施の形態では、固定カメラ１１〜１ｍが固定撮像手段の一例に相当し、移動カメラ４１〜４ｎが移動撮像手段及び可動撮像手段の一例に相当し、固定用射影変換行列算出部６１が固定用射影変換行列算出手段の一例に相当し、対応点検出部７１及びエピポーラ方程式算出部７２がエピポーラ方程式算出手段の一例に相当し、観測座標算出部７３及び移動用射影変換行列算出部７４が移動用射影変換行列算出手段の一例に相当する。また、３次元位置計測部６２、回転中心算出部７７及びパン値及びチルト値取得部７６が回転中心算出手段の一例に相当し、首振り移動時射影変換行列算出部７８が移動時射影変換行列算出手段の一例に相当する。

次に、上記のように構成された撮像システムによる校正処理について説明する。図３は、図２に示す撮像システムによる校正処理を説明するためのフローチャートである。なお、以下の説明では、固定カメラ１１，１２及び移動カメラ４１の校正処理を例に説明するが、他の固定カメラ１３〜１ｍ及び移動カメラ４２〜４ｎの校正処理も同様である。

まず、ステップＳ１において、固定用射影変換行列算出部６１は、公知のストロングキャリブレーションにより以下のようにして固定カメラ１１，１２の射影変換行列を算出して固定カメラ１１の校正を行う。また、固定用射影変換行列算出部６１は、算出した射影変換行列を観測座標算出部７３へ出力する。

図４は、ストロングキャリブレーションを説明するための模式図である。図４に示すように、画像座標系とワールド座標系との射影変換を求める手がかりとなる固定カメラＣ_０，Ｃ_１（例えば、固定カメラ１１，１２）を設定し、ストロングキャリブレーションにより既知の３次元座標Ｍ（Ｘ，Ｙ，Ｚ）及び既知の観測位置ｍ_０（ｕ_０，ｖ_０），ｍ_１（ｕ_１，ｖ_１）を用いて固定カメラＣ_０，Ｃ_１の射影変換行列Ｐ_０，Ｐ_１を算出する。なお、本校正処理では、固定カメラの台数が多いほど、移動カメラの校正精度を向上することができるが、処理コストが増加するので、校正精度及び処理コストを考慮して校正に使用される固定カメラの台数は適宜決定される。

次に、移動カメラ４１を新たな撮影場所に移動させる。このとき、移動カメラ４１が固定カメラ１１，１２と共通の領域を撮影することができるように、移動カメラ４１の位置及び姿勢を設定する。この条件を満たす限り、移動カメラ４１の姿勢は任意であってよい。この位置をステップＳ６以降のパン値及びチルト値の校正処理における基本姿勢とする。ステップＳ２において、固定カメラ１１，１２及び移動カメラ４１は、撮影場所の空間内の所定位置に配置された複数のマーカーを撮影し、対応点検出部７１は、固定カメラ１１，１２及び移動カメラ４１が撮影したマーカーの画像を取得し、固定カメラ１１，１２と移動カメラ４１との間の対応点を検出してエピポーラ方程式算出部７２へ出力する。

次に、ステップＳ３において、エピポーラ方程式算出部７２は、検出された対応点を用いて固定カメラ１１，１２と移動カメラ４１との間のエピポーラ方程式を算出して観測座標算出部７３へ出力する。

次に、ステップＳ４において、観測座標算出部７３は、ステップＳ１で算出された射影変換行列とステップＳ３で算出されたエピポーラ方程式とから空間内の任意の３次元座標に対応する移動カメラ４１の画像上の観測座標を仮想的に獲得し、３次元座標及び観測座標の組み合わせを移動用射影変換行列算出部７４へ出力する。

次に、ステップＳ５において、移動用射影変換行列算出部７４は、獲得した３次元座標及び観測座標の組み合わせからストロングキャリブレーションと同様の処理により移動カメラ４１の射影変換行列を算出する。上記の処理により、移動カメラ４１の位置及び姿勢が高精度に校正される。

ここで、上記の移動カメラ４１の校正処理についてさらに詳細に説明する。３次元空間中の点Ｍは、射影変換行列Ｐ_ｔにより、移動カメラＣ_ｔ（例えば、移動カメラ４１）が撮影した画像上の点ｍ_ｔに射影される。
ｍ_ｔ＝Ｐ_ｔＭ … （１）

３次元座標が既知な３次元空間中の点とその画像上での観測座標との組み合わせが最低６点あれば、上記の固定カメラと同様にストロングキャリブレーションにより移動カメラＣ_ｔの射影変換行列Ｐ_ｔを推定することができるが、本実施の形態では、固定カメラＣ_０，Ｃ_１と移動カメラＣ_ｔとの間におけるエピポーラ方程式（以下、Ｆ行列ともいう）Ｆ_０，Ｆ_１と、固定カメラＣ_０，Ｃ_１の射影変換行列Ｐ_０，Ｐ_１とを用いて移動カメラＣ_ｔの射影変換行列Ｐ_ｔを求める。

図５は、対応点からＦ行列を算出する処理を説明するための模式図である。図５に示すように、固定カメラＣ_０，Ｃ_１と移動カメラＣ_ｔとの間で観測される対応点を８個以上獲得し、この対応点の情報を用いて固定カメラＣ_０，Ｃ_１と移動カメラＣ_ｔとの間のＦ行列Ｆ_０，Ｆ_１を推定する。ここで、Ｆ行列の算出には３次元情報は不要であるため、マーカーの３次元位置を測定する必要はない。

一方、移動カメラＣ_ｔの画像上における対応点の情報からＦ行列を推定する処理は、画像ノイズの影響を大きく受けるため、安定的に求めることは難しいが、図６に示すように、２台のカメラが相互に投影し合うような組み合わせがあれば、写り込んだカメラの投影像として画像中からエピポール情報を直接獲得し、Ｆ行列を安定的に求めることができる。

本実施の形態では、移動カメラＣ_ｔは、移動カメラ制御部７５によりその姿勢を制御することができるので、２台のカメラが相互に投影し合うような状態を容易に作り出すことができ、図６に示すような位置関係に固定カメラＣ_０，Ｃ_１及び移動カメラＣ_ｔを設定し、Ｆ行列Ｆ_０，Ｆ_１を安定的に推定している。

図７は、３次元座標Ｍ（Ｘ，Ｙ，Ｚ）と観測座標ｍ_ｔ（ｕ，ｖ）との組み合わせを取得する処理を説明するための模式図である。図７に示すように、移動カメラＣ_ｔの画像上の点ｍ_ｔ（ｕ，ｖ）に対する固定カメラＣ_０，Ｃ_１の画像上における対応点をｍ_０，ｍ_１とすると、対応点ｍ_０，ｍ_１は、以下のエピポーラ方程式Ｆ_０，Ｆ_１を満たす。
（ｍ_ｔ）^ＴＦ_０ｍ_０＝０ … （２）
（ｍ_ｔ）^ＴＦ_１ｍ_１＝０ … （３）

このとき、３次元空間中の点Ｍと固定カメラＣ_０，Ｃ_１の画像上の観測点ｍ_０，ｍ_１との関係は、固定カメラＣ_０，Ｃ_１の射影変換行列Ｐ_０，Ｐ_１により以下のように表される。
ｍ_０＝Ｐ_０Ｍ … （４）
ｍ_１＝Ｐ_１Ｍ … （５）

上記の式（２）及び（４）、式（３）及び（５）から、３次元空間中の点Ｍに対応する
移動カメラＣ_ｔの画像上の２本のエピポーラ線が、以下のように求められる。
（ｍ_ｔ）^ＴＦ_０Ｐ_０Ｍ＝０ … （６）
（ｍ_ｔ）^ＴＦ_１Ｐ_１Ｍ＝０ … （７）

上記の式（６）及び（７）に任意の３次元座標Ｍ（Ｘ，Ｙ，Ｚ）を代入し、それらを解くことにより、３次元座標値Ｍ（Ｘ，Ｙ，Ｚ）と画像上の観測座標ｍ_ｔ（ｕ，ｖ）との組み合わせが獲得される。以降、上記のストロングキャリブレーションと同様の処理により移動カメラＣ_ｔの射影変換行列Ｐ_ｔを推定する。このように、ステップＳ１〜Ｓ５の処理では、２次元情報から３次元情報を推定する逆問題を解く必要がなくなり、推定誤差の影響を受けずに移動カメラ４１の射影変換行列を高精度に求めることができ、移動カメラ４１の位置及び姿勢を高精度に校正することができる。

次に、ステップＳ６において、固定カメラ１１，１２は、撮影場所の空間内の所定位置に配置されたマーカーを撮影し、３次元位置計測部６２は、固定カメラ１１，１２により撮影されたマーカーの観測位置からステレオ法によりマーカーの３次元位置を計測して回転中心算出部７７へ出力する。

次に、ステップＳ７において、移動カメラ制御部７５は、固定カメラ１１，１２により撮影されたマーカーが画像中心に位置するように移動カメラ４１のパン方向及びチルト方向の位置を制御し、パン値及びチルト値取得部７６は、マーカーが画像中心に位置するときの移動カメラ４１のパン値及びチルト値を移動カメラ制御部７５から取得して回転中心算出部７７へ出力する。

次に、ステップＳ８において、回転中心算出部７７は、マーカーの３次元位置とパン値及びチルト値との組み合わせを所定数、例えば、２つ取得したか否かを判断し、所定数取得していない場合（ステップＳ８でＮＯ）はステップＳ６に戻ってマーカートレース撮影を行って新たな３次元位置とパン値及びチルト値との組み合わせを取得し、所定数取得した場合（ステップＳ８でＹＥＳ）はステップＳ９へ処理を移行する。

３次元位置とパン値及びチルト値との組み合わせを所定数取得した場合（ステップＳ８でＹＥＳ）、ステップＳ９において、回転中心算出部７７は、取得した３次元位置とパン値及びチルト値との組み合わせから移動カメラ４１のパン方向及びチルト方向の回転中心位置（首振り回転の中心位置）を算出して首振り移動時射影変換行列算出部７８へ出力する。

次に、移動カメラ４１が首振り運動によりパン方向及びチルト方向に移動したとき、ステップＳ１０において、パン値及びチルト値取得部７６は、移動時のパン値及びチルト値を移動カメラ制御部７５から取得して首振り移動時射影変換行列算出部７８へ出力し、首振り移動時射影変換行列算出部７８は、入力された移動カメラ４１の移動時のパン値及びチルト値及び回転中心位置から移動カメラ４１の移動時の剛体変換行列を算出し、算出した剛体変換行列を上記の位置及び姿勢の校正処理で推定した射影変換行列に掛け合わせ、移動時（首振り後）の射影変換行列を算出する。

ここで、上記の移動カメラ４１の首振り運動の校正処理についてさらに詳細に説明する。図８は、基本姿勢から首振り運動により移動した状態における射影変換行列の算出処理を説明するための模式図である。まず、上記の移動カメラ４１の位置及び姿勢の校正処理により基本姿勢の状態における射影変換行列Ｐ_０を求める。次に、３次元空間中を移動するマーカーが常に画像の中心で観測されるように、移動カメラ４１のパン値及びチルト値を制御するマーカートレース撮影を行い、各マーカー撮影時の移動量であるパン値及びチルト値Ｒ_ｎを求める。同時に、このマーカーを校正済の固定カメラ１１，１２により撮影し、マーカーの３次元座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）とパン値及びチルト値Ｒ_ｎとから下記の式（８）の連立方程式を解くことにより、移動カメラ４１の回転中心位置Ｔ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を算出する。
〔Ｘ_ｎ−ｔ_ｘ Ｙ_ｎ−ｔ_ｙ Ｚ_ｎ−ｔ_ｚ〕^Ｔ＝Ｒ〔Ｘ_０−ｔ_ｘ Ｙ_０−ｔ_ｙ Ｚ_０−ｔ_ｚ〕^Ｔ … （８）

ここで、（Ｘ_０，Ｙ_０，Ｚ_０）は基本姿勢におけるマーカーの３次元座標、Ｒはパン値及びチルト値Ｒ_ｎから与えられる３×３の回転行列である。このとき、未知数は３であるから、基本姿勢以外の姿勢でマーカーを最低１点撮影すれば、移動カメラ４１の回転中心位置Ｔを求めることができる。

また、下記の式（９）に示すように、複数回の撮影から算出した値Ｔ（ｔ_ｘｎ，ｔ_ｙｎ，ｔ_ｚｎ）の重み付き平均を取ることにより、信頼性を向上させるようにしてもよい。この場合、基本姿勢からの移動量が大きいほど高い精度の推定を行うことができるため、パン値及びチルト値を要素とするベクトルのノルムを計測マーカー全体で正規化したものを重みとして用いることが好ましい。

次に、上記のようにして求めた回転中心位置Ｔとパン値及びチルト値Ｒ_ｎとから、移動カメラ４１の移動時の剛体変換行列を求め、求めた剛体変換行列を基本姿勢の射影変換行列Ｐ_０に掛け合わせ、移動カメラ４１の移動時（首振り後）の射影変換行列Ｐ_ｎを獲得する。この場合、射影変換行列の分解による外部パラメータ推定処理が必要なくなり、推定誤差の影響を受けずに移動カメラ４１の移動時の射影変換行列を高精度に求めることができる。

同時に、マーカートレース撮影により獲得したマーカーの３次元座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）と、このマーカーを画像の中心で撮影したときのパン値及びチルト値（ｐａｎ＿ｎ，ｔｉｌｔ＿ｎ）との組み合わせから（ここで、ｎ＝１，…，Ｎ）、以下の式（１０）を満たす移動カメラ４１の制御行列Ｃを最小二乗法により求める。ここで、λは任意の実数である。

λ〔ｐａｎ ｔｉｌｔ １〕^Ｔ＝Ｃ〔Ｘ Ｙ Ｚ １〕^Ｔ … （１０）
なお、移動物体を撮影するときには、撮影を希望する領域の３次元座標（Ｘ，Ｙ，Ｚ）を式（１０）の右辺に代入することにより、移動カメラ４１の制御値（ｐａｎ，ｔｉｌｔ）を計算して制御及び撮影を行う。具体的には、首振り移動時射影変換行列算出部７８は、上記のようにして式（１０）の制御行列Ｃを算出し、算出した制御行列Ｃを移動カメラパン値及びチルト値算出部８１へ出力する。移動カメラパン値及びチルト値算出部８１において、撮影命令８５として与えられた３次元空間中で注目すべき位置（Ｘ，Ｙ，Ｚ）と首振り移動時射影変換行列算出部７８から出力された制御行列Ｃとを用いて式（１０）から移動カメラのパン値及びチルト値を算出し、移動カメラ制御部７５に制御命令を渡す。移動カメラ制御部７５は、受け取ったパン値及びチルト値に移動カメラを制御する。この場合、移動カメラパン値及びチルト値算出部８１がパン値及びチルト値算出手段の一例に相当し、移動カメラ制御部７５が制御手段の一例に相当し、撮影を希望する撮影対象領域に適したパン値及びチルト値に移動カメラを自動的に制御することができる。

拡張現実感映像生成部８２では、移動カメラ４１で撮影した映像にコンピュータグラフィックスデータ８３を重畳することで、現実世界の映像が持つ情報を拡張する処理を行う。首振り移動時射影変換行列算出部７８で算出した射影変換行列を用いて、コンピュータグラフィックスデータ８３を移動カメラ４１の位置及び姿勢からの見え方に変換した後、撮影映像に重畳することで、実写映像とコンピュータグラフィックスの見え方変化を一致させ、拡張現実感映像８４を生成する。

上記の処理により、本実施の形態では、複数の固定カメラ１１〜１ｍの射影変換行列を算出して複数の固定カメラ１１〜１ｍを高精度に校正することができるとともに、複数の固定カメラ１１〜１ｍと移動カメラ４１〜４ｎとの間のエピポーラ方程式を算出し、算出したエピポーラ方程式と固定カメラ１１〜１ｍの射影変換行列とから移動カメラ４１〜４ｎの射影変換行列を算出しているので、移動カメラ４１〜４ｎのワールド座標系との対応付けを行うことができるとともに、２次元情報から３次元情報を推定する逆問題を解く処理が必要なくなり、推定誤差の影響を受けずに移動カメラ４１〜４ｎの射影変換行列を高精度に求めることができ、移動カメラ４１〜４ｎを高精度に校正することができる。この結果、移動カメラ４１〜４ｎのワールド座標系との対応付けを行うことができるとともに、簡便な校正作業で固定カメラ１１〜１ｍ及び移動カメラ４１〜４ｎの校正を高精度に行うことができる。また、移動カメラ４１〜４ｎの可動性を活用して、固定カメラ１１〜１ｍだけではカバーしきれない領域の校正済映像を獲得することができるとともに、固定カメラ１１〜１ｍの高い精度と移動カメラ４１〜４ｎの広い視野を両立したシステムを実現することができる。

さらに、本撮像システムでは、３次元位置センサ（例えば、磁気センサ、赤外線センサ）等の電磁波を能動的に発するアクティブセンサを使用しないため、電磁波の使用が制限される病院や、広すぎて電磁波が届かない野外等においても使用可能であり、さらに、病院及び野外等では目立つマーカーの設置が困難な場合があるが、使用するマーカーは単に三次元位置を計測可能なものであればよいため、壁や天井等の空間内に蛍光塗料等で着色された目立つ画像マーカーを設置する必要がなく、この点においても病院及び野外等に好適に用いることができる。

最後に、上記の校正方法の有効性について説明する。図９は、撮影を行ったＣＧ空間におけるカメラ配置を示す模式図である。図９に示すように、ワールド座標系の原点の周囲９０ｃｍ立法の空間にマーカー（ランドマークポイント）を１０ｃｍ間隔で格子状に配置して２台の固定カメラＣ_０，Ｃ_１による撮影を行い、マーカーの３次元座標及びその観測位置の情報から固定カメラＣ_０，Ｃ_１の射影変換行列Ｐ_０，Ｐ_１を推定した。次に、固定カメラＣ_０，Ｃ_１のレンズ中心が画像中に写り込むように移動カメラＣ_ｔを配置して撮影を行い、移動カメラＣ_ｔの画像におけるマーカーの観測位置との固定カメラＣ_０，Ｃ_１の投影像（エピポール）の座標値から、固定カメラＣ_０，Ｃ_１と移動カメラＣ_ｔとの間のエピポーラ方程式Ｆ_０，Ｆ_１を算出した。

図１０は、移動カメラＣ_ｔの画像上で獲得されたエピポールと式（６）及び（７）により算出されたマーカーのエピポール線とを重畳した結果を示す図であり、図１１は、図１０に示す結果を用いて移動カメラＣ_ｔの射影変換行列Ｐ_ｔを推定し、マーカーを移動カメラＣ_ｔの画像上に逆投影した結果を示す図である。図１１に示す○は撮影されたマーカーを示し、×は逆投影された結果を示しており、図１１から固定時において正確な射影変換が行われたことがわかる。

次に、マーカーの位置（Ｘ，Ｙ，Ｚ）を（０，４５，０）から（０，４５，−９０）まで１０ｃｍ間隔で移動させ、その投影像が画像中心で観測されるように移動カメラＣ_ｔの姿勢を制御しながら撮影を行った。同時に、固定カメラＣ_０，Ｃ_１におけるマーカーの観測情報からその３次元位置を推定した。次に、移動カメラＣ_ｔの回転中心位置を算出し、移動カメラＣ_ｔの基本姿勢時の射影変換行列を剛体変換することにより、パン値及びチルト値から各姿勢の射影変換行列を求めた。

図１２は、（Ｘ，Ｙ，Ｚ）＝（０，４５，０）のマーカーが中心に移るように移動カメラＣ_ｔを制御した撮影時の射影変換行列を推定し、マーカーを移動カメラＣ_ｔの画像上に逆投影した結果を示す図である。図１２に示す○は撮影されたマーカーを示し、×は逆投影された結果を示しており、図１２から移動時においても正確な射影変換が行われたことがわかる。

なお、上記の説明では、固定カメラ及び移動カメラ毎に固定カメラ用校正処理部及び移動カメラ用校正処理部を設けたが、校正部の構成はこの例に特に限定されず、固定カメラ用校正処理部及び移動カメラ用校正処理部の全ての機能を１台のコンピュータで実行したり、複数のコンピュータで分散して実行する等の種々の変更が可能である。

本発明の一実施の形態による撮像システムの構成を示すブロック図である。 ２台の固定カメラ及び１台の移動カメラを用いた場合における図１に示す撮像システムの詳細な構成を示すブロック図である。 図２に示す撮像システムによる校正処理を説明するためのフローチャートである。 ストロングキャリブレーションを説明するための模式図である。 対応点からＦ行列を算出する処理を説明するための模式図である。 ２台のカメラが相互に投影し合うような組み合わせを説明するための模式図である。 ３次元座標Ｍ（Ｘ，Ｙ，Ｚ）と観測座標ｍ_ｔ（ｕ，ｖ）との組み合わせを取得する処理を説明するための模式図である。 基本姿勢から首振り運動により移動した状態における射影変換行列の算出処理を説明するための模式図である。 撮影を行ったＣＧ空間におけるカメラ配置を示す模式図である。 移動カメラの画像上で獲得されたエピポールとマーカーのエピポール線とを重畳した結果を示す図である。 図１０に示す結果を用いて移動カメラの射影変換行列を推定してマーカーを移動カメラの画像上に逆投影した結果を示す図である。 マーカーが中心に移るように移動カメラを制御した撮影時の射影変換行列を推定してマーカーを移動カメラの画像上に逆投影した結果を示す図である。

符号の説明

１１〜１ｍ 固定カメラ
２１〜２ｍ 固定カメラ用校正処理部
３１ ネットワーク
４１〜４ｎ 移動カメラ
５１〜５ｎ 移動カメラ用校正処理部
６１ 固定用射影変換行列算出部
６２ ３次元位置計測部
７１ 対応点検出部
７２ エピポーラ方程式算出部
７３ 観測座標算出部
７４ 移動用射影変換行列算出部
７５ 移動カメラ制御部
７６ パン値及びチルト値取得部
７７ 回転中心算出部
７８ 首振り移動時射影変換行列算出部

Claims (5)

1. 空間内の所定位置に固定された複数の固定撮像手段と、
   前記空間内において任意の位置に移動可能な移動体に装着され、前記移動体の移動に伴い、前記空間内において任意の位置に移動可能な移動撮像手段と、
   ストロングキャリブレーションにより、前記複数の固定撮像手段によって予め撮影されたマーカーの画像上の既知の観測座標及び前記マーカーの既知の３次元座標から前記複数の固定撮像手段の射影変換行列を算出する固定用射影変換行列算出手段と、
   前記複数の固定撮像手段と前記移動撮像手段との間のエピポーラ方程式を算出するエピポーラ方程式算出手段と、
   前記射影変換行列と前記エピポーラ方程式とから前記移動撮像手段の射影変換行列を算出する移動用射影変換行列算出手段と、
   前記移動用射影変換行列算出手段により算出された前記移動撮像手段の射影変換行列を取得し、前記移動撮像手段の校正を行う校正手段とを備え、
   前記複数の固定撮像手段及び前記移動撮像手段は、前記空間内の所定位置に配置された複数のマーカーを撮影し、
   前記エピポーラ方程式算出手段は、前記複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの、前記複数の固定撮像手段及び前記移動撮像手段の各画像上の対応点を検出し、検出した対応点の画像上の観測座標を用いて前記エピポーラ方程式を算出し、
   前記移動用射影変換行列算出手段は、前記固定撮像手段の射影変換行列をＰ、前記固定撮像手段と前記移動撮像手段との間のエピポーラ方程式をＦ、前記空間内の任意の３次元座標をＭとしたとき、前記空間内の任意の３次元座標Ｍを代入して（ｍ _ｔ ） ^Ｔ ＦＰＭ＝０を解くことにより、前記空間内の任意の３次元座標Ｍに対応する、前記移動撮像手段の画像上の観測座標ｍ _ｔ を算出し、前記３次元座標Ｍ及び前記観測座標ｍ _ｔ から前記移動撮像手段の射影変換行列を算出することを特徴とする撮像システム。
2. 前記移動撮像手段は、パン方向及びチルト方向に撮像方向を変更可能な可動撮像手段を含み、
   前記移動撮像手段の回転中心位置を算出する回転中心算出手段をさらに備え、
   前記校正手段は、前記回転中心算出手段により算出された回転中心位置と、前記回転中心位置に対する前記移動撮像手段の移動時のパン値及びチルト値とから、前記移動撮像手段の移動時の剛体変換行列を求め、求めた剛体変換行列を前記移動用射影変換行列算出手段により算出された射影変換行列に掛け合わせて前記移動撮像手段の移動時の射影変換行列を算出し、前記移動撮像手段のパン方向及びチルト方向の校正を行う移動時射影変換行列算出手段を備えることを特徴とする請求項１記載の撮像システム。
3. 前記回転中心算出手段は、前記複数の固定撮像手段により撮影されたマーカーの３次元位置を算出するとともに、前記マーカーが画像中心に位置するときの前記移動撮像手段のパン値及びチルト値を取得し、前記３次元位置と前記パン値及びチルト値とから前記移動撮像手段の回転中心位置を算出することを特徴とする請求項２記載の撮像システム。
4. 前記移動時射影変換行列算出手段は、前記可動撮像手段の撮影位置と前記可動撮像手段のパン値及びチルト値との関係を規定する制御行列をＣ、前記マーカーの３次元位置を（Ｘ，Ｙ，Ｚ）、前記マーカーを画像の中心で撮影したときのパン値をｐａｎ、チルト値をｔｉｌｔ、任意の実数をλとしたとき、λ〔ｐａｎ ｔｉｌｔ １〕 ^Ｔ ＝Ｃ〔Ｘ Ｙ Ｚ １〕 ^Ｔ を満たす前記可動撮像手段の制御行列Ｃを最小二乗法により算出し、
   前記可動撮像手段の撮影対象領域の入力を受け付け、前記撮影対象領域として与えられた３次元空間中で注目すべき位置（Ｘ，Ｙ，Ｚ）と、前記移動時射影変換行列算出手段により算出された制御行列Ｃとを用いて、λ〔ｐａｎ ｔｉｌｔ １〕 ^Ｔ ＝Ｃ〔Ｘ Ｙ Ｚ １〕 ^Ｔ から、受け付けた撮影対象領域に応じたパン値及びチルト値を算出するパン値及びチルト値算出手段と、
   前記パン値及びチルト値算出手段により算出されたパン値及びチルト値に応じて前記可動撮像手段を制御する制御手段とをさらに備えることを特徴とする請求項３記載の撮像システム。
5. 複数の固定撮像手段が所定位置に固定された空間内における任意の位置に移動可能な移動体に装着され、前記移動体の移動に伴い、前記空間内において任意の位置に移動可能な移動撮像手段の校正方法であって、
   ストロングキャリブレーションにより、前記複数の固定撮像手段によって予め撮影されたマーカーの画像上の既知の観測座標及び前記マーカーの既知の３次元座標から前記複数の固定撮像手段の射影変換行列を算出するステップと、
   前記複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの、前記複数の固定撮像手段及び前記移動撮像手段の各画像上の対応点を検出し、検出した対応点の画像上の観測座標を用いて、前記複数の固定撮像手段と前記移動撮像手段との間のエピポーラ方程式を算出するステップと、
   前記固定撮像手段の射影変換行列をＰ、前記固定撮像手段と前記移動撮像手段との間のエピポーラ方程式をＦ、前記空間内の任意の３次元座標をＭとしたとき、前記空間内の任意の３次元座標Ｍを代入して（ｍ _ｔ ） ^Ｔ ＦＰＭ＝０を解くことにより、前記空間内の任意の３次元座標Ｍに対応する、前記移動撮像手段の画像上の観測座標ｍ _ｔ を算出し、前記３次元座標Ｍ及び前記観測座標ｍ _ｔ から前記移動撮像手段の射影変換行列を算出し、前記移動撮像手段の校正を行うステップとを含むことを特徴とする校正方法。