JP2013231607A - 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム - Google Patents

Abstract

【課題】校正器具を仮想的に生成し、実寸サイズで投影した画像データを表示装置に表示し、その表示された映像をカメラで撮影することで校正作業を容易にしてその校正の精度を向上させる。
【解決手段】電子的な校正器具を演算装置１０２の中に設けた仮想的な３次元空間に配置させ、表示装置１０１の表示サイズと画素数に基づき実寸位置の確定できる画像を表示する。校正対象のカメラ１０７〜１１０は、表示された仮想的な校正器具を撮影し、実寸位置と撮影画像から取得した２次元座標との対応関係より、表示面に対する相対的なカメラの３次元位置を算出する。さらに、各カメラの表示面に対する相対的な位置関係より、各カメラ間の相対的な３次元位置を算出する。これにより実物の校正器具を用いることなく、複数カメラの相対位置関係を求めることを可能にする。
【選択図】図１

Description

本発明は、複数のカメラの位置関係を表す、各カメラの外部パラメータ（例えば、基準となる原点と座標系において、カメラの位置と向きを規定できるパラメータ）を算出するための、校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システムおよびプログラムに関する。

従来から、複数のカメラを用いて、被写体までの距離を測定する機能や、実際には撮影していない中間視点の画像を仮想的に生成する機能、あるいは、前述の被写体までの距離に基づいて、コンピュータで生成した映像を実写映像の中に自然に合成して表示する機能を実現するためには、カメラの位置関係を知ることが重要である。基準となる座標系（以下、ワールド座標系と呼ぶ）を設定し、その座標系の原点から見た、各カメラの撮影中心（以下、光学中心と呼ぶ）を基準とする座標系（以下、カメラ座標系と呼ぶ）への回転と移動量（併進）によってカメラの位置を表すことができる。この回転と併進を合わせて、カメラの外部パラメータと呼ぶ。従って、カメラの位置関係を知るということは、各カメラの外部パラメータを求めることである。

カメラの外部パラメータを算出する方法として、例えば、非特許文献１あるいは、非特許文献２に記載されているように、３次元形状が既知の校正器具を校正対象の撮影装置で撮影し、その投影面に投影された画像を用いて校正する方法について記載されている。具体的には、以下の通りである。
校正を行おうとするカメラによって、３次元空間中の任意の点Ｘは２次元画像上の点ｍに、以下のように投影される。

この式は、カメラの光学中心に向かって、被写体からの光がまっすぐ入射し、その光がカメラの撮影面と交わるところに光の像として取り込まれる、ピンホールカメラと呼ばれるカメラのモデルを表している。３次元空間で表現される、ある座標系上の点Ｘを、カメラで撮影された画像上の点ｍに変換するものである。

また、Ａはカメラのレンズや撮像素子の特性を示す内部パラメータによって構成される、３×３の行列で、以下内部パラメータ行列と呼ぶ。具体的には、以下の式によって表現される。

ここで、ｆはレンズの焦点距離、座標（ｕ_０，ｖ_０）は画像中心の座標、ｋ_ｕ，ｋ_ｖは水平方向および垂直方向のスケールファクタで、ｋ_ｓはせん断係数である。せん断係数は、平行性を保つ変形で、通常は１である。
また、ＲとＴはそれぞれ、前記３次元空間を表現する座標系からカメラの座標系へ変換するための、３×３の回転行列と３×１の併進ベクトルである。具体的には、以下の式によって表現される。

ここで、θ_ｘ，θ_ｙ、θ_ｚはそれぞれｘ軸周り、ｙ軸周り、ｚ軸周りの回転角度であり、Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚはそれぞれｘ軸方向、ｙ軸方向、ｚ軸方向の移動量である。ＲとＴを合わせて、カメラの外部パラメータ行列と呼ぶ。

式（１）によって与えられるカメラのモデル式における自由度は、カメラの内部パラメータにある５つの自由度（ｆとｋ_ｕ、ｆとｋ_ｖを掛け合わせた後の、行列の未知の要素数より５自由度）と、回転行列にある３つの自由度（θ_ｘ，θ_ｙ、θ_ｚの３自由度）と、併進ベクトルにある３つの自由度３（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚの３自由度）の、計１１の自由度がある。

従って、３次元空間中の点と、それに対応する２次元画像上の点の組み合わせが６点わかれば、２次元画像上の点ｍ＝［ｕ，ｖ］^Ｔのｕとｖに関する２つの方程式ができ、その数は６×２＞１１となる。結果、十分な拘束式が得られて、Ａ、Ｒ，Ｔの各値を決定することができる（解法については、非特許文献１、あるいは非特許文献２に記載）。

このとき用いられる校正器具として、例えば市松状の黒白ブロックの境界点の位置を特徴点とする、平面状のキャリブレーションチャートが用いられることがある。図４（Ａ）に模式図を示す。ここで特徴点とは、上記３次元空間中の点と、それに対応する２次元画像上の点の対応をとる点のことであり、以下、校正器具の特徴点と呼ぶ。図４（Ｂ）に他の校正器具の例を示す。校正器具については、図に示した例の他にもあり、特徴点の位置関係を記述できる物体であれば何でも良い。

また、特許文献１には、外部パラメータの算出は行っていないが、表示装置に電子的なキャリブレーションチャートを表示し、その映像を校正対象のカメラで撮影することで、内部パラメータや歪み補正係数を算出する方法について記載されている。キャリブレーション表示装置は、実物のキャリブレーションチャートを、予め複数の異なる方向から撮影し、その撮影画像データを保持しておく。表示装置にキャリブレーションチャートを表示する際には、保存された画像データの中から一つの画像が選択され、さらに画像処理による回転を施してディスプレイ上に表示される。これは、撮影装置の校正の精度を高めるために、異なる角度でキャリブレーションボードを撮影して校正することと、同様な効果がある。

特許０４２７０９４９号公報

徐剛、辻三郎 共編、「３次元ビジョン」、共立出版、ＰＰ７９−８２（カメラの校正） 佐藤淳、「コンピュータビジョン」、コロナ社、ＰＰ１４６−１４９（カメラの校正）

しかしながら、非特許文献１、あるいは非特許文献２に記載の方法では、実物のキャリブレーションチャートをカメラで撮影する必要がある。実物のキャリブレーションチャートは、プリンタなどによって出力する必要があり、形状の異なるキャリブレーションチャートを多数用いる場合には、印字の作業時間がかかり、紙の無駄使いであったり、あるいは、出力後のチャート管理が大変であるという問題がある。

また、特許文献１に記載の方法では、内部パラメータの算出方法に限定した手法であり、複数のカメラ間の外部パラメータを算出することができない。また、表示装置に表示される電子的なキャリブレーションチャートは実物のキャリブレーションチャートをあらかじめ撮影したものであり、それを撮影するためのカメラの歪みを完全に取り除くことはできない。また、表示の際に回転を行うことで、異なる条件のキャリブレーションチャートを生成しているが、回転はディスプレイ面に対して垂直な軸に対して回転を行っているだけである。

本発明は、このような事情に鑑みてなされたもので、キャリブレーションデータである校正器具を仮想的に生成し、実寸サイズで投影した画像データを表示装置に表示し、その表示された映像をカメラで撮影することで校正作業を容易にしてその校正の精度を向上させることができる校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラムを提供することを目的とする。

本発明の第１の技術手段は、撮影装置を校正するための校正器具を画像として表示する構成器具表示装置であって、仮想的な校正器具の３次元情報を保持する校正器具情報保持部と、該構成器具情報保持部が保持する前記校正器具の３次元情報に基づいて、前記校正器具を仮想的な３次元空間に配置し、該配置した校正器具を所定の２次元の投影面に投影して前記校正器具の投影画像を生成する投影画像生成部と、該投影画像生成が生成した投影画像を表示する表示部と、を備えることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記校正器具情報保持部が、前記校正器具の実寸を表す座標系により前記校正器具の３次元情報を保持するとともに、前記表示部の画素構成を示す基本情報を保持し、前記投影画像生成部は、前記実寸を表す座標系による前記３次元情報を、前記投影面の座標に変換し、前記基本情報を使用して、前記投影面の座標を画素座標に変換することで、前記画素座標により表される前記校正器具の投影画像を前記表示部に実寸で表示することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記基本情報が、前記表示部の表示画面のサイズと画素数であることを特徴としたものである。

第４の技術手段は、第２の技術手段において、前記基本情報が、前記表示部の表示画面の画素ピッチと画素数であることを特徴としたものである。

第５の技術手段は、第２の技術手段において、前記投影画像生成部が変換した前記校正器具の前記投影面の座標を外部に出力することを特徴としたものである。

第６の技術手段は、撮影装置を校正するための校正器具を画像として表示する構成器具表示装置によって実行する校正器具表示方法であって、仮想的な校正器具の３次元情報を前記校正器具表示装置の記憶手段に保持する校正器具情報保持ステップと、前記記憶手段に保持した校正器具の３次元情報に基づいて、前記校正器具を仮想的な３次元空間に配置し、該配置した校正器具を所定の２次元の投影面に投影して前記校正器具の投影画像を生成する投影画像生成ステップと、該投影画像生成ステップで生成した投影画像を前記校正器具表示装置が備える表示部に表示する表示ステップと、を備えることを特徴としたものである。

第７の技術手段は、第６の技術手段において、前記校正器具情報保持ステップが、前記校正器具の実寸を表す座標系により前記校正器具の３次元情報を保持するとともに、前記表示部の画素構成を示す基本情報を保持し、前記投影画像生成ステップは、前記実寸を表す座標系による前記３次元情報を、前記投影面の座標に変換し、前記基本情報を使用して、前記投影面の座標を画素座標に変換することで、前記画素座標により表される前記校正器具の投影画像を前記表示部に実寸で表示することを特徴としたものである。

第８の技術手段は、第７の技術手段において、前記基本情報が、前記表示部の表示画面のサイズと画素数であることを特徴としたものである。

第９の技術手段は、第７の技術手段は、前記基本情報が、前記表示部の表示画面の画素ピッチと画素数であることを特徴としたものである。

第１０の技術手段は、第７の技術手段において、前記投影画像生成部が変換した前記校正器具の前記投影面の座標を外部に出力することを特徴としたものである。

第１１の技術手段は、表示装置に表示された校正器具を撮影する複数の撮影装置により撮影した画像を用いて、前記撮影装置を校正する校正装置であって、前記表示装置から取得した前記校正器具の３次元的な座標情報を保持する校正器具表示情報保持部と、前記撮影装置により撮影された前記校正器具の画像と、前記校正器具表示情報保持部に保持された座標情報とから、複数の撮影装置の相対位置を算出する校正演算部とを有することを特徴としたものである。

第１２の技術手段は、表示装置に表示された校正器具を撮影する複数の撮影装置により撮影した画像を用いて、前記撮影装置を校正する校正装置により実行する校正方法であって、前記表示装置から取得した前記校正器具の３次元的な座標情報を前記校正装置の所定の記憶部に保持する校正器具表示情報保持ステップと、前記撮影装置により撮影された前記校正器具の画像と、前記校正器具表示情報保持部に保持された座標情報とから、複数の撮影装置の相対位置を算出する校正演算ステップとを有することを特徴としたものである。

第１３の技術手段は、第１〜５のいずれか１の技術手段の校正器具表示装置の機能をコンピュータに実現させるためのプログラムである。

第１４の技術手段は、第１１の技術手段の校正装置の機能をコンピュータに実現させるためのプログラムである。

第１５の技術手段は、第１〜５のいずれか１の技術手段の校正器具表示装置と、第１１の技術手段の校正装置とからなる校正システムである。

本発明によれば、キャリブレーションデータである校正器具を演算装置内部で仮想的に生成し、実寸サイズで投影した画像データを汎用的な表示装置に表示し、その表示された映像をカメラで撮影することで外部パラメータを算出することを可能とする。つまり、実物の校正器具を用いずに、電子的に生成された校正器具を表示装置上に表示して、複数のカメラの位置を測定することが可能になる。
また、演算装置内部に生成する校正器具は３次元的な情報を持たせた電子的な物体であるため、自由に位置や角度を変えて表示することができる。そして３次元的な情報を変えることで、容易に校正器具の形状を変えることできる。以上によって、校正作業が容易になり、またその精度を向上することができる。

本発明の校正器具表示装置と校正装置の外観を示す図である。 校正器具表示装置の構成を示すブロック図である。 校正器具表示装置に設定する校正器具座標系を模式的に示す図である。 校正器具の例を示す図である。 仮想的な校正器具を３次元空間に配置して、ディスプレイ面に投影した場合の校正器具の特徴点の位置関係を説明する図である。 校正器具表示装置の処理フローを示す図である。 校正装置の構成を示すブロック図である。 校正装置の処理フローを示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
＜システム構成＞
図１は、本発明の実施形態である、校正器具表示装置と校正装置の外観を示す図である。
校正器具表示装置は、仮想的な校正器具を電子的に生成する演算装置１０２と、生成された電子的な校正器具を表示する表示装置１０１と、校正器具表示装置を制御するための情報を入力する操作指示入力装置１０３より外観上は構成される。
表示装置１０１は、平面表示部分を備えており、例えば、液晶ディスプレイを用いることも可能である。演算装置１０２は、後述の所定の演算を処理する能力を備え、その演算によって生成された画像を表示装置１０１に表示させることができる。演算装置１０２は、例えば汎用のＰＣを用いることができる。操作指示入力装置１０３は、校正器具表示装置を制御するための情報を入力できる、例えばキーボードやマウスを用いることが可能である。また、表示装置１０１、演算装置１０２、操作指示入力装置１０３は、同等の機能を実現することができれば、他の機材によって置き変えることは可能である。

一方、校正装置は、校正対象カメラ１０７〜１１０より入力される画像データを解析して校正処理を行う演算装置１０５と、その演算結果を利用者が確認するための情報を表示する表示装置１０４、及び校正装置を制御するための情報を入力する操作指示入力装置１０６より外観上は構成される。
例えば、演算装置１０５は、汎用のＰＣ、表示装置１０４は液晶ディスプレイなどの表示装置、操作指示入力装置１０６はキーボードやマウスによって実現することができる。同様に、校正装置における演算装置１０５、表示装置１０４、操作指示入力装置１０６を他の同等の機能を有する装置によって置き換えることは可能である。

（実施形態１）校正器具表示装置
＜ブロック図＞
図２は、前述の校正器具表示装置の構成を示すブロック図である。
校正器具表示装置２００は、制御部２０１、操作指示入力部２０２（図１における操作指示入力装置１０３に対応）、表示情報保持部２０３、校正器具情報保持部２０４、投影画像生成部２０５、表示メモリ２０６、および表示部２０７（図１における表示装置１０１に対応）を含んで構成される。

以下、校正器具表示装置２００の機能及び動作について説明する。
校正器具表示装置２００は、例えばキー入力機能、あるいはマウス入力機能を備えた操作指示入力部２０２より、操作者によって所定の操作情報を入力する。
入力された操作情報は、内部にある制御部２０１に入力される。制御部２０１は、入力された操作情報の内容に従って、表示情報保持部２０３、校正器具情報保持部２０４及び投影画像生成部２０５に制御情報を出力する。

表示情報保持部２０３は、制御部２０１の制御情報に従って、表示部装置の基本情報を投影画像生成部２０５に出力する。表示装置の基本情報とは、表示部２０７の画素構成を示すもので、例えば、表示部２０７の画面サイズ（表示領域の実際の縦辺の長さ、横辺の長さ）、解像度（縦画素数、横画素数）等の表示装置に関わる情報で、操作指示入力部２０２より、もしくは図示していない外部記憶装置（例えば、ＨＤＤ）に電子的に記録されたファイル情報より読みだされて入力される情報である。

校正器具情報保持部２０４は、制御部２０１の制御情報に従って、仮想校正器具の情報を投影画像生成部２０５に出力する。仮想校正器具の情報とは、校正器具表示装置内に電子的に生成する校正器具に関わる情報であり、詳細は後述する。

投影画像生成部２０５は、表示情報保持部２０３より表示装置の基本情報、校正器具情報保持部２０４より仮想校正器具の情報を受け取り、仮想的に校正器具を生成する。投影画像生成部２０５は、仮想的に校正器具を３次元空間内に配置し、さらに、２次元の表示画素配列を持つ表示部２０７で表示できるように、該仮想校正器具を２次元の投影面に投影する。このとき、２次元の投影画像は、表示部２０７の表示領域に対応させて実寸表示する。詳細は後述する。投影画像生成部２０５は、さらに、２次元投影面に投影された画像データを、表示メモリ２０６に書き込む。

表示メモリ２０６は、投影画像生成部２０５で生成された画像データを、所定のアドレスに保持しておく。
表示部２０７は、表示メモリ２０６に書き込まれた画像データを前記所定のアドレスより読み込み、表示面に表示する。

続いて、仮想的に３次元空間内に校正器具を配置させて、２次元の投影面に校正器具を投影する方法について説明する。なお、校正器具は、演算装置内に仮想的に作り出すモデルであり実在しないため、以下校正器具モデルと呼ぶ。
始めに、この投影処理で扱う座標系を図３のように定義する。表示装置１０１の表示面に対して、中心位置から向かって右の方向にＸ軸、向かって上の方向にＹ軸、ディスプレイ面の奥の方向に垂直にＺ軸を設定する。このとき、Ｘ軸、Ｙ軸、Ｚ軸は互いに直交する向きである。以下、この座標系を校正器具座標系と呼ぶ。

この校正器具座標系に所定の物体（校正器具モデル）を配置することができると、３次元ＣＧ（コンピュータ・グラフィックス）技術によって、想定する投影面（表示装置１０１のディスプレイ面）に描画することが可能である。なお、３次元ＣＧ技術は、ＣＧなどの３次元モデルを扱う汎用のＧＰＵ（Graphics Processing Unit）によってその機能を実現することもできる。この処理は、投影画像生成部２０５で行うものとする。

以下、３次元ＣＧ技術を用いて、３次元空間の物体を２次元の投影面に描画する方法について記載する。
投影画像生成部２０５は、ＧＰＵ等で実現される一般的な３ＤＣＧレンダリング技術によって、校正器具情報保持部２０４より入力される仮想的な校正器具の３次元情報に基づいて、前述の校正器具座標系内に校正器具を配置させ、さらに所定の位置（詳細は後述する）に設置された仮想的なカメラ（仮想視点）によって、３次元空間に再現されたシーンを撮影する。投影画像生成部２０５は、撮影した映像を表示メモリ２０６に出力する。図５にその概要を示している。詳細は後述するが、前述の仮想的なカメラは投影原点に設置されるものである。

図４に２種類の校正器具の例を示す。平面状に市松模様の白黒パターンを印刷した校正器具（図４（Ａ））や正三角形の平面を３面組合せた校正器具（図４（Ｂ））など、３次元的な位置を規定できる校正器具であれば、どのようなものでも利用することができる。図４（Ａ）は、黒白の矩形の頂点部分を特徴点とし、４０２に示した校正器具固有の座標系によって、特徴点の３次元位置を記述することができる。校正器具における特徴点とは、カメラの校正に使用される、３次元空間上の座標と、それを撮影した画像において対応する２次元空間の座標との関係を求める点のことである。

座標系４０２は、例えば校正器具４０１の左上の頂点部分を原点４０３として、平面方向とそれに垂直な方向にそれぞれの軸を設定することができる。また、各ブロックの辺の長さを、例えば３ｃｍなどに設定すれば、各特徴点の位置を校正器具固有の座標系にて記述することができる。

図４（Ｂ）は、三角形の各頂点部分を特徴点とし、４０５に示した校正器具に固有の座標系によって、その３次元位置を規定することができる。座標系４０５は、例えば底面の三角形の中心に原点４０５があり、底面方向に２つの軸とそれに垂直な方向に１つの軸を設定したものである。また、３つの面の３角形は正三角形で、各辺を例えば１０ｃｍなどに設定すれば、各特徴点の位置を校正器具固有の座標系にて記述することができる。
なお、各校正器具の辺の長さや座標系の設置の仕方は、前述した通りに設置しないといけないものではなく、表示装置１０１のサイズや校正対象のカメラから表示装置１０１までの距離によって、自由に設定することができる。

ここで、校正器具固有の座標系を校正器具ローカル座標系と一般化して、その座標系における座標Ｘ_Ｌとする。さらに、表示装置１０１の校正器具座標系における座標をＸ_Ｗとすると、校正器具ローカル座標Ｘ_Ｌから校正器具座標Ｘ_Ｗへは、３次元の回転行列Ｒ_ＷＬ及び併進ベクトルＴ_ＷＬによって、次のように変換される。

つまり、校正器具ローカル座標系から校正器具座標系に向かう回転行列Ｒ_ＷＬ及び併進ベクトルＴ_ＷＬが与えられると、（５）式によって校正器具の各特徴点の座標を校正器具座標における座標に変換することができる。

校正器具座標系における各特徴点の座標位置、回転行列Ｒ_ＷＬ、及び併進ベクトルＴ_ＷＬは、上述の操作指示入力装置１０３等を用いた入力手段によって、あらかじめ利用者が設定し、校正器具情報保持部２０４にその情報を保持しておくものとする。実際に表示装置に表示される電子的な校正器具の画像データを見て回転行列、及び併進ベクトルを調整することもできる。

回転行列Ｒ_ＷＬ、及び併進ベクトＴ_ＷＬを、複数設定しておくことも可能である。前記仮想的な校正器具を、複数の角度、位置に表示、その映像を用いて校正を行うことで、より精度の高く安定した校正を行うことが可能である。また、校正器具そのものの情報を、複数用意しておくことも可能である。上記複数の情報を、校正器具情報保持部２０４に保持しておき、条件を変えて表示部２０７に校正器具を表示することも可能である。
校正器具座標系に配置された校正器具は、ビュー変換処理によって所定の視点位置（前述の仮想視点）から見た画像に切り出すことができる。

図５は、表示装置１０１の上側から見下ろした図で、この図を用いてビュー変換処理について説明する。校正器具座標は、表示装置１０１のディスプレイ面５１０の中心に原点があり、図５の右の方向にＸ軸、図５の上の方向にＺ軸、図示していないＹ軸を持つ。いま、校正器具座標系のｚ軸上にある投影原点Ｐ_Ｏ（０，０、Ｚ_Ｏ）５０１に向かってビュー変換処理を行うとすると、例えば、校正器具座標系に配置された校正器具５１１のある特徴点Ｐ_Ｄ（ｘ_Ｄ，ｙ_Ｄ、ｚ_Ｄ）５０２は、特徴点Ｐ_Ｄと投影原点Ｐ_Ｏとを結ぶ直線と、ディスプレイ面５１０が交わった点Ｐ_ｐ（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）５０３に投影される。このときの、各座標の対応関係は以下の通りである。

以上、式（５）と式（６）を用いると、校正器具５１１のローカル座標Ｘ_Ｌを投影面の座標Ｐ_ｐ（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）に変換することができる。なお、上記座標系はいずれも実距離に対応した座標系であるため、表示装置１０１のディスプレイに表示するためには最終的に表示装置１０１のピクセル座標（画素座標）に変換する必要がある。ピクセル座標Ｑ（ｕ，ｖ）への変換は、表示装置１０１の基本情報を用いる。基本情報としては、表示情報保持部２０３より、画面サイズ（表示領域の実際の縦辺の長さｎ、横辺の長さｍ）、解像度（縦画素数ｈ、横画素数ｗ）の情報を入力し、以下の変換式を用いて行われる。

以上、校正器具ローカル座標において各特徴点の座標及び、校正器具のローカル座標系から校正器具座標系への回転行列と併進ベクトルが与えられれば、ディスプレイ面の中心を原点とした校正器具座標系における座標を求めることができるのと同時に、３次元空間に配置させた仮想的な校正器具を表示装置１０１上に実寸サイズで表示させることができる。

（７）式に与えられる、表示情報保持部２０３より入力される情報は、他の情報であっても良い。例えば、表示装置のドットピッチ（画素ピッチ）と画素数でもよく、容易に（７）式を変換することができる（ｍ／ｗ，ｎ／ｈをドットピッチで置き換える）。

表示部２０７に仮想校正器具の投影画像が表示されると、制御部２０１は、外部に投影画像が表示されたことを示す信号とともに、（６）式によって算出された座標Ｐ_ｐ（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を、指示信号として出力する。後述する校正装置６００は、この信号を受け取って、校正処理を実施する。

＜フローチャート＞
続いて、校正器具表示装置２００が行う校正器具の表示処理の流れについて説明する。図６は、校正器具表示装置２００が行う校正器具の表示処理のフローチャートである。図２のブロック図を参照しながら説明する。

（ステップＳ１０１）
校正器具表示装置２００は、操作指示入力部２０２を通じて外部からの入力があると、その入力情報を制御部２０１に入力させる。制御部２０１は、操作指示入力部２０２から入力した情報が、表示装置の基本情報である場合には、ステップＳ１０２に進むように制御する。制御部２０１は、入力された情報が表示装置の基本情報ではない場合、ステップＳ１０３に進むように制御する。

（ステップＳ１０２）
制御部２０１は、操作指示入力部２０２より入力した表示装置の基本情報を、表示情報保持部２０３に出力する。表示情報保持部２０３は、制御部２０１より入力した表示装置の基本情報を内部にあるメモリに格納する。その後、校正器具表示装置２００は、外部からの入力を待つため、ステップＳ１０１に戻り、処理を繰り返す。

（ステップＳ１０３）
制御部２０１は、操作指示入力部２０２より入力した情報が、校正器具の情報である場合には、ステップＳ１０４に進むように制御する。制御部２０１は、入力された情報が校正器具の情報ではない場合、ステップＳ１０５に進むように制御する。

（ステップＳ１０４）
制御部２０１は、操作指示入力部２０２より入力した校正器具の情報を、校正器具情報保持部２０４に出力する。校正器具情報保持部２０４は、制御部２０１より入力した校正器具の情報を内部にあるメモリに化格納する。その後、校正器具表示装置２００は、外部からの入力を待つため、ステップＳ１０１に戻り、処理を繰り返す。なお、校正器具の情報は、前述の通り複数の条件を入力しても良い。

（ステップＳ１０５）
制御部２０１は、操作指示入力部２０２より入力した情報が、仮想校正器具を表示する指示である場合、ステップＳ１０６に進むように制御する。制御部２０１は、操作指示入力部２０２より入力した情報が、仮想校正器具を表示する指示ではない場合、外部からの入力を待つため、ステップＳ１０１に戻り、処理を繰り返す。

（ステップＳ１０６）
制御部２０１は、表示情報保持部２０３に対して、表示装置の基本情報を投影画像生成部２０５に出力するように指示を行い、校正器具情報保持部２０４に対して、仮想校正器具の情報を投影画像生成部２０５に出力するように指示する。同時に、制御部２０１は、投影画像生成部２０５に対して処理を開始するように指示する。投影画像生成部２０５は、制御部２０１の指示に従って、表示情報保持部２０３より入力した表示装置の基本情報と、校正器具情報保持部２０４より入力した仮想校正器具の情報を用いて、前述のビュー変換処理を実施する。投影画像生成部２０５は、ビュー変換処理の結果を、表示メモリ２０６に出力する。その後、ステップＳ１０７に進む。

（ステップＳ１０７）
表示メモリ２０６は、投影画像生成部２０５より入力した画像データを、所定のアドレスに書き込む。その後、ステップＳ１０８に進む。
（ステップＳ１０８）
表示部２０７は、表示メモリ２０６に書き込まれた２次元平面に投影された仮想的な校正器具をディスプレイ面に表示する。その後、ステップＳ１０９に進む。

（ステップＳ１０９）
制御部２０１は、表示装置１０１に仮想校正器具が表示されると同時に、投影画像生成部２０５より校正器具の各特徴点の投影座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）と、表示されていることを示す信号を合わせて、指示信号として、校正器具表示装置２００の外部、例えば後述する校正装置７００に出力する。
その後、終了する場合にはシステムを終了させ、待機状態に戻る場合には、ステップＳ１０１に戻り、処理を繰り返す。

（実施形態２）校正装置
＜システム構成＞
図７は、校正装置の構成を示すブロック図である。
校正装置７００は、制御部７０１、操作指示入力部７０２（図１における操作指示入力装置１０６に対応）、校正器具表示情報保持部７０３、校正演算部７０４、撮影画像保存メモリ７０５、特徴点抽出部７０６、作業表示メモリ７０７及び表示部７０８（図１における表示装置１０４に対応）を含んで構成される。

以下、校正装置７００の各ブロックの機能及び動作について説明する。
校正装置７００は、例えばキー入力機能あるいはマウスによる入力機能を備えた操作指示入力部７０２より、操作者によって所定の操作情報を入力する。操作情報については、例えば校正処理の起動開始の指示であったり、校正器具表示装置に表示された校正器具の情報の入力である。

入力された操作情報は、内部にある制御部７０１に渡される。制御部７０１は、入力された操作情報の内容に従って、校正器具表示情報保持部７０３、撮影画像保存メモリ、特徴点抽出部、及び校正演算部７０４に制御情報を出力する。

制御部７０１は、校正装置７００の外部、例えば前述の校正器具表示装置２００より、表示装置１０１に校正器具が表示されているということを示す信号と、表示されている校正器具の特徴点の実寸の投影座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を指示信号として受け取る。該指示信号を受け取ることができない場合、操作指示入力部７０２によって、同様の指示信号を手動で入力することも可能である。

制御部７０１は、外部、あるいは操作指示入力部７０２より入力された指示信号の内、校正器具の特徴点の投影座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を、校正器具表示情報保持部７０３に出力する。
校正器具表示情報保持部７０３は、制御部７０１より入力された投影座標Ｐ_ｐ（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を、内部に備えるメモリに格納する。

制御部７０１は、外部、あるいは操作指示入力部７０２より、表示装置１０１に校正器具が表示されているということを示す信号を受け取ると、撮影画像保存メモリ７０５、特徴点抽出部７０６、校正器具表示情報保持部７０３及び校正演算部７０４に対して、制御情報を出力する。

撮影画像保存メモリ７０５は、校正装置７００が起動すると同時に、外部に接続された複数の校正対象カメラ（撮影装置）より画像データを取得して、内部に備える画像保存用のメモリに、どのカメラで撮影した画像データであるか特定できるように画像データを保存する。また、撮影画像保存メモリ７０５は、制御部７０１より制御信号を受け取ると、保存してある画像を特徴点抽出部７０６に出力する。

特徴点抽出部７０６は、制御部７０１より制御信号を受け取り、撮影画像保存メモリ７０５より画像データを受け取ると、特徴点抽出処理を行い、画像の中から校正器具の特徴点の座標を抽出する。特徴点抽出処理については後述する。
校正器具表示情報保持部７０３は、制御部７０１より制御信号を受け取ると、校正器具表示装置２００に表示されている仮想器具の特徴点の３次元座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を校正演算部７０４に出力する。

校正演算部７０４は、制御部７０１より制御信号を受け取ると、特徴点抽出部７０６より撮影画像内の特徴点の２次元座標及び校正器具表示情報保持部７０３より仮想校正器具の３次元座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を受け取り、座標の対応関係を元に校正器具表示装置に表示された校正器具座標系の原点に対する外部パラメータを算出する。

校正演算部７０４は、算出した外部パラメータに基づいて算出された原点と軸を、前述の画像データに合成し、生成された画像を作業表示メモリ７０７に出力する。
作業表示メモリ７０７は、校正演算部７０４より入力した画像データを、表示用のメモリの所定のアドレスに画像データを書き込でいく。

表示部７０８は、作業表示メモリ７０７の所定のアドレスから画像データを読み取り、表示面に画像を表示する。このとき表示部７０８に表示される画像は、図３に示すような表示装置１０１の外観と校正器具座標系を合成した画像になる。

＜特徴点抽出処理＞
続いて、特徴点抽出部７０６で行う、校正器具の特徴点を画像の中から抽出する方法について記述する。特徴点の抽出は、画像処理のテンプレートマッチングによって行うことができる。テンプレートマッチングとは、テンプレートと呼ばれる局所領域の画像データを用いて、撮影画像の中から似たような領域を探索により抽出する処理である。いま、撮影画像の画素ｘ，ｙにおける画素値をＩ（ｘ，ｙ）、テンプレート画像の画素ｉ，ｊにおける画素値のＴ（ｉ，ｊ）とすると、テンプレートマッチングは下記評価式を最小にする座標ｘ，ｙを求めることである。

ここで、Ｗはテンプレートに含まれる画素を示している。テンプレートマッチングによって抽出される座標Ｒ（ｘ_Ｇ，ｙ_Ｇ） は以下の式で求めることができる。

（９）式において、ａｒｇｍｉｎは第１項の値を最小にするｘ，ｙ座標を算出する関数である。
なお、抽出する特徴点の画素は、テンプレートの中心が好ましいため、テンプレート画像の幅の１／２ずらすことで対応できる。テンプレート画像のｘ方向とｙ方向の幅をＴ_ｗ，Ｔ_ｈとすると、最終的な特徴点の座標は、以下の通りである。

なお、図４（Ａ）に示した平面状の校正器具の場合は、表示角度によって各特徴点の位置関係が入れ替わることはないため問題ないが、図４（Ｂ）の場合、表示角度が変わると各特徴点の位置関係が異なってしまう。下記校正処理を行うには、校正対象カメラで撮影した特徴点と前記校正器具表示装置で表示した校正器具の特徴点を正しく対応させて認識させる必要がある。そこで、図４（Ｂ）の場合、前記校正器具表示装置に表示する校正器具の各特徴点の表示方法を変えて（例えば、特徴点ごとに色を変えたり、形状を変える）、また校正装置７００の特徴点抽出７０６のテンプレートをそれに合わせることによって、対応関係を正しく認識することができる。
また、前記特徴点の抽出については、画素単位で探索をおこなっているが、先行技術である特許文献１に記載されているサブピクセル単位の特徴点抽出手法を用いることも可能である。

＜内部パラメータ、外部パラメータ算出処理＞
続いて、校正演算部７０４で行う校正処理（内部パラメータ及び外部パラメータの算出）について、前述の従来技術である非特許文献１あるいは非特許文献２に記載の内部パラメータ算出、外部パラメータ処理手法によって算出することができる。
以降の説明のために、求めたカメラｉ（ｉ＝１，・・・，ｎ）に対する内部パラメータ行列と、外部パラメータ行列の回転行列と併進行列を、それぞれＡｉ，Ｒｉ，Ｔｉとする。

＜各カメラ基準の外部パラメータ＞
上記校正処理で求めた外部パラメータは、前述の校正器具表示装置２００の校正器具座標系に対する各カメラの外部パラメータになっている。校正器具座標系は、本発明の校正処理を行う際に一時的に用いる座標系であり、常時利用するものではない。そこで、一台のカメラを基準として、そこからの相対的な外部パラメータを求めていた方が、都合が良い。
今基準とするカメラの座標をＸ_Ｂ、その他のカメラの座標系をＸｉ（ｉ＝１，Λ，ｎ但し、基準カメラは除く）とすると、それぞれのカメラと、前述の校正器具座標系の座標Ｘ_ｗとの関係は次のようになる。

（１１）式をＸ_ｗについて連立方程式を解くと、次のようになる。

このときの、Ｘ_ＢにかけられているＲ_ｉＲ_Ｂ ^−１が基準カメラに対するカメラｉの回転行列で、第２項のＴ_ｉ−Ｒ_ｉＲ_Ｂ ^−１Ｔ_Ｂが基準カメラに対するカメラｉの併進ベクトルとなる。
同様に全てのカメラの、基準カメラに対する外部パラメータ行列を算出することができる。
上記の処理により、実物の校正器具を用いることなく、複数のカメラの相対位置関係を求めることが可能となる。

＜フローチャート＞
続いて、校正装置７００が行う校正処理の流れについて説明する。図８は、校正装置７００が行う校正処理のフローチャート図である。図７のブロック図を参照しながら説明する。
（ステップＳ２０１）
校正装置７００は、前述の指示信号が入力されると、その入力情報を制御部７０１に渡す。制御部７０１は、入力した情報が校正器具表示装置２００に表示されている校正器具（仮想キャリブレーション器具）の情報である場合には、ステップＳ２０２に進むように制御する。制御部７０１は、入力された情報が校正器具の情報ではない場合、ステップＳ２０３に進むように制御する。

（ステップＳ２０２）
校正器具表示情報保持部７０３は、校正器具表示装置に表示された校正器具の特徴点の３次元座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を入力し、内部に備えるメモリに格納する。その後、ステップＳ２０１に戻る。
（ステップＳ２０３）
制御部７０１は、入力した情報が、開始を指示する信号である場合には、撮影画像保存メモリ７０５、特徴点抽出部７０６、校正器具表示情報保持部７０３及び校正演算部７０４に対して、制御情報を出力して、ステップＳ２０４に進むように制御を行う。制御部７０１は、入力した情報が開始を指示する信号ではない場合には、ステップＳ２０１に戻り校正装置７００を待機状態にする。

（ステップＳ２０４）
撮影画像保存メモリ７０５は、制御部７０１より制御信号を受け取ると、保存してある各カメラに対応する画像を特徴点抽出部７０６に出力する。特徴点抽出部７０６は、制御部７０１より制御信号を受け取ると、撮影画像保存メモリ７０５より画像データを受け取ると、受け取った画像を解析して校正器具の特徴点の座標を各カメラの画像ごとに抽出する。

校正器具表示情報保持部７０３は、制御部７０１より制御信号を受け取ると、校正器具に対する外部パラメータを算出する。ここでは、校正器具表示情報保持部７０３は、校正器具表示装置に表示されている仮想校正器具の特徴点の３次元座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を校正演算部７０４に出力する。校正演算部７０４は、制御部７０１より制御信号を受け取ると、特徴点抽出部７０６より各カメラで撮影した校正器具の特徴点の２次元座標及び校正器具表示情報保持部７０３より仮想校正器具の３次元座標Ｐ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を受け取り、座標の対応関係に基づいて、前述の校正器具座標系の原点に対するカメラごとの外部パラメータを算出する。その後、ステップＳ２０５に進む。

（ステップＳ２０５）
校正演算部７０４は、複数のカメラの外部パラメータに基づいて、基準とするカメラに対する外部パラメータを算出する。その後、ステップＳ２０６に出力する。
（ステップＳ２０６）
校正演算部７０４は、校正対象カメラで撮影した校正器具表示装置の外観画像に、ステップＳ２０４で算出した外部パラメータ基づいて求めた軸を合成し、結果を作業表示メモリ７０７に出力する。作業表示メモリ７０７は、校正演算部７０４より入力した画像データを、内部に備える表示用メモリの所定のアドレスに保存する。表示部７０８は、作業表示メモリ７０７の所定のアドレスより画像データを読み出して、表示装置１０４に表示する。その後、ステップＳ２０７に進む。

（ステップＳ２０７）
表示装置１０４に表示された合成画像を、利用者は確認をし、必要であれば再度校正処理を実施する。校正装置７００は、操作指示入力部７０２より利用者の再校正の必要性を確認し、必要である場合にはステップＳ２０４に戻り、以降の処理を繰り返す。再校正の必要がない場合には、処理を終了する。

（実施形態３）＜ソフトウエア処理＞
なお、上述した実施形態における校正器具表示装置２００、校正装置７００の一部、例えば、校正器具表示装置２００内の制御部２０１、投影画像生成部２０５、投影画像生成部２０５と校正装置７００内の制御部７０１、特徴点抽出部７０６及び校正演算部７０４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。

なお、ここでいう「コンピュータシステム」とは、校正器具表示装置２００又は校正装置７００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における校正器具表示装置２００及び校正装置７００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。校正器具表示装置２００及び校正装置７００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

１０１…表示装置、１０２…演算装置、１０３…操作指示入力装置、１０４…表示装置、１０５…演算装置、１０６…操作指示入力装置、１０７…校正対象カメラ、２００…校正器具表示装置、２０１…制御部、２０２…操作指示入力部、２０３…表示情報保持部、２０４…校正器具情報保持部、２０５…投影画像生成部、２０６…表示メモリ、２０７…表示部、４０１…校正器具、４０２…座標系、４０３…原点、４０５…座標系、５１０…ディスプレイ面、５１１…校正器具、６００…校正装置、７００…校正装置、７０１…制御部、７０２…操作指示入力部、７０３…校正器具表示情報保持部、７０４…校正演算部、７０５…撮影画像保存メモリ、７０６…特徴点抽出部、７０７…作業表示メモリ、７０８…表示装置、７０８…表示部。

Claims (15)

1. 撮影装置を校正するための校正器具を画像として表示する構成器具表示装置であって、
   仮想的な校正器具の３次元情報を保持する校正器具情報保持部と、
   該構成器具情報保持部が保持する前記校正器具の３次元情報に基づいて、前記校正器具を仮想的な３次元空間に配置し、該配置した校正器具を所定の２次元の投影面に投影して前記校正器具の投影画像を生成する投影画像生成部と、
   該投影画像生成が生成した投影画像を表示する表示部と、を備えることを特徴とする校正器具表示装置。
2. 前記校正器具情報保持部は、前記校正器具の実寸を表す座標系により前記校正器具の３次元情報を保持するとともに、前記表示部の画素構成を示す基本情報を保持し、
   前記投影画像生成部は、前記実寸を表す座標系による前記３次元情報を、前記投影面の座標に変換し、前記基本情報を使用して、前記投影面の座標を画素座標に変換することで、前記画素座標により表される前記校正器具の投影画像を前記表示部に実寸で表示することを特徴とする、請求項１に記載の校正器具表示装置。
3. 前記基本情報は、前記表示部の表示画面のサイズと画素数であることを特徴とする請求項２に記載の校正器具表示装置。
4. 前記基本情報は、前記表示部の表示画面の画素ピッチと画素数であることを特徴とする請求項２に記載の校正器具表示装置。
5. 前記投影画像生成部が変換した前記校正器具の前記投影面の座標を外部に出力することを特徴とする請求項２に記載の校正器具表示装置。
6. 撮影装置を校正するための校正器具を画像として表示する構成器具表示装置によって実行する校正器具表示方法であって、
   仮想的な校正器具の３次元情報を前記校正器具表示装置の記憶手段に保持する校正器具情報保持ステップと、
   前記記憶手段に保持した校正器具の３次元情報に基づいて、前記校正器具を仮想的な３次元空間に配置し、該配置した校正器具を所定の２次元の投影面に投影して前記校正器具の投影画像を生成する投影画像生成ステップと、
   該投影画像生成ステップで生成した投影画像を前記校正器具表示装置が備える表示部に表示する表示ステップと、を備えることを特徴とする校正器具表示方法。
7. 前記校正器具情報保持ステップは、前記校正器具の仮想的な実寸を表す座標系により前記校正器具の３次元情報を保持するとともに、前記表示部の画素構成を示す基本情報を保持し、
   前記投影画像生成ステップは、前記実寸を表す座標系による前記３次元情報を、前記投影面の座標に変換し、前記基本情報を使用して、前記投影面の座標を画素座標に変換することで、前記画素座標により表される前記校正器具の投影画像を前記表示部に実寸で表示することを特徴とする請求項６に記載の校正器具表示方法。
8. 前記基本情報は、前記表示部の表示画面のサイズと画素数であることを特徴とする請求項７に記載の校正器具表示方法。
9. 前記基本情報は、前記表示部の表示画面の画素ピッチと画素数であることを特徴とする請求項７に記載の校正器具表示方法。
10. 前記投影画像生成部が変換した前記校正器具の前記投影面の座標を外部に出力することを特徴とする請求項７に記載の校正器具表示方法。
11. 表示装置に表示された校正器具を撮影する複数の撮影装置により撮影した画像を用いて、前記撮影装置を校正する校正装置であって、
    前記表示装置から取得した前記校正器具の３次元的な座標情報を保持する校正器具表示情報保持部と、
    前記撮影装置により撮影された前記校正器具の画像と、前記校正器具表示情報保持部に保持された座標情報とから、複数の撮影装置の相対位置を算出する校正演算部とを有することを特徴とする校正装置。
12. 表示装置に表示された校正器具を撮影する複数の撮影装置により撮影した画像を用いて、前記撮影装置を校正する校正装置により実行する校正方法であって、
    前記表示装置から取得した前記校正器具の３次元的な座標情報を前記校正装置の所定の記憶部に保持する校正器具表示情報保持ステップと、
    前記撮影装置により撮影された前記校正器具の画像と、前記校正器具表示情報保持部に保持された座標情報とから、複数の撮影装置の相対位置を算出する校正演算ステップとを有することを特徴とする校正方法。
13. 請求項１〜５のいずれか１に記載の校正器具表示装置の機能をコンピュータに実現させるためのプログラム。
14. 請求項１１に記載の校正装置の機能をコンピュータに実現させるためのプログラム。
15. 請求項１〜５のいずれか１に記載の校正器具表示装置と、請求項１１に記載の校正装置とからなる校正システム。

Images