WO2018173551A1 - 較正装置、較正方法、光学装置、撮影装置および投影装置 - Google Patents

Abstract

較正装置（１）は、画像変換素子の２次元の画素座標と、ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部（８）と、取得された較正データに、２次元の画素座標の２つの座標値を、３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、パラメータを算出するパラメータ算出部（７）とを備え、画角（θ）と像高（ｙ）の射影関係が、射影の焦点距離（ｆ）を用いて、概ね射影式ｙ＝ｆＰ（θ）によって表されるとき、パラメータ算出部（７）が、取得された較正データの３次元のワールド座標を、それに等しい３次元の球座標によって、２次元の座標に変換してから、２次元の画素座標の２つの座標値を、２次元の座標の２つの座標値の関数として表したカメラモデルを当てはめて、カメラモデルのパラメータを算出する。

Description

較正装置、較正方法、光学装置、撮影装置および投影装置

　本発明は、較正装置、較正方法、光学装置、撮影装置および投影装置に関するものである。

　撮影装置や投影装置のカメラ較正を行う較正装置が知られている（例えば、特許文献１、非特許文献１および非特許文献２参照。）。
　カメラモデルには複数の未知のパラメータ（カメラパラメータ）が含まれており、較正装置によってそれらのカメラパラメータを求めておくことによって、画像の２次元座標（画素座標）に対応する実世界の主光線を数学的に得ることができる。あるいは、実世界の３次元座標（以下、ワールド座標という。）に対応する画素座標を得ることができる。なお、上記の主光線は、画素座標に対応する逆投影直線あるいは視線とも呼ばれる。

　特許文献１および非特許文献１に開示されている従来のカメラ較正について説明する。カメラ較正は、実世界の３次元座標がカメラによって撮像されて画像の２次元座標に変換される過程を表現した数学的なカメラモデルを用いて以下の手順によって行われる。
　初めに、数１を用いてワールド座標（ｘ，ｙ，ｚ）を正規化像面座標（ｕ_ｐ，ｖ_ｐ）に投影する。

　ただし、数２の回転行列Ｒおよび平行移動ベクトルＴは、ワールド座標からカメラ座標への３次元の座標変換を表している。これらはワールド座標に対するカメラの位置と姿勢を表す値であり、外部パラメータと呼ばれる。なお、数１は、全ての主光線がカメラの光学中心において交わるという想定に基づいた式である。次に、数３を用いて、正規化像面座標（ｕ_ｐ，ｖ_ｐ）に歪曲収差を加えた（ｕ_ｄ，ｖ_ｄ）を求める。

　ただし、（ｇ_１，ｇ_２，ｇ_３，ｇ_４，ｋ_１）は歪曲パラメータである。さらに、数４を用いて、歪曲収差を加えた正規化像面座標（ｕ_ｄ，ｖ_ｄ）をピクセル単位の画素座標（ｕ，ｖ）に変換する。

　このように、カメラの撮像によるワールド座標（ｘ，ｙ，ｚ）から画素座標（ｕ，ｖ）への変換を数１から数４によって表すのが標準的なカメラモデルである。
　なお、数３および数４のパラメータ（α_ｕ，α_ｖ，ｕ_０，ｖ_０，ｇ_１，ｇ_２，ｇ_３，ｇ_４，ｋ_１）は、カメラ自体の性質を表すので、内部パラメータと呼ばれる。

　歪曲パラメータは、用途によって様々に定義される。例えば、数３は、３次までの歪曲収差を考慮したモデルであるが、さらに５次、７次…という高次の項を追加したモデルも用いられる。それらの中において代表的な歪曲モデルが数５に示される非特許文献２のブラウンのモデルである。

　ブラウンのモデルでは、歪曲収差を、回転対称な動径歪曲のパラメータ（ｋ_１，ｋ_２，ｋ_３，…）および回転非対称な接線歪曲のパラメータ（ｐ_１，ｐ_２，ｐ_３，…）によって表している。
　カメラ較正では一般に、ワールド座標（ｘ，ｙ，ｚ）が既知の特徴点を複数備えた較正チャートをカメラによって撮像する。この後、画像処理によって特徴点が撮像された画素座標（ｕ，ｖ）を取得する。このようにして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す複数の測定データを得て、カメラパラメータを求めている。

特許第３７３５３４４号公報

ディジタル画像処理[改訂新版]、（ＣＧ－ＡＲＴＳ協会，２０１５）、ｐ．３０８－３１７ Ｄ．　Ｃ．　Ｂｒｏｗｎ，"Ｃｌｏｓｅ－ｒａｎｇｅ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ"，ＰｈｏｔｏＧｒａｍｍ．　Ｅｎｇ．　３７，　８５５－８６６　（１９７１）

　従来のカメラモデルによって、ワールド座標に対応する画素座標を求めるとき、以下のような課題がある。
　特許文献１および非特許文献１の較正装置では、全ての主光線がカメラの光学中心で交わるという想定に基づいたカメラモデルを用いている。しかしながら、一般には光学系は瞳収差を伴うために、全ての主光線が入射瞳上の１点では交わらない。特に、画角が大きな広角レンズを用いている場合には、瞳収差が顕著である。このため、このカメラモデルでは、ワールド座標に対応する正確な画素座標を求めることができない。

　画角が大きな広角レンズは一般に歪曲収差が大きいので、数５の高次の項が必要になる。これにより、カメラモデルのパラメータ数が増加するので、最適化が困難になる。さらに、数１のカメラモデルは透視投影に基づいているので、半画角９０°以上の広角レンズを原理的に較正することができない。

　特許文献１のカメラモデルを初めとする従来の標準的なカメラモデルは、数１から数４に示される複数の数式からなる非線形モデルであり、測定データからカメラパラメータを求める過程において、最終的に全てのカメラパラメータを繰り返し最適化する必要がある。このため、次の２つの問題が生じる。

　第１に、非線形モデルの最適化の評価関数には複数の極小値が存在する可能性があり、適切な初期値を設定しないと誤った最小値に収束する。第２に、複数のカメラパラメータの最適化演算を繰り返し行う必要があるため、膨大な計算時間が必要となる場合がある。

　本発明は上述した事情に鑑みてなされたものであって、画角が大きなカメラのカメラパラメータを短時間に精度よく求めることができ、かつワールド座標に対応する画素座標を短時間に求められる較正装置、較正方法、光学装置、撮影装置および投影装置を提供する。

　本発明の一態様は、複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間において結像関係を形成する光学系とを備える光学装置の較正装置であって、前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部と、該較正データ取得部によって取得された前記較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するパラメータ算出部とを備え、前記光学系の画角θと像高ｙのｂ射影関係が、射影の焦点距離ｆを用いて、概ね射影式ｙ＝ｆＰ（θ）によって表されるとき、前記パラメータ算出部が、前記較正データ取得部によって取得された前記較正データの３次元のワールド座標（ｘ，ｙ，ｚ）を、該ワールド座標に等しい３次元の球座標（ｒ，θ，φ）によって、２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）に変換してから、前記２次元の画素座標の２つの座標値を、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルの前記パラメータを算出する較正装置である。

　上記態様においては、前記カメラモデルが、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表してもよい。

　上記態様においては、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の関数が、２次元の平面間の結像関係を表す関数と同じ形式であってもよい。
　上記態様においては、前記カメラモデルが、前記複数の２次元ベクトル関数の線形和の各係数を、前記３次元の球座標のｒの逆数のベキ多項式によって置換した数式で表現されてもよい。

　上記態様においては、前記パラメータ算出部が、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめてもよい。
　上記態様においては、前記パラメータ算出部が、前記較正データ取得部によって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求めてもよい。

　上記態様においては、前記パラメータ算出部が、前記較正データ取得部によって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求めてもよい。

　上記態様においては、前記光学装置が、複数の前記画像変換素子および該画像変換素子と前記３次元のワールド座標空間との間で結像関係を形成する光学系を備え、前記較正データ取得部が各前記画像変換素子および前記光学系の較正データを取得し、前記パラメータ算出部が、各前記画像変換素子および前記光学系の前記較正データに、各前記カメラモデルを当てはめてもよい。

　上記態様においては、前記光学装置が撮影装置であり、前記画像変換素子が撮像素子であり、前記光学系が撮像光学系であってもよい。
　上記態様においては、前記光学装置が投影装置であり、前記画像変換素子が画像形成素子であり、前記光学系が投影光学系であってもよい。

　本発明の他の態様は、複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間において結像関係を変換する光学系とを備える光学装置の前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得するステップと、取得された前記較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するステップとを含み、前記光学系の画角θと像高ｙの射影関係が、射影の焦点距離ｆを用いて、概ね射影式ｙ＝ｆＰ（θ）によって表されるとき、前記パラメータを算出するステップが、前記較正データを取得するステップによって取得された前記較正データの３次元のワールド座標（ｘ，ｙ，ｚ）を、該ワールド座標に等しい３次元の球座標（ｒ，θ，φ）によって、２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）に変換してから、前記２次元の画素座標の２つの座標値を、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルの前記パラメータを算出する較正方法である。

　上記態様においては、前記カメラモデルが、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表してもよい。
　上記態様においては、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の関数が、２次元の平面間の結像関係を表す関数と同じ形式であってもよい。

　上記態様においては、前記カメラモデルが、前記複数の２次元ベクトル関数の線形和の各係数を、前記３次元の球座標のｒの逆数のベキ多項式によって置換した数式で表現されてもよい。
　上記態様においては、前記パラメータを算出するステップが、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめてもよい。

　上記態様においては、前記パラメータを算出するステップが、前記較正データを取得するステップによって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求めてもよい。

　上記態様においては、前記パラメータを算出するステップが、前記較正データを取得するステップによって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求めてもよい。

　本発明の他の態様は、上記いずれかの較正装置によって算出された前記パラメータが設定されたカメラモデルを搭載した光学装置である。
　上記態様においては、前記カメラモデルによって、前記画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値から求める画素座標算出部を備えていてもよい。

　上記態様においては、前記カメラモデルによって、前記ワールド座標に対応する前記画像変換素子によって取得あるいは形成された画像の画素座標を求め、歪みを補正した画像を生成する歪補正画像生成部を備えていてもよい。

　本発明の他の態様は、上記較正装置によって取得された前記回転角がパラメータとして設定されたカメラモデルを搭載した光学装置である。
　上記態様においては、前記回転角によって、前記ワールド座標を回転後のワールド座標に変換するワールド座標回転部を備えていてもよい。

　本発明の他の態様は、上記較正装置によって取得された前記平行移動成分がパラメータとして設定されたカメラモデルを搭載した光学装置である。
　上記態様においては、前記平行移動成分によって、前記ワールド座標を平行移動後のワールド座標に変換するワールド座標平行移動部を備えていてもよい。

　本発明の他の態様は、上記いずれかの光学装置からなる撮影装置である。
　本発明の他の態様は、上記いずれかの光学装置からなる投影装置である。

　本発明によれば、画角が大きなカメラのカメラパラメータを短時間に精度よく求めることができ、かつワールド座標に対応する画素座標を短時間に求めることができるという効果を奏する。

本発明の第１の実施形態に係る較正装置を模式的に示す全体構成図である。 図１の較正装置の較正チャートのパターンを示す図である。 図１の較正装置による較正方法を説明するフローチャートを示す図である。 図１の較正装置において用いられるカメラモデルの説明図であり、カメラの画素座標に対応する物体側の主光線を説明するカメラの断面を示す図である。 図１の較正装置において用いられるカメラモデルの説明図であり、各画素に対応する主光線の方向を示す図である。 歪補正のフローチャートを示す図である。 本発明の第２の実施形態に係る較正装置によってカメラを較正する手順のフローチャートを示す図である。 本発明の第３の実施形態に係る較正装置を模式的に示す平面図である。 本発明の第４の実施形態に係る較正装置を模式的に示す平面図である。

　本発明の第１の実施形態に係る較正装置およびカメラ較正方法について、図面を参照して以下に説明する。
　本実施形態に係る較正装置は、カメラ較正装置１であって、撮像した画像を所定のフォーマットの画像ファイルとして外部に転送するカメラ（撮影装置、光学装置）２を較正対象としている。本実施形態においては、光学装置の一例として、カメラ２を用いている。

　本実施形態に係るカメラ較正装置１は、図１に示されるように、較正対象であるカメラ２を固定するベース３と、該ベース３に設けられたｚ軸移動ステージ４と、該ｚ軸移動ステージ４によって移動させられる可動部５に固定された較正チャート６と、カメラ２およびｚ軸移動ステージ４に接続されたコンピュータ（パラメータ算出部）７とを備えている。カメラ較正装置１の３次元の座標軸は図１のように定義されている。較正データ取得部８は、カメラ２を固定するベース３、較正チャート６およびｚ軸移動ステージ４を備えている。較正データ取得部８は、後述する撮像素子１８の２次元の画素座標（ｕ，ｖ）と、ワールド座標空間の３次元のワールド座標（ｘ，ｙ，ｚ）との対応を示す較正データを取得する。

　ｚ軸移動ステージ４は、モータ４ａによって駆動され可動部５を直線的に移動させる直線駆動機構である。カメラ較正装置１においては、可動部５の移動方向をｚ軸とし、ｚ軸に垂直な面内の水平方向および垂直方向をｘ軸およびｙ軸と定義している。

　本実施形態において座標原点の位置はカメラレンズ９の入射瞳付近に定義されている。
　カメラ２は、光軸をｚ軸に平行に設置、かつ、撮像面の水平方向および垂直方向をｘ軸およびｙ軸に平行に設置、かつ、座標原点をカメラ２の所定の位置に一致させる目的で、ベース３に取り付けられている。

　較正チャート６は、カメラ較正において広く利用されている図２のチェスボード１０であり、ベース３に固定されたカメラ２に正対して設置される、すなわち、ｚ軸に垂直な面内に配置された状態で可動部５に固定されている。較正チャート６は複数の特徴点を備えた図表であればどのようなものでも構わない。

　較正チャート６は、ｚ軸移動ステージ４によってｚ軸方向の任意の位置に移動可能になっている。ｚ軸移動ステージ４の可動部５の移動範囲は、カメラ較正が必要な物体距離（＝カメラ２と撮像対象との距離）の範囲を包含している。

　コンピュータ７は、カメラ２の撮像を制御することによって、撮像された画像を所定のフォーマットの画像ファイルとして読み込む方式によって機能する。コンピュータ７は、ｚ軸移動ステージ４を制御することによって、較正チャート６をｚ軸方向の所定の位置に移動させる方式によって機能する。コンピュータ７は、取得された較正データにカメラモデルを当てはめてカメラパラメータを算出するパラメータ算出部としても機能する。

　ここで、図２を参照して、較正チャート６として使用されるチェスボード１０について説明する。
　チェスボード１０は、平面上に黒と白の正方形が正方格子を成す方式によって並んだ市松模様のパターンを有する平板状部材であり、各正方形の頂点に相当する交点をカメラ較正の特徴点として利用している（以下、これらの特徴点を格子点１１と呼ぶ。）。

　チェスボード１０としては、カメラ較正に十分な数の格子点１１がカメラ２の撮像範囲内に入るものが使用される。撮像されるチェスボード１０の範囲は物体距離によって変化するが、各物体距離において少なくとも１０×１０個程度の格子点１１が撮像されることが好ましい。また、撮像された格子点１１の画素座標と較正チャート６上での格子点１１のワールド座標との対応をとるために、較正チャート６の中央付近に１つの基準位置マーク１２を設けている。

　この基準位置マーク１２の右下最近傍の格子点（中央の格子点１３）がｚ軸上に位置し、同時にチェスボード１０の縦横がｘ軸およびｙ軸に対して平行になる方式によって、チェスボード１０をカメラ較正装置１に設置する。これにより、チェスボード１０の正方格子の格子間隔とｚ軸移動ステージ４の移動位置とから、各格子点１１，１３のワールド座標（ｘ，ｙ，ｚ）が既知の値として確定する。

　このように構成された本実施形態に係るカメラ較正装置１を用いたカメラ較正方法について以下に説明する。
　本実施形態に係るカメラ較正装置１を用いてカメラ２を較正するには、操作者は、初めに較正対象のカメラ２を座標軸の定義に従ってカメラ較正装置１に取り付け、コンピュータ７に接続する。この後に、コンピュータ７内部の測定プログラムを開始する。

　以下、測定プログラムによって、自動的に複数の物体距離の較正チャート６の画像がカメラ２によって撮像され、撮像された画像から格子点１１の画素座標が取得される。測定プログラムについて、図３のフローチャートを参照して説明する。

　測定が開始されると、まず、カメラ２を較正する物体距離の範囲のカメラ２に近い側の端に較正チャート６を位置させる目的で、ｚ軸移動ステージ４が移動される（ステップＳ１）。次に、カメラ２によって較正チャート６が撮像され、撮像された画像ファイルがコンピュータ７に転送される（ステップＳ２）。そして、所定回数の撮像が行われ、所定枚数の画像が取得されるまで、これらのステップＳ１，Ｓ２が繰り返される（ステップＳ３）。所定回数としては、例えば、５回以上の回数が設定されている。

　このとき、ステップＳ１では１回の繰り返しごとに、カメラ２から較正チャート６までの物体距離が所定の間隔で大きくなるという目的でｚ軸移動ステージ４によって可動部５を移動させる。可動部５の移動量は等間隔でなくてもよいが、カメラ２を較正する物体距離の範囲内において少なくとも５カ所程度の異なる物体距離において較正チャート６を撮像することが好ましい。そして、所定の撮像枚数に達したら、次のステップＳ４に進む。

　ステップＳ１からステップＳ３においてコンピュータ７に転送された複数の画像ファイルが画像処理されることにより、撮像範囲内の各格子点１１の画素座標が算出され、各画像ファイルの基準位置マーク１２の重心の画素座標が算出される（ステップＳ４）。なお、チェスボード１０の格子点１１の画素座標をサブピクセルによって求める方法は公知なので、ここでの説明は省略する。

　次いで、ステップＳ４において求めた各格子点１１の画素座標が、較正チャート６上の格子点１１のワールド座標に対応付けられる（ステップＳ５）。上述したように基準位置マーク１２の右下最近傍の中央の格子点１３はワールド座標のｚ軸上にあるので、基準位置マーク１２の右下最近傍の中央の格子点１３を基準にして各格子点１１，１３の画素座標とワールド座標とを対応付けることができる。最後に、対応付けられた全ての画素座標およびワールド座標が測定データファイルに書き出されて、測定が終了する。上記手順によってカメラパラメータの最適化に必要な測定データが得られる。

　本実施形態において用いられるカメラモデルについて図４Ａおよび図４Ｂを参照して説明する。
　図４Ａは、カメラ２の画素座標に対応する物体側の主光線１９を説明するカメラ２の断面図である。カメラ２は、撮像光学系（光学系）１４と、撮像素子（画像変換素子）１８とを備えている。

　カメラ座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）を図４Ａのように定義する。カメラ座標の原点は撮像光学系１４の入射瞳の中心４０４であり、ｚ_ｃ軸は光軸４０３に一致する。撮像素子１８の撮像面に、撮像素子１８の横方向および縦方向と平行に画素座標のｕ軸およびｖ軸を定義する。画素座標のｕ軸およびｖ軸と、カメラ座標のｘ_ｃ軸とｙ_ｃ軸はそれぞれ平行である。本実施形態において、ワールド座標とカメラ座標はほぼ一致している。図４Ａには、撮像光学系１４を通して撮像素子１８の各画素の中央に入射する物体側の主光線１９が描かれている。

　主光線１９とは、撮像光学系１４の開口絞り（図示省略）の中心を通る光線である。このため、主光線１９上の物点２２に対応する撮像素子１８上のボケ像は、主光線１９と撮像素子１８の交点（図示省略）を中心に広がるので、ボケた像点の光強度の重心を取って像位置とするならば、像点の位置は変わらない。したがって、物体側の主光線１９上にある全ての物点２２は、１つの像点に結像する。言い換えると、物体側の主光線１９は像点の逆投影直線である。

　主光線１９の方向とこれに対応する像位置の関係は、射影式によって表される。例えば、撮像光学系１４が中心射影によって設計されているとき、物体側の主光線１９の画角θとこれに対応する像点の高さｙは、ｙ＝ｆｔａｎθの関係にある。ただし、ｆは、射影の焦点距離である。これ以外の代表的な射影式として、等距離射影ｙ＝ｆθ、等立体角射影ｙ＝２ｆｓｉｎ（θ／２）、立体射影ｙ＝２ｆｔａｎ（θ／２）、正射影ｙ＝ｆｓｉｎθなどがある。

　これらの射影式はカメラ２の使用目的によって選択される。例えば、等立体角射影は物体側の立体角、すなわち見かけの大きさが像の面積として保存される。したがって、全天の雲量の割合を計測するような用途に適している。他の射影式にも各々特長がある。

　一方、一般的な写真撮影用の撮像光学系１４は必ずしも上記の特定の射影式に依拠していない。上記の特定の射影式を含む、任意の射影式をｙ＝ｆＰ（θ）と表すことにする。P（θ）は画角θの関数であり、例えば、等距離射影のときＰ（θ）＝θ、等立体角射影のときＰ（θ）＝２ｓｉｎ（θ／２）である。一般に任意の射影式を数６のベキ多項式の係数ｃ_３、ｃ_５、…によって指定することができる。

　次に、瞳収差について説明する。開口絞りを開口絞りよりも物体側の光学系によって結像した仮想的な開口が入射瞳である。図４Ａに示されるように、物体側の主光線群は入射瞳の中心４０４付近を通過するが、開口絞りの場合と異なり、入射瞳の中心４０４の１点では交わらない。

　開口絞りと入射瞳の結像関係に光学系の収差が介在するからである。これが瞳収差である。したがって、カメラ座標に対応する画素座標を規定するためには、主光線１９の方向と瞳収差による主光線１９の移動を適切にモデル化する必要がある。

　このような状況に適合する目的で作成した、本発明のカメラモデルを説明する。初めに、画素座標と主光線１９の方向の関係を図４Ｂにおいて説明する。なお、これ以降、各画素が正方格子状に並んだ撮像素子１８を例に説明するが、本実施形態はこれに限定されるものではない。

　球座標によって表したカメラ座標（ｒ，θ，φ）を新たに導入する。この極角θは主光線１９と光軸４０３がなす角、すなわち、画角に等しい。方位角φは光軸４０３回りの方向を表す角度である。直交座標のカメラ座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）との関係は数７によって表される。

　撮像光学系１４が射影式ｙ＝ｆＰ（θ）によって設計されているとき、撮像素子１８上の各画素に対応する主光線１９の方向をＰ（θ）ｃｏｓφ－Ｐ（θ）ｓｉｎφ平面４１１にプロットすると、画素の配列と相似な正方格子４１２に並ぶ。しかし、実際の撮像光学系１４には製造誤差があるので、主光線１９の方向は正方格子４１２と異なる方向４１３に変位する。

　本発明は、設計どおりの正方格子４１２から実際の方向４１３への変位を、歪曲収差による像位置の歪みと同様の現象と捉える。すなわち、撮像素子１８上の画素座標（ｕ，ｖ）に対応する主光線１９の方向（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）は、歪曲モデルによって表される、と想定する。このモデルは両者を入れ替えても成立するはずである。従って、本実施形態では、数５のブラウンのモデルを基に、主光線１９の方向（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）に対応する画素座標（ｕ，ｖ）を、数８によってモデル化する。

　数５のブラウンのモデルから数８の画素座標のモデルへの変更箇所は次のとおりである。
（１）横倍率に相当する係数ｋ_０の項を追加した。
（２）３次の動径歪曲ｋ_１と２次の接線歪曲（ｐ_１，ｐ_２）のみを考慮した。

　次に、図４Ａにおいて、主光線１９と平行であり、入射瞳の中心４０４を通る仮想の主光線１９’を考える。物体距離ｒが無限遠の極限では、主光線１９上の物点２２と仮想の主光線１９’上の物点２２’は同じ像点に結像する。なぜなら、撮像素子１８上の有効な撮像範囲に対応する物体側の撮像範囲の球面４０５も無限大に広がるので、これと比較して、主光線１９と仮想の主光線１９’の距離は無視できるからである。

　物体距離ｒが有限になると、主光線１９上の物点２２と仮想の主光線１９’上の物点２２’にそれぞれ対応する像点の位置は一致しなくなる。この乖離は画素座標において近似的に、物体距離ｒに反比例する。なぜなら、主光線１９と仮想の主光線１９’の距離（物点２２と物点２２’の距離に等しい）は、物体距離に関わらず一定である。一方、物体側の有効な撮像範囲の球面４０５上の長さは近似的に、物体距離ｒに比例することによって増加するからである。
　以上の考察によって、数８の各係数を物体距離ｒの逆数のベキ多項式によって置き換えて、数９の本実施形態のカメラモデルを得る。

　物体距離ｒの逆数のベキ多項式の定数項ｋ_００，ｋ_１０，ｐ_１０，ｐ_２０は、物体距離ｒが無限遠の極限では、主光線１９上の物点２２と仮想の１９’上の物点２２’は同じ像点に結像することを表す。物体距離ｒの逆数の係数ｋ_０１，ｋ_１１，ｐ_１１，ｐ_２１は、両者の像点の乖離が物体距離ｒに反比例することを表す。

　モデルの精度を向上するために、物体距離ｒの逆数の２乗以上の項を用いることもできる。逆に、瞳収差を無視できるときは、定数項ｋ_００，ｋ_１０，ｐ_１０，ｐ_２０のみを残した数９のカメラモデル（数８に等しい）を用いることもできる。

　このように、数９に示される本実施形態のカメラ較正装置１に用いられるカメラモデルは、ワールド座標に対応する画素座標を直接モデル化したものである。ワールド座標は、数６の射影式と数７の球座標によって変換された座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の形によってカメラモデルに含まれる。

　このカメラモデルは、共役な２つの平面間の結像関係を表す数５の線形モデルを基に構築される。このカメラモデルは、線形モデルの各係数を距離ｒの逆数の多項式によって置き換えた形になっているという特徴がある。

　本実施形態のカメラ較正装置１に用いられる数９のカメラモデルのもう１つの特徴は、変数（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ，ｒ）からなる線形独立な２次元の基底関数ベクトル（２次元ベクトル関数）の線形和によって画素座標ベクトル（ｕ，ｖ）を表すことにある。基底関数ベクトルの線形和なので、ｕ座標とｖ座標とを表すモデルの係数は共通である。このため、各基底関数ベクトルの係数を全ての測定データから線形の最小二乗法によって求めることができる。

　次に、本実施形態のカメラ較正装置１によってカメラ２を較正する手順を説明する。図３に示される上記測定プログラムにおいて、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データを求める。次に、数７および数８によって、ワールド座標（ｘ，ｙ，ｚ）を（ξ′，η′，ｒ）に変換する。

　独立変数（ξ′，η′，ｒ）と従属変数（ｕ，ｖ）の数９に示されるカメラモデルを、全ての格子点１１，１３の測定データに線形の最小二乗法を用いて当てはめて、数９のカメラモデルの各係数（カメラパラメータ）を求める。本実施形態のカメラ較正はこれで終了する。

　本実施形態において求めたカメラパラメータが設定されたカメラモデルを、カメラモデルを搭載したカメラ２を含む撮影装置において次のように使うことができる。撮影装置は、３次元のワールド座標から２次元の画素座標を算出する画素座標算出部（図示省略）と、歪みを補正した画像を生成する歪補正画像生成部（図示省略）とをさらに備えている。

　第１に、ワールド座標（ｘ，ｙ，ｚ）に対応する画素座標（ｕ，ｖ）を求めるときは、画素座標算出部において、数７および数８によって、ワールド座標（ｘ，ｙ，ｚ）を（ξ′，η′，ｒ）に変換してから、変換されたこれらを数９に示されるカメラモデルに代入することによって、目的の画素座標（ｕ，ｖ）を求めることができる。

　第２に、較正されたカメラ２によって撮像した画像の歪みを歪補正画像生成部によって補正することができる。以下にその方法を説明する。
　ワールド座標によって表される物体は、カメラ２によって撮像されて歪んだ画像になる。逆に、得られた画像をワールド座標に逆投影すれば、歪みを補正することができる。既知の物体距離ｚの平面上にある物体を撮像したときは、画素座標（ｕ，ｖ）を物体距離ｚの平面上のワールド座標（ｘ，ｙ）に逆投影すればよい。

　物体距離ｚの平面上にない物体を撮像した画像では、歪補正の基準物体距離を定義することによって、物体距離ｚのワールド座標（ｘ，ｙ）に逆投影する。物体距離による歪曲収差の変化が小さければ、このような歪補正で十分である。ワールド座標に逆投影すると、画像が拡大あるいは縮小してしまう。

　逆投影したワールド座標を数９のカメラモデルの横倍率ｋ_０’の逆数、即ち画素座標からワールド座標への横倍率によって規格化する。これにより、元の画像とほぼ等倍の歪補正画像を得ることができる。

　歪補正画像の作成は、歪補正後の画像の画素座標（整数）に対応する元の画像の画素値を、歪補正後の画素座標の画素値に代入する一連の手続きである。この手順を図５のフローチャートを参照して説明する。歪補正が開始されると、最初の歪補正後の画素座標（ｕ_ｃ，ｖ_ｃ）が決定される（ステップＳ１１）。

　次に、最初の歪補正後の画素座標（ｕ_ｃ，ｖ_ｃ）に、基準物体距離ｚにおける数９のカメラモデルの横倍率ｋ_０’の逆数を乗じて、ワールド座標（ｘ，ｙ）を求める（ステップＳ１２）。このワールド座標（ｘ，ｙ，ｚ）を数７および数８によって（ξ′，η′，ｒ）に変換してから、変換されたこれらを数９のカメラモデルに代入することによって、歪補正前の画素座標（ｕ，ｖ）を求める（ステップＳ１３）。

　歪補正前の画素座標（ｕ，ｖ）は一般に非整数である。画素座標に近接する４つの画素の画素値からバイリニア補間によって画素座標（ｕ，ｖ）の画素値を求める。求めた画素値を歪補正後の画素座標（ｕ_ｃ，ｖ_ｃ）の画素値とする（ステップＳ１４）。
　なお、画素値の補間にはバイキュービック補間などの他の手法を採用してもよい。全ての歪補正後の画素座標（ｕ_ｃ，ｖ_ｃ）について、上記ステップＳ１１からステップＳ１４を所定回数繰り返し（ステップＳ１５）、所定回数繰り返した後、歪補正を終了する。

　上記の歪補正では、物体距離ｚの平面を基準とする一例を説明したが、これ以外のワールド座標空間の平面あるいは曲面を基準として歪補正を実施する方式に変更することもできる。例えば、等距離射影を意図して設計されたカメラ２によって撮像した画像は、カメラ２の製造誤差などによって、必ずしも正確な等距離射影の画像にならないことがある。この場合、等距離射影の射影式ｙ＝ｆθに基づいて、画素座標と基準半径の球面上のワールド座標との対応を規定し、これに基づいて上記と同様の手順を用いて歪補正を実施すれば、意図した等距離射影の画像になる方式に歪補正することができる。他の射影方式でも同様である。

　上述した第１および第２のカメラモデルの利用例では、ワールド座標に対応する画素座標を数９のカメラモデルでその度に計算した。一方、ワールド座標に対応する画素座標を予め計算してからデータ配列として保持しておくことによって、計算の高速化を図ることもできる。

　本実施形態では、平面のチェスボード１０上に正方格子状に並んだ格子点１１，１３の測定データを用いてカメラ較正を実施した。較正チャート６上の特徴点は、格子点１１，１３以外のパターンでもよい。

　例えば、平面上に分布したドットマークを撮像することによって、重心位置を画素座標とするような測定データの作成方法でもよい。本発明のカメラ較正において用いる特徴点は、ワールド座標空間に規則的に配列されている必要もない。特徴点の配置がランダムであっても、ワールド座標と画素座標との対応を測定あるいはシミュレーション等によって知ることができれば、ワールド座標および画素座標に本発明のカメラモデルを当てはめることができる。

　このように、本実施形態のカメラ較正の測定データに要求される条件は、ワールド座標と画素座標との対応が明らかになっていることのみである。このような測定データは、例えば、次のような方法でも取得可能である。まず、ワールド座標側にｘ，ｙ，ｚ軸方向に移動可能な点光源を用意する。用意された点光源をカメラ２によって撮像した画像の注目する画素座標に点光源の像を位置させる方式を用いて、点光源をｘ，ｙ，ｚ軸方向に移動する。このような測定を繰り返すことによってもワールド座標と画素座標との対応を求めることができる。

　あるいは、カメラ２の画角が大きいために、１枚の較正チャート６によって全画角を包含することができないときは、較正チャート６を複数の画角に設置することによって、カメラ２の全画角を包含してもよい。このときも、較正チャート６上の特徴点のワールド座標と画素座標との対応が明らかであれば、本実施形態のカメラ較正方法を適用することができる。

　本実施形態では、３次の動径歪曲と２次の接線歪曲のみを考慮したカメラモデルを採用した。歪曲収差がさらに大きいカメラ２を較正するときは、より高次の歪曲収差または回転非対称の歪曲の項を追加したカメラモデルを採用することができる。

　カメラモデルから不要な項を省略することもできる。例えば、回転非対称な歪曲成分が常に無視できるほど小さいカメラ２を較正するときは、カメラモデルの接線歪曲の項を省略した方がよい。これにより、格子点１１の測定誤差によって、カメラモデルが無意味に変形することによって不正確になることを防止できる。他の項についても同様である。

　このように、本実施形態に係るカメラ較正装置１およびカメラ較正方法によれば、本実施形態のカメラモデルによって、撮像光学系１４の瞳収差を的確にモデル化することができる。
回転非対称な歪曲収差と瞳収差もモデル化できる。これにより、ワールド座標に対応する画素座標を正確に表現でき、カメラモデルの精度を向上させることができる。

　本実施形態のカメラ較正装置１およびカメラ較正方法は、較正対象のカメラ２の射影式に基づいたカメラモデルを使用するので、モデルに必要な最大次数を抑制することができる。同時に、従来例と異なり、半画角９０°以上のカメラ２も較正することができる。

　本実施形態のカメラ較正装置１およびカメラ較正方法は、線形のカメラモデルを使用するので、線形の最小二乗法を用いて測定データに当てはめることができる。したがって、従来例と異なり、最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。

　本実施形態のカメラ較正装置１およびカメラ較正方法に用いる特徴点は規則的に配列している必要がない。したがって、ワールド座標と画素座標との対応さえ明確にできれば、較正されるカメラ２に適した任意の測定あるいは計算による取得方法を選択することが可能になる。

　次に、本発明の第２の実施形態に係るカメラ較正方法について、以下に説明する。
　本実施形態に係るカメラ較正方法には、カメラ較正装置１として、回転角によって、ワールド座標を回転後のワールド座標に変換するワールド座標回転部（図示省略）と、平行移動成分によって、ワールド座標を平行移動後のワールド座標に変換するワールド座標平行移動部（図示省略）とを備えるものが用いられる。
　第１の実施形態においては、図１のように較正されるカメラ２の入射瞳がワールド座標の原点とほぼ一致し、かつ光軸がカメラ較正装置１のｚ軸と平行であり、撮像面の水平方向と垂直方向がｘ軸およびｙ軸と平行であるときのカメラ較正の方法を説明した。本実施形態では、条件を満たさないとき、すなわちワールド座標とカメラ座標が一致しないときのカメラ較正の方法を説明する。

　第１の実施形態で使用したカメラモデルは、較正対象のカメラ２の撮像光学系１４の入射瞳の中心４０４を原点としたカメラ座標によって成立している。したがって、図１のカメラ較正装置１における較正チャート６上の格子点１１のワールド座標をカメラ座標に変換すると、上記のカメラモデルが当てはまる。ワールド座標（ｘ，ｙ，ｚ）からカメラ座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）への変換は、数２の３軸の回転行列Ｒと平行移動ベクトルＴにより、数１０によって表される。

　そこで、第２の実施形態では、測定した複数の格子点１１のワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データのうち、ワールド座標のみを、数１０においてカメラ座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に変換してから、第１の実施形態のカメラモデルを当てはめる。

　そして、残差が最小になるという目的で、回転行列Ｒの３軸の回転角θ_ｘ，θ_ｙ，θ_ｚと平行移動ベクトルＴの３つの成分（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を最適化する。一般に、数１０において変換したワールド座標がカメラ座標と一致したとき、カメラモデルの残差が最小になる。

　次に、第２の実施形態に係るカメラ較正方法を用いてカメラ２を較正する手順を、図６を参照して説明する。第１の実施形態と同様にして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す測定データを取得する（ステップＳ２２）。

　次に、数１０に含まれる回転角θ_ｘ，θ_ｙ，θ_ｚと平行移動成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚとを初期化する（ステップＳ２３）。回転角θ_ｘ，θ_ｙ，θ_ｚおよび平行移動成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚの初期値はゼロでよい。あるいは、何らかの方法を用いてカメラ２の回転角と平行移動を推定できるときは、推定結果を初期値にしてもよい。

　次に、測定データのワールド座標（ｘ，ｙ，ｚ）を、数１０によってカメラ座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に変換する（ステップＳ２４）。変換されたカメラ座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）を、数７および数８によって、（ξ′，η′，ｒ）に変換する（ステップＳ２５）。測定データのすべての画素座標（ｕ，ｖ）と変換された座標（ξ′，η′，ｒ）に、数９のカメラモデルを線形の最小二乗法を用いて当てはめる（ステップＳ２６）。このときの残差の標準偏差が所定の値よりも小さいときには、終了する（ステップＳ２７）。残差の標準偏差が所定の値以上のときには、回転角θ_ｘ，θ_ｙ，θ_ｚと平行移動成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚとの更新（ステップＳ２８）を経て、ステップＳ２４に戻る（ステップＳ２７）。

　この繰り返し最適化は、滑降シンプレックス法などの一般的な最適化アルゴリズムによって実行される。評価関数である残差が最小値に収束したときの回転角θ_ｘ，θ_ｙ，θ_ｚと平行移動成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚとが最適な回転角と平行移動である。以上のように、最適な回転角θ_ｘ，θ_ｙ，θ_ｚ、平行移動成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚと回転角と平行移動におけるカメラモデルの各係数を取得してから、カメラ較正を終了する。

　本実施形態に係るカメラ較正方法を用いて求めたカメラパラメータが設定されたカメラモデルを、カメラモデルを搭載したカメラ２を含む撮影装置において第１の実施形態と同様に利用することができる。この場合、ワールド座標を数１０によってカメラ座標に変換してから、変換されたカメラ座標を数９のカメラモデルに代入して画素座標を求める。

　本実施形態では、３つの回転角θ_ｘ，θ_ｙ，θ_ｚと３つの平行移動の成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚとを最適化した。最適化された回転角θ_ｘ，θ_ｙ，θ_ｚおよび平行移動の成分ｔ_ｘ，ｔ_ｙ，ｔ_ｚの中のいくつかが既知のときは、それらを既知の値を用いて固定することによって、最適化パラメータから外してもよい。このときは、残りの未知の１つあるいは複数のパラメータのみを最適化すればよい。このようにすると最適化パラメータの数が減るので、計算時間を短縮することができる。

　なお、３次元座標の３つの回転角の定義には任意性がある。本実施形態ではｘ，ｙ，ｚ軸回りの回転角という定義を採用して説明した。これ以外の定義であっても本発明を適用できることは言うまでもない。

　このように、本実施形態に係るカメラ較正方法によれば、ワールド座標とカメラ座標とが一致していない場合でも、高精度なカメラモデルを取得することができる。歪曲収差などの多くのカメラパラメータが必要な場合でも、繰り返し最適化のパラメータ数は回転角と平行移動との６つ以下の成分に限定されるので、カメラモデルの最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。

　次に、本発明の第３の実施の形態に係るカメラ較正装置３２およびカメラ較正方法について、図面を参照して以下に説明する。本実施形態に係るカメラ較正装置３２は、多視点カメラの較正に適用するものである。以下、３台からなる多視点のカメラ３３，３４，３５の較正を例示して説明するが、これ以外の台数のカメラの較正にも適用できる。

　本実施形態に係るカメラ較正装置３２においては、図７に示されるように、較正対象の３台のカメラ（光学装置）３３，３４，３５が、多視点カメラの使用条件と同じ位置に配置されてカメラ固定台３６に固定される。各々のカメラ３３，３４，３５が較正チャート６を撮像できる方式で、カメラ固定台３６がカメラ較正装置３２に取り付けられる。較正チャート６とｚ軸移動ステージ４、コンピュータ７など、これ以外の構成は図１と同様であり、説明を省略する。

　このように構成された本実施形態に係るカメラ較正装置３２の作用について、以下に説明する。本実施形態に係るカメラ較正装置３２の動作は、第１の実施形態に係るカメラ較正装置１と同様である。図３のフローチャートの測定プログラムによって、自動的に複数の物体距離の較正チャート６の画像がカメラ３３，３４，３５によって撮像され、撮像された画像から較正チャート６の格子点１１の画素座標が取得される。ただし、図３のフローチャートのステップＳ２，Ｓ４，Ｓ５は３台のカメラ３３，３４，３５に対してそれぞれ実行される。

　続いて、各カメラ３３，３４，３５の上記の測定データから、各カメラ３３，３４，３５のカメラモデルを求める。この手順は、第１あるいは第２の実施形態と同様である。
　本実施形態に係るカメラ較正装置３２において求めたカメラパラメータを設定した各カメラモデルを、各カメラモデルを搭載した各カメラ３３，３４，３５を含む撮影装置において第１および第２の実施形態と同様に利用することができる。

　なお、多視点の各カメラ３３，３４，３５の測定データを必ずしも同時に測定する必要は無い。例えば、図３のフローチャートの測定プログラムを各カメラ３３，３４，３５に対して個別に順次、実行してもよい。各カメラ３３，３４，３５の測定データを測定するときに、較正チャート６を測定対象の各カメラ３３，３４，３５に正対させるという目的でｚ軸移動ステージ４の設置位置をカメラ較正装置３２上で変更してもよい。

　ｚ軸移動ステージ４の設置位置の変更量を把握することによって、把握された変更量を較正チャート６の格子点１１のワールド座標に反映した測定データを作成する必要がある。このようなカメラ較正方法は、多視点カメラ３３，３４，３５が観察領域を取り囲む方式で配置されているために、１方向に固定された較正チャート６を撮像できないカメラが存在する場合に有効である。

　このように本実施形態に係るカメラ較正装置３２およびカメラ較正方法によれば、多視点カメラ３３，３４，３５を使用条件と同じ位置に配置してカメラ較正できる。１つの共通なワールド座標に対応する各カメラ３３，３４，３５の画素座標を求めることができる。

　次に、本発明の第４の実施形態に係る較正装置について、図８を参照して以下に説明する。本実施形態に係る較正装置は、プロジェクタ較正装置３７であって、プロジェクタ較正装置３７の内部に液晶素子などの画像形成素子（画像変換素子：図示省略）と、投影光学系（光学系：図示省略）とを備えており、画像を外部へ投影するプロジェクタ（投影装置）３８を較正するための装置である。本実施形態においては、光学装置の一例として、プロジェクタ３８を用いている。

　プロジェクタ較正装置３７は、較正対象のプロジェクタ３８を固定するベース３９と、該ベース３９に設けられたｚ軸移動ステージ４と、該ｚ軸移動ステージ４の可動部５に固定された較正チャート６と、プロジェクタ３８と隣接する位置に配置され、較正チャート６の像を撮影するカメラ２とを備えている。カメラ２とプロジェクタ３８とは、カメラ２およびプロジェクタ３８の光軸をプロジェクタ較正装置３７のｚ軸に平行に設置、かつ、プロジェクタ３８の所定の位置を座標原点と一致させて設置することによって、プロジェクタ較正装置３７に取り付けられるようになっている。

　なお、カメラ２の撮像範囲はプロジェクタ３８の画像投影範囲を包含していることが好ましい。較正チャート６とｚ軸移動ステージ４、コンピュータ７など、これ以外の構成は図１と同様である。本実施形態において使用される較正チャート６としては、図２のチェスボード１０と無地のスクリーンとを交換可能になっている。コンピュータ７は、プロジェクタ３８を制御することによって、所定の画像をプロジェクタ３８に投影させる機能を併せ持っている。

　このように構成された本実施形態に係るプロジェクタ較正装置３７を用いてプロジェクタ３８を較正するには、図２のチェスボード１０を較正チャート６として設置した状態で、カメラ２を較正する。この手順は第１あるいは第２の実施形態と同様である。

　続いて、較正チャート６を無地のスクリーンに交換する。そして、プロジェクタ３８から、投影光学系を通すことによって図２のチェスボード１０のパターンを較正チャート６に投影する。このとき、プロジェクタ３８内部の画像形成素子（図示省略）上において定義される画素座標において、チェスボード１０の各格子点１１，１３の画素座標は既知である。

　この状態で、第１の実施形態と同様に、図３のフローチャートの測定プログラムによって、自動的に複数の物体距離においてチェスボード１０のパターンが投影された較正チャート６の画像がカメラ２によって撮像され、撮像された画像からチェスボード１０のパターンの格子点１１の画素座標が取得される。

　この後に、取得された画素座標（ｕ，ｖ）と較正チャート６の物体距離ｚとから、上記の手順によって較正されたカメラ２のカメラモデルによって、較正チャート６上に投影されたチェスボード１０のパターンの格子点１１のワールド座標（ｘ，ｙ）を求める。なお、本発明の第１あるいは第２の実施形態によるカメラ２のカメラモデルは、ワールド座標（ｘ，ｙ，ｚ）から画素座標（ｕ，ｖ）を求める形式である。従って、取得された画素座標（ｕ，ｖ）と物体距離ｚからワールド座標（ｘ，ｙ）を求めるには繰り返し最適化が必要である。この方法は公知なので、ここでの説明は省略する。

　以上の手順によって、プロジェクタ３８の画素座標（ｕ，ｖ）とワールド座標（ｘ，ｙ，ｚ）との対応を表す測定データが得られる。得られた測定データから、プロジェクタ３８のカメラパラメータを求める方法は第１あるいは第２の実施形態と同様である。

　このようにして求められたプロジェクタ３８のカメラパラメータを設定したカメラモデルを、カメラモデルを搭載したプロジェクタ３８において第１および第２の実施形態と同様に利用することができる。
　特に、歪みが無い画像を投影したいときは、プロジェクタ３８の画像形成素子によって形成する画像に、投影によって生じる歪みを相殺するような画像歪みを予め加えておけばよい。歪補正画像の画素座標を求める手順は、図５に示される第１の実施形態のフローチャートと同様である。

　なお、プロジェクタ３８によって投影するパターンはチェスボード１０に限らない。カメラ２によって撮像した画像から特徴点の画素座標を算出できる、ドットマークなどのパターンも適用可能である。あるいは、プロジェクタ３８の離散した各画素を点灯する方法でもよい。

　また、本実施形態では、プロジェクタ３８によって投影された特徴点のワールド座標（ｘ，ｙ）を、予め較正したカメラ２によって測定した。測定結果は、較正チャート６の代わりに撮像素子１８を設置する。そして、投影されたパターンを直接撮像する、という方法でも実現可能である。ワールド座標と画素座標の対応さえ明確にできれば、これ以外の取得方法も選択可能である。
　このように、本実施形態に係るプロジェクタ較正装置３７によれば、プロジェクタ３８をカメラモデルによって較正することができる。

　本発明の第１から第４の実施形態において、カメラ２，３３，３４，３５あるいはプロジェクタ３８は屈折光学系に限定されない。反射屈折光学系であっても、反射に伴う座標系の反転などの変換を考慮すれば、本発明を適用できることは自明である。
　カメラ２，３３，３４，３５あるいはプロジェクタ３８のフォーカス、ズーム、絞りなどの設定変更にそれぞれ対応した、複数のカメラ較正を実施することにしてもよい。カメラモデルを補間することによって、任意の設定に対応したカメラモデルを求めることにしてもよい。

　光源の複数の波長の下において、カメラ較正を実施することにしてもよい。波長別の画像を撮影するカメラによって、波長別のカメラモデルを使用することにしてもよい。
　本発明の第１から第４の実施形態に記載の光学装置２，３３，３４，３５，３８において、画像変換素子の一例として、撮像素子１８または画像形成素子を用いたが、これに限られるものではなく、画像と映像信号とを相互に変換するものであればよい。

　１，３２　カメラ較正装置（較正装置）
　２，３３，３４，３５　カメラ（撮影装置、光学装置）
　７　コンピュータ（パラメータ算出部）
　８　較正データ取得部
　１４　撮像光学系（光学系）
　１８　撮像素子（画像変換素子）
　３７　プロジェクタ較正装置（較正装置）
　３８　プロジェクタ（投影装置、光学装置）

Claims (26)

1. 　複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間において結像関係を形成する光学系とを備える光学装置の較正装置であって、
   　前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部と、
   　該較正データ取得部によって取得された前記較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するパラメータ算出部とを備え、
   　前記光学系の画角θと像高ｙの射影関係が、射影の焦点距離ｆを用いて、概ね射影式ｙ＝ｆＰ（θ）によって表されるとき、
   　前記パラメータ算出部が、
   　前記較正データ取得部によって取得された前記較正データの３次元のワールド座標（ｘ，ｙ，ｚ）を、該ワールド座標に等しい３次元の球座標（ｒ，θ，φ）によって、２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）に変換してから、
   　前記２次元の画素座標の２つの座標値を、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルの前記パラメータを算出する較正装置。
2. 　前記カメラモデルが、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表す請求項１に記載の較正装置。
3. 　前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の関数が、２次元の平面間の結像関係を表す関数と同じ形式である請求項２に記載の較正装置。
4. 　前記カメラモデルが、前記複数の２次元ベクトル関数の線形和の各係数を、前記３次元の球座標のｒの逆数のベキ多項式によって置換した数式で表現される請求項２に記載の較正装置。
5. 　前記パラメータ算出部が、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめる請求項１から請求項４のいずれかに記載の較正装置。
6. 　前記パラメータ算出部が、前記較正データ取得部によって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求める請求項１に記載の較正装置。
7. 　前記パラメータ算出部が、前記較正データ取得部によって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求める請求項１に記載の較正装置。
8. 　前記光学装置が、複数の前記画像変換素子および該画像変換素子と前記３次元のワールド座標空間との間で結像関係を形成する光学系を備え、
   　前記較正データ取得部が各前記画像変換素子および前記光学系の較正データを取得し、
   　前記パラメータ算出部が、各前記画像変換素子および前記光学系の前記較正データに、各前記カメラモデルを当てはめる請求項１から請求項７のいずれかに記載の較正装置。
9. 　前記光学装置が撮影装置であり、
   　前記画像変換素子が撮像素子であり、
   　前記光学系が撮像光学系である請求項１から請求項８のいずれかに記載の較正装置。
10. 　前記光学装置が投影装置であり、
    　前記画像変換素子が画像形成素子であり、
    　前記光学系が投影光学系である請求項１から請求項８のいずれかに記載の較正装置。
11. 　複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間において結像関係を変換する光学系とを備える光学装置の前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得するステップと、
    　取得された前記較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するステップとを含み、
    　前記光学系の画角θと像高ｙの射影関係が、射影の焦点距離ｆを用いて、概ね射影式ｙ＝ｆＰ（θ）によって表されるとき、
    　前記パラメータを算出するステップが、
    　前記較正データを取得するステップによって取得された前記較正データの３次元のワールド座標（ｘ，ｙ，ｚ）を、該ワールド座標に等しい３次元の球座標（ｒ，θ，φ）によって、２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）に変換してから、前記２次元の画素座標の２つの座標値を、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルの前記パラメータを算出する較正方法。
12. 　前記カメラモデルが、前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表す請求項１１に記載の較正方法。
13. 　前記２次元の座標（Ｐ（θ）ｃｏｓφ，Ｐ（θ）ｓｉｎφ）の関数が、２次元の平面間の結像関係を表す関数と同じ形式である請求項１２に記載の較正方法。
14. 　前記カメラモデルが、前記複数の２次元ベクトル関数の線形和の各係数を、前記３次元の球座標のｒの逆数のベキ多項式によって置換した数式で表現される請求項１２に記載の較正方法。
15. 　前記パラメータを算出するステップが、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめる請求項１１から請求項１４のいずれかに記載の較正方法。
16. 　前記パラメータを算出するステップが、前記較正データを取得するステップによって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求める請求項１１に記載の較正方法。
17. 　前記パラメータを算出するステップが、前記較正データを取得するステップによって取得された前記較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求める請求項１１または請求項１６に記載の較正方法。
18. 　請求項１から請求項１０のいずれかに記載の較正装置によって算出された前記パラメータが設定されたカメラモデルを搭載した光学装置。
19. 　前記カメラモデルによって、前記画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値から求める画素座標算出部を備える請求項１８に記載の光学装置。
20. 　前記カメラモデルによって、前記ワールド座標に対応する前記画像変換素子によって取得あるいは形成された画像の画素座標を求め、歪みを補正した画像を生成する歪補正画像生成部を備える請求項１８に記載の光学装置。
21. 　請求項６に記載の較正装置によって取得された前記回転角がパラメータとして設定されたカメラモデルを搭載した光学装置。
22. 　前記回転角によって、前記ワールド座標を回転後のワールド座標に変換するワールド座標回転部を備える請求項２１に記載の光学装置。
23. 　請求項７に記載の較正装置によって取得された前記平行移動成分がパラメータとして設定されたカメラモデルを搭載した光学装置。
24. 　前記平行移動成分によって、前記ワールド座標を平行移動後のワールド座標に変換するワールド座標平行移動部を備える請求項２３記載の光学装置。
25. 　請求項１８から請求項２４のいずれかに記載の光学装置からなる撮影装置。
26. 　請求項１８から請求項２４のいずれかに記載の光学装置からなる投影装置。

Images