JP2011070579A - 撮影画像表示装置 - Google Patents

Abstract

【課題】観察方向が定まっている被写体について、当該方向から観察した二次元画像を自動生成して表示する。
【解決手段】同一被写体を撮影点Ｑ１，Ｑ２からカメラで撮影し、撮影画像Ｐ１，Ｐ２を得る。画像Ｐ１を解析して、被写体上で着目対象となる基準平面Ｒを認識し、画像Ｐ１上で、基準平面Ｒ上の４点Ｓ３１〜Ｓ３４に対応する点Ｓ１１〜Ｓ１４を求める。両画像Ｐ１，Ｐ２の特徴を比較し、画像Ｐ２上で点Ｓ１１〜Ｓ１４に対応する点Ｓ２１〜Ｓ２４を求める。画像Ｐ１，Ｐ２上の８個の点Ｓ１１〜Ｓ２４と、カメラの設置位置・向きの情報から、基準平面Ｒ上の点Ｓ３１〜Ｓ３４の三次元座標値を求める。各点Ｓ１１〜Ｓ２４と各点Ｐ３１〜Ｓ３４との座標値に基づき、ｘｙ座標系上の画像Ｐ１，Ｐ２をｕｖ座標系上の画像に変換する変換式を導出し、当該式を用いて、ｕｖ座標系上に画像Ｐ１，Ｐ２の変換像を求め、これらを合成して表示画像を得る。
【選択図】図６

Description

本発明は、撮影画像表示装置に関し、特に、複数のカメラを用いて、それぞれ異なる方向から撮影した被写体の撮影像に基づいて、当該被写体を所定の仮想方向から観察した画像を生成して表示する撮影画像表示装置に関する。

複数のカメラを用いて、同一の被写体をそれぞれ異なる方向から撮影すれば、それぞれ異なる二次元撮影画像を得ることができる。このように、三次元空間において、同一の対象物を異なる方向から観察した場合に得られる撮影画像と当該対象物との相互関係は、一般にエピポーラ幾何と呼ばれる幾何学によって解析されている。このエピポーラ幾何を利用すれば、複数の二次元撮影画像に基づいて、三次元の被写体像を復元することも可能であり、任意の仮想視点から当該被写体を観察した二次元画像を作成することも可能である。

たとえば、下記の特許文献１には、複数のカメラを所定位置に配置して、被写体に対する死角を排除した複数枚の撮影画像を得た上で、これら撮影画像に基づいて、当該被写体の完全な仮想三次元像を復元する技術が開示されている。この技術を用いれば、ユーザの要望に応じて、被写体を任意の視点から観察した二次元画像を作成することが可能である。また、下記の非特許文献１には、同一人物を２方向から撮影した２枚の顔写真に基づいて、当該人物を任意の方向から観察した二次元画像を作成する技術が提案されている。

特許第３３００３３４号公報

向井康博 他「２枚の顔写真を用いた任意方向の顔画像の生成」：情報処理学会論文誌 Vol. 37, No. 4 pp. 635-644, Apr. 1996

上述したように、同一の被写体に対して、異なる複数の方向から撮影した二次元撮影画像を得ることができれば、これらの撮影画像に基づいて、被写体の三次元像を復元することができ、ユーザの指定する任意の仮想視点から観察した被写体の二次元画像を作成し、これを表示することが可能である。このように、従来の技術では、ユーザが希望する任意の仮想視点の位置から観察した二次元画像を表示することができるため、極めて自由度の高い画像表示が可能になるメリットは得られる。しかしながら、ユーザ自身（もしくは、何らかの外部装置）が仮想視点の位置を指定する必要があるため、適切な観察方向が予め決まっているような被写体の場合でも、観察方向を指定する操作負担が課せられ、利便性が損なわれるという問題がある。

たとえば、車両のナンバープレートの部分を被写体とする場合、「ナンバープレート上の文字を認識する」という一般的な用途では、「ナンバープレートを正面から観察する方向」が適切な観察方向になる。また、不審人物の侵入を監視するようなシステムでは、「被写体となる人物の顔を正面から観察する方向」が適切な観察方向になる。

このように、その用途に応じて、特定の被写体についての適切な観察方向が予め定まっている場合であっても、従来提案されている技術では、ユーザ自身もしくは何らかの外部装置によって観察方向を指示する必要があるため、煩雑な指定操作が必要になる。

たとえば、車両のナンバープレートを正面から観察した二次元画像を表示させたい場合を考えよう。この場合、道路や駐車場のゲートのように、被写体となる車両の向きが定まっている環境では、１台のカメラで車両のほぼ正面からの撮影を行えば十分である。しかしながら、車両の向きが定まらない広場などでは、複数台のカメラで撮影を行った後、従来提案されている技術により、ユーザが「ナンバープレートを正面から観察できる方向」を指定する操作を行う必要がある。また、不審者の監視システムであれば、ユーザが「人物を正面から観察できる方向」を指定する操作を行う必要がある。

そこで本発明は、用途に応じて適切な観察方向が予め定まっている被写体について、当該適切な観察方向から観察した状態を示す二次元画像を自動的に生成し、これを表示することができる撮影画像表示装置を提供することを目的とする。

(1) 本発明の第１の態様は、異なる方向から撮影した被写体の撮影画像に基づいて、当該被写体を所定の仮想方向から観察した画像を生成して表示する撮影画像表示装置において、
互いに異なる位置に設置され、同一の被写体を撮影可能な方向に向けられた第１のカメラおよび第２のカメラと、
第１のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第１の撮影画像として入力し、第２のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第２の撮影画像として入力する画像入力部と、
入力された第１の撮影画像および第２の撮影画像を格納する撮影画像格納部と、
第１の撮影画像を解析することにより、被写体上の着目対象となる基準平面上の点として予め設定されている４つの基準点にそれぞれ対応する点を、第１の撮影画像上において４つの第１対応点として抽出する第１対応点抽出部と、
第１の撮影画像の特徴と第２の撮影画像の特徴とを比較することにより、両画像上の各点間の対応関係を求め、第２の撮影画像上において、４つの第１対応点にそれぞれ対応する４つの第２対応点を抽出する第２対応点抽出部と、
第１のカメラおよび第２のカメラの設置位置および向きの情報と、４つの第１対応点および４つの第２対応点の二次元座標値と、に基づいて、各対応点に対応する被写体上での４つの基準点の三次元座標値を求める基準点座標算出部と、
４つの基準点を含む基準平面上もしくはこの基準平面を予め定められた所定方向に所定の回転角度だけ回転させた平面上に、二次元ｕｖ座標系を定義し、第１の撮影画像および第２の撮影画像の少なくとも一方を変換対象画像として選択し、この変換対象画像上に二次元ｘｙ座標系を定義したときに、二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、４つの基準点の座標値と、４つの第１対応点もしくは４つの第２対応点の座標値との対応関係を用いて算出する係数値算出部と、
係数値算出部によって算出された係数値によって規定される座標変換式を用いて、二次元ｘｙ座標系上の変換対象画像を二次元ｕｖ座標系上の表示対象画像に変換する画像変換部と、
画像変換部によって変換された表示対象画像を格納する表示対象画像格納部と、
表示対象画像をモニタ画面に表示する画像出力部と、
を設けたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係る撮影画像表示装置において、
第１対応点抽出部が、第１の撮影画像上の直線部を探索し、探索された直線部によって囲まれた四角形を基準平面と認識し、当該四角形の４頂点を４つの第１対応点として抽出するようにしたものである。

(3) 本発明の第３の態様は、上述した第１の態様に係る撮影画像表示装置において、
第１対応点抽出部が、第１の撮影画像から人間の顔面を探索し、探索された顔面における右眼中心点、左眼中心点、唇の右端点、唇の左端点を含む面を基準平面と認識し、これらの各点を４つの第１対応点として抽出するようにしたものである。

(4) 本発明の第４の態様は、上述した第１の態様に係る撮影画像表示装置において、
第１対応点抽出部が、第１のカメラおよび第２のカメラの設置位置および向きの情報と、第１の撮影画像上の二次元被写体情報と、第２の撮影画像上の二次元被写体情報と、に基づいて、被写体の三次元形状モデルを作成し、当該三次元形状モデル上での所定の平面を基準平面と認識し、当該基準平面上の任意の４点に対応する４つの点を第１対応点として抽出するようにしたものである。

(5) 本発明の第５の態様は、上述した第１〜第４の態様に係る撮影画像表示装置において、
基準点座標算出部に、第１のカメラおよび第２のカメラの設置位置および向きの情報を、外部からの設定操作により格納する機能をもたせ、当該格納情報を用いて、４つの基準点の三次元座標値を求めるようにしたものである。

(6) 本発明の第６の態様は、上述した第１〜第４の態様に係る撮影画像表示装置において、
基準点座標算出部に、撮影画像格納部に格納されているテスト用被写体を撮影した第１の撮影画像と第２の撮影画像とに基づいて、第１のカメラおよび第２のカメラの設置位置および向きの情報を自動取得する機能をもたせるようにしたものである。

(7) 本発明の第７の態様は、上述した第１〜第６の態様に係る撮影画像表示装置において、
係数値算出部が、二次元ｕｖ座標系と二次元ｘｙ座標系との間のスケーリングファクターを任意に設定することにより、座標値（ｕ，ｖ）と座標値（ｘ，ｙ）との関係を定める座標変換式として、
ｘ＝（ｈ11・ｕ＋ｈ12・ｖ＋ｈ13）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
ｙ＝（ｈ21・ｕ＋ｈ22・ｖ＋ｈ23）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
なる式を定義し、この２本の式に、４つの基準点についての二次元ｕｖ座標系の座標値（ｕ，ｖ）と４つの第１対応点の二次元ｘｙ座標系の座標値（ｘ，ｙ）とをそれぞれ代入して得られる８本の連立方程式を用いて、８個の係数ｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32を算出するようにしたものである。

(8) 本発明の第８の態様は、上述した第１〜第７の態様に係る撮影画像表示装置において、
係数値算出部が、第１の撮影画像および第２の撮影画像の双方を変換対象画像として選択し、これら変換対象画像上にそれぞれ第１および第２の二次元ｘｙ座標系を定義し、二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する第１および第２の二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、４つの基準点の座標値と、４つの第１対応点および４つの第２対応点の座標値との対応関係を用いて算出し、
画像変換部が、係数値算出部によって算出された係数値によって規定される第１の座標変換式を用いて、第１の二次元ｘｙ座標系上の第１の撮影画像を二次元ｕｖ座標系上の第１の準備画像に変換するとともに、係数値算出部によって算出された係数値によって規定される第２の座標変換式を用いて、第２の二次元ｘｙ座標系上の第２の撮影画像を二次元ｕｖ座標系上の第２の準備画像に変換し、第１の準備画像と第２の準備画像とを合成することにより、表示対象画像を生成するようにしたものである。

(9) 本発明の第９の態様は、上述した第８の態様に係る撮影画像表示装置において、
画像変換部が、第１の準備画像と第２の準備画像とを合成する際に、第１の準備画像上の座標値（ｕ，ｖ）で示される位置の画素の画素値をＩ１（ｕ，ｖ）、第２の準備画像上の座標値（ｕ，ｖ）で示される位置の画素の画素値をＩ２（ｕ，ｖ）、表示対象画像上の座標値（ｕ，ｖ）で示される位置の画素の画素値をＩ（ｕ，ｖ）としたときに、所定の重み係数α（０≦α≦１）を用いて、
Ｉ（ｕ，ｖ）＝（１−α）・Ｉ１（ｕ，ｖ）＋α・Ｉ２（ｕ，ｖ）
なる合成演算を行うようにしたものである。

(10) 本発明の第１０の態様は、上述した第９の態様に係る撮影画像表示装置において、
ｕｖ平面上の所定の代表点と第１のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ１と、この代表点と第２のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ２と、を比べ、重み係数αを、
θ１＞θ２であればα＜０．５に設定し、両角度の差が大きければ大きいほど、αが小さくなるように設定し、
θ１＜θ２であればα＞０．５に設定し、両角度の差が大きければ大きいほど、αが大きくなるように設定し、
θ１＝θ２であればα＝０．５に設定するようにしたものである。

(11) 本発明の第１１の態様は、上述した第９の態様に係る撮影画像表示装置において、
表示対象画像上の座標値（ｕ，ｖ）で示される位置にある着目画素の画素値Ｉ（ｕ，ｖ）を決定する際に、当該着目画素の配置点と第１のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ１と、この配置点と第２のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ２と、を比べ、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αを、
θ１＞θ２であればα＜０．５に設定し、両角度の差が大きければ大きいほど、αが小さくなるように設定し、
θ１＜θ２であればα＞０．５に設定し、両角度の差が大きければ大きいほど、αが大きくなるように設定し、
θ１＝θ２であればα＝０．５に設定するようにしたものである。

(12) 本発明の第１２の態様は、上述した第１０または第１１の態様に係る撮影画像表示装置において、
α＝（θ２−θ１）／π＋１／２
なる演算式により重み係数αを設定するようにしたものである。

(13) 本発明の第１３の態様は、上述した第９の態様に係る撮影画像表示装置において、
画像変換部が、
第１のカメラおよび第２のカメラの設置位置および向きの情報と、第１の撮影画像上の二次元画像情報と、第２の撮影画像上の二次元画像情報と、に基づいて、被写体および障害物の三次元形状モデルを作成し、基準平面の手前に存在する障害物を認識する処理を行い、
表示対象画像上の座標値（ｕ，ｖ）で示される位置にある着目画素の画素値Ｉ（ｕ，ｖ）を決定する際に、当該着目画素が、障害物により第１の準備画像上でのみ隠面となっている領域内の画素である場合には、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝１に設定し、障害物により第２の準備画像上でのみ隠面となっている領域内の画素である場合には、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝０に設定するようにしたものである。

(14) 本発明の第１４の態様は、上述した第１〜第１３の態様に係る撮影画像表示装置において、
画像変換部が、二次元ｘｙ座標系上の変換対象画像を二次元ｕｖ座標系上の表示対象画像もしくは準備画像に変換する際に、座標値（ｕ，ｖ）を引数として座標値（ｘ，ｙ）を求める座標変換式を用い、変換対象画像上の座標値（ｘ，ｙ）で示される位置の近傍に存在する複数の画素の画素値を用いた補間演算によって求められる補間値を、座標値（ｕ，ｖ）で示される位置に配置された画素の画素値とするようにしたものである。

(15) 本発明の第１５の態様は、上述した第１〜第１４の態様に係る撮影画像表示装置において、
係数値演算部が、基準平面を予め定められた所定の軸回りに、予め定められた所定の回転角γだけ回転させた平面上に、二次元ｕｖ座標系を定義するようにしたものである。

(16) 本発明の第１６の態様は、上述した第１〜第１５の態様に係る撮影画像表示装置において、
互いに異なる位置に設置され、同一の被写体を撮影可能な方向に向けられた複数Ｍ台（Ｍ≧３）のカメラを設け、
これらＭ台のカメラの中の任意の２台の組み合わせを、第１のカメラおよび第２のカメラとして採用し、表示対象画像を作成する機能をもたせるようにしたものである。

(17) 本発明の第１７の態様は、上述した第１〜第１６の態様に係る撮影画像表示装置において、
第１のカメラおよび第２のカメラとして、魚眼レンズもしくは全方位ミラーを装着したカメラを用い、
第１のカメラおよび第２のカメラによる撮影によって得られた歪曲円形画像内の所定の切出中心点近傍の画像を、所定の座標変換式を用いて平面正則画像に変換する魚眼画像変換部を更に設け、
画像入力部が、魚眼画像変換部によって変換された平面正則画像を、それぞれ第１の撮影画像および第２の撮影画像として入力するようにしたものである。

(18) 本発明の第１８の態様は、上述した第１〜第１７の態様に係る撮影画像表示装置における各カメラ以外の構成要素を、コンピュータにプログラムを組み込むことにより構成するようにしたものである。

(19) 本発明の第１９の態様は、上述した第１〜第１７の態様に係る撮影画像表示装置における各カメラ以外の構成要素を、半導体集積回路により構成するようにしたものである。

(20) 本発明の第２０の態様は、上述した第２の態様に係る撮影画像表示装置を利用して、車両のナンバープレートの撮影表示装置を構成するようにし、
各カメラを、被写体となる車両のナンバープレートを撮影可能な位置および向きに設置し、
第１対応点抽出部が、ナンバープレートの表面を着目対象となる基準平面として、ナンバープレートを構成する四角形の４頂点を４つの第１対応点として抽出し、
画像出力部が、ナンバープレートを正面方向から観察した画像を表示対象画像として出力するようにしたものである。

(21) 本発明の第２１の態様は、上述した第３の態様に係る撮影画像表示装置を利用して、監視システムを構成するようにし、
各カメラを、被写体となる人間の顔面を撮影可能な位置および向きに設置し、
画像出力部が、人間の顔面を正面方向から観察した画像を表示対象画像として出力するようにしたものである。

(22) 本発明の第２２の態様は、異なる方向から撮影した被写体の撮影画像に基づいて、当該被写体を所定の仮想方向から観察した画像を生成して表示する撮影画像表示方法において、
第１のカメラおよび第２のカメラを、互いに異なる位置に、かつ、同一の被写体を撮影可能な方向に向けて設置するカメラ設置段階と、
コンピュータが、第１のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第１の撮影画像として入力し、第２のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第２の撮影画像として入力する画像入力段階と、
コンピュータが、第１の撮影画像を解析することにより、被写体上の着目対象となる基準平面上の点として予め設定されている４つの基準点にそれぞれ対応する点を、第１の撮影画像上において４つの第１対応点として抽出する第１対応点抽出段階と、
コンピュータが、第１の撮影画像の特徴と第２の撮影画像の特徴とを比較することにより、両画像上の各点間の対応関係を求め、第２の撮影画像上において、４つの第１対応点にそれぞれ対応する４つの第２対応点を抽出する第２対応点抽出段階と、
コンピュータが、第１のカメラおよび第２のカメラの設置位置および向きの情報と、４つの第１対応点および４つの第２対応点の二次元座標値と、に基づいて、各対応点に対応する被写体上での４つの基準点の三次元座標値を求める基準点座標算出段階と、
コンピュータが、４つの基準点を含む基準平面上もしくはこの基準平面を予め定められた所定方向に所定の回転角度だけ回転させた平面上に、二次元ｕｖ座標系を定義し、第１の撮影画像および第２の撮影画像の少なくとも一方を変換対象画像として選択し、この変換対象画像上に二次元ｘｙ座標系を定義したときに、二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、４つの基準点の座標値と、４つの第１対応点もしくは４つの第２対応点の座標値との対応関係を用いて算出する係数値算出段階と、
コンピュータが、係数値算出段階で算出された係数値によって規定される座標変換式を用いて、二次元ｘｙ座標系上の変換対象画像を二次元ｕｖ座標系上の表示対象画像に変換する画像変換段階と、
コンピュータが、画像変換段階によって変換された表示対象画像をモニタ画面に表示する画像出力段階と、
を行うようにしたものである。

本発明の撮影画像表示装置によれば、同一の被写体を２台のカメラにより異なる方向から撮影することにより得られる２枚の撮影画像に基づいて、被写体上で着目対象となる基準平面を認識し、当該基準平面を予め設定された所定方向から観察した二次元画像を生成するようにしたため、用途に応じて適切な観察方向が予め定まっている被写体について、当該適切な観察方向から観察した状態を示す二次元画像を自動的に生成し、これを表示することができるようになる。

本発明の基本的実施形態に係る撮影画像表示装置の構成を示すブロック図である。 図１に示す装置の撮影画像格納部１２０内に格納された第１の撮影画像Ｐ１および第２の撮影画像Ｐ２の一例を示す平面図である。 図２に示す第１の撮影画像Ｐ１および第２の撮影画像Ｐ２から、それぞれ第１の対応点Ｓ１１〜Ｓ１４および第２の対応点Ｓ２１〜Ｓ２４を抽出した状態を示す平面図である。 一般的なエピポーラ幾何の基本概念を示す空間配置図である。 被写体上に得られた基準点Ｓ３１〜Ｓ３４の一例を示す正面図である。 第１の撮影画像Ｐ１，第２の撮影画像Ｐ２，基準平面Ｒの位置関係を示す配置図である。 撮影画像の投影面の位置と撮影画像のスケーリングとの関係を示す斜視図である。 撮影画像の投影面πをＺ＝１で示される平面上に配置した状態を示す斜視図である。 三次元空間上に配置された三次元ＸＹＺ座標系と三次元ＵＶＷ座標系との位置関係を示す斜視図である。 図９に示すＸＹＺ座標系上の１点ｐ（ｘ，ｙ，１）とＵＶＷ座標系上の１点ｑ（ｕ，ｖ，１）との関係を示す座標変換式を示す図である。 図１０に示す座標変換式の変形態様を示す図である。 ｘｙ座標系上に得られた４つの対応点とｕｖ座標系上に得られた４つの基準点とを示す平面図である。 図１０に示す座標変換式に基づいて得られる行列式を示す図である。 図１３に示す行列式における係数ｈ11〜ｈ32を決定することによって得られる座標変換式を示す図である。 図１に示す装置の画像変換部１７０による変換処理を示す平面図である。 図１に示す装置の画像変換部１７０による、２つの撮影画像の合成を伴う変換処理を示す平面図である。 図１６に示す変換処理において、２つの撮影画像の合成方法の一例を示す平面図である。 図１６に示す変換処理において、２つの撮影画像の合成方法の別な一例を示す平面図である。 図１８に示す合成方法による合成対象となる２つの撮影画像を示す平面図である。 図１に示す装置の第１対応点抽出部１３０によって抽出された第１対応点の別な一例を示す平面図である。 基準平面Ｒを所定の回転角γだけ回転させた平面上にｕｖ座標系を定義した例を示す斜視図である。 魚眼カメラによる撮影で得られる歪曲円形画像Ｓと平面正則画像Ｔとの関係を示す斜視図である。 魚眼カメラによる撮影で得られた歪曲円形画像Ｓを平面正則画像Ｔに変換するための座標変換式を示す図である。 魚眼カメラを用いた実施形態に係る撮影画像表示装置の構成を示すブロック図である。 ４台のカメラを用いた実施形態における各カメラの配置を示す斜視図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．本発明の基本的実施形態 ＞＞＞
図１は、本発明の基本的実施形態に係る撮影画像表示装置の構成を示すブロック図である。この実施形態では、２台のカメラ１０，２０によって、被写体３０を撮影する例が示されている。ここでは、被写体３０が車両である場合、特に、車両のナンバープレートの部分を被写体として、これを撮影し、モニタ画面上に表示する実施例を述べることにする。

モニタ画面上において、「ナンバープレート上の文字を認識する」という一般的な用途では、当然ながら、「ナンバープレートを正面から観察する方向」が適切な観察方向になる。したがって、この図１に示す装置は、２台のカメラ１０，２０によって、互いに異なる方向から撮影した被写体３０の撮影画像に基づいて、被写体３０を所定の仮想方向、すなわち、ナンバープレートの正面方向から観察した画像を生成して表示する装置ということになる。

ここに示す実施例の場合、第１のカメラ１０および第２のカメラ２０は、通常の平面静止画像を撮影することが可能なデジタルカメラであり、図示のとおり、互いに異なる位置に設置され、同一の被写体３０を撮影可能な方向に向けられている。図では、被写体３０となる車両が正面向き配置され、その正面像を左斜め方向から撮影する位置に第１のカメラ１０が設置され、右斜め方向から撮影する位置に第２のカメラ２０が設置された例が示されているが、実際には、必ずしもこのような位置関係に配置されている必要はない。

車両のナンバープレートの文字を自動的に読み取るシステムは、既に実用化されており、高速道路を走行中の車両のナンバーや、駐車場のゲートを通過する車両のナンバーを自動的に読み取る装置として利用されている。このように、車両の進行方向が定まっている環境であれば、１台のカメラで車両の正面を所定方向から撮影した画像が得られれば、ナンバーの読み取りには十分である。本発明に係る装置は、被写体３０の向きが定まらないような環境において利用した場合に、その本領を発揮することになる。

この装置では、まず、第１のカメラ１０による撮影で得られたデジタル画像および第２のカメラ２０による撮影で得られたデジタル画像は、図示のとおり、画像入力部１１０によって入力され、撮影画像格納部１２０内に、それぞれ第１の撮影画像Ｐ１および第２の撮影画像Ｐ２として格納される。なお、必要があれば、この画像入力時に、各カメラの撮影で得られたデジタル画像に対して、所定の変換処理を加えるようにしてもかまわない。たとえば、魚眼カメラを用いた場合には、歪曲円形画像を平面正則画像に変換する処理が必要になる（詳しくは、§４の変形例で述べる）。また、デジタルビデオカメラを用いた場合には、同時点で撮影されたフレーム画像が、それぞれ第１の撮影画像Ｐ１および第２の撮影画像Ｐ２として取り込まれ、以下に述べる静止画像に対する処理が、時系列に沿って連続して実行されることになる。

図２は、この撮影画像格納部１２０内に格納された第１の撮影画像Ｐ１および第２の撮影画像Ｐ２の一例を示す平面図である。図２(a) に示す第１の撮影画像Ｐ１は、被写体３０となる車両正面のナンバープレート付近を斜め左方向から撮影した画像であり、図２(b) に示す第２の撮影画像Ｐ２は、被写体３０となる車両正面のナンバープレート付近を斜め右方向から撮影した画像である。なお、実際の撮影画像には、ナンバープレートだけでなく、車両のボディー前面部分が写っていることになるが、ここでは、説明の便宜上、ナンバープレートの部分のみを図示することにする。

本発明の重要な特徴は、この撮影画像表示装置に対して、予め「被写体のどの部分をどの方向から観察した二次元画像を表示せよ」という情報を設定しておき、当該設定どおりの表示を行わせる点にある。具体的には、ここに例示する実施形態の場合、「ナンバープレートの部分を、その正面方向から観察した二次元画像を表示せよ」という情報を設定しておくことになる。そのために、本発明では、被写体上で着目対象となる基準平面なるものを定義する。上例の場合、ナンバープレートの表面が基準平面として定義される。

更に、この基準平面上に４つの基準点を定義する。この４つの基準点は、基準平面を規定する点であるので、基準平面上の任意の点（ただし、一直線上にのる３点を含んでいてはならない）であってかまわない。ただ、後述するように、撮影画像から、この４つの基準点に対応する対応点を抽出する処理を行う必要があるので、実用上は、そのような抽出処理が容易に行えるような特徴的な点を基準点に定義するのが好ましい。たとえば、ナンバープレートの表面を基準平面とする場合であれば、ナンバープレートを構成する矩形の４頂点を基準点と定義するのが最適である。そこで、以下の説明では、予め、この４頂点が基準点として定義されている例を述べることにする。

なお、平面は一直線上にない３点によって規定することができるので、基準平面を規定するためには３つの基準点が定義されていれば十分である。しかしながら、§２で詳述するように、本発明では、座標変換式の係数を求めるための連立方程式を解くために、４つの基準点が必要になる。

図１に示す第１対応点抽出部１３０は、第１の撮影画像Ｐ１を解析することにより、被写体３０上の着目対象となる基準平面上の点として予め設定されている４つの基準点にそれぞれ対応する点を、第１の撮影画像Ｐ１上において４つの第１対応点として抽出する処理を行う。すなわち、第１対応点抽出部１３０内には、予め、被写体３０上の着目対象となる基準平面上の点として、４つの基準点に関する情報が設定されており、第１の撮影画像Ｐ１を解析することにより、この４つの基準点にそれぞれ対応する点を認識する処理を行うことになる。

ここでは、ナンバープレートを構成する矩形の４頂点を基準点として認識するような設定がなされていたとしよう。この場合、図２(a) に示す第１の撮影画像Ｐ１を解析することにより、図３(a) に示すような４つの対応点Ｓ１１〜Ｓ１４が抽出されることになる。具体的には、第１対応点抽出部１３０は、まず、第１の撮影画像Ｐ１上の直線部を探索し、探索された直線部によって囲まれた四角形を基準平面と認識し、当該四角形の４頂点を４つの第１対応点Ｓ１１〜Ｓ１４として抽出する処理を行えばよい。

一般に、画像に含まれる直線を認識する方法としては、画素値ヒストグラムを算出する手法や画素値の濃度勾配を算出する手法などの様々な方法が知られており、実用化されている。また、このような直線の認識法を利用して四角形を認識する方法も公知の方法であり、実際に様々な分野で利用されている。したがって、本明細書では、撮影画像上から四角形の４頂点を抽出する具体的な処理方法についての説明は省略する。

要するに、第１対応点抽出部１３０は、予め設定された所定の解析アルゴリズムに基づいて、第１の撮影画像Ｐ１に対する解析を行い、４つの第１対応点Ｓ１１〜Ｓ１４を抽出する処理を実行すればよい。ここで重要な点は、抽出された４つの第１対応点Ｓ１１〜Ｓ１４が、被写体上の着目対象となる基準平面上に位置する４つの基準点に対応する点になっていることである。上例の場合、基準平面は被写体３０のナンバープレートの表面であり、４つの基準点はこのナンバープレートを構成する矩形の４頂点であるから、４つの第１対応点Ｓ１１〜Ｓ１４は、第１の撮影画像Ｐ１に写っているナンバープレートを構成する四角形の４頂点ということになる。

一方、第２対応点抽出部１４０は、第２の撮影画像Ｐ２上で、４つの基準点に対応する４つの対応点（第２対応点）を抽出する処理を行う。その結果、図３(b) に示すような４つの第２対応点Ｓ２１〜Ｓ２４が抽出されることになる。ただ、この第２対応点Ｓ２１〜Ｓ２４の抽出には、前述した第１対応点Ｓ１１〜Ｓ１４の抽出とは異なる方法が採られる。すなわち、第２対応点抽出部１４０は、第１の撮影画像Ｐ１の特徴と第２の撮影画像Ｐ２の特徴とを比較することにより、両画像上の各点間の対応関係を求め、第２の撮影画像Ｐ２上において、４つの第１対応点Ｓ１１〜Ｓ１４にそれぞれ対応する４つの第２対応点Ｓ２１〜Ｓ２４を抽出する処理を行う。

一般に、同一の被写体を異なる方向から撮影した２枚の撮影画像があれば、両画像を構成する画素間の対応関係を求めることができる。たとえば、図２(a) ，(b) に示すような２枚の撮影画像が与えられた場合、写っている被写体は同一であるから、たとえば、それぞれの画像について、水平方向に走査したときの画素値の濃度勾配の変化および垂直方向に走査したときの画素値の濃度勾配の変化などの特徴を解析すれば、近傍の特徴が類似する２点が互いに対応する点であることを認識可能である。このように、同一の被写体を異なる方向から撮影した２枚の撮影画像について、両画像を構成する各点間の対応関係を求める手法は、公知の手法であり、様々な分野において利用されている（たとえば、毎日コミュニケーションズ社刊「ＯｐｅｎＣＶプログラミングブック」（２００９年）、カットシステム社刊「実践ＯｐｅｎＣＶ−映像処理＆解析」（２００９年）、オライリージャパン社刊「詳解ＯｐｅｎＣＶ」（２００９年）などの専門書を参照）。したがって、本明細書では、より詳細な処理方法についての説明は省略する。

結局、図３(a) に示す４つの第１対応点Ｓ１１〜Ｓ１４は、図２(a) に示す第１の撮影画像Ｐ１に対して所定のアルゴリズムに基づく解析（四角形の認識）を行うことによって抽出された点であるのに対して、図３(b) に示す４つの第２対応点Ｓ２１〜Ｓ２４は、図２(a) ，(b) に示す両画像Ｐ１，Ｐ２の特徴を比較することにより、画像Ｐ１上の各点が、画像Ｐ２上のどの点に対応するかを示す対応関係を求め、当該対応関係を用いて、図３(a) に示す４つの第１対応点Ｓ１１〜Ｓ１４について対応する画像Ｐ２上の点として抽出されることになる。このような方法を採るのは、第１対応点Ｓ１１〜Ｓ１４に対応する、より正確な点として、第２対応点Ｓ２１〜Ｓ２４を抽出することができるためである。

さて、こうして、図３(a) ，(b) に示すように、第１の撮影画像Ｐ１上に４つの第１対応点Ｓ１１〜Ｓ１４が定まり、第２の撮影画像Ｐ２上に４つの第２対応点Ｓ２１〜Ｓ２４が定まったら、これら８点の情報は、基準点座標算出部１５０へ与えられる。基準点は、被写体３０上の基準平面上に定義された４つの点であるが、その情報は、各撮影画像Ｐ１，Ｐ２上に、対応点Ｓ１１〜Ｓ１４，Ｓ２１〜Ｓ２４の位置として二次元情報として記録されているだけである。基準点座標算出部１５０は、この二次元情報に基づいて、三次元空間上での４つの基準点の位置、すなわち、各基準点の三次元情報を復元する処理を行うことになる。

一般に、三次元空間において、同一の被写体を異なる方向から観察した場合に得られる２枚の撮影画像と当該被写体との対応関係は、エピポーラ幾何と呼ばれる幾何学を利用することによって求めることができる。

図４は、一般的なエピポーラ幾何の基本概念を示す空間配置図である。この図では、被写体上の特徴点ξを、２つの異なる視点Ｑ１，Ｑ２から観察することにより得られる２枚の投影像が示されている。投影面π１上に得られる投影像は、第１の視点Ｑ１から観察した場合に得られる像であり、特徴点ξは投影点ξ１に投影されることになる。一方、投影面π２上に得られる投影像は、第２の視点Ｑ２から観察した場合に得られる像であり、特徴点ξは投影点ξ２に投影されることになる。

ここで、２つの視点Ｑ１，Ｑ２を結ぶ直線Ｂは、ベースラインと呼ばれており、このベースラインＢと投影面π１，π２との交点は、エピポールｅ１，ｅ２と呼ばれる。また、投影点ξ１とエピポールｅ１とを結ぶ直線Ｅ１や、投影点ξ２とエピポールｅ２とを結ぶ直線Ｅ２は、エピポーラ線と呼ばれ、３点ξ，Ｑ１，Ｑ２を通る平面は、エピポーラ平面ＥＰと呼ばれている。

この図４を、同一被写体に対する２台のカメラによる撮影系と考えると、視点Ｑ１，Ｑ２は、それぞれ各カメラが設置された撮影点ということになる。厳密に言えば、視点Ｑ１は、第１のカメラ１０のレンズの焦点が置かれた第１の撮影点となり、視点Ｑ２は、第２のカメラ２０のレンズの焦点が置かれた第２の撮影点となる。また、第１の投影面π１は、第１のカメラ１０の光軸に直交する撮像面であり、当該撮像面π１上に投影された被写体像が、第１の撮影画像Ｐ１に相当する。同様に、第２の投影面π２は、第２のカメラ２０の光軸に直交する撮像面であり、当該撮像面π２上に投影された被写体像が、第２の撮影画像Ｐ２に相当する。

結局、図に示す投影点ξ１は、被写体上の特徴点ξに対応する第１の撮影画像Ｐ１上の対応点となり、投影点ξ２は、被写体上の特徴点ξに対応する第２の撮影画像Ｐ２上の対応点となる。ここで、各撮影点Ｑ１，Ｑ２の位置が固定されていれば、三角測量の原理により、投影点ξ１，ξ２の位置に基づいて、被写体上の特徴点ξの三次元空間上での位置を求めることができる。すなわち、２点Ｑ１，ξ１を結ぶ直線と、２点Ｑ２，ξ２を結ぶ直線との交点として、特徴点ξの三次元空間上での位置を決定することができる。

実際には、投影点ξ１，ξ２の位置は、撮像面π１，π２上に定義された二次元座標系上の座標値として与えられるが、撮像面π１，π２は、各カメラの光軸に直交する投影面であるから、各カメラの設置位置、その向き、ズーム倍率が定まれば、三次元空間上での撮像面π１，π２の位置を決めることができ、投影点ξ１，ξ２の三次元座標値を決定することができる。なお、２台のカメラのズーム倍率を同一に設定しておけば（通常は、そのような設定を行うことになろう）、カメラのズーム倍率は、単に復元される被写体の像の大きさを決定するパラメータになるだけであり、被写体の形状を復元する際に必須の情報にはならない。したがって、実用上は、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報が得られれば、互いに対応する投影点ξ１，ξ２の位置の情報に基づいて、特徴点ξの三次元空間上での座標を決定することができる。

図１に示す基準点座標算出部１５０は、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報と、第１対応点抽出部１３０から与えられた４つの第１対応点Ｓ１１〜Ｓ１４の二次元座標値と、第２対応点抽出部１４０から与えられた４つの第２対応点Ｓ２１〜Ｓ２４の二次元座標値と、に基づいて、これら各対応点に対応する被写体３０上での４つの基準点Ｓ３１〜Ｓ３４の三次元座標値を求める処理を行う。図５は、被写体３０上に得られた基準点Ｓ３１〜Ｓ３４の一例を示す正面図である。この図では、説明の便宜上、被写体３０の全体像が描かれているが、基準点座標算出部１５０によって実際に算出されるのは、この被写体３０上の４つの基準点Ｓ３１〜Ｓ３４の三次元座標値のみである。この４つの基準点Ｓ３１〜Ｓ３４は、前述したとおり、被写体３０上の着目対象面（この例では、ナンバープレートの表面）として設定された基準平面Ｒ上の点になる。

各カメラの設置位置および向きの情報と、第１対応点Ｓ１１〜Ｓ１４の二次元座標値と、第２対応点Ｓ２１〜Ｓ２４の二次元座標値と、に基づいて、４つの基準点Ｓ３１〜Ｓ３４の三次元座標値が求まる理由は、図４に示すエピポーラ幾何の原理から容易に理解できよう。たとえば、図３(a) ，(b) に示す撮影画像Ｐ１，Ｐ２を、図４に示す撮像面π１，π２上に得られた画像として、図３(a) ，(b) に示す互いに対応する点Ｓ１１，Ｓ２１を、図４に示す投影点ξ１，ξ２とすれば、図４に示す特徴点ξとして、図５に示す基準点Ｓ３１の三次元座標値が得られることになる。他の基準点Ｓ３２，Ｓ３３，Ｓ３４についても同様である。

なお、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報は、各カメラを定位置へ設置する作業が完了した後、ユーザが基準点座標算出部１５０に対して、当該情報を設定する操作を行うことにより、基準点座標算出部１５０内に格納することができる。このような運用を採る場合は、基準点座標算出部１５０に、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報を、外部からの設定操作により格納する機能をもたせておき、当該格納情報を用いて、４つの基準点の三次元座標値を求めるようにすればよい。このような運用手法は、一般に「キャリブレーション」と呼ばれている。

一方、基準点座標算出部１５０に、撮影画像格納部１２０に格納されているテスト用被写体を撮影した第１の撮影画像Ｐ１と第２の撮影画像Ｐ２とに基づいて、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報を自動取得する機能をもたせておくことも可能である。すなわち、所定のテスト用被写体についての２つの撮影画像に基づいて、撮影に用いた２台のカメラの設置位置および向きを推定するアルゴリズムを実行するプログラムを基準点座標算出部１５０に組み込んでおき、各カメラを定位置へ設置する作業が完了した後、当該テスト用被写体についての試験撮影を行えば、これら試験撮影の結果を利用して、２台のカメラの設置位置および向きの情報を自動取得することが可能になる。

このような運用手法は、一般に「ノンキャリブレーション」と呼ばれている。この運用手法は、カメラの設置位置や向きを頻繁に変更して利用するような場合に便利である。なお、テスト用被写体の撮影画像に基づいて、カメラの設置位置および向きの情報を自動取得するアルゴリズムも、既に実用化されている公知のアルゴリズムであるため、ここでは詳しい説明は省略する。

さて、こうして、４つの基準点Ｓ３１〜Ｓ３４の三次元座標値が求まれば、グローバルな三次元座標系上において、第１の撮影画像Ｐ１上の４つの第１対応点Ｓ１１〜Ｓ１４、第２の撮影画像Ｐ２上の４つの第２対応点Ｓ２１〜Ｓ２４、基準平面Ｒ上の４つの基準点Ｓ３１〜Ｓ３４の１２個の点の位置が定まることになる。図６は、三次元空間上に配置された第１の撮影画像Ｐ１，第２の撮影画像Ｐ２，基準平面Ｒの位置関係を示す配置図である。

ここで、点Ｓ１１，Ｓ２１，Ｓ３１は互いに対応する点であり、点Ｓ１２，Ｓ２２，Ｓ３２は互いに対応する点であり、点Ｓ１３，Ｓ２３，Ｓ３３は互いに対応する点であり、点Ｓ１４，Ｓ２４，Ｓ３４は互いに対応する点である。これら空間上の位置が既知の各点の対応関係を利用すれば、第１の撮影画像Ｐ１上の任意の点ｐと基準平面Ｒ上の点ｑとの間の一般的な対応関係を示す座標変換式を定義することができ、同様に、第２の撮影画像Ｐ２上の任意の点ｐと基準平面Ｒ上の点ｑとの間の一般的な対応関係を示す座標変換式を定義することができる。

ここでは、図示のとおり、第１の撮影画像Ｐ１（第１のカメラの撮像面π１）上に第１の二次元ｘｙ座標系を定義し、第１の撮影画像Ｐ１上の任意の点ｐの位置を座標（ｘ，ｙ）で示すこととし、同様に、第２の撮影画像Ｐ２（第２のカメラの撮像面π２）上に第２の二次元ｘｙ座標系を定義し、第２の撮影画像Ｐ２上の任意の点ｐの位置を座標（ｘ，ｙ）で示すことにする。第１の二次元ｘｙ座標系と第２の二次元ｘｙ座標系とは、いずれも各撮影画像上においてのみ定義されるローカル座標系であり、両者の座標は全く独立したものである。一方、図示のとおり、４つの基準点Ｓ３１〜Ｓ３４を含む基準平面Ｒ上にも、ローカルな二次元ｕｖ座標系を定義し、この基準平面Ｒ上の任意の点ｑの位置を座標（ｕ，ｖ）で示すことにする。

この３つのローカル二次元座標系は、前述したグローバルな三次元座標系の所定位置に配置された座標系であり、このグローバル座標系上において、各座標系の位置は既知のものとなっている。すなわち、第１のカメラの撮像面π１は、第１のカメラ１０の光軸に対して直交する投影面として定義される面であり、第１のカメラ１０が設置されている撮影点Ｑ１の位置とその光軸の向きが決まれば、グローバル座標系における、撮像面π１の位置を定めることができる。理論的には、第１のカメラ１０のズーム倍率に応じて、撮像面π１の位置は光軸に沿って平行移動することになるが、§２で詳述するように、カメラのズーム倍率は、像の大きさを決めるスケーリングファクターになるため、実用上は任意に設定してかまわない。

同様に、第２のカメラの撮像面π２についても、第２のカメラ２０が設置されている撮影点Ｑ２の位置とその光軸の向きが決まれば、グローバル座標系におけるその位置を定めることができる。また、基準平面Ｒは、４つの基準点Ｓ３１〜Ｓ３４を含む平面であるから、基準点座標算出部１５０によって算出された基準点Ｓ３１〜Ｓ３４の三次元座標値に基づいて、そのグローバル座標系における位置を定めることができる。

図６において、基準平面Ｒは、三次元空間上に復元された被写体上の着目対象となる平面であり、上例の場合、ナンバープレートの表面に相当する。したがって、この基準平面Ｒ上に定義された二次元ｕｖ座標系上に、被写体の像を復元することができれば、当該復元画像は、「ナンバープレートを正面から観察した画像」になり、本発明が目的とする表示対象画像（用途に応じて適切な観察方向が予め定まっている被写体について、当該適切な観察方向から観察した状態を示す二次元画像）になる。すなわち、ナンバープレートを、図６に示す仮想視点Ｅ（基準平面Ｒに直交する線上の点）から観察した場合の正面像が得られることになる。

二次元ｕｖ座標系上に被写体３０の像を復元するには、第１の撮影画像Ｐ１を用いてもよいし、第２の撮影画像Ｐ２を用いてもよい。第１の撮影画像Ｐ１を用いる場合には、第１の撮影画像Ｐ１を変換対象画像として、第１の二次元ｘｙ座標系上の点ｐ（ｘ，ｙ）と二次元ｕｖ座標系上の点ｑ（ｕ，ｖ）との対応関係を示す座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」を用いた変換を行い、第２の撮影画像Ｐ２を用いる場合には、第２の撮影画像Ｐ２を変換対象画像として、第２の二次元ｘｙ座標系上の点ｐ（ｘ，ｙ）と二次元ｕｖ座標系上の点ｑ（ｕ，ｖ）との対応関係を示す座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」を用いた変換を行うことになる。

図１に示す係数値算出部１６０は、上記関数ｆもしくはｇに含まれる係数の値を算出する機能を有する。すなわち、第１の撮影画像Ｐ１もしくは第２の撮影画像Ｐ２を変換対象画像として、この変換対象画像上に二次元ｘｙ座標系を定義したときに、二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、４つの基準点の座標値と、４つの第１対応点もしくは４つの第２対応点の座標値との対応関係を用いて算出する処理を行う。

要するに、第１の撮影画像Ｐ１を変換対象画像とする場合は、「二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）」と、「当該座標値で示される点ｑ（ｕ，ｖ）に対応する第１の二次元ｘｙ座標系上の点ｐ（ｘ，ｙ）の座標値（ｘ，ｙ）」と、の関係を定める座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」の係数値を、４つの基準点Ｓ３１〜Ｓ３４の座標値と、４つの第１対応点Ｓ１１〜Ｓ１４の座標値との対応関係を用いて算出することになる。また、第２の撮影画像Ｐ２を変換対象画像とする場合は、「二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）」と、「当該座標値で示される点ｑ（ｕ，ｖ）に対応する第２の二次元ｘｙ座標系上の点ｐ（ｘ，ｙ）の座標値（ｘ，ｙ）」と、の関係を定める座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」の係数値を、４つの基準点Ｓ３１〜Ｓ３４の座標値と、４つの第２対応点Ｓ２１〜Ｓ２４の座標値との対応関係を用いて算出することになる。この係数値算出部１６０によって行われる具体的な関数式についての係数値の算出方法については、§２で詳述する。

図１に示す画像変換部１７０は、係数値算出部１６０によって算出された係数値によって規定される座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」もしくは「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」を用いて、第１の二次元ｘｙ座標系もしくは第２の二次元ｘｙ座標系上の変換対象画像、すなわち、撮影画像格納部１２０に格納されている第１の撮影画像Ｐ１もしくは第２の撮影画像Ｐ２を、二次元ｕｖ座標系上の表示対象画像Ｐ３に変換する処理を行う。この変換処理により、図６に示す二次元ｕｖ座標系上に、表示対象画像Ｐ３が得られることになる。この表示対象画像Ｐ３は、上述したとおり、元の被写体３０の基準平面Ｒを復元した像になり、この基準平面Ｒを正面から観察した状態を示す画像になる。

図１に示すとおり、こうして画像変換部１７０による変換処理によって作成された表示対象画像Ｐ３は、表示対象画像格納部１８０に格納され、画像出力部１９０によってモニタ装置へと出力され、モニタの画面上に表示される。結局、モニタ画面上には、図５に示すナンバープレートの部分の正面画像が表示されることになる。このように、本発明に係る撮影画像表示装置によれば、ユーザが、観察方向に関して何ら指示操作を行わなくても、用途に応じて適切な観察方向が予め定まっている被写体について、当該適切な観察方向から観察した状態を示す二次元画像が自動的に生成され、モニタ画面上に表示されることになる。

以上、図１のブロック図を参照しながら、本発明の基本的実施形態に係る撮影画像表示装置の構成を説明したが、実際には、この撮影画像表示装置におけるカメラ１０，２０以外の構成要素、すなわち、画像入力部１１０，撮影画像格納部１２０，第１対応点抽出部１３０，第２対応点抽出部１４０，基準点座標算出部１５０，係数値算出部１６０，画像変換部１７０，表示対象画像格納部１８０，画像出力部１９０の部分は、コンピュータに専用のプログラムを組み込むことによって構成することができる。また、ＬＳＩなどの半導体集積回路によって構成することもできる。

＜＜＜ §２．係数値算出部における具体的な処理 ＞＞＞
ここでは、図１に示す装置における係数値算出部１６０が行う具体的な処理を説明する。§１で述べたとおり、ここで算出する係数値は、図６に示す第１の二次元ｘｙ座標系上の点ｐ（ｘ，ｙ）と二次元ｕｖ座標系上の点ｑ（ｕ，ｖ）との対応関係を示す座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」の関数ｆに含まれる係数の値、もしくは、第２の二次元ｘｙ座標系上の点ｐ（ｘ，ｙ）と二次元ｕｖ座標系上の点ｑ（ｕ，ｖ）との対応関係を示す座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」の関数ｇに含まれる係数の値である。いずれも、座標値（ｘ，ｙ）と座標値（ｕ，ｖ）との間の変換式に関するものであるから、ここでは、関数ｆについての説明を行うことにする。

関数ｆが定まれば、第１の二次元ｘｙ座標系上の任意の点ｐ（ｘ，ｙ）の座標（ｘ，ｙ）を、二次元ｕｖ座標系上の座標（ｕ，ｖ）に変換することができるので、第１の撮影画像Ｐ１上の任意の点ｐ（ｘ，ｙ）に位置する画素を、二次元ｕｖ座標系上の座標変換点ｑ（ｕ，ｖ）の位置にプロットすることができ、第１の撮影画像Ｐ１を二次元ｕｖ座標系上の表示対象画像に変換することができる。この変換処理は、§１で述べたとおり、画像変換部１７０によって実行される。

関数ｆに含まれる係数値は、第１の二次元ｘｙ座標系上の４点Ｓ１１〜Ｓ１４の既知座標値と、二次元ｕｖ座標系上の４点Ｓ３１〜Ｓ３４の既知座標値とを用いた演算によって算出される。もっとも、理論的には、関数ｆに含まれるすべての係数値を定めるためには、これら８個の点の座標値だけでは十分ではない。そこで、本発明では、「二次元ｕｖ座標系と二次元ｘｙ座標系との間のスケーリングファクターは、任意に設定できる。」という前提を置く工夫をすることにより、８個の点の座標値を用いて係数値を算出できるようにしている。

図６において、グローバル座標系上での撮影点Ｑ１，Ｑ２の位置、撮像面π１，π２の位置、基準平面Ｒの位置を完全に定めることができれば、基準平面Ｒ上に実寸台の被写体３０を復元することができるので、二次元ｕｖ座標系上には、表示対象画像として、実寸台の画像を得ることができる。しかしながら、実用上、実寸台の表示対象画像を得ることに、技術的な意味はない。実際には、表示対象画像は、デジタル画像データとして得られるので、所定ピッチの画素配列として得られることになる。したがって、画素ピッチの設定次第で、得られる画像データのサイズ（縦横の画素数）は変わってしまう。また、この表示対象画像をモニタ画面上に表示する場合も、用いるモニタ装置が対応する画素サイズなどの条件により、表示される画像の最終的なサイズは変わってしまう。

結局、基準平面Ｒ上に実寸台の被写体像を復元することは意味がないので、二次元ｘｙ座標系上の各撮影画像と二次元ｕｖ座標系上の表示対象画像との間のスケーリングファクターは、任意に設定できることになる。

さて、図７は、三次元ＸＹＺ座標系における撮影画像の投影面の位置と撮影画像のスケーリングとの関係を示す斜視図である。図に示す投影面πａ，πｂは、いずれもＸＹ平面に平行な投影面であり、投影面πａは、Ｚ＝ｚａで示される平面上に配置され、投影面πｂは、Ｚ＝ｚｂで示される平面上に配置されている。ここで、この座標系の原点Ｏの位置に視点Ｑ１をとって、被写体上の特徴点ξを観察すると、図示のとおり、投影面πａ上には投影点ξａが形成され、投影面πｂ上には投影点ξｂが形成される。このようにして、各投影面πａ，πｂ上には、それぞれ被写体の個々の点が投影され、被写体全体の投影像が形成されることになるが、投影面πａ上に形成される投影像と投影面πｂ上に形成される投影像とは相似形になる。別言すれば、投影面πａ上に形成される投影像をｚｂ／ｚａ倍に拡大すれば、投影面πｂ上に形成される投影像が得られる。

結局、投影面πをＺ軸方向に平行移動させることは、投影像のスケーリングファクターを変化させることと等価であり、スケーリングファクターを任意に設定できるのであれば、投影面πのＺ軸方向の位置も任意に設定できることになる。そこで、図８に示すように、投影面πを、Ｚ＝１で示される平面上に配置することにし、この投影面π上に二次元ｘｙ座標系を定義することにする。この二次元ｘｙ座標系上の任意の点ｐは、二次元座標値ｐ（ｘ，ｙ）で示されることになるが、三次元ＸＹＺ座標系では、三次元座標値ｐ（ｘ，ｙ，１）で示されることになる。

一方、図９に示すように、三次元グローバル空間上に、三次元ＸＹＺ座標系とともに、これとは全く別な三次元ＵＶＷ座標系（原点Ｏ′）を定義してみる。ＸＹＺ座標系とＵＶＷ座標系とは、全く独立した座標系であり、各原点Ｏ，Ｏ′の位置や各座標軸の向きは、それぞれ独立して設定されている。そして、ＸＹＺ座標系上には、図８で示したように、Ｚ＝１で示される平面上に配置された投影面πを定義し、この投影面π上に二次元ｘｙ座標系を定義する。一方、ＵＶＷ座標系上には、Ｗ＝１で示される平面上に配置された基準平面Ｒを定義し、この基準平面Ｒ上に二次元ｕｖ座標系を定義する。この二次元ｕｖ座標系上の任意の点ｑは、二次元座標値ｑ（ｕ，ｖ）で示されることになるが、三次元ＵＶＷ座標系では、三次元座標値ｑ（ｕ，ｖ，１）で示されることになる。

さて、上述したように、ＸＹＺ座標系とＵＶＷ座標系とは、位置や向きを任意に設定可能な相互に全く独立した座標系であるから、図６に示す第１の二次元ｘｙ座標系（第１の撮影画像Ｐ１が形成されている投影面π１上の座標系）および二次元ｕｖ座標系（基準平面Ｒ上の座標系）を、図９のモデルに示す二次元ｘｙ座標系および二次元ｕｖ座標系に置き換えて考えることが可能である。ただ、スケーリングファクターに関しては、完全な整合性はとれない。図６に示す投影面π１と視点Ｑ１との距離は、撮影に用いた第１のカメラ１０のズーム倍率に基づいて決定されるものであるのに対して、図９のモデルに示す投影面πと視点Ｑ１（原点Ｏ）との距離は１に固定されてしまっている。しかしながら、上述したとおり、実用上、スケーリングファクターは、任意に設定できるため、図９のモデルに示す座標系を前提として座標変換式を定義しても何ら支障は生じない。

ここで定義すべき座標変換式は、図９に示す三次元ＸＹＺ座標系上の任意の点ｐ（ｘ，ｙ，１）と三次元ＵＶＷ座標系上の点ｑ（ｕ，ｖ，１）との対応関係を示す式である。一般に、２つの異なる三次元座標系間の座標変換式は、ホモグラフィー行列Ｈを用いて表現され、三次元ＸＹＺ座標系上の座標値（ｘ，ｙ，ｚ）と三次元ＵＶＷ座標系上の座標値（ｕ，ｖ，ｗ）との間の座標変換式は、
［ｘ ｙ ｚ］^Ｔ＝Ｈ［ｕ ｖ ｗ］^Ｔ
なる行列式で表される。ここで、Ｈは、３行３列のホモグラフィー行列であり、右肩にＴを付した行列は転置行列を示している（明細書中では、文字列のみで行列表現を行う便宜上、列ベクトルを行ベクトルの転置形式で示すことにする）。

図９に示すモデルでは、上式において、ｚ＝１、ｗ＝１に固定することができるので、
［ｘ ｙ １］^Ｔ＝Ｈ［ｕ ｖ １］^Ｔ
なる式を用いればよい。ここでは、更に、ｘｙ座標系とｕｖ座標系との間のスケーリングファクターを任意に設定できるという利点を利用して、任意のスケーリング係数σを導入し、図１０に式（１）として示すように
［ｘ ｙ １］^Ｔ＝Ｈ［ｕ ｖ １］^Ｔ・σ
なる式を立てることにする。ここで、３行３列のホモグラフィー行列Ｈの各要素をｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33とすれば、上式は、図１０の式（２）のように表すことができる。

この式（２）に示す行列式を３本の式に分けると、
ｘ＝ｈ11・ｕσ＋ｈ12・ｖσ＋ｈ13・σ
ｙ＝ｈ21・ｕσ＋ｈ22・ｖσ＋ｈ23・σ
１＝ｈ31・ｕσ＋ｈ32・ｖσ＋ｈ33・σ
となる。この第３式をσについて解くと、
σ＝１／（ｈ31・ｕ＋ｈ32・ｖ＋ｈ33）
となるので、このσを第１式および第２式に代入して整理すると、図１０に式（３）および式（４）として示すように、
ｘ＝（ｈ11・ｕ＋ｈ12・ｖ＋ｈ13）／（ｈ31・ｕ＋ｈ32・ｖ＋ｈ33）
ｙ＝（ｈ21・ｕ＋ｈ22・ｖ＋ｈ23）／（ｈ31・ｕ＋ｈ32・ｖ＋ｈ33）
なる式が得られる。

この２つの式の分母分子をｈ33で除すると、
ｘ＝（ｈ11／ｈ33・ｕ＋ｈ12／ｈ33・ｖ＋ｈ13／ｈ33）
／（ｈ31／ｈ33・ｕ＋ｈ32／ｈ33・ｖ＋ｈ33／ｈ33）
ｙ＝（ｈ21／ｈ33・ｕ＋ｈ22／ｈ33・ｖ＋ｈ23／ｈ33）
／（ｈ31／ｈ33・ｕ＋ｈ32／ｈ33・ｖ＋ｈ33／ｈ33）
となるので、ｈ11／ｈ33，ｈ12／ｈ33，ｈ13／ｈ33，ｈ21／ｈ33，ｈ22／ｈ33，ｈ23／ｈ33，ｈ31／ｈ33，ｈ32／ｈ33を、それぞれｈ11′，ｈ12′，ｈ13′，ｈ21′，ｈ22′，ｈ23′，ｈ31′，ｈ32′とおけば、
ｘ＝（ｈ11′・ｕ＋ｈ12′・ｖ＋ｈ13′）／（ｈ31′・ｕ＋ｈ32′・ｖ＋１）
ｙ＝（ｈ21′・ｕ＋ｈ22′・ｖ＋ｈ23′）／（ｈ31′・ｕ＋ｈ32′・ｖ＋１）
と変形できる。ここで、ｈ11′〜ｈ32′を新たにｈ11〜ｈ32とおけば、
ｘ＝（ｈ11・ｕ＋ｈ12・ｖ＋ｈ13）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
ｙ＝（ｈ21・ｕ＋ｈ22・ｖ＋ｈ23）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
なる式が得られることになる。結局、図１０の式（３）および式（４）において、便宜上、ｈ33＝１とおいて、図１０に示す式（５）および式（６）を導くことができる。

図１０の式（５）の分母を両辺に乗じれば、図１１に示すように、式（７）が得られ、その左辺の一部を右辺へ移項すると式（８）が得られる。同様に、図１０の式（６）の分母を両辺に乗じれば、図１１に示すように、式（９）が得られ、その左辺の一部を右辺へ移項すると式（１０）が得られる。結局、図９に示すモデルを用いた場合、座標値（ｘ，ｙ）と座標値（ｕ，ｖ）との間の座標変換式は、図１１の式（８）および式（１０）に示すように、
ｘ＝ｈ11・ｕ＋ｈ12・ｖ＋ｈ13−ｈ31・ｘ・ｕ−ｈ32・ｘ・ｖ
ｙ＝ｈ21・ｕ＋ｈ22・ｖ＋ｈ23−ｈ31・ｙ・ｕ−ｈ32・ｙ・ｖ
となる。

これら２つの式は、二次元ｘｙ座標系上の任意の座標値（ｘ，ｙ）と二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）との関係を示す式であり、図９に示すグローバル座標系上に配置された２つの三次元座標系モデルを前提として導出された式である。このモデルでは、二次元ｘｙ座標系は、三次元ＸＹＺ座標系上の所定位置に定義された二次元座標系であり、二次元ｕｖ座標系は、三次元ＵＶＷ座標系上の所定位置に定義された二次元座標系である。そして、二次元ｘｙ座標は、第１のカメラの撮像面π１上に定義された座標であり、そこには、第１の撮影画像Ｐ１が配置されている。また、二次元ｕｖ座標は、基準平面Ｒ（被写体３０上の着目対象面）上に定義された座標であり、そこには、表示対象画像Ｐ３が形成されることになる。

したがって、これら２つの式を用いれば、座標値（ｕ，ｖ）と座標値（ｘ，ｙ）との間の相互変換を行うことができ、二次元ｘｙ座標上の第１の撮影画像Ｐ１を、二次元ｕｖ座標上の表示対象画像Ｐ３に変換することができる。ただ、これらの式を座標変換式として用いるためには、８個の係数ｈ11〜ｈ32の値を定める必要がある。§１で述べたとおり、係数値算出部１６０は、８個の点の座標値を用いて、これら８個の係数値を算出する処理を行う。

図１２は、この算出処理に利用される８個の点を示す平面図である。図１２(a) は、第１の二次元ｘｙ平面上に配置された４つの第１対応点Ｓ１１〜Ｓ１４を示す図である。ここでは、これらの各対応点が、ｘｙ座標系において、それぞれＳ１１（ｘ１，ｙ１），Ｓ１２（ｘ２，ｙ２），Ｓ１３（ｘ３，ｙ３），Ｓ１４（ｘ４，ｙ４）なる座標で示される点であるものとしよう。これら４つの第１対応点Ｓ１１〜Ｓ１４は、第１対応点抽出部１３０によって抽出され、その座標値が求められている。

一方、図１２(b) は、二次元ｕｖ平面上に配置された４つの基準点Ｓ３１〜Ｓ３４を示す図である。ここでは、これらの各基準点が、ｕｖ座標系において、それぞれＳ３１（ｕ１，ｖ１），Ｓ３２（ｕ２，ｖ２），Ｓ３３（ｕ３，ｖ３），Ｓ３４（ｕ４，ｖ４）なる座標で示される点であるものとしよう。これら４つの基準点Ｓ３１〜Ｓ３４の座標値は、基準点座標算出部１５０によって算出されている。

しかも、対応点Ｓ１１（ｘ１，ｙ１）は基準点Ｓ３１（ｕ１，ｖ１）に対応する点であり、対応点Ｓ１２（ｘ２，ｙ２）は基準点Ｓ３２（ｕ２，ｖ２）に対応する点であり、対応点Ｓ１３（ｘ３，ｙ３）は基準点Ｓ３３（ｕ３，ｖ３）に対応する点であり、対応点Ｓ１４（ｘ４，ｙ４）は基準点Ｓ３４（ｕ４，ｖ４）に対応する点である。したがって、これら対応関係にある座標値（ｘ，ｙ）および座標値（ｕ，ｖ）の組み合わせは、図１１に示す式（８）および式（１０）を満足する。そこで、上記４通りの組み合わせを式（８）および式（１０）に代入すれば、合計８本の連立方程式が得られる。

図１３は、この８本の連立方程式を行列式の形で示した図である。たとえば、左側の８行８列の行列式の第１行目の各項は、図１１の式（８）に、ｘ＝ｘ１，ｕ＝ｕ１，ｖ＝ｖ１を代入することにより得られる項であり、第２行目の各項は、図１１の式（１０）に、ｙ＝ｙ１，ｕ＝ｕ１，ｖ＝ｖ１を代入することにより得られる項である。すなわち、この行列式の第１行目および第２行目の各項は、対応点Ｓ１１（ｘ１，ｙ１）と基準点Ｓ３１（ｕ１，ｖ１）との対応関係を示す項になる。同様に、第３行目および第４行目の各項は、対応点Ｓ１２（ｘ２，ｙ２）と基準点Ｓ３２（ｕ２，ｖ２）との対応関係を示す項であり、第５行目および第６行目の各項は、対応点Ｓ１３（ｘ３，ｙ３）と基準点Ｓ３３（ｕ３，ｖ３）との対応関係を示す項であり、第７行目および第８行目の各項は、対応点Ｓ１４（ｘ４，ｙ４）と基準点Ｓ３４（ｕ４，ｖ４）との対応関係を示す項である。

この図１３の行列式で示される８本の連立方程式において、各座標値は既知数になるので、未知数は８個の係数ｈ11〜ｈ32の８個になる。したがって、この８本の連立方程式を解く演算を実行すれば、８個の係数ｈ11〜ｈ32の値を算出することができる。係数値算出部１６０は、このような演算によって、係数値ｈ11〜ｈ32を算出することになる。

要するに、係数値算出部１６０は、二次元ｕｖ座標系と二次元ｘｙ座標系との間のスケーリングファクターを任意に設定することにより、座標値（ｕ，ｖ）と座標値（ｘ，ｙ）との関係を定める座標変換式として、図１０の式（５），式（６）に示すように、
ｘ＝（ｈ11・ｕ＋ｈ12・ｖ＋ｈ13）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
ｙ＝（ｈ21・ｕ＋ｈ22・ｖ＋ｈ23）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
なる式を定義し、この２本の式に、４つの基準点についての二次元ｕｖ座標系の座標値（ｕ，ｖ）と４つの第１対応点の二次元ｘｙ座標系の座標値（ｘ，ｙ）とをそれぞれ代入して得られる８本の連立方程式を用いて、８個の係数ｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32を算出することになる。

以上の説明は、図６に示す３つの二次元座標系において、第１の二次元ｘｙ座標系上の座標値（ｘ，ｙ）と二次元ｕｖ座標系上の座標値（ｕ，ｖ）との間の座標変換式の係数を、４つの第１対応点Ｓ１１〜Ｓ１４の座標値と４つの基準点Ｓ３１〜Ｓ３４の座標値とに基づいて算出する方法についてのものであり、この方法で算出された座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」を用いると、第１の撮影画像Ｐ１を表示対象画像Ｐ３に変換することが可能になる。

一方、全く同様の方法により、第２の二次元ｘｙ座標系上の座標値（ｘ，ｙ）と二次元ｕｖ座標系上の座標値（ｕ，ｖ）との間の座標変換式の係数を、４つの第２対応点Ｓ２１〜Ｓ２４の座標値と４つの基準点Ｓ３１〜Ｓ３４の座標値とに基づいて算出することも可能であり、この方法で算出された座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」を用いると、第２の撮影画像Ｐ２を表示対象画像Ｐ３に変換することが可能になる。

実用上は、係数値算出部１６０によって、上記２通りの方法を実行し、§３で述べるように、座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」を用いた第１の撮影画像Ｐ１から表示対象画像Ｐ３への変換と、座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」を用いた第２の撮影画像Ｐ２から表示対象画像Ｐ３への変換と、の双方を行うことができるようにするのが好ましい。

＜＜＜ §３．画像変換部における具体的な処理 ＞＞＞
ここでは、図１に示す装置における画像変換部１７０が行う具体的な処理を説明する。§１で述べたとおり、この画像変換部１７０は、図１４に式（１２）として示すように、係数値算出部１６０によって算出された係数値によって規定される座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」もしくは「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」を用いて、撮影画像格納部１２０に格納されている第１の撮影画像Ｐ１もしくは第２の撮影画像Ｐ２を、表示対象画像Ｐ３に変換する処理を行う。図１５は、この変換処理を示す平面図である。

図示のとおり、第１の撮影画像Ｐ１は、第１のカメラの撮像面π１上に定義された第１の二次元ｘｙ座標系上に配置され、座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」によって、二次元ｕｖ座標系上（基準平面Ｒ上）に配置された表示対象画像Ｐ３に変換することができる。同様に、第２の撮影画像Ｐ２は、第２のカメラの撮像面π２上に定義された第２の二次元ｘｙ座標系上に配置され、座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」によって、二次元ｕｖ座標系上（基準平面Ｒ上）に配置された表示対象画像Ｐ３に変換することができる。これは、上記座標変換式によって、二次元ｘｙ座標系上の任意の点ｐ（ｘ，ｙ）を、二次元ｕｖ座標系上の点ｑ（ｕ，ｖ）に変換することができるためである。

ただ、撮影画像Ｐ１，Ｐ２も、表示対象画像Ｐ３も、所定ピッチで画素を配置した画素配列によって構成されているため、実際には、撮影画像Ｐ１，Ｐ２上の任意の１画素を、表示対象画像Ｐ３上の１つの画素に必ずしも正確に対応させることはできない。そこで実用上は、まず、二次元ｕｖ座標系上に所望のピッチで画素配列（表示対象画像Ｐ３を構成するための画素配列）を定義し、当該画素配列を構成する個々の画素の画素値を、二次元ｘｙ座標系上の撮影画像Ｐ１もしくはＰ２の画素値を参照することにより決定する方法を採る。

すなわち、画像変換部１７０は、二次元ｘｙ座標系上の変換対象画像（撮影画像Ｐ１もしくはＰ２）を二次元ｕｖ座標系上の表示対象画像Ｐ３に変換する際に、座標値（ｕ，ｖ）を引数として座標値（ｘ，ｙ）を求める座標変換式を用い、変換対象画像上の座標値（ｘ，ｙ）で示される位置の近傍に存在する複数の画素の画素値を用いた補間演算によって求められる補間値を、座標値（ｕ，ｖ）で示される位置に配置された画素の画素値とする処理を行えばよい。

このように、所定の座標値（ｘ，ｙ）の近傍に存在する複数の画素の画素値を読み出し、これらの画素値についての補間値を求める補間演算を行う方法としては、たとえば、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知であるため、ここでは詳しい説明は省略する。もちろん、そのような補間を行わずに、座標値（ｘ，ｙ）で示される位置に最も近い画素の画素値をそのまま用いる方法を採ることも可能である。

結局、実際には、画像変換部１７０が行う画像変換処理には、座標値（ｕ，ｖ）を引数として座標値（ｘ，ｙ）を求める形式の座標変換式が用いられることになるので、「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」もしくは「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」なる形式の代わりに、関数ｆ，ｇの逆関数ｆ^−１，ｇ^−１を用いた「（ｘ，ｙ）＝ｆ^−１（ｕ，ｖ）」もしくは「（ｘ，ｙ）＝ｇ^−１（ｕ，ｖ）」なる形式の座標演算式が用いられることになる。図１１の式（８），式（１０）によって示される座標変換式は、このような形式の式になっている。

さて、図１５に示すように、表示対象画像Ｐ３は、第１の撮影画像Ｐ１を座標変換式「（ｕ，ｖ）＝ｆ（ｘ，ｙ）」によって変換することによって得ることもできるし、第２の撮影画像Ｐ２を座標変換式「（ｕ，ｖ）＝ｇ（ｘ，ｙ）」によって変換することによって得ることもできる。そして、幾何学的には、いずれの変換方法を採った場合でも、得られる表示対象画像Ｐ３に違いはない。したがって、理論的には、画像変換部１７０は、第１の撮影画像Ｐ１および第２の撮影画像Ｐ２の一方を変換対象画像として選択し、この変換対象画像について、上記座標変換式を用いた変換処理を施し、表示対象画像Ｐ３を得る処理を行えばよい。

しかしながら、実用上は、各撮影画像Ｐ１，Ｐ２には、物理的な制約に基づく解像度が存在し、これらの画像には、有限個の画素の情報しか含まれていない。このため、実際には、両撮影画像Ｐ１，Ｐ２に基づく変換結果は正確には一致しない。したがって、実用上は、第１の撮影画像Ｐ１および第２の撮影画像Ｐ２の双方を変換対象画像として選択し、この双方の変換対象画像について、上記座標変換式を用いた変換処理を施し、表示対象画像Ｐ３を得る処理を行うのが好ましい。

そのためには、まず、係数値算出部１６０により、第１の撮影画像Ｐ１および第２の撮影画像Ｐ２の双方を変換対象画像として選択し、これら変換対象画像上にそれぞれ第１および第２の二次元ｘｙ座標系を定義し、二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する第１および第２の二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式ｆおよびｇの係数値を、４つの基準点Ｓ３１〜Ｓ３４の座標値と、４つの第１対応点Ｓ１１〜Ｓ１４および４つの第２対応点Ｓ２１〜Ｓ２４の座標値との対応関係を用いて算出するようにする。

そして、画像変換部１７０が、図１６に示すように、係数値算出部１６０によって算出された係数値によって規定される第１の座標変換式（関数ｆ）を用いて、図の左下に示す第１の二次元ｘｙ座標系上の第１の撮影画像Ｐ１を、その上方に示す二次元ｕｖ座標系上の第１の準備画像Ｐａに変換するとともに、係数値算出部１６０によって算出された係数値によって規定される第２の座標変換式（関数ｇ）を用いて、図の右下に示す第２の二次元ｘｙ座標系上の第２の撮影画像Ｐ２を、その上方に示す二次元ｕｖ座標系上の第２の準備画像Ｐｂに変換し、最後に、第１の準備画像Ｐａと第２の準備画像Ｐｂとを合成することにより、図の上方に示す表示対象画像Ｐ３を生成する処理を行うようにすればよい。

なお、前述したように、実際には、第１の撮影画像Ｐ１から第１の準備画像Ｐａへの変換処理は、第１の準備画像Ｐａを構成する画素配列上の座標値（ｕ，ｖ）に配置された画素ｑ１（ｕ，ｖ）について、座標値（ｕ，ｖ）を引数として座標値（ｘ，ｙ）を求める形式の座標変換式「（ｘ，ｙ）＝ｆ^−１（ｕ，ｖ）」を用いた演算によって対応する座標値（ｘ，ｙ）を求め、当該座標値ｐ（ｘ，ｙ）で示される位置の近傍に存在する複数の画素の画素値を用いた補間演算によって求められる補間値を、画素ｑ１（ｕ，ｖ）の画素値とする処理を行うことになる。

同様に、第２の撮影画像Ｐ２から第２の準備画像Ｐｂへの変換処理は、第２の準備画像Ｐｂを構成する画素配列上の座標値（ｕ，ｖ）に配置された画素ｑ２（ｕ，ｖ）について、座標値（ｕ，ｖ）を引数として座標値（ｘ，ｙ）を求める形式の座標変換式「（ｘ，ｙ）＝ｇ^−１（ｕ，ｖ）」を用いた演算によって対応する座標値（ｘ，ｙ）を求め、当該座標値ｐ（ｘ，ｙ）で示される位置の近傍に存在する複数の画素の画素値を用いた補間演算によって求められる補間値を、画素ｑ２（ｕ，ｖ）の画素値とする処理を行うことになる。

こうして、第１の準備画像Ｐａと第２の準備画像Ｐｂとが得られたら、両画像を合成することにより、図の上方に示す表示対象画像Ｐ３を生成する処理を行うようにすればよい。両画像の合成方法は、両画像の特徴を融合させるような方法であれば、どのような方法を採ってもかまわないが、一般的には、αブレンドと呼ばれている方法を採ればよい。

具体的には、図１６に示すように、第１の準備画像Ｐａ上の座標値（ｕ，ｖ）で示される位置の任意の画素ｑ１（ｕ，ｖ）の画素値をＩ１（ｕ，ｖ）、第２の準備画像Ｐｂ上の同じ座標値（ｕ，ｖ）で示される位置の画素ｑ２（ｕ，ｖ）の画素値をＩ２（ｕ，ｖ）、表示対象画像Ｐ３上の同じ座標値（ｕ，ｖ）で示される位置の画素ｑ（ｕ，ｖ）の画素値をＩ（ｕ，ｖ）としたときに、所定の重み係数α（０≦α≦１）を用いて、図１６に式（１３）として示すように、
Ｉ（ｕ，ｖ）＝（１−α）・Ｉ１（ｕ，ｖ）＋α・Ｉ２（ｕ，ｖ）
なる合成演算を行い、画素ｑ（ｕ，ｖ）の画素値Ｉ（ｕ，ｖ）を決定するようにすればよい。

ここで、重み係数αは、画像合成を行う上で、第１の準備画像Ｐａと第２の準備画像Ｐｂとのいずれを重視するかを定めるパラメータであり、０≦α≦１の範囲の値となる。重み係数αが小さければ小さいほど、第１の準備画像Ｐａを重視した合成が行われ、大きければ大きいほど、第２の準備画像Ｐｂを重視した合成が行われる。α＝０に設定すると、表示対象画像Ｐ３は第１の準備画像Ｐａに等しくなり、α＝１に設定すると、表示対象画像Ｐ３は第２の準備画像Ｐｂに等しくなる。α＝０．５に設定しておけば、両画像の平均画像が表示対象画像Ｐ３として得られる。

重み係数αの値は、たとえば、常にα＝０．５にする、というように固定しておいてもよいが、より好ましくは、表示対象画像Ｐ３が得られるｕｖ座標平面と各カメラの撮像面（被写体の投影面）との位置関係に基づいて、その都度、最適値を定めるようにするのが好ましい。

たとえば、図１の上部に示す例の場合、被写体３０の着目対象となるナンバープレートを、左斜め４５°および右斜め４５°程度の角度から２台のカメラ１０，２０で撮影しているため、図２(a) ，(b) に示すように、ほぼ対称となる撮影画像Ｐ１，Ｐ２が得られている。このような場合は、α＝０．５に設定し、両画像の重みを等しく設定すればよい。ところが、図１の上部に示す例において、被写体３０の向きがやや左向きであったとすると、第１の撮影画像Ｐ１は、車両の正面に近い方向から撮影した画像となり、第２の撮影画像Ｐ２は、車両の側面に近い方向から撮影した画像となるので、着目対象となるナンバープレートの解像度に関しては、撮影画像Ｐ１の方が撮影画像Ｐ２よりも高くなる。このような場合は、α＜０．５に設定し、撮影画像Ｐ１をより重視した合成を行うようにするのが好ましい。

図１７は、重み係数αの値を設定する具体的な方法の一例を示す上面図である。ここで、点Ｑ１，Ｑ２は、２台のカメラの撮影点であり、投影面π１，π２は、これら２台のカメラの撮像面である。第１の撮影画像Ｐ１は投影面π１上に形成され、第２の撮影画像Ｐ２は投影面π２上に形成される。一方、ｕｖ平面は、被写体３０上の基準平面Ｒ上に定義された座標平面であり、表示対象画像Ｐ３が形成される平面である。

ここで、このｕｖ平面上に所定の代表点Ｋ（たとえば、第１の準備画像Ｐａもしくは第２の準備画像Ｐｂの中心点）を定義することとし、図示のとおり、代表点Ｋと第１のカメラ１０を設置した撮影点Ｑ１とを結ぶ直線Ｌ１とｕｖ平面とのなす鋭角θ１と、代表点Ｋと第２のカメラ２０を設置した撮影点Ｑ２とを結ぶ直線Ｌ２とｕｖ平面とのなす鋭角θ２とを求める。そうすると、角θ１，θ２は、それぞれ各カメラ１０，２０の代表点Ｋを撮影する向きを示すパラメータとなり、角度が大きいほど、カメラは代表点Ｋの正面に配置されていることになる。したがって、角θ１，θ２を比較し、角度がより大きいカメラ（より正面に近い配置がなされているカメラ）による撮影画像をより重視した合成を行えば、より好ましい結果が得られると考えられる。

そこで、撮影点Ｑ１，Ｑ２，代表点Ｋ，ｕｖ平面の三次元空間上での座標位置に基づいて角θ１，θ２を算出し、重み係数αを、θ１＞θ２であればα＜０．５に設定し、両角度の差が大きければ大きいほど、αが小さくなるように設定し、θ１＜θ２であればα＞０．５に設定し、両角度の差が大きければ大きいほど、αが大きくなるように設定し、θ１＝θ２であればα＝０．５に設定するようにすればよい。具体的には、たとえば、図１７の下段に示すように、α＝（θ２−θ１）／π＋１／２なる演算式により重み係数αを設定すればよい。この演算式によれば、θ１＝９０°、θ２＝０°という極端な場合には、α＝０となり、θ１＝０°、θ２＝９０°という極端な場合には、α＝１となる。

なお、図示の便宜上、図１７では、各要素の配置を二次元の平面図として示しているが、実際には、各要素は三次元空間に配置されており、角θ１，θ２は、この三次元空間上における直線と平面とのなす角として与えられる。

このように、代表点Ｋに対するカメラの向きによって重み係数αを設定する方法では、表示対象画像Ｐ３を構成するすべての画素の画素値を求める合成演算に、同一の重み係数αの値を用いることになるが、その代わりに、個々の画素ごとに、用いる重み係数αの値を変えるようにしてもかまわない。

たとえば、図１７に示す例の場合、代表点Ｋに基づいて共通の重み係数αの値を決定すると、ｕｖ平面上の点ξ１０に配置された画素についても、点ξ２０に配置された画素についても、共通したαを用いた合成演算が行われることになる。ところが、図示のとおり、配置点ξ１０に関しては、２点Ｑ１，ξ１０を結ぶ直線とｕｖ平面とのなす鋭角θ１と、２点Ｑ２，ξ１０を結ぶ直線とｕｖ平面とのなす鋭角θ２とを比較すると、θ１＞θ２であるから、投影面π１上の投影点ξ１１に配置された画素の画素値と、投影面π２上の投影点ξ１２に配置された画素の画素値と、に基づいて、点ξ１０上に配置された画素の画素値を決定する際には、前者をより重視した合成を行うべきである。

これに対して、配置点ξ２０に関しては、２点Ｑ１，ξ２０を結ぶ直線とｕｖ平面とのなす鋭角θ１と、２点Ｑ２，ξ２０を結ぶ直線とｕｖ平面とのなす鋭角θ２とを比較すると、θ１＜θ２であるから、投影面π１上の投影点ξ２１に配置された画素の画素値と、投影面π２上の投影点ξ２２に配置された画素の画素値と、に基づいて、点ξ２０上に配置された画素の画素値を決定する際には、後者をより重視した合成を行うべきである。

そこで、各画素ごとに独立した重み係数αを決定して合成演算を行うのであれば、表示対象画像Ｐ３上の座標値（ｕ，ｖ）で示される位置にある着目画素の画素値Ｉ（ｕ，ｖ）を決定する際に、当該着目画素の配置点（たとえば、ξ１０やξ２０）と第１のカメラ１０を設置した撮影点Ｑ１とを結ぶ直線とｕｖ平面とのなす鋭角θ１と、当該配置点と第２のカメラ２０を設置した撮影点Ｑ２とを結ぶ直線とｕｖ平面とのなす鋭角θ２と、を比べ、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αを、θ１＞θ２であればα＜０．５に設定し、両角度の差が大きければ大きいほど、αが小さくなるように設定し、θ１＜θ２であればα＞０．５に設定し、両角度の差が大きければ大きいほど、αが大きくなるように設定し、θ１＝θ２であればα＝０．５に設定すればよい。この場合にも、具体的には、たとえば、図１７の下段に示すように、α＝（θ２−θ１）／π＋１／２なる演算式により重み係数αを設定すればよい。

ここでは、重み係数αを決定する際に考慮すべき、もうひとつの要素を述べておく。それは、被写体３０上の着目対象となる基準平面Ｒの手前に存在する障害物である。図１８は、ｕｖ平面の手前に障害物４０が存在する例を示す平面図である。表示対象画像Ｐ３は、この障害物４０の奥に位置する被写体３０上の基準平面Ｒの画像であるから、障害物４０の画像は、本来、排除されなければならない。ところが、図示の例の場合、投影面π１上には、この障害物４０の投影像が形成されるため、図示する平面図において、投影点ξ３１とξ４１との間には、本来の被写体ではなく、障害物４０の像が得られることになる。これに対して、投影面π２上には、障害物４０の投影像は形成されず、図示する平面図において、投影点ξ３２とξ４２との間には、本来の被写体の像が得られることになる。

このような場合、図示する平面図において、ｕｖ平面上の配置点ξ３０とξ４０との間に位置する画素の画素値を決める際には、投影面π１上の第１の撮影画像Ｐ１を用いるべきではない。被写体の配置点ξ３０とξ４０との間に対応する領域は、投影面π１上に得られる第１の撮影画像Ｐ１上では障害物４０による隠面となっているのに対して、投影面π２上に得られる第２の撮影画像Ｐ２上では隠面にはなっていない。したがって、この例では、ｕｖ平面上に形成される表示対象画像Ｐ３のうち、配置点ξ３０とξ４０との間に対応する領域に位置する画素の画素値Ｉ（ｕ，ｖ）を決定する際には、α＝１に設定し、第２の撮影画像Ｐ２のみを考慮するようにすればよい。

図１９は、図１８に示す合成方法による合成対象となる２つの撮影画像を示す平面図である。図１９(a) は、第１の撮影画像Ｐ１を示し、図１９(b) は、第２の撮影画像Ｐ２を示す。いずれの撮影画像にも、本来の被写体３０となるナンバープレートと障害物４０としての猫が写っているが、第１の撮影画像Ｐ１では、被写体３０の前方に位置する障害物４０によって被写体３０の一部が隠面となり、当該部分に関する画像情報は欠落してしまっている。これに対して、第２の撮影画像Ｐ２では、障害物４０によって被写体３０は隠れておらず、すべての画像情報が維持されている。

このような場合、第１の撮影画像Ｐ１において隠面となっている領域内に関しては、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝１に設定し、第２の撮影画像Ｐ２の情報のみを用いて画素値の決定を行うようにすればよい。

要するに、画像変換部１７０は、表示対象画像Ｐ３上の座標値（ｕ，ｖ）で示される位置にある着目画素の画素値Ｉ（ｕ，ｖ）を決定する際に、当該着目画素が、障害物４０により第１の準備画像Ｐａ上でのみ隠面となっている領域内の画素である場合には、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝１に設定し、逆に、障害物４０により第２の準備画像Ｐｂ上でのみ隠面となっている領域内の画素である場合には、画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝０に設定すればよい。

なお、図１８において、ｕｖ平面上に形成される各準備画像Ｐａ，Ｐｂ上で、障害物によって隠面となる領域を認識するためには、三次元空間上において、基準平面の手前に存在する障害物４０を認識する必要がある。この障害物４０の三次元空間上での位置認識は、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報と、第１の撮影画像Ｐ１上の二次元画像情報と、第２の撮影画像Ｐ２上の二次元画像情報と、に基づいて、被写体３０および障害物４０の三次元形状モデルを作成すればよい。このような三次元形状モデルの作成方法は、既に述べたとおり、エピポーラ幾何を用いた方法として公知である。

以上、画像変換部１７０における具体的な画像変換処理の方法を、各撮影画像Ｐ１，Ｐ２がモノクロ画像である場合について説明したが、これらの画像がカラー画像である場合には、同様の処理を個々の原色ごとに行えばよい。たとえば、１つの画素がＲＧＢの三原色の画素値を有している場合、原色Ｒの画素値、原色Ｇの画素値，原色Ｂの画素値のそれぞれについて、上述した処理を行えば、カラーの表示対象画像Ｐ３を得ることができる。

＜＜＜ §４．その他の変形例 ＞＞＞
最後に、本発明のいくつかの変形例を示しておく。

＜４−１．様々な被写体の認識＞
これまで、被写体上の着目対象を車両のナンバープレートとし、このナンバープレートの表面を基準平面Ｒに設定し、このナンバープレートを構成する四角形の４つの頂点を４つの基準点とする例を述べた。しかしながら、本発明は、このような車両のナンバープレートを着目対象とする場合に限定されるものではなく、何らかの基準平面Ｒと、当該基準平面Ｒ上に位置する４つの基準点を定義できる被写体であれば、どのような被写体についても適用可能である。

基準平面Ｒおよび４つの基準点としての最も典型的な例は、上例のナンバープレートのような四角形とその４頂点である。一般的な車両には、ナンバープレート以外にも、ボディーや窓など、四角形として把握できる構造部が存在するので、これらの構造部を被写体上の着目対象とすれば、本発明により、当該着目対象を正面から観察した状態を示す画像を自動的に表示させることが可能である。車両に限らず、多くの工業製品には、四角形の構造部が含まれているので、本発明は、このような工業製品を被写体とする分野にも広く利用することができる。

既に述べたとおり、四角形の４頂点を４つの基準点として設定した場合、第１対応点抽出部１３０は、第１の撮影画像Ｐ１上の直線部を探索し、探索された直線部によって囲まれた四角形を基準平面と認識し、当該四角形の４頂点を４つの第１対応点として抽出することができる。なお、複数の四角形が認識された場合は、各四角形の縦横比率や面積を認識することにより、着目対象を特定することも可能である。

また、本発明は、人間の顔面を被写体として、顔面を正面から観察した画像を自動的に表示する不審者監視システムなどにも利用することができる。一般に、人間の顔面には、図２０に示す例のように、右眼中心点Ｓ１、左眼中心点Ｓ２、唇の右端点Ｓ３、唇の左端点Ｓ４という４つの特徴点を定義することができ、人物の二次元撮影画像から、このような４つの特徴点を認識する方法は、既に公知の技術として、デジタルカメラなどの顔面認識処理などで実用化されている。また、人間の顔面は、ほぼ左右対称であることから、上記４つの特徴点は同一平面上に位置する。したがって、上記４つの特徴点を被写体上の４つの基準点と定義し、この４つの基準点を含む平面を基準平面Ｒと定義すれば、人間の顔面を被写体として、本発明を適用することが可能である。

この場合、第１対応点抽出部１３０は、第１の撮影画像Ｐ１から、公知の顔面認識技術を利用して人間の顔面を探索し、探索された顔面における右眼中心点Ｓ１、左眼中心点Ｓ２、唇の右端点Ｓ３、唇の左端点Ｓ４を含む面を基準平面Ｒと認識し、これら各点を４つの第１対応点Ｓ１１〜Ｓ１４として抽出する処理を行えばよい。三次元空間上において、人間の顔の表面は、基準平面Ｒ上に正確にのっているわけではないが、ほぼ基準平面Ｒに沿った面になるため、この基準平面Ｒ上に表示対象画像Ｐ３を形成するようにしても、実用的な支障は生じない。

これまで述べた実施形態を、このようにして人間の顔面に適用すれば、右眼中心点Ｓ１、左眼中心点Ｓ２、唇の右端点Ｓ３、唇の左端点Ｓ４という４つの特徴点を含む基準平面Ｒに対して垂直方向から観察した状態の表示対象画像Ｐ３を得ることができるので、結局、人物の顔面の正面像を表示させることができる。これは、不審人物の特定などの用途に非常に便利である。一般に、人間の空間内での向き、特に顔面の向きは、車両の向きなどに比べて極めて自由度が高く、カメラによる人物の撮影画像には、様々な方向を向いた顔面が写っている。本発明によれば、人物がどの方向を向いていたとしても、２台のカメラにその顔面が写っていれば、当該人物の正面像が自動的に表示されることになる。したがって、本発明は、不審者監視システムなどへの利用にも適している。

これまで述べてきた実施例は、いずれも特定の被写体のもつ固有の特徴に基づいて、基準平面Ｒを定義した例である。たとえば、ナンバープレートであれば、「外形が矩形の板状プレート」という固有の特徴を有しており、当該固有の特徴を利用して、基準平面を構成する４つの基準点（矩形の４頂点）を予め定義しておくことができた。同様に、人間の顔面であれば、「両目と唇」という固有の特徴を有しており、当該固有の特徴を利用して、基準平面を構成する４つの基準点（両目の中心点と両唇端）を予め定義しておくことができた。

しかしながら、本発明を実施する上では、必ずしもこのような特定の被写体のもつ固有の特徴に基づいて、基準平面Ｒを定義する必要はなく、単に、「被写体上で認識された平面を基準平面Ｒとして、当該平面上の任意の４点を基準点とする」という運用を行うことも可能である。すなわち、既に述べたとおり、エピポーラ幾何を利用すれば、第１のカメラ１０および第２のカメラ２０の設置位置および向きの情報と、第１の撮影画像Ｐ１上の二次元被写体情報と、第２の撮影画像Ｐ２上の二次元被写体情報と、に基づいて、被写体３０の三次元形状モデルを作成することができる。そこで、第１対応点抽出部１３０に、当該三次元形状モデルを作成し、この三次元形状モデル上での所定の平面を基準平面Ｒと認識し、当該基準平面Ｒ上の任意の４点に対応する４つの点を第１対応点として抽出する機能をもたせておけば、どのような被写体であっても、平面部分を有していれば、当該平面部分を着目対象として、これを正面から観察した状態の画像を表示させることができる。

＜４−２．斜め方向からの観察＞
これまで述べてきた実施形態では、いずれも被写体上の着目対象をその正面方向から観察した画像を表示することを前提としてきた。そのため、図９に示すモデルでは、被写体３０の着目対象となる基準平面Ｒ上に二次元ｕｖ座標系を定義し、当該座標系上に表示対象画像を得る演算を行った。一般に、車両のナンバープレートや人物の顔面の場合、これを正面から観察した画像を表示するのが好ましい。すなわち、車両ナンバーの特定や人物の特定などの用途では、ナンバープレートや人物の顔面を正面から観察した状態を表示するのが適切であり、正面方向、すなわち、基準平面Ｒに直交する方向が適切な観察方向ということになる。

しかしながら、用途によっては、必ずしも基準平面Ｒに対して直交する方向が適切な観察方向とは限らない。たとえば、同じ車両を被写体とする場合であっても、車種を確認する用途の場合、車両を正面から観察した画像よりも、斜め前方、もしくは、斜め後方から観察した画像を表示させた方が、車両全体の特徴を把握しやすい。したがって、車両の車種確認という用途では、適切な観察方向は、斜め前方、もしくは、斜め後方ということになる。この場合、ナンバープレートの表面を基準平面Ｒとして設定したのであれば、適切な観察方向は、この基準平面Ｒに直交する方向ではなく、たとえば、基準平面Ｒに対して斜め４５°に交差する方向ということになる。

そこで、上例のように、基準平面Ｒに対する斜め方向を適切な観察方向として設定するのであれば、図９に示すモデルの代わりに、図２１に示すモデルを用いるようにすればよい。この図２１に示すモデルでは、基準平面Ｒ（たとえば、ナンバープレートの表面）をｖ軸まわりに所定の回転角γ（たとえば、γ＝４５°）だけ回転させた平面上にｕｖ座標系を定義している。もちろん、回転軸は必ずしもｖ軸にする必要はなく、任意の軸を回転軸に設定してかまわない。

このように、二次元ｕｖ座標系を回転させて定義すると、得られる表示対象画像Ｐ３は、被写体の三次元画像を当該ｕｖ平面上に投影した画像になる。そのような投影画像は、被写体の三次元形状モデルを作成することにより得ることができる。この場合、二次元ｕｖ座標系上に形成される表示対象画像Ｐ３上の座標値（ｕ，ｖ）と、当該座標値で示される表示対象画像Ｐ３上の点に対応する二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式は、これまでの実施形態で述べた式とは若干異なることになる。もっとも、図２１に示すとおり、基準平面Ｒ上に定義された二次元座標系とこれを回転角γだけ回転させて得られる二次元ｕｖ座標系との関係は、幾何学的に決定できるので、上記座標変換式も、これまで述べた座標変換式に若干の修正を加えることにより得られる。係数値算出部１６０は、このような修正を加えた後の座標変換式の各係数値を算出すればよい。

＜４−３．魚眼カメラの採用＞
これまで述べてきた実施形態は、第１のカメラ１０および第２のカメラ２０として、一般的な平面デジタルカメラを用いた例であるが、１台のカメラによって、より広い視野を確保するためには、魚眼レンズを装着した魚眼カメラ（魚眼レンズの代わりに全方位ミラーを装着したカメラも、ここでは、魚眼カメラと呼ぶことにする）を用いることができる。

魚眼レンズを用いると、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を得ることができ、１台のカメラでかなり広い視野をカバーすることができる。ただ、魚眼カメラによる撮影画像は、通常の平面カメラによる撮影画像とは異なり、歪曲円形画像になるため、これを利用する際には、この歪曲円形画像の一部分を切り出して、通常の平面正則画像へ変換する変換処理が必要になる。

図２２は、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的な特徴と、その一部分を切り出して、平面正則画像に変換する処理の基本原理を説明するための斜視図であり、正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓが形成された基本モデルが示されている。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図２２に示すモデルは、正射影方式の魚眼レンズについてのものである。

ここでは、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲円形画像Ｓが形成された例が示されており、図示のとおり、Ｚ軸を図の上方にとり、Ｚ軸の正の領域側にドーム状の仮想球面Ｈ（半球）が定義されている。また、この仮想球面Ｈの左上には、二次元ｕｖ直交座標系が配置されている。なお、ここに示す三次元ＸＹＺ直交座標系や二次元ｕｖ直交座標系は、魚眼カメラによる撮影で得られた歪曲円形画像Ｓを平面正則画像Ｔに変換するための座標変換を説明するための座標系であり、これまで述べてきた図９に示すモデルなどに示されている三次元ＸＹＺ座標系や二次元ｕｖ座標系とは全く無関係な別な座標系である。

ＸＹ平面上に形成された歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径Ｒの円を構成する画像であり、Ｚ軸の正の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。歪曲円形画像Ｓには、Ｚ軸の正の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。

実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図２２に示すような仮想球面Ｈによってモデル化できることが知られている。すなわち、歪曲円形画像Ｓの上面に、半径Ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｑ（ｘ，ｙ，ｚ）に対して法線方向から入射する光線Ｌ（図の一点鎖線）は、Ｚ軸に平行な光線として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図２２において、歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図２２に示す入射光線Ｌの延長線上に存在する物体上の１点を示していることになる。

もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図２２に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。ここで行う画像変換の目的は、歪曲円形画像Ｓ上の一部分を切り出して、平面正則画像Ｔに変換する処理を行うことである。

ここでは、たとえば、図示する点Ｐ（ｘ_０，ｙ_０）を切出中心点として、歪曲円形画像Ｓ上の近傍領域の画像を平面正則画像に変換することを考えてみよう。いま、図示のとおり、この切出中心点Ｐ（ｘ_０，ｙ_０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点をＱ（ｘ_０，ｙ_０，ｚ_０）とする。この交点Ｑは、いわば切出中心点Ｐ（ｘ_０，ｙ_０）の真上の点であり、ここでは球面上対応点と呼ぶ。同様に、点Ｑ（ｘ，ｙ，ｚ）は、点Ｓ（ｘ，ｙ）についての球面上対応点ということになる。

続いて、原点Ｏと球面上対応点Ｑ（ｘ_０，ｙ_０，ｚ_０）とを結ぶ方向に、図示のように、視線ベクトルｎを定義し、この視線ベクトルｎ上に二次元ｕｖ座標系の原点Ｇを定義する。ここで、原点Ｇの座標は（ｘｇ，ｙｇ，ｚｇ）であり、２点ＯＧ間の距離がｍ・ｒであるとする。ｒは、歪曲円形画像Ｓの半径（仮想球面Ｈの半径）であり、ｍは、原点Ｇと原点Ｏとの距離が、この半径ｒの何倍であるかを示す倍率パラメータである。二次元ｕｖ座標系は、原点Ｇを通り、視線ベクトルｎに垂直な平面上に定義される。図示のとおり、二次元ｕｖ座標系は、互いに直交するｕ軸とｖ軸とを有しているが、回転基準軸Ｊとｕ軸とのなす角をφとする。ここで、回転基準軸Ｊは、原点Ｇを通り、ＸＹ平面に平行であり、かつ、視線ベクトルｎに直交する軸として定義される。

角度φを増減すると、視線ベクトルｎを中心軸として、二次元ｕｖ座標系が回転することになり、当該角度φは、一般に平面傾斜角と呼ばれている。また、球面上対応点Ｑ（ｘ_０，ｙ_０，ｚ_０）は、視線ベクトルｎの方向を決定する点であり、図示のとおり、方位角αと天頂角βとによって特定することができる。ここで、方位角α（０≦α＜３６０°）は、切出中心点Ｐ（ｘ_０，ｙ_０）とＸＹ座標系の原点Ｏとを結ぶ直線とＹ軸とのなす角になり、天頂角β（０≦β≦９０°）は、視線ベクトルｎとＺ軸とのなす角（鋭角）になる。

結局、二次元ｕｖ座標系の位置および向きは、方位角α，天頂角β，平面傾斜角φ，倍率パラメータｍを決定することにより一意に定まる。ここで行う変換処理は、ＸＹ平面上に形成されている歪曲円形画像Ｓの切出中心点Ｐ（ｘ_０，ｙ_０）の近傍領域の部分画像を、ｕｖ平面上の平面正則画像Ｔに変換することである。そのためには、歪曲円形画像Ｓ上の任意の点Ｓ（ｘ，ｙ）と、これに対応する平面正則画像Ｔ上の点Ｔ（ｕ，ｖ）との関係を示す座標変換式が必要になる。

このような座標変換式は、図２３に示す式（１４）および式（１５）となることが知られている。これらの式において、ｒは歪曲円形画像Ｓの半径（仮想球面Ｈの半径）であり、撮影に用いた魚眼レンズに固有の値になる。また、Ａ〜Ｆは、式（１６）〜式（２１）に示すように、方位角α，天頂角β，平面傾斜角φに基づいて求まる係数であり、一般に回転係数と呼ばれている。そして、ｗは、式（２２）に示すように、ｗ＝ｍ・ｒで与えられる値であり、図２２に示す原点Ｏと原点Ｇとの距離に相当する値である。ｍを増減すると、ｕｖ座標系が視線ベクトルｎに沿った方向に平行移動することになり、このｍの値は、得られる平面正則画像Ｔの倍率を決定するスケーリングファクターになる。

結局、本発明を実施する際に、一般的な平面デジタルカメラを用いる代わりに、魚眼レンズもしくは全方位ミラーを装着した魚眼カメラを用いた場合は、撮影によって得られた歪曲円形画像Ｓ内の所定の切出中心点Ｐ（ｘ_０，ｙ_０）の近傍の画像を、図２３に示す座標変換式を用いて（この式は、正射影方式の場合の変換式であり、他の射影方式の場合は、まず正射影方式へ変換してから、この変換式を用いればよい）平面正則画像Ｔに変換し、得られた平面正則画像Ｔを、これまで述べた実施形態における第１の撮影画像Ｐ１および第２の撮影画像Ｐ２として利用すればよい。

図２４は、このような魚眼カメラを用いた実施形態に係る撮影画像表示装置の構成を示すブロック図である。図１に示す装置との相違は、２台のカメラとして、第１の魚眼カメラ１５および第２の魚眼カメラ２５を用いている点と、新たに魚眼画像変換部２００を設けた点である。

魚眼画像変換部２００は、第１の魚眼カメラ１５および第２の魚眼カメラ２５による撮影によって得られた歪曲円形画像Ｓ内の所定の切出中心点Ｐ（ｘ_０，ｙ_０）の近傍の画像を、図２３に示す座標変換式を用いて平面正則画像Ｔに変換する処理を行う。画像入力部１１０は、こうして魚眼画像変換部２００によって変換された平面正則画像Ｔを、それぞれ第１の撮影画像Ｐ１および第２の撮影画像Ｐ２として入力することになる。

＜４−４．３台以上のカメラの利用＞
これまで述べてきた実施形態は、２台のカメラのみを用いて撮影画像表示装置を構成した例であるが、本発明に係る装置は、３台以上のカメラを用いて構成することも可能である。すなわち、互いに異なる位置に設置され、同一の被写体を撮影可能な方向に向けられた複数Ｍ台（Ｍ≧３）のカメラを用意し、これらＭ台のカメラの中の任意の２台の組み合わせを、これまで述べてきた実施形態における第１のカメラ１０および第２のカメラ２０として採用し、表示対象画像を作成する機能をもたせておけばよい。

図２５は、４台のカメラを用いた実施形態における各カメラの配置を示す斜視図である。この例では、被写体３５としての車両が進入する円形の撮影対象エリア５０の周囲に、４本の支柱６１〜６４を配置し、各支柱６１〜６４にそれぞれ魚眼カメラ７１〜７４を設けている。これら４台の魚眼カメラ７１〜７４は、いずれも同一の被写体３５を撮影可能な方向に向けられている。

この例の場合、この４台の魚眼カメラ７１〜７４による撮影で得られた歪曲円形画像のそれぞれについて、所定の切出中心点（たとえば、円形の撮影対象エリア５０の中心点に対応する位置）を設定し、前述した方法で、それぞれ平面正則画像を作成している。そして、隣接する一対のカメラをそれぞれ１グループとして、これまで述べてきた実施形態の処理を実行し、表示対象画像を作成するようにしている。

具体的には、カメラ７１と７２を第１グループ、カメラ７２と７３を第２グループ、カメラ７３と７４を第３グループ、カメラ７４と７１を第４グループとして、それぞれのグループで、これまで述べた方法により、表示対象画像を作成する。その結果、合計４枚の表示対象画像が得られることになるので、モニタ画面上には、この４枚の表示対象画像すべてを画面分割して表示するようにしてもよいし、時分割で画面を切り替えながら表示するようにしてもよい。

あるいは、４枚の表示画像の中の１枚もしくは数枚を選択して表示してもよい。たとえば、車両のナンバープレートの部分を着目対象として、このナンバープレートを正面から観察した状態の画像を自動的に表示させたい場合、上記グループのうちのいくつかでは、ナンバープレートの認識（４つの対応点の抽出）に失敗する可能性がある。このように、認識に失敗した場合は、当該グループについては表示を中止し、認識に成功したグループについての結果のみを選択して表示させればよい。あるいは、個々のグループごとに、４つの対応点を抽出して、ナンバープレートを構成する四角形が認識できたら、当該四角形の面積が最も大きなグループを選択して、当該グループの結果のみを表示するようなことも可能である。

図２５では、４台の魚眼カメラを用いる例を示したが、もちろん、カメラの台数は４台に限定されるものではなく、必要に応じて、任意の台数を設置することができ、また、これら複数のカメラの中の任意の２台を組み合わせてグループを構成することができる。また、上例では、魚眼カメラを用いる例を示したが、もちろん、通常の平面カメラを複数台配置した場合にも、上例と同様の処理を行うことができる。

１０：第１のカメラ
１５：第１の魚眼カメラ
２０：第２のカメラ
２５：第２の魚眼カメラ
３０，３５：被写体
４０：障害物
５０：撮影対象エリア
６１〜６４：支柱
７１〜７４：魚眼カメラ
１１０：画像入力部
１２０：撮影画像格納部
１３０：第１対応点抽出部
１４０：第２対応点抽出部
１５０：基準点座標算出部
１６０：係数値算出部
１７０：画像変換部
１８０：表示対象画像格納部
１９０：画像出力部
２００：魚眼画像変換部
Ａ〜Ｆ：回転係数
Ｂ：ベースライン
Ｅ：仮想視点
Ｅ１，Ｅ２：エピポーラ線
ＥＰ：エピポーラ平面
ｅ１，ｅ２：エピポール：
ｆ：座標（ｘ，ｙ）を座標（ｕ，ｖ）に変換する関数
Ｇ（ｘｇ，ｙｇ，ｚｇ）：二次元ｕｖ座標系の原点
ｇ：座標（ｘ，ｙ）を座標（ｕ，ｖ）に変換する関数
Ｈ：ホモグラフィー行列／仮想球面
ｈ11〜ｈ33：係数（ホモグラフィー行列の要素）
Ｉ（ｕ，ｖ）：画素ｑ（ｕ，ｖ）の画素値
Ｉ１（ｕ，ｖ）：画素ｑ１（ｕ，ｖ）の画素値
Ｉ２（ｕ，ｖ）：画素ｑ２（ｕ，ｖ）の画素値
Ｊ：回転基準軸
Ｋ：ｕｖ平面上の代表点
Ｌ：入射光線
Ｌ１：２点（Ｋ，Ｑ１）を結ぶ直線
Ｌ２：２点（Ｋ，Ｑ２）を結ぶ直線
ｍ：倍率パラメータ
ｎ：視線ベクトル
Ｏ：三次元ＸＹＺ座標系の原点
Ｏ′：三次元ＵＶＷ座標系の原点
Ｐ１：第１の撮影画像
Ｐ２：第２の撮影画像
Ｐ３：表示対象画像
Ｐ（ｘ_０，ｙ_０）：切出中心点
ｐ：ｘｙ平面上の１点
Ｑ１：第１の撮影点（視点）
Ｑ２：第２の撮影点（視点）
Ｑ（ｘ_０，ｙ_０，ｚ_０）：球面上対応点
Ｑ（ｘ，ｙ，ｚ）：球面上対応点
ｑ：ｕｖ平面上の１点
ｑ（ｕ，ｖ）：表示対象画像Ｐ３上の画素
ｑ１（ｕ，ｖ）：第１の準備画像Ｐａ上の画素
ｑ２（ｕ，ｖ）：第２の準備画像Ｐｂ上の画素
Ｒ：基準平面
ｒ：歪曲円形画像Ｓの半径（仮想球面Ｈの半径）
Ｓ：歪曲円形画像
Ｓ１〜Ｓ４：顔面基準点
Ｓ１１〜Ｓ１４：第１対応点
Ｓ２１〜Ｓ２４：第２対応点
Ｓ３１〜Ｓ３４：被写体上の基準点
Ｓ（ｘ，ｙ）：歪曲円形画像Ｓ内の点
Ｔ：平面正則画像
Ｔ（ｕ，ｖ）：平面正則画像Ｔ内の点
Ｕ：三次元ＵＶＷ座標系の座標軸
ｕ：二次元ｕｖ座標系の座標軸／座標値
ｕ１〜ｕ４：４つの基準点のｕ座標値
Ｖ：三次元ＵＶＷ座標系の座標軸
ｖ：二次元ｕｖ座標系の座標軸／座標値
ｖ１〜ｖ４：４つの基準点のｖ座標値
Ｗ：三次元ＵＶＷ座標系の座標軸
ｗ：Ｗ軸上の座標値
Ｘ：三次元ＸＹＺ座標系の座標軸
ｘ：二次元ｘｙ座標系の座標軸／その座標値
ｘ１〜ｘ４：４つの第１対応点のｘ座標値
Ｙ：三次元ＸＹＺ座標系の座標軸
ｙ：二次元ｘｙ座標系の座標軸／その座標値
ｙ１〜ｙ４：４つの第１対応点のｙ座標値
Ｚ：三次元ＸＹＺ座標系の座標軸
ｚ，ｚａ，ｚｂ：Ｚ軸上の座標値
α：重み係数／方位角
β：天頂角
γ：回転角
θ１１〜θ２２：角度
ξ：被写体上の特徴点
ξ１：投影面（撮像面）π１上への投影点
ξ２：投影面（撮像面）π２上への投影点
ξ１０，ξ２０，ξ３０，ξ４０：ｕｖ平面上の着目画素の配置点
ξ１１，ξ２１，ξ３１，ξ４１：第１の投影面π１上の投影点
ξ１２，ξ２２，ξ３２，ξ４２：第２の投影面π２上の投影点
ξａ：投影面πａ上への投影点
ξｂ：投影面πｂ上への投影点
π，πａ，πｂ：ＸＹ平面に平行な投影面
π１：第１の投影面／第１のカメラの撮像面
π２：第２の投影面／第２のカメラの撮像面
σ：スケーリング係数
φ：平面傾斜角

Claims (22)

1. 異なる方向から撮影した被写体の撮影画像に基づいて、当該被写体を所定の仮想方向から観察した画像を生成して表示する撮影画像表示装置であって、
   互いに異なる位置に設置され、同一の被写体を撮影可能な方向に向けられた第１のカメラおよび第２のカメラと、
   前記第１のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第１の撮影画像として入力し、前記第２のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第２の撮影画像として入力する画像入力部と、
   入力された前記第１の撮影画像および前記第２の撮影画像を格納する撮影画像格納部と、
   前記第１の撮影画像を解析することにより、被写体上の着目対象となる基準平面上の点として予め設定されている４つの基準点にそれぞれ対応する点を、前記第１の撮影画像上において４つの第１対応点として抽出する第１対応点抽出部と、
   前記第１の撮影画像の特徴と前記第２の撮影画像の特徴とを比較することにより、両画像上の各点間の対応関係を求め、前記第２の撮影画像上において、前記４つの第１対応点にそれぞれ対応する４つの第２対応点を抽出する第２対応点抽出部と、
   前記第１のカメラおよび前記第２のカメラの設置位置および向きの情報と、前記４つの第１対応点および前記４つの第２対応点の二次元座標値と、に基づいて、前記各対応点に対応する前記被写体上での４つの基準点の三次元座標値を求める基準点座標算出部と、
   前記４つの基準点を含む基準平面上もしくはこの基準平面を予め定められた所定方向に所定の回転角度だけ回転させた平面上に、二次元ｕｖ座標系を定義し、前記第１の撮影画像および前記第２の撮影画像の少なくとも一方を変換対象画像として選択し、この変換対象画像上に二次元ｘｙ座標系を定義したときに、前記二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する前記二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、前記４つの基準点の座標値と、前記４つの第１対応点もしくは前記４つの第２対応点の座標値との対応関係を用いて算出する係数値算出部と、
   前記係数値算出部によって算出された係数値によって規定される座標変換式を用いて、前記二次元ｘｙ座標系上の前記変換対象画像を前記二次元ｕｖ座標系上の表示対象画像に変換する画像変換部と、
   前記画像変換部によって変換された表示対象画像を格納する表示対象画像格納部と、
   前記表示対象画像をモニタ画面に表示する画像出力部と、
   を備えることを特徴とする撮影画像表示装置。
2. 請求項１に記載の撮影画像表示装置において、
   第１対応点抽出部が、第１の撮影画像上の直線部を探索し、探索された直線部によって囲まれた四角形を基準平面と認識し、当該四角形の４頂点を４つの第１対応点として抽出することを特徴とする撮影画像表示装置。
3. 請求項１に記載の撮影画像表示装置において、
   第１対応点抽出部が、第１の撮影画像から人間の顔面を探索し、探索された顔面における右眼中心点、左眼中心点、唇の右端点、唇の左端点を含む面を基準平面と認識し、前記各点を４つの第１対応点として抽出することを特徴とする撮影画像表示装置。
4. 請求項１に記載の撮影画像表示装置において、
   第１対応点抽出部が、第１のカメラおよび第２のカメラの設置位置および向きの情報と、前記第１の撮影画像上の二次元被写体情報と、前記第２の撮影画像上の二次元被写体情報と、に基づいて、被写体の三次元形状モデルを作成し、当該三次元形状モデル上での所定の平面を基準平面と認識し、当該基準平面上の任意の４点に対応する４つの点を第１対応点として抽出することを特徴とする撮影画像表示装置。
5. 請求項１〜４のいずれかに記載の撮影画像表示装置において、
   基準点座標算出部が、第１のカメラおよび第２のカメラの設置位置および向きの情報を、外部からの設定操作により格納する機能を有し、当該格納情報を用いて、４つの基準点の三次元座標値を求めることを特徴とする撮影画像表示装置。
6. 請求項１〜４のいずれかに記載の撮影画像表示装置において、
   基準点座標算出部が、撮影画像格納部に格納されているテスト用被写体を撮影した第１の撮影画像と第２の撮影画像とに基づいて、第１のカメラおよび第２のカメラの設置位置および向きの情報を自動取得する機能を有することを特徴とする撮影画像表示装置。
7. 請求項１〜６のいずれかに記載の撮影画像表示装置において、
   係数値算出部が、二次元ｕｖ座標系と二次元ｘｙ座標系との間のスケーリングファクターを任意に設定することにより、座標値（ｕ，ｖ）と座標値（ｘ，ｙ）との関係を定める座標変換式として、
   ｘ＝（ｈ11・ｕ＋ｈ12・ｖ＋ｈ13）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
   ｙ＝（ｈ21・ｕ＋ｈ22・ｖ＋ｈ23）／（ｈ31・ｕ＋ｈ32・ｖ＋１）
   なる式を定義し、この２本の式に、４つの基準点についての二次元ｕｖ座標系の座標値（ｕ，ｖ）と４つの第１対応点の二次元ｘｙ座標系の座標値（ｘ，ｙ）とをそれぞれ代入して得られる８本の連立方程式を用いて、８個の係数ｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32を算出することを特徴とする撮影画像表示装置。
8. 請求項１〜７のいずれかに記載の撮影画像表示装置において、
   係数値算出部が、第１の撮影画像および第２の撮影画像の双方を変換対象画像として選択し、これら変換対象画像上にそれぞれ第１および第２の二次元ｘｙ座標系を定義し、二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する前記第１および第２の二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、４つの基準点の座標値と、４つの第１対応点および４つの第２対応点の座標値との対応関係を用いて算出し、
   画像変換部が、前記係数値算出部によって算出された係数値によって規定される第１の座標変換式を用いて、前記第１の二次元ｘｙ座標系上の前記第１の撮影画像を前記二次元ｕｖ座標系上の第１の準備画像に変換するとともに、前記係数値算出部によって算出された係数値によって規定される第２の座標変換式を用いて、前記第２の二次元ｘｙ座標系上の前記第２の撮影画像を前記二次元ｕｖ座標系上の第２の準備画像に変換し、前記第１の準備画像と前記第２の準備画像とを合成することにより、表示対象画像を生成することを特徴とする撮影画像表示装置。
9. 請求項８に記載の撮影画像表示装置において、
   画像変換部が、第１の準備画像と第２の準備画像とを合成する際に、前記第１の準備画像上の座標値（ｕ，ｖ）で示される位置の画素の画素値をＩ１（ｕ，ｖ）、前記第２の準備画像上の座標値（ｕ，ｖ）で示される位置の画素の画素値をＩ２（ｕ，ｖ）、表示対象画像上の座標値（ｕ，ｖ）で示される位置の画素の画素値をＩ（ｕ，ｖ）としたときに、所定の重み係数α（０≦α≦１）を用いて、
   Ｉ（ｕ，ｖ）＝（１−α）・Ｉ１（ｕ，ｖ）＋α・Ｉ２（ｕ，ｖ）
   なる合成演算を行うことを特徴とする撮影画像表示装置。
10. 請求項９に記載の撮影画像表示装置において、
    ｕｖ平面上の所定の代表点と第１のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ１と、前記代表点と第２のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ２と、を比べ、重み係数αを、
    θ１＞θ２であればα＜０．５に設定し、両角度の差が大きければ大きいほど、αが小さくなるように設定し、
    θ１＜θ２であればα＞０．５に設定し、両角度の差が大きければ大きいほど、αが大きくなるように設定し、
    θ１＝θ２であればα＝０．５に設定することを特徴とする撮影画像表示装置。
11. 請求項９に記載の撮影画像表示装置において、
    表示対象画像上の座標値（ｕ，ｖ）で示される位置にある着目画素の画素値Ｉ（ｕ，ｖ）を決定する際に、当該着目画素の配置点と第１のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ１と、前記配置点と第２のカメラを設置した撮影点とを結ぶ直線とｕｖ平面とのなす鋭角θ２と、を比べ、前記画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αを、
    θ１＞θ２であればα＜０．５に設定し、両角度の差が大きければ大きいほど、αが小さくなるように設定し、
    θ１＜θ２であればα＞０．５に設定し、両角度の差が大きければ大きいほど、αが大きくなるように設定し、
    θ１＝θ２であればα＝０．５に設定することを特徴とする撮影画像表示装置。
12. 請求項１０または１１に記載の撮影画像表示装置において、
    α＝（θ２−θ１）／π＋１／２
    なる演算式により重み係数αを設定することを特徴とする撮影画像表示装置。
13. 請求項９に記載の撮影画像表示装置において、
    画像変換部が、
    第１のカメラおよび第２のカメラの設置位置および向きの情報と、第１の撮影画像上の二次元画像情報と、第２の撮影画像上の二次元画像情報と、に基づいて、被写体および障害物の三次元形状モデルを作成し、基準平面の手前に存在する障害物を認識する処理を行い、
    表示対象画像上の座標値（ｕ，ｖ）で示される位置にある着目画素の画素値Ｉ（ｕ，ｖ）を決定する際に、当該着目画素が、前記障害物により第１の準備画像上でのみ隠面となっている領域内の画素である場合には、前記画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝１に設定し、前記障害物により第２の準備画像上でのみ隠面となっている領域内の画素である場合には、前記画素値Ｉ（ｕ，ｖ）を決定する際に用いる重み係数αをα＝０に設定することを特徴とする撮影画像表示装置。
14. 請求項１〜１３のいずれかに記載の撮影画像表示装置において、
    画像変換部が、二次元ｘｙ座標系上の変換対象画像を二次元ｕｖ座標系上の表示対象画像もしくは準備画像に変換する際に、座標値（ｕ，ｖ）を引数として座標値（ｘ，ｙ）を求める座標変換式を用い、変換対象画像上の前記座標値（ｘ，ｙ）で示される位置の近傍に存在する複数の画素の画素値を用いた補間演算によって求められる補間値を、前記座標値（ｕ，ｖ）で示される位置に配置された画素の画素値とすることを特徴とする撮影画像表示装置。
15. 請求項１〜１４のいずれかに記載の撮影画像表示装置において、
    係数値演算部が、基準平面を予め定められた所定の軸回りに、予め定められた所定の回転角γだけ回転させた平面上に、二次元ｕｖ座標系を定義することを特徴とする撮影画像表示装置。
16. 請求項１〜１５のいずれかに記載の撮影画像表示装置において、
    互いに異なる位置に設置され、同一の被写体を撮影可能な方向に向けられた複数Ｍ台（Ｍ≧３）のカメラを備え、
    これらＭ台のカメラの中の任意の２台の組み合わせを、第１のカメラおよび第２のカメラとして採用し、表示対象画像を作成する機能を有することを特徴とする撮影画像表示装置。
17. 請求項１〜１６のいずれかに記載の撮影画像表示装置において、
    第１のカメラおよび第２のカメラとして、魚眼レンズもしくは全方位ミラーを装着したカメラを用い、
    前記第１のカメラおよび第２のカメラによる撮影によって得られた歪曲円形画像内の所定の切出中心点近傍の画像を、所定の座標変換式を用いて平面正則画像に変換する魚眼画像変換部を更に備え、
    画像入力部が、前記魚眼画像変換部によって変換された平面正則画像を、それぞれ第１の撮影画像および第２の撮影画像として入力することを特徴とする撮影画像表示装置。
18. 請求項１〜１７のいずれかに記載の撮影画像表示装置における各カメラ以外の構成要素としてコンピュータを機能させるためのプログラム。
19. 請求項１〜１７のいずれかに記載の撮影画像表示装置における各カメラ以外の構成要素として機能する半導体集積回路。
20. 請求項２に記載の撮影画像表示装置を含み、
    各カメラが、被写体となる車両のナンバープレートを撮影可能な位置および向きに設置されており、
    第１対応点抽出部が、前記ナンバープレートの表面を着目対象となる基準平面として、前記ナンバープレートを構成する四角形の４頂点を４つの第１対応点として抽出し、
    画像出力部が、前記ナンバープレートを正面方向から観察した画像を表示対象画像として出力することを特徴とする車両のナンバープレートの撮影表示装置。
21. 請求項３に記載の撮影画像表示装置を含み、
    各カメラが、被写体となる人間の顔面を撮影可能な位置および向きに設置されており、
    画像出力部が、前記人間の顔面を正面方向から観察した画像を表示対象画像として出力することを特徴とする監視システム。
22. 異なる方向から撮影した被写体の撮影画像に基づいて、当該被写体を所定の仮想方向から観察した画像を生成して表示する撮影画像表示方法であって、
    第１のカメラおよび第２のカメラを、互いに異なる位置に、かつ、同一の被写体を撮影可能な方向に向けて設置するカメラ設置段階と、
    コンピュータが、前記第１のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第１の撮影画像として入力し、前記第２のカメラによる撮影で得られたデジタル画像もしくは当該デジタル画像に所定の変換処理を加えた画像を第２の撮影画像として入力する画像入力段階と、
    コンピュータが、前記第１の撮影画像を解析することにより、被写体上の着目対象となる基準平面上の点として予め設定されている４つの基準点にそれぞれ対応する点を、前記第１の撮影画像上において４つの第１対応点として抽出する第１対応点抽出段階と、
    コンピュータが、前記第１の撮影画像の特徴と前記第２の撮影画像の特徴とを比較することにより、両画像上の各点間の対応関係を求め、前記第２の撮影画像上において、前記４つの第１対応点にそれぞれ対応する４つの第２対応点を抽出する第２対応点抽出段階と、
    コンピュータが、前記第１のカメラおよび前記第２のカメラの設置位置および向きの情報と、前記４つの第１対応点および前記４つの第２対応点の二次元座標値と、に基づいて、前記各対応点に対応する前記被写体上での４つの基準点の三次元座標値を求める基準点座標算出段階と、
    コンピュータが、前記４つの基準点を含む基準平面上もしくはこの基準平面を予め定められた所定方向に所定の回転角度だけ回転させた平面上に、二次元ｕｖ座標系を定義し、前記第１の撮影画像および前記第２の撮影画像の少なくとも一方を変換対象画像として選択し、この変換対象画像上に二次元ｘｙ座標系を定義したときに、前記二次元ｕｖ座標系上の任意の座標値（ｕ，ｖ）と、当該座標値で示される点に対応する前記二次元ｘｙ座標系上の点の座標値（ｘ，ｙ）と、の関係を定める座標変換式の係数値を、前記４つの基準点の座標値と、前記４つの第１対応点もしくは前記４つの第２対応点の座標値との対応関係を用いて算出する係数値算出段階と、
    コンピュータが、前記係数値算出段階で算出された係数値によって規定される座標変換式を用いて、前記二次元ｘｙ座標系上の前記変換対象画像を前記二次元ｕｖ座標系上の表示対象画像に変換する画像変換段階と、
    コンピュータが、前記画像変換段階によって変換された表示対象画像をモニタ画面に表示する画像出力段階と、
    を有することを特徴とする撮影画像表示方法。

Images