JP3971714B2 - 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 - Google Patents
仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3971714B2 JP3971714B2 JP2003075478A JP2003075478A JP3971714B2 JP 3971714 B2 JP3971714 B2 JP 3971714B2 JP 2003075478 A JP2003075478 A JP 2003075478A JP 2003075478 A JP2003075478 A JP 2003075478A JP 3971714 B2 JP3971714 B2 JP 3971714B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- projection plane
- subject
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体に関し、特に、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、コンピュータグラフィックス（CG）やバーチャルリアリティ（VR）技術の発達により、カメラで撮影した画像に写っている物体（被写体）を、前記カメラの設置位置とは異なる視点から見たときの画像を生成できるようになってきた。
【０００３】
このように、前記カメラの設置位置とは異なる視点から前記被写体を見たときの画像は、仮想視点画像または任意視点画像と呼ばれ、種々の画像生成方法が提案されている。なかでも、IBR（Image-Based Rendering）と呼ばれる画像生成方法は、被写体の実写画像を元にして、極めて写実的な仮想視点画像を生成することができる。
【０００４】
前記IBRにより画像を生成する方法では、前記カメラにより、多数の視点位置から撮影した画像をもとにして前記仮想生成画像を生成するが、明示的には被写体のモデルを求めずに、２次元画像処理により生成する（例えば、非特許文献１、非特許文献２、非特許文献３を参照。）。
【０００５】
また、前記IBRにより画像を生成する方法には、例えば、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面（以下、投影面と称する）という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影する方法がある（例えば、非特許文献４を参照。）。
【０００６】
前記投影面を想定する方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【０００７】
前記投影面を想定する方法では、例えば、Ｎ台のカメラを、図２２（ａ）に示すように、前記各カメラの視点Ｃi（i=1,2,…,N）が、ｚ＝０のｘｙ平面上にあり、かつ、Ｚ軸の負の方向（Ｚ＜０）の領域にある被写体２を撮影できるように配列する。このとき、前記投影面Ｌ0は、前記被写体があるおおよその位置（Ｚ＝−ｌ0）にとる。また、前記被写体２を見る視点（仮想視点）ＰのＺ座標をＺP、前記仮想視点Ｐと生成する画像の画像面ＰＰとの距離（透視投影の焦点距離）をｆ、前記被写体２上の点ＱのＺ座標をｌとおく。
【０００８】
またこのとき、前記視点Ｃiに配置したカメラで撮影した前記被写体２上の点Ｑは、前記投影面Ｌ0上の点Ｑ’に投影される。そのため、前記仮想視点画像を生成したときに、前記被写体２上の点Ｑは、図２２（ａ）及び図２２（ｂ）に示すように、前記仮想視点Ｐと前記投影面Ｌ0上の点Ｑ’を結ぶ直線と仮想視点画像の画像面ＰＰが交わる点ＰＰ１に表示される。
【０００９】
しかしながら、実際に、前記仮想視点Ｐから前記被写体２上の点Ｑを見たときには、前記点Ｑは、図２２（ａ）及び図２２（ｂ）に示すように、前記画像面ＰＰ上の点ＰＰ２に表示され、前記点ＰＰ１との間にΔｐのずれが生じる。
【００１０】
このとき、Ｚ＝０のｘｙ平面上で、前記カメラの視点Ｃiと、前記仮想視点Ｐと前記投影面上の点Ｑ’を結ぶ光線の距離ベクトルΔｒ、及び前記画像面ＰＰ上での点のずれΔｐの間には、下記数式１のような関係が成り立つ。
【００１１】
【数１】
Δｐ＝ｋ(ｌ0)Δｒ
ここで、前記数式１におけるｋ(ｌ0)は、例えば、下記数式２のように定義する。
【００１２】
【数２】
【００１３】
すなわち、前記投影面が１つ（Ｌ0）の場合、定数ｌ0に対して、前記数式１及び数式２で与えられる誤差が、前記仮想視点画像の画像面ＰＰ上に生じる。
またこのとき、前記被写体２の奥行き方向の範囲（距離）が大きいと、前記投影面Ｌ0から離れている前記被写体２上の点の誤差が大きくなる。そのため、広範囲にわたる仮想視点画像を生成することが難しいという問題があった。
【００１４】
そこで、近年、広範囲にわたる仮想視点画像を生成することが可能な方法として、多層構造をもつ複数の投影面に、撮影した画像をテクスチャマッピングする方法が提案されている（例えば、特願２００２−３１８３４３号を参照。）。
【００１５】
前記複数の投影面を設定する方法では、前記カメラの視点Ｃi（Ｚ＝０）から投影面までの距離ｌ0は変数とみなし、いくつかの投影面Ｌj（j=1,2,…,M）のうち、前記数式１及び数式２で与えられる画像面ＰＰ上での誤差が最小となる距離にある投影面を選んで、前記被写体２上の点Ｑを投影する。
【００１６】
このとき、前記被写体上の点Ｑが、例えば、図２３に示すように、ｚ＝０のｘｙ平面からの距離がｌ0Frontの投影面ＬFrontと、ｌ0Backの投影面ＬBackの中間にあるとすると、前記点Ｑは、前記仮想視点画像の画像面ＰＰ上でのずれΔｐが小さいほうの投影面に投影（テクスチャマッピング）される。そのため、前記数式２で与えられる係数ｋは、下記数式３または数式４となる。
【００１７】
【数３】
ｋ(ｌ0Front)＜０
【００１８】
【数４】
ｋ(ｌ0Back)＞０
【００１９】
すなわち、前記被写体上の点Ｑを前方の投影面ＬFrontにテクスチャマッピングするか、後方の投影面ＬBackにテクスチャマッピングするかによって、係数ｋの符号が変化する。
【００２０】
このとき、前記各投影面の中間地点にある被写体上の点Ｑは、どちらにテクスチャマッピングするかにより、前記仮想視点画像の画像面ＰＰ上での位置のずれΔｐの方向が逆になる。そのため、テクスチャマッピングされる投影面が前方と後方に分離される箇所があり、生成した画像に隙間が生じ、その大きさはΔｒの大きさ｜Δｒ｜に比例する。
【００２１】
ここで、前記数式１をＸ軸方向の成分と、Ｙ軸方向の成分とに分けて考えると、下記数式５及び数式６のようになる。
【００２２】
【数５】
Δｐx＝ｋ(ｌ0)Δｒx
【００２３】
【数６】
Δｐy＝ｋ(ｌ0)Δｒy
【００２４】
このとき、前記カメラの視点Ｃiが、例えば、Ｘ軸方向に間隔εxで配列していれば、適切な視点Ｃiのカメラで撮影した画像を選択して用いることで、｜Δｒx｜≦εx／２となり、Δｐxは一定の範囲内に収めることができる。
【００２５】
同様に、前記カメラの視点Ｃiが、例えば、Ｙ軸方向に間隔εyで配列していれば、適切な視点Ｃiのカメラで撮影した画像を選択して用いることで、｜Δｒy｜≦εy／２となり、Δｐyは一定の範囲内に収めることができる。
【００２６】
【非特許文献１】
Marc Levoy and Pat Hanrahan:"Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
【非特許文献２】
Steven J. Gortler et al.:"The Lumigraph," SIGGRAPH'96 Conference
Proceedings, pp.43-54, 1996
【非特許文献３】
片山昭宏ほか:「多視点画像の補間・再構成による視点追従型立体画像表示法」, 電子情報通信学会誌, Vol.J79-DII, No.5, pp.803-811, 1996
【非特許文献４】
國田豊ほか:「多眼カメラを用いた任意視点人物像の実時間生成システム」, 電子情報通信学会誌, Vol.J84-DII, No.1, pp.129-138, 2001
【００２７】
【発明が解決しようとする課題】
しかしながら、前記従来の技術で説明した、複数の投影面Ｌj（j=1,2,…,M）を設定して仮想視点画像を生成する方法では、例えば、投影面Ｌjと投影面Ｌj+1の間にテクスチャ画像が存在しない場合、生成した仮想視点画像に隙間が生じる。そのため、生成した仮想視点画像が劣化するという問題がある。
【００２８】
なお、前記カメラ（視点Ｃi）の配列密度を十分に大きくすれば、前記仮想視点画像に生じる隙間は、目立たないほどに小さくできる。しかしながら、前記カメラの配列密度には限界がある。また、前記カメラの配列密度を高くすることにより、前記カメラで撮影した画像を取得する時間や、前記仮想視点画像の生成処理にかかる時間が長くなり、実時間レベルでの画像生成が難しくなるという問題もあった。また、前記カメラの配列密度を高くすれば、その分システムが大掛かりになるので、設置コストが上昇するという問題があった。
【００２９】
また、前記仮想視点画像生成装置を、例えば、テレビ会議システム等で用いる場合、利用者の視点（仮想視点）は、画像の左右方向に対しての移動が多く、上下方向に対しての移動はあまり行わないことがある。このように、視点の移動方向が、主に一方向である場合には、前記カメラを一次元的に配列することで、設置コストの上昇を抑えることができる。
【００３０】
前記カメラ（視点Ｃi）を一次元的、例えば、前記Ｘ軸方向にのみ配列した場合、前記カメラが配列されたＸ軸方向では、前記カメラの配置間隔や、適切なカメラで撮影した画像を用いることで、前記仮想視点画像の画像面ＰＰ上での位置のずれΔｐxを一定の範囲内に収めることができる。
【００３１】
しかしながら、前記カメラが配列されていないＹ軸方向では、適切な画像を選択する余地がないので、前記距離ベクトルの大きさ｜Δｒy｜は画角の周辺、すなわち画像の端部で大きな値を持つ。そのため、前記仮想視点画像は、図２４に示すように、前記カメラが配列されていないＹ軸方向に走査したときに見られる隙間が大きくなるという問題があった。
【００３２】
本発明の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能な技術を提供することにある。
本発明の他の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能なプログラム及び記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００３３】
【課題を解決するための手段】
本願において開示される発明の概要を説明すれば、以下の通りである。
【００３４】
（１）同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置（以下、仮想視点と称する）を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成するステップとを有する仮想視点画像生成方法であって、前記仮想視点画像を生成するステップは、複数の投影面からなる投影面群、及び１つの投影面を設定する第１ステップと、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第２ステップと、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第３ステップと、前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第４ステップと、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第５ステップとを有することを特徴とする仮想視点画像生成方法である。
【００３５】
前記（１）の手段によれば、前記仮想視点画像上の点の、前記カメラが配列されていない方向の成分は、前記１つの投影面から求める。そのため、前記仮想視点画像の画像面上において、位置ずれの誤差は生じるものの、前記画像面全域で連続的に変化するので、前記仮想視点画像を前記カメラが配列されていない方向に走査したときに見られる隙間が大きくなるのを防ぐことができる。
【００３６】
また、前記カメラが配列されている方向の成分は、前記複数の投影面から求めるので、前記仮想視点画像の画像面上での位置ずれの誤差を小さくすることができる。そのため、一次元的、言い換えると、同一平面にある直線あるいは曲線に沿って配列されたカメラで撮影した画像から生成する仮想視点画像の劣化を少なくすることができる。
【００３７】
このとき、前記カメラは、例えば、同一平面にある直線あるいは曲線に沿って配列された状態であればよく、前記被写体の画像は、直線状に配列されたカメラで撮影してもよいし、円弧状に配列されたカメラで撮影してもよい。また、前記各カメラの配列の間隔は、等間隔であってもよいし、不規則な間隔であってもよい。
【００３８】
（２）前記（１）の手段において、前記第４ステップは、前記被写体の画像を前記投影面群の投影面に逆投影するステップと、テクスチャマッピング用の２次元配列を確保するステップと、前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行うステップと、前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する。
【００３９】
前記（２）の手段によれば、前記投影面群の投影面に逆投影した画像を拡大あるいは縮小することで、前記投影面群の投影面の画像を、あたかも前記１つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【００４０】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、高速な前記仮想視点画像の生成処理を行うことができる。
【００４１】
（３）同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点（以下、仮想視点と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成する画像生成手段とを有する仮想視点画像生成装置であって、前記画像生成手段は、複数の投影面からなる投影面群、及び１つの投影面を設定する投影面設定手段と、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを有し、前記レンダリング手段は、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第１対応点算出手段と、前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第２対応点算出手段と、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを有する仮想視点画像生成装置である。
【００４２】
前記（３）の手段は、前記（１）の手段の仮想視点画像生成方法を用いて前記仮想視点画像を生成するための装置である。そのため、前記各手段を備えることにより、前記カメラが一次元的に配列されている場合でも、前記仮想視点画像をカメラが配列されていない方向に走査したときに見られる隙間を小さくすることができる。また、カメラが配列されている方向は、画像面上での位置ずれを小さくすることができる。そのため、前記仮想視点画像の劣化を少なくすることができる。
【００４３】
（４）前記（３）の手段において、前記第２対応点算出手段は、前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、テクスチャマッピング用の２次元配列を確保するテクスチャ配列確保手段と、前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行う対応付け手段と、前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備える。
【００４４】
前記（４）の手段によれば、前記第２対応点算出手段に、前記各手段を備えることで、前記投影面群の投影面に逆投影した画像を、あたかも前記１つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【００４５】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、市販のグラフィックス・ハードウェア及びライブラリに対応するソフトウェア（ドライバ）によって、高速な前記仮想視点画像の生成処理を行うことができる。
【００４６】
（５）前記（１）または（２）の手段の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラムである。
【００４７】
前記（５）の手段によれば、前記仮想視点画像の生成処理をコンピュータに実行させることができる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を高速で生成することができる。
【００４８】
（６）前記（５）の手段の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体である。
前記（６）の手段によれば、前記記録媒体を頒布することで、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【００４９】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００５０】
【発明の実施の形態】
（実施例１）
図１及び図２は、本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、図１は装置の構成を示すブロック図、図２は仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【００５１】
図１及び図２において、１は仮想視点画像生成装置、１０１は被写体画像取得手段、１０２は奥行き情報取得手段、１０３は仮想視点設定手段、１０４は画像生成手段、１０４ａは投影面決定手段、１０４ｂは貼付領域設定手段、１０４ｃはレンダリング手段、２は被写体、３はカメラ、４は奥行き情報計測手段、５は仮想視点入力手段、６は画像表示手段、７は利用者である。
【００５２】
本実施例１の仮想視点画像生成装置１は、図１に示すように、被写体２の画像を取得する被写体画像取得手段１０１と、前記被写体２の奥行き情報（表面形状）を取得する奥行き情報取得手段１０２と、前記生成する画像の視点（以下、仮想視点と称する）を設定する仮想視点設定手段１０３と、前記被写体２の画像及び前記奥行き情報を用いて、前記仮想視点から見た被写体２の画像（以下、仮想視点画像と称する）を生成する画像生成手段１０４とにより構成されている。
【００５３】
また、前記画像生成手段１０４は、前記被写体２の奥行き情報及び前記仮想視点から投影面を設定する投影面設定手段１０４ａと、前記被写体２の奥行き情報に基づいて、前記投影面上の、前記被写体２の画像を貼り付ける領域を設定する貼付領域設定手段１０４ｂと、前記投影面設定手段１０４ａで設定した投影面、及び前記貼付領域設定手段１０４ｂで設定した貼付領域に基づいて、前記被写体２の画像を前記投影面に貼り付け（テクスチャマッピング）して、前記仮想視点画像に変換するレンダリング手段１０４ｃとを備える。
【００５４】
また、本実施例１では、前記被写体２の画像は、例えば、図１及び図２に示したように、４台のカメラ３を一次元的、言い換えると、一方向に列状に、一定の間隔で配列して撮影し、それを前記被写体画像取得手段１０１で取得する。ここで、前記カメラ３を配列した空間では、図２に示したような、カメラの配列方向がＸ軸となるような三次元空間をとる。なお、本実施例１では、図１及び図２では、４台のカメラを配列しているが、前記カメラは４台である必要はなく、Ｎ台（Ｎは２以上の整数）のカメラが一方向に配列されていればよい。
【００５５】
また、前記被写体２の奥行き情報は、例えば、図１及び図２に示すように、前記カメラ３の近傍に設置した奥行き情報計測手段４で計測し、それを前記奥行き情報取得手段１０２で取得する。前記奥行き計測手段４には、例えば、TOF（Time Of Flight）法を用いた計測装置を用いる。また、前記奥行き計測手段４の代わりに、前記カメラ３のうちの一つに、前記被写体２の画像（色情報）の撮影及び表面形状の測定をできるカメラを用いてもよい。
【００５６】
また、前記仮想視点設定手段１０３は、例えば、マウスやキーボード等の仮想視点入力手段５から入力された情報に基づき、前記仮想視点の位置、方向、画角等を設定する。またこのとき、前記仮想視点は、前記仮想視点設定手段１０３で許容されている範囲内であれば、前記カメラ３を配置した位置に限らず、任意の位置に設定することができる。
【００５７】
また、前記仮想視点画像生成装置１で生成した画像（以下、仮想視点画像と称する）は、例えば、CRTディスプレイ、液晶ディスプレイ等の画像表示手段６で表示される。
【００５８】
図３乃至図６は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、図３は処理全体のフロー図、図４及び図５は投影面の設定方法を説明するための図、図６は色情報の転写方法を説明するための図である。
【００５９】
本実施例１の仮想視点画像生成装置を用いて前記仮想視点画像を生成するときには、IBR（Image-Based Rendering）と呼ばれる手法を用いる。前記IBRは、前記被写体画像取得手段１０１で取得した画像の一部分を、コンピュータ上の三次元空間に設定した投影面にテクスチャマッピングし、その投影面を前記仮想視点設定手段１０３で設定した仮想視点から見た画像を、座標計算処理で生成する方法である。
【００６０】
本実施例１の仮想視点画像生成装置を用いて、前記IBRにより仮想視点画像を生成するときには、まず、図３に示すように、仮想視点Ｐ、すなわち生成する画像の視点の位置、方向、画角等を設定する（ステップ８０１）。前記仮想視点Ｐの位置、方向、画角等は、前記仮想視点入力手段５から入力された情報に基づき、前記仮想視点設定手段１０３で設定される。
【００６１】
次に、例えば、コンピュータ上に想定した三次元空間上に、投影面を設定する（ステップ８０２）。前記投影面は、前記仮想視点画像生成装置１の画像生成手段１０４に設けられた投影面設定手段１０４ａで設定する。
【００６２】
本実施例１の仮想視点画像生成装置１を用いる場合、前記ステップ８０２（投影面設定手段１４０ａ）では、例えば、図４に示すように、複数の投影面Ｌj（j=1,2,…,M）からなる投影面群と、図５に示すように、１つの投影面Ｌ*の２種類の投影面を設定する。前記投影面群及び前記１つの投影面Ｌ*の設定方法については、後で説明する。
【００６３】
前記ステップ８０２（投影面設定手段１０４ａ）で、前記２種類の投影面を設定したら、次に、前記貼付領域設定手段１０４ｂで、前記投影面群の各投影面上の、前記被写体２の画像を貼り付ける領域Ｕijを設定する（ステップ８０３）。前記被写体の画像を貼り付ける領域Ｕijの設定方法については、後で説明する。
【００６４】
その後、前記レンダリング手段１０４ｃで、前記仮想視点画像Ｐから前記被写体を見たときの画像を生成する（ステップ８０４）。
【００６５】
このとき、前記ステップ８０４（レンダリング手段１０４ｃ）では、まず、前記投影面群に前記被写体の画像をテクスチャマッピングしたときに、前記仮想視点画像の画像面ＰＰ上の点と対応する前記被写体の画像の画像面上の点を求める。このとき、前記仮想視点Ｐから見た画像の画像面ＰＰ上の点（x,y）は、図４に示したように、前記投影面群の投影面Ｌj上の点（X,Y,Z）に相当し、前記投影面Ｌj上の点（X,Y,Z）には、視点Ｃiに配置されたカメラ３で撮影した被写体２の画像の画像面ＣＰi上の点（xi,yi）が貼り付けられているとする。
【００６６】
そして、次に、前記１つの投影面Ｌ*を用いて、前記仮想視点画像の画像面ＰＰ上の同じ点（x,y）と対応する、視点Ｃiに配置されたカメラ３で撮影した被写体２の画像の画像面ＣＰi上の点（xi *,yi *）を求める。
【００６７】
前記被写体２の画像の画像面ＣＰi上の各点（xi,yi），（xi *,yi *）を求めるときには、例えば、前記仮想視点画像ＰＰの点（x,y）を投影面上へ逆投影したときの点（X,Y,Z），（X*,Y*,Z*）を、前記被写体２の画像の画像面ＣＰiへ投影する。
【００６８】
一般に、前記投影面上の点のような三次元空間上の点（X,Y,Z）から、前記被写体の画像の画像面ＣＰi上の点のような二次元平面上の点（xi,yi）への射影は、下記数式７ような行列式で表すことができる。
【００６９】
【数７】
【００７０】
ここで、前記数式７の左辺のｓは補助的な係数である。また、前記数式７のΦは変換行列であり、下記数式８のような３行４列の行列で与えられる。
【００７１】
【数８】
【００７２】
このとき、例えば、原点を中心とした焦点距離ｆの透視投影変換を表す行列Φ0は、下記数式９で与えられる。
【００７３】
【数９】
【００７４】
一方、前記仮想視点画像の画像面上の点のような二次元平面上の点（x,y）を前記三次元空間上の点（X,Y,Z）に逆投影する場合には、前記数式７及び数式８を満たす点が無数に存在する。そのうち、前記三次元空間上に設定した投影面に逆投影する場合、前記投影面を表す式がaX+bY+cZ+d=0とすると、ベクトル表現では下記数式１０のように表せる。
【００７５】
【数１０】
【００７６】
ここで、前記数式７及び数式８、ならびに前記数式１０をまとめると、下記数式１１のようになる。
【００７７】
【数１１】
【００７８】
そのため、前記数式１１を（X,Y,Z）について解くと、仮想視点画像の画像面ＰＰ上の点（x,y）を前記投影面Ｌj上の点（X,Y,Z）へ逆投影することができる。ここで、前記数式１１の右辺の４行４列の行列が逆行列を持つならば、前記数式１１は、ｓ’＝１／ｓとおくことで、下記数式１２のようになり、前記投影面Ｌj上の点（X,Y,Z）が求められる。
【００７９】
【数１２】
【００８０】
前記視点Ｃiに設置したカメラで撮影した画像の画像面ＣＰi上の点（xi,yi）及び点（xi *,yi *）を求めたら、前記投影面群を用いて求めた点（xi,yi）のカメラが配列されている方向の成分、及び前記１つの投影面を用いて求めた点（xi *,yi *）のカメラが配列されていない方向の成分からなる点を、前記仮想視点画像の画像面ＰＰ上の点（x,y）と対応する点とみなし、色情報を転写する。このとき、前記カメラが配列されている方向を三次元空間のＸ軸方向、前記カメラが配列していない方向をＹ軸方向とすると、図６に示すように、前記点（xi,yi）のｘ成分（xi）と、点（xi *,yi *）のｙ成分（yi *）からなる点（xi,yi *）の色情報を前記仮想視点画像の画像面ＰＰ上の点（x,y）に転写する。
【００８１】
また、前記カメラで撮影した画像及び前記仮想視点画像は、いわゆるディジタル画像であり、有限の面積を持つ画素の位置及び色情報は、メモリ上の二次元配列により表現されている。ここでは、前記画素の配列の位置を示す座標系（u,v）をディジタル画像座標系と呼ぶことにする。
【００８２】
このとき、例えば、前記仮想視点画像のサイズが、６４０画素×４８０画素であるとすると、前記仮想視点画像を構成する各画素の位置は、０から６３９までのいずれかの整数値をとる変数uと、０から４７９までのいずれかの整数値をとる変数vで表される。また、前記各画素の色情報は、その画素のアドレス（u,v）での赤（Ｒ），緑（Ｇ），青（Ｂ）の情報を８ビットなどで量子化したデータで表される。
【００８３】
またこのとき、前記ディジタル画像座標（u,v）と通常の画像座標（x,y）は１対１で対応付けされ、例えば、下記数式１３のような関係を持つ。
【００８４】
【数１３】
【００８５】
なお、前記数式１３では、ｘ軸とｕ軸を平行とし、ｕ軸とｖ軸の単位長は（x,y）座標系を基準にｋu，ｋvとし、ｕ軸とｖ軸のなす角度をθとしている。
【００８６】
前記二次元配列の各画素の情報の書き込みや読み出しをする場合、前記ディジタル画像座標系（u,v）は離散的な値をとるが、以下の説明では断りのない限り連続値をとるものとし、各画素の情報へアクセスする際に適当な離散化処理を行うものとする。
【００８７】
また、前記ディジタル画像座標と画像座標の座標変換では、前記数式１３の関係に加えて、例えば、レンズの歪みを考慮した変換を行うことも可能である。
【００８８】
このようにして、前記カメラで撮影した画像の画像面ＣＰi上の点（xi,yi *）に相当する画素（ui,vi）の色情報を取り出した後、取り出した色情報を、前記仮想視点画像の画像面ＰＰ上の点（x,y）に相当する画素（u,v）に転写すれば、仮想視点画像が得られる。
【００８９】
以下、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法について、前記投影面及び前記貼付領域の設定方法を含めて、詳細に説明する。
【００９０】
図７乃至図１２は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図７は複数の投影面の設定方法を説明するための図、図８（ａ），図８（ｂ），図９（ａ）及び図９（ｂ）は貼り付け領域の設定方法を説明するための図、図１０は仮想視点Ｐから見た画像を生成するステップの処理手順を示すフロー図、図１１（ａ）及び図１１（ｂ）は色情報を転写するステップを説明するための図、図１２は生成した仮想視点画像の一例を示す図である。
【００９１】
本実施例１の仮想視点画像生成装置１を用いて、前記仮想視点画像を生成するには、まず、前記被写体画像取得手段１０１で前記被写体２の画像を取得すると共に、前記奥行き情報取得手段１０２で前記被写体２の奥行き情報を取得する。
【００９２】
このとき、前記被写体２の画像は、前記１次元的に配列したＮ台のカメラ３で撮影し、取得する。このとき、前記カメラ３は、視点Ｃi（i=1,2,…,N）が、例えば、図４に示したように、直線上（Ｘ軸上）に並ぶように配列する。
【００９３】
また、前記被写体２の奥行き情報は、前記カメラ３の近傍に設置した奥行き情報計測装置４により計測して取得する。
【００９４】
前記被写体の画像及び前記奥行き情報を取得した状態で、前記仮想視点画像を生成するには、まず、図３に示したように、仮想視点Ｐの位置、方向、画角等を設定する（ステップ８０１）。前記ステップ８０１は、前記仮想視点設定手段１０３で行い、前記仮想視点Ｐを決定するために必要な情報は、前記仮想視点入力手段５から入力する。
【００９５】
このとき、前記仮想視点入力手段５として、例えば、マウスやキーボード等の入力装置を用いれば、利用者７は、前記画像表示手段（ディスプレイ）６を見ながら、前記仮想視点Ｐに関する情報を直接的に設定することができる。
【００９６】
また、前記仮想視点入力手段５として、例えば、利用者の周りに配置されたセンサー、もしくは前記利用者７に装着したセンサーを用いれば、前記利用者７の位置を検知して前記仮想視点Ｐを設定することもできる。
【００９７】
また、前記仮想視点入力手段５として、他の装置やコンピュータプログラムを用いれば、前記仮想視点Ｐを自動的に設定することもできる。
【００９８】
前記仮想視点Ｐの位置等を設定したら、次に、３次元空間上に、前記被写体の画像を貼り付ける投影面を設定する（ステップ８０２）。前記ステップ８０２は、前記投影面設定手段１０４ａで行う。このとき、前記ステップ８０２では、例えば、図４及び図５に示したように、複数の投影面Ｌj（j=1,2,…,M）からなる投影面群と、１つの投影面Ｌ*を設定する。
【００９９】
また、本実施例１では、説明を簡単にするため、前記投影面を設定する３次元空間は、例えば、図４及び図５に示したように、前記カメラ３（視点Ｃi）が配列されている方向をＸ軸方向、配列されていない方向をＹ軸方向とする。また、前記各投影面Ｌj，Ｌ*は、法線方向がＺ軸と平行であるとする。またこのとき、前記Ｚ軸は、図４及び図５に示したように、前記各投影面から前記カメラ３に向かう方向にとり、前記投影面Ｌjの設定距離はＺ＝−ｌj、前記投影面Ｌ*の設定距離はＺ＝−ｌ*で表すことにする。
【０１００】
またこのとき、前記投影面群の投影面Ｌjは、例えば、以下のような条件を満たすように設定する。
【０１０１】
本実施例１のように、前記被写体の画像から部分的に抽出した画像を、前記投影面に貼り付ける場合、例えば、カメラの視点Ｃiがある面（以下、カメラ設置面と称する）８から被写体２上の点までの実際の距離と、前記カメラ設置面８から前記投影面までの距離が異なると、生成した画像上で誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【０１０２】
このとき、前記カメラ設置面８から距離ｌの位置にある被写体２上の点が、前記投影面Ｌjに貼り付けられているとすると、前記距離ｌが、下記数式１、数式２、数式３で表される条件を満たしていれば、前記距離ｌの位置にある被写体上の点と投影面Ｌj上の点の誤差が最大値δよりも小さいことが保証される。
【０１０３】
【数１４】
【０１０４】
【数１５】
【０１０５】
【数１６】
【０１０６】
前記数式１４において、ｆｌj及びｂｌjは前記投影面Ｌjに貼り付けられる点の最小値及び最大値であり、前記被写体の画像の中で、カメラ設置面８からの距離ｌがｆｌjからｂｌjまでの間である点（部分）は、前記画像投影面Ｌjに貼り付けられる。
【０１０７】
また、前記数式１５及び数式１６において、ＺPはカメラ設置面８から仮想視点Ｐまでの距離、ｆはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点Ｐの位置は、前記カメラ設置面８を基準として、前記投影面Ｌjが設けられた方向とは逆の方向にあるとする。また、前記被写体の画像と前記投影面Ｌjの間の写像は透視投影とする。
【０１０８】
このとき、前記投影面Ｌjのうち、前記カメラ設置面８に一番近い投影面Ｌ1では、貼り付けた画像（点）のうち、実際の被写体２上の点が、前記数式１によって与えられる奥行き範囲内に存在する場合は、前記投影面Ｌ1上での位置の誤差を、最大値δよりも小さくすることができる。そのため、前記各投影面Ｌjに対して、前記数式１４の条件を設定し、前記被写体２が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【０１０９】
前記ｆｌj及びｂｌj、ならびにカメラ設置面８から投影面Ｌjまでの距離ｌjを設定するときは、まず、例えば、図７に示したように、奥行き情報の最小値ｌminをｆｌ1とする。このとき、前記数式１５から投影面Ｌ1の距離ｌ1が決定する。また、前記投影面Ｌ1の距離ｌ1が決まると、前記数式１６からｂｌ1が決まる。
【０１１０】
次の投影面Ｌ2に関しては、図７に示したように、ｆｌ2＝ｂｌ1とし、前記数式１５及び前記数式１６を用いて前記投影面Ｌ2の距離ｌ2、及びｂｌ2を決める。
【０１１１】
以下、逐次的にｆｌj+1＝ｂｌjとして計算を繰り返し、ｂｌjが被写体２の奥行き情報の最大値ｌmaxよりも大きくなるか、無限大になるまで投影面Ｌjを設定していく。
【０１１２】
前記被写体の奥行き情報の最小値ｌmin、及び最大値ｌmaxは、前記奥行き情報取得手段１０２で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体２が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【０１１３】
また、前記投影面Ｌjの設定方法では、仮想視点Ｐが更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点Ｐが移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい（小さい）場合に基づいて設定してもよい。
【０１１４】
また、前記カメラが配列されていない方向（Ｙ軸方向）に対する投影面Ｌ*は、例えば、前記Ｘ軸方向に対する投影面Ｌjの１つと一致するように設定する。また、その他にも、例えば、前記Ｘ軸方向に対する投影面Ｌjの設定距離を平均した距離に設定してもよい。
【０１１５】
なお、前記数式１４乃至数式１６を用いる方法は、前記投影面群の各投影面Ｌjの設定方法の一例であり、他の方法で設定することもできる。
【０１１６】
前記各投影面Ｌj，Ｌ*の設定が済んだら、次に、前記被写体の画像を、前記各投影面Ｌj，Ｌ*にテクスチャマッピングする際に、各投影面Ｌj，Ｌ*上で、視点Ｃiのカメラで撮影した画像が分担する領域、言い換えると、前記各投影面Ｌj，Ｌ*上の前記被写体の画像を貼り付ける領域（以下、貼付領域と称する）Ｕijを設定する（ステップ８０３）。
【０１１７】
前記貼付領域Ｕijを設定するときには、まず、例えば、図８（ａ）に示すように、前記視点Ｃiを母点としたボロノイ領域Ｖiを求め、前記仮想視点Ｐを中心にして前記ボロノイ領域Ｖiを投影面Ｌjに投影した領域Ｗijを求める。また、その一方で、図８（ｂ）に示すように、前記被写体２を前記視点Ｃiから測ったときの投影面Ｌjにおける分担領域Ｓijを求める。
【０１１８】
前記貼付領域Ｕijは、図９（ａ）及び図９（ｂ）に示すように、前記領域Ｗijと前記分担領域Ｓijの重なる領域とすれば、下記数式１７で与えられる。
【０１１９】
【数１７】
Ｕij＝Ｗij∩Ｓij
なお、図９（ａ）及び図９（ｂ）、ならびに前記数式１７に示したような設定方法は、前記貼付領域Ｕijの設定方法の一例であり、他の方法で設定することもできる。
【０１２０】
前記投影面Ｌj，Ｌ*の設定、及び前記貼付領域Ｕijの設定が済んだら、次に、前記仮想視点画像を生成する（ステップ８０４）。
【０１２１】
前記仮想視点画像は、例えば、横（ｕ軸）方向がｗ画素、縦（ｖ軸）方向がｈ画素のディジタル画像である。そのため、前記ディジタル画像の各画素（u,v）における色情報を取得すれば、前記仮想視点画像を生成することができる。このとき、前記各画素（u,v）の色情報は、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色を８ビットの値で表現する。
【０１２２】
前記仮想視点画像を生成するには、図１０に示すように、まず、仮想視点画像の画素（u,v）を示す変数u,v、投影面Ｌjの変数j、前記カメラの視点Ｃiの変数iのそれぞれを初期化する（ステップ８０４ａ，ステップ８０４ｂ，ステップ８０４ｃ）。このとき、前記変数u,vは、例えば、u=0,v=0とする。また、前記変数i及び変数jはそれぞれ、例えば、i=1,j=1とする。
【０１２３】
次に、前記仮想視点画像の各画素（u,v）に対応する、前記仮想視点画像の画像面ＰＰ上の点（x,y）を求める（ステップ８０４ｄ）。前記画像面ＰＰ上の点（x,y）は、例えば、前記数式１３に基づいて求める。
【０１２４】
次に、前記仮想視点画像の画像面ＰＰ上の点（x,y）を、前記投影面群の投影面Ｌjに逆投影して、前記画像面ＰＰ上の点（x,y）に対応する前記投影面Ｌj上の点（X,Y,Z）を求める（ステップ８０４ｅ）。前記投影面Ｌj上の点（X,Y,Z）は、例えば、前記数式１１に基づいて求める。
【０１２５】
次に、前記投影面Ｌj上の点（X,Y,Z）が、前記視点Ｃiのカメラで撮影した画像の前記投影面Ｌjにおける貼付領域Ｕijに含まれるか判定する（ステップ８０４ｆ）。ここで、前記貼付領域Ｕijに含まれる場合は、次のステップ８０４ｇに進む。また、前記貼付領域Ｕijに含まれない場合は、以降のステップを飛ばして、ステップ８０４ｌに進む。
【０１２６】
前記投影面Ｌj上の点（X,Y,Z）が前記貼付領域Ｕijに含まれる場合、次のステップ８０４ｇで、前記仮想視点画像の画像面ＰＰ上の点（x,y）を、前記１つの投影面Ｌ*上に逆投影して、前記点（x,y）に対応する点（X*,Y*,Z*）を求める。前記投影面Ｌ*への逆投影は、前記投影面Ｌjへの逆投影と同じ要領で、前記数式１１に基づいて行えばよい。
【０１２７】
次に、前記投影面Ｌj上の点（X,Y,Z）を視点Ｃiのカメラで撮影した画像の画像面ＣＰi上に投影し、前記点（X,Y,Z）に対応する点（xi,yi）を得る（ステップ８０４ｈ）。前記ステップ８０４ｈの投影処理は、例えば、前記数式７及び数式８で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【０１２８】
次に、前記投影面Ｌ*上の点（X*,Y*,Z*）を前記被写体画像の画像面ＣＰi上に投影し、前記点（X*,Y*,Z*）に対応する点（xi *,yi *）を得る（ステップ８０４ｉ）。前記ステップ８０４ｉの投影処理も、例えば、下記数式７及び数式８で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【０１２９】
次に、図６に示したように、前記ステップ８０４ｈで求めた点（xi,yi）のｘ成分と、前記ステップ８０４ｉで求めた点（xi *,yi *）のｙ成分からなる点（xi,yi *）に対応する、前記視点Ｃiのカメラで撮影したディジタル画像の画像面ＣＰi上の画素（ui,vi）を求める（ステップ８０４ｊ）。前記ステップ８０４ｊは、例えば、前記数式１３に基づいて行えばよいので、詳細な説明は省略する。
【０１３０】
次に、図１１（ａ）に示すように、前記視点Ｃiに設置したカメラで撮影したディジタル画像の画像面ＣＰiの画素（ui,vi）の色情報を、図１１（ｂ）に示すように、前記仮想視点画像の画像面ＰＰ上の画素（u,v）における色情報に転写する（ステップ８０４ｋ）。
【０１３１】
その後、前記視点Ｃiの変数iを更新し（ステップ８０４ｌ）、前記色情報の転写が済んでいない視点Ｃiのカメラで撮影した画像があるか調べる（ステップ８０４ｍ）。色情報の転写が済んでいない視点Ｃiの画像があれば前記ステップ８０４ｅに戻り、前記ステップ８０４ｅからステップ８０４ｋまでの処理を行う。
【０１３２】
全ての視点Ｃiの画像において前記色情報の転写が済んでいれば、今度は投影面Ｌjの変数jを更新し（ステップ８０４ｎ）、前記処理を行っていない投影面があるか調べる（ステップ８０４ｏ）。処理を行っていない投影面があれば、前記ステップ８０４ｃに戻り、前記ステップ８０４ｃからステップ８０４ｋの処理を行う。
【０１３３】
その後、今度は、前記仮想視点画像の画素（u,v）を更新し（ステップ８０４ｐ）、全ての画素に対して処理を行ったか調べる（ステップ８０４ｑ）。未処理の画素（u,v）がある場合は、前記ステップ８０４ｂに戻り、前記ステップ８０４ｂからステップ８０４ｋの処理を行う。
【０１３４】
以上の処理が全て済むと、例えば、図１２に示したような前記仮想視点画像が得られ、前記画像表示手段６に表示される。このとき、前記仮想視点画像の各点（画素）のＹ軸方向成分、すなわち前記カメラ３が配列されていない方向の成分は、１つの投影面にテクスチャマッピングして求めている。そのため、前記Ｙ軸方向の成分は画像面全域にわたり連続的に変化し、図１２に示したように、前記仮想視点画像をＹ軸方向に走査してみたときに、画像の隙間が非常に小さくなる。
【０１３５】
以上説明したように、本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法によれば、前記仮想視点画像上の点の、前記カメラが配列された方向の成分は複数の投影面Ｌjからなる投影面群を用いて求め、前記カメラが配列されていない方向の成分は１つの投影面Ｌ*を用いて求めることにより、生成した仮想視点画像の、前記カメラが配列されていない方向に隙間が生じるのを防ぐことができる。そのため、前記カメラが１次元的に配列されている場合でも、仮想視点画像の劣化を低減することができる。
【０１３６】
また、本実施例１の仮想視点画像生成装置１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等を備えるコンピュータであってもよい。その場合、図３及び図１０に示したような処理の各ステップを、前記コンピュータに実行させるプログラムを、例えば、前記HDDや前記ROMに記録しておけばよい。また、前記プログラムは、前記HDDや前記ROMに記録する代わりに、CD-ROM等の記録媒体に記録したり、インターネット上のサーバー等に記録したりして、前記記録媒体や前記インターネットなどのネットワークを利用して提供することもできる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【０１３７】
図１３及び図１４は、前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【０１３８】
前記実施例１では、図４に示したように、前記投影面Ｌj,Ｌ*を設定する三次元空間のＸ軸方向及びＹ軸方向と、前記仮想視点画像のｘ軸方向及びｙ軸方向が一致している例を挙げて説明したが、実際には、図１３及び図１４に示すように、三次元空間のＸ軸方向及びＹ軸方向と、前記仮想視点画像のｘ軸方向及びｙ軸方向が一致していなくてもよい。そのような場合は、例えば、図１４に示したように、三次元空間のＸ軸方向及びＹ軸方向と一致するｘ’軸及びｙ’軸をとるような画像面を想定し、前記実施例１で説明した手順に沿って、前記仮想視点画像の画像面上の点（x',y'）と対応する被写体２の画像の画像面上の点（xi',(yi *)'）を求めた後、前記点（x',y'）を点（x,y）に座標変換すればよい。
【０１３９】
図１５は、前記実施例１の仮想視点画像生成装置の変形例を説明するための図である。
【０１４０】
前記実施例１の仮想視点画像生成装置では、前記奥行き情報取得手段１０２は、前記奥行き計測手段４で計測した結果を取得しているが、これに限らず、例えば、図１５に示すように、前記被写体画像取得手段１０１で取得した画像を用いて、奥行き情報を算出してもよい。このとき、前記奥行き情報取得手段１０２では、例えば、ステレオマッチングにより奥行き情報を算出する（例えば、奥富,金出, “複数の基線長を利用したステレオマッチング”, 電子情報通信学会誌 D-II, no.8, pp.1317-1327, 1992を参照。）。
【０１４１】
（実施例２）
図１６及び図２１は、本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１６は仮想視点Ｐから見た画像を生成するステップのフロー図、図１７及び図１８は投影ポリゴンの設定方法を説明するための図、図１９はテクスチャ配列内での画像の例を示す図、図２０及び図２１は投影ポリゴンの頂点の補正方法を説明するための図である。
【０１４２】
本実施例２の仮想視点画像生成装置は、前記実施例１で説明した仮想視点画像生成装置１と同様の構成であるので、詳細な説明は省略する。
【０１４３】
前記実施例１の仮想視点画像生成装置１を用いた仮想視点画像生成方法では、図４及び図５に示したように、複数の投影面Ｌj（j=1,2,…,M）からなる投影面群と、１つの投影面Ｌ*の２種類の投影面を設定し、仮想視点画像を生成した。これは、カメラが配列されている方向では投影面が複数あり、前記カメラが配列されていない方向では投影面が１つであるという想定をして、透視投影変換をしていることになるが、実際の三次元空間上に、このような幾何図形は存在しない。そのため、例えば、OpenGLやDirectXのような、汎用的な三次元ライブラリを用いると、座標の扱いが困難である。
【０１４４】
前記三次元ライブラリにより、ある視点からの画像を生成するには、いくつもの段階的な処理が施される。そのうち特に、処理の高速化が求められる箇所では、並列処理を行うなど、ライブラリの種類によって処理方法は多様であるが、一般的には、大きく分けて次の３つの処理を経る。
【０１４５】
（１）被写体をポリゴン（多角形平面）等の基本図形の組み合わせとして三次元座標系で表現し、視点の位置、光源の位置、テクスチャ等を設定する三次元シーンの設定処理。
【０１４６】
（２）被写体を表現する三次元座標系の頂点を視点座標系に変換し、投影変換して視点の位置にある画像面の二次元座標系に変換する座標変換処理。またこのとき、光源やテクスチャマッピングによる頂点の色の計算、奥行き情報の計算なども行う。
【０１４７】
（３）二次元座標に変換された頂点を補完して塗りつぶし、画像面の各画素での色を計算する走査変換処理。またこのとき、奥行き情報を基にした隠面消去処理もここで行う。
【０１４８】
前記三次元ライブラリ及びグラフィクス・ハードウェアを組み合わせて使用する場合、前記３つの処理のうち、アプリケーション・プログラム（ソフトウェア）で受け持つ処理は、前記（１）の三次元シーンの設定処理のみであり、前記（２）の座標変換処理、及び前記（３）の走査変換処理は、前記三次元ライブラリが対応したグラフィックス・ハードウェアにより処理される。
【０１４９】
しかしながら、前記座標変換処理を前記三次元ライブラリ（グラフィックス・ハードウェア）に任せてしまうと、前記実施例１のような特殊な座標変換処理を行なうことができない。そのため、前記座標変換処理をアプリケーション・プログラムで行わなければならなくなり、処理速度（画像生成速度）が低下する。
【０１５０】
そこで、本実施例２では、前記汎用的な三次元ライブラリ（グラフィックス・ハードウェア）を用いて仮想視点画像を生成する方法について説明する。
【０１５１】
本実施例２の仮想視点画像生成方法でも、まず、図３に示したように、仮想視点Ｐの設定（ステップ８０１）、及び投影面Ｌj,Ｌ*の設定（ステップ８０２）、ならびに前記各投影面上の貼付領域Ｕijの設定（ステップ８０３）の各ステップを行う。なお、前記ステップ８０１，８０２，８０３は前記実施例１で説明したような処理を行えばよいので、詳細な説明は省略する。
【０１５２】
次に、図３に示した前記ステップ８０４の処理を行うが、本実施例２では、まず、図１６に示すように、前記ステップ８０２で決定した投影面Ｌj上に、前記視点Ｃiのカメラで撮影した画像の画像面の画角を逆投影したポリゴン（多角形平面）を設定する（ステップ８０４ｒ）。以下、前記ポリゴンを投影ポリゴンと称する。
【０１５３】
このとき、例えば、図１７に示すように、前記視点Ｃiのカメラで撮影した画像の画像面ＣＰiにおける画角の四隅を{Ｈi 1,Ｈi 2,Ｈi 3,Ｈi 4}とおき、それらを投影面Ｌjに逆投影したものをそれぞれ{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}とおいた場合、この{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}を頂点とする多角形が前記投影ポリゴンとなる。
【０１５４】
ここで、前記逆投影の座標計算は、例えば、前記数式１２に示す関係式に基づいて行い、全てのカメラＣi（i=1,2,…,N）、及び全ての投影面Ｌj（j=1,2,…,M）に対して、図１８に示したように、合計i×j組の前記投影ポリゴン、及びi×j×４個の頂点を設定する。なお、ここでは、画像面の画角を規定する多角形及び前記投影ポリゴンの頂点の数を４つとしたが、前記頂点の数は３つでもよいし、５つ以上でもよい。
【０１５５】
次に、全ての投影ポリゴンについて、テクスチャマッピング用の二次元配列（テクスチャ配列）を確保する（ステップ８０４ｓ）。前記テクスチャ配列は、１つの視点Ｃiに対して、投影面の数、すなわちj組確保し、合計でi×j組を確保する。
【０１５６】
前記テクスチャ配列の各成分（画素）には、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色の輝度を表す色情報の他、一般にアルファ値と呼ばれる透明度を表す情報（Ａ）も格納する。
【０１５７】
また、前記テクスチャ配列のサイズは、前記視点Ｃiのカメラで撮影した画像のサイズと同じである場合に、メモリの使用量をもっとも節約できるが、前記三次元ライブラリの種類によっては、前記テクスチャ配列の各辺のサイズは２のべき乗でなければならないなどの条件がある。そのため、前記テクスチャ配列は、前記カメラの画像サイズよりも大きなサイズの配列を確保する。このとき、前記カメラ画像の配列のサイズをw×hとすると、前記テクスチャ配列のサイズはwt×ht（wt≧w,ht≧h）となるようにする。ここで、例えば、前記カメラの画像サイズ（w,h）が（640,480）であり、テクスチャ配列の各辺のサイズ（wt,ht）が２のべき乗でなければならないとすると、確保するテクスチャ配列のサイズ（wt,ht）は（1024,512）とする。
【０１５８】
また、前記カメラの画像のサイズが大きく、前記テクスチャ配列に許容される最大のサイズを超えてしまうような場合は、前記テクスチャ配列を小さく分けて複数のテクスチャ配列を確保する。
【０１５９】
このようにして、前記テクスチャ配列を確保した後、前記視点Ｃiのカメラで撮影した画像を、対応するj組のテクスチャ配列に転送する。
【０１６０】
前記テクスチャ配列を確保したら、次に、前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の三次元座標と、テクスチャ座標の対応付けを行う（ステップ８０４ｔ）。ここで、前記テクスチャ座標とは、例えば、図１９に示すように、テクスチャマッピングに用いる画像ＴＰの辺の長さを１に正規化した座標である。このとき、前記テクスチャ画像ＴＰ上の各点の位置は、０から１までの値をとる座標軸（s,t）で与えられる。前記ステップ８０４ｔにおいて、前記各頂点の三次元空間座標（X,Y,Z）と二次元テクスチャ座標（s,t）の対応付けができれば、テクスチャマッピング処理は、前記三次元ライブラリが担当して行うことができ、グラフィックス・ハードウェアで仮想視点画像を生成することができる。
【０１６１】
このとき、例えば、図１９に示したように、前記カメラ画像の配列を、前記テクスチャ配列の左下隅に合わせて転送した場合、前記カメラ画像の四隅の点{Ｈi 1,Ｈi 2,Ｈi 3,Ｈi 4}はそれぞれ、前記テクスチャ座標では（0,0），（0,h/ht），（w/wt,h/ht），（w/wt,0）となる。また、前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の三次元座標と、前記カメラ画像の四隅の点{Ｈi 1,Ｈi 2,Ｈi 3,Ｈi 4}の対応関係は、前記ステップ８０４ｒで求めているので、それを利用すれば、前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の各座標と前記テクスチャ座標の対応関係が得られる。
【０１６２】
前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の各座標と前記テクスチャ座標の対応関係が得られたら、次に、前記テクスチャ座標を格納する配列の透明度（Ａ）の設定をする（ステップ８０４ｕ）。このとき、前記配列の透明度（Ａ）は、前記投影面上の貼付領域Ｕijに相当する領域が不透明になり、その他の領域が透明になるように設定する。このように設定することで、三次元ライブラリで描画するときに、前記貼付領域Ｕijに含まれるテクスチャのみを描画することができる。
【０１６３】
次に、前記ステップ８０４ｒで設定した投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の位置を、前記カメラが配列されていない方向に移動させ、前記投影面上でのテクスチャ画像を拡大あるいは縮小する（ステップ８０４ｖ）。
【０１６４】
本実施例２の仮想視点画像の生成方法で、前記実施例１と同様の処理をするならば、前記カメラが配列されていない方向（Ｙ軸方向）に対しては、前記投影面群の代わりに、１つの投影面Ｌ*を想定して座標計算処理を行う。このとき、例えば、図２０に示すように、投影面Ｌj上の点Ｇにテクスチャマッピングされている配列（画素）は、投影面Ｌ*上では点Ｇ*にテクスチャマッピングされる。そのため、前記配列（画素）は、前記仮想視点Ｐから見た画像の画像面ＰＰ上では点Ｉに描画される。
【０１６５】
そこで、前記投影面Ｌjを用いつつ、前記仮想視点Ｐから見た画像の画像面ＰＰの点Ｉに描画されるように、点ＧのＹ座標を点Ｇ’のＹ座標に更新する。
【０１６６】
このような処理を、前記投影ポリゴンの全ての頂点に付いて行えば、前記投影ポリゴンで囲まれるテクスチャは、前記投影面Ｌ*を用いたかのように補正処理される。
また、前記点Ｇ’は、例えば、以下のような方法で簡単に求めることができる。
【０１６７】
まず、点Ｇに対応する視点Ｃiで撮影した画像の画像面ＣＰi上の点Ｈを投影面Ｌ*上の点Ｇ*に逆投影する。次に、点Ｇ*を仮想視点Ｐの画像面ＰＰ上の点Ｉに投影する。最後に、点Ｉを投影面Ｌjに逆投影すれば、点Ｇ’が得られる。ここで、前記点Ｇ*の投影は、例えば、前記数式７及び数式８に示した関係式に基づいて計算する。また、前記点Ｇ，Ｇ’の逆投影は、例えば、前記数式１２に示した関係式に基づいて計算する。
【０１６８】
なお、図２０では、前記投影ポリゴンの頂点が拡大するような例を示したが、前記仮想視点Ｐ、前記カメラの視点Ｃi、前記投影面Ｌj，Ｌ*の位置関係によっては、前記投影ポリゴンの頂点を縮小する場合も考えられる。
【０１６９】
前記投影ポリゴンを縮小する場合も、前記拡大する場合と同様の処理を行えばよく、例えば、図２１に示すように、前記カメラの画像面ＣＰi上の点Ｈを投影面Ｌ*上の点Ｇ*に逆投影し、点Ｇ*を仮想視点Ｐの画像面ＰＰ上の点Ｉに投影した後、点Ｉを投影面Ｌjに投影すれば、点Ｇ’が得られる。ここで、前記点Ｇ*の投影は、例えば、前記数式７及び数式８に示した関係式に基づいて計算する。また、前記点Ｇ，Ｇ’の逆投影は、例えば、前記数式１２に示した関係式に基づいて計算する。
【０１７０】
前記各ステップの処理を終了したら、前記各ステップで設定した仮想視点Ｐ、投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の位置、テクスチャからなる三次元シーンを、前記三次元ライブラリに設定すると、前記三次元ライブラリを用いて、前記グラフィックス・ハードウェア上で、前記座標変換処理及び前記走査変換処理が行われ、前記仮想視点Ｐにおける画像が生成される（ステップ８０４ｗ）。
【０１７１】
以上説明したように、本実施例２の仮想視点画像生成方法によれば、前記投影面群の投影面に逆投影した画像を拡大、あるいは縮小することで、前記投影面郡の投影面上の画像を、あたかも前記実施例１で説明した前記１つの投影面Ｌ*にテクスチャマッピングした画像のように見えるようにすることができる。そのため、前記投影面を３次元空間上で表現できる構造にすることができ、汎用的なの三次元ライブラリを用いて、劣化の少ない仮想視点画像を高速に生成することができる。
【０１７２】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１７３】
例えば、前記実施例では、例えば、図１及び図２に示したように、直線状に配列したカメラ３で前記被写体２の画像を撮影したが、前記カメラ３は、直線状に限らず、例えば、円弧状に配列されていてもよい。
【０１７４】
また、前記カメラ３は、前記直線状や前記円弧状に限らず、前記一次元的な配列、言い換えると、１つの平面上にある直線または曲線に沿って配列された状態であればよい。すなわち、前記実施例では、前記各カメラの視点Ｃiが直線（Ｘ軸）上になるように配列しているが、必ずしもＸ軸上にある必要はない。
【０１７５】
また、前記実施例では、前記カメラ３は、一定の間隔で配列したが、これに限らず、不規則な間隔で配列されていてもよい。
【０１７６】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
【０１７７】
すなわち、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことができる。
【図面の簡単な説明】
【図１】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、装置の構成を示すブロック図である。
【図２】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【図３】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、処理全体のフロー図である。
【図４】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図５】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図６】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、色情報の転写方法を説明するための図である。
【図７】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、複数の投影面の設定方法を説明するための図である。
【図８】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図８（ａ）及び図８（ｂ）は貼り付け領域の設定方法を説明するための図である。
【図９】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図９（ａ）及び図９（ｂ）は貼り付け領域の設定方法を説明するための図である。
【図１０】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、仮想視点Ｐから見た画像を生成するステップの処理手順を示すフロー図である。
【図１１】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図１１（ａ）及び図１１（ｂ）は色情報を転写するステップを説明するための図である。
【図１２】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、生成した仮想視点画像の一例を示す図である。
【図１３】前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図１４】前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図１５】前記実施例１の仮想視点画像生成装置の変形例を説明するための図である。
【図１６】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、仮想視点Ｐから見た画像を生成するステップのフロー図である。
【図１７】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図１８】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図１９】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、テクスチャ配列内での画像の例を示す図である。
【図２０】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図２１】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図２２】従来の投影面が１つの場合の画像生成方法を説明するための模式図である。
【図２３】従来の投影面が複数の場合の画像生成方法を説明するための模式図である。
【図２４】従来の画像生成方法の課題を説明するための模式図である。
【符号の説明】
１…仮想視点画像生成装置、１０１…被写体画像取得手段、１０２…奥行き情報取得手段、１０３…仮想視点設定手段、１０４…画像生成手段、１０４ａ…投影面設定手段、１０４ｂ貼付領域設定手段、２…被写体、３…カメラ、４…奥行き情報計測手段、５…仮想視点入力手段、６…画像表示手段、７…利用者、８…カメラ設置面、Ｃi…カメラの視点、ＣＰi…カメラで撮影した画像の画像面、Ｌj，Ｌ*…投影面、Ｐ…仮想視点、ＰＰ…仮想視点画像の画像面。
【発明の属する技術分野】
本発明は、仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体に関し、特に、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、コンピュータグラフィックス（CG）やバーチャルリアリティ（VR）技術の発達により、カメラで撮影した画像に写っている物体（被写体）を、前記カメラの設置位置とは異なる視点から見たときの画像を生成できるようになってきた。
【０００３】
このように、前記カメラの設置位置とは異なる視点から前記被写体を見たときの画像は、仮想視点画像または任意視点画像と呼ばれ、種々の画像生成方法が提案されている。なかでも、IBR（Image-Based Rendering）と呼ばれる画像生成方法は、被写体の実写画像を元にして、極めて写実的な仮想視点画像を生成することができる。
【０００４】
前記IBRにより画像を生成する方法では、前記カメラにより、多数の視点位置から撮影した画像をもとにして前記仮想生成画像を生成するが、明示的には被写体のモデルを求めずに、２次元画像処理により生成する（例えば、非特許文献１、非特許文献２、非特許文献３を参照。）。
【０００５】
また、前記IBRにより画像を生成する方法には、例えば、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面（以下、投影面と称する）という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影する方法がある（例えば、非特許文献４を参照。）。
【０００６】
前記投影面を想定する方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【０００７】
前記投影面を想定する方法では、例えば、Ｎ台のカメラを、図２２（ａ）に示すように、前記各カメラの視点Ｃi（i=1,2,…,N）が、ｚ＝０のｘｙ平面上にあり、かつ、Ｚ軸の負の方向（Ｚ＜０）の領域にある被写体２を撮影できるように配列する。このとき、前記投影面Ｌ0は、前記被写体があるおおよその位置（Ｚ＝−ｌ0）にとる。また、前記被写体２を見る視点（仮想視点）ＰのＺ座標をＺP、前記仮想視点Ｐと生成する画像の画像面ＰＰとの距離（透視投影の焦点距離）をｆ、前記被写体２上の点ＱのＺ座標をｌとおく。
【０００８】
またこのとき、前記視点Ｃiに配置したカメラで撮影した前記被写体２上の点Ｑは、前記投影面Ｌ0上の点Ｑ’に投影される。そのため、前記仮想視点画像を生成したときに、前記被写体２上の点Ｑは、図２２（ａ）及び図２２（ｂ）に示すように、前記仮想視点Ｐと前記投影面Ｌ0上の点Ｑ’を結ぶ直線と仮想視点画像の画像面ＰＰが交わる点ＰＰ１に表示される。
【０００９】
しかしながら、実際に、前記仮想視点Ｐから前記被写体２上の点Ｑを見たときには、前記点Ｑは、図２２（ａ）及び図２２（ｂ）に示すように、前記画像面ＰＰ上の点ＰＰ２に表示され、前記点ＰＰ１との間にΔｐのずれが生じる。
【００１０】
このとき、Ｚ＝０のｘｙ平面上で、前記カメラの視点Ｃiと、前記仮想視点Ｐと前記投影面上の点Ｑ’を結ぶ光線の距離ベクトルΔｒ、及び前記画像面ＰＰ上での点のずれΔｐの間には、下記数式１のような関係が成り立つ。
【００１１】
【数１】
Δｐ＝ｋ(ｌ0)Δｒ
ここで、前記数式１におけるｋ(ｌ0)は、例えば、下記数式２のように定義する。
【００１２】
【数２】
すなわち、前記投影面が１つ（Ｌ0）の場合、定数ｌ0に対して、前記数式１及び数式２で与えられる誤差が、前記仮想視点画像の画像面ＰＰ上に生じる。
またこのとき、前記被写体２の奥行き方向の範囲（距離）が大きいと、前記投影面Ｌ0から離れている前記被写体２上の点の誤差が大きくなる。そのため、広範囲にわたる仮想視点画像を生成することが難しいという問題があった。
【００１４】
そこで、近年、広範囲にわたる仮想視点画像を生成することが可能な方法として、多層構造をもつ複数の投影面に、撮影した画像をテクスチャマッピングする方法が提案されている（例えば、特願２００２−３１８３４３号を参照。）。
【００１５】
前記複数の投影面を設定する方法では、前記カメラの視点Ｃi（Ｚ＝０）から投影面までの距離ｌ0は変数とみなし、いくつかの投影面Ｌj（j=1,2,…,M）のうち、前記数式１及び数式２で与えられる画像面ＰＰ上での誤差が最小となる距離にある投影面を選んで、前記被写体２上の点Ｑを投影する。
【００１６】
このとき、前記被写体上の点Ｑが、例えば、図２３に示すように、ｚ＝０のｘｙ平面からの距離がｌ0Frontの投影面ＬFrontと、ｌ0Backの投影面ＬBackの中間にあるとすると、前記点Ｑは、前記仮想視点画像の画像面ＰＰ上でのずれΔｐが小さいほうの投影面に投影（テクスチャマッピング）される。そのため、前記数式２で与えられる係数ｋは、下記数式３または数式４となる。
【００１７】
【数３】
ｋ(ｌ0Front)＜０
【００１８】
【数４】
ｋ(ｌ0Back)＞０
【００１９】
すなわち、前記被写体上の点Ｑを前方の投影面ＬFrontにテクスチャマッピングするか、後方の投影面ＬBackにテクスチャマッピングするかによって、係数ｋの符号が変化する。
【００２０】
このとき、前記各投影面の中間地点にある被写体上の点Ｑは、どちらにテクスチャマッピングするかにより、前記仮想視点画像の画像面ＰＰ上での位置のずれΔｐの方向が逆になる。そのため、テクスチャマッピングされる投影面が前方と後方に分離される箇所があり、生成した画像に隙間が生じ、その大きさはΔｒの大きさ｜Δｒ｜に比例する。
【００２１】
ここで、前記数式１をＸ軸方向の成分と、Ｙ軸方向の成分とに分けて考えると、下記数式５及び数式６のようになる。
【００２２】
【数５】
Δｐx＝ｋ(ｌ0)Δｒx
【００２３】
【数６】
Δｐy＝ｋ(ｌ0)Δｒy
【００２４】
このとき、前記カメラの視点Ｃiが、例えば、Ｘ軸方向に間隔εxで配列していれば、適切な視点Ｃiのカメラで撮影した画像を選択して用いることで、｜Δｒx｜≦εx／２となり、Δｐxは一定の範囲内に収めることができる。
【００２５】
同様に、前記カメラの視点Ｃiが、例えば、Ｙ軸方向に間隔εyで配列していれば、適切な視点Ｃiのカメラで撮影した画像を選択して用いることで、｜Δｒy｜≦εy／２となり、Δｐyは一定の範囲内に収めることができる。
【００２６】
【非特許文献１】
Marc Levoy and Pat Hanrahan:"Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
【非特許文献２】
Steven J. Gortler et al.:"The Lumigraph," SIGGRAPH'96 Conference
Proceedings, pp.43-54, 1996
【非特許文献３】
片山昭宏ほか:「多視点画像の補間・再構成による視点追従型立体画像表示法」, 電子情報通信学会誌, Vol.J79-DII, No.5, pp.803-811, 1996
【非特許文献４】
國田豊ほか:「多眼カメラを用いた任意視点人物像の実時間生成システム」, 電子情報通信学会誌, Vol.J84-DII, No.1, pp.129-138, 2001
【００２７】
【発明が解決しようとする課題】
しかしながら、前記従来の技術で説明した、複数の投影面Ｌj（j=1,2,…,M）を設定して仮想視点画像を生成する方法では、例えば、投影面Ｌjと投影面Ｌj+1の間にテクスチャ画像が存在しない場合、生成した仮想視点画像に隙間が生じる。そのため、生成した仮想視点画像が劣化するという問題がある。
【００２８】
なお、前記カメラ（視点Ｃi）の配列密度を十分に大きくすれば、前記仮想視点画像に生じる隙間は、目立たないほどに小さくできる。しかしながら、前記カメラの配列密度には限界がある。また、前記カメラの配列密度を高くすることにより、前記カメラで撮影した画像を取得する時間や、前記仮想視点画像の生成処理にかかる時間が長くなり、実時間レベルでの画像生成が難しくなるという問題もあった。また、前記カメラの配列密度を高くすれば、その分システムが大掛かりになるので、設置コストが上昇するという問題があった。
【００２９】
また、前記仮想視点画像生成装置を、例えば、テレビ会議システム等で用いる場合、利用者の視点（仮想視点）は、画像の左右方向に対しての移動が多く、上下方向に対しての移動はあまり行わないことがある。このように、視点の移動方向が、主に一方向である場合には、前記カメラを一次元的に配列することで、設置コストの上昇を抑えることができる。
【００３０】
前記カメラ（視点Ｃi）を一次元的、例えば、前記Ｘ軸方向にのみ配列した場合、前記カメラが配列されたＸ軸方向では、前記カメラの配置間隔や、適切なカメラで撮影した画像を用いることで、前記仮想視点画像の画像面ＰＰ上での位置のずれΔｐxを一定の範囲内に収めることができる。
【００３１】
しかしながら、前記カメラが配列されていないＹ軸方向では、適切な画像を選択する余地がないので、前記距離ベクトルの大きさ｜Δｒy｜は画角の周辺、すなわち画像の端部で大きな値を持つ。そのため、前記仮想視点画像は、図２４に示すように、前記カメラが配列されていないＹ軸方向に走査したときに見られる隙間が大きくなるという問題があった。
【００３２】
本発明の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能な技術を提供することにある。
本発明の他の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能なプログラム及び記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００３３】
【課題を解決するための手段】
本願において開示される発明の概要を説明すれば、以下の通りである。
【００３４】
（１）同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置（以下、仮想視点と称する）を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成するステップとを有する仮想視点画像生成方法であって、前記仮想視点画像を生成するステップは、複数の投影面からなる投影面群、及び１つの投影面を設定する第１ステップと、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第２ステップと、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第３ステップと、前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第４ステップと、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第５ステップとを有することを特徴とする仮想視点画像生成方法である。
【００３５】
前記（１）の手段によれば、前記仮想視点画像上の点の、前記カメラが配列されていない方向の成分は、前記１つの投影面から求める。そのため、前記仮想視点画像の画像面上において、位置ずれの誤差は生じるものの、前記画像面全域で連続的に変化するので、前記仮想視点画像を前記カメラが配列されていない方向に走査したときに見られる隙間が大きくなるのを防ぐことができる。
【００３６】
また、前記カメラが配列されている方向の成分は、前記複数の投影面から求めるので、前記仮想視点画像の画像面上での位置ずれの誤差を小さくすることができる。そのため、一次元的、言い換えると、同一平面にある直線あるいは曲線に沿って配列されたカメラで撮影した画像から生成する仮想視点画像の劣化を少なくすることができる。
【００３７】
このとき、前記カメラは、例えば、同一平面にある直線あるいは曲線に沿って配列された状態であればよく、前記被写体の画像は、直線状に配列されたカメラで撮影してもよいし、円弧状に配列されたカメラで撮影してもよい。また、前記各カメラの配列の間隔は、等間隔であってもよいし、不規則な間隔であってもよい。
【００３８】
（２）前記（１）の手段において、前記第４ステップは、前記被写体の画像を前記投影面群の投影面に逆投影するステップと、テクスチャマッピング用の２次元配列を確保するステップと、前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行うステップと、前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する。
【００３９】
前記（２）の手段によれば、前記投影面群の投影面に逆投影した画像を拡大あるいは縮小することで、前記投影面群の投影面の画像を、あたかも前記１つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【００４０】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、高速な前記仮想視点画像の生成処理を行うことができる。
【００４１】
（３）同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点（以下、仮想視点と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成する画像生成手段とを有する仮想視点画像生成装置であって、前記画像生成手段は、複数の投影面からなる投影面群、及び１つの投影面を設定する投影面設定手段と、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを有し、前記レンダリング手段は、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第１対応点算出手段と、前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第２対応点算出手段と、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを有する仮想視点画像生成装置である。
【００４２】
前記（３）の手段は、前記（１）の手段の仮想視点画像生成方法を用いて前記仮想視点画像を生成するための装置である。そのため、前記各手段を備えることにより、前記カメラが一次元的に配列されている場合でも、前記仮想視点画像をカメラが配列されていない方向に走査したときに見られる隙間を小さくすることができる。また、カメラが配列されている方向は、画像面上での位置ずれを小さくすることができる。そのため、前記仮想視点画像の劣化を少なくすることができる。
【００４３】
（４）前記（３）の手段において、前記第２対応点算出手段は、前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、テクスチャマッピング用の２次元配列を確保するテクスチャ配列確保手段と、前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行う対応付け手段と、前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備える。
【００４４】
前記（４）の手段によれば、前記第２対応点算出手段に、前記各手段を備えることで、前記投影面群の投影面に逆投影した画像を、あたかも前記１つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【００４５】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、市販のグラフィックス・ハードウェア及びライブラリに対応するソフトウェア（ドライバ）によって、高速な前記仮想視点画像の生成処理を行うことができる。
【００４６】
（５）前記（１）または（２）の手段の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラムである。
【００４７】
前記（５）の手段によれば、前記仮想視点画像の生成処理をコンピュータに実行させることができる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を高速で生成することができる。
【００４８】
（６）前記（５）の手段の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体である。
前記（６）の手段によれば、前記記録媒体を頒布することで、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【００４９】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００５０】
【発明の実施の形態】
（実施例１）
図１及び図２は、本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、図１は装置の構成を示すブロック図、図２は仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【００５１】
図１及び図２において、１は仮想視点画像生成装置、１０１は被写体画像取得手段、１０２は奥行き情報取得手段、１０３は仮想視点設定手段、１０４は画像生成手段、１０４ａは投影面決定手段、１０４ｂは貼付領域設定手段、１０４ｃはレンダリング手段、２は被写体、３はカメラ、４は奥行き情報計測手段、５は仮想視点入力手段、６は画像表示手段、７は利用者である。
【００５２】
本実施例１の仮想視点画像生成装置１は、図１に示すように、被写体２の画像を取得する被写体画像取得手段１０１と、前記被写体２の奥行き情報（表面形状）を取得する奥行き情報取得手段１０２と、前記生成する画像の視点（以下、仮想視点と称する）を設定する仮想視点設定手段１０３と、前記被写体２の画像及び前記奥行き情報を用いて、前記仮想視点から見た被写体２の画像（以下、仮想視点画像と称する）を生成する画像生成手段１０４とにより構成されている。
【００５３】
また、前記画像生成手段１０４は、前記被写体２の奥行き情報及び前記仮想視点から投影面を設定する投影面設定手段１０４ａと、前記被写体２の奥行き情報に基づいて、前記投影面上の、前記被写体２の画像を貼り付ける領域を設定する貼付領域設定手段１０４ｂと、前記投影面設定手段１０４ａで設定した投影面、及び前記貼付領域設定手段１０４ｂで設定した貼付領域に基づいて、前記被写体２の画像を前記投影面に貼り付け（テクスチャマッピング）して、前記仮想視点画像に変換するレンダリング手段１０４ｃとを備える。
【００５４】
また、本実施例１では、前記被写体２の画像は、例えば、図１及び図２に示したように、４台のカメラ３を一次元的、言い換えると、一方向に列状に、一定の間隔で配列して撮影し、それを前記被写体画像取得手段１０１で取得する。ここで、前記カメラ３を配列した空間では、図２に示したような、カメラの配列方向がＸ軸となるような三次元空間をとる。なお、本実施例１では、図１及び図２では、４台のカメラを配列しているが、前記カメラは４台である必要はなく、Ｎ台（Ｎは２以上の整数）のカメラが一方向に配列されていればよい。
【００５５】
また、前記被写体２の奥行き情報は、例えば、図１及び図２に示すように、前記カメラ３の近傍に設置した奥行き情報計測手段４で計測し、それを前記奥行き情報取得手段１０２で取得する。前記奥行き計測手段４には、例えば、TOF（Time Of Flight）法を用いた計測装置を用いる。また、前記奥行き計測手段４の代わりに、前記カメラ３のうちの一つに、前記被写体２の画像（色情報）の撮影及び表面形状の測定をできるカメラを用いてもよい。
【００５６】
また、前記仮想視点設定手段１０３は、例えば、マウスやキーボード等の仮想視点入力手段５から入力された情報に基づき、前記仮想視点の位置、方向、画角等を設定する。またこのとき、前記仮想視点は、前記仮想視点設定手段１０３で許容されている範囲内であれば、前記カメラ３を配置した位置に限らず、任意の位置に設定することができる。
【００５７】
また、前記仮想視点画像生成装置１で生成した画像（以下、仮想視点画像と称する）は、例えば、CRTディスプレイ、液晶ディスプレイ等の画像表示手段６で表示される。
【００５８】
図３乃至図６は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、図３は処理全体のフロー図、図４及び図５は投影面の設定方法を説明するための図、図６は色情報の転写方法を説明するための図である。
【００５９】
本実施例１の仮想視点画像生成装置を用いて前記仮想視点画像を生成するときには、IBR（Image-Based Rendering）と呼ばれる手法を用いる。前記IBRは、前記被写体画像取得手段１０１で取得した画像の一部分を、コンピュータ上の三次元空間に設定した投影面にテクスチャマッピングし、その投影面を前記仮想視点設定手段１０３で設定した仮想視点から見た画像を、座標計算処理で生成する方法である。
【００６０】
本実施例１の仮想視点画像生成装置を用いて、前記IBRにより仮想視点画像を生成するときには、まず、図３に示すように、仮想視点Ｐ、すなわち生成する画像の視点の位置、方向、画角等を設定する（ステップ８０１）。前記仮想視点Ｐの位置、方向、画角等は、前記仮想視点入力手段５から入力された情報に基づき、前記仮想視点設定手段１０３で設定される。
【００６１】
次に、例えば、コンピュータ上に想定した三次元空間上に、投影面を設定する（ステップ８０２）。前記投影面は、前記仮想視点画像生成装置１の画像生成手段１０４に設けられた投影面設定手段１０４ａで設定する。
【００６２】
本実施例１の仮想視点画像生成装置１を用いる場合、前記ステップ８０２（投影面設定手段１４０ａ）では、例えば、図４に示すように、複数の投影面Ｌj（j=1,2,…,M）からなる投影面群と、図５に示すように、１つの投影面Ｌ*の２種類の投影面を設定する。前記投影面群及び前記１つの投影面Ｌ*の設定方法については、後で説明する。
【００６３】
前記ステップ８０２（投影面設定手段１０４ａ）で、前記２種類の投影面を設定したら、次に、前記貼付領域設定手段１０４ｂで、前記投影面群の各投影面上の、前記被写体２の画像を貼り付ける領域Ｕijを設定する（ステップ８０３）。前記被写体の画像を貼り付ける領域Ｕijの設定方法については、後で説明する。
【００６４】
その後、前記レンダリング手段１０４ｃで、前記仮想視点画像Ｐから前記被写体を見たときの画像を生成する（ステップ８０４）。
【００６５】
このとき、前記ステップ８０４（レンダリング手段１０４ｃ）では、まず、前記投影面群に前記被写体の画像をテクスチャマッピングしたときに、前記仮想視点画像の画像面ＰＰ上の点と対応する前記被写体の画像の画像面上の点を求める。このとき、前記仮想視点Ｐから見た画像の画像面ＰＰ上の点（x,y）は、図４に示したように、前記投影面群の投影面Ｌj上の点（X,Y,Z）に相当し、前記投影面Ｌj上の点（X,Y,Z）には、視点Ｃiに配置されたカメラ３で撮影した被写体２の画像の画像面ＣＰi上の点（xi,yi）が貼り付けられているとする。
【００６６】
そして、次に、前記１つの投影面Ｌ*を用いて、前記仮想視点画像の画像面ＰＰ上の同じ点（x,y）と対応する、視点Ｃiに配置されたカメラ３で撮影した被写体２の画像の画像面ＣＰi上の点（xi *,yi *）を求める。
【００６７】
前記被写体２の画像の画像面ＣＰi上の各点（xi,yi），（xi *,yi *）を求めるときには、例えば、前記仮想視点画像ＰＰの点（x,y）を投影面上へ逆投影したときの点（X,Y,Z），（X*,Y*,Z*）を、前記被写体２の画像の画像面ＣＰiへ投影する。
【００６８】
一般に、前記投影面上の点のような三次元空間上の点（X,Y,Z）から、前記被写体の画像の画像面ＣＰi上の点のような二次元平面上の点（xi,yi）への射影は、下記数式７ような行列式で表すことができる。
【００６９】
【数７】
ここで、前記数式７の左辺のｓは補助的な係数である。また、前記数式７のΦは変換行列であり、下記数式８のような３行４列の行列で与えられる。
【００７１】
【数８】
このとき、例えば、原点を中心とした焦点距離ｆの透視投影変換を表す行列Φ0は、下記数式９で与えられる。
【００７３】
【数９】
一方、前記仮想視点画像の画像面上の点のような二次元平面上の点（x,y）を前記三次元空間上の点（X,Y,Z）に逆投影する場合には、前記数式７及び数式８を満たす点が無数に存在する。そのうち、前記三次元空間上に設定した投影面に逆投影する場合、前記投影面を表す式がaX+bY+cZ+d=0とすると、ベクトル表現では下記数式１０のように表せる。
【００７５】
【数１０】
ここで、前記数式７及び数式８、ならびに前記数式１０をまとめると、下記数式１１のようになる。
【００７７】
【数１１】
そのため、前記数式１１を（X,Y,Z）について解くと、仮想視点画像の画像面ＰＰ上の点（x,y）を前記投影面Ｌj上の点（X,Y,Z）へ逆投影することができる。ここで、前記数式１１の右辺の４行４列の行列が逆行列を持つならば、前記数式１１は、ｓ’＝１／ｓとおくことで、下記数式１２のようになり、前記投影面Ｌj上の点（X,Y,Z）が求められる。
【００７９】
【数１２】
前記視点Ｃiに設置したカメラで撮影した画像の画像面ＣＰi上の点（xi,yi）及び点（xi *,yi *）を求めたら、前記投影面群を用いて求めた点（xi,yi）のカメラが配列されている方向の成分、及び前記１つの投影面を用いて求めた点（xi *,yi *）のカメラが配列されていない方向の成分からなる点を、前記仮想視点画像の画像面ＰＰ上の点（x,y）と対応する点とみなし、色情報を転写する。このとき、前記カメラが配列されている方向を三次元空間のＸ軸方向、前記カメラが配列していない方向をＹ軸方向とすると、図６に示すように、前記点（xi,yi）のｘ成分（xi）と、点（xi *,yi *）のｙ成分（yi *）からなる点（xi,yi *）の色情報を前記仮想視点画像の画像面ＰＰ上の点（x,y）に転写する。
【００８１】
また、前記カメラで撮影した画像及び前記仮想視点画像は、いわゆるディジタル画像であり、有限の面積を持つ画素の位置及び色情報は、メモリ上の二次元配列により表現されている。ここでは、前記画素の配列の位置を示す座標系（u,v）をディジタル画像座標系と呼ぶことにする。
【００８２】
このとき、例えば、前記仮想視点画像のサイズが、６４０画素×４８０画素であるとすると、前記仮想視点画像を構成する各画素の位置は、０から６３９までのいずれかの整数値をとる変数uと、０から４７９までのいずれかの整数値をとる変数vで表される。また、前記各画素の色情報は、その画素のアドレス（u,v）での赤（Ｒ），緑（Ｇ），青（Ｂ）の情報を８ビットなどで量子化したデータで表される。
【００８３】
またこのとき、前記ディジタル画像座標（u,v）と通常の画像座標（x,y）は１対１で対応付けされ、例えば、下記数式１３のような関係を持つ。
【００８４】
【数１３】
なお、前記数式１３では、ｘ軸とｕ軸を平行とし、ｕ軸とｖ軸の単位長は（x,y）座標系を基準にｋu，ｋvとし、ｕ軸とｖ軸のなす角度をθとしている。
【００８６】
前記二次元配列の各画素の情報の書き込みや読み出しをする場合、前記ディジタル画像座標系（u,v）は離散的な値をとるが、以下の説明では断りのない限り連続値をとるものとし、各画素の情報へアクセスする際に適当な離散化処理を行うものとする。
【００８７】
また、前記ディジタル画像座標と画像座標の座標変換では、前記数式１３の関係に加えて、例えば、レンズの歪みを考慮した変換を行うことも可能である。
【００８８】
このようにして、前記カメラで撮影した画像の画像面ＣＰi上の点（xi,yi *）に相当する画素（ui,vi）の色情報を取り出した後、取り出した色情報を、前記仮想視点画像の画像面ＰＰ上の点（x,y）に相当する画素（u,v）に転写すれば、仮想視点画像が得られる。
【００８９】
以下、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法について、前記投影面及び前記貼付領域の設定方法を含めて、詳細に説明する。
【００９０】
図７乃至図１２は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図７は複数の投影面の設定方法を説明するための図、図８（ａ），図８（ｂ），図９（ａ）及び図９（ｂ）は貼り付け領域の設定方法を説明するための図、図１０は仮想視点Ｐから見た画像を生成するステップの処理手順を示すフロー図、図１１（ａ）及び図１１（ｂ）は色情報を転写するステップを説明するための図、図１２は生成した仮想視点画像の一例を示す図である。
【００９１】
本実施例１の仮想視点画像生成装置１を用いて、前記仮想視点画像を生成するには、まず、前記被写体画像取得手段１０１で前記被写体２の画像を取得すると共に、前記奥行き情報取得手段１０２で前記被写体２の奥行き情報を取得する。
【００９２】
このとき、前記被写体２の画像は、前記１次元的に配列したＮ台のカメラ３で撮影し、取得する。このとき、前記カメラ３は、視点Ｃi（i=1,2,…,N）が、例えば、図４に示したように、直線上（Ｘ軸上）に並ぶように配列する。
【００９３】
また、前記被写体２の奥行き情報は、前記カメラ３の近傍に設置した奥行き情報計測装置４により計測して取得する。
【００９４】
前記被写体の画像及び前記奥行き情報を取得した状態で、前記仮想視点画像を生成するには、まず、図３に示したように、仮想視点Ｐの位置、方向、画角等を設定する（ステップ８０１）。前記ステップ８０１は、前記仮想視点設定手段１０３で行い、前記仮想視点Ｐを決定するために必要な情報は、前記仮想視点入力手段５から入力する。
【００９５】
このとき、前記仮想視点入力手段５として、例えば、マウスやキーボード等の入力装置を用いれば、利用者７は、前記画像表示手段（ディスプレイ）６を見ながら、前記仮想視点Ｐに関する情報を直接的に設定することができる。
【００９６】
また、前記仮想視点入力手段５として、例えば、利用者の周りに配置されたセンサー、もしくは前記利用者７に装着したセンサーを用いれば、前記利用者７の位置を検知して前記仮想視点Ｐを設定することもできる。
【００９７】
また、前記仮想視点入力手段５として、他の装置やコンピュータプログラムを用いれば、前記仮想視点Ｐを自動的に設定することもできる。
【００９８】
前記仮想視点Ｐの位置等を設定したら、次に、３次元空間上に、前記被写体の画像を貼り付ける投影面を設定する（ステップ８０２）。前記ステップ８０２は、前記投影面設定手段１０４ａで行う。このとき、前記ステップ８０２では、例えば、図４及び図５に示したように、複数の投影面Ｌj（j=1,2,…,M）からなる投影面群と、１つの投影面Ｌ*を設定する。
【００９９】
また、本実施例１では、説明を簡単にするため、前記投影面を設定する３次元空間は、例えば、図４及び図５に示したように、前記カメラ３（視点Ｃi）が配列されている方向をＸ軸方向、配列されていない方向をＹ軸方向とする。また、前記各投影面Ｌj，Ｌ*は、法線方向がＺ軸と平行であるとする。またこのとき、前記Ｚ軸は、図４及び図５に示したように、前記各投影面から前記カメラ３に向かう方向にとり、前記投影面Ｌjの設定距離はＺ＝−ｌj、前記投影面Ｌ*の設定距離はＺ＝−ｌ*で表すことにする。
【０１００】
またこのとき、前記投影面群の投影面Ｌjは、例えば、以下のような条件を満たすように設定する。
【０１０１】
本実施例１のように、前記被写体の画像から部分的に抽出した画像を、前記投影面に貼り付ける場合、例えば、カメラの視点Ｃiがある面（以下、カメラ設置面と称する）８から被写体２上の点までの実際の距離と、前記カメラ設置面８から前記投影面までの距離が異なると、生成した画像上で誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【０１０２】
このとき、前記カメラ設置面８から距離ｌの位置にある被写体２上の点が、前記投影面Ｌjに貼り付けられているとすると、前記距離ｌが、下記数式１、数式２、数式３で表される条件を満たしていれば、前記距離ｌの位置にある被写体上の点と投影面Ｌj上の点の誤差が最大値δよりも小さいことが保証される。
【０１０３】
【数１４】
【数１５】
【数１６】
前記数式１４において、ｆｌj及びｂｌjは前記投影面Ｌjに貼り付けられる点の最小値及び最大値であり、前記被写体の画像の中で、カメラ設置面８からの距離ｌがｆｌjからｂｌjまでの間である点（部分）は、前記画像投影面Ｌjに貼り付けられる。
【０１０７】
また、前記数式１５及び数式１６において、ＺPはカメラ設置面８から仮想視点Ｐまでの距離、ｆはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点Ｐの位置は、前記カメラ設置面８を基準として、前記投影面Ｌjが設けられた方向とは逆の方向にあるとする。また、前記被写体の画像と前記投影面Ｌjの間の写像は透視投影とする。
【０１０８】
このとき、前記投影面Ｌjのうち、前記カメラ設置面８に一番近い投影面Ｌ1では、貼り付けた画像（点）のうち、実際の被写体２上の点が、前記数式１によって与えられる奥行き範囲内に存在する場合は、前記投影面Ｌ1上での位置の誤差を、最大値δよりも小さくすることができる。そのため、前記各投影面Ｌjに対して、前記数式１４の条件を設定し、前記被写体２が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【０１０９】
前記ｆｌj及びｂｌj、ならびにカメラ設置面８から投影面Ｌjまでの距離ｌjを設定するときは、まず、例えば、図７に示したように、奥行き情報の最小値ｌminをｆｌ1とする。このとき、前記数式１５から投影面Ｌ1の距離ｌ1が決定する。また、前記投影面Ｌ1の距離ｌ1が決まると、前記数式１６からｂｌ1が決まる。
【０１１０】
次の投影面Ｌ2に関しては、図７に示したように、ｆｌ2＝ｂｌ1とし、前記数式１５及び前記数式１６を用いて前記投影面Ｌ2の距離ｌ2、及びｂｌ2を決める。
【０１１１】
以下、逐次的にｆｌj+1＝ｂｌjとして計算を繰り返し、ｂｌjが被写体２の奥行き情報の最大値ｌmaxよりも大きくなるか、無限大になるまで投影面Ｌjを設定していく。
【０１１２】
前記被写体の奥行き情報の最小値ｌmin、及び最大値ｌmaxは、前記奥行き情報取得手段１０２で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体２が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【０１１３】
また、前記投影面Ｌjの設定方法では、仮想視点Ｐが更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点Ｐが移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい（小さい）場合に基づいて設定してもよい。
【０１１４】
また、前記カメラが配列されていない方向（Ｙ軸方向）に対する投影面Ｌ*は、例えば、前記Ｘ軸方向に対する投影面Ｌjの１つと一致するように設定する。また、その他にも、例えば、前記Ｘ軸方向に対する投影面Ｌjの設定距離を平均した距離に設定してもよい。
【０１１５】
なお、前記数式１４乃至数式１６を用いる方法は、前記投影面群の各投影面Ｌjの設定方法の一例であり、他の方法で設定することもできる。
【０１１６】
前記各投影面Ｌj，Ｌ*の設定が済んだら、次に、前記被写体の画像を、前記各投影面Ｌj，Ｌ*にテクスチャマッピングする際に、各投影面Ｌj，Ｌ*上で、視点Ｃiのカメラで撮影した画像が分担する領域、言い換えると、前記各投影面Ｌj，Ｌ*上の前記被写体の画像を貼り付ける領域（以下、貼付領域と称する）Ｕijを設定する（ステップ８０３）。
【０１１７】
前記貼付領域Ｕijを設定するときには、まず、例えば、図８（ａ）に示すように、前記視点Ｃiを母点としたボロノイ領域Ｖiを求め、前記仮想視点Ｐを中心にして前記ボロノイ領域Ｖiを投影面Ｌjに投影した領域Ｗijを求める。また、その一方で、図８（ｂ）に示すように、前記被写体２を前記視点Ｃiから測ったときの投影面Ｌjにおける分担領域Ｓijを求める。
【０１１８】
前記貼付領域Ｕijは、図９（ａ）及び図９（ｂ）に示すように、前記領域Ｗijと前記分担領域Ｓijの重なる領域とすれば、下記数式１７で与えられる。
【０１１９】
【数１７】
Ｕij＝Ｗij∩Ｓij
なお、図９（ａ）及び図９（ｂ）、ならびに前記数式１７に示したような設定方法は、前記貼付領域Ｕijの設定方法の一例であり、他の方法で設定することもできる。
【０１２０】
前記投影面Ｌj，Ｌ*の設定、及び前記貼付領域Ｕijの設定が済んだら、次に、前記仮想視点画像を生成する（ステップ８０４）。
【０１２１】
前記仮想視点画像は、例えば、横（ｕ軸）方向がｗ画素、縦（ｖ軸）方向がｈ画素のディジタル画像である。そのため、前記ディジタル画像の各画素（u,v）における色情報を取得すれば、前記仮想視点画像を生成することができる。このとき、前記各画素（u,v）の色情報は、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色を８ビットの値で表現する。
【０１２２】
前記仮想視点画像を生成するには、図１０に示すように、まず、仮想視点画像の画素（u,v）を示す変数u,v、投影面Ｌjの変数j、前記カメラの視点Ｃiの変数iのそれぞれを初期化する（ステップ８０４ａ，ステップ８０４ｂ，ステップ８０４ｃ）。このとき、前記変数u,vは、例えば、u=0,v=0とする。また、前記変数i及び変数jはそれぞれ、例えば、i=1,j=1とする。
【０１２３】
次に、前記仮想視点画像の各画素（u,v）に対応する、前記仮想視点画像の画像面ＰＰ上の点（x,y）を求める（ステップ８０４ｄ）。前記画像面ＰＰ上の点（x,y）は、例えば、前記数式１３に基づいて求める。
【０１２４】
次に、前記仮想視点画像の画像面ＰＰ上の点（x,y）を、前記投影面群の投影面Ｌjに逆投影して、前記画像面ＰＰ上の点（x,y）に対応する前記投影面Ｌj上の点（X,Y,Z）を求める（ステップ８０４ｅ）。前記投影面Ｌj上の点（X,Y,Z）は、例えば、前記数式１１に基づいて求める。
【０１２５】
次に、前記投影面Ｌj上の点（X,Y,Z）が、前記視点Ｃiのカメラで撮影した画像の前記投影面Ｌjにおける貼付領域Ｕijに含まれるか判定する（ステップ８０４ｆ）。ここで、前記貼付領域Ｕijに含まれる場合は、次のステップ８０４ｇに進む。また、前記貼付領域Ｕijに含まれない場合は、以降のステップを飛ばして、ステップ８０４ｌに進む。
【０１２６】
前記投影面Ｌj上の点（X,Y,Z）が前記貼付領域Ｕijに含まれる場合、次のステップ８０４ｇで、前記仮想視点画像の画像面ＰＰ上の点（x,y）を、前記１つの投影面Ｌ*上に逆投影して、前記点（x,y）に対応する点（X*,Y*,Z*）を求める。前記投影面Ｌ*への逆投影は、前記投影面Ｌjへの逆投影と同じ要領で、前記数式１１に基づいて行えばよい。
【０１２７】
次に、前記投影面Ｌj上の点（X,Y,Z）を視点Ｃiのカメラで撮影した画像の画像面ＣＰi上に投影し、前記点（X,Y,Z）に対応する点（xi,yi）を得る（ステップ８０４ｈ）。前記ステップ８０４ｈの投影処理は、例えば、前記数式７及び数式８で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【０１２８】
次に、前記投影面Ｌ*上の点（X*,Y*,Z*）を前記被写体画像の画像面ＣＰi上に投影し、前記点（X*,Y*,Z*）に対応する点（xi *,yi *）を得る（ステップ８０４ｉ）。前記ステップ８０４ｉの投影処理も、例えば、下記数式７及び数式８で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【０１２９】
次に、図６に示したように、前記ステップ８０４ｈで求めた点（xi,yi）のｘ成分と、前記ステップ８０４ｉで求めた点（xi *,yi *）のｙ成分からなる点（xi,yi *）に対応する、前記視点Ｃiのカメラで撮影したディジタル画像の画像面ＣＰi上の画素（ui,vi）を求める（ステップ８０４ｊ）。前記ステップ８０４ｊは、例えば、前記数式１３に基づいて行えばよいので、詳細な説明は省略する。
【０１３０】
次に、図１１（ａ）に示すように、前記視点Ｃiに設置したカメラで撮影したディジタル画像の画像面ＣＰiの画素（ui,vi）の色情報を、図１１（ｂ）に示すように、前記仮想視点画像の画像面ＰＰ上の画素（u,v）における色情報に転写する（ステップ８０４ｋ）。
【０１３１】
その後、前記視点Ｃiの変数iを更新し（ステップ８０４ｌ）、前記色情報の転写が済んでいない視点Ｃiのカメラで撮影した画像があるか調べる（ステップ８０４ｍ）。色情報の転写が済んでいない視点Ｃiの画像があれば前記ステップ８０４ｅに戻り、前記ステップ８０４ｅからステップ８０４ｋまでの処理を行う。
【０１３２】
全ての視点Ｃiの画像において前記色情報の転写が済んでいれば、今度は投影面Ｌjの変数jを更新し（ステップ８０４ｎ）、前記処理を行っていない投影面があるか調べる（ステップ８０４ｏ）。処理を行っていない投影面があれば、前記ステップ８０４ｃに戻り、前記ステップ８０４ｃからステップ８０４ｋの処理を行う。
【０１３３】
その後、今度は、前記仮想視点画像の画素（u,v）を更新し（ステップ８０４ｐ）、全ての画素に対して処理を行ったか調べる（ステップ８０４ｑ）。未処理の画素（u,v）がある場合は、前記ステップ８０４ｂに戻り、前記ステップ８０４ｂからステップ８０４ｋの処理を行う。
【０１３４】
以上の処理が全て済むと、例えば、図１２に示したような前記仮想視点画像が得られ、前記画像表示手段６に表示される。このとき、前記仮想視点画像の各点（画素）のＹ軸方向成分、すなわち前記カメラ３が配列されていない方向の成分は、１つの投影面にテクスチャマッピングして求めている。そのため、前記Ｙ軸方向の成分は画像面全域にわたり連続的に変化し、図１２に示したように、前記仮想視点画像をＹ軸方向に走査してみたときに、画像の隙間が非常に小さくなる。
【０１３５】
以上説明したように、本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法によれば、前記仮想視点画像上の点の、前記カメラが配列された方向の成分は複数の投影面Ｌjからなる投影面群を用いて求め、前記カメラが配列されていない方向の成分は１つの投影面Ｌ*を用いて求めることにより、生成した仮想視点画像の、前記カメラが配列されていない方向に隙間が生じるのを防ぐことができる。そのため、前記カメラが１次元的に配列されている場合でも、仮想視点画像の劣化を低減することができる。
【０１３６】
また、本実施例１の仮想視点画像生成装置１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等を備えるコンピュータであってもよい。その場合、図３及び図１０に示したような処理の各ステップを、前記コンピュータに実行させるプログラムを、例えば、前記HDDや前記ROMに記録しておけばよい。また、前記プログラムは、前記HDDや前記ROMに記録する代わりに、CD-ROM等の記録媒体に記録したり、インターネット上のサーバー等に記録したりして、前記記録媒体や前記インターネットなどのネットワークを利用して提供することもできる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【０１３７】
図１３及び図１４は、前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【０１３８】
前記実施例１では、図４に示したように、前記投影面Ｌj,Ｌ*を設定する三次元空間のＸ軸方向及びＹ軸方向と、前記仮想視点画像のｘ軸方向及びｙ軸方向が一致している例を挙げて説明したが、実際には、図１３及び図１４に示すように、三次元空間のＸ軸方向及びＹ軸方向と、前記仮想視点画像のｘ軸方向及びｙ軸方向が一致していなくてもよい。そのような場合は、例えば、図１４に示したように、三次元空間のＸ軸方向及びＹ軸方向と一致するｘ’軸及びｙ’軸をとるような画像面を想定し、前記実施例１で説明した手順に沿って、前記仮想視点画像の画像面上の点（x',y'）と対応する被写体２の画像の画像面上の点（xi',(yi *)'）を求めた後、前記点（x',y'）を点（x,y）に座標変換すればよい。
【０１３９】
図１５は、前記実施例１の仮想視点画像生成装置の変形例を説明するための図である。
【０１４０】
前記実施例１の仮想視点画像生成装置では、前記奥行き情報取得手段１０２は、前記奥行き計測手段４で計測した結果を取得しているが、これに限らず、例えば、図１５に示すように、前記被写体画像取得手段１０１で取得した画像を用いて、奥行き情報を算出してもよい。このとき、前記奥行き情報取得手段１０２では、例えば、ステレオマッチングにより奥行き情報を算出する（例えば、奥富,金出, “複数の基線長を利用したステレオマッチング”, 電子情報通信学会誌 D-II, no.8, pp.1317-1327, 1992を参照。）。
【０１４１】
（実施例２）
図１６及び図２１は、本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１６は仮想視点Ｐから見た画像を生成するステップのフロー図、図１７及び図１８は投影ポリゴンの設定方法を説明するための図、図１９はテクスチャ配列内での画像の例を示す図、図２０及び図２１は投影ポリゴンの頂点の補正方法を説明するための図である。
【０１４２】
本実施例２の仮想視点画像生成装置は、前記実施例１で説明した仮想視点画像生成装置１と同様の構成であるので、詳細な説明は省略する。
【０１４３】
前記実施例１の仮想視点画像生成装置１を用いた仮想視点画像生成方法では、図４及び図５に示したように、複数の投影面Ｌj（j=1,2,…,M）からなる投影面群と、１つの投影面Ｌ*の２種類の投影面を設定し、仮想視点画像を生成した。これは、カメラが配列されている方向では投影面が複数あり、前記カメラが配列されていない方向では投影面が１つであるという想定をして、透視投影変換をしていることになるが、実際の三次元空間上に、このような幾何図形は存在しない。そのため、例えば、OpenGLやDirectXのような、汎用的な三次元ライブラリを用いると、座標の扱いが困難である。
【０１４４】
前記三次元ライブラリにより、ある視点からの画像を生成するには、いくつもの段階的な処理が施される。そのうち特に、処理の高速化が求められる箇所では、並列処理を行うなど、ライブラリの種類によって処理方法は多様であるが、一般的には、大きく分けて次の３つの処理を経る。
【０１４５】
（１）被写体をポリゴン（多角形平面）等の基本図形の組み合わせとして三次元座標系で表現し、視点の位置、光源の位置、テクスチャ等を設定する三次元シーンの設定処理。
【０１４６】
（２）被写体を表現する三次元座標系の頂点を視点座標系に変換し、投影変換して視点の位置にある画像面の二次元座標系に変換する座標変換処理。またこのとき、光源やテクスチャマッピングによる頂点の色の計算、奥行き情報の計算なども行う。
【０１４７】
（３）二次元座標に変換された頂点を補完して塗りつぶし、画像面の各画素での色を計算する走査変換処理。またこのとき、奥行き情報を基にした隠面消去処理もここで行う。
【０１４８】
前記三次元ライブラリ及びグラフィクス・ハードウェアを組み合わせて使用する場合、前記３つの処理のうち、アプリケーション・プログラム（ソフトウェア）で受け持つ処理は、前記（１）の三次元シーンの設定処理のみであり、前記（２）の座標変換処理、及び前記（３）の走査変換処理は、前記三次元ライブラリが対応したグラフィックス・ハードウェアにより処理される。
【０１４９】
しかしながら、前記座標変換処理を前記三次元ライブラリ（グラフィックス・ハードウェア）に任せてしまうと、前記実施例１のような特殊な座標変換処理を行なうことができない。そのため、前記座標変換処理をアプリケーション・プログラムで行わなければならなくなり、処理速度（画像生成速度）が低下する。
【０１５０】
そこで、本実施例２では、前記汎用的な三次元ライブラリ（グラフィックス・ハードウェア）を用いて仮想視点画像を生成する方法について説明する。
【０１５１】
本実施例２の仮想視点画像生成方法でも、まず、図３に示したように、仮想視点Ｐの設定（ステップ８０１）、及び投影面Ｌj,Ｌ*の設定（ステップ８０２）、ならびに前記各投影面上の貼付領域Ｕijの設定（ステップ８０３）の各ステップを行う。なお、前記ステップ８０１，８０２，８０３は前記実施例１で説明したような処理を行えばよいので、詳細な説明は省略する。
【０１５２】
次に、図３に示した前記ステップ８０４の処理を行うが、本実施例２では、まず、図１６に示すように、前記ステップ８０２で決定した投影面Ｌj上に、前記視点Ｃiのカメラで撮影した画像の画像面の画角を逆投影したポリゴン（多角形平面）を設定する（ステップ８０４ｒ）。以下、前記ポリゴンを投影ポリゴンと称する。
【０１５３】
このとき、例えば、図１７に示すように、前記視点Ｃiのカメラで撮影した画像の画像面ＣＰiにおける画角の四隅を{Ｈi 1,Ｈi 2,Ｈi 3,Ｈi 4}とおき、それらを投影面Ｌjに逆投影したものをそれぞれ{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}とおいた場合、この{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}を頂点とする多角形が前記投影ポリゴンとなる。
【０１５４】
ここで、前記逆投影の座標計算は、例えば、前記数式１２に示す関係式に基づいて行い、全てのカメラＣi（i=1,2,…,N）、及び全ての投影面Ｌj（j=1,2,…,M）に対して、図１８に示したように、合計i×j組の前記投影ポリゴン、及びi×j×４個の頂点を設定する。なお、ここでは、画像面の画角を規定する多角形及び前記投影ポリゴンの頂点の数を４つとしたが、前記頂点の数は３つでもよいし、５つ以上でもよい。
【０１５５】
次に、全ての投影ポリゴンについて、テクスチャマッピング用の二次元配列（テクスチャ配列）を確保する（ステップ８０４ｓ）。前記テクスチャ配列は、１つの視点Ｃiに対して、投影面の数、すなわちj組確保し、合計でi×j組を確保する。
【０１５６】
前記テクスチャ配列の各成分（画素）には、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色の輝度を表す色情報の他、一般にアルファ値と呼ばれる透明度を表す情報（Ａ）も格納する。
【０１５７】
また、前記テクスチャ配列のサイズは、前記視点Ｃiのカメラで撮影した画像のサイズと同じである場合に、メモリの使用量をもっとも節約できるが、前記三次元ライブラリの種類によっては、前記テクスチャ配列の各辺のサイズは２のべき乗でなければならないなどの条件がある。そのため、前記テクスチャ配列は、前記カメラの画像サイズよりも大きなサイズの配列を確保する。このとき、前記カメラ画像の配列のサイズをw×hとすると、前記テクスチャ配列のサイズはwt×ht（wt≧w,ht≧h）となるようにする。ここで、例えば、前記カメラの画像サイズ（w,h）が（640,480）であり、テクスチャ配列の各辺のサイズ（wt,ht）が２のべき乗でなければならないとすると、確保するテクスチャ配列のサイズ（wt,ht）は（1024,512）とする。
【０１５８】
また、前記カメラの画像のサイズが大きく、前記テクスチャ配列に許容される最大のサイズを超えてしまうような場合は、前記テクスチャ配列を小さく分けて複数のテクスチャ配列を確保する。
【０１５９】
このようにして、前記テクスチャ配列を確保した後、前記視点Ｃiのカメラで撮影した画像を、対応するj組のテクスチャ配列に転送する。
【０１６０】
前記テクスチャ配列を確保したら、次に、前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の三次元座標と、テクスチャ座標の対応付けを行う（ステップ８０４ｔ）。ここで、前記テクスチャ座標とは、例えば、図１９に示すように、テクスチャマッピングに用いる画像ＴＰの辺の長さを１に正規化した座標である。このとき、前記テクスチャ画像ＴＰ上の各点の位置は、０から１までの値をとる座標軸（s,t）で与えられる。前記ステップ８０４ｔにおいて、前記各頂点の三次元空間座標（X,Y,Z）と二次元テクスチャ座標（s,t）の対応付けができれば、テクスチャマッピング処理は、前記三次元ライブラリが担当して行うことができ、グラフィックス・ハードウェアで仮想視点画像を生成することができる。
【０１６１】
このとき、例えば、図１９に示したように、前記カメラ画像の配列を、前記テクスチャ配列の左下隅に合わせて転送した場合、前記カメラ画像の四隅の点{Ｈi 1,Ｈi 2,Ｈi 3,Ｈi 4}はそれぞれ、前記テクスチャ座標では（0,0），（0,h/ht），（w/wt,h/ht），（w/wt,0）となる。また、前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の三次元座標と、前記カメラ画像の四隅の点{Ｈi 1,Ｈi 2,Ｈi 3,Ｈi 4}の対応関係は、前記ステップ８０４ｒで求めているので、それを利用すれば、前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の各座標と前記テクスチャ座標の対応関係が得られる。
【０１６２】
前記投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の各座標と前記テクスチャ座標の対応関係が得られたら、次に、前記テクスチャ座標を格納する配列の透明度（Ａ）の設定をする（ステップ８０４ｕ）。このとき、前記配列の透明度（Ａ）は、前記投影面上の貼付領域Ｕijに相当する領域が不透明になり、その他の領域が透明になるように設定する。このように設定することで、三次元ライブラリで描画するときに、前記貼付領域Ｕijに含まれるテクスチャのみを描画することができる。
【０１６３】
次に、前記ステップ８０４ｒで設定した投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の位置を、前記カメラが配列されていない方向に移動させ、前記投影面上でのテクスチャ画像を拡大あるいは縮小する（ステップ８０４ｖ）。
【０１６４】
本実施例２の仮想視点画像の生成方法で、前記実施例１と同様の処理をするならば、前記カメラが配列されていない方向（Ｙ軸方向）に対しては、前記投影面群の代わりに、１つの投影面Ｌ*を想定して座標計算処理を行う。このとき、例えば、図２０に示すように、投影面Ｌj上の点Ｇにテクスチャマッピングされている配列（画素）は、投影面Ｌ*上では点Ｇ*にテクスチャマッピングされる。そのため、前記配列（画素）は、前記仮想視点Ｐから見た画像の画像面ＰＰ上では点Ｉに描画される。
【０１６５】
そこで、前記投影面Ｌjを用いつつ、前記仮想視点Ｐから見た画像の画像面ＰＰの点Ｉに描画されるように、点ＧのＹ座標を点Ｇ’のＹ座標に更新する。
【０１６６】
このような処理を、前記投影ポリゴンの全ての頂点に付いて行えば、前記投影ポリゴンで囲まれるテクスチャは、前記投影面Ｌ*を用いたかのように補正処理される。
また、前記点Ｇ’は、例えば、以下のような方法で簡単に求めることができる。
【０１６７】
まず、点Ｇに対応する視点Ｃiで撮影した画像の画像面ＣＰi上の点Ｈを投影面Ｌ*上の点Ｇ*に逆投影する。次に、点Ｇ*を仮想視点Ｐの画像面ＰＰ上の点Ｉに投影する。最後に、点Ｉを投影面Ｌjに逆投影すれば、点Ｇ’が得られる。ここで、前記点Ｇ*の投影は、例えば、前記数式７及び数式８に示した関係式に基づいて計算する。また、前記点Ｇ，Ｇ’の逆投影は、例えば、前記数式１２に示した関係式に基づいて計算する。
【０１６８】
なお、図２０では、前記投影ポリゴンの頂点が拡大するような例を示したが、前記仮想視点Ｐ、前記カメラの視点Ｃi、前記投影面Ｌj，Ｌ*の位置関係によっては、前記投影ポリゴンの頂点を縮小する場合も考えられる。
【０１６９】
前記投影ポリゴンを縮小する場合も、前記拡大する場合と同様の処理を行えばよく、例えば、図２１に示すように、前記カメラの画像面ＣＰi上の点Ｈを投影面Ｌ*上の点Ｇ*に逆投影し、点Ｇ*を仮想視点Ｐの画像面ＰＰ上の点Ｉに投影した後、点Ｉを投影面Ｌjに投影すれば、点Ｇ’が得られる。ここで、前記点Ｇ*の投影は、例えば、前記数式７及び数式８に示した関係式に基づいて計算する。また、前記点Ｇ，Ｇ’の逆投影は、例えば、前記数式１２に示した関係式に基づいて計算する。
【０１７０】
前記各ステップの処理を終了したら、前記各ステップで設定した仮想視点Ｐ、投影ポリゴンの各頂点{Ｇij 1,Ｇij 2,Ｇij 3,Ｇij 4}の位置、テクスチャからなる三次元シーンを、前記三次元ライブラリに設定すると、前記三次元ライブラリを用いて、前記グラフィックス・ハードウェア上で、前記座標変換処理及び前記走査変換処理が行われ、前記仮想視点Ｐにおける画像が生成される（ステップ８０４ｗ）。
【０１７１】
以上説明したように、本実施例２の仮想視点画像生成方法によれば、前記投影面群の投影面に逆投影した画像を拡大、あるいは縮小することで、前記投影面郡の投影面上の画像を、あたかも前記実施例１で説明した前記１つの投影面Ｌ*にテクスチャマッピングした画像のように見えるようにすることができる。そのため、前記投影面を３次元空間上で表現できる構造にすることができ、汎用的なの三次元ライブラリを用いて、劣化の少ない仮想視点画像を高速に生成することができる。
【０１７２】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１７３】
例えば、前記実施例では、例えば、図１及び図２に示したように、直線状に配列したカメラ３で前記被写体２の画像を撮影したが、前記カメラ３は、直線状に限らず、例えば、円弧状に配列されていてもよい。
【０１７４】
また、前記カメラ３は、前記直線状や前記円弧状に限らず、前記一次元的な配列、言い換えると、１つの平面上にある直線または曲線に沿って配列された状態であればよい。すなわち、前記実施例では、前記各カメラの視点Ｃiが直線（Ｘ軸）上になるように配列しているが、必ずしもＸ軸上にある必要はない。
【０１７５】
また、前記実施例では、前記カメラ３は、一定の間隔で配列したが、これに限らず、不規則な間隔で配列されていてもよい。
【０１７６】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
【０１７７】
すなわち、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことができる。
【図面の簡単な説明】
【図１】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、装置の構成を示すブロック図である。
【図２】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【図３】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、処理全体のフロー図である。
【図４】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図５】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図６】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、色情報の転写方法を説明するための図である。
【図７】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、複数の投影面の設定方法を説明するための図である。
【図８】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図８（ａ）及び図８（ｂ）は貼り付け領域の設定方法を説明するための図である。
【図９】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図９（ａ）及び図９（ｂ）は貼り付け領域の設定方法を説明するための図である。
【図１０】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、仮想視点Ｐから見た画像を生成するステップの処理手順を示すフロー図である。
【図１１】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図１１（ａ）及び図１１（ｂ）は色情報を転写するステップを説明するための図である。
【図１２】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、生成した仮想視点画像の一例を示す図である。
【図１３】前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図１４】前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図１５】前記実施例１の仮想視点画像生成装置の変形例を説明するための図である。
【図１６】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、仮想視点Ｐから見た画像を生成するステップのフロー図である。
【図１７】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図１８】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図１９】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、テクスチャ配列内での画像の例を示す図である。
【図２０】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図２１】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図２２】従来の投影面が１つの場合の画像生成方法を説明するための模式図である。
【図２３】従来の投影面が複数の場合の画像生成方法を説明するための模式図である。
【図２４】従来の画像生成方法の課題を説明するための模式図である。
【符号の説明】
１…仮想視点画像生成装置、１０１…被写体画像取得手段、１０２…奥行き情報取得手段、１０３…仮想視点設定手段、１０４…画像生成手段、１０４ａ…投影面設定手段、１０４ｂ貼付領域設定手段、２…被写体、３…カメラ、４…奥行き情報計測手段、５…仮想視点入力手段、６…画像表示手段、７…利用者、８…カメラ設置面、Ｃi…カメラの視点、ＣＰi…カメラで撮影した画像の画像面、Ｌj，Ｌ*…投影面、Ｐ…仮想視点、ＰＰ…仮想視点画像の画像面。
Claims (6)
- 同一平面上にある直線または曲線に沿って配置された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置（以下、仮想視点と称する）を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成するステップとを有する仮想視点画像生成方法であって、
前記仮想視点画像を生成するステップは、
複数の投影面からなる投影面群、及び１つの投影面を設定する第１ステップと、
前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第２ステップと、
前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第３ステップと、
前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第４ステップと、
前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第５ステップとを有することを特徴とする仮想視点画像生成方法。 - 前記第４ステップは、
前記被写体の画像を前記投影面群の投影面に逆投影するステップと、
テクスチャマッピング用の２次元配列を確保するステップと、
前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行うステップと、
前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に合わせて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する請求項１に記載の仮想視点画像生成方法。 - 同一平面上にある直線または曲線に沿って配置された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点（以下、仮想視点と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成する画像生成手段とを備える仮想視点画像生成装置であって、
前記画像生成手段は、
複数の投影面からなる投影面群、及び１つの投影面を設定する投影面設定手段と、
前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、
前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを備え、
前記レンダリング手段は、
前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第１対応点算出手段と、
前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第２対応点算出手段と、
前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを備えることを特徴とする仮想視点画像生成装置。 - 前記第２対応点算出手段は、
前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、
テクスチャマッピング用の２次元配列を確保するテクスチャ配列確保手段と、
前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行う対応付け手段と、
前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に合わせて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備えることを特徴とする請求項３に記載の仮想視点画像生成装置。 - 前記請求項１または請求項２に記載の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラム。
- 前記請求項５に記載の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003075478A JP3971714B2 (ja) | 2003-03-19 | 2003-03-19 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003075478A JP3971714B2 (ja) | 2003-03-19 | 2003-03-19 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004287517A JP2004287517A (ja) | 2004-10-14 |
| JP3971714B2 true JP3971714B2 (ja) | 2007-09-05 |
Family
ID=33290784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003075478A Expired - Fee Related JP3971714B2 (ja) | 2003-03-19 | 2003-03-19 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3971714B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006310936A (ja) * | 2005-04-26 | 2006-11-09 | Sharp Corp | 任意視点映像生成システム |
| JP2006352539A (ja) * | 2005-06-16 | 2006-12-28 | Sharp Corp | 広視野映像システム |
| EP2795907A4 (en) * | 2011-12-22 | 2015-07-15 | Ericsson Telefon Ab L M | METHOD AND PROCESSOR FOR 3D SCENE REPRESENTATION |
| JP6042732B2 (ja) * | 2013-01-17 | 2016-12-14 | 日本電信電話株式会社 | 画像生成方法、画像生成装置及び画像生成プログラム |
| US11972522B2 (en) | 2016-03-25 | 2024-04-30 | Outward, Inc. | Arbitrary view generation |
| US9996914B2 (en) * | 2016-03-25 | 2018-06-12 | Outward, Inc. | Arbitrary view generation |
| US11232627B2 (en) | 2016-03-25 | 2022-01-25 | Outward, Inc. | Arbitrary view generation |
| US11989821B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
| US11989820B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
| US10163249B2 (en) | 2016-03-25 | 2018-12-25 | Outward, Inc. | Arbitrary view generation |
| KR101986433B1 (ko) * | 2017-11-28 | 2019-06-05 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 시점 변환을 이용하는 영상 스티칭 방법 및 시스템 |
| KR101997991B1 (ko) * | 2017-11-29 | 2019-07-08 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 시점 변환을 이용하는 영상 결합 방법 및 시스템 |
| CN113259642B (zh) * | 2021-05-12 | 2023-05-30 | 华强方特（深圳）科技有限公司 | 一种影片视角调节方法及*** |
-
2003
- 2003-03-19 JP JP2003075478A patent/JP3971714B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004287517A (ja) | 2004-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3840150B2 (ja) | ３次元客体およびアニメートされた３次元客体のイメージベースの表現とレンダリング方法 | |
| Oliveira et al. | Relief texture mapping | |
| El-Hakim et al. | A multi-sensor approach to creating accurate virtual environments | |
| US6778173B2 (en) | Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering | |
| US6081273A (en) | Method and system for building three-dimensional object models | |
| US8432435B2 (en) | Ray image modeling for fast catadioptric light field rendering | |
| JP3052681B2 (ja) | ３次元動画像生成装置 | |
| JPH0757117A (ja) | テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム | |
| US20100085423A1 (en) | Stereoscopic imaging | |
| US20130249901A1 (en) | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces | |
| JP3971714B2 (ja) | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 | |
| US20130083021A1 (en) | Stereo-Aware Image Editing | |
| US7194125B2 (en) | System and method for interactively rendering objects with surface light fields and view-dependent opacity | |
| US9367943B2 (en) | Seamless fracture in a production pipeline | |
| Oliveira | Image-based modeling and rendering techniques: A survey | |
| US20210398358A1 (en) | Optimizations to Reduce Multi-Channel Ray Casting for Color Sampling | |
| CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| CN113345063A (zh) | 基于深度学习的pbr三维重建方法、***与计算机存储介质 | |
| AU2004306226B2 (en) | Stereoscopic imaging | |
| WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
| JP4354708B2 (ja) | 多視点カメラシステム | |
| CN116363290A (zh) | 一种用于大规模场景三维重建的纹理贴图生成方法 | |
| JP2004234350A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JPH11504452A (ja) | ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法 | |
| Hornung et al. | Interactive pixel‐accurate free viewpoint rendering from images with silhouette aware sampling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070608 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |