JP3971714B2 - Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and recording medium - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体に関し、特に、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、コンピュータグラフィックス（CG）やバーチャルリアリティ（VR）技術の発達により、カメラで撮影した画像に写っている物体（被写体）を、前記カメラの設置位置とは異なる視点から見たときの画像を生成できるようになってきた。
【０００３】
このように、前記カメラの設置位置とは異なる視点から前記被写体を見たときの画像は、仮想視点画像または任意視点画像と呼ばれ、種々の画像生成方法が提案されている。なかでも、IBR（Image-Based Rendering）と呼ばれる画像生成方法は、被写体の実写画像を元にして、極めて写実的な仮想視点画像を生成することができる。
【０００４】
前記IBRにより画像を生成する方法では、前記カメラにより、多数の視点位置から撮影した画像をもとにして前記仮想生成画像を生成するが、明示的には被写体のモデルを求めずに、２次元画像処理により生成する（例えば、非特許文献１、非特許文献２、非特許文献３を参照。）。
【０００５】
また、前記IBRにより画像を生成する方法には、例えば、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面（以下、投影面と称する）という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影する方法がある（例えば、非特許文献４を参照。）。
【０００６】
前記投影面を想定する方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【０００７】
前記投影面を想定する方法では、例えば、Ｎ台のカメラを、図２２（ａ）に示すように、前記各カメラの視点Ｃ_i（i=1,2,…,N）が、ｚ＝０のｘｙ平面上にあり、かつ、Ｚ軸の負の方向（Ｚ＜０）の領域にある被写体２を撮影できるように配列する。このとき、前記投影面Ｌ₀は、前記被写体があるおおよその位置（Ｚ＝−ｌ₀）にとる。また、前記被写体２を見る視点（仮想視点）ＰのＺ座標をＺ_P、前記仮想視点Ｐと生成する画像の画像面ＰＰとの距離（透視投影の焦点距離）をｆ、前記被写体２上の点ＱのＺ座標をｌとおく。
【０００８】
またこのとき、前記視点Ｃ_iに配置したカメラで撮影した前記被写体２上の点Ｑは、前記投影面Ｌ₀上の点Ｑ’に投影される。そのため、前記仮想視点画像を生成したときに、前記被写体２上の点Ｑは、図２２（ａ）及び図２２（ｂ）に示すように、前記仮想視点Ｐと前記投影面Ｌ₀上の点Ｑ’を結ぶ直線と仮想視点画像の画像面ＰＰが交わる点ＰＰ１に表示される。
【０００９】
しかしながら、実際に、前記仮想視点Ｐから前記被写体２上の点Ｑを見たときには、前記点Ｑは、図２２（ａ）及び図２２（ｂ）に示すように、前記画像面ＰＰ上の点ＰＰ２に表示され、前記点ＰＰ１との間にΔｐのずれが生じる。
【００１０】
このとき、Ｚ＝０のｘｙ平面上で、前記カメラの視点Ｃ_iと、前記仮想視点Ｐと前記投影面上の点Ｑ’を結ぶ光線の距離ベクトルΔｒ、及び前記画像面ＰＰ上での点のずれΔｐの間には、下記数式１のような関係が成り立つ。
【００１１】
【数１】
Δｐ＝ｋ(ｌ₀)Δｒ
ここで、前記数式１におけるｋ(ｌ₀)は、例えば、下記数式２のように定義する。
【００１２】
【数２】

【００１３】
すなわち、前記投影面が１つ（Ｌ₀）の場合、定数ｌ₀に対して、前記数式１及び数式２で与えられる誤差が、前記仮想視点画像の画像面ＰＰ上に生じる。
またこのとき、前記被写体２の奥行き方向の範囲（距離）が大きいと、前記投影面Ｌ₀から離れている前記被写体２上の点の誤差が大きくなる。そのため、広範囲にわたる仮想視点画像を生成することが難しいという問題があった。
【００１４】
そこで、近年、広範囲にわたる仮想視点画像を生成することが可能な方法として、多層構造をもつ複数の投影面に、撮影した画像をテクスチャマッピングする方法が提案されている（例えば、特願２００２−３１８３４３号を参照。）。
【００１５】
前記複数の投影面を設定する方法では、前記カメラの視点Ｃ_i（Ｚ＝０）から投影面までの距離ｌ₀は変数とみなし、いくつかの投影面Ｌ_j（j=1,2,…,M）のうち、前記数式１及び数式２で与えられる画像面ＰＰ上での誤差が最小となる距離にある投影面を選んで、前記被写体２上の点Ｑを投影する。
【００１６】
このとき、前記被写体上の点Ｑが、例えば、図２３に示すように、ｚ＝０のｘｙ平面からの距離がｌ_0Frontの投影面Ｌ_Frontと、ｌ_0Backの投影面Ｌ_Backの中間にあるとすると、前記点Ｑは、前記仮想視点画像の画像面ＰＰ上でのずれΔｐが小さいほうの投影面に投影（テクスチャマッピング）される。そのため、前記数式２で与えられる係数ｋは、下記数式３または数式４となる。
【００１７】
【数３】
ｋ(ｌ_0Front)＜０
【００１８】
【数４】
ｋ(ｌ_0Back)＞０
【００１９】
すなわち、前記被写体上の点Ｑを前方の投影面Ｌ_Frontにテクスチャマッピングするか、後方の投影面Ｌ_Backにテクスチャマッピングするかによって、係数ｋの符号が変化する。
【００２０】
このとき、前記各投影面の中間地点にある被写体上の点Ｑは、どちらにテクスチャマッピングするかにより、前記仮想視点画像の画像面ＰＰ上での位置のずれΔｐの方向が逆になる。そのため、テクスチャマッピングされる投影面が前方と後方に分離される箇所があり、生成した画像に隙間が生じ、その大きさはΔｒの大きさ｜Δｒ｜に比例する。
【００２１】
ここで、前記数式１をＸ軸方向の成分と、Ｙ軸方向の成分とに分けて考えると、下記数式５及び数式６のようになる。
【００２２】
【数５】
Δｐ_x＝ｋ(ｌ₀)Δｒ_x
【００２３】
【数６】
Δｐ_y＝ｋ(ｌ₀)Δｒ_y
【００２４】
このとき、前記カメラの視点Ｃ_iが、例えば、Ｘ軸方向に間隔ε_xで配列していれば、適切な視点Ｃ_iのカメラで撮影した画像を選択して用いることで、｜Δｒ_x｜≦ε_x／２となり、Δｐ_xは一定の範囲内に収めることができる。
【００２５】
同様に、前記カメラの視点Ｃ_iが、例えば、Ｙ軸方向に間隔ε_yで配列していれば、適切な視点Ｃ_iのカメラで撮影した画像を選択して用いることで、｜Δｒ_y｜≦ε_y／２となり、Δｐ_yは一定の範囲内に収めることができる。
【００２６】
【非特許文献１】
Marc Levoy and Pat Hanrahan:"Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
【非特許文献２】
Steven J. Gortler et al.:"The Lumigraph," SIGGRAPH'96 Conference
Proceedings, pp.43-54, 1996
【非特許文献３】
片山昭宏ほか:「多視点画像の補間・再構成による視点追従型立体画像表示法」, 電子情報通信学会誌, Vol.J79-DII, No.5, pp.803-811, 1996
【非特許文献４】
國田豊ほか:「多眼カメラを用いた任意視点人物像の実時間生成システム」, 電子情報通信学会誌, Vol.J84-DII, No.1, pp.129-138, 2001
【００２７】
【発明が解決しようとする課題】
しかしながら、前記従来の技術で説明した、複数の投影面Ｌ_j（j=1,2,…,M）を設定して仮想視点画像を生成する方法では、例えば、投影面Ｌ_jと投影面Ｌ_j+1の間にテクスチャ画像が存在しない場合、生成した仮想視点画像に隙間が生じる。そのため、生成した仮想視点画像が劣化するという問題がある。
【００２８】
なお、前記カメラ（視点Ｃ_i）の配列密度を十分に大きくすれば、前記仮想視点画像に生じる隙間は、目立たないほどに小さくできる。しかしながら、前記カメラの配列密度には限界がある。また、前記カメラの配列密度を高くすることにより、前記カメラで撮影した画像を取得する時間や、前記仮想視点画像の生成処理にかかる時間が長くなり、実時間レベルでの画像生成が難しくなるという問題もあった。また、前記カメラの配列密度を高くすれば、その分システムが大掛かりになるので、設置コストが上昇するという問題があった。
【００２９】
また、前記仮想視点画像生成装置を、例えば、テレビ会議システム等で用いる場合、利用者の視点（仮想視点）は、画像の左右方向に対しての移動が多く、上下方向に対しての移動はあまり行わないことがある。このように、視点の移動方向が、主に一方向である場合には、前記カメラを一次元的に配列することで、設置コストの上昇を抑えることができる。
【００３０】
前記カメラ（視点Ｃ_i）を一次元的、例えば、前記Ｘ軸方向にのみ配列した場合、前記カメラが配列されたＸ軸方向では、前記カメラの配置間隔や、適切なカメラで撮影した画像を用いることで、前記仮想視点画像の画像面ＰＰ上での位置のずれΔｐ_xを一定の範囲内に収めることができる。
【００３１】
しかしながら、前記カメラが配列されていないＹ軸方向では、適切な画像を選択する余地がないので、前記距離ベクトルの大きさ｜Δｒ_y｜は画角の周辺、すなわち画像の端部で大きな値を持つ。そのため、前記仮想視点画像は、図２４に示すように、前記カメラが配列されていないＹ軸方向に走査したときに見られる隙間が大きくなるという問題があった。
【００３２】
本発明の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能な技術を提供することにある。
本発明の他の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能なプログラム及び記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００３３】
【課題を解決するための手段】
本願において開示される発明の概要を説明すれば、以下の通りである。
【００３４】
（１）同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置（以下、仮想視点と称する）を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成するステップとを有する仮想視点画像生成方法であって、前記仮想視点画像を生成するステップは、複数の投影面からなる投影面群、及び１つの投影面を設定する第１ステップと、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第２ステップと、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第３ステップと、前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第４ステップと、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第５ステップとを有することを特徴とする仮想視点画像生成方法である。
【００３５】
前記（１）の手段によれば、前記仮想視点画像上の点の、前記カメラが配列されていない方向の成分は、前記１つの投影面から求める。そのため、前記仮想視点画像の画像面上において、位置ずれの誤差は生じるものの、前記画像面全域で連続的に変化するので、前記仮想視点画像を前記カメラが配列されていない方向に走査したときに見られる隙間が大きくなるのを防ぐことができる。
【００３６】
また、前記カメラが配列されている方向の成分は、前記複数の投影面から求めるので、前記仮想視点画像の画像面上での位置ずれの誤差を小さくすることができる。そのため、一次元的、言い換えると、同一平面にある直線あるいは曲線に沿って配列されたカメラで撮影した画像から生成する仮想視点画像の劣化を少なくすることができる。
【００３７】
このとき、前記カメラは、例えば、同一平面にある直線あるいは曲線に沿って配列された状態であればよく、前記被写体の画像は、直線状に配列されたカメラで撮影してもよいし、円弧状に配列されたカメラで撮影してもよい。また、前記各カメラの配列の間隔は、等間隔であってもよいし、不規則な間隔であってもよい。
【００３８】
（２）前記（１）の手段において、前記第４ステップは、前記被写体の画像を前記投影面群の投影面に逆投影するステップと、テクスチャマッピング用の２次元配列を確保するステップと、前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行うステップと、前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する。
【００３９】
前記（２）の手段によれば、前記投影面群の投影面に逆投影した画像を拡大あるいは縮小することで、前記投影面群の投影面の画像を、あたかも前記１つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【００４０】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、高速な前記仮想視点画像の生成処理を行うことができる。
【００４１】
（３）同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点（以下、仮想視点と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成する画像生成手段とを有する仮想視点画像生成装置であって、前記画像生成手段は、複数の投影面からなる投影面群、及び１つの投影面を設定する投影面設定手段と、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを有し、前記レンダリング手段は、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第１対応点算出手段と、前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第２対応点算出手段と、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを有する仮想視点画像生成装置である。
【００４２】
前記（３）の手段は、前記（１）の手段の仮想視点画像生成方法を用いて前記仮想視点画像を生成するための装置である。そのため、前記各手段を備えることにより、前記カメラが一次元的に配列されている場合でも、前記仮想視点画像をカメラが配列されていない方向に走査したときに見られる隙間を小さくすることができる。また、カメラが配列されている方向は、画像面上での位置ずれを小さくすることができる。そのため、前記仮想視点画像の劣化を少なくすることができる。
【００４３】
（４）前記（３）の手段において、前記第２対応点算出手段は、前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、テクスチャマッピング用の２次元配列を確保するテクスチャ配列確保手段と、前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行う対応付け手段と、前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備える。
【００４４】
前記（４）の手段によれば、前記第２対応点算出手段に、前記各手段を備えることで、前記投影面群の投影面に逆投影した画像を、あたかも前記１つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【００４５】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、市販のグラフィックス・ハードウェア及びライブラリに対応するソフトウェア（ドライバ）によって、高速な前記仮想視点画像の生成処理を行うことができる。
【００４６】
（５）前記（１）または（２）の手段の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラムである。
【００４７】
前記（５）の手段によれば、前記仮想視点画像の生成処理をコンピュータに実行させることができる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を高速で生成することができる。
【００４８】
（６）前記（５）の手段の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体である。
前記（６）の手段によれば、前記記録媒体を頒布することで、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【００４９】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００５０】
【発明の実施の形態】
（実施例１）
図１及び図２は、本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、図１は装置の構成を示すブロック図、図２は仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【００５１】
図１及び図２において、１は仮想視点画像生成装置、１０１は被写体画像取得手段、１０２は奥行き情報取得手段、１０３は仮想視点設定手段、１０４は画像生成手段、１０４ａは投影面決定手段、１０４ｂは貼付領域設定手段、１０４ｃはレンダリング手段、２は被写体、３はカメラ、４は奥行き情報計測手段、５は仮想視点入力手段、６は画像表示手段、７は利用者である。
【００５２】
本実施例１の仮想視点画像生成装置１は、図１に示すように、被写体２の画像を取得する被写体画像取得手段１０１と、前記被写体２の奥行き情報（表面形状）を取得する奥行き情報取得手段１０２と、前記生成する画像の視点（以下、仮想視点と称する）を設定する仮想視点設定手段１０３と、前記被写体２の画像及び前記奥行き情報を用いて、前記仮想視点から見た被写体２の画像（以下、仮想視点画像と称する）を生成する画像生成手段１０４とにより構成されている。
【００５３】
また、前記画像生成手段１０４は、前記被写体２の奥行き情報及び前記仮想視点から投影面を設定する投影面設定手段１０４ａと、前記被写体２の奥行き情報に基づいて、前記投影面上の、前記被写体２の画像を貼り付ける領域を設定する貼付領域設定手段１０４ｂと、前記投影面設定手段１０４ａで設定した投影面、及び前記貼付領域設定手段１０４ｂで設定した貼付領域に基づいて、前記被写体２の画像を前記投影面に貼り付け（テクスチャマッピング）して、前記仮想視点画像に変換するレンダリング手段１０４ｃとを備える。
【００５４】
また、本実施例１では、前記被写体２の画像は、例えば、図１及び図２に示したように、４台のカメラ３を一次元的、言い換えると、一方向に列状に、一定の間隔で配列して撮影し、それを前記被写体画像取得手段１０１で取得する。ここで、前記カメラ３を配列した空間では、図２に示したような、カメラの配列方向がＸ軸となるような三次元空間をとる。なお、本実施例１では、図１及び図２では、４台のカメラを配列しているが、前記カメラは４台である必要はなく、Ｎ台（Ｎは２以上の整数）のカメラが一方向に配列されていればよい。
【００５５】
また、前記被写体２の奥行き情報は、例えば、図１及び図２に示すように、前記カメラ３の近傍に設置した奥行き情報計測手段４で計測し、それを前記奥行き情報取得手段１０２で取得する。前記奥行き計測手段４には、例えば、TOF（Time Of Flight）法を用いた計測装置を用いる。また、前記奥行き計測手段４の代わりに、前記カメラ３のうちの一つに、前記被写体２の画像（色情報）の撮影及び表面形状の測定をできるカメラを用いてもよい。
【００５６】
また、前記仮想視点設定手段１０３は、例えば、マウスやキーボード等の仮想視点入力手段５から入力された情報に基づき、前記仮想視点の位置、方向、画角等を設定する。またこのとき、前記仮想視点は、前記仮想視点設定手段１０３で許容されている範囲内であれば、前記カメラ３を配置した位置に限らず、任意の位置に設定することができる。
【００５７】
また、前記仮想視点画像生成装置１で生成した画像（以下、仮想視点画像と称する）は、例えば、CRTディスプレイ、液晶ディスプレイ等の画像表示手段６で表示される。
【００５８】
図３乃至図６は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、図３は処理全体のフロー図、図４及び図５は投影面の設定方法を説明するための図、図６は色情報の転写方法を説明するための図である。
【００５９】
本実施例１の仮想視点画像生成装置を用いて前記仮想視点画像を生成するときには、IBR（Image-Based Rendering）と呼ばれる手法を用いる。前記IBRは、前記被写体画像取得手段１０１で取得した画像の一部分を、コンピュータ上の三次元空間に設定した投影面にテクスチャマッピングし、その投影面を前記仮想視点設定手段１０３で設定した仮想視点から見た画像を、座標計算処理で生成する方法である。
【００６０】
本実施例１の仮想視点画像生成装置を用いて、前記IBRにより仮想視点画像を生成するときには、まず、図３に示すように、仮想視点Ｐ、すなわち生成する画像の視点の位置、方向、画角等を設定する（ステップ８０１）。前記仮想視点Ｐの位置、方向、画角等は、前記仮想視点入力手段５から入力された情報に基づき、前記仮想視点設定手段１０３で設定される。
【００６１】
次に、例えば、コンピュータ上に想定した三次元空間上に、投影面を設定する（ステップ８０２）。前記投影面は、前記仮想視点画像生成装置１の画像生成手段１０４に設けられた投影面設定手段１０４ａで設定する。
【００６２】
本実施例１の仮想視点画像生成装置１を用いる場合、前記ステップ８０２（投影面設定手段１４０ａ）では、例えば、図４に示すように、複数の投影面Ｌ_j（j=1,2,…,M）からなる投影面群と、図５に示すように、１つの投影面Ｌ^*の２種類の投影面を設定する。前記投影面群及び前記１つの投影面Ｌ^*の設定方法については、後で説明する。
【００６３】
前記ステップ８０２（投影面設定手段１０４ａ）で、前記２種類の投影面を設定したら、次に、前記貼付領域設定手段１０４ｂで、前記投影面群の各投影面上の、前記被写体２の画像を貼り付ける領域Ｕ_ijを設定する（ステップ８０３）。前記被写体の画像を貼り付ける領域Ｕ_ijの設定方法については、後で説明する。
【００６４】
その後、前記レンダリング手段１０４ｃで、前記仮想視点画像Ｐから前記被写体を見たときの画像を生成する（ステップ８０４）。
【００６５】
このとき、前記ステップ８０４（レンダリング手段１０４ｃ）では、まず、前記投影面群に前記被写体の画像をテクスチャマッピングしたときに、前記仮想視点画像の画像面ＰＰ上の点と対応する前記被写体の画像の画像面上の点を求める。このとき、前記仮想視点Ｐから見た画像の画像面ＰＰ上の点（x,y）は、図４に示したように、前記投影面群の投影面Ｌ_j上の点（X,Y,Z）に相当し、前記投影面Ｌ_j上の点（X,Y,Z）には、視点Ｃ_iに配置されたカメラ３で撮影した被写体２の画像の画像面ＣＰ_i上の点（x_i,y_i）が貼り付けられているとする。
【００６６】
そして、次に、前記１つの投影面Ｌ^*を用いて、前記仮想視点画像の画像面ＰＰ上の同じ点（x,y）と対応する、視点Ｃ_iに配置されたカメラ３で撮影した被写体２の画像の画像面ＣＰ_i上の点（x_i ^*,y_i ^*）を求める。
【００６７】
前記被写体２の画像の画像面ＣＰ_i上の各点（x_i,y_i），（x_i ^*,y_i ^*）を求めるときには、例えば、前記仮想視点画像ＰＰの点（x,y）を投影面上へ逆投影したときの点（X,Y,Z），（X^*,Y^*,Z^*）を、前記被写体２の画像の画像面ＣＰ_iへ投影する。
【００６８】
一般に、前記投影面上の点のような三次元空間上の点（X,Y,Z）から、前記被写体の画像の画像面ＣＰ_i上の点のような二次元平面上の点（x_i,y_i）への射影は、下記数式７ような行列式で表すことができる。
【００６９】
【数７】

【００７０】
ここで、前記数式７の左辺のｓは補助的な係数である。また、前記数式７のΦは変換行列であり、下記数式８のような３行４列の行列で与えられる。
【００７１】
【数８】

【００７２】
このとき、例えば、原点を中心とした焦点距離ｆの透視投影変換を表す行列Φ₀は、下記数式９で与えられる。
【００７３】
【数９】

【００７４】
一方、前記仮想視点画像の画像面上の点のような二次元平面上の点（x,y）を前記三次元空間上の点（X,Y,Z）に逆投影する場合には、前記数式７及び数式８を満たす点が無数に存在する。そのうち、前記三次元空間上に設定した投影面に逆投影する場合、前記投影面を表す式がaX+bY+cZ+d=0とすると、ベクトル表現では下記数式１０のように表せる。
【００７５】
【数１０】

【００７６】
ここで、前記数式７及び数式８、ならびに前記数式１０をまとめると、下記数式１１のようになる。
【００７７】
【数１１】

【００７８】
そのため、前記数式１１を（X,Y,Z）について解くと、仮想視点画像の画像面ＰＰ上の点（x,y）を前記投影面Ｌ_j上の点（X,Y,Z）へ逆投影することができる。ここで、前記数式１１の右辺の４行４列の行列が逆行列を持つならば、前記数式１１は、ｓ’＝１／ｓとおくことで、下記数式１２のようになり、前記投影面Ｌ_j上の点（X,Y,Z）が求められる。
【００７９】
【数１２】

【００８０】
前記視点Ｃ_iに設置したカメラで撮影した画像の画像面ＣＰ_i上の点（x_i,y_i）及び点（x_i ^*,y_i ^*）を求めたら、前記投影面群を用いて求めた点（x_i,y_i）のカメラが配列されている方向の成分、及び前記１つの投影面を用いて求めた点（x_i ^*,y_i ^*）のカメラが配列されていない方向の成分からなる点を、前記仮想視点画像の画像面ＰＰ上の点（x,y）と対応する点とみなし、色情報を転写する。このとき、前記カメラが配列されている方向を三次元空間のＸ軸方向、前記カメラが配列していない方向をＹ軸方向とすると、図６に示すように、前記点（x_i,y_i）のｘ成分（x_i）と、点（x_i ^*,y_i ^*）のｙ成分（y_i ^*）からなる点（x_i,y_i ^*）の色情報を前記仮想視点画像の画像面ＰＰ上の点（x,y）に転写する。
【００８１】
また、前記カメラで撮影した画像及び前記仮想視点画像は、いわゆるディジタル画像であり、有限の面積を持つ画素の位置及び色情報は、メモリ上の二次元配列により表現されている。ここでは、前記画素の配列の位置を示す座標系（u,v）をディジタル画像座標系と呼ぶことにする。
【００８２】
このとき、例えば、前記仮想視点画像のサイズが、６４０画素×４８０画素であるとすると、前記仮想視点画像を構成する各画素の位置は、０から６３９までのいずれかの整数値をとる変数uと、０から４７９までのいずれかの整数値をとる変数vで表される。また、前記各画素の色情報は、その画素のアドレス（u,v）での赤（Ｒ），緑（Ｇ），青（Ｂ）の情報を８ビットなどで量子化したデータで表される。
【００８３】
またこのとき、前記ディジタル画像座標（u,v）と通常の画像座標（x,y）は１対１で対応付けされ、例えば、下記数式１３のような関係を持つ。
【００８４】
【数１３】

【００８５】
なお、前記数式１３では、ｘ軸とｕ軸を平行とし、ｕ軸とｖ軸の単位長は（x,y）座標系を基準にｋ_u，ｋ_vとし、ｕ軸とｖ軸のなす角度をθとしている。
【００８６】
前記二次元配列の各画素の情報の書き込みや読み出しをする場合、前記ディジタル画像座標系（u,v）は離散的な値をとるが、以下の説明では断りのない限り連続値をとるものとし、各画素の情報へアクセスする際に適当な離散化処理を行うものとする。
【００８７】
また、前記ディジタル画像座標と画像座標の座標変換では、前記数式１３の関係に加えて、例えば、レンズの歪みを考慮した変換を行うことも可能である。
【００８８】
このようにして、前記カメラで撮影した画像の画像面ＣＰ_i上の点（x_i,y_i ^*）に相当する画素（u_i,v_i）の色情報を取り出した後、取り出した色情報を、前記仮想視点画像の画像面ＰＰ上の点（x,y）に相当する画素（u,v）に転写すれば、仮想視点画像が得られる。
【００８９】
以下、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法について、前記投影面及び前記貼付領域の設定方法を含めて、詳細に説明する。
【００９０】
図７乃至図１２は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図７は複数の投影面の設定方法を説明するための図、図８（ａ），図８（ｂ），図９（ａ）及び図９（ｂ）は貼り付け領域の設定方法を説明するための図、図１０は仮想視点Ｐから見た画像を生成するステップの処理手順を示すフロー図、図１１（ａ）及び図１１（ｂ）は色情報を転写するステップを説明するための図、図１２は生成した仮想視点画像の一例を示す図である。
【００９１】
本実施例１の仮想視点画像生成装置１を用いて、前記仮想視点画像を生成するには、まず、前記被写体画像取得手段１０１で前記被写体２の画像を取得すると共に、前記奥行き情報取得手段１０２で前記被写体２の奥行き情報を取得する。
【００９２】
このとき、前記被写体２の画像は、前記１次元的に配列したＮ台のカメラ３で撮影し、取得する。このとき、前記カメラ３は、視点Ｃ_i（i=1,2,…,N）が、例えば、図４に示したように、直線上（Ｘ軸上）に並ぶように配列する。
【００９３】
また、前記被写体２の奥行き情報は、前記カメラ３の近傍に設置した奥行き情報計測装置４により計測して取得する。
【００９４】
前記被写体の画像及び前記奥行き情報を取得した状態で、前記仮想視点画像を生成するには、まず、図３に示したように、仮想視点Ｐの位置、方向、画角等を設定する（ステップ８０１）。前記ステップ８０１は、前記仮想視点設定手段１０３で行い、前記仮想視点Ｐを決定するために必要な情報は、前記仮想視点入力手段５から入力する。
【００９５】
このとき、前記仮想視点入力手段５として、例えば、マウスやキーボード等の入力装置を用いれば、利用者７は、前記画像表示手段（ディスプレイ）６を見ながら、前記仮想視点Ｐに関する情報を直接的に設定することができる。
【００９６】
また、前記仮想視点入力手段５として、例えば、利用者の周りに配置されたセンサー、もしくは前記利用者７に装着したセンサーを用いれば、前記利用者７の位置を検知して前記仮想視点Ｐを設定することもできる。
【００９７】
また、前記仮想視点入力手段５として、他の装置やコンピュータプログラムを用いれば、前記仮想視点Ｐを自動的に設定することもできる。
【００９８】
前記仮想視点Ｐの位置等を設定したら、次に、３次元空間上に、前記被写体の画像を貼り付ける投影面を設定する（ステップ８０２）。前記ステップ８０２は、前記投影面設定手段１０４ａで行う。このとき、前記ステップ８０２では、例えば、図４及び図５に示したように、複数の投影面Ｌ_j（j=1,2,…,M）からなる投影面群と、１つの投影面Ｌ^*を設定する。
【００９９】
また、本実施例１では、説明を簡単にするため、前記投影面を設定する３次元空間は、例えば、図４及び図５に示したように、前記カメラ３（視点Ｃ_i）が配列されている方向をＸ軸方向、配列されていない方向をＹ軸方向とする。また、前記各投影面Ｌ_j，Ｌ^*は、法線方向がＺ軸と平行であるとする。またこのとき、前記Ｚ軸は、図４及び図５に示したように、前記各投影面から前記カメラ３に向かう方向にとり、前記投影面Ｌ_jの設定距離はＺ＝−ｌ_j、前記投影面Ｌ^*の設定距離はＺ＝−ｌ^*で表すことにする。
【０１００】
またこのとき、前記投影面群の投影面Ｌ_jは、例えば、以下のような条件を満たすように設定する。
【０１０１】
本実施例１のように、前記被写体の画像から部分的に抽出した画像を、前記投影面に貼り付ける場合、例えば、カメラの視点Ｃ_iがある面（以下、カメラ設置面と称する）８から被写体２上の点までの実際の距離と、前記カメラ設置面８から前記投影面までの距離が異なると、生成した画像上で誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【０１０２】
このとき、前記カメラ設置面８から距離ｌの位置にある被写体２上の点が、前記投影面Ｌ_jに貼り付けられているとすると、前記距離ｌが、下記数式１、数式２、数式３で表される条件を満たしていれば、前記距離ｌの位置にある被写体上の点と投影面Ｌ_j上の点の誤差が最大値δよりも小さいことが保証される。
【０１０３】
【数１４】

【０１０４】
【数１５】

【０１０５】
【数１６】

【０１０６】
前記数式１４において、ｆｌ_j及びｂｌ_jは前記投影面Ｌ_jに貼り付けられる点の最小値及び最大値であり、前記被写体の画像の中で、カメラ設置面８からの距離ｌがｆｌ_jからｂｌ_jまでの間である点（部分）は、前記画像投影面Ｌ_jに貼り付けられる。
【０１０７】
また、前記数式１５及び数式１６において、Ｚ_Pはカメラ設置面８から仮想視点Ｐまでの距離、ｆはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点Ｐの位置は、前記カメラ設置面８を基準として、前記投影面Ｌ_jが設けられた方向とは逆の方向にあるとする。また、前記被写体の画像と前記投影面Ｌ_jの間の写像は透視投影とする。
【０１０８】
このとき、前記投影面Ｌ_jのうち、前記カメラ設置面８に一番近い投影面Ｌ₁では、貼り付けた画像（点）のうち、実際の被写体２上の点が、前記数式１によって与えられる奥行き範囲内に存在する場合は、前記投影面Ｌ₁上での位置の誤差を、最大値δよりも小さくすることができる。そのため、前記各投影面Ｌ_jに対して、前記数式１４の条件を設定し、前記被写体２が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【０１０９】
前記ｆｌ_j及びｂｌ_j、ならびにカメラ設置面８から投影面Ｌ_jまでの距離ｌ_jを設定するときは、まず、例えば、図７に示したように、奥行き情報の最小値ｌminをｆｌ₁とする。このとき、前記数式１５から投影面Ｌ₁の距離ｌ₁が決定する。また、前記投影面Ｌ₁の距離ｌ₁が決まると、前記数式１６からｂｌ₁が決まる。
【０１１０】
次の投影面Ｌ₂に関しては、図７に示したように、ｆｌ₂＝ｂｌ₁とし、前記数式１５及び前記数式１６を用いて前記投影面Ｌ₂の距離ｌ₂、及びｂｌ₂を決める。
【０１１１】
以下、逐次的にｆｌ_j+1＝ｂｌ_jとして計算を繰り返し、ｂｌ_jが被写体２の奥行き情報の最大値ｌmaxよりも大きくなるか、無限大になるまで投影面Ｌ_jを設定していく。
【０１１２】
前記被写体の奥行き情報の最小値ｌmin、及び最大値ｌmaxは、前記奥行き情報取得手段１０２で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体２が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【０１１３】
また、前記投影面Ｌ_jの設定方法では、仮想視点Ｐが更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点Ｐが移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい（小さい）場合に基づいて設定してもよい。
【０１１４】
また、前記カメラが配列されていない方向（Ｙ軸方向）に対する投影面Ｌ^*は、例えば、前記Ｘ軸方向に対する投影面Ｌ_jの１つと一致するように設定する。また、その他にも、例えば、前記Ｘ軸方向に対する投影面Ｌ_jの設定距離を平均した距離に設定してもよい。
【０１１５】
なお、前記数式１４乃至数式１６を用いる方法は、前記投影面群の各投影面Ｌ_jの設定方法の一例であり、他の方法で設定することもできる。
【０１１６】
前記各投影面Ｌ_j，Ｌ^*の設定が済んだら、次に、前記被写体の画像を、前記各投影面Ｌ_j，Ｌ^*にテクスチャマッピングする際に、各投影面Ｌ_j，Ｌ^*上で、視点Ｃ_iのカメラで撮影した画像が分担する領域、言い換えると、前記各投影面Ｌ_j，Ｌ^*上の前記被写体の画像を貼り付ける領域（以下、貼付領域と称する）Ｕ_ijを設定する（ステップ８０３）。
【０１１７】
前記貼付領域Ｕ_ijを設定するときには、まず、例えば、図８（ａ）に示すように、前記視点Ｃ_iを母点としたボロノイ領域Ｖ_iを求め、前記仮想視点Ｐを中心にして前記ボロノイ領域Ｖ_iを投影面Ｌ_jに投影した領域Ｗ_ijを求める。また、その一方で、図８（ｂ）に示すように、前記被写体２を前記視点Ｃ_iから測ったときの投影面Ｌ_jにおける分担領域Ｓ_ijを求める。
【０１１８】
前記貼付領域Ｕ_ijは、図９（ａ）及び図９（ｂ）に示すように、前記領域Ｗ_ijと前記分担領域Ｓ_ijの重なる領域とすれば、下記数式１７で与えられる。
【０１１９】
【数１７】
Ｕ_ij＝Ｗ_ij∩Ｓ_ij
なお、図９（ａ）及び図９（ｂ）、ならびに前記数式１７に示したような設定方法は、前記貼付領域Ｕ_ijの設定方法の一例であり、他の方法で設定することもできる。
【０１２０】
前記投影面Ｌ_j，Ｌ^*の設定、及び前記貼付領域Ｕ_ijの設定が済んだら、次に、前記仮想視点画像を生成する（ステップ８０４）。
【０１２１】
前記仮想視点画像は、例えば、横（ｕ軸）方向がｗ画素、縦（ｖ軸）方向がｈ画素のディジタル画像である。そのため、前記ディジタル画像の各画素（u,v）における色情報を取得すれば、前記仮想視点画像を生成することができる。このとき、前記各画素（u,v）の色情報は、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色を８ビットの値で表現する。
【０１２２】
前記仮想視点画像を生成するには、図１０に示すように、まず、仮想視点画像の画素（u,v）を示す変数u,v、投影面Ｌ_jの変数j、前記カメラの視点Ｃ_iの変数iのそれぞれを初期化する（ステップ８０４ａ，ステップ８０４ｂ，ステップ８０４ｃ）。このとき、前記変数u,vは、例えば、u=0,v=0とする。また、前記変数i及び変数jはそれぞれ、例えば、i=1,j=1とする。
【０１２３】
次に、前記仮想視点画像の各画素（u,v）に対応する、前記仮想視点画像の画像面ＰＰ上の点（x,y）を求める（ステップ８０４ｄ）。前記画像面ＰＰ上の点（x,y）は、例えば、前記数式１３に基づいて求める。
【０１２４】
次に、前記仮想視点画像の画像面ＰＰ上の点（x,y）を、前記投影面群の投影面Ｌ_jに逆投影して、前記画像面ＰＰ上の点（x,y）に対応する前記投影面Ｌ_j上の点（X,Y,Z）を求める（ステップ８０４ｅ）。前記投影面Ｌ_j上の点（X,Y,Z）は、例えば、前記数式１１に基づいて求める。
【０１２５】
次に、前記投影面Ｌ_j上の点（X,Y,Z）が、前記視点Ｃ_iのカメラで撮影した画像の前記投影面Ｌ_jにおける貼付領域Ｕ_ijに含まれるか判定する（ステップ８０４ｆ）。ここで、前記貼付領域Ｕ_ijに含まれる場合は、次のステップ８０４ｇに進む。また、前記貼付領域Ｕ_ijに含まれない場合は、以降のステップを飛ばして、ステップ８０４ｌに進む。
【０１２６】
前記投影面Ｌ_j上の点（X,Y,Z）が前記貼付領域Ｕ_ijに含まれる場合、次のステップ８０４ｇで、前記仮想視点画像の画像面ＰＰ上の点（x,y）を、前記１つの投影面Ｌ^*上に逆投影して、前記点（x,y）に対応する点（X^*,Y^*,Z^*）を求める。前記投影面Ｌ^*への逆投影は、前記投影面Ｌ_jへの逆投影と同じ要領で、前記数式１１に基づいて行えばよい。
【０１２７】
次に、前記投影面Ｌ_j上の点（X,Y,Z）を視点Ｃ_iのカメラで撮影した画像の画像面ＣＰ_i上に投影し、前記点（X,Y,Z）に対応する点（x_i,y_i）を得る（ステップ８０４ｈ）。前記ステップ８０４ｈの投影処理は、例えば、前記数式７及び数式８で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【０１２８】
次に、前記投影面Ｌ^*上の点（X^*,Y^*,Z^*）を前記被写体画像の画像面ＣＰ_i上に投影し、前記点（X^*,Y^*,Z^*）に対応する点（x_i ^*,y_i ^*）を得る（ステップ８０４ｉ）。前記ステップ８０４ｉの投影処理も、例えば、下記数式７及び数式８で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【０１２９】
次に、図６に示したように、前記ステップ８０４ｈで求めた点（x_i,y_i）のｘ成分と、前記ステップ８０４ｉで求めた点（x_i ^*,y_i ^*）のｙ成分からなる点（x_i,y_i ^*）に対応する、前記視点Ｃ_iのカメラで撮影したディジタル画像の画像面ＣＰ_i上の画素（u_i,v_i）を求める（ステップ８０４ｊ）。前記ステップ８０４ｊは、例えば、前記数式１３に基づいて行えばよいので、詳細な説明は省略する。
【０１３０】
次に、図１１（ａ）に示すように、前記視点Ｃ_iに設置したカメラで撮影したディジタル画像の画像面ＣＰ_iの画素（u_i,v_i）の色情報を、図１１（ｂ）に示すように、前記仮想視点画像の画像面ＰＰ上の画素（u,v）における色情報に転写する（ステップ８０４ｋ）。
【０１３１】
その後、前記視点Ｃ_iの変数iを更新し（ステップ８０４ｌ）、前記色情報の転写が済んでいない視点Ｃ_iのカメラで撮影した画像があるか調べる（ステップ８０４ｍ）。色情報の転写が済んでいない視点Ｃ_iの画像があれば前記ステップ８０４ｅに戻り、前記ステップ８０４ｅからステップ８０４ｋまでの処理を行う。
【０１３２】
全ての視点Ｃ_iの画像において前記色情報の転写が済んでいれば、今度は投影面Ｌ_jの変数jを更新し（ステップ８０４ｎ）、前記処理を行っていない投影面があるか調べる（ステップ８０４ｏ）。処理を行っていない投影面があれば、前記ステップ８０４ｃに戻り、前記ステップ８０４ｃからステップ８０４ｋの処理を行う。
【０１３３】
その後、今度は、前記仮想視点画像の画素（u,v）を更新し（ステップ８０４ｐ）、全ての画素に対して処理を行ったか調べる（ステップ８０４ｑ）。未処理の画素（u,v）がある場合は、前記ステップ８０４ｂに戻り、前記ステップ８０４ｂからステップ８０４ｋの処理を行う。
【０１３４】
以上の処理が全て済むと、例えば、図１２に示したような前記仮想視点画像が得られ、前記画像表示手段６に表示される。このとき、前記仮想視点画像の各点（画素）のＹ軸方向成分、すなわち前記カメラ３が配列されていない方向の成分は、１つの投影面にテクスチャマッピングして求めている。そのため、前記Ｙ軸方向の成分は画像面全域にわたり連続的に変化し、図１２に示したように、前記仮想視点画像をＹ軸方向に走査してみたときに、画像の隙間が非常に小さくなる。
【０１３５】
以上説明したように、本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法によれば、前記仮想視点画像上の点の、前記カメラが配列された方向の成分は複数の投影面Ｌ_jからなる投影面群を用いて求め、前記カメラが配列されていない方向の成分は１つの投影面Ｌ^*を用いて求めることにより、生成した仮想視点画像の、前記カメラが配列されていない方向に隙間が生じるのを防ぐことができる。そのため、前記カメラが１次元的に配列されている場合でも、仮想視点画像の劣化を低減することができる。
【０１３６】
また、本実施例１の仮想視点画像生成装置１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等を備えるコンピュータであってもよい。その場合、図３及び図１０に示したような処理の各ステップを、前記コンピュータに実行させるプログラムを、例えば、前記HDDや前記ROMに記録しておけばよい。また、前記プログラムは、前記HDDや前記ROMに記録する代わりに、CD-ROM等の記録媒体に記録したり、インターネット上のサーバー等に記録したりして、前記記録媒体や前記インターネットなどのネットワークを利用して提供することもできる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【０１３７】
図１３及び図１４は、前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【０１３８】
前記実施例１では、図４に示したように、前記投影面Ｌ_j,Ｌ^*を設定する三次元空間のＸ軸方向及びＹ軸方向と、前記仮想視点画像のｘ軸方向及びｙ軸方向が一致している例を挙げて説明したが、実際には、図１３及び図１４に示すように、三次元空間のＸ軸方向及びＹ軸方向と、前記仮想視点画像のｘ軸方向及びｙ軸方向が一致していなくてもよい。そのような場合は、例えば、図１４に示したように、三次元空間のＸ軸方向及びＹ軸方向と一致するｘ’軸及びｙ’軸をとるような画像面を想定し、前記実施例１で説明した手順に沿って、前記仮想視点画像の画像面上の点（x',y'）と対応する被写体２の画像の画像面上の点（x_i',(y_i ^*)'）を求めた後、前記点（x',y'）を点（x,y）に座標変換すればよい。
【０１３９】
図１５は、前記実施例１の仮想視点画像生成装置の変形例を説明するための図である。
【０１４０】
前記実施例１の仮想視点画像生成装置では、前記奥行き情報取得手段１０２は、前記奥行き計測手段４で計測した結果を取得しているが、これに限らず、例えば、図１５に示すように、前記被写体画像取得手段１０１で取得した画像を用いて、奥行き情報を算出してもよい。このとき、前記奥行き情報取得手段１０２では、例えば、ステレオマッチングにより奥行き情報を算出する（例えば、奥富,金出, “複数の基線長を利用したステレオマッチング”, 電子情報通信学会誌 D-II, no.8, pp.1317-1327, 1992を参照。）。
【０１４１】
（実施例２）
図１６及び図２１は、本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１６は仮想視点Ｐから見た画像を生成するステップのフロー図、図１７及び図１８は投影ポリゴンの設定方法を説明するための図、図１９はテクスチャ配列内での画像の例を示す図、図２０及び図２１は投影ポリゴンの頂点の補正方法を説明するための図である。
【０１４２】
本実施例２の仮想視点画像生成装置は、前記実施例１で説明した仮想視点画像生成装置１と同様の構成であるので、詳細な説明は省略する。
【０１４３】
前記実施例１の仮想視点画像生成装置１を用いた仮想視点画像生成方法では、図４及び図５に示したように、複数の投影面Ｌ_j（j=1,2,…,M）からなる投影面群と、１つの投影面Ｌ^*の２種類の投影面を設定し、仮想視点画像を生成した。これは、カメラが配列されている方向では投影面が複数あり、前記カメラが配列されていない方向では投影面が１つであるという想定をして、透視投影変換をしていることになるが、実際の三次元空間上に、このような幾何図形は存在しない。そのため、例えば、OpenGLやDirectXのような、汎用的な三次元ライブラリを用いると、座標の扱いが困難である。
【０１４４】
前記三次元ライブラリにより、ある視点からの画像を生成するには、いくつもの段階的な処理が施される。そのうち特に、処理の高速化が求められる箇所では、並列処理を行うなど、ライブラリの種類によって処理方法は多様であるが、一般的には、大きく分けて次の３つの処理を経る。
【０１４５】
（１）被写体をポリゴン（多角形平面）等の基本図形の組み合わせとして三次元座標系で表現し、視点の位置、光源の位置、テクスチャ等を設定する三次元シーンの設定処理。
【０１４６】
（２）被写体を表現する三次元座標系の頂点を視点座標系に変換し、投影変換して視点の位置にある画像面の二次元座標系に変換する座標変換処理。またこのとき、光源やテクスチャマッピングによる頂点の色の計算、奥行き情報の計算なども行う。
【０１４７】
（３）二次元座標に変換された頂点を補完して塗りつぶし、画像面の各画素での色を計算する走査変換処理。またこのとき、奥行き情報を基にした隠面消去処理もここで行う。
【０１４８】
前記三次元ライブラリ及びグラフィクス・ハードウェアを組み合わせて使用する場合、前記３つの処理のうち、アプリケーション・プログラム（ソフトウェア）で受け持つ処理は、前記（１）の三次元シーンの設定処理のみであり、前記（２）の座標変換処理、及び前記（３）の走査変換処理は、前記三次元ライブラリが対応したグラフィックス・ハードウェアにより処理される。
【０１４９】
しかしながら、前記座標変換処理を前記三次元ライブラリ（グラフィックス・ハードウェア）に任せてしまうと、前記実施例１のような特殊な座標変換処理を行なうことができない。そのため、前記座標変換処理をアプリケーション・プログラムで行わなければならなくなり、処理速度（画像生成速度）が低下する。
【０１５０】
そこで、本実施例２では、前記汎用的な三次元ライブラリ（グラフィックス・ハードウェア）を用いて仮想視点画像を生成する方法について説明する。
【０１５１】
本実施例２の仮想視点画像生成方法でも、まず、図３に示したように、仮想視点Ｐの設定（ステップ８０１）、及び投影面Ｌ_j,Ｌ^*の設定（ステップ８０２）、ならびに前記各投影面上の貼付領域Ｕ_ijの設定（ステップ８０３）の各ステップを行う。なお、前記ステップ８０１，８０２，８０３は前記実施例１で説明したような処理を行えばよいので、詳細な説明は省略する。
【０１５２】
次に、図３に示した前記ステップ８０４の処理を行うが、本実施例２では、まず、図１６に示すように、前記ステップ８０２で決定した投影面Ｌ_j上に、前記視点Ｃ_iのカメラで撮影した画像の画像面の画角を逆投影したポリゴン（多角形平面）を設定する（ステップ８０４ｒ）。以下、前記ポリゴンを投影ポリゴンと称する。
【０１５３】
このとき、例えば、図１７に示すように、前記視点Ｃ_iのカメラで撮影した画像の画像面ＣＰ_iにおける画角の四隅を{Ｈ_i ¹,Ｈ_i ²,Ｈ_i ³,Ｈ_i ⁴}とおき、それらを投影面Ｌ_jに逆投影したものをそれぞれ{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}とおいた場合、この{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}を頂点とする多角形が前記投影ポリゴンとなる。
【０１５４】
ここで、前記逆投影の座標計算は、例えば、前記数式１２に示す関係式に基づいて行い、全てのカメラＣ_i（i=1,2,…,N）、及び全ての投影面Ｌ_j（j=1,2,…,M）に対して、図１８に示したように、合計i×j組の前記投影ポリゴン、及びi×j×４個の頂点を設定する。なお、ここでは、画像面の画角を規定する多角形及び前記投影ポリゴンの頂点の数を４つとしたが、前記頂点の数は３つでもよいし、５つ以上でもよい。
【０１５５】
次に、全ての投影ポリゴンについて、テクスチャマッピング用の二次元配列（テクスチャ配列）を確保する（ステップ８０４ｓ）。前記テクスチャ配列は、１つの視点Ｃ_iに対して、投影面の数、すなわちj組確保し、合計でi×j組を確保する。
【０１５６】
前記テクスチャ配列の各成分（画素）には、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色の輝度を表す色情報の他、一般にアルファ値と呼ばれる透明度を表す情報（Ａ）も格納する。
【０１５７】
また、前記テクスチャ配列のサイズは、前記視点Ｃ_iのカメラで撮影した画像のサイズと同じである場合に、メモリの使用量をもっとも節約できるが、前記三次元ライブラリの種類によっては、前記テクスチャ配列の各辺のサイズは２のべき乗でなければならないなどの条件がある。そのため、前記テクスチャ配列は、前記カメラの画像サイズよりも大きなサイズの配列を確保する。このとき、前記カメラ画像の配列のサイズをw×hとすると、前記テクスチャ配列のサイズはwt×ht（wt≧w,ht≧h）となるようにする。ここで、例えば、前記カメラの画像サイズ（w,h）が（640,480）であり、テクスチャ配列の各辺のサイズ（wt,ht）が２のべき乗でなければならないとすると、確保するテクスチャ配列のサイズ（wt,ht）は（1024,512）とする。
【０１５８】
また、前記カメラの画像のサイズが大きく、前記テクスチャ配列に許容される最大のサイズを超えてしまうような場合は、前記テクスチャ配列を小さく分けて複数のテクスチャ配列を確保する。
【０１５９】
このようにして、前記テクスチャ配列を確保した後、前記視点Ｃ_iのカメラで撮影した画像を、対応するj組のテクスチャ配列に転送する。
【０１６０】
前記テクスチャ配列を確保したら、次に、前記投影ポリゴンの各頂点{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}の三次元座標と、テクスチャ座標の対応付けを行う（ステップ８０４ｔ）。ここで、前記テクスチャ座標とは、例えば、図１９に示すように、テクスチャマッピングに用いる画像ＴＰの辺の長さを１に正規化した座標である。このとき、前記テクスチャ画像ＴＰ上の各点の位置は、０から１までの値をとる座標軸（s,t）で与えられる。前記ステップ８０４ｔにおいて、前記各頂点の三次元空間座標（X,Y,Z）と二次元テクスチャ座標（s,t）の対応付けができれば、テクスチャマッピング処理は、前記三次元ライブラリが担当して行うことができ、グラフィックス・ハードウェアで仮想視点画像を生成することができる。
【０１６１】
このとき、例えば、図１９に示したように、前記カメラ画像の配列を、前記テクスチャ配列の左下隅に合わせて転送した場合、前記カメラ画像の四隅の点{Ｈ_i ¹,Ｈ_i ²,Ｈ_i ³,Ｈ_i ⁴}はそれぞれ、前記テクスチャ座標では（0,0），（0,h/ht），（w/wt,h/ht），（w/wt,0）となる。また、前記投影ポリゴンの各頂点{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}の三次元座標と、前記カメラ画像の四隅の点{Ｈ_i ¹,Ｈ_i ²,Ｈ_i ³,Ｈ_i ⁴}の対応関係は、前記ステップ８０４ｒで求めているので、それを利用すれば、前記投影ポリゴンの各頂点{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}の各座標と前記テクスチャ座標の対応関係が得られる。
【０１６２】
前記投影ポリゴンの各頂点{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}の各座標と前記テクスチャ座標の対応関係が得られたら、次に、前記テクスチャ座標を格納する配列の透明度（Ａ）の設定をする（ステップ８０４ｕ）。このとき、前記配列の透明度（Ａ）は、前記投影面上の貼付領域Ｕ_ijに相当する領域が不透明になり、その他の領域が透明になるように設定する。このように設定することで、三次元ライブラリで描画するときに、前記貼付領域Ｕ_ijに含まれるテクスチャのみを描画することができる。
【０１６３】
次に、前記ステップ８０４ｒで設定した投影ポリゴンの各頂点{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}の位置を、前記カメラが配列されていない方向に移動させ、前記投影面上でのテクスチャ画像を拡大あるいは縮小する（ステップ８０４ｖ）。
【０１６４】
本実施例２の仮想視点画像の生成方法で、前記実施例１と同様の処理をするならば、前記カメラが配列されていない方向（Ｙ軸方向）に対しては、前記投影面群の代わりに、１つの投影面Ｌ^*を想定して座標計算処理を行う。このとき、例えば、図２０に示すように、投影面Ｌ_j上の点Ｇにテクスチャマッピングされている配列（画素）は、投影面Ｌ^*上では点Ｇ^*にテクスチャマッピングされる。そのため、前記配列（画素）は、前記仮想視点Ｐから見た画像の画像面ＰＰ上では点Ｉに描画される。
【０１６５】
そこで、前記投影面Ｌ_jを用いつつ、前記仮想視点Ｐから見た画像の画像面ＰＰの点Ｉに描画されるように、点ＧのＹ座標を点Ｇ’のＹ座標に更新する。
【０１６６】
このような処理を、前記投影ポリゴンの全ての頂点に付いて行えば、前記投影ポリゴンで囲まれるテクスチャは、前記投影面Ｌ^*を用いたかのように補正処理される。
また、前記点Ｇ’は、例えば、以下のような方法で簡単に求めることができる。
【０１６７】
まず、点Ｇに対応する視点Ｃ_iで撮影した画像の画像面ＣＰ_i上の点Ｈを投影面Ｌ^*上の点Ｇ^*に逆投影する。次に、点Ｇ^*を仮想視点Ｐの画像面ＰＰ上の点Ｉに投影する。最後に、点Ｉを投影面Ｌ_jに逆投影すれば、点Ｇ’が得られる。ここで、前記点Ｇ^*の投影は、例えば、前記数式７及び数式８に示した関係式に基づいて計算する。また、前記点Ｇ，Ｇ’の逆投影は、例えば、前記数式１２に示した関係式に基づいて計算する。
【０１６８】
なお、図２０では、前記投影ポリゴンの頂点が拡大するような例を示したが、前記仮想視点Ｐ、前記カメラの視点Ｃ_i、前記投影面Ｌ_j，Ｌ^*の位置関係によっては、前記投影ポリゴンの頂点を縮小する場合も考えられる。
【０１６９】
前記投影ポリゴンを縮小する場合も、前記拡大する場合と同様の処理を行えばよく、例えば、図２１に示すように、前記カメラの画像面ＣＰ_i上の点Ｈを投影面Ｌ^*上の点Ｇ^*に逆投影し、点Ｇ^*を仮想視点Ｐの画像面ＰＰ上の点Ｉに投影した後、点Ｉを投影面Ｌ_jに投影すれば、点Ｇ’が得られる。ここで、前記点Ｇ^*の投影は、例えば、前記数式７及び数式８に示した関係式に基づいて計算する。また、前記点Ｇ，Ｇ’の逆投影は、例えば、前記数式１２に示した関係式に基づいて計算する。
【０１７０】
前記各ステップの処理を終了したら、前記各ステップで設定した仮想視点Ｐ、投影ポリゴンの各頂点{Ｇ_ij ¹,Ｇ_ij ²,Ｇ_ij ³,Ｇ_ij ⁴}の位置、テクスチャからなる三次元シーンを、前記三次元ライブラリに設定すると、前記三次元ライブラリを用いて、前記グラフィックス・ハードウェア上で、前記座標変換処理及び前記走査変換処理が行われ、前記仮想視点Ｐにおける画像が生成される（ステップ８０４ｗ）。
【０１７１】
以上説明したように、本実施例２の仮想視点画像生成方法によれば、前記投影面群の投影面に逆投影した画像を拡大、あるいは縮小することで、前記投影面郡の投影面上の画像を、あたかも前記実施例１で説明した前記１つの投影面Ｌ^*にテクスチャマッピングした画像のように見えるようにすることができる。そのため、前記投影面を３次元空間上で表現できる構造にすることができ、汎用的なの三次元ライブラリを用いて、劣化の少ない仮想視点画像を高速に生成することができる。
【０１７２】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１７３】
例えば、前記実施例では、例えば、図１及び図２に示したように、直線状に配列したカメラ３で前記被写体２の画像を撮影したが、前記カメラ３は、直線状に限らず、例えば、円弧状に配列されていてもよい。
【０１７４】
また、前記カメラ３は、前記直線状や前記円弧状に限らず、前記一次元的な配列、言い換えると、１つの平面上にある直線または曲線に沿って配列された状態であればよい。すなわち、前記実施例では、前記各カメラの視点Ｃ_iが直線（Ｘ軸）上になるように配列しているが、必ずしもＸ軸上にある必要はない。
【０１７５】
また、前記実施例では、前記カメラ３は、一定の間隔で配列したが、これに限らず、不規則な間隔で配列されていてもよい。
【０１７６】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
【０１７７】
すなわち、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことができる。
【図面の簡単な説明】
【図１】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、装置の構成を示すブロック図である。
【図２】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【図３】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、処理全体のフロー図である。
【図４】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図５】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図６】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、色情報の転写方法を説明するための図である。
【図７】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、複数の投影面の設定方法を説明するための図である。
【図８】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図８（ａ）及び図８（ｂ）は貼り付け領域の設定方法を説明するための図である。
【図９】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図９（ａ）及び図９（ｂ）は貼り付け領域の設定方法を説明するための図である。
【図１０】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、仮想視点Ｐから見た画像を生成するステップの処理手順を示すフロー図である。
【図１１】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図１１（ａ）及び図１１（ｂ）は色情報を転写するステップを説明するための図である。
【図１２】本実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、生成した仮想視点画像の一例を示す図である。
【図１３】前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図１４】前記実施例１の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図１５】前記実施例１の仮想視点画像生成装置の変形例を説明するための図である。
【図１６】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、仮想視点Ｐから見た画像を生成するステップのフロー図である。
【図１７】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図１８】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図１９】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、テクスチャ配列内での画像の例を示す図である。
【図２０】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図２１】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図２２】従来の投影面が１つの場合の画像生成方法を説明するための模式図である。
【図２３】従来の投影面が複数の場合の画像生成方法を説明するための模式図である。
【図２４】従来の画像生成方法の課題を説明するための模式図である。
【符号の説明】
１…仮想視点画像生成装置、１０１…被写体画像取得手段、１０２…奥行き情報取得手段、１０３…仮想視点設定手段、１０４…画像生成手段、１０４ａ…投影面設定手段、１０４ｂ貼付領域設定手段、２…被写体、３…カメラ、４…奥行き情報計測手段、５…仮想視点入力手段、６…画像表示手段、７…利用者、８…カメラ設置面、Ｃ_i…カメラの視点、ＣＰ_i…カメラで撮影した画像の画像面、Ｌ_j，Ｌ^*…投影面、Ｐ…仮想視点、ＰＰ…仮想視点画像の画像面。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a virtual viewpoint image generation method, a virtual viewpoint image generation apparatus, a virtual viewpoint image generation program, and a recording medium, and more particularly, to a method for generating a virtual viewpoint image from images captured by a one-dimensionally arranged camera. It is related to effective technology when applied.
[0002]
[Prior art]
Conventionally, with the development of computer graphics (CG) and virtual reality (VR) technology, an image of an object (subject) in an image taken with a camera is viewed from a different viewpoint than the camera installation position. It has become possible to generate.
[0003]
Thus, an image when the subject is viewed from a viewpoint different from the installation position of the camera is called a virtual viewpoint image or an arbitrary viewpoint image, and various image generation methods have been proposed. In particular, an image generation method called IBR (Image-Based Rendering) can generate a very realistic virtual viewpoint image based on a real image of a subject.
[0004]
In the method of generating an image by the IBR, the virtual generation image is generated by the camera based on images taken from a large number of viewpoint positions. It is generated by image processing (see, for example, Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3).
[0005]
Further, the method for generating an image by the IBR assumes, for example, a geometric structure called a plane (hereinafter referred to as a projection plane) at a certain position of the subject, although the process of acquiring the model of the subject is not performed. In addition, there is a method of appropriately projecting a partial image according to a virtual viewpoint position among images from a large number of cameras (for example, see Non-Patent Document 4).
[0006]
In the method that assumes the projection plane, the viewpoint density required for the multi-viewpoint image data becomes so realistic that the cameras can be actually arranged, and the time until the multi-viewpoint image data is stored is shortened. Can do. For this reason, the processing time from the photographing of the subject image to the generation of the virtual viewpoint image is shortened, and the processing in real time becomes possible.
[0007]
In the method of assuming the projection plane, for example, as shown in FIG._i(I = 1, 2,..., N) are arranged so that the subject 2 is on the xy plane with z = 0 and in the negative Z-axis direction (Z <0) area can be photographed. At this time, the projection plane L₀Is the approximate position where the subject is (Z = −l₀) Further, the Z coordinate of the viewpoint (virtual viewpoint) P for viewing the subject 2 is set to Z_PThe distance between the virtual viewpoint P and the image plane PP of the image to be generated (the focal length of the perspective projection) is f, and the Z coordinate of the point Q on the subject 2 is l.
[0008]
At this time, the viewpoint C_iThe point Q on the subject 2 photographed by the camera placed on the projection plane L₀Projected to the upper point Q '. Therefore, when the virtual viewpoint image is generated, the point Q on the subject 2 becomes the virtual viewpoint P and the projection plane L as shown in FIGS. 22 (a) and 22 (b).₀It is displayed at the point PP1 where the straight line connecting the upper point Q 'and the image plane PP of the virtual viewpoint image intersect.
[0009]
However, when the point Q on the subject 2 is actually viewed from the virtual viewpoint P, the point Q is a point on the image plane PP as shown in FIGS. 22 (a) and 22 (b). A difference of Δp is generated between the point PP1 and the point PP1.
[0010]
At this time, the viewpoint C of the camera on the xy plane with Z = 0._iThe following relationship is established between the distance vector Δr of the ray connecting the virtual viewpoint P and the point Q ′ on the projection plane and the point shift Δp on the image plane PP.
[0011]
[Expression 1]
Δp = k (l₀) Δr
Here, k (l₀) Is defined as, for example, Equation 2 below.
[0012]
[Expression 2]

[0013]
That is, one projection plane (L₀), The constant l₀On the other hand, the error given by Equation 1 and Equation 2 occurs on the image plane PP of the virtual viewpoint image.
At this time, if the range (distance) in the depth direction of the subject 2 is large, the projection plane L₀The error of the point on the subject 2 that is away from the object becomes large. Therefore, there is a problem that it is difficult to generate a wide range of virtual viewpoint images.
[0014]
Therefore, in recent years, as a method capable of generating a wide range of virtual viewpoint images, a method of texture mapping a captured image on a plurality of projection surfaces having a multilayer structure has been proposed (for example, Japanese Patent Application No. 2002-318343). Issue).
[0015]
In the method of setting the plurality of projection planes, the viewpoint C of the camera_iDistance l from (Z = 0) to projection plane₀Is considered a variable and some projection plane L_jFrom among (j = 1, 2,..., M), a projection plane at a distance that minimizes the error on the image plane PP given by the formulas 1 and 2 is selected, and a point Q on the subject 2 is selected. Project.
[0016]
At this time, when the point Q on the subject is, for example, as shown in FIG._0FrontProjection plane L_FrontAnd l_0BackProjection plane L_Back, The point Q is projected (texture mapping) on the projection plane with the smaller shift Δp on the image plane PP of the virtual viewpoint image. Therefore, the coefficient k given by Equation 2 is Equation 3 or Equation 4 below.
[0017]
[Equation 3]
k (l_0Front) <0
[0018]
[Expression 4]
k (l_0Back)> 0
[0019]
That is, the point Q on the subject is moved to the front projection plane L._FrontTexture mapping to the rear projection plane L_BackDepending on whether texture mapping is performed, the sign of the coefficient k changes.
[0020]
At this time, the direction of the positional deviation Δp on the image plane PP of the virtual viewpoint image is reversed depending on which point the point Q on the subject at the intermediate point of each projection plane is texture mapped to. Therefore, there are portions where the projection plane to be texture-mapped is separated from the front and the rear, and a gap is generated in the generated image, the size of which is proportional to the size | Δr | of Δr.
[0021]
Here, when Equation 1 is divided into a component in the X-axis direction and a component in the Y-axis direction, Equations 5 and 6 below are obtained.
[0022]
[Equation 5]
Δp_x= K (l₀) Δr_x
[0023]
[Formula 6]
Δp_y= K (l₀) Δr_y
[0024]
At this time, the viewpoint C of the camera_iFor example, the interval ε in the X-axis direction_xIf it is arranged in the appropriate viewpoint C_iBy selecting and using an image shot with a camera of | Δr_x| ≦ ε_x/ 2, and Δp_xCan be within a certain range.
[0025]
Similarly, the viewpoint C of the camera_iFor example, the interval ε in the Y-axis direction_yIf it is arranged in the appropriate viewpoint C_iBy selecting and using an image shot with a camera of | Δr_y| ≦ ε_y/ 2, and Δp_yCan be within a certain range.
[0026]
[Non-Patent Document 1]
Marc Levoy and Pat Hanrahan: "Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
[Non-Patent Document 2]
Steven J. Gortler et al.:"The Lumigraph, "SIGGRAPH'96 Conference
Proceedings, pp.43-54, 1996
[Non-Patent Document 3]
Akihiro Katayama et al .: "View-following stereoscopic image display method by interpolation and reconstruction of multi-viewpoint images", IEICE Journal, Vol.J79-DII, No.5, pp.803-811, 1996
[Non-Patent Document 4]
Yutaka Kunida et al .: "Real-time system for generating arbitrary viewpoint images using multi-camera", IEICE Journal, Vol.J84-DII, No.1, pp.129-138, 2001
[0027]
[Problems to be solved by the invention]
However, the plurality of projection planes L described in the above prior art_jIn the method of generating a virtual viewpoint image by setting (j = 1, 2,..., M), for example, the projection plane L_jAnd projection plane L_{j + 1}If there is no texture image between, a gap is generated in the generated virtual viewpoint image. Therefore, there is a problem that the generated virtual viewpoint image is deteriorated.
[0028]
The camera (viewpoint C_i) Is sufficiently large, the gap generated in the virtual viewpoint image can be made inconspicuously small. However, the arrangement density of the cameras is limited. In addition, by increasing the array density of the cameras, it takes longer time to acquire images taken by the cameras and more time to generate the virtual viewpoint image, making it difficult to generate images at the real time level. There was also a problem. In addition, if the arrangement density of the cameras is increased, there is a problem that the installation cost increases because the system becomes larger correspondingly.
[0029]
In addition, when the virtual viewpoint image generation device is used in, for example, a video conference system or the like, the user's viewpoint (virtual viewpoint) often moves in the horizontal direction of the image, and does not move in the vertical direction. I don't do much. Thus, when the moving direction of the viewpoint is mainly one direction, an increase in installation cost can be suppressed by arranging the cameras one-dimensionally.
[0030]
The camera (viewpoint C_i) In a one-dimensional manner, for example, in the X-axis direction in which the cameras are arranged, in the X-axis direction in which the cameras are arranged, by using the arrangement interval of the cameras or images taken with an appropriate camera, the virtual Positional deviation Δp on the image plane PP of the viewpoint image_xCan be kept within a certain range.
[0031]
However, since there is no room for selecting an appropriate image in the Y-axis direction where the cameras are not arranged, the magnitude of the distance vector | Δr_y| Has a large value around the angle of view, that is, at the edge of the image. Therefore, as shown in FIG. 24, the virtual viewpoint image has a problem that a gap that is seen when scanning in the Y-axis direction where the camera is not arranged becomes large.
[0032]
An object of the present invention is to provide a technique capable of preventing a gap from being generated in a direction in which the cameras are not arranged when generating a virtual viewpoint image from an image taken by a camera arranged one-dimensionally. There is to do.
Another object of the present invention is a program capable of preventing a gap from occurring in a direction in which the camera is not arranged when generating a virtual viewpoint image from an image photographed by a one-dimensionally arranged camera. And providing a recording medium.
The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
[0033]
[Means for Solving the Problems]
The outline of the invention disclosed in the present application will be described as follows.
[0034]
(1) a step of acquiring images of a subject photographed by a plurality of cameras arranged along a straight line or a curve on the same plane; a step of obtaining depth information of the subject; A virtual viewpoint), and texture mapping the subject image onto a projection plane to generate an image when the subject is viewed from the virtual viewpoint (hereinafter referred to as a virtual viewpoint image). And generating the virtual viewpoint image includes a first step of setting a projection plane group composed of a plurality of projection planes and one projection plane, and A second step of setting a region to which the subject image is pasted on the projection plane; and texture mapping of the subject image to each projection plane of the projection plane group A third step for obtaining a point on the image of the subject corresponding to the point on the virtual viewpoint image, and a point on the virtual viewpoint image when the image of the subject is texture-mapped to the one projection plane. A fourth step of obtaining a point on the subject image corresponding to the component, and a component in the direction in which the cameras are arranged at the point on the subject image obtained using the projection plane group on the subject image And color information of a point consisting of a component on the image of the subject obtained using the one projection plane in a direction in which the camera is not arranged is transferred to a point on the virtual viewpoint image. A virtual viewpoint image generation method characterized by comprising steps.
[0035]
According to the means of (1), the component in the direction in which the camera is not arranged of the point on the virtual viewpoint image is obtained from the one projection plane. Therefore, although an error in positional deviation occurs on the image plane of the virtual viewpoint image, it continuously changes over the entire image plane, so when the virtual viewpoint image is scanned in a direction in which the camera is not arranged. It is possible to prevent the visible gap from becoming large.
[0036]
In addition, since the component in the direction in which the cameras are arranged is obtained from the plurality of projection planes, it is possible to reduce an error in positional deviation of the virtual viewpoint image on the image plane. Therefore, one-dimensional, in other words, it is possible to reduce the deterioration of the virtual viewpoint image generated from the images photographed by the cameras arranged along the straight line or the curve on the same plane.
[0037]
At this time, for example, the camera may be in a state arranged along a straight line or a curve on the same plane, and the image of the subject may be taken by a camera arranged in a straight line, You may image | photograph with the camera arranged in the arc. Further, the intervals of the arrangement of the cameras may be equal intervals or irregular intervals.
[0038]
(2) In the means of (1), the fourth step includes a step of back projecting the image of the subject onto a projection surface of the projection surface group, a step of securing a two-dimensional array for texture mapping, The step of associating the coordinates of the vertices of the image back-projected on the projection plane with the coordinates of the two-dimensional array, the projection plane of the one projection plane and the projection plane group, and the positional relationship of the virtual viewpoint And enlarging or reducing the back-projected image on the projection plane.
[0039]
According to the means of (2) above, by enlarging or reducing the backprojected image on the projection surface of the projection surface group, the image of the projection surface of the projection surface group is backprojected onto the one projection surface. The image can be made to appear as if it were an image.
[0040]
Therefore, each projection plane can be structured to be expressed in a three-dimensional space. For example, a high-speed virtual viewpoint image generation process can be performed using a general-purpose three-dimensional library such as OpenGL or DirectX. Can do.
[0041]
(3) subject image acquisition means for acquiring images of a subject photographed by a plurality of cameras arranged along a straight line or a curve on the same plane; depth information acquisition means for acquiring depth information of the subject; Image generating means for texture-mapping an image of a subject on a projection plane and generating an image (hereinafter referred to as a virtual viewpoint image) when the subject is viewed from an arbitrary viewpoint (hereinafter referred to as a virtual viewpoint); In the virtual viewpoint image generation device, the image generation unit includes a projection plane group including a plurality of projection planes, a projection plane setting unit that sets one projection plane, and the projection plane of the projection plane group. Based on the pasting area setting means for setting the area where the subject image is pasted, the projection plane set by the projection plane setting means, and the pasting area set by the pasting area setting means, the subject A rendering unit that texture-maps an image to the projection plane and converts the image into the virtual viewpoint image, and the rendering unit texture-maps the image of the subject to each projection plane of the projection plane group; A first corresponding point calculating means for obtaining a point on the image of the subject corresponding to a point on the virtual viewpoint image; and when the image of the subject is texture-mapped on the one projection plane, Second corresponding point calculating means for obtaining a point on the image of the subject corresponding to the point, and the camera of the point on the image of the subject obtained using the projection plane group on the image of the subject. Color information of a point consisting of a component in a certain direction and a component in a direction in which the camera is not arranged at a point on the image of the subject obtained using the one projection plane, A virtual viewpoint image generation apparatus and a color information transfer means for transferring the point above.
[0042]
The means (3) is an apparatus for generating the virtual viewpoint image using the virtual viewpoint image generation method of the means (1). Therefore, by providing each of the above means, even when the cameras are arranged one-dimensionally, it is possible to reduce the gap that is seen when the virtual viewpoint image is scanned in the direction in which the cameras are not arranged. . Further, the direction in which the cameras are arranged can reduce the positional deviation on the image plane. Therefore, the deterioration of the virtual viewpoint image can be reduced.
[0043]
(4) In the means of (3), the second corresponding point calculating means secures a back projection means for back projecting the image of the subject onto the projection plane of the projection plane group, and a two-dimensional array for texture mapping. Texture arrangement securing means, associating means for associating the coordinates of the vertices of the image back-projected on the projection plane and the coordinates of the two-dimensional array, the projection plane of the one projection plane and the projection plane group, And scale changing means for enlarging or reducing the backprojected image on the projection plane based on the positional relationship of the virtual viewpoint.
[0044]
According to the means of (4), the second corresponding point calculating means includes the respective means so that an image back-projected onto the projection plane of the projection plane group is back-projected onto the one projection plane. The image can be made to appear as if it were an image.
[0045]
For this reason, each projection plane can be structured to be expressed in a three-dimensional space. For example, a general-purpose three-dimensional library such as OpenGL or DirectX can be used to support commercially available graphics hardware and libraries. High-speed generation processing of the virtual viewpoint image can be performed by software (driver).
[0046]
(5) A virtual viewpoint image generation program for causing a computer to execute each step of the virtual viewpoint image generation method of the means (1) or (2).
[0047]
According to the means (5), it is possible to cause the computer to execute the virtual viewpoint image generation processing. Therefore, a virtual viewpoint image with little deterioration can be generated at high speed without using a dedicated device.
[0048]
(6) The virtual viewpoint image generation program of the means of (5) is a recording medium recorded in a computer-readable state.
According to the means (6), by distributing the recording medium, a virtual viewpoint image with little deterioration can be easily generated without using a dedicated device.
[0049]
Hereinafter, the present invention will be described in detail together with embodiments (examples) with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same function are given the same reference numerals and their repeated explanation is omitted.
[0050]
DETAILED DESCRIPTION OF THE INVENTION
Example 1
1 and 2 are schematic diagrams showing a schematic configuration of a virtual viewpoint image generation device according to a first embodiment of the present invention, FIG. 1 is a block diagram showing the configuration of the device, and FIG. 2 uses the virtual viewpoint image generation device. It is a figure which shows the structural example of the installed system.
[0051]
1 and 2, 1 is a virtual viewpoint image generation device, 101 is a subject image acquisition unit, 102 is depth information acquisition unit, 103 is a virtual viewpoint setting unit, 104 is an image generation unit, 104a is a projection plane determination unit, 104b. Is a pasting area setting means, 104c is a rendering means, 2 is a subject, 3 is a camera, 4 is depth information measurement means, 5 is a virtual viewpoint input means, 6 is an image display means, and 7 is a user.
[0052]
As illustrated in FIG. 1, the virtual viewpoint image generation apparatus 1 according to the first embodiment includes a subject image acquisition unit 101 that acquires an image of a subject 2 and depth information acquisition that acquires depth information (surface shape) of the subject 2. Means 102, virtual viewpoint setting means 103 for setting the viewpoint of the image to be generated (hereinafter referred to as a virtual viewpoint), and the image of the subject 2 and the depth information of the subject 2 viewed from the virtual viewpoint. The image generating unit 104 generates an image (hereinafter referred to as a virtual viewpoint image).
[0053]
In addition, the image generation unit 104 includes a projection plane setting unit 104a that sets a projection plane from the depth information of the subject 2 and the virtual viewpoint, and the subject on the projection plane based on the depth information of the subject 2. Image of the subject 2 based on the pasting area setting means 104b for setting the area where the second image is pasted, the projection plane set by the projection plane setting means 104a, and the pasting area set by the pasting area setting means 104b. Is attached to the projection plane (texture mapping) and converted into the virtual viewpoint image.
[0054]
In the first embodiment, the image of the subject 2 is, for example, as shown in FIGS. 1 and 2, in which the four cameras 3 are arranged one-dimensionally, in other words, in a line in one direction. The images are arranged and arranged at intervals, and are acquired by the subject image acquisition means 101. Here, the space in which the cameras 3 are arranged is a three-dimensional space in which the camera arrangement direction is the X axis as shown in FIG. In FIG. 1 and FIG. 2, four cameras are arranged in the first embodiment. However, the number of cameras is not necessarily four, and N cameras (N is an integer of 2 or more) are included. It only needs to be arranged in one direction.
[0055]
Further, the depth information of the subject 2 is measured by the depth information measuring unit 4 installed in the vicinity of the camera 3 and acquired by the depth information acquiring unit 102, for example, as shown in FIGS. . For the depth measuring means 4, for example, a measuring device using a TOF (Time Of Flight) method is used. Further, instead of the depth measuring means 4, a camera capable of taking an image (color information) of the subject 2 and measuring the surface shape may be used as one of the cameras 3.
[0056]
The virtual viewpoint setting unit 103 sets the position, direction, angle of view, etc. of the virtual viewpoint based on information input from the virtual viewpoint input unit 5 such as a mouse or a keyboard. At this time, the virtual viewpoint can be set at any position, not limited to the position where the camera 3 is placed, as long as it is within the range allowed by the virtual viewpoint setting means 103.
[0057]
An image generated by the virtual viewpoint image generation device 1 (hereinafter referred to as a virtual viewpoint image) is displayed by image display means 6 such as a CRT display or a liquid crystal display, for example.
[0058]
3 to 6 are schematic diagrams for explaining the principle of the virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment. FIG. 3 is a flowchart of the entire processing, and FIGS. FIG. 5 is a diagram for explaining a projection plane setting method, and FIG. 6 is a diagram for explaining a color information transfer method.
[0059]
When the virtual viewpoint image is generated using the virtual viewpoint image generation apparatus according to the first embodiment, a technique called IBR (Image-Based Rendering) is used. The IBR performs texture mapping of a part of the image acquired by the subject image acquisition unit 101 on a projection plane set in a three-dimensional space on a computer, and the projection plane is determined from a virtual viewpoint set by the virtual viewpoint setting unit 103. This is a method of generating a viewed image by coordinate calculation processing.
[0060]
When a virtual viewpoint image is generated by the IBR using the virtual viewpoint image generation apparatus according to the first embodiment, first, as shown in FIG. 3, the virtual viewpoint P, that is, the viewpoint position, direction, and image of the generated image are displayed. A corner or the like is set (step 801). The position, direction, angle of view, etc. of the virtual viewpoint P are set by the virtual viewpoint setting means 103 based on information input from the virtual viewpoint input means 5.
[0061]
Next, for example, a projection plane is set on a three-dimensional space assumed on the computer (step 802). The projection plane is set by a projection plane setting unit 104 a provided in the image generation unit 104 of the virtual viewpoint image generation apparatus 1.
[0062]
In the case where the virtual viewpoint image generation device 1 according to the first embodiment is used, in the step 802 (projection plane setting unit 140a), for example, as shown in FIG._jA projection plane group consisting of (j = 1, 2,..., M) and one projection plane L as shown in FIG.^*The two types of projection planes are set. The projection plane group and the one projection plane L^*The setting method will be described later.
[0063]
After the two types of projection planes are set in the step 802 (projection plane setting means 104a), the image of the subject 2 on each projection plane of the projection plane group is then set by the pasting area setting means 104b. Area U to paste_ijIs set (step 803). Region U for pasting the subject image_ijThe setting method will be described later.
[0064]
Thereafter, the rendering unit 104c generates an image when the subject is viewed from the virtual viewpoint image P (step 804).
[0065]
At this time, in step 804 (rendering means 104c), first, when texture mapping is performed on the subject image on the projection plane group, the image of the subject corresponding to a point on the image plane PP of the virtual viewpoint image is displayed. Find a point on the image plane. At this time, the point (x, y) on the image plane PP of the image viewed from the virtual viewpoint P is the projection plane L of the projection plane group as shown in FIG._jIt corresponds to the upper point (X, Y, Z) and the projection plane L_jThe upper point (X, Y, Z) has viewpoint C_iThe image plane CP of the image of the subject 2 photographed by the camera 3 arranged in_iTop point (x_i, y_i) Is pasted.
[0066]
Next, the one projection plane L^*, The viewpoint C corresponding to the same point (x, y) on the image plane PP of the virtual viewpoint image_iThe image plane CP of the image of the subject 2 photographed by the camera 3 arranged in_iTop point (x_i ^*, y_i ^*)
[0067]
Image plane CP of the image of subject 2_iEach point above (x_i, y_i), (X_i ^*, y_i ^*), For example, the points (X, Y, Z), (X when the point (x, y) of the virtual viewpoint image PP is back-projected onto the projection plane.^*, Y^*, Z^*) Is the image plane CP of the image of the subject 2_iProject to.
[0068]
In general, from a point (X, Y, Z) in a three-dimensional space, such as a point on the projection plane, an image plane CP of the subject image._iA point on a two-dimensional plane (x_i, y_i) Can be expressed by a determinant as shown in Equation 7 below.
[0069]
[Expression 7]

[0070]
Here, s on the left side of Equation 7 is an auxiliary coefficient. In addition, Φ in Equation 7 is a transformation matrix, which is given by a 3 × 4 matrix as shown in Equation 8 below.
[0071]
[Equation 8]

[0072]
At this time, for example, a matrix Φ representing the perspective projection transformation with the focal length f centered on the origin₀Is given by Equation 9 below.
[0073]
[Equation 9]

[0074]
On the other hand, when a point (x, y) on a two-dimensional plane such as a point on the image plane of the virtual viewpoint image is back-projected to a point (X, Y, Z) on the three-dimensional space, There are an infinite number of points that satisfy Equations 7 and 8. Among them, when back projection is performed on the projection plane set in the three-dimensional space, if the expression representing the projection plane is aX + bY + cZ + d = 0, the vector expression can be expressed as the following Expression 10.
[0075]
[Expression 10]

[0076]
Here, the mathematical formula 7, the mathematical formula 8, and the mathematical formula 10 are summarized as the following mathematical formula 11.
[0077]
## EQU11 ##

[0078]
Therefore, when the equation 11 is solved for (X, Y, Z), the point (x, y) on the image plane PP of the virtual viewpoint image is represented by the projection plane L._jYou can backproject to the upper point (X, Y, Z). Here, if the matrix of 4 rows and 4 columns on the right side of Equation 11 has an inverse matrix, Equation 11 can be expressed as Equation 12 below by setting s ′ = 1 / s. L_jThe upper point (X, Y, Z) is determined.
[0079]
[Expression 12]

[0080]
Viewpoint C_iImage plane CP of the image taken with the camera installed in_iTop point (x_i, y_i) And point (x_i ^*, y_i ^*) Is calculated using the projection plane group (x_i, y_i) In the direction in which the cameras are arranged, and the point (x_i ^*, y_i ^*) Is regarded as a point corresponding to a point (x, y) on the image plane PP of the virtual viewpoint image, and color information is transferred. At this time, if the direction in which the cameras are arranged is the X-axis direction of the three-dimensional space, and the direction in which the cameras are not arranged is the Y-axis direction, as shown in FIG._i, y_i) X component (x_i) And point (x_i ^*, y_i ^*) Y component (y_i ^*) (X_i, y_i ^*) Color information is transferred to the point (x, y) on the image plane PP of the virtual viewpoint image.
[0081]
Further, the image photographed by the camera and the virtual viewpoint image are so-called digital images, and the position and color information of pixels having a finite area are represented by a two-dimensional array on the memory. Here, the coordinate system (u, v) indicating the position of the pixel array is referred to as a digital image coordinate system.
[0082]
At this time, for example, if the size of the virtual viewpoint image is 640 pixels × 480 pixels, the position of each pixel constituting the virtual viewpoint image is a variable u that takes any integer value from 0 to 639. And a variable v taking any integer value from 0 to 479. The color information of each pixel is represented by data obtained by quantizing information of red (R), green (G), and blue (B) at the address (u, v) of the pixel with 8 bits or the like. .
[0083]
At this time, the digital image coordinates (u, v) and the normal image coordinates (x, y) are associated with each other in one-to-one relationship, and for example, there is a relationship represented by Equation 13 below.
[0084]
[Formula 13]

[0085]
In Equation 13, the x axis and the u axis are parallel, and the unit length of the u axis and the v axis is k based on the (x, y) coordinate system._u, K_vAnd the angle between the u axis and the v axis is θ.
[0086]
When writing and reading information of each pixel of the two-dimensional array, the digital image coordinate system (u, v) takes discrete values, but in the following description, it takes continuous values unless otherwise noted. It is assumed that an appropriate discretization process is performed when accessing the information of each pixel.
[0087]
In addition, in the coordinate conversion between the digital image coordinates and the image coordinates, it is possible to perform conversion in consideration of, for example, lens distortion in addition to the relationship of Expression 13.
[0088]
In this way, the image plane CP of the image taken by the camera_iTop point (x_i, y_i ^*) Corresponding to the pixel (u_i, v_i) Color information is extracted, and the extracted color information is transferred to a pixel (u, v) corresponding to a point (x, y) on the image plane PP of the virtual viewpoint image, a virtual viewpoint image is obtained. It is done.
[0089]
Hereinafter, a method for generating a virtual viewpoint image using the virtual viewpoint image generating apparatus according to the first embodiment will be described in detail including the method for setting the projection plane and the pasting area.
[0090]
7 to 12 are schematic diagrams for explaining a method for generating a virtual viewpoint image using the virtual viewpoint image generating apparatus according to the first embodiment, and FIG. 7 is a diagram for explaining a method for setting a plurality of projection planes. 8A, FIG. 8B, FIG. 9A and FIG. 9B are diagrams for explaining a method for setting the pasting area, and FIG. 10 is an image viewed from the virtual viewpoint P. FIG. 11 (a) and FIG. 11 (b) are diagrams for explaining the step of transferring color information, and FIG. 12 is a diagram showing an example of the generated virtual viewpoint image. It is.
[0091]
In order to generate the virtual viewpoint image using the virtual viewpoint image generation apparatus 1 according to the first embodiment, first, the subject image acquisition unit 101 acquires the image of the subject 2 and the depth information acquisition unit 102. To obtain the depth information of the subject 2.
[0092]
At this time, the image of the subject 2 is captured and acquired by the N cameras 3 arranged one-dimensionally. At this time, the camera 3_i(I = 1, 2,..., N) are arranged so as to be aligned on a straight line (on the X axis), for example, as shown in FIG.
[0093]
Further, the depth information of the subject 2 is measured and acquired by the depth information measuring device 4 installed in the vicinity of the camera 3.
[0094]
In order to generate the virtual viewpoint image in a state where the image of the subject and the depth information are acquired, first, as shown in FIG. 3, the position, direction, angle of view, etc. of the virtual viewpoint P are set (step) 801). The step 801 is performed by the virtual viewpoint setting unit 103, and information necessary for determining the virtual viewpoint P is input from the virtual viewpoint input unit 5.
[0095]
At this time, if an input device such as a mouse or a keyboard is used as the virtual viewpoint input means 5, the user 7 directly receives information on the virtual viewpoint P while viewing the image display means (display) 6. Can be set to
[0096]
Further, as the virtual viewpoint input means 5, for example, if a sensor arranged around a user or a sensor attached to the user 7 is used, the position of the user 7 is detected and the virtual viewpoint P is determined. It can also be set.
[0097]
Further, if another device or computer program is used as the virtual viewpoint input means 5, the virtual viewpoint P can be automatically set.
[0098]
Once the position of the virtual viewpoint P is set, a projection plane on which the subject image is pasted is set in a three-dimensional space (step 802). Step 802 is performed by the projection plane setting means 104a. At this time, in the step 802, for example, as shown in FIGS._jA projection plane group consisting of (j = 1, 2,..., M) and one projection plane L^*Set.
[0099]
In the first embodiment, in order to simplify the description, the three-dimensional space for setting the projection plane is, for example, the camera 3 (viewpoint C as shown in FIGS. 4 and 5._i) Is the X-axis direction, and the non-arranged direction is the Y-axis direction. Also, each projection plane L_j, L^*Is assumed that the normal direction is parallel to the Z-axis. At this time, as shown in FIGS. 4 and 5, the Z-axis is in the direction from each projection plane toward the camera 3, and the projection plane L_jSet distance is Z = -l_j, The projection plane L^*Set distance is Z = -l^*It will be expressed as
[0100]
At this time, the projection plane L of the projection plane group_jIs set to satisfy the following conditions, for example.
[0101]
When an image partially extracted from the image of the subject is pasted on the projection plane as in the first embodiment, for example, the viewpoint C of the camera_iIf an actual distance from a certain plane (hereinafter referred to as a camera installation plane) 8 to a point on the subject 2 is different from a distance from the camera installation plane 8 to the projection plane, an error occurs on the generated image. . Therefore, the maximum value of error allowed to satisfy the accuracy required for the virtual viewpoint image is assumed to be δ.
[0102]
At this time, a point on the subject 2 at a distance l from the camera installation surface 8 is the projection plane L._jIf the distance l satisfies the conditions expressed by the following formula 1, formula 2, and formula 3, the point on the subject at the position of the distance l and the projection plane L_jIt is guaranteed that the error of the upper point is smaller than the maximum value δ.
[0103]
[Expression 14]

[0104]
[Expression 15]

[0105]
[Expression 16]

[0106]
In Equation 14, fl_jAnd bl_jIs the projection plane L_jAnd the distance l from the camera installation surface 8 is fl in the subject image._jTo bl_jA point (part) between the image projection plane L_jIs pasted.
[0107]
In Equations 15 and 16, Z_PIs the distance from the camera installation surface 8 to the virtual viewpoint P, f is the focal length of the camera, ε is the camera installation interval, and δ is the maximum allowable error. At this time, the position of the virtual viewpoint P is determined with respect to the projection plane L with respect to the camera installation plane 8._jIt is assumed that the direction is opposite to the direction in which is provided. Further, the image of the subject and the projection plane L_jThe mapping between is a perspective projection.
[0108]
At this time, the projection plane L_jOf these, the projection plane L closest to the camera installation plane 8₁In the pasted image (point), when the actual point on the subject 2 is within the depth range given by the equation 1, the projection plane L₁The position error above can be made smaller than the maximum value δ. Therefore, each projection plane L_jOn the other hand, the virtual viewpoint image can be generated within a certain error range by setting the condition of the mathematical expression 14 and arranging the conditions so as to cover the entire depth range in which the subject 2 exists.
[0109]
The fl_jAnd bl_j, And from the camera installation surface 8 to the projection surface L_jDistance to_jIs set, first, for example, as shown in FIG. 7, the minimum value lmin of the depth information is set to fl.₁And At this time, the projection surface L₁Distance l₁Will be determined. The projection plane L₁Distance l₁Is determined, the above formula 16 shows bl₁Is decided.
[0110]
Next projection plane L₂, As shown in FIG.₂= Bl₁And the projection plane L using Equation 15 and Equation 16₂Distance l₂And bl₂Decide.
[0111]
Hereinafter, sequentially fl_{j + 1}= Bl_jRepeat the calculation as_jUntil the projection surface L becomes larger than the maximum value lmax of the depth information of the subject 2 or becomes infinite._jWill be set.
[0112]
For the minimum value lmin and the maximum value lmax of the depth information of the subject, instead of using the depth information acquired by the depth information acquisition unit 102, for example, a depth range in which the subject 2 moves is assumed in advance, and the information May be used.
[0113]
The projection plane L_jIn this setting method, the setting process may be performed every time the virtual viewpoint P is updated, or the range in which the virtual viewpoint P moves is limited in advance, and the allowable error is limited within the limited range. The maximum value δ may be set based on the severest (small) value.
[0114]
Further, the projection plane L with respect to the direction in which the cameras are not arranged (Y-axis direction)^*Is, for example, the projection plane L with respect to the X-axis direction._jSet to match one of In addition, for example, the projection plane L with respect to the X-axis direction is used._jThe set distance may be set to an average distance.
[0115]
In addition, the method using the said Formula 14 thru | or Formula 16 is each projection surface L of the said projection surface group._jThis is an example of the setting method, and can be set by other methods.
[0116]
Each projection plane L_j, L^*Are set, next, the image of the subject is displayed on each projection plane L._j, L^*Each texture plane L_j, L^*Above, viewpoint C_iAn area shared by an image captured by the camera, in other words, each projection plane L_j, L^*A region (hereinafter referred to as a pasting region) U on which the subject image is pasted_ijIs set (step 803).
[0117]
The pasting area U_ijFirst, for example, as shown in FIG. 8A, the viewpoint C is set._iVoronoi region V_iAnd the Voronoi region V around the virtual viewpoint P_iProjection plane L_jProjected area W_ijAsk for. On the other hand, as shown in FIG._iProjection plane L when measured from_jSharing area S_ijAsk for.
[0118]
The pasting area U_ij9 (a) and 9 (b), the region W_ijAnd the sharing area S_ijIs given by Equation 17 below.
[0119]
[Expression 17]
U_ij= W_ij∩S_ij
Note that the setting method as shown in FIGS. 9A and 9B and Equation 17 is applied to the pasting region U._ijThis is an example of the setting method, and can be set by other methods.
[0120]
Projection plane L_j, L^*And the pasting area U_ijWhen the above setting is completed, the virtual viewpoint image is generated (step 804).
[0121]
The virtual viewpoint image is, for example, a digital image having w pixels in the horizontal (u-axis) direction and h pixels in the vertical (v-axis) direction. Therefore, the virtual viewpoint image can be generated by obtaining color information at each pixel (u, v) of the digital image. At this time, the color information of each pixel (u, v) represents, for example, each color of R (red), G (green), and B (blue) as an 8-bit value.
[0122]
In order to generate the virtual viewpoint image, as shown in FIG. 10, first, variables u and v indicating pixels (u, v) of the virtual viewpoint image, the projection plane L_jJ, the camera viewpoint C_iAre initialized (steps 804a, 804b, and 804c). At this time, the variables u and v are set to u = 0 and v = 0, for example. Further, the variable i and the variable j are, for example, i = 1 and j = 1, respectively.
[0123]
Next, a point (x, y) on the image plane PP of the virtual viewpoint image corresponding to each pixel (u, v) of the virtual viewpoint image is obtained (step 804d). The point (x, y) on the image plane PP is obtained based on the equation 13, for example.
[0124]
Next, the point (x, y) on the image plane PP of the virtual viewpoint image is set as the projection plane L of the projection plane group._jTo the projection plane L corresponding to the point (x, y) on the image plane PP._jThe upper point (X, Y, Z) is obtained (step 804e). Projection plane L_jThe upper point (X, Y, Z) is obtained based on, for example, the formula 11.
[0125]
Next, the projection plane L_jThe upper point (X, Y, Z) is the viewpoint C_iThe projection plane L of the image taken by the camera_jSticking area U_ij(Step 804f). Here, the pasting region U_ijIf it is included, the process proceeds to the next step 804g. In addition, the pasting area U_ijIf not included, the subsequent steps are skipped and the process proceeds to step 804l.
[0126]
Projection plane L_jThe upper point (X, Y, Z) is the pasting area U_ijIn the next step 804g, the point (x, y) on the image plane PP of the virtual viewpoint image is converted into the one projection plane L.^*Back-projected onto the point (X, y) corresponding to the point (x, y)^*, Y^*, Z^*) Projection plane L^*Back projection onto the projection plane L_jIn the same manner as the backprojection to the image, the above equation 11 may be used.
[0127]
Next, the projection plane L_jView point C (X, Y, Z)_iImage plane CP of the image taken with the camera_iA point (x, projected above and corresponding to the point (X, Y, Z)_i, y_i) Is obtained (step 804h). The projection processing in step 804h may be performed using, for example, the determinants represented by the above formulas 7 and 8, and detailed description thereof will be omitted.
[0128]
Next, the projection plane L^*Top point (X^*, Y^*, Z^*) Is the image plane CP of the subject image_iProjected above and said point (X^*, Y^*, Z^*) (X)_i ^*, y_i ^*) Is obtained (step 804i). Since the projection processing in step 804i may be performed using, for example, the determinants represented by the following formulas 7 and 8, detailed description thereof will be omitted.
[0129]
Next, as shown in FIG. 6, the point (x_i, y_i) And the point (x_i ^*, y_i ^*) Of the y component (x)_i, y_i ^*) Corresponding to the viewpoint C)_iImage plane CP of a digital image taken with a camera_iUpper pixel (u_i, v_i) Is obtained (step 804j). The step 804j may be performed based on, for example, the mathematical formula 13, and a detailed description thereof will be omitted.
[0130]
Next, as shown in FIG._iImage plane CP of a digital image taken by a camera installed in_iPixels (u_i, v_i) Is transferred to the color information in the pixel (u, v) on the image plane PP of the virtual viewpoint image as shown in FIG. 11B (step 804k).
[0131]
Then, the viewpoint C_iThe variable i is updated (step 804l), and the viewpoint C where the color information has not been transferred has been updated._iIt is checked whether there is an image photographed by the camera (step 804m). Viewpoint C where color information has not been transferred_iIf there is an image of step 804e, the process returns to step 804e, and processing from step 804e to step 804k is performed.
[0132]
All viewpoints C_iIf the transfer of the color information has been completed in this image, this time the projection plane L_jThe variable j is updated (step 804n), and it is checked whether there is a projection plane not subjected to the above processing (step 804o). If there is a projection surface that has not been processed, the process returns to step 804c, and the processes from step 804c to step 804k are performed.
[0133]
Then, this time, the pixel (u, v) of the virtual viewpoint image is updated (step 804p), and it is checked whether processing has been performed for all the pixels (step 804q). If there is an unprocessed pixel (u, v), the process returns to step 804b and the processes from step 804b to step 804k are performed.
[0134]
When all of the above processes are completed, for example, the virtual viewpoint image as shown in FIG. 12 is obtained and displayed on the image display means 6. At this time, the Y-axis direction component of each point (pixel) of the virtual viewpoint image, that is, the component in the direction in which the camera 3 is not arranged is obtained by texture mapping on one projection plane. Therefore, the component in the Y-axis direction changes continuously over the entire image plane, and as shown in FIG. 12, when the virtual viewpoint image is scanned in the Y-axis direction, the image gap is very small. Become.
[0135]
As described above, according to the virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment, the components in the direction in which the cameras are arranged at the points on the virtual viewpoint image have a plurality of projections. Surface L_jThe component in the direction in which the cameras are not arranged is obtained as one projection plane L.^*By using this, it is possible to prevent the generated virtual viewpoint image from generating a gap in the direction in which the camera is not arranged. Therefore, even when the cameras are arranged one-dimensionally, it is possible to reduce the deterioration of the virtual viewpoint image.
[0136]
The virtual viewpoint image generation apparatus 1 according to the first embodiment is a computer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), and the like. May be. In that case, a program that causes the computer to execute the steps of the processes shown in FIGS. 3 and 10 may be recorded in, for example, the HDD or the ROM. Further, the program may be recorded on a recording medium such as a CD-ROM instead of being recorded on the HDD or the ROM, or may be recorded on a server on the Internet, and the network such as the recording medium or the Internet. Can also be provided. Therefore, a virtual viewpoint image with little deterioration can be easily generated without using a dedicated device.
[0137]
13 and 14 are diagrams for explaining an application example of the virtual viewpoint image generation method using the virtual viewpoint image generation apparatus of the first embodiment.
[0138]
In the first embodiment, as shown in FIG._j, L^*The X-axis direction and the Y-axis direction of the three-dimensional space for setting the image and the x-axis direction and the y-axis direction of the virtual viewpoint image have been described as examples, but actually, FIG. 13 and FIG. As shown in FIG. 3, the X-axis direction and the Y-axis direction of the three-dimensional space may not coincide with the x-axis direction and the y-axis direction of the virtual viewpoint image. In such a case, for example, as shown in FIG. 14, an image plane that assumes an x ′ axis and a y ′ axis that coincide with the X axis direction and the Y axis direction of the three-dimensional space is assumed. In accordance with the procedure described in 1, the point (x ′, y ′) on the image plane of the virtual viewpoint image and the point (x_i', (y_i ^*) ′), The coordinates of the point (x ′, y ′) may be converted to the point (x, y).
[0139]
FIG. 15 is a diagram for explaining a modification of the virtual viewpoint image generation device according to the first embodiment.
[0140]
In the virtual viewpoint image generation apparatus according to the first embodiment, the depth information acquisition unit 102 acquires the result measured by the depth measurement unit 4, but the present invention is not limited to this. For example, as shown in FIG. The depth information may be calculated using the image acquired by the subject image acquisition unit 101. At this time, the depth information acquisition unit 102 calculates depth information by, for example, stereo matching (for example, Okutomi, Kinde, “Stereo matching using a plurality of baseline lengths”, IEICE Journal D-II, no.8, pp.1317-1327, 1992).
[0141]
(Example 2)
16 and 21 are schematic diagrams for explaining the virtual viewpoint image generation method according to the second embodiment of the present invention. FIG. 16 is a flowchart of steps for generating an image viewed from the virtual viewpoint P, and FIGS. 18 is a diagram for explaining a method for setting a projected polygon, FIG. 19 is a diagram for illustrating an example of an image in a texture array, and FIGS. 20 and 21 are diagrams for explaining a method for correcting a vertex of a projected polygon. is there.
[0142]
Since the virtual viewpoint image generation device according to the second embodiment has the same configuration as the virtual viewpoint image generation device 1 described in the first embodiment, detailed description thereof is omitted.
[0143]
In the virtual viewpoint image generation method using the virtual viewpoint image generation device 1 of the first embodiment, as shown in FIGS._jA projection plane group consisting of (j = 1, 2,..., M) and one projection plane L^*These two types of projection planes were set to generate a virtual viewpoint image. This is because perspective projection conversion is performed on the assumption that there are a plurality of projection surfaces in the direction in which the cameras are arranged and that there is one projection surface in the direction in which the cameras are not arranged. There is no such geometric figure in an actual three-dimensional space. Therefore, for example, if a general-purpose three-dimensional library such as OpenGL or DirectX is used, it is difficult to handle coordinates.
[0144]
In order to generate an image from a certain viewpoint using the three-dimensional library, a number of steps are performed. Of these, especially in places where high-speed processing is required, parallel processing is performed and there are various processing methods depending on the type of library, but generally the following three processes are roughly divided.
[0145]
(1) A 3D scene setting process in which a subject is expressed as a combination of basic figures such as polygons (polygonal planes) in a 3D coordinate system, and a viewpoint position, a light source position, a texture, and the like are set.
[0146]
(2) A coordinate conversion process in which a vertex of a three-dimensional coordinate system representing a subject is converted into a viewpoint coordinate system, and is converted into a two-dimensional coordinate system of an image plane at a viewpoint position by projection conversion. At this time, vertex color calculation by light source and texture mapping, depth information calculation, and the like are also performed.
[0147]
(3) Scan conversion processing that complements and paints vertices converted to two-dimensional coordinates, and calculates the color at each pixel on the image plane. At this time, hidden surface removal processing based on the depth information is also performed here.
[0148]
When the three-dimensional library and graphics hardware are used in combination, the processing handled by the application program (software) among the three processes is only the three-dimensional scene setting process of (1), The coordinate conversion process (2) and the scan conversion process (3) are processed by graphics hardware to which the three-dimensional library corresponds.
[0149]
However, if the coordinate transformation process is left to the three-dimensional library (graphics hardware), the special coordinate transformation process as in the first embodiment cannot be performed. For this reason, the coordinate conversion process must be performed by an application program, and the processing speed (image generation speed) decreases.
[0150]
In the second embodiment, a method for generating a virtual viewpoint image using the general-purpose three-dimensional library (graphics hardware) will be described.
[0151]
Also in the virtual viewpoint image generation method of the second embodiment, first, as shown in FIG. 3, the setting of the virtual viewpoint P (step 801) and the projection plane L_j, L^*(Step 802) and the pasting area U on each projection plane_ijEach step of setting (step 803) is performed. The steps 801, 802, and 803 may be performed as described in the first embodiment, and thus detailed description thereof is omitted.
[0152]
Next, the processing of step 804 shown in FIG. 3 is performed. In the second embodiment, first, as shown in FIG. 16, the projection plane L determined in step 802 is determined._jAbove, the viewpoint C_iA polygon (polygonal plane) obtained by back-projecting the angle of view of the image plane of the image captured by the camera is set (step 804r). Hereinafter, the polygon is referred to as a projected polygon.
[0153]
At this time, for example, as shown in FIG._iImage plane CP of the image taken with the camera_iThe four corners of the angle of view at {H_i ¹, H_i ², H_i ^Three, H_i ^Four} And place them on the projection plane L_j{G_ij ¹, G_ij ², G_ij ^Three, G_ij ^Four}, This {G_ij ¹, G_ij ², G_ij ^Three, G_ij ^FourA polygon having a vertex at} is the projected polygon.
[0154]
Here, the coordinate calculation of the backprojection is performed based on the relational expression shown in Expression 12, for example, and all the cameras C_i(I = 1,2, ..., N) and all projection planes L_jFor (j = 1, 2,..., M), as shown in FIG. 18, a total of i × j sets of the projection polygons and i × j × 4 vertices are set. Here, the number of vertices of the polygon that defines the angle of view of the image plane and the projection polygon is four, but the number of vertices may be three or five or more.
[0155]
Next, a two-dimensional array (texture array) for texture mapping is secured for all projected polygons (step 804s). The texture array has one viewpoint C._iOn the other hand, the number of projection planes, that is, j sets are secured, and i × j sets are secured in total.
[0156]
In each component (pixel) of the texture array, in addition to color information representing the luminances of the three primary colors of red (R), green (G), and blue (B), information (A) representing transparency generally called an alpha value Also store.
[0157]
In addition, the size of the texture array is the viewpoint C_iIf the image size is the same as the size of the image taken by the camera, the memory usage can be saved the most, but depending on the type of the 3D library, the size of each side of the texture array must be a power of 2 There are conditions such as. Therefore, the texture array secures an array having a size larger than the image size of the camera. At this time, if the size of the camera image array is w × h, the size of the texture array is wt × ht (wt ≧ w, ht ≧ h). Here, for example, if the image size (w, h) of the camera is (640, 480) and the size (wt, ht) of each side of the texture array must be a power of two, The size (wt, ht) is (1024, 512).
[0158]
Further, when the image size of the camera is large and exceeds the maximum size allowed for the texture array, a plurality of texture arrays are secured by dividing the texture array into small parts.
[0159]
In this way, after securing the texture arrangement, the viewpoint C_iThe images taken by the camera are transferred to the corresponding j sets of texture arrays.
[0160]
After securing the texture array, each vertex {G_ij ¹, G_ij ², G_ij ^Three, G_ij ^Four} Is associated with texture coordinates (step 804t). Here, the texture coordinates are coordinates obtained by normalizing the length of the side of the image TP used for texture mapping to 1, for example, as shown in FIG. At this time, the position of each point on the texture image TP is given by coordinate axes (s, t) taking values from 0 to 1. If the three-dimensional spatial coordinates (X, Y, Z) of each vertex and the two-dimensional texture coordinates (s, t) can be associated in step 804t, the texture mapping process is performed by the three-dimensional library. And a virtual viewpoint image can be generated by graphics hardware.
[0161]
At this time, for example, as illustrated in FIG. 19, when the camera image array is transferred in accordance with the lower left corner of the texture array, the points {H at the four corners of the camera image are transferred._i ¹, H_i ², H_i ^Three, H_i ^Four} Is (0,0), (0, h / ht), (w / wt, h / ht), and (w / wt, 0) in the texture coordinates, respectively. Further, each vertex {G of the projected polygon_ij ¹, G_ij ², G_ij ^Three, G_ij ^Four} Three-dimensional coordinates and four corner points {H_i ¹, H_i ², H_i ^Three, H_i ^Four} Is obtained in the step 804r, and if this is used, each vertex {G_ij ¹, G_ij ², G_ij ^Three, G_ij ^Four} And the correspondence of the texture coordinates are obtained.
[0162]
Each vertex {G of the projected polygon_ij ¹, G_ij ², G_ij ^Three, G_ij ^Four} And the texture coordinates are obtained, next, the transparency (A) of the array for storing the texture coordinates is set (step 804u). At this time, the transparency (A) of the array is determined by the pasting area U on the projection plane._ijThe area corresponding to is set to be opaque, and the other areas are set to be transparent. By setting in this way, when drawing in the three-dimensional library, the pasting region U_ijOnly the textures included in can be drawn.
[0163]
Next, each vertex {G of the projection polygon set in step 804r is set._ij ¹, G_ij ², G_ij ^Three, G_ij ^Four} Is moved in a direction in which the cameras are not arranged, and the texture image on the projection plane is enlarged or reduced (step 804v).
[0164]
In the virtual viewpoint image generation method according to the second embodiment, if the same processing as in the first embodiment is performed, the projection plane group is substituted for the direction in which the cameras are not arranged (Y-axis direction). And one projection plane L^*Coordinate calculation processing is performed assuming At this time, for example, as shown in FIG._jThe array (pixels) texture-mapped to the upper point G is the projection plane L^*Above, point G^*Is texture mapped. Therefore, the array (pixel) is drawn at the point I on the image plane PP of the image viewed from the virtual viewpoint P.
[0165]
Therefore, the projection plane L_jThe Y coordinate of the point G is updated to the Y coordinate of the point G ′ so that the image is drawn at the point I on the image plane PP of the image viewed from the virtual viewpoint P.
[0166]
If such processing is performed for all the vertices of the projection polygon, the texture surrounded by the projection polygon is the projection plane L.^*The correction process is performed as if it were used.
The point G ′ can be easily obtained by the following method, for example.
[0167]
First, the viewpoint C corresponding to the point G_iImage plane CP of images taken with_iThe upper point H is the projection plane L^*Top point G^*Backproject to. Next, point G^*Is projected onto the point I on the image plane PP of the virtual viewpoint P. Finally, point I is projected onto the projection plane L_jIs projected back to the point G ′. Here, the point G^*Is calculated based on, for example, the relational expressions shown in Equations 7 and 8 above. Further, the back projection of the points G and G ′ is calculated based on, for example, the relational expression shown in Expression 12.
[0168]
20 shows an example in which the vertex of the projection polygon is enlarged, the virtual viewpoint P, the viewpoint C of the camera_i, The projection plane L_j, L^*Depending on the positional relationship, the vertex of the projection polygon may be reduced.
[0169]
When the projected polygon is reduced, the same processing as that for the enlargement may be performed. For example, as shown in FIG._iThe upper point H is the projection plane L^*Top point G^*Backprojected to point G^*Is projected onto the point I on the image plane PP of the virtual viewpoint P, and then the point I is projected onto the projection plane L_j, The point G ′ is obtained. Here, the point G^*Is calculated based on, for example, the relational expressions shown in Equations 7 and 8 above. Further, the back projection of the points G and G ′ is calculated based on, for example, the relational expression shown in Expression 12.
[0170]
When the processing of each step is completed, the virtual viewpoint P set in each step, each vertex of the projection polygon {G_ij ¹, G_ij ², G_ij ^Three, G_ij ^Four}, When the 3D scene consisting of the texture and texture is set in the 3D library, the coordinate conversion process and the scan conversion process are performed on the graphics hardware using the 3D library. An image at the virtual viewpoint P is generated (step 804w).
[0171]
As described above, according to the virtual viewpoint image generation method of the second embodiment, the backprojected image on the projection plane of the projection plane group is enlarged or reduced, so that The image is displayed as if the one projection plane L described in the first embodiment.^*It can be made to look like a texture-mapped image. Therefore, the projection plane can be structured to be expressed in a three-dimensional space, and a virtual viewpoint image with little deterioration can be generated at high speed using a general-purpose three-dimensional library.
[0172]
The present invention has been specifically described above based on the above-described embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. is there.
[0173]
For example, in the embodiment, as shown in FIGS. 1 and 2, for example, the image of the subject 2 is captured by the cameras 3 arranged in a straight line. However, the camera 3 is not limited to a straight line. These may be arranged in an arc shape.
[0174]
Further, the camera 3 is not limited to the linear shape or the arc shape, and may be in a state of being arranged along the one-dimensional arrangement, in other words, a straight line or a curve on one plane. That is, in the embodiment, the viewpoint C of each camera_iAre arranged on a straight line (X-axis), but are not necessarily on the X-axis.
[0175]
In the embodiment, the cameras 3 are arranged at regular intervals. However, the present invention is not limited to this, and the cameras 3 may be arranged at irregular intervals.
[0176]
【The invention's effect】
Of the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.
[0177]
That is, when a virtual viewpoint image is generated from an image photographed by a one-dimensionally arranged camera, it is possible to prevent a gap from being generated in a direction where the camera is not arranged.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating a schematic configuration of a virtual viewpoint image generation device according to a first embodiment of the present invention, and is a block diagram illustrating the configuration of the device.
FIG. 2 is a schematic diagram illustrating a schematic configuration of the virtual viewpoint image generation device according to the first embodiment of the present invention, and is a diagram illustrating a configuration example of a system using the virtual viewpoint image generation device.
FIG. 3 is a schematic diagram for explaining the principle of a virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment, and is a flowchart of the entire process.
FIG. 4 is a schematic diagram for explaining the principle of a virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment, and is a diagram for explaining a projection plane setting method;
FIG. 5 is a schematic diagram for explaining the principle of a virtual viewpoint image generation method using the virtual viewpoint image generation device according to the first embodiment, and is a diagram for explaining a projection plane setting method;
FIG. 6 is a schematic diagram for explaining the principle of a virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment, and is a diagram for explaining a color information transfer method;
7 is a schematic diagram for explaining a virtual viewpoint image generation method using the virtual viewpoint image generation device according to the first embodiment, and is a diagram for explaining a method for setting a plurality of projection planes. FIG.
FIGS. 8A and 8B are schematic diagrams for explaining a method for generating a virtual viewpoint image using the virtual viewpoint image generating apparatus according to the first embodiment, and FIGS. It is a figure for demonstrating a method.
FIGS. 9A and 9B are schematic diagrams for explaining a method for generating a virtual viewpoint image using the virtual viewpoint image generating apparatus according to the first embodiment, and FIGS. It is a figure for demonstrating a method.
FIG. 10 is a schematic diagram for explaining a virtual viewpoint image generation method using the virtual viewpoint image generation device according to the first embodiment, and shows a processing procedure of a step of generating an image viewed from the virtual viewpoint P; FIG.
FIGS. 11A and 11B are schematic diagrams for explaining a virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment, and FIGS. 11A and 11B transfer color information; FIGS. It is a figure for demonstrating a step.
FIG. 12 is a schematic diagram for explaining a virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment, and illustrates an example of the generated virtual viewpoint image.
FIG. 13 is a diagram for explaining an application example of a virtual viewpoint image generation method using the virtual viewpoint image generation device according to the first embodiment;
FIG. 14 is a diagram for explaining an application example of a virtual viewpoint image generation method using the virtual viewpoint image generation apparatus according to the first embodiment;
FIG. 15 is a diagram for explaining a modification of the virtual viewpoint image generation device according to the first embodiment;
FIG. 16 is a schematic diagram for explaining the virtual viewpoint image generation method according to the second embodiment of the present invention, and is a flowchart of steps for generating an image viewed from the virtual viewpoint P;
FIG. 17 is a schematic diagram for explaining a virtual viewpoint image generation method according to the second embodiment of the present invention, and is a diagram for explaining a projection polygon setting method;
FIG. 18 is a schematic diagram for explaining a virtual viewpoint image generation method according to the second embodiment of the present invention, and is a diagram for explaining a projection polygon setting method;
FIG. 19 is a schematic diagram for explaining the virtual viewpoint image generation method according to the second embodiment of the present invention, and is a diagram illustrating an example of an image in a texture array.
FIG. 20 is a schematic diagram for explaining a virtual viewpoint image generation method according to the second embodiment of the present invention, and is a diagram for explaining a method for correcting a vertex of a projection polygon.
FIG. 21 is a schematic diagram for explaining the virtual viewpoint image generation method according to the second embodiment of the present invention, and is a diagram for explaining a method of correcting the vertexes of the projection polygon.
FIG. 22 is a schematic diagram for explaining a conventional image generation method when there is one projection plane.
FIG. 23 is a schematic diagram for explaining a conventional image generation method when there are a plurality of projection planes.
FIG. 24 is a schematic diagram for explaining a problem of a conventional image generation method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Virtual viewpoint image generation apparatus, 101 ... Subject image acquisition means, 102 ... Depth information acquisition means, 103 ... Virtual viewpoint setting means, 104 ... Image generation means, 104a ... Projection plane setting means, 104b Paste area setting means, 2 ... Subject: 3 ... Camera, 4 ... Depth information measuring means, 5 ... Virtual viewpoint input means, 6 ... Image display means, 7 ... User, 8 ... Camera installation surface, C_i... Camera viewpoint, CP_i... Image plane of the image taken by the camera, L_j, L^*... projection plane, P ... virtual viewpoint, PP ... image plane of virtual viewpoint image.

Claims (6)

同一平面上にある直線または曲線に沿って配置された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置（以下、仮想視点と称する）を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成するステップとを有する仮想視点画像生成方法であって、
前記仮想視点画像を生成するステップは、
複数の投影面からなる投影面群、及び１つの投影面を設定する第１ステップと、
前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第２ステップと、
前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第３ステップと、
前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第４ステップと、
前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第５ステップとを有することを特徴とする仮想視点画像生成方法。A step of acquiring images of a subject taken by a plurality of cameras arranged along a straight line or a curve on the same plane, a step of acquiring depth information of the subject, a position where the subject is viewed (hereinafter referred to as a virtual viewpoint) And a step of texture mapping the subject image on the projection plane to generate an image when the subject is viewed from the virtual viewpoint (hereinafter referred to as a virtual viewpoint image). A virtual viewpoint image generation method,
The step of generating the virtual viewpoint image includes
A first step of setting a projection plane group consisting of a plurality of projection planes and one projection plane;
A second step of setting a region to which the subject image is pasted on the projection plane of the projection plane group;
A third step of obtaining a point on the image of the subject corresponding to a point on the virtual viewpoint image when texture mapping of the image of the subject on each projection surface of the projection surface group;
A fourth step of obtaining a point on the subject image corresponding to a point on the virtual viewpoint image when the subject image is texture-mapped on the one projection plane;
On the subject image, the component in the direction in which the cameras are arranged at the points on the subject image obtained using the projection plane group, and the subject image obtained using the one projection plane. And a fifth step of transferring the color information of the point composed of the component in the direction in which the camera is not arranged at the point to the point on the virtual viewpoint image. 前記第４ステップは、
前記被写体の画像を前記投影面群の投影面に逆投影するステップと、
テクスチャマッピング用の２次元配列を確保するステップと、
前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行うステップと、
前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に合わせて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する請求項１に記載の仮想視点画像生成方法。The fourth step includes
Back-projecting the image of the subject onto the projection plane of the projection plane group;
Securing a two-dimensional array for texture mapping;
Associating coordinates of vertices of an image back-projected on the projection plane with coordinates of the two-dimensional array;
The virtual viewpoint according to claim 1, further comprising a step of enlarging or reducing an image back-projected on the projection plane in accordance with a positional relationship between the projection plane of the one projection plane and the projection plane group, and the virtual viewpoint. Image generation method. 同一平面上にある直線または曲線に沿って配置された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点（以下、仮想視点と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成する画像生成手段とを備える仮想視点画像生成装置であって、
前記画像生成手段は、
複数の投影面からなる投影面群、及び１つの投影面を設定する投影面設定手段と、
前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、
前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを備え、
前記レンダリング手段は、
前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第１対応点算出手段と、
前記被写体の画像を前記１つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第２対応点算出手段と、
前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記１つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを備えることを特徴とする仮想視点画像生成装置。Subject image acquisition means for acquiring images of a subject photographed by a plurality of cameras arranged along a straight line or a curve on the same plane, depth information acquisition means for acquiring depth information of the subject, and image of the subject A virtual viewpoint image including image generation means for generating an image (hereinafter referred to as a virtual viewpoint image) when the subject is viewed from an arbitrary viewpoint (hereinafter referred to as a virtual viewpoint) A generating device,
The image generating means includes
A projection plane group including a plurality of projection planes, and a projection plane setting means for setting one projection plane;
Paste area setting means for setting an area to paste the image of the subject on the projection plane of the projection plane group;
Rendering means for texture-mapping the subject image on the projection plane based on the projection plane set by the projection plane setting means and the paste area set by the paste area setting means, and converting the image into the virtual viewpoint image; With
The rendering means includes
First corresponding point calculating means for obtaining a point on the image of the subject corresponding to a point on the virtual viewpoint image when texture mapping the image of the subject on each projection surface of the projection surface group;
Second corresponding point calculating means for obtaining a point on the subject image corresponding to a point on the virtual viewpoint image when the subject image is texture-mapped on the one projection plane;
On the subject image, the component in the direction in which the cameras are arranged at the points on the subject image obtained using the projection plane group, and the subject image obtained using the one projection plane. A virtual viewpoint image generating apparatus comprising: color information transfer means for transferring color information of a point consisting of a component in a direction in which the camera is not arranged at a point to a point on the virtual viewpoint image. 前記第２対応点算出手段は、
前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、
テクスチャマッピング用の２次元配列を確保するテクスチャ配列確保手段と、
前記投影面に逆投影した画像の頂点の座標と前記２次元配列の座標の対応付けを行う対応付け手段と、
前記１つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に合わせて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備えることを特徴とする請求項３に記載の仮想視点画像生成装置。The second corresponding point calculating means includes
Back projection means for back projecting the image of the subject onto the projection plane of the projection plane group;
Texture array securing means for securing a two-dimensional array for texture mapping;
Association means for associating the coordinates of the vertex of the image back-projected on the projection plane with the coordinates of the two-dimensional array;
The image processing apparatus includes scale changing means for enlarging or reducing an image back-projected on the projection plane in accordance with a positional relationship between the one projection plane and the projection plane group and the virtual viewpoint. Item 4. The virtual viewpoint image generation device according to Item 3. 前記請求項１または請求項２に記載の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラム。A virtual viewpoint image generation program for causing a computer to execute each step of the virtual viewpoint image generation method according to claim 1 or 2. 前記請求項５に記載の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体。A recording medium in which the virtual viewpoint image generation program according to claim 5 is recorded in a computer-readable state.

Images