JP3971714B2 - 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 - Google Patents
仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3971714B2 JP3971714B2 JP2003075478A JP2003075478A JP3971714B2 JP 3971714 B2 JP3971714 B2 JP 3971714B2 JP 2003075478 A JP2003075478 A JP 2003075478A JP 2003075478 A JP2003075478 A JP 2003075478A JP 3971714 B2 JP3971714 B2 JP 3971714B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- projection plane
- subject
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
【発明の属する技術分野】
本発明は、仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体に関し、特に、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成する方法に適用して有効な技術に関するものである。
【0002】
【従来の技術】
従来、コンピュータグラフィックス(CG)やバーチャルリアリティ(VR)技術の発達により、カメラで撮影した画像に写っている物体(被写体)を、前記カメラの設置位置とは異なる視点から見たときの画像を生成できるようになってきた。
【0003】
このように、前記カメラの設置位置とは異なる視点から前記被写体を見たときの画像は、仮想視点画像または任意視点画像と呼ばれ、種々の画像生成方法が提案されている。なかでも、IBR(Image-Based Rendering)と呼ばれる画像生成方法は、被写体の実写画像を元にして、極めて写実的な仮想視点画像を生成することができる。
【0004】
前記IBRにより画像を生成する方法では、前記カメラにより、多数の視点位置から撮影した画像をもとにして前記仮想生成画像を生成するが、明示的には被写体のモデルを求めずに、2次元画像処理により生成する(例えば、非特許文献1、非特許文献2、非特許文献3を参照。)。
【0005】
また、前記IBRにより画像を生成する方法には、例えば、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面(以下、投影面と称する)という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影する方法がある(例えば、非特許文献4を参照。)。
【0006】
前記投影面を想定する方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【0007】
前記投影面を想定する方法では、例えば、N台のカメラを、図22(a)に示すように、前記各カメラの視点Ci(i=1,2,…,N)が、z=0のxy平面上にあり、かつ、Z軸の負の方向(Z<0)の領域にある被写体2を撮影できるように配列する。このとき、前記投影面L0は、前記被写体があるおおよその位置(Z=−l0)にとる。また、前記被写体2を見る視点(仮想視点)PのZ座標をZP、前記仮想視点Pと生成する画像の画像面PPとの距離(透視投影の焦点距離)をf、前記被写体2上の点QのZ座標をlとおく。
【0008】
またこのとき、前記視点Ciに配置したカメラで撮影した前記被写体2上の点Qは、前記投影面L0上の点Q’に投影される。そのため、前記仮想視点画像を生成したときに、前記被写体2上の点Qは、図22(a)及び図22(b)に示すように、前記仮想視点Pと前記投影面L0上の点Q’を結ぶ直線と仮想視点画像の画像面PPが交わる点PP1に表示される。
【0009】
しかしながら、実際に、前記仮想視点Pから前記被写体2上の点Qを見たときには、前記点Qは、図22(a)及び図22(b)に示すように、前記画像面PP上の点PP2に表示され、前記点PP1との間にΔpのずれが生じる。
【0010】
このとき、Z=0のxy平面上で、前記カメラの視点Ciと、前記仮想視点Pと前記投影面上の点Q’を結ぶ光線の距離ベクトルΔr、及び前記画像面PP上での点のずれΔpの間には、下記数式1のような関係が成り立つ。
【0011】
【数1】
Δp=k(l0)Δr
ここで、前記数式1におけるk(l0)は、例えば、下記数式2のように定義する。
【0012】
【数2】
【0013】
すなわち、前記投影面が1つ(L0)の場合、定数l0に対して、前記数式1及び数式2で与えられる誤差が、前記仮想視点画像の画像面PP上に生じる。
またこのとき、前記被写体2の奥行き方向の範囲(距離)が大きいと、前記投影面L0から離れている前記被写体2上の点の誤差が大きくなる。そのため、広範囲にわたる仮想視点画像を生成することが難しいという問題があった。
【0014】
そこで、近年、広範囲にわたる仮想視点画像を生成することが可能な方法として、多層構造をもつ複数の投影面に、撮影した画像をテクスチャマッピングする方法が提案されている(例えば、特願2002−318343号を参照。)。
【0015】
前記複数の投影面を設定する方法では、前記カメラの視点Ci(Z=0)から投影面までの距離l0は変数とみなし、いくつかの投影面Lj(j=1,2,…,M)のうち、前記数式1及び数式2で与えられる画像面PP上での誤差が最小となる距離にある投影面を選んで、前記被写体2上の点Qを投影する。
【0016】
このとき、前記被写体上の点Qが、例えば、図23に示すように、z=0のxy平面からの距離がl0Frontの投影面LFrontと、l0Backの投影面LBackの中間にあるとすると、前記点Qは、前記仮想視点画像の画像面PP上でのずれΔpが小さいほうの投影面に投影(テクスチャマッピング)される。そのため、前記数式2で与えられる係数kは、下記数式3または数式4となる。
【0017】
【数3】
k(l0Front)<0
【0018】
【数4】
k(l0Back)>0
【0019】
すなわち、前記被写体上の点Qを前方の投影面LFrontにテクスチャマッピングするか、後方の投影面LBackにテクスチャマッピングするかによって、係数kの符号が変化する。
【0020】
このとき、前記各投影面の中間地点にある被写体上の点Qは、どちらにテクスチャマッピングするかにより、前記仮想視点画像の画像面PP上での位置のずれΔpの方向が逆になる。そのため、テクスチャマッピングされる投影面が前方と後方に分離される箇所があり、生成した画像に隙間が生じ、その大きさはΔrの大きさ|Δr|に比例する。
【0021】
ここで、前記数式1をX軸方向の成分と、Y軸方向の成分とに分けて考えると、下記数式5及び数式6のようになる。
【0022】
【数5】
Δpx=k(l0)Δrx
【0023】
【数6】
Δpy=k(l0)Δry
【0024】
このとき、前記カメラの視点Ciが、例えば、X軸方向に間隔εxで配列していれば、適切な視点Ciのカメラで撮影した画像を選択して用いることで、|Δrx|≦εx/2となり、Δpxは一定の範囲内に収めることができる。
【0025】
同様に、前記カメラの視点Ciが、例えば、Y軸方向に間隔εyで配列していれば、適切な視点Ciのカメラで撮影した画像を選択して用いることで、|Δry|≦εy/2となり、Δpyは一定の範囲内に収めることができる。
【0026】
【非特許文献1】
Marc Levoy and Pat Hanrahan:"Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
【非特許文献2】
Steven J. Gortler et al.:"The Lumigraph," SIGGRAPH'96 Conference
Proceedings, pp.43-54, 1996
【非特許文献3】
片山昭宏ほか:「多視点画像の補間・再構成による視点追従型立体画像表示法」, 電子情報通信学会誌, Vol.J79-DII, No.5, pp.803-811, 1996
【非特許文献4】
國田豊ほか:「多眼カメラを用いた任意視点人物像の実時間生成システム」, 電子情報通信学会誌, Vol.J84-DII, No.1, pp.129-138, 2001
【0027】
【発明が解決しようとする課題】
しかしながら、前記従来の技術で説明した、複数の投影面Lj(j=1,2,…,M)を設定して仮想視点画像を生成する方法では、例えば、投影面Ljと投影面Lj+1の間にテクスチャ画像が存在しない場合、生成した仮想視点画像に隙間が生じる。そのため、生成した仮想視点画像が劣化するという問題がある。
【0028】
なお、前記カメラ(視点Ci)の配列密度を十分に大きくすれば、前記仮想視点画像に生じる隙間は、目立たないほどに小さくできる。しかしながら、前記カメラの配列密度には限界がある。また、前記カメラの配列密度を高くすることにより、前記カメラで撮影した画像を取得する時間や、前記仮想視点画像の生成処理にかかる時間が長くなり、実時間レベルでの画像生成が難しくなるという問題もあった。また、前記カメラの配列密度を高くすれば、その分システムが大掛かりになるので、設置コストが上昇するという問題があった。
【0029】
また、前記仮想視点画像生成装置を、例えば、テレビ会議システム等で用いる場合、利用者の視点(仮想視点)は、画像の左右方向に対しての移動が多く、上下方向に対しての移動はあまり行わないことがある。このように、視点の移動方向が、主に一方向である場合には、前記カメラを一次元的に配列することで、設置コストの上昇を抑えることができる。
【0030】
前記カメラ(視点Ci)を一次元的、例えば、前記X軸方向にのみ配列した場合、前記カメラが配列されたX軸方向では、前記カメラの配置間隔や、適切なカメラで撮影した画像を用いることで、前記仮想視点画像の画像面PP上での位置のずれΔpxを一定の範囲内に収めることができる。
【0031】
しかしながら、前記カメラが配列されていないY軸方向では、適切な画像を選択する余地がないので、前記距離ベクトルの大きさ|Δry|は画角の周辺、すなわち画像の端部で大きな値を持つ。そのため、前記仮想視点画像は、図24に示すように、前記カメラが配列されていないY軸方向に走査したときに見られる隙間が大きくなるという問題があった。
【0032】
本発明の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能な技術を提供することにある。
本発明の他の目的は、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことが可能なプログラム及び記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【0033】
【課題を解決するための手段】
本願において開示される発明の概要を説明すれば、以下の通りである。
【0034】
(1)同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置(以下、仮想視点と称する)を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像(以下、仮想視点画像と称する)を生成するステップとを有する仮想視点画像生成方法であって、前記仮想視点画像を生成するステップは、複数の投影面からなる投影面群、及び1つの投影面を設定する第1ステップと、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第2ステップと、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第3ステップと、前記被写体の画像を前記1つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第4ステップと、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記1つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第5ステップとを有することを特徴とする仮想視点画像生成方法である。
【0035】
前記(1)の手段によれば、前記仮想視点画像上の点の、前記カメラが配列されていない方向の成分は、前記1つの投影面から求める。そのため、前記仮想視点画像の画像面上において、位置ずれの誤差は生じるものの、前記画像面全域で連続的に変化するので、前記仮想視点画像を前記カメラが配列されていない方向に走査したときに見られる隙間が大きくなるのを防ぐことができる。
【0036】
また、前記カメラが配列されている方向の成分は、前記複数の投影面から求めるので、前記仮想視点画像の画像面上での位置ずれの誤差を小さくすることができる。そのため、一次元的、言い換えると、同一平面にある直線あるいは曲線に沿って配列されたカメラで撮影した画像から生成する仮想視点画像の劣化を少なくすることができる。
【0037】
このとき、前記カメラは、例えば、同一平面にある直線あるいは曲線に沿って配列された状態であればよく、前記被写体の画像は、直線状に配列されたカメラで撮影してもよいし、円弧状に配列されたカメラで撮影してもよい。また、前記各カメラの配列の間隔は、等間隔であってもよいし、不規則な間隔であってもよい。
【0038】
(2)前記(1)の手段において、前記第4ステップは、前記被写体の画像を前記投影面群の投影面に逆投影するステップと、テクスチャマッピング用の2次元配列を確保するステップと、前記投影面に逆投影した画像の頂点の座標と前記2次元配列の座標の対応付けを行うステップと、前記1つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する。
【0039】
前記(2)の手段によれば、前記投影面群の投影面に逆投影した画像を拡大あるいは縮小することで、前記投影面群の投影面の画像を、あたかも前記1つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【0040】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、高速な前記仮想視点画像の生成処理を行うことができる。
【0041】
(3)同一平面上にある直線または曲線に沿って配列された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点(以下、仮想視点と称する)から前記被写体を見たときの画像(以下、仮想視点画像と称する)を生成する画像生成手段とを有する仮想視点画像生成装置であって、前記画像生成手段は、複数の投影面からなる投影面群、及び1つの投影面を設定する投影面設定手段と、前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを有し、前記レンダリング手段は、前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第1対応点算出手段と、前記被写体の画像を前記1つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第2対応点算出手段と、前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記1つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを有する仮想視点画像生成装置である。
【0042】
前記(3)の手段は、前記(1)の手段の仮想視点画像生成方法を用いて前記仮想視点画像を生成するための装置である。そのため、前記各手段を備えることにより、前記カメラが一次元的に配列されている場合でも、前記仮想視点画像をカメラが配列されていない方向に走査したときに見られる隙間を小さくすることができる。また、カメラが配列されている方向は、画像面上での位置ずれを小さくすることができる。そのため、前記仮想視点画像の劣化を少なくすることができる。
【0043】
(4)前記(3)の手段において、前記第2対応点算出手段は、前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、テクスチャマッピング用の2次元配列を確保するテクスチャ配列確保手段と、前記投影面に逆投影した画像の頂点の座標と前記2次元配列の座標の対応付けを行う対応付け手段と、前記1つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に基づいて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備える。
【0044】
前記(4)の手段によれば、前記第2対応点算出手段に、前記各手段を備えることで、前記投影面群の投影面に逆投影した画像を、あたかも前記1つの投影面に逆投影した画像であるかのように見えるようにすることができる。
【0045】
そのため、前記各投影面を三次元空間上で表現できる構造にすることができ、例えば、OpenGLやDirectX等の汎用的な三次元ライブラリを用いて、市販のグラフィックス・ハードウェア及びライブラリに対応するソフトウェア(ドライバ)によって、高速な前記仮想視点画像の生成処理を行うことができる。
【0046】
(5)前記(1)または(2)の手段の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラムである。
【0047】
前記(5)の手段によれば、前記仮想視点画像の生成処理をコンピュータに実行させることができる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を高速で生成することができる。
【0048】
(6)前記(5)の手段の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体である。
前記(6)の手段によれば、前記記録媒体を頒布することで、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【0049】
以下、本発明について、図面を参照して実施の形態(実施例)とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【0050】
【発明の実施の形態】
(実施例1)
図1及び図2は、本発明による実施例1の仮想視点画像生成装置の概略構成を示す模式図であり、図1は装置の構成を示すブロック図、図2は仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【0051】
図1及び図2において、1は仮想視点画像生成装置、101は被写体画像取得手段、102は奥行き情報取得手段、103は仮想視点設定手段、104は画像生成手段、104aは投影面決定手段、104bは貼付領域設定手段、104cはレンダリング手段、2は被写体、3はカメラ、4は奥行き情報計測手段、5は仮想視点入力手段、6は画像表示手段、7は利用者である。
【0052】
本実施例1の仮想視点画像生成装置1は、図1に示すように、被写体2の画像を取得する被写体画像取得手段101と、前記被写体2の奥行き情報(表面形状)を取得する奥行き情報取得手段102と、前記生成する画像の視点(以下、仮想視点と称する)を設定する仮想視点設定手段103と、前記被写体2の画像及び前記奥行き情報を用いて、前記仮想視点から見た被写体2の画像(以下、仮想視点画像と称する)を生成する画像生成手段104とにより構成されている。
【0053】
また、前記画像生成手段104は、前記被写体2の奥行き情報及び前記仮想視点から投影面を設定する投影面設定手段104aと、前記被写体2の奥行き情報に基づいて、前記投影面上の、前記被写体2の画像を貼り付ける領域を設定する貼付領域設定手段104bと、前記投影面設定手段104aで設定した投影面、及び前記貼付領域設定手段104bで設定した貼付領域に基づいて、前記被写体2の画像を前記投影面に貼り付け(テクスチャマッピング)して、前記仮想視点画像に変換するレンダリング手段104cとを備える。
【0054】
また、本実施例1では、前記被写体2の画像は、例えば、図1及び図2に示したように、4台のカメラ3を一次元的、言い換えると、一方向に列状に、一定の間隔で配列して撮影し、それを前記被写体画像取得手段101で取得する。ここで、前記カメラ3を配列した空間では、図2に示したような、カメラの配列方向がX軸となるような三次元空間をとる。なお、本実施例1では、図1及び図2では、4台のカメラを配列しているが、前記カメラは4台である必要はなく、N台(Nは2以上の整数)のカメラが一方向に配列されていればよい。
【0055】
また、前記被写体2の奥行き情報は、例えば、図1及び図2に示すように、前記カメラ3の近傍に設置した奥行き情報計測手段4で計測し、それを前記奥行き情報取得手段102で取得する。前記奥行き計測手段4には、例えば、TOF(Time Of Flight)法を用いた計測装置を用いる。また、前記奥行き計測手段4の代わりに、前記カメラ3のうちの一つに、前記被写体2の画像(色情報)の撮影及び表面形状の測定をできるカメラを用いてもよい。
【0056】
また、前記仮想視点設定手段103は、例えば、マウスやキーボード等の仮想視点入力手段5から入力された情報に基づき、前記仮想視点の位置、方向、画角等を設定する。またこのとき、前記仮想視点は、前記仮想視点設定手段103で許容されている範囲内であれば、前記カメラ3を配置した位置に限らず、任意の位置に設定することができる。
【0057】
また、前記仮想視点画像生成装置1で生成した画像(以下、仮想視点画像と称する)は、例えば、CRTディスプレイ、液晶ディスプレイ等の画像表示手段6で表示される。
【0058】
図3乃至図6は、本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、図3は処理全体のフロー図、図4及び図5は投影面の設定方法を説明するための図、図6は色情報の転写方法を説明するための図である。
【0059】
本実施例1の仮想視点画像生成装置を用いて前記仮想視点画像を生成するときには、IBR(Image-Based Rendering)と呼ばれる手法を用いる。前記IBRは、前記被写体画像取得手段101で取得した画像の一部分を、コンピュータ上の三次元空間に設定した投影面にテクスチャマッピングし、その投影面を前記仮想視点設定手段103で設定した仮想視点から見た画像を、座標計算処理で生成する方法である。
【0060】
本実施例1の仮想視点画像生成装置を用いて、前記IBRにより仮想視点画像を生成するときには、まず、図3に示すように、仮想視点P、すなわち生成する画像の視点の位置、方向、画角等を設定する(ステップ801)。前記仮想視点Pの位置、方向、画角等は、前記仮想視点入力手段5から入力された情報に基づき、前記仮想視点設定手段103で設定される。
【0061】
次に、例えば、コンピュータ上に想定した三次元空間上に、投影面を設定する(ステップ802)。前記投影面は、前記仮想視点画像生成装置1の画像生成手段104に設けられた投影面設定手段104aで設定する。
【0062】
本実施例1の仮想視点画像生成装置1を用いる場合、前記ステップ802(投影面設定手段140a)では、例えば、図4に示すように、複数の投影面Lj(j=1,2,…,M)からなる投影面群と、図5に示すように、1つの投影面L*の2種類の投影面を設定する。前記投影面群及び前記1つの投影面L*の設定方法については、後で説明する。
【0063】
前記ステップ802(投影面設定手段104a)で、前記2種類の投影面を設定したら、次に、前記貼付領域設定手段104bで、前記投影面群の各投影面上の、前記被写体2の画像を貼り付ける領域Uijを設定する(ステップ803)。前記被写体の画像を貼り付ける領域Uijの設定方法については、後で説明する。
【0064】
その後、前記レンダリング手段104cで、前記仮想視点画像Pから前記被写体を見たときの画像を生成する(ステップ804)。
【0065】
このとき、前記ステップ804(レンダリング手段104c)では、まず、前記投影面群に前記被写体の画像をテクスチャマッピングしたときに、前記仮想視点画像の画像面PP上の点と対応する前記被写体の画像の画像面上の点を求める。このとき、前記仮想視点Pから見た画像の画像面PP上の点(x,y)は、図4に示したように、前記投影面群の投影面Lj上の点(X,Y,Z)に相当し、前記投影面Lj上の点(X,Y,Z)には、視点Ciに配置されたカメラ3で撮影した被写体2の画像の画像面CPi上の点(xi,yi)が貼り付けられているとする。
【0066】
そして、次に、前記1つの投影面L*を用いて、前記仮想視点画像の画像面PP上の同じ点(x,y)と対応する、視点Ciに配置されたカメラ3で撮影した被写体2の画像の画像面CPi上の点(xi *,yi *)を求める。
【0067】
前記被写体2の画像の画像面CPi上の各点(xi,yi),(xi *,yi *)を求めるときには、例えば、前記仮想視点画像PPの点(x,y)を投影面上へ逆投影したときの点(X,Y,Z),(X*,Y*,Z*)を、前記被写体2の画像の画像面CPiへ投影する。
【0068】
一般に、前記投影面上の点のような三次元空間上の点(X,Y,Z)から、前記被写体の画像の画像面CPi上の点のような二次元平面上の点(xi,yi)への射影は、下記数式7ような行列式で表すことができる。
【0069】
【数7】
【0070】
ここで、前記数式7の左辺のsは補助的な係数である。また、前記数式7のΦは変換行列であり、下記数式8のような3行4列の行列で与えられる。
【0071】
【数8】
【0072】
このとき、例えば、原点を中心とした焦点距離fの透視投影変換を表す行列Φ0は、下記数式9で与えられる。
【0073】
【数9】
【0074】
一方、前記仮想視点画像の画像面上の点のような二次元平面上の点(x,y)を前記三次元空間上の点(X,Y,Z)に逆投影する場合には、前記数式7及び数式8を満たす点が無数に存在する。そのうち、前記三次元空間上に設定した投影面に逆投影する場合、前記投影面を表す式がaX+bY+cZ+d=0とすると、ベクトル表現では下記数式10のように表せる。
【0075】
【数10】
【0076】
ここで、前記数式7及び数式8、ならびに前記数式10をまとめると、下記数式11のようになる。
【0077】
【数11】
【0078】
そのため、前記数式11を(X,Y,Z)について解くと、仮想視点画像の画像面PP上の点(x,y)を前記投影面Lj上の点(X,Y,Z)へ逆投影することができる。ここで、前記数式11の右辺の4行4列の行列が逆行列を持つならば、前記数式11は、s’=1/sとおくことで、下記数式12のようになり、前記投影面Lj上の点(X,Y,Z)が求められる。
【0079】
【数12】
【0080】
前記視点Ciに設置したカメラで撮影した画像の画像面CPi上の点(xi,yi)及び点(xi *,yi *)を求めたら、前記投影面群を用いて求めた点(xi,yi)のカメラが配列されている方向の成分、及び前記1つの投影面を用いて求めた点(xi *,yi *)のカメラが配列されていない方向の成分からなる点を、前記仮想視点画像の画像面PP上の点(x,y)と対応する点とみなし、色情報を転写する。このとき、前記カメラが配列されている方向を三次元空間のX軸方向、前記カメラが配列していない方向をY軸方向とすると、図6に示すように、前記点(xi,yi)のx成分(xi)と、点(xi *,yi *)のy成分(yi *)からなる点(xi,yi *)の色情報を前記仮想視点画像の画像面PP上の点(x,y)に転写する。
【0081】
また、前記カメラで撮影した画像及び前記仮想視点画像は、いわゆるディジタル画像であり、有限の面積を持つ画素の位置及び色情報は、メモリ上の二次元配列により表現されている。ここでは、前記画素の配列の位置を示す座標系(u,v)をディジタル画像座標系と呼ぶことにする。
【0082】
このとき、例えば、前記仮想視点画像のサイズが、640画素×480画素であるとすると、前記仮想視点画像を構成する各画素の位置は、0から639までのいずれかの整数値をとる変数uと、0から479までのいずれかの整数値をとる変数vで表される。また、前記各画素の色情報は、その画素のアドレス(u,v)での赤(R),緑(G),青(B)の情報を8ビットなどで量子化したデータで表される。
【0083】
またこのとき、前記ディジタル画像座標(u,v)と通常の画像座標(x,y)は1対1で対応付けされ、例えば、下記数式13のような関係を持つ。
【0084】
【数13】
【0085】
なお、前記数式13では、x軸とu軸を平行とし、u軸とv軸の単位長は(x,y)座標系を基準にku,kvとし、u軸とv軸のなす角度をθとしている。
【0086】
前記二次元配列の各画素の情報の書き込みや読み出しをする場合、前記ディジタル画像座標系(u,v)は離散的な値をとるが、以下の説明では断りのない限り連続値をとるものとし、各画素の情報へアクセスする際に適当な離散化処理を行うものとする。
【0087】
また、前記ディジタル画像座標と画像座標の座標変換では、前記数式13の関係に加えて、例えば、レンズの歪みを考慮した変換を行うことも可能である。
【0088】
このようにして、前記カメラで撮影した画像の画像面CPi上の点(xi,yi *)に相当する画素(ui,vi)の色情報を取り出した後、取り出した色情報を、前記仮想視点画像の画像面PP上の点(x,y)に相当する画素(u,v)に転写すれば、仮想視点画像が得られる。
【0089】
以下、本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法について、前記投影面及び前記貼付領域の設定方法を含めて、詳細に説明する。
【0090】
図7乃至図12は、本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図7は複数の投影面の設定方法を説明するための図、図8(a),図8(b),図9(a)及び図9(b)は貼り付け領域の設定方法を説明するための図、図10は仮想視点Pから見た画像を生成するステップの処理手順を示すフロー図、図11(a)及び図11(b)は色情報を転写するステップを説明するための図、図12は生成した仮想視点画像の一例を示す図である。
【0091】
本実施例1の仮想視点画像生成装置1を用いて、前記仮想視点画像を生成するには、まず、前記被写体画像取得手段101で前記被写体2の画像を取得すると共に、前記奥行き情報取得手段102で前記被写体2の奥行き情報を取得する。
【0092】
このとき、前記被写体2の画像は、前記1次元的に配列したN台のカメラ3で撮影し、取得する。このとき、前記カメラ3は、視点Ci(i=1,2,…,N)が、例えば、図4に示したように、直線上(X軸上)に並ぶように配列する。
【0093】
また、前記被写体2の奥行き情報は、前記カメラ3の近傍に設置した奥行き情報計測装置4により計測して取得する。
【0094】
前記被写体の画像及び前記奥行き情報を取得した状態で、前記仮想視点画像を生成するには、まず、図3に示したように、仮想視点Pの位置、方向、画角等を設定する(ステップ801)。前記ステップ801は、前記仮想視点設定手段103で行い、前記仮想視点Pを決定するために必要な情報は、前記仮想視点入力手段5から入力する。
【0095】
このとき、前記仮想視点入力手段5として、例えば、マウスやキーボード等の入力装置を用いれば、利用者7は、前記画像表示手段(ディスプレイ)6を見ながら、前記仮想視点Pに関する情報を直接的に設定することができる。
【0096】
また、前記仮想視点入力手段5として、例えば、利用者の周りに配置されたセンサー、もしくは前記利用者7に装着したセンサーを用いれば、前記利用者7の位置を検知して前記仮想視点Pを設定することもできる。
【0097】
また、前記仮想視点入力手段5として、他の装置やコンピュータプログラムを用いれば、前記仮想視点Pを自動的に設定することもできる。
【0098】
前記仮想視点Pの位置等を設定したら、次に、3次元空間上に、前記被写体の画像を貼り付ける投影面を設定する(ステップ802)。前記ステップ802は、前記投影面設定手段104aで行う。このとき、前記ステップ802では、例えば、図4及び図5に示したように、複数の投影面Lj(j=1,2,…,M)からなる投影面群と、1つの投影面L*を設定する。
【0099】
また、本実施例1では、説明を簡単にするため、前記投影面を設定する3次元空間は、例えば、図4及び図5に示したように、前記カメラ3(視点Ci)が配列されている方向をX軸方向、配列されていない方向をY軸方向とする。また、前記各投影面Lj,L*は、法線方向がZ軸と平行であるとする。またこのとき、前記Z軸は、図4及び図5に示したように、前記各投影面から前記カメラ3に向かう方向にとり、前記投影面Ljの設定距離はZ=−lj、前記投影面L*の設定距離はZ=−l*で表すことにする。
【0100】
またこのとき、前記投影面群の投影面Ljは、例えば、以下のような条件を満たすように設定する。
【0101】
本実施例1のように、前記被写体の画像から部分的に抽出した画像を、前記投影面に貼り付ける場合、例えば、カメラの視点Ciがある面(以下、カメラ設置面と称する)8から被写体2上の点までの実際の距離と、前記カメラ設置面8から前記投影面までの距離が異なると、生成した画像上で誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【0102】
このとき、前記カメラ設置面8から距離lの位置にある被写体2上の点が、前記投影面Ljに貼り付けられているとすると、前記距離lが、下記数式1、数式2、数式3で表される条件を満たしていれば、前記距離lの位置にある被写体上の点と投影面Lj上の点の誤差が最大値δよりも小さいことが保証される。
【0103】
【数14】
【0104】
【数15】
【0105】
【数16】
【0106】
前記数式14において、flj及びbljは前記投影面Ljに貼り付けられる点の最小値及び最大値であり、前記被写体の画像の中で、カメラ設置面8からの距離lがfljからbljまでの間である点(部分)は、前記画像投影面Ljに貼り付けられる。
【0107】
また、前記数式15及び数式16において、ZPはカメラ設置面8から仮想視点Pまでの距離、fはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点Pの位置は、前記カメラ設置面8を基準として、前記投影面Ljが設けられた方向とは逆の方向にあるとする。また、前記被写体の画像と前記投影面Ljの間の写像は透視投影とする。
【0108】
このとき、前記投影面Ljのうち、前記カメラ設置面8に一番近い投影面L1では、貼り付けた画像(点)のうち、実際の被写体2上の点が、前記数式1によって与えられる奥行き範囲内に存在する場合は、前記投影面L1上での位置の誤差を、最大値δよりも小さくすることができる。そのため、前記各投影面Ljに対して、前記数式14の条件を設定し、前記被写体2が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【0109】
前記flj及びblj、ならびにカメラ設置面8から投影面Ljまでの距離ljを設定するときは、まず、例えば、図7に示したように、奥行き情報の最小値lminをfl1とする。このとき、前記数式15から投影面L1の距離l1が決定する。また、前記投影面L1の距離l1が決まると、前記数式16からbl1が決まる。
【0110】
次の投影面L2に関しては、図7に示したように、fl2=bl1とし、前記数式15及び前記数式16を用いて前記投影面L2の距離l2、及びbl2を決める。
【0111】
以下、逐次的にflj+1=bljとして計算を繰り返し、bljが被写体2の奥行き情報の最大値lmaxよりも大きくなるか、無限大になるまで投影面Ljを設定していく。
【0112】
前記被写体の奥行き情報の最小値lmin、及び最大値lmaxは、前記奥行き情報取得手段102で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体2が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【0113】
また、前記投影面Ljの設定方法では、仮想視点Pが更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点Pが移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい(小さい)場合に基づいて設定してもよい。
【0114】
また、前記カメラが配列されていない方向(Y軸方向)に対する投影面L*は、例えば、前記X軸方向に対する投影面Ljの1つと一致するように設定する。また、その他にも、例えば、前記X軸方向に対する投影面Ljの設定距離を平均した距離に設定してもよい。
【0115】
なお、前記数式14乃至数式16を用いる方法は、前記投影面群の各投影面Ljの設定方法の一例であり、他の方法で設定することもできる。
【0116】
前記各投影面Lj,L*の設定が済んだら、次に、前記被写体の画像を、前記各投影面Lj,L*にテクスチャマッピングする際に、各投影面Lj,L*上で、視点Ciのカメラで撮影した画像が分担する領域、言い換えると、前記各投影面Lj,L*上の前記被写体の画像を貼り付ける領域(以下、貼付領域と称する)Uijを設定する(ステップ803)。
【0117】
前記貼付領域Uijを設定するときには、まず、例えば、図8(a)に示すように、前記視点Ciを母点としたボロノイ領域Viを求め、前記仮想視点Pを中心にして前記ボロノイ領域Viを投影面Ljに投影した領域Wijを求める。また、その一方で、図8(b)に示すように、前記被写体2を前記視点Ciから測ったときの投影面Ljにおける分担領域Sijを求める。
【0118】
前記貼付領域Uijは、図9(a)及び図9(b)に示すように、前記領域Wijと前記分担領域Sijの重なる領域とすれば、下記数式17で与えられる。
【0119】
【数17】
Uij=Wij∩Sij
なお、図9(a)及び図9(b)、ならびに前記数式17に示したような設定方法は、前記貼付領域Uijの設定方法の一例であり、他の方法で設定することもできる。
【0120】
前記投影面Lj,L*の設定、及び前記貼付領域Uijの設定が済んだら、次に、前記仮想視点画像を生成する(ステップ804)。
【0121】
前記仮想視点画像は、例えば、横(u軸)方向がw画素、縦(v軸)方向がh画素のディジタル画像である。そのため、前記ディジタル画像の各画素(u,v)における色情報を取得すれば、前記仮想視点画像を生成することができる。このとき、前記各画素(u,v)の色情報は、例えば、R(赤),G(緑),B(青)の各色を8ビットの値で表現する。
【0122】
前記仮想視点画像を生成するには、図10に示すように、まず、仮想視点画像の画素(u,v)を示す変数u,v、投影面Ljの変数j、前記カメラの視点Ciの変数iのそれぞれを初期化する(ステップ804a,ステップ804b,ステップ804c)。このとき、前記変数u,vは、例えば、u=0,v=0とする。また、前記変数i及び変数jはそれぞれ、例えば、i=1,j=1とする。
【0123】
次に、前記仮想視点画像の各画素(u,v)に対応する、前記仮想視点画像の画像面PP上の点(x,y)を求める(ステップ804d)。前記画像面PP上の点(x,y)は、例えば、前記数式13に基づいて求める。
【0124】
次に、前記仮想視点画像の画像面PP上の点(x,y)を、前記投影面群の投影面Ljに逆投影して、前記画像面PP上の点(x,y)に対応する前記投影面Lj上の点(X,Y,Z)を求める(ステップ804e)。前記投影面Lj上の点(X,Y,Z)は、例えば、前記数式11に基づいて求める。
【0125】
次に、前記投影面Lj上の点(X,Y,Z)が、前記視点Ciのカメラで撮影した画像の前記投影面Ljにおける貼付領域Uijに含まれるか判定する(ステップ804f)。ここで、前記貼付領域Uijに含まれる場合は、次のステップ804gに進む。また、前記貼付領域Uijに含まれない場合は、以降のステップを飛ばして、ステップ804lに進む。
【0126】
前記投影面Lj上の点(X,Y,Z)が前記貼付領域Uijに含まれる場合、次のステップ804gで、前記仮想視点画像の画像面PP上の点(x,y)を、前記1つの投影面L*上に逆投影して、前記点(x,y)に対応する点(X*,Y*,Z*)を求める。前記投影面L*への逆投影は、前記投影面Ljへの逆投影と同じ要領で、前記数式11に基づいて行えばよい。
【0127】
次に、前記投影面Lj上の点(X,Y,Z)を視点Ciのカメラで撮影した画像の画像面CPi上に投影し、前記点(X,Y,Z)に対応する点(xi,yi)を得る(ステップ804h)。前記ステップ804hの投影処理は、例えば、前記数式7及び数式8で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【0128】
次に、前記投影面L*上の点(X*,Y*,Z*)を前記被写体画像の画像面CPi上に投影し、前記点(X*,Y*,Z*)に対応する点(xi *,yi *)を得る(ステップ804i)。前記ステップ804iの投影処理も、例えば、下記数式7及び数式8で表される行列式を用いて行えばよいので、詳細な説明は省略する。
【0129】
次に、図6に示したように、前記ステップ804hで求めた点(xi,yi)のx成分と、前記ステップ804iで求めた点(xi *,yi *)のy成分からなる点(xi,yi *)に対応する、前記視点Ciのカメラで撮影したディジタル画像の画像面CPi上の画素(ui,vi)を求める(ステップ804j)。前記ステップ804jは、例えば、前記数式13に基づいて行えばよいので、詳細な説明は省略する。
【0130】
次に、図11(a)に示すように、前記視点Ciに設置したカメラで撮影したディジタル画像の画像面CPiの画素(ui,vi)の色情報を、図11(b)に示すように、前記仮想視点画像の画像面PP上の画素(u,v)における色情報に転写する(ステップ804k)。
【0131】
その後、前記視点Ciの変数iを更新し(ステップ804l)、前記色情報の転写が済んでいない視点Ciのカメラで撮影した画像があるか調べる(ステップ804m)。色情報の転写が済んでいない視点Ciの画像があれば前記ステップ804eに戻り、前記ステップ804eからステップ804kまでの処理を行う。
【0132】
全ての視点Ciの画像において前記色情報の転写が済んでいれば、今度は投影面Ljの変数jを更新し(ステップ804n)、前記処理を行っていない投影面があるか調べる(ステップ804o)。処理を行っていない投影面があれば、前記ステップ804cに戻り、前記ステップ804cからステップ804kの処理を行う。
【0133】
その後、今度は、前記仮想視点画像の画素(u,v)を更新し(ステップ804p)、全ての画素に対して処理を行ったか調べる(ステップ804q)。未処理の画素(u,v)がある場合は、前記ステップ804bに戻り、前記ステップ804bからステップ804kの処理を行う。
【0134】
以上の処理が全て済むと、例えば、図12に示したような前記仮想視点画像が得られ、前記画像表示手段6に表示される。このとき、前記仮想視点画像の各点(画素)のY軸方向成分、すなわち前記カメラ3が配列されていない方向の成分は、1つの投影面にテクスチャマッピングして求めている。そのため、前記Y軸方向の成分は画像面全域にわたり連続的に変化し、図12に示したように、前記仮想視点画像をY軸方向に走査してみたときに、画像の隙間が非常に小さくなる。
【0135】
以上説明したように、本実施例1の仮想視点画像生成装置を用いた仮想視点画像生成方法によれば、前記仮想視点画像上の点の、前記カメラが配列された方向の成分は複数の投影面Ljからなる投影面群を用いて求め、前記カメラが配列されていない方向の成分は1つの投影面L*を用いて求めることにより、生成した仮想視点画像の、前記カメラが配列されていない方向に隙間が生じるのを防ぐことができる。そのため、前記カメラが1次元的に配列されている場合でも、仮想視点画像の劣化を低減することができる。
【0136】
また、本実施例1の仮想視点画像生成装置1は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等を備えるコンピュータであってもよい。その場合、図3及び図10に示したような処理の各ステップを、前記コンピュータに実行させるプログラムを、例えば、前記HDDや前記ROMに記録しておけばよい。また、前記プログラムは、前記HDDや前記ROMに記録する代わりに、CD-ROM等の記録媒体に記録したり、インターネット上のサーバー等に記録したりして、前記記録媒体や前記インターネットなどのネットワークを利用して提供することもできる。そのため、専用の装置を用いなくても、劣化の少ない仮想視点画像を容易に生成することができる。
【0137】
図13及び図14は、前記実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【0138】
前記実施例1では、図4に示したように、前記投影面Lj,L*を設定する三次元空間のX軸方向及びY軸方向と、前記仮想視点画像のx軸方向及びy軸方向が一致している例を挙げて説明したが、実際には、図13及び図14に示すように、三次元空間のX軸方向及びY軸方向と、前記仮想視点画像のx軸方向及びy軸方向が一致していなくてもよい。そのような場合は、例えば、図14に示したように、三次元空間のX軸方向及びY軸方向と一致するx’軸及びy’軸をとるような画像面を想定し、前記実施例1で説明した手順に沿って、前記仮想視点画像の画像面上の点(x',y')と対応する被写体2の画像の画像面上の点(xi',(yi *)')を求めた後、前記点(x',y')を点(x,y)に座標変換すればよい。
【0139】
図15は、前記実施例1の仮想視点画像生成装置の変形例を説明するための図である。
【0140】
前記実施例1の仮想視点画像生成装置では、前記奥行き情報取得手段102は、前記奥行き計測手段4で計測した結果を取得しているが、これに限らず、例えば、図15に示すように、前記被写体画像取得手段101で取得した画像を用いて、奥行き情報を算出してもよい。このとき、前記奥行き情報取得手段102では、例えば、ステレオマッチングにより奥行き情報を算出する(例えば、奥富,金出, “複数の基線長を利用したステレオマッチング”, 電子情報通信学会誌 D-II, no.8, pp.1317-1327, 1992を参照。)。
【0141】
(実施例2)
図16及び図21は、本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、図16は仮想視点Pから見た画像を生成するステップのフロー図、図17及び図18は投影ポリゴンの設定方法を説明するための図、図19はテクスチャ配列内での画像の例を示す図、図20及び図21は投影ポリゴンの頂点の補正方法を説明するための図である。
【0142】
本実施例2の仮想視点画像生成装置は、前記実施例1で説明した仮想視点画像生成装置1と同様の構成であるので、詳細な説明は省略する。
【0143】
前記実施例1の仮想視点画像生成装置1を用いた仮想視点画像生成方法では、図4及び図5に示したように、複数の投影面Lj(j=1,2,…,M)からなる投影面群と、1つの投影面L*の2種類の投影面を設定し、仮想視点画像を生成した。これは、カメラが配列されている方向では投影面が複数あり、前記カメラが配列されていない方向では投影面が1つであるという想定をして、透視投影変換をしていることになるが、実際の三次元空間上に、このような幾何図形は存在しない。そのため、例えば、OpenGLやDirectXのような、汎用的な三次元ライブラリを用いると、座標の扱いが困難である。
【0144】
前記三次元ライブラリにより、ある視点からの画像を生成するには、いくつもの段階的な処理が施される。そのうち特に、処理の高速化が求められる箇所では、並列処理を行うなど、ライブラリの種類によって処理方法は多様であるが、一般的には、大きく分けて次の3つの処理を経る。
【0145】
(1)被写体をポリゴン(多角形平面)等の基本図形の組み合わせとして三次元座標系で表現し、視点の位置、光源の位置、テクスチャ等を設定する三次元シーンの設定処理。
【0146】
(2)被写体を表現する三次元座標系の頂点を視点座標系に変換し、投影変換して視点の位置にある画像面の二次元座標系に変換する座標変換処理。またこのとき、光源やテクスチャマッピングによる頂点の色の計算、奥行き情報の計算なども行う。
【0147】
(3)二次元座標に変換された頂点を補完して塗りつぶし、画像面の各画素での色を計算する走査変換処理。またこのとき、奥行き情報を基にした隠面消去処理もここで行う。
【0148】
前記三次元ライブラリ及びグラフィクス・ハードウェアを組み合わせて使用する場合、前記3つの処理のうち、アプリケーション・プログラム(ソフトウェア)で受け持つ処理は、前記(1)の三次元シーンの設定処理のみであり、前記(2)の座標変換処理、及び前記(3)の走査変換処理は、前記三次元ライブラリが対応したグラフィックス・ハードウェアにより処理される。
【0149】
しかしながら、前記座標変換処理を前記三次元ライブラリ(グラフィックス・ハードウェア)に任せてしまうと、前記実施例1のような特殊な座標変換処理を行なうことができない。そのため、前記座標変換処理をアプリケーション・プログラムで行わなければならなくなり、処理速度(画像生成速度)が低下する。
【0150】
そこで、本実施例2では、前記汎用的な三次元ライブラリ(グラフィックス・ハードウェア)を用いて仮想視点画像を生成する方法について説明する。
【0151】
本実施例2の仮想視点画像生成方法でも、まず、図3に示したように、仮想視点Pの設定(ステップ801)、及び投影面Lj,L*の設定(ステップ802)、ならびに前記各投影面上の貼付領域Uijの設定(ステップ803)の各ステップを行う。なお、前記ステップ801,802,803は前記実施例1で説明したような処理を行えばよいので、詳細な説明は省略する。
【0152】
次に、図3に示した前記ステップ804の処理を行うが、本実施例2では、まず、図16に示すように、前記ステップ802で決定した投影面Lj上に、前記視点Ciのカメラで撮影した画像の画像面の画角を逆投影したポリゴン(多角形平面)を設定する(ステップ804r)。以下、前記ポリゴンを投影ポリゴンと称する。
【0153】
このとき、例えば、図17に示すように、前記視点Ciのカメラで撮影した画像の画像面CPiにおける画角の四隅を{Hi 1,Hi 2,Hi 3,Hi 4}とおき、それらを投影面Ljに逆投影したものをそれぞれ{Gij 1,Gij 2,Gij 3,Gij 4}とおいた場合、この{Gij 1,Gij 2,Gij 3,Gij 4}を頂点とする多角形が前記投影ポリゴンとなる。
【0154】
ここで、前記逆投影の座標計算は、例えば、前記数式12に示す関係式に基づいて行い、全てのカメラCi(i=1,2,…,N)、及び全ての投影面Lj(j=1,2,…,M)に対して、図18に示したように、合計i×j組の前記投影ポリゴン、及びi×j×4個の頂点を設定する。なお、ここでは、画像面の画角を規定する多角形及び前記投影ポリゴンの頂点の数を4つとしたが、前記頂点の数は3つでもよいし、5つ以上でもよい。
【0155】
次に、全ての投影ポリゴンについて、テクスチャマッピング用の二次元配列(テクスチャ配列)を確保する(ステップ804s)。前記テクスチャ配列は、1つの視点Ciに対して、投影面の数、すなわちj組確保し、合計でi×j組を確保する。
【0156】
前記テクスチャ配列の各成分(画素)には、赤(R),緑(G),青(B)の3原色の輝度を表す色情報の他、一般にアルファ値と呼ばれる透明度を表す情報(A)も格納する。
【0157】
また、前記テクスチャ配列のサイズは、前記視点Ciのカメラで撮影した画像のサイズと同じである場合に、メモリの使用量をもっとも節約できるが、前記三次元ライブラリの種類によっては、前記テクスチャ配列の各辺のサイズは2のべき乗でなければならないなどの条件がある。そのため、前記テクスチャ配列は、前記カメラの画像サイズよりも大きなサイズの配列を確保する。このとき、前記カメラ画像の配列のサイズをw×hとすると、前記テクスチャ配列のサイズはwt×ht(wt≧w,ht≧h)となるようにする。ここで、例えば、前記カメラの画像サイズ(w,h)が(640,480)であり、テクスチャ配列の各辺のサイズ(wt,ht)が2のべき乗でなければならないとすると、確保するテクスチャ配列のサイズ(wt,ht)は(1024,512)とする。
【0158】
また、前記カメラの画像のサイズが大きく、前記テクスチャ配列に許容される最大のサイズを超えてしまうような場合は、前記テクスチャ配列を小さく分けて複数のテクスチャ配列を確保する。
【0159】
このようにして、前記テクスチャ配列を確保した後、前記視点Ciのカメラで撮影した画像を、対応するj組のテクスチャ配列に転送する。
【0160】
前記テクスチャ配列を確保したら、次に、前記投影ポリゴンの各頂点{Gij 1,Gij 2,Gij 3,Gij 4}の三次元座標と、テクスチャ座標の対応付けを行う(ステップ804t)。ここで、前記テクスチャ座標とは、例えば、図19に示すように、テクスチャマッピングに用いる画像TPの辺の長さを1に正規化した座標である。このとき、前記テクスチャ画像TP上の各点の位置は、0から1までの値をとる座標軸(s,t)で与えられる。前記ステップ804tにおいて、前記各頂点の三次元空間座標(X,Y,Z)と二次元テクスチャ座標(s,t)の対応付けができれば、テクスチャマッピング処理は、前記三次元ライブラリが担当して行うことができ、グラフィックス・ハードウェアで仮想視点画像を生成することができる。
【0161】
このとき、例えば、図19に示したように、前記カメラ画像の配列を、前記テクスチャ配列の左下隅に合わせて転送した場合、前記カメラ画像の四隅の点{Hi 1,Hi 2,Hi 3,Hi 4}はそれぞれ、前記テクスチャ座標では(0,0),(0,h/ht),(w/wt,h/ht),(w/wt,0)となる。また、前記投影ポリゴンの各頂点{Gij 1,Gij 2,Gij 3,Gij 4}の三次元座標と、前記カメラ画像の四隅の点{Hi 1,Hi 2,Hi 3,Hi 4}の対応関係は、前記ステップ804rで求めているので、それを利用すれば、前記投影ポリゴンの各頂点{Gij 1,Gij 2,Gij 3,Gij 4}の各座標と前記テクスチャ座標の対応関係が得られる。
【0162】
前記投影ポリゴンの各頂点{Gij 1,Gij 2,Gij 3,Gij 4}の各座標と前記テクスチャ座標の対応関係が得られたら、次に、前記テクスチャ座標を格納する配列の透明度(A)の設定をする(ステップ804u)。このとき、前記配列の透明度(A)は、前記投影面上の貼付領域Uijに相当する領域が不透明になり、その他の領域が透明になるように設定する。このように設定することで、三次元ライブラリで描画するときに、前記貼付領域Uijに含まれるテクスチャのみを描画することができる。
【0163】
次に、前記ステップ804rで設定した投影ポリゴンの各頂点{Gij 1,Gij 2,Gij 3,Gij 4}の位置を、前記カメラが配列されていない方向に移動させ、前記投影面上でのテクスチャ画像を拡大あるいは縮小する(ステップ804v)。
【0164】
本実施例2の仮想視点画像の生成方法で、前記実施例1と同様の処理をするならば、前記カメラが配列されていない方向(Y軸方向)に対しては、前記投影面群の代わりに、1つの投影面L*を想定して座標計算処理を行う。このとき、例えば、図20に示すように、投影面Lj上の点Gにテクスチャマッピングされている配列(画素)は、投影面L*上では点G*にテクスチャマッピングされる。そのため、前記配列(画素)は、前記仮想視点Pから見た画像の画像面PP上では点Iに描画される。
【0165】
そこで、前記投影面Ljを用いつつ、前記仮想視点Pから見た画像の画像面PPの点Iに描画されるように、点GのY座標を点G’のY座標に更新する。
【0166】
このような処理を、前記投影ポリゴンの全ての頂点に付いて行えば、前記投影ポリゴンで囲まれるテクスチャは、前記投影面L*を用いたかのように補正処理される。
また、前記点G’は、例えば、以下のような方法で簡単に求めることができる。
【0167】
まず、点Gに対応する視点Ciで撮影した画像の画像面CPi上の点Hを投影面L*上の点G*に逆投影する。次に、点G*を仮想視点Pの画像面PP上の点Iに投影する。最後に、点Iを投影面Ljに逆投影すれば、点G’が得られる。ここで、前記点G*の投影は、例えば、前記数式7及び数式8に示した関係式に基づいて計算する。また、前記点G,G’の逆投影は、例えば、前記数式12に示した関係式に基づいて計算する。
【0168】
なお、図20では、前記投影ポリゴンの頂点が拡大するような例を示したが、前記仮想視点P、前記カメラの視点Ci、前記投影面Lj,L*の位置関係によっては、前記投影ポリゴンの頂点を縮小する場合も考えられる。
【0169】
前記投影ポリゴンを縮小する場合も、前記拡大する場合と同様の処理を行えばよく、例えば、図21に示すように、前記カメラの画像面CPi上の点Hを投影面L*上の点G*に逆投影し、点G*を仮想視点Pの画像面PP上の点Iに投影した後、点Iを投影面Ljに投影すれば、点G’が得られる。ここで、前記点G*の投影は、例えば、前記数式7及び数式8に示した関係式に基づいて計算する。また、前記点G,G’の逆投影は、例えば、前記数式12に示した関係式に基づいて計算する。
【0170】
前記各ステップの処理を終了したら、前記各ステップで設定した仮想視点P、投影ポリゴンの各頂点{Gij 1,Gij 2,Gij 3,Gij 4}の位置、テクスチャからなる三次元シーンを、前記三次元ライブラリに設定すると、前記三次元ライブラリを用いて、前記グラフィックス・ハードウェア上で、前記座標変換処理及び前記走査変換処理が行われ、前記仮想視点Pにおける画像が生成される(ステップ804w)。
【0171】
以上説明したように、本実施例2の仮想視点画像生成方法によれば、前記投影面群の投影面に逆投影した画像を拡大、あるいは縮小することで、前記投影面郡の投影面上の画像を、あたかも前記実施例1で説明した前記1つの投影面L*にテクスチャマッピングした画像のように見えるようにすることができる。そのため、前記投影面を3次元空間上で表現できる構造にすることができ、汎用的なの三次元ライブラリを用いて、劣化の少ない仮想視点画像を高速に生成することができる。
【0172】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【0173】
例えば、前記実施例では、例えば、図1及び図2に示したように、直線状に配列したカメラ3で前記被写体2の画像を撮影したが、前記カメラ3は、直線状に限らず、例えば、円弧状に配列されていてもよい。
【0174】
また、前記カメラ3は、前記直線状や前記円弧状に限らず、前記一次元的な配列、言い換えると、1つの平面上にある直線または曲線に沿って配列された状態であればよい。すなわち、前記実施例では、前記各カメラの視点Ciが直線(X軸)上になるように配列しているが、必ずしもX軸上にある必要はない。
【0175】
また、前記実施例では、前記カメラ3は、一定の間隔で配列したが、これに限らず、不規則な間隔で配列されていてもよい。
【0176】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
【0177】
すなわち、一次元的に配列されたカメラで撮影した画像から仮想視点画像を生成するときに、前記カメラが配列されていない方向で隙間が生じるのを防ぐことができる。
【図面の簡単な説明】
【図1】本発明による実施例1の仮想視点画像生成装置の概略構成を示す模式図であり、装置の構成を示すブロック図である。
【図2】本発明による実施例1の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置を用いたシステムの構成例を示す図である。
【図3】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、処理全体のフロー図である。
【図4】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図5】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、投影面の設定方法を説明するための図である。
【図6】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の原理を説明するための模式図であり、色情報の転写方法を説明するための図である。
【図7】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、複数の投影面の設定方法を説明するための図である。
【図8】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図8(a)及び図8(b)は貼り付け領域の設定方法を説明するための図である。
【図9】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図9(a)及び図9(b)は貼り付け領域の設定方法を説明するための図である。
【図10】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、仮想視点Pから見た画像を生成するステップの処理手順を示すフロー図である。
【図11】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、図11(a)及び図11(b)は色情報を転写するステップを説明するための図である。
【図12】本実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法を説明するための模式図であり、生成した仮想視点画像の一例を示す図である。
【図13】前記実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図14】前記実施例1の仮想視点画像生成装置を用いた仮想視点画像の生成方法の応用例を説明するための図である。
【図15】前記実施例1の仮想視点画像生成装置の変形例を説明するための図である。
【図16】本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、仮想視点Pから見た画像を生成するステップのフロー図である。
【図17】本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図18】本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの設定方法を説明するための図である。
【図19】本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、テクスチャ配列内での画像の例を示す図である。
【図20】本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図21】本発明による実施例2の仮想視点画像生成方法を説明するための模式図であり、投影ポリゴンの頂点の補正方法を説明するための図である。
【図22】従来の投影面が1つの場合の画像生成方法を説明するための模式図である。
【図23】従来の投影面が複数の場合の画像生成方法を説明するための模式図である。
【図24】従来の画像生成方法の課題を説明するための模式図である。
【符号の説明】
1…仮想視点画像生成装置、101…被写体画像取得手段、102…奥行き情報取得手段、103…仮想視点設定手段、104…画像生成手段、104a…投影面設定手段、104b貼付領域設定手段、2…被写体、3…カメラ、4…奥行き情報計測手段、5…仮想視点入力手段、6…画像表示手段、7…利用者、8…カメラ設置面、Ci…カメラの視点、CPi…カメラで撮影した画像の画像面、Lj,L*…投影面、P…仮想視点、PP…仮想視点画像の画像面。
Claims (6)
- 同一平面上にある直線または曲線に沿って配置された複数のカメラで撮影した被写体の画像を取得するステップと、前記被写体の奥行き情報を取得するステップと、前記被写体を見る位置(以下、仮想視点と称する)を設定するステップと、前記被写体の画像を投影面にテクスチャマッピングして、前記仮想視点から前記被写体を見たときの画像(以下、仮想視点画像と称する)を生成するステップとを有する仮想視点画像生成方法であって、
前記仮想視点画像を生成するステップは、
複数の投影面からなる投影面群、及び1つの投影面を設定する第1ステップと、
前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する第2ステップと、
前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第3ステップと、
前記被写体の画像を前記1つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第4ステップと、
前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記1つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する第5ステップとを有することを特徴とする仮想視点画像生成方法。 - 前記第4ステップは、
前記被写体の画像を前記投影面群の投影面に逆投影するステップと、
テクスチャマッピング用の2次元配列を確保するステップと、
前記投影面に逆投影した画像の頂点の座標と前記2次元配列の座標の対応付けを行うステップと、
前記1つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に合わせて、前記投影面に逆投影した画像を拡大あるいは縮小するステップとを有する請求項1に記載の仮想視点画像生成方法。 - 同一平面上にある直線または曲線に沿って配置された複数のカメラで撮影した被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、前記被写体の画像を投影面にテクスチャマッピングして、任意の視点(以下、仮想視点と称する)から前記被写体を見たときの画像(以下、仮想視点画像と称する)を生成する画像生成手段とを備える仮想視点画像生成装置であって、
前記画像生成手段は、
複数の投影面からなる投影面群、及び1つの投影面を設定する投影面設定手段と、
前記投影面群の投影面上で、前記被写体の画像を貼り付ける領域を設定する貼付領域設定手段と、
前記投影面設定手段で設定した投影面、及び前記貼付領域設定手段で設定した貼付領域に基づいて、前記被写体の画像を前記投影面にテクスチャマッピングして、前記仮想視点画像に変換するレンダリング手段とを備え、
前記レンダリング手段は、
前記被写体の画像を前記投影面群の各投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第1対応点算出手段と、
前記被写体の画像を前記1つの投影面にテクスチャマッピングしたときに、前記仮想視点画像上の点と対応する前記被写体の画像上の点を求める第2対応点算出手段と、
前記被写体の画像上の、前記投影面群を用いて求めた前記被写体の画像上の点の前記カメラが配列された方向の成分と、前記1つの投影面を用いて求めた前記被写体の画像上の点の前記カメラが配列されていない方向の成分とからなる点の色情報を、仮想視点画像上の点に転写する色情報転写手段とを備えることを特徴とする仮想視点画像生成装置。 - 前記第2対応点算出手段は、
前記被写体の画像を前記投影面群の投影面に逆投影する逆投影手段と、
テクスチャマッピング用の2次元配列を確保するテクスチャ配列確保手段と、
前記投影面に逆投影した画像の頂点の座標と前記2次元配列の座標の対応付けを行う対応付け手段と、
前記1つの投影面及び前記投影面群の投影面、ならびに前記仮想視点の位置関係に合わせて、前記投影面に逆投影した画像を拡大あるいは縮小する縮尺変更手段とを備えることを特徴とする請求項3に記載の仮想視点画像生成装置。 - 前記請求項1または請求項2に記載の仮想視点画像生成方法の各ステップを、コンピュータに実行させるための仮想視点画像生成プログラム。
- 前記請求項5に記載の仮想視点画像生成プログラムが、コンピュータで読み出し可能な状態に記録された記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003075478A JP3971714B2 (ja) | 2003-03-19 | 2003-03-19 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003075478A JP3971714B2 (ja) | 2003-03-19 | 2003-03-19 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004287517A JP2004287517A (ja) | 2004-10-14 |
JP3971714B2 true JP3971714B2 (ja) | 2007-09-05 |
Family
ID=33290784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003075478A Expired - Fee Related JP3971714B2 (ja) | 2003-03-19 | 2003-03-19 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3971714B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006310936A (ja) * | 2005-04-26 | 2006-11-09 | Sharp Corp | 任意視点映像生成システム |
JP2006352539A (ja) * | 2005-06-16 | 2006-12-28 | Sharp Corp | 広視野映像システム |
EP2795907A4 (en) * | 2011-12-22 | 2015-07-15 | Ericsson Telefon Ab L M | METHOD AND PROCESSOR FOR 3D SCENE REPRESENTATION |
JP6042732B2 (ja) * | 2013-01-17 | 2016-12-14 | 日本電信電話株式会社 | 画像生成方法、画像生成装置及び画像生成プログラム |
US11972522B2 (en) | 2016-03-25 | 2024-04-30 | Outward, Inc. | Arbitrary view generation |
US9996914B2 (en) * | 2016-03-25 | 2018-06-12 | Outward, Inc. | Arbitrary view generation |
US11232627B2 (en) | 2016-03-25 | 2022-01-25 | Outward, Inc. | Arbitrary view generation |
US11989821B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US11989820B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US10163249B2 (en) | 2016-03-25 | 2018-12-25 | Outward, Inc. | Arbitrary view generation |
KR101986433B1 (ko) * | 2017-11-28 | 2019-06-05 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 시점 변환을 이용하는 영상 스티칭 방법 및 시스템 |
KR101997991B1 (ko) * | 2017-11-29 | 2019-07-08 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 시점 변환을 이용하는 영상 결합 방법 및 시스템 |
CN113259642B (zh) * | 2021-05-12 | 2023-05-30 | 华强方特(深圳)科技有限公司 | 一种影片视角调节方法及*** |
-
2003
- 2003-03-19 JP JP2003075478A patent/JP3971714B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004287517A (ja) | 2004-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3840150B2 (ja) | 3次元客体およびアニメートされた3次元客体のイメージベースの表現とレンダリング方法 | |
Oliveira et al. | Relief texture mapping | |
El-Hakim et al. | A multi-sensor approach to creating accurate virtual environments | |
US6778173B2 (en) | Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering | |
US6081273A (en) | Method and system for building three-dimensional object models | |
US8432435B2 (en) | Ray image modeling for fast catadioptric light field rendering | |
JP3052681B2 (ja) | 3次元動画像生成装置 | |
JPH0757117A (ja) | テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム | |
US20100085423A1 (en) | Stereoscopic imaging | |
US20130249901A1 (en) | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces | |
JP3971714B2 (ja) | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 | |
US20130083021A1 (en) | Stereo-Aware Image Editing | |
US7194125B2 (en) | System and method for interactively rendering objects with surface light fields and view-dependent opacity | |
US9367943B2 (en) | Seamless fracture in a production pipeline | |
Oliveira | Image-based modeling and rendering techniques: A survey | |
US20210398358A1 (en) | Optimizations to Reduce Multi-Channel Ray Casting for Color Sampling | |
CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
CN113345063A (zh) | 基于深度学习的pbr三维重建方法、***与计算机存储介质 | |
AU2004306226B2 (en) | Stereoscopic imaging | |
WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
JP4354708B2 (ja) | 多視点カメラシステム | |
CN116363290A (zh) | 一种用于大规模场景三维重建的纹理贴图生成方法 | |
JP2004234350A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JPH11504452A (ja) | 2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法 | |
Hornung et al. | Interactive pixel‐accurate free viewpoint rendering from images with silhouette aware sampling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070608 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |