JP6595878B2 - 要素画像群生成装置及びそのプログラム - Google Patents
要素画像群生成装置及びそのプログラム Download PDFInfo
- Publication number
- JP6595878B2 JP6595878B2 JP2015200560A JP2015200560A JP6595878B2 JP 6595878 B2 JP6595878 B2 JP 6595878B2 JP 2015200560 A JP2015200560 A JP 2015200560A JP 2015200560 A JP2015200560 A JP 2015200560A JP 6595878 B2 JP6595878 B2 JP 6595878B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- vector
- image group
- element image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 124
- 238000000034 method Methods 0.000 claims description 39
- 230000010354 integration Effects 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
また、要素画像群を生成するために用いる多視点映像は、同一被写体を複数のカメラで撮影して生成されているので、各カメラ画像には重複している部分がある。そこで、3次元モデルから要素画像群を生成する際に、ある画素に対してどのカメラ画像(どのカメラ)を選択するのか、また選択したカメラが適切なものなのかどうかは極めて重要である。
従来、一般的には、3次元モデルの法線に一番近いカメラを選択するようにしており、表示された際に再生されるインテグラル立体像を、遠くから眺めた場合には3次元モデルの誤差(エラー)が誇張されてしまう問題があった。そして、撮影した方向(撮影時に被写体から発してカメラに記録された光線の方向)と、観測する方向(2次元ディスプレーに被写体を表示させた際に再現される光線の方向)と、のなす角度が大きくなるほど、3次元モデルにおける誤差の影響が大きくなってしまう。
そして、要素画像群生成装置は、画像統合手段によって、前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが1つである場合、当該1つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる。
これにより、被写体を撮影した複数のカメラの中から、被写体を表示させた際に観測する光線の方向と最も近い方向から撮影したカメラを選択することができる。
そして、要素画像群生成装置は、画像生成制御手段によって、前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する。
したがって、要素画像群生成装置は、観測する光線の方向と最も近い方向から撮影したカメラの映像を用いて立体像を生成するので、演算機内の仮想空間に配置した3次元モデルにおける誤差の影響を最小限にすることができる。
そして、要素画像群生成装置は、画像統合手段によって、前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが1つである場合、当該1つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる。
そして、要素画像群生成装置は、画像生成制御手段によって、前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する。
(第1実施形態)
[要素画像群生成装置の構成]
図1に示す要素画像群生成装置100は、同一被写体を多視点カメラ(複数のカメラ)で撮影した多視点のカメラ画像(多視点映像)からインテグラル式立体テレビの立体像を生成するための要素画像群を生成するものである。本実施形態の要素画像群生成装置100は、被写体の予め生成された3次元モデルを演算機内の仮想空間上に配置して要素画像群を生成する。
<入力データ>
カメラ画像とは、多視点カメラで撮影した多視点映像の少なくとも1つの視点映像を表している。なお、視点映像や多視点映像に関して、画像処理を説明する場合や、記憶された画像又はフレーム単位の画像等を指す場合、カメラ画像あるいは単に画像と呼ぶ場合もある。撮影に用いる多視点カメラの配置の一例を図2に示す。図2に示す例では、縦3×横7の合計21台のカラーカメラC(以下、単にカメラという)による2次元カメラアレーとしている。ただし、カメラ台数はこれに限らず、また、例えば縦1×横7の合計7台のカメラCによる1次元カメラアレーとしても構わない。
なお、カメラパラメータを取得する方法としては、例えば多視点カメラを設置した後、被写体を撮影する前に、既知の位置に点群が描画されているパターンを全てのカメラで同時に撮影し、撮影された全てのカメラ画像を用いて例えば以下の参考文献1に記載されているような手法を用いることでカメラパラメータを取得することが可能である。
参考文献1:R.Y.Tsai,「A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses.」,IEEE Journal of Robotics and Automation,RA-3(4) ,pp323-344,1987
参考文献2:Noah Snavely,Steven M.Seitz, Richard Szeliski,「Modeling the World from Internet Photo Collections」,International Journal of Computer Vision,80(2) ,189-210,November 2008
レンズアレーパラメータとしては、例えば仮想レンズアレーの縦横の大きさ、仮想レンズアレーを構成するレンズ(マイクロレンズ)の直径、個数、レンズピッチ、各レンズの光学主点の位置、レンズの焦点距離等を挙げることができる。
画像を表示させたいディスプレーやレンズアレーが分かっていれば、そのディスプレーやレンズアレーのパラメータをそのまま当てはめてもよい。
一例として被写体を多視点カメラで撮影して得られた多視点映像から復元したものであるとして説明する。なお、多視点映像から3次元モデルを生成する手法としては、全てのカメラ画像を用いて一度にモデルを生成する多眼視による手法と、2台のカメラペアから順次生成したモデルを統合するステレオ視による手法とが知られている。また、多眼視による手法の1つとして視体積交差法も知られている。このようないずれの手法も採用することができる。
<光線追跡手段>
光線追跡手段110は、画像生成制御手段130の制御の下、仮想空間に配置した仮想ディスプレーの画素から発する光線を追跡するものである。
光線追跡手段110には、ディスプレーパラメータ、レンズアレーパラメータ、カメラパラメータ及び3次元モデルが入力される。この光線追跡手段110は、仮想空間設定手段111と、光線ベクトル算出手段112と、位置情報算出手段113と、を備えている。
仮想空間設定手段111は、入力されるディスプレーパラメータに基づいて、仮想空間(仮想空間情報メモリ114)において基準とする位置に仮想ディスプレーを配置する。
図3では、一例として、仮想ディスプレーの表示画面(画素群)の横方向(水平方向)に沿ってY軸が配置され、仮想ディスプレーの表示画面(画素群)の縦方向(紙面に垂直な方向)に沿ってX軸が配置されているものとする。
以下では、一例として、5台のカメラからなる多視点カメラで被写体の多視点映像を撮影したものとして説明する。各カメラが配された位置が視点位置を表している。この場合、多視点映像は、画像(カメラ画像)I0、I1、I2、I3、I4で構成される。
ここでは、後記する直線との交点を説明する目的で複雑な形状の3次元モデルを図示した。図3に示す3次元モデルQは、平面視で、仮想ディスプレーから仮想レンズアレーの側(観測者の側)に突出した2つの突出部と、2つの突出部の間で仮想ディスプレーから仮想レンズとは反対側に凹んだ凹部とを有する曲線からなる。なお、図3では、モデルの正面(図3において右側)や側面(図3において上側及び下側)がひと続きの滑らかな曲線で示されているが、場合によっては細かなジグザグを持った波形状のモデルとして求められることがある。
光線ベクトル算出手段112は、仮想空間に配置した仮想ディスプレーの画素iから発して仮想レンズアレーのレンズを通過する光線を表す直線Lの方向ベクトルである光線ベクトルgを算出する。なお、iは仮想ディスプレー上で左から何番目で上から何番目の画素であるかを示す2次元座標を特定するための識別子で、0,1,…で表される。算出された光線ベクトルは、画像統合手段120に出力される。
本実施形態では、光線ベクトルgは、仮想ディスプレー上の画素iの位置を終点とするベクトルであって、仮想レンズアレーにおいて当該画素iの最近傍のマイクロレンズmの光学主点pを始点とするベクトルであるものとした。この光線ベクトルgの向きとは反対向きのベクトルを想定すると、そのベクトルの向き(仮想カメラ側に向かう直線Lの向き)は、生成される立体像を観測するときには、当該画素から再生されるインテグラル立体像の光線の向きを表す。
画像統合手段120は、画像生成制御手段130の制御の下、各カメラ画像を用いてその画素値を統合するものである。この画像統合手段120には、カメラ画像及びカメラパラメータが入力される。図1に示すように、画像統合手段120は、カメラベクトル算出手段121と、カメラ選択手段122と、画素値割当手段123と、を備えている。
図3及び図4において、カメラベクトルC0は、画像I0を撮影したカメラの撮影方向を示している。同様に、他のカメラベクトルC1、C2、C3、C4は、画像I1、I2、I3、I4をそれぞれ撮影した各カメラの撮影方向を示している。カメラベクトルを特に区別しない場合、Cnと表記する。また、カメラを識別するためにカメラベクトルの符号(Cn)を用いることもある。カメラそのものと容易に区別できる場合にはカメラベクトルCとも表記する。なお、カメラ画像を特に区別しない場合、In又は単にIと表記する。
カメラ選択手段122は、仮想空間においてカメラベクトルCnと光線ベクトルgとのなす角度が所定値以下であるカメラを選択するものである。すなわち、カメラ選択手段122は、各カメラベクトルCnと光線ベクトルgとの内積をそれぞれ求め、内積が所定の閾値以上となったカメラを選択する。ここで、角度についての所定値や、内積についての閾値は、特に限定されず、要素画像群生成装置100の目的や用途に応じて、カメラ選択手段122で少なくとも1つのカメラを選択できるように、その値を適宜設定することができる。
投影手段124は、仮想カメラについてカメラパラメータに基づいて予め行ったキャリブレーションによって、仮想空間上のある点の3次元位置に対して、ある撮影方向をもって配置されたある仮想カメラの撮像面上のある一点の位置とが対応付けられるように構成されている。位置の対応付けは、キャリブレーションに基づいて得られるルックアップテーブルや関係式を用いる演算により行われる。よって、投影手段124は、仮想空間上の3次元位置の座標(交点の座標)が入力されると、投影先のカメラ画像の画素の位置を特定することができる。なお、このキャリブレーションには、例えば既知の位置に点群が描画されているパターンを多視点カメラで同時に撮影して取得したカメラパラメータを用いることができる。
画像生成制御手段130は、仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成するものである。
画像生成制御手段130は、例えば前記式(1)、図5(a)及び図5(b)に示すように、画素iを通る光線ベクトルgから割り当てられた画素値Vを取得した場合、要素画像群格納メモリ131上で仮想ディスプレーの画素iに対応したアドレスに画素値Vを格納する。つまり、要素画像群格納メモリ131上の要素画像群Yのための記憶領域において、光線ベクトルgが通るマイクロレンズmに対応した要素画像Gの該当画素iに対応した座標に画素値Vを格納する。すなわちY(i)=Vである。
加えて、仮想レンズアレーのレンズの個数が、例えば6×6の正方配列であれば、レンズ毎に行う処理を36回繰り返すことになる。画像生成制御手段130は、以上の一連の画素割当及びメモリ格納処理を、仮想ディスプレーの各画素について行った後、メモリに格納されている最終結果の要素画像群Yを出力する。
これにより、実空間上において、2次元ディスプレー上に、この要素画像群Yを表示し、レンズアレーを構成するレンズ(マイクロレンズ)の焦点距離fだけ離れた位置に、このレンズアレーを設置すると、インテグラル立体像を再生することができる。
次に、要素画像群生成装置100による処理の流れについて図6を参照(適宜図1及び図4参照)して説明する。まず、要素画像群生成装置100において、光線追跡手段110は、仮想ディスプレー、仮想レンズアレー、3次元モデルを仮想空間に配置する(ステップS1)。そして、画像生成制御手段130は、仮想ディスプレー上の画素iにおいてi=0を設定する(ステップS2)。
第1実施形態では図3を参照してモデルの正面や側面がひと続きの滑らかな曲線で示された1つのモデルが求められているものとして説明したが、例えばデプスカメラ(奥行きカメラ)で被写体の距離画像を取得する場合には、一方向からしか被写体を撮影できない。ただし、デプスカメラで様々な方向から被写体を撮影して取得した距離画像を重ね合わせれば、全体としてモデルの正面や側面がひと続きの滑らかな曲線で示された1つの3次元モデルのように扱うことが可能である。
以下では、第1実施形態と同じ構成には同じ符号を付して説明を適宜省略する。
図7に示す要素画像群生成装置100Bは、デプスマップを演算機内の仮想空間上に配置して要素画像群を生成する。本実施形態では、図7に示すように、要素画像群生成装置100Bの処理の際に外部から、カメラ画像、カメラパラメータ、ディスプレーパラメータ、レンズアレーパラメータ及びデプスマップが入力されるものとする。なお、これらの入力データは、処理の前に、要素画像群生成装置100Bの内部のメモリに記憶させておくこととしてもよい。
デプスマップD0は、カメラC0とカメラC1とを用いて生成され、カメラC0による画像I0の撮影位置からの距離値が並んだ距離画像である。
デプスマップD1は、カメラC1とカメラC0とを用いて生成され、カメラC1による画像I1の撮影位置からの距離値が並んだ距離画像である。
デプスマップD2は、カメラC2とカメラC1とを用いて生成され、カメラC2による画像I2の撮影位置からの距離値が並んだ距離画像である。
デプスマップD3は、カメラC3とカメラC2とを用いて生成され、カメラC3による画像I3の撮影位置からの距離値が並んだ距離画像である。
デプスマップD4は、カメラC4とカメラC3とを用いて生成され、カメラC4による画像I4の撮影位置からの距離値が並んだ距離画像である。
なお、以下では、特に区別しない場合、デプスマップDと表記する。
光線追跡手段110Bは、光線ベクトル算出手段112で算出した光線ベクトルgをデプスマップ制御手段140に出力し、代わりに、光線ベクトルgに基づいて選択されたデプスマップDを取得し、取得したデプスマップDを仮想空間(仮想空間情報メモリ114)において仮想ディスプレーの近傍に配置する。
デプスマップ制御手段140には、カメラパラメータ及びデプスマップが入力される。
デプスマップ制御手段140は、カメラベクトル算出手段141と、デプスマップ選択手段142と、を備えている。
デプスマップ選択手段142は、光線追跡手段110Bから光線ベクトルgを取得し、この光線ベクトルgとカメラベクトルC0、C1、C2、C3、C4との内積をそれぞれ算出し、内積が予め定められた閾値以上となるカメラベクトルを決定する。ここで、デプスマップD0〜D4は、カメラ画像I0〜I4の撮影位置にそれぞれ対応しているので、カメラベクトルC0〜C4にそれぞれ対応している。つまり、デプスマップ選択手段142で決定されたカメラベクトルは、デプスマップに1対1で対応している。要するに、デプスマップ選択手段142は、光線ベクトルgとカメラベクトルとの内積が予め定められた閾値以上となるようなデプスマップを決定することができる。
図8に示す例では、デプスマップ選択手段142は、光線追跡手段110Bから取得した光線ベクトルgを用いた演算処理の結果、デプスマップD0〜D4の中からデプスマップD2、D3を選択して光線追跡手段110Bに出力する。
次に、要素画像群生成装置100Bによる処理の流れについて図9を参照(適宜図7及び図8参照)して説明する。
まず、要素画像群生成装置100Bにおいて、光線追跡手段110Bは、仮想ディスプレー、仮想レンズアレー、複数のデプスマップD0〜D4を仮想空間に配置する(ステップS1B)。
次のステップS2〜ステップS5の各処理は、図6のフローチャートと同じなので説明を省略する。
ステップS5に続いて、デプスマップ制御手段140は、算出したカメラベクトルCと、光線追跡手段110から取得した光線ベクトルgと、を用いて、これらのベクトルの内積が閾値以上となるようなデプスマップD(D2,D3)を選択する(ステップS21)。
そして、光線追跡手段110Bの位置情報算出手段113は、直線LとデプスマップD(D2,D3)との交点を算出する(ステップS22)。
以下のステップS7〜ステップS13の各処理は、図6のフローチャートと同じなので説明を省略する。
例えば、前記各実施形態では、画像統合手段120のカメラ選択手段122は、カメラベクトルCと光線ベクトルgとのなす角度が所定値以下であるカメラを選択することとしたが、カメラベクトルCと光線ベクトルgとのなす角度を昇順に並びかえたとき、予め定められた順位以上のカメラを選択するようにしてもよい。つまり、各カメラベクトルCnと光線ベクトルgとの内積をそれぞれ求め、内積を降順に並びかえたとき、内積が予め定められた順位以上のカメラを選択してもよい。
同様に、画像統合手段120では、交点S1を、選択されたカメラC2の画像I2に投影すると共に、選択されたカメラC3の画像I3にも投影する。画像統合手段120は、各投影点{J2(S1),J3(S1)}の各画素値{I2(J2(S1)),I3(J3(S1))}の類似度を算出する。
この場合、画像統合手段120から各類似度を取得した光線追跡手段110Bは、交点S1を投影したときの類似度の方が、交点S0を投影したときの類似度よりも高ければ、交点S1を、決定された交点として画像統合手段120に出力する。
ここで、交点S1はデプスマップD3内でもっともZ値が高いものとして選択されていたので、画像統合手段120は、デプスマップD3を生成するときに用いた2つのカメラのうち、撮影位置にあったカメラC3で撮影された画像I3において投影点Jに対応した画素の画素値を抽出して、その抽出値を画素値Vとする。
そして、画像生成制御手段130は、要素画像群Yの該当画素iの座標に画素値Vを入力する。すなわちY(i)=V=I3(J)である。
参考文献3:Y. Iwadate and M. Katayama, “Generating integral image from 3D object by using oblique projection,” Proc. of International Display Workshops, 3Dp-1, pp. 269-272, 2011.
例えば、仮想レンズアレーのレンズの個数が例えば6×6の正方配列であれば、各要素画像中のある方向の光線を1本ずつ追跡する場合にレンズ個数(36個)の回数だけ繰り返すことが必要な処理を、1回で済ますことができるようになる。より具体的には、ある方向の光線を取得する処理として、例えば図5(b)に示すような1つの要素画像Gの最も左上の画素を取得する処理について説明する。通常ならば、要素画像Gの最も左上の画素を取得する、という処理をすべての要素画像について行う必要がある。しかしながら、斜投影画像を取得する高速化処理ならば、すべての要素画像の左上の画素の画素値を一つの処理で取得することができるようになる。
例えば、画像I2をデプスマップD2にマッピングしたデプスマップを斜投影した画像Hc2d2と、画像I3をデプスマップD2にマッピングしたデプスマップを斜投影した画像Hc3d2と、を用意する。そして、対象画素kにおける画像Hc2d2の画素値と、対象画素kにおける画像Hc3d2の画素値と、の差を算出することで、類似度R2を求めることができる。
第2実施形態で説明したデプスカメラで様々な方向から被写体を撮影して取得した距離画像を、精密に重ね合わせて図3に示す3次元モデルQを生成することができれば、その後、第1実施形態で説明した手法で要素画像群を生成するようにしてもよい。
また、前記各実施形態で説明した処理を複数のフレームに行うことで、立体像の動画を生成することができる。
例えば3次元モデルやデプスマップをTOF法で取得する場合、被写体をTOFカメラで撮影して被写体までの距離情報を含む距離画像を取得すればよい。
また、例えば3次元モデルやデプスマップを構造化照明法で取得する場合、構造化照明法で用いるカメラで被写体を撮影して被写体の輝度情報を含むモノクローム画像を取得すればよい。なお、要素画像群を生成するために被写体を多視点カメラ(カラーカメラ)で撮影することには変わりはない。そのため、各カラーカメラの近傍に、例えばTOFカメラ等を設置して、被写体のカラー画像と距離画像等とを取得するようにしてもよい。
110,110B 光線追跡手段
111 仮想空間設定手段
112 光線ベクトル算出手段
113 位置情報算出手段
114 仮想空間情報メモリ
120 画像統合手段
121 カメラベクトル算出手段
122 カメラ選択手段
123 画素値割当手段
124 投影手段
125 合成手段
130 画像生成制御手段
131 要素画像群格納メモリ
140 デプスマップ制御手段
141 カメラベクトル算出手段
142 デプスマップ選択手段
Claims (8)
- 被写体を撮影した画像から予め生成された3次元モデルを利用し、前記被写体を多視点カメラで撮影した多視点のカメラ画像から要素画像群を生成する要素画像群生成装置であって、
仮想空間に配置した仮想ディスプレーの画素から発して仮想レンズアレーのレンズを通過する光線を表す直線の方向ベクトルである光線ベクトルを算出すると共に前記直線と前記仮想空間に配置した前記3次元モデルとの交点のうち観測者に最も近い位置に対応して決定した交点の座標を求める光線追跡手段と、
前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが1つである場合、当該1つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる画像統合手段と、
前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する画像生成制御手段と、を備える要素画像群生成装置。 - 被写体の予め生成された複数のデプスマップを利用し、前記被写体を多視点カメラで撮影した多視点のカメラ画像から要素画像群を生成する要素画像群生成装置であって、
仮想空間に配置した仮想ディスプレーの画素から発して仮想レンズアレーのレンズを通過する光線を表す直線の方向ベクトルである光線ベクトルを算出すると共に前記直線と前記仮想空間に配置した前記デプスマップとの交点のうち観測者に最も近い位置に対応して決定した交点の座標を求める光線追跡手段と、
前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが1つである場合、当該1つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる画像統合手段と、
前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する画像生成制御手段と、を備える要素画像群生成装置。 - 前記画像統合手段は、前記カメラベクトルと前記光線ベクトルとのなす角度を昇順に並びかえたとき、予め定められた順位以上のカメラを選択する、請求項1又は請求項2に記載の要素画像群生成装置。
- 前記光線追跡手段は、前記カメラベクトルと前記光線ベクトルとのなす角度を昇順に並びかえたとき、予め定められた順位以上のカメラを用いて生成されたデプスマップを用いて前記決定した交点の座標を求める、請求項2に記載の要素画像群生成装置。
- 前記光線追跡手段は、前記デプスマップと前記直線との交点のうち観測者に最も近い交点をデプスマップ毎に求め、求めた交点を前記選択された複数のカメラにそれぞれ投影したときの各投影点での画素値の類似度を前記交点毎に算出し、算出した類似度が最も高くなる交点を、前記観測者に最も近い位置に対応した交点として決定する、請求項2に記載の要素画像群生成装置。
- 前記光線追跡手段は、仮想空間上で斜投影を行って前記仮想レンズアレーを構成する各レンズの光学主点を通過する同一方向の光線として前記光線ベクトルを算出し、
前記画像統合手段は、前記斜投影が行われる度に前記カメラを選択する処理を行う、請求項1から請求項5のいずれか一項に記載の要素画像群生成装置。 - 前記光線追跡手段は、仮想空間上で斜投影を行って前記仮想レンズアレーを構成する各
レンズの光学主点を通過する同一方向の光線として前記光線ベクトルを算出し、
前記画像統合手段は、前記斜投影が行われる度に前記デプスマップを切り替えて用いる、請求項2に記載の要素画像群生成装置。 - コンピュータを、請求項1から請求項7のいずれか一項に記載の要素画像群生成装置として機能させるための要素画像群生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015200560A JP6595878B2 (ja) | 2015-10-08 | 2015-10-08 | 要素画像群生成装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015200560A JP6595878B2 (ja) | 2015-10-08 | 2015-10-08 | 要素画像群生成装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017073710A JP2017073710A (ja) | 2017-04-13 |
JP6595878B2 true JP6595878B2 (ja) | 2019-10-23 |
Family
ID=58537558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015200560A Active JP6595878B2 (ja) | 2015-10-08 | 2015-10-08 | 要素画像群生成装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6595878B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7396202B2 (ja) | 2020-05-28 | 2023-12-12 | 富士通株式会社 | 生成プログラム、生成方法、および情報処理装置 |
CN116896608B (zh) * | 2023-09-11 | 2023-12-12 | 山东省地震局 | 一种虚拟地震场景演播*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107463A (ja) * | 2003-09-26 | 2005-04-21 | Kazuhisa Yanaka | インテグラルフォトグラフィ |
JP4928476B2 (ja) * | 2008-01-22 | 2012-05-09 | 日本放送協会 | 立体像生成装置、その方法およびそのプログラム |
KR101944911B1 (ko) * | 2012-10-31 | 2019-02-07 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
-
2015
- 2015-10-08 JP JP2015200560A patent/JP6595878B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017073710A (ja) | 2017-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190251738A1 (en) | System and method for infinite synthetic image generation from multi-directional structured image array | |
US20170148186A1 (en) | Multi-directional structured image array capture on a 2d graph | |
JP6734620B2 (ja) | 映像処理方法及び映像処理装置 | |
KR100776649B1 (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
JP2017532847A (ja) | 立体録画及び再生 | |
JP6300346B2 (ja) | Ip立体映像推定装置及びそのプログラム | |
JP6406853B2 (ja) | 光フィールド映像を生成する方法及び装置 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
JPWO2013108339A1 (ja) | ステレオ撮影装置 | |
US20190385323A1 (en) | A method for generating layered depth data of a scene | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
KR20120045269A (ko) | 3d 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치 | |
JP2010079505A (ja) | 画像生成装置及びプログラム | |
JP6717576B2 (ja) | 映像レンダリング装置及び方法 | |
CN111064945A (zh) | 一种裸眼3d图像采集及生成方法 | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
JP2001256482A (ja) | 視差画像生成装置および視差画像生成方法 | |
KR20120093751A (ko) | 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법 | |
JP7416573B2 (ja) | 立体画像生成装置及びそのプログラム | |
KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 | |
JP2002159022A (ja) | 視差画像生成装置および視差画像生成方法 | |
KR101893769B1 (ko) | 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6595878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |