JP7257272B2 - 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 - Google Patents
奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 Download PDFInfo
- Publication number
- JP7257272B2 JP7257272B2 JP2019116114A JP2019116114A JP7257272B2 JP 7257272 B2 JP7257272 B2 JP 7257272B2 JP 2019116114 A JP2019116114 A JP 2019116114A JP 2019116114 A JP2019116114 A JP 2019116114A JP 7257272 B2 JP7257272 B2 JP 7257272B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- depth map
- viewpoint
- conversion
- viewpoint position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
課題の一つ目は、奥行きマップを生成する計算量の低減である。立体画像は様々な視点の映像から構成されているため、各視点に対応した奥行きマップが必要となる。しかし、各視点の奥行きマップを生成すると、計算量が膨大になってしまう。
課題の二つ目は、奥行きマップの高精度化である。立体画像の精度を向上させるためには、高精度な奥行きマップを推定する必要がある。しかし、非特許文献5,6に記載の手法では、高精度な奥行きマップを推定することが困難である。
奥行きマップ生成手段は、変換前の視点位置において、多視点画像から、被写体が位置する奥行きレイヤと変換前の視点位置の光線との交点であるサンプリング点の奥行き値を示した奥行きマップを生成する。
視点変換手段は、シフト量に基づいて変換前の視点位置における奥行きマップをシフトすることで、変換前の視点位置における奥行きマップを変換後の視点位置における奥行きマップに変換する。
なお、図1(b)及び図2(b)では、実線及び破線の光線群のそれぞれが、別々の視点位置の光線であることを示す。
なお、「シフト」とは、奥行きレイヤD上における異なる視点同士の位置ずれのことであり、「シフト量」とは、その位置ずれ量のことである。
[立体画像生成システムの全体構成]
図3を参照し、第1実施形態に係る立体画像生成システム1の全体構成を説明する。
立体画像生成システム1は、インテグラル立体方式の立体画像(要素画像)を生成するものである。図3に示すように、立体画像生成システム1は、カメラアレイ2と、立体画像生成装置3とを備える。
参考文献1:田口裕一, 高橋桂太, 苗村健,“ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム”, 電子情報通信学会技術研究報告, vol. 107, no. 539, PRMU2007-258, pp. 79-86 (2008)
以下、立体画像生成装置3の構成を説明する。
立体画像生成装置3は、奥行きマップ生成装置30が生成した奥行きマップを用いて、立体画像を生成するものである。図3に示すように、立体画像生成装置3は、奥行きマップ生成装置30と、立体画像生成手段37とを備える。
奥行きマップ生成装置30は、カメラアレイ2から入力された多視点画像を用いて、被写体の奥行き値を示す奥行きマップを生成するものである。奥行きマップ生成装置30は、多視点画像入力手段31と、パラメータ設定手段32と、奥行きマップ生成手段33と、シフト量算出手段34と、視点変換手段35と、リファインメント手段(投票手段)36とを備える。
図4~図7を参照し、パラメータの設定を詳細に説明する。以後、水平方向をX軸、垂直方向をY軸、奥行き方向をZ軸とする。また、「インテグラル立体表示装置」を「IP立体表示装置」と略記する。このIP立体表示装置は、所定個数の要素レンズを二次元状に並べたレンズアレイを備える。
以上を考慮し、パラメータ設定手段32では、仮想レンズアレイLの位置と方向、仮想要素レンズlのピッチ及び個数とを設定すればよい。
以上を考慮し、パラメータ設定手段32では、撮影空間αを設定すればよい。
以上を考慮し、パラメータ設定手段32では、奥行きマップを生成する視点位置(変換前の視点位置)と、奥行きマップを推定する視点位置(変換後の視点位置)とを設定すればよい。
以上を考慮し、パラメータ設定手段32では、奥行きレイヤDを設定すればよい。なお、奥行きレイヤDは、奥行き方向で必ずしも等間隔である必要はない。
奥行きマップ生成手段33は、パラメータ設定手段32で設定された変換前の視点位置において、多視点画像入力手段31より入力された多視点画像から奥行きマップを生成するものである。本実施形態では、奥行きマップ生成手段33は、後記するコストボリュームから奥行きマップを生成するため、コストボリューム算出手段331と、奥行き値算出手段332とを備える。
また、「コスト」とは、奥行きレイヤD上のサンプリング点SPを多視点画像に投影したときの画像間の類似度(又は非類似度)を表すものである。例えば、カラーコンシステンシ(color consistency)コストなどの一般的なコストを用いればよい。
このコストを全ピクセルで集めたものを「コストマップ」と呼ぶ。さらにコストマップを奥行き方向に拡張し、このコストマップを全奥行きレイヤDで集めたものを「コストボリューム」と呼ぶ。
図8及び図9を参照し、奥行きマップの生成を詳細に説明する。
図8に示すように、コストマップCMは、コストCSを水平方向及び垂直方向に2次元配列したものである。図8の例では、コストマップCMは、水平方向に5個及び垂直方向に4個、合計20個のコストCSで構成されている。また、コストボリュームCVは、コストCSを水平方向と垂直方向と奥行き方向とに3次元配列したものである。つまり、コストボリュームCVは、奥行き方向に配列された5個のコストマップCMで構成されている。
また、奥行き値算出手段332は、コストCSが類似度を示す場合、各コスト列CAから最大値のコストCSを1個抽出する。一方、奥行き値算出手段332は、コストCSが非類似度を示す場合、各コスト列CAから最小値のコストCSを1個抽出する。
シフト量算出手段34は、奥行きマップ生成手段33から入力された奥行きマップにおいて、変換前の視点位置と変換後の視点位置との位置ずれ量であるシフト量を奥行きレイヤD毎に算出するものである。そして、シフト量算出手段34は、奥行きレイヤD毎のシフト量と、奥行きマップとを視点変換手段35に出力する。
図10~図12を参照し、平行投影におけるシフト量の算出を詳細に説明する。
ここでは、実線の光線領域に対応する視点位置を「視点A」、一点鎖線の光線領域に対応する視点位置を「視点C」、二点鎖線の光線領域に対応する視点位置を「視点B」と呼ぶ。図10(a)では、視点A~Cのそれぞれに対応する光線領域に符号A~Cを付した。
図11に示すように、仮想レンズアレイLは、仮想要素レンズlがピッチpで配列されている。この仮想レンズアレイLのレンズアレイ面LPを基準としたレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。このレンズアレイ面LPは、奥行きレイヤD3に位置する。ここで、変換前の視点位置が視点Aであり、変換後の視点位置が視点Bであることとする。この場合、変換前の視点Aの光線ベクトル(光線方向のベクトル)VAと変換後の視点Bの光線ベクトルVBが定義できる。2本の光線ベクトルVA,VBの奥行き方向(Z軸方向)の成分が1となるように正規化し、その差分ベクトルVA-Bの水平方向(X軸方向)の成分をvとする。このとき、シフト量算出手段34は、下記の式(1)でシフト量sを算出できる。なお、式(1)において、奥行きレイヤDの奥行き方向の位置をdとする。
視点変換手段35は、シフト量算出手段34から入力されたシフト量sに基づいて、変換前の視点位置における奥行きマップをシフトするものである。つまり、視点変換手段35は、変換前の視点位置における奥行きマップを変換後の視点位置における奥行きマップに変換する。そして、視点変換手段35は、各視点位置の奥行きマップをリファインメント手段36に出力する。
図13及び図14を参照し、奥行きマップMの視点変換を詳細に説明する。
ここでは、実線の光線領域に対応する視点位置を「視点E」、一点鎖線の光線領域に対応する視点位置を「視点G」とする。また、被写体91が奥行きレイヤD2上に位置し、被写体92が奥行きレイヤD3上に位置し、被写体93が奥行きレイヤD4上に位置する。また、視点Eの奥行きマップMEを視点Gの奥行きマップMGに視点変換することとして説明する。図13に示すように、視点Eの奥行きマップMEでは、被写体91~93を左前方から見ているので、被写体91~93が重なっていない。一方、視点Gの奥行きマップMGでは、被写体91~93を右前方から見ているので、被写体91~93が重なっている。
なお、視点変換手段35は、オクルージョンが発生した場合、既知の手法でオクルージョン領域の奥行き値を推定すればよい。
リファインメント手段36は、視点変換手段35から入力された奥行きマップMにおいて、後記するリファインメント処理(投票処理)を行うものである。そして、リファインメント手段36は、リファインメント処理を施した奥行きマップMを立体画像生成手段37に出力する。
図15を参照し、リファインメント処理を詳細に説明する。
3つの視点E~Gの奥行きマップME~MGが推定済みであることとする。現実的には、奥行きマップMは、誤った奥行き値であるノイズを有することが多い。図15(a)に示すように、視点Fの奥行きマップMFにおいて、ある画素にノイズNが含まれている。そこで、視点Fの奥行きマップMFをノイズ除去対象とし、視点Fの奥行きマップMFからノイズNを除去することを考える。
なお、視点変換の手法は、視点変換手段35と同様のため、説明を省略する。
なお、図15の例では、オクルージョンを考慮していないが、視点変換の際にオクルージョンが生じると、そのオクルージョン領域の得票数が少なくなる。
立体画像生成手段37は、リファインメント手段36より入力された奥行きマップMから立体画像を生成するものである。本実施形態では、立体画像生成手段37は、既知の手法により、奥行きマップMからインテグラル方式の立体画像(要素画像)を視点位置毎に生成する。例えば、立体画像生成手段37は、多視点画像と奥行きマップMとを用いて、立体画像を生成できる(参考文献2参照)。具体的には、奥行きマップが得られると、空間内での被写体の3次元位置が既知となる。その3次元位置を多視点画像に投影することで、その光線の色(RGB値)を取得できる。この処理を立体画像の生成に必要な全視点について行うと、立体画像が生成できる。そして、立体画像生成手段37は、生成した立体画像を外部(例えば、IP立体表示装置)に出力する。
参考文献2:加納正規, 渡邉隼人, 河北真宏, 三科智之,“カメラアレイを用いた33万画素の3次元映像撮像技術”,2018年映像情報メディア学会冬季大会,23D-1
図16を参照し、立体画像生成装置3の動作を説明する。
図16に示すように、ステップS1において、多視点画像入力手段31は、カメラアレイ2から多視点画像が入力される。
ステップS2において、パラメータ設定手段32は、立体画像の生成に必要な各種パラメータが予め設定される。各種パラメータとしては、仮想レンズアレイLの位置及びピッチと、仮想要素レンズlの個数と、撮影空間αと、奥行きレイヤDと、変換前の視点位置と、変換後の視点位置とがあげられる。
以上のように、立体画像生成装置3は、被写体の奥行きに応じたシフト量sを算出し、所望の視点位置の奥行きマップMに視点変換するので、少ない計算量で高精度な奥行きマップMを推定することができる。さらに、立体画像生成装置3は、多くの光線再生型表示システムで共通する平行投影型の光線構造の特徴を利用しているため、汎用性を向上させることができる。
さらに、立体画像生成装置3は、奥行きマップMにリファインメント処理を施すので、奥行きマップMのノイズを低減し、奥行きマップMの精度をより向上させることができる。
[立体画像生成装置の構成]
以下、第2実施形態に係る立体画像生成装置3Bの構成について、第1実施形態と異なる点を説明する。
第1実施形態では、光線再生型表示システムの光線構造が平行投影(図1)であったのに対し、第2実施形態では、その光線構造が透視投影レンズシフト(図2)である。このため、立体画像生成装置3Bは、シフト量sの算出方法が、第1実施形態と異なっている。
なお、パラメータ設定手段32B及びシフト量算出手段34B以外の構成は、第1実施形態と同様のため、説明を省略する。
他の点、パラメータ設定手段32Bは、第1実施形態と同様のため、これ以上の説明を省略する。
図17及び図18を参照し、透視投影レンズシフトにおけるシフト量sの算出を詳細に説明する。ここでは、仮想レンズアレイLのレンズアレイ面LPを基準としたレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。
図17に示すように、集光点をT、仮想レンズアレイLに対する集光点Tの奥行き方向(Z軸方向)の位置をW、レンズアレイ面LPに対する奥行きレイヤDの奥行き方向の位置をdとする。ここで、隣り合う仮想要素レンズlを通り同一の集光点Tに集まる2本の光線について考える。この2本の光線の間隔(画素ピッチ)PPは、集光点Tからレンズアレイ面LPに近づくに従って大きくなり、以下の式(2)で表される。
以上のように、立体画像生成装置3Bは、被写体の奥行きに応じたシフト量sを算出し、所望の視点位置の奥行きマップMに視点変換するので、少ない計算量で高精度な奥行きマップMを推定することができる。さらに、立体画像生成装置3Bは、透視投影レンズシフトの光線構造においても、第1実施形態と同様の効果を奏する。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、光線再生型立体方式の一例として、インテグラル方式を説明したが、これに限定されない。例えば、本発明は、レンチキュラー方式にも適用することができる。
前記した各実施形態では、奥行きマップを立体画像の生成に利用することとして説明したが、奥行きマップの用途は、これに限定されない。つまり、奥行きマップ生成装置を独立したハードウェアとして構成してもよい。
2 カメラアレイ
3 立体画像生成装置
20 撮影カメラ
30 奥行きマップ生成装置
31 多視点画像入力手段
32 パラメータ設定手段
33 奥行きマップ生成手段
331 コストボリューム算出手段
332 奥行き値算出手段
34 シフト量算出手段
35 視点変換手段
36 リファインメント手段(投票手段)
37 立体画像生成手段
9,91~93 被写体
A,B,C 光線領域
CA コスト列
CM コストマップ
CS コスト
CV コストボリューム
D,D1~D5 奥行きレイヤ
L 仮想レンズアレイ(仮想表示素子)
LP レンズアレイ面
l 仮想要素レンズ
M,ME1~ME5,MG1~MG5 奥行きマップ
SP サンプリング点
s シフト量
VA,VB 光線ベクトル
VA-B 差分ベクトル
α 撮影空間
αB 奥側位置
αF 手前側位置
Claims (7)
- 撮影カメラを二次元状に並べたカメラアレイが被写体を撮影した多視点画像を用いて、前記被写体の奥行き値を示す奥行きマップを生成する奥行きマップ生成装置であって、
前記被写体が位置する撮影空間内の奥行き方向に所定間隔で配置された奥行きレイヤと、変換前の視点位置と、変換後の視点位置とが予め設定されるパラメータ設定手段と、
前記変換前の視点位置において、前記多視点画像から、前記被写体が位置する奥行きレイヤと前記変換前の視点位置の光線との交点であるサンプリング点の奥行き値を示した前記奥行きマップを生成する奥行きマップ生成手段と、
前記奥行きレイヤ毎に、前記変換前の視点位置と前記変換後の視点位置との位置ずれ量であるシフト量を算出するシフト量算出手段と、
前記シフト量に基づいて前記変換前の視点位置における前記奥行きマップをシフトすることで、前記変換前の視点位置における前記奥行きマップを前記変換後の視点位置における前記奥行きマップに変換する視点変換手段と、
を備えることを特徴とする奥行きマップ生成装置。 - 前記パラメータ設定手段は、前記視点位置毎の光線が1つの集光点に集光する透視投影レンズシフトにおいて、立体表示装置の表示素子を前記撮影空間内に配置した仮想表示素子の位置及び素子間隔と、前記仮想表示素子に平行な前記奥行きレイヤとが設定され、
前記シフト量算出手段は、
前記素子間隔pと、前記仮想表示素子から前記奥行きレイヤまでの奥行きベクトルの要素dと、前記仮想表示素子に対する前記集光点の位置を示すベクトルの要素Wとが含まれる式(2)を用いて、
前記被写体から前記変換前の視点位置までの光線ベクトルと前記被写体から前記変換後の視点位置までの光線ベクトルとの差分ベクトルの要素vと、前記要素dと、前記間隔PPとが含まれる式(3)を用いて、
- 前記奥行きマップの間で対応するサンプリング点毎に前記奥行き値の投票処理を行い、最多得票数の前記奥行き値を求める投票手段、
をさらに備えることを特徴とする請求項1から請求項3の何れか一項に記載の奥行きマップ生成装置。 - 前記奥行きマップ生成手段は、
前記変換前の視点位置において、イメージベースドレンダリングにより、前記サンプリング点を前記多視点画像に投影したときの画像間の類似度又は非類似度を表すコストの三次元配列であるコストボリュームを算出するコストボリューム算出手段と、
前記コストボリュームで奥行き方向に配列されたコスト列毎に最小値又は最大値となる前記コストを抽出し、抽出した前記コストの奥行き値を求め、前記コスト列毎に求めた奥行き値の二次元配列を前記奥行きマップとして生成する奥行き値算出手段と、
を備えることを特徴とする請求項1から請求項4の何れか一項に記載の奥行きマップ生成装置。 - コンピュータを、請求項1から請求項5の何れか一項に記載の奥行きマップ生成装置として機能させるためのプログラム。
- 請求項1から請求項5の何れか一項に記載の奥行きマップ生成装置と、
前記奥行きマップ生成装置が生成した奥行きマップから立体画像を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116114A JP7257272B2 (ja) | 2019-06-24 | 2019-06-24 | 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116114A JP7257272B2 (ja) | 2019-06-24 | 2019-06-24 | 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021002783A JP2021002783A (ja) | 2021-01-07 |
JP7257272B2 true JP7257272B2 (ja) | 2023-04-13 |
Family
ID=73995240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019116114A Active JP7257272B2 (ja) | 2019-06-24 | 2019-06-24 | 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7257272B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230108092A (ko) * | 2022-01-10 | 2023-07-18 | 삼성전자주식회사 | 복수의 카메라를 이용하여 3차원 이미지를 생성하는 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016500975A (ja) | 2012-11-01 | 2016-01-14 | グーグル インコーポレイテッド | 結合された深度キューに基づく平面視画像からの深度マップの生成 |
US20180115770A1 (en) | 2016-10-25 | 2018-04-26 | Intel Corporation | Light field perception enhancement for integral display applications |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6285686B2 (ja) * | 2013-06-12 | 2018-02-28 | 日本放送協会 | 視差画像生成装置 |
JP6262949B2 (ja) * | 2013-07-12 | 2018-01-17 | 日本放送協会 | キャリブレーション装置およびキャリブレーションプログラム |
-
2019
- 2019-06-24 JP JP2019116114A patent/JP7257272B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016500975A (ja) | 2012-11-01 | 2016-01-14 | グーグル インコーポレイテッド | 結合された深度キューに基づく平面視画像からの深度マップの生成 |
US20180115770A1 (en) | 2016-10-25 | 2018-04-26 | Intel Corporation | Light field perception enhancement for integral display applications |
Also Published As
Publication number | Publication date |
---|---|
JP2021002783A (ja) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4942221B2 (ja) | 高解像度仮想焦点面画像生成方法 | |
TWI510086B (zh) | 數位重對焦方法 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
CN102164298B (zh) | 全景成像***中基于立体匹配的元素图像获取方法 | |
RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
JP6406853B2 (ja) | 光フィールド映像を生成する方法及び装置 | |
JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
JP6300346B2 (ja) | Ip立体映像推定装置及びそのプログラム | |
JP6655379B2 (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP6674643B2 (ja) | 画像処理装置及び画像処理方法 | |
US8577202B2 (en) | Method for processing a video data set | |
KR20120072146A (ko) | 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법 | |
JP5452801B2 (ja) | 立体像生成装置およびそのプログラム | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
KR20200021891A (ko) | 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법 | |
JP5522794B2 (ja) | 立体像生成装置およびそのプログラム | |
JP7257272B2 (ja) | 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 | |
JP7489253B2 (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
JP7416573B2 (ja) | 立体画像生成装置及びそのプログラム | |
JP2015019346A (ja) | 視差画像生成装置 | |
KR20220121533A (ko) | 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치 | |
KR101289283B1 (ko) | 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 | |
JP6674644B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7257272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |