JP6765653B2 - デプスマップ生成装置、デプスマップ生成方法及びプログラム - Google Patents
デプスマップ生成装置、デプスマップ生成方法及びプログラム Download PDFInfo
- Publication number
- JP6765653B2 JP6765653B2 JP2016124820A JP2016124820A JP6765653B2 JP 6765653 B2 JP6765653 B2 JP 6765653B2 JP 2016124820 A JP2016124820 A JP 2016124820A JP 2016124820 A JP2016124820 A JP 2016124820A JP 6765653 B2 JP6765653 B2 JP 6765653B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- pixel
- target
- viewpoint image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 120
- 238000012545 processing Methods 0.000 claims description 313
- 230000008569 process Effects 0.000 claims description 81
- 230000000644 propagated effect Effects 0.000 claims description 45
- 230000001902 propagating effect Effects 0.000 claims description 44
- 238000011156 evaluation Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 47
- 239000011159 matrix material Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000013519 translation Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
このため、各視点における画像(視点画像)を用いて世界座標系における対象物体の3次元形状を復元する際、2つ以上の異なる視点画像間において、世界座標系における3次元座標点の座標点に対応する視点画像それぞれの対応画素を検出し、各視点からのデプスマップを生成する必要がある。
従来においては、視点P1から視点画像に対して第1直線(エピポーラ直線)を生成し、視点P1と異なる視点P1から上記第1直線と交差する第2直線を生成する。
また、本発明のデプスマップ生成装置は、パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理部と、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理部と、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部とを備え、前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行うことを特徴とする。
像毎のデプスマップを生成するデプスマップ生成過程とを含み、前記対象視点画像のピクセルは、格子状に配置されており、前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行うことを特徴とする。
また、本発明のデプスマップ生成方法は、パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理過程と、視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理過程と、デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成過程とを含み、前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行うことを特徴とする。
また、本発明のプログラムは、パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、前記コンピュータを、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理手段、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理手段、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段として機能させるプログラムであって、前記空間伝搬処理手段が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理手段が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行うプログラムである。
初期化部12は、全視点により撮像された視点画像の各ピクセルに対応する世界座標系における座標点の奥行き(深度情報)及び法線ベクトル(法線情報、後述する法線の傾きθVk(m)及びφVk(m)により示されるベクトル)の各々のパラメータを乱数により初期化する。
視点選択部13は、パラメータの伝搬処理における処理対象の視点の視点画像を、対象視点画像として選択する。
スレッド生成部14は、対象視点画像Vkにおけるピクセルの行方向にパラメータの伝搬処理を行うスレッドを各行に対応して生成する。
視点伝搬処理部16は、対象視点画像における空間伝搬処理が終了した対象ピクセルから、この対象ピクセルに対応する、対象視点画像の近傍の他の視点画像である近傍視点画像(対象視点に対するステレオペアとして選択された視点の画像)のピクセルに対するパラメータ伝搬の処理を行う。
微調整部17は、空間伝搬処理が終了した対象ピクセルのパラメータを、乱数により生成した調整値を用いた微調整を行う。
デプスマップ生成部18は、空間伝搬処理部15による各ピクセルに対する空間伝搬処理及び視点伝搬処理部16の視点伝搬処理の各々が終了した後、各視点画像の各々におけるデプスマップを生成する。
記憶部19は、視点画像群V={V1,V2,V3,…}に含まれる視点画像V1、視点画像V2、視点画像V3、…が記憶されており、またパラメータテーブル(後述)も記憶されている。
以下、初期化部12が行う各視点画像のピクセルに対する初期化処理を説明する。この初期化処理においては、初期化部12は、対象視点画像として選択した視点画像(視点画像群Vから選択された視点画像)に対してピクセルのマッチングを行う際に用いる、対象視点画像のステレオペアとなる対象視点近傍の視点の視点画像である近傍視点画像(視点画像群Vから対象視点画像Vkの近傍の視点画像)の選択を行う。
図2(a)には、対象視点画像Vkと、近傍視点画像CVkである近傍視点画像C1及び近傍視点画像C2の各々との世界座標系における位置関係が示されている。対象視点画像Vkにおける画像中心Oを通る視点を視点Lとし、視点Lを近傍視点画像C1及び近傍視点画像C2の各々に対して投影(近傍視点画像C1及び近傍視点画像C2の2次元の視点座標系に座標変換)する。近傍視点画像C1に対して投影された視点Lは投影視点LC1であり、近傍視点画像C2に対して投影された視点Lは投影視点LC2である。
ここで、投影視点LC2と線分LL1との交点の座標を座標値xC2_1とし、投影視点LC2と線分LL2との交点の座標を座標値xC2_2とする。また、近傍視点画像C1にも同様の処理を行い、座標値xC1_1及び座標値xC1_2の各々を求める。
同様に、初期化部12は、最大位置選択群のなかで、世界座標系において画像中心Oから最も近い視点L上の3次元座標点の座標点を選択する。図2(a)においては、近傍視点画像C2の3次元座標点ZC1_1が最大値の3次元座標点Zmaxとして選択される。
これにより、乱数で求められる画像中心Oからの奥行きが、3次元座標点ZC2_1及び3次元座標点ZC1_1で設定される線分の範囲内に乱数により設定される。すなわち、初期化部12は、3次元座標点ZC1_1を基準値として、乱数により0からΔdの範囲内の数値を求め、基準値に対して乱数により求めた数値を加算することにより、対象視点画像Vkにおける奥行きdVk(m)を求める。以下に、乱数により奥行きdVk(dVk(m))の範囲を表す式(1)を示す。
そして、初期化部12は、対象視点画像Vkにおける各ピクセル(ピクセルm)のパラメータにおける奥行きdVk(m)を、上述したように対象視点画像Vkに対応した(1)式に示される範囲において乱数(Δd)を所定の刻み幅で発生させて求める。また、初期化部12は、奥行きdVk(m)を求めた際、求めたピクセルmの法線の傾きθVk(m)及び法線の傾きφVk(m)の各々も、上述したように±60度の範囲において乱数により求める。
初期化部12は、対象視点画像Vkとして選択した視点画像毎に、乱数により求めたピクセルのパラメータを、記憶部19のパラメータテーブルに書き込んで記憶させる。
図3において、パラメータテーブルは、画素座標と、パラメータと、処理終了フラグと、処理完了フラグとの各々の欄が設けられている。ここで、画素座標は、視点画像におけるピクセルmの座標値を示している。パラメータは、画素座標に対応したピクセルmの奥行きvVk(m)、法線の傾きθVk(m)及び法線の傾きφVk(m)の各々の数値を示している。処理終了フラグは、後述する空間伝搬処理が終了したピクセルを識別するものであり、空間伝搬処理毎に設定されるフラグである。処理完了フラグは、後述するパラメータを評価する評価値が所定の閾値を超えた場合、その後の伝搬処理を行う必要がないピクセルであることを識別するフラグである。
この空間伝搬処理は、パッチマッチステレオ法におけるSpatial propagationの処理である。
視点選択部13は、全ての視点画像のなかから、空間伝搬処理の処理対象とする未処理の視点画像を、対象視点画像Vkとして選択する。
スレッド生成部14は、視点選択部13が選択した対象視点画像Vkにおいて、対象視点画像Vkとして選択された視点画像のパラメータの伝搬処理を行うスレッドを生成する(スレッドの生成については後に詳述)。
空間伝搬処理部15は、対象ピクセルのピクセルmに対し、同一の対象視点画像Vkにおけるこのピクセルmと隣接する、空間伝搬処理の終了したピクセルのパラメータを伝搬させる処理を行う。
対象視点画像Vkにおけるピクセルm=(u,v)が近傍のピクセルpと同一のパラメータを保つ場合の第1マッチングスコア(第1評価値)を算出する。この第1マッチングスコアは、ピクセルmの輝度値と、パラメータに基づいてピクセルmを世界座標系に座標変換して3次元座標点を生成し、この生成した3次元座標点を視点画像Vkに対して座標変換した際の輝度値とを比較した評価値であり、評価値が大きいほど真のパラメータに近いことを示している。
ピクセルpに対応する世界座標系の3次元座標点Mとこの3次元座標点Mに隣接する3次元座標点200との各々は、世界座標系における座標点が近く、凹凸などの大きな変化がなく同様のテクスチャを有すると考えられる。
例えば、対象視点画像Vkにおけるピクセルmのパラメータを、pVk(m)=(dVk(m),θVk(m)、φVk(m))とする。また、隣接する参照ピクセルのピクセルp=(u+δ,v)のパラメータを、pVk(u+δ,v)とする。空間伝搬処理部15は、このピクセルmのパラメータを用いた第1マッチングスコアを、Score(pVk(u,v),m)として計算する。
そして、空間伝搬処理部15は、*がpVk(u,v)の場合で求めた第1マッチングスコアScore(pVk(u,v)),m)と、*が隣接する参照ピクセルのピクセルpのパラメータpVk(u+δ,v)の場合の各々で求めた第1マッチングスコアScore(pVk(u+δ,v),m)との比較を行う。
Score(pVk(u+δ,v),m)>Score(pVk(u,v)),m)
の場合、隣接する参照ピクセルであるピクセルpのパラメータに、ピクセルmのパラメータを変更する。すなわち、空間伝搬処理部15は、参照ピクセルのパラメータを対象ピクセルのパラメータとして伝搬させる。
一方、空間伝搬処理部15は、
Score(pVk(u+δ,v),m)≦Score(pVk(u,v)),m)
の場合、隣接する参照ピクセルであるピクセルpのパラメータに、ピクセルmのパラメータを変更せず、ピクセルmのパラメータのままとする。すなわち、空間伝搬処理部15は、参照ピクセルのパラメータを対象ピクセルのパラメータとして伝搬させない。
上述した空間伝搬処理は、各視点画像毎に複数回ずつ行われる。
ピクセルmがピクセルbの場合、ピクセルpはピクセルaとなる。ピクセルbが画素座標(u,v)の場合、ピクセルaが画素座標(u−1,v)となる。
また、ピクセルmがピクセルcの場合も、ピクセルpはピクセルaとなる。ピクセルcが画素座標(u,v)の場合、ピクセルaが画素座標(u,v−1)となる。
一方、ピクセルmがピクセルyの場合、ピクセルpはピクセルzとなる。ピクセルyが画素座標(u,v)の場合、ピクセルaが画素座標(u+1,v)となる。
また、ピクセルmがピクセルxの場合も、ピクセルpはピクセルzとなる。ピクセルxが画素座標(u,v)の場合、ピクセルzが画素座標(u,v+1)となる。
すなわち、ピクセルaから空間伝搬処理を開始した場合、pVk(u+δ,v)及びpVk(u,v+δ)におけるδは「−1」であり、ピクセルzから空間伝搬処理を開始した場合、pVk(u+δ,v)及びpVk(u,v+δ)におけるδは「+1」である。
また、対象視点画像において、奇数回目に右下頂点のピクセルzから開始し、偶数回目に左上頂点のピクセルaから開始するように構成しても良い。
また、右下頂点のピクセルと左上頂点のピクセルとでなく、対象視点画像の右上頂点のピクセルと左下頂点のピクセルとの各々を、偶数回目、奇数回目それぞれの開始するピクセルとして構成しても良い。
この視点伝搬処理は、パッチマッチステレオ法におけるView propagationの処理である。
この視点伝搬処理は、多くの視点画像間においてデプスマップの整合性が取れるとの仮定に基づいて、視点画像Vkのピクセルmのパラメータを、すでに近傍視点の画像として選択された近傍視点画像CVkのピクセルに対して伝搬させる処理である。
視点伝搬処理部16は、対象視点画像Vkのピクセルmと対応する、近傍視点画像CVkにおけるピクセルを求める。
以下に、3次元座標点M’の座標値を求める(4)式を示す。また、視点伝搬処理部16は、(4)式により、 3次元座標点M’の座標値を求める。
視点伝搬処理部16は、(5)式を用いることにより、近傍視点画像CVk上における、近傍視点画像CVkの視点のカメラ座標系における3次元座標点M’の対応点であるピクセルm’の座標点を求める。
そして、視点伝搬処理部16は、対象視点画像Vkの視点のカメラ座標系に対応したピクセルmのパラメータの法線ベクトルを、近傍視点画像CVkの視点のカメラ座標系に対応するパラメータの法線ベクトルに、以下の(6)式を用いて変換する。
ここで、視点伝搬処理部16は、ピクセルmのパラメータに基づく、ピクセルm’のパラメータp’(m’)を用いてマッチングスコアScore(p’(m’),m’)を算出する。また、視点伝搬処理部16は、ピクセルm’のパラメータpC(m’)を、記憶部19における近傍視点画像CVkのパラメータテーブルから読み出し、マッチングスコアScore(pC(m’),m’)を算出する。
ここで、視点伝搬処理部16は、
Score(p’(m’),m’)>Score(pC(m’),m’)
である場合、ピクセルm’のパラメータをpC(m’)からp’(m’)に変換する。このとき、視点伝搬処理部16は、記憶部19における近傍視点画像CVkのパラメータテーブルにおけるピクセルm’のパラメータをp’(m’)に書き換える。
Score(p’(m’),m’)≦Score(pC(m’),m’)
である場合、ピクセルm’のパラメータをpC(m’)のままとし、記憶部19における近傍視点画像CVkのパラメータテーブルの書き換えを行わない。
上述したように、視点伝搬処理部16は、対象視点画像Vkにおけるピクセルmのパラメータを、近傍視点画像CVkにおけるピクセルm’に対して伝搬させる視点伝搬処理を行う。
しかしながら、近傍の視点の全ての近傍視点画像CVkに対してパラメータの伝搬処理を行う場合、パラメータの伝搬処理は、ステレオペア数Npair個に対応したNpair回行う必要があり、計算コストが増加してしまう。このため、本実施形態においては、近傍視点画像CVkを1視点に対応して選択し、この選択した1個の近傍視点画像CVkをステレオペアとして、視点伝搬処理を行う。これにより、ステレオペア数Npairが増加したとしても、視点伝搬処理の処理時間を一定に保つことができる。
これにより、本実施形態においては、全ての視点画像の各々に対して、それぞれ相互にパラメータが伝搬されることになり、全ての視点画像をそれぞれの近傍視点画像として、視点伝搬処理を行った場合と同様の効果を得ることができる。
世界座標系における3次元座標点Mと3次元座標点M’との各々の投影であるピクセルm、ピクセルm’のそれぞれは、3次元座標点Mと3次元座標点M’とが対応する点にあると仮定すれば、テクスチャに整合性がとれるパラメータを有することが予想される。
このため、本実施形態によれば、対象視点画像Vkのピクセルmのパラメータを伝搬させる近傍視点画像CVkをランダムに選択した場合においても、視点伝搬処理により、対象視点画像Vkからステレオペアとなる近傍の視点画像の全てにパラメータを伝搬させた場合と同等の精度でのパラメータの伝搬が可能となる。また、本実施形態によれば、対象視点画像Vkからパラメータを伝搬する対象として、ランダムに1個のみ近傍視点画像CVkを選択し、この近傍視点画像CVkに対して視点伝搬処理を行うことにより、ステレオペアとなる視点画像が増加しても、計算コストと復元精度とを保ったままで、視点画像間のパラメータの伝搬処理を行うことができる。
本実施形態においては、ZNCC(Zero-mean Normalized Cross Correlation 、ゼロ平均正規化相互相関)を用いて、パラメータにおける奥行きと法線の傾きとの各々に基づくマッチングスコアScore(p’(m’),m’)を求める。
また、本実施形態においては、ZNCCを求める際、法線の傾きを用いることで、評価対象の表面の傾きを補正し、対象視点画像Vkから切り出されたウィンドウ形状に合うように、近傍視点画像CVkから切り出したウィンドウ形状を変化させている。これにより、対象視点画像と、この対象視点画像に対して傾きを有する近傍視点画像との比較に対して、ロバスト性を持ったマッチングが可能となる。
本実施形態においては、上記(8)式における画素値fと画素値gとの各々を、それぞれ以下の(11)式、(12)式とする。
また、(12)式における画像を示す、Trans(I,H)は、画像Iを射影変換行列Hにより変換することを示している。この(12)式において、あるピクセルmのパラメータp(d(m),θ(m),φ(m))が与えられた場合、対象視点画像Vkと近傍視点画像CVk(単にCとする場合もある)との間のマッチングを行うウィンドウの変形は、以下の(13)式を用いて行われる。
また、(13)式におけるtは、並進ベクトルであり、以下の(15)式により表される。
また、(13)式におけるMは、対象視点画像Vkの視点におけるカメラ座標系における3次元座標点の座標値であり、以下の(16)式により求められる。
また、(13)式におけるnは、法線ベクトルであり、以下の(17)式により求められる。
ZNCCについては、2つの視点画像のマッチングスコアであるため、値としては1つである。このため、ZNCCの値をそのまま奥行きと法線の傾きとから求められるマッチングスコアとして用いることができる。
一方、本実施形態においては、多視点画像を用いているため、対象視点画像Vkと複数の近傍視点画像CVkとにおいて、この近傍視点画像CVkの数に対応した複数のZNCCの値を得られる。しかしながら、複数のZNCCの値をそのまま、対象視点画像Vkと複数の近傍視点画像CVkとの比較のマッチングスコアとして用いることができない。このため、得られた複数のZNCCの値を統合させたマッチングスコアを定義し、対象視点画像Vkと複数の近傍視点画像CVkとの比較のマッチングスコアとして用いる。
このため、本実施形態においては、対象視点画像Vkと複数の近傍視点画像CVkとを比較して得られる複数のZNCCの値を統合するために、信頼値をマッチングスコアとして用いる。
このとき、対象視点画像Vkにおけるピクセルmのパラメータp={d,θ,φ}におけるマッチングスコアScore(p,m)が、以下の(18)式により表される。
また、(18)式におけるZNCC’(f,g,th)は、以下の(19)式により求められる。
この微調整処理は、パッチマッチステレオ法におけるPlane refinementの処理である。
この微調整処理は、上述した空間伝搬処理及び視点伝搬処理によるパラメータの伝搬処理のみの場合、乱数で求めた初期値によっては、精度良く探索できないパラメータが存在する。そのため、この微調整処理においては、対象ピクセルで伝搬処理が終了したピクセルmのパラメータに対して、微少な乱数を調整値として加えてマッチングスコアを比較してパラメータを更新する。
そして、微調整部17は、Δp=(ΔdVk,ΔθVk,ΔφVk)とし、記憶部19における対象視点画像Vkに対応したパラメータテーブルから、ピクセルmのパラメータを読み出す。微調整部17は、マッチングスコアScore(pVk(m),m)と、マッチングスコアScore(pVk(m)+Δp,m)との各々を算出する。
本実施形態においては、初期化におけるそれぞれの乱数を生成した範囲の1/4をΔpの生成範囲とする。例えば、奥行きdVk(m)については、(1)式に示される範囲の1/4の範囲において、Δdに対してより細かい刻み幅により、ΔdVkを調整値として乱数により生成する。また、法線の傾きにおいては、±60度であったものを±15度として、より細かい刻み幅で、ΔθVk及びΔφVkの調整値の各々を乱数により生成する。
また、微調整処理を繰り返す毎に、より調整の精度を向上させるため、ΔPの生成範囲を徐々に狭め、例えば生成範囲を1/2ずつ小さくする。
以下、本実施形態において上述したパッチマッチステレオ法の空間伝搬処理、視点伝搬処理及び微調整処理をピクセル単位で並列処理化する動作について、図5を用いて説明する。以下の説明において、全ての視点画像におけるピクセルの初期化は終了した状態にある。
パッチマッチステレオ法においては、上述したように、パラメータpを参照ピクセルから対象ピクセルに対して伝搬させていく処理が行われる。このため、空間伝搬処理、視点伝搬処理及び微調整処理を行う対象ピクセルを選択する際、伝搬処理が終了しているピクセルを参照ピクセルとする必要があり、伝搬処理を行う順序の依存性を有する。
このため、本実施形態においては、パラメータの正しい伝搬処理の結果を得て、3次元形状の復元精度を向上させるため、伝搬方向を一方向のみではなく、行方向のみではなく列方向(y軸方向)にも伝搬させる並列化処理を行う。
本実施形態においては、例えば、ピクセルエンジンLSI(Large Scale Integration)などの複数のスレッドの並列処理が行われるハードウェア回路を有し、複数のパラメータ伝搬処理が行われるシステムLSIを用いて構成される。また、高速のCPUを用いて、複数のスレッドを実行させる構成としても良い。いずれにしても、本実施形態においては、初期化部12、視点選択部13、空間伝搬処理部15、視点伝搬処理部16及び微調整部17の各々がそれぞれのスレッドにて独立に動作し、スレッドを並列して実行できる構成となっている。
また、空間伝搬処理部15は、各スレッドにおいて、各行のパラメータの伝搬を行う方向順に、ピクセルそれぞれの隣接するピクセル(同一行において隣接したピクセル、直上あるいは直下の行の隣接するピクセル)のいずれかがパラメータの伝搬処理が終了しているか否か、すなわち処理終了のフラグが立っている(「1」となっている)か否かの検出を、記憶部19のパラメータテーブルを参照して行う。そして、空間伝搬処理部15は、伝搬を行う方向における先頭のピクセルに隣接したピクセルのいずれかがパラメータの伝搬処理が終了していた場合、そのスレッドにおいて、先頭のピクセルを対象ピクセルとし、パラメータの伝搬処理が終了している直上あるいは直下の行の隣接ピクセルのいずれかを参照ピクセルとし、行間におけるパラメータの伝搬処理を行う。
例えば、ピクセルaを参照ピクセルとした場合、スレッドTH1において、空間伝搬処理部15は、隣接するピクセルbを対象ピクセルとして、空間伝搬処理によるパラメータの伝搬処理を行うことができる。そして、スレッドTH1において、空間伝搬処理部15は、ピクセルbに対するパラメータの伝搬処理が終了した場合、このピクセルbが参照ピクセルとなり、隣接するピクセルdが対象ピクセルとなり、順次、スレッドTH1に対応した行のパラメータの伝搬処理が行われる。スレッドTH1において、空間伝搬処理部15は、ピクセルbに対するパラメータの伝搬処理が終了した際、記憶部19におけるパラメータテーブルのピクセルbの終了フラグを「0」から「1」に書き換える。
上述したように、スレッドの各々において、空間伝搬処理部15は、順次、スレッド単位において、行毎に隣接するピクセル間におけるパラメータの空間伝搬処理を行う。
一方、ピクセルzをパラメータ伝搬の開始ピクセルとした場合、下部のピクセルの行から上部のピクセルの行の順番に、各行において右のピクセルから左のピクセルの並び順に、空間伝搬処理が行われる場合もある。このとき、対象ピクセルのピクセルmの座標値を(u,v)とした場合、参照ピクセルのピクセルpの座標値が(u+1,v)あるいは(u,v+1)となる。
また、視点伝搬処理部16は、スレッド毎に、対象視点画像Vkにおける対象ピクセルに対する空間伝搬処理が終了した際、この対象ピクセルにより、近傍視点画像CVkのピクセルにおける視点伝搬処理を行う。
次に、パラメータ伝搬処理の動作手順について説明する。
図7は、デプスマップ生成装置のパラメータ伝搬処理の動作手順を表すフローチャートである。
ステップS1:
制御部11は、伝搬処理の繰り返し回数を示す回数δを「1」とする初期化を行う。また、制御部11は、記憶部19におけるパラメータテーブルにおける全ての完了フラグを「0」に初期化する。
また、初期化部12は、記憶部19に記憶されている全ての視点画像における全てのピクセルのパラメータの初期化を、乱数を発生することにより行う。
制御部11は、記憶部19におけるパラメータテーブルにおける終了フラグを「0」とする初期化を行う。
視点選択部13は、対象視点と成る視点画像を、記憶部19に記憶されている視点画像のなかから選択する。
制御部11は、現在のパラメータの伝搬処理の回数が奇数回か偶数回かを判定、すなわち回数δが奇数か偶数かを判定する。このとき、制御部11は、回数δが奇数の場合に処理をステップS5へ進め、一方回数δが偶数の場合に処理をステップS6へ進める。
スレッド生成部14は、対象視点画像Vkの左上の頂部のピクセルa(図5参照)を開始ピクセルとした場合の空間伝搬処理部15が行うスレッドを生成する。ここで、スレッド生成部14は、開始ピクセルがピクセルaであるため、最上部の1行目から最下部のn行目までのピクセルの各行の順番に対応して、スレッドTH1、スレッドTH2、…の各々を生成する。
そして、空間伝搬処理部15は、各スレッドにおいて、対応する行の各ピクセルの隣接する他のピクセルにおける伝搬処理が終了したか否かを、記憶部19におけるパラメータテーブルを参照することにより検出し、参照ピクセルから対象ピクセルに対する伝搬処理を、すでに説明したように、マッチングスコアに対応して行う。
スレッド生成部14は、対象視点画像Vkの右下の頂部のピクセルz(図5参照)を開始ピクセルとした場合の空間伝搬処理部15が行うスレッドを生成する。ここで、スレッド生成部14は、開始ピクセルがピクセルzであるため、最下部のn行目から最上部の1行目までのピクセルの各行の順番に対応して、スレッドTH1、スレッドTH2、…の各々を生成する。
そして、各スレッドにおいて、空間伝搬処理部15は、対応する行の各ピクセルの隣接する他のピクセルにおける伝搬処理が終了したか否かを、記憶部19におけるパラメータテーブルを参照することにより検出し、参照ピクセルから対象ピクセルに対する伝搬処理を、すでに説明したように、マッチングスコアに対応して行う。
視点選択部13は、対象視点画像Vkの対象ピクセルからパラメータを伝搬する伝搬先の近傍視点画像CVkを、記憶部19における対象視点画像Vkを除いた視点画像のなかから選択する。
各スレッドにおいて、視点伝搬処理部16は、対象視点画像Vkの対象ピクセルのパラメータを、この対象ピクセルに対応する近傍視点画像CVkのピクセルに対して伝搬させる視点伝搬処理を行う。
各スレッドにおいて、微調整部17は、対象視点画像Vkの対象ピクセルの伝搬されたパラメータの微調整処理を、乱数により調整値を生成して行う。そして、微調整部17は、微調整処理が終了した対象ピクセルのパラメータを空間伝搬処理部17に出力する。
ここで、微調整部17は、微調整処理が終了した対象ピクセルのパラメータを、記憶部19のパラメータテーブルの対応するピクセルのレコードのパラメータの欄に書き込む。
各スレッドにおいて、微調整部17は、記憶部19のパラメータテーブルの対応するピクセルの終了フラグを「0」から「1」に書き換えて変更する。このとき、空間伝搬処理部17は、対象ピクセルのパラメータによるマッチングスコアが、完了閾値を超えた場合、記憶部19のパラメータテーブルにおけるこのピクセルの完了フラグを「0」から1に変更する。
制御部11は、記憶部19における対象視点画像Vkに対応するパラメータテーブルを参照し、全てのピクセルの終了フラグが「1」となっているか否かの判定を行う。
このとき、制御部11は、パラメータテーブルにおける全てのピクセルの終了フラグが「1」となっている場合、対象視点画像Vkの全てのピクセルに対するパラメータの空間伝搬処理及び視点伝搬処理が終了していると判定し、処理をステップS12へ進める。一方、制御部11は、パラメータテーブルにおける全てのピクセルの終了フラグが「1」となっていない場合、対象視点画像Vkの全てのピクセルに対するパラメータの空間伝搬処理及び視点伝搬処理が終了していないと判定し、処理をステップS4へ進める。このとき、制御部11は、記憶部19に記憶されている、視点画像とこの視点画像が空間伝搬処理が終了しているか否かを示すフラグとが対応した視点画像処理テーブル(不図示)に対し、全てのピクセルのパラメータの伝搬処理が終了した視点画像のフラグを立てる(「0」から「1」とする)。
制御部11は、記憶部19におけるに視点画像処理テーブルを参照し、全ての視点画像に対するパラメータの空間伝搬処理が終了したか否か、すなわち全ての視点画像のフラグが「1」であるか否かの判定を行う。
このとき、制御部11は、全ての視点画像に対するパラメータの空間伝搬処理が終了した場合、処理をステップS13へ進める。一方、制御部11は、全ての視点画像に対するパラメータの空間伝搬処理が終了していない場合、処理をステップS3へ進める。
制御部11は、回数δをインクリメント(1を加算)する。
制御部11は、回数δが設定数hを超えたか否かの判定を行う。制御部11は、回数δが設定数hを超えた場合、パラメータの伝搬の処理を終了する。一方、制御部11は、回数δが設定数hを超えていない(設定数h以下の)場合、処理をステップS2へ進める。制御部11は、回数δが設定数hを超えた場合、全ての視点画像の各ピクセルにおけるパラメータが推定されていると判定する。
ここで、設定数hは、例えば、実験的に3回以上などであり、ピクセル間のパラメータの伝搬によって、十分なパラメータの推定が行われる繰り返し回数を、3次元形状の凹凸形状に対応させて、予め実験などにより求めて設定する。
以下、本実施形態において上述したパッチマッチステレオ法の空間伝搬処理、視点伝搬処理及び微調整処理を視点画像単位で並列処理化する動作について、図8及び図9の各々を用いて説明する。以下の説明において、全ての視点画像におけるピクセルの初期化は終了した状態にある。
図8は、3次元形状の対象物を撮像した撮像装置の各々の視点の位置を示す図である。図8においては、例えば、対象物100を視点Aから視点Iの各々に配置した撮像装置により撮像し、複数の視点画像である多視点画像を取得している。視点Aの近傍の視点は視点Bであり、視点Bの近傍視点は視点A及び視点Cとなる。
例えば、視点Aの視点画像を対象視点画像Vkとされた場合、近傍視点画像CVkは視点Bと視点Cとの各々の視点画像である、次に、視点Bの視点画像が対象視点画像Vkとされた場合、近傍視点画像CVkは視点Aと視点Cとの各々の視点画像である。
視点画像単位で並列化するスレッド数を、例えばCPU数に合わせて割り当てていく。ここで、グラフにより各スレッドにより、処理する視点画像の順番をグラフで設定する。
図10において、第1スレッドが視点A→視点B→視点C→視点D→…と、順次、対象視点画像とされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。一方、第2スレッドが視点I→視点H→視点G→視点F→…と、順次、対象視点画像Vkとされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。
また、第1スレッド及び第2スレッドの各々において、すでに説明したピクセル単位におけるパラメータの伝搬の並列化処理がそれぞれ独立して行われる。近傍視点画像CVkが干渉しないためには3つ以上離れた視点画像を、それぞれ開始視点画像とする。
図10において、第1スレッドが視点A→視点B→視点C→視点D→…と、順次、対象視点画像とされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。一方、第2スレッドが視点I→視点H→視点G→視点F→…と、順次、対象視点画像Vkとされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。また、第2スレッドが視点E→視点D→視点F→視点C→…と、順次、対象視点画像Vkとされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。
また、第1スレッド、第2スレッド及び第3スレッドの各々において、すでに説明したピクセル単位におけるパラメータの伝搬の並列化処理がそれぞれ独立して行われる。近傍視点画像CVkが干渉しないためには3つ以上離れた視点画像を、それぞれ開始視点画像とする。
デプスマップ生成部18は、記憶部19に記憶されている、それぞれの視点画像のパラメータテーブルに基づき、世界座標系における3次元座標点群(3次元座標点Mの群)における3次元座標点各々の座標値を求めるデプスマップを求める。そして、デプスマップ生成部18は、生成した視点画像Vk毎のデプスマップを記憶部19に書き込んで記憶させる、あるいは外部の3次元形状復元装置(不図示)に対して出力する。
3次元形状復元装置は、視点画像Vk(∈V)のデプスマップにおいて、それぞれのピクセルmの奥行きをdVk(m)とし、この視点画像Vkを撮像した撮像装置(例えば、カメラ)の内部パラメータをAVkとし、外部パラメータをRVk(回転行列)、tVk(並進ベクトル)とした場合、視点画像Vkのピクセルm(座標値)から復元される、世界座標系における3次元座標点Mの座標値は、以下の(20)式で表される。
また、上記3次元形状復元装置に本実施形態によるデプスマップ生成装置を含め、視点画像を入力することにより、デプスマップを生成し、3次元形状を復元する3次元形状復元装置として構成しても良い。
また、本実施形態によれば、並列化した視点伝搬処理によって、複数の視点画像のパラメータを伝播させることにより、視点画像においてテクスチャの変化が少ない領域に対しても、高速に高い精度でパラメータを推定することが可能となる。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
12…初期化部
13…視点選択部
14…スレッド生成部
15…空間伝搬処理部
16…視点伝搬処理部
17…微調整部
18…デプスマップ生成部
19…記憶部
Claims (9)
- パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、
デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、
対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理部と、
対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理部と、
複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部と
を備え、
前記対象視点画像のピクセルは、格子状に配置されており、
前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行う
ことを特徴とするデプスマップ生成装置。 - パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、
デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、
対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理部と、
対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理部と、
複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部と
を備え、
前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行う
ことを特徴とするデプスマップ生成装置。 - 前記空間伝搬処理部が、パラメータの伝搬処理を所定の複数回繰り返して行い、当該空間伝搬処理部が、伝搬の処理を行う際の回数が奇数回の場合、前記対象視点画像の矩形形状における所定の頂点である第1頂点のピクセルからパラメータを伝搬させる処理を行い、伝搬の処理を行う際の回数が偶数回の場合、当該対象視点の前記第1頂点の点対称の位置にある第2頂点のピクセルからパラメータを伝搬させる処理を行う
ことを特徴とする請求項1または2に記載のデプスマップ生成装置。 - 前記空間伝搬処理部及び前記視点伝搬処理部の各々におけるパラメータの伝搬処理が終了した終了ピクセルに対して、当該ピクセルに伝搬されたパラメータの微調整を、乱数により発生した調整値により行うパラメータ微調整部
をさらに備える
ことを特徴とする請求項1から請求項3のいずれか一項に記載のデプスマップ生成装置。 - 前記空間伝搬処理部が、前記複数の対象視点画像に対して並列にパラメータの伝搬処理を行う
ことを特徴とする請求項1から請求項4のいずれか一項に記載のデプスマップ生成装置。 - パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、
初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、
空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理過程と、
視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理過程と、
デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画
像毎のデプスマップを生成するデプスマップ生成過程と
を含み、
前記対象視点画像のピクセルは、格子状に配置されており、
前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行う
ことを特徴とするデプスマップ生成方法。 - パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、
初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、
空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理過程と、
視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理過程と、
デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成過程と
を含み、
前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行う
ことを特徴とするデプスマップ生成方法。 - パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、
前記コンピュータを、
デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、
対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理手段、
対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理手段、
複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段
として機能させるプログラムであって、
前記対象視点画像のピクセルは、格子状に配置されており、
前記空間伝搬処理手段が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理手段が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行う
プログラム。 - パッチマッチステレオ法を用いて3次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、
前記コンピュータを、
デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、
対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第1評価値に対応して伝搬させる空間伝搬処理手段、
対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第2評価値に対応して伝搬させる視点伝搬処理手段、
複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段
として機能させるプログラムであって、
前記空間伝搬処理手段が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理手段が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行う
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016124820A JP6765653B2 (ja) | 2016-06-23 | 2016-06-23 | デプスマップ生成装置、デプスマップ生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016124820A JP6765653B2 (ja) | 2016-06-23 | 2016-06-23 | デプスマップ生成装置、デプスマップ生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017228152A JP2017228152A (ja) | 2017-12-28 |
JP6765653B2 true JP6765653B2 (ja) | 2020-10-07 |
Family
ID=60891906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016124820A Active JP6765653B2 (ja) | 2016-06-23 | 2016-06-23 | デプスマップ生成装置、デプスマップ生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6765653B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020191731A1 (zh) * | 2019-03-28 | 2020-10-01 | 深圳市大疆创新科技有限公司 | 点云生成方法、***和计算机存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5549283B2 (ja) * | 2010-03-08 | 2014-07-16 | 株式会社リコー | 距離取得装置 |
-
2016
- 2016-06-23 JP JP2016124820A patent/JP6765653B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017228152A (ja) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6261489B2 (ja) | 3次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体 | |
JP7173772B2 (ja) | 深度値推定を用いた映像処理方法及び装置 | |
Galliani et al. | Massively parallel multiview stereopsis by surface normal diffusion | |
JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
CN110276829B (zh) | 通过多尺度体素哈希处理的三维表示 | |
EP3016071B1 (en) | Estimating device and estimation method | |
US20180300892A1 (en) | Panoramic camera systems | |
WO2015135323A1 (zh) | 一种摄像机跟踪方法及装置 | |
US20140253679A1 (en) | Depth measurement quality enhancement | |
Wei et al. | Multi-View Depth Map Estimation With Cross-View Consistency. | |
US10643372B2 (en) | Method for reconstructing three-dimensional information of object and apparatus for the same | |
JP2018511874A (ja) | 3次元モデリング方法及び装置 | |
US10460461B2 (en) | Image processing apparatus and method of controlling the same | |
WO2012100225A1 (en) | Systems and methods for generating a three-dimensional shape from stereo color images | |
US9171393B2 (en) | Three-dimensional texture reprojection | |
EP3326156A1 (en) | Consistent tessellation via topology-aware surface tracking | |
US20160232705A1 (en) | Method for 3D Scene Reconstruction with Cross-Constrained Line Matching | |
WO2020017334A1 (ja) | 車載環境認識装置 | |
KR102158390B1 (ko) | 영상 처리 방법 및 장치 | |
US10097808B2 (en) | Image matching apparatus and method thereof | |
JP5178538B2 (ja) | 深度マップを画像から決定する方法、深度マップを決定する装置 | |
JP6736422B2 (ja) | 画像処理装置、画像処理の方法およびプログラム | |
JP2009530701A5 (ja) | ||
JP6765653B2 (ja) | デプスマップ生成装置、デプスマップ生成方法及びプログラム | |
KR20220026423A (ko) | 지면에 수직인 평면들의 3차원 재구성을 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160624 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20160708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160804 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6765653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |