JP6604502B2 - デプスマップ生成装置、デプスマップ生成方法及びプログラム - Google Patents
デプスマップ生成装置、デプスマップ生成方法及びプログラム Download PDFInfo
- Publication number
- JP6604502B2 JP6604502B2 JP2015141533A JP2015141533A JP6604502B2 JP 6604502 B2 JP6604502 B2 JP 6604502B2 JP 2015141533 A JP2015141533 A JP 2015141533A JP 2015141533 A JP2015141533 A JP 2015141533A JP 6604502 B2 JP6604502 B2 JP 6604502B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- viewpoint
- node
- depth map
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 76
- 230000008569 process Effects 0.000 claims description 34
- 238000005314 correlation function Methods 0.000 claims description 18
- 230000000052 comparative effect Effects 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 152
- 238000012545 processing Methods 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 32
- 230000010354 integration Effects 0.000 description 32
- 230000014509 gene expression Effects 0.000 description 31
- 239000013598 vector Substances 0.000 description 26
- 238000010606 normalization Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 14
- 230000009467 reduction Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 235000003913 Coccoloba uvifera Nutrition 0.000 description 1
- 240000008976 Pterocarpus marsupium Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
しかしながら、各視点におけるデプスマップから算出される3次元点群を世界座標系(以下、世界座標とも言う)に変換するだけでは、最終的に得られる3次元復元結果に多くの誤対応点が残ってしまう。これは、統合に用いた視点のデプスマップにおいて、誤対応点が存在し、3次元復元結果に影響を与えるためである。
平行化したステレオペアでは、ステレオペアの一方の画像(以下、「参照視点画像」という。)から切り出されたマッチングウィンドウの幅方向と、ステレオペアの他方の画像(以下、「近傍視点画像」という。)から切り出されたマッチングウィンドウの幅方向とが一致する。この場合、切り出された各マッチングウィンドウが1次元方向に並ぶので、演算処理装置100は、1次元POC関数に基づいて、物体表面の注目点が撮像されたマッチングウィンドウにおける対応点の平行移動量を、高精度に算出することができる。
。また、θF(k)及びθG(k)は、位相スペクトルである。また、正規化相互パワースペクトルR(k)は、式(3)により表される。
ペクトルである。
以上が、1次元位相限定相関法(1次元POC)に基づく画像マッチング手法についての説明である。
図5は、演算処理装置のメッシュモデルの生成の動作手順を表すフローチャートである。関数算出装置110の正規化部111(図1を参照)は、参照視点画像VR及び近傍視点画像Cを、記憶装置200から読み込む(ステップS1)。正規化部111は、ステレオペアを構成する参照視点画像VR及び近傍視点画像Cを平行化し、平行化したステレオペアの視差を正規化する(ステップS2)。
関数算出装置110は、3次元点Mの奥行きを探索する(座標を算出する)場合、画像ピラミッドを用いた粗密探索を組み合わせてもよい。これにより、デプスマップ生成装置120は、画像ピラミッドを用いない場合と比較して少ないマッチング回数で、3次元点M群の世界座標を表すデプスマップを算出することができる。
この開始座標Zinitは、参照視点画像Vrect,i,H−1と、近傍視点画像Crect,i,H−1との1次元POC関数の相関ピークの位置座標に基づいて、各ステレオペア(i=0,…,K−1)について視差が算出されることにより定められる。
3次元点Mi及び法線ベクトルniにより定まる3次元平面(物体表面)上に、直線を仮定する。この直線は、参照視点画像Vrect,iに投影された場合に、参照視点画像Vrect,iにおける3次元点Miの対応点mi= [ui,vi] を通り、垂直座標軸に平行となるように、3次元平面(物体表面)上に仮定される。
傍視点画像Crect,iに投影されることになる。この3次元平面上に仮定された直線は,式(34)を満たす[X,Y,Z] により表される。
また、βiは、参照視点画像Vrect,iの焦点距離を表す。また、||tcam,i||は、ステレオペア間の基線長を表す。また、v’iは、参照視点画像Vrect,i上の任意の垂直座標を表す。
図9は、画像ピラミッドの各階層での関数算出装置の動作手順を表すフローチャートである。
(ステップSb1)正規化部111(図1を参照)は、カメラパラメータが既知である参照視点画像Vrect,iと、カメラパラメータが既知である近傍視点画像Crect,iとを、記憶装置200から読み込む。正規化部111は、K組の平行化したステレオペアVrect,i‐Crect,i(i=0,…,K−1)を生成する。ここで、正規化部111は、K組の平行化したステレオペアVrect,i‐Crect,i(i=0,…,K−1)について、階層毎に2分の1ずつ画像を縮小した階層数Hの画像ピラミッドを生成する。
(ステップSb8)関数統合部114は、更新された3次元点Miの奥行きを、座標miに対応する3次元点Miの奥行きと定める。
上述した画像ピラミッドを用いた階層的探索においては、上層の1個のピクセルのマッチング結果が、下層の複数個のピクセルに対して影響を与える。このため、上層におけるピクセルの誤対応が最終的なデプスマップの多くのピクセルの誤対応の原因となってしまう。また、上位の層ほど相対的に、画像サイズに対するウィンドウサイズが大きくなっていくため,物体境界やオクルージョン境界の影響うける範囲が大きくなる。この問題に対して、本実施形態においては、重み付きメディアンフィルタを用いることで、デプスマップの高精度化を行う。これにより、本実施形態においては、重み付きメディアンフィルタを用いることで、孤立した誤対応点と、物体境界及びオクルージョン境界におけるアーチファクトとの修正を行っている。
また、本実施形態においては、最終的なデプスマップに対し、MVS(Multi View Stereo;多視点ステレオ)のためのPOC(Phase Only Correlation;位相限定相関法)に基づき、ウィンドウマッチングによる奥行き推定結果そのものを用いるため、重み付きメディアンフィルタを使用したマップ値の更新を行わない。
以下においては、階層hにおけるデプスマップIZ h(u,v)を例として、本実施形態における重み付きメディアンフィルタについて説明する。
本実施形態における重み付きメディアンフィルタは、フィルタリングを行う対象のピクセルである対象ピクセルの数値(デプスマップの奥行きの数値)を、この対象ピクセルを中心とした周辺領域における他のピクセルの数値(デプスマップの奥行きの数値)の重み付け中央値で決定するフィルタである。
ここで、階層h(中層)のデプスマップIZ h(u,v)の座標系における対象ピクセルのピクセル座標(u’,v’)とウィンドウ内の座標系におけるマップ値Imed(i,j)との対応関係は、以下の(38)式により表す。
上述した(32)式は、以下に示す3個の仮定を元に形成されている。
・同一画像データ内において対象ピクセル近傍(所定の範囲内の座標値)の他のピクセル値はデプスマップにおける奥行きが近い数値である。
・同一画像データ内において対象ピクセルの輝度値と近い輝度値を有する他のピクセルとは、デプスマップにおける奥行きの数値が近い。
・POC関数のピーク値が低いピクセルほど、デプスマップにおける奥行きの数値の信頼性が低い。
上述したウィンドウ内の各ピクセルのマップ値Imed(i,j)を用いて、マップ値(例えば奥行きの数値)をソートして、数列(ak)を生成する。ウィンドウ内の各ピクセルの重みωmed(i,j)を用いて、重みωmed(i,j)をソートして、重み数列(ωk)を生成する。そして、数列(ak)及び重み数列(ωk)を(37)式に代入し、重み付き中央値amedを算出し、重み付きメディアンフィルタのフィルタリングによるデプスマップIZ h(u,v)におけるピクセル座標(u’,v’)の対象ピクセルの奥行きの数値とする。以下に示す(40)式による代入処理を行う。
また、上述の説明としては、デプスマップIZ h(u,v)を例として行ったが、相関値マップIα h(u,v)、法線ベクトルマップIΨ h(u,v)の各々についても、重み付きメディアンフィルタを用い、デプスマップIZ h(u,v)に対してと同様なマップ値の更新処理、ずなわち、それぞれのマップを更新する処理を行う。このとき、重み付きメディアンフィルタにおいて、ウィンドウ内のマップ値Imed(i,j)はそれぞれのマップの数値、例えば相関値マップIα h(u,v)の場合、マップ値として相関値を、(38)式に対応する式に代入する。同様に、法線ベクトルマップIΨ h(u,v)の場合、マップ値として法線ベクトルを、(38)式に対応する式に代入する。
ここで、デプスマップ生成装置120における誤対応点除去部123は、以下に示す誤対応点除去処理及びアーチファクト除去処理により、各視点のデプスマップ(デプスマップ生成部121が生成したデプスマップdep)における誤対応点の除去と、各視点のデプスマップにおけるアーチファクトの除去を行う(提案手法)。上述したデプスマップ生成部121が生成したデプスマップdepを、デプスマップIZ(u,v)として以下において説明する。
本処理方法においては、グラフカットの手法を用いて誤対応点の除去を行う。ある視点のデプスマップにおいて誤対応点であっても、同一の3次元座標(世界座標)の座標点を復元する別の視点(近傍にある他の視点)のデプスマップにおいては、誤対応点とならない可能性がある。このため、本実施形態における誤対応点除去処理は、誤対応点の評価対象の対象視点のデプスマップについて、カメラ位置の近い近傍の他の視点である参照視点のデプスマップとの整合性を取ることにより、対象視点におけるデプスマップの誤対応点を除去する処理を行っている。特に、上述したような画像ピラミッドの階層における階層的探索を用いるデプスマップ生成は、誤対応点が画像ピラミッドの上層から下層となるに従って広がり、下層のデプスマップ上でクラスタ状に発生し易い。
したがって、本実施形態においては、画像ピラミッドの下層においてクラスタ状に発生した誤対応点について、誤対応点の発生した視点(対象視点)と、近傍の他の視点(参照視点)との整合性を取るため、グラフ理論におけるグラフカットを用いた誤対応点除去を行う。
このとき、上記有向グラフのエッジの重みに対して、エネルギー関数の各項を割り当てて、エネルギー最小化問題を解くことにより、S−Tカットを行っている。また、S−Tカットを画像処理に適用する場合、対象のノードであるピクセルの近傍にある他のピクセルとの連結関係を考慮する必要もある。
本処理方法においては、閾値処理の手法を用いてアーチファクトの除去を行う。このアーチファクトは、多視点ステレオのアルゴリズムによって復元される、撮像した3次元形状の物体において現実には存在しない物体表面上に生成される構造物である。また、アーチファクトは、対象の視点において物体境界及びオクルージョン境界の各々となる領域で復元される傾向がある。多視点ステレオのアルゴリズムにおいては、マッチングウィンドウという小領域毎に、3次元座標の座標点の奥行きを推定しているため、物体境界で背景となるピクセルにおいても、このマッチングウィンドウ内に含まれる前景の奥行きを推定するため、アーチファクトとして復元される。
このため、本実施形態においては、アーチファクトのピクセルを含む複数枚のデプスマップを用いて、これらデプスマップ同士の整合性が取れなくなる状態を場合分けすることで、アーチファクトのピクセルを以下に説明する閾値処理によって除去する。
座標点Aと座標点A’との各々においては、視点View1、視点View2それぞれによるデプスマップよって、座標点間の整合性を取ることはできない。しかしながら、視点Viewのデプスマップから復元される形状Object1の座標点Aと、視点View2から復元される形状Object2の座標点A’とのいずれも正対応点のピクセルである。座標点A及び座標点A’の各々においては、視点View1のデプスマップと視点View2のデプスマップとの各々から復元される領域が異なっている例である。この座標点Aと座標点A’との再生に用いたデプスマップの各々における奥行きの差分は大きくなる。
また、奥行きZ’及びピクセルm’の各々は、すでに説明した(44)式の関係を満たす。また、上記(46)式における視点Ckは、以下の(47)式を満たす視点である。
アーチファクト除去部123は、対象とする視点VRに対して隣接する他の視点Ckが複数存在する場合、隣接する全ての他の視点を候補とし、各候補について上記(46)式により評価する。そして、アーチファクト除去部123は、候補の1個以上が(46)式を満たす場合、対象のデプスマップにおけるピクセルをアーチファクトと判定する。
このとき、アーチファクト除去部123は、(46)において、奥行きIZ,Ck(m’)と奥行きZ’との差分を奥行きIZ,Ck(m’)により除算して正規化して正規化差分が、パラメータである閾値th1以下のピクセルmが、ピクセルm’と同一のピクセルとして復元された座標点であるとして、正対応点と判定して除去しない。
また、アーチファクト除去部123は、対象の視点に対して、視野角が(47)式においてパラメータである閾値th3以下の他の視点を、対象とする視点の近傍に位置し、アーチファクトの判定に適さないため対象の視点と比較する他の視点として用いない。
図15(a)は、対象の視点View2(VR)のデプスマップから復元された座標点A(ピクセルm)と、他の視点View1(Ck)のデプスマップから復元された座標点A’との比較を示している。図15(a)において、アーチファクト除去部123は、視点View2の座標点Aを視差角deg(VR,Ck)分回転させて、視点View1の座標系に座標変換している。そして、アーチファクト除去部123は、この座標変換した座標点Aの視点View1からの奥行きZ’と、対応する座標点A’(ピクセルm’)の視点View1からの奥行きIZ,Ck(u,v)との差分(IZ,Ck(u,v)−Z’)を求める。
また、本実施形態においては、複数の参照視点のうち1個でもアーチファクトと判定したピクセルを除去しているが、参照視点の対応するピクセルがアーチファクトである可能性を考慮し、複数の参照視点の多数決により、アーチファクトの判定を行うように、アーチファクト除去部124を構成しても良い。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (8)
- 多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成部と、
正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第1重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第2重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去部と、
を備え、
前記第1重み付け数が、
前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第1A重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第1B重み付け数とから構成され、
前記第1A重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、
前記第1B重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、
前記第2重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されている
ことを特徴とするデプスマップ生成装置。 - 前記誤対応点除去部が誤対応点除去を行った後に、異なった前記視点間におけるアーチファクトを除去するアーチファクト除去部をさらに備え、
前記アーチファクト除去部が、前記対象視点における前記ピクセルの奥行きと、当該対象視点と所定の距離で離間された視点である比較視点における前記ピクセルを前記対象視点の座標系に変換した奥行きとの差分を求め、当該差分が予め設定された閾値と比較して、前記対象視点のピクセルをアーチファクトとするか否かの判定を行う
ことを特徴とする請求項1に記載のデプスマップ生成装置。 - 前記閾値が第1閾値及び第2閾値の各々からなり、
前記アーチファクト除去部が、
前記差分が前記第1閾値以下の場合、前記対象視点及び前記比較視点の各々において同一の前記ピクセルが同様の奥行きで復元されているため、前記対象視点の前記ピクセルをアーチファクトではないと判定し、
前記差分が前記第1閾値を超え、かつ前記第2閾値未満である場合、前記対象視点及び前記比較視点の各々において同一の前記ピクセルが異なった奥行きで復元されているため、前記対象視点の前記ピクセルをアーチファクトであると判定し、
前記差分が前記第2閾値以上である場合、前記対象視点の前記ピクセルが前記対象視点の前記ピクセルと異なる領域の前記ピクセルであるとして、前記対象視点の前記ピクセルをアーチファクトでないと判定する
ことを特徴とする請求項2に記載のデプスマップ生成装置。 - 前記アーチファクト除去部が、
前記対象視点と前記比較視点との復元された前記ピクセルに対する視差角が予め設定した第3閾値未満の場合、前記比較視点を前記対象視点との比較に用いないと判定する
ことを特徴とする請求項2または請求項3に記載のデプスマップ生成装置。 - 複数の異なる前記視点の前記画像からのデプスマップを生成する際、前記画像間のピクセルのマッチング処理が前記ピクセルの分解能を徐々に上げる階層的探索により行われており、
前記階層的探索における各階層の前記マッチング処理の終了後の前記デプスマップに対し、重み付きメディアンフィルタを用いて前記デプスマップにおける前記ピクセル毎の奥行きの数値を補正する
ことを特徴とする請求項1から請求項4のいずれか一項に記載のデプスマップ生成装置。 - 前記重み付きメディアンフィルタのウインドウにおける前記ピクセルの各々の重み数値が、対象とするピクセルとの距離、前記階層の画像における前記ピクセルの輝度値及び位相限定相関関数のピーク値に対応して設定されている
ことを特徴とする請求項5に記載のデプスマップ生成装置。 - デプスマップ生成部が、多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成過程と、
誤対応点除去部が、正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第1重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第2重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去過程と、
を含み、
前記第1重み付け数が、
前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第1A重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第1B重み付け数とから構成され、
前記第1A重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、
前記第1B重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、
前記第2重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されている
ことを特徴とするデプスマップ生成方法。 - コンピュータを、
多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成手段、
正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第1重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第2重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去手段、
として動作させるためのプログラムであり、
前記第1重み付け数が、
前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第1A重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第1B重み付け数とから構成され、
前記第1A重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、
前記第1B重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、
前記第2重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されている
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015141533A JP6604502B2 (ja) | 2015-07-15 | 2015-07-15 | デプスマップ生成装置、デプスマップ生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015141533A JP6604502B2 (ja) | 2015-07-15 | 2015-07-15 | デプスマップ生成装置、デプスマップ生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017027101A JP2017027101A (ja) | 2017-02-02 |
JP6604502B2 true JP6604502B2 (ja) | 2019-11-13 |
Family
ID=57950519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015141533A Active JP6604502B2 (ja) | 2015-07-15 | 2015-07-15 | デプスマップ生成装置、デプスマップ生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6604502B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7344660B2 (ja) * | 2018-03-30 | 2023-09-14 | キヤノン株式会社 | 視差算出装置、視差算出方法及び視差算出装置の制御プログラム |
SG11201811275UA (en) * | 2018-06-22 | 2020-01-30 | Beijing Didi Infinity Technology & Development Co Ltd | Systems and methods for updating highly automated driving maps |
CN113710986A (zh) | 2019-04-10 | 2021-11-26 | 索尼集团公司 | 图像处理装置和图像处理方法 |
CN112907463A (zh) * | 2021-01-28 | 2021-06-04 | 华南理工大学 | 联合图像语义和三维信息的深度图像错误点移除方法 |
KR102525570B1 (ko) * | 2022-11-30 | 2023-04-25 | 주식회사 테스트웍스 | 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 |
CN116379953B (zh) * | 2023-05-30 | 2023-09-05 | 武汉中岩科技股份有限公司 | 一种远距离双目三维变形测量***的拍摄控制方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014090303A1 (en) * | 2012-12-12 | 2014-06-19 | Huawei Technologies Co., Ltd. | Method and apparatus for segmentation of 3d image data |
JP6260888B2 (ja) * | 2013-03-12 | 2018-01-17 | 国立大学法人東北大学 | 関数算出装置、関数算出方法及び関数算出プログラム |
-
2015
- 2015-07-15 JP JP2015141533A patent/JP6604502B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017027101A (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6604502B2 (ja) | デプスマップ生成装置、デプスマップ生成方法及びプログラム | |
US9767598B2 (en) | Smoothing and robust normal estimation for 3D point clouds | |
US10706567B2 (en) | Data processing method, apparatus, system and storage media | |
JP6261489B2 (ja) | 3次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体 | |
US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
US20150097827A1 (en) | Target Region Fill Utilizing Transformations | |
EP3465611B1 (en) | Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses | |
JP6934224B2 (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム | |
JP5035195B2 (ja) | 画像生成装置及びプログラム | |
US10142613B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP5787398B2 (ja) | 関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラム | |
WO2014093906A1 (en) | Model based video projection | |
US20210402599A1 (en) | Mobile Robot Control Apparatus For Three Dimensional Modeling, Three Dimensional Modeling System Having the Same And Method Of Three Dimensional Modeling Using The Same | |
KR101766431B1 (ko) | 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 | |
CN108492326A (zh) | 分辨率从低到高的逐渐精细化的立体匹配方法及*** | |
JP4998422B2 (ja) | 画像生成装置、方法、通信システム及びプログラム | |
Ito et al. | PM-MVS: PatchMatch multi-view stereo | |
JP6260888B2 (ja) | 関数算出装置、関数算出方法及び関数算出プログラム | |
Lee et al. | Refinement of inverse depth plane in textureless and occluded regions in a multiview stereo matching scheme | |
Shi et al. | Fast and effective integration of multiple overlapping range images | |
Kalomiros | Dense disparity features for fast stereo vision | |
Heimann et al. | Joint Geometry and Attribute Upsampling of Point Clouds Using Frequency-Selective Models with Overlapped Support | |
Salehian et al. | Efficient interscanline consistency enforcing method for dynamic programming-based dense stereo matching algorithms | |
Son et al. | Stereo matching algorithm using a simplified trellis diagram iteratively and bi-directionally | |
Aung et al. | Multi-view Stereo Dense Reconstruction using SfM-based PMVS for Image-based Modeling (IBM) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150716 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20150811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180618 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6604502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |