JP7135517B2 - 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム - Google Patents
三次元形状モデル生成装置、三次元モデル生成方法及びプログラム Download PDFInfo
- Publication number
- JP7135517B2 JP7135517B2 JP2018130995A JP2018130995A JP7135517B2 JP 7135517 B2 JP7135517 B2 JP 7135517B2 JP 2018130995 A JP2018130995 A JP 2018130995A JP 2018130995 A JP2018130995 A JP 2018130995A JP 7135517 B2 JP7135517 B2 JP 7135517B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- viewpoint
- blur
- map
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
例えば、非特許文献1には多視点画像から三次元形状を復元する手法が開示されている。非特許文献1では、多視点画像を用いてステレオマッチングを行うことにより、視点(撮像位置)ごとのデプスマップを生成する。このデプスマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における奥行きの情報が示されたマップである。そして、作成した複数のデプスマップを統合することにより、対象物の三次元形状を復元する。
ここで、一般に、多視点画像から三次元形状を復元する手法において、当該手法の入力として用いられる多視点画像の画質は、復元する対象物の三次元形状の精度や品質に強く影響を及ぼす重要な要素の一つである。例えば、三次元形状モデルの精度や品質に強く影響を及ぼす要素として、画像のブラー(画像のぼやけや、画像のブレ等)が挙げられる。復元対象である対象物にピントが合っていないぼやけた画像や、撮像時に対象物やカメラが移動したことにより対象物がブレた画像が多視点画像に含まれている場合、復元される三次元形状モデルの精度が著しく低下する傾向にあることが知られている。このため、多視点画像から対象物の三次元形状を復元する手法においては、復元対象がぼやけていたり、ブレていたりする画像が多視点画像として用いられないようにすることが望ましい。
ブラーマップ生成部107は、生成した多視点画像のブラーマップをブラーマップ記憶部112に書き込んで記憶させる。
図2(a)に示すように、多視点画像においては、例えば、背景はピントが合っていないが、対象物にはほぼ全体にピントが合っている。
図2(b)に示すように、ブラーマップにおいては、背景に対応する領域は全体的に黒で示されており、輝度が小さいことが示されている。これは、背景に対応する領域においてブラーが発生している(つまり、ピントが合っていない)確率が高いことを示している。一方、対象物に対応する領域は全体的に白で示されており、輝度が大きいことが示されている。これは、対象物に対応する領域においてブラーが発生していない(つまり、ピントが合っている)確率が高いことを示している。
多視点画像記憶部109は多視点画像入力部108に入力された多視点画像のデータを視点識別情報と対応付けて記憶する。
三次元点群記憶部110は三次元点群生成部103により生成された三次元点群のデータを記憶する。
三次元形状モデル記憶部111は、三次元形状モデル生成部106により生成された三次元形状モデルのデータを記憶する。
ブラーマップ記憶部112は、ブラーマップ生成部107により生成されたブラーマップのデータを記憶する。
図1に示すように、三次元復元処理部100は、カメラパラメータ推定部101、デプスマップ生成部102、三次元点群生成部103、視点選択部104、三次元点最適化部105及び三次元形状モデル生成部106を備える。
カメラパラメータ推定部101は、例えば、画像から特徴量を抽出して対応点の計算を行うStructure from Motion(SfM)に、多視点画像の画像情報を入力することにより、カメラパラメータを推定する。SfMにおいては、入力された多視点画像を用いて、多視点画像の組合せについて対応付けを行い、対応付けた多視点画像における対応点の組合せの再投影誤差が最小となるようなカメラパラメータを推定する。
なお、上記では、カメラパラメータ推定部101がSfMを用いてカメラパラメータを推定する場合を例示して説明したが、これに限定されない。カメラパラメータ推定部101は、多視点画像を撮像する撮像装置を事前に校正しておくことで、カメラパラメータの一部若しくは全部を推定するようにしてもよい。
例えば、マッチングを行うステレオペアの一方の画像においてブラーが発生している場合、(2)式におけるBR(mR)又はBC(mC)の何れか一方の値が0に近い値となり、他方が1に近い値となる。この場合、(2)式に示す重み関数W1は1よりも小さい値となる。この場合、(1)式に示すマッチングスコアSは、重みづけがなされる前のマッチングスコアSと比較して小さいスコアとなる。
一方、マッチングを行うステレオペアの両方の画像においてブラーが発生していない場合、(2)式におけるBR(mR)又はBC(mC)の両方の値が1に近い値となる。この場合、(2)式に示す重み関数W1は1に近い値となる。この場合、(1)式に示すマッチングスコアSは、重みづけがなされる前のマッチングスコアSと比較してほぼ同等のスコアとなる。
すなわち、デプスマップ生成部102は、重み関数W1を用いてマッチングスコアを算出することにより、ブラーが発生していないステレオペアのマッチングスコアSが、一方にブラーが発生しているステレオペアのマッチングスコアSよりも高い値が示されるようにする。これにより、ブラーが発生していないステレオペアが重視され、デプスマップにおいて、多視点画像におけるブラーの発生に起因する影響、つまり推定される奥行値の精度の低下を抑制することが可能となる。
Cjはj番目の視点の光軸のベクトルを示す。niはi番目の三次元点の法線ベクトルを示す。rijはj番目の視点からi番目の三次元点に向かう視点ベクトルを示す。また、(5)式における「・」はベクトル内積を示す演算子であり、「*」は単なる乗算を示す演算子である。つまり、上記(5)式における(Cj・rij)の項は、対象となるi番目の三次元点に対応する画素の位置座標が、より中央近傍にある(ベクトルCjと視点ベクトルrijとの間の角度がより小さい)多視点画像に対応する視点の選択コストSijが高くなるように算出される項である。また、(-ni・rij)の項は、対象となるi番目の三次元点に対応する法線ベクトルniと視点ベクトルrijとの間の角度がより小さく、尚且つ、方向が互いに反対となる方向である多視点画像に対応する視点の選択コストSijが高くなるように算出される項である。
この位相限定相関法によるマッチングにおいて、三次元点最適化部105は、三次元点の各々において、三次元座標及び法線ベクトルの各々により、選択された視点の多視点画像のそれぞれにおける局所領域を設定する。そして、三次元点最適化部105は、多視点画像の各々の局所領域の画像から位相限定相関関数を算出することにより、多視点画像間における局所領域の画像の微少な平行移動量を推定する。
これにより、三次元点最適化部105は、ステレオペアの片方の画像でブラーが発生しているペアから計算される位相限定相関関数が、重み付き平均後の位相限定相関関数に与える影響が小さくすることができ、ブラーの発生に起因する三次元座標の精度低下を抑制することが可能である。
三次元点最適化部105は、再計算した三次元座標に基づく三次元点群を、多視点画像記憶部109に書き込んで記憶させる。
そして、三次元形状モデル生成部106は、生成した三次元形状モデルに対して形状モデル識別情報を付与し、この三次元形状モデルのデータを三次元形状モデル記憶部111に書き込んで記憶させる。
多視点画像入力部108は、異なった複数の視点で撮像装置により撮像した複数の多視点画像を外部装置(不図示)から入力し、多視点画像を撮像した視点の各々に視点識別情報を付与する。そして、多視点画像入力部108は、入力した多視点画像の各々のデータを、多視点画像記憶部109に対して書き込んで記憶させる。
ブラーマップ生成部107は、多視点画像の各画像について画素ごとのブラーマップを生成する。ブラーマップ生成部107は、カラー画像からブラーマップを生成するCNNに、多視点画像を入力させることより当該多視点画像のブラーマップを生成する。そして、ブラーマップ生成部107は、多視点画像のブラーマップの各々を、ブラーマップ記憶部112に対して書き込んで記憶させる。
カメラパラメータ推定部101は、多視点画像の各々のカメラパラメータを推定する。カメラパラメータ推定部101は、多視点画像記憶部109に記憶された多視点画像の各々のデータを読み出し、多視点画像の各々のデータをSfMに入力することにより当該多視点画像のカメラパラメータを推定する。そして、カメラパラメータ推定部101は、推定した多視点画像の各々のカメラパラメータをデプスマップ生成部102に出力する。
デプスマップ生成部102は、多視点画像、及びカメラパラメータ推定部101により推定されたカメラパラメータの各々を用いて、各視点に対応するデプスマップ及び法線ベクトルマップを生成する。この時、デプスマップ生成部102は、重み関数W1を用いて多視点画像におけるブラーの発生に起因する影響が抑制されるようにデプスマップ及び法線ベクトルマップを生成する。デプスマップ生成部102は、生成したデプスマップ及び法線ベクトルマップの各々を、三次元点群生成部103に出力する。
三次元点群生成部103は、デプスマップ生成部102により生成された、多視点画像の全視点におけるデプスマップ及び法線ベクトルマップの各々を統合し、対象物の三次元形状に対応する三次元点群を生成する。三次元点群生成部103は、合成した三次元点群に対して三次元点群識別情報を付与し、三次元点群記憶部110の三次元点群テーブルに対して書き込んで記憶させる。
視点選択部104は、三次元点群における各三次元点のマッチングを行なうための複数、例えば2個の視点を選択する。このとき、視点選択部104は、重み関数W2を用いて多視点画像におけるブラーの発生に起因する影響が抑制されるように視点を選択する。視点選択部104は、選択した視点を示す情報を三次元点最適化部105に出力する。
三次元点最適化部105は、視点選択部104により選択された視点を用いて選択された複数の視点における多視点画像の各々における三次元点の三次元座標を再計算し、三次元点を最適化する。このとき、三次元点最適化部105は、重み関数W1を用いて多視点画像におけるブラーの発生に起因する影響が抑制されるように三次元点を最適化する。三次元点最適化部105は、最適化した三次元点群のデータを三次元点群記憶部110に記憶させる。
三次元形状モデル生成部106は、三次元点最適化部105により最適化された三次元点群のデータを用いて三次元形状モデルを生成する。三次元形状モデル生成部106は、例えば、メッシュ再構築の手法を用いて三次元メッシュモデルを生成する。三次元形状モデル生成部106は、生成した三次元メッシュモデルを三次元形状モデル記憶部111に記憶させる。
図4(c)及び図4(d)の各々は、ブラーマップによる重みづけを行わずに作成した従来の三次元メッシュモデルの例を示す図である。図4(e)及び図4(f)の各々は、ブラーマップによる重みづけを行い作成した三次元メッシュモデルの例を示す図である。
このように、本実施形態を用いることで、多視点画像に対象の一部にブラーが発生している画像が含まれる場合においても、三次元形状を高精度に復元することが可能である。
100…三次元復元処理部
101…カメラパラメータ推定部
102…デプスマップ生成部
103…三次元点群生成部
104…視点選択部
105…三次元点最適化部
106…三次元形状モデル生成部
107…ブラーマップ生成部
108…多視点画像入力部
109…多視点画像記憶部
110…三次元点群記憶部
111…三次元形状モデル記憶部
112…ブラーマップ記憶部
Claims (9)
- 対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、
前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成部と、
前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理部と
を備えることを特徴とする三次元形状モデル生成装置。 - 前記三次元復元処理部が、
前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するために用いるステレオペアのマッチングスコアの重み付けを、前記ブラーマップの画素ごとのブラー量に応じて行い、前記デプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と
を備えることを特徴とする請求項1に記載の三次元形状モデル生成装置。 - 前記三次元復元処理部が、
前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
前記多視点画像と前記三次元点群における三次元点の三次元座標とを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記三次元点群における三次元点の三次元座標を最適化する三次元点最適化部と、
前記三次元点群の各三次元点の三次元座標に応じて、新たな三次元点を前記三次元点群に追加する三次元点追加部と
を備えることを特徴とする請求項1に記載の三次元形状モデル生成装置。 - 前記三次元復元処理部が、
前記三次元点群における各三次元点に対応した視点ごとの幾何的な位置関係に基づく適正スコアに、前記ブラーマップの画素ごとのブラー量に応じた重み付けを行い、ステレオマッチングに用いる視点を選択する視点選択部
を更に備え、
前記三次元点最適化部は、前記選択された視点を用いて前記三次元点のマッチングを行う
ことを特徴とする請求項3に記載の三次元形状モデル生成装置。 - 前記三次元復元処理部が、
前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するために用いるステレオペアのマッチングスコアの重み付けを、前記ブラーマップの画素ごとのブラー量に応じて行い、前記デプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
前記三次元点群における三次元点に対応した視点ごとの適正スコアに基づいて、マッチング処理に用いられる視点を選択する視点選択部と、
前記選択された視点により前記三次元点のマッチングを行い、前記三次元点の三次元座標を最適化する三次元点最適化部と
を備えることを特徴とする請求項1に記載の三次元形状モデル生成装置。 - 前記三次元復元処理部が、
前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
前記三次元点群における三次元点に対応した視点ごとの適正スコアに、前記ブラーマップの画素ごとのブラー量に応じた重み付けを行い、マッチング処理に用いられる視点を選択する視点選択部と、
前記選択された視点により前記三次元点のマッチングを行い、前記三次元点の三次元座標を最適化する三次元点最適化部と
を備えることを特徴とする請求項1、又は請求項5に記載の三次元形状モデル生成装置。 - 前記三次元復元処理部が、
前記多視点画像から各画像の画素ごとの奥行き情報を有するデプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された複数の前記デプスマップを統合することにより前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
前記三次元点群における三次元点に対応した視点ごとの適正スコアに基づいて、マッチング処理に用いられる視点を選択する視点選択部と、
前記選択された視点を用いた前記三次元点のマッチングのマッチングスコアの重み付けを、し、前記ブラーマップの画素ごとのブラー量に応じて行い、前記三次元点の三次元座標を最適化する三次元点最適化部と
を備えることを特徴とする請求項1、請求項5又は請求項6に記載の三次元形状モデル生成装置。 - 対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元モデル生成方法であり、
ブラーマップ生成部が、前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成過程と、
三次元復元処理部が、前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理過程と
を含むことを特徴とする三次元形状モデル生成方法。 - 対象物を異なる視点から撮像した二枚以上の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置としてコンピュータを動作させるプログラムであり、
前記コンピュータを、
前記多視点画像の各画像における画素ごとのブラー量を表すブラーマップを生成するブラーマップ生成手段、
前記多視点画像と前記ブラーマップとを用いて、ウィンドウマッチングによるマッチングスコアの重み付けを、前記ブラーマップにおける画素ごとのブラー量に応じて行い、前記対象物の三次元形状を示す三次元形状モデルを生成する三次元復元処理手段
として動作させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130995A JP7135517B2 (ja) | 2018-07-10 | 2018-07-10 | 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130995A JP7135517B2 (ja) | 2018-07-10 | 2018-07-10 | 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009255A JP2020009255A (ja) | 2020-01-16 |
JP7135517B2 true JP7135517B2 (ja) | 2022-09-13 |
Family
ID=69151866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018130995A Active JP7135517B2 (ja) | 2018-07-10 | 2018-07-10 | 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7135517B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012016573A (ja) | 2010-03-24 | 2012-01-26 | Advance Co Ltd | 歯科用補綴物計測加工システム |
WO2012032826A1 (ja) | 2010-09-10 | 2012-03-15 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
-
2018
- 2018-07-10 JP JP2018130995A patent/JP7135517B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012016573A (ja) | 2010-03-24 | 2012-01-26 | Advance Co Ltd | 歯科用補綴物計測加工システム |
WO2012032826A1 (ja) | 2010-09-10 | 2012-03-15 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
Non-Patent Citations (2)
Title |
---|
Kalin Kolev, Petri Tanskanen, Pablo Speciale, Marc Pollefeys,Turning Mobile Phones into 3D Scanners,2014 IEEE Conference on Computer Vision and Pattern Recognition,米国,IEEE,2014年09月25日,第3946-3953頁,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=arnumber=6909899 |
平舘 睦基 他4名,多視点ステレオのためのPatchMatch Stereoの拡張と性能評価,映像情報メディア学会技術報告 ITE Technical Report,第39巻, 第30号,日本,(一社)映像情報メディア学会,2015年08月17日,第65~68頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2020009255A (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10540576B1 (en) | Panoramic camera systems | |
JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
CN104376552B (zh) | 一种3d模型与二维图像的虚实配准方法 | |
KR100793838B1 (ko) | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 | |
US20200334842A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
CN106846467B (zh) | 基于每个相机位置优化的实体场景建模方法和*** | |
EP3465611B1 (en) | Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses | |
JP2019091122A (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2017199285A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7135517B2 (ja) | 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム | |
JP5728399B2 (ja) | 計測装置、方法及びプログラム | |
KR20150130078A (ko) | 신장 트리 생성 방법 및 장치,스테레오 매칭 방법 및 장치,업 샘플링 방법 및 장치,및 기준 픽셀 생성 방법 및 장치 | |
JP6641313B2 (ja) | 領域抽出装置及びプログラム | |
Kuhl et al. | Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods | |
van Dam et al. | Landmark-based model-free 3d face shape reconstruction from video sequences | |
JP2020046744A (ja) | 画像処理装置、背景画像の生成方法およびプログラム | |
WO2023233575A1 (ja) | 推定装置、学習装置、推定方法、学習方法及びプログラム | |
Nadar et al. | Sensor simulation for monocular depth estimation using deep neural networks | |
Yu et al. | Parallax-Tolerant Image Stitching with Epipolar Displacement Field | |
JP2021128673A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009294956A (ja) | 3次元形状復元方法とその装置、プログラム及び記録媒体 | |
CN113538301A (zh) | 一种多深度图融合方法、装置及计算机可读存储介质 | |
JP2015201044A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7135517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |