JP2021015559A - 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム - Google Patents
三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム Download PDFInfo
- Publication number
- JP2021015559A JP2021015559A JP2019131259A JP2019131259A JP2021015559A JP 2021015559 A JP2021015559 A JP 2021015559A JP 2019131259 A JP2019131259 A JP 2019131259A JP 2019131259 A JP2019131259 A JP 2019131259A JP 2021015559 A JP2021015559 A JP 2021015559A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- dimensional shape
- shape model
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 239000003550 marker Substances 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
また、被写界深度には幅がある。このため、被写界深度から推定した距離には誤差が含まれており、精度よく距離を推定することができないという問題があった。
まず、第1の実施形態について説明する。
図1は、第1の実施形態に係る三次元形状モデル生成装置1の構成の例を示すブロック図である。三次元形状モデル生成装置1は、例えば、画像データ取得部101と、三次元形状生成部102と、ピント領域検出部103と、距離算出部104と、スケール推定部105と、スケール変換部106と、画像データ記憶部107と、三次元形状記憶部108と、スケール情報記憶部109とを備える。
三次元形状記憶部108は、三次元形状モデルに関する情報を記憶する。三次元形状モデルに関する情報には、投影画像の各画素における仮想距離、及び三次元形状モデルにおける仮想距離の真値を示す情報が含まれる。
スケール情報記憶部109は、スケール変換に関する情報を記憶する。
図2に示すように、スケール変換に関する情報には、カメラパラメータ、及びスケール変換用パラメータ等の項目を有する。カメラパラメータには、カメラ及び撮像時の属性情報、例えばExifを示す情報が含まれる。カメラパラメータには、画像ID、カメラ機種、焦点距離、フォーカス、レンズF値、許容錯乱円径、被写界深度等を示す情報が含まれる。スケール変換用パラメータには、スケール推定部105により推定されたスケール値SC、及びスケール値SCの推定に用いられた現実距離を示す情報が含まれる。
図4に示すように、被写界深度は、被写体までの距離uを中心とする、前方被写界深度DoFfと後方被写界深度DoFrとの和により求められ、所定の幅をもつ値となる。前方被写界深度DoFfは、被写体までの距離uから視点位置に近づく方向においてピントがあう範囲である。後方被写界深度DoFrは、被写体までの距離uから視点位置から遠ざかる方向においてピントがあう範囲である。
ステップS101:
画像データ取得部101は、対象物Tの多視点画像TGを取得する。
ステップS102:
三次元形状生成部102は、多視点画像TGを用いて三次元形状モデルMを生成する。
ステップS103:
ピント領域検出部103は、多視点画像TGにおけるブラーマップを生成する。
ステップS104:
距離算出部104は、多視点画像TGにおいてピントの合った領域について、その領域に含まれる画素ごとの仮想距離を算出する。
ステップS105:
距離算出部104は、三次元形状モデルMの投影画像の各画素に、ステップS104で算出した多視点画像TGの画素ごとの仮想距離を対応させることにより、投影画像の各画素の仮想距離を算出する。
ステップS106:
距離算出部104は、投影画像の各画素の仮想距離のばらつきに対し、統計的な処理を行うことにより、投影画像における最も確からしい仮想距離(仮想距離の真値)を算出する。
ステップS107:
スケール推定部105は、仮想距離に対する現実距離である、スケール値SCを推定する。スケール推定部105は、例えば、カメラパラメータを用いて導出した現実距離、及びステップS106にて算出した仮想距離を用いて、スケール値SCを算出する。
ステップS108:
スケール変換部106は、現実距離を算出する。スケール変換部106は、ステップS106にて算出した仮想距離に、ステップS107にて推定したスケール値SCを乗算することにより、現実距離を算出する。
次に、第1の実施形態の変形例1について説明する。本変形例では、ピント領域検出部103によりピントが合っていると判定された画素が、エッジであるか否かに応じて、仮想距離を算出する点において、上述した実施形態と相違する。
或いは、距離算出部104は、投影画像における対応画素がエッジであるか否かを判定し、対応画素がエッジでないと判定された画素のみを用いて、投影画像における最も確からしい仮想距離(仮想距離の真値)を算出するようにしてもよい。
次に、第1の実施形態の変形例2について説明する。本変形例では、ピント領域検出部103によりピントが合っていると判定された画素のデプス値に重みづけをする点において、上述した実施形態と相違する。
次に、第1の実施形態の変形例3について説明する。本実施形態では、投影画像の1つの画素に対応する、複数の多視点画像TGの画素の奥行値のばらつきを考慮して、投影画像の仮想距離を算出する点において、上述した実施形態と相違する。
次に、第2の実施形態について説明する。以下の説明においては、上述した実施形態と異なる部分についてのみ説明し、同じ部分については同等の符号を付してその説明を省略する。
マーカスケール推定部110は、マーカ三次元形状モデルMMの投影画像におけるスケール値SCを推定する。マーカ三次元形状モデルMMは、マーカが付された対象物Tの三次元形状モデルである。マーカは、実際の寸法が既知の印である。
三次元形状生成部102は、マーカ多視点画像MTGを用いてマーカ三次元形状モデルMMを生成する。
ピント領域検出部103は、マーカ多視点画像MTGにおけるブラーマップを生成する。
距離算出部104は、マーカ多視点画像MTGにおいてピントの合った領域について、その領域に含まれる画素ごとの現実距離を算出する。
距離算出部104は、マーカ三次元形状モデルMMの投影画像の各画素に、上記で算出した画素ごとの現実距離を対応させることにより、投影画像の各画素の現実距離を算出する。
距離算出部104は、投影画像の各画素の現実距離のばらつきに対し、統計的な処理を行うことにより、投影画像における最も確からしい現実距離(現実距離の真値)を算出する。
マーカスケール推定部110は、距離算出部104により算出された現実距離(現実距離の真値)、および、第1の実施形態において距離算出部104により算出された仮想距離(仮想距離の真値)を用いて、スケール値SCを推定する。
次に、第2の実施形態の変形例1について説明する。本変形例では、学習済みモデルに学習させる学習用データセットの内容が、上述した実施形態と相違する。
101…画像データ取得部
102…三次元形状生成部
103…ピント領域検出部
104…距離算出部
105…スケール推定部
106…スケール変換部
107…画像データ記憶部
108…三次元形状記憶部
109…スケール情報記憶部
110…マーカスケール推定部
Claims (16)
- 対象物を、互いに異なる視点から撮像した複数の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状生成部と、
前記多視点画像の各画像におけるピントが合った領域を検出するピント領域検出部と、
前記多視点画像の各画像におけるピントが合っている領域の画素について、前記三次元形状モデルを二次元平面に投影させた投影画像と、前記投影画像における視点位置との、仮想的な距離である仮想距離を算出する距離算出部と、
前記仮想距離に対する、前記投影画像と、前記投影画像における視点位置までの実際の現実距離、の比を示すスケール値を推定するスケール推定部と、
前記スケール値を用いて、前記仮想距離を、前記現実距離に変換するスケール変換部と、
を備える三次元形状モデル生成装置。 - 前記ピント領域検出部は、前記多視点画像の各画像において、前記多視点画像を撮像したカメラのフォーカス機能を用いてフォーカスを合わせた領域に応じて、前記多視点画像の各画像におけるピントの合った領域を検出する、
請求項1に記載の三次元形状モデル生成装置。 - 前記ピント領域検出部は、画像処理により、前記多視点画像の各画像におけるピントの合った領域を検出する、
請求項1に記載の三次元形状モデル生成装置。 - 前記ピント領域検出部は、入力と出力とが対応づけられた学習用データセットを用いて機械学習を行うことにより生成された学習済みモデルを用いて、前記多視点画像の各画像におけるピントの合った領域を検出し、
前記学習用データセットの入力は、学習用の入力画像であり、
前記学習用データセットの出力は、前記入力画像におけるピントの合った領域を示す情報である、
請求項1に記載の三次元形状モデル生成装置。 - 前記学習用データセットの入力は、多視点画像の各画像であり、
前記学習用データセットの出力は、実際の寸法が既知であるマーカの三次元形状モデルを、前記マーカの実際の寸法に基づいてスケール補正した、補正済み三次元形状モデルを二次元平面に投影させた、補正済みの投影画像における画素ごとのデプス値に基づいて判定した、前記補正済みの投影画像におけるピントの合った領域を示す情報である、
請求項4に記載の三次元形状モデル生成装置。 - 前記距離算出部は、前記ピント領域検出部によりピントが合っていると判定された画素がエッジであるか否かの判定結果、及び前記ピント領域検出部によりピントが合っていると判定された画素に対応する対応画素であって、前記三次元形状モデルを二次元平面に投影させた投影画像の前記対応画素がエッジであるか否かの判定結果うち、少なくとも何れか一方の判定結果に基づき、前記投影画像の前記対応画素における前記仮想距離を、前記投影画像における前記仮想距離の算出に用いるか否かを判定する、
請求項1から請求項5のいずれか一項に記載の三次元形状モデル生成装置。 - 前記スケール推定部は、前記多視点画像を撮像したカメラのカメラパラメータから算出される被写界深度に基づき、前記現実距離を導出する、
請求項1から請求項6のいずれか一項に記載の三次元形状モデル生成装置。 - 実際の寸法が既知であるマーカの三次元形状モデルを、実際の寸法に基づいてスケール補正した補正済み三次元形状モデルに基づいて、前記現実距離を導出するマーカスケール推定部を、更に備え、
前記スケール推定部は、前記マーカスケール推定部により導出された前記現実距離を用いて、前記スケール値を推定する、
請求項1から請求項6のいずれか一項に記載の三次元形状モデル生成装置。 - 前記マーカスケール推定部は、前記補正済み三次元形状モデルに基づいて、前記補正済み三次元形状モデルを二次元平面に投影させた、補正済みの投影画像における画素のうち、ピントが合っていると判定される画素のデプス値に基づき、前記現実距離を導出する、
請求項8に記載の三次元形状モデル生成装置。 - 前記スケール推定部は、前記多視点画像を撮像したカメラのフォーカス機能から得られる距離に基づき、前記現実距離を導出する、
請求項1から請求項6のいずれか一項に記載の三次元形状モデル生成装置。 - 前記距離算出部は、前記検出されたピントが合っている領域に含まれる画素のデプス値に応じた距離を、前記投影画像の画素ごとに対応させることにより、前記投影画像の画素ごとの前記仮想距離を算出する、
請求項1から請求項10のいずれか一項に記載の三次元形状モデル生成装置。 - 前記ピント領域検出部は、画素ごとにピントが合った度合いを検出し、
前記距離算出部は、前記検出されたピントが合っている領域に含まれる画素のデプス値に応じた距離を、前記ピントが合った度合いに応じて重みづけし、重みづけした距離を前記投影画像の画素ごとに対応させることにより、前記投影画像の画素ごとの前記仮想距離を算出する、
請求項11に記載の三次元形状モデル生成装置。 - 前記距離算出部は、前記検出されたピントが合っている領域に含まれる画素のデプス値に応じた距離を、当該距離の大きさに応じて重みづけし、重みづけした距離を前記投影画像の画素ごとに対応させることにより、前記投影画像の画素ごとの前記仮想距離を算出する、
請求項11又は請求項12に記載の三次元形状モデル生成装置。 - 前記距離算出部は、前記多視点画像の各画像におけるピントが合った領域の画素ごとのデプス値に応じた距離を算出し、算出した距離を前記投影画像の画素に対応させ、前記投影画像の画素に対応する距離が複数ある場合において、当該複数の距離を比較し、当該複数の距離のばらつきの度合いに応じて、前記投影画像の画素における前記仮想距離を、前記投影画像における前記仮想距離の算出に用いるか否かを判定する、
請求項1から請求項13のいずれか一項に記載の三次元形状モデル生成装置。 - 三次元形状生成部が、対象物を、互いに異なる視点から撮像した複数の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状生成工程と、
ピント領域検出部が、前記多視点画像の各画像におけるピントが合った領域を検出するピント領域検出工程と、
距離算出部が、前記多視点画像の各画像におけるピントが合っている領域の画素について、前記三次元形状モデルを二次元平面に投影させた投影画像と、前記投影画像における視点位置との、仮想的な距離である仮想距離を算出する距離算出工程と、
スケール推定部が、前記仮想距離に対する、前記投影画像と、前記投影画像における視点位置までの実際の現実距離、の比を示すスケール値を推定するスケール推定工程と、
スケール変換部が、前記スケール値を用いて、前記仮想距離を、前記現実距離に変換するスケール変換工程と、
を含む三次元形状モデル生成方法。 - コンピュータを、
対象物を、互いに異なる視点から撮像した複数の多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状生成手段、
前記多視点画像の各画像におけるピントが合った領域を検出するピント領域検出手段、
前記多視点画像の各画像におけるピントが合っている領域の画素について、前記三次元形状モデルを二次元平面に投影させた投影画像と、前記投影画像における視点位置との、仮想的な距離である仮想距離を算出する距離算出手段と、
前記仮想距離に対する、前記投影画像と、前記投影画像における視点位置までの実際の現実距離、の比を示すスケール値を推定するスケール推定手段、
前記スケール値を用いて、前記仮想距離を、前記現実距離に変換するスケール変換手段、
として動作させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019131259A JP7334516B2 (ja) | 2019-07-16 | 2019-07-16 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019131259A JP7334516B2 (ja) | 2019-07-16 | 2019-07-16 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021015559A true JP2021015559A (ja) | 2021-02-12 |
JP7334516B2 JP7334516B2 (ja) | 2023-08-29 |
Family
ID=74531651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019131259A Active JP7334516B2 (ja) | 2019-07-16 | 2019-07-16 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7334516B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114900677A (zh) * | 2022-07-13 | 2022-08-12 | 深圳市美特乐光电科技有限公司 | 一种获取投影仪的最佳投影焦点的方法及*** |
KR102485816B1 (ko) * | 2021-11-03 | 2023-01-09 | 아이티컨버젼스 주식회사 | 이미지 수집장치를 이용한 작물 생육 분석 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011058876A1 (ja) * | 2009-11-13 | 2011-05-19 | 富士フイルム株式会社 | 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 |
WO2015166675A1 (ja) * | 2014-05-02 | 2015-11-05 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2016201788A (ja) * | 2015-04-08 | 2016-12-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
JP2018057532A (ja) * | 2016-10-04 | 2018-04-12 | 凸版印刷株式会社 | 補装具装着部形状取得方法及び補装具装着部形状取得システム |
-
2019
- 2019-07-16 JP JP2019131259A patent/JP7334516B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011058876A1 (ja) * | 2009-11-13 | 2011-05-19 | 富士フイルム株式会社 | 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 |
WO2015166675A1 (ja) * | 2014-05-02 | 2015-11-05 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2016201788A (ja) * | 2015-04-08 | 2016-12-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
JP2018057532A (ja) * | 2016-10-04 | 2018-04-12 | 凸版印刷株式会社 | 補装具装着部形状取得方法及び補装具装着部形状取得システム |
Non-Patent Citations (3)
Title |
---|
KEDE MA ET AL.: ""Deep Blur Mapping: Exploiting High-Level Semantics by Deep Neural Networks"", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 27, no. 10, JPN6023019211, 15 June 2018 (2018-06-15), US, pages 5155 - 5166, ISSN: 0005108150 * |
大原 知之、外4名: ""合焦法遠距離計測のためのスクリーン投影型画像観測系の提案"", 電子情報通信学会論文誌, vol. 82, no. 10, JPN6023019210, 25 October 1999 (1999-10-25), JP, pages 1750 - 1757, ISSN: 0005108148 * |
運天 弘樹、外4名: ""デジタルカメラで撮影した画像から全自動で三次元形状モデルを生成できる画像処理技術"", 画像ラボ, vol. 26, no. 6, JPN6023019209, 10 June 2015 (2015-06-10), JP, pages 35 - 40, ISSN: 0005108149 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102485816B1 (ko) * | 2021-11-03 | 2023-01-09 | 아이티컨버젼스 주식회사 | 이미지 수집장치를 이용한 작물 생육 분석 시스템 |
CN114900677A (zh) * | 2022-07-13 | 2022-08-12 | 深圳市美特乐光电科技有限公司 | 一种获取投影仪的最佳投影焦点的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP7334516B2 (ja) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5160643B2 (ja) | 2次元画像からの3次元オブジェクト認識システム及び方法 | |
US8754963B2 (en) | Processing images having different focus | |
US9025862B2 (en) | Range image pixel matching method | |
US9691137B2 (en) | Radial distortion parameter acquiring method and apparatus | |
KR101666854B1 (ko) | 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법 | |
CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
JP5901447B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
JP6071257B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
JP2020004266A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN112184811B (zh) | 单目空间结构光***结构校准方法及装置 | |
Shim et al. | Time-of-flight sensor and color camera calibration for multi-view acquisition | |
CN110738703A (zh) | 定位方法及装置、终端、存储介质 | |
JP7334516B2 (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
JPWO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP7156624B2 (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
JP2020098421A (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
JP3862402B2 (ja) | 3次元モデル生成装置および3次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
JP6573196B2 (ja) | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム | |
JP2001103513A (ja) | 2次元映像を3次元映像に変換する方法 | |
JP2005141655A (ja) | 3次元モデリング装置及び3次元モデリング方法 | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
KR100805802B1 (ko) | 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템 | |
KR20110133677A (ko) | 3d 영상 처리 장치 및 그 방법 | |
JP7326965B2 (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7334516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |