JP2023000111A - 三次元モデル復元装置、方法及びプログラム - Google Patents
三次元モデル復元装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2023000111A JP2023000111A JP2021100741A JP2021100741A JP2023000111A JP 2023000111 A JP2023000111 A JP 2023000111A JP 2021100741 A JP2021100741 A JP 2021100741A JP 2021100741 A JP2021100741 A JP 2021100741A JP 2023000111 A JP2023000111 A JP 2023000111A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- dimensional
- images
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 241000228740 Procrustes Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 101100459261 Cyprinus carpio mycb gene Proteins 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
図2に示すように、初めに各カメラ画像から物体を包含する矩形領域を検出し、矩形領域の中心位置の二次元座標を得る。次いで、各カメラ画像の二次元座標を三角測量によって三次元座標に逆投影し、物体中心の三次元位置を得る。三角測量は二次元座標のペアから行うことが可能であるため、カメラ画像が3枚以上存在する場合はペアの組み合わせごとに三次元位置を算出し、複数の三次元位置の平均値で三次元位置を代表させても良い。最後に、物体中心の三次元位置を中心に物体形状を包含するように予め設計した物体近似三次元モデルを配置し、これを三次元物体形状とする。
図3に示すように、初めに各カメラ画像から予め定義された物体の関節点の位置を推定(姿勢推定)し、各関節点を三角測量によって三次元座標に逆投影する。次いで、各関節点の三次元座標を中心に物体の各部分領域の近似三次元モデル(物体の部分領域を包含するように予め設計)を配置し、これを三次元物体形状とする。
図4に示すように、初めに物体のパラメトリックモデルを利用して、カメラごとにその画像からパラメトリックモデルのパラメータを推定する様に学習された識別器を利用して、カメラ画像ごとに物体の三次元姿勢および三次元物体形状を同時に推定する。そして、カメラ画像ごとに推定した三次元姿勢および三次元物体形状を平均化するなどして一つの三次元姿勢および三次元物体形状に統合し、これを出力とする。あるいは、複数のカメラ画像からパラメトリックモデルのパラメータを推定するように学習した識別器を利用して、当該物体の三次元姿勢および三次元物体形状を同時に推定し、これを出力としても良い。
Claims (15)
- 物体を異なる視点で撮影した複数のカメラ画像に基づいて当該物体の三次元モデルを復元する三次元モデル復元装置において、
複数のカメラ画像に基づいて物体の三次元形状を推定する手段と、
カメラごとに前記物体の三次元形状の推定結果を用いたステレオマッチングにより奥行画像を生成する手段とを具備し、
カメラごとに生成した奥行画像を用いて物体の三次元モデルを復元することを特徴とする三次元モデル復元装置。 - 前記奥行画像を生成する手段が、カメラごとに当該カメラ画像および前記物体の三次元形状の推定結果に基づいて、当該カメラ画像を基準画像とするときの参照画像を他のカメラ画像の中から選択する手段を具備し、
カメラごとに当該カメラ画像を基準画像として、前記選択した参照画像との間でステレオマッチングを行って奥行画像を生成することを特徴とする請求項1に記載の三次元モデル復元装置。 - 前記奥行画像を生成する手段が、
前記推定した物体の三次元形状の各頂点をカメラごとにそのカメラパラメータを用いて当該カメラ画像に二次元投影する手段と、
一のカメラのカメラ画像を基準画像、他の各カメラのカメラ画像を候補画像として、基準画像における各頂点の二次元投影点と各候補画像における各頂点の二次元投影点との間の相違度を算出する手段とを具備し、
前記相違度がより小さい少なくとも一つの候補画像を参照画像として選択することを特徴とする請求項2に記載の三次元モデル復元装置。 - 前記奥行画像を生成する手段が、
前記推定した物体の三次元形状の各関節点をカメラごとにそのカメラパラメータを用いて当該カメラ画像に二次元投影する手段と、
一のカメラのカメラ画像を基準画像、他の各カメラのカメラ画像を候補画像として、基準画像における各関節点の二次元投影点と各候補画像における各関節点の二次元投影点との間の相違度を算出する手段とを具備し、
前記相違度がより小さい少なくとも一つの候補画像を参照画像として選択することを特徴とする請求項2に記載の三次元モデル復元装置。 - 前記奥行画像を生成する手段は、前記相違度が第1の閾値を下回る全ての候補画像を参照画像として選択することを特徴とする請求項3または4に記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段は、相違度が前記第1の閾値よりも小さい第2の閾値を上回って前記第1の閾値を下回る全ての画像を参照画像として選択することを特徴とする請求項5に記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段は、相違度が第2の閾値を上回る参照画像の中から相違度が相対的により小さい少なくとも一つの候補画像を参照画像として選択することを特徴とする請求項3または4に記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段は、相違度としてプロクラステス距離を用いることを特徴とする請求項3ないし7のいずれかに記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段は、前記三次元形状に基づいてステレオマッチングの基準画像における物体領域を特定し、ステレオマッチングの探索範囲を物体領域に制限することを特徴とする請求項1ないし8のいずれかに記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段は、カメラごとにそのカメラパラメータを用いて前記三次元形状を基準画像に二次元投影することで物体領域を特定することを特徴とする請求項9に記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段が、カメラごとに当該カメラのカメラパラメータを用いて前記三次元形状の推定結果を物体視差画像に変換する手段を具備し、
ステレオマッチングにおいて注目する基準画像の画素ごとに、前記物体視差画像の推定結果に基づいて、参照画像における対応画素の探索範囲を制限することを特徴とする請求項1ないし8のいずれかに記載の三次元モデル復元装置。 - 前記奥行画像を生成する手段は、ステレオマッチングにおいて注目する基準画像の画素ごとに、参照画像における対応画素の探索範囲を、当該注目する画素に対応する前記物体視差画像の画素の視差に応じた探索範囲内に制限することを特徴とする請求項11に記載の三次元モデル復元装置。
- 前記奥行画像を生成する手段は、ステレオマッチングにおいて注目する基準画像の画素ごとに、参照画像における対応画素の探索範囲を、当該注目する画素を包含する所定の画素範囲に対応する前記物体視差画像の画素範囲内における各画素の視差の範囲に応じた探索範囲内に制限することを特徴とする請求項11に記載の三次元モデル復元装置。
- コンピュータが、物体を異なる視点で撮影した複数のカメラ画像に基づいて当該物体の三次元モデルを復元する三次元モデル復元方法において、
複数のカメラ画像に基づいて物体の三次元形状を推定し、
カメラごとに前記物体の三次元形状の推定結果を用いたステレオマッチングにより奥行画像を生成し、
カメラごとに生成した奥行画像を用いて物体の三次元モデルを復元することを特徴とする三次元モデル復元方法。 - 物体を異なる視点で撮影した複数のカメラ画像に基づいて当該物体の三次元モデルを復元する三次元モデル復元プログラムにおいて、
複数のカメラ画像に基づいて物体の三次元形状を推定する手順と、
カメラごとに前記物体の三次元形状の推定結果を用いたステレオマッチングにより奥行画像を生成する手順と、
カメラごとに生成した奥行画像を用いて物体の三次元モデルを復元する手順と、をコンピュータに実行させることを特徴とする三次元モデル復元プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021100741A JP7518040B2 (ja) | 2021-06-17 | 2021-06-17 | 三次元モデル復元装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021100741A JP7518040B2 (ja) | 2021-06-17 | 2021-06-17 | 三次元モデル復元装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023000111A true JP2023000111A (ja) | 2023-01-04 |
JP7518040B2 JP7518040B2 (ja) | 2024-07-17 |
Family
ID=84687738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021100741A Active JP7518040B2 (ja) | 2021-06-17 | 2021-06-17 | 三次元モデル復元装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7518040B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019220099A (ja) | 2018-06-22 | 2019-12-26 | 凸版印刷株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム |
JP2020003870A (ja) | 2018-06-25 | 2020-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2021
- 2021-06-17 JP JP2021100741A patent/JP7518040B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7518040B2 (ja) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100721536B1 (ko) | 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법 | |
US7103211B1 (en) | Method and apparatus for generating 3D face models from one camera | |
US20080152213A1 (en) | 3d face reconstruction from 2d images | |
KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
US20090167843A1 (en) | Two pass approach to three dimensional Reconstruction | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
KR101829733B1 (ko) | 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 | |
KR101759188B1 (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
Fua et al. | Using 3-dimensional meshes to combine image-based and geometry-based constraints | |
Fidaleo et al. | Model-assisted 3d face reconstruction from video | |
KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
Matsumoto et al. | Shape-from-silhouette/stereo and its application to 3-d digitizer | |
KR20190069750A (ko) | 2d를 3d로 변환하는 기술과 posit 알고리즘을 이용한 증강현실 표현방법 | |
JP2532985B2 (ja) | 3次元画像評価装置 | |
KR102195762B1 (ko) | 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법 | |
JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
JP7518040B2 (ja) | 三次元モデル復元装置、方法及びプログラム | |
JPH0273471A (ja) | 三次元形状推定方法 | |
CN112651357A (zh) | 图像中目标物体的分割方法、三维重建方法及相关装置 | |
Buys et al. | On-line generation of customized human models based on camera measurements | |
Gao et al. | Acquisition of time-varying 3D foot shapes from video | |
Fazakas et al. | 3D reconstruction system for autonomous robot navigation | |
JP2023137841A (ja) | 三次元形状復元装置、方法及びプログラム | |
Ju et al. | Self-correction of 3D reconstruction from multi-view stereo images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240704 |