JP7456959B2 - 3dモデル生成装置、方法及びプログラム - Google Patents
3dモデル生成装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7456959B2 JP7456959B2 JP2021032292A JP2021032292A JP7456959B2 JP 7456959 B2 JP7456959 B2 JP 7456959B2 JP 2021032292 A JP2021032292 A JP 2021032292A JP 2021032292 A JP2021032292 A JP 2021032292A JP 7456959 B2 JP7456959 B2 JP 7456959B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- calculation
- cameras
- visible
- voxel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000004364 calculation method Methods 0.000 claims description 130
- 238000012821 model calculation Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 15
- 238000009877 rendering Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 101100135611 Arabidopsis thaliana PAP12 gene Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 101150052583 CALM1 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
Description
各被写体をその3Dボクセルモデルのサイズや形状(全体の大きさ、縦、横、高さ)に基づいて分類できる。例えば、被写体をスポーツシーンでよく見られる「人物」または「ボール」に区別する場合、ボクセルモデルが所定の閾値よりも大きければ「人物」、小さければ「ボール」に分類できる。あるいは3Dバウンディングボックスの形状が立方体であれば「ボール」、直方体であれば「人物」に分類することもできる。
例えば、高さが10mを超える位置に形成される3Dモデルはボールに分類し、人物や用具である確率を小さく見積もることができる。
3Dモデルの形状が被写体ごとに特徴的であることを利用して、予めモデル形状と被写体との関係を深層学習等により学習して予測モデルを構築し、各3Dモデルを予測モデルに適用することでクラス分類を行うことができる。
Claims (12)
- 視点の異なる複数のカメラで撮影した動画像の前景に基づいて被写体の3Dモデルを生成する3Dモデル生成装置において、
被写体が存在し得る3D空間のボクセルグリッドで仕切られたボクセルごとに当該ボクセルが画角内に収まる可視カメラ数を含む可視カメラ情報を記憶する手段と、
前記可視カメラ情報に基づいて、可視カメラ数が所定の第1閾値を超えるボクセルが占める3D空間を第1計算領域に決定する手段と、
前記第1計算領域を対象に3Dモデル計算を行って表示用の3Dモデルを生成する手段と、
前記可視カメラ情報に基づいて、可視カメラ数が前記第1閾値未満の所定範囲内であるボクセルが占める3D空間を第2計算領域に決定する手段と、
前記第2計算領域を対象に3Dモデル計算を行って遮蔽計算用の3Dモデルを生成する手段と、
前記表示用および遮蔽計算用の各3Dモデルの遮蔽関係に基づいてオクルージョン情報を計算する手段と、
前記オクルージョン情報に基づいて前記表示用の3Dモデルにテクスチャマッピングを行う手段とを具備したことを特徴とする3Dモデル生成装置。 - 前記可視カメラ情報が、各可視カメラを一意に識別できるインデックス情報を含み、
前記オクルージョン情報を計算する手段は、ボクセルごとに前記インデックス情報に基づいて、可視カメラ以外を画一的にテクスチャマッピングに用いないカメラとみなすことを特徴とする請求項1に記載の3Dモデル生成装置。 - 前記3Dモデルを生成する手段が、相対的に高解像度の3Dモデルを生成する手段および低解像度の3Dモデルを生成する手段を具備し、
前記第1計算領域では高解像度で表示用の3Dモデルを生成し、
前記第2計算領域では低解像度で遮蔽計算用の3Dモデルを生成することを特徴とする請求項1または2に記載の3Dモデル生成装置。 - 前記第1計算領域では、低解像度で3Dモデルを生成したのち、当該3Dモデルの生成領域を対象に高解像度で表示用の3Dモデルを生成することを特徴とする請求項3に記載の3Dモデル生成装置。
- 各3Dモデルをクラスに分類する手段と、
前記クラスの分類の結果に基づいて、前記第1および第2計算領域の各決定結果の一方を他方に変更する手段とを具備し、
変更後の計算領域で3Dモデルを再生成することを特徴とする請求項1ないし4のいずれかに記載の3Dモデル生成装置。 - 各ボクセルの可視カメラ数を、隣接する可視カメラ間の相対角度の最大値で代表し、最大値が小さいボクセルほど可視カメラ数を多く見積もることを特徴とする請求項1ないし5のいずれかに記載の3Dモデル生成装置。
- 各ボクセルの可視カメラ数を、各可視カメラの配置分布の偏りで代表し、分布の偏りが小さいボクセルほど可視カメラ数を多く見積もることを特徴とする請求項1ないし5のいずれかに記載の3Dモデル生成装置。
- 前記各3Dモデルを生成する手段は、
可視カメラのうち当該ボクセルを前景に識別した可視カメラの割合が所定のカメラ数閾値を超えるボクセルを3Dモデルの生成対象とすることを特徴とする請求項1ないし7のいずれかに記載の3Dモデル生成装置。 - 視点の異なる複数のカメラで撮影した動画像の前景に基づいてコンピュータが被写体の3Dモデルを生成する3Dモデル生成方法において、
被写体が存在し得る3D空間のボクセルグリッドで仕切られたボクセルごとに当該ボクセルが画角内に収まる可視カメラ数を含む可視カメラ情報に基づいて、可視カメラ数が所定の第1閾値を超えるボクセルが占める3D空間を第1計算領域に決定し、
前記第1計算領域を対象に3Dモデル計算を行って表示用の3Dモデルを生成し、
前記可視カメラ情報に基づいて、可視カメラ数が前記第1閾値未満の所定範囲内であるボクセルが占める3D空間を第2計算領域に決定し、
前記第2計算領域を対象に3Dモデル計算を行って遮蔽計算用の3Dモデルを生成し、
前記表示用および遮蔽計算用の各3Dモデルの遮蔽関係に基づいてオクルージョン情報を計算し、
前記オクルージョン情報に基づいて前記表示用の3Dモデルにテクスチャマッピングを行うことを特徴とする3Dモデル生成方法。 - 前記第1計算領域では高解像度で表示用の3Dモデルを生成し、
前記第2計算領域では低解像度で遮蔽計算用の3Dモデルを生成することを特徴とする請求項9に記載の3Dモデル生成方法。 - 視点の異なる複数のカメラで撮影した動画像の前景に基づいて被写体の3Dモデルを生成する3Dモデル生成プログラムにおいて、
被写体が存在し得る3D空間のボクセルグリッドで仕切られたボクセルごとに当該ボクセルが画角内に収まる可視カメラ数を含む可視カメラ情報に基づいて、可視カメラ数が所定の第1閾値を超えるボクセルが占める3D空間を第1計算領域に決定する手順と、
前記第1計算領域を対象に3Dモデル計算を行って表示用の3Dモデルを生成する手順と、
前記可視カメラ情報に基づいて、可視カメラ数が前記第1閾値未満の所定範囲内であるボクセルが占める3D空間を第2計算領域に決定する手順と、
前記第2計算領域を対象に3Dモデル計算を行って遮蔽計算用の3Dモデルを生成する手順と、
前記表示用および遮蔽計算用の各3Dモデルの遮蔽関係に基づいてオクルージョン情報を計算する手順と、
前記オクルージョン情報に基づいて前記表示用の3Dモデルにテクスチャマッピングを行う手順と、をコンピュータに実行させることを特徴とする3Dモデル生成プログラム。 - 前記3Dモデルを生成する手順において、
前記第1計算領域では高解像度で表示用の3Dモデルを生成し、
前記第2計算領域では低解像度で遮蔽計算用の3Dモデルを生成することを特徴とする請求項11に記載の3Dモデル生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021032292A JP7456959B2 (ja) | 2021-03-02 | 2021-03-02 | 3dモデル生成装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021032292A JP7456959B2 (ja) | 2021-03-02 | 2021-03-02 | 3dモデル生成装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022133556A JP2022133556A (ja) | 2022-09-14 |
JP7456959B2 true JP7456959B2 (ja) | 2024-03-27 |
Family
ID=83230073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021032292A Active JP7456959B2 (ja) | 2021-03-02 | 2021-03-02 | 3dモデル生成装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7456959B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019083402A (ja) | 2017-10-30 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
JP2019197279A (ja) | 2018-05-07 | 2019-11-14 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP2021033682A (ja) | 2019-08-26 | 2021-03-01 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
-
2021
- 2021-03-02 JP JP2021032292A patent/JP7456959B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019083402A (ja) | 2017-10-30 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
JP2019197279A (ja) | 2018-05-07 | 2019-11-14 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP2021033682A (ja) | 2019-08-26 | 2021-03-01 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
渡邊 良亮,野中 敬介,菅野 勝,広域競技空間に適用可能な高精度リアルタイム自由視点生成手法に関する検討,映像情報メディア学会技術報告,日本,映像情報メディア学会,2020年11月19日,第44巻,第30号,第37-42頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2022133556A (ja) | 2022-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Neural 3d video synthesis from multi-view video | |
US11217006B2 (en) | Methods and systems for performing 3D simulation based on a 2D video image | |
Koyama et al. | Live mixed-reality 3d video in soccer stadium | |
US10499033B2 (en) | Apparatus, a method and a computer program for coding and rendering volumetric video | |
US11501118B2 (en) | Digital model repair system and method | |
Matsuyama et al. | Real-time dynamic 3-D object shape reconstruction and high-fidelity texture mapping for 3-D video | |
US20130321396A1 (en) | Multi-input free viewpoint video processing pipeline | |
CN106127680B (zh) | 一种720度全景视频快速浏览方法 | |
CN108475327A (zh) | 三维采集与渲染 | |
US20190335166A1 (en) | Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data | |
Moezzi et al. | Immersive video | |
EP3396635A2 (en) | A method and technical equipment for encoding media content | |
Chen et al. | Fast free-viewpoint video synthesis algorithm for sports scenes | |
Ohta et al. | Live 3D video in soccer stadium | |
Kanade et al. | Virtualized reality: perspectives on 4D digitization of dynamic events | |
JP2021157237A (ja) | 自由視点映像生成方法、装置およびプログラム | |
JP7456959B2 (ja) | 3dモデル生成装置、方法及びプログラム | |
JP7328942B2 (ja) | 3dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム | |
Hisatomi et al. | Method of 3D reconstruction using graph cuts, and its application to preserving intangible cultural heritage | |
Matsuyama | Exploitation of 3D video technologies | |
JP7465234B2 (ja) | 3dモデル生成装置、方法及びプログラム | |
Chen et al. | A quality controllable multi-view object reconstruction method for 3D imaging systems | |
JP7393092B2 (ja) | 仮想視点映像生成装置、方法およびプログラム | |
Lin et al. | Free-viewpoint image synthesis based on non-uniformly resampled 3D representation | |
JP2022124941A (ja) | 3dモデル生成装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7456959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |