JP2021157237A - 自由視点映像生成方法、装置およびプログラム - Google Patents
自由視点映像生成方法、装置およびプログラム Download PDFInfo
- Publication number
- JP2021157237A JP2021157237A JP2020054123A JP2020054123A JP2021157237A JP 2021157237 A JP2021157237 A JP 2021157237A JP 2020054123 A JP2020054123 A JP 2020054123A JP 2020054123 A JP2020054123 A JP 2020054123A JP 2021157237 A JP2021157237 A JP 2021157237A
- Authority
- JP
- Japan
- Prior art keywords
- model
- camera
- subject
- shield
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims description 46
- 238000009877 rendering Methods 0.000 abstract description 21
- 230000007547 defect Effects 0.000 abstract description 10
- 230000010354 integration Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000011410 subtraction method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101150052583 CALM1 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
次式(2)によりアルファブレンドによるマッピングが行われる。
可視であるカメラのテクスチャのみを用いてポリゴンgがレンダリングされる。すなわち上式(2)において、可視であるカメラのtextureci(g)に対応するアルファブレンド比率aの値を1とする。その他の形態としては、仮想視点pvからみて次に近いカメラCam3を、カメラCam1,Cam2うち不可視であるカメラの代わりとして参照する。この際、テクスチャのアルファブレンドの方法は上式(2)と同様である。
仮想視点pvからみて次に近いカメラCam3のテクスチャを用いてレンダリングする。カメラCam3も不可視である場合は、さらに次に近いカメラCam4…といったように、距離の近いカメラから順にカメラテクスチャを参照する。この際、順次参照するカメラの台数を2以上として、上式(2)に則ってブレンディング処理を行っても良い。
Claims (13)
- 被写体および遮蔽物を視点の異なる複数のカメラで同期撮影したカメラ画像に基づいて自由視点映像を生成する自由視点映像生成装置において、
カメラごとに遮蔽物デプスマップを取得する手段と、
被写体の3Dモデルを生成する手段と、
前記3Dモデルに基づいてカメラごとに被写体デプスマップを生成する手段と、
前記被写体デプスマップおよび遮蔽物デプスマップに基づいて、前記3Dモデルの各部位が各カメラの視点で可視および不可視のいずれであるかを登録したオクルージョン情報を生成する手段と、
前記オクルージョン情報に基づいて、前記3Dモデルの部位ごとに一部のカメラで不可視の部位へ当該部位が可視のカメラで取得したテクスチャをマッピングする手段とを具備したことを特徴とする自由視点映像生成装置。 - 前記遮蔽物デプスマップを取得する手段は、予め用意した遮蔽物の3Dモデルおよび各カメラパラメータに基づいてカメラごとに遮蔽物デプスマップを生成することを特徴とする請求項1に記載の自由視点映像生成装置。
- カメラ画像に基づいて被写体シルエット画像を生成する手段と、
遮蔽物デプスマップに基づいて遮蔽物シルエット画像を生成する手段とを具備し、
前記3Dモデルを生成する手段は、前記被写体および遮蔽物の各シルエット画像に基づいて3Dモデルを生成することを特徴とする請求項1または2に記載の自由視点映像生成装置。 - 前記3Dモデルを生成する手段は、被写体および遮蔽物の各シルエット画像を用いた視体積交差法により、3D空間に確保した各ボクセルグリッドをモデル化するか否かを判定し、
前記遮蔽物の3Dモデルが存在し得る領域に対応したボクセルグリッドでは前記判定をスキップしてモデル化しないことを特徴とする請求項3に記載の自由視点映像生成装置。 - 前記3Dモデルを生成する手段は、
被写体および遮蔽物の各シルエット画像を用いた視体積交差法によりボクセルグリッドのサイズが第1サイズの低解像ボクセルモデルを計算する手段と、
前記低解像ボクセルモデルの領域を対象に、前記各シルエット画像を用いた視体積交差法によりボクセルグリッドのサイズが前記第1サイズよりも小さい第2サイズの高解像ボクセルモデルを計算する手段とを具備し、
前記低解像ボクセルモデルのうち、遮蔽物の3Dモデルが存在し得る領域では前記判定をスキップしてモデル化しないことを特徴とする請求項4に記載の自由視点映像生成装置。 - 前記3Dモデルがポリゴンモデルであり、
前記オクルージョン情報には、各ポリゴンの頂点部位ごとに各カメラの視点で可視および不可視のいずれであるかが登録されたことを特徴とする請求項1ないし5のいずれかに記載の自由視点映像生成装置。 - 前記カメラパラメータは、遮蔽物に代表される既知の構造物から抽出した各特徴点とカメラ画像から抽出した遮蔽物の各特徴点とのマッチング結果に基づいて推定されることを特徴とする請求項2に記載の自由視点映像生成装置。
- コンピュータが、被写体および遮蔽物を視点の異なる複数のカメラで同期撮影したカメラ画像に基づいて自由視点映像を生成する自由視点映像生成方法において、
カメラごとに遮蔽物デプスマップを取得し、
被写体の3Dモデルを生成し、
前記3Dモデルに基づいてカメラごとに被写体デプスマップを生成し、
前記被写体デプスマップおよび遮蔽物デプスマップに基づいて、前記3Dモデルの各部位が各カメラの視点で可視および不可視のいずれであるかを登録したオクルージョン情報を生成し、
前記オクルージョン情報に基づいて、前記3Dモデルの部位ごとに一部のカメラで不可視の部位へ当該部位が可視のカメラで取得したテクスチャをマッピングすることを特徴とする自由視点映像生成方法。 - カメラ画像に基づいて被写体シルエット画像を生成し、
遮蔽物デプスマップに基づいて遮蔽物シルエット画像を生成し、
前記被写体および遮蔽物の各シルエット画像に基づいて3Dモデルを生成することを特徴とする請求項8に記載の自由視点映像生成方法。 - 前記3Dモデルを生成する際に、被写体および遮蔽物の各シルエット画像を用いた視体積交差法により、3D空間に確保した各ボクセルグリッドをモデル化するか否かを判定し、
前記遮蔽物の3Dモデルが存在し得る領域に対応したボクセルグリッドでは前記判定をスキップしてモデル化しないことを特徴とする請求項9に記載の自由視点映像生成方法。 - 被写体および遮蔽物を視点の異なる複数のカメラで同期撮影したカメラ画像に基づいて自由視点映像を生成する自由視点映像生成プログラムにおいて、
カメラごとに遮蔽物デプスマップを取得する手順と、
被写体の3Dモデルを生成する手順と、
前記3Dモデルに基づいてカメラごとに被写体デプスマップを生成する手順と、
前記被写体デプスマップおよび遮蔽物デプスマップに基づいて、前記3Dモデルの各部位が各カメラの視点で可視および不可視のいずれであるかを登録したオクルージョン情報を生成する手順と、
前記オクルージョン情報に基づいて、前記3Dモデルの部位ごとに一部のカメラで不可視の部位へ当該部位が可視のカメラで取得したテクスチャをマッピングする手順と、
をコンピュータに実行させる自由視点映像生成プログラム。 - カメラ画像に基づいて被写体シルエット画像を生成する手順と、
遮蔽物デプスマップに基づいて遮蔽物シルエット画像を生成する手順とを更に含み、
前記3Dモデルを生成する手順では、前記被写体および遮蔽物の各シルエット画像に基づいて3Dモデルを生成することを特徴とする請求項11に記載の自由視点映像生成プログラム。 - 前記3Dモデルを生成する手順では、被写体および遮蔽物の各シルエット画像を用いた視体積交差法により、3D空間に確保した各ボクセルグリッドをモデル化するか否かを判定し、
前記遮蔽物の3Dモデルが存在し得る領域に対応したボクセルグリッドでは前記判定をスキップしてモデル化しないことを特徴とする請求項12に記載の自由視点映像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054123A JP7236403B2 (ja) | 2020-03-25 | 2020-03-25 | 自由視点映像生成方法、装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054123A JP7236403B2 (ja) | 2020-03-25 | 2020-03-25 | 自由視点映像生成方法、装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021157237A true JP2021157237A (ja) | 2021-10-07 |
JP7236403B2 JP7236403B2 (ja) | 2023-03-09 |
Family
ID=77918339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020054123A Active JP7236403B2 (ja) | 2020-03-25 | 2020-03-25 | 自由視点映像生成方法、装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7236403B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117197319A (zh) * | 2023-11-07 | 2023-12-08 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、电子设备及存储介质 |
WO2023243430A1 (ja) * | 2022-06-14 | 2023-12-21 | ソニーグループ株式会社 | 情報処理方法、情報処理装置、およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106170A (ja) * | 2018-09-12 | 2019-06-27 | キヤノン株式会社 | 3次元モデルの生成装置、生成方法及びプログラム |
-
2020
- 2020-03-25 JP JP2020054123A patent/JP7236403B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106170A (ja) * | 2018-09-12 | 2019-06-27 | キヤノン株式会社 | 3次元モデルの生成装置、生成方法及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023243430A1 (ja) * | 2022-06-14 | 2023-12-21 | ソニーグループ株式会社 | 情報処理方法、情報処理装置、およびプログラム |
CN117197319A (zh) * | 2023-11-07 | 2023-12-08 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、电子设备及存储介质 |
CN117197319B (zh) * | 2023-11-07 | 2024-03-22 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7236403B2 (ja) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11463678B2 (en) | System for and method of social interaction using user-selectable novel views | |
US6914599B1 (en) | Image processing apparatus | |
US9117310B2 (en) | Virtual camera system | |
US6717586B2 (en) | Apparatus, method, program code, and storage medium for image processing | |
US11012679B2 (en) | Generating apparatus, generating method, and storage medium | |
US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
US20230281912A1 (en) | Method and system for generating a target image from plural multi-plane images | |
EP0903695B1 (en) | Image processing apparatus | |
JP7236403B2 (ja) | 自由視点映像生成方法、装置およびプログラム | |
Inamoto et al. | Intermediate view generation of soccer scene from multiple videos | |
JP6403862B1 (ja) | 3次元モデルの生成装置、生成方法及びプログラム | |
Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
Chen et al. | Fast free-viewpoint video synthesis algorithm for sports scenes | |
Kilner et al. | A comparative study of free-viewpoint video techniques for sports events | |
Hisatomi et al. | 3D archive system for traditional performing arts: application of 3D reconstruction method using graph-cuts | |
Saito et al. | View interpolation of multiple cameras based on projective geometry | |
GB2458305A (en) | Providing a volumetric representation of an object | |
Inamoto et al. | Immersive evaluation of virtualized soccer match at real stadium model | |
JP7328942B2 (ja) | 3dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
JP7319939B2 (ja) | 自由視点映像生成方法、装置およびプログラム | |
JP7393092B2 (ja) | 仮想視点映像生成装置、方法およびプログラム | |
Chen et al. | A quality controllable multi-view object reconstruction method for 3D imaging systems | |
JP7390265B2 (ja) | 仮想視点映像レンダリング装置、方法およびプログラム | |
US11928831B2 (en) | Information processing apparatus, shape data generation method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7236403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |