JP6818606B2 - 自由視点画像の生成表示方法、装置およびプログラム - Google Patents
自由視点画像の生成表示方法、装置およびプログラム Download PDFInfo
- Publication number
- JP6818606B2 JP6818606B2 JP2017059554A JP2017059554A JP6818606B2 JP 6818606 B2 JP6818606 B2 JP 6818606B2 JP 2017059554 A JP2017059554 A JP 2017059554A JP 2017059554 A JP2017059554 A JP 2017059554A JP 6818606 B2 JP6818606 B2 JP 6818606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- camera
- rectangular projection
- free
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000000605 extraction Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
Claims (12)
- 多視点画像から自由視点画像を生成して表示する装置において、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの3次元形状モデルを個別に生成する手段と、
各3次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備し、
前記矩形投影画像を視点ごとに抽出する手段が、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する手段を含むことを特徴とする自由視点画像の生成表示装置。 - 多視点画像から自由視点画像を生成して表示する装置において、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの3次元形状モデルを個別に生成する手段と、
各3次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備し、
前記テクスチャを取得する手段は、
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する第1テクスチャ取得手段と、
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する第2テクスチャ取得手段とを具備したことを特徴とする自由視点画像の生成表示装置。 - 前記オブジェクトの3次元形状モデルを生成する手段は、
各カメラのカメラパラメータを推定する手段と、
各カメラ画像におけるオブジェクトのマスク画像を抽出する手段と、
前記カメラパラメータおよびマスク画像に基づく視体積交差法により3次元ボクセル空間における各オブジェクトのVisual Hullを復元する手段とを具備し、
前記Visual Hullを三次元形状モデルとして採用することを特徴とする請求項1または2に記載の自由視点画像の生成表示装置。 - 前記ボクセル空間における幾何連結性に基づいて、前記復元されたVisual Hullをクラス分類する手段と、
前記クラス分類されたVisual Hullのうち所定の条件を満たすものを三次元形状モデルとして採用することを特徴とする請求項3に記載の自由視点画像の生成表示装置。 - 前記第2テクスチャ取得手段は、
オクルージョン領域の画素について、三次元形状モデル上の投影元ボクセルを特定する手段と、
前記投影元ボクセルを抽出元カメラ画像とは異なるカメラ画像に投影して当該ボクセルの観測可否を判定する手段とを具備し、
観測可能なカメラの画像から対応画素の画素値を取得することを特徴とする請求項2に記載の自由視点画像の生成表示装置。 - 前記観測可能なカメラが複数台あると、当該複数台のカメラから抽出元カメラに最寄りのカメラを特定し、当該最寄りのカメラの画像の対応画素の画素値を取得することを特徴とする請求項5に記載の自由視点画像の生成表示装置。
- 前記ビルボードを生成する手段は、
オブジェクトごとにテクスチャを含む矩形投影画像を抽出する手段と、
前記矩形投影画像の底辺に存在する画素の投影元ボクセルとカメラとの距離を算出する手段と、
前記距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを決定する手段と、
前記投影元ボクセルの3次元座標に前記決定されたサイズのビルボードを設置する手段とを具備したことを特徴とする請求項1ないし6のいずれかに記載の自由視点画像の生成表示装置。 - 前記ビルボードを表示する手段は、
視点操作に関する入力情報に基づいて仮想視点を算出する手段と、
前記仮想視点に最寄りのカメラに関して生成された全てのビルボードを表示する手段とを含むことを特徴とする請求項1ないし7のいずれかに記載の自由視点画像の生成表示装置。 - コンピュータが、多視点画像から自由視点画像を生成して表示する方法において、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの3次元形状モデルを個別に生成し、
各3次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、
前記選択されたカメラに関して生成した全てのビルボードを表示し、
前記矩形投影画像を視点ごとに抽出する際に、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定することを特徴とする自由視点画像の生成表示方法。 - コンピュータが、多視点画像から自由視点画像を生成して表示する方法において、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの3次元形状モデルを個別に生成し、
各3次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、
前記選択されたカメラに関して生成した全てのビルボードを表示し、
前記テクスチャを対応するカメラ画像から取得する際に、
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得し、
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得することを特徴とする自由視点画像の生成表示方法。 - 多視点画像から自由視点画像を生成して表示するプログラムにおいて、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの3次元形状モデルを個別に生成する手順と、
各3次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述し、
前記矩形投影画像を視点ごとに抽出する手順では、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する自由視点画像の生成表示プログラム。 - 多視点画像から自由視点画像を生成して表示するプログラムにおいて、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの3次元形状モデルを個別に生成する手順と、
各3次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述し、
前記テクスチャを取得する手順が、
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する手順と、
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する手順とを含む自由視点画像の生成表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059554A JP6818606B2 (ja) | 2017-03-24 | 2017-03-24 | 自由視点画像の生成表示方法、装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059554A JP6818606B2 (ja) | 2017-03-24 | 2017-03-24 | 自由視点画像の生成表示方法、装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018163467A JP2018163467A (ja) | 2018-10-18 |
JP6818606B2 true JP6818606B2 (ja) | 2021-01-20 |
Family
ID=63860100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017059554A Active JP6818606B2 (ja) | 2017-03-24 | 2017-03-24 | 自由視点画像の生成表示方法、装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6818606B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7352374B2 (ja) * | 2019-04-12 | 2023-09-28 | 日本放送協会 | 仮想視点変換装置及びプログラム |
JP7332326B2 (ja) * | 2019-04-18 | 2023-08-23 | 日本放送協会 | 映像効果装置及びプログラム |
CN110349246B (zh) * | 2019-07-17 | 2023-03-14 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
JP7290546B2 (ja) * | 2019-10-29 | 2023-06-13 | Kddi株式会社 | 3dモデル生成装置および方法 |
KR102242710B1 (ko) * | 2019-12-31 | 2021-04-22 | 서울과학기술대학교 산학협력단 | 반자유 시점 영상을 제공하는 장치 |
JP7197526B2 (ja) * | 2020-01-29 | 2022-12-27 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
JP7319939B2 (ja) * | 2020-03-25 | 2023-08-02 | Kddi株式会社 | 自由視点映像生成方法、装置およびプログラム |
WO2022091811A1 (ja) * | 2020-10-29 | 2022-05-05 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、画像処理システム |
WO2024134848A1 (ja) * | 2022-12-22 | 2024-06-27 | 富士通株式会社 | 位置特定方法、プログラム、及び装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250692A (ja) * | 2004-03-02 | 2005-09-15 | Softopia Japan Foundation | 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体 |
JP2015187797A (ja) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
-
2017
- 2017-03-24 JP JP2017059554A patent/JP6818606B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018163467A (ja) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6818606B2 (ja) | 自由視点画像の生成表示方法、装置およびプログラム | |
Koyama et al. | Live mixed-reality 3d video in soccer stadium | |
US9361660B2 (en) | Image processing device and method, supplement image generation device and method, program, and recording medium | |
EP1465115A2 (en) | Method and apparatus for generating a desired view of a scene from a selected viewpoint | |
GB2477793A (en) | A method of creating a stereoscopic image in a client device | |
JP5366258B2 (ja) | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム | |
Böhm | Multi-image fusion for occlusion-free façade texturing | |
TW202126033A (zh) | 用於評估場景之影像擷取品質的設備及方法 | |
KR20210134956A (ko) | 이미지에 대한 깊이 맵의 처리 | |
Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
JP2004246667A (ja) | 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム | |
Ohta et al. | Live 3D video in soccer stadium | |
Inamoto et al. | Immersive evaluation of virtualized soccer match at real stadium model | |
Grau et al. | A robust free-viewpoint video system for sport scenes | |
Yaguchi et al. | Arbitrary viewpoint video synthesis from multiple uncalibrated cameras | |
Inamoto et al. | Free viewpoint video synthesis and presentation from multiple sporting videos | |
Inamoto et al. | Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment | |
JP5969376B2 (ja) | 仮想視点映像生成装置、仮想視点映像生成方法、およびプログラム | |
US20140002446A1 (en) | System and method for match move quality control | |
De Sorbier et al. | Augmented reality for 3D TV using depth camera input | |
Calagari et al. | Sports VR content generation from regular camera feeds | |
AU2012203857B2 (en) | Automatic repositioning of video elements | |
Louis et al. | Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping | |
JP2021047468A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
Sankoh et al. | Free-viewpoint video synthesis for sport scenes captured with a single moving camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6818606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |