JP7321716B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7321716B2 JP7321716B2 JP2019017808A JP2019017808A JP7321716B2 JP 7321716 B2 JP7321716 B2 JP 7321716B2 JP 2019017808 A JP2019017808 A JP 2019017808A JP 2019017808 A JP2019017808 A JP 2019017808A JP 7321716 B2 JP7321716 B2 JP 7321716B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- masking
- image processing
- foreground
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Description
<第1の実施形態>
(基本的なシステム構成と動作)
図1には、本実施形態に係る仮想視点コンテンツ生成システムの概略構成例を示している。本システムは、例えば、撮像部1、同期部2、抽出部3、受信部4、形状推定部5、保存部6、画像生成部7、出力部8、及び操作部9を含んで構成される。なお、本システムは、1つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。
形状推定部5は、入力された複数視点の前景マスク画像を用いて、例えば視体積交差法などを用いて前景被写体の三次元形状データ(以下、三次元形状と呼ぶ)を生成(推定)する。それら生成された前景被写体の三次元形状は、受信部4が各抽出部3から受信した前景テクスチャ画像とともに、素材データとして保存部6に保存される。
図3は、本実施形態の画像処理装置の概略構成例を示した図である。図3において、基本的な構成及び動作は前述の基本構成である図1と同様であるが、特徴的な構成として、削除部10が含まれている。なお、説明を簡略にするために、図3では画像生成部7以降の図示を省略している。
図4は、削除部10を含んだ本構成における処理の流れ及び各処理で使用または生成される画像を模式的に表した図である。またここでは、重複した説明を避けるために、複数の撮像部1のうち一つの撮像部1についてのみ例を示して説明する。
形状推定部5は、受信部4から入力された前景マスク画像42を基に、前景の各被写体の三次元形状を推定する。このとき視体積交差法を用いて被写体の三次元形状の推定を行うと、一部の撮像画像にしか映っていない前景については、形状推定の結果としての被写体三次元形状が生成されない。このため、形状推定部5からは、図4の被写体三次元形状44に示すように、全ての撮像部1の撮像画像に映っている前景の各被写体だけに対応した被写体三次元形状が出力されることになる。
例えば、削除部10は、前景テクスチャ画像における被写体を示す画素又は領域が、三次元形状を構成する要素に対応する画素又は領域を含むか否かに基づいて、削除する被写体のテクスチャ画像を決定してもよい。
また例えば、削除部10は、前景マスク画像の三次元形状に対応する投影画像と、前景テクスチャ画像との比較結果に基づいて、削除する被写体を決定してもよい。この場合の削除部10は、前景マスク画像の三次元形状に対応する投影画像に含まれる被写体が、前景テクスチャ画像に含まれる被写体を含むか否かに基づいて、削除する被写体を決定する。
投影画像を用いる場合、削除部10は、形状推定部5にて推定された被写体三次元形状を、撮像部1の位置姿勢を示す外部パラメータと、画角などを示す内部パラメータとを用いて、撮像部1の撮影画角に透視投影変換する。これにより、図4の再投影前景マスク画像45が生成される。なお、撮像部1の位置姿勢を示す外部パラメータ、画角などを示す内部パラメータは、撮像部1から受信部4を介して取得されているとする。
そして削除部10は、この再投影前景マスク画像45を用いて、前景テクスチャ画像43をマスキングすることで、図4に示すような前景被写体の三次元形状として推定された領域のみを抽出した、再抽出前景テクスチャ画像46を生成する。
本実施形態では仮想視点画像を生成するための素材データを保存部6に保存する前に、削除部10で前景テクスチャ画像を削除する構成としたが、必ずしもこの構成に限定するものではない。例えば、リアルタイム性を重要視するシステムでは、削除部10における削除処理がボトルネックになってしまうことがある。一方で撮影後のデータを長期保存する際にはリアルタイム性は考慮する必要がなくデータ量を削減したい場合などもある。このような場合、図5に示すように、保存部6には前景削除処理していない素材データを保存するようにし、その保存部6に保存した素材データを長期保存部11に保存し直す際に、削除部10による前景削除処理を行ってデータ量を削減してもよい。なお、図5は、第1の実施形態の画像処理装置の別構成例を示した図である。図5の構成は、図3の構成とは異なり、削除部10では、保存部6から読み出したデータに対して前景削除処理を行い、その処理後のデータを長期保存部11に保存する構成となされている。図5の構成の他に、保存部6には前景削除処理前の素材データを保存し、後に長期保存することになった際に、保存部6から読み出したデータに対して削除部10による前景削除処理を行い、その処理後のデータで保存部6の素材データを上書きしてもよい。この例の場合も、保存部6の保存データ量を削減することができる。
ここで、前景被写体の三次元形状をそのまま透視投影変換する場合に、例えば三次元形状のボクセル数が多いと、その分、透視投影変換に要する処理時間が増加してしまうことになる。
そこで削除部10では、図6に示すように、前景被写体の三次元形状61に外接して当該三次元形状61を内包する直方体62(バウンディングボックス)を求め、この直方体62を透視投影変換してカメラの撮影画角に投影してもよい。すなわち、被写体三次元形状それぞれについて直方体62を設定することで投影対象が単純形状となり、例えば直方体の頂点である8点のみを投影するだけで済み、透視投影の処理を軽くすることができるようになる。そしてこのときの再投影前景マスク画像は単純形状になり、これを用いてマスキングを行うようにする。なおこの場合、被写体の付近にも不要な画像が残ってしまうが、観客席などの明らかに不要な部分の画像を削除することは可能なため、処理時間とのトレードオフでこのような構成にしてもよい。
本実施形態において、再投影前景マスク画像は、例えば二値のマスク画像であるが、これに限定されるものではない。
例えば、削除部10は、前景テクスチャ画像における被写体を示す画素又は領域に対応する三次元空間上の要素が、三次元形状を構成する要素に含まれるか否かに基づいて、削除する被写体を決定してもよい。例えば、前景被写体の三次元形状を、撮像部1の撮像画角に透視投影変換する際には、撮像部からの距離を表す距離情報が画素ごとに配列された距離画像として投影する。例えば撮像部1が画素ごとの距離情報を含んだ画像を撮像可能である場合、削除部10は、その距離画像の距離情報に基づき、所定の距離範囲外かどうかで各画素を残すか削除するかを判定して、前景テクスチャ画像の削除処理を行う。このような構成とすることで、全ての撮像画像に映っているが被写体としてとらえたい注目領域内か否かを判定することができ、より高い精度で前景テクスチャの削除処理を行うことができる。
図7は、第2の実施形態の構成図を示した図である。図7において、基本的な構成及び動作は、第1の実施形態で説明した基本構成を示した図1と同様であるので、以下、第1の実施形態とは異なる部分のみ説明する。
図7に示すように、第2の実施形態において、形状推定部5には、領域指定部12から形状推定領域の情報が供給される。
一方、第2の実施形態では、最終的な前景テクスチャ画像は第1の実施形態に示す手法に比べ削減量が少ない場合がある。そのため最終的なデータの保存量を削減したい場合などは、第1の実施形態の構成と合わせた構成としてもよい。
前述した各実施形態では、抽出部3が前景抽出を行った前景マスク画像及び前景テクスチャ画像に対して削除部10で再投影領域マスクを用いたマスク処理を行ったが、必ずしもこの順序に限定するものではない。例えば撮像画像及び背景画像に対して、削除部10において再投影領域マスクでマスク処理を行った画像を生成し、それらの画像を用いて抽出部3で前景の抽出処理を行う構成としてもよい。この構成とすることで、前景抽出の処理量も少なくすることが可能である。
また、前述の実施形態では、各撮像部1での撮影を同期させているが、これに限定されない。例えば参考文献1のように、非同期で撮影した画像を基に、後から同期した画像を生成するようにして同期をとっても構わない。
また、前述の実施形態では、三次元モデルを保存し、仮想視点画像を生成する方法を用いたが、これに限定されない。例えば、三次元モデルは保存しないが、前景テクスチャ画像を削除して、参考文献2のようなビルボード方式で仮想視点画像を生成しても構わない。
3DTV-Conference 2017.
参考文献2:T.Koyama, I.Kitahara and Y.Ohta, "Live Mixed-Reality 3D Video in Soccer Stadium," ISMAR2003, pp.167-178.
図9は、前述した各実施形態の各部で行う処理をコンピュータプログラムの実行により実現可能なコンピュータのハードウェアの構成例を示したブロック図である。
上述の構成からなる作動は、前述の実施形態で説明した作動をCPU91が中心となってその制御を行う。
Claims (16)
- 被写体を複数の視点から撮像して取得された複数の撮像画像に基づく被写体の形状を示す三次元形状データと、前記撮像画像に含まれる被写体の領域を示す前景画像と、を取得する取得手段と、
前記前景画像に対応する視点に前記三次元形状データを投影することにより、前記前景画像において、前記三次元形状データにより形状が示される被写体の領域を特定する特定処理を行う特定手段と、
前記特定処理に基づいて、前記前景画像に対してマスキングを行うマスク手段と、
を有することを特徴とする画像処理装置。 - 前記マスキングが行われた前景画像を圧縮する圧縮手段をさらに有することを特徴とする請求項1に記載の画像処理装置。
- 前記マスク手段は、前記前景画像に対応する視点に前記三次元形状データを投影することで生成された投影画像に基づいて、前記マスキングを行うことを特徴とする請求項2に記載の画像処理装置。
- 前記マスク手段は、前記投影画像と、前記前景画像との比較結果に基づいて、前記マスキングを行うことを特徴とする請求項3に記載の画像処理装置。
- 前記マスク手段は、前記前景画像のうち前記投影画像に含まれる被写体の領域とは異なる被写体の領域に対して前記マスキングを行うことを特徴とする請求項3又は4に記載の画像処理装置。
- 前記マスキングが行われた前景画像から前記三次元形状データにより形状が示される被写体の領域を抽出する抽出手段をさらに有することを特徴とする請求項1に記載の画像処理装置。
- 前記マスク手段は、前記三次元形状データに応じた三次元形状を内包する直方体に基づいて、前記マスキングを行うことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
- 前記マスク手段は、予め指定された範囲を包括する領域に応じた三次元形状データに基づいて、前記マスキングを行うことを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記マスキングが行われた前景画像を保存させる保存手段をさらに有することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記三次元形状データと、前記マスキングが行われた前景画像は、指定された仮想視点に基づく画像の生成に用いられることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
被写体を複数の視点から撮像して取得された複数の撮像画像に基づく被写体の形状を示す三次元形状データと、前記撮像画像に含まれる被写体の領域を示す前景画像と、を取得する取得工程と、
前記前景画像に対応する視点に前記三次元形状データを投影することにより、前記前景画像において、前記三次元形状データにより形状が示される被写体の領域を特定する特定処理を行う特定工程と、
前記特定処理に基づいて、前記前景画像に対してマスキングを行うマスク工程と、
を有することを特徴とする画像処理方法。 - 前記マスキングが行われた前景画像を圧縮する圧縮工程をさらに有することを特徴とする請求項11に記載の画像処理方法。
- 前記マスク工程では、前記前景画像に対応する視点に前記三次元形状データを投影することで生成された投影画像に基づいて、前記マスキングを行うことを特徴とする請求項12に記載の画像処理方法。
- 前記マスク工程では、前記投影画像と、前記前景画像との比較結果に基づいて、前記マスキングを行うことを特徴とする請求項13に記載の画像処理方法。
- 前記マスク工程では、前記前景画像のうち前記投影画像に含まれる被写体の領域とは異なる被写体の領域に対して前記マスキングを行うことを特徴とする請求項13又は14に記載の画像処理方法。
- コンピュータを、請求項1から10のいずれか1項に記載の画像処理装置が有する各手段として機能されるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017808A JP7321716B2 (ja) | 2019-02-04 | 2019-02-04 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017808A JP7321716B2 (ja) | 2019-02-04 | 2019-02-04 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126393A JP2020126393A (ja) | 2020-08-20 |
JP7321716B2 true JP7321716B2 (ja) | 2023-08-07 |
Family
ID=72084945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019017808A Active JP7321716B2 (ja) | 2019-02-04 | 2019-02-04 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7321716B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022191010A1 (ja) * | 2021-03-12 | 2022-09-15 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
-
2019
- 2019-02-04 JP JP2019017808A patent/JP7321716B2/ja active Active
Non-Patent Citations (1)
Title |
---|
三功 浩嗣, 内藤 整,選手領域の抽出と追跡によるサッカーの自由視点映像生成,映像情報メディア学会誌,2014年68巻3号,日本,一般社団法人映像情報メディア学会,2014年,p.J125-J134 |
Also Published As
Publication number | Publication date |
---|---|
JP2020126393A (ja) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11463678B2 (en) | System for and method of social interaction using user-selectable novel views | |
JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
US11019259B2 (en) | Real-time generation method for 360-degree VR panoramic graphic image and video | |
KR102280587B1 (ko) | 가상 시점 화상을 생성하는 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체 | |
US20210134049A1 (en) | Image processing apparatus and method | |
US20210217225A1 (en) | Arbitrary view generation | |
GB2597517A (en) | Method and system for generating a target image from plural multi-plane images | |
JP7439146B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP7321716B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113132708B (zh) | 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质 | |
KR100879802B1 (ko) | 가상 시점에서의 3차원 영상 생성 방법 및 장치 | |
JP6759375B2 (ja) | 仮想視点画像を生成するシステム、方法及びプログラム | |
JP2014164497A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
CN113630592A (zh) | 扩增实境异地共演*** | |
US20230291865A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN115984458B (zh) | 基于辐射场的目标物体模型提取方法、***及控制器 | |
JP6759300B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7322235B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2024113309A1 (zh) | 一种基于体素压缩的视频渲染方法及*** | |
JP2022103836A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Bönsch et al. | Volumetric Video Capture using Unsynchronized, Low-cost Cameras. | |
WO2023056559A1 (en) | Systems and methods for compositing a virtual object in a digital image | |
JP2021128673A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN115294273A (zh) | 拍摄方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230726 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7321716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |