JP2023167486A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2023167486A JP2023167486A JP2022078716A JP2022078716A JP2023167486A JP 2023167486 A JP2023167486 A JP 2023167486A JP 2022078716 A JP2022078716 A JP 2022078716A JP 2022078716 A JP2022078716 A JP 2022078716A JP 2023167486 A JP2023167486 A JP 2023167486A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- frame
- predicted
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 281
- 238000000034 method Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 21
- 238000009877 rendering Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】複数の被写体が存在する場合であっても仮想視点画像を生成可能にする。【解決手段】画像処理装置は、仮想視点の位置と方向を示す仮想視点情報を取得し、複数の撮像装置による撮像画像に基づいて生成される被写体の三次元モデルを取得する。また画像処理装置は、仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、第1のフレームより後の第2のフレームの仮想視点を予測し、第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、第2のフレームでの被写体の三次元モデルの位置を予測する。そして画像処理装置は、それら予測した仮想視点と、予測した三次元モデルの位置と、複数の撮像装置の撮影パラメータとを基に、複数の撮像装置から第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を決定し、その決定した撮像装置が取得した第2のフレームの撮像画像と、第2のフレームに対応する三次元モデルと、第2のフレームに対応する仮想視点情報とを基に仮想視点画像を生成する。【選択図】図4
Description
本開示は、複数の撮像装置により取得された撮像画像を基に仮想視点画像を生成する技術に関する。
近年、複数の撮像装置を異なる位置に設置した複数視点で同期撮像し、当該撮像による複数視点の撮像画像を用いて、撮像装置の設置位置の画像だけでなく任意の仮想視点で撮像したかのような画像を生成する技術が注目されている。仮想視点画像の生成は、複数の撮像装置で撮像した複数視点の撮像画像をサーバなどの画像処理装置に集約し、その画像処理装置が任意の仮想視点に基づくレンダリングなどの処理を施すことによって実現されている。このような仮想視点画像の生成技術によれば、例えばダンスや演技などを撮像した画像から迫力のある視点の映像コンテンツを制作することができる。例えば、コンテンツを視聴しているユーザ自身が任意に仮想視点を設定することで、当該ユーザ自身が自由に視点を移動することが出来るようになり、仮想視点画像を生成しない従来の撮像画像と比較して、ユーザに高臨場感を与えることができる。
ここで、複数の撮像装置の各配置位置は仮想空間上の各位置に対応付けられている。そして、撮像装置の配置位置とは異なる位置の仮想視点の仮想視点画像を生成する際には、その仮想視点に近い配置位置の撮像装置による撮像画像が用いられる。つまり仮想視点画像の生成に必要となる撮像画像を取得する撮像装置は、仮想視点の位置によって異なる。このため、例えば仮想視点を移動させていくと、仮想視点画像の生成に使用される撮像装置を取得する撮像装置も次々と切り替わっていくことになる。この場合、サーバのデータベースに集約された撮像装置ごとの撮像画像の中から、仮想視点の移動に応じた仮想視点画像の生成に必要な撮像画像が逐次切り替えられて読み出されることになり、仮想視点画像の生成に時間がかかり、遅延が生じる。
特許文献1には、仮想視点画像に係る仮想視点を基に予測仮想視点を算出し、その予測仮想視点に応じた仮想視点画像の生成に必要な画像を、複数の撮像装置の撮像画像を記憶するストレージから得、その画像から仮想視点画像を生成する技術が開示されている。この特許文献1に開示された技術によれば、仮想視点画像の生成に要する時間を短縮可能となる。
しかしながら、特許文献1に記載の技術では、仮想視点の予測のみに基づいて仮想視点画像の生成に必要な画像を決定しているため、例えば被写体が複数存在するような場合には仮想視点画像を生成できないケースが生ずることがある。
そこで、本開示は、複数の被写体が存在するような場合であっても仮想視点画像を生成可能とすることを目的とする。
本開示の画像処理装置は、仮想視点の位置および方向を示す仮想視点情報を取得する情報取得手段と、複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得手段と、仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測手段と、前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測手段と、予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定手段と、決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得手段により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成手段と、を有することを特徴とする。
本開示によれば、複数の被写体が存在するような場合であっても仮想視点画像を生成可能となる。
以下、本開示に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。実施形態の構成は、本開示が適用される装置の仕様や各種条件(使用条件、使用環境等)によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成や処理には同じ参照符号を付して説明する。
図1は本実施形態に係る画像処理システム100の概略構成を示す図である。
画像処理システム100は、複数の撮像装置110と、画像生成装置120と、端末装置130とを有している。各撮像装置110と画像生成装置120は、LAN(Local Area Network)ケーブル等の通信ケーブルを介して接続している。なお本実施形態において、通信ケーブルはLANケーブルであるものとするが、通信ケーブルはこの例に限定されるものではない。また、装置間の接続は通信ケーブルを介したものに限定されず、無線接続であってもよい。
画像処理システム100は、複数の撮像装置110と、画像生成装置120と、端末装置130とを有している。各撮像装置110と画像生成装置120は、LAN(Local Area Network)ケーブル等の通信ケーブルを介して接続している。なお本実施形態において、通信ケーブルはLANケーブルであるものとするが、通信ケーブルはこの例に限定されるものではない。また、装置間の接続は通信ケーブルを介したものに限定されず、無線接続であってもよい。
撮像装置110は、現実空間の所定の撮影場所において特定の撮影領域を取り囲むように複数設置され、例えば静止画および動画を撮像可能なデジタルカメラである。なお以下の説明では、静止画と動画の区別が必要な場合を除き、撮像装置110にて撮像されたそれら静止画や動画をまとめて撮像画像と記す。本実施形態の場合、撮像装置110は、時間軸上で連続したフレームごとの画像からなる動画を出力するデジタルカメラであるとする。
図2は、複数の撮像装置110の概略的な設置例を示した図である。図2に示したように、各撮像装置110は、撮影スタジオなどの所定の撮影場所において特定の撮影領域を取り囲むように設置され、その撮影領域内をそれぞれが撮像する。撮影領域内に人物等の被写体が存在する場合、当該撮影領域の撮像画像にはそれら人物等の被写体が前景となって写り、撮影スタジオのうち撮影領域に対応した部分が背景となって写った画像となる。本実施形態では、撮影スタジオでのダンスシーンなどのように、複数の人物等が被写体として撮像される例を挙げる。各撮像装置110にて取得された各撮像画像データは、それぞれ画像生成装置120に送信される。なおこれ以降の説明において、撮像装置110や画像生成装置120、端末装置130等の内部で扱われる画像データについては、別途説明が必要な場合を除き、単に「画像」とのみ記すこととする。
画像生成装置120は、本実施形態に係る画像処理装置の一適用例である。画像生成装置120は、複数の撮像装置110から送信されてきた複数の撮像画像を蓄積する。また画像生成装置120には、ユーザの端末装置130から操作指示に応じた情報が入力される。本実施形態の場合、ユーザの端末装置130からの操作指示に応じた情報には、少なくとも後述する仮想視点情報と再生時刻情報とが含まれる。詳細は後述するが、端末装置130から仮想視点情報と再生時刻情報が入力されると、画像生成装置120は、蓄積している撮像画像と、端末装置130から入力された仮想視点情報および再生時刻情報とに基づいて、仮想視点画像を生成する。なお本実施形態において、端末装置130のユーザは、仮想視点画像を含むコンテンツを作成する映像作成者や当該コンテンツの提供を受ける視聴者などが想定され、以下、これらを区別せずにユーザと呼ぶことにする。
ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点(以下、仮想視点とする)の三次元的な位置と角度で表される方向等を示す情報である。仮想視点情報は、撮影スタジオの中央などの所定位置を原点位置とし、当該原点位置に対する相対的な位置つまり原点位置に対する前後、左右、上下の位置情報、当該原点位置からの向きつまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含む。このように仮想視点は三次元的な位置と角度等で表されるため、以下の説明では、三次元的な位置と角度等を含む仮想視点を「仮想視点位置」と呼ぶことにする。また、再生時刻情報とは、撮像画像の録画開始時刻からの時刻情報であり、端末装置130を介してユーザが再生時刻を指定することで、画像生成装置120は、当該再生時刻以降の仮想視点画像を生成する。
画像生成装置120は、例えばサーバ装置であり、データベースの機能や後述するような画像処理機能を備えている。画像生成装置120のデータベースには、複数の撮像装置110から送られてきた撮像画像が、各撮像装置110をそれぞれ識別する識別子と対応付けらえて蓄積される。本実施形態の場合、データベースには、複数の撮像装置110によって撮影スタジオ内を撮像した画像が保持される。このときデータベースには、ダンスを行う人物等の被写体が存在しない時の撮影スタジオを各撮像装置110にて撮像した画像が、背景画像として保持される。またデータベースには、人物等の被写体が存在している時の撮影スタジオを各撮像装置110にて撮像した画像から、画像処理によって分離した特定の被写体のオブジェクト画像が前景画像として保持される。なお撮像画像からオブジェクト画像として分離される対象の被写体は、人物だけでなく、小道具など、画像パターンが予め定められている物体であってもよい。
本実施形態において、画像生成装置120が仮想視点情報および再生時刻情報に対応させて生成する仮想視点画像は、データベースで管理された背景画像と被写体のオブジェクト画像とを基に生成されるものとする。仮想視点画像の生成方式としては、例えば、モデルベースレンダリング(Model-Based Rendering:MBR)が用いられる。なお、MBRとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルを基にして仮想視点画像を生成する方式である。具体的には、MBRは、視体積交差法、Multi-View-Stereo(MVS)などの三次元形状復元手法により得られた対象シーンの三次元モデル(三次元形状)を利用し、仮想視点からのシーンの見えを画像として生成する技術である。また仮想視点画像の生成方法は、MBR以外のレンダリング手法が用いられてもよい。画像生成装置120によって生成された仮想視点画像は、LANケーブルなどを介して、端末装置130に伝送される。
端末装置130は、例えば、PC(Personal Computer)やタブレット端末である。なお本実施形態の例では、端末装置130にはコントローラ131が接続されている。コントローラ131は、マウス、キーボード、6軸コントローラ、タッチパネルなどの少なくとも一つからなり、ユーザにより操作される。また、端末装置130は、画像生成装置120から受信した仮想視点画像を表示部132に表示する。また端末装置130は、コントローラ131から入力されたユーザ操作を、再生時刻情報と仮想視点位置の移動指示(移動量と移動方向に関する指示)情報に変換して、画像生成装置120に送信する。なお、再生時刻と仮想視点位置の移動指示は、再生時刻と仮想視点位置の連続的な移動に限らない。例えば仮想視点位置の移動では、仮想空間上の被写体の正面位置、背面位置、上から見下ろす位置など予め設定された所定仮想視点位置への移動も可能である。また再生時刻と仮想視点位置は予め設定しておくことも可能であり、その場合、ユーザからの指示に応じて、その予め設定された再生時刻や仮想視点位置に瞬時に移動することが可能となる。
図3は、画像生成装置120のハードウェア構成例を示した図である。
図3に示すように、画像生成装置120は、CPU301、ROM302、RAM303、HDD304、表示部305、入力部306、および通信部307等を有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種制御処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、本実施形態に係る画像処理プログラムを含む各種プレログラムや画像データを含む各種データ等を記憶する。なお、本実施形態に係る画像処理プログラムはROM302に保持されていてもよい。表示部305は、撮像画像や生成された仮想視点画像、その他、各種情報を表示する。入力部306は、キーボードやマウスを有し、ユーザによる各種操作指示を受け付ける。通信部307は、ネットワークを介して撮像装置110等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット(登録商標)が挙げられる。また他の例として、通信部307は、無線により外部装置との通信を行ってもよい。本実施形態において、画像生成装置120の後述する各機能や処理は、CPU301がHDD304又はROM302に格納されている画像処理プログラムを読み出して実行することにより実現されるものである。なお、端末装置130のハードウェア構成は、図3に示したようなハードウェア構成と同様であるため、その図示と説明は省略する。
図3に示すように、画像生成装置120は、CPU301、ROM302、RAM303、HDD304、表示部305、入力部306、および通信部307等を有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種制御処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、本実施形態に係る画像処理プログラムを含む各種プレログラムや画像データを含む各種データ等を記憶する。なお、本実施形態に係る画像処理プログラムはROM302に保持されていてもよい。表示部305は、撮像画像や生成された仮想視点画像、その他、各種情報を表示する。入力部306は、キーボードやマウスを有し、ユーザによる各種操作指示を受け付ける。通信部307は、ネットワークを介して撮像装置110等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット(登録商標)が挙げられる。また他の例として、通信部307は、無線により外部装置との通信を行ってもよい。本実施形態において、画像生成装置120の後述する各機能や処理は、CPU301がHDD304又はROM302に格納されている画像処理プログラムを読み出して実行することにより実現されるものである。なお、端末装置130のハードウェア構成は、図3に示したようなハードウェア構成と同様であるため、その図示と説明は省略する。
<第1の実施形態>
図4は、第1の実施形態に係る画像生成装置120の機能構成を示した機能ブロック図である。
画像入力部401は、各撮像装置110からLANケーブルを介して入力された伝送信号を撮像画像データに変換して分離部402に出力する。
分離部402は、画像入力部401から入力された撮像画像が、被写体の存在しない場面を撮像した画像である場合、つまりダンス演技の開始前等に撮像した画像である場合には、その撮像画像を背景画像としてデータ保存部403に出力する。また、分離部402は、画像入力部401から入力された撮像画像が、被写体の存在する場面を撮像した画像である場合、つまりダンス演技等が行われている場面を撮像した画像である場合には、その撮像画像から被写体のオブジェクトを抽出する。そして、分離部402は、撮像画像から抽出した被写体のオブジェクト画像を、前景画像としてデータ保存部403に出力する。
図4は、第1の実施形態に係る画像生成装置120の機能構成を示した機能ブロック図である。
画像入力部401は、各撮像装置110からLANケーブルを介して入力された伝送信号を撮像画像データに変換して分離部402に出力する。
分離部402は、画像入力部401から入力された撮像画像が、被写体の存在しない場面を撮像した画像である場合、つまりダンス演技の開始前等に撮像した画像である場合には、その撮像画像を背景画像としてデータ保存部403に出力する。また、分離部402は、画像入力部401から入力された撮像画像が、被写体の存在する場面を撮像した画像である場合、つまりダンス演技等が行われている場面を撮像した画像である場合には、その撮像画像から被写体のオブジェクトを抽出する。そして、分離部402は、撮像画像から抽出した被写体のオブジェクト画像を、前景画像としてデータ保存部403に出力する。
データ保存部403は、データベースであり、分離部402から入力された背景画像と前景画像を保存する。そして、データ保存部403は、三次元形状生成部405(以下、3D形状生成部405とする)に前景画像を出力する。また、データ保存部403は、仮想視点画像生成部411に前景画像と背景画像を出力する。詳細は後述するが、仮想視点画像生成部411は、仮想視点画像を生成する際に、それら前景画像と背景画像を使用する。
パラメータ保持部404は、図2に示した撮影スタジオの特定の撮影領域を取り囲むように設置された各撮像装置110における撮影パラメータを予め保持している。撮影パラメータは、各撮像装置110のそれぞれの設置位置及び撮影方向と、各撮像装置110の焦点距離や露光時間などの撮像設定情報とを含むパラメータ情報である。また各撮像装置110の設置位置はそれぞれ予め決められた位置となされている。本実施形態では、各撮像装置110における撮影パラメータを、以下「カメラパラメータ」と呼ぶことにする。そして、パラメータ保持部404は、各撮像装置110のカメラパラメータを、3D形状生成部405と選択部410と仮想視点画像生成部411とに出力する。
3D形状生成部405は、現実空間内の異なる位置に配置された複数の撮像装置にて撮像された複数の撮像画像と、それら複数の撮像装置におけるそれぞれのカメラパラメータとを基に、被写体の三次元モデルを生成する三次元モデル生成部である。本実施形態の場合、3D形状生成部405は、データ保存部403から読み出された前景画像と、パラメータ保持部404から入力されたカメラパラメータとを基に、被写体の三次元モデルを推定する。被写体の三次元モデルは三次元形状であり、これ以降、3D形状と呼ぶことにする。3D形状生成部405は、視体積交差法などの三次元形状復元手法を用いて被写体の3D形状情報を生成する。そして、3D形状生成部405は、その3D形状情報を、3D位置予測部406と仮想視点画像生成部411とに出力する。
3D位置予測部406は、時間軸上で連続するフレームのうち、第1のフレーム以前のフレームにおいて生成された三次元モデルを基に、第1のフレームより時間軸上で後の第2のフレームにおける三次元モデルの位置を予測するモデル予測部である。ここでは、例えば第1のフレームを現フレームとし、第2のフレームを現フレームの次フレームとする。本実施形態の場合、3D位置予測部406は、3D形状生成部405から入力された現フレーム以前の所定期間分の複数フレームにおける3D形状情報を基に、次フレームの3D形状およびその位置を予測、言い換えると次フレームの被写体予測位置を生成する。より具体的説明すると、3D位置予測部406は、現フレーム以前の二つのフレーム間における3D形状の移動変化量を算出し、さらに3D形状の移動変化量から移動速度を算出する。そして、3D位置予測部406は、その3D形状の移動速度に基づいて、次フレームにおける3D形状およびその予測位置を推定する。以下、推定された3D形状および予測位置を、3D形状予測位置と呼ぶ。3D位置予測部406は、その3D形状予測位置の情報を、選択部410に出力する。
ユーザ入力部407は、端末装置130からLANケーブルを介して伝送されてきた伝送信号をユーザ入力データに変換する。そして、ユーザ入力部407は、ユーザ入力データが再生時刻情報と仮想視点情報である場合、それら再生時刻情報と仮想視点情報とを情報設定部408に出力する。
情報設定部408は、仮想視点の位置および方向を示す仮想視点情報を取得する情報取得部である。本実施形態において、情報設定部408は、ユーザ入力部407から受け取った再生時刻情報と仮想視点情報とに基づき、仮想空間内における仮想視点の現在位置および仮想視点の方向と、再生時刻とをそれぞれ更新する。その後、情報設定部408は、再生時刻情報と仮想視点情報とを、視点位置予測部409と仮想視点画像生成部411とに出力する。なお、仮想空間の原点は、撮影スタジオの中心などを予め設定するものとする。
視点位置予測部409は、時間軸上で連続するフレームのうち、第1のフレーム以前のフレームの仮想視点の位置および方向を基に、第1のフレームより時間軸上で後の第2のフレームにおける仮想視点の位置および方向を予測する。すなわち第1のフレームを現フレーム、第2のフレームを次フレームとした場合、視点位置予測部409は、情報設定部408から取得した現フレーム以前の所定期間分の複数フレーム分の仮想視点情報を基に、次フレームの仮想視点の位置および方向を予測する。以下、視点位置予測部409にて予測された仮想視点の位置および方向を合わせて仮想視点予測位置と呼ぶ。本実施形態の場合、視点位置予測部409は、現フレーム以前の二つのフレーム間における特定の仮想視点の移動変化量を算出し、さらにその移動変化量から特定の仮想視点の移動速度を算出する。そして、視点位置予測部409は、当該仮想視点の移動速度に基づいて、次フレームにおける仮想視点の位置と方向を表す仮想視点予測位置を推定する。視点位置予測部409は、その仮想視点予測位置の情報を選択部410に出力する。
選択部410は、視点位置予測部409による仮想視点予測位置と、3D位置予測部406にて予測された3D形状予測位置と、カメラパラメータとを基に、第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定する。すなわち第1のフレームが現フレーム、第2のフレームが次フレームの場合、選択部410は、3D形状予測位置と仮想視点予測位置とカメラパラメータとに基づき、次フレーム時間に被写体をレンダリングするのに必要な画像を撮像した撮像装置を選択する。そして、選択部410は、その決定した撮像装置の識別子などを撮像装置選択情報として仮想視点画像生成部411に出力する。
ここで本実施形態において、選択部410は、仮想視点予測位置から3D形状予測位置を撮像した場合の3D形状の可視性判定を行い、可視であると判定された各撮像装置の中から、仮想視点予測位置から近傍の撮像装置を選択する。つまり、選択部410では、仮想視点予測位置から見て3D形状予測位置が可視である各撮像装置の中から、仮想視点予測位置から近傍の撮像装置を選択する。そして、選択部410は、その選択した撮像装置の識別子を決定する。これにより、仮想視点画像生成部411は、その識別子にて特定される撮像装置によって撮像された撮像画像を取得することになる。なお、仮想視点予測位置から近傍の撮像装置を選択する際には、撮像に使用された複数の撮像装置のうち少なくとも一台を選択する。例えば、仮想視点予測位置から近傍の撮像装置として、二台以上の所定数の撮像装置が選択されてもよく、この場合、仮想視点画像生成部411は、それら所定数の撮像装置の撮像画像の各画素を合成した画像を取得する。
仮想視点画像生成部411は、選択部410にて決定された撮像装置の撮像画像およびカメラパラメータと、3D形状生成部405にて生成された3Dモデルと、情報設定部408からの仮想視点情報と基に、第2のフレームの仮想視点画像を生成する。すなわち仮想視点画像生成部411は、仮想視点情報と、撮像装置選択情報と、当該撮像装置選択情報に応じてデータ保存部403から読み出した撮像画像と、3D形状情報とを基に、レンダリング処理を行って仮想視点画像を生成する。例えば、仮想視点画像生成部411は、仮想視点位置から見た被写体の3D形状に対して、再生時刻に該当する時刻に撮像装置で撮像された画像の色情報でレンダリング(着色処理)する。さらに、仮想視点から3D形状に基づく被写体が見えている状況で、仮想視点の位置から3D形状を可視可能な範囲内に撮像装置の設置位置がある場合、その撮像装置の撮像画像から抽出された前景画像の色を、その3D形状の色として使用する。そして、仮想視点画像生成部411は、その仮想視点位置に基づく被写体の画像と、背景画像とを合成して、仮想視点画像を生成する。このように仮想視点画像生成部411でのレンダリング処理によって生成された仮想視点画像は、画像出力部412に送られる。
画像出力部412は、仮想視点画像生成部411から入力された仮想視点画像を、端末装置130へ伝送可能な伝送信号に変換して、当該端末装置130に出力する。
次に、図5を参照しながら画像生成装置120の動作について説明する。図5は、第1の実施形態に係る画像生成装置120における画像処理の流れを示したフローチャートである。
ステップS501において、画像入力部401は、複数の撮像装置において撮像が開始されて、それら各撮像装置からそれぞれ撮像画像が入力されたか否か判定する。画像入力部401は、いずれかの撮像装置からの撮像画像が未入力である場合には入力待ちとなり、一方、各撮像装置からの撮像画像が入力された場合には、それら各撮像画像を分離部402に出力する。そして、画像生成装置120の処理はステップS502に進む。
ステップS502に進むと、分離部402は、撮像画像が被写体の存在しない場面を撮像した画像である場合には、その撮像画像を背景画像としてデータ保存部403に出力する。また、分離部402は、撮像画像が被写体の存在する場面を撮像した画像である場合にはその撮像画像から被写体のオブジェクトを抽出し、そのオブジェクト画像を前景画像としてデータ保存部403に出力する。
これにより、次のステップS503において、データ保存部403は、分離部402から送られてきた前景画像と背景画像とを保存する。
これにより、次のステップS503において、データ保存部403は、分離部402から送られてきた前景画像と背景画像とを保存する。
次に、ステップS504において、3D形状生成部405は、パラメータ保持部404から受け取ったカメラパラメータと、データ保存部403から読み出した前景画像とに基づいて、被写体の3D形状情報を生成する。3D形状生成部405は、前述したように視体積交差法などの三次元形状復元手法を用いて被写体の3D形状情報を生成する。ここで、被写体の3D形状情報とは、複数の点群からなり、各点は位置情報を含むものとする。
次に、ステップS505において、情報設定部408は、ユーザ入力部407を介して再生時刻情報と仮想視点情報を含む仮想カメラパスが入力されたか否かを判断する。仮想カメラパスとは、仮想視点位置におけるフレームごと位置および方向(姿勢)を表す仮想視点情報であり、フレームごとの仮想視点位置における仮想的なカメラパラメータ(仮想カメラパラメータと呼ぶ)の集合(列)である。例えば、60フレーム/秒のフレームレートの設定における1秒分の情報は、60個の仮想視点の位置および方向における仮想カメラパラメータの列となる。そして、情報設定部408は、仮想カメラパスが入力されていない場合には入力待ちとなり、一方、仮想カメラパスが入力された場合には当該仮想カメラパスを視点位置予測部409に出力する。
次に、ステップS506において、視点位置予測部409は、次フレームの仮想視点位置を予測する。例えば、視点位置予測部409は、現時点での再生時刻のフレームを現フレームとした場合、その現フレーム以前の二つのフレーム間における仮想視点の移動変化量に基づき、仮想視点の移動速度を算出する。さらに視点位置予測部409は、その移動速度に基づいて、次フレームの仮想視点予測位置を決定する。なお、視点位置予測部409は、仮想視点の移動速度を算出し、さらにその仮想視点の移動速度から加速度を算出し、その加速度の情報を用いて仮想視点予測位置を算出してもよい。
次に、ステップS507において、3D位置予測部406は、3D形状生成部405から入力された所定期間の3D形状情報に基づき、次フレームの3D形状位置を予測、すなわち言い換えると次フレームにおける被写体予測位置を生成する。例えば、3D位置予測部406は、現時点での再生時刻のフレームを現フレームとした場合、現フレーム以前の二つのフレーム間における3D形状の移動変化量を算出し、さらにその移動変化量から3D形状情報の移動速度を算出する。そして、3D位置予測部406は、その移動速度に基づいて、次フレームにおける3D形状予測位置を決定する。なお、3D位置予測部406は、3D形状の移動速度を算出し、さらにその移動速度を基に加速度を算出し、その加速度の情報を用いて3D形状の位置を算出してもよい。
次にステップS508において、選択部410は、3D形状予測位置と、仮想視点予測位置と、カメラパラメータとに基づいて、次フレーム時間における被写体のレンダリングに必要な画像を撮像した撮像装置を決定する。そして、選択部410は、その選択した撮像装置の識別子などの撮像装置選択情報を仮想視点画像生成部411に出力する。
次に、ステップS509において、仮想視点画像生成部411は、選択部410から入力された撮像装置選択情報に基づいて、次フレームにおける撮像画像の受信を開始する。
次にステップS510において、仮想視点画像生成部411は、情報設定部408から次フレームの仮想視点情報が入力されたか否か、つまり次フレームの仮想カメラパスが入力されたか否かを判定する。仮想視点画像生成部411は、次フレームの仮想視点情報が入力されていない場合には待ち状態となり、次フレームの仮想視点情報が入力された場合にはステップS511に処理を進める。
ステップS511に進むと、仮想視点画像生成部411は、次フレームの仮想視点位置から見た視点の画像である仮想視点画像を生成する。すなわち仮想視点画像生成部411は、ステップS508で得た撮像装置選択情報に基づいて、ステップS509でデータ保存部403から読み出した次フレームの撮像画像と、3D形状生成部405からの3D形状情報とを基にレンダリング処理を行う。そして仮想視点画像生成部411は、レンダリング処理で生成した仮想視点画像を画像出力部412に出力する。
図6(a)と図6(b)は、仮想空間上で予測される被写体形状および予測される仮想視点位置との間の位置関係を示した概念図である。なお、図6(a)と図6(b)の例では、図示と説明の簡略化のため、図2に示した8台の撮像装置110のうち6台の撮像装置601~606のみが描かれている。
図6(a)は本実施形態に係る画像処理を行わない場合の例を示した図である。図6(a)には、仮想空間上に対応させて実際に配置された各撮像装置601~606と、仮想空間上に対応させた被写体1411および被写体1412と、仮想視点位置1421と、仮想視点予測位置1422とが示されている。ここで例えば、仮想視点予測位置1422において被写体1411を撮像することを想定した場合、仮想視点位置の予測に基づいて撮像装置601と撮像装置602の撮像画像を使用することになる。ただし、本実施形態に係る画像処理を行わない場合、撮像装置601から見て被写体1411は被写体1412と重なっており、隠れて見えなくなっているため、被写体1411に対して撮像装置601の撮像画像による色付けができないケースが発生してしまう。
このため、本実施形態に係る画像生成装置120では、仮想視点予測位置と予測した被写***置である3D形状予測位置とカメラパラメータとに基づいて、仮想視点画像の生成に必要な画像を撮像する撮像装置の位置を決定する。これにより、本実施形態の画像生成装置120は、複数の被写体が存在している場合でも、色付けができた仮想視点画像を生成可能としている。また本実施形態の画像生成装置120では、仮想視点や3D形状の予測を行うことで、仮想視点画像の生成に要する時間を短くすることができる。
図6(b)は画像生成装置120において本実施形態に係る画像処理を行った場合の例を示した図である。図6(b)において、撮像装置601~606は図6(a)の例と同様に、仮想空間上に対応させて配置された各撮像装置である。また、仮想視点位置622は、ユーザ入力部407から入力された再生時刻情報と仮想視点情報に応じた仮想視点の位置と方向を示している。一方、仮想視点位置621は、前フレームにおける仮想視点の位置と方向を、仮想視点予測位置623は次フレームで予測される仮想視点の位置と方向を示した仮想視点予測位置を示している。さらに図6(b)において、3D形状予測位置612は、仮想空間上に対応させた被写体の3D形状611に対して次フレームで予測される3D形状予測位置を示している。また、3D形状予測位置614は、被写体の3D形状613に対して次フレームに予測される3D形状予測位置を示している。すなわち図6(b)において、例えば仮想視点予測位置623から3D形状予測位置612と3D形状予測位置614とを撮像する場合、撮像装置601と撮像装置602との撮像画像を用いることで3D形状予測位置614でのレンダリングが可能となる。一方、撮像装置601から見て3D形状予測位置612は3D形状予測位置614に重なり、可視性が低下している。このため、撮像装置601の撮像画像は3D形状予測位置612に対しては使用せず、撮像装置602と撮像装置606との撮像画像を用いて3D形状予測位置612でのレンダリングが行われる。すなわち画像生成装置120は、次フレーム時間後のレンダリングには、撮像装置601、撮像装置602、撮像装置606の各撮像画像を使用することになる。
図7は、仮想空間上で、次フレームの時刻後に実際に移動した被写体形状と仮想視点位置との位置関係の概念図である。図7において、撮像装置601~606は図6の例と同様に、仮想空間上に対応させて配置された各撮像装置である。また図7には、仮想空間上に対応させた被写体の3D形状701および702と、ユーザ入力の仮想視点情報に基づく仮想視点位置711とを示している。仮想視点位置711と、図6(b)で説明した予測に基づいた仮想視点予測位置623とは必ずしも一致していない。これに対し、仮想視点予測と被写体予測とに基づいて選択された撮像装置と、次フレーム時刻のユーザ入力に基づく仮想視点位置と実際の被写***置とに基づいて決定した撮像装置とは一致している。このため、被写体等が実際に移動した場合でも、被写体形状に対してレンダリングすることが可能となる。
第1の実施形態でよれば、複数の被写体が存在する場合、前述したように3D形状予測位置と仮想視点予測位置とカメラパラメータと基に、次フレームにおいてレンダリングに使用する撮像装置を選択する。これにより、第1の実施形態によれば、複数の被写体が存在する場合でも仮想視点画像を生成可能となり、また、ユーザ入力から仮想視点画像の表示までの遅延時間を短くでき、リアルタイム表示を実現することが可能となる。また本実施形態によれば、選択された撮像装置にて撮像された画像を使用するため、使用される画像データ量が削減され、通信帯域の軽減、処理量の軽減が可能となる。
<第2の実施形態>
以下、第2の実施形態として、3D形状予測位置と仮想視点予測位置とカメラパラメータに基づいて、撮像画像を取得する撮像装置に対して優先順位を設定し、その優先順位に基づいて撮像装置から撮像画像を取得する例について説明する。
以下、第2の実施形態として、3D形状予測位置と仮想視点予測位置とカメラパラメータに基づいて、撮像画像を取得する撮像装置に対して優先順位を設定し、その優先順位に基づいて撮像装置から撮像画像を取得する例について説明する。
図8は、第2の実施形態に係る画像生成装置800の機能構成を示した図である。第2の実施形態に係る画像生成装置800は、図4に示した第1の実施形態の画像生成装置120の選択部410に替えて、優先度決定部801を有する。優先度決定部801には、3D位置予測部406から3D形状予測位置の情報が入力され、視点位置予測部409から仮想視点予測位置の情報が、パラメータ保持部404からカメラパラメータが入力される。なお、優先度決定部801以外の他の各機能部は前述の第1の実施形態の対応した各機能部と概ね同様であるため、それらの説明は省略し、以下第1の実施形態とは異なる部分についてのみ説明する。
優先度決定部801は、3D形状予測位置と仮想視点予測位置とカメラパラメータとに基づいて、次フレーム時間の被写体をレンダリングするのに必要な画像を撮像した撮像装置の優先度(優先順位)を高くし、それ以外の撮像装置の優先度を低くする。例えば、優先度決定部801は、仮想視点予測位置から3D形状予測位置を撮像した場合の3D形状の可視性判定を行う。そして、優先度決定部801は、3D形状予測位置が可視であると判定された各撮像装置について、仮想視点予測位置に近いほど撮像装置の優先度を高くし、一方、仮想視点予測位置から遠方になるほど撮像装置の優先度を低くする。なお、仮想視点位置は、予め設定された所定の仮想視点位置に移動されることも考慮し、所定の仮想視点位置から近いほど撮像装置の優先度を高くするようにしてもよいものとする。そして、優先度決定部801はそれら撮像装置ごとに決定した優先度とそれぞれ撮像装置の識別子と対応付けた優先度情報を、仮想視点画像生成部411に出力する。これにより、仮想視点画像生成部411では、各撮像装置の撮像画像を、優先度に基づいて取得する。
図9は、第2の実施形態に係る画像生成装置800における画像処理のフローチャートである。なお、ステップS501からステップS507まで、およびステップS510からステップS511までは、図5に示したフローチャートの対応したステップと同じ処理であるため、それらの説明は省略する。図9のフローチャートでは、ステップS507の処理後、ステップS901の処理に進み、さらにステップS902の処理後、ステップS510の処理に進む。
ステップS901において、優先度決定部801は、3D形状予測位置と仮想視点予測位置とカメラパラメータとに基づいて、撮像装置に対する優先度を設定する。すなわち優先度決定部801は、次フレーム時間における被写体のレンダリングに必要な画像を撮像した撮像装置の優先度を高くし、それ以外の撮像装置の優先度を低くし、各撮像装置の識別子と対応付けた優先度情報を、仮想視点画像生成部411に出力する。
次に、ステップS902において、仮想視点画像生成部411は、優先度決定部801から入力された優先度情報に基づいて、優先度が高くなされている撮像装置の撮像画像から順に、次フレームの撮像画像として受信を開始する。なお優先度はすべての撮像装置に対して付与しておいて、優先順位のうち実際に取得したい優先度範囲を指定してもよく、この場合、仮想視点画像生成部411は、優先度範囲内の優先度が付与された撮像装置から、優先度が高い順に撮像画像を取得してもよい。また例えば、優先度は必ずしもすべての撮像装置に対して付与する必要はなく、この場合、仮想視点画像生成部411は、優先度が付与されている撮像装置の撮像画像から、優先度が高い順に撮像画像を取得してもよい。
図10は、3D形状予測位置と仮想視点予測位置とに基づいて撮像装置に優先度を設定し、それら優先度を撮像装置の識別子に対応して付与した上で、優先度順に並べた例を示す図である。図10は、図6(b)に示した被写体と仮想視点との位置関係を例に挙げて、撮像装置601~606に付与された優先度の例を示している。なお図10の例では、各撮像装置の識別子として、各撮像装置に付与された参照符号(601~606)をそのまま用いている。図6(b)に示したような3D形状予測位置と仮想視点予測位置の場合、撮像装置602は、仮想視点予測位置623の近傍であるため優先度"1"、撮像装置601は撮像装置602の次に近傍となるため優先度"2"と決定される。また撮像装置606は、3D形状予測位置612のレンダリングに必要な位置と判定されるため、優先度"3"と決定される。また仮想視点位置は予め設定された所定の仮想視点位置に移動されることも考慮し、所定の仮想視点位置から近傍の撮像装置604の優先度も高くするようにした場合には優先度"4"と決定される。一方で、次フレーム時間に移動する可能性が低い位置にあたる撮像装置603は優先度"5"、さらに可能性が低い位置の撮像装置605は優先度"6"と決定される。
以上説明したように第2の実施形態によれば、優先度の順に撮像装置の撮像画像を取得することで、次フレーム時間の仮想視点位置に使用される撮像画像が先に使用可能となり、仮想視点画像生成までの遅延時間を短縮することが可能となる。また第2の実施形態において、例えば、撮像画像の伝送帯域などに余力がある場合には優先度の低い撮像画像も順次取得してもよい。この場合、所定仮想視点位置への移動にも対応することが可能となるだけでなく、仮想視点予測位置と実際の仮想視点位置とが万が一異なる場合にも対応可能となる。
<第3の実施形態>
以下、第3の実施形態として、3D形状予測位置と、仮想視点予測位置を生成する際の仮想視点の移動速度とに基づいて、撮像画像を取得する撮像装置の台数を変更する例について説明する。
図11は、第3の実施形態に係る画像処理装置の機能構成例を示した図である。第3の実施形態の画像生成装置1100は、図4に示した第1の実施形態の画像生成装置120の選択部410に替えて、台数決定部1101を有する。台数決定部1101には、3D位置予測部406から3D形状予測位置の情報が入力され、視点位置予測部409から仮想視点予測位置および仮想視点の移動速度の情報が、パラメータ保持部404からカメラパラメータが入力される。なお、台数決定部1101以外の他の各機能部は前述の第1の実施形態の対応した各機能部と同様であるため、それらの説明は省略し、以下第1の実施形態とは異なる部分についてのみ説明する。
以下、第3の実施形態として、3D形状予測位置と、仮想視点予測位置を生成する際の仮想視点の移動速度とに基づいて、撮像画像を取得する撮像装置の台数を変更する例について説明する。
図11は、第3の実施形態に係る画像処理装置の機能構成例を示した図である。第3の実施形態の画像生成装置1100は、図4に示した第1の実施形態の画像生成装置120の選択部410に替えて、台数決定部1101を有する。台数決定部1101には、3D位置予測部406から3D形状予測位置の情報が入力され、視点位置予測部409から仮想視点予測位置および仮想視点の移動速度の情報が、パラメータ保持部404からカメラパラメータが入力される。なお、台数決定部1101以外の他の各機能部は前述の第1の実施形態の対応した各機能部と同様であるため、それらの説明は省略し、以下第1の実施形態とは異なる部分についてのみ説明する。
台数決定部1101は、3D形状予測位置と、仮想視点予測位置および仮想視点の移動速度と、カメラパラメータとに基づいて、次フレーム時間において被写体のレンダリングに必要な画像を撮像した撮像装置の台数を決定する。そして、台数決定部1101は、当該決定した台数の各撮像装置の識別子を、仮想視点画像生成部411に出力する。
第3の実施形態においても、視点位置予測部409は、仮想視点の予測位置を算出する際、前述同様に現フレーム以前の二つのフレームにおける仮想視点位置を基に仮想視点の移動速度を算出する。ここで、例えば主な被写体である人間が走りだすときの動きを想定した速度(例えば3m/s)に対して仮想視点の移動速度が大きいような場合、仮想視点予測位置は、正しく予測されるべき仮想視点位置を通り越し、より遠方の位置になってしまうことがある。或いは逆に、正しく予測されるべき仮想視点位置よりも手前の位置で仮想視点予測位置が止まってしまうようなことも、可能性としては生じ得る。すなわち視点位置予測部409にて取得された仮想視点予測位置と正しく予測されるべき仮想視点位置との間に差異が生じてしまう可能性がある。このように仮想視点予測位置と正しく予測されるべき仮想視点位置との差が大きくなると、前述した第1の実施形態のような予測に基づいて撮像装置を選択した場合、その選択した撮像装置と仮想視点位置で使用されるべき撮像装置とが異なる可能性がある。
そこで第3の実施形態の場合、台数決定部1101は、3D形状予測位置と、カメラパラメータと、仮想視点予測位置および仮想視点の移動速度とを基に、撮像画像を取得する撮像装置の台数を決定する。すなわち台数決定部1101は、仮想視点の移動速度が、予め決められている所定の設定速度より速くなるほど、撮像画像を取得する撮像装置の台数を多くする。予め決められている設定速度は、一例として、主な被写体である人間が走りだすときの動きを想定した速度(例えば3m/s)を挙げることができる。また例えば、仮想視点画像の生成に使用する撮像画像を取得する撮像装置の台数が予め所定台数(例えば3台)に設定されているとした場合、台数決定部1101は、仮想視点の移動速度が設定速度より速くなった場合には、その所定台数よりも多い台数に変更する。
また例えば、仮想視点の移動速度が設定速度以下である場合にも、仮想視点予測位置は、正しく予測されるべき仮想視点位置を通り越して遠方の位置になることもあり、逆に正しく予測されるべき仮想視点位置より手前の位置で止まったりすることもあり得る。ただし、仮想視点の移動速度が低速であるほど、仮想視点予測位置と正しく予測されるべき仮想視点位置との差異は小さくなると考えられる。すなわち仮想視点の移動速度が低速であるほど、仮想視点位置で使用されるべき撮像装置の台数と、予め決められた所定台数との差は少なくなると想定される。このため台数決定部1101は、仮想視点の移動速度が、予め決められた設定速度以下である場合には、撮像画像を取得する撮像装置の台数を予め決められた所定台数とする。なお本実施形態では、撮像画像を取得する撮像装置の台数として予め所定台数に決められている例を挙げたが、台数決定部1101は、仮想視点の移動速度が遅くなるほど、撮像画像を取得する撮像装置の台数を少なくするように変更してもよい。
前述したように、第3の実施形態では、仮想視点の移動速度に応じて、撮像画像を取得する撮像装置の台数を変更することにより、仮想視点予測位置と正しく予測されるべき仮想視点位置との差異の変動に対応可能となる。なお本実施形態では、仮想視点の移動速度を用いる例を挙げたが、仮想視点の移動速度を基に加速度を算出して仮想視点予測位置を算出する場合には、当該仮想視点の移動加速度に基づいて撮像装置の台数を決定してもよい。
第3の実施形態の場合、台数決定部1101は、前述のように決定した台数の各撮像装置が3D形状予測位置を撮像した場合の3D形状の可視性判定を行う。さらに台数決定部1101は、3D形状予測位置が可視であると判定した各撮像装置のうち、仮想視点予測位置から近傍の撮像装置を選択し、その選択した撮像装置の識別子を決定する。これにより、仮想視点画像生成部411は、その識別子にて特定される撮像装置によって撮像された撮像画像を取得して仮想視点画像を生成することになる。
図12は、第3の実施形態に係る画像生成装置1100における画像処理のフローチャートである。なお、ステップS501からステップS507まで、およびステップS510からステップS511までは、図5に示したフローチャートの対応したステップと同じ処理であるため、それらの説明は省略する。図12のフローチャートでは、ステップS507の処理後にステップS1201の処理に進み、ステップS1202の処理後にステップS510の処理に進む。
ステップS1201に進むと、台数決定部1101は、3D形状予測位置と仮想視点予測位置および仮想視点の移動速度とカメラパラメータとを基に、次フレーム時間における被写体のレンダリングに必要な撮像装置とその台数を決定する。さらに台数決定部1101は、各撮像装置が3D形状予測位置を撮像した場合の3D形状の可視性判定を行い、その判定結果に応じて選択した撮像装置の識別子を、仮想視点画像生成部411に出力する。
次にステップS1202において、仮想視点画像生成部411は、台数決定部1101から入力された識別子に対応した撮像装置の撮像画像を、次フレームの撮像画像として受信を開始する。これにより、仮想視点画像生成部411は、それら撮像装置による撮像画像を基に仮想視点画像を生成する。
図13(a)と図13(b)は、仮想空間上で予測される被写体の3D形状と、予測される仮想視点との位置関係を示した概念図である。
図13(a)と図13(b)において、前述した図6(b)の例と同様に、撮像装置601~606は仮想空間上に対応させて配置された各撮像装置である。また、仮想視点位置622はユーザから入力された再生時刻情報と仮想視点情報に対応した仮想視点位置を示し、仮想視点位置621は前フレームにおける仮想視点位置を示している。また、3D形状予測位置612は仮想空間上に対応させた被写体の3D形状611に対して次フレームで予測される3D形状予測位置を示し、3D形状予測位置614は被写体の3D形状613に対して次フレームに予測される3D形状予測位置を示している。
図13(a)と図13(b)において、前述した図6(b)の例と同様に、撮像装置601~606は仮想空間上に対応させて配置された各撮像装置である。また、仮想視点位置622はユーザから入力された再生時刻情報と仮想視点情報に対応した仮想視点位置を示し、仮想視点位置621は前フレームにおける仮想視点位置を示している。また、3D形状予測位置612は仮想空間上に対応させた被写体の3D形状611に対して次フレームで予測される3D形状予測位置を示し、3D形状予測位置614は被写体の3D形状613に対して次フレームに予測される3D形状予測位置を示している。
ここで、図13(a)は仮想視点の移動速度が所定の設定速度以下のように遅い場合の例を示しており、仮想視点予測位置1301は次フレームで予測される仮想視点予測位置を示している。一方、図13(b)は仮想視点の移動速度が所定の設定速度より速い場合の例を示しており、仮想視点予測位置1302は次フレームで予測される仮想視点予測位置を示している。すなわち仮想視点の移動速度が遅い図13(a)の場合の仮想視点予測位置1301と、移動速度が速い図13(b)の場合の仮想視点予測位置1302とでは、その位置が大きく異なっている。
図13(a)の例の場合、仮想視点の移動速度が予め決められた設定速度以下であるため、仮想視点予測位置に対応して決定される撮像装置の台数は、予め決められた所定台数(例えば3台)になされる。
一方、図13(b)の例の場合、仮想視点の移動速度が設定速度より速いため、仮想視点予測位置は、仮想視点位置622から仮想視点予測位置1302への矢印で示した軌跡のように予測位置の移動範囲が広がる。この場合、仮想視点画像の生成に必要となり得る撮像画像を得るための撮像装置が増えることになり、それに対応可能にするために、撮像装置の台数は例えば所定台数よりも多くの台数(例えば4台)に決定する。なお、本実施形態では、撮像画像を取得する撮像装置の台数を仮想視点の移動速度に応じて決定しているが、移動速度だけでなく、撮像装置の設置位置とその台数により、取得する台数が増減するとしてもよいものとする。例えば、台数決定部1101は、同撮影範囲を撮像する撮像装置の台数が増加するほど、撮像画像を取得する撮像装置の台数を多く決定してもよい。逆に、台数決定部1101は、同撮影範囲を撮像する撮像装置の台数が少ないほど、撮像画像を取得する撮像装置の台数を少なく決定してもよい。
一方、図13(b)の例の場合、仮想視点の移動速度が設定速度より速いため、仮想視点予測位置は、仮想視点位置622から仮想視点予測位置1302への矢印で示した軌跡のように予測位置の移動範囲が広がる。この場合、仮想視点画像の生成に必要となり得る撮像画像を得るための撮像装置が増えることになり、それに対応可能にするために、撮像装置の台数は例えば所定台数よりも多くの台数(例えば4台)に決定する。なお、本実施形態では、撮像画像を取得する撮像装置の台数を仮想視点の移動速度に応じて決定しているが、移動速度だけでなく、撮像装置の設置位置とその台数により、取得する台数が増減するとしてもよいものとする。例えば、台数決定部1101は、同撮影範囲を撮像する撮像装置の台数が増加するほど、撮像画像を取得する撮像装置の台数を多く決定してもよい。逆に、台数決定部1101は、同撮影範囲を撮像する撮像装置の台数が少ないほど、撮像画像を取得する撮像装置の台数を少なく決定してもよい。
前述のようにして仮想視点の移動速度に応じて撮像装置の台数を決定することで、例えば図13(a)の仮想視点予測位置1301では、3D形状予測位置612と3D形状予測位置614とを撮像する場合、撮像装置の台数は3台となる。すなわちこの例の場合、撮像装置601,602,606の3台が、次フレームで使用する撮像画像を取得するための撮像装置に決定される。また台数決定部1101では、それら3台の撮像装置601,602,606で3D形状予測位置を撮像した場合の3D形状の可視性判定が行われる。図13(a)の例の場合、仮想視点予測位置1301に近い撮像装置601,602が選択され、それらにより取得される撮像画像を用いて3D形状予測位置614に対応した仮想視点画像のレンダリングが行われることになる。同様に、仮想視点予測位置1301に近い撮像装置602,606が選択され、それらにより取得される撮像画像を用いて3D形状予測位置612に対応した仮想視点画像のレンダリングが行われることになる。
また例えば、図13(b)の仮想視点予測位置1302では、3D形状予測位置612と3D形状予測位置614とを撮像する場合、撮像装置の台数が前述したように4台となる。すなわちこの例の場合、撮像装置601,602,603,604の4台が、次フレームで使用する撮像画像を取得するための撮像装置に決定される。また台数決定部1101では、それら4台の撮像装置601,602,603,604で3D形状予測位置を撮像した場合の3D形状の可視性判定が行われる。図13(b)の例の場合、仮想視点予測位置1302に近い撮像装置602,603が選択され、それらにより取得される撮像画像を用いて3D形状予測位置614に対応した仮想視点画像のレンダリングが行われることになる。同様に、仮想視点予測位置1302に近い撮像装置602,603が選択され、それらにより取得される撮像画像を用いて3D形状予測位置612に対応した仮想視点画像のレンダリングが行われることになる。
以上説明したように、第3の実施形態では、3D形状予測位置と、カメラパラメータと、仮想視点予測位置および仮想視点の移動速度とに基づいて、次フレームでレンダリングに使用する撮像画像を取得する撮像装置とその台数を決定する。これにより、第3の実施形態によれば、仮想視点の移動速度によって変化する可能性がある予測位置範囲をカバーすることが可能となる。
なお、前述した第1~第3の実施形態では、仮想視点位置をユーザ操作により指定したが、ユーザ操作による指定に限定されるものではなく、予め用意された仮想視点位置を用いて仮想視点画像を生成するとしてもよいものとする。
本開示は、上述した各実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、一以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述の実施形態は、何れも本開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
本実施形態の開示は、以下の構成、方法、プログラム、およびシステムを含む。
(構成1)
仮想視点の位置および方向を示す仮想視点情報を取得する情報取得手段と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得手段と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測手段と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測手段と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定手段と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得手段により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。
(構成2)
前記第1のフレームはユーザにより指定された再生時刻に対応したフレームであり、
前記視点予測手段は、前記第1のフレーム以前の少なくとも二つのフレームにおける仮想視点を基に、前記第2のフレームにおける仮想視点を予測することを特徴とする構成1に記載の画像処理装置。
(構成3)
前記第1のフレームはユーザにより指定された再生時刻に対応したフレームであり、
前記モデル予測手段は、前記第1のフレーム以前の前記少なくとも二つのフレームにおける被写体の三次元モデルを基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測することを特徴とする構成1または2に記載の画像処理装置。
(構成4)
ユーザにより指定された仮想視点の位置および方向を示す仮想視点情報を前記情報取得手段が取得した場合、
前記決定手段は、前記ユーザにより指定された仮想視点情報を基に、前記複数の撮像装置の中から、前記仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定し、
前記画像生成手段は、決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像および当該撮像装置の撮影パラメータと、前記ユーザにより指定された仮想視点情報と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルとを基に、前記仮想視点画像を生成することを特徴とする構成1乃至3のいずれか1構成に記載の画像処理装置。
(構成5)
前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記判定の結果を基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定することを特徴とする構成1乃至4のいずれか1構成に記載の画像処理装置。
(構成6)
前記決定手段は、前記予測された三次元モデルの位置が可視であると判定された、前記予測された仮想視点に対して近傍の少なくとも一台の撮像装置を、前記仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置として決定することを特徴とする構成5に記載の画像処理装置。
(構成7)
前記予測された仮想視点に対して近傍の撮像装置として、二台以上の所定数の撮像装置が前記決定された場合、前記画像生成手段は、前記仮想視点画像を生成する際、前記所定数の撮像装置による撮像画像の各画像を合成した画像を用いることを特徴とする構成6に記載の画像処理装置。
(構成8)
前記決定手段は、前記予測された仮想視点と、前記予測された三次元モデルの位置と、前記複数の撮像装置の前記撮影パラメータとを基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置の優先度を決定し、
前記画像生成手段は、前記仮想視点画像を生成する際、前記優先度に応じた順に前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする構成1乃至7のいずれか1構成に記載の画像処理装置。
(構成9)
前記決定手段は、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置として前記決定された各撮像装置の優先度を高くし、前記決定されなかった各撮像装置の優先度を低くすることを特徴とする構成8に記載の画像処理装置。
(構成10)
前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記可視であると判定された、前記予測された仮想視点に対して近い順に撮像装置の前記優先度を高くすることを特徴とする構成8または9に記載の画像処理装置。
(構成11)
前記決定手段は、予め設定された所定の仮想視点に近い撮像装置ほど前記優先度を高くすることを特徴とする構成8乃至10のいずれか1構成に記載の画像処理装置。
(構成12)
前記画像生成手段は、前記仮想視点画像を生成する際、前記優先度に対して予め指定された優先度範囲内の優先度の前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする構成8乃至11のいずれか1構成に記載の画像処理装置。
(構成13)
前記決定手段は、前記予測された仮想視点と、前記予測された三次元モデルの位置と、前記複数の撮像装置の前記撮影パラメータとを基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置の台数を決定し、
前記画像生成手段は、前記仮想視点画像を生成する際、前記決定された台数の前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする構成1乃至12のいずれか1構成に記載の画像処理装置。
(構成14)
前記決定手段は、前記予測された仮想視点の移動速度を取得し、前記移動速度が所定の設定速度より速くなるほど前記台数を多く決定することを特徴とする構成13に記載の画像処理装置。
(構成15)
前記決定手段は、前記予測された仮想視点の移動速度を取得し、前記移動速度が所定の設定速度以下である場合には、前記台数を予め決められた所定台数にすることを特徴とする構成13または14に記載の画像処理装置。
(構成16)
前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記判定の結果を基に、前記決定した台数の撮像装置の中から、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を選択することを特徴とする構成13乃至15のいずれか1構成に記載の画像処理装置。
(構成17)
前記決定手段は、同撮影範囲を撮像する撮像装置の台数が増加するほど、前記決定する撮像装置の台数を多くすることを特徴とする構成13乃至16のいずれか1構成に記載の画像処理装置。
(方法1)
画像処理装置が実行する画像処理方法であって、
仮想視点の位置および方向を示す仮想視点情報を取得する情報取得工程と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得工程と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測工程と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測工程と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定工程と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得工程により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得工程により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成工程と、
を有することを特徴とする画像処理方法。
(プログラム1)
コンピュータを、構成1乃至17のいずれか1構成に記載の画像処理装置として機能させるプログラム。
(システム1)
現実空間に配置された複数の撮像装置と、
構成1乃至17のいずれか1構成に記載の画像処理装置と、
を有することを特徴とする画像処理システム。
(構成1)
仮想視点の位置および方向を示す仮想視点情報を取得する情報取得手段と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得手段と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測手段と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測手段と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定手段と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得手段により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。
(構成2)
前記第1のフレームはユーザにより指定された再生時刻に対応したフレームであり、
前記視点予測手段は、前記第1のフレーム以前の少なくとも二つのフレームにおける仮想視点を基に、前記第2のフレームにおける仮想視点を予測することを特徴とする構成1に記載の画像処理装置。
(構成3)
前記第1のフレームはユーザにより指定された再生時刻に対応したフレームであり、
前記モデル予測手段は、前記第1のフレーム以前の前記少なくとも二つのフレームにおける被写体の三次元モデルを基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測することを特徴とする構成1または2に記載の画像処理装置。
(構成4)
ユーザにより指定された仮想視点の位置および方向を示す仮想視点情報を前記情報取得手段が取得した場合、
前記決定手段は、前記ユーザにより指定された仮想視点情報を基に、前記複数の撮像装置の中から、前記仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定し、
前記画像生成手段は、決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像および当該撮像装置の撮影パラメータと、前記ユーザにより指定された仮想視点情報と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルとを基に、前記仮想視点画像を生成することを特徴とする構成1乃至3のいずれか1構成に記載の画像処理装置。
(構成5)
前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記判定の結果を基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定することを特徴とする構成1乃至4のいずれか1構成に記載の画像処理装置。
(構成6)
前記決定手段は、前記予測された三次元モデルの位置が可視であると判定された、前記予測された仮想視点に対して近傍の少なくとも一台の撮像装置を、前記仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置として決定することを特徴とする構成5に記載の画像処理装置。
(構成7)
前記予測された仮想視点に対して近傍の撮像装置として、二台以上の所定数の撮像装置が前記決定された場合、前記画像生成手段は、前記仮想視点画像を生成する際、前記所定数の撮像装置による撮像画像の各画像を合成した画像を用いることを特徴とする構成6に記載の画像処理装置。
(構成8)
前記決定手段は、前記予測された仮想視点と、前記予測された三次元モデルの位置と、前記複数の撮像装置の前記撮影パラメータとを基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置の優先度を決定し、
前記画像生成手段は、前記仮想視点画像を生成する際、前記優先度に応じた順に前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする構成1乃至7のいずれか1構成に記載の画像処理装置。
(構成9)
前記決定手段は、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置として前記決定された各撮像装置の優先度を高くし、前記決定されなかった各撮像装置の優先度を低くすることを特徴とする構成8に記載の画像処理装置。
(構成10)
前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記可視であると判定された、前記予測された仮想視点に対して近い順に撮像装置の前記優先度を高くすることを特徴とする構成8または9に記載の画像処理装置。
(構成11)
前記決定手段は、予め設定された所定の仮想視点に近い撮像装置ほど前記優先度を高くすることを特徴とする構成8乃至10のいずれか1構成に記載の画像処理装置。
(構成12)
前記画像生成手段は、前記仮想視点画像を生成する際、前記優先度に対して予め指定された優先度範囲内の優先度の前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする構成8乃至11のいずれか1構成に記載の画像処理装置。
(構成13)
前記決定手段は、前記予測された仮想視点と、前記予測された三次元モデルの位置と、前記複数の撮像装置の前記撮影パラメータとを基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置の台数を決定し、
前記画像生成手段は、前記仮想視点画像を生成する際、前記決定された台数の前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする構成1乃至12のいずれか1構成に記載の画像処理装置。
(構成14)
前記決定手段は、前記予測された仮想視点の移動速度を取得し、前記移動速度が所定の設定速度より速くなるほど前記台数を多く決定することを特徴とする構成13に記載の画像処理装置。
(構成15)
前記決定手段は、前記予測された仮想視点の移動速度を取得し、前記移動速度が所定の設定速度以下である場合には、前記台数を予め決められた所定台数にすることを特徴とする構成13または14に記載の画像処理装置。
(構成16)
前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記判定の結果を基に、前記決定した台数の撮像装置の中から、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を選択することを特徴とする構成13乃至15のいずれか1構成に記載の画像処理装置。
(構成17)
前記決定手段は、同撮影範囲を撮像する撮像装置の台数が増加するほど、前記決定する撮像装置の台数を多くすることを特徴とする構成13乃至16のいずれか1構成に記載の画像処理装置。
(方法1)
画像処理装置が実行する画像処理方法であって、
仮想視点の位置および方向を示す仮想視点情報を取得する情報取得工程と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得工程と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測工程と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測工程と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定工程と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得工程により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得工程により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成工程と、
を有することを特徴とする画像処理方法。
(プログラム1)
コンピュータを、構成1乃至17のいずれか1構成に記載の画像処理装置として機能させるプログラム。
(システム1)
現実空間に配置された複数の撮像装置と、
構成1乃至17のいずれか1構成に記載の画像処理装置と、
を有することを特徴とする画像処理システム。
120:画像生成装置、406:3D位置予測部、408:情報設定部、410:視点位置予測部、410:選択部、411:仮想視点画像生成部
Claims (20)
- 仮想視点の位置および方向を示す仮想視点情報を取得する情報取得手段と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得手段と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測手段と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測手段と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定手段と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得手段により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。 - 前記第1のフレームはユーザにより指定された再生時刻に対応したフレームであり、
前記視点予測手段は、前記第1のフレーム以前の少なくとも二つのフレームにおける仮想視点を基に、前記第2のフレームにおける仮想視点を予測することを特徴とする請求項1に記載の画像処理装置。 - 前記第1のフレームはユーザにより指定された再生時刻に対応したフレームであり、
前記モデル予測手段は、前記第1のフレーム以前の少なくとも二つのフレームにおける被写体の三次元モデルを基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測することを特徴とする請求項1に記載の画像処理装置。 - ユーザにより指定された仮想視点の位置および方向を示す仮想視点情報を前記情報取得手段が取得した場合、
前記決定手段は、前記ユーザにより指定された仮想視点情報を基に、前記複数の撮像装置の中から、前記仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定し、
前記画像生成手段は、決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像および当該撮像装置の撮影パラメータと、前記ユーザにより指定された仮想視点情報と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルとを基に、前記仮想視点画像を生成することを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記判定の結果を基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記予測された三次元モデルの位置が可視であると判定された、前記予測された仮想視点に対して近傍の少なくとも一台の撮像装置を、前記仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置として決定することを特徴とする請求項5に記載の画像処理装置。
- 前記予測された仮想視点に対して近傍の撮像装置として、二台以上の所定数の撮像装置が前記決定された場合、前記画像生成手段は、前記仮想視点画像を生成する際、前記所定数の撮像装置による撮像画像の各画像を合成した画像を用いることを特徴とする請求項6に記載の画像処理装置。
- 前記決定手段は、前記予測された仮想視点と、前記予測された三次元モデルの位置と、前記複数の撮像装置の前記撮影パラメータとを基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置の優先度を決定し、
前記画像生成手段は、前記仮想視点画像を生成する際、前記優先度に応じた順に前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置として前記決定された各撮像装置の優先度を高くし、前記決定されなかった各撮像装置の優先度を低くすることを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記可視であると判定された、前記予測された仮想視点に対して近い順に撮像装置の前記優先度を高くすることを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、予め設定された所定の仮想視点に近い撮像装置ほど前記優先度を高くすることを特徴とする請求項8に記載の画像処理装置。
- 前記画像生成手段は、前記仮想視点画像を生成する際、前記優先度に対して予め指定された優先度範囲内の優先度の前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、前記予測された仮想視点と、前記予測された三次元モデルの位置と、前記複数の撮像装置の前記撮影パラメータとを基に、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置の台数を決定し、
前記画像生成手段は、前記仮想視点画像を生成する際、前記決定された台数の前記撮像装置の撮像画像および前記撮影パラメータを用いることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記予測された仮想視点の移動速度を取得し、前記移動速度が所定の設定速度より速くなるほど前記台数を多く決定することを特徴とする請求項13に記載の画像処理装置。
- 前記決定手段は、前記予測された仮想視点の移動速度を取得し、前記移動速度が所定の設定速度以下である場合には、前記台数を予め決められた所定台数にすることを特徴とする請求項13に記載の画像処理装置。
- 前記決定手段は、前記予測された仮想視点から見て、前記予測された三次元モデルの位置が可視かどうかを判定し、前記判定の結果を基に、前記決定した台数の撮像装置の中から、前記第2のフレームの仮想視点画像を生成する際に使用する撮像画像を取得する撮像装置を選択することを特徴とする請求項13に記載の画像処理装置。
- 前記決定手段は、同撮影範囲を撮像する撮像装置の台数が増加するほど、前記決定する撮像装置の台数を多くすることを特徴とする請求項13に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
仮想視点の位置および方向を示す仮想視点情報を取得する情報取得工程と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得工程と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測工程と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測工程と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定工程と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得工程により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得工程により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、
仮想視点の位置および方向を示す仮想視点情報を取得する情報取得手段と、
複数の撮像装置にて撮像された撮像画像に基づいて生成される被写体の三次元モデルを取得するモデル取得手段と、
仮想視点画像における第1のフレーム以前のフレームの仮想視点を基に、前記第1のフレームより後の第2のフレームにおける仮想視点を予測する視点予測手段と、
前記第1のフレーム以前のフレームに対応する被写体の三次元モデルの位置を基に、前記第2のフレームにおける被写体の三次元モデルの位置を予測するモデル予測手段と、
予測された仮想視点と、予測された三次元モデルの位置と、前記複数の撮像装置の撮影パラメータとを基に、前記複数の撮像装置の中から、前記第2のフレームを生成する際に使用する撮像画像を取得する撮像装置を、決定する決定手段と、
決定された前記撮像装置により取得された前記第2のフレームに対応する撮像画像と、前記モデル取得手段により取得された前記第2のフレームに対応する三次元モデルと、前記情報取得手段により取得された前記第2のフレームに対応する仮想視点情報とを基に、仮想視点画像を生成する画像生成手段と、
を有する画像処理装置として機能させるプログラム。 - 現実空間に配置された複数の撮像装置と、
請求項1に記載の画像処理装置と、
を有することを特徴とする画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022078716A JP2023167486A (ja) | 2022-05-12 | 2022-05-12 | 画像処理装置、画像処理方法およびプログラム |
US18/311,747 US20230370575A1 (en) | 2022-05-12 | 2023-05-03 | Image processing apparatus, image processing method, system, and storage medium |
EP23172848.6A EP4277282A3 (en) | 2022-05-12 | 2023-05-11 | Image processing apparatus, image processing method, system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022078716A JP2023167486A (ja) | 2022-05-12 | 2022-05-12 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023167486A true JP2023167486A (ja) | 2023-11-24 |
Family
ID=86331673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022078716A Pending JP2023167486A (ja) | 2022-05-12 | 2022-05-12 | 画像処理装置、画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230370575A1 (ja) |
EP (1) | EP4277282A3 (ja) |
JP (1) | JP2023167486A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6878014B2 (ja) * | 2017-01-13 | 2021-05-26 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、画像処理システム |
JP2019079468A (ja) | 2017-10-27 | 2019-05-23 | キヤノン株式会社 | 画像処理システム、画像処理システムの制御方法及びプログラム |
US10685679B1 (en) * | 2018-11-27 | 2020-06-16 | Canon Kabushiki Kaisha | System and method of determining a virtual camera path |
US10839594B2 (en) * | 2018-12-11 | 2020-11-17 | Canon Kabushiki Kaisha | Method, system and apparatus for capture of image data for free viewpoint video |
JP7418101B2 (ja) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2022
- 2022-05-12 JP JP2022078716A patent/JP2023167486A/ja active Pending
-
2023
- 2023-05-03 US US18/311,747 patent/US20230370575A1/en active Pending
- 2023-05-11 EP EP23172848.6A patent/EP4277282A3/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230370575A1 (en) | 2023-11-16 |
EP4277282A2 (en) | 2023-11-15 |
EP4277282A3 (en) | 2024-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7146662B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101655078B1 (ko) | 움직이는 사진 생성 방법 및 장치 | |
JP7263456B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016144089A (ja) | 画像処理装置およびその制御方法 | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019191989A (ja) | 仮想視点画像を生成するシステム、方法及びプログラム | |
KR101831516B1 (ko) | 멀티 스티커를 이용한 영상 생성 방법 및 장치 | |
JP2018113616A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019106064A (ja) | 画像生成装置およびその制御方法、画像生成システム | |
WO2020050103A1 (ja) | 仮想視点の制御装置及びその制御方法 | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2010166218A (ja) | カメラシステム及びその制御方法 | |
JP2018055279A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2019103126A (ja) | カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム | |
JP7514346B2 (ja) | 画像処理装置及び方法、プログラム | |
JP2023167486A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022182119A (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2022012398A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20160128900A (ko) | 움직이는 효과 기반의 움직이는 사진 생성 방법 및 장치 | |
JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
US20210297649A1 (en) | Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method | |
JP7494153B2 (ja) | 生成装置、生成方法、及び、プログラム |