JP2020009021A - 情報処理装置及びその制御方法 - Google Patents

Abstract

【課題】仮想視点画像の生成に係る複数の仮想視点を容易に設定できるようにする。【解決手段】情報処理装置は、複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定部と、設定部により設定された第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって第１仮想視点と共通の時刻に対応する第２仮想視点を示す視点情報を、設定部により設定された前記第１仮想視点に基づいて生成する生成部とを備える。【選択図】 図１

Description

本発明は、仮想視点画像の生成に関わる情報処理成装置及びその制御方法に関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影することにより得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来、通常の画像と比較してユーザに高臨場感を与えることができる。

複数視点画像に基づく仮想視点画像は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、３次元モデル生成、レンダリングなどの処理を施すことで生成される。このような仮想視点画像の生成では、仮想視点の設定が必要であり、例えばコンテンツ制作者は、仮想視点の位置を時刻の経過とともに移動させることで仮想視点画像を生成する。ある単一の時刻の画像についても、視聴者の好み・嗜好により様々な仮想視点が要求されうる。特許文献１では、複数視点画像と、推奨される仮想視点を示すメタデータを含む自由視点画像データを生成する。ユーザは、自由視点画像データに含まれているメタデータを用いることで様々な仮想視点を容易に設定することができる。

特開２０１５−１８７７９７号公報

好みの異なる複数の視聴者に仮想視点画像を提供する場合や、視聴者がある視点の仮想視点画像と別視点の仮想視点画像の両方を見たい場合などでは、同時刻における複数の仮想視点に対応する複数の仮想視点画像が生成される。しかしながら、従来のように、複数の仮想視点画像を生成するために複数の時系列的な仮想視点を個別に設定すると、仮想視点の設定に多大な時間を費やしてしまう。特許文献１の技術を用いれば、単一の仮想視点を設定するための手間は軽減されるが、複数の仮想視点を設定する場合には依然としてその設定のための手間が増大する。

本発明は、このような課題に鑑みてなされたものであり、仮想視点画像の生成に係る複数の仮想視点を容易に設定できるようにすることを目的とする。

本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定手段と、
前記設定手段により設定された前記第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって前記第１仮想視点と共通の時刻に対応する前記第２仮想視点を示す視点情報を、前記設定手段により設定された前記第１仮想視点に基づいて生成する生成手段と、を備える。

本発明によれば、仮想視点画像の生成に係る複数の仮想視点を容易に設定することができる。

実施形態による画像生成装置の機能構成例を示すブロック図。 （ａ）、（ｂ）は第１実施形態による仮想視点の配置例を示す模式図。 （ａ）、（ｂ）は視点の軌跡の一例を表した図。 第１実施形態による別視点生成部、仮想視点画像生成部の処理を示すフローチャート。 第２実施形態による視点（仮想カメラ）の配置例を示す模式図。 （ａ）は視点（仮想カメラ）の配置例を立体的に示した図、（ｂ）は点視点情報を示す図。 第２実施形態による視点（仮想カメラ）の配置方法を説明する図。 第２実施形態による別視点生成部の処理を示すフローチャート。 第２実施形態による視点（仮想カメラ）の他の配置例を説明する図。 （ａ）、（ｂ）は、図９に示した視点による仮想視点映像の一例を示した図。 （ａ）は仮想視点画像生成システムを示す図、（ｂ）は画像生成装置のハードウェア構成例を示すブロック図。

以下、添付の図面を参照して本発明の実施形態のいくつかを説明する。なお、本明細書において、画像とは「映像」「静止画」「動画」を総称する用語である。

＜第１実施形態＞
図１１（ａ）は、第１実施形態による仮想視点画像生成システムの構成例を示すブロック図である。図１１（ａ）において、ローカルエリアネットワーク（ＬＡＮ１１０１）に複数のカメラ１１００が接続されている。サーバ１１０２は、ＬＡＮ１１０１を介して複数のカメラ１１００により取得される複数の画像を、多視点画像１１０４として記憶装置１１０３に格納する。また、サーバ１１０２は、仮想視点画像を生成するための素材データ１１０５（３次元オブジェクトモデル、３次元オブジェクトの位置、テクスチャなどを含む）を多視点画像１１０４から生成し、記憶装置１１０３に格納する。画像生成装置１００は、ＬＡＮ１１０１を介してサーバ１１０２から素材データ１１０５（必要に応じて多視点画像１１０４）を取得し、仮想視点画像を生成する。

図１１（ｂ）は画像生成装置１００として用いられる情報処理装置のハードウェア構成例を示すブロック図である。画像生成装置１００において、ＣＰＵ１５１はメインメモリとしてのＲＯＭ１５２またはＲＡＭ１５３に記憶されているプログラムを実行することにより、画像生成装置１００における種々の処理を実現する。ＲＯＭ１５２は読み出し専用の不揮発性メモリ、ＲＡＭ１５３は随時に読み書きが可能な揮発性メモリである。ネットワークＩ／Ｆ１５４は、ＬＡＮ１１０１と接続して、例えばサーバ１１０２との通信を実現する。入力装置１５５は、キーボードやマウス等の装置であり、ユーザからの操作入力を受け付ける。表示装置１５６は、ＣＰＵ１５１の制御下で各種の表示を行う。外部記憶装置１５７は、例えばハードディスクやシリコンディスク等の不揮発性メモリで構成され、各種データ、プログラムを格納する。バス１５８は上述の各部を接続し、データ転送を行う。

図１は、第１実施形態の画像生成装置１００の機能構成例を示すブロック図である。なお、図１に示される各部は、ＣＰＵ１５１が所定のプログラムを実行することで実現されてもよいし、専用のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働により実現されてもよい。

視点入力部１０１は、仮想カメラを設定するための仮想視点のユーザ入力を受け付ける。以下、視点入力部１０１が受けつけた入力により指定される仮想視点を入力視点と称する。入力視点を指定するためのユーザ入力は入力装置１５５を介してなされる。別視点生成部１０２は、ユーザが指定した入力視点に基づいて、別の仮想カメラの位置を設定するための、入力視点とは別の仮想視点を生成する。以下、別視点生成部１０２が生成する仮想視点を別視点と称する。素材データ取得部１０３は、サーバ１１０２から、仮想視点画像を生成するための素材データ１１０５を取得する。仮想視点画像生成部１０４は、素材データ取得部１０３で取得した素材データを用いて、視点入力部１０１からの入力視点と別視点生成部１０２からの別視点を元に、それぞれの仮想視点に対応した仮想視点映像を生成する。表示制御部１０５は、素材データ取得部１０３が取得した素材データの画像（例えば、多視点画像１１０４のうちの１つの画像）や仮想視点画像生成部１０４が生成した仮想視点画像を、表示装置１５６に表示するための制御を行う。データ記憶部１０７は、外部記憶装置１５７を用いて、仮想視点画像生成部１０４が生成した仮想視点画像や視点入力部１０１もしくは別視点生成部１０２から送られた視点の情報などを記憶する。なお、画像生成装置１００の構成は図１に示すものに限定されない。例えば、視点入力部１０１及び別視点生成部１０２が画像生成装置１００とは別の情報処理装置に実装されていてもよい。

図２は、仮想視点（仮想カメラ）の配置例を示した模式図である。図２では、例えばサッカーの試合における攻撃側の選手、防御側の選手、仮想カメラの位置関係が示されている。図２（ａ）は選手、ボール、仮想カメラの配置を横から見た図であり、図２（ｂ）は選手、カメラ、ボールを真上から俯瞰した図である。図２において、攻撃者２０１は、ボール２０２を操っている。防御者２０３は、攻撃者２０１の攻撃を防ごうとしている相手チームの選手であり、攻撃者２０１に対峙している。仮想カメラ２０４は、ユーザ（例えば、コンテンツ制作者）が設定した入力視点２１１に対応した仮想カメラであり、攻撃者２０１の後方に配置されて攻撃者２０１から防御者２０３の方向に向いている。入力視点２１１（仮想カメラ２０４）の視点情報として、仮想カメラの位置、方向、姿勢、画角などが設定されるがこれに限定されない。例えば、仮想カメラの位置と注視点の位置を指定することにより仮想カメラの方向が設定されるようにしてもよい。

仮想カメラ２０５は、入力視点２１１に基づいて設定された別視点２１２に対応した仮想カメラであって、仮想カメラ２０４に対峙するように配置されている。図２の例では、仮想カメラ２０５は、防御者２０３の後方に配置されており、カメラ視線の方向は、防御者２０３から攻撃者２０１の方向となっている。仮想カメラ２０４は、コンテンツ制作者が手動により、例えばカメラ位置・姿勢を決定するパラメータを入力したことによって設定された入力視点２１１に基づいて配置されたものである。一方、別視点２１２（仮想カメラ２０５）は、入力視点２１１（仮想カメラ２０４）を配置したことにより、別視点生成部１０２が自動的に配置したものである。また、注視点２０６は、仮想カメラ２０４、２０５のそれぞれのカメラの視線が地面と交わる点である。本実施形態では、入力視点２１１の注視点と別視点２１２の注視点は共通している。

図２（ａ）において、入力視点２１１と攻撃者２０１との距離はｈ１である。また入力視点２１１及び別視点２１２の地面からの高さはｈ２である。また入力視点２１１及び別視点２１２のそれぞれから地面におろした垂線の位置と注視点２０６との距離はｈ３である。別視点２１２の視点位置および視線方向は、入力視点２１１を、注視点２０６を通る垂線２１３を軸として１８０度回転した位置となっている。

図３（ａ）は、図２で示した入力視点２１１と別視点２１２の軌跡を表した図である。入力視点２１１の軌跡（カメラパス）は、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５の各地点を通る曲線３０１であり、別視点２１２の軌跡（カメラパス）は、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５の各地点を通る曲線３０２である。図３（ｂ）は、横軸に時間を取り、各時刻における入力視点２１１と別視点２１２の位置を示した図である。時間Ｔ１からＴ５の各時間において、入力視点２１１は、Ａ１からＡ５、別視点２１２は、Ｂ１からＢ５の位置にあることを示している。従って、例えば、Ａ１とＢ１はそれぞれ同時刻Ｔ１における入力視点２１１と別視点２１２の位置を表している。

図３（ａ）において、地点Ａ１とＢ１、地点Ａ２とＢ２、地点Ａ３とＢ３、地点Ａ４とＢ４、地点Ａ５とＢ５を結ぶ直線の方向は、時間Ｔ１からＴ５における入力視点２１１と別視点２１２のそれぞれの視線方向を表している。すなわち、本実施形態では、２つの仮想視点（仮想カメラ）は各時刻において常に向かい合う方向に視線が向いており、２つの仮想視点間の距離も同じである。各時刻における入力視点２１１と別視点２１２の間の距離は常に等しくなるように設定されている。

次に、別視点生成部１０２の動作について説明する。図４（ａ）は、視点入力部１０１および別視点生成部１０２が視点情報を取得する処理を示すフローチャートである。ステップＳ４０１において、視点入力部１０１は、コンテンツ制作者により入力視点２１１の視点情報が入力されたか否かを判定する。ステップＳ４０１で視点情報が入力されたと判定されると、処理はステップＳ４０２へ進む。ステップＳ４０２において、視点入力部１０１は、入力視点２１１の視点情報を別視点生成部１０２と仮想視点画像生成部１０４に提供する。ステップＳ４０３において、別視点生成部１０２は、入力視点の視点情報に基づいて、別視点を生成する。例えば、別視点生成部１０２は、図２で説明したように、入力視点２１１に基づいて別視点２１２を生成し、その視点情報を生成する。ステップＳ４０４において、別視点生成部１０２は、生成した別視点の視点情報を仮想視点画像生成部１０４に提供する。ステップＳ４０５において、別視点生成部１０２は、視点入力部１０１からの視点情報の受信が終了しているか否かを判断する。視点情報の受信が終了していると判断された場合、本フローチャートを終了し、引き続き視点情報を受信していると判断された場合、処理はステップＳ４０１に戻る。

以上の処理により、別視点生成部１０２は、視点入力部１０１から時系列に入力される入力視点に追従して時系列に別視点を生成する。例えば、図３（ａ）に示す曲線３０１を描くように移動していく入力視点２１１が入力されると、別視点生成部１０２はこれに追従して曲線３０２を描くように別視点２１２を生成していく。仮想視点画像生成部１０４は、視点入力部１０１からの視点情報と別視点生成部１０２からの別視点情報により、それぞれの仮想視点画像を生成する。

次に、仮想視点画像生成部１０４による仮想視点画像の生成処理について説明する。図４（ｂ）は、仮想視点画像生成部１０４が、仮想視点画像を生成する処理を示すフローチャートである。ステップＳ４１１において、仮想視点画像生成部１０４は、視点入力部１０１から入力視点２１１の視点情報を受け取ったかどうかを判定する。ステップＳ４１１で視点情報を受け取ったと判定された場合、処理はステップＳ４１２に進み、受け取っていないと判定された場合、処理はステップＳ４１１に戻る。ステップＳ４１２において、仮想視点画像生成部１０４は、受信した視点情報を元に仮想カメラ２０４を配置し、仮想カメラ２０４により撮影される仮想視点画像を生成する。

ステップＳ４１３において、仮想視点画像生成部１０４は、別視点生成部１０２から別視点２１２の視点情報を受け取ったかどうかを判定する。ステップＳ４１３で別視点２１２の視点情報を受け取ったと判定された場合、処理はステップＳ４１４に進み、受け取っていないと判定された場合、処理はステップＳ４１３に戻る。ステップＳ４１４において、仮想視点画像生成部１０４は、ステップＳ４１３で受信した視点情報を元に仮想カメラ２０５を配置し、仮想カメラ２０５により撮影される仮想視点画像を生成する。ステップＳ４１５において、仮想視点画像生成部１０４は、視点入力部１０１、別視点生成部１０２の各部からの視点情報を受信し終わったか否かを判定する。視点情報の受信を完了したと判定された場合、本フローチャートの処理は終了し、視点情報の受信を完了していないと判定された場合、処理はステップＳ４１１に戻る。

尚、図４（ｂ）のフローチャートでは、仮想視点画像を生成する処理であるステップＳ４１２とステップＳ４１４を時系列に行うが、これに限定されない。複数の仮想視点に対応して複数の仮想視点画像生成部１０４を設けて、ステップＳ４１２とステップＳ４１４における仮想視点画像の生成処理を並行して行うようにしてもよい。なお、ステップＳ４１２で生成される仮想視点画像は仮想カメラ２０４から撮影可能な画像であり、同様に、ステップＳ４０４で生成される仮想視点画像は仮想カメラ２０５から撮影可能な画像である。

次に、これら入力視点２１１（仮想カメラ２０４）に対する別視点２１２（仮想カメラ２０５）の生成（ステップＳ４０３）について、図２および図３を用いてさらに説明する。本実施形態では、コンテンツ制作者が１つの入力視点２１１を指定すると、その入力視点２１１に基づき、所定の法則により別視点２１２が設定される。所定の法則の一例として、本実施形態では、入力視点２１１と別視点２１２で共通の注視点２０６を用い、注視点２０６を通る垂線２１３を回転軸として、入力視点２１１を所定角度だけ回転することにより別視点２１２を生成する構成を示す。

入力視点２１１は、攻撃者２０１から距離ｈ１だけ後方で高さが攻撃者２０１よりも高いｈ２の高さにコンテンツ制作者によって配置されている。また、入力視点２１１の視線方向は、時間Ｔ１において防御者２０３の方向を向いている。本実施形態では、入力視点２１１の視線と地面との交点が注視点２０６となっている。一方、時刻Ｔ１における別視点２１２は、図４のステップＳ４０３において、別視点生成部１０２により生成される。本実施形態では、別視点生成部１０２は、入力視点２１１の位置を、注視点２０６を通る地面に垂直な線である垂線２１３を回転軸として所定角度（本実施形態では１８０度）回転することにより別視点２１２を得る。結果、注視点２０６から距離ｈ３、高さｈ２の３次元範囲に別視点２１２が配置される。

尚、本実施形態では注視点２０６が地面にあるように設定されているがこれに限定されない。例えば、入力された視線情報により示される入力視点２１１の視線方向が地面と平行であった場合、その注視点は、注視点２０６を通る垂線２１３上の高さがｈ２の点とすることができる。別視点生成部１０２は、入力視点と別視点との間の距離と視線方向の関係とを維持するように、時系列に設定される入力視点に応じて別視点を生成する。よって、入力視点２１１に対する別視点２１２の生成方法は上記に限られるものではなく、例えば入力視点２１１の注視点と別視点２１２の注視点は個別に設定されてもよい。

図３（ａ）の例では、時間Ｔ１から時間経過した際の入力視点２１１の軌跡が曲線３０１で表されており、時間Ｔ２、Ｔ３、Ｔ４、Ｔ５における入力視点２１１の位置（仮想カメラ２０４の位置）はそれぞれＡ２、Ａ３、Ａ４、Ａ５である。同様に、時間Ｔ２、Ｔ３、Ｔ４、Ｔ５における別視点２１２の位置（仮想カメラ２０５の位置）はそれぞれ曲線３０２上のＢ２、Ｂ３、Ｂ４、Ｂ５である。入力視点２１１と別視点２１２の位置関係は、時刻Ｔ１における正対した状態が維持され、それぞれの時刻において注視点２０６を通る垂線２１３に対して対称な位置に配置されている。時間Ｔ１からＴ５においてはどの時間を切り取っても上記位置関係が成り立つように別視点２１２の位置（仮想カメラ２０５の位置）を、ユーザ入力により設定された入力視点２１１を元に自動で配置される。もちろん、別視点の位置は上記位置関係に限らず、また別視点の数も１つに限定されない。

また、第１実施形態では、コンテンツ制作者が作製した入力視点２１１の視点情報（視点位置、視線方向など）を元に、注視点２０６を通る垂線２１３を軸として１８０度回転させた位置に仮想カメラ２０５を配置したが、これに限られるものではない。図２において、別視点２１２の位置を決定する視点の高さ（ｈ２）、水平方向の位置（ｈ３）および視線方向のそれぞれのパラメータを特定の法則によって変更したものでも良い。例えば、別視点２１２の高さ、注視点２０６からの距離は、入力視点２１１の高さ、距離と異なっていてもよい。また、垂線２１３を軸として入力視点２１１を１２０度ずつ回転させた位置にそれぞれ別視点を配置しても構わない。また、入力視点と同じ位置で、姿勢および／または画角が異なるように別視点を生成してもよい。

以上のように、第１実施形態によれば、仮想視点画像を生成する際に、ユーザ操作による入力視点を設定することで、入力視点とは位置及び向きの少なくとも何れかが異なる別視点が自動的に設定される。そのため、第1実施形態によれば、共通の時刻における複数の仮想視点に応じた複数の仮想視点画像を容易に得ることができる。

＜第２実施形態＞
第１実施形態では、ユーザにより設定された入力視点（例えば仮想カメラ２０４を配置する視点）に基づいて、別視点（例えば仮想カメラ２０５を配置する視点）が自動的に設定される構成を説明した。第２実施形態では、オブジェクトの位置を用いて別視点を自動的に設定する。なお、第２実施形態による仮想視点画像生成システム、画像生成装置１００のハードウェア構成および機能構成は第１実施形態（図１１（ａ）、図１１（ｂ）、図１）と同様である。ただし、別視点生成部１０２は、素材データ取得部１０３から素材データを受け取ることが可能になっている。

図５は、サッカーの試合を模した概略図であり、視点（仮想カメラ）の配置を示すべくサッカーフィールドを真上から俯瞰した図である。図５において、白い四角で表したオブジェクトとハッチングで表したオブジェクトがサッカー選手であり、ハッチングの有無により所属するチームが示されている。図５では、選手Ａがボールを保持している状態が示されている。選手Ａの後方（ボールが存在する位置の反対側）にコンテンツ制作者によって入力視点２１１が設定され、これに基づいた仮想カメラ５０１が設置されている。選手Ａの周りには敵味方の選手Ｂ〜Ｇが位置している。選手Ｂの後方に別視点２１２ａ（仮想カメラ５０２）が、選手Ｆの後方に別視点２１２ｂ（仮想カメラ５０３）が、また選手ＡからＧの全員を横から俯瞰できる場所に別視点２１２ｃ（仮想カメラ５０４）が配置されている。なお、選手Ｂ，Ｆの入力視点２１１側を前方、反対側を後方と呼んでいる。

図６（ａ）は図５を立体的に表した図である。図６（ａ）では、サッカーフィールドの四隅のうちの１つを３次元座標の原点とし、サッカーフィールドの長手方向をｘ軸、短手方向をｙ軸、高さ方向をｚ軸と定義している。また、図６（ａ）においては、図５で示した選手のうち選手Ａ、選手Ｂのみを記載し、図５に示した視点（仮想カメラ）のうち、入力視点２１１（仮想カメラ５０１）と別視点２１２ａ（仮想カメラ５０２）が示されている。図６（ｂ）は、図６（ａ）で示した入力視点２１１、別視点２１２ａの視点情報を表した図である。入力視点２１１の視点情報は、視点位置の座標（ｘ１,ｙ１,ｚ１）、注視点位置の座標（ｘ２,ｙ２,ｚ２）を含む。また、別視点２１２ａの視点情報は、視点位置の座標（ｘ３,ｙ３,ｚ３）、注視点位置の座標（ｘ４,ｙ４,ｚ４）を含む。

図７は図５に示した俯瞰図に対して、入力視点２１１（仮想カメラ５０１）、別視点２１２ａ（仮想カメラ５０２）のそれぞれの視点位置、注視点位置の３次元座標（図６（ｂ））をプロットしたものである。入力視点２１１（仮想カメラ５０１）は選手Ａとボールを結ぶ方向に向いており、別視点２１２ａ（仮想カメラ５０２）は選手Ｂから選手Ａを結ぶ方向を向いている。

図８は、第２実施形態の別視点生成部１０２による、別視点２１２ａの生成処理を示したフローチャートである。ステップＳ８０１において、別視点生成部１０２は、視点入力部１０１から入力視点２１１の視点情報を受信したかどうかを判断する。ステップＳ８０１において、視点情報を受信したと判断された場合、処理はステップＳ８０２に進み、視点情報を受信していないと判断された場合、処理はステップＳ８０１を繰り返す。ステップＳ８０２において、別視点生成部１０２は、素材データ取得部１０３から、素材データに含まれる選手Ａ〜Ｇの座標（オブジェクトの座標）を取得したかどうかを判断する。素材データを取得していると判断された場合、処理はステップＳ８０３に進み、取得していないと判断された場合、処理はステップＳ８０２を繰り返す。

ステップＳ８０３において、別視点生成部１０２は、ステップＳ８０１で取得した視点情報と、Ｓ８０２で取得した素材データ（オブジェクトの座標）を元に、仮想カメラ５０２の視点位置及び注視点位置（別視点）を生成する。ステップＳ８０４において、別視点生成部１０２は、視点入力部１０１からの視点情報の受信が終了しているか否かを判断する。視点情報の受信が終了していると判断された場合、本フローチャートを終了し、引き続き視点情報を受信していると判断された場合、処理はステップＳ８０１に戻る。

ここで、ステップＳ８０３における、別視点の生成について詳述する。図７に示すように、コンテンツ制作者によって設定された入力視点２１１は選手Ａの後方で座標（ｘ１,ｙ１,ｚ１）に位置しており、入力視点２１１の注視点位置の座標は（ｘ２,ｙ２,ｚ２）である。入力視点２１１について設定された視線方向の視線が所定高さの平面（例えば地面）と交差する位置を注視点２０６とする。或は、コンテンツ制作者が注視点２０６ａを指定することに応じて、入力視点２１１と注視点２０６を結ぶように視線方向が設定されてもよい。本実施形態の別視点生成部１０２は、多視点画像１１０４に含まれている２つのオブジェクト（本例では、選手Ａと選手Ｂ）の位置関係に基づいて別視点を生成する。本実施形態では、そのようにして生成された別視点を初期視点として決定した後、一方のオブジェクト（選手Ａ）に対する位置と視線方向の関係を維持するように、別視点をオブジェクト（選手Ａ）の位置に追従させる。

次に、初期視点の決定方法を説明する。まず、別視点生成部１０２は、視点入力部１０１から、視点位置の座標（ｘ１,ｙ１,ｚ１）と注視点位置の座標（ｘ２,ｙ２,ｚ２）を含む入力視点２１１の視点情報を得る。次に、別視点生成部１０２は、素材データ取得部１０３より、各選手の位置座標（素材データのうちのオブジェクト位置の情報）を得る。例えば選手Ａの位置座標は（ｘａ,ｙａ,ｚａ）である。なお、選手Ａの位置座標の高さ方向の値ｚａは、例えば選手の顔の中心の高さ、身長などを用いることができる。ただし、身長を用いる場合は、各選手の身長があらかじめ登録されているものとする。

本実施形態では別視点２１２ａ（仮想カメラ５０２）が選手Ｂの後方に生成される。別視点生成部１０２は、入力視点２１１に最も近い選手Ａの位置に基づいて別視点２１２ａの注視点を決定する。本実施形態では、ｘｙ面における注視点の位置を、選手Ａのｘｙ面の位置（ｘａ,ｙａ）とし、ｚ方向の位置を地面の高さとする。従って、本例では、注視点位置の座標が、（ｘ４,ｙ４,ｚ４）＝（ｘａ,ｙａ,０）のように設定される。別視点生成部１０２は、選手Ｂの位置座標と、別視点２１２ａの注視点位置の座標（ｘ４,ｙ４,ｚ４）を結んだ線上の、選手Ｂの位置から所定の距離だけ離れた位置を、別視点２１２ａの視点位置とする。図７では、別視点２１２ａ（仮想カメラ５０２）の視点位置として、座標（ｘ３,ｙ３,ｚ３）が設定されている。ここで、所定の距離とは、あらかじめユーザが設定した距離を用いるようにしてもよいし、選手Ａと選手Ｂとの位置関係（例えば、距離）に基づいて別視点生成部１０２が決定するようにしても構わない。

以上のようにして、選手Ａと選手Ｂの位置関係に基づいて別視点２１２ａの視点位置を決定し、注視点位置を選手Ａの位置座標に基づいて決定した後は、別視点２１２ａと選手Ａとの距離および視線方向が固定される。すなわち、入力視点２１１の設定に応じて別視点２１２ａの視点位置および注視点位置が決定された後、選手Ａの位置座標から決定される注視点に対する別視点２１２ａの距離と方向が固定される。このように設定することにより、選手Ａと選手Ｂの位置座標が時間経過とともに変わっても、別視点２１２ａ（仮想カメラ５０２）と選手Ａの位置関係が維持される。このように、入力視点２１１（仮想カメラ５０１）、及び、選手Ａと選手Ｂの位置座標に応じて別視点２１２ａの視点情報が決定された後は、選手Ａの位置座標から別視点２１２ａ（仮想カメラ５０２）の視点位置と注視点位置が決定される。

なお、別視点生成部１０２は、別視点２１２ａを生成するために、選手Ａと選手Ｂの２つのオブジェクトを特定する必要がある。選手Ａと選手Ｂはともに入力視点２１１からの仮想視点画像に含まれるオブジェクトである。選手Ａは例えば入力視点２１１から最も近い位置にあるオブジェクトを選択することにより、選手Ｂは、例えば、入力視点２１１の仮想視点画像の中からオブジェクトをユーザが選択することで特定され得る。なお、選手Ａとしてのオブジェクトをユーザが選択するようにしてもよい。また、上記では、別視点２１２ａと選手Ａとの距離および視線方向を固定したが、これに限られるものではない。例えば、選手Ａと選手Ｂの位置に基づいて別視点２１２ａを決定する処理（上述した初期視点を決定する処理）を継続するようにしてもよい。また、別視点の生成に用いるオブジェクト（上記選手Ｂに対応するオブジェクト）の選択をオブジェクトの属性に基づいて行ってもよい。例えば、各オブジェクトのユニフォームに基づいて所属するチームを判定し、仮想カメラ５０１により得られる仮想視点画像に存在するオブジェクトのうち、選手Ａと敵対するまたは味方のチームに属するオブジェクトを選手Ｂとして選択するようにしてもよい。また、別視点を設定するのに用いるオブジェクトを複数選択することにより、複数の別視点を同時に設定することもできる。

以上、コンテンツ制作者が入力視点２１１を設置したことに応じて、選手Ａの周りにいる選手の後方に別視点が設置される構成を説明した。しかしながら、別視点の設定方法はこれに限られるものではない。図９に示すように、例えば選手Ａ、選手Ｂの両方を画角内に捉えるために、すなわち選手Ａ、選手Ｂの両方が別視点２１２ｃの視界に入るように、これら両選手の横方向に別視点２１２ｃを配置するようにしてもよい。図９では、選手Ａと選手Ｂの位置座標を結ぶ線分９０１の中間（例えば、中点（ｘ７,ｙ７,ｚ７））を注視点２０６ｃに設定し、注視点２０６ｃで線分９０１と直交する線上に仮想カメラ５０４ための別視点２１２ｃが設定されている。そして、選手Ａ、Ｂの両方が画角内に入るように、別視点２１２ｃの注視点２０６ｃまでの距離と画角が設定され、別視点２１２ｃの位置座標（ｘ６,ｙ６,ｚ６）が決定される。なお、画角を固定して、選手Ａ、Ｂの両者が画角に入るように、別視点２１２ｃと注視点２０６ｃの距離を設定するようにしてもよい。

別視点２１２ｃに配置された仮想カメラ５０４で撮影した仮想視点画像は、例えば図１０（ａ）に示すような画像となる。また、図１０（ｂ）に示すように、別視点２１２ｃ（仮想カメラ５０４）の位置座標（ｘ６,ｙ６,ｚ６）のｚ６を大きくとることで、選手Ａの周りの選手が入るように、フィールドの上方から俯瞰した画像を得るようにすることもできる。また、選手Ａと選手Ｂの位置を結ぶ線分９０１を軸として、ｘｙ面から所定の角度だけ別視点２１２ｃを回転するようにしてもよい。

なお、表示制御部１０５は、表示装置１５６に、仮想視点画像生成部１０４が生成した入力視点の仮想視点画像と別視点の仮想視点画像を表示する。表示制御部１０５は、複数の仮想視点画像を同時に表示して、ユーザが所望の仮想視点画像を選択できるようにしてもよい。

以上説明したように、上記各実施形態によれば、コンテンツ制作者による１つの入力視点を設定する操作に応じて別視点が自動的に設定される。このように、１つの仮想視点を設定する操作に応じて、当該視点の設定時刻における複数の仮想視点が得られるので、同時刻における複数の仮想視点（及び仮想視点画像）を容易に作成することができる。なお、上記各実施形態では、コンテンツ制作者が入力視点を設定するものとして説明したが、これに限らず、エンドユーザや他の誰かにより入力視点が設定されてもよい。また、画像生成装置１００が入力視点を示す視点情報を外部から取得し、その入力視点に応じた別視点を示す視点情報を生成してもよい。

また、画像生成装置１００は、別視点を設定するか否かや、設定する別視点の数を、入力されたユーザ操作や撮影対象領域内のオブジェクトの数、及び撮影対象領域内におけるイベントの発生時刻などに応じて決定してもよい。また、入力視点と別視点とが設定された場合に、画像生成装置１００は、入力視点に応じた仮想視点画像と別視点に応じた仮想視点画像との両方を表示部に表示させてもよいし、それらを切り替えて表示させてもよい。

また、上記各実施形態ではサッカーを例にとって説明したが、これに限定されない。例えば、ラグビーや野球やスケートなどのスポーツでも構わないし、例えば、舞台で行われる演劇のようなものでも構わない。また、上記各実施形態では選手の位置関係で仮想カメラを設定したが、これに限定されず、例えば、審判や採点者の位置を考慮して設定しても構わない。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像生成装置、１０１：視点入力部、１０２：別視点生成部、１０３：素材データ取得部、１０４：仮想視点画像生成部、１０５：表示制御部、１０７：データ記憶部、２０４、２０５、５０１、５０２，５０３，５０４：仮想カメラ、２０６：注視点、２１１：入力視点、２１２：別視点

Claims (18)

1. 複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定手段と、
   前記設定手段により設定された前記第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって前記第１仮想視点と共通の時刻に対応する前記第２仮想視点を示す視点情報を、前記設定手段により設定された前記第１仮想視点に基づいて生成する生成手段と、を備えることを特徴とする情報処理装置。
2. 前記設定手段は、前記第１仮想視点を時系列に設定し、
   前記生成手段は、前記第１仮想視点と前記第２仮想視点との間の距離と視線方向の関係とが維持されるように、時系列に設定される前記第２仮想視点を示す視点情報を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１仮想視点と前記第２仮想視点は共通の注視点を有することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記注視点を通る垂線を回転軸として、前記第１仮想視点を所定角度だけ回転することにより前記第２仮想視点を示す視点情報を生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記第１仮想視点の視点位置と前記注視点の位置をユーザが指定することにより、前記第１仮想視点の視線方向が決まることを特徴とする請求項３または４に記載の情報処理装置。
6. 複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定手段と、
   前記設定手段により設定された前記第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって前記第１仮想視点と共通の時刻に対応する前記第２仮想視点を示す視点情報を、前記多視点画像に含まれるオブジェクトの位置に基づいて生成する生成手段と、を備えることを特徴とする情報処理装置。
7. 前記生成手段は、前記多視点画像に含まれる第１のオブジェクトと第２のオブジェクトの位置関係に基づいて決定される前記第２仮想視点を示す視点情報を生成することを特徴とする請求項６に記載の情報処理装置。
8. 前記生成手段は、前記第１のオブジェクトと前記第２のオブジェクトの位置関係に基づいて前記第２仮想視点を決定した後、前記第１のオブジェクトに対する位置と視線方向の関係を維持するように、前記第２仮想視点を前記第１のオブジェクトに追従させることを特徴とする請求項７に記載の情報処理装置。
9. 前記生成手段は、前記第１のオブジェクトと前記第２のオブジェクトが前記第２仮想視点の視界に入るように前記視点情報を生成することを特徴とする請求項７に記載の情報処理装置。
10. 前記第２仮想視点の注視点が、前記第１のオブジェクトと前記第２のオブジェクトの中間に設定されることを特徴とする請求項９に記載の情報処理装置。
11. 前記第１のオブジェクトと前記第２のオブジェクトは、前記設定手段が設定した前記第１仮想視点に応じた仮想視点画像に含まれるオブジェクトであり、前記第１のオブジェクトは前記第１仮想視点に最も近いオブジェクトであることを特徴とする請求項７乃至１０のいずれか１項に記載の情報処理装置。
12. 前記第２のオブジェクトをユーザ操作に基づいて指定する指定手段をさらに備えることを特徴とする請求項７乃至１１のいずれか１項に記載の情報処理装置。
13. 前記多視点画像に含まれるオブジェクトの位置を、仮想視点画像を生成するための素材データから取得する取得手段を有することを特徴とする請求項６乃至１２のいずれか１項に記載の情報処理装置。
14. 前記設定手段により設定された前記第１仮想視点に応じた仮想視点画像と、前記生成手段により生成された視点情報が示す前記第２仮想視点に応じた仮想視点画像とを生成する画像生成手段を備えることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 情報処理装置の制御方法であって、
    複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定工程と、
    前記設定工程により設定された前記第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって前記第１仮想視点と共通の時刻に対応する前記第２仮想視点を示す視点情報を、前記設定工程により設定された前記第１仮想視点に基づいて生成する生成工程と、を備えることを特徴とする情報処理装置の制御方法。
16. 情報処理装置の制御方法であって、
    複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定工程と、
    前記設定工程により設定された前記第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって前記第１仮想視点と共通の時刻に対応する前記第２仮想視点を示す視点情報を、前記多視点画像に含まれるオブジェクトの位置に基づいて生成する生成工程と、を備えることを特徴とする情報処理装置の制御方法。
17. 前記設定工程により設定された前記第１仮想視点に応じた仮想視点画像と、前記生成工程により生成された視点情報が示す前記第２仮想視点に応じた仮想視点画像とを生成する画像生成工程を備えることを特徴とする請求項１５または１６に記載の情報処理装置の制御方法。
18. コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images