JP2021192273A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】オペレータによる仮想視点の操作時の被写体の撮り逃しを低減し、スムーズなカメラワークを実現することを目的とする。【解決手段】ユーザの操作に応じて仮想視点を受け付ける受付手段と、受付手段が受け付けた仮想視点に基づいて、撮像画像から生成された第１の仮想視点画像と、第１の仮想視点画像に比べて画角の大きい第２の仮想視点画像とが表示画面上に表示されるよう制御する表示制御手段とを有する。【選択図】図２

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバー等の画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。

上記のように仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにすれば、従来の撮影画像と比較してユーザに高臨場感を与えることができる。特許文献１には、複数のカメラが被写体を取り囲むように配置して被写体を撮影した画像を用いて、任意の仮想視点画像を生成及び表示することが開示されている。

特開２０１４−２１５８２８号公報

しかしながら、特許文献１の技術においては、仮想視点を選手の近くに寄りすぎるとボールや選手を見失う等のリスクがある。仮想視点の操作を行なうオペレータは、自ら操作した仮想視点に基づく仮想視点画像を見ながら次のカメラアングルを決めると、仮想視点画像の外で起きる事象に気付き難い。そのため、ボールや選手の急な動きに追従できず、撮り逃しやスムーズなカメラワークが行なえない場合があった。

本発明はこのような問題点に鑑みなされたもので、仮想視点を設定するオペレータが特定の被写体を見逃す可能性を低減することを目的とする。

そこで、本発明は、表示制御装置であって、ユーザの操作に応じて仮想視点を受け付ける受付手段と、前記仮想視点に基づいて、撮像画像から生成された第１の仮想視点画像と、前記第１の仮想視点画像に比べて画角の大きい第２の仮想視点画像とを表示画面上に表示されるよう制御する表示制御手段とを有することを特徴とする。

本発明によれば、仮想視点を設定するオペレータが特定の被写体を見逃す可能性を低減することができる。

画像生成システムの全体構成を示す図である。 表示制御装置の機能構成を示すブロック図である。 情報処理を示すフローチャートである。 画角の説明図である。 第２の実施形態に係る表示制御装置の機能構成図である。 第２の実施形態に係る情報処理を示すフローチャートである。 表示サイズ決定処理を示すフローチャートである。 表示サイズ決定処理の説明図である。 表示サイズ決定処理の説明図である。 表示サイズ決定処理を示すフローチャートである。 表示サイズ決定処理を示すフローチャートである。 拡張用仮想視点画像を生成する処理の説明図である。 第３の実施形態に係る表示制御装置の機能構成図である。 情報処理を示すフローチャートである。 進める時間を決定する処理を示すフローチャートである。 進める時間を決定する処理の説明図である。 第４の実施形態に係る情報処理を示すフローチャートである。 設定画面の表示例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、本実施形態に係る画像生成システムの全体構成を示す図である。画像生成システムは、表示制御装置１００、画像生成装置１１０及び複数の撮像装置１０９を有している。撮像装置１０９は、画像を撮像し、撮像画像を画像生成装置１１０に送信する。画像生成装置１１０は、撮像装置１０９から受信した撮像画像から、仮想視点画像を生成する。表示制御装置１００は、仮想視点画像を表示し、オペレータからの操作に応じて、撮像画像に対する、放送用の仮想視点を決定する。表示制御装置１００、画像生成装置１１０及び複数の撮像装置１０９は、ネットワークを介して接続している。

表示制御装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、通信Ｉ／Ｆ１０６と、操作部１０７と、を有している。ＣＰＵ１０１は、各種処理のための演算や論理判断等を行い、システムバス１０８に接続された各構成要素を制御する。表示制御装置１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域等を有する。なお、表示制御装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。

ＨＤＤ１０４は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバー装置等であってもよい。なお、後述する表示制御装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

表示部１０５は、仮想視点を指定する設定画面を表示するためのディスプレイ、プロジェクタ、ＨＭＤ（ヘッドマウントディスプレイ）等の表示デバイスである。設定画面上には、画像生成装置１１０が生成した仮想視点画像が表示される。通信Ｉ／Ｆ１０６は、公知の通信技術によって、画像生成装置１１０や外部記憶装置と有線あるいは無線で接続し、双方向に情報の送受信を行うことを可能とする。操作部１０７は、オペレータが仮想視点を表示制御装置１００に入力するためのデバイスである。ジョイスティック、ゲームパッド、タッチパネル、キーボード、マウス等の入力デバイスである。

図２は、表示制御装置１００の機能構成を示すブロック図である。表示制御装置１００は、放送用仮想視点決定部１１１、放送用仮想視点保持部１１２、オペレータ用仮想視点決定部１１３、拡張用仮想視点決定部１１４、画像受信部１１５、表示制御部１１６、視点出力部１１７及び入力部１１８を有する。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。ただし、図２の構成の一部又は全部が、専用のハードウェアにより実現されるようにしても良い。この場合、ＣＰＵ１０１により当該専用のハードウェアの動作が制御され、後述する各フローチャートに従った処理が実行される。以下、各要素について説明する。

放送用仮想視点決定部１１１は、オペレータが操作部１０７を使って入力する仮想視点を、入力部１１８を介して受け取る。そして、放送用仮想視点決定部１１１は、処理時点において設定されている仮想視点情報と、入力部１１８を介して受け付けた仮想視点から新しい仮想視点情報を決定する。そして、放送用仮想視点決定部１１１は、決定した放送用仮想視点を示す仮想視点情報を放送用仮想視点保持部１１２に保持すると共に視点出力部１１７に出力する。放送用仮想視点保持部１１２は、放送用仮想視点決定部１１１が決定した放送用仮想視点を示す仮想視点情報を保持する。ここで仮想視点情報は、仮想視点の３次元の位置及び３軸の回転角、画角を含むものとする。本実施形態においては、例えばサッカーのフィールドの中心を原点とする世界座標を用いるものとするが、その他任意の座標系を用いることもよいものである。以下、仮想視点情報を単に仮想視点と称する。また、オペレータは、入力時点における仮想視点からの移動量（位置及び回転の変化量）で新たな仮想視点を指定してもよい。

オペレータ用仮想視点決定部１１３は、放送用仮想視点保持部１１２が保持する放送用仮想視点からオペレータ用仮想視点を決定し、視点出力部１１７にオペレータ用仮想視点を出力する。拡張用仮想視点決定部１１４は、放送用仮想視点保持部１１２が保持する放送用仮想視点から拡張用仮想視点を決定し、視点出力部１１７に拡張用仮想視点を出力する。

上記で説明したとおり、仮想視点には放送用仮想視点、オペレータ用仮想視点、拡張用仮想視点の３種類がある。放送用仮想視点は、放送に用いる画像を生成するための仮想視点である。オペレータ用仮想視点は、放送に用いる画像と同じ仮想視点で、画角も同じである。よって、オペレータ用仮想視点決定部１１３は放送用仮想視点決定部１１１で代用してもよい。一方、拡張用仮想視点は、放送に用いる画像と同じ仮想視点で、画角は放送用（オペレータ用）よりも広い画角である。なお、拡張用仮想視点を放送用仮想視点よりも後ろ（仮想視点の光軸上）に配置し画角を同じにしてもよい。

画像受信部１１５は、画像生成装置１１０が生成した仮想視点画像を受信する。表示制御部１１６は、表示部１０５の仮想視点を指定する設定画面上に、オペレータ用仮想視点画像と拡張用仮想視点画像を、両画像の中心を一致させた状態で表示する。なお、オペレータ用仮想視点画像と拡張用仮想視点画像の仮想視点は同一であるが、画角は、拡張用仮想視点画像の画角がオペレータ用仮想視点の画角に比べて大きい。このため、拡張用仮想視点画像の撮影範囲は、オペレータ用仮想視点の撮影範囲を含み、これより、も広い範囲となる。なお、他の例としては、オペレータ用仮想視点画像と拡張用仮想視点画像は画角が同一であってもよい。この場合、オペレータ用仮想視点画像と拡張用仮想視点画像の仮想視点は、いずれも仮想的な同一の光軸上の位置で、かつ、光軸上で異なる位置にあるものとする。

表示制御部１１６は、さらにオペレータ用仮想視点画像と拡張用仮想視点画像の境界に境界を示す枠線を表示する。なお、表示制御部１１６は、オペレータ用仮想視点画像と拡張用仮想視点画像をオペレータが識別可能なように、異なる表示方法で表示すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、表示制御部１１６は、オペレータ用仮想視点画像を白黒画像、拡張用仮想視点画像をカラー画像として表示してもよい。また、表示制御部１１６は、オペレータ用仮想視点画像と拡張用仮想視点画像を異なるアルファ値で表示してもよい。

視点出力部１１７は、放送用仮想視点決定部１１１、オペレータ用仮想視点決定部１１３、拡張用仮想視点決定部１１４が決定した仮想視点を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に出力する。入力部１１８は、操作部１０７をオペレータが操作することで生じる入力デバイスの移動量を検出し、仮想視点に変換する。

なお、他の例としては、表示制御装置１００と画像生成装置１１０は、一体に設けられていてもよい。この場合、表示制御装置１００は、視点出力部１１７及び画像受信部１１５を有さなくてもよい。そして、表示制御装置１００は、仮想視点画像生成部と、放送用仮想視点画像を放送システムに出力する画像出力部とを有するものとする。

図３は、表示制御装置１００による情報処理を示すフローチャートである。Ｓ３０１において、入力部１１８は、オペレータ（ユーザ）が操作部１０７を操作することで入力される操作内容を仮想視点に変換することにより、仮想視点を受け付ける（受付処理）。放送用仮想視点決定部１１１は、放送用仮想視点保持部１１２が保持している、処理時点において設定されている放送用仮想視点と入力部１１８が受け付けた仮想視点とに基づいて、新しい放送用仮想視点を算出する。放送用仮想視点決定部１１１は、算出した放送用仮想視点を放送用仮想視点保持部１１２に記録する。例えば、処理時点において設定されている放送用仮想視点が（Ｘ座標、Ｙ座標、Ｚ座標、Ｘ軸回転、Ｙ軸回転、Ｚ軸回転、画角）＝（５、１０、１００、０、４５、３０、３０）であるとする。また、入力部１１８が受け付けた仮想視点が（０、０、−５０、０、０、１０、１０）であるとする。この場合、新しい放送用仮想視点は、（５、１０、５０、０、４５、４０、４０）となる。なお、この例における、入力部１１８が受け付けた仮想視点は、Ｚ軸方向に−５０移動、Ｚ軸の周りを１０度回転、画角を１０度拡げることを意味する。

次に、Ｓ３０２において、オペレータ用仮想視点決定部１１３は、放送用仮想視点保持部１１２が保持する新しい放送用仮想視点に基づきオペレータ用仮想視点を決定する。オペレータは、放送用仮想視点画像と同じ画像をオペレータの端末装置上で確認し、この画像を見ながら次の操作内容を決定する。そのため、放送用仮想視点とオペレータ用仮想視点は同一であることが望ましい。よって、この処理自体を省略し、オペレータ用仮想視点画像を生成する際に放送用仮想視点を利用してもよい。

次に、Ｓ３０３において、拡張用仮想視点決定部１１４は、放送用仮想視点保持部１１２が保持する新しい放送用仮想視点に基づき拡張用仮想視点を決定する。拡張用仮想視点決定部１１４はさらに、拡張用仮想視点に対する画角を決定する（画角決定処理）。本実施形態においては、拡張用仮想視点決定部１１４は、オペレータ用仮想視点と同一の仮想視点を拡張用仮想視点として決定する。さらに、拡張用仮想視点決定部１１４は、オペレータ用仮想視点に対する画角に比べて大きい画角を、拡張用仮想視点に対する画角として決定する。

拡張用仮想視点画像はオペレータ用仮想視点画像と仮想視点（視点の位置及び撮影方向）が同一であることが望ましい。これにより、表示制御部１１６が画像の中心を一致させて表示する場合に、ある領域の物体がオペレータ用仮想視点画像と拡張用仮想視点画像の両方に表示されてしまう問題を回避できる。また同時に、ある領域の物体がどちらにも表示されない問題も回避できる。一方で、画角を広げることにより、オペレータは、放送用仮想視点画像においては撮影範囲外に位置するような注目物体や事象についても把握することができる。

なお、拡張用仮想視点に対する画角は、設定画面に表示されるオペレータ用仮想視点画像と拡張用仮想視点画像の表示サイズの比によって一意に決定される。ここで図４を用いて、拡張用仮想視点に対する画角の導出方法を説明する。図４（ａ）は、オペレータ用仮想視点画像４０１と、拡張用仮想視点画像４０２とが表示された設定画面４００の一例を示す図である。表示制御部１１６は、オペレータ用仮想視点画像４０１と、拡張用仮想視点画像４０２の中心位置を一致させた状態でオペレータ用仮想視点画像４０１の周囲に拡張用仮想視点画像４０２を表示させる。ここで、オペレータ用仮想視点画像４０１の表示サイズをｌ画素、拡張用仮想視点画像４０２の表示サイズをｍ画素とする。ここで、ｍ＞ｌであり、表示制御部１１６は、オペレータ用仮想視点画像４０１の周囲に、拡張用仮想視点画像４０２を表示するよう制御する。

図４（ｂ）は、拡張用仮想視点に対する画角とオペレータ用仮想視点の画角の関係を示す図である。点Ａは、オペレータ用と拡張用の仮想視点であり、両者は一致している。オペレータ用仮想視点と拡張用仮想視点それぞれの画角をα、βとすると、（式１）の関係が成り立つ。

ｌ：ｍ＝ｔａｎ（α／２）：ｔａｎ（β／２） …（式１）

なお、αはオペレータが入力する値である。（式１）より、張用仮想視点の画角βは、（式２）により求めることができる。なお、ｍ／ｌが表示サイズ比となる。

β＝２＊ａｒｃｔａｎ（ｔａｎ（α／２）＊ｍ／ｌ） …（式２）

ここでは、説明を簡単にするため横方向の画素数を用いて説明したが、縦方向も同様に算出できる。

図３に戻り、ＣＰＵ１０１は、Ｓ３０３の処理の後、処理をＳ３０４へ進める。Ｓ３０４において、視点出力部１１７は、放送用仮想視点、オペレータ用仮想視点、拡張用仮想視点をそれぞれ画像生成装置１１０に出力する。画像生成装置１１０は、放送用仮想視点、オペレータ用仮想視点、拡張用仮想視点に基づき、放送用仮想視点画像、オペレータ用仮想視点画像、拡張用仮想視点画像を生成し、オペレータ用仮想視点画像と拡張用仮想視点画像を画像受信部１１５に出力する。なお、放送用仮想視点画像は放送システム（図示せず）に送られるものとする。画像受信部１１５は、画像生成装置１１０が生成したオペレータ用仮想視点画像と拡張用仮想視点画像を受信し、処理をＳ３０５へ進める。

Ｓ３０５において、表示制御部１１６、画像受信部１１５が受信したオペレータ用仮想視点画像と拡張用仮想視点画像を設定画面上に表示するよう制御する。本処理は、第１の仮想視点画像と、第１の仮想視点画像に比べて仮想的な撮影範囲の広い、第２の仮想視点画像とが表示画面上に表示されるよう制御する表示制御処理の一例である。表示制御部１１６は、表示に際しては、図４（ａ）に示したように、拡張用仮想視点画像の中心とオペレータ用仮想視点画像の中心が一致するように両画像を同時に表示する。このとき、表示制御部１１６は、オペレータ用仮想視点画像が前面に来るように制御する。さらに、表示制御部１１６は、オペレータ用仮想視点画像４０１と拡張用仮想視点画像４０２とを識別可能とすべく、両画像４０１、４０１の境界位置に太線を描画する。

以上で、表示制御装置１００による情報処理が終了する。表示制御装置１００が、上記Ｓ３０１からＳ３０５の処理を繰り返すことにより、オペレータの操作に応じて、リアルタイムに放送用仮想視点画像を生成することが可能となる。

なお、本実施形態においては、Ｓ３０２でオペレータ用仮想視点を決定するが、オペレータ用仮想視点と放送用仮想視点は同じであるため、このステップを省略してもよい。その場合、その他の処理では、オペレータ用仮想視点の代わりに放送用仮想視点を用いればよい。また、Ｓ３０５において、拡張用仮想視点画像はオペレータ用仮想視点画像が前面にくるため表示されない領域がある。これに対応し、画像生成装置１１０は、拡張用仮想視点画像については、表示される部分の画像だけを画像生成装置１１０に生成させることとしてもよい。これにより、計算量の軽減や通信負荷の軽減が可能である。

以上説明したように、本実施形態に係る表示制御装置１００は、仮想視点を指定する設定画面上にオペレータ用仮想視点画像と拡張用仮想視点画像を同時に表示する。さらに、オペレータ用仮想視点画像と拡張用仮想視点画像の仮想視点の光軸は一致し、両画像の中心を一致させた状態で配置されている。このため、拡張用仮想視点画像とオペレータ用仮想視点画像の境界部に歪みが生じるのを防ぎ、両画像をシームレスに表示することができる。これにより、オペレータがオペレータ用仮想視点画像の周辺で起きる事象に気付きやすくなり、ボールや選手の急な動きに追従できる。したがって、オペレータによる仮想視点の操作時の被写体の撮り逃しを低減し、スムーズなカメラワークを実現することができる。

第１の変形例としては、表示制御部１１６は、オペレータ用仮想視点画像の周囲に拡張用視点画像を表示すればよく、表示画面において、必ずしも両画像の中心は一致しなくともよい。

第２の変形例としては、拡張用仮想視点画像は、オペレータ用仮想視点画像に比べて、仮想的な撮影範囲が広くなるような仮想視点画像であればよく、拡張用仮想視点画像のオペレータ用仮想視点画像との関係は実施形態に限定されるものではない。例えば、両画像の仮想視点の位置や撮影方向は必ずしも同一である必要はない。なお、拡張用仮想視点画像の仮想的な撮影範囲は、オペレータ用仮想視点画像の仮想的な撮影範囲を含むことが望ましい。

また、第３の変形例としては、オペレータ用仮想視点画像と拡張用仮想視点画像の表示サイズが固定でない場合もある。この場合、拡張用仮想視点決定部１１４は、拡張用仮想視点画像の画角を決定する際に、両画像の表示サイズ比を考慮することなく、オペレータ用仮想視点画像の画角に基づいて拡張用仮想視点画像の画角を決定してもよい。

また、第４の変形例としては、画像生成システムは、画角に替えて仮想視点画像を変更することにより、オペレータ用仮想視点画像から、拡張用仮想視点画像を生成してもよい。すなわち、この場合には、表示制御装置１００は、オペレータ用仮想視点画像の画角を拡張用仮想視点画像の画角として決定し、オペレータ用仮想視点よりも後方の位置を拡張用仮想視点として決定する。ここで、後方とは、オペレータ仮想視点画像の仮想的な撮影方向と逆向きの方向である。また、画像生成システムは、仮想視点と画角の両方を変更することにより、拡張用仮想視点画像を生成してもよい。なお、いずれの場合も、実施形態において説明した拡張用仮想視点画像と同一の仮想視点画像が生成されるように、拡張用視点画像の画角や仮想視点を制御するものとする。

（第２の実施形態）
次に、第２の実施形態に係る画像生成システムについて説明する。第１の実施形態においては、オペレータ用仮想視点画像の表示サイズが固定であったのに対し、第２の実施形態においては、表示制御装置１００は、オペレータ用仮想視点画像の表示サイズを適宜変更する。例えば、フィールド全体が映るようなワイドアングルの場合、拡張用仮想視点画像の必要性は少ない。一方で、特定の選手にクローズアップするアングルの場合は、オペレータがオペレータ用仮想視点画像の周辺で起きる事象に気付き難くなる。なぜなら拡張用仮想視点画像の画角もオペレータ用仮想視点画像の画角に応じて狭くなるためである。これは第１の実施形態において説明した（式２）より自明である。そこで、本実施形態に係る画像生成システムにおいては、オペレータ用仮想視点画像の表示サイズを可変にすることとした。

以下、第２の実施形態に係る画像生成システムについて、第１の実施形態に係る画像生成システムと異なる点について説明する。図５は、第２の実施形態における表示制御装置１００の機能構成図である。図１と同じ機能を持つモジュールには同じ番号を付与し、説明を省略する。図５において、接近度算出部３０１は、仮想視点と被写体との近付き具合を接近度という尺度で算出する。接近度は、仮想視点と被写体の物理的な距離が短くなるにつれて大きくなり、両者の物理的な距離が長くなるにつれて小さくなる。さらに、接近度は、仮想視点画像中の被写体の占める割合が大きくなる程大きくなり、被写体の割合が小さくなる程小さくなる。本実施形態では、接近度を０から１の値にスケーリングした場合について説明するが、これに限定されるものではなく、任意の値を使ってもよいし、接近度という尺度を用いずに表示サイズの制御を行なってもよい。

画像判別部３０２は、画像種別を判別する。本実施形態においては、画像種別は、撮像画像の対象となる競技の種類であるものとする。競技の種類は、事前に与えてもよいし、オペレータが入力することとする。他の例としては、表示制御装置１００が、認識技術を用いて、撮像画像から競技の種類を推定してもよい。

背景画像取得部３０３は、ある仮想視点における背景画像を取得する。ここでいう背景画像とは、選手やボール等リアルタイムに動き回る物体がいない状態での仮想視点画像である。試合前に撮像装置１０９が複数の画像を撮影し、これを画像生成装置１１０が背景画像として保持しているものとする。これにより、画像生成装置１１０は、任意の仮想視点における背景画像を生成することができる。

占有率算出部３０４は、仮想視点画像における被写体の占める割合を算出する。背景差分算出部３０５は、仮想視点画像と背景画像の差分を取る。被写***置取得部３０６は、被写体につけた位置センサや画像認識による位置認識に基づいて被写体の位置を取得する。距離算出部３０７は、仮想視点の位置と被写体の位置から仮想視点と被写体の間の距離を算出する。オペレータ用仮想視点画像保持部３０８は、オペレータ用仮想視点画像を保持する。

図６は、第２の実施形態に係る情報処理を示すフローチャートである。図３に示す処理と同じ処理には、同じ番号を付し、説明を省略する。ＣＰＵ１０１は、Ｓ３０３の処理の後、処理をＳ６０１へ進める。Ｓ６０１において、表示制御部１１６は、オペレータ用仮想視点画像の表示サイズを決定し、その後処理をＳ３０４へ進める。

図７は、表示サイズ決定処理（Ｓ６０１）における詳細な処理を示すフローチャートである。Ｓ７０１において、画像判別部３０２は、撮像画像の種別、すなわち競技の種類を判定する。競技の種類は、サッカー、ラグビー、野球、バスケットボール等である。なお、言うまでもないことであるが、本表示制御装置１００を含む画像生成システムはスポーツ以外にも適用できるため、結婚式、コンサート、演劇等を含んでもよい。この場合、画像判別部３０２は、結婚式、コンサートといった内容を撮像画像の種別として特定する。

表示制御装置１００には、競技の種類毎に、接近度に対する競技係数が予めＨＤＤ１０４等に設定されているものとする。そして、接近度算出部３０１は、競技の種類に応じて、競技係数を特定する。ここで、競技係数は、接近度の計算に用いられる。競技係数の例としては、フィールドが広いサッカーやラグビーは０．８、フィールドが狭いバスケットボールは０．５、更に狭い卓球は０．３等とする。つまり、競技係数は、オペレータ用仮想視点画像の周辺を広く見る必要がある競技程大きく、そうでない競技程小さい値となるような値である。

次に、Ｓ７０２において、背景差分算出部３０５は、オペレータ用仮想視点画像保持部３０８が保持するオペレータ用仮想視点画像を取得する。次に、Ｓ７０３において、背景画像取得部３０３は、オペレータ用仮想視点と同じ仮想視点の背景画像を取得する。先に説明した通り、試合前に撮像装置１０９を用いて複数の画像を撮影しておくことで、任意の仮想視点における背景画像を生成することができる。仮想視点は放送用仮想視点保持部１１２が保持する仮想視点を用いる。視点出力部１１７は、この仮想視点を画像生成装置１１０に送る。画像生成装置１１０は、事前に撮影した背景画像をもとに仮想視点画像を生成する。背景画像取得部３０３は、画像受信部１１５を介して、画像生成装置１１０が生成した仮想視点の背景画像を取得する。

次に、Ｓ７０４において、背景差分算出部３０５は、オペレータ用仮想視点画像と背景画像の差分を取る。次に、Ｓ７０５において、占有率算出部３０４は、背景差分算出部３０５が算出した背景差分とオペレータ用仮想視点画像の領域の比（占有率）を求める。背景差分算出部３０５が算出した背景差分は選手やボール等の被写体に相当し、オペレータ用仮想視点画像に対し被写体画像が占める割合が占有率となる。

次に、Ｓ７０６において、接近度算出部３０１は、競技係数及び占有率に基づいて、接近度を計算する。接近度算出部３０１は、例えば、（式３）により接近度を算出する。競技係数及び占有率も０から１までの値としておくことで接近度も０から１の範囲に納まる。

接近度＝競技係数＊占有率 …（式３）

次に、Ｓ７０７において、表示制御部１１６は、接近度に基づいて、オペレータ用仮想視点画像の表示サイズを決定する。図８及び図９を参照しつつ、Ｓ７０７の処理について説明する。図８のグラフは、接近度とオペレータ用仮想視点画像の表示サイズの関係を示している。図８のグラフの横軸は接近度、縦軸はオペレータ用仮想視点画像の表示サイズである。グラフの全体の傾向としては、接近度が増加するにしたがい、オペレータ用仮想視点画像の表示サイズは小さくなる。表示制御部１１６は、図８に示すグラフ（関数）に従い、接近度からオペレータ用仮想視点画像の表示サイズを決定する。

図８に示すグラフにおいて、接近度が０から０．１までの間では、オペレータ用仮想視点画像の表示サイズは拡張用仮想視点画像の表示サイズと等しいサイズとなる。この場合、図９（ａ）に示すように、オペレータ用仮想視点画像９０１と拡張用仮想視点画像９０２の表示サイズは等しくなる。すなわち、拡張用仮想視点画像９０２は表示されない。これは、フィールド全体を撮像するようなワイドなアングルの場合であり、拡張用仮想視点画像９０２が不要なためである。

接近度が０．１から０．２までの間では、オペレータ用仮想視点画像の表示サイズは、接近度の増加に応じて減少する。この場合、図９（ｂ）に示すように、オペレータ用仮想視点画像９１１の表示サイズは、拡張用仮想視点画像９０２の表示サイズに比べて小さくなる。

接近度が０．２から０．７までの間では、接近度の増加に関係なく、オペレータ用仮想視点画像の表示サイズは一定とする。この場合、図９（ｃ）に示すように、拡張仮想視点画像９２２の表示サイズに対するオペレータ用仮想視点画像９２１の表示サイズの比は、図９（ｂ）に示す表示サイズの比に比べてさらに小さくなる。接近度が０．７から０．８までの間では、接近度の増加に応じてオペレータ用仮想視点画像の表示サイズが減少する。この場合、図９（ｄ）に示すように、拡張仮想視点画像９３２の表示サイズに対するオペレータ用仮想視点画像９３１の表示サイズの比は、図９（ｃ）に示す状態におけるサイズ比に比べてさらに小さくなる。

このように、接近度が大きくなるに従い、オペレータ用仮想視点画像の表示サイズを小さくすることで、拡張用仮想視点画像の表示スペースを確保する。これにより、オペレータは、オペレータ用仮想視点画像の周辺で起きる事象に気付き易くなり、ボールや選手の急な動きに追従できる。

接近度が０．８から１．０までの間では、接近度の増加に関係なく、オペレータ用仮想視点画像の表示サイズは一定となる。この場合、図９（ｅ）に示すように、拡張仮想視点画像９４２の表示サイズに対するオペレータ用仮想視点画像９４１の表示サイズの比は、図９（ｄ）に示す状態におけるサイズ比に比べてさらに小さくなる。０．８から１．０の間で表示サイズを一定としたのは、表示サイズが小さくなり過ぎて、オペレータが画像を確認するのに支障が生じるのを防ぐためである。

選手等をクローズアップするアングルの場合には、図９（ｄ）や図９（ｅ）に示すように、拡張用仮想視点画像の画角は、比較的広い画角となる。このため、オペレータは、オペレータ用仮想視点画像で起きる事象に気付きやすくなる。

第１の実施形態においては、オペレータ用仮想視点画像の表示サイズは固定で図９（ｃ）に対応する値であるとし、αとｍは第１の実施形態におけるものと同一の値とする。この場合、第２の実施形態においては、オペレータ用仮想視点画像の表示サイズは、接近度が大きくなるにつれて第１の実施形態の表示サイズｌよりも小さくなることがわかる。第１の実施形態において説明した（式１）において、ａｒｃｔａｎは単調増加関数なので、拡張用仮想視点の画角βは、第１の実施形態の場合と比べると大きくなることが分かる。なお、第２の実施形態に係る画像生成システムのこれ以外の構成及び処理は、第１の実施形態に係る画像生成システムの構成及び処理と同様である。

以上のように、第２の実施形態に係る画像生成システムにおいては、表示サイズが固定された拡張用仮想視点画像に対し、その内側に表示するオペレータ用仮想視点画像の表示サイズを、状況に応じて適宜変更することができる。これにより、オペレータ用仮想視点画像の周囲で起きる事象等をより確実に表示させることができる。

なお、接近度を算出する処理は実施形態に限定されるものではない。第１の変形例としては、表示制御装置１００は、競技の種類を考慮することなく、占有率に基づいて接近度を算出してもよい。すなわち、表示制御装置１００は、占有率に基づいて、オペレータ用仮想視点画像の表示サイズを決定してもよい。

また、接近度を算出する処理の第２の変形例としては、表示制御装置１００は、被写体と仮想視点の間の距離に基づいて、接近度を算出してもよい。図１０は、第２の変形例に係る表示サイズ決定処理（Ｓ６０１）における詳細な処理を示すフローチャートである。

Ｓ１００１において、画像判別部３０２が競技の種類を判定する。次に、Ｓ１００２において、被写***置取得部３０６は、被写体の位置を取得する。被写体の位置の取得方法としては既知の手法を用いる。例えば、選手に付けた位置センサを利用する場合や、画像認識を利用して選手の位置を算出してもよい。あるいは、放送用仮想視点画像の中心の位置を世界座標に変換し、被写体の位置として用いてもよい。

次に、Ｓ１００３において、距離算出部３０７は、放送用仮想視点保持部１１２が保持する仮想視点情報から仮想視点の位置を取得する。次に、Ｓ１００４において、距離算出部３０７は、仮想視点の位置と被写***置取得部３０６が取得した被写***置に基づいて両者の距離を算出する。距離は、世界座標のユークリッド距離を用いるものとする。次に、Ｓ１００５において、接近度算出部３０１は、ズーム倍率を取得する、なお、ズーム倍率は画角から算出可能であり、放送用仮想視点保持部１１２に保持されている画角を用いる。画角が広いとズーム倍率が低く、画角が狭いとズーム倍率が高いという関係がある。

次に、Ｓ１００６において、接近度算出部３０１は、競技係数、距離、ズーム倍率に基づいて接近度を算出する。接近度算出部３０１は、例えば、（式４）のように、０から１の間でスケーリングした接近度を算出する。

接近度＝競技係数＊ズーム倍率／距離 …（式４）

距離が分母にあるのは、距離が大きくなるにしたがい接近度が低くなるためである。次に、Ｓ１００７において、表示制御部１１６は、接近度に基づいて、オペレータ用仮想視点画像の表示サイズを決定する。本処理は、Ｓ７０７における処理と同様である。

また、接近度を算出する処理の第３の変形例としては、表示制御装置１００は、複数の要因に基づいて、接近度を算出してもよい。図１１は、第３の変形例に係る表示サイズ決定処理（Ｓ６０１）における詳細な処理を示すフローチャートである。第３の変形例においては、複数の要因の一例として、競技の種類、仮想視点の位置、ズーム倍率、画角、仮想視点と被写体との距離、画像上での被写体の移動速度に基づいて、接近度を算出する。なお、表示制御装置１００は、これらの要因のうち少なくとも１つに基づいて接近度を算出してもよい。また他の例としては、表示制御装置１００は、過去の手本となるカメラワークの結果とともにこれら要因の値を保存しておき、数量化Ｉ類等の統計的手法を用いてこれらのルールを導出してもよい。

Ｓ１１０１において、接近度算出部３０１は、接近度ｓを０に設定する。次に、Ｓ１１０２において、画像判別部３０２は、競技の種類を取得する。画像判別部３０２は、競技の種類がサッカーの場合は（Ｓ１１０２でＹｅｓ）、処理をＳ１１０３へ進める。画像判別部３０２は、競技の種別がサッカーでない場合には（Ｓ１１０２でＮｏ）、処理をＳ１１０４へ進める。

Ｓ１１０３において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．１とする。次に、Ｓ１１０４において、接近度算出部３０１が、放送用仮想視点保持部１１２が保持する仮想視点から位置を取得し、位置がフィールド内か否かを判定する。接近度算出部３０１は、位置がフィールド内の場合には（Ｓ１１０４でＹｅｓ）、処理をＳ１１０５へ進める。接近度算出部３０１は、位置がフィールド外の場合には（Ｓ１１０４でＮｏ）、処理をＳ１１０６へ進める。Ｓ１１０５において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．１とする。

次に、Ｓ１１０６において、接近度算出部３０１は、放送用仮想視点保持部１１２から画角を取得し、ズーム倍率を算出する。そして、接近度算出部３０１は、ズーム倍率が２以上の場合は（Ｓ１１０６でＹｅｓ）、処理をＳ１１０７へ進める。接近度算出部３０１は、ズーム倍率が２未満の場合には（Ｓ１１０６でＮｏ）、処理をＳ１１０８へ進める。Ｓ１１０７において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．４とする。次に、Ｓ１１０８において、接近度算出部３０１は、放送用仮想視点保持部１１２が保持する仮想視点から画角を取得する。そして、接近度算出部３０１は、画角が３０度未満の場合は（Ｓ１１０８でＹｅｓ）、処理をＳ１１０９へ進める。接近度算出部３０１は、画角が３０度以上の場合は（Ｓ１１０８でＮｏ）、処理をＳ１１１０へ進める。Ｓ１１０９において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．４とする。

次に、Ｓ１１１０において、距離算出部３０７は、被写体までの距離を算出する。具体的には、距離算出部３０７は、図１０を参照しつつ説明したＳ１００２〜Ｓ１００４の処理と同様の処理を行う。距離算出部３０７は、距離が１０ｍ未満の場合は（Ｓ１１１０でＹｅｓ）、処理をＳ１１１１へ進める。距離算出部３０７は、距離が１０ｍ以上の場合には（Ｓ１１１０でＮｏ）、処理をＳ１１１２へ進める。Ｓ１１１１において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．６とする。

次に、Ｓ１１１２において、占有率算出部３０４は、被写体の画像に占める割合である占有率を算出する。具体的には、占有率算出部３０４は、図７を参照しつつ説明したＳ７０２〜Ｓ７０５の処理と同様の処理を行う。占有率算出部３０４は、占有率が３０％以上の場合は（Ｓ１１１２でＹｅｓ）、処理をＳ１１１３へ進める。占有率算出部３０４は、占有率が３０％未満の場合は（Ｓ１１１２でＮｏ）、処理をＳ１１１４へ進める。

Ｓ１１１３において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．３とする。次に、Ｓ１１１４において、接近度算出部３０１は、１フレーム前と処理時点におけるオペレータ用仮想視点画像における、被写体の画像中での移動距離を算出する。なお、処理時点におけるオペレータ用仮想視点画像（フレーム）と、その１フレーム前のオペレータ用仮想視点画像（フレーム）とが、オペレータ用仮想視点画像保持部３０８に保持されているものとする。接近度算出部３０１は、被写体の位置は被写***置取得部３０６から取得し、取得した被写体の位置を少なくとも１フレームの間保持しておくものとする。

次に、接近度算出部３０１は、被写体の位置（世界座標）から画像中での位置を求める。画像の仮想視点が既知であるため、簡単な幾何的計算で求めることができる。１フレーム前と処理時点の仮想視点は、放送用仮想視点保持部１１２に保持されているものとし、それを利用する。接近度算出部３０１は、２次元のユークリッド距離を用いて１フレーム当たりの画像中の移動距離を算出し、これを移動速度とする。接近度算出部３０１は、移動速度が画像の横幅の１／３以上である場合は（Ｓ１１１４でＹｅｓ）、処理をＳ１１１５へ進める。接近度算出部３０１は、移動速度が画像の横幅の１／３未満である場合は（Ｓ１１１４でＮｏ）、処理をＳ１１１６へ進める。Ｓ１１１５において、接近度算出部３０１は、接近度ｓ＝ｓ＋０．２とする。

次に、Ｓ１１１６において、接近度算出部３０１は、接近度の値の比較を行う。接近度算出部３０１は、接近度ｓが１より大きい場合は（Ｓ１１１６でＹｅｓ）、処理をＳ１１１７へ進める。接近度算出部３０１は、接近度ｓが１以下の場合は（Ｓ１１１６でＮｏ）、処理をＳ１１１８へ進める。Ｓ１１１７において、接近度算出部３０１は、接近度ｓ＝１．０とする。次に、Ｓ１１１８において、表示制御部１１６は、オペレータ用仮想視点画像の表示サイズを決定する。本処理は、Ｓ７０７における処理と同様である。

このように、本例の表示制御装置１００は、状況に応じてオペレータ用仮想視点画像の表示サイズを制御する。これにより、オペレータは、クローズアップのアングルでも周辺で起きる事象に気付き易くなる。また、ワイドなアングルではオペレータ用仮想視点画像の視認性をより高めることができる。

（第３の実施形態）
次に、第３の実施形態に係る画像生成システムについて説明する。第３の実施形態に係る画像生成システムにおいては、表示制御装置１００は、撮像時刻（撮像タイミング）の異なるオペレータ用仮想視点画像と拡張用仮想視点画像とを同時に表示する。本実施形態に係る表示制御装置１００は、第１の時刻における撮像画像から得られたオペレータ用仮想視点画像と、第１の時刻よりも後の時刻である第２の時刻における撮像画像から得られた拡張用仮想視点画像とを同時に表示する。但し、両画像に対応する撮像時刻が異なればよく、撮像時刻の関係は実施形態に限定されるものではない。

以下、第３の実施形態に係る画像生成システムについて、他の実施形態に係る画像生成システムと異なる点について説明する。図１２は、オペレータ用仮想視点画像よりも時間を進めた拡張用仮想視点画像を生成する処理の説明図である。放送システムでは、ライブ放送中に、放送してはいけないものが放送されないように撮像装置１０９の撮像時刻から数秒のバッファ時間を設けることが一般的である。撮像時刻をＴｂ、所定時点の時刻をＴｃとすると、処理時点の時刻Ｔｃには時刻Ｔｂに撮像された映像が放送される。つまり、バッファ時間はＴｃ−Ｔｂとなる。

本実施形態に係る画像生成システムは、このバッファ時間を利用する。ここでは撮像装置１０９で撮像した画像をすぐに仮想視点画像生成に利用できるものとする。実際には若干のタイムラグが生じるがここでは説明を簡単にするため、タイムラグはないものとして説明する。第１の実施形態及び第２の実施形態の表示制御装置１００は、撮像時刻Ｔｂに撮像された画像に基づいて、オペレータ用仮想視点画像及び拡張用仮想視点画像を生成する。一方で、本実施形態に係る表示制御装置１００は、バッファ時間を設け、時刻Ｔｂから処理時点の時刻Ｔｃまでに撮り貯めた画像群１２０１を利用することが可能である。

１２０２は、第１の実施形態および第２の実施形態において、仮想視点を指定する設定画面上に表示されるオペレータ用仮想視点画像と拡張用仮想視点画像がどの撮像画像を利用しているかを矢印で表現している。オペレータ用仮想視点画像１２０４と拡張用仮想視点画像１２０５とも時刻Ｔｂに撮像された画像が使われている。

一方、１２０３は、本実施形態において設定画面上に表示されるオペレータ用仮想視点画像と拡張用仮想視点画像がどの撮像画像を利用しているかを矢印で表現している。オペレータ用仮想視点画像１２０６は時刻Ｔｂに撮像された画像が使われており、拡張用仮想視点画像１２０７は、時刻Ｔｂ＋ｔに撮像された画像が使われている。このように、バッファ時間を導入している画像生成システムにおいては、オペレータ用仮想視点画像と拡張用仮想視点画像を生成する際に用いる画像の撮像時刻を変えることが可能である。

図１２を参照しつつ説明した通り、オペレータ用仮想視点画像を基準に考えると拡張用仮想視点画像には、基準時よりも後（未来）に起こる事象を表示することが可能である。すなわち、オペレータは、オペレータ用仮想視点画像の周辺で起きる未来の事象を知ることができ、これから確実に起きるボールや選手の急な動きを知った上でカメラワークを行うことが可能になる。図１３は、第３の実施形態に係る表示制御装置１００の機能構成図である。本実施形態に係る表示制御装置１００は、図５を参照しつつ説明した第２の実施形態に係る表示制御装置１００の機能構成において、接近度算出部３０１に替えて、時間制御部１３０１を有している。時間制御部１３０１は、進める時間を決定する。

図１４は、第３の実施形態に係る表示制御装置１００による情報処理を示すフローチャートである。図３、図６に示す処理と同じ処理には同じ番号を付与し、説明を省略する。ＣＰＵ１０１は、Ｓ３０３の処理の後、処理をＳ６０１へ進め、Ｓ６０１の処理の後、処理をＳ１４０１へ進める。Ｓ１４０１において、時間制御部１３０１は、進める時間を決定する。なお、他の例としては、進める時間は予め設定されているものとする。また、他の例としては、オペレータが操作部１０７を介して、進める時間を入力してもよい。例えば、入力デバイスとしてダイヤルを用いてもよい。ダイヤルを右に回すと時間を進め、左に回すと時間を戻すように入力部１１８で割り付けることで、ユーザが進める時間を入力することが可能になる。言うまでもないことであるが、入力デバイスは任意のものでよく、例えばタッチパネルやマウスを使ってＧＵＩで実現してもよい。

次に、Ｓ３０４において、視点出力部１１７が、放送用仮想視点、オペレータ用仮想視点、拡張用仮想視点をそれぞれ画像生成装置１１０に出力する。その際、視点出力部１１７は、拡張用仮想視点に関しては、進める時間情報も合わせて出力する。画像生成装置１１０は、放送用仮想視点、オペレータ用仮想視点、拡張用仮想視点に基づき、放送用仮想視点画像、オペレータ用仮想視点画像、拡張用仮想視点画像を生成し、オペレータ用仮想視点画像と拡張用仮想視点画像を画像受信部１１５に出力する。画像生成装置１１０は、拡張用仮想視点画像を生成する際に、進める時間情報に基づいて、仮想視点画像生成に利用する撮像画像を選択する。

図１５は、進める時間を決定する処理（Ｓ１４０１）における詳細な処理を示すフローチャートである。時間制御部１３０１は、複数の要因に基づいて、進める時間を決定する。本実施形態においては、時間制御部１３０１は、競技の種類、仮想視点の位置、ズーム倍率、画角、仮想視点と被写体との距離、画像上での被写体の移動速度に基づいて、進める時間を決定する。言うまでもないことであるが、これ以外の要因を用いてもよいし、この中の要因のすべてを必ずしも用いる必要はない。また、過去の手本となるカメラワークの結果とともにこれら要因の値を保存しておき、数量化Ｉ類等の統計的手法を用いてこれらのルールを導出してもよい。

Ｓ１５０１において、時間制御部１３０１は、進める時間ｔ＝０（単位ミリ秒）を設定する。次に、Ｓ１５０２において、画像判別部３０２は、競技の種類を取得する。画像判別部３０２は、競技の種類がサッカーの場合は（Ｓ１５０２でＹｅｓ）、処理をＳ１５０３へ進める。画像判別部３０２は、競技の種類がサッカーでない場合には（Ｓ１５０２でＮｏ）、処理をＳ１５０４へ進める。Ｓ１５０３において、時間制御部１３０１は、進める時間ｔ＝ｔ＋１０とする。

次に、Ｓ１５０４において、時間制御部１３０１は、放送用仮想視点保持部１１２が保持する仮想視点の置を取得し、位置がフィールド内か否かを判定する。時間制御部１３０１は、フィールド内の場合は（Ｓ１５０４でＹｅｓ）、処理をＳ１５０５へ進める。時間制御部１３０１は、フィールド外の場合は（Ｓ１５０４でＮｏ）、処理を１５０６へ進める。Ｓ１５０５において、時間制御部１３０１は、進める時間ｔ＝ｔ＋３０とする。次に、Ｓ１５０６において、時間制御部１３０１は、放送用仮想視点保持部１１２が保持する仮想視点から画角を取得し、ズーム倍率を算出する。時間制御部１３０１は、ズーム倍率が２以上の場合は（１５０６でＹｅｓ）、処理をＳ１５０７へ進める。時間制御部１３０１は、ズーム倍率が２未満の場合は（Ｓ１５０６でＮｏ）、処理をＳ１５０８へ進める。Ｓ１５０７において、時間制御部１３０１は、進める時間ｔ＝ｔ＋５０とする。

次に、Ｓ１５０８において、時間制御部１３０１は、放送用仮想視点保持部１１２が保持する画角を取得する。時間制御部１３０１は、画角が３０度未満の場合は（Ｓ１５０８でＹｅｓ）、処理をＳ１５０９へ進める。時間制御部１３０１は、画角が３０度以上の場合は（Ｓ１５０８でＮｏ）、処理をＳ１５１０へ進める。Ｓ１５０９において、時間制御部１３０１は、進める時間ｔ＝ｔ＋５０とする。次に、Ｓ１５１０において、距離算出部３０７が、被写体までの距離を算出する。本処理は、図１１を参照しつつ説明したＳ１１１０の処理と同様である。距離算出部３０７は、距離が１０ｍ未満の場合は（Ｓ１５１０でＹｅｓ）、処理をＳ１５１１へ進める。距離算出部３０７は、距離が０ｍ以上の場合は（Ｓ１５１０でＮｏ）、処理をＳ１５１２へ進める。Ｓ１５１１において、時間制御部１３０１は、進める時間ｔ＝ｔ＋３０とする。

次に、Ｓ１５１２において、占有率算出部３０４は、被写体の画像に占める割合である占有率を算出する。本処理は、図１１を参照しつつ説明したＳ１１１２の処理と同様である。占有率算出部３０４は、占有率が３０％以上の場合は（Ｓ１５１２でＹｅｓ）、処理をＳ１５１３へ進める。占有率算出部３０４は、占有率が３０％未満の場合は（Ｓ１５１２でＮｏ）、処理をＳ１５１４へ進める。Ｓ１５１３において、時間制御部１３０１は、進める時間ｔ＝ｔ＋３０とする。次に、Ｓ１５１４において、時間制御部１３０１は、被写体の移動距離を算出する。本処理は、図１１を参照しつつ説明したＳ１１１４の処理と同様である。時間制御部１３０１は、移動速度が画像の横幅の１／３以上である場合は（Ｓ１５１４でＹｅｓ）、処理をＳ１５１５へ進める。接近度算出部３０１は、移動速度が画像の横幅の１／３未満である場合は（Ｓ１５１４でＮｏ）、処理をＳ１５１６へ進める。Ｓ１５１５において、時間制御部１３０１は、進める時間ｔ＝ｔ＋２０とする。

次に、Ｓ１５１６において、時間制御部１３０１は、進める時間の値の比較を行う。時間制御部１３０１は、進める時間ｔがＴｃ−Ｔｂより大きい場合は（Ｓ１５１６でＹｅｓ）、処理をＳ１５１７へ進める。時間制御部１３０１は、時間ｔがＴｃ−Ｔｂ以下の場合は（Ｓ１５１６でＮｏ）、処理を終了する。なお、Ｔｃは、処理時点の時刻、Ｔｂは、放送用仮想視点画像の生成に用いる画像の撮像時刻である。Ｓ１５１７においては、時間制御部１３０１は、進める時間ｔ＝Ｔｃ−Ｔｂとする。以上で、進める時間を決定する処理が終了する。なお、第３の実施形態に係る画像生成システムのこれ以外の構成及び処理は、他の実施形態に係る画像生成システムの構成及び処理と同様である。

以上のように、第３の実施形態に係る画像生成システムにおいては、オペレータ用仮想視点画像とは撮像時刻の異なる撮像画像から得られたオペレータ用仮想視点画像と、拡張用仮想視点画像とを同時に表示する。これにより、オペレータは、オペレータ用仮想視点画像を確認しつつ、オペレータ用仮想視点画像とは異なる撮像時刻に生じた事象等についても確認することができる。

（第４の実施形態）
次に、第４の実施形態に係る画像生成システムについて説明する。第４の実施形態に係る画像生成システムにおいても、表示制御装置１００は、第１の時刻における撮像画像から得られたオペレータ用仮想視点画像と、第２の時刻における撮像画像から得られた拡張用仮想視点画像とを同時に表示する。但し、第４の実施形態の表示制御装置１００は、複数の時間を進めた拡張用仮想視点画像を解析して選手やボール等の被写体の検出結果に基づいて設定画面上に表示する拡張用仮想視点画像を決定する。

図１６は、拡張用仮想視点画像を解析して選手やボールを抽出した結果に基づいて進める時間を決定する処理の説明図である。図１６（ａ）は、時系列の拡張用仮想視点画像を示す図である。１６０１は、時刻Ｔｂ＋０．１（秒）における拡張用仮想視点画像である。仮想視点は時刻Ｔｂにおけるオペレータ用仮想視点と同じである。つまり、オペレータにとっては、０．１秒後の未来が表示されることになる。同様に、１６０２から１６０５は、それぞれ時刻Ｔｂ＋０．２からＴｂ＋０．５における拡張用仮想視点画像である。

１６０６と１６０７はボールである。ボールは拡張用仮想視点画像の左から進入し下に抜けていくことがわかる。ここでは、初めてボールが現れる拡張用仮想視点画像１６０３を設定画面に表示するものとする。図１６（ｂ）は、時刻Ｔｂにおける設定画面１６１０の表示例を示す図である。１６０８は時刻Ｔｂにおけるオペレータ用仮想視点画像である。１６０３は、時刻Ｔｂ＋０．３における拡張用仮想視点画像である。

図１７は、第４の実施形態に係る情報処理を示すフローチャートである。図１３と同じ処理には同じ番号を付与し、説明を省略する。ＣＰＵ１０１は、Ｓ３０３の処理の後、処理をＳ６０１へ進める。その後、処理をＳ３０４へ進める。Ｓ３０４において、視点出力部１１７は、放送用、オペレータ用、拡張用それぞれの仮想視点を出力する。そして、画像生成装置１１０は、仮想視点画像を生成する。このとき、視点出力部１１７は、時刻ＴｂからＴｃまでの間を０．１秒刻みで指定し、画像生成装置１１０は、指定に応じて、０．１秒刻みの複数の拡張用仮想視点画像を生成する。なお、ここで生成された複数の拡張用仮想視点画像を候補画像と称する。ただし、仮想視点は時刻Ｔｂのものを用いる。なお、ここでは、０．１秒刻みを一例として挙げたがこれに限定されるものではなく、任意の間隔で指定してもよいものである。

Ｓ３０４の処理ののち、ＣＰＵ１０１は、処理をＳ１７０１へ進める。Ｓ１７０１において、被写***置取得部３０６は、時刻ＴｂからＴｃまでの拡張用仮想視点画像の候補画像（０．１秒刻み）から被写体を検出する。そして、被写***置取得部３０６は、時間的に最初に被写体（選手またはボール）が現れた候補画像を設定画面上に表示する拡張用仮想視点画像として決定し（画像決定処理）、その後処理をＳ３０５へ進める。なお、第４の実施形態に係る画像生成システムのこれ以外の構成及び処理は、他の実施形態に係るが図生成システムの構成及び処理と同様である。

以上のように、第４の実施形態に係る画像生成システムにおいては、適切な撮像時刻に対応する拡張用仮想視点画像を、オペレータ用仮想視点画像と同時に表示することができる。これにより、オペレータは、オペレータ用仮想視点画像を確認しつつ、オペレータ用仮想視点画像とは異なる撮像時刻に生じた事象等についても確認することができる。

以上で説明した例は、拡張用仮想視点画像を１つ選択して、表示するものであるが、オペレータ用仮想視点画像と同時に表示する拡張用仮想視点画像の数は複数であってもよい。

図１８は、図１６（ａ）に示す、被写体が存在する１６０３と１６０４を重畳した１６０９を示す設定画面１８００の表示例を示す図である。ここでは、時間的な違いを表現するためにより遠い未来の被写体を薄く表示している。言うまでもないことであるが、時間的な違いの表現方法はこれに限定されるものではなく、アルファ値、文字、色等任意の表現手段で表現してもよいものとする。

この場合も、表示制御装置１００による情報処理は、第４の実施形態において図１７を参照しつつ説明した情報処理と基本的には同じである。違いは以下の２つである。１点目は、Ｓ１７０１において、被写***置取得部３０６が、被写体が存在する拡張用仮想視点画像をすべて選択する点である。２点目は、Ｓ３０５において、表示制御部１１６が、被写体が存在する複数の拡張用仮想視点画像を重畳してオペレータ用仮想視点画像とともに表示する点である。

また、本実施形態においては、Ｓ６０１においてオペレータ用仮想視点画像の表示サイズを決定することとしたが、本処理は省略し、表示サイズを制御しないこととしてもよい。

以上、上述した各実施形態によれば、オペレータによる仮想視点の操作時の被写体の撮り逃しを低減し、スムーズなカメラワークを実現することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

＜その他の変形例＞
以上本発明に係る実施形態を説明したが、必ずしも放送を前提とした表示制御装置である必要はない。例えば、一般ユーザがＳＮＳにアップロードするための映像コンテンツを生成する場合に、放送用仮想視点の代わりにコンテンツ用仮想視点を決定する装置であってもよい。また、この場合、放送システムに対して出力する必要はなく、ユーザが使用しているパーソナルコンピュータに保存したり、ＳＮＳのサーバーにアップロードしたりしてもよい。

また、先に説明したように、表示制御装置は、通常のパーソナルコンピュータ等の汎用表示制御装置であって、それ上で動作するコンピュータプログラムで実現できるものである。よって、本発明はコンピュータプログラムをその範疇とすることは明らかである。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 表示制御装置
１０９ 撮像装置
１１０ 画像生成装置

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

そこで、本発明は、情報処理装置であって、第１の仮想視点画像を生成するために使用される第１の仮想視点の位置を決定する第１の決定手段と、前記第１の決定手段により決定される前記第１の仮想視点の位置に基づいて、第２の仮想視点画像を生成するために使用される第２の仮想視点の位置を決定する第２の決定手段と、前記第１の決定手段により決定される前記第１の仮想視点の位置に基づいて生成される前記第１の仮想視点画像と、前記第２の決定手段により決定される前記第２の仮想視点の位置に基づいて生成される前記第２の仮想視点画像とが、１つ以上の表示手段に表示されるように制御する表示制御手段とを有することを特徴とする。

Claims (18)

1. ユーザの操作に応じて仮想視点を受け付ける受付手段と、
   前記仮想視点に基づいて、撮像画像から生成された第１の仮想視点画像と、前記第１の仮想視点画像に比べて仮想的な撮影範囲の広い、第２の仮想視点画像とが表示画面上に表示されるよう制御する表示制御手段と
   を有することを特徴とする表示制御装置。
2. 前記第１の仮想視点画像及び前記第２の仮想視点画像は、仮想視点が同一で、かつ画角の異なる画像であることを特徴とする請求項１に記載の表示制御装置。
3. 前記第１の仮想視点画像及び前記第２の仮想視点画像は、画角が同一で、かつ仮想的な同一の光軸上の異なる位置を仮想視点とする画像であることを特徴とする請求項１に記載の表示制御装置。
4. 前記表示制御手段は、前記第１の仮想視点画像の中心位置と前記第２の仮想視点画像の中心位置を一致させた状態で前記第１の仮想視点画像と前記第２の仮想視点画像とが表示されるように制御することを特徴とする請求項２又は３に記載の表示制御装置。
5. 前記表示制御手段は、前記第１の仮想視点画像と前記第２の仮想視点画像とが識別可能に表示されるよう制御することを特徴とする請求項１乃至４の何れか１項に記載の表示制御装置。
6. 前記表示制御手段は、前記第１の仮想視点画像の周囲に前記第２の仮想視点画像を表示することを特徴とする請求項１に記載の表示制御装置。
7. 前記第１の仮想視点画像の画角に基づいて、前記第２の仮想視点画像の画角を決定する画角決定手段をさらに有することを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 前記画角決定手段は、さらに、前記第１の仮想視点画像の表示サイズと、第２の仮想視点画像の表示サイズと、に基づいて、前記第２の仮想視点画像の画角を決定することを特徴とする請求項７に記載の表示制御装置。
9. 前記第１の仮想視点画像における被写体の画像の占有率を特定する特定手段と、
   前記占有率に基づいて定まる、前記第１の仮想視点画像の第１のサイズに比べて大きい第２のサイズを、前記第２の仮想視点画像の表示サイズとして決定するサイズ決定手段とをさらに有し、
   前記表示制御手段は、前記第１のサイズの前記第１の仮想視点画像と、前記第２のサイズの前記第２の仮想視点画像と、が表示画面上に表示されるよう制御することを特徴とする請求項１に記載の表示制御装置。
10. 仮想視点と前記第１の仮想視点画像の被写体の位置との間の距離を特定する特定手段と、
    前記距離に基づいて定まる、前記第１の仮想視点画像の第１のサイズに比べて大きい第２のサイズを、前記第２の仮想視点画像の表示サイズとして決定するサイズ決定手段と
    をさらに有し、
    前記表示制御手段は、前記第１のサイズの前記第１の仮想視点画像と、前記第２のサイズの前記第２の仮想視点画像と、が表示画面上に表示されるよう制御することを特徴とする請求項１に記載の表示制御装置。
11. 前記第１の仮想視点画像の被写体の移動速度を特定する特定手段と、
    前記移動速度に基づいて定まる、前記第１の仮想視点画像の第１のサイズに比べて大きい第２のサイズを、前記第２の仮想視点画像の表示サイズとして決定するサイズ決定手段と
    をさらに有し、
    前記表示制御手段は、前記第１のサイズの前記第１の仮想視点画像と、前記第２のサイズの前記第２の仮想視点画像と、が表示画面に表示されるよう制御することを特徴とする請求項１に記載の表示制御装置。
12. 前記サイズ決定手段は、さらに前記撮像画像の種別に基づいて、前記第２のサイズを決定することを特徴とする請求項９乃至１１の何れか１項に記載の表示制御装置。
13. 前記第２の仮想視点画像は、前記第１の仮想視点画像に対応する撮像画像と異なるタイミングにおいて撮像された撮像画像から生成された画像であることを特徴とする請求項１乃至１２の何れか１項に記載の表示制御装置。
14. 前記第２の仮想視点画像は、前記第１の仮想視点画像に対応する撮像画像よりも後のタイミングにおいて撮像された撮像画像から生成された画像であることを特徴とする請求項１３に記載の表示制御装置。
15. 前記第１の仮想視点画像に対応する撮像画像と異なるタイミングにおいて撮像された撮像画像から生成された、第２の仮想視点画像の複数の候補画像から被写体を検出する検出手段と、
    前記検出手段による検出結果に基づいて、複数の前記候補画像から前記第２の仮想視点画像を決定する画像決定手段と
    をさらに有し、
    前記表示制御手段は、前記画像決定手段により決定された前記第２の仮想視点画像が表示画面上に表示されるよう制御することを特徴とする請求項１３又は１４に記載の表示制御装置。
16. 前記表示制御手段は、対応する撮像画像の撮像タイミングの異なる複数の第２の仮想視点画像を重畳して、前記第１の仮想視点画像と共に表示画面上に表示されるよう制御することを特徴とする請求項１３乃至１５の何れか１項に記載の表示制御装置。
17. 表示制御方法であって、
    ユーザの操作に応じて仮想視点を受け付ける受付ステップと、
    前記仮想視点に基づいて、撮像画像から生成された第１の仮想視点画像と、前記第１の仮想視点画像に比べて仮想的な撮影範囲の広い、第２の仮想視点画像とが表示画面上に表示されるよう制御する表示制御ステップと
    を含むことを特徴とする表示制御方法。
18. コンピュータに、請求項１７に記載の表示制御方法の各ステップを実行させるためのプログラム。

Images