JP6427258B1 - 表示制御装置、表示制御方法 - Google Patents

Abstract

【課題】 ユーザに適切な仮想視点を選択させるための技術を提供すること。
【解決手段】 １以上の撮像装置による撮像画像に基づいて生成された仮想視点画像を取得する。複数の仮想視点それぞれに対応する仮想視点画像を表示させる画面であって、複数の仮想視点から操作対象とする選択仮想視点を選択するための画面を表示させる。
【選択図】 図２

Description

本発明は、撮像画像に基づく仮想視点画像の表示技術に関するものである。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、該撮影により得られた複数枚の画像（複数視点画像）を用いて、カメラ設置位置からの画像だけでなく任意の視点（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。

複数視点画像に基づく仮想視点画像の生成及び閲覧は、次のような処理によって実現できる。すなわち、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、該画像処理部にて仮想視点に基づくレンダリング等の処理を行って仮想視点画像を生成し、該仮想視点画像をユーザ端末に表示することで実現できる。

仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作することができる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動させながら、試合観戦したりすることができるようにもなり、ユーザに高臨場感を与えることができる。特許文献１では、ユーザが複数の仮想視点の中からひとつの仮想視点を選択する技術が開示されている。

特開２０１４−２１５８２８号公報

特許文献１に記載の発明では、複数用意された仮想視点の中からユーザがひとつの仮想視点を選択し、該選択された仮想視点における仮想視点画像を表示することができる。また、仮想視点のおおよその位置が文字列で表示されるため、仮想視点の区別をすることができる。しかしながら、例えばスポーツの生中継において仮想視点のオペレータが利用する場合、仮想視点の切り替え前に切り替え後の仮想視点画像に何が映るのかを知ることができない。そのため、プレーに応じた仮想視点の適切な選択を行えない場合があった。本発明は、ユーザに適切な仮想視点を選択させるための技術を提供する。

本発明の一様態は、複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
を有し、
前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
前記複数の仮想視点のうち位置及び姿勢の操作対象として選択された仮想視点に応じた仮想視点画像は、他の装置へ送信されることを特徴とする。

本発明の構成により、ユーザに適切な仮想視点を選択させることができる。

システムの構成例を示すブロック図。 表示制御装置１００の機能構成例を示すブロック図。 システムが行う処理のフローチャート。 表示画面の構成例、仮想視点の配置例を示す図。 「複数の仮想視点に係る情報」の構成例を示す図。 表示制御装置１００の機能構成例を示すブロック図。 システムが行う処理のフローチャート。 入力デバイスの一例を示す図。 システムが行う処理のフローチャート。 表示制御装置１００の機能構成例を示すブロック図。 システムが行う処理のフローチャート。 第４の実施形態を説明する図。 第４の実施形態を説明する図。 仮想視点セットの一例、テーブル情報の構成例を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、表示制御装置１００、画像生成装置１１０、撮像装置１０９−１〜１０９−ｎ（ｎは２以上の整数）、を有する。

先ず、撮像装置１０９−１〜１０９−ｎについて説明する。撮像装置１０９−１〜１０９−ｎは互いに異なる複数の方向から被写体の映像を撮像するために設けられたものであり、撮像装置１０９−１〜１０９−ｎのそれぞれは、撮像した映像を構成する各フレームの画像（撮像画像）を画像生成装置１１０に出力する。撮像装置１０９−１〜１０９−ｎと画像生成装置１１０との間の接続形態については特定の接続形態に限らない。すなわち、撮像装置１０９−１〜１０９−ｎと画像生成装置１１０との間の接続形態はデイジーチェーンであっても良いし、スター型のネットワーク構成であっても良い。また、この接続形態は無線であっても良いし有線であっても良いし、それらの組み合わせであっても良い。

次に、表示制御装置１００について説明する。表示制御装置１００は、仮想視点に基づく仮想視点画像の生成を画像生成装置１１０に要求し、該要求に応じて該画像生成装置１１０が生成した仮想視点画像の表示制御を行うものである。表示制御装置１００は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット型端末装置、等のコンピュータ装置により構成される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１０１は、表示制御装置１００全体の動作制御を行うと共に、表示制御装置１００が行うものとして後述する各処理を実行若しくは制御する。

ＲＯＭ１０２には、起動プログラムや設定データなど、書換不要のコンピュータプログラムやデータが格納されている。

ＲＡＭ１０３は、ＲＯＭ１０２やＨＤＤ（ハードディスクドライブ）１０４からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ１０３は、通信Ｉ／Ｆ（インターフェース）１０６を介して画像生成装置１１０から受信したデータ（例えば仮想視点画像）、を格納するためのエリアを有する。またＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。

ＨＤＤ１０４は、ＯＳ（オペレーティングシステム）や、表示制御装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。ＨＤＤ１０４に保存されているデータには、以下の説明において既知の情報として説明するものが含まれている。ＨＤＤ１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

表示部１０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１０５は、ＣＰＵ１０１による処理結果を画像や文字として投影する投影装置であっても良い。また表示部１０５は、タッチパネル画面であっても良いし、ＨＭＤ（ヘッドマウントディスプレイ）等の頭部装着型表示装置、ハンドヘルドタイプの表示装置、スマートフォン、タブレット型端末装置であっても良い。

通信Ｉ／Ｆ１０６は、画像生成装置１１０との間のデータ通信を行うためのインターフェースとして機能するものである。表示制御装置１００と画像生成装置１１０との間の接続形態は特定の接続形態に限るものではない。例えば、表示制御装置１００と画像生成装置１１０との間のネットワークは無線ネットワークであっても良いし、有線ネットワークであっても良いし、それらの組み合わせであっても良い。

操作部１０７は、キーボード、マウス、ジョイスティック、ゲームパッド、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。

ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、表示部１０５、通信Ｉ／Ｆ１０６、操作部１０７、は何れもバス１０８に接続されている。なお、図１に示した表示制御装置１００の構成は一例であり、以下に表示制御装置１００が行うものとして後述する処理を実現可能な構成であれば、如何なる構成を採用しても良い。例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等の情報記録媒体への情報の読み書きを行う構成を表示制御装置１００に加えても良い。この場合、ＨＤＤ１０４が保持するものとして説明する情報をこの情報記録媒体に格納させておいても良い。また、情報を記録する媒体として、表示制御装置１００とネットワークを介して接続されているサーバ装置を使用しても良い。このように、表示制御装置１００が取り扱うコンピュータプログラムやデータなどの情報を保持する機器は特定の機器に限らない。

次に、画像生成装置１１０について説明する。画像生成装置１１０は、表示制御装置１００からの要求に応じて、仮想視点に基づく仮想視点画像の生成を、撮像装置１０９−１〜１０９−ｎのうち１つ以上の撮像装置による撮像画像に基づいて生成する。そして画像生成装置１１０は、該生成した仮想視点画像を表示制御装置１００に対して送信する。画像生成装置１１０は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット型端末装置、等のコンピュータ装置により構成される。

次に、表示制御装置１００の機能構成例について、図２のブロック図を用いて説明する。管理部２０１は、ＨＤＤ１０４やＲＡＭ１０３に保持している複数の仮想視点に係る情報を管理する。管理部２０１が管理する「複数の仮想視点に係る情報」の構成例について、図５を用いて説明する。図５のテーブル情報は、「複数の仮想視点に係る情報」の一例である。図５のテーブル情報には、６つの仮想視点のそれぞれの視点情報（視点種類、視点ＩＤ、位置、方向、画角）が登録されている。なお、図５では、視点情報には視点種類、視点ＩＤ、位置、方向、画角が含まれているものとしたが、視点情報が含む情報はこれに限らず、例えば、視点種類、視点ＩＤ、位置、方向、画角に加えて焦点距離など他の情報を含んでも良い。また、各仮想視点を規定する情報の内容や各視点を規定する情報の管理方法については特定の形態に限らない。

図５に示す如く、６つの仮想視点のうち１つの仮想視点のみが選択仮想視点（視点種類）となり、残りの５つの仮想視点が切替用仮想視点（視点種類）となる。「選択仮想視点」とは、ユーザが操作部１０７を操作して操作する対象となる仮想視点であり、「切替用仮想視点」とは、ユーザが操作部１０７を操作して選択仮想視点として選択する候補となる仮想視点である。図５の場合、視点ＩＤ＝４０８に対応する仮想視点が選択仮想視点であり、視点ＩＤ＝４０９〜４１３に対応する仮想視点が切替用仮想視点である。

例えば、ユーザが操作部１０７を操作して視点ＩＤ＝４０９の仮想視点を選択仮想視点として選択（指定）する操作を行ったとする。このとき管理部２０１は、視点ＩＤ＝４０９に対応する視点種類を「選択仮想視点」に変更し、視点ＩＤ＝４０８に対応する視点種類を「切替用仮想視点」に変更する。このようにして、ユーザは操作部１０７を操作することで、図５のテーブル情報に登録されている６つの仮想視点のうち任意の１つの仮想視点を選択仮想視点として選択することができる。以下では具体的な説明を行うために、ＨＤＤ１０４やＲＡＭ１０３には図５に示すようなテーブル情報が登録されているものとし、管理部２０１は、このテーブル情報を管理しているものとする。切替用仮想視点の初期値は、事前にユーザにより任意に設定されたものでもよいし、システムによって定められた任意の値を用いてもよい。

そして管理部２０１は、テーブル情報に登録されている各切替用仮想視点の視点情報を読み出して出力部２０２に対して出力する。また管理部２０１は、テーブル情報に登録されている選択仮想視点の視点情報を読み出す。そして管理部２０１は、該読み出した視点情報に含まれている位置をコピーした第２位置、該視点情報に含まれている方向をコピーした第２方向、該視点情報に含まれている画角をコピーした第２画角を生成する。そして管理部２０１は、テーブル情報に登録されている選択仮想視点の視点情報に含まれている視点種類及び視点ＩＤと、第２位置、第２方向、第２画角と、を含む選択視点情報を生成し、該選択視点情報を出力部２０２に対して出力する。

出力部２０２は、管理部２０１から出力された視点情報及び選択視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して出力することで、選択仮想視点及び各切替用仮想視点に対応する仮想視点画像の生成を画像生成装置１１０に対して要求する。

受信部２０３は、出力部２０２による上記の要求に応じて画像生成装置１１０が生成した仮想視点画像（選択仮想視点に対応する仮想視点画像、切替用仮想視点に対応する仮想視点画像）を、通信Ｉ／Ｆ１０６を介して画像生成装置１１０から受信する。なお、画像生成装置１１０から出力される仮想視点画像には、該仮想視点画像に対応する仮想視点の視点ＩＤが添付されているものとする。

制御部２０４は、受信部２０３が受信したそれぞれの仮想視点画像を互いに重複することなく、表示部１０５の表示画面上に並べて表示する。例えば図４（ａ）に示す如く、表示部１０５における表示領域４０１内の表示領域４０２には、受信部２０３が受信した仮想視点画像のうち選択仮想視点に対応する視点ＩＤが添付された仮想視点画像が表示される。また、表示領域４０１内の表示領域４０３〜４０６には、受信部２０３が受信した仮想視点画像のうち切替用仮想視点の視点ＩＤが添付された仮想視点画像が表示される。図５の場合、視点ＩＤ＝４０８の選択仮想視点について画像生成装置１１０が生成した仮想視点画像は表示領域４０２内に表示される。また、視点ＩＤ＝４０９〜４１２の切替用仮想視点について画像生成装置１１０が生成した仮想視点画像はそれぞれ、表示領域４０３〜４０６に表示される。

なお、表示領域４０１は、表示部１０５の表示画面の全体領域であっても良いし、表示部１０５の表示画面の一部領域（例えば表示部１０５に表示されているウィンドウ内の領域）であっても良い。

入力部２０５は、ユーザが操作部１０７を操作することで入力した操作入力（ユーザ操作）に応じて、選択視点情報に含まれている第２位置、第２方向、第２画角のうち少なくとも１つを変更操作することで、ユーザによる選択仮想視点の操作を実現する。つまり、ユーザが操作部１０７を操作して選択仮想視点の位置や方向や画角を変更しても、この変更は上記のテーブル情報には反映されず、選択仮想視点に対応する仮想視点画像の生成に反映されることになる。

更に入力部２０５は、ユーザが操作部１０７を操作して選択仮想視点の選択操作を行った場合には、管理部２０１に対して選択仮想視点の変更を指示する。管理部２０１による選択仮想視点の変更処理については上記の通りである。

なお、以下では、図２の各機能部（管理部２０１、出力部２０２、受信部２０３、制御部２０４、入力部２０５）を処理の主体として説明する。しかし、実際には、これらの機能部の機能をＣＰＵ１０１に実行させるためのコンピュータプログラムを該ＣＰＵ１０１が実行することで、該機能部の機能が実現される。これは、後述する図６，１０についても同様である。なお、図２に記載の機能構成の一部またはすべてを専用のハードウェアにより実現してもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどである。また、図２に記載の機能構成の一部を、表示制御装置１００とは異なる１または複数の他の装置が有していてもよい。

また、図１では、画像生成装置１１０と表示制御装置１００とは別個の装置としているが、画像生成装置１１０と表示制御装置１００とを一体化させても良い。その場合、出力部２０２及び受信部２０３は省くことができる。

次に、本実施形態に係るシステムが行う処理について、図３のフローチャートに従って説明する。図３のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。また図３のステップＳ３０２〜ステップＳ３１０の処理は仮想視点の設定画面（例えば図４（ａ）の表示領域４０１）に表示する仮想視点画像の１フレームにつき１回ループするものとする。例えば６０ｆｐｓ（フレーム／秒）で仮想視点画像を生成する場合、このループは１秒間に６０回繰り返されることになる。

ステップＳ３０１では、管理部２０１は、上記のテーブル情報に登録されているそれぞれの切替用仮想視点の視点情報を読み出すと共に、上記のテーブル情報に登録されている選択仮想視点の視点情報から選択視点情報を生成する。そして管理部２０１は、各切替用仮想視点の視点情報及び選択仮想視点の選択視点情報のそれぞれを出力部２０２に対して出力する。

ステップＳ３０２では、出力部２０２は、管理部２０１から出力された全ての切替用仮想視点の視点情報を画像生成装置１１０に対して送信したか否かを判断する。この判断の結果、管理部２０１から出力された各切替用仮想視点の視点情報のうち未だ画像生成装置１１０に対して送信していない視点情報が残っている場合には、処理はステップＳ３０３に進む。一方、この判断の結果、管理部２０１から出力された全ての切替用仮想視点の視点情報を画像生成装置１１０に対して送信済みである場合には、処理はステップＳ３０５に進む。

ステップＳ３０３では、出力部２０２は、管理部２０１から出力された切替用仮想視点の視点情報のうち未送信の視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して出力する。画像生成装置１１０は、出力部２０２から出力された視点情報に含まれている位置、方向、画角と、撮像装置１０９−１〜１０９−ｎのうち１つ以上の撮像装置による撮像画像と、に基づいて仮想視点画像を生成する。そして画像生成装置１１０は、該生成した仮想視点画像に、該視点情報に含まれている視点ＩＤを添付して表示制御装置１００に対して送信する。

ステップＳ３０４では、受信部２０３は、画像生成装置１１０から送信された仮想視点画像を通信Ｉ／Ｆ１０６を介して受信する。そして、制御部２０４は、該受信した仮想視点画像を、該仮想視点画像に添付されている視点ＩＤに対応する表示領域（表示領域４０３〜４０６の何れか）に表示する。

ステップＳ３０５で入力部２０５は、ユーザが操作部１０７を操作して選択仮想視点の位置／方向／画角を変更する操作入力を行った場合、選択視点情報に含まれている第２位置／第２方向／第２画角に対して、該操作入力に応じた変更を行う。例えばユーザが操作部１０７を操作することで選択仮想視点の位置を変更する操作入力を行った場合には、入力部２０５は、選択視点情報に含まれている第２位置をこの操作入力に応じて変更する。またユーザが操作部１０７を操作することで選択仮想視点の方向を変更する操作入力を行った場合には、入力部２０５は、選択視点情報に含まれている第２方向をこの操作入力に応じて変更する。またユーザが操作部１０７を操作することで選択仮想視点の画角を変更する操作入力を行った場合には、入力部２０５は、選択視点情報に含まれている第２画角をこの操作入力に応じて変更する。

ステップＳ３０６では、出力部２０２は、選択視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して送信することで、該選択視点情報に基づいて選択仮想視点に対応する仮想視点画像の生成を画像生成装置１１０に対して要求する。画像生成装置１１０は、該要求に応じて、上記のステップＳ３０３と同様にして選択仮想視点に対応する仮想視点画像を生成し、該生成した仮想視点画像に、選択視点情報に含まれている視点ＩＤを添付して表示制御装置１００に対して送信する。

ステップＳ３０７では、受信部２０３は、ステップＳ３０６にて画像生成装置１１０から送信された仮想視点画像を通信Ｉ／Ｆ１０６を介して受信する。そして制御部２０４は、該受信した仮想視点画像を、該仮想視点画像に添付されている視点ＩＤに対応する表示領域（表示領域４０２）に表示する。

ステップＳ３０８では、入力部２０５は、ユーザが操作部１０７を操作することで選択仮想視点の選択指示を入力したか否かを判断する。例えば、ユーザが操作部１０７を操作して図４（ａ）の表示領域４０３〜４０６のうち表示領域４０５を指定する操作を行ったとする。このとき入力部２０５は、表示領域４０５に表示される仮想視点画像に対応する仮想視点を選択仮想視点として選択する操作指示の入力があったと判断する。なお、選択仮想視点の選択操作方法は特定の選択操作方法に限らない。

この判断の結果、選択仮想視点の選択指示を入力した場合には、処理はステップＳ３０９に進み、選択仮想視点の選択指示を入力していない場合には、処理はステップＳ３１０に進む。

ステップＳ３０９では、管理部２０１は、ユーザが操作部１０７を操作することで表示領域４０１上で選択した仮想視点仮想に対応する切替用仮想視点についてテーブル情報で管理している視点種類を「選択仮想視点」に変更する。そして管理部２０１は、表示領域４０２に表示している仮想視点画像についてテーブル情報で管理している視点種類を「切替用仮想視点」に変更する。そして管理部２０１は、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報にて管理している位置をコピーした第２位置を生成する。また管理部２０１は、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報にて管理している方向をコピーした第２方向を生成する。また管理部２０１は、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報にて管理している画角をコピーした第２画角を生成する。つまり、第２位置、第２方向、第２画角のそれぞれは常に、現在の選択仮想視点の最新の位置、方向、画角を表すものである。そして管理部２０１は、視点種類「選択視点情報」と、ステップＳ３０９で更新された第２位置、第２方向、第２画角と、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報で管理している視点ＩＤと、を含む選択視点情報を生成する。なお、管理部２０１は、選択仮想視点として設定されている視点ＩＤに対応する位置／方向／画角を、切り替え指示により特定された切替用仮想視点の値と同じにしてもよい。

このように、ユーザ（仮想視点のオペレータ）は、表示領域４０２に表示されている仮想視点画像を見ながら、操作部１０７を操作して所望の仮想視点画像を得るべく仮想視点の位置や方向や画角を操作することができる。またユーザは、表示領域４０３〜４０６を参照することで所望の仮想視点画像を得るために望ましい視点を探すことができる。そして、望ましい視点の仮想視点画像を見つけた場合には、その仮想視点画像を選択指定することで、該該仮想視点画像が表示領域４０２に表示され、その仮想視点を操作することができる。然るに表示領域４０２〜４０６は図４（ａ）に示す如く、互いに重ならずに表示されることが望まれるし、一度に閲覧できることが望まれる。

ステップＳ３１０では、入力部２０５は、ユーザが操作部１０７を操作することで、仮想視点の設定用アプリケーションの終了指示を入力したか否かを判断する。この判断の結果、仮想視点の設定用アプリケーションの終了指示を入力した場合には、図３のフローチャートに従った処理は終了し、仮想視点の設定用アプリケーションの終了指示を入力していない場合には、処理はステップＳ３０２に進む。

仮想視点の配置例を図４（ｂ）に示す。図４（ｂ）に示す如く、仮想視点４０８〜４１３は、サッカーのフィールド４０７における様々な位置で様々な方向から該フィールド４０７を観察できるように設定されており、それぞれの仮想視点の位置、方向、画角は図５に示す如く管理されている。例えば、仮想視点の位置は、フィールド４０７に対して規定されている座標系における３次元位置、仮想視点の方向は、パン、チルト、ロールの値、仮想視点の画角は、該仮想視点の水平画角の値とする。表示制御装置１００は、図４（ｂ）に示す画面を図４（ａ）に示す画面とともに表示させてもよい。表示制御装置１００は、撮影対象であるフィールド４０７の俯瞰図に、各仮想視点の位置を示すアイコン（図４（ｂ）に示す例ではカメラを示すアイコン）を表示させる。また、表示制御装置１００は、選択仮想視点の位置と切替用仮想視点の位置とを識別可能に区別して表示させてもよい。例えば、表示制御装置１００は、選択仮想視点の位置と切替用仮想視点の位置とを異なる色またはアイコンにより表示してもよい。また、表示制御装置１００は、仮想視点の位置を示すアイコンに視点ＩＤを関連付けて表示してもよい。このように、図４（ｂ）に示す仮想視点の配置を表示することで、選択仮想視点と切替用仮想視点との位置関係を容易に把握させることが可能となり、所望の仮想視点画像を得るために望ましい視点を探すことができる。

なお、図５のテーブル情報では、視点ＩＤ＝４１３に対応する視点種類は「切替用仮想視点（非表示）」となっており、表示対象ではないことを示している。制御部２０４は、この視点種類に対応する仮想視点画像は表示しない。また、この視点種類に対応する仮想視点画像を生成しないようにしても良い。

このように、本実施形態によれば、各切替用仮想視点に対応する仮想視点画像を、次に選択仮想視点として選択するために参考にすべき参考情報として表示している。そのため、例えば、参考情報として各撮像装置による撮像画像を表示するよりも、次にどの仮想視点を選択すればよいのかをより直感的に把握することができる。

なお、表示領域４０２に表示されている仮想視点画像（選択仮想視点に対応する仮想視点画像）は、例えば、表示制御装置１００のＨＤＤ１０４に保存するようにしても良いし、通信Ｉ／Ｆ１０６を介して外部の機器に対して送信しても良い。例えば後者の場合、表示領域４０２に表示されている仮想視点画像（選択仮想視点に対応する仮想視点画像）を通信Ｉ／Ｆ１０６を介して放送用として放送しても良い。

＜変形例＞
仮想視点のオペレータは、撮像装置が撮像している対象の状況が把握できればよいため、例えば、仮想視点画像として簡易仮想視点画像を生成してもよい。簡易仮想視点画像には、３ＤＣＧ（三次元コンピュータグラフィック）を用いる。まず、受信部２０３は、画像生成装置１１０から撮像画像中の前景（例えば選手とボール）の位置を取得する。仮想視点画像の生成過程では通常、前景と背景とを分離する処理が行われる。その過程で前景の位置を求めることが一般的である。よって、表示制御装置１００は、画像生成装置１１０から前景の位置を容易に取得することができる。次に表示制御装置１００は事前に用意した選手とボールの三次元ＣＧモデルを、画像生成装置１１０から取得した位置に配置する。また、背景であるスタジアムのフィールドや観客席の三次元ＣＧモデルも別途用意しておくものとする。これらの三次元モデルを表示制御装置１００が有する３ＤＣＧのレンダリングエンジンに入力すると、仮想視点から見た簡易仮想視点画像を生成することが可能である。表現能力の点で通常の仮想視点画像に劣ることは否めないが、オペレータは例えばプレーの状況が把握でき、かつ、計算機リソースを軽減できるというメリットがある。また、例えば、表示領域４０２に表示されている仮想視点画像と、表示領域４０３〜４０６に表示される切替用仮想視点に対応する仮想視点画像とを異なるフレームレートにより表示させてもよい。

このように本実施形態では複数の仮想視点のうち操作対象としてユーザにより選択された選択仮想視点に対応する仮想視点画像と複数の仮想視点のうち選択仮想視点以外の仮想視点に対応する仮想視点画像とが互いに重複することなく配置された画面を表示する。これにより、オペレータがある仮想視点に切り替える前に切り替え後の仮想視点画像に何が映るのかを知ることができるため、仮想視点の適切な選択を行うことができる。

［第２の実施形態］
以降の各実施形態や各変形例では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、表示された仮想視点画像のうち何れか１つを指定することで、該指定された１つの仮想視点画像に対応する仮想視点を選択仮想視点として選択した。しかし、選択仮想視点の選択方法は第１の実施形態において説明した選択方法に限らない。本実施形態では、選択仮想視点の選択方法として第１の実施形態とは異なる選択方法について説明する。

本実施形態に係る表示制御装置１００の機能構成例について、図６のブロック図を用いて説明する。図６において図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。処理部６０１は、切替用仮想視点（図４（ａ）の場合は表示領域４０３〜４０６のそれぞれに対応する切替用仮想視点）を、操作部１０７が有する複数の選択ボタンの何れかに割り当てる。

そして入力部２０５は、ユーザが押下した選択ボタンに対応する切替用仮想視点が選択仮想視点として選択されたと判断する。管理部２０１は、テーブル情報において現時点で選択仮想視点となっているものを切替用仮想視点に変更し、ユーザが押下した選択ボタンに対応する切替用仮想視点を選択仮想視点に変更する。

次に、本実施形態に係るシステムが行う処理について、図７のフローチャートに従って説明する。図７のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。図７において、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ７０１では、処理部６０１は、切替用仮想視点（図４（ａ）の場合は表示領域４０３〜４０６のそれぞれに対応する切替用仮想視点）を、操作部１０７が有する複数の選択ボタンの何れかに割り当てる。

操作部１０７として適用可能な入力デバイスの一例を図８に示す。図８に示す入力デバイス８０１には、選択ボタン８０３〜８０６が設けられている。処理部６０１は、例えば、選択ボタン８０３〜８０６に表示領域４０３〜４０６（つまり表示領域４０３〜４０６のそれぞれに対応する切替用仮想視点）をそれぞれ割り当てる。これにより、ユーザが選択ボタン８０３を押下した場合には、入力部２０５は、表示領域４０３の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。また、ユーザが選択ボタン８０４を押下した場合には、入力部２０５は、表示領域４０４の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。ユーザが選択ボタン８０５を押下した場合には、入力部２０５は、表示領域４０５の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。ユーザが選択ボタン８０６を押下した場合には、入力部２０５は、表示領域４０６の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。

このように表示領域及び選択ボタンが共に横並びで配置されている場合、左端の表示領域を左端の選択ボタンに割り当て、左端から２番目の表示領域を左端から２番目の選択ボタンに割り当て、…というように並び順に従って選択ボタンに表示領域を割り当てる。また、表示領域及び選択ボタンが共に縦並びで配置されている場合、上端の表示領域を上端の選択ボタンに割り当て、上端から２番目の表示領域を上端から２番目の選択ボタンに割り当て、…というように並び順に従って選択ボタンに表示領域を割り当てる。なお、どの選択ボタンにどの表示領域を割り当てるのかについては特定の割り当て方法を採用することに限らない。

なお、切替用仮想視点の数が入力デバイス上の選択ボタンの数より多い場合は、例えば左から割り当てられる限りの切替用仮想視点を割り当てればよい。どの選択ボタンにどの切替用仮想視点を割り当てたのかの管理方法としては、例えば、テーブル情報において、各切替用仮想視点の視点情報に、該切替用仮想視点に割り当てた選択ボタンの識別情報を含めるようにしても良い。しかし、その管理方法は特定の管理方法に限らない。

然るに、ステップＳ３０８では、入力部２０５は、ユーザが押下した選択ボタンに対応する切替用仮想視点が選択仮想視点として選択された（選択指示が入力された）と判断する。

また、入力デバイス８０１には、選択仮想視点を移動させるためにユーザが操作するジョイスティック８０２が設けられている。ユーザはこのジョイスティック８０２を操作することで、視点の位置や方向などを移動させることができる。ユーザによるジョイスティック８０２の操作により、選択視点情報に含まれている第２位置、第２方向、第２画角のうち操作入力に応じた成分が変更される。

このように、本実施形態によれば、入力デバイス上の選択ボタンに切替用仮想視点を割り当てることによって、仮想視点のオペレータはマウスや画面に手を持っていくことなく、仮想視点の操作を行う入力デバイス上で仮想視点の選択も行うことができる。これによって、迅速に仮想視点を選択することができる。

［第３の実施形態］
本実施形態では、テーブル情報に対する編集操作を可能にする。本実施形態では、第２の実施形態に係るシステムの構成を利用する。本実施形態に係るシステムが行う処理について、図９のフローチャートに従って説明する。図９のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。図９において、図３、７に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ９０１では、入力部２０５は、ユーザが操作部１０７を操作することで、現在の選択仮想視点の位置、方向、画角をテーブル情報に登録する指示（登録指示）を入力したか否かを判断する。登録指示の入力方法は特定の入力方法に限らない。例えば、表示部１０５の表示画面に表示されている登録ボタンをユーザが操作部１０７を操作して指示することで登録指示を入力しても良いし、ユーザが操作部１０７において特定のボタンを押下することで登録指示を入力しても良い。この判断の結果、登録指示を入力した場合には、処理はステップＳ９０２に進み、登録指示を入力していない場合には、処理はステップＳ９０３に進む。

ステップＳ９０２では、管理部２０１は、新たな視点ＩＤを発行し、該発行した視点ＩＤと、視点種類「切替用仮想視点」と、現在の選択視点情報に含まれている第２位置、第２方向、第２画角と、を含む新規の視点情報を生成してテーブル情報に登録する。また、管理部２０１は、この登録した仮想視点に対応する仮想視点画像を表示領域４０３〜４０６のどこに表示するのか、それとも非表示とするのかについてもテーブル情報に登録する若しくはテーブル情報とは別個の情報として登録する。

ステップＳ９０３では、入力部２０５は、ユーザが操作部１０７を操作することで、表示領域４０３〜４０６のそれぞれに表示されている仮想視点画像の並び順を変更する指示（並び替え指示）が入力されたのか否かを判断する。この判断の結果、並び替え指示が入力された場合には、処理はステップＳ９０４に進み、並び替え指示が入力されていない場合には、処理はステップＳ９０５に進む。

ステップＳ９０４では、制御部２０４は、ユーザが操作部１０７を操作することで入力した操作入力に応じて、表示領域４０３〜４０６のそれぞれに表示されている仮想視点画像の並び順を変更する。この並び替えのためにユーザが行う操作については特定の操作に限らない。例えば、ユーザは操作部１０７を操作して、表示部１０５の表示画面に表示されている変更ボタンを指示すると、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付ける。なお、ユーザが操作部１０７における特定のボタンを押下した場合に、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付けるようにしても良い。

そして例えば、ユーザが操作部１０７を操作して、表示領域４０４内の仮想視点画像をドラッグして表示領域４０６内に移動させたとする。このとき制御部２０４は、表示領域４０５，４０６内に表示されていた仮想視点画像をそれぞれ表示領域４０４，４０５に移動させる。また制御部２０４は、表示領域４０６内にドラッグされた仮想視点画像（表示領域４０４内に表示されていた仮想視点画像）を表示領域４０６内に移動させる。このとき、管理部２０１は、表示領域と切替用仮想視点との対応付けを変更する。

また例えば、ユーザが操作部１０７を操作して、表示領域４０４内の仮想視点画像をドラッグして表示領域４０１の外側に移動させたとする。このとき制御部２０４は、表示領域４０５，４０６内に表示されていた仮想視点画像をそれぞれ表示領域４０４，４０５に移動させる。管理部２０１は、ドラッグして表示領域４０１外に移動させた仮想視点画像の視点種類を非表示にし、代わりに、視点種類が非表示となっていた視点ＩＤ＝４１３の切替用仮想視点の視点種類から非表示を削除する。そして、視点ＩＤ＝４１３の切替用仮想視点に対応する仮想視点画像が上記の如く生成されて表示領域４０６内に表示される。なお、切替用仮想視点に対応する仮想視点画像の並び替え操作については様々な操作があり、特定の操作に限るものではない。

ステップＳ９０５では、入力部２０５は、ユーザが操作部１０７を操作することで、表示領域４０３〜４０６のそれぞれに表示されている仮想視点画像のうち何れかを削除する指示（削除指示）が入力されたか否かを判断する。この判断の結果、削除指示が入力された場合には、処理はステップＳ９０６に進み、削除指示が入力されていない場合には、処理はステップＳ９０７に進む。

ステップＳ９０６では、管理部２０１は、削除指示の対象となった仮想視点の視点情報をテーブル情報から削除し、制御部２０４は、削除指示の対象となった仮想視点に対応する仮想視点画像を表示部１０５の表示画面から消去する。この削除のためにユーザが行う操作については特定の操作に限らない。例えば、ユーザが操作部１０７を操作して表示部１０５の表示画面に表示されている削除ボタンを指示すると、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付ける。なお、ユーザが操作部１０７における特定のボタンを押下した場合に、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付けるようにしても良い。

そして例えばユーザが操作部１０７を操作して表示領域４０４を指定すると、管理部２０１は、テーブル情報から表示領域４０４に表示されていた仮想視点画像に対応する切替用仮想視点の視点情報をテーブル情報から削除する。そして制御部２０４は、表示領域４０４から仮想視点画像を消去する。

ステップＳ９０７では、入力部２０５は、ユーザが操作部１０７を操作することで、テーブル情報において切替用仮想視点の視点情報を、他の切替用仮想視点の視点情報に切り替える指示（視点セット切替指示）が入力されたのか否かを判断する。例えば、入力部２０５は、表示部１０５の表示画面に表示されている視点セット切替ボタンが指示された、若しくは操作部１０７における特定のボタンが押下された場合には、視点セット切替指示が入力されたと判断する。この判断の結果、視点セット切替指示が入力された場合には、処理はステップＳ９０８に進み、視点セット切替指示が入力されていない場合には、処理はステップＳ３１０に進む。

ステップＳ９０８では、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、予め作成してＨＤＤ１０４に登録されている仮想視点セットの何れかに置き換える。仮想視点セットとは、後述するように、１つ以上の仮想視点の視点情報である。ＨＤＤ１０４に登録されている仮想視点セットは１つであっても良いし、複数であっても良い。

ＨＤＤ１０４に１つの仮想視点セットが登録されている場合、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、該１つの仮想視点セットに置き換える。

ＨＤＤ１０４に複数の仮想視点セットが登録されている場合、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、該複数の仮想視点セットのうちの何れか１つに置き換える。複数の仮想視点セットから上記の置き換えに使用する１つの仮想視点セットを選択するための方法は特定の方法に限らない。例えば制御部２０４は、この複数の仮想視点セットの内容やファイル名が記載されたリストを表示部１０５の表示画面に表示する。この表示画面を見てユーザが操作部１０７を操作して該複数の仮想視点セットのうち１つを選択すると、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、該選択された仮想視点セットに置き換える。

仮想視点セットを複数設けて、そこから１つを選択して使用する、という構成は、例えば、プレーの状況に応じて仮想視点のオペレータが使い分けることを想定している。例えば、コーナーキック用の仮想視点セット、キックオフ用の仮想視点セット、ペナルティキック用の仮想視点セットなどを事前に用意しておくと有用である。さらに、ペナルティキック用の仮想視点セットの場合は、ゴール側からペナルティスポットの方向を見る仮想視点、その逆方向の仮想視点、ペナルティスポット越しにゴール側を見る仮想視点、ベンチを見る仮想視点などをセットとして用意しておくと便利である。なお、ステップＳ９０８でテーブル情報を変更した場合、管理部２０１は、該変更したテーブル情報に登録されているそれぞれの切替用仮想視点の視点情報を読み出し、該各切替用仮想視点の視点情報を出力部２０２に対して出力する。

仮想視点セットの一例を図１４に示す。図１４（ａ）には、仮想視点セット１４０１、仮想視点セット１４０２、仮想視点セット１４０３のそれぞれの構成例を示している。仮想視点セット１４０１には４つの切替用仮想視点の視点情報が登録されている。仮想視点セット１４０２には、３つの切替用仮想視点の視点情報が登録されている。仮想視点セット１４０３には、５つの切替用仮想視点の視点情報が登録されている。

ここで、上記のステップＳ９０８において仮想視点セット１４０１が選択された場合に、図５のテーブル情報において視点種類が「切替用仮想視点」の視点情報を該仮想視点セット１４０１に置き換えた後のテーブル情報の構成例を図１４（ｂ）に示す。図１４（ｂ）のテーブル情報では、図５のテーブル情報から切替用仮想視点が４つに減り、位置、方向、画角が仮想視点セット１４０１の値に置き換わっており、また、新たに視点ＩＤが割振られている（４１３〜４１６）。なお、選択仮想視点はこの操作により変わらないため、図５と同じ値が維持される。

［第４の実施形態］
第１〜３の実施形態では、表示領域４０２に表示する仮想視点画像のフレームレートと、表示領域４０３〜４０６に表示する仮想視点画像のフレームレートと、は同じであった。しかし、全ての仮想視点の仮想視点画像のフレームレートを同じにしなくても良い。画像生成装置１１０が仮想視点画像を生成するには、多くのデータの読み出しやデータ処理が必要となる。そのため、第１〜３の実施形態で説明したように選択仮想視点および切替用仮想視点のすべてに対応する仮想視点画像を６０ｆｐｓ（フレーム／秒）で生成することは膨大な計算機リソースが必要となり、コストが高くなってしまう。そこで、本実施形態では、画像生成装置１１０の画像生成能力を考慮したフレームレート制御について説明する。

本実施形態に係る表示制御装置１００の機能構成例について、図１０のフロック図を用いて説明する。図１０において図２，６と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

処理部１００１は、画像生成装置１１０の画像生成能力に応じて、選択仮想視点に対応する仮想視点画像のフレームレートと、切替用仮想視点に対応する仮想視点画像のフレームレートと、を設定する。

本実施形態に係るシステムが行う処理について、図１１のフローチャートに従って説明する。図１１のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。図１１において、図３、７、９に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ１１０１では、処理部１００１は、テーブル情報に登録されているそれぞれの仮想視点について、該仮想視点に対応する仮想視点画像のフレームレートを設定する。なお、本実施形態に係るステップＳ３０３では、出力部２０２は、管理部２０１から出力された切替用仮想視点の視点情報のうち、現フレームにおいて生成すべき仮想視点画像に対応する視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して出力する。本実施形態に係るステップＳ３０６では、出力部２０２は、現フレームが選択仮想視点に対応する仮想視点画像を生成するフレームであれば、選択視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して送信する。

上記のステップＳ１１０１における処理について、具体例を用いて説明する。ここでは、画像生成装置１１０の画像生成能力が１２０ｆｐｓ（１秒あたり１２０フレームの画像が生成可能）であるとし、図５に示す如く、選択仮想視点が１つ、切替用仮想視点が４つ存在する場合を考える。

選択仮想視点に対応する仮想視点画像は、選択仮想視点の操作に不可欠な画像であり、選択仮想視点を指定した結果が遅滞なく仮想視点画像として表示される必要がある。選択仮想視点の指定から仮想視点画像の表示までの遅延時間が大きくなるに従い、選択仮想視点の操作は困難になることが分かっている。よって、選択仮想視点には６０ｆｐｓを割り当て、残りの６０ｆｐｓを４つの切替用仮想視点で案分することにする。つまり図１２（ａ）に示す如く、選択仮想視点に対応する仮想視点画像は６０ｆｐｓで生成されて表示領域４０２に表示されることになり、各切替用仮想視点に対応する仮想視点画像は１５ｆｐｓで生成されて表示領域４０３〜４０６に表示されることになる。切替用仮想視点に対応する仮想視点画像については、その表示は若干なめらかではなくなるものの、その仮想視点で何が映っているかを把握するには十分なフレームレートである。本実施形態では、ステップＳ１１０１において各仮想視点に対するフレームレートが決定すると、図１２（ｂ）に示す如く、管理部２０１が管理しているテーブル情報に、各仮想視点に対するフレームレートが登録される。

このとき、ステップＳ３０３及びステップＳ３０６にて画像生成装置１１０で生成される各フレームの仮想視点画像について、図１３を用いて説明する。画像生成装置１１０の画像生成能力が１２０ｆｐｓであり、且つ選択仮想視点に対応する仮想視点画像のフレームレートが６０ｆｐｓであるから、選択仮想視点に対応する仮想視点画像は２フレームに１回の割合で生成され、表示される。図１３では、１フレーム目で選択仮想視点に対応する仮想視点画像が生成、表示されているので、以降、（２×ｆ＋１）（ｆは１以上の整数）フレーム目に生成、表示されることになる。

また、画像生成装置１１０の画像生成能力が１２０ｆｐｓで且つ４つの切替用仮想視点のそれぞれに対応する仮想視点画像のフレームレートが１５ｆｐｓであるから、各切替用仮想視点に対応する仮想視点画像は８フレームに１回の割合で生成され、表示される。例えば、図１３では、２フレーム目で切替用仮想視点１に対応する仮想視点画像が生成、表示されているので、以降、（８×ｆ＋２）フレーム目に生成、表示されることになる。同様に、切替用仮想視点２、切替用仮想視点３、切替用仮想視点４はそれぞれ、４，６，８フレーム目で表示され、以降、（８×ｆ＋４）フレーム目、（８×ｆ＋６）フレーム目、（８×ｆ＋８）フレーム目に生成、表示されることになる。

然るに出力部２０２は、現フレームで生成、表示されるべき仮想視点画像に対応する仮想視点の視点情報を画像生成装置１１０に対して出力し、画像生成装置１１０は、出力部２０２から受けた視点情報に対応する仮想視点画像を生成する。仮想視点画像を生成するタイミングを均等に分散することにより、よりなめらかな画像表示が可能になる。

なお、ここで挙げた数値は何れも具体例を説明するために使用した一例であり、上記の動作はこれらの数値に限ったものではない。つまり、システムの能力や、仮想視点画像を放送する放送システムの要件に合わせて適切に設定すべきものである。

このように本実施形態によれば、仮想視点画像を生成するフレームレートを選択仮想視点及び切替用仮想視点で適切に配分することにより、計算機リソースを増やすことなく、仮想視点の操作及びプレー等に応じた仮想視点の選択を同時に実現することができる。

［第５の実施形態］
第１〜４の実施形態では、選択仮想視点に対応する仮想視点画像と、切替用仮想視点に対応する仮想視点画像と、を１つの表示画面に表示するようにしたが、これに限るものではない。例えば、選択仮想視点に対応する仮想視点画像と、切替用仮想視点に対応する仮想視点画像と、を別個の表示装置に表示するようにしても良い。

また、第３，４の実施形態では、仮想視点画像の生成及び表示の処理ループの中で、仮想視点の登録、並び替え、削除、視点セットの切替、の処理を行うようにしたが、これに限るものではない。例えば、仮想視点画像の生成及び表示の処理ループとは別個のスレッドでもって、仮想視点の登録、並び替え、削除、視点セットの切替、の処理を行うようにしても良い。

なお、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても良い。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても良い。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：管理部 ２０２：出力部 ２０３：受信部 ２０４：制御部 ２０５：入力部

Claims (21)

1. 複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
   を有し、
   前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
   前記複数の仮想視点のうち位置及び姿勢の操作対象として選択された仮想視点に応じた仮想視点画像は、他の装置へ送信されることを特徴とする表示制御装置。
2. 複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
   を有し、
   前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
   前記複数の仮想視点のうち位置及び姿勢の操作対象として選択された仮想視点に応じた仮想視点画像は、放送されることを特徴とする表示制御装置。
3. 複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
   を有し、
   前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
   前記表示制御手段は、仮想視点を追加するためのユーザ操作に応じて、当該仮想視点の位置及び姿勢に応じた仮想視点画像を前記操作画面上に新たに表示させることを特徴とする表示制御装置。
4. 複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
   を有し、
   前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
   前記表示制御手段は、所定のユーザ操作に応じて、第１の複数の仮想視点に応じた第１の複数の仮想視点画像を前記操作画面上に表示させる状態から、第２の複数の仮想視点に応じた第２の複数の仮想視点画像を前記操作画面上に表示させる状態へ切り替えることを特徴とする表示制御装置。
5. 複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
   を有し、
   前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
   前記表示制御手段は、仮想視点を削除するためのユーザ操作に応じて、当該仮想視点の位置及び姿勢に応じた仮想視点画像が前記操作画面上に表示されなくなるように制御することを特徴とする表示制御装置。
6. 複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御手段と
   を有し、
   前記表示制御手段により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
   前記表示制御手段は、仮想視点画像の並び替えのためのユーザ操作に応じて、前記操作画面上に表示させる前記複数の仮想視点画像のうち、少なくとも一部の表示順序を変更することを特徴とする表示制御装置。
7. 前記表示制御手段は、前記複数の仮想視点のうちユーザにより選択された仮想視点に応じた仮想視点画像を、前記複数の仮想視点のうちユーザにより選択されていない仮想視点に応じた仮想視点画像よりも大きく表示させることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 前記複数の仮想視点のうちユーザにより選択されていない仮想視点に応じた仮想視点画像は、前記複数の仮想視点のうちユーザにより選択された仮想視点に応じた仮想視点画像よりも負荷の小さい生成処理により生成される画像であることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
9. 前記表示制御手段は、前記複数の仮想視点のうちユーザにより選択された仮想視点に応じた仮想視点画像を、前記複数の仮想視点のうちユーザにより選択されていない仮想視点に応じた仮想視点画像よりも高いフレームレートで表示させることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
10. 前記表示制御手段により表示された前記複数の仮想視点画像に対応する前記複数の仮想視点の中からユーザが位置及び姿勢の操作対象とする仮想視点を選択するための操作を受け付ける受付手段を有することを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
11. 前記表示制御手段により表示された前記複数の仮想視点画像に対応する前記複数の仮想視点のうちユーザにより選択された仮想視点の位置及び姿勢を変更するためのユーザ操作を受け付ける受付手段を有することを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
12. 複数のボタンと前記複数の仮想視点とが対応付けられた入力デバイスから、押下されたボタンに応じた信号を受信する受信手段を有し、
    前記選択は、前記受信手段により受信された信号に基づいてなされることを特徴とする請求項１または２に記載の表示制御装置。
13. 表示制御装置が行う表示制御方法であって、
    複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得工程と、
    前記取得工程で取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御工程と
    を有し、
    前記表示制御工程により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
    前記複数の仮想視点のうち位置及び姿勢の操作対象として選択された仮想視点に応じた仮想視点画像は、他の装置へ送信されることを特徴とする表示制御方法。
14. 表示制御装置が行う表示制御方法であって、
    複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得工程と、
    前記取得工程で取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御工程と
    を有し、
    前記表示制御工程により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
    前記複数の仮想視点のうち位置及び姿勢の操作対象として選択された仮想視点に応じた仮想視点画像は、放送されることを特徴とする表示制御方法。
15. 表示制御装置が行う表示制御方法であって、
    複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得工程と、
    前記取得工程で取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御工程と
    を有し、
    前記表示制御工程により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
    仮想視点を追加するためのユーザ操作に応じて、当該仮想視点の位置及び姿勢に応じた仮想視点画像が前記操作画面上に新たに表示されることを特徴とする表示制御方法。
16. 表示制御装置が行う表示制御方法であって、
    複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得工程と、
    前記取得工程で取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御工程と
    を有し、
    前記表示制御工程により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
    所定のユーザ操作に応じて、第１の複数の仮想視点に応じた第１の複数の仮想視点画像が前記操作画面上に表示される状態から、第２の複数の仮想視点に応じた第２の複数の仮想視点画像が前記操作画面上に表示される状態へ切り替わることを特徴とする表示制御方法。
17. 表示制御装置が行う表示制御方法であって、
    複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得工程と、
    前記取得工程で取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御工程と
    を有し、
    前記表示制御工程により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
    仮想視点を削除するためのユーザ操作に応じて、当該仮想視点の位置及び姿勢に応じた仮想視点画像が前記操作画面上に表示されなくなるように制御されることを特徴とする表示制御方法。
18. 表示制御装置が行う表示制御方法であって、
    複数の仮想視点の位置及び姿勢に応じた複数の仮想視点画像を取得する取得工程と、
    前記取得工程で取得された前記複数の仮想視点画像を、前記仮想視点の位置及び姿勢に関する操作のための操作画面上に表示させる表示制御工程と
    を有し、
    前記表示制御工程により前記操作画面上に表示される前記複数の仮想視点画像のうちの少なくとも１つは、撮像対象領域を複数のカメラが撮影して得られた複数の撮影画像に基づいて生成される画像であり、
    仮想視点画像の並び替えのためのユーザ操作に応じて、前記操作画面上に表示させる前記複数の仮想視点画像のうち、少なくとも一部の表示順序が変更されることを特徴とする表示制御方法。
19. 前記表示制御工程では、前記複数の仮想視点のうちユーザにより選択された仮想視点に応じた仮想視点画像を、前記複数の仮想視点のうちユーザにより選択されていない仮想視点に応じた仮想視点画像よりも大きく表示させることを特徴とする請求項１３乃至１８の何れか１項に記載の表示制御方法。
20. 前記複数の仮想視点のうちユーザにより選択されていない仮想視点に応じた仮想視点画像は、前記複数の仮想視点のうちユーザにより選択された仮想視点に応じた仮想視点画像よりも負荷の小さい生成処理により生成される画像であることを特徴とする請求項１３乃至１８の何れか１項に記載の表示制御方法。
21. コンピュータを請求項１乃至１２の何れか１項に記載の表示制御装置の各手段として機能させるためのコンピュータプログラム。

Images