JP7182865B2 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

Description

本発明は、仮想視点画像を生成するためのシステムに関する。

従来、異なる位置に設置された複数の撮像装置により複数の方向から同期して被写体を撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このように生成される仮想視点画像は、撮像装置の設置位置に限定されない仮想的な視点における見えを表す画像である。

特許文献１には、一つ以上の画像に基づいてユーザが好みの視点を選択し、当該画像と選択された視点の情報とから仮想視点画像を生成する技術が開示されている。また、特許文献１では、ユーザに好みの視点を選択させるためのＵＩ（ユーザインターフェース）に関しても開示している。

特開２０１４－２１５８２８号公報

複数の装置から構成される種々のシステムにおいて、その構成要素の何れかが異常状態にある場合に、異常状態にある構成要素の情報を表示することで、ユーザにシステムの状態を知らせることができる。しかしながら、仮想視点画像を生成するシステムにおいては、異常状態にある構成要素の情報を表示するだけでは不十分な場合が考えられる。

例えば、システムに含まれる複数の撮像装置の少なくとも一つが、故障したり、正常な撮影ができなかったり、撮影画像を出力できなかったりなどの異常状態にある場合、生成される仮想視点画像の品質の低下などの不具合が生じ得る。このとき、異常状態にある撮像装置と他の撮像装置との位置関係や接続関係などによって、仮想視点画像の生成を継続できるか否かや、調整が必要となる撮像装置の数などが異なることがある。すなわち、異常状態にある装置が特定されるだけでは、その異常による仮想視点画像の品質への影響の大きさや、異常状態からの復旧に要する処理の多さなどをユーザが容易に知ることができない場合がある。一方、異常による影響の大きさなどをユーザが容易に知ることができれば、例えば撮像装置の修理や調整などの適切な対応を素早く行うことができ、仮想視点画像の品質の低下などの不具合を抑制することができる。

本発明は上記の課題に鑑みてなされたものであり、その目的は、仮想視点画像を生成するためのシステムに関する状態をより適切にユーザに知らせるための技術を提供することである。

上記の課題を解決するため、本発明に係る表示制御装置は、例えば以下の構成を有する。すなわち、視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮影に基づく複数の画像を取得するための複数の装置の状態に関する情報を取得する取得手段と、前記複数の装置のうち異常状態にある装置を、前記取得手段により取得される情報に基づいて特定する特定手段と、前記複数の装置のうち前記特定手段により特定される異常状態にある装置と前記仮想視点画像の生成を行う生成装置とにデイジーチェーンを介して接続される装置と、前記複数の装置のうち前記異常状態にある装置とは接続されず、前記デイジーチェーンとは異なる別のデイジーチェーンを介して前記生成装置に接続される装置とを識別可能にするための情報を表示部に表示させる表示制御手段とを有する。

本発明によれば、仮想視点画像を生成するためのシステムに関する状態をより適切にユーザに知らせることができる。

画像処理システムの構成を示す図である。 撮像装置の配置を示す図である。 撮像装置のハードウェアの構成を示す図である。 撮像装置の動作の例を示すフローチャートである。 装置のハードウェアの構成を示す図である。 画像生成装置の動作の例を示すフローチャートである。 情報表示装置の機能的な構成の例を示す図である。 情報表示装置の動作の例を示すフローチャートである。 情報表示装置のデータ保持部が保持するデータの例を示す図である。 情報表示装置により表示される表示イメージの一例を示す図である。 情報表示装置のＵＩ生成部の処理の例を示すフローチャートである。 情報表示装置のＵＩ生成部が生成する表示イメージの例を示す図である。 情報表示装置のＵＩ生成部による表示調整処理について説明するための図である。 情報表示装置のＵＩ生成部によるレイヤー描画処理のイメージ図である。 情報表示装置のＵＩ生成部による表示切替処理の例を示すフローチャートである。 情報表示装置のＵＩ生成部による表示切替に関する表示イメージ例を示す図である。 表示イメージ上における撮像装置の状態を示す情報の例を示す図である。 撮像装置の状態をリスト表示した例を示す図である。 撮像装置を操作するための操作ＵＩの例を示す図である。 情報表示装置による表示処理の例を示すフローチャートである。 グループのエラー表示に関する設定リストの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。 情報表示装置による表示処理の例を示すフローチャートである。 エラー表示のモードに関する設定リストの例を示す図である。 情報表示装置により表示される表示イメージの例を示す図である。

以下、図面を参照して、実施形態を説明する。本実施形態では、撮影対象の領域を含み且つ撮像装置の設置場所である競技場を模した画像上に、各撮像装置の設置位置、撮像装置間のネットワーク接続関係、及び各撮像装置と撮影対象エリアとの関係のうち少なくとも１つ以上を表示する例を説明する。

図１は、本実施形態における仮想視点画像を生成する画像処理システムの構成の一例を示す図である。本実施形態の画像処理システムは、複数の撮像装置１００－１、１００－２、・・・１００－ｍを有する撮影システム１００と、画像生成装置２００と、ユーザ端末３００と、情報表示装置４００と、分配装置５００とを有する。各々の装置は、画像や制御情報を伝送する為の伝送ケーブルを介して他の装置と通信可能に接続される。伝送ケーブルの具体例としては、ＥＴＨＥＲＮＥＴ（登録商標）であるＩＥＥＥ標準準拠のＧＢＥ（ギガビットイーサーネット）や１０ＧＢＥが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は無線通信を行ってもよい。

撮影システム１００は、それぞれ異なる方向から撮影を行うｍ個の撮像装置（撮像装置１００－１、１００－２、・・・、１００－ｍ）を有し、仮想視点画像の生成に用いられる複数の撮影画像を取得する。以下、撮像装置を区別しない場合、撮像装置１００－１、１００－２、・・・、１００－ｍに含まれる撮像装置を、撮像装置１００－ｘと記載する。なお、本実施形態で記載されるｍ及び後述のｎは、整数値を表す。

相互に隣り合う位置に設置される撮像装置１００－ｘ同士（例えば、撮像装置１００－１と撮像装置１００－２）は、伝送ケーブルを介して相互に接続される。撮像装置１００－ｘは、撮影画像や撮像装置１００－Ｘの状態情報を画像生成装置２００および情報表示装置４００へ送信する。状態情報については後述する。図１では、撮像装置１００－１は、撮像装置１００－２と相互に接続される。また、撮像装置１００－２は、撮像装置１００－１に加え、撮像装置１００－２と隣り合う位置にある不図示のもう１つの撮像装置と相互に接続される。そして、撮像装置１００－ｎは、撮像装置１００－ｎと隣り合う位置にある不図示の撮像装置と相互に接続される。また、撮像装置１００－ｎは、分配装置５００と相互に接続される。すなわち、撮像装置１００－１から撮像装置１００－ｎまでの複数の撮像装置は、デイジーチェーンにより直列的に接続される。また、撮像装置１００－（ｎ＋１）から撮像装置１００－ｍまでの複数の撮像装置も、同様にデイジーチェーンにより接続される。

このように本実施形態において画像処理システムは、デイジーチェーンで接続される接続グループを２つ有する。なお、画像処理システムに含まれる接続グループの数は２つに限らず、１つでも３つ以上あってもよい。本実施形態における接続グループは、直接又は他の装置を介して相互に接続される複数の装置からなる装置群である。なお、単一の装置からなる接続グループがあってもよい。本実施形態では接続グループがデイジーチェーンで接続される場合を中心に説明するが、接続形態はこれに限らず、例えばスター型で接続されていてもよい。

撮像装置１００－ｘは、サッカー場などの競技場や特定の被写体を取り囲むように配置される。図２は、撮像装置１００－ｘの配置の一例を示す図である。図２に示す例では、競技場２１０が複数の撮像装置１００－ｘで撮影されるように、複数の撮像装置１００－ｘが配置される。なお、複数の撮像装置１００－ｘは競技場２１０の全体でなく一部だけを撮影してもよいし、被写体を完全に取り囲んでいなくてもよい。また、撮影システム１００の設置場所は競技場に限らず、劇場やライブステージなどであってもよい。

複数の撮像装置１００－ｘは、例えばデジタルカメラであり、不図示の同期装置からの同期信号に基づき、略同一のタイミングで撮影を行う。撮像装置１００－ｘにより撮影された画像は、伝送ケーブルと分配装置５００とを介し、画像生成装置２００および情報表示装置４００に伝送される。撮像装置１００－ｘは、静止画像を撮影するカメラであっても、動画像を撮影するカメラであっても、静止画像および動画像の双方を撮影するカメラであってもよい。本実施形態では、画像という文言を、特に断りがない限り静止画および動画を含むものとして説明する。

なお、本実施形態では撮像装置１００－ｘが他の撮像装置１００－ｘと直接接続されて画像の伝送を行う場合を中心に説明するが、これに限らない。例えば、複数の撮像装置１００－ｘの代わりに、複数（例えばｍ台）の処理装置が、接続グループごとに接続されていてもよい。そして、各撮像装置１００－ｘは自装置に対応する処理装置へ撮影画像を送信し、各処理装置は撮像装置１００－ｘから受信した撮影画像やそれに画像処理を行って取得した画像を、画像生成装置２００及び情報表示装置４００へ伝送してもよい。すなわちこの場合、複数の処理装置が、仮想視点画像の生成に用いられる複数の画像（複数の撮像装置１００－ｘによる複数の方向からの撮影に基づく画像）を取得し、画像生成装置２００や情報表示装置４００へ伝送することになる。

画像生成装置２００は、分配装置５００を介して撮像装置１００－ｘと相互に接続される。また、画像生成装置２００は、ユーザ端末３００や情報表示装置４００とも相互に接続される。画像生成装置２００は、撮像装置１００－ｘにより撮影された画像を蓄積する。画像生成装置２００は、ユーザ端末３００からユーザによる操作に基づいて指定される仮想視点の位置や向きを示す仮想視点情報が入力された場合、複数の撮像装置１００－ｘにより撮影された画像を用いて、仮想視点情報に対応する仮想視点画像を生成する。仮想視点情報は、仮想視点画像を生成するための、視点の位置及び視線の方向を示す情報である。言い換えると、仮想視点情報は、仮想視点画像に対応する仮想カメラの位置及び姿勢を示す情報である。

画像生成装置２００は、生成した仮想視点画像を、ユーザ端末３００に伝送する。ここで、仮想視点情報には、指定された視点の位置情報と方向情報とが少なくとも含まれる。位置情報は、例えば、撮影対象である競技場２１０の中央などの所定位置に対する相対的な位置（所定位置を基準とした場合の、前後方向、左右方向、および上下方向それぞれにおける視点の位置）を示す情報である。なお、位置情報は絶対的な座標を示す情報であってもよい。方向情報は、例えば、その所定位置に対する向きを示す情報（所定の位置を原点とし、前後方向、左右方向、上下方向を軸とする３次元直交座標系における各軸と視線方向とがなす角度）である。また、方向情報は、絶対的な方向を示す情報であってもよい。

画像生成装置２００は、例えば、サーバ装置であり、データベース機能や、画像処理機能を有する。画像生成装置２００が用いるデータベースは、例えば競技の開始前の競技場など、選手などの特定の被写体が存在しない場面の競技場を撮影した画像を背景画像データとして、予め保持する。背景画像データは、撮影画像から特定の被写体を抽出するための前景背景分離に用いられる。

ユーザ端末３００は、操作用のコントローラを有する。ユーザ端末３００は、ユーザによるコントローラの操作に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、および視点の切り替え等の指示を受け付け、その内容に応じた信号を仮想視点情報として画像生成装置２００へ伝送する。また、ユーザ端末３００は、画像生成装置２００から受信した仮想視点画像をユーザ端末３００が備える表示画面に表示する。仮想視点画像は、静止画像であっても動画像であってもよい。ここで、ユーザ端末３００は、例えば、ＰＣやタブレットであり、コントローラは、例えば、マウス、キーボード、６軸コントローラ、およびタッチパネルの少なくとも１つを有する。

情報表示装置４００は、分配装置５００を介して撮像装置１００－ｘや画像生成装置２００と相互に接続される。情報表示装置４００は、撮像装置１００－ｘにより撮影された撮影画像や撮像装置１００－ｘの状態情報を取得し、取得した状態情報に応じた画像を後述する表示画面（表示部４０４）に表示する。また、情報表示装置４００は、撮像装置１００－ｘの設置位置や識別情報、撮影範囲に含まれる撮影対象エリア、及び複数の撮像装置間の接続関係に関する情報なども取得し、取得した情報に応じた画像を表示画面に表示する。また、情報表示装置４００は、各撮像装置１００－ｘが属するグループの情報を取得し、取得した情報に応じた画像を表示画面に表示してもよい。情報表示装置４００は上記の各種の情報を、撮像装置１００－ｘから取得してもよいし、他の装置が保持するデータベースなどから取得してもよいし、ユーザによる情報表示装置４００に対する入力操作に基づいて取得してもよい。

本実施形態において、ある撮像装置１００－ｘが属するグループとは、その撮像装置１００－ｘとの間で所定の関係にある１又は複数の装置である。所定の関係は例えば、接続関係、設置位置及び撮影対象エリアの少なくとも何れかに関する関係である。ただしこれに限らず、装置の種別や設定情報などに関して所定の関係を有する１又は複数の装置をグループとして扱ってもよい。

また、情報表示装置４００は、画像生成装置２００の状態情報も受信し、表示画面に表示する。情報表示装置４００に表示された情報は画像処理システムの監視担当者により閲覧される。監視担当者は、情報表示装置４００の表示画面に表示された画像を用いて撮影システム１００や画像生成装置２００の状態を認識し、例えば情報表示装置４００を介して各装置を制御したり、各装置の制御を担当する他の担当者に指示を出したりできる。分配装置５００は、撮像装置１００－ｘから受信した撮影画像を、画像生成装置２００および情報表示装置４００に分配する。

次に、撮像装置１００－ｘの構成の一例について説明する。図３は、撮像装置１００－ｘのハードウェアの構成の一例を示す図である。撮像光学系３０１（光学レンズ系）は、被写体からの光を撮像素子３０２に結像する。撮像素子３０２は、結像された光を電気信号に変換し、その電気信号をＡ／Ｄコンバータ３０３に出力する。Ａ／Ｄコンバータ３０３は、入力された電気信号をデジタル信号に変換し、変換したデジタル信号を画像処理回路３０４に入力する。尚、撮像素子３０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。

システムコントローラ３０８は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する。システムコントローラ３０８は、ＲＯＭに記録されたコンピュータプログラムを実行すること等により撮像装置１００－ｘを制御する。例えば、システムコントローラ３０８は、撮像装置１００－ｘが備える不図示の通信部を制御して、記録媒体３０７に保存された画像を情報表示装置４００などへ送信する。

画像処理回路３０４は、Ａ／Ｄコンバータ３０３から入力されたデジタル信号（画像信号）に対して各種の画像処理を行う。画像処理としては、例えば、例えば、ホワイトバランス調整、色補正、およびガンマ補正などが含まれる。画像処理回路３０４により画像処理された画像信号は記録媒体３０７に保存されたり、表示装置３０５により表示されたりする。また、画像処理回路３０４は、撮影部１０２から入力された撮影画像のうち、例えば競技場２１０で競技中に撮影された画像から、選手などの特定の被写体を抽出する処理を実行する。撮像光学系制御回路３０６は、システムコントローラ３０８からの制御信号に基づいて、撮像光学系３０１に含まれるレンズなどを駆動する。

なお、図示した撮像装置１００－ｘの構成は例示であり、必ずしもすべての構成を有する必要はなく、他の構成を有していてもよい。例えば、表示装置３０５は撮像装置１００－ｘに必須の構成ではない。また、図示した構成要素の一部が撮像装置１００－ｘとは別の装置として構成されていてもよい。例えば、図１を用いた説明において上述したように、撮像装置１００－ｘが自装置に対応する処理装置へ撮影画像を送信し、各処理装置が撮像装置１００－ｘによる撮影に基づく画像を取得して情報表示装置４００などへ伝送してもよい。この場合、画像処理回路３０４や記録媒体３０７を処理装置が有していてもよい。

図４は、本実施形態の撮像装置１００－ｘの動作の一例を説明するフローチャートである。尚、図４のフローチャートは、例えば、撮像装置１００－ｘで撮影画像が得られる度に実行される。図４のフローチャートに示す処理は、システムコントローラ３０８が情報の演算や各ハードウェアの制御を実行することで実現される。なお、図４のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。

Ｓ５０１において、撮像装置１００－ｘは撮影画像を取得する。具体的には、レンズのズームやフォーカスを調整して撮影対象からの入射光を結像し、結像された入射光の露出動作を行い電気信号に変換する。そして、変換後の信号に対して、センサの出力の欠損やレンズ光学特性のバラつきの補正などの信号処理を施す。そして、信号処理の結果に基づいて、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ ＰｈｏｔｏＧｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、もしくはＢＭＰ（Ｂｉｔｍａｐ Ｉｍａｇｅ）などの画像フォーマットの撮影画像に変換する。

なお、撮像装置１００－ｘは、レンズの調整のためのパラメータや露出調整のためのパラメータなどを外部の装置（例えば情報表示装置４００）から受信し、受信したパラメータに応じて設定を変更して撮影画像を取得してもよい。外部から入力されるパラメータとしては、例えば、ズーム、フォーカス、絞り値（アイリス）、ＩＳＯ、シャッタースピード、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタ切替などがある。

Ｓ５０２において、撮像装置１００－ｘは、取得した撮影画像のうち例えば競技場２１０で競技中に撮影された画像から、選手などの特定の被写体（前景）を抽出して「前景画像データ」として取得する。また、撮像装置１００－ｘは、例えば競技の開始前に撮影された画像など、特定の被写体が存在しない状態の競技場２１０を撮影した画像を予め「背景画像データ」として取得する。なお、撮影画像から特定の被写体を除いた残りの画像を背景画像データとして取得してもよい。以下、前景背景分離していない撮影画像を、「前景画像データ」および「背景画像データ」と区別するために「分離前画像データ」と称する。

特定の被写体である前景の分離方法として、例えば、前景をオブジェクトとして抽出するオブジェクト抽出を含む画像処理を行う方法を用いることができる。オブジェクト抽出は、撮影画像と背景画像データとの差分を抽出することにより行われる。尚、前景は、競技を行う選手だけでなく、他の特定人物（例えば、控え選手、監督、審判の少なくとも何れか１人）であってもよい。また、前景は、ボールやゴールなど、画像パターンが既知の物体であってもよい。また、前景を抽出するためのその他の方法として、例えば、動体を検出して抽出してもよい。

Ｓ５０３において、撮像装置１００－Ｘは、自装置の状態情報を取得する。状態情報には少なくとも以下のいずれかに関する情報が含まれる。
・撮像装置１００－ｘの通信接続状態（他の装置との通信が可能な状態か否かなど）
・撮像装置１００－ｘの撮影状態（撮影中、撮影準備中、撮影停止中など）
・撮像装置１００－ｚの動作状態（ズーム動作中、フォーカス動作中、アイリス設定中、電源ＯＦＦ／ＯＮなど）
・撮像装置１００－ｘの出力状態（前景画像データや背景画像データを画像生成装置２００へ出力中であるか否かなど）
・撮像装置１００－ｘのエラー有無状態（正常動作中、温度エラー発生中、レンズエラー発生中など）
・撮像装置１００－ｘの構成（雲台の有無、マイクの有無、ズームレンズの有無など）
・撮像装置１００－ｘの撮影パラメータ（アイリス、シャッタースピード、ホワイトバランス、露出値、ＩＳＯ感度、ズーム、フォーカス、ＮＤフィルタ、撮影モードなど）
Ｓ５０４において、撮像装置１００－ｘは、Ｓ５０２で取得した前景画像データ背景画像データを、分配装置５００を介して、画像生成装置２００および情報表示装置４００へ所定のフレームレートで出力する。また、撮像装置１００－ｘは、Ｓ５０３で取得した状態情報を、他の撮像装置１００－ｘや分配装置５００を介して、情報表示装置４００へ出力する。尚、状態情報を出力するタイミングは、フレームレートに準じたタイミングであってもよいし、自装置が起動したタイミングや自装置の状態が変化したタイミングであってもよい。

なお、図４に示した処理の一部を他の装置が実行してもよい。例えば、Ｓ５０２における前景背景分離は、撮像装置１００－ｘから撮影画像を取得した処理装置により実行されてもよい。そして、Ｓ５０４における各種データの出力も、撮像装置１００－ｘに接続された処理装置により実行されてもよい。

次に、画像生成装置２００、情報表示装置４００及びユーザ端末３００の構成の一例について説明する。図５は、画像生成装置２００、情報表示装置４００及びユーザ端末３００のハードウェアの構成の一例を示す図である。装置７０００（ユーザ端末３００、画像生成装置２００または情報表示装置４００を表す）は、コントローラユニット７００、操作ユニット７０９、および表示装置７１０を含む。

コントローラユニット７００は、ＣＰＵ７０１を有する。ＣＰＵ７０１は、ＲＯＭ７０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ７０１は、このＯＳ上で、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ７０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ７０１の作業領域としてはＲＡＭ７０３が用いられる。ＨＤＤ７０４は、アプリケーションプログラムなどを格納する。

ＣＰＵ７０１は、システムバス７０８を介して、ＲＯＭ７０２、ＲＡＭ７０３、操作部Ｉ／Ｆ７０５、表示部Ｉ／Ｆ７０６、および通信Ｉ／Ｆ７０７と相互に接続される。操作部Ｉ／Ｆ７０５は、操作ユニット７０９とのインタフェースである。操作部Ｉ／Ｆ７０５は、操作ユニット７０９を介してユーザにより入力された情報をＣＰＵ７０１に送出する。操作ユニット７０９は、例えば、マウスおよびキーボードなどを有する。表示部Ｉ／Ｆ７０６は、表示装置７１０に表示すべき画像データを表示装置７１０に対して出力する。表示装置７１０は、コンピュータディスプレイを有する。通信Ｉ／Ｆ７０７は、例えばＥＴＨＥＲＮＥＴ（登録商標）などの通信を行うためのインタフェースであり、伝送ケーブルに接続される。通信Ｉ／Ｆ７０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ７０７は、無線通信を行うための回路やアンテナであってもよい。また、装置７０００は、ケーブルやネットワークを介して接続された外部の表示装置に画像を表示させる表示制御を行うことも可能である。この場合、装置７０００は、表示データを外部の表示装置に出力することで表示制御を実現する。なお、図５で示した構成のすべてがユーザ端末３００、画像生成装置２００または情報表示装置４００において必須の構成とは限らない。例えば画像生成装置２００において、表示装置７１０は必須の構成ではない。

図６は、本実施形態の画像生成装置２００の動作の一例を説明するフローチャートである。図６の処理は、図５のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。図６の処理は、例えば画像生成装置２００に仮想視点画像の生成指示が入力されたのち定期的に実行される。なお、図６のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

Ｓ９０１において、画像生成装置２００は、撮像装置１００－ｘから出力された前景画像データおよび背景画像データを、分配装置５００を介して取得する。ここで、前景画像データと背景画像データは各々異なるフレームレートで入力されてもよい。前景画像データおよび背景画像データを撮像装置１００－ｘから入力されていない場合、Ｓ９０２を省略して後述のＳ９０３に進む。Ｓ９０２において、画像生成装置２００は、入力された前景画像データおよび背景画像データをデータベースへ保存する。

Ｓ９０３において、画像生成装置２００は、仮想視点情報を取得したか否かを判定する。この判定の結果、仮想視点情報が取得されていない場合、Ｓ９０１に戻る。一方、仮想視点情報が入力されている場合、Ｓ９０４において画像生成装置２００は、仮想視点情報に対応する前景画像データおよび背景画像データを、データベースから取得する。仮想視点情報の取得の方法としては、例えば、前述したようにユーザ端末３００が、ユーザ端末３００に接続されたコントローラを介したユーザによる操作に基づいて、仮想視点の位置の変更、視線の方向の変更、および視点の切り替えの指示を受け付ける。そして、ユーザ端末３００は、その内容を示す伝送信号を画像生成装置２００へ伝送する。画像生成装置２００は、このようにしてユーザ端末３００から入力された伝送信号を仮想視点情報に変換することで、仮想視点情報を取得する。

Ｓ９０５において、画像生成装置２００、取得した前景画像データおよび背景画像データを画像処理により合成することで仮想視点画像を生成する。仮想視点画像を生成する方式としては、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を用いる方式が挙げられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的にＭＢＲは、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。尚、仮想視点画像の生成方法は、ＭＢＲを用いる方法に限定されず、例えば、イメージベースレンダリングなどＭＢＲ以外のレンダリング手法を用いてもよい。Ｓ９０６において、画像生成装置２００は、生成された仮想視点画像をユーザ端末３００へ伝送可能な伝送信号に変換して出力する。

ユーザ端末３００は、ユーザからの仮想視点の位置や方向の指定を受け付け、指定された視点に応じた仮想視点画像を画像生成装置２００から受信し、ユーザ端末３００に備えられた表示画面に表示する。このようにすることで、ユーザは、自身による操作に応じた視点でコンテンツを視聴できる。前述したように、ユーザ端末３００は、例えばＰＣやタブレットであり、コントローラは、例えばマウス、キーボード、６軸コントローラ、タッチパネルなどである。ユーザは、これらのコントローラを用いて仮想視点を操作し、ユーザ端末３００に備えられた表示画面に任意の視点からの仮想視点画像を表示させることができる。

次に、情報表示装置４００の構成の一例について説明する。図７は、本実施形態の情報表示装置４００の機能的な構成の一例を示す図である。図８は、本実施形態の情報表示装置４００の動作の一例を説明するためのフローチャートである。情報表示装置４００は、後述のデータ保持部４０１に保持されている情報と、状態取得部４０５が取得した情報に基づいて、撮像装置１００－ｘや画像生成装置２００の状態を示す表示を行う表示装置の一例である。情報表示装置４００は、データ保持部４０１、データ入力／読出部４０２、ＵＩ生成部４０３、表示部４０４、状態取得部４０５、制御部４０６、ユーザ入力部４０７、及び制御信号出力部４０８を有する。これらは、内部バス４０９によって相互に接続され、制御部４０６による制御の下、相互にデータを送受信することができる。なお、図７のデータ保持部４０１は図５のＨＤＤ７０４により実現され、図７のデータ入力／読出部４０２、ＵＩ生成部４０３、及び制御部４０６は、図５のＣＰＵ７０１により実現される。また、図７の状態取得部４０５、及び制御信号出力部４０８は図５の通信Ｉ／Ｆ７０７により実現され、図７の表示部４０４は、表示部Ｉ／Ｆ７０６と表示装置７１０により実現される。

図８に示す処理や情報表示装置４００が行う後述の処理は、図５のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。図８の処理は、情報表示装置４００がＵＩ画像を表示するモードに設定されたタイミングで開始される。ただし図８の処理の開始タイミングはこれに限定されない。なお、図８や情報表示装置４００が行う後述のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。以下、情報表示装置４００の各構成要素について詳細に説明する。

データ保持部４０１は、ＵＩ生成部４０３がＵＩを表示するために必要なデータを保持する。当該データには少なくとも以下のいずれかが含まれる。
・競技場２１０のレイアウトデータ
・撮像装置１００－ｘの識別情報
・撮像装置１００－ｘが属する接続グループの情報
・撮像装置１００－ｘの接続先
・撮像装置１００－ｘの設置エリア
・撮像装置１００－ｘの設置座標情報
・撮像装置１００－ｘの撮影対象エリア
・撮像装置１００－ｘの撮影対象エリアの中心座標情報
・撮像装置１００－ｘの設置エリアの領域情報
図９（Ａ）にデータ保持部４０１が保持するデータの例を示す。図９（Ａ）に示すデータは、例えば、「撮像装置１００－１」が「Ｌ１」という接続グループに属し、「撮像装置１００－２」と相互に接続され、「Ｒ１」という設置エリアの、座標（ｘ１、ｙ１）に設置されることを示している。なお、設置座標情報は、所定の位置（例えば、競技場２１０の中央）を原点とした場合のＸＹ座標を示す情報である。

また、データ保持部４０１が保持する他のデータの例を図９（Ｂ）に示す。エリア中心座標（図９（Ａ）に示す撮影対象エリアの中心座標を示す情報）は、所定の位置（例えば、競技場２１０の中央）を原点とした場合のＸＹ座標で表される。なお、共通の撮影対象エリアに対応する複数の撮像装置１００－ｘは、エリア中心座標が示す位置に光軸が向くように設置される。即ち、同じ撮影対象エリアに対応する複数の撮像装置１００－ｘが撮影する複数の画像の中心は、いずれも同一のエリア中心座標が示す位置となる。なお、これら複数の画像の中心に対応する位置は完全に一致してなくてもよく、所定の範囲内に収まっていればよい。また有効エリア情報とは、仮想視点画像の生成に適した領域を、エリア中心座標からの半径で示す情報である。仮想視点画像の生成に適した領域とは、例えば、共通の撮影対象エリアに対応する複数の撮像装置１００－ｘいずれの撮影範囲にも含まれる領域である。なお、仮想視点画像は、共通の撮影対象エリアを撮影する複数の撮像装置１００－ｘが撮影した複数の画像を用いて生成される。

また、データ保持部４０１が保持する他のデータの例を図９（Ｃ）に示す。撮影システム１００が設置される設置場所（例えば競技場）は予め定められた複数の設置エリアに区分され、各設置エリアに１以上の撮像装置１００－ｘが設置される。図９（Ｃ）に示すデータにおいては、各設置エリアが３つ以上の頂点の座標情報で表されており、これらの頂点で囲まれる領域が、設置場所の一部分である設置エリアに対応する。データ保持部４０１は、これらの情報をユーザによる操作に応じた入力に基づいて取得してもよいし、撮像装置１００－ｘから出力される状態情報に基づいて取得してもよい。なお、データ保持部４０１は、情報表示装置４００内にある必要はなく、外部の記録装置であってもよい。また、撮像装置１００－ｘに関する情報は、各々の撮像装置１００－ｘ内に記憶されていてもよい。

制御部４０６は、ユーザ入力部４０７を介して入力されたユーザ操作に応じた情報に基づき、情報表示装置４００の各部に制御指示を出す。例えば、制御部４０６は、ユーザ入力部４０７から表示イメージ種別の切替指示を示す操作情報を受信すると、その操作情報を表示イメージ種別を示す情報に変換し、ＵＩ生成部４０３に送信する。表示イメージの具体的な内容については後述する。ユーザ入力部４０７は、不図示のコントローラを介したユーザ操作を受け付け、操作情報を制御部４０６に出力する。コントローラは、例えば、キーボード、マウス、およびタッチパネルの少なくとも何れか１つである。制御信号出力部４０８は、制御部４０６から入力された制御信号を外部に出力する。出力先は例えば撮像装置１００－ｘである。制御信号は、例えば、撮像装置１００－ｘのズーム、フォーカス、アイリス、ＩＳＯ、シャッタースピード、ＮＤフィルタ切替などの撮影パラメータを設定するための信号である。

図８のＳ１１０１において、データ入力／読出部４０２は、データ保持部４０１から各種データを読み出し、ＵＩ生成部４０３へ出力する。Ｓ１１０２において、ＵＩ生成部４０３は、データ入力／読出部４０２から出力されたデータと、状態取得部４０５から出力された状態情報を元に、画像処理システムや撮像装置１００－ｘの状態を示す情報であるＵＩ画像を生成する。状態情報、及びＵＩ画像例については後述する。そしてＵＩ生成部４０３は、生成したＵＩ画像を表示イメージとして表示部４０４に出力する。

表示部４０４は、フレームバッファおよび表示パネルを有する。表示部４０４は、ＵＩ生成部４０３から出力された表示イメージをフレームバッファに格納する（上書きする）。そしてＳ１１０３において、表示部４０４は、フレームバッファに格納された表示イメージを所定のリフレッシュレートで読み出して表示パネルにて表示する。表示パネルとは、例えば、液晶パネルや有機ＥＬパネルである。Ｓ１１０４において、状態取得部４０５は、各撮像装置１００－ｘの状態情報や画像生成装置２００の状態情報を取得し、ＵＩ生成部４０３へ出力する。Ｓ１１０５において、ＵＩ生成部４０３は、前記状態情報が変化したか否かを判断し、変化している場合にはＳ１１０２に戻ってＵＩ画像を更新する。一方、状態情報が変化していない場合には、Ｓ１１０４に戻って状態情報が変化するまで待つ。

なお、上記の図８の説明では、情報表示装置４００が撮像装置１００－ｘに関する状態情報を取得し、取得した状態情報に応じた表示を行う例を説明したが、状態情報の取得元は撮像装置１００－ｘに限らない。例えば、図１を用いた説明において上述したように、撮像装置１００－ｘとは別の処理装置が撮影に基づく画像の伝送を行う場合において、情報表示装置４００は当該処理装置から状態情報を取得してもよい。ここで取得される状態情報は、撮像装置１００－ｘの状態を示す情報であってもよいし、処理装置の状態を示す情報であってもよい。また例えば、情報表示装置４００は、画像生成装置２００など画像処理システム内の他の装置から状態情報を取得し、取得した情報に応じた表示を行ってもよい。

（競技場レイアウト表示の説明）
図１０は、本実施形態の情報表示装置４００により表示される表示イメージの一例を示す図である。図１０では、競技場２１０を示す情報であるマップ１２０１上に、以下の情報が表示されている。
・撮像装置１００－ｘが設置される設置エリア（例えば、設置エリア１２０２）
・撮像装置１００－ｘとその設置位置（例えば、アイコン１２０３）
・複数の撮像装置１００－ｘ間の接続関係及び接続状態（例えば、接続１２０４）
・撮影対象エリア（例えば、有効エリア１２０５）
・撮影対象エリアの中心点（例えば、中心点１２０６）
・撮像装置１００－ｘと撮影対象エリアの対応関係（例えば、点線１２０７）
また、図１０に示すように、情報表示装置４００は、画像生成装置２００や情報表示装置４００と撮像装置１００－ｘとの接続状態を表示する。なお、図１０の例では、情報表示装置４００及び画像生成装置２００などの装置は競技場外に存在する放送中継車内に設置されているため、図１０ではこれらの装置をまとめて中継車と表示している。

図１０のような表示を行うことで、情報表示装置４００は、複数の撮像装置を有する撮影システム１００に関する情報をユーザに容易に把握させることができる。また、情報表示装置４００は、どの撮像装置がどこに配置され、どのように接続されているかを表示させることができる。また、例えば、情報表示装置４００は、撮影可能な状態である撮像装置１００－ｘを示すアイコンと、故障中や調整中であり撮影可能な状態でない撮像装置１００－ｘを示すアイコンとを識別可能に表示してもよい。このようにすることで、ユーザに、故障が生じた撮像装置１００－ｘを容易に特定させ、その撮像装置１００－ｘがどこに配置されているかを容易に把握させることができる。また、情報表示装置４００は、複数の撮像装置１００－ｘのそれぞれに対応する撮影対象エリアを示す情報を表示するので、撮像装置１００－ｘに故障が生じた場合に、不具合が生じ得る仮想視点の位置をユーザに把握させることができる。また、情報表示装置４００は、複数の撮像装置１００－ｘのそれぞれに対応する撮影対象エリアを示す情報を表示する。これにより、撮影システム１００が仮想視点画像を生成するために十分な撮影画像を撮影できる配置となっているか否かをユーザに把握させることができる。

図１１は、情報表示装置４００のＵＩ生成部４０３が、図１０の表示イメージを生成するための処理フローを示す。また図１２は、図１１のフロー内の各処理によって描画される具体的な表示イメージを示す。図１１の処理は、例えば図８のＳ１１０２のタイミングで実行される。なお、処理のタイミングや順序はこれに限定されない。また、図１６の処理及び後述する各表示処理は、図７のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図１６や各表示処理のフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

Ｓ１４０１において、ＵＩ生成部４０３は、データ入力／読出部４０２から出力された競技場２１０のレイアウトデータを描画する（図１２（Ａ））。Ｓ１４０２において、ＵＩ生成部４０３は、競技場２１０の中で撮像装置１００－ｘを設置するエリアを描画する（図１２（Ｂ））。ここでは設置エリアが４つ（Ｒ１、Ｒ２、Ｒ３、及びＲ４）ある例を示す。これらの設置エリアは図９（Ｃ）に示した座標情報に基づいて描画される。Ｓ１４０３において、ＵＩ生成部４０３は、撮像装置１００－ｘのアイコンをそれぞれの撮像装置１００－ｘが設置される設置エリア内に描画する（図１２（Ｃ））。これらのアイコンは図９（Ａ）に示した情報に基づいて描画される。

Ｓ１４０４において、ＵＩ生成部４０３は、複数の撮像装置１００－ｘの間の接続関係を描画する（図１２（Ｄ））。ここでは２つの接続グループ（Ｌ１、Ｌ２）がある場合の例を示す。これらの接続関係を示す情報は図９（Ａ）に示した接続グループの情報及び接続先の情報に基づいて描画される。Ｓ１４０５において、ＵＩ生成部４０３は、各撮像装置１００－ｘに対応する撮影対象エリアを描画する（図１２（Ｅ））。ここでは二つの撮影対象エリアがある場合の例を示す。各撮影対象エリアは、撮影対象エリアの中心点１２０６と、撮影対象エリアの有効エリア１２０５により表される。有効エリア１２０５は仮想視点画像を生成するために適した領域を示す。これらの撮影対象エリアは図９（Ｂ）に示した情報に基づいて描画される。Ｓ１４０６において、ＵＩ生成部４０３は、各撮像装置１００－ｘと撮影対象エリアを関連付ける情報としてこれらを結線する（図１２（Ｆ））。なお、後述するように、図１２に示す各画像は、それぞれ別レイヤーの画像として描画される。

複数の撮像装置１００－ｘが近傍に描画されると、図１３（Ａ）に示すように、撮像装置のアイコン１２０３－２とその撮影対象エリアを結線した点線１２０７－２が、別の撮像装置のアイコン１２０３－１と重なることがある。Ｓ１４０７においてＵＩ生成部４０３は、このような重なりの有無を確認する。重なりが発生する場合は、Ｓ１４０８においてＵＩ生成部４０３は、撮像装置のアイコン１２０３－１の描画位置を同一の設置エリア内で重なりが発生しない位置へ変更する。即ち、情報表示装置４００は、撮像装置１００－ｘを示す情報と撮影対象エリアの中心点とを結ぶ線が、他の線や他の撮像装置１００－ｘを示す情報と重ならないように表示制御を行う。このようにすることで、各撮像装置１００－ｘの撮影対象エリアがユーザにとってわかりやすいように表示することができるようになる。ただし、Ｓ１４０７及びＳ１４０８の処理は必須ではない。

（レイヤー表示とユーザ操作による表示切替）
なお、ＵＩ生成部４０３は、図１１の処理フローによって表示イメージを描画する際、図９の情報を元に、複数のレイヤーに分けて画像を描画する。ここでレイヤーとは、ＵＩ生成部４０３が内包する複数の記録領域それぞれに記憶されるデータの集まりである。ＵＩ生成部４０３は複数のレイヤーの画像を重ねあわせることで、図１０の表示イメージを生成する。

個々の描画レイヤーには、具体的には以下が描画される。
・競技場２１０（図１２（Ａ））
・設置エリア（図１２（Ｂ））
・撮像装置１００－ｘ（図１２（Ｃ））
・接続グループ（図１２（Ｄ））
・撮影対象エリア（図１２（Ｅ））
・撮像装置１００－ｘと撮影対象エリアとを結ぶ線（図１２（Ｆ））
上述のとおり、図１０や図１２の例では、設置エリアはＲ１、Ｒ２、Ｒ３及びＲ４の４つである。そのため、Ｓ１４０２では、４つのレイヤーに分けて画像が描画される。同様に、接続グループはＬ１及びＬ２の２つであるため、Ｓ１４０３では２つのレイヤーに分けて画像が描画される。図１４は、ＵＩ生成部４０３によるレイヤー描画処理のイメージ図である。最下層のレイヤーとして図１２（Ａ）に示すマップ１２０１が描画され、より上位層のレイヤーとして各設置エリアの画像が重ねあわされる。そして、最上層のレイヤーとして撮像装置１００－ｘと撮影対象エリアの結線を描画した画像が重ねられる。なお、各レイヤーの重ね合わせの順序は適宜組み替えてもよい。また、必ずしも複数のレイヤーを重ね合わせなければならないわけではない。例えば、図１２（Ａ）の画像に、図１２（Ｂ）から図１２（Ｆ）で示した内容を上書きすることで、図１０に示すような表示イメージが生成されるようにしても良い。しかしながら、レイヤーごとに描画処理を行うことによって、表示イメージの切替えが容易になるというメリットがある。係る点について、以下で詳述する。

図１５は、ユーザ入力部４０７を介して入力された操作情報に基づいて、図１１の処理により描画された表示イメージの表示を切り替える処理のフローを示す。図１５の処理は、例えば図８のＳ１１０２において実行される。Ｓ２５０１において、ユーザ入力部４０７は、キーボードなどのコントローラを介して操作情報が入力されると、その操作情報を制御部４０６へ出力する。操作情報を受信した制御部４０６は、Ｓ２５０２において、その操作情報に基づいて表示もしくは非表示にすべき表示内容を特定し、その内容を表示切替指示として、ＵＩ生成部４０３へ出力する。なお、制御部４０６は、入力される操作情報と表示もしくは非表示にすべき内容との対応関係を示す情報を予め有している。例えば、キーボードで「Ａ」というキーが押された場合は、Ｌ１の接続グループに属するカメラを表示する、などの情報を有している。Ｓ２５０３において、ＵＩ生成部４０３は、入力された表示切替指示に応じて、表示する描画レイヤーを追加もしくは削除したのち、表示部４０４へ表示すべきレイヤーの画像を出力する。

図１６は、図１５の処理により生成されるＵＩ画像の一例である。具体的には図１５は、画像処理システム内の複数の撮像装置１００－ｘのうち接続グループＬ１に属する撮像装置１００－ｘのみの情報を表示するための表示切替を行った結果を示している。これに限らず、例えば、情報表示装置４００は図１５の処理により、設置エリアＲ１に設置された撮像装置１００－ｘのみの情報を表示させることができる。また、情報表示装置４００は、図１５の処理により、任意に指定された撮像装置１００－ｘのみの情報を表示させることができる。また、情報表示装置４００は、図１５の処理により、同一の撮影対象エリアに対応する撮像装置１００－ｘのみの情報を表示させることができる。

なお、上記では表示させるレイヤーをユーザに選択させる例を示したが、これに限らず、情報表示装置４００が表示させるレイヤーを自動で選択してもよい。例えば、情報表示装置４００は、画像処理システム内の少なくとも一つの装置がエラー状態であることを示す情報を受信した場合、エラー状態となった装置の状態を表示するのに適したレイヤーを自動で選択して表示させるようにしてもよい。また、当該レイヤーの画像の表示に合わせて、警告をポップアップ表示してもよい。このようにすることで、ユーザは、仮想視点画像の品質の低下などの不具合が発生し得ることを把握でき、その対策を行うことができる。

このように、情報表示装置４００は、各レイヤーを適宜組み合わせたり、削除したりして、撮影システム１００の状態の表示を行う。したがって、情報表示装置４００は、撮影システム１００が多くの撮像装置１００－ｘを有している場合であっても、所望の撮像装置群の状態のみを表示することができ、視認性を向上させることができる。

（撮像装置１００－Ｘの状態表示の説明）
図１７は、図１０に示した表示イメージ上の撮像装置１００－ｘのアイコンを、撮像装置１００－ｘの状態に応じた画像として表示する例について説明するための図である。情報表示装置４００の状態取得部４０５は、撮像装置１００－ｘの状態情報保持部１０４から撮像装置１００－ｘの状態情報を取得すると、ＵＩ生成部４０３に出力する。ＵＩ生成部４０３は、その状態情報に基づいて、図１０の表示イメージ上の撮像装置１００－ｘのアイコンの画像を更新する。図１７は、具体的には、ある接続グループに含まれる撮像装置１００－ｘの一部を示している。例えば、撮像装置１００－ｘの状態の表示には以下のものがある。
・撮像装置１００－ｘが情報表示装置４００や他の撮像装置１００－ｘと接続されて通信可能な状態（図１７（Ａ）のアイコン２４０１）
・撮像装置１００－ｘが情報表示装置４００や他の撮像装置１００－ｘと通信不可となっている状態（図１７（Ａ）のアイコン２４０２）
また、情報表示装置４００は図１７（Ａ）に示すような接続状態の表示に加えて、撮像装置１００－ｘ自体の状態も以下のように表示する。
・撮像装置１００－ｘがエラー状態（図１７（Ｂ）のアイコン２４０３）
・撮像装置１００－ｘがワーニング状態（図１７（Ｂ）のアイコン２４０４）
・撮像装置１００－ｘがバイパス状態（図１７（Ｂ）のアイコン２４０５）
ここで、エラー状態とは、撮像装置１００－ｘに障害が発生しており、撮像装置１００－ｘが正常に撮影を行えない状態や、撮像装置１００－ｘが画像の出力や伝送を正常に行えない状態である。撮影が正常に行えなくなる障害の具体例としては、撮像装置１００－ｘの温度が正常に動作可能な範囲を超えてしまうことや、撮影のためのレンズに歪みや汚れが発生することなどがある。画像の出力や伝送を正常に行えなくなる障害の具体例としては、撮像装置１００－ｘの通信Ｉ／Ｆ７０７が故障することや、通信Ｉ／Ｆ７０７に接続された伝送ケーブルが断線することや、伝送ケーブルと通信Ｉ／Ｆ７０７との接続が外れてしまうことなどがある。

また、ワーニング状態とは、撮像装置１００－ｘが正常に動作できているが、仮想視点画像の生成に不具合が生じる蓋然性が高くなっている状態である。例えば、撮像装置１００－ｘの温度が所定の望ましい範囲より高くなっている状態や、撮像装置１００－ｘと不図示の同期装置との間の同期ずれの大きさが所定範囲外となっている状態などである。

本実施形態では、エラー状態及びワーニング状態を含む、装置が正常な状態ではなくなった状態を、異常状態と記載する。すなわち、本実施形態における異常状態にある装置には、所定の動作が行えない状態にある装置や、装置の状態に関するパラメータが所定の範囲外となっている装置、及び他の装置と同期していない装置などが含まれる。また、異常状態にある装置には、装置の状態に関するパラメータが他の複数の装置（例えば撮影システム１００内の他の撮像装置１００－ｘ）と異なっている装置などが含まれてもよい。

また、バイパス状態とは、撮像装置１００－ｘにより取得される画像が出力されておらず、その撮像装置１００－ｘが他装置から取得したデータの伝送のみを実行する状態である。

また、情報表示装置４００は、撮像装置１００－ｘの構成も以下のように表示する。
・撮像装置１００－ｘにズームレンズが装着されている（図１７（Ｃ）のアイコン２４０６）
・撮像装置１００－ｘに集音マイクが装着されている（図１７（Ｃ）のアイコン２４０７）
・撮像装置１００－ｘに雲台が装着されている（図１７（Ｃ）のアイコン２４０８）
また、情報表示装置４００は、撮像装置１００－ｘの出力状態も以下のように表示する。
・撮像装置１００－ｘによる撮影に基づく前景画像データや背景画像データが、分配装置５００を介して、画像生成装置２００および情報表示装置４００へ所定のフレームレートで出力中（図１７（Ｄ）のアイコン２４０９）
なお、情報表示装置４００は、撮像装置１００－ｘの出力するデータの出力先や出力のフレームレートを示す情報を表示してもよい。また、情報表示装置４００は、撮像装置１００－ｘが出力する画像に関する情報（例えばデータサイズ、画像サイズ及びファイル形式など）を表示してもよい。

また、情報表示装置４００は、撮像装置１００－ｘの機械的な動作状態も以下のように表示する。機械的な動作には、例えば、ズームレンズの動作、雲台の動作やオートフォーカスの動作などが含まれる。
・撮像装置１００－ｘのズームレンズが動作中（図１７（Ｅ）のアイコン２４１０）
上記では撮像装置１００－ｘの状態の表示例を示したが、表示する内容はこれに限定されない。例えば、各撮像装置１００－ｘと同期装置との同期状態を表示してもよい。またこうした状態情報に加え、各撮像装置について設定された内容や、その設定を反映する処理の完了状態などを表示してもよい。

なお上記では、撮像装置１００－ｘの状態を、図１７（Ａ）から図１７（Ｅ）に示す画像で表示する例を説明したが、メッセージで撮像装置１００－ｘの状態を表示してもよい。また、撮像装置１００－ｘの状態を示す情報のうち表示される項目をユーザが選択可能であってもよい。また、撮像装置１００－ｘの状態の表示可否もユーザが選択可能であってもよい。また、情報表示装置４００は、ユーザにより操作されるカーソルの位置に対応する撮像装置１００－ｘを選択し、その撮像装置１００－ｘの状態を示す情報を表示してもよい。また、情報表示装置４００は、ユーザによるタッチパネルに対する操作により指定された撮像装置１００－ｘの状態を示す情報を表示してもよい。

また、情報表示装置４００は、撮像装置１００－ｘの状態を示す情報として撮像装置１００－ｘに設定されている撮影パラメータを表示してもよい。また、情報表示装置４００は、撮像装置１００－ｘの状態が、例えば、エラー状態、ワーニング状態、及び通信不可能な状態など、仮想視点画像の生成に不具合が生じ得る状態の場合に、画像、色またはメッセージにより警告を表示してもよい。また、情報表示装置４００は、撮像装置１００－ｘに限らず、画像処理システムの状態が仮想視点画像の生成に不具合が生じ得る状態の場合に、「仮想視点画像の生成に不具合が生じる恐れがあります。至急、修理や設定の確認を行ってください。」などのようにメッセージで警告表示を行うと共に不具合を解消することをユーザに促すための表示を行ってもよい。

本実施形態によれば、図１７に示す撮像装置１００－ｘの状態を示す情報の表示を行うことにより、情報表示装置４００は、複数の撮像装置１００－ｘを有する撮影システム１００に関する情報をユーザに把握させることができる。また、情報表示装置４００は、どの撮像装置１００－ｘがどのような状態であるかをユーザに容易に把握させることができる。また、例えば、情報表示装置４００は、撮影にエラーが生じた撮像装置１００－ｘが識別可能となるように表示することにより、ユーザにエラーが生じた撮像装置１００－ｘを把握させることができる。

（グループ概要リスト表示の説明）
図１８は、図１０に示した表示イメージと併せて表示される撮像装置１００－ｘの状態のリストの例である。図１８（Ａ）は、撮影対象エリアグループごとの撮像装置１００－ｘの状態をリスト表示した例である。本実施形態では、指定された同一の撮影対象エリアを撮影範囲に含む複数の撮像装置１００－ｘからなる装置群を撮影対象エリアグループと呼ぶ。ただし、これら複数の撮像装置１００－ｘによる撮影に基づく画像の取得と伝送を行う複数の処理装置からなる装置群を撮影対象エリアグループとして扱ってもよい。また、単一の装置からなる撮影対象エリアグループがあってもよい。図１８（Ａ）に示すリスト表示をグループ状態リスト表示と呼ぶ。

例えば、撮影対象エリアグループのグループ状態リスト表示の内容には以下のものがある。
・撮影対象エリアグループに含まれる複数の撮像装置１００－ｘがすべて接続状態であるか否か
・撮影対象エリアグループにエラー状態の撮像装置１００－ｘが含まれるか否か
・撮影対象エリアグループにワーニング状態の撮像装置１００－ｘが含まれるか否か
・撮影対象エリアグループにバイパス状態の撮像装置１００－ｘが含まれるか否か
・撮影対象エリアグループに含まれる撮像装置１００－ｘの構成（雲台有り／無し、マイク有／無しなど）
・撮影対象エリアグループに含まれる撮像装置１００－ｘの出力状態（出力中／出力なし）
・撮影対象エリアグループに含まれる撮像装置１００－ｘの機械的な動作状態（動作中／非動作中）
また、図１８（Ａ）に示すグループ状態リスト表示では、上記以外に以下の状態も表示する。
・撮影対象エリアグループに含まれる撮像装置１００－ｘのＩＳＯ値
・撮影対象エリアグループに含まれる撮像装置１００－ｘのアイリス値
・撮影対象エリアグループに含まれる撮像装置１００－ｘのシャッタースピード値
・撮影対象エリアグループに含まれる撮像装置１００－ｘのＮＤフィルタ値
図１８（Ａ）では、１以上の撮像装置１００－ｘの状態と同一の撮影対象エリアグループに含まれる他の撮像装置１００－ｘの状態とが異なっている場合に、その状態を表す情報としてアスタリスクを表示している。ただし、他の情報により警告表示を行ってもよい。例えば、「撮影対象エリアグループの撮像装置の露光条件が一致していないため、仮想視点画像に不具合が生じる恐れがあります。」などのようにメッセージで警告表示を行ってもよい。また、警告を意味する色や画像を表示することで警告表示を行ってもよい。このように情報表示装置４００は、撮影対象エリアグループのグループ状態リスト表示を行う。したがって、複数の撮像装置１００－ｘの状態が互いに異なることで仮想視点画像に違和感が生じる可能性を容易にユーザに認識させ、その対策を取らせることが可能になる。

（グループ詳細リスト表示の説明）
図１８（Ｂ）は、図１８（Ａ）に示した撮影対象エリアグループＶ２に属する各撮像装置１００－ｘの状態をリスト表示した例である。以下ではこのリスト表示を個別状態リスト表示と呼ぶ。個別状態リスト表示によれば、グループ状態リスト表示と異なり、グループに属する撮像装置１００－ｘそれぞれの状態がわかる。そのため、ユーザは例えば、グループ状態リスト表示で警告表示を見つけた場合に、個別状態リスト表示へ表示切替することで、エラー状態にある撮像装置１００－ｘを具体的に特定できる。図１８（Ｂ）の例によれば、撮像装置１００－２が温度エラーを起こしていることにより、図１８（Ａ）に示すグループ状態リスト表示でエラー状態に警告表示（アスタリスク）が出ていたことがわかる。

リスト表示の表示切替の動作方法としては、具体的には、ＵＩ生成部４０３が、ユーザ入力部４０７を介して入力された表示切替操作の操作情報に基づいて、グループ状態リスト表示と個別状態リスト表示との間で表示の切り替えを行う。例えば、情報表示装置４００は、グループ状態リスト表示をしている際に、撮影対象エリアグループの識別情報である「Ｖ２」に対応する位置に対するユーザによるタップ操作や指示操作を受け付けた場合、個別状態リスト表示に切り替える。また、情報表示装置４００は、グループ状態リスト表示をしている際に、不図示の「戻る」のメッセージアイコンに対応する位置に対するタップ操作や指示操作を受け付けた場合、グループ状態リスト表示に切り替える。

なお、図１８に示すリストに表示される内容は上記に限定されない。例えば各撮像装置１００－ｘと同期装置との同期状態を表示してもよい。またこうした状態情報に加え、各撮像装置について設定された内容や、その設定を反映する処理の完了状態などを表示してもよい。また、グループは撮影対象エリアグループに限定されず、接続グループ毎にリスト表示してもよいし、設置エリアを一つのグループとしてリスト表示してもよい。

（操作ＵＩの説明）
図１９は、本実施形態の情報表示装置４００により表示される撮像装置１００－ｘを操作するための操作ＵＩの一例を示す図である。図１９（Ａ）には、情報表示装置４００が表示する、個別の撮像装置１００－ｘを操作するユーザ指示を受け付けるためのＵＩを示す。情報表示装置４００は、ユーザによる操作に応じて、撮像装置１００－ｘの撮影パラメータの設定情報や撮像装置１００－ｘを操作するための情報を撮像装置１００－ｘに送信する。操作ＵＩには、例えば撮像装置１００－ｘのズーム、フォーカス、ＩＳＯ、アイリス、シャッタースピード、及びＮＤフィルタの設定を行うための画像が表示される。また、撮像装置１００－ｘが雲台を有する場合、ＰＡＮ（パン）やＴＩＬＴ（チルト）の設定を行うための画像も表示される。

図１９（Ｂ）には、情報表示装置４００が表示する、撮影対象エリアグループに属する撮像装置１００－ｘを一括で操作するためのＵＩを示す。一括操作用の操作ＵＩには、例えば露出条件を決めるＩＳＯ、アイリス、シャッタースピード、及びＮＤフィルタの設定を行うための画像が表示される。このような表示を行うことで、撮影対象エリアグループに属する複数の撮像装置１００－ｘに対する指示を情報表示装置４００がユーザから受け付け、指示に応じた設定や操作を複数の撮像装置１００－ｘに反映することができる。そのため、撮像装置１００－ｘごとに設定や操作の指示を受け付ける場合と比べて、ユーザによる操作の手間が削減できる。例えば、撮影中に外光の強さなどの状況が変化した場合に、同一の撮影対象エリアを撮影している撮影対象エリアグループの露出条件を一括で変更することができる。

（異常状態を通知するための画像表示）
以降では、撮像装置１００－ｘが異常状態にある場合の情報表示装置４００による表示処理について説明する。図１７を用いて上述したように、情報表示装置４００は、個別の撮像装置１００－ｘの状態を図１０などに示す表示イメージに表示することができる。これに加えて、本実施形態における情報表示装置４００は、接続グループ単位や撮影対象エリアグループ単位での状態を表示イメージに表示することができる。

画像処理システム内の撮像装置１００－ｘの一つに異常が生じた場合、異常状態にある撮像装置１００－ｘと他の撮像装置１００－ｘとの位置関係や接続関係などによって、仮想視点画像の生成への影響が異なる場合がある。例えば、単一の撮影対象エリアグループに含まれる撮像装置１００－ｘの一つが故障した場合、そのグループに含まれる正常状態の撮像装置１００－ｘの数が多ければ、仮想視点画像の画質の低下の程度が小さく、仮想視点画像の生成を継続できることがありうる。一方、そのグループに含まれる正常状態の撮像装置１００－ｘの数が少なければ、仮想視点画像の画質の低下の程度が大きく、仮想視点画像の生成を継続できないことがありうる。また例えば、単一の接続グループに含まれる撮像装置１００－ｘの一つが故障した場合に、そのグループに含まれる複数の撮像装置１００－ｘすべてに対して調整や再設定を行わなければならないことがありうる。この場合には、グループに含まれる撮像装置１００－ｘの数に応じて、復帰処理に要する手間や時間が異なる。

このように、異常が生じた撮像装置１００－ｘが属するグループの構成によって異常の影響が異なる場合に、本実施形態の情報表示装置４００は、異常が生じたグループを示す情報を表示させることで、異常による影響をユーザに知らせることができる。そして、異常による影響をユーザが容易に知ることができれば、例えば撮像装置１００－ｘの修理や調整などの適切な対応を素早く行うことができ、仮想視点画像の品質の低下などの不具合を抑制することができる。

図２０は、情報表示装置４００による表示制御処理のフローを示す。図２０の処理は、図１０に示すような表示イメージが表示された後に実行される。ただし図２０の処理の開始タイミングはこれに限定されない。図２０の処理は、図５のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図２０のフローチャートに示す処理の少なくとも一部が専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

Ｓ４００１において、状態取得部４０５は、各撮像装置１００－ｘの状態情報保持部１０４から撮像装置１００－ｘの状態情報を取得する。Ｓ４００２において、状態取得部４０５は、画像処理システム内の全ての撮像装置１００－ｘの状態を取得したか否かを判定する。状態情報を取得できていない撮像装置１００－ｘがある場合、Ｓ４００１に戻り、未取得の状態情報を取得する。一方、すべての撮像装置１００－ｘの状態を取得できた場合、Ｓ４００３に進む。なお、状態取得部４０５は、画像処理システム内の一部の撮像装置１００－ｘの状態情報のみを取得してＳ４００３に進んでもよい。

Ｓ４００３において、ＵＩ生成部４０３は、Ｓ４００１において取得した状態情報に基づいて、画像処理システム内の複数の撮像装置１００－ｘのうちエラー状態にある撮像装置１００－ｘが存在するか否かを判定する。エラー状態にある撮像装置１００－ｘが存在しない場合、情報表示装置４００は図２０の処理を終了する。なお、エラー状態にある撮像装置１００－ｘが存在しない場合に、Ｓ４００１に戻ってもよい。一方、エラー状態にある撮像装置１００－ｘが存在する場合には、取得した状態情報に基づいてエラー状態にある撮像装置１００－ｘを特定し、Ｓ４００４に進む。

Ｓ４００４において、ＵＩ生成部４０３は、エラー状態にある撮像装置１００－ｘが属するグループを特定する。ここでは特定されるグループとして、相互に接続される接続グループ、同一の撮影対象エリアに対応する撮影対象エリアグループ、及び同一の設置エリア内に設置される設置エリアグループを例に挙げる。ただし、ＵＩ生成部４０３により特定されるグループは、エラー状態にある撮像装置１００－ｘとの間で所定の関係にある１又は複数の装置であればよく、これらの例に限定されない。グループの特定について、図９の例を用いて説明する。例えば撮像装置１００－５がエラー状態であることを示す状態情報を取得した場合、ＵＩ生成部４０３は、データ保持部４０１が保持しているデータを参照し、撮像装置１００－５が属するグループを確認する。これにより、
・接続グループ：Ｌ１
・設置エリアグループ：Ｒ２
・撮影対象エリアグループ：Ｖ１
であることが特定できる。このようにして、撮像装置１００－５のエラーがどのグループに影響を及ぼすかを特定することができる。

Ｓ４００５において、ＵＩ生成部４０３は、データ保持部４０１から、どの種別のグループについてエラー表示するかを決定するための情報を取得する。図２１は、データ保持部４０１が保持する情報の一例である。データ保持部４０１は、グループの種別毎にエラー表示のＯＮ／ＯＦＦの情報を持つ。図２１に示す例においては、接続グループのみがエラー表示ＯＮとなっているため、ＵＩ生成部４０３により描画される表示イメージ上では、接続グループＬ１がエラーの発生したグループとして表示される。一方、設置エリアグループ、及び撮影対象エリアグループのエラー表示はＯＦＦとなっているため、これらのグループについてはエラーの発生したグループとしての表示はされない。

図２１に示すようなグループ種別ごとのエラー表示のＯＮ／ＯＦＦの設定は、ユーザが情報表示装置４００を操作することにより予め設定されてもよいし、画像処理システムの構成や動作状態に応じて自動的に設定されてもよい。例えば、画像処理システムが仮想視点画像を生成中でない場合は、設置エリアグループのエラー表示がＯＮに設定される。これにより、どの設置エリアで装置の異常が起きたかを、画像処理システムを監視する監視者が素早く認識し、例えば当該設置エリア内の装置を管理する管理者に即座に連絡することができる。すなわち、エラーが発生した装置の修復に最適な表示となる。なおこの際、情報表示装置４００は、監視者が当該設置エリア内の装置を管理する管理者に連絡するための情報を表示させてもよい。例えば、情報表示装置４００は、エリアごとに管理者の連絡先（携帯電話の番号や無線通信機の識別情報など）を予め登録しておき、エラーが発生した装置に対応するエリアの管理者の連絡先を表示させてもよい。また、表示部４０４に表示された管理者の情報に対して監視者が選択操作を行うことで、当該管理者と会話ができるように自動で通信の接続が行われてもよい。

また、画像処理システムが仮想視点画像を生成中である場合は、撮影対象エリアグループのエラー表示がＯＮに設定される。これにより、生成される仮想視点画像の画質が低下する虞が高い撮影対象エリアを、仮想視点を操作する操作者に予め通知し、例えばその領域へ仮想カメラを向けないようにさせることができる。すなわち、仮想視点画像の品質を保障するために最適な表示となる。

Ｓ４００６において、ＵＩ生成部４０３は、エラー表示することが決定されたグループ（エラー表示がＯＮに設定されたグループ）のエラー表示を行う画像を生成する。すなわち、情報表示装置４００は、エラー状態にある撮像装置１００－ｘが属するグループを示す情報を表示部４０４に表示させる。グループを示す情報には、例えばグループを構成する装置群の位置を示す情報、装置群の接続関係を示す情報、及びグループに対応する撮影対象エリアを示す情報の少なくとも何れかが含まれる。

図２２は、グループ種別ごとのエラー表示の例を示す。ここではアイコン４１０１で表される撮像装置１００－５がエラー状態にあるものとする。図２２（Ａ）は、接続グループのエラー表示をＯＮにした場合の表示例を示す。撮像装置１００－５は接続グループＬ１に属しており、接続グループＬ１に対応する線４１０２を強調表示することで、接続グループＬ１のエラー表示をしている。図２２（Ｂ）は、設置エリアグループのエラー表示をＯＮにした場合の表示例を示す。撮像装置１００－５は設置エリアグループＲ２に属しており、設置エリアグループＲ２に対応するエリア４１０３を強調表示することで、設置エリアグループＲ２のエラー表示をしている。図２２（Ｃ）は、撮影対象エリアグループのエラー表示をＯＮにした場合の表示例を示す。撮像装置１００－５は撮影対象エリアグループＶ１に属しているため、撮影対象エリアグループＶ１に対応する撮影対象エリア４１０４を強調表示することで、撮影対象エリアグループＶ１のエラー表示をしている。なお、図２２（Ｃ）では撮影対象エリア４１０４と撮像装置１００－５のアイコン４１０１を強調表示する例を示しているが、撮影対象エリアグループＶ１に属する他の撮像装置１００－ｘのアイコンも強調表示してもよい。

このように、情報表示装置４００は、撮像装置１００－ｘが異常状態にある場合に、その撮像装置１００－ｘが属しているグループを示す情報を、撮影システム１００の設置場所（例えば競技場）を示す画像に重畳させて表示することでエラー表示を行う。また、情報表示装置４００は、異常状態にある撮像装置１００－ｘに対応する接続グループを示す情報、設置エリアを示す情報、及び撮影対象エリアを示す情報のうち、ユーザによる指示に応じて選択された情報を表示部４０４に表示させる。これにより、発生した異常の影響範囲をユーザが容易に認識することができ、ユーザは画像処理システムの修復などの対応を素早く行えたり、生成される仮想視点画像の品質を保てるような操作をできたりするなどの効果が得られる。

なお、エラー表示は設置場所を示すマップに重畳して表示されるものに限らず、マップとは別に表示されてもよいし、アイコン等ではなく文字で表示されてもよい。また、異常状態にある撮像装置１００－ｘが属するグループを示す情報と併せて、そのグループの状態に関する情報（例えばグループに含まれる撮像装置１００－ｘの温度や接続状態を示す情報）及び警告メッセージの少なくとも何れかが表示されてもよい。警告メッセージとしては例えば、「撮影対象エリアＶ１を撮影可能なカメラ台数が少なくなったため、仮想視点画像の生成が継続できません。エラーの発生したカメラの復旧処理を行ってください。」というような内容が表示される。また例えば、「接続グループＬ１のカメラに異常が発生しています。接続グループＬ１に属するカメラの再起動を行ってください。」というような警告メッセージを表示してもよい。これらの警告メッセージやグループの状態に関する情報を併せて表示させることで、発生した異常の内容をユーザが容易に認識することができる。その結果、例えば直ちに修理を行うべきか否かをユーザが素早く判断することができ、仮想視点画像の生成に係る不具合を抑制することができる。

また、上記ではエラーが発生した撮像装置１００－ｘが属するグループの情報を強調表示する場合について説明したが、表示の方法はこれに限らず、エラーが発生した撮像装置１００－ｘが属するグループとそれ以外のグループとを識別可能に表示すればよい。具体的には、エラーが発生した撮像装置１００－ｘに対応する接続グループを示す情報、設置エリアを示す情報、及び撮影対象エリアを示す情報の少なくとも何れかが、エラーが発生した撮像装置１００－ｘに対応しないこれらの情報と区別して表示されればよい。また例えば、情報表示装置４００は、エラーが発生した撮像装置１００－ｘが属するグループ以外のグループを示す情報を非表示にしてもよい。このような表示方法によっても、発生したエラーの影響をユーザが容易に認識することができる。以下の説明において、すでに説明した実施形態と同様の部分については詳細な説明を省略する。

図２３は、情報表示装置４００による表示制御処理のフローであり、図２０を用いて説明した処理の変形例を示す。Ｓ４００１からＳ４００４までの処理は、図２０を用いて上述したものと同様である。Ｓ４００４においてエラーが発生した撮像装置１００－ｘが属するグループを特定した後、Ｓ４２０１においてＵＩ生成部４０３は、データ保持部４０１から、設定されたエラー表示のモードを示すモード情報を取得する。図２４は、モード情報の一例を示す。エラー表示のモードには、例えば以下のモードが含まれる。
・撮像装置表示モード：エラーが発生している撮像装置を表示する
・接続グループ表示モード：エラーが発生している撮像装置が属している接続グループを表示する
・撮影対象エリア表示モード：エラーが発生している撮像装置に対応する撮影対象エリアを表示する
・全表示モード：エラーが発生している撮像装置の情報の表示に加え、正常状態の撮像装置の情報も表示する
エラー表示のモードは、ユーザが情報表示装置４００を操作して予め設定していてもよいし、画像処理システムの構成や動作状態に応じて自動的に設定されてもよい。Ｓ４２０１において取得されたモード情報が示すエラー表示モードが全表示モードある場合、Ｓ４２０３においてＵＩ生成部４０３は、図２２を用いて上述した表示方法と同様に、エラー状態の撮像装置１００－ｘが属しているグループをエラー表示する。

一方、Ｓ４２０１において全表示モード以外のエラー表示モードが示される場合、Ｓ４２０２においてＵＩ生成部４０３は、設定されたモードに応じて一部の表示を消去する。例えば、エラー表示モードが撮像装置表示モードに設定されている場合、エラーが発生していない正常状態の撮像装置１００－ｘの情報を表示イメージから消去する。また、エラー表示モードが接続グループ表示モードに設定されている場合、エラー状態の撮像装置１００－ｘを含まない接続グループの情報を表示イメージから消去する。また、エラー表示モードが撮影対象エリア表示モードに設定されている場合、エラー状態の撮像装置１００－ｘに対応する撮影対象エリアとは異なる撮影対象エリアの情報を表示イメージから消去する。設定されたモードに応じた表示の消去を行った後、Ｓ４２０３においてＵＩ生成部４０３は、消去されていない情報によるエラー表示を行う。

図２４は、エラー表示モードごとの表示の例を示す。ここではアイコン５１０１で表される撮像装置１００－５がエラー状態にあるものとする。図２５（Ａ）は、撮像装置表示モードが設定されている場合の表示例を示す。撮像装置１００－５以外の撮像装置１００－ｘを表すアイコンは全て消去され、アイコン５１０１のみが表示されている。図２５（Ｂ）は、接続グループ表示モードが設定されている場合の表示例を示す。撮像装置１００－５が属する接続グループＬ１に含まれない撮像装置１００－ｘを示す情報は表示されず（図２２（Ｂ）の下半分に表示されていた接続グループＬ２の情報は消去され）、接続グループＬ１を表す線５１０２が表示されている。図２５（Ｃ）は、撮影対象エリア表示モードが設定されている場合の表示例を示す。撮像装置１００－５は撮影対象エリアグループＶ１に属しているため、別の撮影対象エリアグループＶ２（図２２（Ｃ）の右半分に表示されていた撮影対象エリア）の情報が消去され、撮影対象エリアグループＶ１を示すエリア５１０３のみが表示されている。

以上のように、エラーが発生した撮像装置１００－ｘが属しているグループ等の情報以外の情報を非表示にしてエラー表示を行うことで、ユーザにとって必要な情報のみを表示させ、エラーの影響をユーザにより容易に認識させることができる。なお、情報表示装置４００は、図２５に例を示した表示方法とは逆に、エラー状態の撮像装置１００－ｘを含むグループの情報を非表示にし、エラー状態の撮像装置１００－ｘを含まないグループの情報を表示してもよい。この表示によれば、発生したエラーの影響を受けない撮像装置１００－ｘや撮影対象エリアをユーザに容易に認識させることができ、例えば仮想視点画像の生成の継続可否などをユーザが適切に判断できるようになる。

なお、情報表示装置４００は、エラーを検知した際に、表示部４０４に情報を表示する以外の方法でユーザにエラーを通知してもよい。例えば、情報表示装置４００は音声出力部を備え、エラー通知音を出力することでユーザにエラーを通知する機能を持っていてもよい。また例えば、情報表示装置４００はランプを発光させるための制御信号を出力することで、エラーの通知を行ってもよい。情報表示装置４００がこのような機能を有することで、ユーザが表示部４０４を見ていない場合においても、ユーザにエラーの発生を認識させることができる。

以上説明したように、本実施形態に係る情報表示装置４００は、視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮影に基づく複数の画像を取得するための複数の装置に関する情報を取得する。また情報表示装置４００は、当該複数の装置のうち異常状態にある装置を、取得した情報に基づいて特定する。そして情報表示装置４００は、当該複数の装置のうち異常状態にある装置との間で所定の関係にある１又は複数の装置を示す情報を表示部４０４に表示させる。これにより、例えば画像処理システムに含まれる装置の数が多い場合であっても、システムに含まれる装置の異常による影響をユーザが容易に知ることができるようになる。また、情報表示装置４００は、接続グループのみの表示や、撮影対象エリアグループのみの表示を行うなど、情報ごとの表示と非表示を切り替えることができる。これにより、画像処理システム内の撮像装置１００－ｘの数やグループの数などが多い場合であっても、不要な情報を非表示にして表示の見やすさを向上することができる。

なお、上記の実施形態では、情報表示装置４００が撮像装置１００－ｘに関する情報を表示させる例を中心に説明したが、これに限らない。つまり、本実施形態の情報表示装置４００は、撮像装置１００－ｘの情報に加えて、又は撮像装置１００－の情報に代えて、仮想視点画像の生成のためのシステムに含まれる他の構成要素に関する情報を表示させてもよい。例えば、情報表示装置４００は、撮像装置１００－ｘによる撮影に基づく画像を伝送する処理装置、スイッチやルータなどのネットワーク機器、分配装置５００、画像生成装置２００、及び同期装置などの状態を表示させてもよい。すなわち、情報表示装置４００は、仮想視点画像の生成のためのシステムの構成要素の状態を示す画像を表示させることができる。さらに、情報表示装置４００は、システムの構成要素が異常状態にある場合に、当該構成要素の異常の影響を受ける別の構成要素を特定する情報など、以上の影響範囲を示す情報を表示させてもよい。

また、本実施形態では、情報表示装置４００が、撮像装置１００－ｘから出力される状態情報の内容に基づいて、撮像装置１００－ｘにおける状態変化の発生を検出する例を中心に説明したが、この例に限らない。例えば、撮像装置１００－ｘは正常状態において定期的に状態情報を送信し、情報表示装置４００は、撮像装置１００－ｘから状態情報を一定期間受信できかった場合に、当該撮像装置１００－ｘがエラー状態にあると判定してもよい。

また、本実施形態では、情報表示装置４００が、撮像装置１００－ｘなどの画像処理システム内の装置がエラー状態にあると判定した場合に、エラー状態の装置を含むグループを示す情報を表示するなどのエラー表示を行う場合を中心に説明した。ただし情報表示装置４００は、エラー状態に限らず、不具合が生じる蓋然性が高いワーニング状態など、画像処理システム内の装置が何らかの異常状態にあると判定した場合に、その装置を含むグループを示す情報を表示するなどのエラー表示を行ってもよい。例えばワーニング状態の装置を含むグループを表示することで、装置のエラーが生じる前に、エラーが生じた場合の影響をユーザに認識させることができ、ユーザは影響の大きさに応じたエラーの予防措置などをとることができる。

また、本実施形態では、仮想視点画像を生成するためのシステムの構成要素の状態に関する情報が表示される場合について説明したが、本実施形態の適用対象となるシステムはこれに限定されない。例えば、複数のカメラを構成要素とする監視カメラシステムにおけるカメラの状態を示す情報が表示されてもよい。また、異常状態にあるカメラと同一のエリアを撮影しているカメラのグループや、異常状態にあるカメラと同一のエリアに設置されているカメラのグループを示す情報などが表示されてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００ 撮影システム
２００ 画像生成装置
３００ ユーザ端末
４００ 情報表示装置
５００ 分配装置

Claims (18)

1. 視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮影に基づく複数の画像を取得するための複数の装置に関する情報を取得する取得手段と、
   前記複数の装置のうち異常状態にある装置を、前記取得手段により取得される情報に基づいて特定する特定手段と、
   前記複数の装置のうち前記特定手段により特定される異常状態にある装置と前記仮想視点画像の生成を行う生成装置とにデイジーチェーンを介して接続される装置と、前記複数の装置のうち前記異常状態にある装置とは接続されず、前記デイジーチェーンとは異なる別のデイジーチェーンを介して前記生成装置に接続される装置とを識別可能にするための情報を表示部に表示させる表示制御手段とを有することを特徴とする表示制御装置。
2. 前記表示制御手段は、前記複数の装置それぞれが、前記デイジーチェーンを介して前記異常状態にある装置と接続されているか否かを示す情報を同一画面上に表示させることを特徴とする請求項１に記載の表示制御装置。
3. 前記複数の装置それぞれは、複数のデイジーチェーンのいずれか一つを介して、前記生成装置と接続され、
   前記表示制御手段は、前記複数のデイジーチェーンのうち前記異常状態にある装置と前記生成装置を接続するデイジーチェーンと、前記複数のデイジーチェーンのうち前記異常状態にある装置と前記生成装置を接続するデイジーチェーンとは異なるデイジーチェーンとを識別可能に示す情報と、前記複数の装置の設置位置とを示す情報と、を同一画面上に表示させることを特徴とする請求項１又は２に記載の表示制御装置。
4. 視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮影に基づく複数の画像を取得するための複数の装置に関する情報を取得する取得手段と、
   前記複数の装置のうち異常状態にある装置を、前記取得手段により取得される情報に基づいて特定する特定手段と、
   前 記複数の装置のうち前記特定手段により特定される異常状態にある装置と前記仮想視点画像の生成を行う生成装置とにデイジーチェーンを介して接続される装置を示す情報を表示部に表示させ、前記複数の装置のうち前記異常状態にある装置とは接続されず、前記デイジーチェーンとは異なる別のデイジーチェーンを介して前記生成装置に接続される装置を示す情報を前記表示部に表示させない制御を行う表示制御手段とを有することを特徴とする表示制御装置。
5. 前記表示制御手段は、前記デイジーチェーンを示す情報と、前記異常状態にある装置の設置位置を示す情報と、当該装置と前記デイジーチェーンを介して接続されている装置の設置位置を示す情報と、を同一画面上に表示させることを特徴とする請求項４に記載の表示制御装置。
6. 前記複数の装置は、前記複数の方向からの撮影を行う複数の撮像装置、及び、前記複数の撮像装置による撮影に基づく画像の取得と伝送を行う複数の処理装置の、少なくとも何れかを含むことを特徴とする請求項１乃至５の何れか１項に記載の表示制御装置。
7. 前記複数の装置は、複数の設置エリアを含む領域に設置され、
   前記表示制御手段は、前記複数の設置エリアのうち前記異常状態にある装置の設置位置を含む設置エリアと、前記複数の設置エリアのうち前記異常状態にある装置の設置位置を含まない設置エリアとを識別可能にするための情報を同一画面上で表示させることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 前記表示制御手段は、前記複数の装置のうち前記異常状態にある装置とデイジーチェーンを介して接続される装置と、前記複数の装置のうち前記異常状態にある装置とは前記デイジーチェーンを介して接続されていない装置とを識別可能にするための情報と、前記複数の設置エリアのうち前記異常状態にある装置の設置位置を含む設置エリアと、前記複数の設置エリアのうち前記異常状態にある装置の設置位置を含まない設置エリアとを識別可能にするための情報のうち、ユーザによる指示に応じて選択された情報を前記表示部に表示させることを特徴とする請求項７に記載の表示制御装置。
9. 前記異常状態にある装置は、所定の動作が行えない状態にある装置、装置の状態に関するパラメータが所定の範囲外となっている装置、装置の状態に関するパラメータが他の複数の装置と異なっている装置、及び他の装置と同期していない装置の少なくとも何れかを含むことを特徴とする請求項１乃至８の何れか１項に記載の表示制御装置。
10. 前記取得手段により取得される情報は、前記複数の装置の接続の状態に関する情報、前記複数の装置の出力の状態に関する情報、前記複数の装置の温度に関する情報、及び前記複数の装置の撮影パラメータに関する情報の少なくとも何れかを含むことを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
11. 前記取得手段により取得される情報は、前記複数の装置の識別情報、前記複数の装置の接続関係に関する情報、前記複数の装置の設置位置に関する情報、及び前記複数の装置に対応する撮影対象エリアに関する情報の少なくとも何れかを含むことを特徴とする請求項１乃至１０の何れか１項に記載の表示制御装置。
12. 前記表示制御手段は、さらに前記装置の状態に関する情報及び警告メッセージの少なくとも何れかを前記表示部に表示させることを特徴とする請求項１乃至１１の何れか１項に記載の表示制御装置。
13. 視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮影に基づく複数の画像を取得するための複数の装置に関する情報を取得する取得工程と、
    前記複数の装置のうち異常状態にある装置を、前記取得工程において取得される情報に基づいて特定する特定工程と、
    前記複数の装置のうち前記特定工程において特定される異常状態にある装置と前記仮想視点画像の生成を行う生成装置とにデイジーチェーンを介して接続される装置と、前記複数の装置のうち前記異常状態にある装置とは接続されず、前記デイジーチェーンとは異なる別のデイジーチェーンを介して前記生成装置に接続される装置とを識別可能にするための情報を表示部に表示させる表示制御工程とを有することを特徴とする表示制御方法。
14. 前記表示制御工程において、前記複数の装置それぞれが、前記デイジーチェーンを介して前記異常状態にある装置と接続されているか否かを示す情報を同一画面上に表示させることを特徴とする請求項１３に記載の表示制御方法。
15. 前記複数の装置それぞれは、複数のデイジーチェーンのいずれか一つを介して、前記生成装置と接続され、
    前記表示制御工程において、前記複数のデイジーチェーンのうち前記異常状態にある装置と前記生成装置を接続するデイジーチェーンと、前記複数のデイジーチェーンのうち前記異常状態にある装置と前記生成装置を接続するデイジーチェーンとは異なるデイジーチェーンとを識別可能に示す情報と、前記複数の装置の設置位置とを示す情報と、を同一画面上に表示させることを特徴とする請求項１３又は１４に記載の表示制御方法。
16. 視点の指定に応じた仮想視点画像の生成に用いられる複数の画像であって複数の方向からの撮影に基づく複数の画像を取得するための複数の装置に関する情報を取得する取得工程と、
    前記複数の装置のうち異常状態にある装置を、前記取得工程において取得される情報に基づいて特定する特定工程と、
    前 記複数の装置のうち前記特定工程において特定される前記異常状態にある装置と前記仮想視点画像の生成を行う生成装置とにデイジーチェーンを介して接続される装置を示す情報を表示部に表示させ、前記複数の装置のうち前記異常状態にある装置とは接続されず、前記デイジーチェーンとは異なる別のデイジーチェーンを介して前記生成装置に接続される装置を示す情報は、前記表示部に表示させない制御を行う表示制御工程とを有することを特徴とする表示制御方法。
17. 前記表示制御工程において、前記デイジーチェーンを示す情報と、前記異常状態にある装置の設置位置を示す情報と、当該装置と前記デイジーチェーンを介して接続されている装置の設置位置を示す情報と、を同一画面上に表示させることを特徴とする請求項１６に記載の表示制御方法。
18. コンピュータを、請求項１乃至１２の何れか１項に記載の表示制御装置の各手段として機能させるためのプログラム。

Images