JP6630096B2 - 表示制御装置及びその制御方法、コンピュータプログラム - Google Patents

Description

本発明は表示制御装置及びその制御方法、表示装置、コンピュータプログラムに関し、特に複数の映像の表示技術に関する。

ネットワークに接続して、撮影した映像の通信パケットをネットワークに流して出力するネットワークカメラが知られている。また、ネットワークに接続し、ネットワークカメラの映像を表示するビューワーも知られている。複数のネットワークカメラの映像を一つの画面に表示する場合には、複数の映像ウィンドウを並べて表示する必要がある。複数の映像を並べて表示する場合、監視者にとって、各映像がどこのカメラで撮影されているものか分かりやすいことが求められる。

特許文献１には、監視者が使い易いように遠隔地からの画像をモニタ上にドラッグ＆ドロップ操作で自在に選択配置することが可能な装置が記載されている。特許文献２には、ネットワークに接続された複数の制御可能なカメラの中から一つを地図上において選択し、映像の表示およびカメラの制御を可能とするシステムが記載されている。

特開平９−２８９６３４号公報 特開平９−２８９６０７号公報

しかしながら、上述の従来の構成では、監視者が自分で映像レイアウトを作成しなくてはならなかったり、カメラを地図から選択する必要があったりと、監視者は何らかの行為をする必要があった。

そこで、本発明の目的は、複数の撮影装置により撮影された複数の画像を、対応する撮影装置が分かりやすいレイアウトで表示する技術を提供することである。

上記目的を達成するため、本発明による表示制御装置は以下の構成を備える。即ち、
複数の撮影装置で撮影された複数の画像を取得する画像取得手段と、
前記複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付手段と、
前記複数の撮影装置の位置を示す位置情報を取得する位置取得手段と、
前記位置取得手段によって取得された位置情報に基づいて、前記複数の画像を配列して表示手段に表示させる表示制御手段と、
を有し、
前記位置取得手段は、前記位置情報として、前記受付手段において選択された撮影装置の撮影方向と当該撮影方向に直交する方向とに基づく直交座標系における座標値を取得し、
前記表示制御手段は、座標値の第一要素がより大きい撮影装置によって撮影された画像をより右方に配列し、座標値の第二要素がより大きい撮影装置によって撮影された画像をより上方に配列して表示させる。

本発明によれば、複数の撮影装置により撮影された複数の画像を、対応する撮影装置が分かりやすいレイアウトで表示する技術を提供することができる。

ネットワークカメラシステムの構成を示す図 撮影装置及び表示装置の機能構成を示すブロック図 撮影装置及び表示装置のハードウェア構成を示すブロック図 各撮影装置の地図上の配置の例を示す図 各撮影装置の撮影対象を示す図 表示装置が表示する映像ウィンドウのレイアウトを示す図 表示装置が表示する映像ウィンドウのレイアウトを示す図 表示装置が実行する処理の処理手順を示すフローチャート 各撮影装置の地図上の配置の例を示す図 表示装置が表示する映像ウィンドウのレイアウトを示す図 表示装置が表示する映像ウィンドウのレイアウトを示す図 各撮影装置の撮影対象を示す図 表示装置が表示する映像ウィンドウのレイアウトを示す図 表示装置における処理の処理手順を示すフローチャート 表示装置における処理の処理手順を示すフローチャート 表示装置における処理の処理手順を示すフローチャート

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜実施形態１＞＞
（ネットワークカメラシステム）
図１は、本発明の第一の実施形態（実施形態１）にかかわるネットワークカメラシステム（以下、「カメラシステム」と称する）の構成例を示す図である。本実施形態のカメラシステムは、ネットワーク１０１と、ネットワーク１０１に接続された複数の撮影装置１０２及び表示装置１０３を備えている。図１では３つの撮影装置１０２がネットワーク１０１に接続されている例を示しているが、撮影装置１０２の個数はいくつでもよい。撮影装置１０２は、ネットワーク１０１に向けて撮影した映像を配信する。表示装置１０３は、ネットワーク１０１に流れている撮影装置１０２が配信した映像を受信して表示する。ネットワーク１０１は有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。

（撮影装置及び表示装置の機能構成）
次に、撮影装置１０２及び表示装置１０３の詳細について、図２を参照して説明する。図２は、撮影装置１０２及び表示装置１０３の機能構成を示すブロック図である。

●撮影装置
撮影装置１０２は、撮影部１１１、制御部１１２、及び、通信部１１３を備えている。撮影部１１１は、撮影装置１０２に接続されるカメラ等の撮影デバイスによってライブ映像を取得する。撮影部１１１は、例えば、１秒間に３０フレーム分の画像を取得して、３０ｆｐｓの動画像を取得することが可能である。本実施形態では、撮影部１１１は、撮影デバイスから取得したビデオ画像をＨ２６４等のネットワーク配信可能なデジタル画像データに変換する（エンコードする）機能も提供する。以降の説明において、「ライブ映像」あるいは「画像データ」は、撮影部１１１によって生成されたデジタル画像データであるとして説明する。なお、本実施形態では、映像（動画像）を撮影して表示する場合の例を説明するが、表示対象は静止画像でもよい。

制御部１１２は、ユーザーの指示に応じて、撮影装置１０２の画角や撮影方向、１秒あたりのフレーム数、取得する画像の種類等の撮影条件を調整する。ユーザーの指示は、ネットワーク１０１を介して表示装置１０３から行ってもよいし、直接、撮影装置１０２に接続したコンソール端末によって行ってもよい。また、制御部１１２による撮影条件の調整は、撮影装置１０２に予め記憶された設定値に応じて行うこともできる。制御部１１２は、表示装置１０３から送信される命令に応じて、画像データ生成開始／終了などの撮影部１１１の制御を行う。

通信部１１３は、撮影部１１１が取得した画像データをネットワーク１０１経由で外部の情報処理装置（例えば、表示装置１０３等）へ送信する。また、通信部１１３は、外部の情報処理装置において設定された、撮影部１１１を制御するための設定情報や命令を受信し、制御部１１２はその設定情報や命令に従って撮影装置１０２の動作を制御する。

●表示装置
表示装置１０３は、通信部１２１、表示部１２２、入力部１２３、表示制御部１２４、及び、撮影制御部１２５を備えている。通信部１２１は、撮影装置１０２から送信される画像データを受信する。また、通信部１２１は、ユーザーが表示装置１０３を使用して設定した設定情報や制御情報、配信命令を撮影装置１０２へ送信する。

表示部１２２は、撮影装置１０２から配信された画像データ等を表示する。入力部１２３は、撮影装置１０２の設定を変更するための設定情報等の指示をユーザーから入力する。複数台の撮影装置１０２をネットワーク１０１に接続する場合には、入力部１２３は、１画面で複数台分の撮影画像を表示部１２２に表示するための指示を入力することができる。

表示制御部１２４は、撮影装置１０２から送信された画像や、設定画面等を表示部１２２に表示する制御を行う。また、表示制御部１２４は、複数の撮影装置１０２から送信される映像を所定間隔で順次切り換えて表示する制御を行うこともできる。また、圧縮された画像データをデコードすることもできる。

撮影制御部１２５は、入力部１２３で設定された設定情報に応じて、撮影装置１０２の撮影方向や画角を含む撮影条件を算出して、撮影装置１０２の撮影を制御する。また、撮影制御部１２５は、撮影装置１０２の画像のエンコード方式や毎秒あたりのフレーム数、通信等の各種制御パラメータ、画像配信制御命令についても指示することができる。

（撮影装置及び表示装置のハードウェア構成）
図３は、撮影装置１０２及び表示装置１０３のハードウェア構成を示すブロック図である。

●撮影装置
撮影装置１０２において、ＣＰＵ（中央演算処理装置）２０１は、撮影装置１０２を統括制御する制御装置である。ＲＯＭ（読出し専用メモリ）２０２は、ＣＰＵ２０１が撮影装置１０２を制御するためのコンピュータプログラムを記憶する。ここでは、ＲＯＭ２０２に代えて、２次記憶装置を有する構成であっても差し支えない。ＲＡＭ（書込み可能メモリ）２０３は、ＲＯＭ２０２から読み出したプログラムを展開し、処理を実行するためのメモリである。また、ＲＡＭ２０３は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。

ネットワークインタフェース２０４は、ネットワーク１０１を介して通信を行う回路である。ネットワークインタフェース２０４は、例えば、表示装置１０３への画像データや設定情報、エラー情報の送信、及び表示装置１０３からの設定情報、画像配信制御命令の受信のために使用される。撮影デバイス２０５は、ライブ画像を動画及び静止画として撮影する画像センサを有するデバイスである。撮影デバイス２０５は、画角や撮影方向等の撮影条件を自動調整することもできる。また、撮影デバイス２０５は、パン、チルト及びズーム機構を有し、ＣＰＵ２０１の制御によって、パン、チルト及びズーム（望遠制御／広角制御）動作を実行する。

撮影装置１０２は、一般的にネットワークカメラが使用できる。また、アナログカメラの場合には、エンコードやネットワーク接続をするための機器を接続して使用することがきできる。

●表示装置
表示装置１０３において、ＣＰＵ２１０は、表示装置１０３を統括制御する制御装置である。２次記憶装置２１１は、ＣＰＵ２１０が表示装置１０３を制御するためのプログラムを記憶する。ＲＡＭ２１２は、２次記憶装置２１１から読み出したプログラムを展開し、処理を実行するためのメモリである。また、ＲＡＭ２１２は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。

ネットワークインタフェース２１３は、ネットワーク１０１を介して通信を行う回路である。ネットワークインタフェース２１３は、例えば、撮影装置１０２からの画像データや設定情報の受信、及び撮影装置１０２への設定情報の送信のために使用される。表示デバイス２１４は、画像データや表示枠を表示するディスプレイ等のデバイスである。入力装置２１５は、数値入力用のキーボード及び表示デバイス２１４の表示領域の特定の表示位置を指示するための装置であり、ポインティングデバイスやタッチパネル等が用いられる。

以上のように、表示装置１０３のハードウェア構成は、一般的なＰＣ（パーソナルコンピュータ）やタブレット端末等の汎用的な情報処理装置に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、表示装置１０３で実現される各種機能を、一般的なＰＣ等上で動作するソフトウェアとして実装することが可能である。

（撮影装置の位置関係）
図４は各撮影装置の地図上の位置を説明する図である。図４（ａ）は、４箇所に設置した撮影装置１０２の場所をアイコンで地図上にあらわしている。撮影装置１０２が設置された場所に対応する地図上の位置に、撮影装置Ａ４０１、撮影装置Ｂ４０２、撮影装置Ｃ４０３および撮影装置Ｄ４０４の場所を示すアイコンが置かれている。撮影装置Ａ４０１、撮影装置Ｂ４０２、撮影装置Ｃ４０３および撮影装置Ｄ４０４は、撮影装置１０２と同様の構成をしていて、同様にネットワーク１０１に接続されている。

図４（ｂ）は、４つの撮影装置アイコンが指す撮影装置１０２のそれぞれの位置座標を表している。地図上の東方向を座標の第一要素、北方向を座標の第二要素とすると、撮影装置Ａ４０１は座標（８０，６０）、撮影装置Ｂ４０２は座標（１２０，９０）、撮影装置Ｃ４０３は座標（４０，４０）そして撮影装置Ｄ４０４は座標（２０，１００）に位置する。

（各撮影装置の映像）
図５は図４で説明した４つの撮影装置１０２が撮影している映像を表している。図５の例では、撮影装置Ａ４０１は道路を撮影し、撮影装置Ｂ４０２は川を撮影し、撮影装置Ｃ４０３は自転車を撮影し、そして撮影装置Ｄ４０４は山を撮影している。

（映像ウィンドウ）
図６は表示装置１０３が表示する映像ウィンドウを説明する図である。図６（ａ）の４つの長方形は表示装置１０３が表示している映像ウィンドウをあらわしている。ウィンドウの中の数字は映像を撮影している各撮影装置の記号をあらわしている。左上のウィンドウには撮影装置Ａ４０１の映像、右上には撮影装置Ｂ４０２の映像、左下には撮影装置Ｃ４０３の映像、そして右下には撮影装置Ｄ４０４の映像が表示される。

実際には、図６（ｂ）のように各ウィンドウには撮影された映像が実際に表示される。図６（ｂ）の例では、左上のウィンドウには道路、右上には川、左下には自転車、そして右下には山が表示されている。

図６の映像レイアウト表示手法は、撮影装置Ａ、撮影装置Ｂ、撮影装置Ｃ、そして撮影装置Ｄの記号順に左上のウィンドウから右方向そして一段下げて、また、左下のウィンドウから右方向に並べたものである。この配置は撮影装置１０２の配置場所と関係なく並べたものなので、映像全体を見たときにユーザーは一つ一つの映像がどこの撮影装置１０２によって撮影されたものか位置関係を把握しにくい。

図７は撮影装置の座標値を基準にして映像レイアウトを作成した映像ウィンドウを説明する図である。図７（ａ）は図６（ａ）と同様に、長方形は表示装置１０３が表示している映像ウィンドウをあらわし、ウィンドウの中の数字は映像を撮影している各撮影装置の記号をあらわしている。

図４を使って説明した各撮影装置の座標値を基準にして、ウィンドウの右方向を座標値の第一要素のプラス方向に、ウィンドウの上方向を座標値の第二要素のプラス方向に対応させる。座標値の第二要素を用いて、上の段に２つの映像、下の段に残りの２つの映像というように分ける。まず第二要素の上位２つを選択すると撮影装置Ｂ４０２（第二要素：９０）と撮影装置Ｄ４０４（第二要素：１００）になり、この二つが上の段での表示対象となる。残りの２つの撮影装置Ａ４０１（第二要素：６０）と撮影装置Ｃ４０３（第二要素：４０）が下の段になる。

次に座標値の第一要素の比較を行う。上の段においては第一要素が小さい撮影装置Ｄ４０４（第一要素：２０）が左のウィンドウ、撮影装置Ｂ４０２（第一要素：９０）が右のウィンドウになる。下の段においては第一要素が小さい撮影装置Ｃ４０３（第一要素：４０）が左のウィンドウ、撮影装置Ａ４０１（第一要素：８０）が右のウィンドウになる。この配置によって撮影装置の配置に合わせた映像ウィンドウを作成することができ、ユーザーに撮影装置の位置関係が分かりやすい配置になる。

（処理手順）
次に、表示装置１０３が実行する処理の処理手順について、図８を参照して説明する。図８は、表示装置１０３の動作の処理手順を示すフローチャートである。図８の各ステップは、表示装置１０３のＣＰＵ２１０の制御に基づき実行される。

まずＳ１０１において、表示装置１０３は、複数の撮影装置１０２の各々から配信された複数の映像データ（画像）をネットワーク１０１を介して受信して取得する画像取得処理を行う。

次に、Ｓ１０２において、表示装置１０３は、各撮影装置１０２の位置情報を取得する位置取得を行う。位置情報としては、例えば、前述のように二次元の座標値を取得することができる。一例として、表示装置１０３は、通信部１２１によって、位置情報を取得する。

次に、Ｓ１０３において、表示装置１０３は、取得された位置情報に基づいて、複数の映像データの表示位置を決定する。そして、Ｓ１０４において、表示装置は、Ｓ１０３で決定した表示位置に従い、複数の映像データを配列して表示部１２２に表示させる表示制御を行う。

前述のように、例えば、第１の座標値がより大きい撮影装置によって撮影された画像をより右方に配列し、第２の座標値がより大きい撮影装置によって撮影された画像をより上方に配列して表示させることができる。これにより、表示装置１０３のユーザは、各映像データに対応する撮影装置の位置を直感的に把握することができる。

また、図７のように、複数の映像データをマトリクス状に配列して表示させることで、一般に矩形の形状を有する映像データを矩形の表示デバイス２１４に効率的に配列することができる。その際、図７を参照して説明したように、以下の条件を満たすように配列することができる。
・マトリクスのある行に属する画像を撮影した撮影装置の第２の座標値はその行よりも下方の行に属する画像を撮影した撮影装置の第２の座標値のいずれの値よりも大きい。
・マトリクスの各行において、第１の座標値がより大きい撮影装置によって撮影された画像はより右方に配列される。
このように配置することで、ユーザは、映像データの配置から、その映像データを撮影した撮影装置の位置関係を容易に認識することができる。例えば、図４のように、撮影装置の位置情報として、東方向と北方向に基づく二次元の座標値を取得するようにした場合、映像データの配置と、映像データを撮影した撮影装置の地図上の位置とが概ね対応している。このため、ユーザは、各映像データを撮影した撮影装置の位置関係を直感的に把握することができる。

以上のように複数の撮影装置の映像を表示する表示装置において、撮影装置の位置を基準に映像のレイアウトを作成することで、ユーザーにとって撮影装置の位置関係を把握しやすい映像ウィンドウ配置を実現することができる。

なお、本実施形態では、撮影装置の位置情報に基づいて、複数の映像データをマトリクス状に配列して表示する例を中心に説明したが、画像の配列はマトリクス状のものに限られない。例えば、図４（ａ）の４０１〜４０４に対応する位置にそれぞれ重ならない大きさの映像データを配置して表示するようにしてもよい。あるいは、四角形以外の多角形（例えば、三角形や六角形）を単位としてメッシュ状に配置してもよい。

また、本実施形態では、撮影装置の位置情報として二次元座標値を取得する場合の例を説明したが、この位置情報は二次元座標値以外の値でもよい。例えば、撮影装置が直線的に配置されているようなシステムにおいては、一次元座標値により撮影装置の位置を表すことができる。あるいは、例えば、一定の構内や建物に複数の撮影装置が配置されているようなシステムにおいては、高さを考慮した３次元座標値により撮影装置の位置を表してもよい。また、撮影装置の位置情報は、撮影装置間の相対的な位置がわかる情報であればよい。

また、複数の映像データをマトリクス状に配列して表示させる場合、以下の条件を満たすように配列してもよい。
・マトリクスのある列に属する画像を撮影した撮影装置の第１の座標値はその列よりも左方の列に属する画像を撮影した撮影装置の第１の座標値のいずれの値よりも大きい。
・マトリクスの各列において、第２の座標値がより大きい撮影装置によって撮影された画像はより上方に配列される。

＜＜実施形態２＞＞
実施形態１では、より北方に位置する撮影装置により撮影された映像データはより上方に、より東方に位置する撮影装置により撮影された映像データはより右方に配置する例を説明した。本発明の第二の実施形態（実施形態２）では、撮影装置の向きを基準に映像レイアウトを作成する例を説明する。

本実施形態におけるカメラシステムは、実施形態１と同様に図１により示される。本実施形態における撮影装置１０２及び表示装置１０３の構成も、実施形態１と同様に、図２、図３により示される。また、本実施形態における表示装置１０３による処理手順も、実施形態１と同様に、図８により示される。

（撮影装置の位置関係）
図９は各撮影装置１０２の地図上の位置を説明する図である。図９（ａ）は４箇所に設置した撮影装置１０２の場所をアイコンで地図上にあらわしている。撮影装置１０２が設置された対応する地図上に撮影装置Ａ４０１、撮影装置Ｂ４０２、撮影装置Ｃ４０３および撮影装置Ｄ４０４の場所を示すアイコンが置かれている。撮影装置Ａ４０１、撮影装置Ｂ４０２、撮影装置Ｃ４０３および撮影装置Ｄ４０４は、撮影装置１０２と同様の構成をしていて、同様にネットワーク１０１に接続されている。

図９（ｂ）は撮影装置Ｄ４０４を基準にした各撮影装置アイコンが指す相対位置座標をあらわしている。撮影装置Ｄ４０４の撮影方向の水平成分をＹ軸方向とし、それと直交して水平面上にあり、上空から見て右回り（時計回り）に９０度回転した方向をＸ軸方向とする。そのような座標系の元で座標の第一要素をＸ成分、座標の第二要素をＹ成分とする。撮影装置Ａ４０１は座標（２０，８０）、撮影装置Ｂ４０２は座標（−３０、１００）、撮影装置Ｃ４０３は座標（６０，２０）そして撮影装置Ｄ４０４は座標（０、０）に位置する。

（各撮影装置の映像）
図９を参照して説明した４つの撮影装置が撮影している映像は、実施形態１と同様に図５により表される。すなわち、撮影装置Ａ４０１は道路を撮影し、撮影装置Ｂ４０２は川を撮影し、撮影装置Ｃ４０３は自転車を撮影し、そして撮影装置Ｄ４０４は山を撮影している。

（映像ウィンドウ）
実施形態１において説明したように、図６のように各撮影装置１０２の映像ウィンドウを記号順に配置すると、映像全体を見たときにユーザーは一つ一つの映像がどこの撮影装置１０２によって撮影されたものか把握しにくい。

図１０は撮影装置の位置と撮影方向を基準にして映像レイアウトを作成した映像ウィンドウを説明する図である。図１０（ａ）は図６（ａ）と同様に、長方形は表示装置１０３が表示している映像ウィンドウをあらわし、ウィンドウの中の数字は映像を撮影している各撮影装置の記号をあらわしている。

図９を使って説明した各撮影装置の座標値を基準にして、ウィンドウの右方向を座標値の第一要素のプラス方向に、ウィンドウの上方向を座標値の第二要素のプラス方向に対応させる。座標値の第二要素を用いて、上の段に２つの映像、下の段に残りの２つの映像という風に分ける。まず第二要素の上位２つを選択すると撮影装置Ａ４０１（第二要素：８０）と撮影装置Ｂ４０２（第二要素：１００）になり、この二つが上の段での表示対象となる。残りの２つの撮影装置Ｃ４０３（第二要素：２０）と撮影装置Ｄ４０４（第二要素：０）が下の段になる。

次に座標値の第一要素の比較を行う。上の段においては第一要素が小さい撮影装置Ｂ４０２（第一要素：−３０）が左のウィンドウ、撮影装置Ａ４０１（第一要素：２０）が右のウィンドウになる。下の段においては第一要素が小さい撮影装置Ｄ４０４（第一要素：０）が左のウィンドウ、撮影装置Ｃ４０３（第一要素：６０）が右のウィンドウになる。

以上のように本実施形態では、複数の撮影装置の映像を表示する表示装置において、
撮影装置の位置情報として、ユーザにより設定された座標系に基づく二次元の座標値を取得し、この座標値に基づき映像データを配置して表示する。具体的には、基準となるカメラの撮影方向を基準方向として、相対的な撮影装置の配置関係を用いて映像レイアウトを作成する。このため、ユーザーにとって撮影装置の位置関係を把握しやすい映像ウィンドウ配置を実現することができる。

（パン回転）
次に撮影装置Ｄ４０４のパン（水平）回転させた場合について説明する。表示装置１０３の入力部１２３を使用してユーザーが撮影装置Ｄ４０４をパン回転する命令を入力する。入力された命令は撮影制御部１２５に伝わり、そこからさらに通信部１２１に伝わる。通信部１２１は撮影装置Ｄ４０４が解釈することができる形に命令を変換してネットワーク１０１に向けて命令を送信する。撮影装置Ｄ４０４の通信部１１３は、ネットワーク１０１に流れた命令を受信する。通信部１１３は制御部１１２に命令を伝え、そして制御部１１２は受信した命令に従って撮影部１１１のパン回転を行う。

図１１はパン回転した後の撮影装置１０２の地図上の位置を説明する図である。図１１（ａ）は４箇所に設置した撮影装置１０２の場所をアイコンで地図上にあらわしている。各アイコン位置は撮影装置１０２の位置が変わっていないのでパン回転する前と同様である。しかし撮影装置Ｄ４０４の撮影方向が変わっている。

図１１（ｂ）は撮影装置Ｄ４０４を基準にした各撮影装置アイコンが指す相対位置座標をあらわしている。撮影装置Ｄ４０４の撮影方向の水平成分をＹ軸方向とし、それと直交して水平面上にあり、上空から見て右回りに９０度回転した方向をＸ軸方向とする。パン回転する前と軸の方向が変化している。変化した座標系の元で座標の第一要素をＸ成分、座標の第二要素をＹ成分とする。撮影装置Ａ４０１は座標（２０，−８０）、撮影装置Ｂ４０２は座標（７０、−７０）、撮影装置Ｃ４０３は座標（−２０，−６０）そして撮影装置Ｄ４０４は座標（０、０）に位置する。

図１２はパン回転した後の４つの撮影装置１０２が撮影している映像を表している。撮影装置Ａ４０１は道路を撮影し、撮影装置Ｂ４０２は川を撮影し、撮影装置Ｃ４０３は自転車を撮影し、そして撮影装置Ｄ４０４はパン回転したことによって撮影対象が山から犬に変わっている。

図１３はパン回転後の撮影装置１０２の位置と撮影方向を基準にして映像レイアウトを作成した映像ウィンドウを説明する図である。図１３（ａ）は図１０（ａ）と同様に、長方形は表示装置１０３が表示している映像ウィンドウをあらわし、ウィンドウの中の数字は映像を撮影している各撮影装置１０２の記号をあらわしている。図１１を使って説明した各撮影装置１０２の座標値を基準にして、ウィンドウの右方向を座標値の第一要素のプラス方向に、ウィンドウの上方向を座標値の第二要素のプラス方向に設定する。座標値の第二要素を用いて、上の段に２つの映像、下の段に残りの２つの映像という風に分ける。まず第二要素の上位２つを選択すると撮影装置Ｃ４０３（第二要素：−６０）と撮影装置Ｄ４０４（第二要素：０）になり、この二つが上の段の表示対象になる。残りの２つの撮影装置Ａ４０１（第二要素：−８０）と撮影装置Ｂ４０２（第二要素：−７０）が下の段になる。

次に座標値の第一要素の比較を行う。上の段においては第一要素が小さい撮影装置Ｃ４０３（第一要素：−２０）が左のウィンドウ、撮影装置Ｄ４０４（第一要素：０）が右のウィンドウになる。下の段においては第一要素が小さい撮影装置Ａ４０１（第一要素：２０）が左のウィンドウ、撮影装置Ｂ４０２（第一要素：７０）が右のウィンドウになる。 以上のように、本実施形態では、ユーザにより新たな座標系が設定された場合、当該新たな座標系に基づく二次元の座標値を取得し、この新たな座標系に基づく二次元の座標値に基づいて、複数の画像の配列を更新して表示させる。このため、ユーザが事後的に座標系を変更した場合においても、新たな座標系に合わせて映像データの配置を更新し、映像データに対応する撮影装置の配置を容易に把握可能とすることができる。例えば、パン回転することによって、基準となるカメラの撮影方向が変わるとそれに応じて映像レイアウトを変更することができる。ただしユーザーは変更後のレイアウトが使いやすければ、変更することもできるし、変更しないほうがよれればそのまま以前のレイアウトを使うこともできる。

また、パン回転によって基準方向が変わるが、それによって映像レイアウトを変更するかどうかは、一定の閾値を使用して、閾値を超えるパン回転が起きた時にだけ変更するかどうかを選択できるようにしてもよい。また、上記の説明は水平面とパン回転に関して行ったが、それを垂直面とチルト回転に置き換えてもかまわない。また、任意の面と任意の回転で行ってもかまわない。

また、本実施形態では、複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付処理を行い、この撮影装置の位置情報として、ユーザにより選択された撮影装置の撮影方向と、当該撮影方向に直交する方向とに基づく二次元の座標値を取得する。このため、ユーザは、映像データの配置の基となる座標系を容易に設定することが可能である。

以上説明したように基準となるカメラの撮影方向に応じて表示装置１０３の映像レイアウトを作成することで、ユーザーは映像を撮影している撮影装置の位置関係を容易に把握することができる。

＜＜実施形態３＞＞
本発明の第三の実施形態（実施形態３）におけるカメラシステム、撮影装置１０２及び表示装置１０３の構成は実施形態１と同様である。本実施形態では、表示装置１０３が映像レイアウトを作成した後に次の処理を行う。

表示装置１０３は撮影装置１０２の映像レイアウトを表示すると同時に図４（ａ）の地図を表示する。そして映像ウィンドウと撮影装置１０２の関係が分かるように次の処理を行う。
・映像と対応する撮影装置のアイコンを線で結んで表示する。
・映像と対応する撮影装置のアイコンを同色の枠で囲んで表示する。
・映像と対応する撮影装置のアイコンに同一の番号もしくは記号を付して表示する。

このように、本実施形態では、複数の撮影装置の配置を示す配置図を表示部１２２にさらに表示させ、配置図により示される撮影装置と、当該撮影装置により撮影された画像との対応関係を示して、複数の画像を表示させる。このため、ユーザは、画像とその画像を撮影した撮影装置との対応関係をより一層分かりやすくすることができる。

＜＜実施形態４＞＞
本発明の第四の実施形態（実施形態４）におけるカメラシステム、撮影装置１０２及び表示装置１０３の構成は実施形態２と同様である。本実施形態では、映像レイアウトの作成を、地図上で対象の撮影装置１０２を選択した後に行う。その処理の流れをフローチャートを使って説明する。

図１４は地図上から１つの撮影装置アイコンを選択した場合に表示装置１０３において行われる動作の手順を示すフローチャートである。

まずＳ１００１で、ユーザは、表示装置１０３に表示されている図９（ａ）のマップから撮影装置アイコンを１つ選択する。次にＳ１００２で、選択されたアイコンが指す撮影装置を基準の撮影装置として設定する。

次にＳ１００３で地図上の全てのアイコンが指す撮影装置を映像表示対象とし、Ｓ１００２で設定された基準撮影装置を基準として各撮影装置の座標値を計算する。次にＳ１００４で各撮影装置の座標値に基づいた映像レイアウトを作成する。

図１５は地図上から複数の撮影装置アイコンを選択した場合に表示装置１０３において行われる動作の手順を示すフローチャートである。

まずＳ１１０１で、ユーザは、表示装置１０３に表示されている図９（ａ）のマップから撮影装置アイコンを複数選択する。次にＳ１００２で、最初に選択された撮影装置を基準の撮影装置として設定する。

次にＳ１００３で、選択されたアイコンが指す撮影装置を映像表示対象とし、Ｓ１１０２で設定された基準の撮影装置を基準として各撮影装置の座標値を計算する。次にＳ１００４で、各撮影装置の座標値に基づいた映像レイアウトを作成する。

図１６はユーザーが基準となる向きを指定して、地図上から複数の撮影装置アイコンを選択した場合に表示装置１０３において行われる動作の手順を示すフローチャートである。

まずＳ１２０１で、ユーザは、表示装置１０３に表示されている図９（ａ）のマップから基準となる向きを選択する。基準となる向きの選択は、ポインティングデバイスの移動やボタンの選択等により行われる。次にＳ１２０２でユーザは、撮影装置アイコンを複数選択する。

次にＳ１２０３で、選択されたアイコンが指す撮影装置を映像表示対象として、選択された向きを基準として各撮影装置の座標値を計算する。次にＳ１２０４で、各撮影装置の座標値に基づいた映像レイアウトを作成する。

以上のように、本実施形態では、ユーザの操作に応じて映像を表示する撮影装置や映像配置の基準となる座標の向きを設定可能とする。このため、ユーザーが地図上から映像を表示する撮影装置１０２を選択したり、基準となる向きを選択することで、ユーザーが任意に撮影装置１０２を選択できたり、映像レイアウトの基準となる向きを選択して映像レイアウトを作成することができる。

本発明の各実施形態によれば複数の映像を表示できる表示装置において、ユーザーに映像を撮影している撮影装置の位置が分かりやすい映像レイアウトを作成し提供することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。例えば、上述の各フローチャートは、ＣＰＵがメモリに読み込まれたプログラムに基づく処理を行うことで実行可能である。

１０１：ネットワーク、１０２：撮影装置、１０３：表示装置、１２１：通信部、１２２：表示部、１２３：入力部、１２４：表示制御部、１２５：撮影制御部

Claims (9)

1. 複数の撮影装置で撮影された複数の画像を取得する画像取得手段と、
   前記複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付手段と、
   前記複数の撮影装置の位置を示す位置情報を取得する位置取得手段と、
   前記位置取得手段によって取得された位置情報に基づいて、前記複数の画像を配列して表示手段に表示させる表示制御手段と、
   を有し、
   前記位置取得手段は、前記位置情報として、前記受付手段において選択された撮影装置の撮影方向と当該撮影方向に直交する方向とに基づく直交座標系における座標値を取得し、
   前記表示制御手段は、座標値の第一要素がより大きい撮影装置によって撮影された画像をより右方に配列し、座標値の第二要素がより大きい撮影装置によって撮影された画像をより上方に配列して表示させる
   ことを特徴とする表示制御装置。
2. 前記表示制御手段は、前記複数の画像の各々を複数の矩形領域に分割された前記表示手段の表示領域の何れかの矩形領域に配列して表示させる
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御手段は、前記複数の撮影装置の配置を示す配置図を前記表示手段にさらに表示させる
   ことを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像との対応関係を示して、前記複数の画像を表示させる
   ことを特徴とする請求項３に記載の表示制御装置。
5. 前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像とを結ぶ線をさらに表示させる
   ことを特徴とする請求項４に記載の表示制御装置。
6. 前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像とを同色の枠で囲んで表示させる
   ことを特徴とする請求項４に記載の表示制御装置。
7. 前記表示制御手段は、前記配置図により示される撮影装置と、当該撮影装置により撮影された画像とを同一の記号を付して表示させる
   ことを特徴とする請求項４に記載の表示制御装置。
8. 画像取得手段が、複数の撮影装置で撮影された複数の画像を取得する画像取得工程と、
   受付手段が、前記複数の撮影装置の中からいずれかの撮影装置の選択を受け付ける受付工程と、
   位置取得手段が、前記複数の撮影装置の位置を示す位置情報を取得する位置取得工程と、
   表示制御手段が、前記位置取得工程によって取得された位置情報に基づいて、前記複数の画像を配列して表示手段に表示させる表示制御工程と、
   を含み、
   前記位置取得手段は、前記位置情報として、前記受付工程において選択された撮影装置の撮影方向と当該撮影方向に直交する方向とに基づく直交座標系における座標値を取得し、
   前記表示制御手段は、座標値の第一要素がより大きい撮影装置によって撮影された画像をより右方に配列し、座標値の第二要素がより大きい撮影装置によって撮影された画像をより上方に配列して表示させる
   ことを特徴とする表示制御装置の制御方法。
9. コンピュータを請求項１から７のいずれか１項に記載の表示制御装置が備える各手段として機能させるためのコンピュータプログラム。

Images