JP2019140530A

JP2019140530A - サーバ装置、表示装置、映像表示システム、及び映像表示方法

Info

Publication number: JP2019140530A
Application number: JP2018022276A
Authority: JP
Inventors: 典三杉山; Norizo Sugiyama
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-02-09
Filing date: 2018-02-09
Publication date: 2019-08-22

Abstract

【課題】高解像度の映像を表示させ、かつ、ユーザ操作に応じて迅速かつ滑らかに各表示装置の表示位置を変更する。【解決手段】制御回路１１は、複数の撮影映像によって表される範囲のうち、複数の表示装置３ａ〜３ｃによってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドを受信する。制御回路１１は、コマンドがサーバ装置１に入力中でないとき、複数の撮影映像から、複数の表示装置３ａ〜３ｃの各表示位置にそれぞれ対応する複数の第１の切り出し映像を生成するように映像処理回路１４を制御し、複数の第１の切り出し映像を、対応する複数の表示装置３ａ〜３ｃにそれぞれ配信するように通信回路１５を制御する。制御回路１１は、コマンドがサーバ装置１に入力中であるとき、複数の撮影映像から１つの連結映像を生成するように映像処理回路１４を制御し、連結映像を複数の表示装置３ａ〜３ｃに配信するように通信回路１５を制御する。【選択図】図１

Description

本開示は、サーバ装置から複数の表示装置に映像を配信して表示する映像表示システム及び映像表示方法に関する。本開示はまた、そのような映像表示システムのサーバ装置及び表示装置に関する。

近年、複数の撮像素子を備え、周囲の風景を全方位又は全天球にわたって撮影する全方向カメラが普及しつつある。全方向カメラは、例えば、仮想現実の分野において、現実の風景から仮想空間の映像（動画像）を生成するために使用される。

全方向カメラの複数の撮像素子によってそれぞれ生成された複数の撮影映像は、一般的には、何らかの地図投影法、例えば正距円筒図法を用いて、全方位又は全天球をカバーする１つの映像（連結映像）に合成される。この場合、全方向カメラによって撮影された映像を表示装置に表示するときは、連結映像から表示装置の表示範囲に対応する部分が切り出される。表示装置の表示位置及び表示範囲は、ユーザ操作に応じて変更される。

全方向カメラによって撮影された映像のうち、その全範囲を表示するために、又は、１つの表示装置の表示範囲を超える範囲を表示するために、複数の表示装置を含むマルチディスプレイシステムが使用されることがある。全方向カメラによって撮影された映像は、サーバ装置から複数の表示装置に配信される。例えば、特許文献１は、複数の表示装置を含む表示システムであって、全方向カメラにより撮影された映像、又は、ある一点を中心として放射方向に設置された複数の撮像装置を含むカメラシステムにより撮影された映像を表示する表示システムを開示している。

特開２００６−２９４０３２号公報

全方向カメラによって撮影された映像を表示装置に表示する場合、前述のように、連結映像から表示装置の表示範囲に対応する部分が切り出されるので、切り出し映像の解像度が表示装置の画素数に比較して不十分になることがある。

一方、複数の撮像装置を含むカメラシステムにより撮影された映像を複数の表示装置に表示する場合、比較的に高解像度の映像を表示することができる。しかしながら、この場合、ユーザが各表示装置の表示位置を変更しようとするたびに、各表示装置の表示位置の変更をサーバ装置に通知し、変更された範囲を有する映像を生成するようにサーバ装置が各撮像装置の撮影映像を処理し、生成された映像をサーバ装置から各表示装置に配信する必要がある。ユーザが各表示装置の表示位置を連続的に変更しようとすると、これらの処理を頻繁に繰り返す必要がある。このように、ユーザ操作に応じて各表示装置の表示位置を変更するためには、サーバ装置及び各表示装置の間の通信と、サーバ装置による映像処理とが必要になるので、十分に迅速かつ滑らかに変更を反映することは困難である。

本開示の目的は、全方向カメラによって撮影された映像を複数の表示装置に配信して表示させるサーバ装置であって、高解像度の映像を表示させることができ、かつ、ユーザ操作に応じて迅速かつ滑らかに各表示装置の表示位置を変更することができるサーバ装置を提供することにある。

また、本開示の目的は、全方向カメラによって撮影されてサーバ装置から配信された映像を表示する表示装置であって、高解像度の映像を表示することができ、かつ、ユーザ操作に応じて迅速かつ滑らかに表示位置を変更することができる表示装置を提供することにある。

また、本開示の目的は、上述のようなサーバ装置及び複数の表示装置を含む映像表示システムと、上述のようにサーバ装置から複数の表示装置に映像を配信して表示する映像表示方法とを提供することにある。

本開示の一態様によれば、複数の表示装置に映像を配信するサーバ装置が提供される。サーバ装置は、複数の撮像素子によってそれぞれ生成された複数の撮影映像を処理する映像処理回路と、複数の表示装置に通信可能に接続された通信回路と、制御回路とを備える。制御回路は、複数の撮影映像によって表される範囲のうち、複数の表示装置によってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドを受信する。制御回路は、コマンドがサーバ装置に入力中でないとき、複数の撮影映像から、複数の表示装置の各表示位置にそれぞれ対応する複数の第１の切り出し映像を生成するように映像処理回路を制御し、複数の第１の切り出し映像を、対応する複数の表示装置にそれぞれ配信するように通信回路を制御する。制御回路は、コマンドがサーバ装置に入力中であるとき、複数の撮影映像から１つの連結映像を生成するように映像処理回路を制御し、連結映像を複数の表示装置に配信するように通信回路を制御する。

本開示によれば、高解像度の映像を表示させることができ、かつ、ユーザ操作に応じて迅速かつ滑らかに各表示装置の表示位置を変更することができるサーバ装置を提供することができる。

実施形態に係る映像表示システムの構成を示す図である。図１のサーバ装置１の周囲の風景５を示す概略図である。図１のサーバ装置１の構成を示すブロック図である。図１の表示装置３の構成を示すブロック図である。図１のコマンド入力装置４の構成を示すブロック図である。図１の映像表示システムによって実行される処理を示すシーケンス図である。図６の映像データ生成及び配信処理のサブルーチンを示すフローチャートである。図６の映像データ受信及び表示処理のサブルーチンを示すフローチャートである。図１のサーバ装置１によって管理される表示装置リストを示す図である。図１の撮像素子１３ａによって生成される撮影映像１０１ａを示す図である。図１の撮像素子１３ｂによって生成される撮影映像１０１ｂを示す図である。図１の撮像素子１３ｃによって生成される撮影映像１０１ｃを示す図である。図１の撮像素子１３ｄによって生成される撮影映像１０１ｄを示す図である。図１のサーバ装置１によって生成される連結映像１１１を示す図である。図１のサーバ装置１によって生成された第１の切り出し映像１１２の一例を示す図である。図１のサーバ装置１によって生成された第１の切り出し映像１１３の他の例を示す図である。図１の各表示装置３によって連結映像１１１から生成されたキューブマップ１２１を示す図である。図１７のキューブマップ１２１を撮影する仮想カメラ１２２を示す概略図である。図１の各表示装置３によって連結映像１１１から生成された第２の切り出し映像１２３を示す図である。図１の表示装置３ａ〜３ｃの表示位置がユーザ７の操作に応じて変化した後の状態を示す図である。実施形態の変形例に係るコマンド入力装置４Ａ及びリモートコントローラ８の構成を示すブロック図である。

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施形態）
以下、図面を参照して実施形態について説明する。

［１−１．構成］
［１−１−１．映像表示システムの全体構成］
図１は、実施形態に係る映像表示システムの構成を示す図である。図１の映像表示システムは、サーバ装置１、ハブ２、表示装置３ａ〜３ｃ、及びコマンド入力装置４を備える。

サーバ装置１、表示装置３ａ〜３ｃ、及びコマンド入力装置４は、ハブ２を含むローカルエリアネットワークなどの有線のネットワークを介して互いに接続される。

サーバ装置１は、例えば、床面に平行な面内において９０度ずつ異なる方向に向かって配置された、複数の撮像素子１３ａ〜１３ｄを備える。撮像素子１３ａはθ１＝０度の方向に向かって配置され、撮像素子１３ｂはθ１＝９０度の方向に向かって配置され、撮像素子１３ｄはθ１＝２７０度の方向に向かって配置され、撮像素子１３ｄはθ１＝１８０度の方向に向かって配置される。撮像素子１３ａ〜１３ｄには、魚眼タイプのレンズ１２ａ〜１２ｄにより集光された光がそれぞれ入射する。これにより、撮像素子１３ａ〜１３ｄは、サーバ装置１の周囲の風景５を全方位又は全天球にわたって撮影する全方向カメラとして機能する。サーバ装置１は、撮像素子１３ａ〜１３ｄによって撮影して処理した映像を、ハブ２を介して複数の表示装置３ａ〜３ｃに配信する。

図２は、図１のサーバ装置１の周囲の風景５を示す概略図である。風景５は、屋外であっても屋内であってもよい。サーバ装置１に対して＋Ｙ側、＋Ｘ側、−Ｘ側、−Ｙ側、＋Ｚ側、及び−Ｚ側に見える風景の像を、元像５ａ〜５ｆとしてそれぞれ概略的に示す。図１の撮像素子１３ａ〜１３ｄは、それらの視野の中心において、図２の＋Ｙ側、＋Ｘ側、−Ｘ側、及び−Ｙ側の元像５ａ〜５ｄをそれぞれ撮影するように配置される。また、撮像素子１３ａ〜１３ｄは、＋Ｚ側及び−Ｚ側の元像５ｅ及び５ｄのうちの少なくとも一部をそれぞれ撮影してもよい。

再び図１を参照すると、表示装置３ａ〜３ｃは、サーバ装置１から配信された映像をスクリーン６ａ〜６ｃにそれぞれ投写して表示する。スクリーン６ａは、視聴のための基準位置（図１においてユーザ７が立っている位置）に対してθ２＝０度の方向に配置され、スクリーン６ｂは基準位置に対してθ２＝９０度の方向に配置され、スクリーン６ｃは基準位置に対してθ２＝２７０度の方向に配置される。表示装置３ａ〜３ｃは、一体の映像（撮像素子１３ａ〜１３ｄによって撮影された全方位又は全天球の映像）から空間的に分割された３つの映像をスクリーン６ａ〜６ｃにそれぞれ表示するマルチディスプレイシステムを構成する。図１の例は、表示装置３ａ〜３ｃが、図２の＋Ｙ側、＋Ｘ側、及び−Ｘ側の元像５ａ〜５ｃに対応する表示映像１３１ａ〜１３１ｃをそれぞれ表示する場合を示す。

本明細書では、表示装置３ａ〜３ｃを総称して「表示装置３」ともいい、スクリーン６ａ〜６ｃを総称して「スクリーン６」ともいう。

コマンド入力装置４は、ユーザ７からコマンドを取得し、ハブ２を介してコマンドをサーバ装置１及び表示装置３ａ〜３ｃに送信する。コマンドは、表示装置３ａ〜３ｃによってそれぞれ表示される映像の範囲を示す表示位置を指定又は変更することを含む。また、コマンドは、映像の配信及び表示の一時停止及び停止、映像表示システムの電源オフ、などを含んでもよい。コマンド入力装置４は、後述するように、ユーザのジェスチャーを撮影して認識する距離画像検出器を備え、ジェスチャーに基づいてコマンドを生成する。

［１−１−２．サーバ装置１の構成］
図３は、図１のサーバ装置１の構成を示すブロック図である。サーバ装置１は、制御回路１１、レンズ１２ａ〜１２ｄ、撮像素子１３ａ〜１３ｄ、映像処理回路１４、通信回路１５、及び記憶装置１６を備える。

制御回路１１は、サーバ装置１の全体の動作を制御する。レンズ１２ａ〜１２ｄは、サーバ装置１の周囲の風景５からの光を集光して撮像素子１３ａ〜１３ｄにそれぞれ入射させる。撮像素子１３ａ〜１３ｄは、レンズ１２ａ〜１２ｄを介して入射した光を電気信号にそれぞれ変換して、撮像素子１３ａ〜１３ｄにそれぞれ対応する４つの撮影映像を生成する。映像処理回路１４は、撮像素子１３ａ〜１３ｄによってそれぞれ生成された４つの撮影映像を、制御回路１１の制御下で処理する。通信回路１５は、ハブ２を含むネットワークを介して、各表示装置３及びコマンド入力装置４に通信可能に接続される。記憶装置１６は、サーバ装置１の動作のために必要な情報、例えば、各表示装置３から受信した表示装置情報に基づいて生成された表示装置リスト、コマンド入力装置４から受信したユーザ操作を示すコマンド（いずれも後述）、などを記憶する。

制御回路１１は、ネットワーク設定器１１ａ、時刻同期器１１ｂ、表示装置リスト生成器１１ｃ、コマンド処理器１１ｄ、表示位置計算器１１ｅ、映像データ生成器１１ｆ、及び配信データ生成器１１ｇを備える。

ネットワーク設定器１１ａは、通信回路１５を用いて、サーバ装置１のネットワーク接続の初期設定、例えばＩＰアドレスの設定を行う。

時刻同期器１１ｂは、サーバ装置１の内蔵時計を備え、さらに、通信回路１５を介して、内蔵時計の時刻を各表示装置３の内蔵時計の時刻と同期させる。サーバ装置１及び各表示装置３は、例えばＩＥＥＥ１５８８の時刻同期プロトコルに従って動作し、サーバ装置１が時刻同期マスタとして動作する。

表示装置リスト生成器１１ｃは、通信回路１５を介して、各表示装置３からそれらの表示装置情報を受信し、受信された表示装置情報に基づいて表示装置リストを生成する。表示装置情報は、各表示装置３のＩＰアドレスと、物理的な配置を示す配置情報とを含む。図１の例では、配置情報は、各表示装置３自体の物理的な配置に代えて、各スクリーン６の物理的な配置を示す。表示装置リスト生成器１１ｃは、生成された表示装置リストを記憶装置１６に記憶し、記憶した表示装置リストを記憶装置１６から読み出す。

コマンド処理器１１ｄは、通信回路１５を介して、ユーザ操作を示すコマンドをコマンド入力装置４から受信し、受信したコマンドを解釈して実行する。コマンドは、撮像素子１３ａ〜１３ｄによってそれぞれ生成された４つの撮影映像によって表される範囲のうち、前述のように、各表示装置３によってそれぞれ表示される映像の範囲を示す表示位置を指定又は変更することを含む。ただし、コマンドは、「現在表示している映像を撮影した撮像素子の右に隣接する撮像素子によって撮影した映像に切り換える」、「各表示装置３の上方から見て映像を時計回りにθ２度回転させる」など、各表示装置３の大まかな表示位置（又はその変更量）を指定する。コマンド処理器１１ｄは、受信したコマンドを記憶装置１６に記憶し、記憶したコマンドを記憶装置１６から読み出す。コマンド処理器１１ｄは、さらに、サーバ装置１にコマンドが入力中であるか否かを判断する。コマンド処理器１１ｄは、例えば、コマンドが通信回路１５に到来しているとき、又は、現時点から予め決められた時間長だけ先行する時点以後に受信されたコマンドが記憶装置１６に記憶されているとき、サーバ装置１にコマンドが入力中であると判断する。コマンド処理器１１ｄがコマンドを解釈して実行することにより、後述の表示位置計算器１１ｅ、映像データ生成器１１ｆ、及び配信データ生成器１１ｇは、コマンドの内容（すなわち、各表示装置３の大まかな表示位置）に従って、また、サーバ装置１にコマンドが入力中であるか否かに従って動作する。

表示位置計算器１１ｅは、表示装置リスト生成器１１ｃによって生成された表示装置リストと、コマンド処理器１１ｄによって取得された各表示装置３の大まかな表示位置とに基づいて、各表示装置３によって表示すべき映像の詳細な表示位置を計算する。ここで、映像の詳細な表示位置は、例えば、各表示装置３の各画素の座標などによって表される。表示位置計算器１１ｅは、生成された詳細な表示位置を記憶装置１６に記憶し、記憶した詳細な表示位置を記憶装置１６から読み出す。

表示装置リスト生成器１１ｃによって生成された表示装置リストが、表示装置リスト生成器１１ｃから表示位置計算器１１ｅに直接にわたされてもよい。また、表示装置リスト生成器１１ｃによって記憶装置１６にいったん記憶されて読み出された表示装置リストが、表示装置リスト生成器１１ｃから表示位置計算器１１ｅにわたされてもよい。さらに、コマンド処理器１１ｄによって受信されたコマンドの内容（すなわち、各表示装置３の大まかな表示位置）が、コマンド処理器１１ｄから表示位置計算器１１ｅに直接にわたされてもよい。また、コマンド処理器１１ｄによって記憶装置１６にいったん記憶されて読み出されたコマンドの内容が、コマンド処理器１１ｄから表示位置計算器１１ｅにわたされてもよい。

映像データ生成器１１ｆは、コマンド処理器１１ｄによって取得されたコマンドと、表示位置計算器１１ｅによって計算された各表示装置３の表示位置とに基づいて、映像処理回路１４を制御し、撮像素子１３ａ〜１３ｄによってそれぞれ生成された４つの撮影映像を処理させる。コマンドがサーバ装置１に入力中でないとコマンド処理器１１ｄが判断したとき、映像処理回路１４は、映像データ生成器１１ｆの制御下で、４つの撮影映像から、表示装置３ａ〜３ｃの各表示位置にそれぞれ対応する３つの第１の切り出し映像を生成する。また、コマンドがサーバ装置１に入力中であるとコマンド処理器１１ｄが判断したとき、映像処理回路１４は、映像データ生成器１１ｆの制御下で、４つの撮影映像から１つの連結映像を生成する。

配信データ生成器１１ｇは、映像処理回路１４によって生成された連結映像又は第１の切り出し映像にタイムスタンプを付加し、通信回路１５を介して各表示装置３に配信する。配信データ生成器１１ｇは、連結映像及び第１の切り出し映像を互いに異なる種類のパケットとして各表示装置３に配信してもよい。例えば、コマンドがサーバ装置１に入力中でないとコマンド処理器１１ｄが判断したとき、配信データ生成器１１ｇは、各表示装置３の表示位置にそれぞれ対応する３つの第１の切り出し映像を、ユニキャストパケットとして、対応する各表示装置３に配信してもよい。また、コマンドがサーバ装置１に入力中であるとコマンド処理器１１ｄが判断したとき、配信データ生成器１１ｇは、連結映像をマルチキャストパケットとして各表示装置３に配信してもよい。

サーバ装置１の制御回路１１の内部の各回路部分１１ａ〜１１ｇは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

［１−１−３．表示装置３の構成］
図４は、図１の各表示装置３の構成を示すブロック図である。各表示装置３は、制御回路３１、入力装置３２、通信回路３３、映像処理回路３４、映像形成装置３５、及び記憶装置３６をそれぞれ備える。

制御回路３１は、サーバ装置１の全体の動作を制御する。入力装置３２は、ユーザ入力を受けるキーボード又はボタンなどを含み、表示装置３の物理的な配置を示す配置情報（後述）を設定するために使用される。通信回路３３は、ハブ２を含むネットワークを介して、サーバ装置１及びコマンド入力装置４に通信可能に接続される。映像処理回路３４は、通信回路３３によりサーバ装置１から受信された連結映像及び第１の切り出し映像を制御回路３１の制御下で処理する。映像形成装置３５は、映像処理回路３４によって処理された映像をスクリーン６に投写することにより視覚可能な形式で出力する。記憶装置３６は、表示装置３の動作のために必要な情報、例えば、表示装置３の配置情報、コマンド入力装置４から受信したユーザ操作を示すコマンド、などを記憶する。

制御回路３１は、ネットワーク設定器３１ａ、時刻同期器３１ｂ、配置情報設定器３１ｃ、表示装置情報生成器３１ｄ、コマンド処理器３１ｅ、表示位置計算器３１ｆ、及び表示データ生成器３１ｇを備える。

ネットワーク設定器３１ａは、通信回路３３を用いて、表示装置３のネットワーク接続の初期設定、例えばＩＰアドレスの設定を行う。

時刻同期器３１ｂは、表示装置３の内蔵時計を備え、さらに、通信回路３３を介して、内蔵時計の時刻をサーバ装置１の内蔵時計の時刻と同期させる。サーバ装置１及び各表示装置３は、前述のように、例えばＩＥＥＥ１５８８の時刻同期プロトコルに従って動作し、各表示装置３が時刻同期スレーブとして動作する。

配置情報設定器３１ｃは、入力装置３２を介して取得したユーザ入力に基づいて、表示装置３の配置情報を設定する。配置情報設定器３１ｃは、設定した配置情報を記憶装置３６に記憶し、記憶した配置情報を記憶装置３６から読み出す。

表示装置情報生成器３１ｄは、配置情報設定器３１ｃによって設定された配置情報に表示装置３のＩＰアドレスを付加することにより、表示装置３の表示装置情報を生成する。表示装置情報生成器３１ｄは、通信回路３３を介して表示装置情報をサーバ装置１に送信する。表示装置情報生成器３１ｄは、生成した表示装置情報を記憶装置３６に記憶し、記憶した表示装置情報を記憶装置３６から読み出す。

コマンド処理器３１ｅは、通信回路３３を介して、サーバ装置１が受信したものと同じコマンドをコマンド入力装置４から受信し、受信したコマンドを解釈して実行する。コマンド処理器３１ｅは、受信したコマンドを記憶装置３６に記憶し、記憶したコマンドを記憶装置３６から読み出す。コマンド処理器３１ｅがコマンドを解釈して実行することにより、後述の表示位置計算器３１ｆ及び表示データ生成器３１ｇは、コマンドの内容（すなわち、表示装置３の大まかな表示位置）に従って、また、サーバ装置１から第１の切り出し映像を受信したか、それとも連結映像を受信したかに従って動作する。

表示位置計算器３１ｆは、配置情報設定器３１ｃによって生成された配置情報と、コマンド処理器３１ｅによって取得された表示装置３の大まかな表示位置とに基づいて、表示装置３によって表示すべき映像の詳細な表示位置を計算する。

配置情報設定器３１ｃによって設定された配置情報が、配置情報設定器３１ｃから表示位置計算器３１ｆに直接にわたされてもよい。また、配置情報設定器３１ｃによって記憶装置３６にいったん記憶されて読み出された配置情報が、配置情報設定器３１ｃから表示位置計算器３１ｆにわたされてもよい。さらに、コマンド処理器３１ｅによって受信されたコマンドの内容（すなわち、表示装置３の大まかな表示位置）が、コマンド処理器３１ｅから表示位置計算器３１ｆに直接にわたされてもよい。また、コマンド処理器３１ｅによって記憶装置３６にいったん記憶されて読み出されたコマンドの内容が、コマンド処理器３１ｅから表示位置計算器３１ｆにわたされてもよい。

表示データ生成器３１ｇは、通信回路３３を介してサーバ装置１から第１の切り出し映像又は連結映像を受信する。表示データ生成器３１ｇは、さらに、サーバ装置１から第１の切り出し映像を受信したか、それとも連結映像を受信したかに基づいて、かつ、表示位置計算器３１ｆによって計算された表示装置３の表示位置に基づいて、映像処理回路３４を制御し、受信した映像を処理させる。サーバ装置１から第１の切り出し映像を受信したとき、映像処理回路３４は、第１の切り出し映像をそのまま画像形成装置３５に送る。また、サーバ装置１から連結映像を受信したとき、映像処理回路３４は、表示データ生成器３１ｇの制御下で、連結映像から、表示装置３の表示位置に対応する第２の切り出し映像を生成し、第２の切り出し映像を画像形成装置３５に送る。表示データ生成器３１ｇは、サーバ装置１から受信したパケットの種類に基づいて、サーバ装置１から第１の切り出し映像を受信したか、それとも連結映像を受信したかを決定してもよい。例えば、サーバ装置１からユニキャストパケットを受信したとき、表示データ生成器３１ｇは、サーバ装置１から第１の切り出し映像を受信したと決定してもよい。例えば、サーバ装置１からマルチキャストパケットを受信したとき、表示データ生成器３１ｇは、サーバ装置１から連結映像を受信したと決定してもよい。表示データ生成器３１ｇは、さらに、サーバ装置１から受信した第１の切り出し映像又は連結映像に付加されたタイムスタンプに基づいて決定される時刻において、第１の切り出し映像又は第２の切り出し映像を映像形成装置３５から視覚可能な形式で出力させる。

各表示装置３の制御回路３１の内部の各回路部分３１ａ〜３１ｇは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

［１−１−４．コマンド入力装置４の構成］
図５は、図１のコマンド入力装置４の構成を示すブロック図である。コマンド入力装置４は、制御回路４１、赤外線発光器４２、レンズ４３、撮像素子４４、映像処理回路４５、及び通信回路４６を備える。

制御回路４１は、コマンド入力装置４の全体の動作を制御する。赤外線発光器４２は、赤外線を発生して図１のユーザ７の身体に照射する。レンズ４３は、赤外線発光器４２からユーザ７の身体に照射されて反射された光を集光して撮像素子４４に入射させる。撮像素子４４は、レンズ４３を介して入射した光を電気信号に変換して赤外線映像を生成する。映像処理回路４５は、制御回路４１の制御下で、撮像素子４４によって生成された赤外線映像を距離画像として処理し、赤外線映像からユーザ７のジェスチャーを認識する。通信回路４６は、ハブ２を含むネットワークを介して、サーバ装置１及び各表示装置３に通信可能に接続される。

制御回路４１は、ネットワーク設定器４１ａ、距離画像生成器４１ｂ、画像認識器４１ｃ、移動量計算器４１ｄ、及びコマンド生成器４１ｅを備える。

ネットワーク設定器４１ａは、通信回路４６を用いて、コマンド入力装置４のネットワーク接続の初期設定、例えばＩＰアドレスの設定を行う。

距離画像生成器４１ｂは、赤外線発光器４２から所定のパターンの赤外線を発生させ、撮像素子４４によって生成された赤外線映像を、距離画像として映像処理回路４５に取得させる。

画像認識器４１ｃは、映像処理回路４５に赤外線映像を距離画像として処理させることにより、赤外線映像からユーザ７のジェスチャーを認識する。ユーザ７のジェスチャーは、例えば、各表示装置３の表示位置を左又は右に移動させるために、手を左右に動かすことを含む。ユーザ７のジェスチャーは、ユーザ７が映像表示システムを操作中であることを示す状態と、ユーザ７が映像表示システムを操作中でないことを示す状態とを含む。ここで、例えば、ユーザ７が手を上げている状態を「操作中である」と定義し、ユーザ７が手を下ろしている状態を「操作中でない」と定義する。

移動量計算器４１ｄは、画像認識器４１ｃにより認識されたジェスチャーに基づいて、各表示装置３の現在の表示位置から、ユーザ７によって所望される各表示装置３の新たな表示位置までの移動量（例えば角度変化量）を計算する。

コマンド生成器４１ｅは、移動量計算器４１ｄにより計算された移動量に基づいてコマンドを生成し、生成したコマンドを、通信回路４６を介してサーバ装置１及び各表示装置３に送信する。また、ユーザ７が映像表示システムを操作中であるとき、コマンド生成器４１ｅは、操作中であることを示すコマンドを生成し、通信回路４６を介してサーバ装置１及び各表示装置３に送信する。これにより、ユーザ７が映像表示システムを操作中であるとき、サーバ装置１及び各表示装置３にはコマンドが入力中になり、一方、ユーザ７が映像表示システムを操作中でないとき、サーバ装置１及び各表示装置３にはコマンドが入力中ではなくなる。

これにより、コマンド入力装置４は、ユーザ７のジェスチャーを撮影して認識する距離画像検出器として動作し、ジェスチャーに基づいてコマンドを生成する。

コマンド入力装置４の制御回路４１の内部の各回路部分４１ａ〜４１ｅは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

［１−２．動作］
図６は、図１の映像表示システムによって実行される処理を示すシーケンス図である。

図６のステップＳ１〜Ｓ５において、サーバ装置１、表示装置３ａ〜３ｃ、及びコマンド入力装置４は、起動後、ネットワークの初期設定を行い、それらのＩＰアドレスを設定する。

次にステップＳ６において、サーバ装置１は時刻同期マスタとして起動する。一方、ステップＳ７〜Ｓ９において、表示装置３ａ〜３ｃは時刻同期スレーブとしてそれぞれ起動する。次にステップＳ１０〜Ｓ１３において、サーバ装置１及び表示装置３ａ〜３ｃは、例えばＩＥＥＥ１５８８の時刻同期プロトコルに従って時刻同期処理を行い、表示装置３ａ〜３ｃの時刻はサーバ装置１の時刻と同期する。

次にステップＳ１４〜Ｓ１６において、表示装置３ａ〜３ｃに現在の配置情報を設定する。図１の例では、表示装置３ａが中央に配置され（θ２＝０度）、表示装置３ｂが表示装置３ａの右側９０度の位置に配置され（θ２＝９０度）、表示装置３ｃが表示装置３ａの左９０度の位置に配置される（θ２＝２７０度）。各表示装置３ａ〜３ｃは、入力装置３２を介して配置情報のユーザ入力を取得してもよく、予め取得された配置情報を記憶装置３６から読み出してもよい。

次にステップＳ１７〜Ｓ１９において、表示装置３ａ〜３ｃは、それぞれのＩＰアドレス及び配置情報のペアを表示装置情報としてサーバ装置１に送信する。次にステップＳ２０において、サーバ装置１は、表示装置３ａ〜３ｃから送信された表示装置情報を受信する。次にステップＳ２１において、サーバ装置１は、受信した表示装置情報から表示装置リストを生成する。

図９は、図１のサーバ装置１によって管理される表示装置リストを示す図である。表示装置リストは、前述のように、各表示装置３ａ〜３ｃの表示装置情報、すなわち、ＩＰアドレス及び配置情報を含む。

再び図６を参照し、ステップＳ２２において、コマンド入力装置４は、ユーザ７のジェスチャーを撮影して認識し、認識したジェスチャーに基づいてコマンドを生成し、生成したコマンドをサーバ装置１及び表示装置３ａ〜３ｃに送信する。次にステップＳ２３〜２６において、サーバ装置１及び表示装置３ａ〜３ｃは、コマンド入力装置４から送信されたコマンドを受信する。

次にステップＳ２７において、サーバ装置１は、映像データ生成及び配信処理を実行する。

図７は、図６の映像データ生成及び配信処理のサブルーチンを示すフローチャートである。

図７のステップＳ４１において、サーバ装置１は、コマンド入力装置４から送信されたコマンドがサーバ装置１に入力中か否かを判断し、ＹＥＳのときはステップＳ４２に進み、ＮＯのときはステップＳ４５に進む。

ステップＳ４２において、サーバ装置１は、サーバ装置１の撮像素子１３ａ〜１３ｄによってそれぞれ生成された撮影映像から連結映像を生成する。

図１０は、図１の撮像素子１３ａによって生成される撮影映像１０１ａを示す図である。図１１は、図１の撮像素子１３ｂによって生成される撮影映像１０１ｂを示す図である。図１２は、図１の撮像素子１３ｃによって生成される撮影映像１０１ｃを示す図である。図１３は、図１の撮像素子１３ｄによって生成される撮影映像１０１ｄを示す図である。前述のように、図１の撮像素子１３ａ〜１３ｄは、それらの視野の中心において、図２の＋Ｙ側、＋Ｘ側、−Ｘ側、及び−Ｙ側の元像５ａ〜５ｄをそれぞれ撮影する。レンズ１２ａ〜１２ｄは魚眼タイプであり、図１０〜図１３の例では、９０度より大きく、１８０度よりも小さな視野角を有する。撮影映像１０１ａ〜１０１ｄは、例えば、画素数ｄ１×ｄ２＝３７４４×３７４４を有する。

図１４は、図１のサーバ装置１によって生成される連結映像１１１を示す図である。図１４に示すように、撮影映像１０１ａ〜１０１ｄは互いに連結され、連結映像１１１が生成される。連結映像１１１は、例えば正距円筒図法を用いて、撮影映像１０１ａ〜１０１ｄから生成される。撮像素子１３ａ〜１３ｄから見た各点（すなわち、撮影映像１０１ａ〜１０１ｄにおける各点）の方位角及び仰角は、連結映像１１１における経度及び緯度に対応する。図１０〜図１３の撮影映像１０１ａ〜１０１ｄは、図２の＋Ｚ側及び−Ｚ側の元像５ｅ，５ｆの一部をそれぞれ含んでいる。しかしながら、図１の例では、ユーザ７に対して上方向及び下方向に投写する表示装置及びスクリーンが設けられていないので、図１４に示すように、連結映像１１１において、元像５ｅ，５ｆに対応する部分を除去してもよい。連結映像１１１は、例えば、画素数ｄ３×ｄ４＝１９２０×３８４０を有する。

再び図７を参照し、次にステップＳ４３において、サーバ装置１は、連結映像にタイムスタンプを付加する。次にステップＳ４４において、サーバ装置１は、タイムスタンプが付加された連結映像をマルチキャストパケットとして各表示装置３に配信する。その後、処理はステップＳ４１に戻る。

ステップＳ４５において、サーバ装置１は、パラメータｉを０に初期化する。パラメータｉは表示装置リストにおける各表示装置３をそれぞれ示し、ｉ＝０〜２は表示装置３ａ〜３ｃにそれぞれ対応する。

次にステップＳ４６において、サーバ装置１は、表示装置リストに基づいてｉ番目の表示装置３の配置情報を取得する。次にステップＳ４７において、サーバ装置１は、コマンド入力装置４から受信したコマンドから、各表示装置３の表示位置の移動量を取得する。次にステップＳ４８において、サーバ装置１は、各表示装置３の配置情報及び移動量に基づいて、ユーザ７によって所望される各表示装置３の新たな表示位置を計算する。

次にステップＳ４９において、サーバ装置１は、ｉ番目の表示装置３の新たな表示位置に対応する撮像素子の撮影映像から、第１の切り出し映像を生成する。

図１５は、図１のサーバ装置１によって生成された第１の切り出し映像１１２の一例を示す図である。図１５の例は、表示装置３のうちの１つにより、図２の＋Ｙ側の元像５ａを表示する場合を示す。第１の切り出し映像１１２は、図１０の撮影映像１０１ａから視野の周辺部分をトリミングし、また、魚眼タイプのレンズに起因する像の湾曲を補正することにより生成される。各表示装置３により図２の元像５ｂ〜５ｄを表示する場合も同様に、第１の切り出し映像が生成される。

図１６は、図１のサーバ装置１によって生成された第１の切り出し映像１１３の他の例を示す図である。各表示装置３の表示位置は、図２の元像５ａ〜５ｄのうちの１つに対応する範囲に限定されず、互いに隣接する２つの元像（例えば元像５ａ〜５ｂ）にまたがる範囲を含むように、連続的に変化してもよい。図１６の第１の切り出し映像１１３は、図１０及び図１１の撮影映像１０１ａ，１０１ｂを互いに連結し、表示位置の範囲外をトリミングし、また、魚眼タイプのレンズに起因する像の湾曲を補正することにより生成される。

第１の切り出し映像１１２，１１３は、例えば、画素数ｄ５×ｄ６＝１８７２×１８７２を有する。

再び図７を参照し、次にステップＳ５０において、サーバ装置１は、第１の切り出し映像にタイムスタンプを付加する。次にステップＳ５１において、サーバ装置１は、タイムスタンプが付加された第１の切り出し映像を、ｉ番目の表示装置３のＩＰアドレスに宛ててユニキャストパケットとして配信する。

次にステップＳ５２において、サーバ装置１は、パラメータｉを１だけインクリメントする。次にステップＳ５３において、サーバ装置１は、表示装置リストに含まれるすべての表示装置３に対して第１の切り出し映像の配信が完了したか否かを判断し、ＹＥＳのときはステップＳ４１に戻り、ＮＯのときはステップＳ４６に戻る。図１の例において、ステップＳ５３の上限値Ｎは３である。すべての表示装置３に対して第１の切り出し映像の配信が完了するまで、サーバ装置１は、ステップＳ４６〜５２を繰り返し実行する。

図７の例では、ステップＳ４６〜５１を直列に実行するものとして説明したが、スレッド化などによりステップＳ４６〜５１を並列に実行してもよい。

このように、図７の映像データ生成及び配信処理によれば、サーバ装置１は、コマンド入力装置４から受信したコマンドに基づいて、連結映像又は第１の切り出し映像を生成し、タイムスタンプを付加して、マルチキャストパケットもしくはユニキャストパケットとして各表示装置３に配信する。

再び図６を参照し、次にステップＳ２８〜Ｓ３０において、表示装置３ａ〜３ｃは、映像データ受信及び表示処理を実行する。

図８は、図６の映像データ受信及び表示処理のサブルーチンを示すフローチャートである。

図８のステップＳ６１において、表示装置３は、サーバ装置１から第１の切り出し映像を受信したか、それとも連結映像を受信したかを判断し、前者の場合はステップＳ６７に進み、後者の場合はステップＳ６２に進む。表示装置３は、前述のように、サーバ装置１からユニキャストパケットを受信したとき、サーバ装置１から第１の切り出し映像を受信したと決定し、サーバ装置１からマルチキャストパケットを受信したとき、サーバ装置１から連結映像を受信したと決定してもよい。

サーバ装置１から連結映像を受信した場合、ステップＳ６２において、表示装置３は、表示装置３自体の配置情報を取得する。次にステップＳ６３において、表示装置３は、コマンド入力装置４から受信したコマンドから、表示装置３の表示位置の移動量を取得する。次にステップＳ６４において、表示装置３は、表示装置３ａ〜３ｃの配置情報及び移動量に基づいて、ユーザ７によって所望される表示装置３の新たな表示位置を計算する。

次にステップＳ６５において、表示装置３は、連結映像の各点の経度及び緯度情報に基づいて、連結映像を立方体にマッピングする。

図１７は、図１の各表示装置３によって連結映像１１１から生成されたキューブマップ１２１を示す図である。図１７の角度θ３は図１の角度θ２に対応する。図１７のキューブマップ１２１において、水平面に対して垂直な４つの面は、表示装置３ａ〜３ｃの表示範囲と、スクリーン６ｂの右側かつスクリーン６ｃの左側に仮想的に隣接する表示範囲とにそれぞれ対応する。図１７の例は、表示装置３ａが図２の元像５ａに対応する範囲を表示し、表示装置３ｂが図２の元像５ｂに対応する範囲を表示し、表示装置３ｃが図２の元像５ａに対応する範囲を表示する場合を示す。

再び図８を参照し、次にステップＳ６６において、表示装置３は、連結映像をマッピングした立方体において、立方体の内部から外部に向かって、新たな表示位置に対応する範囲を仮想的に撮影して第２の切り出し映像を生成する。

図１８は、図１７のキューブマップ１２１を撮影する仮想カメラ１２２を示す概略図である。図１９は、図１の各表示装置３によって連結映像１１１から生成された第２の切り出し映像１２３を示す図である。図１８及び図１９の例では、表示位置は、図２の元像５ａに対応する範囲を示す。このとき、仮想カメラ１２２は、元像５ａに対応する範囲を仮想的に撮影し、これにより、第２の切り出し映像１２３が生成される。第２の切り出し映像１２３は、例えば、画素数ｄ７×ｄ８＝９６０×９６０を有する。

再び図８を参照し、ステップＳ６６の後、ステップＳ６７において、表示装置３は、第２の切り出し映像１２３をタイムスタンプに従って表示する。

また、サーバ装置１から第１の切り出し映像を受信した場合、ステップＳ６７において、表示装置３は、サーバ装置１から受信した第１の切り出し映像をそのまま、タイムスタンプに従って表示する。

このように、図８の映像データ受信及び表示によれば、各表示装置３は、サーバ装置１から配信された第１の切り出し映像又は連結映像を受信し、受信したパケットの種類に従って、連結映像から第２の切り出し映像を生成して表示するか、もしくは、受信した第１の切り出し映像をそのままタイムスタンプに従って表示する。

図２０は、図１の表示装置３ａ〜３ｃの表示位置がユーザ７の操作に応じて変化した後の状態を示す図である。図２０の例では、表示装置３ａ〜３ｃの表示位置が、図１の状態から、「現在表示している映像を撮影した撮像素子の右に隣接する撮像素子によって撮影した映像に切り換える」ように変化している。その結果、表示装置３ａ〜３ｃは、図２の＋Ｘ側、−Ｙ側、及び＋Ｙ側の元像５ｂ，５ｄ，５ａに対応する表示映像１３１ｂ，１３１ｄ，１３１ａをそれぞれ表示している。

次に、いくつかの例示的な状況を参照して、図１の映像表示システムの動作を説明する。

第１の例示的な状況として、映像表示システムの起動時、すなわち、ユーザ７がまだ操作していないときの映像表示システムの動作を説明する。

まず、サーバ装置１は、サーバ装置１の撮像素子１３ａ〜１３ｄによってそれぞれ生成された撮影映像から連結映像を生成する。次いで、サーバ装置１は、連結映像にタイムスタンプを付加し、各表示装置３にマルチキャストパケットとして配信する。

各表示装置３は、連結映像を受信し、連結映像からキューブマップを生成する。各表示装置３は、生成したキューブマップにおいて、各表示装置３の表示位置に対応する範囲を仮想的に撮影して第２の切り出し映像を生成する。ここで、各表示装置３の表示位置は、その配置情報によって決まる初期値を有する。従って、各表示装置３ａ〜３ｃの表示位置の初期値は、それぞれ、図１７のθ３＝０度、９０度、及び２７０度の方向に見えるキューブマップ１２１の各面を含む範囲である。各表示装置３は、生成した第２の切り出し映像を、対応するスクリーン６に投写する。

次に、第２の例示的な状況として、ユーザ７が操作中であるときの映像表示システムの動作を説明する。

コマンド入力装置４は、例えば、ユーザ７が腕を左方向に振ったときにユーザ７の操作を検出し、「各表示装置３の上方から見て映像を反時計回りに９０度回転させる」ことを指示するコマンドを生成する。コマンド入力装置４は、このコマンドをサーバ装置１及び各表示装置３に送信する。

サーバ装置１は、ユーザ７が操作中であるとき（すなわち、コマンドが入力中であるとき）、サーバ装置１の撮像素子１３ａ〜１３ｄによってそれぞれ生成された撮影映像から連結映像を生成する。次いで、サーバ装置１は、連結映像にタイムスタンプを付加し、各表示装置３にマルチキャストパケットとして配信する。

各表示装置３は、連結映像を受信し、連結映像からキューブマップを生成する。各表示装置３は、生成したキューブマップにおいて、各表示装置３の表示位置に対応する範囲を仮想的に撮影して第２の切り出し映像を生成する。各表示装置３ａ〜３ｃの表示位置は、それぞれ、初期値に９０度を加算し、図１７のθ３＝９０度、１８０度、及び０度の方向に見えるキューブマップ１２１の各面を含む範囲である。各表示装置３は、生成した第２の切り出し映像を、対応するスクリーン６に投写する。

次に、第３の例示的な状況として、ユーザ７が操作を完了した後の映像表示システムの動作を説明する。

ユーザ７が操作を完了すると、コマンド入力装置４によるコマンドの生成及び送信は停止される。

サーバ装置１は、ユーザの操作が完了したとき（すなわち、コマンドが入力中でないとき）、サーバ装置１の撮像素子１３ａ〜１３ｄによってそれぞれ生成された撮影映像から、表示装置３ａ〜３ｃの表示位置にそれぞれ対応する第１の切り出し映像を生成する。各表示装置３ａ〜３ｃの表示位置に対応する第１の切り出し映像は、ユーザ７が操作中であるときに各表示装置３ａ〜３ｃに表示された第２の切り出し映像の範囲に対応する範囲を有する。従って、各表示装置３ａ〜３ｃの表示位置に対応する第１の切り出し映像は、図２の＋Ｘ側の元像５ｂ（θ１＝９０度）、−Ｙ側の元像５ｄ（θ１＝１８０度）、及び＋Ｙ側の元像５ａ（θ１＝０度）をそれぞれ含むように生成される。サーバ装置１は、第１の切り出し映像にタイムスタンプを付加し、各表示装置３にユニキャストパケットとしてそれぞれ配信する。

各表示装置３は、第１の切り出し映像を受信し、そのまま、対応するスクリーン６に投写する。

以上説明したように、実施形態に係る映像表示システムによれば、ユーザが操作中でないとき、サーバ装置１から各表示装置３に第１の切り出し映像を配信し、ユーザが操作中であるとき、サーバ装置１から各表示装置３に連結映像を配信する。各表示装置３は、第１の切り出し映像を受信したときは、そのまま視覚化な形式で出力し、連結映像を受信したときは、連結映像から第２の切り出し映像を生成し、第２の切り出し映像を視覚化な形式で出力する。連結映像から第２の切り出し映像を生成すると、第２の切り出し映像の解像度は低下し（例えば、９６０×９６０画素）、各表示装置３の画素数に比較して不十分になることがある。一方、第１の切り出し映像は、元の解像度（例えば、３７４４×３７４４画素）を有する撮影映像から直接に生成されるので、比較的に容易に、高解像度で、例えば第２の切り出し映像の解像度よりも高い解像度で生成することができる（例えば、１８７２×１８７２画素）。このように、ユーザが操作中でないとき、サーバ装置１から各表示装置３に第１の切り出し映像を配信し、第１の切り出し映像を各表示装置３からそのまま視覚化な形式で出力することにより、高解像度の映像を表示させることができる。

また、実施形態に係る映像表示システムによれば、ユーザが操作中であるとき、サーバ装置１から各表示装置３に連結映像を配信するので、各表示装置３は、連結映像から、任意の表示位置に対応する第２の切り出し映像を生成することができる。言い換えると、ユーザ操作に応じて迅速かつ滑らかに各表示装置３の表示位置を変更することができる。

このように、実施形態に係る映像表示システムによれば、高解像度の映像を表示させることができ、かつ、ユーザ操作に応じて迅速かつ滑らかに各表示装置の表示位置を変更することができる映像表示システムを提供することができる。

［１−３．変形例］

図２１は、実施形態の変形例に係るコマンド入力装置４Ａ及びリモートコントローラ８の構成を示すブロック図である。図２１の変形例では、図５のコマンド入力装置４のように距離画像検出器として動作してユーザ７のジェスチャーを認識することに代えて、ユーザ７によるリモートコントローラ８の空間的な動きを検出することによりユーザ７のジェスチャーを認識する。

コマンド入力装置４Ａは、制御回路４１Ａ、通信回路４６、及び無線受信回路４７を備える。

制御回路４１Ａは、コマンド入力装置４Ａの全体の動作を制御する。通信回路４６は、図５の通信回路４６と同様に構成される。無線受信回路４７は、リモートコントローラ８と通信し、リモートコントローラ８の空間的な動きを示す信号を受信する。

制御回路４１Ａは、ネットワーク設定器４１ａ、ジェスチャー認識器４１ｆ、移動量計算器４１ｄ、及びコマンド生成器４１ｅを備える。

ネットワーク設定器４１ａ、移動量計算器４１ｄ、及びコマンド生成器４１ｅは、図５の対応する構成要素と同様に構成される。

ジェスチャー認識器４１ｆは、リモートコントローラ８から受信した信号に基づいて、ユーザ７のジェスチャーを認識する。

リモートコントローラ８は、制御回路８１、入力装置８２、加速度センサ８３、及び無線送信回路８４を備える。

制御回路８１は、リモートコントローラ８の全体の動作を制御する。入力装置８２は、ユーザ入力を受けるキーボード又はボタンなどを含む。加速度センサ８３は、リモートコントローラ８を保持するユーザ７のジェスチャーによって生じた、リモートコントローラ８にかかる加速度を検出する。制御回路８１は、加速度センサ８３によって検出された加速度に基づいて、リモートコントローラ８の空間的な動きを検出する。無線送信回路８４は、コマンド入力装置４Ａと通信し、リモートコントローラ８の空間的な動きを示す信号を送信する。

コマンド入力装置４Ａの制御回路４１Ａの内部の各回路部分４１ａ，４１ｄ，４１ｅ，４１ｆは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

図２１のコマンド入力装置４Ａ及びリモートコントローラ８もまた、図５のコマンド入力装置４と同様に、ジェスチャーに基づいてコマンドを生成する。

次に、実施形態の他のいくつかの変形例について説明する。

サーバ装置は、４つ以外の複数の撮像素子を備えていてもよい。撮像素子は、サーバ装置の本体に一体化されていても、所定のインターフェースを介してサーバ装置の外部に接続されていてもよい。

サーバ装置は、各表示装置が連結映像及び第１の切り出し映像を区別できるのであれば、連結映像をユニキャストパケット又は他の形式で配信してもよい。

映像表示システムは、ユーザを包囲するように例えば４つの表示装置を備えてもよい。また、映像表示システムは、ユーザから見て９０度とは異なる角度間隔で配置された複数の表示装置を備えてもよく、曲面（例えば円筒面）のスクリーンを備えてもよい。映像表示システムは、天井及び／又は床に投影する表示装置をさらに備えてもよい。

各表示装置の配置情報は、図４を参照して説明したように、表示装置の入力装置を介して入力されてもよく、カメラにより各表示装置を撮影することにより取得されてもよい。また、各表示装置の配置情報は、各表示装置に入力されることに代えて、サーバ装置に入力されてもよい。

各表示装置の映像形成装置は、投写型表示装置に代えて、例えば、液晶パネル、ＬＥＤパネルなどであってもよい。

コマンド入力装置は、サーバ装置又は表示装置のうちの１つに一体化されていてもよい。

コマンド入力装置は、コマンドが最後に入力されてから、コマンドが入力されないまま所定時間が経過したとき、ユーザが操作中ではないと判断してもよい。また、コマンド入力装置は、ユーザの手の位置（例えば、上げているか下げているか）に応じてユーザが操作中であるか否かを判断することにかえて、ユーザの身体が動いていれば操作中であると判断してもよい。また、コマンド入力装置は、ユーザの操作が完了したとき、完了したことをサーバ装置に通知してもよい。また、コマンド入力装置は、ユーザが操作中でないとき、ユーザが操作中でないことをサーバ装置に通知してもよい。

［１−４．効果等］
本開示の態様に係るサーバ装置１によれば、複数の表示装置３ａ〜３ｃに映像を配信するサーバ装置１が提供される。サーバ装置１は、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像を処理する映像処理回路１４と、複数の表示装置３ａ〜３ｃに通信可能に接続された通信回路１５と、制御回路１１とを備える。制御回路１１は、複数の撮影映像によって表される範囲のうち、複数の表示装置３ａ〜３ｃによってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドを受信する。制御回路１１は、コマンドがサーバ装置１に入力中でないとき、複数の撮影映像から、複数の表示装置３ａ〜３ｃの各表示位置にそれぞれ対応する複数の第１の切り出し映像を生成するように映像処理回路１４を制御し、複数の第１の切り出し映像を、対応する複数の表示装置３ａ〜３ｃにそれぞれ配信するように通信回路１５を制御する。制御回路１１は、コマンドがサーバ装置１に入力中であるとき、複数の撮影映像から１つの連結映像を生成するように映像処理回路１４を制御し、連結映像を複数の表示装置３ａ〜３ｃに配信するように通信回路１５を制御する。

これにより、高解像度の映像を表示させることができ、かつ、ユーザ操作に応じて迅速かつ滑らかに各表示装置の表示位置を変更することができる。

本開示の態様に係る表示装置３によれば、サーバ装置１から配信された映像を表示する表示装置３ａ〜３ｃが提供される、表示装置３ａ〜３ｃは、サーバ装置１に通信可能に接続された通信回路３３と、通信回路３３によりサーバ装置１から受信された映像を処理する映像処理回路３４と、映像を視覚可能な形式で出力する映像形成装置３５と、制御回路３１とを備える。制御回路３１は、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像によって表される範囲のうち、表示装置３ａ〜３ｃによって表示される映像の範囲を示す表示位置を指定するコマンドを受信する。制御回路３１は、複数の撮影映像から生成され、表示装置３ａ〜３ｃの表示位置に対応する第１の切り出し映像を通信回路３３によりサーバ装置１から受信したとき、第１の切り出し映像を出力するように映像形成装置３５を制御する。制御回路３１は、複数の撮影映像から生成された１つの連結映像を通信回路３３によりサーバ装置１から受信したとき、連結映像から、表示装置３ａ〜３ｃの表示位置に対応する第２の切り出し映像を生成するように映像処理回路３４を制御し、第２の切り出し映像を出力するように映像形成装置３５を制御する。

本開示の態様に係る映像表示システムによれば、サーバ装置１と、複数の表示装置３ａ〜３ｃとを含む。

本開示の態様に係る映像表示システムによれば、複数の撮影映像は、複数の撮像素子１３ａ〜１３ｄの周りの全方位又は全天球をカバーする。

これにより、全方向カメラによって撮影された映像を表示することができる。

本開示の態様に係る映像表示システムによれば、サーバ装置１の映像処理回路は、正距円筒図法を用いて複数の撮影映像から連結映像を生成する。

これにより、複数の撮影映像から連結映像を適切に生成することができる。

本開示の態様に係る映像表示システムによれば、映像表示システムは、ユーザからコマンドを取得するコマンド入力装置４をさらに備える。コマンド入力装置４は、ユーザのジェスチャーを撮影して認識する距離画像検出器を備え、ジェスチャーに基づいてコマンドを生成する。

これにより、ジェスチャーに基づいてコマンドを確実に生成することができる。

本開示の態様に係る映像表示システムによれば、映像表示システムは、ユーザからコマンドを取得するコマンド入力装置４Ａ及びリモートコントローラ８をさらに備える。リモートコントローラ８は、ユーザのジェスチャーを検出する加速度センサ８３を備える。コマンド入力装置４Ａは、ジェスチャーに基づいてコマンドを生成する。

本開示の態様に係る映像表示システムによれば、サーバ装置１の通信回路１５は、連結映像を複数の表示装置３ａ〜３ｃにマルチキャストで配信し、複数の第１の切り出し映像を、対応する複数の表示装置３ａ〜３ｃにそれぞれユニキャストで配信する。各表示装置３ａ〜３ｃの制御回路３１は、当該表示装置３ａ〜３ｃの通信回路３３によりマルチキャストのパケットを受信したとき、連結映像を受信したと判断し、当該表示装置３ａ〜３ｃの通信回路３３によりユニキャストのパケットを受信したとき、第１の切り出し映像を受信したと判断する。

これにより、第１の切り出し映像及び連結映像を確実に区別することができる。

本開示の態様に係る映像表示システムによれば、第１の切り出し映像は、第２の切り出し映像の解像度よりも高い解像度を有する。

これにより、高解像度の映像を表示させることができる。

本開示の態様に係る映像表示方法によれば、サーバ装置１から複数の表示装置３ａ〜３ｃに映像を配信して表示する映像表示方法が提供される。本方法は、サーバ装置１及び各表示装置３ａ〜３ｃが、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像によって表される範囲のうち、複数の表示装置３ａ〜３ｃによってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドを受信するステップを含む。本方法は、コマンドがサーバ装置１に入力中であるとき、サーバ装置１が、複数の撮影映像から１つの連結映像を生成し、連結映像を複数の表示装置３ａ〜３ｃに配信するステップを含む。本方法は、コマンドがサーバ装置１に入力中でないとき、サーバ装置１が、複数の撮影映像から、複数の表示装置３ａ〜３ｃの各表示位置にそれぞれ対応する複数の第１の切り出し映像を生成し、複数の第１の切り出し映像を、対応する複数の表示装置３ａ〜３ｃにそれぞれ配信するステップを含む。本方法は、複数の表示装置３ａ〜３ｃのうちの各１つの表示装置３ａ〜３ｃが、第１の切り出し映像をサーバ装置１から受信したとき、第１の切り出し映像を視覚可能な形式で出力するステップを含む。本方法は、複数の表示装置３ａ〜３ｃのうちの各１つの表示装置３ａ〜３ｃが、連結映像をサーバ装置１から受信したとき、連結映像から、当該１つの表示装置３ａ〜３ｃの表示位置に対応する第２の切り出し映像を生成し、第２の切り出し映像を視覚可能な形式で出力するステップを含む。

（他の実施形態）
以上のように、本出願において開示する技術の例示として実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、第１及び第２の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

以上のように、本開示に係る技術の例示として実施形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

以上のように、添付図面および詳細な説明によって、ベストモードと考える実施形態を提供した。これら、特定の実施形態を参照することにより、当業者に対して、特許請求の範囲に記載の主題を例証するために提供されるものである。したがって、特許請求の範囲またはその均等の範囲において、上述の実施形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、全方向カメラによって撮影された一体の映像を表示する、ビデオウォール及びマルチプロジェクションなどのマルチディスプレイシステムに適用可能である。

１…サーバ装置、
２…ハブ、
３ａ〜３ｃ…表示装置、
４，４Ａ…コマンド入力装置、
５…風景、
６ａ〜６ｃ…スクリーン、
７…ユーザ、
８…リモートコントローラ、
１１…サーバ装置の制御回路、
１２ａ〜１２ｄ…サーバ装置のレンズ、
１３ａ〜１３ｄ…サーバ装置の撮像素子、
１４…サーバ装置の映像処理回路、
１５…サーバ装置の通信回路、
１６…サーバ装置の記憶装置、
３１…制御回路、
３２…表示装置の入力装置、
３３…表示装置の通信回路、
３４…表示装置の映像処理回路、
３５…表示装置の映像形成装置、
３６…表示装置の記憶装置、
４１，４１Ａ…コマンド入力装置の制御回路、
４２…コマンド入力装置の赤外線発光器、
４３…コマンド入力装置のレンズ、
４４…コマンド入力装置の撮像素子、
４５…コマンド入力装置の映像処理回路、
４６…コマンド入力装置の通信回路、
４７…無線受信回路、
８１…リモートコントローラの制御回路、
８２…リモートコントローラの入力装置、
８３…リモートコントローラの加速度センサ、
８４…リモートコントローラの無線送信回路。

Claims

複数の表示装置に映像を配信するサーバ装置であって、前記サーバ装置は、
複数の撮像素子によってそれぞれ生成された複数の撮影映像を処理する映像処理回路と、
前記複数の表示装置に通信可能に接続された通信回路と、
制御回路とを備え、
前記制御回路は、
前記複数の撮影映像によって表される範囲のうち、前記複数の表示装置によってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドを受信し、
前記コマンドが前記サーバ装置に入力中でないとき、前記複数の撮影映像から、前記複数の表示装置の各表示位置にそれぞれ対応する複数の第１の切り出し映像を生成するように前記映像処理回路を制御し、前記複数の第１の切り出し映像を、対応する前記複数の表示装置にそれぞれ配信するように前記通信回路を制御し、
前記コマンドが前記サーバ装置に入力中であるとき、前記複数の撮影映像から１つの連結映像を生成するように前記映像処理回路を制御し、前記連結映像を前記複数の表示装置に配信するように前記通信回路を制御する、
サーバ装置。
サーバ装置から配信された映像を表示する表示装置であって、前記表示装置は、
前記サーバ装置に通信可能に接続された通信回路と、
前記通信回路により前記サーバ装置から受信された映像を処理する映像処理回路と、
映像を視覚可能な形式で出力する映像形成装置と、
制御回路とを備え、
前記制御回路は、
複数の撮像素子によってそれぞれ生成された複数の撮影映像によって表される範囲のうち、前記表示装置によって表示される映像の範囲を示す表示位置を指定するコマンドを受信し、
前記複数の撮影映像から生成され、前記表示装置の表示位置に対応する第１の切り出し映像を前記通信回路により前記サーバ装置から受信したとき、前記第１の切り出し映像を出力するように前記映像形成装置を制御し、
前記複数の撮影映像から生成された１つの連結映像を前記通信回路により前記サーバ装置から受信したとき、前記連結映像から、前記表示装置の表示位置に対応する第２の切り出し映像を生成するように前記映像処理回路を制御し、前記第２の切り出し映像を出力するように前記映像形成装置を制御する、
表示装置。
請求項１記載のサーバ装置と、
請求項２記載の複数の表示装置とを含む、
映像表示システム。
前記複数の撮影映像は、前記複数の撮像素子の周りの全方位又は全天球をカバーする、
請求項３記載の映像表示システム。
前記サーバ装置の映像処理回路は、正距円筒図法を用いて前記複数の撮影映像から前記連結映像を生成する、
請求項４記載の映像表示システム。
前記映像表示システムは、ユーザから前記コマンドを取得するコマンド入力装置をさらに備え、
前記コマンド入力装置は、前記ユーザのジェスチャーを撮影して認識する距離画像検出器を備え、前記ジェスチャーに基づいて前記コマンドを生成する、
請求項３〜５のうちの１つに記載の映像表示システム。
前記映像表示システムは、ユーザから前記コマンドを取得するコマンド入力装置をさらに備え、
前記コマンド入力装置は、前記ユーザのジェスチャーを検出する加速度センサを備え、前記ジェスチャーに基づいて前記コマンドを生成する、
請求項３〜５のうちの１つに記載の映像表示システム。
前記サーバ装置の通信回路は、前記連結映像を前記複数の表示装置にマルチキャストで配信し、前記複数の第１の切り出し映像を、対応する前記複数の表示装置にそれぞれユニキャストで配信し、
前記各表示装置の制御回路は、当該表示装置の通信回路によりマルチキャストのパケットを受信したとき、前記連結映像を受信したと判断し、当該表示装置の通信回路によりユニキャストのパケットを受信したとき、前記第１の切り出し映像を受信したと判断する、
請求項３〜７のうちの１つに記載の映像表示システム。
前記第１の切り出し映像は、前記第２の切り出し映像の解像度よりも高い解像度を有する、
請求項３〜８のうちの１つに記載の映像表示システム。
サーバ装置から複数の表示装置に映像を配信して表示する映像表示方法であって、
前記サーバ装置及び前記各表示装置が、複数の撮像素子によってそれぞれ生成された複数の撮影映像によって表される範囲のうち、前記複数の表示装置によってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドを受信するステップと、
前記コマンドが前記サーバ装置に入力中でないとき、前記サーバ装置が、前記複数の撮影映像から、前記複数の表示装置の各表示位置にそれぞれ対応する複数の第１の切り出し映像を生成し、前記複数の第１の切り出し映像を、対応する前記複数の表示装置にそれぞれ配信するステップと、
前記コマンドが前記サーバ装置に入力中であるとき、前記サーバ装置が、前記複数の撮影映像から１つの連結映像を生成し、前記連結映像を前記複数の表示装置に配信するステップと、
前記複数の表示装置のうちの各１つの表示装置が、前記第１の切り出し映像を前記サーバ装置から受信したとき、前記第１の切り出し映像を視覚可能な形式で出力するステップと、
前記複数の表示装置のうちの各１つの表示装置が、前記連結映像を前記サーバ装置から受信したとき、前記連結映像から、当該１つの表示装置の表示位置に対応する第２の切り出し映像を生成し、前記第２の切り出し映像を視覚可能な形式で出力するステップとを含む、
映像表示方法。