JP2018064234A - 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】全天球画像において主要な被写体が歪んで表示される状況を未然に抑制する。【解決手段】各々が全天球画像の一部を構成する撮影画像を撮像するように構成された複数のサブカメラを備えたマルチカメラシステムで実行される表示制御方法である。マルチカメラシステムから、複数のサブカメラによって撮像された複数の撮影画像を取得するステップと、各々が複数の撮影画像のうちの一つを表示するように構成された複数の撮影画像表示領域Ｓ１〜Ｓ７を有する撮影画像表示画面１００を生成する（複数の撮影画像表示領域Ｓ１〜Ｓ７と複数のサブカメラとの間の対応関係が予め設定されており、複数の撮影画像の各々を複数の撮影画像表示領域Ｓ１〜Ｓ７の一つに関連付ける）ステップと、複数の撮影画像の各々を複数の撮影画像表示領域Ｓ１〜Ｓ７のうちの関連する一つに表示させるステップと、を含む。【選択図】図８

Description

本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。

特許文献１では、各々が被写体を部分的に示す複数の部分画像を合成することで１つの被写体画像を生成するスティッチング処理が開示されている。特に、特許文献１では、スティッチング処理によって生成された被写体画像における複数の画像領域の連結位置（境界線）を示す画像を当該被写体画像に合成する技術が開示されている。

特開２０１３−２０４７５号公報

ところで、全天球画像（３６０度画像ともいう。）を生成するためには様々な方法が考えられるが、その中の一つの方法として、全天球画像を撮影するためのマルチカメラシステムの複数のサブカメラによって取得された複数の撮影画像をスティッチング処理することで全天球画像を生成する方法が知られている。複数の撮影画像をスティッチング処理する際には、隣接した撮影画像間の境界において画像の歪みが発生してしまう。特に、主要な被写体（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）が隣接した撮影画像間の境界に位置する場合、当該被写体が歪んで表示されてしまい、全天球画像の品質の低下を招来する。

本開示は、全天球画像において主要な被写体が歪んで表示される状況を未然に抑制することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、表示制御方法は、各々が全天球画像の一部を構成する撮影画像を撮像するように構成された複数のサブカメラを備えたマルチカメラシステムに通信可能に接続されたコンピュータにより実行される。
当該表示制御方法は、
（ａ）前記マルチカメラシステムから、前記複数のサブカメラによって撮像された複数の撮影画像を取得するステップと、
（ｂ）各々が前記複数の撮影画像のうちの一つを表示するように構成された複数の撮影画像表示領域を有する撮影画像表示画面を生成するステップであって、前記複数の撮影画像表示領域と前記複数のサブカメラとの間の対応関係が予め設定されており、
（ｃ）前記複数の撮影画像の各々を前記複数の撮影画像表示領域の一つに関連付けるステップと、
（ｄ）前記複数の撮影画像の各々を前記複数の撮影画像表示領域のうちの関連する一つに表示させるステップと、
を含む。

本開示によれば、全天球画像において主要な被写体が歪んで表示される状況を未然に抑制することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することができる。

複数のサブカメラを備えたマルチカメラシステムを示す概要図である。 互いに通信可能に接続されたマルチカメラシステムと撮影画像表示装置を示すブロック図である。 撮影画像表示装置のハードウェア構成を示す図である。 サブカメラのハードウェア構成を示す図である。 本発明の実施形態（以下、単に本実施形態という。）に係る表示制御方法を説明するためのフローチャートである。 被写体と各サブカメラとの間の相対位置関係が変化する前における撮影画像表示画面を示す図である。 複数のカメラＩＤと複数の撮影画像表示領域との間の対応関係を示すテーブルを示す図である。 被写体と各サブカメラとの間の相対位置関係が変化した後における撮影画像表示画面を示す図である。 サブカメラ２ｄ（４番カメラ）に異常があったことを示す警告が表示された撮影画像表示画面を示す図である。 複数のサブカメラの発光部が点灯した様子を示す図である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）各々が全天球画像の一部を構成する撮影画像を撮像するように構成された複数のサブカメラを備えたマルチカメラシステムに通信可能に接続されたコンピュータにより実行される表示制御方法であって、
（ａ）前記マルチカメラシステムから、前記複数のサブカメラによって撮像された複数の撮影画像を取得するステップと、
（ｂ）各々が前記複数の撮影画像のうちの一つを表示するように構成された複数の撮影画像表示領域を有する撮影画像表示画面を生成するステップであって、前記複数の撮影画像表示領域と前記複数のサブカメラとの間の対応関係が予め設定されており、
（ｃ）前記複数の撮影画像の各々を前記複数の撮影画像表示領域の一つに関連付けるステップと、
（ｄ）前記複数の撮影画像の各々を前記複数の撮影画像表示領域のうちの関連する一つに表示させるステップと、
を含む、表示制御方法。

上記方法によれば、全天球画像の一部を構成する各撮影画像は、複数の撮影画像表示領域の一つに関連付けられた上、複数の撮影画像表示領域のうちの関連する一つに表示される。ここで、主要な被写体（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）が撮影画像の端部に存在する場合、隣接するサブカメラの撮影領域（視野）が互いに重複しているため、複数の撮影画像をスティッチング処理する際に、主要な被写体が隣接する撮影画像間の境界線上に位置する可能性が高い。この結果、全天球画像において当該主要な被写体が歪んで表示されてしまう。一方、撮影者又はその補助者（以下、単に撮影者という。）は、撮影を開始する前に、撮影画像表示画面に表示された各撮影画像を確認することで、主要な被写体が撮影画像の端部に存在しないように、マルチカメラシステムと主要な被写体との間の位置関係や、各サブカメラの位置や角度を調整することができる。このように、全天球画像において主要な被写体が歪んで表示される状況を未然に抑制することが可能な表示制御方法を提供することができる。

（２）前記ステップ（ａ）は、
前記マルチカメラシステムから、前記複数のサブカメラを識別するための複数のカメラ識別情報を取得するステップを有し、
前記複数の撮影画像の各々は、前記複数のカメラ識別情報の一つと関連付けられており、
前記ステップ（ｃ）は、
前記複数のカメラ識別情報と、前記複数のカメラ識別情報と前記複数の撮影画像表示領域との間の対応関係とに基づいて、前記複数の撮影画像の各々を前記複数の撮影画像表示領域の一つに関連付けるステップを有する、
項目（１）に記載の表示制御方法。

上記方法によれば、複数のカメラ識別情報と、複数のカメラ識別情報と複数の撮影画像表示領域との間の対応関係とに基づいて、複数の撮影画像の各々が複数の撮影画像表示領域の一つに関連付けられる。このように、複数のカメラ識別情報によって、各撮影画像を対応する撮影画像表示領域に確実に表示することができる。

（３）（ｅ）前記複数のサブカメラによって撮像された撮影画像のうちの少なくとも一つが前記コンピュータに送信されなかった場合に、前記撮影画像表示画面上に警告を表示するステップをさらに含む、項目（１）又は（２）に記載の表示制御方法。

上記方法によれば、複数のサブカメラによって撮像された撮影画像のうちの少なくとも一つがコンピュータに送信されなかった場合に、撮影画像表示画面上に警告が表示される。このように、撮影者は、撮影画像表示画面を見ることで、マルチカメラシステムの異常を瞬時に把握することができる。

（４）前記ステップ（ｅ）は、
前記コンピュータに送信されなかった撮影画像を撮像するように構成されたサブカメラを特定するステップと、
前記特定されたサブカメラを示す警告を前記撮影画像表示画面上に表示するステップと、
をさらに含む、項目（３）に記載の表示制御方法。

上記方法によれば、撮影者は、撮影画像表示画面を見ることで、故障しているサブカメラを瞬時に特定することができる。

（５）（ｆ）前記複数のサブカメラによって撮像された撮影画像のうちの少なくとも一つが前記コンピュータに送信されなかった場合に、前記マルチカメラシステムに識別信号を送信するステップをさらに含む、項目（１）又は（２）に記載の表示制御方法。

上記方法によれば、複数のサブカメラによって撮像された撮影画像のうちの少なくとも一つがコンピュータに送信されなかった場合に、マルチカメラシステムに識別信号が送信される。このように、マルチカメラシステムは、受信した識別信号に基づいて、マルチカメラシステムの異常を撮影者に向けて提示することができる。従って、撮影者は、マルチカメラシステムを見ることで、マルチカメラシステムの異常を瞬時に把握することができる。

（６）前記ステップ（ｆ）は、
前記コンピュータに送信されなかった撮影画像を撮像するように構成されたサブカメラを特定するステップと、
前記特定されたサブカメラを示す識別信号を前記マルチカメラシステムに送信するステップと、
をさらに含む、項目（５）に記載の表示制御方法。

上記方法によれば、特定されたサブカメラを示す識別信号がサブカメラシステムに送信されるので、マルチカメラシステムは、受信した識別信号に基づいて、故障しているサブカメラを撮影者に向けて提示することができる。従って、撮影者は、マルチカメラシステムを見ることで、故障しているサブカメラを瞬時に特定することができる。

（７）項目（１）から（６）のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

上記によれば、全天球画像において主要な被写体が歪んで表示される状況を未然に抑制することが可能なプログラムを提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

図１及び図２を参照してマルチカメラシステム１について以下に説明する。図１は、複数のサブカメラ２ａ〜２ｇを備えたマルチカメラシステム１を示す概要図（上面図）である。図２は、互いに通信可能に接続されたマルチカメラシステム１と撮影画像表示装置３を示すブロック図である。図１に示すように、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇと、ホルダ４０とを備えている。各サブカメラ２ａ〜２ｇは、ホルダ４０によって所定の位置に固定されている。尚、図１ではサブカメラ２ｇが図示されていないが、サブカメラ２ｇは、サブカメラ２ｆの真下に配置されている。サブカメラ２ｆは、マルチカメラシステム１の上方の空間を撮像するように構成されている一方、サブカメラ２ｇは、マルチカメラシステム１の下方の空間を撮像するように構成されている。以降では説明の便宜上、サブカメラ２ａ〜２ｇを単にサブカメラ２と総称する場合がある。

サブカメラ２ａ〜２ｇの視野（撮像領域）は、水平方向（紙面に平行な方向）及び垂直方向（紙面に垂直な方向）におけるマルチカメラシステム１の全周囲（３６０度）の領域をカバーしている。また、隣接したサブカメラ２の視野の一部が互いに重複している。図１に示すように、例えば、サブカメラ２ｂの視野の一部とサブカメラ２ａに隣接したサブカメラ２ｃの視野の一部が互いに重複している。このため、サブカメラ２ｂによって撮像された撮影画像中の一部の撮影領域とサブカメラ２ａによって撮影された撮影画像の一部の領域が重複している。サブカメラ２ａ〜２ｇによって撮像された複数の撮影画像を歪ませて、当該歪んだ複数の撮影画像をスティッチング処理することで、全天球画像（３６０度画像）が生成される。このように、サブカメラ２ａ〜２ｇによって撮像された撮影画像の各々は、全天球画像の一部を構成しており、マルチカメラシステム１を用いることで全天球画像を生成することができる。尚、本実施形態において、撮影画像とは、静止画像と動画像の両方を含む。

図２に示すように、マルチカメラシステム１は、撮影画像表示装置３（以下、単に表示装置３という。）に通信可能に接続されている。特に、サブカメラ２ａ〜２ｇの各々は、無線又は有線により表示装置３に通信可能に接続されている。

次に、図３を参照して表示装置３のハードウェア構成について説明する。図３は、表示装置３（コンピュータ）のハードウェア構成を示す図である。図３に示すように、表示装置３は、制御部３１と、記憶部３２と、Ｉ／Ｏ（入出力）インターフェース３３と、入力操作部３４と、表示部３５と、通信インターフェース３６と、バス３７とを備える。制御部３１と、記憶部３２と、Ｉ／Ｏインターフェース３３と、通信インターフェース３６は、バス３７により互いに通信可能に接続されている。表示装置３は、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよい。

制御部３１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるためのプログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部３１は、表示装置３の各種動作を制御してもよい。制御部３１は、メモリや記憶部３２に格納された本実施形態に係る表示制御方法をコンピュータに実行させるプログラム（表示制御プログラム）を実行することで、表示部３５に撮影画像表示画面１００（図６参照）を表示してもよい。

記憶部（ストレージ）３２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部３２は、表示制御プログラムを格納してもよい。さらに、記憶部３２には、各種データを管理するためのテーブル（例えば、図７に示すテーブル６０）を含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース３３は、入力操作部３４と表示部３５をそれぞれ制御部３１に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。サブカメラ２によって撮像された撮像画像（撮像画像データ）は、Ｉ／Ｏインターフェース３３を介して制御部３１に送信されてもよい。

入力操作部３４は、表示装置３を操作する操作者Ｐの入力操作を受付けると共に、当該入力操作に対応する操作信号を生成するように構成されている。入力操作部３４は、例えば、表示部３５上に重ねて配置されたタッチパネル、マウス又はキーボード等である。入力操作部３４によって生成された操作信号は、バス３７を介して制御部３１に送信された後、制御部３１は、操作信号に応じて所定の処理を実行する。表示部３５は、液晶ディスプレイ、有機ＥＬディスプレイ等である。例えば、図６に示す撮影画像表示画面１００が表示部３５に表示される。

通信インターフェース３６は、表示装置３をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク４に接続させるように構成されている。通信インターフェース３６は、通信ネットワーク４を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク４を介して通信するための通信規格に適合するように構成されている。また、サブカメラ２によって撮像された撮像画像は、通信インターフェース３６を介して制御部３１に送信されてもよい。

次に、図４を参照して撮影画像（静止画像又は動画像）を取得するように構成されたサブカメラ２のハードウェア構成について説明する。図４は、サブカメラ２のハードウェア構成を示す図である。図４に示すように、サブカメラ２は、制御部２１と、記憶部２２と、撮像部２３と、発光部２４と、Ｉ／Ｏインターフェース２５と、通信インターフェース２６と、バス２７とを備える。制御部２１と、記憶部２２と、撮像部２３と、発光部２４と、Ｉ／Ｏインターフェース２５と、通信インターフェース２６は、バス２７により互いに通信可能に接続されている。

制御部２１は、メモリとプロセッサを備える。記憶部２２は、例えば、ＵＳＢフラッシュメモリ等の記憶装置である。記憶部２２には、撮像部２３によって撮像された撮影画像（撮影画像データ）が保存されていてもよい。撮像部２３は、撮影画像を撮像するように構成されており、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子によって構成されている。発光部２４は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）と、ＬＥＤを駆動制御するＬＥＤドライバにより構成されている。制御部２１は、後述するように、表示装置３から送信された点灯信号又は消灯信号に従って、発光部２４を点灯又は消灯するように構成される。Ｉ／Ｏインターフェース２５は、例えば、ＵＳＢ端子、ＤＶＩ端子、ＨＤＭＩ端子等により構成されている。撮影画像は、Ｉ／Ｏインターフェース２５を介して表示装置３に送信されてもよい。

通信インターフェース２６は、サブカメラ２を通信ネットワーク４に接続させるように構成されている。通信インターフェース２６は、通信ネットワーク４を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク４を介して通信するための通信規格に適合するように構成されている。撮影画像は、通信インターフェース２６を介して表示装置３に送信されてもよい。

次に、図５から図１０を参照して本実施形態に係る表示制御方法について以下に説明する。図５は、本実施形態に係る表示制御方法を説明するためのフローチャートである。図６は、被写体Ｓ（図１参照）と各サブカメラ２ａ〜２ｇとの間の相対位置関係が変化する前（初期状態）における撮影画像表示画面１００を示す図である。図７は、複数のカメラＩＤ（カメラ識別情報）と複数の撮影画像表示領域Ｓ１〜Ｓ７との間の対応関係を示すテーブル６０を示す図である。図８は、被写体Ｓと各サブカメラ２ａ〜２ｇとの間の相対位置関係が変化した後における撮影画像表示画面１００を示す図である。図９は、サブカメラ２ｄ（４番カメラ）に異常があったことを示す警告Ｗが表示された撮影画像表示画面１００を示す図である。図１０は、複数のサブカメラ２（サブカメラ２ｄを除く）の発光部２４が点灯した様子を示す図である。

最初に、図５に示すように、制御部３１は、撮影画像表示画面１００を生成する（ステップＳ１１）。図６に示すように、撮影画像表示画面１００は、複数の撮影画像表示領域Ｓ１〜Ｓ７（以下、単に表示領域Ｓ１〜Ｓ７という。）を有する。表示領域Ｓ１〜Ｓ７の各々は、複数のサブカメラ２ａ〜２ｇによって撮像された複数の撮影画像Ｍ１〜Ｍ７のうちの対応する一つを表示するように構成されている。この時点では、表示領域Ｓ１〜Ｓ７の各々には、撮影画像が表示されていない。撮影画像Ｍ１〜Ｍ７は、サブカメラ２ａ〜２ｇによってそれぞれ撮像される。また、以降の説明では、便宜上、撮影画像Ｍ１〜Ｍ７を単に撮影画像Ｍという場合がある。

また、ステップＳ１１の時点において、表示領域Ｓ１〜Ｓ７と複数のサブカメラ２ａ〜２ｇとの間の対応関係が予め設定されている。図７に示すように、サブカメラ２ａ〜２ｇを識別するための複数のカメラＩＤ（カメラ識別情報）と表示領域Ｓ１〜Ｓ７との間の対応関係を示すテーブル６０が記憶部３２に保存されていてもよい。ここで、サブカメラ２ａ〜２ｇのカメラＩＤは、それぞれＸ１〜Ｘ７に相当する。例えば、カメラＩＤのＸ１は表示領域Ｓ１に対応するので、サブカメラ２ａにより撮像された撮影画像Ｍ１は、表示領域Ｓ１に表示される。また、カメラＩＤのＸ７は表示領域Ｓ７に対応するので、サブカメラ２ｇにより撮像された撮影画像Ｍ７は、表示領域Ｓ７に表示される。また、テーブル６０は、操作者Ｐ（撮影者又はその補助者）の入力操作に従って生成されてもよい。具体的には、全天球画像の撮影を開始する前に、操作者Ｐは、サブカメラ２ａ〜２ｇと被写体Ｓとの間の位置関係を予め決定する。例えば、操作者Ｐは、サブカメラ２ａを正面カメラに設定した場合、サブカメラ２ａが正面カメラに設定されたことを示す情報を表示装置３に入力する。その後、制御部３１は、入力操作部３４を介して操作者Ｐによって入力された情報に基づいて、サブカメラ２ａのＩＤであるＸ１を正面カメラによって撮像された画像が表示される表示領域Ｓ１に対応付ける。さらに、サブカメラ２ａとその他のサブカメラ２ｂ〜２ｇとの間の位置関係は既知であるため、制御部３１は、サブカメラ２ｂ〜２ｇのＩＤ（Ｘ２〜Ｘ７）を表示領域Ｓ２〜Ｓ７にそれぞれ対応付ける。このようにして、制御部３１は、操作者Ｐからの入力操作に従ってテーブル６０を生成した上で、生成されたテーブル６０を記憶部３２に保存する。

次に、制御部３１は、マルチカメラシステム１（サブカメラ２ａ〜２ｇ）から全ての撮影画像Ｍ１〜Ｍ７が送信されたかどうかを判定する（ステップＳ１２）。全ての撮影画像Ｍ１〜Ｍ７がマルチカメラシステム１から送信される場合、制御部３１は、撮影画像Ｍ１〜Ｍ７とサブカメラ２ａ〜２ｇのカメラＩＤ（Ｘ１〜Ｘ７）をマルチカメラシステム１から取得する。ここで、撮影画像Ｍ１〜Ｍ７とカメラＩＤは互いに関連付けられている。例えば、撮影画像Ｍ１〜Ｍ７の各々にカメラＩＤが埋め込まれていてもよい。または、制御部３１は、撮影画像Ｍ１〜Ｍ７に関する情報とカメラＩＤ（Ｘ１〜Ｘ７）との間の対応関係を示すテーブルをマルチカメラシステム１から受信してもよい。

次に、制御部３１は、マルチカメラシステム１から全ての撮影画像Ｍ１〜Ｍ７が送信されたと判定した場合（換言すれば、制御部３１は、全ての撮影画像Ｍ１〜Ｍ７をマルチカメラシステム１から取得したと判定した場合）、全ての撮影画像Ｍ１〜Ｍ７の各々を表示領域Ｓ１〜Ｓ７のうちの対応する一つに関連付ける（ステップＳ１３）。特に、制御部３１は、受信したカメラＩＤ（Ｘ１〜Ｘ７）と、複数のカメラＩＤと表示領域Ｓ１〜Ｓ７との間の対応関係を示すテーブル６０とに基づいて、撮影画像Ｍ１〜Ｍ７の各々を表示領域Ｓ１〜Ｓ７のうちの対応する一つに関連付ける。例えば、制御部３１は、カメラＩＤであるＸ１とテーブル６０とに基づいて、Ｘ１と関連付けられた撮影画像Ｍ１を表示領域Ｓ１に関連付ける。

次に、制御部３１は、全ての撮影画像Ｍ１〜Ｍ７の各々を表示領域Ｓ１〜Ｓ７のうちの関連する一つに表示させる（ステップＳ１４）。例えば、図６に示すように、被写体Ｓの全体が写っている撮影画像Ｍ１が表示領域Ｓ１に表示されると共に、被写体Ｓの一部が写っている撮影画像Ｍ２が表示領域Ｓ２に表示される。同様に、撮影画像Ｍ３〜Ｍ７の各々が表示領域Ｓ３〜Ｓ７のうちの関連する一つに表示される。表示領域Ｓ１〜Ｓ７は、撮影画像表示画面１００中に表示された７つの画像表示ウィンドウ１２０によって規定されてもよい。また、画像表示ウィンドウ１２０を設けずに撮影画像表示画面１００が７つの表示領域Ｓ１〜Ｓ７に区画されてもよい。

本実施形態によれば、全天球画像の一部を構成する各撮影画像Ｍ１〜Ｍ７は、複数の表示領域Ｓ１〜Ｓ７のうちの一つに関連付けられた上、複数の表示領域Ｓ１〜Ｓ７のうちの関連する一つに表示される。ここで、図６に示すように、主要な被写体Ｓ（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）の一部が撮影画像Ｍ１の端部付近に存在する場合、撮影画像Ｍ１に隣接する撮影画像Ｍ２にも被写体Ｓの一部が表示される。このため、撮影画像Ｍ１〜Ｍ７を歪ませた上で、歪ませた撮影画像Ｍ１〜Ｍ７をスティッチング処理する際に、被写体Ｓが撮影画像Ｍ１と撮影画像Ｍ７との間の境界線上に位置してしまう。この結果、全天球画像において被写体Ｓが歪んで表示されてしまう。

一方、撮影者又はその補助者（撮影者等）は、撮影を開始する前に、撮影画像表示画面１００に表示された各撮影画像Ｍ１〜Ｍ７を確認することで、主要な被写体Ｓが撮影画像の端部に存在しないように、マルチカメラシステム１と被写体Ｓとの間の位置関係や各サブカメラ２ａ〜２ｇの位置や角度を調整することができる。例えば、図８に示すように、被写体Ｓの中心が撮影画像Ｍ１の中心に表示されるように、撮影者等は、サブカメラ２ａと被写体Ｓとの間の位置関係を調整することができる。例えば、撮影者等は、マルチカメラシステム１を動かすことで、サブカメラ２ａと被写体Ｓとの間の位置関係を調整することができる。このように、被写体Ｓの少なくとも一部が所定の撮影画像Ｍの端部の付近に存在しないように、所定のサブカメラ２と被写体Ｓとの間の位置関係を調整することで、全天球画像において被写体Ｓが歪んで表示される状況を未然に抑制することが可能な表示制御方法を提供することができる。

また、本実施形態によれば、複数のカメラＩＤと、複数のカメラＩＤと複数の表示領域Ｓ１〜Ｓ７との間の対応関係を示すテーブル６０とに基づいて、撮影画像Ｍ１〜Ｍ７の各々が表示領域Ｓ１〜Ｓ７の一つに関連付けられる。このように、複数のカメラＩＤによって、撮影画像Ｍ１〜Ｍ７の各々を表示領域Ｓ１〜Ｓ７の対応する一つに確実に表示することができる。

図５に戻ると、ステップＳ１２において、制御部３１は、マルチカメラシステム１から全ての撮影画像Ｍ１〜Ｍ７が送信されないと判定した場合（ステップＳ１２でＮＯ）、送信された複数の撮影画像Ｍの各々を表示領域Ｓ１〜Ｓ７のうちの一つに関連付ける（ステップＳ１５）。以降の説明では、送信されなかった撮影画像は、撮影画像Ｍ４であると仮定する。この場合、撮影画像Ｍ４を除く各撮影画像Ｍが表示領域Ｓ４を除く複数の表示領域のうちの一つに関連付けられる。

次に、制御部３１は、撮影画像Ｍ１〜Ｍ３，Ｍ５〜Ｍ７の各々を表示領域Ｓ１〜Ｓ３，Ｓ５〜Ｓ７のうちの関連する一つに表示させる（ステップＳ１６）。その後、ステップＳ１７において、制御部３１は、送信されなかった撮影画像Ｍ４を撮像するように構成されたサブカメラ２ｄを特定する。特に、制御部３１は、送信されなかった撮影画像Ｍ４を特定した上で、撮影画像Ｍ４に対応するカメラＩＤ（Ｘ４）を特定する。さらに、制御部３１は、撮影画像Ｍ４に対応するカメラＩＤ（Ｘ４）とテーブル６０に基づいて、撮影画像Ｍ４が表示される表示領域Ｓ４を特定してもよい。

次に、制御部３１は、特定されたカメラＩＤ（Ｘ４）に基づいて、サブカメラ２ｄを示す警告を撮影画像表示画面１００上に表示する（ステップＳ１８）。例えば、図９に示すように、制御部３１は、特定されたカメラＩＤ（Ｘ４）と表示領域Ｓ４に基づいて、サブカメラ２ｄを示す警告Ｗを表示領域Ｓ４に表示してもよい。

本実施形態によれば、撮影画像Ｍ４が表示装置３に送信されなかった場合、撮影画像表示画面１００上に警告Ｗが表示されるので、撮影者等は、撮影画像表示画面１００を見ることで、マルチカメラシステム１の異常を瞬時に把握することができると共に、故障しているサブカメラ２ｄを瞬時に特定することができる。

尚、図９に示す警告Ｗは単なる一例であって、サブカメラ２ｄを示す警告であればその表示形態は特に限定されない。さらに、全ての撮影画像Ｍ１〜Ｍ７が送信されなかった場合、制御部３１は、単にマルチカメラシステム１の異常を示す警告を撮影画像表示画面１００上に表示してもよい。

また、制御部３１は、ステップＳ１８の処理を実行する代わりに、特定されたサブカメラ２ｄを示す識別信号をマルチカメラシステム１に送信してもよい。例えば、制御部３１は、ステップＳ１７の処理を実行した後に、サブカメラ２ｄを除く各サブカメラ２に発光部２４の点灯を指示するための点灯指示信号（識別信号の一例）を送信してもよい。本例では、初期状態では各サブカメラ２の発光部２４は消灯しているものとする。この場合、サブカメラ２ｄを除く各サブカメラ２の制御部２１は、受信した点灯指示信号に基づいて、発光部２４を点灯させる（図１０参照）。このように、図１０に示すように、サブカメラ２ｄの発光部２４のみが消灯しているので、マルチカメラシステム１は、故障しているサブカメラ２ｄを撮影者等に向けて提示することができる。従って、撮影者等は、マルチカメラシステム１を見ることで故障しているサブカメラ２ｄを瞬時に特定することができる。

さらに、初期状態において各サブカメラ２の発光部２４が消灯している場合、制御部３１は、ステップＳ１７の処理を実行した後に、サブカメラ２ｄのみに発光部２４の点灯を指示するための点灯指示信号（識別信号の一例）を送信してもよい。この場合、サブカメラ２ｄの制御部２１は、受信した点灯指示信号に基づいて、発光部２４を点灯させる。このように、サブカメラ２ｄの発光部２４のみが点灯しているので、撮影者等は、マルチカメラシステム１を見ることで故障しているサブカメラ２ｄを瞬時に特定することができる。

一方、初期状態において各サブカメラ２の発光部２４が点灯している場合、制御部３１は、ステップＳ１７の処理を実行した後に、サブカメラ２ｄの発光部２４の消灯を指示するための消灯指示信号（識別信号の一例）を送信してもよい。この場合、サブカメラ２ｄの制御部２１は、受信した消灯指示信号に基づいて、発光部２４を消灯させる。このように、図１０に示すように、サブカメラ２ｄの発光部２４のみが消灯しているので、撮影者等は、マルチカメラシステム１を見ることで故障しているサブカメラ２ｄを瞬時に特定することができる。

さらに、初期状態において各サブカメラ２の発光部２４が点灯している場合、制御部３１は、ステップＳ１７の処理を実行した後に、サブカメラ２ｄを除く各サブカメラ２に発光部２４の消灯を指示するための消灯指示信号（識別信号の一例）を送信してもよい。この場合、サブカメラ２ｄを除く各サブカメラ２の制御部２１は、受信した消灯指示信号に基づいて、発光部２４を消灯させる。このように、サブカメラ２ｄの発光部２４のみが点灯しているので、撮影者等は、マルチカメラシステム１を見ることで故障しているサブカメラ２ｄを瞬時に特定することができる。

このように、故障したサブカメラ２ｄのみが点灯又は消灯するため、撮影者等は、故障しているサブカメラ２ｄを瞬時に特定することができる。また、故障したサブカメラ２ｄのみの点灯色を変更してもよいし、故障したサブカメラ２ｄのみを点滅させてもよい。

尚、複数の撮影画像Ｍが表示装置３に送信されなかった場合、制御部３１は、複数の撮影画像Ｍを撮像するように構成された複数のサブカメラ２を特定した上で、特定された複数のサブカメラ２を示す警告を撮影画像表示画面１００上に表示してもよい。または、制御部３１は、特定された複数のサブカメラ２を示す識別信号（点灯指示信号等）をマルチカメラシステム１に送信してもよい。

制御部３１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部３２又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が表示装置３に接続されることで、当該記憶媒体に格納された表示制御プログラムが、記憶部３２に組み込まれる。そして、記憶部３２に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部３１は本実施形態に係る表示制御方法を実行する。

また、表示制御プログラムは、通信ネットワーク４上のコンピュータから通信インターフェース３６を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部３２に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

本実施形態では、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇとホルダ４０によって構成されているが、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇと、ホルダ４０と、複数のサブカメラ２ａ〜２ｇを制御するためのサブカメラ制御部を備えてもよい。この場合、複数のサブカメラ２によって撮像された複数の撮影画像Ｍは、サブカメラ制御部を介して表示装置３に送信されてもよい。さらに、表示装置３から送信された識別信号（点灯指示信号等）は、サブカメラ制御部に送信されてもよい。この場合、サブカメラ制御部は、受信した識別信号に基づいてサブカメラ２の発光部２４を点灯又は消灯してもよい。

また、本実施形態において、サブカメラ２の台数は７つであるが、サブカメラ２の台数は特に限定されない。また、サブカメラ２の台数の変更に応じて、表示領域の数も適宜変更されてもよい。

１：マルチカメラシステム
２，２ａ〜２ｇ：サブカメラ
３：撮影画像表示装置（表示装置）
４：通信ネットワーク
２１：制御部
２２：記憶部
２３：撮像部
２４：発光部
２５：Ｉ／Ｏインターフェース
２６：通信インターフェース
２７：バス
３１：制御部
３２：記憶部
３３：Ｉ／Ｏインターフェース
３４：入力操作部
３５：表示部
３６：通信インターフェース
３７：バス
４０：ホルダ
６０：テーブル
１００：撮影画像表示画面
１２０：画像表示ウィンドウ
Ｍ，Ｍ１〜Ｍ７：撮影画像
Ｐ：操作者
Ｓ：被写体
Ｓ１〜Ｓ７：撮影画像表示領域（表示領域）
Ｗ：警告

Claims (7)

1. 各々が全天球画像の一部を構成する撮影画像を撮像するように構成された複数のサブカメラを備えたマルチカメラシステムに通信可能に接続されたコンピュータにより実行される表示制御方法であって、
   （ａ）前記マルチカメラシステムから、前記複数のサブカメラによって撮像された複数の撮影画像を取得するステップと、
   （ｂ）各々が前記複数の撮影画像のうちの一つを表示するように構成された複数の撮影画像表示領域を有する撮影画像表示画面を生成するステップであって、前記複数の撮影画像表示領域と前記複数のサブカメラとの間の対応関係が予め設定されており、
   （ｃ）前記複数の撮影画像の各々を前記複数の撮影画像表示領域の一つに関連付けるステップと、
   （ｄ）前記複数の撮影画像の各々を前記複数の撮影画像表示領域のうちの関連する一つに表示させるステップと、
   を含む、表示制御方法。
2. 前記ステップ（ａ）は、
   前記マルチカメラシステムから、前記複数のサブカメラを識別するための複数のカメラ識別情報を取得するステップを有し、
   前記複数の撮影画像の各々は、前記複数のカメラ識別情報の一つと関連付けられており、
   前記ステップ（ｃ）は、
   前記複数のカメラ識別情報と、前記複数のカメラ識別情報と前記複数の撮影画像表示領域との間の対応関係とに基づいて、前記複数の撮影画像の各々を前記複数の撮影画像表示領域の一つに関連付けるステップを有する、
   請求項１に記載の表示制御方法。
3. （ｅ）前記複数のサブカメラによって撮像された撮影画像のうちの少なくとも一つが前記コンピュータに送信されなかった場合に、前記撮影画像表示画面上に警告を表示するステップをさらに含む、請求項１又は２に記載の表示制御方法。
4. 前記ステップ（ｅ）は、
   前記コンピュータに送信されなかった撮影画像を撮像するように構成されたサブカメラを特定するステップと、
   前記特定されたサブカメラを示す警告を前記撮影画像表示画面上に表示するステップと、
   をさらに含む、請求項３に記載の表示制御方法。
5. （ｆ）前記複数のサブカメラによって撮像された撮影画像のうちの少なくとも一つが前記コンピュータに送信されなかった場合に、前記マルチカメラシステムに識別信号を送信するステップをさらに含む、請求項１又は２に記載の表示制御方法。
6. 前記ステップ（ｆ）は、
   前記コンピュータに送信されなかった撮影画像を撮像するように構成されたサブカメラを特定するステップと、
   前記特定されたサブカメラを示す識別信号を前記マルチカメラシステムに送信するステップと、
   をさらに含む、請求項５に記載の表示制御方法。
7. 請求項１から６のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

Images