JP7059937B2 - 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム - Google Patents

Description

本開示は、可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラムに関する。

従来、例えば下記の特許文献１に記載されているように、監視システムにおいて、多数のカメラを設置した場合に死角を防止することを想定した技術が知られている。

特開２０１５－２０４５１２号公報

上記特許文献１に記載された技術は、監視システムにおける死角領域を無くすことを想定した技術である。一方、監視カメラよりも高品位な映像として、自由視点映像を生成する場合がある。自由視点映像の場合、死角、オクルージョンを無くすのみならず、３６０°カメラを配置した場合にカメラ同志が映り込まないようにするなど、自由視点映像特有の要求があり、監視カメラを想定した特許文献１の技術では対応することは困難である。

従来、自由視点映像を撮像する際には、固定型の撮像・集音機器を用い、会場へ常時設置して被写体を撮像していた。自由視点映像を生成するために固定型の撮像機器で撮影された映像を用いる場合、移動する被写体を画角に収めるためにズームアウトして撮影する必要があり、その結果、高精細な自由視点画像を生成することが困難であった。さらに、撮像機器を常時設置できない環境では、そもそも自由視点映像が生成できず利用者の要求に応えることができない状況であった。

そこで、撮像機器を常時設置することが困難な場所においても、ユーザーが手軽に自由視点映像を撮像できるようにすることが求められていた。

本開示によれば、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、を備える、可動型撮像装置の制御装置が提供される。

また、本開示によれば、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得することと、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出することと、を備える、可動型撮像装置の制御方法が提供される。

また、本開示によれば、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する手段、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する手段、としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本開示によれば、撮像機器を常時設置することが困難な場所においても、ユーザーが手軽に自由視点映像を撮像できるようにすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステム１０００の概略構成を示す模式図である。 可搬型撮像機器の構成を示す模式図である。 親機の構成を示す模式図である。 本実施形態に係るシステムで行われる全体的な処理を示すフローチャートである。 自由視点映像撮像に対応している複数の可搬型撮像機器が親機の画面に表示された状態を示す模式図である。 親機とグループに登録する可搬型撮像機器の接続が完了している状態を示す模式図である。 グルーピングの中の１台の可搬型撮像機器がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＷｉ－Ｆｉ Ｄｉｒｅｃｔで確立し、かつ、親機との通信をＷｉ－Ｆｉ Ｄｉｒｅｃｔで確立した状態を示す模式図である。 グルーピングの中の１台の可搬型撮像機器がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＭｅｓｈで確立、かつ、親機との通信をＷｉ－ＦｉＤｉｒｅｃｔまたはＭｅｓｈで確立した状態を示す模式図である。 被写体撮像モードの設定を選択する様子を示す模式図である。 事前にターゲットとなる被写体の写真やデプスつき写真、声で追尾したい対象者を入力することで、画像特徴によるトラッキングを行わせる例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 被写体が２つに分かれて移動する場合を示す模式図である。 被写体が２つに分かれて移動する場合を示す模式図である。 被写体が２つに分かれて移動する場合を示す模式図である。 仮撮像の自由視点映像を用いた仮想カメラパス設定、検証の処理フローを示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．背景
２．システムの構成例
３．システムで行われる処理
４．初期設定について
５．リハーサル撮像について
６．本撮像について
７．被写体が２つ以上に分かれて移動する場合

１．背景
一般的に、自由視点映像を撮像する際には、固定型の撮像機器、集音機器を用い、会場へ常時設置して被写体を撮像することが行われる。一方、固定型の機器の場合、被写体が移動する場合などはズームアウトして撮影する必要があり、高精細な自由視点画像を生成することが困難となる。本実施形態では、撮像、集音の機能を、可動性を有する複数の可搬型撮像機器（ドローンなど）に搭載して配置することで、撮像機器を常時設置することが困難な場所においてもユーザーが手軽に自由視点映像を撮像することを可能にする。さらに、刻々と変化する被写体の位置、撮像アングルなどの要求に応じて、自由視点映像の品質改善を図るべく、複数の可搬型撮像機器が連携してその配置や数を動的に変更することを可能とする。

一方、撮像機器の設置技術やノウハウを持ち合わせていないユーザーでも、手軽に自由視点映像を撮影し、映像を楽しみたいという要望がある。このようなユーザーにとっては、そもそも撮像機器を何処に設置していいかが不明である場合もある。また、ユーザーが撮像機器をある程度適正な位置に設置できたとしても、実際に合成した自由視点映像を確認してみないと、正しい位置に設置できたかが分からない場合もある。更に、撮像機器、集音機器に可搬性を持たせた場合には、撮像機器、集音機器の位置・姿勢が常に変動することになり、生成される自由視点映像の品質に影響をあたえる。本実施形態は、これらの課題をも解決し、利便性の高いシステムを提供するものである。

２．システムの構成例
まず、図１を参照して、本開示の一実施形態に係るシステム１０００の概略構成について説明する。図１に示すように、本実施形態に係るシステム１０００は、可搬型撮像機器（可動型撮像装置）１００と親機２００を有して構成される。本実施形態に係るシステム１０００では、可搬型撮像機器１００で移動する被写体３００を継続追跡する。このため、ケーブルの距離制約がある有線ネットワークではなく、無線ネットワークで撮像機器グループを構成することが望ましい。

本実施形態に係るシステム１０００では、ユーザーが複数の可搬型撮像機器１００でネットワークグループを形成し、可搬型撮像機器１００に対して被写体撮像モード（撮影条件）を指定した後、各可搬型撮像機器１００の位置情報とユーザーが設定した被写体撮像モードをもとに可搬型撮像機器１００を仮配置し、自由視点映像をリハーサル生成することで事前確認を行う。そして、リハーサルの結果、よりオクルージョンが少ない位置に可搬型撮像機器１００を設置して撮像することを可能とする。被写体撮像モードは、被写体の条件と撮影の条件を含む撮影条件である。

ユーザーによる被写体撮像モード等の指定、その他の操作は、親機２００を介して行うことができる。一方、ユーザーは、可搬型撮像機器１００を直接操作することで、これらの操作を行うこともできる。

図２は、可搬型撮像機器１００の構成を示す模式図である。可搬型撮像機器１００の形態としては、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ；例えばドローン）であってもよい。この場合、ＵＡＶは時間とともに自動的に動くことが可能であり、予め指定したターゲットを認識して追尾することも可能である。ＵＡＶの軌跡は自動的に制御してもよいし、タイムラインのような形でユーザーが事前に設定できるようにしてもよい。一部のＵＡＶの動きをユーザーが設定し、その他のＵＡＶが合成後の死角を少なくするように自動的に経路を決めて撮影してもよい。

図２に示すように、可搬型撮像機器１００は、ユーザインタフェース（ＵＩ）部１０２、メモリ１０４、被写体認識部１０６、自由視点映像生成部１０８、無線通信部１１０、位置情報取得部１１２、撮像部１１４、駆動部１１６、制御部１２０を有して構成される。なお、可搬型撮像機器１００は、本実施形態で定義される自由視点映像の撮像機能をサポートしているものとする。

図２において、撮像部１１４は、ＣＭＯＳセンサーなどの撮像素子から構成される。撮像部１１４は、被写体像を撮像素子の撮像面に結像させるための光学レンズを含んでいても良い。ユーザインタフェース部１０２は、ユーザーによる操作が入力される構成要素であって、タッチパネル、操作ボタン等から構成される。メモリ１０４は、撮像部１１４が撮像した画像情報や、その他の各種情報を格納する記録媒体である。被写体認識部１０６は、撮像部１１４が撮像した画像情報から被写体を認識し、被写体の特徴を示す情報、被写体の位置情報などを抽出する。

無線通信部１１０は、他の可搬型撮像機器１００または親機２００と無線通信を行う機能を有する構成要素である。無線通信の方法としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが挙げられるが、特にこれに限定されるものではない。

自由視点映像生成部１０８は、他の可搬型撮像機器１００との通信により、他の可搬型撮像機器１００が撮像した画像情報を取得し、画像を合成することで自由視点映像を生成する。図１に示したように、複数の可搬型撮像機器１００のそれぞれは、１つの被写体を異なる方向から撮影する。自由視点映像生成部１０８は、多方面から撮影した画像を組み合わせて３次元モデルを生成することで、自由視点映像を生成する。各可搬型撮像機器１００が自由視点映像生成部１０８を備えることにより、各可搬型撮像機器１００は、全ての可搬型撮像機器１００が撮影した画像を共有し、自由視点映像を生成することができる。

位置情報取得部１１２は、ＧＰＳの機能により可搬型撮像機器１００の位置情報を取得する。各可搬型撮像機器１００は、全ての可搬型撮像機器１００の位置情報を無線通信により共有する。駆動部１１６は、可搬型撮像機器１００を移動させるための車輪、プロペラ等を駆動する。制御部１２０は、可搬型撮像機器１００の各構成要素を制御する。

図３は、親機２００の構成を示す模式図である。親機２００は、例えばスマートフォンやタブレット端末、ＨＭＤ等であり、ディスプレイを搭載した端末である。本実施形態では、自由視点映像をユーザーの手元の親機２００で逐次仮生成し、その精度を確認しながら可搬型撮像機器１００の配置調整を行う。親機２００は、ユーザインタフェース（ＵＩ）部２０２、メモリ２０４、撮像結果表示部（提示部）２０６、無線通信部２０８、撮像結果判定部２１０、自由視点映像生成部２１２、制御部２２０を有して構成される。なお、図２、図３に示す各構成要素は、ハードウェア、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。また、そのプログラムは、可搬型撮像機器１００又は親機２００が備えるメモリ等の記録媒体に記録されることができる。

ユーザインタフェース部２０２は、ユーザーによる操作が入力される構成要素であって、タッチパネル、操作ボタン等から構成される。メモリ２０４は、各可搬型撮像機器１００から取得した自由視点画像の画像情報や、その他の各種情報を格納する記録媒体である。撮像結果表示部２０６は、液晶表示デバイス（ＬＣＤ）等から構成され、生成された自由視点画像を表示する。また、撮像結果表示部２０６は、複数の可搬型撮像機器１００を最適な位置に配置するための配置情報をユーザーに提示する。可搬型撮像機器１００がドローンなどの自走する装置でない場合、ユーザーは提示された配置情報に基づいて複数の可搬型撮像機器１００を最適な位置に配置することができる。

無線通信部２０８は、各可搬型撮像機器１００と無線通信を行う機能を有する構成要素である。無線通信部２０８は、各可搬型撮像機器１００との通信により、各可搬型撮像機器１００が撮像した画像情報を取得する。上述したように、無線通信の方法は特に限定されるものではない。撮像結果判定部２１０は、生成された自由視点画像に基づいて、画像にオクルージョンなどが生じていないかを判定する。自由視点映像生成部２１２は、各可搬型撮像機器１００が撮像した画像を合成することで自由視点映像を生成する。

制御部２２０は、親機２００の各構成要素を制御する。制御部２２０は、撮像情報取得部２２２、配置情報算出部２２４、仮配置情報選択部２２６、品質判定部２２８を有して構成される。撮像情報取得部２２２は、複数の可搬型撮像機器１００が有する、撮像に関する情報を取得する。配置情報算出部２２４は、撮像に関する情報に基づいて、複数の可搬型撮像機器１００が撮像した画像を合成して自由視点映像を生成するために、複数の可搬型撮像機器１００を最適な位置に配置するための配置情報を算出する。また、配置情報算出部２２４は、自由視点映像の品質に基づいて配置情報を算出し、特に複数の可搬型撮像機器１００が仮配置された状態で生成された自由視点映像に基づいて、複数の可搬型撮像機器１００を最適な位置に配置するための配置情報を算出する。仮配置情報選択部２２６は、ユーザーの操作入力に応じて撮影条件に対応する仮配置情報を選択する。品質判定部２２８は、撮像結果判定部２１０の判定結果に基づき、自由視点映像に死角やオクルージョンが生じていないかなど、自由視点映像の品質を判定する。

３．システムで行われる処理
図４は、本実施形態に係るシステムで行われる全体的な処理を示すフローチャートである。図４に基づいて、本システムが提供する機能を、初期設定から最終的に自由視点映像生成に至るまでの操作シーケンスとして時系列に説明する。先ず、ステップＳ１０では、親機２００により初期設定を行う。具体的には、ステップＳ１０では、複数の可搬型撮像機器１００から構成されるネットワークグループの初期設定、時刻同期、被写体撮像モードの設定を行う。また、ユーザー操作により、同じグループに所属する複数の可搬型撮像機器１００を選択し、ネットワークグループを形成する。更に、環境認識を行い、同じグループに所属する複数の可搬型撮像機器１００のそれぞれについて、カメラの性能、撮像精度、位置情報等を親機２００が取得する。

次に、ステップＳ１２では、リハーサル撮像を行う。具体的には、可搬型撮像機器１００の位置情報と、ユーザーが設定した被写体撮像モードに基づき、複数の可搬型撮像機器１００を仮配置し、複数の可搬型撮像機器１００から得られた画像を合成して自由視点映像を仮生成する。これにより、試し撮影を行うことができ、可搬型撮像機器１００の画角などの撮影条件を確認することができる。また、リハーサル撮像により得られた画像から被写体のデプスを取得し、障害物を検出することができる。

次に、ステップＳ１４では、リハーサル撮像により仮生成した自由視点映像が、所定の品質を満たしているか否かを判定し、所定の品質を満たしている場合はステップＳ１６へ進む。ステップＳ１６では、本撮影を行う。具体的には、ステップＳ１６では、仮生成した自由視点映像から可搬型撮像機器１００の配置の微調整を行い、本撮像を実施する。この際、ユーザーへ可搬型撮像機器１００の再配置の指示を行うなどして配置の微調整を行い、本撮像を開始する。

４．初期設定について
以下では、図４の各処理について詳細に説明する。先ず、ステップＳ１０で行われる初期設定について説明する。初期設定では、可搬型撮像機器１００のネットワーク初期設定ならびに時刻同期、被写体撮像モードの設定を行う。可搬型撮像機器１００の初期設定、グルーピングは、ユーザーとのインタラクションによって実現される。先ず、ユーザーは、親機２００および可搬型撮像機器１００の電源を入れる。可搬型撮像機器１００は、電源が投入されると、自由視点映像の撮像機能をサポートしていることを周囲に通知する動作を行う。具体的な方法としては、親機２００に接続する前に、ＩＥＥＥ
８０２．１１ Ｍａｎａｇｅｍｅｎｔ Ｆｒａｍｅを使って、可搬型撮像機器１００が対応しているサービス情報や接続プロトコル（Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ／ＩＥＥＥ ８０２．１１ｓメッシュをサポート）をやり取りするといった方法を用いる。

親機２００は、可搬型撮像機器１００から通知される情報から、自由視点映像の撮像に対応している可搬型撮像機器１００を認識し、以後のステップでグループ登録する機器の候補とする。図５は、自由視点映像撮像に対応している複数の可搬型撮像機器１００が親機２００の撮像結果表示部２０６に表示された状態を示す模式図である。図５に示すように、親機２００は、接続候補となる可搬型撮像機器１００をユーザーに提示し、ユーザーに選択を促す。また、親機２００は、複数のグループが存在する場合には、選択した可搬型撮像機器１００をどのグループに追加するかグループの候補を提示し、ユーザーに選択を促してグルーピングを決定する。

可搬型撮像機器１００をグループに追加していく場合、最終的に何台の可搬型撮像機器１００がどのように連携するかを事前に設定するのは手間がかかる場合もある。このため、新たに可搬型撮像機器１００の電源を入れたとき、「既存のグループに追加しますか？」といったメッセージを親機２００のユーザインタフェース部２０２に表示させ、グループに可搬型撮像機器１００を順次追加していく手法を取っても良い。この場合、ユーザーは、予め何台の可搬型撮像機器１００でグループを構成するかを気にすることなく、簡単にグループを構成することができる。なお、この手法を取る場合、複数のグループがあるときにどのグループに可搬型撮像機器１００を追加するのかを識別する必要が生じる。また、セキュリティ的な観点からも、他人の可搬型撮像機器１００が同じグループに追加されることが望ましくない場合もある。このため、セキュリティ情報が書かれた親機２００の２次元バーコードなどのタグを可搬型撮像機器１００のカメラを使い読み込ませることで、可搬型撮像機器１００と親機２００との接続設定を行う。もしくは、ＮＦＣなどの近接通信デバイスを用いて親機２００を可搬型撮像機器１００にタッチすることで接続相手を特定し、グループを識別してもよい。グループには、固定設置型の撮像機器を組み入れてもよい。また、可搬型撮像機器１００又は固定設置型の撮像機器は、奥行きが分かるデプスカメラを備えていてもよい。

なお、接続手順を行っている最中に、親機２００の画面上で、カメラ間に仮想的なワイヤーを引いて表示させることもできる。

この時点で、図６に示すように、親機２００とグループに登録する可搬型撮像機器１００の接続が完了している状態となる。接続に用いるプロトコルは親機２００をＧｒｏｕｐ ＯｗｎｅｒとするＷｉ－Ｆｉ Ｄｉｒｅｃｔまたは親機２００をＳｏｆｔＡＰとするインフラストラクチャーモードを想定する。このまま自由視点映像の仮撮像を行ってもよいが、この場合、移動する被撮像者が追跡撮影された結果、複数の可搬型撮像機器１００が親機２００の電波到達範囲外に移動し、ネットワークグループが機能しなくなることも想定される。このような状況が考えられるユースケースの場合には、図７に示すように、グルーピングの中の１台の可搬型撮像機器１００がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＷｉ－Ｆｉ Ｄｉｒｅｃｔで確立し、かつ、親機２００との通信をＷｉ－Ｆｉ Ｄｉｒｅｃｔで確立する。

または、図８に示すように、グルーピングの中の１台の可搬型撮像機器１００がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＭｅｓｈで確立し、且つ、親機２００との通信をＷｉ－Ｆｉ
ＤｉｒｅｃｔまたはＭｅｓｈで確立しても良い。

これにより、可搬型撮像機器１００のグループが親機２００から離れても自由視点映像の撮像を継続できるようになる。このため、ユーザーには親機２００を中心としたネットワークグループ構成にするか、可搬型撮像機器１００のみでネットワークグループを構成して撮像するかを選べるようにできるものとする。可搬型撮像機器１００のみでネットワークグループを構成する場合には、ユーザーがグループ内の可搬型撮像機器１００からマスタカメラとなる可搬型撮像機器１００を選ぶと、そのマスタカメラをＧｒｏｕｐ
ＯｗｎｅｒとするＷｉ－Ｆｉ Ｄｉｒｅｃｔグループやメッシュネットワークを再度自動形成する。

なお、このように可搬型撮像機器１００の間でネットワークグループを構成した場合、機器間のクロック同期には無線ＬＡＮ上でのハードウェア支援型ＰＴＰプロトコルであるＩＥＥＥ
８０２．１１ｍｃ Ｆｉｎｅ Ｔｉｍｉｎｇ Ｍｅａｓｕｒｅｍｅｎｔなどの技術を用いることで、より精度の高い撮像機器間のクロック同期を行うことができる。

可搬型撮像機器１００グループが生成された後、ユーザーは、親機２００を用いて被写体撮像モードの設定を選択する。図９は、被写体撮像モードの設定を選択する様子を示す模式図である。ここでは、まず撮像対象が全天周なのか自由視点撮影なのかを設定し、さらに可搬型撮像機器１００をどのような撮像ポリシーで配置するかを設定する。被写体撮像モードでは、ユーザーは複数の撮像モードの中から所望のモードを選択して設定できるようになっている。例えば、図９に示すように、被写体３００の周囲に３６０度均一に可搬型撮像機器１００を配置して対象を狙って撮像するのか、複数の可搬型撮像機器１００が撮像する方向を放射状とし、風景などを複数の方向から撮像して全体を撮るのかを、被写体撮像モードを選択することで指定できる。また、ユーザーは、コンサートステージなどでの使用を想定した場合、被写体後方よりも前面に多くの可搬型撮像機器１００を配置する、などの被写体撮像モードも指定することができる。

例えば、特定の対象物をトラッキングする設定と、ある地点から全天球の映像を取得する場合が考えられる。あるいは、テニスの場合にラケットにあたった瞬間を狙ってプレーヤーを重点的に撮る、といった特殊な設定も考えられる。この場合、スポーツの種類、対象物の位置、状況等を認識して、システムが撮り方をユーザーに推薦してもよい。または、ユーザーが既に撮影した動画をシステムに入力して、これを元にシステムがポリシーを推定してもよい。これらの被写体撮像モードやポリシーに関する情報は、予め親機２００のメモリ２０４に格納しておくことができる。

また、被写体を狙う設定の場合、撮る前に被写体を指示するのは難しい場合がある。その場合、被写体にマーカーをつけて、撮影中にマーカートラッキングを行う手法を用いてもよい。トラッキングは、被写体認識部１０６がマーカーを認識し、マーカーを追尾するように制御部１２０が駆動部１１６を駆動することによって行われる。マーカー設定の手間がかかる場合には、図１０に示すように、事前にターゲットとなる被写体の写真やデプスつき写真、声で追尾したい対象者を入力することで、画像特徴によるトラッキングを行わせるようにしてもよい。この場合、トラッキングは、被写体認識部１０６が画像特徴を認識し、画像特徴に合致する被写体３００を追尾するように制御部１２０が駆動部１１６を駆動することによって行われる。また、親機２００から送られた配置情報に基づいて制御部１２０が駆動部１１６を駆動することで、各可搬型撮像機器１００は、被写体をトラッキングしながら、自由視点映像の品質が高くなるように最適の位置に配置される。また、各可搬型撮像機器１００が親機２００の撮像結果判定部２１０、品質判定部２２８、配置情報算出部２２４に相当する構成を備えていれば、各可搬型撮像機器１００は、被写体をトラッキングしながら、自由視点映像の品質が高くなるように自立的に最適の位置配置されることができる。

図１０に示す例では、ゴルファーの写真の画像を追尾したい対象者として登録し、カメラクルーを撮影対象から除外した例を示している。追尾したい対象者の上半身をタッチして登録することで、より正確に対象者の登録を行うことができる。また、同時にカメラクルーのように、ターゲットでなく撮影しない対象者３０２も入力することで、優先して撮影しない人物や物体を選択することもできる。また、ユーザーが撮影したい被写体を複数選択したい場合は、上記の被写体選択方法を繰り返して複数の被写体を設定することができる。この場合、複数のグルーピングが作られることになる。

５．リハーサル撮像について
次に、図４のステップＳ１２で行われるリハーサル撮像について説明する。リハーサル撮像では、位置情報とユーザーが設定した被写体撮像モードをもとに可搬型撮像機器１００を仮配置し、仮撮像（リハーサル撮像）を行う。ステップＳ１０で撮影に使用する複数の可搬型撮像機器１００が接続され、被写体撮像モードの設定ができたら、可搬型撮像機器１００を仮に配置したうえで、試し撮影と画角の確認を行う。先ず、最適な配置を行う上では、それぞれの可搬型撮像機器１００の位置推定を行う。更に、それぞれの可搬型撮像機器１００のカメラ性能（諸元）や絶対位置、相対位置、カメラの向きなどの情報を、無線通信媒体を介して取得し、撮像配置のための判断材料（撮像情報）として用いる。各可搬型撮像機器１００の位置を特定するために画像情報を用いても良い。具体的には、各可搬型撮像機器１００で３次元環境マップを作り、自己位置推定ならびに他の可搬型撮像機器１００との相対位置を把握し、撮像情報として用いる。３次元環境マップとは、カメラ画像から生成される、障害物の位置、情報等の幾何学的特徴により構成される環境地図である。この環境地図を用いて、可搬型撮像機器１００の自己位置推定を行うことができる。

その後、可搬型撮像機器１００間で３次元環境マップと位置情報を共有し、お互いの位置関係を把握する。または、同時にＲＴＫ測位や無線ＬＡＮ
ＩＥＥＥ ８０２．１１ｖまたは８０２．１１ａｚによる測位、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ Ｄｉｒｅｃｔｉｏｎ Ｆｉｎｄｉｎｇ測位のような屋内測位技術を用いてもよい。

各可搬型撮像機器１００の位置が推定できた後に、各可搬型撮像機器１００が最適な配置となるように仮配置を行う。仮配置を行った後、事前に自由視点映像を撮像し、自由視点映像の品質を確認する。最適な配置がなされているか否かの品質を確認する際には、例えばオクルージョンが起きている場所などを確認する。自由視点映像を撮るにあたっての画角から漏れている「穴」がないか調べ、必要な場所に可搬型撮像機器１００を再配置させる準備をする。オクルージョンが実際に発生しているかどうかという観点の他に、潜在的なオクルージョンの可能性も考慮する。例えば一つの可搬型撮像機器１００が移動する物体によって覆われてしまった場合に、オクルージョンが発生するかどうかもシミュレートする。

また、対象としてより重要な被写体が十分な解像度で撮れているかを確認する。例えばスポーツにおいては、場内の設備など全ての物体がオクルージョン無く撮れていることよりも、主要なプレーヤーが十分な解像度で撮れることが必要である。十分な解像度で撮るためにはカメラの画角を狭くして画面いっぱいにとらえる必要があるため、その被写体のまわりにより多くカメラを配置する必要が生じる。また別の例では、可搬型撮像機器１００の移動可能な角速度を考慮する。特定の動く被写体、例えば走者、ボール、車、飛行機などを追尾する可搬型撮像機器１００が存在する場合、その可搬型撮像機器１００の移動可能な速度は限られている。その場合、可搬型撮像機器１００は動く被写体からある程度の距離が離れている必要がある。リハーサルにおいては、実際にどのような映像が撮れるかを確認し、問題を洗い出す。

なお、オクルージョンの「穴」があっても、最終的に生成される自由視点映像上での画角で問題がなければ良い。このため、予め親機２００などの端末で見たい視点を入力し、見たい視点を実世界上で行き来して確認してもよい。実世界で確認を行う場合、ＨＭＤディスプレイなどを使って、「穴」になる部分だけブラックアウトさせてもよい。ＨＭＤディスプレイでなく、タブレット端末のカメラスルー画を画面に写して同様のことを行ってもよい。

次に、デプス情報の取得、障害物の検出を行う。これは撮影場所のデプスマップを作る作業である。一度デプスマップを作ることにより、自由視点映像をより幅広く作ることができる。一方、途中で障害物により一時的な「穴」があってデプスが作れない場合もある。この場合、デプスを正確に取るために必要なデータを補完するため、ユーザーにカメラを持って動くように指示してもよい。あるいは、インターネット上やストレージに予め記録されている情報を参照してもよい。デプス情報が取れたら、障害物を認識して、３Ｄ空間で今カメラを置くべき場所を提示する。障害物としては、柱等動かないものは本番においても死角になるが、一時的に置いてある物体によるオクルージョンは問題とならない場合もある。このため、物体認識を行い、撮影時に本当に死角となるものを検出したうえで、画面にオブジェクトを表示して、障害物を選択できるようにする。また、試し撮影では問題がなくても、本番では別のオクルージョン要素が出る可能性がある。これを解決するため、親機２００のマップ上でユーザーが人や物の配置を設定できるようにしてもよい。例えばステージの撮影において、アーティストの立ち位置を３次元モデルにドラッグして設定できるようにする。

仮配置が完了した後、複数の可搬型撮像機器１００を用いて自由視点映像を生成する。撮像した複数の可搬型撮像機器１００からの映像は、マスタカメラ上で結合、再構成してもよいし、バッテリー駆動等でリソースが限られる場合は一旦リモートサーバーで処理してもよい。

また、本撮像した後、リハーサルによって再構成された自由視点映像空間を等倍もしくはミニチュアとしてレンダリングした映像を、自己位置推定が可能なカメラを１台用いて実際に視聴する際のカメラワークに沿って移動し、ズーム操作、フォーカス操作、絞り操作などをすることで、本撮影した自由視点映像を視聴する際の仮想カメラの移動パスや視覚効果をあらかじめ仮撮像の段階で確認することも可能になる。このフローを例えば、重要なアングルから見てオクルージョンが発生していないかを確認したり、３次元モデルと重畳することによって視覚効果を事前に確認したり、仮想カメラの移動パスを編集したりといったことを、物理カメラの移動や操作によって直感的に確認し、指示したりすることが可能になる。また事前にそのような仮想カメラの移動パスを機器配置にフィードバックすることによって、品質を重視すべきオブジェクトやエリアをより正確に設定することも可能になる。

以下では、可搬型撮像機器１００の配置のリハーサルの実施フローの一例について説明する。初期の可搬型撮像機器１００の配置位置は、被写体撮影モードに応じて、親機２００で示したＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ：関心領域）を水平方向、垂直方向に均等にカバーするように親機２００側で計画される。例えば舞台モード時には、ステージ中央を中心に水平１８０度、垂直４５度に等距離配置する。しかし、各可搬型撮像機器１００には衝突回避などの基本的な自律動作があり、実際には、必ずしも親機２００の初期計画と同じ位置に配置されるとは限らない。各可搬型撮像機器１００が安定に整置した時点で仮撮影を行い、親機２００での計算によりＳＬＡＭによって３次元環境マップと各可搬型撮像機器１００の位置が得られる。なお、各可搬型撮像機器１００の位置は、ＳＬＡＭ以外の測位方式を用いて精度を高めてもよい。親機２００では各可搬型撮像機器１００からの映像の合成で得られた３次元環境マップに被写体の３次元モデルを仮配置し、障害物、各可搬型撮像機器１００の位置、光源情報などからオクルージョンの発生量や画質のシミュレーションを行う。

このシミュレーションや評価関数の実装は、レイキャスティングなどの既存のコンピュータグラフィクスのレンダリング技術により実現できる。もしオクルージョンの発生予想量がある閾値を上回っていたり、発生位置が致命的であったり、画質に問題が予想される場合、それを改善するためにユーザーに選択肢を提示する。

提示例としては、以下のような選択肢を想定できる。
（１）被写体とカメラの間に障害物がある場合、上下左右へのシフト、もしくは被写体への接近などで回避を提案
（２）被写体のオクルージョンの発生が最小になるように、オクルージョン発生予想付近に傾斜配分で配置する提案
（３）被写体の内でも重要なＲＯＩの画質が保たれるように配置し、重要でないＲＯＩのオクルージョンや画質低下は許容するように提案
（４）オクルージョン、品質ともに全域で保たれるようにカメラの追加を提案
（５）どうしても解決できない場合は、ＲＯＩの範囲の修正をユーザーに依頼

ユーザーはいずれかの改善案を選択し、親機２００はそれに基づいて配置計画を修正する。以上のような、配置計画～仮撮影～改善提案～改善実施の手順をユーザーが納得するまで繰り返す。

図１１～図１４では、ステージ撮影の場合の再配置の実行例を示している。先ず、図１１に示すように、被写体撮影モードに応じた初期設定を用いて、ＲＯＩ（被写体３００）の正面を中心に複数の可搬型撮像機器１００を等間隔、等距離に仮配置する。図１２は、図１１の状態を上から見た様子を示している。図１２に示すように、再構築した環境マップ上にＲＯＩの３次元モデルを配置し、ＲＯＩの移動が予測される範囲でモデルを動かしながら、各可搬型撮像機器１００の位置からレイキャスティングを実行し、評価することで、３次元モデルのオクルージョン量や撮影品質をシミュレーションする。

そして、図１３に示すように、仮撮影でのオクルージョン量や撮影品質のシミュレーション結果に基づいて、最適化した配置を行う。図１１に示すように、仮配置の状態では、複数の可搬型撮像機器１００のうちの一部は、柱が邪魔になってＲＯＩを撮影することができない。このため、図１３に示すように、シミュレーション結果に基づいて可搬型撮像機器１００の配置を最適化することで、全ての可搬型撮像機器１００がＲＯＩを撮影できるようにする。

図１４は、図１１の状態を上から見た様子を示している。このように、仮撮影の環境マップに基づいた再配置によって、必要な品質を確保しつつオクルージョン量が最小になるように可搬型撮像機器１００の配置を最適化することができる。

６．本撮像について
次に、図４のステップＳ１４で行われる本撮像について説明する。本撮像では、仮生成した自由視点映像から撮像機器配置の微調整を行い、本撮像を行う。これまでの処理により現配置で生成される自由視点映像の品質を確認し、可搬型撮像機器１００のカメラの配置や画角に問題がある場合、改善プランをユーザーに提示する。自律動作が可能なドローンなどは指定された位置に対して自ら移動させる。仮生成された自由視点映像をもとにオクルージョンが起きにくい位置に配置させたり、デプスセンシングの精度が低い場所にカメラを多く配置させたりするなど、配置の微調整を行う。

ユーザーへ可搬型撮像機器１００の再配置を指示する場合には、親機２００となっている端末、または任意の画面付き端末に示しても良いし、画面がないカメラに対してはシースルーＨＭＤで新しい配置位置を提示してもよい。あるいはタブレットのカメラをかざして設定してもよい。新しい配置の指示については、それぞれの可搬型撮像機器１００に対しどちら方向に動かせばよいか、という方向を示す。グローバルマップがあれば、マップ上で改善案を示してもよい。場合によっては、システムが再配置を依頼しても、可搬型撮像機器１００の設置位置に制限があって変更できない場合がある。この場合、可搬型撮像機器１００が動かせない旨システムに通知する必要がある。予め可搬型撮像機器１００の動かしづらさをシステムが認識しておくのも有効である。また、場所を移動する再配置のオプションとしては、角度変更の他にレンズの交換やズーム倍率の変更を行わせても良い。また、ネットワーク帯域が足りなくなる場合は有線接続にするようアドバイスしてもよい。予備のカメラを複数配置しておき、動的にオン／オフするような設定にしてもよい。なお、期待通りの自由視点映像が得られるまで、図４のステップＳ１２のリハーサルとステップＳ１４の本撮影を繰り返し実施してもよい。

以上が本実施形態の基本プロセスである。次に、撮影中の操作やシステムの動作について、重要なポイントを項目別に説明する。まず、撮影中にカメラクルー等が映り込むのが適切でない場合、一時的に撮影を停止することができる。また、ターゲットをねらって撮る場合、各ターゲットの重要度について、映像を外部に中継していてソーシャルメディア等から視聴者のフィードバックが得られる場合、動的にターゲットの重要度を変更してもよい。フィードバックとしては、ユーザーがどのような画角、位置、ズームで自由視点映像を視聴しているかといった視聴に関する情報を用いてもよい。ここで自由視点映像を視聴しているユーザー視点での画角情報を集めて対象物体を特定しようとしても、タイムスタンプがずれているとどの物体か判別できなくなる。このため、ユーザーからのフィードバックを受ける場合、ユーザーの手元での視聴時間の情報も同時に送るようにする。

ターゲットを狙って撮影する場合、ターゲットの動きを予め予測して、ターゲットが今後移動する場所をより高精細に取れるようにカメラの設定を変更したり、カメラの位置変更をユーザーに指示したりしても良い。

７．被写体が２つ以上に分かれて移動する場合
複数の可搬型撮像機器１００で被写体群を追跡し撮像している場合において、被写体が二つ以上に分かれて移動する場合は、それぞれの被写体を追跡するようにカメラを配分し、複数のグループに分かれて撮像する。また、被写体が一つに集結した場合には複数のグループをマージして撮像する。

図１５～図１７は、被写体が２つに分かれて移動する場合を示す模式図であって、ＲＯＩ＃１とＲＯＩ＃２を撮像する場合を示している。図１５は、親機２００と各可搬型撮像機器１００とがＷｉ－Ｆｉ ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続された場合を示している。図１６は、複数の可搬型撮像機器１００のうちのマスタカメラ機能を有する可搬型撮像機器１００と親機２００とがＷｉ－Ｆｉ ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続され、更にマスタカメラ機能を有する可搬型撮像機器１００が各可搬型撮像機器１００とＷｉ－Ｆｉ ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続された例を示している。また、図１７は、複数の可搬型撮像機器１００のうちのマスタカメラ機能を有する可搬型撮像機器１００と親機２００とがＷｉ－Ｆｉ ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続され、各可搬型撮像機器１００が各可搬型撮像機器１００とＷｉ－Ｆｉ ＤｉｒｅｃｔまたはＭｅｓｈ接続によって総合に接続された例を示している。マスタカメラ機能を有する可搬型撮像機器１００としては、ＲＯＩ＃１とＲＯＩ＃２のそれぞれに対応する機器が１つずつ設定される。図１５～図１７では、ＲＯＩ＃１とＲＯＩ＃２にそれぞれに４つの可搬型撮像機器１００が対応しているが、ＲＯＩ＃１とＲＯＩ＃２が１つに集結すれば、合計８つの可搬型撮像機器１００でＲＯＩ＃１及びＲＯＩ＃２を撮像する。

ＲＯＩ＃１及びＲＯＩ＃２が集結している状態から分離した場合、各可搬型撮像機器１００の被写体認識部１０６がその旨を認識し、分離したＲＯＩ＃１及びＲＯＩ＃２の位置情報を含む撮像情報を親機１００に送る。親機１００は、各可搬型撮像機器１００から送られた撮像情報に基づいて配置情報を算出し、複数の可搬型撮像機器１００がＲＯＩ＃１とＲＯＩ＃２のそれぞれに対応するように分離して配置させる。また、ＲＯＩ＃１及びＲＯＩ＃２が分離している状態から集結した場合、各可搬型撮像機器１００の被写体認識部１０６がその旨を認識し、集結したＲＯＩ＃１及びＲＯＩ＃２の位置情報を含む撮像情報として親機１００に送る。親機１００は、各可搬型撮像機器１００から送られた撮像情報に基づいて配置情報を算出し、複数の可搬型撮像機器１００が集結したＲＯＩ＃１及びＲＯＩ＃２に対応するように配置させる。ＲＯＩ＃１及びＲＯＩ＃２を各可搬型撮像機器１００が追尾する際には、所定時間毎に各可搬型撮像機器１００が自由視点映像を生成することもできる。各可搬型撮像機器１００が親機２００の撮像結果判定部２１０、品質判定部２２８、配置情報算出部２２４に相当する構成を備えていれば、各可搬型撮像機器１００は、自由視点映像の品質に応じて、オクルージョンなど極力少なくなるように各可搬型撮像機器１００の配置を動的に制御していくことが可能となる。

８．仮撮像の自由視点映像を用いた仮想カメラパス設定・検証の処理フロー
図１８は、仮撮像の自由視点映像を用いた仮想カメラパス設定、検証の処理フローを示すフローチャートである。先ず、ステップＳ２０では、可搬型撮像機器１００を仮配置する。仮配置は、ユーザーがユーザインタフェース部２０２を操作して指定した被写体撮像モードに応じて行われる。次のステップＳ２２では、リハーサル撮像（仮撮像）を行う。次のステップＳ２４では、仮配置した状態で各可搬型撮像機器１００が撮像した画像を合成し、自由視点映像（仮自由視点映像）を生成する。次のステップＳ２６では、仮自由視点映像の品質判定を行う。品質判定の際には、３次元モデルが適宜用いられる。品質判定の結果、仮配置した可搬型撮像機器１００の位置のフィードバック補正が行われる。次のステップＳ２８では、仮自由視点映像と実カメラで仮想カメラパスを設定し、検証を行う。検証結果に基づいて可搬型撮像機器１００の位置がフィードバック補正され、可搬型撮像機器１００が自由視点映像を生成するために最適な位置に配置される。次のステップＳ３０では、可搬型撮像機器１００が自由視点映像を生成するために最適な位置に配置された状態で、各可搬型撮像機器１００が本撮影を行う。次のステップＳ３２では、本撮影により得られた画像情報に基づいて、画像を合成して自由視点映像を生成する。ステップＳ３２では、ステップＳ２８の検証結果に基づいて、仮想カメラパス情報の反映が行われる。

以上説明したように本実施形態によれば、自由視点映像を撮像するための撮像・集音機器に可搬性を持たせることで、コンテンツプロバイダーにとっては、これまで撮りたくても取れなかった自由視点映像コンテンツを増やし提供することができる。さらに、エンドユーザーにとっては、撮像機器の設置技術やノウハウを持ち合わせていなくても、手軽に、自由視点映像を撮影し、楽しむことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、
を備える、可動型撮像装置の制御装置。
（２） 複数の前記可動型撮像装置が撮像した画像を合成して前記自由視点映像を生成する自由視点映像生成部と、
前記自由視点映像の品質を判定する品質判定部と、を備え、
前記配置情報算出部は、前記自由視点映像の品質に基づいて、前記配置情報を算出する、前記（１）に記載の可動型撮像装置の制御装置。
（３） 前記配置情報算出部は、複数の前記可動型撮像装置が仮配置された状態で生成された前記自由視点映像の品質に基づいて、前記配置情報を算出する、前記（２）に記載の可動型撮像装置の制御装置。
（４） 複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報を複数の前記可動型撮像装置へ送信する通信部を備える、前記（１）～（３）のいずれかに記載の可動型撮像装置の制御装置。
（５） 複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報をユーザーに提示する提示部を備える、前記（１）～（４）のいずれかに記載の可動型撮像装置の制御装置。
（６） 複数の前記可動型撮像装置を仮配置するための仮配置情報を前記可動型撮像装置へ送信する通信部を備える、前記（３）に記載の可動型撮像装置の制御装置。
（７） 前記仮配置情報は、被写体の撮影条件と対応付けて予め準備され、
ユーザーの操作入力に応じて、前記撮影条件に対応する前記仮配置情報を選択する仮配置情報選択部を備える、前記（６）に記載の可動型撮像装置の制御装置。
（８） 前記撮像情報は、複数の前記可動型撮像装置の位置、複数の前記可動型撮像装置が有するカメラの諸元、前記カメラの向き、の少なくとも１つを含む、前記（１）～（７）のいずれかに記載の可動型撮像装置の制御装置。
（９） 前記撮像情報は、複数の前記可動型撮像装置が撮像した撮像画像から生成される３次元環境マップを含む、前記（１）～（８）のいずれかに記載の可動型撮像装置の制御装置。
（１０） 前記配置情報は、１の被写体が複数に分離した場合に、複数の前記可動型撮像装置を複数の被写体に対応するように分離して配置するための情報を含む、前記（１）～（９）のいずれかに記載の可動型撮像装置の制御装置。
（１１） 前記配置情報は、複数の前記被写体が１つに集結した場合に、複数の前記可動型撮像装置を集結した前記被写体の周りに配置するための情報を含む、前記（１０）に記載の可動型撮像装置の制御装置。
（１２） 撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得することと、
前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出することと、
を備える、可動型撮像装置の制御方法。
（１３） 撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する手段、
前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する手段、
としてコンピュータを機能させるためのプログラム。

１００ 可搬型撮像機器
２００ 親機
２０８ 無線通信部
２１２ 自由視点映像生成部
２２２ 撮像情報取得部
２２４ 配置情報算出部
２２６ 仮配置情報選択部
２２８ 品質判定部

Claims (12)

1. 撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、
   前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、
   を備え、
   前記配置情報は、１の被写体が複数に分離した場合に、複数の前記可動型撮像装置を複数の被写体に対応するように分離して配置するための情報を含む、
   可動型撮像装置の制御装置。
2. 複数の前記可動型撮像装置が撮像した画像を合成して前記自由視点映像を生成する自由視点映像生成部と、
   前記自由視点映像の品質を判定する品質判定部と、を備え、
   前記配置情報算出部は、前記自由視点映像の品質に基づいて、前記配置情報を算出する、
   請求項１に記載の可動型撮像装置の制御装置。
3. 前記配置情報算出部は、複数の前記可動型撮像装置が仮配置された状態で生成された前記自由視点映像の品質に基づいて、前記配置情報を算出する、
   請求項２に記載の可動型撮像装置の制御装置。
4. 複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報を複数の前記可動型撮像装置へ送信する通信部を備える、
   請求項１に記載の可動型撮像装置の制御装置。
5. 複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報をユーザーに提示する提示部を備える、
   請求項１に記載の可動型撮像装置の制御装置。
6. 複数の前記可動型撮像装置を仮配置するための仮配置情報を前記可動型撮像装置へ送信する通信部を備える、
   請求項３に記載の可動型撮像装置の制御装置。
7. 前記仮配置情報は、被写体の撮影条件と対応付けて予め準備され、
   ユーザーの操作入力に応じて、前記撮影条件に対応する前記仮配置情報を選択する仮配置情報選択部を備える、
   請求項６に記載の可動型撮像装置の制御装置。
8. 前記撮像情報は、複数の前記可動型撮像装置の位置、複数の前記可動型撮像装置が有するカメラの諸元、前記カメラの向き、の少なくとも１つを含む、
   請求項１に記載の可動型撮像装置の制御装置。
9. 前記撮像情報は、複数の前記可動型撮像装置が撮像した撮像画像から生成される３次元環境マップを含む、
   請求項１に記載の可動型撮像装置の制御装置。
10. 前記配置情報は、複数の前記被写体が１つに集結した場合に、複数の前記可動型撮像装置を集結した前記被写体の周りに配置するための情報を含む、
    請求項１に記載の可動型撮像装置の制御装置。
11. 撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得することと、
    前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出することと、
    を備え、
    前記配置情報は、１の被写体が複数に分離した場合に、複数の前記可動型撮像装置を複数の被写体に対応するように分離して配置するための情報を含む、
    可動型撮像装置の制御方法。
12. 撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する手段、
    前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報であって、１の被写体が複数に分離した場合に、複数の前記可動型撮像装置を複数の被写体に対応するように分離して配置するための情報を含む前記配置情報を算出する手段、
    としてコンピュータを機能させるためのプログラム。

Images