JP7146507B2 - 情報処理装置及びその制御方法 - Google Patents

Description

本発明は、情報処理装置及びその制御方法に関する。

近年、いろいろな視点からの映像を撮影するために、様々な位置や角度に向けた多数の撮像装置を設置する場合がある。複数の撮像装置の映像からユーザの欲する視点の撮像装置映像を取得する必要があるが、多数の撮像装置から適切にユーザの欲する映像を残すことは困難である。

特許文献１では、撮像装置毎に注視点位置情報、撮像装置の位置情報、方向情報などを持ち、ユーザの属性情報を基に撮像装置の映像を選択する方法が開示されている。

また、パンまたはチルトの機能を有し、特定の被写体として自動追尾する機能を有する撮像装置技術も開示されている。例えば、特許文献２では、被写体がモニタ画面中心に出力されるように、モニタ中心座標と被写体の位置座標の差分を求め、被写体を画面中心に移動させるようにパン・チルト角度を駆動する制御方法が開示されている。

特開２０１４－２１５８２８号公報 特開平５－２８９２３号公報

しかしながら、複数の撮像装置を用いて複数視点撮影を行うシステムにおいては、正確な撮像装置の設置位置、撮像装置の光軸向きや画角を設定の上で用いられるのが一般的である。撮像装置配置位置や撮像装置向きを基として、連動してパン・チルト、ズームなどを駆動してフレーミングすることもできるが、複数の撮像装置を簡単に設置し校正することは難しい。また、ユーザが適当に撮像装置を設置した場合、複数視点での撮影が可能な範囲、或いは複数視点での撮影が難しい範囲をユーザが簡単に確認することができなかった。

従って、本発明は、複数台の撮像装置を連動させる際、撮影エリアの確認を簡単に行える情報処理装置およびその制御方法を提供することを目的とする。

本発明の技術的特徴の一側面としての情報処理装置の制御方法は、複数の撮像装置の位置情報を記憶する記憶工程と、前記複数の撮像装置の設置角度を取得する取得工程と、前記複数の撮像装置の撮影エリアを設定する設定工程と、前記記憶工程で記憶された情報と、前記取得工程により取得された情報と、前記設定工程により設定された撮影エリアの情報とに基づいて、前記複数の撮像装置のうち２台以上の撮像装置で撮影できるエリアと前記複数の撮像装置のうち１台でのみ撮影できる、又は前記複数の撮像装置のうちいずれの撮像装置でも撮影できないエリアとを区別可能に通知する通知工程とを有することを特徴とする。

本発明によれば、複数台の撮像装置を連動させる際、撮影エリアの確認を簡単に行える情報処理装置およびその制御方法を提供することができる。

本実施形態に係る撮像装置を模式的に示す図である。 本実施形態に係る撮像装置の構成を示す図である。 本実施形態に係る複数の撮像装置と外部機器とのシステム構成を示す図である。 本実施形態に係る外部機器の構成を示す図である。 本実施形態に係るアプリケーションのリモートコントロール設定モードを説明する図である。 本実施形態に係る複数の撮像装置とスマートデバイスのシステム構成を示す図である。 本実施形態に係る撮像装置のセッティング方法を説明する図である。 本実施形態に係るアプリケーションを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明するフローチャートである。 本実施形態に係るアプリケーションの撮影エリア確認モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に撮影処理を説明するフローチャートである。 本実施形態に係る撮影画像内のエリア分割を説明するための図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜撮像装置の構成＞
図１は、第１の実施形態の複数台連携撮像装置の制御システムに用いる撮像装置を模式的に示す図である。

図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。

図２は、本実施形態の撮像装置の構成を示すブロック図である。

図２において、第１制御部２２３は、プロセッサー（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、電気的に消去・記録可能なメモリであり、第１制御部２２３の動作用の定数、プログラム等が記憶される。

図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。

撮像部２０６では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０７に出力する。画像処理部２０７はＡ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１５や後述する映像出力部２１７に送信される。

鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。

装置揺れ検出部２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出部２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。

音声入力部２１３は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。

画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。

記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。

記録媒体２２１は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２２１は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１６よりも大容量な媒体が一般的に使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、第１制御部２２３は画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７、音声出力部２１８に送信する。

音声入力部２１３は複数のマイクが撮像装置１０１に搭載されており、音声処理部２１４は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第１制御部２２３に、検出トリガー信号を出力する構成になっている。

電源部２１０は、第１制御部２２３を動作させるための、電源を供給する。音声出力部２１８は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。

ＬＥＤ制御部２２４は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンを制御する。

映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

学習処理部２１９は、ニューラルネットワークを用い、機械学習アルゴリズムを使用して、ユーザの好みに合わせた学習を行う。

通信部２２２は、撮像装置１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示から撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

＜複数台連携の制御システム構成＞
図３は、複数台連携撮像装置の制御システムの一例である。

撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）は、通信機能を有するコントローラユニット（スマートデバイス）３０１と無線で接続し、撮像装置へ操作指示や、撮像装置からの制御情報を取得することができる。図３においては、撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）とスマートデバイス３０１はそれぞれアクセスポイント３０２に接続し、アクセスポイントを経由して通信を行い、情報の転送を行う。

無線ＬＡＮ通信モジュールを含むスマートデバイス３０１の構成を図４を用いて説明する。

スマートデバイス３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆無線制御部４０６を有する情報処理装置である。また、スマートデバイス３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆無線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、スマートデバイス３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。

スマートデバイス３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、モーションデータ取得部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶される制御プログラムを実行することにより、スマートデバイス３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。

電源部４１０はスマートデバイス３０１に電源を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによるスマートデバイス３０１の操作を受け付けるボタン等である。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。

モーションデータ取得部４０９には、例えばスマートデバイス３０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）が搭載される。また、スマートデバイス３０１の３軸方向の加速度を検出する加速度計（加速度センサ）や地磁気を検知する方位計（地磁気センサ）なども搭載される。ジャイロセンサと加速度センサと地磁気センサの出力値からスマートデバイス３０１の回転角度や変位量（ＸＹＺ軸移動量）を制御部４１１で演算する。また、気圧センサも設けて気圧の変化に基づく高度を取得し、移動量検出に用いることもできる。

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、スマートデバイス３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、スマートデバイス３０１の現在位置を推定するようにしてもよい。

上記のように装置１０１とスマートデバイス３０１は、無線ＬＡＮ制御部４０１用いた通信により、装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したり、撮像装置１０１から撮影開始情報や被写体検出情報を受信したり、スマートデバイスから装置１０１の撮影などの操作指示であったりを行う。

図３で説明した構成においては、スマートデバイス３０１を撮像装置のコントローラとして使うために、スマートデバイスをサーバとして、アクセスポイント３０２経由で撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）との情報送受信を行う構成とした。しかしながら、別の方法により、複数撮像装置をコントロールする構成をとってもよい。

図６はサーバ経由転送の図の例である。撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）がアクセスポイント３０２を経由してサーバ６０２と無線で接続して情報転送を行う。また、ＰＣ６０３がアクセスポイント６０１を経由してサーバに接続し、撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）がサーバに転送した情報を取得する。なお、この例では違うアクセスポイントを経由して撮像装置とＰＣはそれぞれサーバに接続しているが、同じアクセスポイントを経由してもよい。またＰＣとサーバの接続は無線に限ら有線でもよい。

また、撮像装置の接続も無線に限らず有線でもよく、Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（ＰｏＥ）を用いて、電力供給を行いながら動かす構成にしてもよい。

＜撮像装置配置セッティング方法＞
複数の撮像装置を固定設置して、撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、ズームユニット２０１を駆動制御しながら連動して自動フレーミング撮影する場合を考える。この場合、各撮像装置の配置情報や、撮像装置の光軸向きの角度情報を把握しておく必要がある。

設置された各撮像装置の配置や角度を簡単な方法で取得する方法を説明する。

スマートデバイス３０１内に、複数台撮像装置をコントロールする専用のアプリケーションを用意しておく。ユーザは、アプリケーションを使って、簡単に撮像装置の設置位置を登録しておくことで、撮影時に複数の撮像装置間で連動してフレーミング制御できるような構成になっている。

まず、撮像装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅを適当な場所に設置する。ユーザ７００は、スマートデバイス３０１内のアプリケーションを起動する。アプリケーション起動時の画面例を図８に示す。撮像装置配置セッティングタブ８０１をタップして、撮像装置配置セッティング画面へ遷移する。図９に撮像装置配置セッティング画面を示す。ユーザ７００は、撮像装置１０１ａが設置されている場所に移動し、撮像装置１０１ａとスマートデバイス３０１をできる限り近づけて、撮像装置登録セットボタン９０１をタップする（図７）。同じように、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅの各撮像装置が設置されている場所に移動して、撮像装置とスマートデバイス３０１をできる限り近づけて、撮像装置登録セットボタン９０１をタップして、各撮像装置の配置情報を取得する。登録された撮像装置の位置は、撮像装置の設置位置を表示部９０３で確認できるようになっており、重力方向で上から見た撮像装置の配置位置がデフォルトでは表示されている。

ここで、１０１ｄから、１０１ｅの位置に移動して登録する場合を例に説明する。１０１ｄを登録した時点で登録撮像装置数は１０１ａ、１０１ｂ、１０１ｃ、１０１ｄの４台なので、登録撮像装置数９０２は「４」と表示されている。１０１ｅの場所に移動し、撮像装置登録セット９０１をタップすると、登録撮像装置数表示９０２は「４」から「５」に変化する。また、撮像装置の設置位置として、表示部９０３に、１０１ｅの撮像装置位置９０４が新規で追加表示される。

撮像装置の設置位置を表示部９０３に表示する際の撮像装置の位置表示方法の詳細について説明する。

まず、最初の撮像装置１０１ａにできるだけ近い位置で撮像装置登録セット８０１がタップされると、その位置のＸＹＺ座標を（０、０、０）として最初に登録する。そして、次の撮像装置の設定位置に移動し、次の撮像装置を登録する。このとき、最初に登録した座標（０、０、０）を基準した箇所から、次に撮像装置登録セットボタン９０１をタップするまでの移動距離をスマートデバイス３０１内のジャイロセンサ、加速度センサ、方位センサなどから算出することで、配置位置を登録する。或いは、スマートデバイス内のＧＰＳの情報を使ってもよいし、撮像装置内にＧＰＳを設ける構成にしてよい。或いは、複数の無線通信から受信した電波強度の違いから三点測位によって現在位置を推定する方法を使って移動位置を検出する方法をとってもよい。また、これらの方法を併用して移動位置を算出してもよい。

撮像装置の角度については、撮像装置１０１内部の加速度センサや方位センサの結果から算出することが可能である。

或いは、撮像装置の撮像装置１０１とスマートデバイス３０１との相対角度を決まった角度位置してユーザが登録設定することを前提として、スマートデバイス内の加速度センサや方位センサの結果から撮像装置１０１の角度を算出する構成にしてもよい。図１０（ａ）のように、撮像装置１０１のＸＹＺ軸を定義し、図１０（ｂ）のように、スマートデバイス３０１のＸ’Ｙ’Ｚ‘軸を定義したとする。図１０（ｃ）（ｄ）のように、撮像装置１０１のパン・チルト角度がデフォルト位置における光軸方向（Ｚ方向）とスマートデバイスのＹ’方向の向き角度があうようにしてから、撮像装置登録セット８０１がタップし撮像装置位置および角度を設定する構成にする。これにより、撮像装置内に方位センサを搭載しなくても、スマートデバイス内のセンサ情報を活用することで、撮像装置の方位角度を取得することが可能になる。

上記方法により、撮像装置１０１の３軸角度を算出することができる。

図１１に撮像装置登録セットボタン９０１がタップされた後のスマートデバイス３０１の制御部４１１の処理のフローを示す。

Ｓ１１０１で登録撮像装置数（Ｎ）が０より大きいかを判定し、Ｎが０以下（すなわち登録数０）である場合、Ｓ１１０２に進み撮像装置［Ｎ］（撮像装置１０１ａ）の撮像装置位置を初期位置（０、０、０）として最初に登録する。Ｓ１１０１でＮが０より大きい場合、Ｓ１１０３で撮像装置［Ｎ番目］の撮像装置座標を設定するため、撮像装置［Ｎ－１番目］に設定された位置からの現在位置までの相対位置を算出し、撮像装置［Ｎ］の設置位置を登録する。

Ｓ１１０２、Ｓ１１０３の処理後、Ｓ１１０４に進み撮像装置［Ｎ］の設置角度を取得し、Ｓ１１０５に進む。Ｓ１１０５では登録撮像装置数をインクリメントし、表示部９０２の撮像装置数の表示を更新し、Ｓ１１０６に進む。Ｓ１１０６では、撮像装置の設置位置を表示する表示部９０３に撮像装置［Ｎ］の座標位置を追加表示し、処理を終了する。

撮像装置登録セットボタン９０１がタップされる毎に本フローを繰り返すが、別途用意されたリセット設定などにより、登録がリセットされた場合は、撮像装置数Ｎを０にリセットし、撮像装置の設置位置を表示する表示部の情報もリセットする。

＜撮影エリアセッティング方法＞
図８の画面に戻り、ユーザ７００が、撮影エリアセッティングタブ８０２をタップした場合、撮影エリアセッティング画面へ遷移する。図１２に撮影エリアセッティング画面を示す。１２０１は撮像装置の設置位置の表示部であり、前述した撮像装置配置セッティング画面にて設定された撮像装置配置が表示されている。図１２に示すように、表示画面上に（図ではバスケットボールのコートのイラスト例を示している。）ユーザがイラストを張り付けたり、別途用意した上から撮影した撮影画像を張り付けたりしてもよい。１２０２は実際の撮像装置のライブ映像を表示するエリアであり、１２０１上の撮像装置の設置位置をタップすると、指定した撮像装置のライブ表示ができるようになっている。１２０３、１２０４、１２０５はそれぞれモードを変更するために用意されたボタンである。１２０３は「撮影エリア確認モード」、１２０４は「全体撮影領域設定モード」、１２０５は「個別撮影領域設定モード」の画面に遷移するためのモードスイッチとして用意されている。

まず、「撮影エリア確認モード」について説明する。

＜撮影エリア確認モード＞
１２０３の領域をタップすると、「撮影エリア確認モード」画面（図１２）に遷移する。

上記説明したように１２０１に撮像装置配置が表示されている。ここで、後述する「全体撮影領域設定モード」、「個別撮影領域設定モード」で撮影領域がユーザにより設定されていない場合、撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、ズームユニット２０１を駆動して撮影できる全領域が表示される。複数撮像装置が撮影できる領域が重なっているほど色が濃く表示され、複数撮像装置で撮影できる領域が重なっていないと薄く表示される。また、各撮像装置のもつ最大焦点距離に応じて撮像装置を原点としてどの距離までを撮影領域とするかが決められており、具体的には最大ズーム位置における撮影像倍率が所定値以上の条件で決められ、撮像装置配置位置からの半径が決められている。このような表示を行うことで、どの領域が複数撮像装置による多視点映像を取得できるのか、また複数の撮像装置での撮影が難しい領域なども確認することができる。

撮像装置の設置位置の表示部１２０１は、拡大／縮小、回転できるようになっており、１２０１上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画面が縮小され、広い領域での確認することができる。１２０１上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画面が拡大され、撮影領域を確認することができる（図１２（ａ）→（ｂ）にピンチイン操作時の例を示す。）。また、１２０１上でのタッチスクリーンを２本の指で同じ方向にスライドする操作により、画面表示の角度を変更することができる。例えば上下方向にスライド操作することで画面横軸を回転軸として回転し、左右方向にスライド操作することで画面縦軸を回転軸として回転させたりすることができる（図１２（ｃ）に例を示す。）。

また、指一本のスライドで画面の中心位置を移動させたり、撮像装置配置箇所をタップすることで指定した撮像装置のライブ映像を１２０２に表示することもできる。

＜全体撮影領域設定モード＞
１２０４の領域をタップすると、「全体撮影領域設定モード」画面（図１３）に遷移する。

「全体撮影領域設定モード」においては、撮像装置の設置位置の表示部１２０１に表示された画面で、ユーザが撮影したい領域を手動で操作することで、複数の撮像装置が自動でフレーミング撮影をする際にユーザの意図する映像が撮れやすくする。ここで撮影領域に指定されない領域については、各撮像装置はそのエリアの撮影をほとんど行わないように自動制御されることになる。撮像装置の設置位置の表示部１２０１に表示画面内でユーザが撮影領域を指定した例を図１３（ａ）の１３０１に示す。

ユーザが撮影領域を指定すると指定した領域の中で１３０２の領域と１３０３の領域とそれぞれ視覚的に異なるエリア領域だとわかるように表示する。ここで、配置された撮像装置によって撮影網羅できるエリアである場合は１３０２の領域に表示され、撮影網羅できないエリアと判定された場合は１３０３のように表示される。図１２に示されたように、配置された各撮像装置からの距離が遠い領域や、２台以上の撮像装置で撮影可能な領域が重なっていない場合は、撮影網羅できないエリアと判定されることになる。

図１２で説明した方法と同様に、撮像装置の設置位置の表示部１２０１は、拡大／縮小、回転できるようになっており、１２０１上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画面が縮小され、広い領域での確認することができる。１２０１上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画面が拡大され、撮影領域を確認することができる。また、１２０１上でのタッチスクリーンを２本の指で同じ方向にスライドする操作により、画面表示の角度を変更することができる。例えば上下方向にスライド操作することで画面横軸を回転軸として回転し、左右方向にスライド操作することで画面縦軸を回転軸として回転させたりすることができる（図１３（ｃ）に例を示す。）。重力方向をＺ軸と置いたとき、Ｚ軸方向から表示させた場合において、図１３（ａ）（ｂ）のようにＸＹ軸範囲での撮影領域を指定、撮影領域網羅かを確認することができるが、Ｚ軸方向の撮影範囲も指定することができる。図１３（ｄ）のように画面を回転させＺ軸方向を指定できる画面角度になった状態で、ユーザがＺ軸方向の撮影領域を指定した例を図１３（ｄ）に示す。ここで、配置された撮像装置によって撮影網羅できるエリアである場合は１３０４の領域に表示され、撮影網羅できないエリアと判定された場合は１３０５のように表示される。

１２０２は指定した撮像装置のライブ映像を表示するエリアであり、図１３（ｅ）のように１２０１上の撮像装置の設置位置をタップすると、指定した撮像装置のライブ映像が１２０２上に表示される。表示例を図１３（ｆ）に示す。１２０１内で指定された撮像装置の色或いは形大きさが変わり、どの撮像装置が指定されているかが確認できる。また、指定した撮像装置の現在の表示画角が分かるような画角範囲の表示１３０４も同時にされる。１２０２のライブ映像の中でも。ユーザが手動で操作し指定した撮影領域１３０１の範囲なのか否かわかるようになっており、ユーザは視覚的に確認することができる（例えば１３０５が撮影領域に指定している領域で、１３０６が撮影領域に指定していない領域でグレーに表示される。）。

このように、ユーザが簡単な操作で撮影エリアを指定でき、且つ撮影網羅できる領域と網羅できていない領域を可視化することができる。また、実際の撮像装置のライブ映像をモニタしながら指定した領域の範囲内外を確認できる。

＜個別撮影領域設定モード＞
１２０５の領域をタップすると、「個別撮影領域設定モード」画面（図１４）に遷移する。

「個別撮影領域設定モード」においては、撮像装置毎に詳細な撮影領域を指定させることができる。図１４（ａ）のように、撮像装置の設置位置の表示部１２０１に表示された画面で、ユーザが撮影領域設定したい撮像装置の表示位置をタップすると、指定した撮像装置のライブ映像が１２０２上に表示される。表示例を図１４（ｂ）に示す。１２０１内で指定された撮像装置の色或いは形大きさが変わり、どの撮像装置が指定されているかが視覚的に確認できる。また、指定した撮像装置の現在の表示画角が分かるような画角範囲の表示１４０１も同時にされる。１２０２のライブ映像表示されている画面上で、タッチスクリーンを１本の指でスライド操作することで表示画面内での撮影領域指定を行う。タッチスライド操作で図１４（ｂ）→（ｃ）のように画面横方向にスライドさせることでエリア範囲を指定できる。また、スライドで画面端付近に到達すると、横（パン）方向に指定撮像装置のパン駆動を行い、撮像装置光軸を変化させながらの撮影エリア指定もできる。縦（チルト）方向にスライド操作も同様に行うことができ、タッチスライド操作で図１４（ｃ）→（ｄ）のように画面縦方向にスライドさせることでエリア範囲を指定できる。スライドで画面端付近に到達すると、縦（チルト）方向に指定撮像装置のチルト駆動を行い、光軸を変化させることで撮影エリア指定しやすくする。撮影エリア指定することなくパン・チルトを駆動して撮像装置光軸を変化させたい場合は、例えば２本の指でタッチスライド操作すれば、撮影エリア指定することなく画面を縦横（チルトパン）方向に移動させることが可能なようにしておく。また、１２０２上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画角が大きくなるようにズーム駆動し画面が縮小され、広い領域での確認することができる。また、１２０２上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画角が小さくなるようにズーム駆動し画面が拡大され、撮影領域を確認することができる。

また、自動でズーム駆動する領域をユーザ指定させてもよい。

指定された撮影エリアを解除したい場合は、例えば指定済みのエリアを２回タップすることで「解除するか否か」のメッセージを画面に表示する。そして、解除ＯＫを指定することで、指定エリアを解除する方法にしてもよいし、タッチスクリーン上に「指定」「解除」のそれぞれのタッチボタンを用意し、「解除」を指定後、１２０２上でタッチスライドした領域を解除するようにしてもよい。

上記のような方法で、各撮像装置別に撮影領域を指定することができる。「個別撮影領域設定モード」画面で撮像装置別の撮影領域をした後、１２０３の領域をタップすると、撮影エリア確認モード」画面（図１２を用いて説明）に遷移する。図１４（ａ）～（ｄ）で説明した方法で個別に撮影領域を指定後の撮影エリア表示例を、図１４（ｅ）に示す。各撮像装置が指定した撮影エリアに基づいて、撮影網羅している領域か否かが色の濃さにより視覚的に確認できるようになっている。（複数撮像装置が撮影できる領域が重なっているほど色が濃く表示され、複数撮像装置で撮影できる領域が重なっていないと薄く表示される）

図１４（ｅ）→（ｆ）にピンチイン操作時の例を示す。ピンチイン操作により画面が縮小され、広い領域を確認できる画面で撮影領域を確認することができる。

このように、ユーザが簡単な操作で撮像装置個別毎に撮影エリアを指定でき、且つ撮影網羅できる領域と網羅できていない領域を可視化することができる。

以上の方法で複数撮像装置を用いた撮影領域指定を簡単に行うことができ、指定した撮影領域において複数の撮像装置が連動してフレーミング調整を行ったり、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことをサポートする。

＜リモートコントロール設定モード＞
図８の画面に戻り、ユーザが、リモートコントロールタブ８０３をタップした場合、リモートコントロール画面へ遷移する。図５にリモートコントロール画面を示す。１７０１は撮像装置の設置位置の表示部であり、前述した撮像装置配置セッティング画面にて設定された撮像装置配置、撮影領域設定モード画面で設定された撮影領域が分かるように表示される。また、各撮像装置が現在どの方向を向き画角範囲がどうなっているかが視覚化できるようになっている。自動或いは手動で撮像装置画角や光軸向きが変化した場合、この方向表示も同時に変化することになる。１７０２は実際の撮像装置のライブ映像を表示するエリアであり、１７０１上の撮像装置設定位置をタップすると、指定した撮像装置のライブ表示ができるようになっている。また、１７０１上で現在ライブ表示されているどの撮像装置かが分かるようになっており、１７０６のように撮像装置の設置位置の色或いは形大きさなどが変わる。１７０４は撮影ボタンであり、動画撮影開始／静止画撮影／自動撮影開始などが指示できるようになっている。１７０５は撮像装置設定を変更できる撮像装置セッティングボタンであり、１７０５をタップすると、撮像装置セッティングメニューが表示され、例えば解像度／フレームレート／ホワイトバランスなどの設定をマニュアルで操作できるようになっている。

１７０３は「リモートコントロール操作ボタン」であり、ユーザがリモートで撮像装置を操作する場合にタップしてリモート操作画面に遷移する。リモート操作画面に遷移すると、図５（ｂ）の画面に遷移する。リモート操作画面では、パン・チルトを操作することのできる操作部１７０７と、ズーム操作をすることのできる操作部１７０８が表示される。パン・チルト操作部１７０７の上下アイコンをタッチすると指定している撮像装置のチルト駆動し、左右アイコンをタッチするとパン駆動し、撮像装置光軸を変更できる。また、操作部１７０８アイコンの操作で上方向にスイッチアイコンをスライド操作すると画角を狭める方向（Ｔｅｌｅ側）にズーム駆動し、下方向にスイッチアイコンをスライド操作すると画角を広げる方向（Ｗｉｄｅ側）にズーム駆動する。これにより画角を変更できるようする。

ここでは１７０７や１７０８のような操作アイコンを表示する例を示した。しかしながら、操作アイコンを表示せず、タッチスクリーンの１７０２の画面内でピンチアウト、ピンチインすることでズーム駆動したり、スライド操作でパン・チルトを駆動するような構成にしてもよい。

また、指定した被写体が画面の所定位置（例えば画面中央付近）を保持するように自動でパン・チルト、ズームを駆動したい場合、図５（ｃ）のようにタッチ操作で被写体を指定してもよい。タッチで被写体を指定すると、自動で被写体追尾する制御を行い、図５（ｄ）のように現在追尾している被写体が視覚的にわかるように、被写体枠１７０９を表示させるようにしている。追尾解除するまでは被写体追尾を継続し、解除は例えば解除ボタンを表示させてそのボタンをタッチすれば解除するようにしてもよいし、１７０７や１７０８などで撮像装置光軸や画角を手動変更したら追尾解除するようにしてもよい。

また、自動フレーミング撮影動作中に、障害物が死角となり（例えば撮像装置の前に人が移動してその場に留まってしまった場合など）、指定した撮影領域が撮影できないような場合の警告表示について説明する。

図９乃至１４を用いて説明したように撮影領域が指定されているので、撮影領域に設定された範囲よりも撮像装置側に近い前方の被写体を検出し、且つ撮影範囲に置いてその被写体の写る領域が所定値よりも大きい場合、死角が発生していると判定する。そして、スマートデバイスアプリケーション内に警告表示を行う。例えば、死角が発生している撮像装置はスマートデバイスに通知され、アプリケーションの１７０１の表示領域において撮像装置のアイコンを点滅させたり、エラー表示を行うなどして警告をユーザに知らせる。距離計測はフォーカスを利用したものでも外側センサを用いても何れの方法でもよい。若しくは、同時に同じ被写体を追尾撮影したり、同じ撮影領域を複数撮像装置で撮影している場合、他の撮像装置の画像情報（被写体検出情報や画像内の色相や彩度などの特徴情報）と一致しない場合などに警告表示させるなどしてもよい。

＜自動フレーミング／撮影処理＞
次に自動撮影処理の詳細を説明する。１７０４で撮影制御開始を指示すると撮影動作が開始される。図１５を用いて、撮影モード処理を説明する。

Ｓ１５０１にて、撮像部２０６で取り込まれた信号を画像処理部２０７で被写体検出用に画像処理された画像を生成する。生成された画像からは、人物や物体検出などの被写体検出が行われる。

人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。

例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。また、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（以下ＣＮＮと略記する）などを用いて予め検出したい被写体を学習しておき、顔認識や物体認識に対してＣＮＮを適用してもよい。以上の方法で、撮像情報から各被写体情報を得ることができる。

Ｓ１５０２では被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
（１）エリア分割
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定

以下、順次説明する。

（１）エリア分割
図１６を用いて、エリア分割を説明する。

図１６（ａ）のように撮像装置（原点Ｏが撮像装置位置とする。）位置を中心として、全周囲でエリア分割を行う。図１６（ａ）の例においては、チルト方向、パン方向それぞれ２２．５度で分割している。図１６（ａ）のように分割すると、撮像装置チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。

よって、図１６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。

図１６（ｃ）、（ｄ）に撮影画角内でのエリア分割された例を示す。軸１６０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。１６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図１６（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図１６（ｄ）の１６０３～１６１８のように画像分割される。

（２）エリア毎の重要度レベルの算出
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。

また、図１２乃至１４で説明した方法でユーザによる撮影領域の指定が行われている場合、指定された撮影領域内で各撮像装置が探索、フレーミング動作を行うように、指定されていない領域に位置するエリアの重要度レベルを最小値に固定する。これにより、そのエリア方向の探索は行わないように設定する。

なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ９１０にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。但し、ユーザによる撮影領域の指定が行われていないエリアは可変させず最小値を保持させる。

（３）探索対象エリアの決定
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。

Ｓ１５０３では、パン・チルト駆動を行う。パン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

Ｓ１５０４ではズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ１５０２で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことが出来る。

Ｓ１５０２乃至Ｓ１５０４では、パン・チルトやズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位撮像装置の場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要レベルを算出し、重要レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。

Ｓ１５０５では、手動による撮影指示があったがどうかを判定し、撮影指示があった場合、Ｓ１５０６に進む。この時、手動による撮影指示は、シャッターボタン押下によるものや、撮像装置筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによってもよい。タップ操作による撮影指示は、ユーザが撮像装置筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知し、撮影トリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガーとする撮影指示方法である。外部機器からの指示は、例えば撮像装置と無線通信で接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。

Ｓ１５０６では、自動撮影判定を行う。自動撮影判定では、撮影を行うかどうかの判定を行う。

＜自動撮影を行うかどうかの判定＞
自動撮影を行うかどうかの判定は以下の２つの判定に基づいて行う。１つは、Ｓ１５０２にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。２つめは、ニューラルネットワークに基づく判定である。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、等を使用する。その他、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、等を使用してもよい。また、振動情報（加速度情報、前記撮像装置状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。

なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることが出来る。

＜撮影方法の判定＞
撮影方法の判定では、Ｓ１５０１において検出した、周辺の被写体の状態に基づいて、静止画撮影、動画撮影の何れかを実行するかの判定を行う。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。ニューラルネットワークによる判定を行ってもよい。また、専用のアプリケーションを用いて、撮像装置の設定を手動で変更することもでき、静止画のみを撮影するように指定もできるし、動画のみを指定することもできるし、両方を撮影として残すように設定することも可能である。

Ｓ１５０７では、Ｓ１５０６の自動撮影判定により撮影する判定が下された場合、Ｓ１５０８に進み、下されなかった場合、撮影モード処理終了へと進む。

Ｓ１５０８では、撮影を開始する。この時、Ｓ１５０６にて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理を行い、画像を生成する。

また、動画撮影の場合、撮影記録中においてもＳ１５０１乃至Ｓ１５０４で説明したように被写体検出に基づいたパン・チルトとズーム駆動によるフレーミング動作を行いながら撮影する。上記方法のようにエリア分割した重要度レベルに基づいて探索を行ってもよいし、動画中は大きな探索動作を禁止するようにしてもよい。また、特定の被写体を登録し、登録した被写体を画面中心付近に保持するように、指定された撮影領域内でパン・チルト、ズームで追尾しながら動画撮影してもよい。

Ｓ１５０９では、Ｓ１５０８にて生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などである。画像加工は、Ｓ１５０８にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記Ｓ１５０８にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。

Ｓ１５１０では過去撮影情報の更新を行う。具体的には、Ｓ１５０６の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。

上記説明した方法により、複数撮像装置を用いた撮影領域指定を簡単に行うことができ、指定した撮影領域において複数の撮像装置が連動してフレーミング調整や、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことをサポートする。

上記説明した方法により、撮影領域指定を簡単な操作で行うことができる。そして、指定した撮影領域の中で、複数の撮像装置が連動してフレーミング調整や、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことで、ユーザが望む映像を撮影し易くなる自動撮影を行うことができる。

本実施形態においては、図１に示す構成のパン・チルト、ズームを有する撮像装置を複数台使用する例で説明した。しかしながら、複数台使用する撮像装置の中で、図１に示すパン・チルト、ズームの構成の撮像装置を用いてもよい。また、パン・チルトがないズームを有する撮像装置を用いてもよい。また、ズームのないパン・チルトを有する撮像装置を用いてもよい。また、一部撮像装置には、ズームもパン・チルトもない固定焦点距離の撮像装置を用いてもよい。また、複数の撮像素子及び広角な光学系を有して、全方位を一度に撮影する全方位撮像装置を用いてもよい。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮影装置と通信する情報処理装置にも搭載できる。情報処理装置は、スマートフォンのような携帯電話に限定されず、タブレット型コンピュータなどでもよい。

１０１ 撮像装置
３０１ スマートデバイス
１０４ チルト回転ユニット
１０５ パン回転ユニット

Claims (22)

1. 複数の撮像装置の位置情報を記憶する記憶手段と、
   前記複数の撮像装置の設置角度を取得する取得手段と、
   前記複数の撮像装置の撮影エリアを設定する設定手段と、
   前記記憶手段に記憶された情報と、前記取得手段により取得された情報と、前記設定手段により設定された撮影エリアの情報とに基づいて、前記複数の撮像装置のうち２台以上の撮像装置で撮影できるエリアと前記複数の撮像装置のうち１台でのみ撮影できる、又は前記複数の撮像装置のうちいずれの撮像装置でも撮影できないエリアとを区別可能に通知する通知手段とを有することを特徴とする情報処理装置。
2. 複数の撮像装置の位置情報を記憶する記憶手段と、
   前記複数の撮像装置の設置角度を取得する取得手段と、
   前記複数の撮像装置に共通する撮影エリアを設定する設定手段と、
   前記記憶手段に記憶された情報と、前記取得手段により取得された情報とに基づいて、前記設定手段により設定された前記共通する撮影エリアのうち、撮影網羅できるエリアと撮影網羅できないエリアとを区別可能に通知する通知手段とを有することを特徴とする情報処理装置。
3. 前記複数の撮像装置から画像情報を取得する画像情報取得手段と、
   前記画像情報に基づいて画像を表示する表示手段と、を有し、
   前記表示手段は、前記画像情報に対応する画像が、前記設定手段により設定した撮影エリア内を撮影した領域と前記撮影エリア外を撮影した領域とを含む場合、前記撮影エリア外と前記撮影エリア内とを区別可能に表示することを特徴とする請求項２に記載の情報処理装置。
4. 撮影レンズと撮像素子を含む筐体を少なくとも１軸以上の方向で回転駆動できる回転機構を備える複数の撮像装置の位置情報を記憶する記憶手段と、
   前記複数の撮像装置の設置角度を取得する取得手段と、
   前記複数の撮像装置の撮像装置毎の個別の撮影エリアを設定する設定手段と、
   前記記憶手段に記憶された情報と、前記取得手段により取得された情報と、前記設定手段により設定された前記個別の撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアとを区別可能に通知する通知手段とを有し、
   前記設定手段は、前記個別の撮影エリアを設定することにより、前記複数の撮像装置のそれぞれが撮影時に回転駆動する範囲を設定することが可能であることを特徴とする情報処理装置。
5. 前記撮影網羅できるエリアは、前記複数台の撮像装置のうち２台以上の撮像装置で撮影できるエリアであり、
   前記撮影網羅できないエリアは、前記複数の撮像装置のうち１台でのみ撮影できる、又は前記複数の撮像装置のうちいずれの撮像装置でも撮影できないエリアであることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記撮像装置は、撮影レンズと撮像素子を有し、
   前記設定手段により設定された撮影エリアに基づいて、自動撮影処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記撮像装置は、前記撮影レンズと前記撮像素子を含む筐体を、少なくとも１軸以上の方向で回転駆動できる回転機構を備え、前記回転機構を回転して特定の被写体の探索処理を行うことを特徴とする請求項６に記載の情報処理装置。
8. 前記自動撮影処理には、撮影トリガーの検出処理が含まれることを特徴とする請求項６または７に記載の情報処理装置。
9. 前記撮像装置は、前記撮影レンズに含まれるズームレンズのズーム駆動を制御することで前記特定の被写体の探索処理を行うことを特徴とする請求項７に記載の情報処理装置。
10. 前記撮像装置は、撮影画像の一部を切り出して、前記特定の被写体の探索処理を行うことを特徴とする請求項７に記載の情報処理装置。
11. 前記設定手段により設定された撮影エリアの死角を検出する検出手段を有し、前記通知手段は、前記検出手段の検出結果をさらに通知することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記複数の撮像装置の相対位置を取得する相対位置取得手段を備え、
    前記相対位置取得手段は、ユーザの操作に基づいて基準位置に対する現在の位置を取得し、取得した現在の位置に基づいて前記複数の撮像装置の相対位置を取得し、
    前記記憶手段は、前記相対位置取得手段により取得された前記複数の撮像装置の相対位置を前記位置情報として記憶することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記相対位置取得手段は、ジャイロセンサ、加速度センサ、方位センサの少なくともいずれかを有し、
    前記基準位置から、前記ユーザの操作が行われるまでの移動距離に基づいて前記現在の位置を取得することを特徴とする請求項１２に記載の情報処理装置。
14. 前記ユーザの操作に基づいて前記基準位置を設定する基準位置設定手段を備えることを特徴とする請求項１２または１３に記載の情報処理装置。
15. 複数の撮像装置を備えた制御システムであって、
    前記複数の撮像装置の位置情報を記憶する記憶手段と、
    前記複数の撮像装置の設置角度を取得する取得手段と、
    前記複数の撮像装置の撮影エリアを設定する設定手段と、
    前記記憶手段に記憶された情報と、前記取得手段により取得された情報と、前記設定手段により設定された撮影エリアの情報とに基づいて、前記複数の撮像装置のうち２台以上の撮像装置で撮影できるエリアと前記複数の撮像装置のうち１台でのみ撮影できる、又は前記複数の撮像装置のうちいずれの撮像装置でも撮影できないエリアとを区別可能に通知する通知手段とを有し、
    前記設定手段により設定された撮影エリアに基づいて、前記複数の撮像装置が自動撮影処理を行うことを特徴とする制御システム。
16. 複数の撮像装置を備えた制御システムであって、
    前記複数の撮像装置の位置情報を記憶する記憶手段と、
    前記複数の撮像装置の設置角度を取得する取得手段と、
    前記複数の撮像装置に共通する撮影エリアを設定する設定手段と、
    前記記憶手段に記憶された情報と、前記取得手段により取得された情報とに基づいて、前記設定手段により設定された前記共通する撮影エリアのうち、撮影網羅できるエリアと撮影網羅できないエリアとを区別可能に通知する通知手段とを有し、
    前記設定手段により設定された撮影エリアに基づいて、前記複数の撮像装置が自動撮影処理を行うことを特徴とする制御システム。
17. 撮影レンズと撮像素子を含む筐体を少なくとも１軸以上の方向で回転駆動できる回転機構を備える複数の撮像装置を備えた制御システムであって、
    前記複数の撮像装置の位置情報を記憶する記憶手段と、
    前記複数の撮像装置の設置角度を取得する取得手段と、
    前記複数の撮像装置の撮像装置毎の個別の撮影エリアを設定する設定手段と、
    前記記憶手段に記憶された情報と、前記取得手段により取得された情報と、前記設定手段により設定された前記個別の撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアとを区別可能に通知する通知手段とを有し、
    前記設定手段は、前記個別の撮影エリアを設定することにより、前記複数の撮像装置のそれぞれが撮影時に回転駆動する範囲を設定することが可能であり、
    前記設定手段により設定された個別の撮影エリアに基づいて、前記複数の撮像装置が自動撮影処理を行うことを特徴とする制御システム。
18. 複数の撮像装置の位置情報を記憶する記憶工程と、
    前記複数の撮像装置の設置角度を取得する取得工程と、
    前記複数の撮像装置の撮影エリアを設定する設定工程と、
    前記記憶工程で記憶された情報と、前記取得工程により取得された情報と、前記設定工程により設定された撮影エリアの情報とに基づいて、前記複数の撮像装置のうち２台以上の撮像装置で撮影できるエリアと前記複数の撮像装置のうち１台でのみ撮影できる、又は前記複数の撮像装置のうちいずれの撮像装置でも撮影できないエリアとを区別可能に通知する通知工程とを有することを特徴とする情報処理装置の制御方法。
19. 複数の撮像装置の位置情報を記憶する記憶工程と、
    前記複数の撮像装置の設置角度を取得する取得工程と、
    前記複数の撮像装置に共通する撮影エリアを設定する設定工程と、
    前記記憶工程で記憶された情報と、前記取得工程により取得された情報とに基づいて、前記設定工程により設定された前記共通する撮影エリアのうち、撮影網羅できるエリアと撮影網羅できないエリアとを区別可能に通知する通知工程とを有することを特徴とする情報処理装置の制御方法。
20. 撮影レンズと撮像素子を含む筐体を少なくとも１軸以上の方向で回転駆動できる回転機構を備える複数の撮像装置の位置情報を記憶する記憶工程と、
    前記複数の撮像装置の設置角度を取得する取得工程と、
    前記複数の撮像装置の撮像装置毎の個別の撮影エリアを設定する設定工程と、
    前記記憶工程で記憶された情報と、前記取得工程により取得された情報と、前記設定工程により設定された前記個別の撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアとを区別可能に通知する通知工程とを有し、
    前記設定工程は、前記個別の撮影エリアを設定することにより、前記複数の撮像装置のそれぞれが撮影時に回転駆動する範囲を設定することが可能であることを特徴とする情報処理装置の制御方法。
21. コンピュータにより請求項１８乃至２０のいずれか１項に記載の制御方法を実行させるためのプログラム。
22. 請求項２１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images