JP6643162B2 - 制御装置、制御方法、撮像システム及びプログラム - Google Patents

Description

本発明は、複数の撮像装置を制御する技術に関する。

複数の撮像装置で同一の被写体を撮像する多視点撮像システムが知られている。複数の撮像装置の撮像方向を制御する方法として、特許文献１には、１台のマスターカメラの光軸上にある注視点を向くように、マスターカメラ以外のスレーブカメラの向き（パン角度及びチルト角度）を制御することが記載されている。具体的には、ユーザは注視点を設定したい被写体にマスターカメラの撮像中心を合わせ、注視点までの距離を設定する。制御装置はこのユーザによる操作に基づいて注視点の座標を算出し、注視点が各スレーブカメラの撮像範囲に含まれるように、算出された座標に基づいて複数のスレーブカメラの向きを制御する。

特開２０１４−１０３４７４号公報

しかしながら、特許文献１に記載の方法では、注視点の特定に係るユーザの手間が大きくなる場合が考えられる。具体的には、マスターカメラから所望の被写体までの距離と設定された注視点までの距離が一致しているか否かは、マスターカメラによる撮像画像からだけではユーザが判断できない場合があると考えられる。その場合には、注視点を所望の被写体に設定するために、ユーザがマスターカメラによる撮像画像とスレーブカメラによる撮像画像の両方を確認しながら注視点までの距離を調整する必要があると考えられる。

本発明は上記課題に鑑みてなされたものであり、複数の撮像装置の撮像範囲内に注視点が含まれるよう撮像装置を制御する場合に、注視点の特定に係るユーザの手間を低減するための技術を提供することを目的とする。

上記課題を解決するため、本発明に係る制御装置は、例えば以下の構成を備える。すなわち、複数の撮像装置から何れかの撮像装置を選択する選択手段と、前記選択手段により選択された撮像装置による撮像画像が表示される表示部に、前記選択に基づいて定まる注視点を特定するためのマーカーを表示させる表示制御手段であって、前記選択された撮像装置による撮像画像内における前記注視点に対応する位置から所定量離れた位置に、前記マーカーを表示させる表示制御手段と、前記表示制御手段が前記マーカーを表示させた後に、前記注視点を変更するための入力を受け付けて前記注視点を決定する決定手段と、前記複数の撮像装置のうち前記選択手段により選択された撮像装置とは別の撮像装置の撮像範囲内に前記決定手段が決定した前記注視点が含まれるように、前記別の撮像装置の向きを制御する制御手段とを有する。

本発明によれば、複数の撮像装置の撮像範囲内に注視点が含まれるよう撮像装置を制御する場合に、注視点の特定に係るユーザの手間を低減することができる。

実施形態に係る撮像システムの構成を示す図である。 実施形態に係る制御装置１０１の機能構成を説明するためのブロック図である。 制御装置１０１のハードウェア構成を示すブロック図である。 制御装置１０１の動作を説明するためのフローチャートである。 注視点について説明するための図である。 注視点と撮像画像の関係について説明するための図である。 注視点を移動させる操作について説明するための図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。

［システム構成］
まず図１を用いて、本実施形態に係る撮像システム１００の構成について説明する。撮像システム１００は、制御装置１０１、操作装置１０２、表示装置１０３、及び競技場の周囲に設置された複数の撮像装置１０４−１、１０４−２、・・・、１０４−１６を備える。本実施形態において、特別な指定のない場合には、撮像装置１０４−１から撮像装置１０４−１６までの複数の撮像装置を区別せず撮像装置１０４と記載する。制御装置１０１は、操作装置１０２、表示装置（表示部）１０３、及び撮像装置１０４のそれぞれと接続されている。なお、撮像装置１０４の数は１６台に限定されず、撮像システム１００は複数の撮像装置を備えていればよい。また、操作装置１０２と表示装置１０３とが一体となって構成されていてもよいし、操作装置１０２及び表示装置１０３の少なくとも何れかが制御装置１０１と一体となって構成されていてもよい。さらに、制御装置１０１は何れかの撮像装置１０４と一体となって構成されていてもよい。

制御装置１０１は、操作装置１０２からの入力に基づいて複数の撮像装置１０４を制御すると共に、それらの撮像装置１０４のうち選択された撮像装置１０４による撮像画像を取得し、表示装置１０３に出力する。制御装置１０１の具体例としては、ＰＣやサーバ装置などが挙げられる。ただし、制御装置１０１はこれらの具体例に限定されず、他の機器等であってもよい。

操作装置１０２は、ユーザによる操作を受けて各種の指示を制御装置１０１に入力する。操作装置１０２は、例えば撮像装置１０４を選択するためのスイッチや撮像装置１０４の向きを変更するためのジョイスティック、及びスライダー等を備える。表示装置１０３は、制御装置１０１から表示装置１０３に出力された画像を表示する。表示装置１０３の具体例としては、液晶ディスプレイなどが挙げられる。制御装置１０１は、ユーザが表示装置１０３に表示された画像を見ながら操作装置１０２に対して行った操作に応じて、撮像システム１００全体を制御する。

撮像装置１０４は、競技場の地面を上方から見下ろすように設置されており、制御装置１０１による制御に基づいて競技場内を撮像し、撮像画像を制御装置１０１に送信する。なお本実施形態では、制御装置１０１により選択された撮像装置１０４だけが撮像画像を制御装置１０１に送信し、送信された撮像画像を制御装置１０１が受信して表示装置１０３に出力する場合を中心に説明する。ただしこれに限らず、例えば、選択された撮像装置１０４と共に選択されていない撮像装置１０４も撮像画像を制御装置１０１に送信し、制御装置１０１は受信した撮像画像のうち選択された撮像装置１０４による撮像画像を表示装置１０３に出力してもよい。

［制御装置１０１の機能構成］
図２は、本実施形態に係る制御装置１０１の機能構成を説明するためのブロック図である。制御装置１０１は、操作入力部２０１、注視点指定部２０２、制御部２０３及び画像処理部２０４を備える。

操作入力部２０１は、ユーザによる操作を受けた操作装置１０２から入力される指示を受け付ける。本実施形態において、入力される指示の内容は、複数の撮像装置１０４（撮像装置１０４−１乃至撮像装置１０４−１６）から何れかの撮像装置１０４を選択する指示、選択された撮像装置１０４の向きを変更する指示、又は注視点の高さを設定する指示である。注視点は、制御装置１０１による撮像装置１０４の選択に基づいて定まる三次元空間上の位置であり、本実施形態において制御装置１０１は複数の撮像装置１０４が注視点を向くように制御を行う。即ち、注視点は複数の撮像装置１０４それぞれの撮影方向に対応する光軸が交差する点である。なお、注視点の高さに関する情報などは、入力される指示には含まれず予め制御装置１０１に設定されていてもよい。また、操作装置１０２から入力される指示には他の内容が含まれていてもよい。

注視点指定部２０２は、操作入力部２０１に入力された指示に基づいて注視点を指定する。具体的には、注視点指定部２０２は、指示に基づいて選択された撮像装置１０４の光軸上において、指示に基づいて設定される高さの位置を、注視点として指定する。

制御部２０３は、操作入力部２０１に入力された指示に基づいて、複数の撮像装置１０４から何れかの撮像装置１０４を選択してその向きを変更する。また制御部２０３は、選択した撮像装置１０４による撮像画像を取得する。さらに制御部２０３は、撮像システム１００内の複数の撮像装置１０４のうち選択された撮像装置１０４以外の撮像装置１０４を、注視点指定部２０２が指定した注視点を向くように制御する。

画像処理部２０４は、制御部２０３が取得した撮像画像に、注視点指定部２０２が指定した注視点の位置を特定するためのマーカー３０３を合成し、表示装置１０３に出力する。表示装置１０３は画像処理部２０４から出力された画像を表示する。即ち、画像処理部２０４は表示装置１０３の表示を制御する表示制御部として機能し、ユーザが注視点の位置を特定できるような画像を表示装置１０３に表示させる。例えば、図６（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）はそれぞれ表示装置１０３が表示する画像の例を示しており、マーカー３０３は注視点の垂直下方向に存在する地面の位置を示す。ユーザはマーカー３０３の表示位置から注視点を特定することができ、所望の被写体の足元にマーカー３０３が表示されるように操作装置１０２を操作することで、その被写体に注視点を設定することができる。

［制御装置１０１のハードウェア構成］
図３は、制御装置１０１のハードウェア構成を示すブロック図である。制御装置１０１は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、補助記憶装置１１４、通信部１１５及びバス１１６を備える。

ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３に格納されているコンピュータプログラムやデータを用いて制御装置１０１全体の制御を行う。即ち、ＣＰＵ１１１は、図３に示した各構成要素を制御して、図２に示した制御装置１０１の各機能部を実現する。

ＲＯＭ１１２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１１３は、補助記憶装置１１４から供給されるプログラムやデータ、及び通信部１１５を介して外部から取得されたデータなどを一時的に記憶する。補助記憶装置１１４は、例えばハードディスクドライブ装置等で構成され、撮像画像などのデータを記憶する。

通信部１１５は、操作装置１０２、表示装置１０３及び撮像装置１０４などの外部の装置と通信を行う。本実施形態では通信部１１５は外部の装置と有線で接続されるものとするが、無線で接続されてもよい。無線で接続される場合、通信部１１５はアンテナを更に備える。バス１１６は、制御装置１０１の各部を繋いで情報を伝達する。

なお、本実施形態では操作装置１０２と表示装置１０３は制御装置１０１の外部に存在する装置であるが、操作装置１０２は制御装置１０１の内部の操作部として存在していてもよく、表示装置１０３は制御装置１０１の内部の表示部として存在していてもよい。

［動作フロー］
次に、制御装置１０１の動作フローについて図４を用いて説明する。制御装置１０１は、図４（Ａ）に示した処理と図４（Ｂ）に示した処理を独立して行う。図４（Ａ）に示した処理は、ユーザによる操作に応じた指示が操作装置１０２から制御装置１０１に入力されたタイミングで開始される。本実施形態における指示の内容は、複数の撮像装置１０４から何れかの撮像装置１０４を選択する指示、選択された撮像装置１０４の向きを変更する指示、又は注視点の高さを設定する指示である。図４（Ｂ）に示した処理は、制御装置１０１が撮像装置１０４と通信可能な状態になったタイミング、及び、ユーザから所定の開始指示が入力されたタイミングで開始される。ただし、図４（Ａ）及び（Ｂ）に示した処理の開始タイミングは上記タイミングに限定されない。図４（Ａ）及び（Ｂ）に示した処理は、ＣＰＵ１１１がＲＯＭ１１２に格納されたプログラムをＲＡＭ１１３に展開して実行することで実現される。

まず、図４（Ａ）に示した処理について説明する。Ｓ４０１において、操作入力部２０１は、操作装置１０２から入力された指示を受け付け、その指示が撮像装置１０４の選択に係る指示であるか否かを判定する。選択に係る指示であると判定された場合、Ｓ４０２に進み、制御部２０３が指示に応じて複数の撮像装置１０４から何れかの撮像装置１０４を選択する。一方、選択に係る指示でないと判定された場合、Ｓ４０３に進む。

Ｓ４０３において、操作入力部２０１は、操作装置１０２から入力された指示が、選択された撮像装置１０４の向きの変更に係る指示であるか否かを判定する。向きの変更に係る指示であると判定された場合、Ｓ４０４に進み、制御部２０３が選択している撮像装置１０４の向きを指示に応じて変更する。一方、向きの変更に係る指示でないと判定された場合、Ｓ４０５に進む。

Ｓ４０５に進んだ場合、操作装置１０２から入力された指示は注視点の高さを設定する指示である。そこで、注視点指定部２０２は、指示に応じて注視点の高さに関する高さ情報を設定する。Ｓ４０２、Ｓ４０４又はＳ４０５の処理が終わると、制御装置１０１は図４（Ａ）に示した処理を終了する。

次に、図４（Ｂ）に示した処理について説明する。Ｓ４１１において、制御装置１０１は初期設定を行う。具体的には、注視点指定部２０２は注視点の高さに関する高さ情報を所定の初期値に設定し、制御部２０３は所定の撮像装置１０４を選択し、また制御部２０３は全ての撮像装置１０４の向きがそれぞれ所定の初期方向となるよう制御する。Ｓ４１１において初期設定された各情報は、Ｓ４０２、Ｓ４０４及びＳ４０５の処理によって更新される。

Ｓ４１２において、注視点指定部２０２は、Ｓ４１１又はＳ４０２で制御部２０３により選択された撮像装置の撮像範囲内の位置を注視点として指定する。具体的には、注視点指定部２０２は、選択された撮像装置１０４の光軸上において、Ｓ４１１又はＳ４０５で設定された高さ情報が示す高さの位置を、注視点として指定する。なお、注視点の指定方法はこれに限定されない。注視点の指定方法の詳細については後述する。

Ｓ４１３において制御部２０３は、複数の撮像装置１０４のうちＳ４１１又はＳ４０２で選択した撮像装置１０４とは別の撮像装置１０４の撮像範囲内に、Ｓ４１２で注視点指定部２０２が指定した注視点が含まれるように、上記別の撮像装置の向きを制御する。例えば、制御部２０３は、上記の別の撮像装置１０４による撮像画像の中心領域に注視点が位置するように、上記の別の撮像装置１０４の向きを制御する。撮像装置１０４の向きを制御する方法としては、例えば撮像装置１０４が設置されている雲台を動かす方法などがある。なお本実施形態では、撮像システム１００内の複数の撮像装置１０４のうち選択された撮像装置１０４以外のすべての撮像装置１０４が、それぞれの撮像範囲内に注視点が含まれるように制御される。ただしこれに限らず、例えば所定数の撮像装置１０４の撮像範囲内に注視点が含まれるように制御が行われてもよいし、選択された撮像装置１０４と同じグループに分類された撮像装置１０４の撮像範囲内に注視点が含まれるように制御が行われてもよい。

Ｓ４１４において、制御部２０３は、Ｓ４１１又はＳ４０２で選択した撮像装置１０４による撮像画像を取得する。本実施形態では制御部２０３が取得する撮像画像は動画であるものとするが、これに限らず静止画であってもよい。

Ｓ４１５において、画像処理部２０４は、Ｓ４１４で取得された撮像画像内の、Ｓ４１２で指定された注視点に対応する位置から所定量離れた位置に、注視点を特定するためのマーカー３０３を合成し、合成後の撮像画像を表示装置１０３に出力する。なお、画像処理部２０４は、選択された撮像装置１０４による撮像画像内における注視点に対応する位置から所定量離れた位置に、注視点を特定するためのマーカー３０３を表示させればよい。例えば画像処理部２０４は、制御部２０３が取得した撮像画像と注視点を特定するためのマーカー３０３とを別々に表示装置１０３に出力し、表示装置１０３が撮像画像にマーカー３０３を重畳して表示してもよい。表示される画像の詳細については後述する。

Ｓ４１６において、操作入力部２０１は、撮像装置１０４の制御及び画像の出力に係る処理を終了するか否かを判定する。終了する判定が行われた場合、制御装置１０１は図４（Ｂ）に示した処理を終了する。終了する判定が行われる場合としては、例えば処理を終了するための指示が操作装置１０２から操作入力部２０１に入力された場合等がある。一方、終了しない判定が行われた場合、再びＳ４１２からの処理を実行する。この場合、上述のようにＳ４１５で画像処理部２０４がマーカー３０３を表示させた後に、操作入力部２０１が注視点を変更するための入力を受け付け、図４（Ａ）に示した処理が行われる。その処理に応じて、再度Ｓ４１２で注視点指定部２０２が注視点を決定し、Ｓ４１３で制御部２０３が、選択された撮像装置とは別の撮像装置の撮像範囲内にＳ４１２で決定された注視点が含まれるように制御を行う。制御装置１０１は、Ｓ４１６で終了する判定が行われるまで、このような処理を繰り返す。

［動作の詳細］
次に、注視点の指定、画像表示及びユーザによる操作に係る制御装置１０１の動作について、その具体例を詳細に説明する。まず、注視点指定部２０２が注視点を指定する方法について図５を用いて説明する。図５（Ａ）及び（Ｂ）は、撮像装置１０４が設置された競技場内を横方向からみた図を示している。注視点指定部２０２は、初期設定又は操作入力部２０１に入力された指示に基づいて、どの撮像装置１０４が選択されたか、選択された撮像装置１０４がどの向きか、及び注視点をどの高さに設定するかを判断する。図５（Ａ）の例では、撮像装置１０４−１が選択されており、異なる位置に別の撮像装置１０４−１３が設置されている。被写体３０１はユーザが注視点を設定したい対象、即ち複数の撮像装置１０４により撮像したい対象である。

注視点指定部２０２は、撮像装置１０４−１の向きと注視点の高さに関する情報として設定された高さ情報とに基づいて、撮像装置１０４−１の光軸上であって高さ情報が示す高さの位置３０２を注視点として指定する。撮像装置１０４−１３は、制御部２０３によって、光軸が位置３０２を通過するように向きを制御される。なお、図５（Ａ）では省略されているが、実際には１６台の撮像装置１０４の光軸が注視点の位置３０２で交差する。マーカー３０３は、位置３０２の垂直下方向に存在する地面の位置を示す。なお、マーカー３０３は実際に地面上に存在するものではなく、撮像装置１０４による撮像画像に合成されて表示装置１０３により表示されるものである。

図５（Ａ）に示す状況では、被写体３０１から離れた位置３０２が注視点として指定されており、表示装置１０３には、被写体３０１と注視点とが離れていることをユーザが認識できるようにマーカー３０３を含む画像が表示される。図５（Ｂ）に示す状況のように被写体３０１に注視点の位置３０２を設定するために、ユーザは操作装置１０２を操作することで撮像装置１０４−１の向きを変更する。撮像装置１０４−１の向きが変更されると注視点の位置３０２が移動し、それに伴って撮像装置１０４−１３の向きも変更される。なおユーザは、操作装置１０２を操作して注視点の高さに関する高さ情報を変更してもいい。高さ情報が変更されると、撮像装置１０４−１の光軸上での注視点の位置が変わり、それに伴って撮像装置１０４−１３の向きも変更される。

次に、表示装置１０３が表示する画像について図６を用いて説明する。図６（Ａ）は、図５（Ａ）の状況において表示装置１０３により表示される画像であって、撮像装置１０４−１による撮像画像にマーカー３０３を重畳した画像を示している。具体的には、表示画像は、制御部２０３により選択された撮像装置１０４−１による撮像画像内における注視点に対応する位置（中心部）から下方向に注視点の基準面からの高さに基づく所定量離れた位置に、マーカー３０３が表示された画像である。画像処理部２０４は、表示装置１０３にこの画像が表示されるように、表示装置１０３を制御する。

例えば、競技場の地面をＸＹ平面（基準面）とし鉛直方向をＺ軸方向とする三次元空間上において、注視点指定部２０２が座標（Ｘｗ，Ｙｗ，Ｚｗ）の位置を注視点として指定したとする。ここで、Ｚｗは注視点の基準面からの高さに関する情報として設定された高さ情報に基づいて定まる値である。また、Ｘｗ及びＹｗは制御部２０３により選択された撮像装置１０４−１の撮像方向に対応する光軸に基づいて定まる値である。画像処理部２０４は、撮像装置１０４−１による撮像画像内において座標（Ｘｗ，Ｙｗ，０）に対応する位置を算出し、その位置にマーカー３０３を合成して出力する。この出力に応じて、表示装置１０３は、マーカー３０３の上方で所定の高さにある注視点の位置をユーザが特定できるようにマーカー３０３を表示する。

画像処理部２０４からの出力に応じて表示装置１０３により表示される画像において、マーカー３０３は注視点に対応する位置から所定量離れた位置に表示される。マーカー３０３は地面の位置を示すため、この所定量は注視点の基準面からの高さに基づいて定まる。例えば、注視点の高さが高く設定されているほど（Ｚｗの値が大きいほど）上記の所定量は大きくなる。また同時に、上記の所定量は注視点に対応する座標と選択された撮像装置１０４−１の位置とに応じた距離に基づいて定まる。例えば、注視点と撮像装置１０４−１との距離が大きいほど、表示画像上では注視点と地面との間隔が小さく表示されるため、上記の所定量は小さくなる。さらに、上記の所定量は選択された撮像装置１０４−１のズーム倍率によっても異なる。なおマーカー３０３は、地面の位置を示すものでなく、注視点と同じ高さに存在する壁の位置を示すものであってもよい。この場合もマーカー３０３は、表示装置１０３により表示される画像において注視点に対応する位置から所定量離れた位置に表示されるが、この所定量は注視点と壁との距離に基づいて定まる。

図６（Ａ）に示すようにマーカー３０３が被写体３０１の足元から離れた位置にある画像を表示装置１０３に表示させることで、制御装置１０１は、注視点が被写体３０１に設定されていないことをユーザに認識させる。この状況において撮像装置１０４−１３による撮像画像は図６（Ｃ）に示すような画像となる。

ユーザは表示装置１０３により表示された画像を見ながら操作装置１０２を操作することで、図６（Ｂ）に示すようにマーカー３０３を被写体３０１の足元に位置させる。実際には、表示画像上で被写体３０１が下方向に動くように、撮像装置１０４−１の向きを上に向ける操作が行われる。図６（Ｂ）は図５（Ｂ）の状況において表示装置１０３により表示される画像を示している。図６（Ｂ）に示すようにマーカー３０３が被写体３０１の足元に位置している画像を表示装置１０３に表示させることで、制御装置１０１は、注視点が被写体に設定されていることをユーザに認識させる。この状況において撮像装置１０４−１３による撮像画像は図６（Ｄ）に示すような画像となる。

なお、撮像装置１０４−１３が選択されていた場合、ユーザは表示画像が図６（Ｃ）に示す画像から図６（Ｄ）に示す画像となるように、撮像装置１０４−１３の向きを左に動かす（表示画像上で被写体３０１が右方向に動く）操作を行う。

本実施形態では、制御装置１０１は表示装置１０３にマーカー３０３を所定の半径を有する半透明の円として表示させ、ユーザがマーカー３０３の位置と被写体３０１の足元との両方を確認出来るようにしている。なお、マーカー３０３の半径は、例えば選択された撮像装置１０４のズーム倍率などに応じて変化してもよい。こうすることでユーザは、表示装置１０３により表示されている撮像画像の撮像倍率をマーカー３０３の大きさから判断することができる。また、マーカー３０３の形状は円に限らず、他の形状でもよい。

次に、ユーザによる操作に応じた制御装置１０１の動作の内容について図７を用いて説明する。図７は撮像装置１０４−１とその周辺を俯瞰した様子を示している。操作装置１０２が備えるスイッチがユーザにより操作されると、制御部２０３は複数の撮像装置１０４から何れかの撮像装置１０４を選択する。図７の例では撮像装置１０４−１が選択されている。また、操作装置１０２が備えるスライダーがユーザにより操作されると、注視点指定部２０２は注視点の高さを設定する。そして、操作装置１０２が備えるジョイスティックがユーザにより操作されると、制御部２０３は選択された撮像装置１０４−１の向きを上下左右に動かす。位置３０２−１は、ユーザがジョイスティックを操作する前の注視点の位置である。

ユーザが撮像装置１０４−１の向きを上に動かす操作を行った場合には注視点は位置３０２−１から位置３０２−２に変更され、下に動かす操作を行った場合には位置３０２−３に変更される。この際に撮像装置１０４−１は制御装置１０１によりチルト制御される。また、ユーザが撮像装置１０４−１の向きを右に動かす操作を行った場合には注視点は位置３０２−１から位置３０２−４に変更され、左に動かす操作を行った場合には注視点は位置３０２−５に変更される。この際に撮像装置１０４−１はパン制御されるため、注視点は撮像装置１０４−１を中心とする同心円上を移動する。

なお本実施形態において、選択された撮像装置１０４の向きを動かす所定の操作をユーザが１回行った場合に、制御部２０３は注視点の位置が所定距離（例えば１メートル）動くように、選択された撮像装置１０４の向きを変更する。つまり、注視点が選択された撮像装置１０４から遠い場合、上記所定の操作が１回行われたときの撮像装置１０４のチルト角の変化は小さく、逆に注視点が近い場合、チルト角の変化は大きくなる。また、選択された撮像装置１０４の向きを動かす所定の操作をユーザが継続した場合（例えばジョイスティックを同じ方向に倒し続けた場合）、制御部２０３は撮像装置１０４の向きを連続的に変化させる。ここで制御部２０３は、注視点が選択された撮像装置１０４から遠い場合、撮像装置１０４のチルト角の変化速度を小さくし、逆に注視点が近い場合、チルト角の変化速度を大きくする。このように、制御部２０３は、注視点に対応する三次元空間上の座標と選択された撮像装置１０４の位置とに応じた距離が所定の範囲内である場合には、その距離が小さいほど撮像装置１０４の向きを大きく変更する。これにより、選択された撮像装置１０４から注視点までの距離が大きい場合でも、ユーザは注視点の位置を容易に微調整することができる。なお制御部２０３は、注視点と撮像装置１０４との距離に関わらず、選択された撮像装置１０４の向きをユーザによる所定の操作に応じて所定角度だけ変更してもよい。

以上説明したように、本実施形態に係る制御装置１０１は、複数の撮像装置１０４から何れかの撮像装置１０４を選択する。また制御装置１０１は、選択された撮像装置１０４による撮像画像が表示される表示装置１０３に、当該選択に基づいて定まる注視点を特定するためのマーカー３０３を表示させる。ここでマーカー３０３は、選択された撮像装置１０４による撮像画像内における注視点に対応する位置から所定量離れた位置に表示される。そして制御装置１０１は、表示装置１０３にマーカー３０３を表示させた後に、注視点を変更するための入力を受け付けて注視点を決定する。さらに制御装置１０１は、複数の撮像装置１０４のうち選択された撮像装置１０４とは別の撮像装置１０４の撮像範囲内に注視点が含まれるように、上記の別の撮像装置１０４を制御する。

これによりユーザは、表示装置１０３に表示された画像、即ち撮像方向を操作する対象である選択された撮像装置１０４による撮像画像とそこに合成されたマーカー３０３とから注視点を特定できる。その結果、注視点の特定に係るユーザの手間を低減することができる。また、ユーザは複数の撮像装置１０４から操作対象の撮像装置１０４を選択することができるため、所望の角度から撮像された撮像画像を見ながら注視点の位置を調整でき、所望の位置に注視点を設定することが容易になる。また、複数の撮像装置１０４それぞれの撮像画像の中心領域に注視点が位置するように制御が行われる場合、ユーザが複数の撮像装置１０４から選択する撮像装置１０４を切り替えても注視点は表示画像の中心領域に位置し続ける。これにより、注視点を設定した被写体３０１を複数の方向から観察するためにユーザが撮像装置１０４の選択を切り替える際の違和感が低減される。

なお本実施形態では、制御装置１０１が、選択された撮像装置１０４の向きを操作装置１０２に対するユーザの操作に応じて変更し、選択された撮像装置１０４の光軸上であって設定された高さの位置を注視点として指定する場合を中心に説明した。このような注視点の指定方法によりユーザは、単に選択された撮像装置１０４で被写体３０１を追う操作を行うのと同様の感覚で、複数の撮像装置１０４をそれぞれの撮像範囲内に被写体３０１が含まれるように操作することができる。ただし、注視点の指定方法はこれに限らない。

例えば、制御装置１０１は、ユーザの操作に基づいて、三次元空間上における注視点の座標を指定し、複数の撮像装置１０４から撮像画像を表示させる撮像装置１０４を選択する。そして制御装置１０１は、選択された撮像装置１０４及び別の撮像装置１０４それぞれの撮像範囲内に指定された注視点の座標が含まれるように、選択された撮像装置１０４及び別の撮像装置１０４の向きを制御してもよい。

この場合に、ユーザによる操作に基づく注視点の移動方向は選択された撮像装置１０４の向きに応じて定まる。例えば、ユーザが図１の撮像装置１０４−９を選択し、注視点を右に動かす操作を行った場合、注視点は図１における右方向に移動する。一方、ユーザが撮像装置１０４−１を選択して同じ操作を行った場合、注視点は撮像装置１０４−１にとっての右方向、即ち図１における左方向に移動する。このように、制御部２０３は、注視点を変更するための所定の入力を操作入力部２０１が受け付けた場合に、注視点を撮像装置１０４の選択に応じて異なる方向に移動させ、移動先の位置に注視点を決定する。これによりユーザは、どの撮像装置１０４が選択されているかに関わらず、表示装置１０３により表示されている画像から入力すべき操作を判断することができる。なお反対に、制御装置１０１は、ユーザによる所定の入力に応じた注視点の移動方向を、どの撮像装置１０４が選択されているかに関わらず決定してもよい。

また別の指定方法として例えば、制御装置１０１は、選択された撮像装置１０４による撮像画像に対して指定された座標に基づいて定まる位置を注視点として指定してもよい。具体的には、まず制御装置１０１は、選択された撮像装置１０４による撮像画像を表示装置１０３に表示させる。表示装置１０３により表示された画像上の任意の点がユーザにより指定されると、制御装置１０１は、ユーザが指定した点の撮像画像上における二次元座標（Ｘｄ、Ｙｄ）を特定し、その二次元座標に対応する三次元空間上の座標（Ｘｗ，Ｙｗ，Ｚｗ）を算出する。そして制御装置１０１は、算出された座標の位置を注視点として指定する。例えばＺｗはユーザにより設定された高さ情報に基づいて定まり、Ｘｗ及びＹｗはＸｄ及びＹｄに基づいて定まる。この方法によれば、ユーザが注視点の位置を指定し直す際に、選択された撮像装置１０４の向きを操作する場合よりも素早く指定することができる。

また別の指定方法として例えば、制御装置１０１は、選択された撮像装置による撮像画像内のオブジェクト（被写体３０１など）を検出する検出処理の結果に基づいて定まる位置を注視点として指定してもよい。具体的には、制御装置１０１は、選択された撮像画像内の動体などのオブジェクトを検出する。単一のオブジェクトが検出された場合、制御装置１０１は、検出されたオブジェクトの内部の位置（例えば中心位置など）を注視点として設定する。複数のオブジェクトが検出された場合、制御装置１０１は、検出結果を表示装置１０３に表示させ、それら複数のオブジェクトからユーザが選択したオブジェクトの内部の位置を注視点として設定する。この方法によれば、ユーザは注視点の位置を指定するための細かい操作を行うことなく所望の被写体３０１に注視点を設定することができ、複数の撮像装置１０４で所望の被写体３０１を撮像することができる。

また本実施形態では、操作装置１０２に対するユーザの操作に基づいて制御装置１０１が撮像装置１０４を選択するが、制御装置１０１は複数の撮像装置１０４から何れかの撮像装置１０４を自動で選択してもよい。例えば、制御装置１０１は、複数の撮像装置１０４から、撮像画像内においてオブジェクト同士が重なる領域が小さい撮像装置１０４を選択してもよい。この場合、制御装置１０１は、自動で選択した撮像装置１０４の撮像画像を表示装置１０３に表示させ、操作装置１０２を介して注視点の指定に係るユーザ操作を受け付ける。そして、制御装置１０１は、表示装置１０３により表示される自動で選択した撮像装置１０４の撮像画像上に、ユーザ操作に基づいて指定された注視点の位置を示すマーカー３０３を表示させる。撮像装置１０４の自動選択は、各撮像装置１０４による撮像画像においてオブジェクト同士が重なる領域の大きさが変化する度に行われてもよいし、定期的に行われてもよく、また選択の更新に係る操作がユーザにより入力されたタイミングで行われてもよい。制御装置１０１がこのように選択された撮像装置１０４による撮像画像にマーカー３０３を合成して表示装置１０３に表示させることで、例えばオブジェクトの足元が見えやすくなり、ユーザは注視点とオブジェクトの位置関係を把握しやすくなる。

また、本実施形態では制御装置１０１がユーザにより予め設定された高さ情報に基づいて注視点の位置を指定する場合を中心に説明した。この方法によれば、ユーザは地面の位置に表示されたマーカー３０３に基づいて注視点の三次元空間上における位置を特定することができる。ただしこれに限らず、制御装置１０１は例えば、選択された撮像装置１０４からの距離に関する情報として設定された距離情報に基づいて注視点の高さを決定してもよいし、注視点が設定される被写体３０１の大きさに応じて注視点の高さを決定してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００ 撮像システム
１０１ 制御装置
１０３ 表示装置
１０４ 撮像装置
３０３ マーカー

Claims (19)

1. 複数の撮像装置から何れかの撮像装置を選択する選択手段と、
   前記選択手段により選択された撮像装置による撮像画像が表示される表示部に、前記選択に基づいて定まる注視点を特定するためのマーカーを表示させる表示制御手段であって、前記選択された撮像装置による撮像画像内における前記注視点に対応する位置から所定量離れた位置に、前記マーカーを表示させる表示制御手段と、
   前記表示制御手段が前記マーカーを表示させた後に、前記注視点を変更するための入力を受け付けて前記注視点を決定する決定手段と、
   前記複数の撮像装置のうち前記選択手段により選択された撮像装置とは別の撮像装置の撮像範囲内に前記決定手段が決定した前記注視点が含まれるように、前記別の撮像装置の向きを制御する制御手段とを有することを特徴とする制御装置。
2. 前記制御手段は、前記別の撮像装置の向きの制御に加えて、前記選択手段により選択された撮像装置の撮像範囲内に前記決定手段が決定した前記注視点が含まれるように、前記選択された撮像装置の向きを制御することを特徴とする請求項１に記載の制御装置。
3. 前記注視点は、前記選択手段により選択された撮像装置の撮像方向に対応する光軸に基づいて定まることを特徴とする請求項１に記載の制御装置。
4. 前記注視点は、前記選択手段により選択された撮像装置による撮像画像に対して指定された座標に基づいて定まることを特徴とする請求項１に記載の制御装置。
5. 前記注視点は、前記選択手段により選択された撮像装置による撮像画像内のオブジェクトを検出する検出処理の結果に基づいて定まることを特徴とする請求項１又は２に記載の制御装置。
6. 前記注視点は、前記注視点の基準面からの高さに関する情報として設定された高さ情報及び前記選択手段による選択に基づいて定まることを特徴とする請求項１乃至５の何れか１項に記載の制御装置。
7. 前記所定量は、前記注視点の基準面からの高さに基づいて定まることを特徴とする請求項１乃至６の何れか１項に記載の制御装置。
8. 前記所定量は、前記注視点に対応する三次元空間上の座標と前記選択手段により選択された撮像装置の位置とに応じた距離に基づいて定まることを特徴とする請求項１乃至７の何れか１項に記載の制御装置。
9. 前記表示制御手段は、前記選択手段により選択された撮像装置による撮像画像内における、前記注視点に対応する位置から下方向に前記注視点の基準面からの高さに基づく前記所定量離れた位置に、前記マーカーを表示させることを特徴とする請求項１乃至８の何れか１項に記載の制御装置。
10. 前記制御手段は、前記別の撮像装置による撮像画像の中心領域に前記決定手段が決定した前記注視点が位置するように、前記別の撮像装置の向きを制御することを特徴とする請求項１乃至９の何れか１項に記載の制御装置。
11. 前記選択手段は、前記複数の撮像装置から、撮像画像内においてオブジェクト同士が重なる領域が小さい撮像装置を選択することを特徴とする請求項１乃至１０の何れか１項に記載の制御装置。
12. 前記決定手段は、前記注視点を変更するための所定の入力を受け付けた場合に、前記注視点を前記選択手段による選択に応じて異なる方向に移動させて決定することを特徴とする請求項１乃至１１の何れか１項に記載の制御装置。
13. 前記選択手段により選択された撮像装置の向きをユーザによる入力に応じて変更する変更手段であって、前記注視点に対応する三次元空間上の座標と前記選択された撮像装置の位置とに応じた距離が所定の範囲内である場合には、前記距離が小さいほど前記向きを大きく変更する変更手段を有することを特徴とする請求項１乃至１２の何れか１項に記載の制御装置。
14. 前記表示部は、前記制御装置の外部に存在する装置であることを特徴とする請求項１乃至１３の何れか１項に記載の制御装置。
15. 制御装置と複数の撮像装置とを備える撮像システムであって、
    前記制御装置は、前記複数の撮像装置から何れかの撮像装置を選択する選択手段と、
    前記選択手段により選択された撮像装置による撮像画像が表示される表示部に、前記選択に基づいて定まる注視点を特定するためのマーカーを表示させる表示制御手段であって、前記選択された撮像装置による撮像画像内における前記注視点に対応する位置から所定量離れた位置に、前記マーカーを表示させる表示制御手段と、
    前記表示制御手段が前記マーカーを表示させた後に、前記注視点を変更するための入力を受け付けて前記注視点を決定する決定手段と、
    前記複数の撮像装置のうち前記選択手段により選択された撮像装置とは別の撮像装置の撮像範囲内に前記決定手段が決定した前記注視点が含まれるように、前記別の撮像装置を制御する制御手段とを有することを特徴とする撮像システム。
16. 前記制御手段は、前記別の撮像装置の向きの制御に加えて、前記選択手段により選択された撮像装置の撮像範囲内に前記決定手段が決定した前記注視点が含まれるように、前記選択された撮像装置の向きを制御することを特徴とする請求項１５に記載の撮像システム。
17. 複数の撮像装置から何れかの撮像装置を選択する選択工程と、
    前記選択工程において選択された撮像装置による撮像画像が表示される表示部に、前記選択に基づいて定まる注視点を特定するためのマーカーを表示させる表示制御工程であって、前記選択された撮像装置による撮像画像内における前記注視点に対応する位置から所定量離れた位置に、前記マーカーを表示させる表示制御工程と、
    前記表示制御工程において前記マーカーが表示された後に、前記注視点を変更するための入力を受け付けて前記注視点を決定する決定工程と、
    前記複数の撮像装置のうち前記選択工程において選択された撮像装置とは別の撮像装置の撮像範囲内に前記決定工程において決定された前記注視点が含まれるように、前記別の撮像装置の向きを制御する制御工程とを有することを特徴とする制御方法。
18. 前記制御工程は、前記別の撮像装置の向きの制御に加えて、前記選択工程において選択された撮像装置の撮像範囲内に前記決定工程において決定された前記注視点が含まれるように、前記選択された撮像装置の向きを制御することを特徴とする請求項１７に記載の制御方法。
19. コンピュータを請求項１乃至１４の何れか１項に記載の制御装置として動作させるためのプログラム。

Images