JP5509044B2 - 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム - Google Patents

Description

本発明は、複数のロボットカメラ（遠隔制御カメラ）を用いて、３次元空間中の被写体の多視点映像を撮影する、多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラムに関するものである。

カーネギーメロン大学は、複数のテレビカメラをそれぞれ電動雲台に乗せて設置し、パン、チルトの制御を可能にすることにより、スポーツ試合のように被写体が動き回るような場合においても、多視点映像表現を準リアルタイムで実現することができる“ＥｙｅＶｉｓｉｏｎ（登録商標）”と呼ばれるシステムを開発し、米国の放送会社であるＣＢＳが「スーパーボール」のテレビ中継に利用した。

“ＥｙｅＶｉｓｉｏｎ”では、フィールドを俯瞰でとれる位置に複数台の電動雲台カメラを配置し、そのうちの１台をマスターカメラとしてカメラマンが操作する。マスターカメラでフィールド上の被写体を追随することで被写体を注視点と設定し、その他のカメラが注視点に向かって自動的に方向制御することで多視点映像を撮影し、多視点映像表現を行う。

伊佐憲一、他４名、「最新スポーツ中継技術 世界初！ プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５

”ＥｙｅＶｉｓｉｏｎ”は多視点映像を撮影することができるが、被写体を注視点と設定するために必要な、マスターカメラから被写体までの距離値を正確に求めることができなかった。”ＥｙｅＶｉｓｉｏｎ”では、被写体を地上の人間に限定し、被写体が地面にいるという拘束条件から距離値を求めている。そのため、フィールドを俯瞰でとれる位置にカメラを配置しなければならず、被写体とカメラの位置関係に制限が生じるという問題があった。例えば、カメラより高い位置にある被写体を撮影することはできなかった。また、被写体の位置を地面から０ｍの位置に設定していると、スレーブカメラが被写体を捉えきれない場合があり、その場合には被写体の位置を地面から１ｍ〜１．５ｍぐらいの高さに設定しなおさなければならないという問題があった。

本発明の目的は、上記問題を解決するため、被写体及びカメラの位置を制限することなく様々な用途で多視点映像を撮影することが可能な、多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラムを提供することにある。

本発明では、上記課題を解決するために、マスターカメラの光軸上に注視点を設定し、全てのカメラを注視点へ方向制御後、注視点を光軸上で連続的に変化させ、マスターカメラによる撮影映像及びスレーブカメラによる撮影映像の画角中央に被写体が映るポイントを探索することで、マスターカメラから被写体までの正確な距離値を求める。

すなわち、本発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラを用いて３次元空間中の被写体の多視点映像を撮影する多視点ロボットカメラシステムであって、１台のマスターカメラ及び１台以上のスレーブカメラからなる複数台のロボットカメラと、該複数台のロボットカメラを制御する多視点ロボットカメラ制御装置とを備え、前記多視点ロボットカメラ制御装置は、前記マスターカメラ及び前記スレーブカメラの初期パラメータを格納するパラメータ格納部と、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。

さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記方向制御部は、前記スレーブカメラから前記方向操作されたマスターカメラの注視点へ向かう単位ベクトルを、前記スレーブカメラの初期パラメータを用いて算出し、該単位ベクトルから、前記スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるパン角度及びチルト角度を算出することを特徴とする。

さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像の類似度を算出し、該類似度が高いか否かを判定する判定信号を生成する映像比較部を更に備え、前記注視点制御部は、前記判定信号に基づいて、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。

さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記回転行列生成部は、前記方向操作されたマスターカメラの回転行列、及び前記方向制御部により方向制御されたスレーブカメラの回転行列を生成することを特徴とする。

さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記注視点制御部により決定された注視点の位置を微調整するユーザーインターフェース部を更に備えることを特徴とする。

また、上記課題を解決するために、多視点ロボットカメラ制御装置は、３次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置であって、１台のマスターカメラ及び１台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するパラメータ格納部と、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。

また、上記課題を解決するために、本発明は、３次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置として機能するコンピュータに、１台のマスターカメラ及び１台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するステップと、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成するステップと、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定するステップと、記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるステップと、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させるステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、被写体を注視点と設定するために必要となる、マスターカメラから被写体までの距離値を正確に求めることができるため、カメラ及び被写体の位置関係に拘束条件がなくなり、様々な用途で多視点映像を撮影することができるようになる。

本発明による実施例１の多視点ロボットカメラシステムの構成を示すブロック図である。 世界座標系とカメラ座標系との関係を示す図である。 本発明による実施例１の多視点ロボットカメラシステムの動作を示すフローチャートである。 本発明による実施例１の多視点ロボットカメラシステムの動作を説明する図である。 本発明による実施例１の多視点ロボットカメラシステムの動作を説明する図である。 本発明による実施例１の多視点ロボットカメラシステムの動作を説明する図である。 本発明による実施例２の多視点ロボットカメラシステムの構成を示すブロック図である。 本発明による実施例２の多視点ロボットカメラシステムの動作を示すフローチャートである。 本発明による実施例３の多視点ロボットカメラシステムの構成を示すブロック図である。 本発明による実施例３の多視点ロボットカメラシステムのインターフェース部による類似度判定を説明する図である。 本発明による実施例３の多視点ロボットカメラシステムのインターフェース部による類似度判定を説明する図である。 本発明による実施例３の多視点ロボットカメラシステムの動作を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

[多視点ロボットカメラシステムの構成]
図１は、実施例１の多視点ロボットカメラシステムの構成を示すブロック図である。多視点ロボットカメラシステム１は、ｎ台のロボットカメラ１０（１０−１〜１０−ｎ）と、多視点ロボットカメラ制御装置２０とを備える。多視点ロボットカメラ制御装置２０は、マスターカメラセレクト部２１と、パラメータ格納部２２と、回転行列生成部２３と、距離値設定部２４と、注視点制御部２５と、方向制御部２６と、映像処理部２７と、映像比較部２８とを備える。

ロボットカメラ１０は、３次元空間中の被写体の多視点映像を撮影する。また、ロボットカメラ１０は、雲台に設置されたロータリエンコーダからカメラ姿勢（雲台のパン角度及びチルト角度）を取得する。ロボットカメラ１０は、キャリブレーション時には、外部パラメータ（回転行列及び並進ベクトル）を算出する。

マスターカメラセレクト部２１は、ユーザーからの指示により、ｎ台のロボットカメラ１０から１台のロボットカメラをマスターカメラ（１０Ｍと表記する）として選択する。以下、マスターカメラ１０Ｍを除く他のロボットカメラをスレーブカメラ（１０Ｓと表記する）と称する。

パラメータ格納部２２は、ロボットカメラ１０のキャリブレーション時に、ロボットカメラ１０から初期パラメータを取得し、格納する。ここで、初期パラメータとは、初期の外部パラメータである回転行列Ｒ_０ｍ及び並進ベクトルＴ_ｍと、初期のエンコーダ値として得られるロボットカメラ１０の雲台のパン角度ｐ_０ｍ及びチルト角度ｔ_０ｍを含み、さらに、初期の内部パラメータＡ_ｍや、初期のエンコーダ値として得られるズーム値ｚ_０ｍ、フォーカス値ｆ_０ｍ、及びアイリス値ｉ_０ｍを含めてもよい。ここで、添え字のｍは、カメラ番号１〜ｎを表す。また、マスターカメラ１０Ｍのパラメータについて言及する場合には添え字をＭと表記し、スレーブカメラ１０Ｓのパラメータについて言及する場合には添え字をＳと表記する。

図２は、世界座標系（Ｘ，Ｙ，Ｚ）とカメラ座標系（ｘ，ｙ，ｚ）との関係を示す図である。回転行列Ｒ_０ｍは、世界座標系に対するカメラの姿勢を示すパラメータであり、並進ベクトルＴ_ｍは、世界座標系に対するカメラの位置を示すパラメータである。世界座標系（Ｘ，Ｙ，Ｚ）とカメラ座標系（ｘ，ｙ，ｚ）との関係は、回転行列Ｒ_０ｍ及び並進ベクトルＴ_ｍを用いて、次式（１）で示される。

回転行列生成部２３は、キャリブレーション後に、ユーザーによりマスターカメラ１０Ｍが被写体を捉えるように方向操作されると、マスターカメラ１０Ｍの方向操作後の回転行列を生成する。以下に、回転行列の生成について具体的に説明する。まず、回転行列生成部２３は、パラメータ格納部２２から取得した、マスターカメラ１０Ｍのキャリブレーション時のエンコーダ値（雲台のパン角度ｐ_０Ｍ及びチルト角度ｔ_０Ｍ）と、マスターカメラ１０Ｍの方向操作後のエンコーダ値（雲台のパン角度ｐ_Ｍ及びチルト角度ｔ_Ｍ）とを用いて、次式（２）及び（３）に示すように、カメラキャリブレーション時と方向操作後のパン角度差θ_ｐＭ及びチルト角度差θ_ｔＭを算出する。なお、回転行列生成部２３は、マスターカメラ１０Ｍの方向操作後の雲台のパン角度ｐ_Ｍ及びチルト角度ｔ_Ｍを、マスターカメラ１０Ｍから直接取得してもよいし、パラメータ格納部２２に格納した後に取得してもよい。

方向操作後のマスターカメラ１０Ｍは、カメラ座標系においてｘ軸回りにチルト角度差θ_ｔＭ、ｙ軸回りにパン角度差θ_ｐＭだけ回転したことになるので、回転行列生成部２３は、次式（４）により、カメラ座標系における回転行列Ｒ’_ＣＭを算出する。

次に、回転行列生成部２３は、式（４）で求めたマスターカメラ１０Ｍの方向操作後の回転行列Ｒ’_ＣＭと、パラメータ格納部２２から取得したマスターカメラ１０Ｍのキャリブレーション時の回転行列Ｒ_０Ｍとを用いて、次式（５）により、マスターカメラ１０Ｍの方向操作後の世界座標系における回転行列Ｒ’_Ｍを算出する。

ここで、算出した回転行列Ｒ’_Ｍの３列目のベクトルｅ_ｚＭは、世界座標系におけるカメラ姿勢のｚ軸のベクトルを表す。

回転行列生成部２３は、次式（６）により、ベクトルｅ_ｚＭと世界座標系のＹ軸ｅ_Ｚの外積を求めて正規化し、マスターカメラ１０Ｍのカメラ姿勢のｘ軸のベクトルｅ_ｘＭを算出する。

そして、回転行列生成部２３は、次式（７）により、ベクトルｅ_ｚＭとベクトルｅ_ｘＭの外積を求めて正規化し、マスターカメラ１０Ｍのカメラ姿勢のｙ軸のベクトルｅ_ｙＭを算出する。

最後に、回転行列生成部２３は、次式（８）により、算出したベクトルｅ_ｘＭ，ｅ_ｙＭ及びｅ_ｚＭで規定される、マスターカメラ１０Ｍの方向操作後の回転行列Ｒ_Ｍを生成する。

距離値設定部２４は、ユーザーにより指定された、方向操作後のマスターカメラ１０Ｍから被写体近傍までの距離値ｋを設定する。なお、距離値ｋは、後述する映像比較部２８で生成する判定信号に基づいて適切な距離に調整されるため、高い精度は要求されない。

注視点制御部２５は、パラメータ格納部２２から取得したマスターカメラ１０Ｍの並進行列Ｔ_Ｍと、回転行列生成部２３から取得したマスターカメラ１０Ｍの方向操作後の回転行列Ｒ_Ｍと、距離値設定部２４から取得した距離値ｋとを用いて、次式（９）により、方向操作後のマスターカメラ１０Ｍの注視点Ｐの世界座標を算出する。また、注視点制御部２５は、映像比較部２８で求める判定信号に基づいて距離値ｋを連続的に変化させ、注視点Ｐを光軸に沿って被写体方向に移動させる。

方向制御部２６は、スレーブカメラ１０Ｓの注視点が、注視点制御部２５により設定された注視点（方向操作後のマスターカメラ１０Ｍの注視点）Ｐに一致するように、スレーブカメラ１０Ｓを方向制御する。そのために、まず、パラメータ格納部２２から取得したスレーブカメラ１０Ｓの並進行列Ｔ_Ｓと、注視点制御部２５から取得した注視点Ｐとを用いて、次式（１０）により、スレーブカメラ１０Ｓから注視点Ｐへ向かう単位ベクトルｅ_ｚＳを算出する。

次に、方向制御部２６は、算出した単位ベクトルｅ_ｚＳから、スレーブカメラ１０Ｓが注視点Ｐを向くためのパン角度θ_ＰＳ及びチルト角度θ_ＴＳを求める。まず、パラメータ格納部２２から取得したスレーブカメラ１０Ｓのキャリブレーション時の回転行列Ｒ_Ｓを用いて、次式（１１）により、単位ベクトルｅ_ｚＳを、カメラ座標系におけるスレーブカメラ１０Ｓから注視点Ｐへ向かう単位ベクトルｅ_ＣｚＳに変換する。

そして、方向制御部２６は、次式（１２）〜（１４）により、単位ベクトルｅ_Ｃｚｍから、注視点Ｐを向くためのパン角度θ_ＰＳ、及びチルト角度θ_ＴＳを求め、スレーブカメラ１０Ｓへ送る。なお、方向制御部２６は、複数台のスレーブカメラ１０Ｓに同時に信号を送り、複数台のスレーブカメラ１０Ｓを一斉に方向制御することもできる。

映像処理部２７は、ロボットカメラ１０が撮影した撮影映像を取得し、映像処理を施して出力する。

映像比較部２８は、マスターカメラ１０Ｍの映像とスレーブカメラ１０Ｓの映像とを比較し、撮影映像の画角中央における類似度を算出する。類似度は、例えば、ブロックマッチングや特徴点の特徴量比較、パターン認識などの画像処理技術を用いて求めてもよいし、両者の相関値又は両者の差分値（差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など）の逆数値を算出することにより求めてもよい。そして、映像比較部２８は、類似度を判定し、類似度が高いか否かを示す判定信号を注視点制御部２５に出力する。

注視点制御部２５は、映像比較部２８によりマスターカメラ１０Ｍによる撮影映像とスレーブカメラ１０Ｓによる撮影映像の類似度が高いと判定されるまで、距離値ｋを連続的に変化させ、注視点Ｐを光軸に沿って被写体方向に移動させる。

[多視点ロボットカメラシステムの動作]
次に、このように構成される多視点ロボットカメラシステム１の動作について説明する。図３は、多視点ロボットカメラシステム１の動作を示すフローチャートである。図４は、多視点ロボットカメラシステム１の動作を説明する図である。

まず、被写体の撮影を開始する前に、ステップＳ１０１では、各ロボットカメラ１０によりキャリブレーション用のパターン（例えば、ドットパターンや市松模様）を撮影し、キャリブレーションを行う。すなわち、ロボットカメラ１０は、回転行列Ｒ_０ｍ及び並進ベクトルＴ_ｍを算出し、パラメータ格納部２２により格納する。また、ロボットカメラ１０は、雲台に設置されたロータリエンコーダからエンコーダ値（雲台のパン角度及びチルト角度）を取得し、パラメータ格納部２２により格納する。

ステップＳ１０２では、マスターカメラセレクト部２１により、複数台のロボットカメラ１０から１台のマスターカメラ１０Ｍを選択する。

ステップＳ１０３では、ユーザーにより、図４Ａに示すように、マスターカメラ１０Ｍが被写体Ｏを捉えるようにマスターカメラ１０Ｍの方向が操作される。方向操作により、マスターカメラ１０Ｍの撮影映像ａでは中央に被写体Ｏが映る。一方、スレーブカメラ１０Ｓは方向制御がなされていないので、スレーブカメラ１０Ｓ−１の撮影映像ｂ及びスレーブカメラ１０Ｓ−２の撮影映像ｃには、被写体Ｏが映っていない。

ステップＳ１０４では、マスターカメラ１０Ｍの雲台に設置されたロータリエンコーダにより、マスターカメラ１０Ｍの方向操作後のパン角度及びチルト角度を取得する。

ステップＳ１０５では、パラメータ格納部２２により、マスターカメラ１０Ｍの方向操作後のパン角度及びチルト角度から、マスターカメラ１０Ｍの回転行列Ｒ_Ｍを算出する。

ステップＳ１０６では、距離値設定部２４により、マスターカメラ１０Ｍから被写体Ｏ近傍までの距離値を設定する。

ステップＳ１０７では、注視点制御部２５により、図４Ａに示すように、マスターカメラ１０Ｍの光軸上に初期の注視点Ｐを設定し、この初期の注視点Ｐの世界座標を算出する。

ステップＳ１０８では、方向制御部２６により、図４Ｂに示すように、全てのスレーブカメラ１０Ｓを初期の注視点Ｐに向かうように方向制御する。

ステップＳ１０９では、映像比較部２８により、マスターカメラ１０Ｍによる撮影映像ａとスレーブカメラ１０Ｓ−２による撮影映像ｃとを比較し、画角中央の映像の類似度を判定する。類似度を判定する際には、いずれのスレーブカメラ１０Ｓによる撮影映像を用いることも可能であるが、マスターカメラ１０Ｍと画角（撮像領域）の重なる部分が少ないスレーブカメラ１０Ｓによる撮影映像を用いるのが好適である。類似度が高いと判定した場合には、処理をステップＳ１１１に進め、類似度が高くない又は所定の閾値を超えないと判定した場合には、処理をステップＳ１１０に進める。ここで、類似度が高いか低いかの判定を、類似度が所定の閾値を超えるか超えないかの判定とすることができるのは勿論である。

ステップＳ１１０では、注視点制御部２５により、注視点Ｐを、マスターカメラ１０Ｍの光軸に沿って、被写体Ｏに近づく方向に移動させる。その後、処理を再びステップＳ１０８に戻す。すなわち、マスターカメラ１０Ｍによる撮影映像とスレーブカメラ１０Ｓによる撮影映像について所定の類似度が得られるまで、図４Ｃに示すように、注視点Ｐを被写体Ｏに徐々に近づくように制御する。注視点Ｐの位置が被写体Ｏの位置と一致する時に、マスターカメラ１０Ｍによる撮像映像とスレーブカメラ１０Ｓによる撮影映像との類似度が最も高くなり、スレーブカメラ１０Ｓ−１の撮影映像ｂ及びスレーブカメラ１０Ｓ−２の撮影映像ｃの中央に被写体Ｏが映る。

ステップＳ１１１では、方向制御部２６によるスレーブカメラ１０Ｓの方向制御を終了し、必要に応じて映像処理部２７により映像を処理して出力する。

被写体が移動する場合には、被写体を捉えるようにマスターカメラ１０Ｍを方向操作し、距離値ｋを再指定して同様にスレーブカメラ１０Ｓを方向制御することにより、被写体に追従した多視点映像を撮影することができる。

以上、図１を参照して多視点ロボットカメラシステム１について説明したが、多視点ロボットカメラ制御装置の構成は図１の構成に限られるものではなく、マスターカメラセレクト部２１、パラメータ格納部２２、回転行列生成部２３、距離値設定部２４、注視点制御部２５、方向制御部２６、映像処理部２７、及び映像比較部２８を複数の装置に分散させてもよい。例えば、各ロボットカメラ１０が方向制御部２６を備える構成とすることもできる。この場合、各スレーブカメラ１０Ｓに備えられた方向制御部２６は、注視点制御部２５からマスターカメラ１０Ｍの注視点Ｐを取得し、各スレーブカメラ１０Ｓの方向制御を行う。

このように、実施例１の多視点ロボットカメラシステム１によれば、方向操作されたマスターカメラ１０Ｍの回転行列を算出して距離値ｋに基づく注視点Ｐを設定し、スレーブカメラ１０Ｓを注視点Ｐに向くように方向制御することにより、ロボットカメラ１０と被写体との位置関係における拘束条件がなくなり、様々な用途で多視点映像を撮影することができる。

また、距離値ｋを連続的に変化させていくインターフェースでは、距離値からフォーカス値を算出することが可能であるため、テレビカメラのフォーカス制御インターフェースを利用できる。そのため、既存のテレビカメラと同様のインターフェースで距離値を制御でき、カメラマンが操作に慣れるための負担が少ない。

次に、実施例２の多視点ロボットカメラシステムについて説明する。図５は、実施例２の多視点ロボットカメラシステム２の構成を示すブロック図である。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。実施例２の多視点ロボットカメラシステム２は、実施例１の多視点ロボットカメラシステム１と同じ構成であるが、回転行列生成部２３の機能が相違する。

本実施例の回転行列生成部２３は、方向操作後のマスターカメラ１０Ｍの回転行列Ｒ_Ｍだけでなく、方向制御後のスレーブカメラ１０Ｓの回転行列Ｒ_Ｓも生成する。算出方法は、マスターカメラ１０Ｍの回転行列Ｒ_Ｍと同様であり、スレーブカメラ１０Ｓの方向制御後の回転行列Ｒ_Ｓは、次式（１５）により表される。生成した回転行列は、後処理用として、例えば、３次元モデルを生成する場合などに用いることができる。

図６は、実施例２の多視点ロボットカメラシステム２の動作を示すフローチャートである。本実施例では、方向制御部２６により、全てのスレーブカメラ１０Ｓを注視点に向かうように方向制御し（ステップＳ１０８）、次に、回転行列生成部２３により、スレーブカメラ１０Ｓの回転行列Ｒ_Ｓを算出する（ステップＳ１０９）。映像比較部２８により、マスターカメラによる撮影映像とスレーブカメラによる撮影映像の類似度が高いと判定した場合には（ステップＳ１１０−ＹＥＳ）、回転行列生成部２３により、生成したロボットカメラ１０の回転行列Ｒ_ｍ（Ｒ_Ｍ及びＲ_Ｓ）を出力する（ステップＳ１１２）。

このように、実施例２の多視点ロボットカメラシステム２によれば、回転行列生成部２３により生成した方向制御後の回転行列を応用することができるため、撮影した多視点映像からの３次元モデルの生成等、多視点映像にさまざまな画像処理を行うことができるようになり応用範囲を広げることができる。

次に、実施例３の多視点ロボットカメラシステム３について説明する。図７は、実施例３の多視点ロボットカメラシステム３の構成を示すブロック図である。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。実施例３の多視点ロボットカメラシステム３は、実施例１の多視点ロボットカメラシステム１と比較して、多視点ロボットカメラ制御装置２０がユーザーインターフェース部２９を更に備える点で相違する。

ユーザーインターフェース部２９は、ユーザーによりキーボード等から入力された、ロボットカメラ１０を制御するために必要となる、パン角度、チルト角度、フォーカス値、ズーム値、アイリス値、及びマスターカメラ１０Ｍから被写体までの距離値ｋ等を示す制御信号をロボットカメラ１０へ送出する。ロボットカメラ１０は、カメラ制御部４０から入力される制御信号に基づいて、パン、チルト、ズーム、フォーカス、ズーム、アイリス等の制御を行う。

また、ユーザーインターフェース部２９は、映像処理部２７から出力されるマスターカメラ１０Ｍによる撮影映像とスレーブカメラ１０Ｓによる撮影映像が類似しているか否かをユーザーに視覚的に表示するディスプレイを有する。

図８は、実施例３のユーザーインターフェース部２９による類似度判定を説明する図である。例えば、図８Ａに示すように、マスターカメラ１０Ｍの撮影映像ａとスレーブカメラ１０Ｓ−２の撮影映像ｃとを、２眼立体用ディスプレイ等で交互の走査線に表示させ、ディスプレイ映像ｄを表示する。注視点Ｐと被写体Ｏの位置とが一致すると、図８Ｂに示すようにディスプレイ映像ｄには被写体Ｏが重なって表示される。これにより、ユーザーは、表示されたディスプレイ映像ｄを見て、視覚的に類似度を判定することができる。したがって、映像比較部２８に代えてユーザーインターフェース部２９により類似度を判定することができる。また、映像比較部２８により類似度を判定した後に、ユーザーインターフェース部２９により距離値ｋ（注視点Ｐ）を微調整するようにしてもよい。

なお、ユーザーインターフェース部２９は、類似度の高さを音に変換し、聴覚的に類似度を判定することができるようにしてもよい。また、このとき、類似度の高さを示す音量を、音量ゲージで表示してもよい。

図９は、実施例３の多視点ロボットカメラシステム３の動作を示すフローチャートである。ここでは、映像比較部２８により類似度を判定し、スレーブカメラ１０Ｓの方向制御をした後に、更にユーザーにより距離値ｋ（注視点Ｐ）を微調整する例を示している。すなわち、映像比較部２８により、マスターカメラ１０Ｍによる撮影映像とスレーブカメラ１０Ｓによる撮影映像との類似度が高いと判定した場合には（ステップＳ１０９−ＹＥＳ）、ユーザーインターフェース部２９により、類似度を視覚的及び／又は聴覚的に確認し、必要に応じて距離値ｋを微調整することで、注視点Ｐを微調整する（ステップＳ１１１）。

このように、実施例３の多視点ロボットカメラシステム３によれば、ユーザーインターフェース部２９を備えることにより、映像比較部２８により自動で距離値ｋを調整した後に、更に距離値ｋ微調整することができ、より正確な距離値ｋを用いて多視点を撮影することができる。

ここで、コンピュータを好適に用いて、多視点ロボットカメラ制御装置２０として機能させることができ、そのようなコンピュータは、マスターカメラセレクト部２１と、パラメータ格納部２２と、回転行列生成部２３と、距離値設定部２４と、注視点制御部２５と、方向制御部２６と、映像処理部２７と、映像比較部２８とを機能させるための制御部を、ＣＰＵ（中央演算処理装置）と、記憶部とで実現できる。

また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、マスターカメラセレクト部２１と、パラメータ格納部２２と、回転行列生成部２３と、距離値設定部２４と、注視点制御部２５と、方向制御部２６と、映像処理部２７と、映像比較部２８の有する機能を実現させることができる。

上述の各実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例２の多視点ロボットカメラ制御装置２０において、更にユーザーインターフェース部２９を備える構成とすることができる。

このように、本発明によれば、マスターカメラから被写体までの距離値を正確に求めることができるので、多視点映像を撮影する任意の用途に有用である。

１，２，３ 多視点ロボットカメラシステム
１０ ロボットカメラ
２０ 多視点ロボットカメラ制御装置
２１ マスターカメラセレクト部
２２ パラメータ格納部
２３ 回転行列生成部
２４ 距離値設定部
２５ 注視点制御部
２６ 方向制御部
２７ 映像処理部
２８ 映像比較部
２９ ユーザーインターフェース部

Claims (7)

1. 複数台のロボットカメラを用いて３次元空間中の被写体の多視点映像を撮影する多視点ロボットカメラシステムであって、
   １台のマスターカメラ及び１台以上のスレーブカメラからなる複数台のロボットカメラと、該複数台のロボットカメラを制御する多視点ロボットカメラ制御装置とを備え、
   前記多視点ロボットカメラ制御装置は、
   前記マスターカメラ及び前記スレーブカメラの初期パラメータを格納するパラメータ格納部と、
   前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、
   指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、
   前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、
   前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする多視点ロボットカメラシステム。
2. 前記方向制御部は、前記スレーブカメラから前記方向操作されたマスターカメラの注視点へ向かう単位ベクトルを、前記スレーブカメラの初期パラメータを用いて算出し、該単位ベクトルから、前記スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるパン角度及びチルト角度を算出することを特徴とする、請求項１に記載の多視点ロボットカメラシステム。
3. 前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像の類似度を算出し、該類似度が高いか否かを判定する判定信号を生成する映像比較部を更に備え、
   前記注視点制御部は、前記判定信号に基づいて、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする、請求項１又は２に記載の多視点ロボットカメラシステム。
4. 前記回転行列生成部は、前記方向操作されたマスターカメラの回転行列、及び前記方向制御部により方向制御されたスレーブカメラの回転行列を生成することを特徴とする、請求項１〜３のいずれか一項に記載の多視点ロボットカメラシステム。
5. 前記注視点制御部により決定された注視点の位置を微調整するユーザーインターフェース部を更に備えることを特徴とする、請求項１〜４のいずれか一項に記載の多視点ロボットカメラシステム。
6. ３次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置であって、
   １台のマスターカメラ及び１台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するパラメータ格納部と、
   前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、
   指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、
   前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、
   前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする多視点ロボットカメラ制御装置。
7. ３次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置として機能するコンピュータに、
   １台のマスターカメラ及び１台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するステップと、
   前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成するステップと、
   指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定するステップと、
   記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるステップと、
   前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させるステップと、
   を実行させるためのプログラム。

Images