JP6622621B2 - 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム - Google Patents

Description

本願発明は、多視点カメラを制御する多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムに関する。

従来より、多視点カメラを用いて、ＩＰ（Integral Photography）立体映像を生成する手法が提案されている（例えば、非特許文献１）。この非特許文献１に記載の手法は、図２３のように、多視点カメラＣを水平方向に配置し、この多視点カメラＣで被写体９０の多視点映像を撮影するものである。そして、非特許文献１に記載の手法は、撮影した多視点映像から三次元モデルを生成し、生成した三次元モデルをＩＰ立体映像（要素画像群）に変換している。

"多視点映像からのインテグラル立体像生成手法"、池谷、久富、片山、岩舘、映像情報メディア学会誌、Vol.67、No.7、pp.J229-J240(2013)

しかし、従来技術では、以下のように多視点カメラＣの配置及び撮影手法がＩＰ方式に適しておらず、ＩＰ立体映像の品質が低下するという問題がある。具体的には、従来技術では、多視点カメラＣを水平方向に配置しているため、ＩＰ立体の視域における垂直方向の光線を取得できない。さらに、従来技術では、多視点カメラＣが同一サイズで被写体を撮影するため、画角が狭すぎる場合には画角からＩＰ立体映像の再現領域が外れ、画角が広すぎる場合には画角に含まれる再現領域の解像度が低くなる。
なお、ＩＰ立体映像の再現領域とは、ＩＰ立体表示装置がＩＰ立体映像を再現する実空間内の領域のことである。

そこで、本願発明は、ＩＰ立体映像の品質を向上させる多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムを提供することを課題とする。

前記した課題を解決するため、本願発明に係る多視点カメラ制御装置は、マスターカメラ及びマスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体表示装置で表示するＩＰ立体映像を生成するために、多視点カメラを制御する多視点カメラ制御装置であって、撮影パラメータ設定手段と、再現領域設定手段と、リファレンスカメラ制御手段と、撮影指令手段と、を備える構成とした。

かかる構成によれば、多視点カメラ制御装置は、撮影パラメータ設定手段によって、マスターカメラの画角、及び、被写体の位置である注視点からマスターカメラまでの距離を表すデプスが、撮影パラメータとして予め設定される。

多視点カメラ制御装置は、再現領域設定手段によって、ＩＰ立体表示装置における画面のサイズ、及び、画面に対する被写体の飛び出し量が表示パラメータとして予め設定され、撮影パラメータ及び表示パラメータに基づいて、マスターカメラの画角に収まるようにＩＰ立体映像の再現領域を設定する。
そして、多視点カメラ制御装置は、リファレンスカメラ制御手段によって、ＩＰ立体映像の再現領域がリファレンスカメラの画角に収まるようにリファレンスカメラの姿勢及び画角を制御する。

このように、多視点カメラ制御装置は、リファレンスカメラの画角にＩＰ立体映像の再現領域が収まるので、再現領域が狭すぎる又は広すぎることがない。従って、多視点カメラ制御装置は、リファレンスカメラの画角からＩＰ立体映像の再現領域が外れたり、その画角が広過ぎて再現領域の解像度が低下するのを防止できる。

多視点カメラ制御装置は、撮影指令手段によって、マスターカメラの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラに撮影を指令する。
このとき、多視点カメラが高さ方向で二次元状に配置されているため、ＩＰ立体の視域における垂直方向の光線を取得できる。

なお、本願発明に係る多視点カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。

また、前記した課題を解決するため、本願発明に係る多視点映像撮影システムは、マスターカメラ及びマスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラと、本願発明に係る多視点カメラ制御装置と、を備える構成とした。

かかる構成によれば、多視点映像撮影システムは、多視点カメラが二次元状に配置されているため、ＩＰ立体の視域における垂直方向の光線を取得できる。
さらに、多視点映像撮影システムは、リファレンスカメラの画角からＩＰ立体映像の再現領域が外れたり、その画角が広過ぎて再現領域の解像度が低下するのを防止できる。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムは、ＩＰ立体の視域における水平方向の光線に加えて垂直方向の光線も取得できると共に、ＩＰ立体映像の再現領域が外れることやその解像度が低下するのを防止できるので、ＩＰ立体映像の品質を向上させることができる。

本願発明の実施形態に係る多視点映像撮影システムの説明図である。 図１の多視点カメラで撮影された多視点映像の説明図である。 図１の多視点映像撮影システムの全体構成図である。 図３の多視点カメラの配置を説明する説明図である。 図３の多視点カメラ制御装置の構成を示すブロック図である。 図５の撮影パラメータ設定手段に設定される撮影パラメータの説明図である。 図５の再現領域設定手段に設定される再現領域の説明図であり、再現領域を垂直方向から見た図である。 図７の再現領域を水平方向から見た説明図である。 図５のベースライン算出手段におけるベースラインの算出を説明する説明図である。 図５のリファレンスカメラ制御手段における姿勢の制御を説明する説明図である。 図５のリファレンスカメラ制御手段における画角の制御を説明する説明図である。 図５の多視点カメラ制御装置の動作を示すフローチャートである。 本願発明の実施例において、再現領域及び視域の視覚化を表した画像である。 本願発明の実施例において、ステレオカメラペア数の色による視覚化を表した画像である。 本願発明の実施例において、画角内の再現領域の視覚化を表した画像である。 本願発明の実施例における多視点カメラの配置を表した画像である。 比較例における多視点カメラの配置を表した画像である。 本願発明の実施例において、ステレオカメラペア数と再現領域内の各点の色との関係を表した画像である。 本願発明の実施例において、再現領域内の各点のステレオカメラペア数を表した画像である。 比較例において、再現領域内の各点のステレオカメラペア数を表した画像である。 本願発明の実施例において、多視点映像と再現領域との関係を表した画像である。 比較例において、多視点映像と再現領域との関係を表した画像である。 従来技術の多視点カメラの配置を説明する説明図である。

［多視点映像撮影システムの概略］
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１，図２を参照し、本願発明の実施形態に係る多視点映像撮影システム１（図３）の概略について説明する。

多視点映像撮影システム１は、多視点映像を撮影するものである。このとき、多視点映像撮影システム１は、後記するマスターカメラＣ_Ｍの撮影領域（画角）を考慮したＩＰ立体映像の再現領域αの設定、多視点カメラＣの正六角形状配置、及び、再現領域αに対応した多視点カメラＣの制御を行うことに特徴がある。

まず、図示を省略したカメラマンが、マスターカメラＣ_Ｍを操作し、そのときの撮影パラメータを設定する。続いて、マスターカメラＣ_Ｍの画角を基準として、ＩＰ立体映像の再現領域（以下、「再現領域」）αを設定する。図１のように、再現領域αは、四角錐台の領域となる。

次に、隣接カメラ間のベースラインを等間隔にするため、リファレンスカメラＣ_ｎ（Ｃ_１〜Ｃ_６）を正六角形状に配置する。このとき、隣接カメラ間のベースラインは、三次元モデルを生成する奥行推定処理の許容視差角から算出する。
なお、添え字ｎは、何台目のリファレンスカメラＣ_ｎであるかを表しており、１≦ｎ≦６を満たす整数である。

最後に、再現領域αを形成する四角錐台の８頂点がリファレンスカメラＣ_ｎの画角に収まるように、リファレンスカメラＣ_ｎの姿勢及び画角を制御する。その後、マスターカメラＣ_Ｍ及びリファレンスカメラＣ_ｎで被写体９０を撮影し、多視点映像を生成する。

図２には、正六角形状に配置された多視点カメラＣに対応させて、多視点カメラＣで撮影された多視点映像を図示した。つまり、図２では、中央がマスターカメラＣ_Ｍの撮影映像であり、その周囲がリファレンスカメラＣ_ｎの撮影映像である。図２のように、各リファレンスカメラＣ_ｎの撮影映像には、再現領域αが丁度収まっている。
なお、図２では、説明を分かり易くするため、再現領域αを図示したが、実際の多視点映像には再現領域αが表示されない。

［多視点映像撮影システムの全体構成］
図３を参照し、多視点映像撮影システム１の全体構成について説明する。
図３のように、多視点映像撮影システム１は、多視点カメラＣと、多視点カメラ制御装置２と、三次元モデル生成装置３とを備える。

多視点カメラＣは、マスターカメラＣ_Ｍと、マスターカメラＣ_Ｍの周囲に高さ方向（垂直方向）で二次元状に配置されたリファレンスカメラＣ_ｎとを備える。つまり、多視点カメラＣは、リファレンスカメラＣ_ｎが、水平方位だけでなく、垂直方向にも配置されている。

本実施形態では、多視点カメラＣは、マスターカメラＣ_Ｍと、このマスターカメラＣ_Ｍを中心として正六角形状に配置された６台のリファレンスカメラＣ_ｎとを備える。このとき、多視点カメラＣは、マスターカメラＣ_Ｍと、マスターカメラＣ_Ｍの左右に位置するリファレンスカメラＣ_３，Ｃ_６とを結んだ軸線が水平となるように配置されている。また、多視点カメラＣは、ケーブルを介して、多視点カメラ制御装置２及び三次元モデル生成装置３に接続されている。

マスターカメラＣ_Ｍとは、カメラマンが操作する撮影カメラのことである。つまり、マスターカメラＣ_Ｍは、カメラマンが、マスターカメラＣ_Ｍの姿勢（パン、チルト）、画角、デプスを操作すると、そのときの姿勢、画角及びデプスを撮影パラメータとして、多視点カメラ制御装置２に出力する。そして、マスターカメラＣ_Ｍは、カメラマンがシャッターを切ると、被写体９０を撮影し、その撮影映像を三次元モデル生成装置３に出力する。このとき、マスターカメラＣ_Ｍは、撮影映像を撮影したタイミングを多視点カメラ制御装置２に通知する（撮影通知）。

リファレンスカメラＣ_ｎとは、三次元モデルを生成するときの奥行推定処理において、ステレオマッチングに用いる撮影映像を撮影する撮影カメラのことである。本実施形態では、リファレンスカメラＣ_ｎは、パン、チルト、ズーム（画角）を制御可能な雲台に搭載されている。そして、リファレンスカメラＣ_ｎは、多視点カメラ制御装置２からの制御信号に応じて、姿勢（パン、チルト）及びズーム（画角）を駆動する。さらに、リファレンスカメラＣ_ｎは、多視点カメラ制御装置２から、撮影が指令されたタイミングで被写体９０を撮影し、その撮影映像を三次元モデル生成装置３に出力する。

なお、多視点カメラＣは、図４のように、隣接カメラ間のベースラインＢ、つまり、マスターカメラＣ_Ｍと各リファレンスカメラＣ_ｎとの距離、及び、隣接するリファレンスカメラＣ_ｎ同士の距離を手動で調整する。例えば、多視点カメラＣは、マスターカメラＣ_Ｍ及び各リファレンスカメラＣ_ｎを三脚（不図示）に搭載する。この場合、カメラマン等が、多視点カメラ制御装置２が出力したベースライン情報を参照し、マスターカメラＣ_Ｍ及び各リファレンスカメラＣ_ｎを手動で移動させる。

多視点カメラ制御装置２は、多視点カメラＣが多視点映像を撮影する際、多視点カメラＣ（リファレンスカメラＣ_ｎ）を制御するものである。この多視点カメラ制御装置２の詳細は、後記する。

三次元モデル生成装置３は、マスターカメラＣ_Ｍの撮影映像から、被写体９０の三次元モデルを生成するものである。このとき、三次元モデル生成装置３は、奥行推定処理を行うため、マスターカメラＣ_Ｍと各リファレンスカメラＣ_ｎとの撮影映像を用いて、ステレオマッチングを行う。そして、三次元モデル生成装置３は、生成した三次元モデルを外部（例えば、図示を省略したＩＰ立体映像生成装置）に出力する。

なお、三次元モデル生成装置３は、以下の参考文献に詳細に記載されているため、これ以上の説明を省略する。
参考文献：“多視点映像からのインテグラル立体像生成手法”、池谷、久富、片山、岩舘、映像情報メディア学会誌、Vol.67、No.7、pp.J229-J240(2013)

［多視点カメラ制御装置の構成］
図５を参照し、多視点カメラ制御装置２の構成について説明する。
図５のように、多視点カメラ制御装置２は、撮影パラメータ設定手段２０と、再現領域設定手段２２と、ベースライン算出手段２４と、リファレンスカメラ制御手段２６と、撮影指令手段２８とを備える。

＜撮影パラメータ設定手段＞
撮影パラメータ設定手段２０は、マスターカメラＣ_Ｍから、マスターカメラＣ_Ｍの姿勢、画角θ及びデプスｄが、マスターカメラＣ_Ｍに関する撮影パラメータとして設定（入力）されるものである。そして、撮影パラメータ設定手段２０は、設定された撮影パラメータを再現領域設定手段２２に出力する。

すなわち、カメラマンは、図６のように、マスターカメラＣ_Ｍを操作して、被写体９０を撮影するときのマスターカメラＣ_Ｍの姿勢（パン、チルト）、画角θ及びデプスｄを決定する。すると、マスターカメラＣ_Ｍが、その姿勢、画角θ及びデプスｄを撮影パラメータ設定手段２０に出力する。
なお、デプスｄとは、マスターカメラＣ_Ｍと注視点Ｇとの距離のことである。
また、注視点Ｇとは、被写体９０の位置のことである。つまり、注視点Ｇは、ＩＰ立体映像として主に表示したい被写体９０の位置を表す。

＜再現領域設定手段＞
再現領域設定手段２２は、撮影パラメータ設定手段２０から入力された撮影パラメータ、及び、予め設定された表示パラメータに基づいて、マスターカメラＣ_Ｍの画角θに収まるように再現領域αを設定するものである。

まず、再現領域設定手段２２は、外部（例えば、映像制作者）から表示パラメータが設定（入力）される。
表示パラメータは、ＩＰ立体映像を表示するＩＰ立体表示装置（不図示）に関するパラメータである。この表示パラメータは、ＩＰ立体映像を表示するＩＰ立体空間において定義されている。また、表示パラメータには、ＩＰ立体表示装置の再現範囲Ｄと、ＩＰ立体表示装置の視域Ωと、ＩＰ立体表示装置における画面のサイズＷと、ＩＰ立体表示装置の画面からの被写体９０の飛び出し量Δとが含まれる

次に、再現領域設定手段２２は、ＩＰ立体空間と実空間との縮尺比ｋを以下の式（１）により算出する。この式（１）は、撮影パラメータに含まれる画角θ及びデプスｄと、撮影パラメータに含まれる画面のサイズＷ及び飛び出し量Δとで表される。従って、再現領域設定手段２２は、撮影パラメータ及び表示パラメータを式（１）に代入することで、縮尺比ｋを算出できる。

次に、再現領域設定手段２２は、図７のように、算出した縮尺比ｋを用いて、ＩＰ立体空間内で定義された表示パラメータを実空間の縮尺（スケール）に変換することで、実空間（世界座標系）内に再現領域α´を設定する。図７の再現領域α´は、マスターカメラＣ_Ｍの光軸と平行な面上において、平面状の領域として設定される。例えば、マスターカメラＣ_Ｍの光軸が水平方向を向いている場合、水平面上で再現領域α´が設定される。

なお、図７では、説明をわかりやすくするために、再現領域α´を中太線で図示し、ＩＰ立体表示装置における画面βを太線で図示した。
また、実空間とは、世界座標系と同意である。
また、世界座標系とは、任意位置を原点として設定された三次元座標系のことである。

実空間内では、再現領域α´の奥行き範囲がｋＤで表され、実空間での飛び出し量はｋΔで表される。従って、再現領域α´の奥再現領域幅ｋＷ_Ｒが以下の式（２）で表され、手前再現領域幅ｋＷ_Ｆが以下の式（３）で表される。

図８のように、実際には、マスターカメラＣ_Ｍが垂直方向にも画角を有する。そこで、再現領域設定手段２２は、マスターカメラＣ_Ｍの垂直方向の画角も考慮して、四角錐台状の再現領域αに設定する。すなわち、再現領域設定手段２２は、平面状の再現領域α´を四角錐台状の再現領域αに拡張する。このようにして、多視点カメラ制御装置２は、マスターカメラの画角θに再現領域αを適合する。

その後、再現領域設定手段２２は、設定した再現領域を表す再現領域情報と、縮尺比ｋと、撮影パラメータと、表示パラメータとをベースライン算出手段２４に出力する。

＜ベースライン算出手段＞
ベースライン算出手段２４は、多視点カメラＣにおける隣接カメラ間のベースライン（隣接カメラ間の距離）を、予め設定された許容視差角から算出するものである。
なお、許容視差角とは、高精度な三次元モデルを生成するために許容される隣接カメラの輻輳角のことであり、例えば、奥行推定処理（奥行推定アルゴリズム）に応じて、適切な値で予め設定される。

本実施形態では、ベースライン算出手段２４は、図９のように、隣接カメラ間のベースラインＢを式（４）により算出する。この式（４）は、許容視差角Φと、撮影パラメータに含まれるデプスｄと、撮影パラメータに含まれる再現範囲Ｄ及び飛び出し量Δとで表される。従って、ベースライン算出手段２４は、許容視差角Φと、撮影パラメータと、表示パラメータとを式（４）に代入することで、ベースラインＢを算出できる。

そして、ベースライン算出手段２４は、算出したベースラインＢを表したベースライン情報を外部（例えば、図示を省略したディスプレイ）に出力する。すると、カメラマン等が、ベースライン情報に従って、マスターカメラＣ_Ｍ及び各リファレンスカメラＣ_ｎを手動で配置する。

ここで、図９のように、ベースラインＢは、視域Ωの外周面が多視点カメラＣに達したときに形成される円錐体の底面の半径ｒ以上となる必要がある。このようにベースラインＢを算出することで、ＩＰ立体映像において、円錐体状の視域ΩをベースラインＢに包含できる。

なお、ベースラインＢが半径ｒ未満の場合、各リファレンスカメラＣ_ｎが配置された正六角形の６頂点を中心として、一辺の長さがベースラインＢと等しくなる正六角形を新たに求める。そして、新たな正六角形の各頂点にリファレンスカメラＣ_ｎを追加して配置する。この場合、リファレンスカメラＣ_ｎは、内側の正六角形に６台、外側の正六角形に１２台、合計１８台が二重の正六角形状に配置されることになる。

その後、ベースライン算出手段２４は、再現領域設定手段２２から入力された再現領域情報と、縮尺比ｋと、撮影パラメータと、表示パラメータとをリファレンスカメラ制御手段２６に出力する。
なお、図５では、ベースラインＢを手動で設定するため、ベースライン算出手段２４からリファレンスカメラＣ_ｎへの出力を破線で図示した。

＜リファレンスカメラ制御手段＞
リファレンスカメラ制御手段２６は、再現領域αがリファレンスカメラＣ_ｎの画角に収まるように、リファレンスカメラＣ_ｎの姿勢及び画角を制御するものである。
まず、リファレンスカメラ制御手段２６は、再現領域情報から、再現領域αを形成する四角錐台における頂点ｇ_ｋの世界座標を取得する。添え字ｋは、８個の頂点のうち、何れの頂点であるかを表しており、１≦ｋ≦８を満たす整数である。

ここで、カメラ座標系ｘ_ｎ及び世界座標系ｘの関係は、以下の式（５）で表される。
なお、カメラ座標系ｘ_ｎとは、リファレンスカメラＣ_ｎの主点を原点とした三次元座標系のことである。
また、Ｒ_０ｎはカメラキャリブレーション時のリファレンスカメラＣ_ｎの回転行列を表し、ｔ_０ｎはカメラキャリブレーション時のリファレンスカメラＣ_ｎの並進ベクトルを表す。

従って、リファレンスカメラ制御手段２６は、以下の式（６）を用いて、各リファレンスカメラＣ_ｎのカメラ座標系において、原点から頂点ｇ_ｋまでの単位ベクトルＯ_ｎｋを算出する。
また、Ｒ_ｎはリファレンスカメラＣ_ｎの回転行列を表し、ｔ_ｎはリファレンスカメラＣ_ｎの並進ベクトルを表す。

次に、リファレンスカメラ制御手段２６は、図１０のように、再現領域αの全頂点ｇ_ｋが各リファレンスカメラＣ_ｎの画角に収まるように、各リファレンスカメラＣ_ｎのパン値Ｐ_ｎ及びチルト値Ｔ_ｎを算出する。本実施形態では、パン値Ｐ_ｎは、リファレンスカメラＣ_ｎが再現領域αの各頂点ｇ_ｋを向いたときのパン最大値とパン最小値との平均から求める（チルトＴ_ｎも同様）。

ここで、式（６）の単位ベクトルＯ_ｎｋは、以下の式（７）のように、水平方向成分ｅ_ｎｋ１、垂直方向成分ｅ_ｎｋ２、奥行方向成分ｅ_ｎｋ３からなる三次元方向成分に分解できる。従って、リファレンスカメラ制御手段２６は、以下の式（８）及び式（９）を用いて、各リファレンスカメラＣ_ｎのパン値Ｐ_ｎ及びチルト値Ｔ_ｎを算出できる。
なお、Ｐ_０ｎはカメラキャリブレーション時のリファレンスカメラＣ_ｎのパン値を表し、Ｔ_０ｎはカメラキャリブレーション時のリファレンスカメラＣ_ｎのチルト値を表す。また、Ｍａｘは最大値を選択する関数を表し、Ｍｉｎは最小値を選択する関数を表す。また、添え字Ｔは、転置を表す。

次に、リファレンスカメラ制御手段２６は、図１１のように、各リファレンスカメラＣ_ｎがパン値Ｐ_ｎ及びチルト値Ｔ_ｎの姿勢になったとき、再現領域αの全頂点ｇ_ｋが各リファレンスカメラＣ_ｎの画角θ_ｎに収まるように画角θ_ｎを算出する。

具体的には、リファレンスカメラ制御手段２６は、下記の式（１０）を用いて、各リファレンスカメラＣ_ｎの画角θ_ｎを算出する。この式（１０）は、ＩＦ直後の条件式が成立する場合、ＩＦの下段に記載された演算を行い、条件式が成立しない場合、ＥＬＳＥの下段に記載された演算を実行することを示す。

式（１０）の条件式では、リファレンスカメラＣ_ｎが再現領域αの各頂点ｇ_ｋを向いた際、パン最大値及びパン最小値の差と、チルトの最大値及び最小値の差とを比較している。言い換えるなら、式（１０）の条件式では、あるリファレンスカメラＣ_ｎから再現領域αを見た際、再現領域αの幅又は高さの何れが大きくなるかを比較している。このとき、再現領域αの高さに関しては、リファレンスカメラＣ_ｎのアスペクト比（１６：９）を加味している。

ここで、式（１０）の条件式が成立する場合、再現領域αの幅が高さ以上と言えるので、この再現領域αの幅を基準として、リファレンスカメラＣ_ｎの画角θ_ｎを算出する。
一方、式（１０）の条件式が成立しない場合、再現領域αの高さが幅以上と言えるので、この再現領域αの高さを基準として、リファレンスカメラＣ_ｎの画角θ_ｎを算出する。

その後、リファレンスカメラ制御手段２６は、算出した姿勢（パン値Ｐ_ｎ、チルト値Ｔ_ｎ）及び画角θ_ｎの制御信号を生成し、生成した制御信号をリファレンスカメラＣ_ｎに出力する。

＜撮影指令手段＞
撮影指令手段２８は、マスターカメラＣ_Ｍの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラＣ_ｎに撮影を指令するものである。本実施形態では、撮影指令手段２８は、マスターカメラＣ_Ｍから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣ_ｎに指令する。

［多視点カメラ制御装置の動作］
図１２を参照し、多視点カメラ制御装置２の動作について説明する（適宜図５参照）。
図１２のように、多視点カメラ制御装置２は、撮影パラメータ設定手段２０によって、マスターカメラＣ_Ｍのパン、チルト、画角θ、デプスｄ等の撮影パラメータを設定する（ステップＳ１）。

多視点カメラ制御装置２は、再現領域設定手段２２によって、ＩＰ立体表示装置の再現範囲Ｄ、視域Ω、画面のサイズＷ、飛び出し量Δ等の表示パラメータを設定する。
次に、多視点カメラ制御装置２は、再現領域設定手段２２によって、ＩＰ立体空間と実空間との縮尺比ｋを前記式（１）により算出する。
次に、多視点カメラ制御装置２は、縮尺比ｋを用いて、再現領域αを設定する（ステップＳ２）。

多視点カメラ制御装置２は、ベースライン算出手段２４によって、前記式（４）を用いて、多視点カメラＣにおける隣接カメラ間のベースラインＢを算出する（ステップＳ３）。

多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、再現領域αの各頂点ｇ_ｋの世界座標を取得する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、前記式（６）を用いて、リファレンスカメラＣ_ｎから頂点ｇ_ｋまでの単位ベクトルＯ_ｎｋを算出する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、前記式（７）〜式（９）を用いて、各リファレンスカメラＣ_ｎのパン値Ｐ_ｎ及びチルト値Ｔ_ｎを算出する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、前記式（１０）を用いて、リファレンスカメラＣ_ｎの画角θ_ｎを算出する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、算出したリファレンスカメラＣ_ｎのパン値Ｐ_ｎ、チルト値Ｔ_ｎ及び画角θ_ｎの制御信号をリファレンスカメラＣ_ｎに出力する（ステップＳ４）。

多視点カメラ制御装置２は、撮影指令手段２８によって、マスターカメラＣ_Ｍから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣ_ｎに指令する（ステップＳ５）。

［作用・効果］
以上のように、本願発明の実施形態に係る多視点映像撮影システム１は、多視点カメラＣが正六角形状に配置されているので、ＩＰ立体の視域における垂直方向の光線も取得することができる。
さらに、多視点映像撮影システム１は、再現領域αが丁度収まるようにリファレンスカメラＣ_ｎの姿勢及び画角θ_ｎを制御するので、リファレンスカメラＣ_ｎの画角θ_ｎから再現領域αが外れたり、画角θ_ｎが広すぎて再現領域αの解像度が低下するのを防止できる。
さらに、多視点映像撮影システム１は、許容視差角Φから、隣接カメラ間のベースラインＢを算出するので、ステレオカメラペア数を十分に確保でき、奥行推定処理の精度が低下しない。
このようにして、多視点映像撮影システム１は、ＩＰ立体映像の品質を向上させることができる。

なお、ステレオカメラペア数とは、奥行推定処理でステレオマッチングを行う際、対応点を取得可能な撮影映像を撮影したマスターカメラＣ_ＭとリファレンスカメラＣ_ｎとのペアの数のことである。

［変形例］
以上、本願発明の実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、多視点カメラが正六角形状に配置されることとして説明したが、本願発明は、多視点カメラが四角形状、円状、又は、正多角形状に配置されてもよい。

前記した実施形態では、正六角形状に配置された多視点カメラにおいて、マスターカメラと、マスターカメラの左右に位置するリファレンスカメラとを結んだ軸線が水平であることとして説明したが、この軸線が水平にならずともよい。

前記した実施形態では、多視点映像撮影システムがＩＰ方式に対応することとして説明したが、本願発明は、これに限定されない。例えば、多視点映像撮影システムは、レンチュキュラ等の一次元方向のみに運動視差を有する立体方式にも対応できる。この場合、多視点映像撮影システムは、多視点カメラを一次元方向（例えば、水平方向）に配置すればよい。

前記した実施形態では、隣接カメラ間のベースラインを手動で調整することとして説明したが、本願発明は、これに限定されない。例えば、多視点カメラは、各リファレンスカメラを支持すると共に、ベースラインを調整可能な支持機構（不図示）に搭載する。そして、支持機構は、多視点カメラ制御装置２からのベースライン情報を参照し、隣接カメラ間のベースラインを自動的に調整する。

前記した実施形態では、多視点カメラ制御装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、多視点カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

多視点映像撮影システムと従来手法との比較実験を、シミュレータにより行った。
このシミュレータは、再現領域及び視域の視覚化（図１３）、ステレオカメラペア数の色による視覚化（図１４）、及び、画角内の再現領域の視覚化（図１５）を行うことができる。

この比較実験では、シミュレータの仮想空間内に多視点カメラ及び被写体（人物）を配置した。この被写体には、光線の取得を検証するため、その頭頂部に凹部を意図的に形成した。そして、この比較実験では、シミュレータの多視点カメラで多視点映像を生成し、この多視点映像に奥行推定処理して、被写体の３次元モデルを生成した。

多視点映像撮影システム（以後、「実施例」）では、図１６の太枠内のように、多視点カメラを正六角形状に配置した。従来手法（以後、「比較例」）では、図１７の太枠内のように、多視点カメラを水平方向に配置した。その他、比較実験のシミュレーション環境は、以下のとおりである。

多視点カメラの台数 ７台
被写体までの距離（デプスｄ） ５ｍ
ベースラインＢ １．２６ｍ
画角θ ５９°
許容視差角Φ ２０°
再現範囲Ｄ １０ｃｍ
視域Ω ３０°
画面サイズＷ ２４．３１ｃｍ（１１インチ）
飛び出し量Δ ５ｃｍ

最初に、ステレオカメラペア数の比較実験について説明する。
図１８のように、この比較実験では、再現領域におけるステレオカメラペア数を色で表現した。つまり、赤色の場合はステレオカメラペア数が０であり、黄色から青色になるにつれてステレオカメラペア数が増加し、青色のときステレオカメラペア数が最大で１２となる。

図１９は、実施例において、再現領域内の各点を撮影したステレオカメラペア数を、図１８の色で表現したものである。図１９のように、実施例では、被写体部分のステレオカメラペア数が１２であり、比較例よりも多くなることがわかった。その結果、実施例では、奥行推定の精度が低下しないと考えられる。さらに、実施例では、被写体の頭頂部に設けられた凹部を目視できたので、垂直方向の光線を取得できることもわかった。

図２０は、比較例において、再現領域内の各点を撮影したステレオカメラペア数を、図１８の色で表現したものである。図２０のように、比較例では、被写体部分のステレオカメラペア数が６であり、実施例よりも少なくなることがわかった。その結果、比較例では、奥行推定の精度が低下すると考えられる。さらに、比較例では、被写体の頭頂部に設けられた凹部を目視できなかったので、垂直方向の光線を取得できないこともわかった。

次に、再現領域の比較実験についてを説明する。
図２１は、実施例において、多視点映像と再現領域との関係を表したものである。図２１では、図１のマスターカメラＣ_Ｍの撮影映像が一番左側であり、リファレンスカメラＣ_３の撮影映像が左から２番目であり、リファレンスカメラＣ_６の撮影映像が左から３番目である。また、図２１では、リファレンスカメラＣ_２の撮影映像が左から４番目であり、リファレンスカメラＣ_１の撮影映像が左から５番目であり、リファレンスカメラＣ_５の撮影映像が左から６番目であり、リファレンスカメラＣ_４の撮影映像が一番右側である。

図２２は、比較例において、多視点映像と再現領域との関係を表したものである。図２２では、マスターカメラＣ_Ｍの撮影映像が一番左側であり、左から２番目以降がリファレンスカメラの撮影映像である。

実施例では、図２１のように、再現領域がリファレンスカメラの画角に丁度収まることがわかった。一方、比較例では、図２２のように、多視点映像から再現領域がはみ出しており、再現領域がリファレンスカメラの画角に収まらないことがわかった。

１ 多視点映像撮影システム
２ 多視点カメラ制御装置
３ 三次元モデル生成装置
２０ 撮影パラメータ設定手段
２２ 再現領域設定手段
２４ ベースライン算出手段
２６ リファレンスカメラ制御手段
２８ 撮影指令手段
Ｃ 多視点カメラ
Ｃ_Ｍ マスターカメラ
Ｃ_ｎ（Ｃ_１〜Ｃ_６） リファレンスカメラ

Claims (6)

1. マスターカメラ及び前記マスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体表示装置で表示するＩＰ立体映像を生成するために、前記多視点カメラを制御する多視点カメラ制御装置であって、
   前記マスターカメラの画角、及び、前記被写体の位置である注視点から前記マスターカメラまでの距離を表すデプスが、撮影パラメータとして予め設定される撮影パラメータ設定手段と、
   前記ＩＰ立体表示装置における画面のサイズ、及び、前記画面に対する前記被写体の飛び出し量が表示パラメータとして予め設定され、前記撮影パラメータ及び前記表示パラメータに基づいて、前記マスターカメラの画角に収まるように前記ＩＰ立体映像の再現領域を設定する再現領域設定手段と、
   前記ＩＰ立体映像の再現領域が前記リファレンスカメラの画角に収まるように前記リファレンスカメラの姿勢及び画角を制御するリファレンスカメラ制御手段と、
   前記マスターカメラの撮影に同期させて、姿勢及び画角が制御された前記リファレンスカメラに撮影を指令する撮影指令手段と、
   を備えることを特徴とする多視点カメラ制御装置。
2. 前記マスターカメラ及び前記マスターカメラを中心として正六角形状に配置された前記リファレンスカメラからなる前記多視点カメラにおける隣接カメラ間のベースラインを、予め設定された許容視差角から算出するベースライン算出手段、をさらに備えることを特徴とする請求項１に記載の多視点カメラ制御装置。
3. 前記再現領域設定手段は、ＩＰ立体空間と実空間との縮尺比ｋを、前記撮影パラメータに含まれる画角θ及びデプスｄ、前記ＩＰ立体空間で定義された前記表示パラメータに含まれる画面のサイズＷ及び飛び出し量Δが含まれる式（１）により算出し、
   算出した前記縮尺比ｋにより前記ＩＰ立体空間で定義された表示パラメータを前記実空間の縮尺に変換することで、前記ＩＰ立体映像の再現領域を設定することを特徴とする請求項１又は請求項２に記載の多視点カメラ制御装置。
4. 前記リファレンスカメラ制御手段は、
   ｎ台目の前記リファレンスカメラが前記ＩＰ立体映像の再現領域でｋ個目の頂点ｇ_ｋを向いたときの単位ベクトルＯ_ｎｋを、前記リファレンスカメラの回転行列Ｒ_ｎ及び並進ベクトルｔ_ｎが含まれる式（６）により算出し、
   前記リファレンスカメラの姿勢としてのパン値Ｐ_ｎ及びチルト値Ｔ_ｎを、前記単位ベクトルＯ_ｎｋを三次元方向成分ｅ_ｎｋ１，ｅ_ｎｋ２，ｅ_ｎｋ３で表した式（７）、カメラキャリブレーション時の前記リファレンスカメラのパン値Ｐ_０ｎが含まれる式（８）、及び、カメラキャリブレーション時の前記リファレンスカメラのチルト値Ｔ_０ｎが含まれる式（９）により算出し、
   前記リファレンスカメラの画角θ_ｎを式（１０）により算出する
   ことを特徴とする請求項１から請求項３の何れか一項に記載の多視点カメラ制御装置。
5. コンピュータを、請求項１から請求項４の何れか一項に記載の多視点カメラ制御装置として機能させるための多視点カメラ制御プログラム。
6. マスターカメラ及び前記マスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラと、
   請求項１から請求項４の何れか一項に記載の多視点カメラ制御装置と、
   を備えることを特徴とする多視点映像撮影システム。