JP7154841B2 - 撮像システム、画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、仮想視点画像を生成する際に用いる複数視点画像を取得するシステム及び仮想視点画像を生成する技術に関する。

被写体（オブジェクト）を複数のカメラで撮像して得られた画像（複数視点画像）から、当該オブジェクトを任意の仮想視点から見た際に得られる画像（仮想視点画像）を生成する技術が知られている。そして、仮想視点画像の品質は、オブジェクトを撮像したカメラの台数と複数視点画像の品質に依存する。例えば、サッカーやラグビーといったスポーツの試合では、選手等のオブジェクトが競技フィールドなどの広い撮像空間に散らばって動いている。このような撮像シーンにおいて、複数のカメラをフィールドの中央に向けて設置した場合、フィールド中央にいる選手等に関しては高品質な仮想視点画像を生成できる。一方で、フィールドの端部にいる選手等に関しては、当該選手等をその画角内に収めているカメラが限られるため、仮想視点画像の生成に必要な複数視点画像が得られない又は低品質の仮想視点画像しか得られない可能性がある。設置する全てのカメラの画角をフィールド全体が収まるように設定すれば、選手等のフィールド上の位置に拠らず十分な複数視点画像を得ることができ、一定品質の仮想視点画像が生成可能ではある。しかし、その場合の各撮像画像に写る選手等のサイズは小さく、そのテクスチャは低解像度になってしまうため、得られる仮想視点画像におけるオブジェクトのテクスチャも低解像度となってしまう。

この点、特許文献１には、特定のオブジェクトを追った非固定のズームカメラを追加的に設け、当該特定のオブジェクトについて解像度の高いテクスチャを追加で用いることで高品質な仮想視点画像を生成する方法が記載されている。

特開２０１２－１８５７７２号公報

上記特許文献１に記載の技術では、非固定ズームカメラで追った特定オブジェクトについてしか仮想視点画像の品質を向上させることができない。そのため、特許文献１の技術を適用して、フィールド上に多数の選手等のオブジェクトが存在するスポーツのシーンなどを対象に十分な複数視点画像を得ようとすれば、膨大な数のカメラが必要になってしまう。実際には、スタジアムなどに設置可能なカメラの台数には物理的なスペースやコストなどの面で制限があることから、多くのオブジェクトが存在するような撮像シーンにも、より少ないカメラ台数で対応可能な技術が望まれる。

本発明に係るシステムは、複数の撮像手段により取得された複数の画像に基づいてオブジェクトの３次元形状データを生成するために用いられるシステムであって、撮像空間を異なる方向から撮像するように設置された複数の撮像手段を有し、前記複数の撮像手段には、第一の撮像手段と、前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする、前記第一の撮像手段の２回対称の位置又は前記２回対称の位置に前記複数の撮像手段の中で最も近い位置に設置された第二の撮像手段、とを含む少なくとも１組の撮像手段が含まれ、前記第一の撮像手段と前記第二の撮像手段とでは、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なることを特徴とする。

本発明によれば、限られたカメラ台数で高品質な仮想視点画像を生成することができる。

（ａ）及び（ｂ）は、オブジェクトを異なる視点から撮像するためのカメラ配置の一例を示す図 （ａ）は互いに対向する位置にあるカメラが同じ画角を持つ場合に得られる撮像画像を説明する図、（ｂ）は互いに対向する位置にあるカメラが異なる画角を持つ場合に得られる撮像画像を説明する図 システム構成の一例を示す図 （ａ）は制御装置のハードウェア構成の一例を示す図、（ｂ）は制御装置のソフトウェア構成の一例を示す図 実施形態２に係る、画像処理システムの制御の流れを示すフローチャート 各カメラの配置の一例を示す図 （ａ）及び（ｂ）は、実施形態３の概要を説明するためのカメラの配置の一例を示す図 実施形態３に係る、画像処理システムの制御の流れを示すフローチャート

以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

実施形態１

本実施形態では、撮像画像におけるオブジェクトサイズが小さいことに由来する仮想視点画像の解像感の低下抑制、及びカメラの数が少ないことに由来する仮想視点画像の品質低下が起きる領域の削減を考慮した、システム構成の決定方法について説明する。以下では、仮想視点画像における解像感の低下抑制を「画質の向上」、仮想視点画像の品質低下が起きる領域の削減を「視点の自由度の向上」、とそれぞれ表現する場合がある。なお、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想視点に対応するカメラ（仮想カメラ）の位置及び姿勢を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。また、仮想視点画像は、動画であっても、静止画であってもよい。

図１は、本実施形態に係る、オブジェクトを異なる視点から撮像するためのカメラ配置の一例を示す図であり、（ａ）は三次元の俯瞰図、（ｂ）は真上から見た二次元平面図を示している。このカメラ配置では、７台のカメラ１１～１７で撮像を行って、仮想視点画像を生成するための複数視点画像を取得する。７台という台数は一例であり、サッカーやラグビーといった広大な空間を対象に撮像を行う場合にはさらに多くのカメラが設置されることはいうまでもない。図１（ａ）及び（ｂ）に示すように、カメラ１１～１７は、撮像空間の全周を取り囲むように配置されている。また、カメラ１１～１７は、撮像フィールド（撮像空間の底面）１０上に設定される任意の注視点１８に向けて設置されている。ここで、注視点とは、カメラが注視する撮像空間内の任意の点（カメラの視線方向）を示すものであり、図１に示すカメラ１１～１７は、同一の注視点１８を向いている。いま、注視点１８は、各カメラの光軸と底面１８との交点に位置する。注視点の位置は任意であり、例えば撮像空間内の空中に設定してもよい。

従来であれば、視点の自由度向上のために、カメラ１１～１７のすべてに対し、撮像空間のおおよそ全体が視野内に入るような広い画角を設定していた。そのため、複数のカメラにより得られた複数視点画像における人物などのオブジェクトのテクスチャは低解像度となり、その結果、生成した仮想視点画像も低画質なものしか得られなかった。図２（ａ）は、カメラ１１とその対向する位置にあるカメラ１５とが同じ画角を持つ場合に得られる撮像画像を説明する図である。両カメラの画角が同一である場合、カメラ１１では撮像画像２４が得られ、カメラ１５では撮像画像２５が得られる。この場合、双方の撮像画像２４及び２５に写る人物オブジェクト２１～２３の数や種類はおおよそ同一（図２（ａ）の例では完全に一致）となる。さらに、視体積公差法などの手法によってオブジェクトの三次元形状データを生成する場合、撮像画像２４に基づくシルエット画像２６と撮像画像２５に基づくシルエット画像２７とは、左右が反転しているだけで、そこから得られる情報に大きな違いはない。そのため、カメラ１１（又はカメラ１５）で得られた撮像画像を除外して三次元形状データの生成を行ったとしても、除外しない場合に比べて、生成されるオブジェクトの三次元形状データの精度はそれほど変わらない。

上記従来技術に対し本実施形態では、注視点を挟んで向かい合って設置されているカメラ同士に異なる画角を設定し、一方のカメラには広い画角を、もう一方のカメラには狭い画角を設定する。具体的には、カメラ１１、１２、１３、１４、１６及び１７に対しては、撮像フィールド１０を含む撮像空間のおおよそ全体が視野に入るような画角を設定する。そして、カメラ１１と注視点１８とを結ぶ線（以下、「基線」と呼ぶ。）１９上の対向する位置に存在するカメラ１５に対しては、カメラ１１と比べて狭い画角を設定する。図２（ｂ）は、カメラ１１の対向する位置にあるカメラ１５が、カメラ１１よりも狭い画角を持つ場合に得られる撮像画像を説明する図である。この場合、カメラ１５ではオブジェクトがより拡大された（つまり、テクスチャの解像度が高い）撮像画像２８とそのシルエット画像２９が得られる。このように、注視点を挟んで向かい合って設置されるカメラ同士には異なる画角を設定することにより、生成されるオブジェクトの三次元形状データの精度を低下させることなく、当該オブジェクトについての解像度の高いテクスチャ画像を取得することができる。その結果、視点の自由度を担保しながら高画質の仮想視点画像を生成することが可能となる。

本実施形態では、設置するカメラが７台の場合を例に説明を行ったが、カメラ台数は少なくとも２台以上であればよく、注視点を挟んで向かい合う（より望ましくは、注視点を中心軸として２回対称の位置に存在する）１組のカメラが含まれていればよい。このとき、各カメラは同一の注視点を向いている必要があるが、およそ同一の注視点を向いていると評価可能な範囲内の微差は許容される。なお、カメラ群単位でまったく異なる注視点が設定されているような場合は、注視点毎に本実施形態を適用可能である。例えば、サッカーのフィールドの左半分と右半分をそれぞれ担当する２つのカメラ群が存在し、カメラ群毎に別個の注視点（例えばそれぞれのゴール前付近）が設定されている場合は、それぞれの注視点に対応するカメラ群単位で本実施形態を適用すればよい。

また、本実施形態では、対の関係になる１組のカメラは、注視点を中心として等距離にあるカメラ同士となっているが、注視点からの距離が同じでなくてもよい。さらに、組合せとなるカメラは、注視点を挟んで略対向する位置にあればよい。例えば、図１（ｂ）において、カメラ１７を基準とし、当該カメラ１７と注視点１８とを結ぶ破線で示す基線１９’からわずかにずれた位置に存在するカメラ１３の画角を変更してもよい。どの程度のずれまでを許容するかは、撮像対象となる空間の広さやカメラの設置台数など、種々の条件を加味して決定されることになる。このように、１組のカメラは、あるカメラと、注視点を通り撮像フィールドに対して垂直な軸を中心とする、そのカメラの２回対称の位置又は２回対称の位置に複数のカメラの中で最も近い位置に設置されたカメラと、からなる。そして、必ずしも１組のカメラは、注視点を挟んで対向していなくてもよい。

また、本実施形態では、対の関係にある１組カメラのうちの一方のカメラの画角を、他方のカメラよりも狭くしていたが、これに限定されない。例えば、特性を変更しない方のカメラの画角を標準よりも狭く設定しておき、特性を変更する方のカメラの画角を広くしてもよい。また、特性を変更しない方のカメラの画角はすべて同一である必要はなく、カメラ毎に異なっていてもよい。

また、本実施形態では、オブジェクトのテクスチャ解像度に影響を与えるカメラ特性のパラメータとして画角を変更していたが、変更対象のパラメータは、画角に限られない。オブジェクトのテクスチャ解像度に影響のある他のパラメータ、例えば、焦点距離、撮像センサのサイズ、センサの種類、レンズの種類などでもよい。例えば、焦点距離を長くしたり、レンズを望遠レンズに変更したりすることで、画角を狭くするのと同じ効果が得られる。さらには、４Ｋ対応のカメラから８Ｋ対応のカメラに変更するなどしてもよい。

以上説明した考え方に従って、撮像空間を囲むように設置するカメラの構成を決定することで、カメラ台数を抑えつつ、仮想視点画像の生成における視点の自由度と画質向上とを両立可能な画像処理システムを構築することができる。

実施形態２

実施形態１では、設置するカメラ台数を抑えつつ、仮想視点画像の画質向上と視点の自由度向上とを両立させることが可能なカメラ構成を決定するための基本的な考え方について説明した。次に、実施形態１で説明した考え方に従ってカメラ構成を決定し、そのカメラ構成の下で複数視点画像を取得して仮想視点画像を生成する画像処理システムについて説明する。

以下で説明するカメラ構成を決定する装置は、撮像空間における所定の位置を異なる方向から撮像するように設置された複数のカメラの位置及び姿勢を示すカメラ情報を取得する及び注視点の位置情報を取得し、それらの情報基づき、カメラの構成配置を決定する装置である。この装置は、所定の位置を通り撮像フィールドに対して垂直な軸を中心とする２回対称の位置又は２回対称の位置に最も近い位置に設置された、第一のカメラと第二のカメラとからなる少なくとも１組のカメラについて、その構成を決定する。具体的には、この装置により、１組のカメラを構成する第一のカメラと第二のカメラとでは、撮像画像におけるオブジェクトのテクスチャ解像度及びカメラの撮影範囲の少なくとも一方に影響するパラメータが異なるように、カメラ構成が決定される。また、この装置によって、所定の位置を挟んで対向する１組のカメラにおいて、その２つのカメラの特性を規定するパラメータのうち撮像画像におけるオブジェクトのテクスチャ解像度に影響するパラメータが異なるように、カメラ構成が決定される。つまり、この装置を用いれば、カメラ情報と注視点の位置情報とを外部から入力して、適切なカメラの構成を決定することが可能となる。

（システム構成）
本実施形態に係る、仮想視点画像を生成する画像処理システムについて、図３のシステム構成図を用いて説明する。画像処理システム１００は、撮像モジュール１１０ａ～１１０ｇ、データベース（ＤＢ）２５０、サーバ２７０、制御装置３００、スイッチングハブ１８０、及びエンドユーザ端末（不図示）を有する。すなわち、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは撮像モジュール１１０ａ～１１０ｇを含み、データ保存ドメインはＤＢ２５０とサーバ２７０を含み、映像生成ドメインは制御装置３００及びエンドユーザ端末を含む。

制御装置３００は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワークを通じて動作状態の管理や各種パラメータの設定といった様々な制御を行う。この制御装置３００によって、上述のカメラ構成の決定、複数視点画像の取得、仮想視点の設定、仮想視点画像の生成といった一連の処理が実現される。制御装置３００の詳細については、後述する。

撮像モジュール１１０ａ～１１０ｇは、それぞれ１台ずつのカメラ１１２ａ～１１２ｇを有する。以下では、撮像モジュール１１０ａ～１１０ｇまでの７セットのシステムを区別せず、単に「撮像モジュール１１０」と記載する場合がある。各撮像モジュール１１０内の装置についても同様に、「カメラ１１２」、「カメラアダプタ１２０」と記載する場合がある。なお、撮像モジュール１１０の台数を７セットとしているが、あくまでも一例でありこれに限定されない。撮像モジュール１１０ａ～１１０ｇはデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、接続形態は任意であり、例えば撮像モジュール１１０ａ～１１０ｇがスイッチングハブ１８０にそれぞれ接続されて、スイッチングハブ１８０を経由して撮像モジュール１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。カメラアダプタ１２０は、他のカメラアダプタ１２０やサーバ２７０、制御装置３００とデータ通信を行う。また、カメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して、前景背景分離処理、前景三次元形状データ元情報生成処理、動的キャリブレーションなどの処理を行う。また、制御装置３００からの制御信号に基づき、カメラ１１２を制御する。具体的には、撮像の開始及び停止、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランス）の設定、カメラ１１２の状態情報（撮影中、停止中、同期中、及びエラーなど）の取得、画角や焦点距離の設定変更などを行う。撮像モジュール１１０ａ内のカメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて所定の画像処理が施された後、撮像モジュール１１０ｂのカメラアダプタ１２０ｂに伝送される。同様に撮像モジュール１１０ｂは、カメラ１１２ｂにて撮影した画像を、撮像モジュール１１０ａから取得した画像と合わせて撮像モジュール１１０ｃに伝送する。このような動作を続けることにより、撮像モジュール１１０ａ～１１０ｇで取得された撮像画像は、撮像モジュール１１０ｇからスイッチングハブ１８０に伝わり、その後、サーバ２７０へ伝送される。

ＤＢ２５０は、制御装置３００の指示に基づき、各撮像モジュール１１０で撮像された複数視点画像のデータを格納し、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、サーバ２７０との間で画像データ等を送受信する。また、撮像空間内にある施設や構造物の３Ｄデータを保持し、背景３Ｄデータライブラリとして機能する。施設や構造物の３Ｄデータは、撮影シーン（スポーツの種目やイベント）に応じて予め用意され、制御装置３００の要求に応じてサーバ２７０へ送信される。

サーバ２７０は、撮像モジュール１１０ｇから取得した画像データを、カメラの識別番号やデータ種別、フレーム番号に応じてＤＢ２５０に書き込む。そして、サーバ２７０は、ユーザ指定等に基づく仮想視点に関する情報（仮想視点情報）を制御装置３００から受け取る。そして、受け取った仮想視点情報に従ってレンダリング処理を行って仮想視点画像を生成する。レンダリング処理によって得られた仮想視点からの見えを表すレンダリング画像（仮想視点画像）は、サーバ２７０から制御装置３００に送信される。そして、ユーザは、自らが指定した仮想視点に応じた画像の閲覧ができる。

（制御装置の詳細）
図４（ａ）は、制御装置３００のハードウェア構成の一例を示す図である。制御装置３００は、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、ネットワークＩ／Ｆ３０４、汎用Ｉ／Ｆ３０５、モニタ３０８、メインバス３０９を備える。ネットワークＩ／Ｆ３０４は、ＤＢ２５０、サーバ２７０、スイッチングハブ１８０をメインバス３０９に接続するインタフェースである。汎用Ｉ／Ｆ３０５は、マウスやキーボードなどの入力装置３０６、メモリカードなどの外部メモリ３０７をメインバス３０９に接続するインタフェースである。そして、図４（ｂ）は、本実施形態に係る、制御装置３００のソフトウェア構成を示す機能ブロック図であり、カメラ構成決定部４０１、カメラ制御部４０２、仮想視点設定部４０３、仮想視点画像生成部４０４で構成される。これら各部は、ＣＰＵ３０１がＨＤＤ３０３に格納された所定のプログラムをＲＡＭ３０２に展開しこれを実行することで実現される。

（システム制御の流れ）
続いて、本実施形態に係る、制御装置３００による画像処理システムの制御の流れを説明する。図５は、本実施形態に係る、図３に示す画像処理システムにおける制御の流れを示すフローチャートである。以下、図４（ｂ）に示す各部が行う処理の詳細について、図５のフローに沿って説明する。なお、以下の説明における記号「Ｓ」はステップを表す。

Ｓ５０１では、カメラ構成決定部４０１が、設置された複数のカメラの位置及び姿勢（光軸方向）を示すカメラ情報を取得する。カメラ情報は、撮像空間の底面をｘ，ｙ軸、高さをｚ軸とした三次元座標軸を定義し、各カメラの位置を座標空間での位置ｐｉ（ｐｘｉ，ｐｙｉ，ｐｚｉ）、各カメラの姿勢をベクトルｖｉ［ｖｘｉ，ｖｙｉ，ｖｚｉ］で表現した情報である。ここで、ｉは設置された複数のカメラそれぞれの識別番号である。なお、カメラ情報の内容は上述のものに限られず、各カメラの座標位置と注視点の座標位置の情報でもよい。

図６は、カメラ情報で特定される、各カメラの配置の一例を示す図である。いま、図３に示す７台のカメラ１１２ａ～１１２ｇが、注視点６０１を向いて設置されている。この場合において、例えば、自カメラの対向する位置に他のカメラが存在するカメラ１１２ｅ～カメラ１１２ｇの画角を、それぞれの対向位置のカメラ１１２ｂ～１１２ｄの画角よりも狭くしたとする。この場合、カメラ１１２ｅ～１１２ｇの方向から見たときのオブジェクトのテクスチャは高解像度となる。しかし、その反対方向６０２から見たときのテクスチャは低解像度となり、オブジェクト全体の画質を向上させることができない。そこで、以降のＳ５０２～Ｓ５０７において、画角は狭いがオブジェクトを高解像度で撮像可能なカメラを、撮像空間の全周に略均等な間隔で配置するようにしている。

Ｓ５０２では、カメラ構成決定部４０１が、Ｓ５０１で取得したカメラ情報を参照し、全設置カメラの中から、着目するカメラ（着目カメラ）を１つ決定する。通常は、上述のカメラを識別する番号ｉが若いものから順に、着目カメラに決定される。続くＳ５０３において、カメラ構成決定部４０１は、Ｓ５０１で取得したカメラ情報を用いて、着目カメラを基準として注視点を挟んだ対向する位置に、他のカメラが存在するかどうかの判定処理を行う。この判定処理は、例えば、以下の１）～３）のような手順で行われる。

１）各カメラの視線方向を示すベクトルを二次元平面に投影し、かつ、正規化して得られた方向ベクトルｖｉ［ｖｐｉ，ｖｑｉ］を、カメラ毎に算出する。ここで、ｉは各カメラを識別する番号であり、いまｉ＝１～７である。

２）着目カメラの方向ベクトルｖｏ［ｖｐｏ，ｖｑｏ］と、着目カメラ以外のカメラの方向ベクトルｖｊ［ｖｐｊ，ｖｑｊ］との内積ｖｏ・ｖｊを算出する。ここで、ｏは着目カメラの識別番号を表し、ｊは着目カメラ以外のカメラの識別番号を表す。例えば、ｉ＝１のとき、ｏ＝１、ｊ＝２～７である。

３）上記２）で算出した内積ｖｏ・ｖｏｊの値が負、かつ、内積ｖｏ・ｖｊの符号を反転した値が１になるカメラがあれば、着目カメラの対向する位置に他のカメラが存在すると判断する。

こうして得られた判定処理の結果は、対向カメラ存否情報として着目カメラと紐付けて保持される。対向カメラ情報は、例えば第一の値と第二の値とで構成される。第一の値は、対向する位置に他のカメラが存在する場合を“１”、存在しない場合を“０”で示す１ビットの情報である。そして、第二の値は、第一の値が“１”の場合（対向する位置に他のカメラが存在する場合）における、当該他のカメラの識別番号の情報である。したがって、第一の値が“０”の場合、第二の値はブランク（０）である。なお、本処理の開始時点で、各カメラの対向カメラ存否情報は初期化され、第一の値は“０”、第二の値はブランクの状態になっているものとする。ここでは、二次元平面と内積を用いて、対向する位置関係にあるカメラの存否を判定したが、その判定方法はこれに限定されない。着目カメラと向かい合っている他のカメラの存否が判断できる手法であればどのような手法でもよい。この判定処理の結果、自カメラの対向する位置に他のカメラが存在する場合は、第一の値が“１”に、第２の値が当該他のカメラの識別番号にそれぞれ更新される。以降、対向カメラ存否情報における第一の値が“１”であるカメラを「対カメラ」と呼ぶこととする。

Ｓ５０４では、Ｓ５０１で取得したカメラ情報に係る、同じ注視点を持つすべてのカメラに対して、Ｓ５０３の判定処理が完了したか否かが判定される。未処理のカメラがあればＳ５０２に戻って次のカメラを着目カメラに設定して処理を続行する。一方、すべてのカメラについての判定処理が完了していれば、Ｓ５０５に進む。

Ｓ５０５では、カメラ構成決定部４０１が、各カメラの対向カメラ存否情報を用いて、特性を変更するカメラを決定する際の基準となる角度（基準角度）を導出する。仮想視点を設定可能な方向に特に限定がない場合の基準角度は、３６０度から対向カメラ存否情報における第一の値の総数の半分の数を除算した値となる。上述の図６の例の場合は、６個のカメラ（１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆ及び１１２ｇ）に紐付いた対向カメラ存否情報において第一の値が“１”になるので、３６０÷（６÷２））＝１２０度が基準角度となる。つまり、図６のカメラ配置の場合、画角は狭いがオブジェクトを高解像度で撮像可能なカメラを、１２０度の均等角度で撮像空間の全周に配置することが、本ステップにおいて決まる。

Ｓ５０６では、カメラ構成決定部４０１が、特性を変更するカメラを決定する際の基準となるカメラを、設置されている全カメラ１１２ａ～１１２ｇのうち、対向カメラ存否情報における第一の値が“１”である対カメラの中から決定する。ここでは、対カメラの中からランダムに選択された１つのカメラを、基準となるカメラ（以下、「基準カメラ」と呼ぶ。）とする。基準カメラの決定はこれに限らず、例えば、対カメラ同士の間隔が最も狭いカメラを基準カメラとしてもよい。

Ｓ５０７では、カメラ構成決定部４０１が、Ｓ５０１で取得したカメラ情報、Ｓ５０５で導出した基準角度、Ｓ５０６で決定した基準カメラに基づいて、特性を変更するカメラ（以下、「特性変更カメラ」と呼ぶ。）を決定する。この決定処理は、例えば、以下の１）～３）のような手順で行われる。

１）基準カメラｂと、基準カメラから時計回りに隣り合う対カメラｋとの角度θｂｋを算出する。角度θｂｋは、例えばカメラ間の方向ベクトルの内積により求めることができる。ここで、ｋは、隣り合う対カメラの識別番号を示す。

２）算出した角度θｂｋと基準角度とを比較する。比較の結果、角度θｂｋが基準角度以上である場合は、基準カメラと隣り合う対カメラｋを特性変更カメラとして決定し、基準カメラを対カメラｋと置き換える。一方、角度θｂｋが基準角度未満である場合は、対カメラｋは特性変更カメラではないと判断する。

３）上記１）及び２）の処理を、対カメラの全ての組み合わせにおいて、どちらか一方のカメラが特性変更カメラとして決定されるまで順に時計回りに行う。
こうして、基準カメラを含むすべての対カメラについて、特性変更カメラとするか否かの判定がなされる。

ここで、図６の場合を例に、Ｓ５０２～Ｓ５０７までの各処理によって、どのようにして特性変更カメラが決定されるのかを説明する。まず、７台のカメラ１１２ａ～１１２ｇのカメラ情報を参照し、注視点６０１を挟んで互いに対向する位置にあるカメラの組合せの存否が判定される。判定の結果、カメラ１１２ｂと１１２ｅ、カメラ１１２ｃと１１２ｆ、カメラ１１２ｄと１１２ｇ、の各組合せに属するカメラが「対カメラ」として決定される。次に、対カメラの中からランダムに基準カメラが選択され、例えばカメラ１１２ｄが基準カメラとして選択されたとする。ここで、基準カメラ１１２ｄから時計回りに隣り合う対カメラ１１２ｃは、基準カメラ１１２ｄとの角度が基準角度１２０度未満であるため、特性変更カメラではないと判断される。さらに、隣り合う対カメラ１１２ｂは、基準カメラ１１２ｄとの角度が基準角度１２０度以上となるため、特性変更カメラとして決定し、カメラ１１２ｂが新たな基準カメラとなる。新たな基準カメラ１１２ｂにおいては、隣り合う対カメラ１１２ｇが基準角度未満かつさらに隣り合う対カメラ１１２ｆが基準角度以上となるため、カメラ１１２ｆが特性変更カメラとして決定される。対カメラの全て組み合わせ（カメラ１１２ｂと１１２ｅ、カメラ１１２ｃと１１２ｆ、カメラ１１２ｄと１１２ｇ）において、一方のカメラが特性変更カメラとして決定されるまでこの処理を繰り返した結果、各組合せにおいて、カメラ１１２ｂ、カメラ１１２ｄ、カメラ１１２ｆが、特性変更カメラとして決定されることになる。仮に、仮想視点を設定可能な範囲が限定される場合は、Ｓ５０５における基準角度の導出において、除算する値を３６０度ではなく、その限定された範囲の角度（例えば１８０度）とすればよい。この場合、Ｓ５０７で決定する基準カメラは、当該限定された範囲にあるカメラの中から選ぶことになる。このようにして、特性変更カメラとして決定されたカメラ１１２の識別番号の情報は、カメラ制御部４０２へ送られる。図５のフローの説明に戻る。

Ｓ５０８では、カメラ制御部４０２が、特性変更カメラとして決定されたカメラ１１２の特性を規定するパラメータを変更するための制御信号を、当該カメラ１１２を有する撮像モジュール１１０に送信する。本実施形態におけるパラメータは画角であり、より狭い画角への変更を指示する制御信号が送信されることになる。当該制御信号を受信した撮像モジュール１１０内のカメラアダプタ１２０は、カメラ１１２の画角を、より狭い画角に変更する設定を行う。こうして、特性変更カメラは、その対向する位置に存在するカメラの画角よりも狭い画角を有することになる。これにより、当該カメラの撮像画像におけるオブジェクトはより大きく写る（すなわち、オブジェクトのテクスチャ解像度がより高い撮像画像が得られる）ことになる。この際、画角をどの程度変更するかは、ユーザインタフェースを介したユーザ指示に従ってもよいし、事前に定められた規定値に変更してもよい。また、実施形態１で述べたとおり、変更の対象となるパラメータは画角に限られない。

Ｓ５０９では、カメラ制御部４０２が、撮像モジュール１１０ａ～１１０ｇに対して、撮像の開始を指示する制御信号を送信する。これにより各撮像モジュール１１０において撮像が開始され、各カメラ１１２による撮像画像が得られる。こうして、オブジェクトを複数の異なる視点から撮像した複数視点画像のデータが取得され、ＤＢ２５０に保存される。なお、撮像画像が動画像の場合は、フレーム毎に、以降の各処理が実行される。

Ｓ５１０では、仮想視点画像生成部４０４が、サーバ２７０に対し、Ｓ５０９で取得した複数視点画像に含まれる各オブジェクトの三次元形状データの作成（形状推定）を指示する。この指示を受けて、サーバ２７０は、それぞれの撮像画像からオブジェクト領域を切り出し、各オブジェクトの三次元形状を推定する。複数視点画像に基づく三次元形状の推定には、例えば視体積公差法やステレオマッチング法といった公知の手法を用いればよい。

Ｓ５１１では、仮想視点設定部４０３が、仮想カメラの三次元位置及び姿勢（光軸方向）を表す仮想視点の設定を行う。この際、生成する仮想視点画像における画角及び解像度などを併せて設定するようにしてもよい。設定は、モニタ３０８に表示された仮想視点設定用のＵＩ画面（不図示）を介して入力されたユーザ指示に基づいてなされる。或いは、予め定めた仮想視点の情報をＨＤＤ３０３等から読み込んで自動で設定されるようにしてもよい。

Ｓ５１２では、仮想視点画像生成部４０４が、Ｓ５１１で設定された仮想視点に従った仮想視点画像の生成をサーバ２７０に指示する。この指示を受けて、サーバ２７０は、Ｓ５０９で取得された複数視点画像とＳ５１０で作成等された三次元形状データとを用い、公知の視点依存レンダリングなどの手法で仮想視点画像を生成する。生成した仮想視点画像はモニタ３０８に出力され、ユーザは、自己が設定等した任意の視点からの仮想視点画像を閲覧することができる。

以上が、本実施形態に係る、システム制御の流れである。なお、図５のフローでは、対カメラの中から基準カメラを選択して、特性変更カメラを決定しているがこれに限定されない。例えば、対カメラ以外のカメラの中から基準カメラを選択し、上記手法に準じて特性を変更しないままにするカメラ（特性不変更カメラ）を決定していき、最終的に残った対カメラを特性変更カメラとしてもよい。また、図５のフローでは時計回りに判定を行ったが、反時計回りに行ってもよい。また、図５のフローでは基準角度を演算で求めたが、事前に定めた角度に従って特性変更カメラが均等に配置されるようにしてもよい。

＜変形例＞
本実施形態では、制御装置３００において、カメラ構成の決定、複数視点画像の取得、仮想視点の設定、仮想視点画像の生成といった一連のプロセスを制御するようにしていたがこれに限定されない。例えば、カメラ構成を決定するＳ５０８までの各処理を別個独立の情報処理装置（ＰＣ）で行って、カメラの設置・調整までを事前に行なっておき、制御装置３００はＳ５０９以降の処理のみを行なう構成であってもよい。

また、本実施形態では、着目カメラに対して完全に対称関係にある位置に他のカメラが存在する場合のみ、着目カメラを対カメラとして決定したが、これに限定されない。すなわち、自カメラから見ておおよそ対称な位置関係にあると評価できる他のカメラがあれば、その着目カメラを対カメラとしてよい。その場合は、内積ｖｏ・ｖｊの符号を反転した値が事前に定めた閾値よりも大きい他のカメラが存在することを条件に、着目カメラを対カメラとすればよい。ここで、完全に対称関係とは、注視点を通り、撮像フィールドに垂直な軸を中心として、互いに２回対称の位置になる関係のことをいう。

また、本実施形態では、対カメラか否かの判定を、二次元の方向ベクトルに基づき行ったがこれに限定されない。例えば、高さ方向を含む三次元的な位置関係に基づいて判定を行なって、高さが異なる場合は対カメラではないと判断してもよい。例えば、スタジアムの１階と２階のように設置フロアが異なる場合、１階のカメラと２階のカメラとの間では、二次元の方向ベクトルに基づけば対カメラと判断され得るが、高さが大きく異なるので対カメラとは判断しない。

また、本実施形態では、基準カメラを決定するのは１回だけであったが、これに限定されない。対向カメラ存否情報における第一の値が“１”であるカメラを順番に基準カメラに決定し、Ｓ５０８までの処理を繰り返し行って、特性変更カメラの配置が、仮想視点の設定可能な範囲内で最も均等に近くなるカメラ構成を採用するようにしてもよい。

実施形態３

実施形態２では、設置された全てのカメラのうち、共通の注視点を挟んで対向する位置に他のカメラが存在する全てのカメラを特性変更カメラの候補とし、対の関係にあるカメラの一方を特性変更カメラに決定していた。次に、設置されている複数のカメラのうち、予め定めた台数だけ特性変更カメラとして決定する態様を、実施形態３として説明する。この態様は、設置されている複数のカメラの中に、共通の注視点を挟んでおおよそ対向しているものの、双方のカメラが完全な対称位置にはないようなケースにおいて有効である。なお、実施形態２と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うものとする。

本実施形態では、対カメラの対称度合いと基線同士の近接度合いとに基づいて、特性変更カメラを決定する。その理由をまず説明する。

各カメラから延びる基線が撮像空間の全周に亘って均等に存在せず、カメラ同士の間隔に大きな空きがあるようなケースでは、そのような空きがないシステムに比べて十分なシルエット画像が得られない。この場合、撮像シーン内のオブジェクトの三次元形状データの精度が低下するため、生成される仮想視点画像も低画質なものになる。したがって、設置される各カメラの間隔はできるだけ密で、かつ、均等であることが望ましい。また、前述のとおり、注視点を挟んで互いに対向する位置のカメラの撮像画像に基づく２つのシルエット画像は左右が反転しているに過ぎない。したがって、注視点を挟んで対向するようなカメラ配置を含んだシステムとそうでないシステムとで、各撮像画像のシルエット画像から得られる情報に大きな違いはなく、生成される仮想視点画像の画質にも大きな差は生じない。

これらの事実を総合すると、自カメラと対向する位置に他のカメラが存在し、かつ、自カメラの近傍に他のカメラが存在するカメラであれば、システムを構成するカメラ群から除外しても、生成される仮想視点画像の画質はそれほど低下しないと考えられる。そこで本実施形態では、対向カメラ対称度が高く、かつ、基線近接度が高いカメラを、特性変更カメラに決定するようにしている。

図７（ａ）及び（ｂ）を参照して、本実施形態の概要を説明する。図７の（ａ）及び（ｂ）は、本実施形態に係るカメラの配置の一例を示す図であり、いずれも５台のカメラ１１２ａ～１１２ｅが撮像空間を囲むように設置されている。このようなカメラ配置において、１台のカメラの特性を変更するケースを想定する。

図７（ａ）は特性変更カメラとしてカメラ１１２ａを選択した場合、図７（ｂ）は特性変更カメラとしてカメラ１１２ｄを選択した場合をそれぞれ示している。図７（ａ）では、カメラ１１２ｄから延びる基線７０１は、注視点７００を挟んだ向こう側において、カメラ１１２ｃから延びる基線７０２及びカメラ１１２ｂから延びる基線７０３と隣り合っており、基線７０３に比べて基線７０２の方が、明らかに近い位置にある。つまり、基線７０１と基線７０２とのなす角度α１の方が、基線７０１と基線７０３とのなす角度α２よりもかなり小さい。これに対して、図７（ｂ）では、カメラ１１２ａから延びる基線７０４は、カメラ１１２ｃから延びる基線７０２とカメラ１１２ｂから延びる基線７０３と隣り合っており、かつ、基線７０２と基線７０３との略中間の位置にある。つまり、基線７０４と基線７０２とのなす角度β１と、基線７０４と基線７０３とのなす角度β２とはそれほど違わない。

視体積公差法などの手法によってオブジェクトの三次元形状データを生成する場合、その精度を向上するためには、当該オブジェクトをあらゆる方向から撮像し、そのシルエット画像を取得する必要がある。図７（ａ）の状況において、カメラ１１２ａの特性を変更した場合、基線７０１と基線７０３との間の領域におけるシルエット画像の取得が困難になる結果、三次元形状データの精度が悪くなる。すると、そのような三次元形状データに基づいて生成した仮想視点画像の画質も低下することになる。これに対して、図７（ｂ）では、基線同士の間隔がおおよそ等間隔であるため、異なる方向から偏りなくシルエット画像を取得することができる。そのため、カメラ１１２ｄの特性を変更したとしても、変更しない場合と比べて仮想視点画像の画質は大きく劣化しない。そこで、図７（ｂ）に示すように、シルエット画像の取得に影響がより少ない位置のカメラを特性変更カメラとして決定するようにする。そのために、注視点を挟んだ向こう側での基線の近接度を新たな判断指標として用いる。なお、設置されているカメラ台数が全５台で、そのうちの１台を特性変更カメラとする場合を例に説明したが、設置するカメラの台数や特性を変更するカメラの台数は任意であることはいうまでもない。

（システム制御の流れ）
続いて、本実施形態に係る画像処理システムの制御の流れを、図８のフローチャートに沿って説明する。図８のフローは、実施形態２の図５のフローに対応しており、制御装置３００のハードウェア構成やソフトウェア構成も実施形態２で説明したとおりである（図４（ａ）及び（ｂ）を参照）。

Ｓ８０１では、設置された複数のカメラの位置及び姿勢（光軸方向）を示すカメラ情報に加え、全設置カメラのうちその特性を変更するカメラの台数の情報が取得される。続くＳ８０２では、図５のフローのＳ５０２と同様、Ｓ８０１で取得したカメラ情報を参照し、設置されている全カメラの中から着目カメラが１つ決定される。

Ｓ８０３では、カメラ構成決定部４０１が、Ｓ８０２で決定した着目カメラと当該着目カメラ以外のカメラのうち最も対向している位置にあるカメラとの対称度合いを、Ｓ８０１で取得したカメラ情報を用いて導出する。この導出処理は、例えば、以下の１）～３）のような手順で行われる。

１）各カメラの視線方向を示すベクトルを二次元平面に投影し、かつ、正規化して得られた方向ベクトルｖｉ［ｖｐｉ，ｖｑｉ］を、カメラ毎に算出する。ここで、ｉは各カメラの識別番号であり、いまｉ＝１～５である。

２）着目カメラの方向ベクトルｖｏ［ｖｐｏ，ｖｑｏ］と、着目カメラ以外のカメラの方向ベクトルｖｊ［ｖｐｊ，ｖｑｊ］との内積ｖｏ・ｖｊを算出する。ここで、ｏは着目カメラの識別番号を表し、ｊは着目カメラ以外のカメラの識別番号を表す。例えば、ｉ＝１のとき、ｏ＝１、ｊ＝２～５である。

３）上記２）で算出した内積ｖｏ・ｖｊの値が負であり、かつ、内積ｖｏ・ｖｊの符号を反転した値が最大となるカメラを求め、当該カメラのｖｏ・ｖｊの符号を反転した値を、着目カメラに関する対向カメラの対称度合いを表す指標とする。

こうして求めた指標値が、対向カメラ対称度情報として着目カメラと紐付けて保持される。自カメラと注視点を挟んで対向している他のカメラの位置がより対称位置に近いときほど指標値は大きくなり（完全な対称位置のときに最大値をとる）、より高い対称度合いを表すことになる。

Ｓ８０４では、カメラ構成決定部４０１が、Ｓ８０２で決定した着目カメラから延びる基線に、注視点を挟んだ向こう側で隣り合う他のカメラから延びる基線が、どの程度近接しているかを、Ｓ８０１で取得したカメラ情報を用いて導出する。この導出処理は、例えば、以下の１）～４）のような手順で行われる。

１）各カメラの視線方向を示すベクトルを二次元平面に投影し、かつ、正規化して得られた方向ベクトルｖｉ［ｖｐｉ，ｖｑｉ］を、カメラ毎に算出する。ここでも、ｉは各カメラの識別番号であり、いまｉ＝１～５である。

２）着目カメラを、注視点を挟んだその対称位置から見たときの逆方向ベクトルｖｏ’［ｖ’ｐｏ，ｖ’ｑｏ］を、着目カメラの方向ベクトルに基づき算出する。ここで、ｏは着目カメラの識別番号である。

３）逆方向ベクトルと着目カメラ以外のカメラの方向ベクトルとの内積ｖｏ’・ｖｉ及び、逆方向ベクトルと着目カメラ以外のカメラの方向ベクトルとの外積ｖｏ’×ｖｉを、カメラ毎に算出する。

４）外積ｖｏ’×ｖｉの値が正であるカメラにおいて内積ｖｏ’・ｖｉが最大となる正方向の値と、外積ｖｏ’×ｖｉの値が負であるカメラにおいて内積ｖｏ’・ｖｉが最大となる負方向の値とを比較する。そして、小さい方の値を、着目カメラに関する基線の近接度合いを表す指標とする。こうして求めた指標値が、基線近接度情報として着目カメラと紐付けて保持される。基線近接度は、自カメラから延びる基線を基準として、隣り合う基線との間隔が狭いものほど指標値は小さくなり、より高い近接度合いを示すことになる。

Ｓ８０５では、Ｓ８０１で取得したカメラ情報に係るすべてのカメラ（全設置カメラ）に対して、Ｓ８０３及びＳ８０４の導出処理が完了したか否かが判定される。未処理のカメラがあればＳ８０２に戻って次のカメラを着目カメラに設定して処理を続行する。一方、すべてのカメラについて２種類の導出処理が完了していれば、Ｓ８０６に進む。

Ｓ８０６では、カメラ構成決定部４０１が、Ｓ８０１で取得した特性変更カメラの台数情報を用いて、特性変更カメラを決定する際の基準角度を導出する。仮想視点を設定可能な方向に特に限定がない場合の基準角度は、３６０度から特性変更カメラの台数を除算した値となる。上述の図７の例の場合は、特性を変更するカメラの台数は１台なので、３６０÷１＝３６０度となる。

Ｓ８０７では、カメラ構成決定部４０１が、特性変更カメラを決定する際の基準カメラを、全設置カメラ（ここでは１１２ａ～１１２ｅ）の中から決定する。具体的には、Ｓ８０３で導出した各カメラの対向カメラ対称度情報を参照し、対称度合いが最も高いカメラを基準カメラに決定する。なお、最も高い対称度を持つカメラが複数ある場合は、その中からランダムに決定すればよい。

Ｓ８０８では、カメラ構成決定部４０１が、Ｓ８０３で導出した対向カメラ対称度情報と、Ｓ８０４で導出した基線近接度情報とに基づき、特性変更カメラを決定する。この決定処理は、例えば、以下の１）～３）のような手順で行われる。

１）基準カメラの位置を確定し、当該基準カメラから時計回りに基準角度離れた位置の近くに存在する２台のカメラを検出する。なお、このときの基準カメラは、最初のループではＳ８０７で決定した基準カメラ、２回目以降のループではＳ８１０で更新した基準カメラである。また、上述の図７の例のように基準角度が３６０度の場合など一定条件下では、基準カメラ自身を検出対象の２台のカメラに含める。この一定条件は、設置カメラの台数やカメラ同士の間隔、基準角度などによって決まる。

２）上記１）で検出した２台のカメラについて、どちらを特性変更カメラとするかを決めるための評価値を、以下の式（１）を用いてそれぞれ求める。
評価値 ＝ 対向カメラ対称度×（１／基線近接度） ・・・式（１）

３）上記２）で求めた２台のカメラについての評価値を比較し、評価値が大きい方のカメラを特性変更カメラに決定（評価値が小さい方のカメラは特性を変更しないカメラに決定）する。こうして、基準カメラに対応する１台の特性変更カメラが決定される。

Ｓ８０９では、Ｓ８０１で取得した台数分の特性変更カメラが決定されたか否かが判定される。未決定分があればＳ８１０に進む。一方、全台数の特性変更カメラが決定していれば、Ｓ８１１に進む。

Ｓ８１０では、基準カメラが更新される。具体的には、Ｓ８０８で評価値が大きいと判断された方のカメラ（特性変更カメラとして決定されたカメラ）を、新たな基準カメラに設定する。更新を終えるとＳ８０８に戻り、更新後の新たな基準カメラに基づいて次の特性変更カメラを決定する処理が続行される。

Ｓ８１１～Ｓ８１５は、図５のフローのＳ５０８～Ｓ５１２にそれぞれ対応し、特に異なるところはないので説明を省く。

以上が、本実施形態に係る、画像処理システムの制御の流れである。これにより、ユーザが指定する台数だけカメラの特性を変更したカメラ群で構成されるシステムを構築できる。

＜変形例＞
本実施形態では、対向カメラ対称度と基線近接度を各カメラについて１度だけ導出しているが、これに限定されない。特性変更カメラを決定する度に、当該決定されたカメラを除外した残りのカメラについて対向カメラ対称度と基線近接度とを導出し直した上で、次の特性変更カメラの決定を行ってもよい。

また、特性変更カメラを決定する際に、基準カメラから基準角度離れた位置に近い２台のカメラを比較したが、当該位置の近傍にある３台以上のカメラを比較して、特性変更カメラを決定してもよい。

本実施形態によれば、設置されたカメラの中に、完全に対称な位置関係にあるカメラの組合せが存在しない場合においても、仮想視点画像の生成における視点の自由度と画質向上とを両立可能なシステムを構築することができる。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (20)

1. 複数の撮像手段により取得された複数の画像に基づいてオブジェクトの３次元形状データを生成するために用いられるシステムであって、
   撮像空間を異なる方向から撮像するように設置された複数の撮像手段を有し、
   前記複数の撮像手段には、第一の撮像手段と、前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする、前記第一の撮像手段の２回対称の位置又は前記２回対称の位置に前記複数の撮像手段の中で最も近い位置に設置された第二の撮像手段、とを含む少なくとも１組の撮像手段が含まれ、
   前記第一の撮像手段と前記第二の撮像手段とでは、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なる
   ことを特徴とするシステム。
2. 前記１組の撮像手段が、前記複数の撮像手段の中に複数含まれる場合、前記異なるパラメータを持つ撮像手段同士の間隔が略均等となるように、前記複数の撮像手段を構成する各撮像手段が配置されていることを特徴とする請求項１に記載のシステム。
3. 前記第一の撮像手段と前記第二の撮像手段とで異なる前記パラメータは、画角であることを特徴とする請求項１又は２に記載のシステム。
4. 前記第一の撮像手段と前記第二の撮像手段とで異なる前記パラメータは、焦点距離であることを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
5. 前記第一の撮像手段と前記第二の撮像手段とで、撮像センサのサイズが異なることを特徴とする請求項１乃至４のいずれか１項に記載のシステム。
6. 前記第一の撮像手段と前記第二の撮像手段とで、撮像センサの種類が異なることを特徴とする請求項１乃至５のいずれか１項に記載のシステム。
7. 前記第一の撮像手段と前記第二の撮像手段とで、レンズの種類が異なることを特徴とする請求項１乃至６のいずれか１項に記載のシステム。
8. 撮像空間を異なる方向から撮像するように設置された複数の撮像手段の位置及び姿勢を示す撮像手段情報を取得する撮像手段情報取得手段と、
   前記撮像手段情報取得手段により取得された撮像手段情報に基づき、前記複数の撮像手段のうち前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする２回対称の位置又は前記２回対称の位置に最も近い位置に設置された、第一の撮像手段と第二の撮像手段とを含む少なくとも１組の撮像手段において、前記第一の撮像手段と前記第二の撮像手段とで、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なるように、撮像手段の構成を決定する決定手段と、
   を有することを特徴とする装置。
9. 前記特定の位置の位置情報を取得する位置情報取得手段をさらに有し、
   前記決定手段は、前記撮像手段情報取得手段により取得された撮像手段情報と前記位置情報取得手段により取得された前記特定の位置の位置情報に基づいて、前記第一の撮像手段と前記第二の撮像手段とで、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なるように、撮像手段の構成を決定することを特徴とする請求項８に記載の装置。
10. 前記決定手段は、各撮像手段の視線方向を示す二次元又は三次元の方向ベクトルに基づいて、前記撮像手段の構成を決定することを特徴とする請求項８又は９に記載の装置。
11. 前記決定手段は、
    前記複数の撮像手段のうち、前記異なるパラメータを持たせる撮像手段の台数の情報を取得し、
    前記複数の撮像手段の各撮像手段について、自撮像手段と他の撮像手段との対称度合いを導出し、
    導出した前記対称度合いに基づいて、前記１組の撮像手段のうちパラメータを異ならせる撮像手段を決定する
    ことを特徴とする請求項８乃至１０のいずれか1項に記載の装置。
12. 前記対称度合いは、自撮像手段と前記他の撮像手段とが前記軸を中心とする２回対称の位置関係にあるときに最大値をとることを特徴とする請求項１１に記載の装置。
13. 前記決定手段は、
    前記複数の撮像手段のうち、前記異なるパラメータを持たせる撮像手段の台数の情報を取得し、
    前記複数の撮像手段の各撮像手段について、自撮像手段と他の撮像手段との対称度合いを導出し、
    前記複数の各撮像手段について、自撮像手段から延びる前記特定の位置を通る基線と、前記特定の位置を挟んで対向する他の撮像手段から延びる前記特定の位置を通る基線との近接度合いを導出し、
    導出した前記対称度合いと前記近接度合いとに基づいて、前記１組の撮像手段のうちパラメータを異ならせる撮像手段を決定する
    ことを特徴とする請求項８乃至１０のいずれか1項に記載の装置。
14. 前記近接度合いは、自撮像手段の基線を基準として、隣りの他の撮像手段の基線との間隔が狭いほど、より高い近接度合いとなることを特徴とする請求項１３に記載の装置。
15. 前記決定手段は、
    前記対称度合いに基づき、前記複数の撮像手段の中から基準撮像手段を決定し、
    決定した前記基準撮像手段の位置から所定の基準角度離れた位置の近くに存在する少なくとも２台の撮像手段を検出し、
    検出した少なくとも２台の撮像手段から、前記パラメータを異ならせる撮像手段を前記近接度合いに基づき決定する
    ことを特徴とする請求項１３又は１４に記載の装置。
16. 前記決定手段は、
    前記複数の撮像手段のうち前記基準撮像手段となり得るすべての撮像手段を、前記基準撮像手段として順に決定し、
    前記パラメータを異ならせる撮像手段の配置が、仮想視点の設定可能な範囲内で最も均等に近くなるように、撮像手段構成を決定する
    ことを特徴とする請求項１５に記載の装置。
17. 前記決定手段によって前記パラメータを異ならせる撮像手段に決定された撮像手段について、そのパラメータを変更する制御手段をさらに有することを特徴とする請求項８乃至１６のいずれか１項に記載の装置。
18. 前記複数の撮像手段で撮像されることにより取得される複数の画像に基づき、オブジェクトの三次元形状データを生成する生成手段をさらに有する
    ことを特徴とする請求項１７に記載の装置。
19. 複数の撮像手段により取得された複数の画像に基づいてオブジェクトの３次元形状データを生成するために用いられるシステムにおける撮像手段の構成を決定する方法であって、
    撮像空間を異なる方向から撮像するように設置された複数の撮像手段の位置及び姿勢を示す撮像手段情報を取得する工程と、
    前記複数の撮像手段のうち、前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする２回対称の位置又は前記２回対称の位置に最も近い位置に設置された第一の撮像手段と第二の撮像手段とを決定する工程と、
    撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータについて、前記第一の撮像手段と前記第二の撮像手段とで異なるパラメータを設定する工程と、
    を有することを特徴とする方法。
20. コンピュータを、請求項８乃至１８のいずれか１項に記載の装置として機能させるプログラム。

Images