JP7250448B2

JP7250448B2 - 撮像システム、配置決定装置、配置決定方法及びプログラム

Info

Publication number: JP7250448B2
Application number: JP2018122420A
Authority: JP
Inventors: 希名板倉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2023-04-03
Anticipated expiration: 2038-06-27
Also published as: JP2020005109A

Description

本発明は、撮像システム、撮像手段の配置を決定する配置決定装置、撮像手段の配置を決定する配置決定方法及びプログラムに関する。

被写体（オブジェクト）を複数のカメラで撮像して得られた画像（複数視点画像）から、当該オブジェクトを任意の仮想視点から見た際に得られる画像（仮想視点画像）を生成する技術が知られている。特許文献１には、以下の方法が記載されている。まず、複数のカメラにより取得された撮像画像に基づいて３次元形状データを生成する。次に、複数の撮像画像に基づくテクスチャデータと３次元形状データとに基づいて、カメラが配置されていない仮想視点から見たときの仮想視点画像が生成される。また、特許文献１には、３次元形状データを生成する方法として、撮像画像からオブジェクトの領域を抽出したシルエット画像を用いる視体積交差法が例示されている。

ところで、仮想視点画像の品質は、３次元形状データの精度に依存する。特許文献１に例示されているようなシルエット画像を用いる場合、この３次元形状データの精度を向上させるには、複数のオブジェクト画像を用いることが求められる。つまり、より異なる方向から撮像されることが求められる。

特開２０１０－０２０４８７号公報

しかし、複数のカメラが異なる方向から撮像するように配置されたとしてもカメラの配置位置によっては、実質的に同じシルエット画像となる可能性がある。例えば、２つのカメラが、ある中心軸に対して２回対称となる関係の位置に配置されている場合、その２つのカメラの撮影画像から抽出されるシルエット画像は、左右が反転している点で異なるが、実質的に同じシルエット画像となる。そのため、カメラ台数に応じた精度の３次元形状データが得られないおそれが生じる。

本発明では、カメラ台数に応じた精度の３次元形状データを得ることを目的としている。

本発明の撮像システムは、複数の撮像手段により取得された複数の画像に基づいてオブジェクトの３次元形状データを生成するために用いられる撮像システムであって、撮像空間を異なる方向から撮像するように配置され、当該撮像空間の特定の位置に向けられた複数の撮像手段を有し、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置には、前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段のいずれも配置されず、かつ前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段が、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に配置されていることを特徴とする。

本発明によれば、カメラ台数に応じた精度の３次元形状データを得ることができる。

実施形態１に係る撮像システムの構成例を示す図。比較形態に係る撮像システムの構成例を示す図。比較形態の課題と実施形態１の効果を説明するための図。実施形態２に係る決定装置と撮像システムとを示す図実施形態２に係る決定装置の機能構成を示すブロック図。実施形態２に係る撮像システム内のカメラの配置を決定する処理の流れを示すフローチャート。実施形態２に係る撮像システム内のカメラの配置を決定する方法の概念を説明する図。実施形態３に係る決定装置の機能構成を示すブロック図。実施形態３に係る撮像システム内のカメラの配置を決定する処理の流れを示すフローチャート。実施形態３に係る撮像システム内のカメラの配置を決定する方法の概念を説明する図。実施形態１に係る画像処理システムの構成例を示す図。

以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜実施形態１＞
本実施形態では、仮想視点画像の品質、３次元形状データの精度の低下を軽減させるためのカメラ（撮像手段）の配置構成について説明する。なお、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想視点に対応するカメラ（仮想カメラ）の位置及び姿勢を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよい。また、仮想視点は、自動的に設定されてもよい。

本実施形態において、オブジェクトとは、時系列で同じ方向から撮影を行った場合において動きのある（その絶対位置が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、人物や球技におけるボールを指す。

本実施形態において、３次元形状データは、オブジェクトの３次元形状を表すデータであり、例えば、撮像対象となる撮像空間を一意に示す世界座標空間における３次元空間のｘ、ｙ、ｚの位置情報を持った点群で表現されるものである。また、３次元形状データは、点群で表現されるものに限定されず、他のデータ形式で表現されてもよく、例えば、三角形や四角形などの単純な凸多角形（ポリゴンと呼ばれる）の面で構成されるポリゴンメッシュデータやボクセルなどで表現されてもよい。

［撮像システム］
本実施形態に係る撮像システム１０について、図１を用いて説明する。図１は、本実施形態に係る、オブジェクトを異なる方向から撮像するためのカメラ配置の一例を示す図であり、（ａ）は３次元の俯瞰図、（ｂ）は真上から見た２次元平面図を示している。このカメラ配置では、６台のカメラ１３～１８で撮像を行って、仮想視点画像を生成するための複数視点画像を取得する。６台という台数は一例であり、サッカーやラグビーといった広大な空間を対象に撮像を行う場合にはさらに多くのカメラが設置されることはいうまでもない。

図１（ａ）及び（ｂ）に示すように、カメラ１３～１８は、撮像空間の底面である撮像フィールド１２上に設定される任意の注視点１１を撮像するように配置されている。ここで、注視点とは、カメラの光軸と撮像フィールド１２との交点を示す。図１に示すカメラ１３～１８は、同一の注視点１１を撮像するように配置されている。また、カメラ１３～１８の光軸はこの注視点１１を通る。また、注視点１１の位置は任意であり、例えば撮像空間内の空中に設定されていてもよい。ただし、各カメラの注視点は、同一の所定の位置でなくてもよく、微小に異なっていてもよく、注視点の位置は図１で示す位置に限られない。また、撮像フィールド１２は、サッカーやラグビーなどの競技においてはグラウンドを指す。

本実施形態の撮像システム１０において、カメラ１３～１８はそれぞれ、いずれのカメラの注視点１１を含んで撮像フィールド１２に垂直な軸に対して２回対称の位置以外の位置に配置されている。つまり、カメラ１３～１８はそれぞれ、いずれのカメラの注視点１１を含んで撮像フィールド１２に垂直な軸に対して２回対称の位置に別のカメラが配置されることがないように、配置されている。

具体的に図１（ｂ）を用いて説明する。例えば、注視点１１を通り撮像フィールド１２に垂直な軸に対してカメラ１３の２回対称の位置には別のカメラが配置されていない。当然ながら、カメラ１３と注視点１１とを結ぶ線分１９ａ上には、カメラ１３と異なるカメラは配置されていない。なお、線分１９ａに最も近い位置には、カメラ１４～１６の中でカメラ１６が配置されているが、線分１９ａ上に配置されていない。同様に、他のカメラにおいても、注視点１１を含んで撮像フィールド１２に垂直な軸に対して２回対称の位置には別のカメラが配置されていない。また、カメラと注視点１１とを結ぶ線分１９ａ～１９ｆ上には、そのカメラのみが配置されており、他のカメラが配置されていない。なお、以下では、注視点を通り撮像フィールドに垂直な軸に対してカメラの２回対称の位置を、単に対称位置という場合がある。ここで、線分とは、光軸の撮像フィールド面への射影した直線の一部に相当する。

一方、図２を用いて、いずれのカメラの対称位置にも別のカメラが配置されている場合に生じる問題について説明する。図２（ａ）は、注視点２１を中心として６台のカメラが等角度間隔になるように配置されている撮像システム２０の３次元の俯瞰図、（ｂ）はそれを真上から見た２次元平面図を示している。このようなカメラ配置の場合、図２（ｂ）で示すように、カメラ２３の対称位置にカメラ２６が配置されることになる。また、カメラ２４とカメラ２７は、互いに、対称位置に配置されている。カメラ２５とカメラ２８も同様の配置である。言い換えると、線分２９ａ上にはカメラ２３とカメラ２６が配置されている。また、線分２９ｂ上にはカメラ２４とカメラ２７が配置されている。さらに、線分２９ｃ上にはカメラ２５とカメラ２８が配置されている。

図３（ａ）は、図２で示した撮像システム２０により取得された撮像画像と、その撮像画像内のオブジェクト３１の領域を示すオブジェクト領域情報であるシルエット画像と、を示す図である。具体的には、カメラ２３により取得された撮像画像３２と、その撮像画像３２から取得されるオブジェクト３１の領域を示すオブジェクト領域情報であるシルエット画像３３が示されている。また、カメラ２６により取得された撮像画像３４と、その撮像画像３４から取得されるオブジェクト３１の領域を示すオブジェクト領域情報であるシルエット画像３５が示されている。なお、カメラ２３とカメラ２６の画角は、同じに設定されているとする。

シルエット画像３３とシルエット画像３５に含まれるオブジェクト３１の数は同じである。また、カメラ２３とカメラ２６は、互いに対称位置に配置されているため、シルエット画像３３は、左右反転するとシルエット画像３５と同じものとなる。このため、視体積公差法などの方法によりオブジェクト３１のシルエット画像を用いて、オブジェクト３１の３次元形状データを生成する場合において、シルエット画像３３とシルエット画像３５とは、左右の反転に違いはあるが得られる情報に大きな違いはない。言い換えると、３次元形状データを生成する上で、シルエット画像３３とシルエット画像３５から得られる情報は、価値が同じである。また、カメラ２４とカメラ２７それぞれにより撮像された画像から取得されるオブジェクトのシルエット画像も同様である。カメラ２５とカメラ２８それぞれにより撮像された画像から取得されるオブジェクトのシルエット画像も同様である。このため、図２の撮像システム２０により得られる実質的に有効なシルエット画像は、３つであると言える。

一方、図３（ｂ）は、本実施形態の撮像システム１０により取得された撮像画像と、その撮像画像内のオブジェクト３１の領域を示すシルエット画像と、を示す図である。カメラ１３により取得された撮像画像３６と、その撮像画像３６から取得されるオブジェクト３１の領域を示すオブジェクト領域情報であるシルエット画像３７が示されている。また、カメラ１６により取得された撮像画像３８と、その撮像画像３８から取得されるオブジェクト３１の領域を示すオブジェクト領域情報であるシルエット画像３９が示されている。なお、カメラ１３とカメラ１６の画角は、同じに設定されているとする。

カメラ１６は、カメラ１３の対称位置に配置されていないので、シルエット画像３９は、左右反転してもシルエット画像３７とは一致しない。そのため、撮像システム１０により得られるシルエット画像は、カメラの台数と同じ６つである。そのため、図２の撮像システム２０とカメラ台数が変わらないにもかかわらず、実質的に有効なシルエット画像を、撮像システム２０よりも増やすことができる。そのため、オブジェクト３１の領域を示すシルエット画像に基づいて３次元形状データを生成する場合、３次元形状データの精度の低下を軽減させることができる。さらには、仮想視点画像の画質の低下を軽減させることができる。

本実施形態では、設置するカメラが６台の場合を例に説明を行ったが、これに限られず、少なくとも２台以上のカメラを含む撮像システムであればよい。２台とは、互いに対称位置に配置されないカメラの組み合わせを構成する最小の台数を示している。また、本実施形態では、撮像システムに含まれる全てのカメラが別のカメラの対称位置に配置されない例を説明したが、一部のカメラにおいて対称位置にカメラが配置される構成を排除するものではない。

また、本実施形態では、所定の位置を含んで撮像フィールドに対して垂直な軸を挟んで、カメラと対向しないように、他のカメラが配置されている構成例を説明した。しかし、２つのカメラが対称位置の関係を満たさない位置関係であれば、２つのカメラが、所定の位置を含んで撮像フィールドに対して垂直な軸を挟んで対向する位置関係であってもよい。つまり、２つのカメラそれぞれから撮像フィールドに対して垂直な注視点を通る軸までの距離が異なっていれば、その２つのカメラが対向していてもよい。

また、本実施形態では、あるカメラの対称位置に最も近い位置に配置された別のカメラが、そのあるカメラと画角が同一である場合を説明したがこれに限られない。例えば、焦点距離が同一である場合でも、対称位置となる位置関係に２つのカメラが配置された場合には、得られるシルエット画像に大きな違いが生じず、上述した問題が生じる。その他に、シルエット画像に影響を与える、カメラの特性を決めるカメラパラメータが同じであれば上述した問題が生じる。そのようなカメラパラメータは、例えば、撮像センサのサイズ、レンズの種類などである。

画角や焦点距離などが異なる２つのカメラから得られるオブジェクトの領域情報（シルエット画像）に大きな違いが発生する場合においては、注視点を基準に対称位置に別のカメラが存在してもよい。また、本実施形態では、対称位置の関係にない少なくとも２つのカメラで、これらのカメラパラメータが異なっていてもよい。また、すべてのカメラで互いにカメラパラメータが異なっていてもよい。

また、本実施形態では、２次元平面上において注視点を中心に対称位置に別のカメラが存在しない構成について説明したが、これに限らない。例えば、サッカースタジアムの１階席にあるカメラと２階席にあるカメラとは、３次元空間において、カメラの撮像フィールドからの高さが異なるので、当然、対称位置に存在しないと言える。

また、複数の注視点がある場合、つまり、撮像システムが、異なる注視点を撮像するように配置された異なるカメラ群に分類される場合には、そのカメラ群ごとに上述したカメラ配置とすればよい。つまり、一つのカメラ群内のカメラの対称位置に、注視点が異なる他のカメラ群のカメラが配置されてもよい。

以上、本実施形態の撮像システムにより撮像した多視点画像を用いれば、３次元形状データの精度の低下を軽減し、高画質な仮想視点画像を再構成することができる。

［画像処理システム］
以下では、本実施形態の撮像システムを有する仮想視点画像を生成する画像処理システムについて説明する。

競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１１のシステム構成図を用いて説明する。画像処理システム１００は、センサシステム１１０ａ～１１０ｆ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。

コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ～３１０ｃ、２９１、１８０ａ、１８０ｂ、及び１７０ａ～１７０ｅを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標、以下省略）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

最初に、センサシステム１１０ａ～１１０ｆの６セットの画像及び音声をセンサシステム１１０ｆから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００は、センサシステム１１０ａ～１１０ｆがデイジーチェーンにより接続される。

本実施形態において、特別な説明がない場合は、センサシステム１１０ａ～１１０ｆまでの６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。上述した撮像システムは、画像処理システム１００においてカメラ１１２ａ～１１２ｆにより構成されるシステムに相当する。また、撮像システムのカメラ１１２ａ～１１２ｆそれぞれは、異なるカメラの対称位置以外の位置に配置されている。

また、複数のセンサシステム１１０は同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想聴収点音響が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音響であってもよい。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム１１０ａ～１１０ｆは、それぞれ１台ずつのカメラ１１２ａ～１１２ｆを有する。すなわち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラ１１２を有する。なお、複数のカメラ１１２は同一符号を用いて説明するが、性能や機種が異なっていてもよい。複数のセンサシステム１１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。

なおこれに限らず、接続形態として、各センサシステム１１０ａ～１１０ｆがスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

また、図１１では、デイジーチェーンとなるようセンサシステム１１０ａ～１１０ｆの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。

また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。

しかし、画像入力を行うカメラアダプタ１２０が複数になる場合は、画像が撮影されてから画像コンピューティングサーバ２００に入力されるまでの遅延がデイジーチェーンのレーン（経路）ごとに異なる場合が考えられる。すなわち、センサシステム１１０がグループに分割される場合は、画像コンピューティングサーバ２００に全周の画像データが入力されるタイミングは同期がとられないことがある。そのため、画像コンピューティングサーバ２００において、全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要があることを明記しておく。

本実施形態では、センサシステム１１０ａはマイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、この構成に限定するものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａまたは１台のマイク１１１ａを有していればよい。また例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。すなわち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、センサシステム１１０ｂ～１１０ｆについては、センサシステム１１０ａと同様の構成なので省略する。なお、センサシステム１１０ａと同じ構成に限定されるものではなく、其々のセンサシステム１１０が異なる構成でもよい。

マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて、様々な処理などが施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。

カメラアダプタ１２０は、カメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して、前景背景分離処理、前景３次元形状データ情報生成処理、動的キャリブレーションなどの処理を行う。カメラアダプタ１２０により、撮像画像に対する前景背景分離処理に基づき、オブジェクトのシルエット画像が生成される。また、他のカメラアダプタ１２０から受け取った複数のシルエット画像に基づき、視体積交差法などにより、オブジェクトに対応する３次元形状データを生成する。後述する画像コンピューティングサーバ２００により複数の３次元形状データが統合される。なお、カメラアダプタ１２０では、オブジェクトに対応する３次元形状データを生成せずに、画像コンピューティングサーバ２００により、一括で複数のオブジェクトに対応する３次元形状データを生成するようにしてもよい。

前述した動作を続けることにより、センサシステム１１０ａ～センサシステム１１０ｆが取得した画像及び音声は、センサシステム１１０ｆから１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。

なお、本実施形態では、カメラ１１２ａ～１１２ｆとカメラアダプタ１２０ａ～１２０ｆが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ～１１１ｆは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｆから取得したデータの処理を行う。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０（以下、ＤＢとも記載する。）、バックエンドサーバ２７０、タイムサーバ２９０を有する。

タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ～センサシステム１１０ｆに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ～１２０ｆは、カメラ１１２ａ～１１２ｆを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。

フロントエンドサーバ２３０は、センサシステム１１０ｆから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。

次に、バックエンドサーバ２７０では、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。

なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。

レンダリング処理された画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴ができる。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。なお、本実施形態において仮想視点コンテンツは画像コンピューティングサーバ２００により生成されるものであり、特にバックエンドサーバ２７０により生成される場合を中心に説明する。ただしこれに限らず、仮想視点コンテンツは、画像コンピューティングサーバ２００に含まれるバックエンドサーバ２７０以外の装置により生成されてもよいし、コントローラ３００やエンドユーザ端末１９０により生成されてもよい。

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。

なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくてもよい。また、バックエンドサーバ２７０は、仮想視点画像を例えばＨ．２６４やＨＥＶＣなどの符号化方式に従って圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰＬｉｖｅＳｔｒｅａｍｉｎｇ）やその他の送信方法を用いてもよい。

このように、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０～１１０ｆを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ～１１０ｆから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ～１１０ｆから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０がセンサシステム１１０ａ～１１０ｆが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ～１１０ｆのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しないおそれを低減できる。

また、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。

このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

以上、画像処理システム１００で動作する、カメラ１１２ａ～１１２ｆを有する撮像システムについて説明した。この撮像システムのカメラ１１２ａ～１１２ｆの配置位置はそれぞれ、上述したような位置関係となっている。このため、３次元形状データの精度の低下を軽減し、仮想視点画像の画質の低下を軽減することができる。

＜実施形態２＞
実施形態１では、様々な方向の仮想視点において３次元形状データの精度の低下を軽減させるための撮像システムとそれを有する画像処理システムについて説明した。本実施形態では、実施形態１で説明した撮像システムにおけるカメラ配置を決定する配置決定装置及びその方法について説明する。

この配置決定装置は、所定の位置を異なる方向から撮像するように配置される複数のカメラの台数の情報及び注視点の位置情報を取得し、それらの情報基づき、撮像手段の配置を決定する装置である。具体的には、配置決定装置によって、注視点を通り撮像フィールドに対して垂直な軸を中心とする、カメラの２回対称の位置（対称位置）以外に、別のカメラが配置されるように、複数のカメラの配置が決定される。この配置決定装置を用いれば、カメラ台数の情報と注視点の位置情報とを外部から入力して、適切なカメラ配置を決定することが可能となる。また、この配置決定装置によってカメラの配置を自動的に行うようにしてもよいし、決定された配置を基に、人がカメラ配置を行うようにしてもよい。

また、配置決定装置は、台数の情報及び注視点の位置情報に加え、複数のカメラの配置位置を示す配置情報を取得し、それらの情報に基づき、対称位置に別のカメラが存在するか否かを示す対称情報を取得するようにしてもよい。そして、配置決定装置は、あるカメラの対称位置にカメラが存在することを示す対称情報が取得された場合には、対称位置にカメラが存在しないように、カメラの配置を変更することを決定するようにしてもよい。

なお、配置決定装置は、実施形態１で説明した画像処理システム内の、例えばコントローラ３００であってもよいし、画像処理システムに含まれない装置であってよい。以下では、画像処理システムに含まれない別の装置で行う場合を例に説明する。この場合、配置決定装置によって決定されたカメラ配置に従い、実施形態１の撮像システム内の各カメラを配置する、またはすでに配置されている場合はその配置位置を変更する。カメラの実際の配置又は配置位置の変更は、自動で行われてもよいし、人が行ってもよい。以下では、配置決定装置が、カメラの配置の変更を行う例について説明する。

以下、本実施形態の具体的な構成について述べる。図４は、複数のカメラ４０１ａ～４０１ｆを有する撮像システムの各カメラの配置を決定する配置決定装置４０２を示す図である。配置決定装置４０２は、撮像システムの複数のカメラとネットワークを介して接続されている。カメラ４０１ａ～４０１ｆの台数の情報、初期の配置位置情報、光軸の方向を示す姿勢情報、及び注視点の位置情報が配置決定装置４０２に入力される。また、配置決定装置４０２によって更新されたカメラ４０１ａ～４０１ｆの配置情報に基づき、カメラ４０１ａ～４０１ｆの配置が変更される。また、配置決定装置４０２は、表示装置４０３、入力装置４０４ａ、４０４ｂとネットワークを介して接続されている。表示装置４０３は、例えば、カメラの初期の配置位置を示す初期の配置情報や更新された配置情報を表示したり、配置位置が変更となるカメラの変更量やその方向などを表示する。入力装置４０４ａ、４０４ｂは、ユーザから、カメラの初期の配置位置を示す初期配置情報の入力を受け付けたり、ユーザが指定する変更量の入力を受け付ける。

各カメラ４０１ａ～４０１ｆは、概略平面上の領域に配置されたオブジェクト４０５を囲むような複数の方向から、オブジェクト４０５ａ、４０５ｂを撮像する。オブジェクト４０５ａは、競技グラウンドである撮影フィールド４０６上の人物（選手）を表し、オブジェクト４０５ｂは、ボールを表している。

次に、本実施形態で行う、カメラの位置を決定する方法の概要について、図７を用いて説明する。まず、配置決定装置４０２は、図７（ａ）で示されている撮像システムに含まれる複数のカメラ７０２～７０７の台数の情報、初期の配置位置を示す初期配置情報、及び光軸の方向を示す姿勢情報を取得する。また、配置決定装置４０２は、撮像システム内の各カメラの注視点７０１の位置情報を取得する。その後、決定装置は、台数の情報、初期の配置位置情報、姿勢情報及び注視点の位置情報に基づき、注視点７０１を含む撮像フィールドに垂直な軸を中心とする対称位置関係になっているカメラの組み合わせが存在するか否かを判定する。そして、決定装置は、対称位置関係になっていると判定されたカメラ７０２とカメラ７０５の組について、対称位置関係とならないように、カメラの位置を変更するためのずらす方向（変更する方向）とずらし量（変更量）を決定する。また、決定装置は、カメラ７０３とカメラ７０６の組、カメラ７０４とカメラ７０７の組についても、対称位置関係とならないように、カメラの位置を変更するためのずらす方向（変更する方向）とずらし量（変更量）を決定する。

例えば、カメラ７０４から７０６を、図７（ｂ）で示すような位置に変更した場合、上述したように、各カメラと注視点７０１を結ぶ線分７０９ａ～７０９ｆが６本できる。このようなカメラ配置の撮像システムでは、実質的に有効なシルエット画像を６つ取得できる。一方、図７（ａ）では、各カメラと注視点７０１を結ぶ線分７０８ａ～７０８ｃが３本しかなく、有効なシルエット画像を３つしか取得できない。そのため、図７（ａ）に示す撮像システムに比べて図７（ｂ）の撮像システムは、３次元形状データの精度及び仮想視点画像の品質を向上させることができる。

しかし、図７（ｂ）の撮像システムは、カメラ７０３とカメラ７０４との間、カメラ７０６と７０７との間においては、カメラが配置されていないので、撮像画像を取得できない。そのため、カメラ７０３とカメラ７０４との間、カメラ７０６と７０７との間においては、シルエット画像を取得できない。そこで、本実施形態では、配置位置を変更した後のカメラと注視点とを結ぶ線分が、注視点７０１を中心におおよそ均等な角度で配置されるように、カメラをずらす方向とそのずらし量とを決定するようにしてもよい。例えば、図７（ｃ）に示すように、図７（ａ）のカメラ位置からカメラ７０５からカメラ７０７の位置を変更し、カメラと注視点７０１を結ぶ線分７０９ａ～７０９ｆがおおよそ均等に分散するように撮像システムを構築する。このような、撮像システムにより、３次元形状データの精度及び仮想視点画像の品質の低下をより軽減させることができる。なお、本実施形態では、オブジェクトの全体を高品質にする場合を例に挙げて、カメラの位置を決定する方法を説明するが、これに限られない。例えば、仮想視点からの方向が限定されている場合は、限定された方向の領域で上記線分が均等となるように、位置を変更するカメラ及びその変更量を決定されるようにしてもよい。

以下、本実施形態の決定装置で行われる処理について、図５と図６を参照して説明する。図５は、配置決定装置４０２の構成の一例を示すブロック図である。配置決定装置４０２は、カメラ情報取得部５０１と、対称情報取得部５０２と、光軸隣接情報取得部５０３と、変更情報決定部５０４と、カメラ情報更新部５０５と、カメラ制御部５０６とを有する。

また、図６は、配置決定装置４０２における処理の流れの一例を示す図である。以下、各構成部により行われる処理の流れを説明する。なお、以下の説明における記号「Ｓ」はステップを表す。

カメラ情報取得部５０１は、カメラの台数、カメラの初期配置情報、カメラの姿勢情報及びカメラの注視点の位置情報などのカメラ情報を取得する。対称情報取得部５０２は、カメラ情報に基づいて、カメラ毎に、別のカメラとの対称度を算出し、対称情報を算出する。対称度とは、注視点を含む撮像フィールドに対して垂直な軸を中心として、カメラの２回対称の位置に別のカメラが存在するのか、又はその位置にどれくらい近い位置に別のカメラが存在するのかを示す指標である。この対称度及び対称情報については、後述する。

光軸隣接情報取得部５０３は、カメラ情報を用いて、カメラ毎に、光軸隣接度を算出し、光軸隣接情報を取得する。光軸隣接度とは、自身のカメラの光軸と別のカメラとの光軸との近さを示すもので、カメラそれぞれの光軸を示すベクトルを２次元平面に投影した直線間の角度を示す指標により定義される。光軸隣接度及び光軸隣接情報については、後述する。

変更情報決定部５０４は、対称情報に基づき、カメラの初期配置を変更するか否かを判定する。また、変更情報決定部５０４は、光軸隣接情報に基づき、変更すると決定したカメラの位置の変更量を決定する。変更量は、ユーザが入力装置４０４ａ、４０４ｂを用いて入力してもよい。

カメラ情報更新部５０５は、カメラ情報取得部５０１又は変更情報決定部５０４から出力されるカメラ情報を更新する。カメラ情報更新部５０５は、変更情報決定部５０４により決定された内容、例えば、位置を変更するカメラとその変更量、位置を変更しないカメラなどの情報を、カメラ制御部５０６に出力する。なお、図４の表示装置４０３で、その内容が表示されるように、配置決定装置４０２内又は表示装置４０３内にある表示制御部（不図示）に出力し、その表示制御部がその内容を表示するようにしてもよい。この場合、表示装置４０３で表示された内容に従い、人がカメラの配置位置を変更するようにしてもよい。

カメラ制御部５０６は、カメラ情報更新部５０５により更新されたカメラ情報に基づいて、撮像システムに含まれる複数のカメラの位置を変更する。

Ｓ６０１において、カメラ情報取得部５０１は、撮像システムに含まれるカメラの台数の情報、初期配置情報、姿勢情報、及び注視点の位置情報を含むカメラ情報を取得する。カメラ情報は、撮像空間の底面（撮像フィールド）をｘ軸，ｙ軸、高さをｚ軸とした３次元座標軸を定義し、各カメラの位置を座標空間での位置ｐｉ（ｐｘｉ，ｐｙｉ，ｐｚｉ）、各カメラの姿勢をベクトルｖｉ［ｖｘｉ，ｖｙｉ，ｖｚｉ］で表現した情報である。ここで、ｉは設置された複数のカメラそれぞれの識別番号である。なお、カメラ情報の内容は、上述のものに限られず、各カメラの座標位置と注視点の座標位置の情報でもよい。また、カメラの位置情報及び姿勢情報の表現方法はこれに限らず、カメラの位置と姿勢を特定可能な表現であればよい。また、本実施形態では、カメラの初期位置は、注視点を中心に光軸間の角度が均等となるように自動的に決められてもいし、入力装置４０４ａ、４０４ｂを介してユーザが定めたカメラの位置をカメラの初期位置として取得されてもよい。カメラ情報取得部５０１は、取得したカメラの初期配置情報と姿勢情報とをカメラ情報として、対称情報取得部５０２と光軸隣接情報取得部５０３とカメラ情報更新部５０５とに出力する。

Ｓ６０２において、変更情報決定部５０４は、変更情報を初期化する。変更情報は、各カメラにおいて、カメラの位置を変更するか否かを示す値を第１の値と、変更する場合は変更する量を示す変更量を第２の値として示す情報である。

Ｓ６０３において、カメラ情報更新部５０５は、撮像システムに含まれる複数のカメラの中から、カメラ情報を更新するか否かを決定する対象となる基準カメラを決定する。通常は、上述のカメラを識別する番号ｉが若いものから順に、基準カメラに決定されるが、これに限られない。例えば、複数のカメラの中からランダムに選択されたカメラを基準カメラとして決定してもよいし、他の方法で決定してもよい。

Ｓ６０４において、対称情報取得部５０２は、カメラ情報取得部５０１又はカメラ情報更新部５０５から取得したカメラ情報を用いて、対称情報をカメラ毎に算出する。カメラ情報は、カメラ情報更新部５０５から取得したカメラ情報を優先的に用いる。以下に、対称情報の算出方法を具体的に説明する。すなわち、例えば、以下の１）～３）のような手順で行われる。

１）各カメラの光軸方向を示すベクトルを２次元平面に投影し、かつ、正規化して得られた方向ベクトル（以下、光軸投影ベクトルという）ｖｉ［ｖｐｉ，ｖｑｉ］を、カメラ毎に算出する。ここで、ｉは各カメラを識別する番号であり、いまｉ＝１～６である。

２）他のカメラとの対称度を算出する。具体的には、基準カメラの光軸投影ベクトルｖｏ［ｖｐｏ，ｖｑｏ］と、基準カメラ以外のカメラの光軸投影ベクトルｖｊ［ｖｐｊ，ｖｑｊ］との内積ｖｏ・ｖｊを算出する。ここで、ｏは基準カメラの識別番号を表し、ｊは基準カメラ以外のカメラの識別番号を表す。例えば、ｉ＝１のとき、ｏ＝１、ｊ＝２～６である。

３）上記２）で算出した対称度を用いて対称情報を取得する。具体的には、他のカメラとの内積ｖｏ・ｖｏｊの値が負、かつ、内積ｖｏ・ｖｊの符号を反転した値の中で、最大の値を基準カメラの対称情報として取得する。この対称情報が１であれば、基準カメラの対称位置に他のカメラが存在することを示す。対称情報が１でなければ、基準カメラの対称位置に他のカメラが存在しないことを示す。つまり、対称情報は、そのカメラの対称位置に他のカメラが存在するか否かを示す情報である。

対称情報取得部５０２は、取得した対称情報を変更情報決定部５０４に出力する。本実施形態では、２次元平面と内積を用いて対称情報の算出を行ったが、これに限られず、基準カメラと他のカメラとが対称位置関係にあるか否か、及びその度合いを判断することができる他の方法を用いてもよい。

Ｓ６０５において、変更情報決定部５０４は、Ｓ６０４で取得した対称情報を用いて、基準カメラに対して注視点を基準として対称位置となるカメラが存在するか否かを判定する。本実施形態では、基準カメラの対称情報が１である場合は、上述したように、対称位置に別のカメラが存在すると判定し（Ｓ６０５でＹＥＳ）、Ｓ６０６に移る。ただし、これに限らず、例えば、対称情報が０．８以上であれば、対称位置に別のカメラが存在すると判定してもよい。つまり、基準カメラに対して完全な対称位置に別のカメラが存在する場合にのみ対称位置に別のカメラが存在すると判定するのではなく、おおよその対称位置に別のカメラが存在する場合も対称位置に存在すると判定することが許容されてもよい。また、本実施形態では、２次元のベクトルにより算出した対称情報を用いて、基準カメラの対称位置に別のカメラが存在するか否かの判定を行ったがこれに限らず、高さ方向を含む３次元的な位置関係に基づいて判定を行ってもよい。その場合、２次元の場合においては対称位置であっても、高さの位置が異なる場合は対称位置には存在しないカメラとであると判定されることがある。

Ｓ６０６において、変更情報決定部５０４は、Ｓ６０５でＹＥＳと判定した場合には、変更情報の第１の値を１に更新する。この第１の値が１であることは、そのカメラの位置を変更することを表す。

また、Ｓ６０５でＮＯ、つまり、変更情報決定部５０４は、基準カメラの対称位置に別のカメラが存在しないと判定した場合はＳ６１２に進み、変更情報の第１の値と第２の値とをともに０に更新する。第１の値が０であることは、そのカメラの位置を変更しないことを表す。また、第２の値が０であることは、変更量が０であることを表す。この場合は、Ｓ６１０に進む。

次に、Ｓ６０７において、光軸隣接情報取得部５０３は、カメラ情報取得部５０１又はカメラ情報更新部５０５から取得したカメラ情報を用いて、光軸隣接度を取得する。カメラ情報は、カメラ情報更新部５０５から取得したカメラ情報を優先的に用いる。以下に光軸隣接度の取得方法を具体的に述べる。すなわち、例えば、以下の１）～３）のような手順で行われる。

１）各カメラの光軸投影ベクトルｖｉ［ｖｐｉ，ｖｑｉ］を、カメラ毎に算出する。ここで、ｉは各カメラを識別する番号であり、いまｉ＝１～６である。なお、この手順は、対称情報の算出方法の１）と同じであり、対称情報取得部５０２からこの情報を取得するようにしてもよい。

２）基準カメラの光軸投影ベクトルｖｏ［ｖｐｏ，ｖｑｏ］と、基準カメラ以外のカメラの光軸投影ベクトルｖｊ［ｖｐｊ，ｖｑｊ］との内積ｖｏ・ｖｊと外積ｖｏ×ｖｊとを算出する。ここで、ｏは基準カメラの識別番号を表し、ｊは基準カメラ以外のカメラの識別番号を表す。例えば、ｉ＝１のとき、ｏ＝１、ｊ＝２～６である。なお、この内積ｖｏ・ｖｊは、対称情報取得部５０２から取得するようにしてもよい。

３）上記２）で算出した、他のカメラとの内積ｖｏ・ｖｏｊと外積ｖｏ×ｖｊの値から、外積ｖｏ×ｖｊを内積ｖｏ・ｖｊで除した値を算出し、その値をカメラの光軸隣接度とする。なお、この光軸隣接度は、カメラの光軸を示すベクトルを２次元平面に投影した直線間の角度を示す指標である。本実施形態では、２次元平面と内積と外積とを用いて光軸隣接度の算出を行ったが、これに限られず、他の方法を用いてもよい。光軸隣接情報取得部５０３は、基準カメラの別カメラとの光軸隣接度をまとめた情報を光軸隣接情報として変更情報決定部５０４に出力する。

ステップＳ６０８において、変更情報決定部５０４は、Ｓ６０６で取得した光軸隣接情報から、基準カメラの位置を変更する際の変更量を決定し、変更情報の第２の値を更新する。以下に具体的に述べる。すなわち、例えば、以下の１）～３）（又は１）～３’））のような手順で行われる。

１）光軸隣接情報の中から光軸隣接度が正かつ最小となる値ｃｐと、光軸隣接度が負かつ最小となる値ｃｍを抽出する。

２）光軸隣接情報から光軸隣接度が０となるカメラが基準カメラ以外に存在するか否かを判定する。

３）光軸隣接情報から光軸隣接度が０となるカメラが基準カメラ以外に存在すると判定された場合は、光軸隣接度が正の最小値ｃｐの絶対値と光軸隣接度が負の最小値ｃｍの絶対値とを比較し、絶対値が最小となる値ｃを抽出する。そして、検出した値ｃを使用して、基準カメラの光軸と最も隣接する光軸との中間角度θ＝ａｒｃｔａｎ（ｃ／２）を算出する。

３’）光軸隣接度が０となるカメラが基準カメラ以外に存在しないと判定された場合は、中間角度θを（ａｒｃｔａｎ（ｃｐ）－ａｒｃｔａｎ（ｃｍ））／２＋ａｒｃｔａｎ（ｃｐ）により算出する。

変更情報決定部５０４は、上記のように算出した中間角度θを基準カメラの変更量として、変更情報の第２の値を中間角度θの値に更新する。そして、変更情報決定部５０４は、更新した変更情報をカメラ情報更新部５０５に出力する。このため、２つのカメラそれぞれの光軸を示すベクトルを２次元平面に投影した直線間の角度が大きいほど、変更量が小さくなることになる。

なお、本実施形態では、逆正接を用いて変更量の算出を行ったがこれに限らず、基準カメラの光軸と他のカメラの光軸との角度又は移動量を算出可能な別の方法を用いてもよい。また、ユーザが任意で指定する変更量を利用し、その変更量を変更情報の第２の値として用いてもよい。また、変更情報の第２の値として角度を用いたがこれに限らず、３次元空間中での距離及びベクトルなど他の方法を用いてもよい。

Ｓ６０９において、カメラ情報更新部５０５は、変更情報決定部５０４から取得した変更情報を用いて、カメラ情報取得部５０１から取得した基準カメラのカメラ情報を更新する。変更情報における第１の値が１である場合は、基準カメラの位置及び姿勢情報を更新する。本実施形態では、変更情報の第２の値が示す角度の大きさの分、注視点を基準として基準カメラを回転させた位置に、基準カメラの位置情報ｐｉ（ｐｘｉ，ｐｙｉ，ｐｚｉ）を更新する。また、更新した位置情報ｐｉと注視点とを用いて、基準カメラの姿勢ベクトルｖｉを更新する。本実施形態では、基準カメラを変更情報の第２の値に従って回転させることで移動させるようにカメラ情報を更新するが、これに限られない。例えば、カメラが配置可能な位置に制限がある場合などにおいては、単純に移動させた位置からその制限内で最も近い位置に基準カメラを移動させるようにカメラ情報を更新してもよい。なお、変更情報における第一の値が０である場合は、カメラ情報における基準カメラの位置及び姿勢情報の更新は行われない。

Ｓ６１０において、カメラ情報更新部５０５は、撮像システムに含まれる全てのカメラを基準カメラとして、カメラ情報を更新するか否かの決定を行ったかを判定する。全てのカメラに対してその決定を行ったと判定した場合（Ｓ６１０でＹＥＳ）は、カメラ情報更新部５０５は、更新したカメラ情報をカメラ制御部５０６に出力する。また、必要に応じて、表示装置４０３の表示を制御する表示制御部（不図示）に更新したカメラ情報を出力する。

一方、Ｓ６１０でＮＯの判定の結果場合は、Ｓ６１３において、カメラ情報更新部５０５は、基準カメラを変更する。その後、Ｓ６０４に戻る。Ｓ６１３において、本実施形態では、それまでに基準カメラとして選択されないカメラが新たな基準カメラとして選択される。すでに基準カメラとしてカメラ情報が更新された場合、その更新されたカメラ情報を用いて、別のカメラを基準カメラとした場合の対称度や光軸隣接度が算出される。

Ｓ６１１において、カメラ制御部５０６は、カメラ情報更新部５０５から取得した更新されたカメラ情報に従って、撮像システムに含まれる複数のカメラの位置を変更する。

以上が、本実施形態における決定装置及びその処理方法についての説明である。上記で説明した構成によれば、撮像システムに含まれるカメラの台数や、仮想視点の方向によらず高画質な仮想視点画像を生成する撮像システムを構築することができる。

＜実施形態３＞
実施形態２では、カメラと注視点とを結ぶ線分が撮像空間の全周でおよそ等間隔に分散されるように、カメラの位置を決定する方法について説明した。本実施形態では、カメラと注視点とを結ぶ線分に加えて、カメラ自体も全周でおよそ等間隔に存在するようにカメラの配置を決定する配置決定装置及び、その方法について説明する。具体的には、実施形態２で説明した、光軸隣接度に加え、カメラ間の隣接度を示すカメラ隣接度にも基づいて、カメラの位置を決定する。以下に、本実施形態で行われるカメラ配置の決定方法の概要とその意義について図１０を用いて説明する。

図１０（ａ）、（ｂ）のように、カメラ１００３～１００６の４台のカメラが含まれる撮像システム１０００の場合を例に挙げて説明する。図１０（ａ）は、撮像システム１０００において、各カメラと注視点１００１を結ぶ線分１００９ａ～１００９ｄについてだけ全周でおおよそ等角度となるようにカメラを配置した場合を示している。図１０（ａ）の撮像システム１０００では、全周の様々な方向において光軸が存在するとともに、様々な方向におけるシルエット画像が得られるため、３次元形状データを高精度に生成することができる。ただし、カメラ１００３とカメラ１００６との光軸間の角度１００７は大きく、カメラ１００３とカメラ１００６の間にカメラが配置されていない。そのため、撮像対象であるオブジェクトにおいて、カメラ１００３とカメラ１００６の両方で撮像できない領域が発生する可能性がある。その結果、３次元形状データが高精度であっても、レンダリングに用いるテクスチャ情報が存在しない、又は少なくなってしまう。このテクスチャ情報は、仮想視点画像の品質に影響するため、カメラ１００３とカメラ１００６間に仮想視点が設定された場合には、その仮想視点画像が低画質となる。

これに対し、図１０（ｂ）は、撮像システム１０００において、注視点１００１を基準として各カメラが対称位置関係に配置されておらず、かつ、カメラ自体が全周においておおよそ等角度に配置されている。図１０（ａ）に比べて図１０（ｂ）は、各カメラの光軸の全周における分散度合いは劣る一方で、図１０（ａ）におけるカメラ１００３とカメラ１００６間の角度１００８が小さくなる。図１０（ａ）の構成よりも、カメラ１００３とカメラ１００６の両方で撮像できない領域が小さくなり、仮想視点画像の生成の際に用いるオブジェクトのテクスチャ情報が欠損を少なくすることができる。その結果、仮想視点画像を高画質にすることが可能となる。そのため、本実施形態では、図１０（ｂ）に示すように、光軸の分散の度合いだけでなく、カメラの分散の度合いを考慮しカメラが配置された撮像システムを構成する。

なお、上述した例では、カメラが４台の場合を説明したがこれに限らず、カメラが任意の台数の場合にも適用可能である。また、上述した例では、撮像システムの全てのカメラが対称位置の関係を満たさない場合を説明したがこれに限られず、設置上の制約上などの理由から、対称位置関係を満たすカメラが撮像システムに含まれてもよい許容することができる。

以下、本実施形態のカメラの配置を決定する決定装置及びその処理方法について、図８及び図９を参照して説明する。図８は、配置決定装置８０３の構成の一例を示すブロック図である。配置決定装置８０３は、カメラ情報取得部５０１と、対称情報取得部５０２と、光軸隣接情報取得部５０３と、変更情報決定部８０２と、カメラ情報更新部５０５と、カメラ制御部５０６を有し、さらにカメラ隣接情報取得部８０１を有する。カメラ隣接情報取得部８０１は、カメラ情報に基づいて、カメラ間の距離の近さを示すカメラ隣接度を取得し、それをカメラ毎にまとめてカメラ隣接情報とする。なお、カメラ隣接度は、撮像手段の間の距離を示す指標である。また、変更情報決定部８０２は、光軸隣接度に加え、カメラ隣接情報にも基づき、カメラの配置位置の変更量を決定する点で、実施形態２と異なる。

また、図９は、配置決定装置８０３における処理の流れの一例を示す図である。以下、各構成部により行われる処理の流れを説明する。実施形態２と同様の構成及び同様の処理については、実施形態２と同様の符号を付して説明を省略する。具体的にはＳ６０７までとＳ６０９以降、Ｓ６１２，Ｓ６１３は実施形態２と同様である。

Ｓ９０１において、カメラ隣接情報取得部８０１は、カメラ情報取得部５０１又はカメラ情報更新部５０５から取得したカメラ情報を用いて、基準カメラと他のカメラとの距離を示すカメラ隣接情報を取得する。カメラ情報は、カメラ情報更新部５０５から取得したカメラ情報を優先的に用いる。以下にカメラ隣接情報の取得方法を具体的に述べる。

本実施形態では、カメラ隣接情報として基準カメラ毎に２つの値を保持する。第１の値は基準カメラに対する距離の近さを示すカメラ隣接度を示し、第２の値は基準カメラに対する方向を示す。本実施形態では、第２の値として正（１）と負（０）との二種類のいずれかの値を保持する。しかしながら、カメラ隣接情報の表現方法は上記に限らず、基準カメラに対して他のカメラがどの程度、近いかまたその方向を表す他の方法を用いてもよい。以下に、カメラ隣接情報の算出方法を具体的に説明する。すなわち、例えば、以下の１）～３）のような手順で行われる。

２）カメラ隣接度を算出する。具体的には、基準カメラの光軸投影ベクトルｖｏ［ｖｐｏ，ｖｑｏ］と、基準カメラ以外のカメラの光軸投影ベクトルｖｊ［ｖｐｊ，ｖｑｊ］との内積ｖｏ・ｖｊと外積ｖｏ×ｖｊとを算出する。ここで、ｏは基準カメラの識別番号を表し、ｊは基準カメラ以外のカメラの識別番号を表す。例えば、ｉ＝１のとき、ｏ＝１、ｊ＝２～６である。なお、この内積ｖｏ・ｖｊは、対称情報取得部５０２から取得するようにしてもよい。また、外積ｖｏ×ｖｊは、光軸隣接情報取得部５０３から取得するようにしてもよい。

３）上記２）で算出した、内積ｖｏ・ｖｏｊの値をカメラ隣接情報の第１の値とする。また、外積ｖｏ×ｖｊの値における正負に従ってカメラ隣接情報の第２の値を決定する。外積ｖｏ×ｖｊの値が正である場合は、カメラ隣接情報の第２の値を１、外積ｖｏ×ｖｊの値が負である場合は、カメラ隣接情報の第２の値を０とする。

本実施形態では、２次元平面と内積と外積とを用いてカメラ隣接度の算出を行ったが、これに限らず、他の方法を用いてもよい。カメラ隣接情報取得部８０１は、取得したカメラ毎のカメラ隣接度を全カメラでまとめた情報を変更情報決定部８０２に出力する。

Ｓ９０２において、変更情報決定部８０２は、光軸隣接情報取得部５０３から取得した光軸隣接情報と、カメラ隣接情報取得部８０１から取得した全カメラでまとめたカメラ隣接情報とから、基準カメラの位置を変更する際の変更量を決定する。そして、変更情報決定部８０２は、変更情報の第２の値を更新する。以下に具体的に述べる。すなわち、例えば、以下の１）～６）のような手順で行われる。

２）同様に、カメラ隣接情報の中からカメラ隣接情報の第２の値が１かつ第１の値が最小となる値ｄｐと、第２の値が０かつ第１の値が最小となる値ｄｍを取得する。

３）取得したｄｐとｄｍとから、基準カメラと隣接するカメラとのなす角の中間を示すθｄ＝（ａｒｃｔａｎ（ｄｐ）－ａｒｃｔａｎ（ｄｍ））／２を算出する。

４）光軸隣接情報から光軸隣接度が０となるカメラが基準カメラ以外に存在するか否かを判定する。

５）光軸隣接情報から光軸隣接度が０となるカメラが基準カメラ以外に存在すると判定された場合は、光軸隣接度が正の最小値ｃｐの絶対値と光軸隣接度が負の最小値ｃｍの絶対値とを比較し、絶対値が最小となる値ｃを抽出する。そして、検出した値ｃを使用して、基準カメラの光軸と最も隣接する光軸との中間角度θｃ＝ａｒｃｔａｎ（ｃ／２）を算出する。一方、光軸隣接度が０となるカメラが基準カメラ以外に存在しないと判定された場合は、中間角度θｃを（ａｒｃｔａｎ（ｃｐ）－ａｒｃｔａｎ（ｃｍ））／２により算出する。

６）θｃとθｄとの中間角度θを（θｃ－θｄ）／２＋θｄにより算出する。

変更情報決定部８０２は、変更情報の第２の値を、算出した中間角度θを基準カメラの変更量で更新する。変更情報決定部８０２は、更新した変更情報をカメラ情報更新部５０５に出力する。なお、本実施形態では、逆正接を用いて変更量の算出を行ったがこれに限らず、基準カメラの光軸と隣接する光軸との角度又は移動量を算出可能な別の方法を用いてもよい。また、ユーザが任意で指定する変更量を利用し、その変更量を変更情報の第２の値として用いてもよい。また、変更情報の第２の値として角度を用いたがこれに限らず、３次元空間中での距離及びベクトルなど他の方法を用いてもよい。

なお、カメラの間の距離が大きいほど、カメラ配置位置の変更量が小さくなる。

また、本実施形態では、カメラ隣接情報と光軸隣接情報とを等価の割合で用いて変更量を決定したがこれに限らず、中間角度θを（α×θｃ－β×θｄ）／２＋θｄのように、重み付け和により決定してもよい。この場合、αをβよりも大きくするほど光軸の均等度合いが優先され、逆に、βをαよりも大きくするほどカメラ間の均等度合いが優先される。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０撮像システム
１２撮像フィールド
１３，１４，１５，１６，１７，１８カメラ

Claims

複数の撮像手段により取得された複数の画像に基づいてオブジェクトの３次元形状データを生成するために用いられる撮像システムであって、
撮像空間を異なる方向から撮像するように配置され、当該撮像空間の特定の位置に向けられた複数の撮像手段を有し、
前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置には、前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段のいずれも配置されず、かつ前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段が、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に配置されていることを特徴とする撮像システム。
前記特定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちのいずれの撮像手段の２回対称の位置にも、前記複数の撮像手段のうちのいずれの撮像手段も配置されないように、前記複数の撮像手段が配置されていることを特徴とする請求項１に記載の撮像システム。
前記特定の位置を通り前記撮像フィールドに対して垂直な軸を挟んで、前記複数の撮像手段のうちの少なくとも一つの撮像手段と対向しないように、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されていることを特徴とする請求項１又は２に記載の撮像システム。
複数の撮像手段のそれぞれは、撮像手段の特性を決めるパラメータが同じであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
複数の撮像手段のうち少なくとも２つは、撮像手段の特性を決めるパラメータが異なることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
前記パラメータは、画角、焦点距離、レンズの種類、及び撮像センサのサイズのうち少なくとも一つであることを特徴とする請求項４又は５に記載の撮像システム。
撮像空間を異なる方向から撮像し、当該撮像空間の特定の位置に向けられるように配置される複数の撮像手段の台数の情報を取得する台数取得手段と、
前記台数取得手段により取得された前記台数の情報に基づき、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置には、前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段のいずれも配置されず、かつ前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段が、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に配置されるように、前記複数の撮像手段の配置を決定する決定手段と、
を有することを特徴とする配置決定装置。
前記特定の位置の位置情報を取得する位置情報取得手段をさらに有し、
前記決定手段は、さらに前記位置情報取得手段により取得された前記特定の位置の位置情報に基づき、前記撮像空間の特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置を決定することを特徴とする請求項７に記載の配置決定装置。
前記複数の撮像手段の配置位置を示す配置情報を取得する配置情報取得手段をさらに有し、
前記決定手段は、さらに前記配置情報取得手段により取得された前記配置情報に基づき、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置を決定することを特徴とする請求項７又は８に記載の配置決定装置。
前記複数の撮像手段ごとに、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする２回対称の位置に撮像手段が存在するか否かを示す対称情報を取得する対称情報取得手段をさらに有し、
前記対称情報取得手段により、前記特定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする２回対称の位置に撮像手段が配置されていることを示す対称情報が取得された場合、前記決定手段は、前記特定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする２回対称の位置に撮像手段が存在しないように、前記複数の撮像手段の少なくとも一つの撮像手段の配置を変更することを決定することを特徴とする請求項７乃至９のいずれか１項に記載の配置決定装置。
前記対称情報取得手段は、各撮像手段の光軸を示すベクトルを２次元平面に投影し、かつ、正規化して得られた方向ベクトルに基づいて、前記対称情報を取得することを特徴とする請求項１０に記載の配置決定装置。
撮像空間を異なる方向から撮像し、当該撮像空間の特定の位置に向けられるように配置される複数の撮像手段の台数の情報を取得する台数取得工程と、
前記台数取得工程により取得された前記台数の情報に基づき、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置には、前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段のいずれも配置されず、かつ前記少なくとも一つの撮像手段の撮像の特性を決めるパラメータと同じパラメータを有する撮像手段が、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に配置されるように、前記複数の撮像手段の配置を決定する決定工程と、
を有することを特徴とする配置決定方法。
前記特定の位置の位置情報を取得する位置情報取得工程をさらに有し、
前記決定工程において、さらに前記位置情報取得工程において取得された前記特定の位置の位置情報に基づき、前記撮像空間の特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置が決定されることを特徴とする請求項１２に記載の配置決定方法。
前記複数の撮像手段の配置位置を示す配置情報を取得する配置情報取得工程をさらに有し、
前記決定工程において、さらに前記配置情報取得工程により取得された前記配置情報に基づき、前記特定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の２回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置が決定されることを特徴とする請求項１２又は１３に記載の配置決定方法。
コンピュータを、請求項７乃至１１のいずれか１項に記載の配置決定装置の各手段として機能させるためのプログラム。