JP2019079193A - 情報処理装置、撮像装置、プログラム及び撮像システム - Google Patents

Abstract

【課題】視点切り替えの指針となる設置環境の評価値を出力する。【解決手段】情報処理装置は、複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する撮像システムにおいて、視点画像の画質を評価する。装置は、１つの視点画像を生成するために用いられる撮像画像を出力した複数の撮像装置の設置状況の情報を取得し、設置状況の情報に基づいて、各々の撮像画像の評価値を求める。そして、求めた各々の撮像画像の評価値に基づいて、視点画像の画質を判定する。【選択図】図２

Description

本発明は、情報処理装置、撮像装置、プログラム及び撮像システムに関し、特に複数の位置に配置した撮像装置から得られた画像に基づき、任意の視点の画像を生成する技術に関する。

近年、異なる位置に配置された複数の撮像装置を用いて所定の被写体を撮像し、得られた複数の撮像画像を用いることで、所望の視点位置や方向から該被写体を捉えた、所謂任意視点の画像を補間生成することができる。例えば、特許文献１には、被写体の周囲に設置された複数の撮像装置により撮像された画像を収集し、連続的に切り替えながら進行する画像シーケンスを生成することで、視点を移動しながら被写体を観察するような観賞体験を提供するシステムが開示されている。

米国特許第７１０６３６１号明細書

一方で、任意視点では、複数の撮像装置が理想的に設置されている環境においては好適な観賞体験を提供し得るが、撮像装置の設置条件や照明状態等、設置環境の状況によってはこれを損ない得る。即ち、例えば、所定の撮像方向に撮像装置を設置できない、振動や遮蔽等により撮像画像の画質低下が生じる、照明条件の変化に応じて一部の撮像装置からの撮像画像の色味が変化する等が生じた場合、所望の視点の画像が好適に生成されない可能性がある。故に、特許文献１のような画像シーケンスを生成した場合に、適切な視点画像が生成できない、フレーム間での画質にばらつきが生じる等、好適な観賞体験の提供が妨げられ得る。

特に、所謂中継放送のように、略リアルタイムで視点切り替えを行いながら映像配信を行うような場合には、視点の切り替え前にこのような設置環境の状態を把握することが要求される。しかしながら、これまで設置環境を考慮した評価値を、視点切り替えの指針として提示するようなシステムはなかった。

本発明は、上述の問題点に鑑みてなされたものであり、視点切り替えの指針となる設置環境の評価値を出力する情報処理装置、撮像装置、プログラム及び撮像システムを提供することを目的とする。

前述の目的を達成するために、本発明の情報処理装置は、複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する情報処理装置であって、第１の視点における第１の視点画像を生成するために用いる撮像画像を出力した複数の撮像装置の設置状況の情報を取得する取得手段と、複数の撮像装置が出力した各々の撮像画像の評価値を求める評価手段と、各々の撮像画像の評価値に基づいて、第１の視点について生成される視点画像の画質を判定する判定手段と、を有し、評価手段は、取得手段が取得した設置状況の情報に基づいて、評価値を求めることを特徴とする。

同様に前述の目的を達成するために、本発明の撮像装置は、複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する撮像システムにおいて利用可能な撮像装置であって、該撮像装置が出力する撮像画像とともに第１の視点における第１の視点画像を生成するために用いる撮像画像を出力する撮像装置の設置状況の情報を取得する取得手段と、複数の撮像装置が出力した各々の撮像画像の評価値を求めて出力する評価手段と、を有し、評価手段は、取得手段が取得した設置状況の情報に基づいて、評価値を求めることを特徴とする。

このような構成により本発明によれば、視点切り替えの指針となる設置環境の評価値を出力することが可能となる。

本発明の実施形態及び変形例に係る、撮像システムの各装置の機能構成を示したブロック図 本発明の実施形態１に係るデジタルビデオカメラ１００で実行される評価値出力処理を例示したフローチャート 本発明の実施形態２に係るデジタルビデオカメラ１００で実行される評価値出力処理を例示したフローチャート

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像システムの一例としての、複数の撮像装置に対応する複数のデジタルビデオカメラを連動させ、任意視点の画像（映像）提供を可能ならしめるよう構成された制御サーバを含むシステムに、本発明を適用した例を説明する。しかし、本発明は、このようなシステムで利用可能であって、複数の撮像装置間における情報通信を可能ならしめ、これらが連動して、撮像装置間で少なくとも一部が共通の被写体を撮像することが可能な任意の機器に適用可能である。あるいは、複数の撮像装置の各々について所定の情報を取得し、任意視点の画像の品質を視点毎に評価することが可能に構成された任意の機器に適用可能である。

《システムの構成》
図１は、本発明の実施形態に係る撮像システムに含まれる装置、及び各装置の機能構成を示したブロック図である。図１の例では、連動するデジタルビデオカメラ１００群として２６台のデジタルビデオカメラ１００ａ乃至ｚが配信サーバ２００に接続されているが、本発明の実施において連動するデジタルビデオカメラ１００の数はこれに限られるものではない。また本実施形態では簡単のため、図１には１つのデジタルビデオカメラ１００（デジタルビデオカメラ１００ａ）の構成のみを示し、各デジタルビデオカメラ１００の有する構成は同一であるものとして説明する。しかしながら、各デジタルビデオカメラ１００の構成は必ずしも同一である必要はなく、他の構成を含む、仕様や性能が異なる等により差異を有するものであってもよい。以下の説明では、デジタルビデオカメラ１００を識別する必要がある場合には、ａ〜ｚの記号を付して識別するものとし、各機能構成もこれに倣って記号を付すことで、構成がいずれのデジタルビデオカメラ１００に属するかが特定されるものとする。

本実施形態ではデジタルビデオカメラ１００の各々は、所定の主被写体を撮像するべく、該被写体の周囲の予め定められた異なる地理的位置に設置され、主被写体とその周辺領域が撮像範囲に含まれるよう、姿勢が設定されているものとする。即ち、各デジタルビデオカメラ１００は主被写体を提示する異なる視点に対応しており、本実施形態では配信サーバ２００においてこれら視点について撮像された画像（撮像画像）に基づき、所定の視点から主被写体を提示する画像（視点画像）が生成される。より詳しくは、デジタルビデオカメラ１００群から出力される撮像画像群は、主被写体を定点から捉えたものであり、これら定点と異なる視点について、配信サーバ２００において撮像画像が合成されることで、対応する視点画像が生成される。本実施形態では配信サーバ２００は、デジタルビデオカメラ１００群から出力された撮像画像群を格納し、予め定められた視点の各々について、合成に用いる撮像画像を用いて視点画像の生成を行う。換言すれば、所定の視点についての視点画像の生成には合成に用いられる定点の撮像画像群が予め決定されており、配信サーバ２００は例えば、該予め決定された撮像画像群が取得されたことをもって視点画像を生成すればよい。

また後述する通り、配信サーバ２００は、不図示のネットワークを介して接続されたエンドユーザ端末に対して、選択した視点に係る視点画像を配信する。即ち、生成された各視点画像は配信サーバ２００に格納されており、配信を行うものとして選択された視点に係る視点画像が読み出され、配信される。ここで、エンドユーザ端末は、配信サーバ２００により配信された視点画像を受信可能に構成されるものであればよく、視点画像の伝送の媒介はネットワークのような伝送経路に限らず、放送波が用いられるものであってもよい。

なお、本実施形態では予め定められた視点の各々について視点画像が生成されて配信サーバ２００に格納されており、配信用に選択された場合に該当の視点画像がエンドユーザ端末に対して送信されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、例えば配信用の視点が選択されたことに応じて、対応する視点画像の生成がなされ、配信される構成であってもよい。

〈デジタルビデオカメラ１００の構成〉
以下、本実施形態のデジタルビデオカメラ１００の構成について、詳細を説明する。

システムコントローラ１０１は、デジタルビデオカメラ１００が有する各ブロックの動作を制御する。システムコントローラ１０１は、内部にメモリを有しており、恒久的なデータ記憶を行う記憶領域と、一時的なデータ展開や中間データ保持等を行う作業領域とを有する。システムコントローラ１０１は、記憶領域に記憶された各ブロックの動作プログラムを読み出し、作業領域に展開して実行することで、各ブロックの動作を制御することができる。

撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、撮像光学系１０２を介して素子の撮像面に結像された光学像を光電変換し、映像の１フレームに係るアナログ画像信号を出力する。撮像光学系１０２は、撮像面内における光学中心の結像位置を変更するシフトレンズを含んで構成されるレンズ群であり、設定された撮像設定に応じて不図示のレンズ制御により各レンズが駆動制御される。撮像部１０３は、撮像により得られたアナログ画像信号を、撮像素子のラインごとに順次信号処理部１０４に出力する。

信号処理部１０４は、撮像部１０３により撮像されて出力されたアナログ画像信号に対し、Ａ／Ｄ変換処理や現像処理を含む、画像最適化に係る各種の信号処理を適用し、得られたデジタル画像信号（撮像画像）を画像メモリ１０５に出力して格納させる。

検出部１０６は、デジタルビデオカメラ１００に生じたブレを検出する各種センサを含む。各種センサは、ジャイロセンサや地磁気センサ、あるいはＧＰＳ受信機等であってよく、デジタルビデオカメラ１００に生じた位置（高さを含む）及び姿勢（撮像方向）の変更を検出する。検出部１０６が検出する事象は、風や振動によって生じたデジタルビデオカメラ１００の「ブレ」や、デジタルビデオカメラ１００の設置位置・撮像方向の変更である。なお、本実施形態ではデジタルビデオカメラ１００のブレに起因して発生する撮像画像の画質への影響を把握すべく、主としてデジタルビデオカメラ１００の位置及び姿勢の変更や変更後の設置状態を検出するものとして説明する。しかしながら、撮像画像の画質に影響を及ぼし得る要因はこれに限られるものではない。例えば、撮像画角の変更、及びこれに伴って生じた撮像画像における被写体の空間分解能の変化、撮像画角内への遮蔽物体の進入等によっても、撮像画像の画質に影響は生じ得る。故に、検出部１０６は、これら画質に影響を及ぼし得る事象を検出するよう構成されるものであってもよい。

判定部１０７は、デジタルビデオカメラ１００で取得された撮像画像を合成に用いて生成される視点画像において、予め定められた画質が担保されるか否かを判定する。上述したように、本実施形態の撮像システムでは、予め定められた視点について、少なくとも一部のデジタルビデオカメラ１００で取得された撮像画像を合成して視点画像を生成する。このため、いずれかの撮像画像において生じた画質劣化に起因して、生成される視点画像において予め定められた画質が担保されない可能性がある。また後述する通り、複数のデジタルビデオカメラ１００の設置状況によっては、生成する視点画像の合成に必要な数の撮像画像や、該視点画像に係る画角内の被写体の像を含む撮像画像が存在しないこともあり得、予め定められた画質が担保されない可能性がある。

従って、各デジタルビデオカメラ１００の判定部１０７は、取得した撮像画像を合成に用いて生成される種々の視点画像において画質が担保されるかを判定すべく、同合成に用いられる視点画像を撮像する他のデジタルビデオカメラ１００の情報を取得する。本実施形態では、各デジタルビデオカメラ１００の検出部１０６で検出された、設置位置・撮像方向の情報、及び画質に影響を及ぼし得る事象（影響要因）の検出有無を含む、デジタルビデオカメラ１００の設置環境を記述した環境情報が判定用に取得される。環境情報は、複数のデジタルビデオカメラ１００ａ乃至ｚの全てが個々に保持しており、検出部１０６により設置状態の変更が検出されたことをもって更新され、他のデジタルビデオカメラ１００と必要に応じて共有される。共有のため、環境情報は、いずれのデジタルビデオカメラ１００の環境情報であるかを識別可能なよう、デジタルビデオカメラ１００の識別情報（カメラＩＤ）を含むものであってよい。

なお、本実施形態では環境情報に上記の情報が含まれるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、設置位置・撮像方向の情報は、予め各デジタルビデオカメラ１００の設置位置及び撮像方向の情報がカメラ間で共有されている態様においては、変更が生じた場合にのみ含まれるものであってもよい。また各デジタルビデオカメラ１００が固定の被写体を撮像画角内に捉えるよう構成されている場合、撮像方向の情報は含まれなくてもよい。また詳細は後述するが、判定部１０７は所定の地理的範囲に設置されたデジタルビデオカメラ１００の数や設置密度を考慮して判定を行うため、設置位置・撮影方向の情報は、同様の被写体を捉えているカメラ数や密度の情報に変換されて含まれるものでもよい。また例えば、撮像画像の画質に影響を及ぼし得る事象の検出有無の情報は、各デジタルビデオカメラ１００で撮像された撮像画像の画質を所定の評価項目に基づきスコアリングした画像品質値として、画質劣化の度合いを計れるよう構成されるものであってもよい。

また、本実施形態では環境情報は、主として検出部１０６による検出等、実測に基づくものであるものとして説明するが、本発明の実施はこれに限られるものではない。動的に生じ得る、視点画像の画質に係る影響を及ぼし得る事象は、実測に基づいて検出されることが好ましいが、基本的には固定である設置位置の情報や撮像方向の情報等はユーザにより入力された情報を用いるものであってもよい。また、視点画像の画質に係る影響を及ぼし得る事象も、ユーザにより設置状況の変更内容が把握され、その内容が入力することが可能に構成されるものであってもよい。

評価部１０８は、判定部１０７における判定結果に基づき、生成される視点画像の評価値を視点毎に導出する。ここで、評価値とは、視点について生成される視点画像の画質を、例えば空間分解能、補間により擬似的に生成された画素（テクスチャ）の使用率（もしくは擬似的に生成できない画素欠陥の率）、特定の被写体における色ムラの有無等を基準に評価する値である。視点画像の画質評価の基準は、これに限られるものではないが、少なくとも評価値は、視点について生成される視点画像において画質劣化が生じ得るか否かを示すことが識別可能に構成されるものであってよい。

通信部１０９は、デジタルビデオカメラ１００が有する通信インタフェースであり、本実施形態では各デジタルビデオカメラ１００との間、及び配信サーバ２００との間で情報の送受信を行う。なお、外部装置への情報送信にあたり、符号化や所定のデータ形式への変換等の処理が行われるものであってもよい。本実施形態のデジタルビデオカメラ１００は、評価部１０８により導出された視点毎の評価値を、通信部１０９を介して配信サーバ２００に出力する。

なお、本実施形態では簡単のため、複数のデジタルビデオカメラ１００ａ乃至ｚの各々が、環境情報の取得、撮像画像を使用する視点画像における予め定められた画質の担保判定、及び同視点ごとの評価値の導出・出力を行うものとして説明する。即ち、同一の視点について、該視点の視点画像の生成に用いられる撮像画像を取得するデジタルビデオカメラ１００の各々が評価値の導出を行い得るが、本発明の実施はこれに限られるものではない。視点毎の評価値の導出は、何れか１つのデジタルビデオカメラ１００で行われればよく、各デジタルビデオカメラ１００にいずれの視点についての評価値導出を行わせるかが、予め定められていてもよい。

本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

〈配信サーバ２００の構成〉
続いて、配信サーバ２００の機能構成について説明する。なお、本実施形態では配信サーバ２００が、外部装置等からの要求に基づき任意視点に係る映像を提供できるよう、各デジタルビデオカメラ１００から受信したフレームの画像を用いた合成処理を可能に構成されるものとして説明する。しかしながら、本発明の実施において配信サーバ２００がこのような機能構成を有している必要はなく、配信サーバ２００は例えば任意視点に係る映像用のデータ記録のために、複数のデジタルビデオカメラ１００の動作制御を行う装置であってもよい。

制御部２０１は、配信サーバ２００が有する各ブロックの動作を制御する。具体的には制御部２０１は、例えば記録媒体２０２に記録された各ブロックの動作プログラムを読み出し、メモリ２０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体２０２は、不揮発性の記録装置であり、恒久的なデータ記録を行う。記録媒体２０２は、配信サーバ２００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等の情報を記録する。またメモリ２０３は、揮発性の記録装置であり、各ブロックの動作プログラムの展開領域だけでなく、各ブロックの動作により出力された中間データを一時的に格納する格納領域としても用いられる。

画像処理部２０４は、接続された複数のデジタルビデオカメラ１００から受信した画像を用いて、予め定められた複数種類の視点のそれぞれについて、視点画像を生成する合成処理を行う。合成処理は、複数視点に基づく３次元モデルの生成や、任意視点の画像を生成するための該３次元モデルを用いた描画処理等を含むものであってもよい。簡単のため、複数のデジタルビデオカメラ１００は同期して各フレームの撮像動作を行うよう制御され、１フレームに係る任意視点の視点画像の生成には、同一時刻のフレームについて取得された画像が用いられるものとする。

画像蓄積部２０５は、複数のデジタルビデオカメラ１００において取得された撮像画像、及び画像処理部２０４により生成された、予め定められた視点の視点画像を格納する。本実施形態では、画像蓄積部２０５に蓄積された視点画像や撮像画像は、配信サーバ２００が映像配信を行う場合に、なされた視点選択に応じて、対応する画像がフレーム順（撮影時刻順）読み出され、配信される。本実施形態では、配信サーバ２００の画像蓄積部２０５に撮像画像や視点画像が蓄積されて管理されるものとして説明するが、本発明の実施はこれに限られるものではないことは容易に理解されよう。即ち、画像の蓄積は、配信を行う配信サーバ２００とは異なる機器において行われるものであってもよいし、デジタルビデオカメラ１００において一部行われるものであってもよい。

表示部２０６は、例えばＬＣＤ等の表示装置であり、配信サーバ２００に着脱可能に接続される。本実施形態の撮像システムでは、エンドユーザ端末への映像配信にあたり、配信者が配信する視点の選択を行うことが可能に構成される。表示部２０６には、予め定められた視点のうち、いずれの視点の視点画像で配信することが好適かを配信者が把握可能なように、評価値に基づく各視点の視点画像の状態の通知がなされる。特に、任意の視点の視点画像を提供可能に構成されている場合、選択可能な視点画像の数もその分多量になり得、結果、配信者がその全てを確認することは困難であるし、比較可能なように一覧表示したとしても各視点画像の画質を詳細に把握することは難しい。また、多数の視点画像を同時に表示部２０６に表示させるためには、画像蓄積部２０５に蓄積されている該当の視点画像を読み出して画面構成する表示制御が必要になり、メモリアクセスの観点からも好適でない。従って、本実施形態の配信サーバ２００では、各視点画像ではなく、各視点の評価値に基づく通知を表示部２０６に提示することで、所望の画質での映像配信を容易にせしめる。

視点選択部２０７は、撮像システムにおいてエンドユーザ端末への映像配信を行う際に、配信する視点を選択する。本実施形態では、配信者が配信サーバ２００において所定の操作入力を行うことで、該操作入力に応じて視点選択がなされるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、視点選択は評価値に基づき、所定のルール付けの下に行われるものであってもよく、操作入力を必須として行われるものである必要はない。

配信部２０８は、視点選択部２０７により選択された視点に基づき、対応する視点画像を時系列順に画像蓄積部２０５から読み出し、配信映像のフレームとして符号化してサーバ通信部２０９を介して配信する。配信された符号化映像は、エンドユーザ端末において復号されることで観賞することができる。

サーバ通信部２０９は、配信サーバ２００が有する通信インタフェースであり、本実施形態では接続された複数のデジタルビデオカメラ１００それぞれとの間、及びエンドユーザ端末との間で情報の送受信を行う。なお、デジタルビデオカメラ１００への情報送信にあたり、符号化や所定のデータ形式への変換等の処理が行われるものであってもよい。

《評価値出力処理》
このような構成をもつ本実施形態の撮像システムのデジタルビデオカメラ１００において行われる評価値出力処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システムコントローラ１０１が、例えば内蔵メモリに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本評価値出力処理は、例えば各デジタルビデオカメラ１００において１フレームに係る撮像画像の取得が行われた際に開始され、フレームごとに繰り返し行われるものとして説明する。

Ｓ２０１で、システムコントローラ１０１は、検出部１０６によりデジタルビデオカメラ１００（自身）の設置状態の変更が検出されたか否かを判断する。システムコントローラ１０１は、設置状態の変更が検出されたと判断した場合は処理をＳ２０２に移し、変更後の設置状態に基づいて自身の環境情報を更新した後、処理をＳ２０３に移す。またシステムコントローラ１０１は、設置状態の変更が検出されていないと判断した場合は処理をＳ２０３に移す。

Ｓ２０３で、システムコントローラ１０１は、デジタルビデオカメラ１００において評価値の導出を行うよう割り当てられている視点について、視点画像の生成に撮像画像が用いられるデジタルビデオカメラ１００から通信部１０９を介して環境情報を取得する。ここで、特定の視点の視点画像を生成するために撮像画像が用いられるデジタルビデオカメラ１００は、必ずしも全てのデジタルビデオカメラ１００ではないため、環境情報は少なくとも一部のデジタルビデオカメラ１００から取得されるものであってよい。即ち、所定の視点について生成される視点画像において、特定の被写体によって遮蔽されて画像に現れない面等を捉えた撮像画像は合成に用いられないため、本ステップで環境情報を取得するデジタルビデオカメラ１００は限定的であってよい。また、本評価値出力処理を実行するデジタルビデオカメラ１００において評価値の導出を行う視点は、該デジタルビデオカメラ１００の撮像画像が合成に用いられる視点であり、それ以外の視点については行わないものとする。即ち、評価値導出を行う視点は、その視点画像の生成に少なくとも該デジタルビデオカメラ１００の撮像画像を用いる視点となる。なお、環境情報の取得にあたっては、情報取得先のデジタルビデオカメラ１００に対して、自身の環境情報を送信し、情報交換を行うものとしてもよい。

Ｓ２０４で、システムコントローラ１０１は、評価値導出が割り当てられている視点のうち、評価値を未導出の視点を選択する。本実施形態の評価値出力処理では、評価値導出が割り当てられている視点ごとに、Ｓ２０４〜Ｓ２０７の処理を行い、配信サーバ２００において表示させるための評価値の導出を行う。

Ｓ２０５で、判定部１０７は、選択された視点（対象視点）の視点画像の生成に用いられる撮像画像を撮像したデジタルビデオカメラ１００群から取得した環境情報を参照し、該視点画像において予め定められた画質が担保されるか判定する。本実施形態の評価値出力処理では、視点画像の画質に係る判定は、合成に用いられる撮像画像を撮像したデジタルビデオカメラ１００群の設置位置に基づいて行われるものとする。

具体的には、判定部１０７は、自身の環境情報を含む、該当のデジタルビデオカメラ１００の環境情報の設置位置の情報に基づき、対象視点に対応する地理的範囲内に設置されているデジタルビデオカメラ１００の設置密度を導出する。ここで、対象視点に対応する地理的範囲は、例えば対象視点の視点画像の生成時に撮像していることが好ましい撮像方向や撮像画角に基づいて定まるものであってよい。また、判定に用いる環境情報を取得したデジタルビデオカメラ１００は、該地理的範囲に含まれているものとする。判定部１０７は、環境情報の設置位置の情報を参照して視点に対応する地理的範囲内に設置されているデジタルビデオカメラ１００の数を特定し、単位面積当たりのデジタルビデオカメラ１００の設置台数を、設置密度として導出する。

Ｓ２０６で、評価部１０８は、判定部１０７における判定結果と、撮像画像が対象視点の視点画像の生成に用いられるデジタルビデオカメラ１００群から取得した環境情報の影響要因の検出有無の情報とに基づいて、該視点画像の画質に係る評価値を導出する。影響要因の例としては、撮像装置に加わった振動、画角内に侵入した遮蔽物、あるいは、環境光の入射状況などがある。評価値の導出は、例えば視点画像の生成に用いられるデジタルビデオカメラ１００の各々について影響要因の検出有無に応じてスコアを算出し、さらにその総和に対してＳ２０５における判定結果に基づく係数を乗じることにより行われるものであってよい。影響要因の検出有無に応じたスコアは、評価値が低いほど画質が担保されないことを示す態様では、例えばデジタルビデオカメラ１００において影響要因が検出されていない場合は＋１、検出された場合は０とする加点方式であってよい。この場合、スコアの総和に対して乗じられる係数は、設置密度の逆数に比例した値とする。

ここで、複数の撮像装置を設定する建築物の構造上の問題や、複数の撮像装置を設定する会場の都合などにより、それぞれの視点画像の生成に用いるデジタルビデオカメラ１００の設置密度には差が生じてしまう。そのため、視点画像の生成に用いるそれぞれのデジタルビデオカメラ１００で得られた評価値を単に加点する方式とすると、影響要因が無い状況下においては、設置密度に応じて、各視点画像の評価値に差が生じてしまう。これではエンドユーザによる視点画像の選択範囲を実質的に狭めてしまい、視点を自由に移動しながら被写体を観察することができるというメリットを最大限には活かせなくなってしまうおそれがある。

そこで、評価部１０８は、デジタルビデオカメラ１００群の設置密度に応じて、影響要因に基づく評価値を補正する。つまり、評価部１０８は、Ｓ２０６において影響要因に基づいて得られた評価値に対し、設置密度の逆数に応じた係数を掛けて補正し、補正後の評価値を対象視点の識別子に関連付けてメモリに格納する。こうすることで、標準的な環境下においては、設置密度に関わらず、いずれの視点画像についても均一な評価値が算出される。

Ｓ２０７で、システムコントローラ１０１は、評価値導出が割り当てられている視点の全てについて評価値が導出されたか否かを判断する。システムコントローラ１０１は、評価値導出が割り当てられている視点の全てについて評価値が導出されたと判断する場合は処理をＳ２０８に移し、導出されていないと判断した場合は処理をＳ２０４に戻す。

Ｓ２０８で、システムコントローラ１０１は、導出した全ての視点の評価値を通信部１０９を介して配信サーバ２００に出力し、本評価値出力処理を終了する。配信サーバ２００に出力された評価値は、配信サーバ２００の表示部２０６において、視点選択の指標として表示されればよい。

このようにすることで、本実施形態の撮像システムによれば、撮影環境に設置された撮像装置の状況に基づいて、視点ごとに画質劣化が生じ得るか否かを示す評価値を配信者に提示することが可能となる。また、このような設置環境や撮像装置の状態に基づいて導出された視点毎の画質に係る評価値を提示することにより、配信者が所望する画質の視点画像をエンドユーザ端末に配信するよう制御することができる。

［変形例１］
上述した実施形態１では、各デジタルビデオカメラ１００は特定の被写体を撮像するよう、撮像方向が定められて設置されているものとして説明したが、本発明の実施はこれに限られるものではない。即ち、複数のデジタルビデオカメラ１００が種々の被写体を各々撮像するよう撮像方向が設定され、視点に対応する地理的範囲に設置されたデジタルビデオカメラ１００群が全て同一の被写体を撮像するよう設定されていない態様でも、本発明は適用可能である。

［実施形態２］
上述した実施形態１及び変形例１では対象視点の視点画像について、基本的には、撮像画像が該視点画像の生成に用いられるデジタルビデオカメラ１００に生じた移動や振動を、画質への影響を及ぼし得る事象として検出し、評価値導出するものとして説明した。また評価値導出にあたり、対象視点の視点画像を生成するための撮像画像を提供可能なデジタルビデオカメラ１００について、これらの設置状況に応じ、視点画像について予め定められた画質が担保されるか否かを判定した判定結果を用いるものとして説明した。

ところで、デジタルビデオカメラ１００に移動や振動等が生じず、固定されていたとしても、被写体によっては生成する視点画像における画質劣化を引き起こす撮像画像を撮像し得る。例えば、撮像画角内への環境光の入射状況が時間経過に応じて変化することによっても、撮像画像が逆光シーンのようになり、視点画像の生成時の合成に適さない場合がある。換言すれば、環境光の入射状況の変化による撮像画像への影響は、複数の異なる位置に設置されたデジタルビデオカメラ１００に同様に生じるものではなく、結果、デジタルビデオカメラ１００間で撮像画像における共通の被写体の色情報に差異が生じ得る。故に、これらの撮像画像を用いて視点画像の生成が行われた場合には、例えば同一の被写体であっても、参照された撮像画像が異なる等により、連続する画素間で色の連続性が担保されず、好適な視点画像とならない場合があった。

また環境光の入射状況による影響は、同一位置もしくは近接して設置されたデジタルビデオカメラ１００であっても、その撮像方向や撮像画角によっても異なり得る。また環境光の入射状況の変化は、時間によって生じ、複数のデジタルビデオカメラ１００の撮像画像間での色情報の差異を生じ得るものであるが、例えば気象条件によってはこれが生じないことも考えられる。あるいは、遮蔽物の存在によっても環境光の入射状況は変化し得る。

従って、本実施形態では、移動や振動等の直接的にデジタルビデオカメラ１００に与えられた外的要因ではなく、環境光の入射状況のような間接的な外的要因によって撮像画像に生じた画質劣化に起因する、視点画像への影響を判定する態様について説明する。なお、本実施形態において撮像システム、デジタルビデオカメラ１００及び配信サーバ２００の構成は実施形態１と同様であるものとし、説明は省略する。

《評価値出力処理》
以下、本実施形態の評価値出力処理について、図３のフローチャートを用いて詳細を説明する。なお、本評価値出力処理の説明において、実施形態１と同様の動作を行うステップについては同一の参照番号を付して説明を省略し、以下では、本実施形態に特徴的な処理を行うステップの説明に留める。

Ｓ３０１で、システムコントローラ１０１は、自身（デジタルビデオカメラ１００）の撮像環境が逆光シーンに該当するか否かを判断する。逆光シーンは、撮像環境に配置される複数のデジタルビデオカメラ１００の全てで必ずしも該当するものではなく、被写体と環境光源とが特定の位置関係になる場合に生じる。故に、本ステップにおいて、各デジタルビデオカメラ１００のシステムコントローラ１０１は、逆光シーンに該当するか否かの判断を行う。逆光シーンに該当するか否かは、例えば以下の情報を用いることにより判断されるものであってよい。

例えば、太陽等の移動する環境光源が存在する状態において、逆光となるか否かを予め時刻ごとに測定したデータに基づき、現在の時刻において逆光となるか否かを判断するものであってもよい。あるいは、現在時刻に基づいて環境光源の位置を特定可能な構成であれば、デジタルビデオカメラ１００の設置位置及び撮像方向で特定される撮像画角内に該環境光源が含まれるか否かに基づいて、逆光となるか否かを判断するものであってもよい。ここで、太陽のような自然光源を対象とする場合、該光源によって逆光が引き起こされるか否かは、気象条件によっても異なる。即ち、曇天や雨天では、該当の方角を撮像するデジタルビデオカメラ１００であっても、撮像画角内に光源から入射する環境光の光量は低減するため、逆光シーンに該当しない。

また、例えば撮像部１０３により取得された撮像画像を輝度情報に変換し、背景領域の輝度が主被写体領域の輝度よりも高い等、撮像画像における輝度分布を解析することにより、逆光となるか否かを判断するものであってもよい。

システムコントローラ１０１は、自身の撮像環境が逆光シーンに該当すると判断した場合は処理をＳ３０２に移し、逆光シーンに該当することを示す情報を含めるよう環境情報を更新した後、処理をＳ２０１に移す。またシステムコントローラ１０１は、自身の撮像環境が逆光シーンに該当しないと判断した場合、処理をＳ２０１に移す。このとき、逆光シーンに該当することを示す情報が環境情報に含まれている場合、これを削除すればよい。

なお、本実施形態では、各デジタルビデオカメラ１００において、逆光シーンに該当することを示す情報を環境情報に含めることで、撮像画像を使用することで視点画像の画質劣化が生じ得ることを伝達するものとして説明する。しかしながら、本発明の実施はこれに限られるものではない。即ち、上記したような逆光シーンに該当するかの判断に用いられる情報を各デジタルビデオカメラ１００が予め有しており、判定部１０７の判定において、例えば対象のデジタルビデオカメラ１００の設置位置及び撮像方向に基づいて判断するものとしてもよい。より詳しくは、所定の位置もしくはデジタルビデオカメラ１００においての、撮像画角内への環境光の入射状況を時刻ごとに示した情報をメモリに予め格納しておき、判定を行う際に撮像時刻及び気象情報も環境情報として取得する構成としてもよい。つまり、環境情報の取得元は、他のデジタルビデオカメラ１００に限られるものではなく、設置環境において生じ得る事象を把握するために、デジタルビデオカメラ１００内部の記録装置や気象サーバ等から取得されるものであってもよい。

Ｓ２０４において対象視点が選択されると、判定部１０７はＳ３０３で、対象視点の視点画像の生成に用いられる撮像画像を撮像したデジタルビデオカメラ１００群から取得した環境情報を参照し、該視点において予め定められた画質が担保するか判定する。本実施形態では判定部１０７は、上述した実施形態１の設置密度の判定に加え、対象視点の視点画像の生成に使用される撮像画像に、逆光シーンを撮像した撮像画像が含まれるか否かの判定を行う。

Ｓ３０４で、評価部１０８は、判定部１０７における判定結果と、撮像画像が対象視点の視点画像の生成に用いられるデジタルビデオカメラ１００群から取得した環境情報の影響要因の検出有無の情報とに基づいて、該視点画像の画質に係る評価値を導出する。本実施形態の評価値の導出では、逆光シーンを撮像した撮像画像が含まれる旨の判定がなされた場合には、例えば設置密度の判定に基づいて決定した係数に対し、さらに×０．５することにより係数を決定するものとしてもよい。ここで、逆光シーンに該当する撮像画像が視点画像の生成に用いられる場合は、視点画像における画質劣化の発生可能性が高まるため、これを明示的に分離できるよう逆光シーンに基づく係数の調整値は決定されるものであってよい。このように決定した係数を用い、評価部１０８は対象視点に係る評価値を導出した後、対象視点の識別子に関連付けてこれをメモリに格納する。

このようにすることで、本実施形態の撮像システムでは、間接的な外的要因によって撮像画像に生じた画質劣化に起因する、視点画像への影響の判定をさらに行い、より好適な視点画像の選択を、配信者に可能ならしめることができる。

なお、本実施形態では逆光シーンに該当するか否かを判定する、もしくは環境情報に含めるものとして説明したが、視点画像の画質低下を引き起こす要因は、逆光に限られるものではない。即ち、視点画像の画質低下を引き起こす要因は、生成に用いられる撮像画像間において、共通の被写体に係る色情報に差異が生じることであり、環境情報は、共通の被写体に係る色情報に変化が生じたか否かを判定するための色変化情報を含むものであってよい。撮像画像間における色情報の差異は、例えばデジタルビデオカメラ１００の撮像設定の変更や適用フィルタの変更等によっても生じ得るため、各デジタルビデオカメラ１００において要因となる変更が生じたことを色変化情報として環境情報に含んでもよい。

［変形例２］
上述した実施形態及び変形例では、デジタルビデオカメラ１００間で環境情報の送受信を行い、各デジタルビデオカメラ１００において、複数の環境情報に基づいて所定の視点についての判定及び評価値の導出を行うものとして説明した。しかしながら、本発明の実施はこれに限られるものでなく、例えば配信サーバ２００であってもよい、デジタルビデオカメラ１００の外部の情報処理装置が、所定の視点についての環境情報の収集、判定及び評価値の導出を行うものであってもよい。また、配信サーバ２００は判定結果のみを受信し、評価値の導出及び評価値に基づく視点画像選択用の通知を行うよう構成されるものであってもよい。換言すれば、本発明の実施は各デジタルビデオカメラ１００が他のデジタルビデオカメラ１００から環境情報を取得し、判定及び評価値の出力を行う態様に限られるものではない。そして、判定や評価値の出力は、撮像画像を収集して格納する配信サーバ２００において行われるものであってもよいし、撮像システムの任意の機器に分担されて行われるものであってもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルビデオカメラ、１０１：システムコントローラ、１０６：検出部、１０７：判定部、１０８：評価部、１０９：通信部、２００：配信サーバ、２０６：表示部、２０７：視点選択部、２０８：配信部、２０９：サーバ通信部

Claims (20)

1. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する情報処理装置であって、
   第１の視点における第１の視点画像を生成するために用いる撮像画像を出力した複数の撮像装置の設置状況の情報を取得する取得手段と、
   前記複数の撮像装置が出力した各々の撮像画像の評価値を求める評価手段と、
   前記各々の撮像画像の評価値に基づいて、前記第１の視点について生成される視点画像の画質を判定する判定手段と、を有し、
   前記評価手段は、前記取得手段が取得した設置状況の情報に基づいて、前記評価値を求めることを特徴とする情報処理装置。
2. 前記設置状況の情報は、前記第１の視点画像を生成するために用いる撮像画像を出力した複数の撮像装置の数であることを特徴とする請求項１に記載の情報処理装置。
3. 前記設置状況の情報は、前記第１の視点画像を生成するために用いる撮像画像を出力した複数の撮像装置の設置密度であることを特徴とする請求項１に記載の情報処理装置。
4. 前記評価手段は、前記撮像画像の画質を示す値に係数を掛けて前記評価値を求めるものであって、前記係数は前記設置密度が高いほど小さい値となることを特徴とする請求項３に記載の情報処理装置。
5. 前記評価手段は、前記各々の撮像装置に加わった振動、画角内に侵入した遮蔽物、および、環境光の入射状況の少なくとも１つに基づいて、前記各々の撮像画像の評価値を求めることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記評価手段は、逆光シーンに該当する場合に、該当しない場合よりも、撮像画像の評価値を低くすることを特徴とする請求項５に記載の情報処理装置。
7. 前記評価手段は、前記各々の撮像装置の、撮像画角内への環境光の入射状況を時刻ごとに示した情報、撮像時刻、及び気象情報に基づいて、前記各々の撮像画像の評価値を求めることを特徴とする請求項５に記載の情報処理装置。
8. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する撮像システムにおいて利用可能な撮像装置であって、
   該撮像装置が出力する撮像画像とともに、第１の視点における第１の視点画像を生成するために用いる撮像画像を出力する撮像装置の設置状況の情報を取得する取得手段と、
   前記複数の撮像装置が出力した各々の撮像画像の評価値を求めて出力する評価手段と、を有し、
   前記評価手段は、前記取得手段が取得した設置状況の情報に基づいて、前記評価値を求めることを特徴とする撮像装置。
9. 前記設置状況の情報は、前記第１の視点画像を生成するために用いる撮像画像を出力する撮像装置の数であることを特徴とする請求項８に記載の撮像装置。
10. 前記設置状況の情報は、前記第１の視点画像を生成するために用いる撮像画像を出力する撮像装置の設置密度であることを特徴とする請求項８に記載の撮像装置。
11. 前記評価手段は、前記撮像画像の画質を示す値に係数を掛けて前記評価値を求めるものであって、前記係数は前記設置密度が高いほど小さい値となることを特徴とする請求項１０に記載の撮像装置。
12. 前記取得手段は、第１の視点画像を生成するために用いる撮像画像を出力する他の撮像装置から、該撮像装置の設置位置を示す情報を取得し、該設置位置を示す情報から、前記設置密度を求めることを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記評価手段は、前記各々の撮像装置に加わった振動、画角内に侵入した遮蔽物、および、環境光の入射状況の少なくとも１つに基づいて、前記各々の撮像画像の評価値を求めることを特徴とする請求項８乃至１２のいずれか１項に記載の撮像装置。
14. 前記評価手段は、逆光シーンに該当する場合に、該当しない場合よりも、撮像画像の評価値を低くすることを特徴とする請求項１３に記載の撮像装置。
15. 前記評価手段は、前記各々の撮像装置の、撮像画角内への環境光の入射状況を時刻ごとに示した情報、撮像時刻、及び気象情報に基づいて、前記各々の撮像画像の評価値を求めることを特徴とする請求項１３に記載の撮像装置。
16. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する撮像システムであって、
    前記複数の異なる視点で画像を撮像する複数の撮像装置と、
    第１の視点における第１の視点画像を生成するために用いる撮像画像を出力した一部の撮像装置の設置状況の情報を取得する取得手段と、
    前記一部の撮像装置が出力した各々の撮像画像の評価値を求める評価手段と、
    前記各々の撮像画像の評価値に基づいて、前記第１の視点について生成される視点画像の画質を判定する判定手段と、を有し、
    前記評価手段は、前記取得手段が取得した設置状況の情報に基づいて、前記評価値を求めることを特徴とする撮像システム。
17. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する情報処理装置の制御方法であって、
    第１の視点における第１の視点画像を生成するために用いる撮像画像を出力した複数の撮像装置の設置状況の情報を取得する工程と、
    前記複数の撮像装置が出力した各々の撮像画像の評価値を求める工程と、
    前記各々の撮像画像の評価値に基づいて、前記第１の視点について生成される視点画像の画質を判定する工程と、を有し、
    前記評価値は、前記設置状況の情報に基づいて求められることを特徴とする情報処理装置の制御方法。
18. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する撮像システムにおいて利用可能な撮像装置の制御方法であって、
    該撮像装置が出力する撮像画像とともに第１の視点における第１の視点画像を生成するために用いる撮像画像を出力する撮像装置の設置状況の情報を取得する工程と、
    前記複数の撮像装置が出力した各々の撮像画像の評価値を求めて出力する工程と、を有し、
    前記評価値は、前記設置状況の情報に基づいて求められることを特徴とする撮像装置の制御方法。
19. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する情報処理装置で用いられるプログラムであって、前記情報処理装置のコンピュータに、
    第１の視点における第１の視点画像を生成するために用いる撮像画像を出力した複数の撮像装置の設置状況の情報を取得するステップと、
    前記複数の撮像装置が出力した各々の撮像画像の評価値を求めるステップと、
    前記各々の撮像画像の評価値に基づいて、前記第１の視点について生成される視点画像の画質を判定するステップと、を実行させ、
    前記評価値は、前記設置状況の情報に基づいて求められることを特徴とするプログラム。
20. 複数の異なる視点で撮像された撮像画像を合成することにより、任意の視点における視点画像を生成する撮像システムにおいて利用可能な撮像装置で用いられるプログラムであって、前記撮像装置のコンピュータに、
    該撮像装置が出力する撮像画像とともに第１の視点における第１の視点画像を生成するために用いる撮像画像を出力する撮像装置の設置状況の情報を取得するステップと、
    前記複数の撮像装置が出力した各々の撮像画像の評価値を求めて出力するステップと、を実行させ、
    前記評価値は、前記設置状況の情報に基づいて求められることを特徴とするプログラム。

Images