JP2018191236A

JP2018191236A - 情報処理システム、情報処理方法、装置およびプログラム

Info

Publication number: JP2018191236A
Application number: JP2017094561A
Authority: JP
Inventors: 友里吉村; Yuri Yoshimura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-05-11
Filing date: 2017-05-11
Publication date: 2018-11-29

Abstract

【課題】被写体の画像の伝送を、被写体の位置に応じて制御する。【解決手段】カメラアダプタ１２０ａ〜１２０ｚは、被写体の実空間における位置に基づいて、カメラ１１２ａ〜１１２ｚで撮影された撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御する。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法、装置およびプログラムに関するものである。

相互に異なる位置に設置された複数のカメラが同期して撮影を行い、当該撮影により得られる複数の視点で撮影された画像を用いて仮想視点コンテンツを生成する技術がある。かかる技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

ところで、かかる技術では、撮影された画像から被写体の領域を切り出して伝送することが行われることがある。カメラで撮影された画像から必要な領域を切り出して伝送する技術として、特許文献１に記載の技術がある。特許文献１には、次の技術が開示されている。即ち、駅のホームに停車中の列車の乗降扉付近を含む領域を、列車の外側から撮影することが出来るように複数の監視カメラを設置する。当該複数の監視カメラで撮影された画像から、乗降扉付近の画像だけを切り出して伝送、集約する。

特開２０１４−１９２８４４号公報

しかしながら、特許文献１に記載の技術は、比較的位置が変動しない乗降扉付近の画像を伝送するものである。従って、特許文献１に記載の技術は、被写体の存在位置が変動し得る場合の被写体の画像の伝送については考慮されていない。
本発明は、このような問題点に鑑みてなされたものであり、被写体の画像の伝送を、被写体の位置に応じて制御することを目的とする。

本発明の情報処理システムは、撮影画像に含まれる被写体の領域の画像を取得する取得手段と、前記被写体の位置に基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御する制御手段と、を有することを特徴とする。

本発明によれば、被写体の画像の伝送を、被写体の位置に応じて制御することが出来る。

画像処理システムの構成を示す図である。カメラアダプタの構成を示す図である。画像処理部の構成を示す図である。全共通被写範囲を示す平面図である。全共通被写範囲を示す斜視図である。図４から上流側の３台のカメラに対応する部分を取り出して示す図である。前景画像の一例を示す図である。伝送調整処理の第１の例を示すフローチャートである。下接カメラへ伝送されるオブジェクトの第１の例を示す図である。伝送調整処理の第１の例を示すフローチャートである。下接カメラへ伝送されるオブジェクトの第２の例を示す図である。

以下に図面を参照して、実施形態を詳細に説明する。
複数の視点で撮影された画像に基づく仮想視点コンテンツの生成および閲覧を行う際には、まず、複数のカメラで撮影された画像をサーバ等の画像処理部に集約する。次に、画像処理部は、複数のカメラで撮影された画像を用いて、三次元モデルの生成と、レンダリング等の処理とを行うことにより仮想視点コンテンツを生成し、ユーザ端末に伝送する。被写体の中でも選手等、動きがある被写体の三次元モデルを、撮影画像から逐次生成する代表的な方法として、ステレオマッチングが挙げられる。

ステレオマッチングを行うためには被写体を構成する各面の要素が、少なくとも２台のカメラで撮影される必要がある。そのため、被写体の面の欠落のない三次元モデルを生成するためには、その被写体が、全てのカメラそれぞれの撮影可能な撮影範囲である被写範囲（被写界）の共通範囲（以下、必要に応じて全共通被写範囲と称する）に存在しなければならない。逆に言えば、全共通被写範囲の外側に位置する被写体の画像は、完全な三次元モデルの生成には寄与しないデータである。

ただし、仮想視点コンテンツの内容によっては被写体の半面のみの三次元モデルがあれば良い等、完全な三次元モデルが必要でない場合も考えられる。しかしながら、そのような場合においてもやはり、特に１台のカメラからのみしか撮影されていない被写体の画像は三次元モデルの生成に使用することが出来ない。それら三次元モデルの生成に寄与しない画像データを画像処理部に伝送することは、カメラと画像処理部との間の伝送負荷を不要に圧迫する。

もし、三次元モデルの生成に寄与しない画像を含んだまま伝送負荷を下げようとすれば、三次元モデルの生成に必要な画像を含めて比較的高い圧縮等を行うことになり、全体的な画質の劣化を招く。
そこで、本実施形態では、複数の視点で撮影された撮影画像に含まれる被写体の領域のそれぞれについて、三次元モデルの生成に必要か否かを判定し、その判定の結果に合わせて伝送や画質を制御する場合を例に挙げて説明する。このようにすることによって、伝送負荷を低減しつつ、三次元モデルの生成に必要な画像の画質を高く保持することが出来る。

＜第１の実施形態＞
まず、第１の実施形態を説明する。
（画像処理システム）
図１は、画像処理システム１００の構成の一例を示す図である。本実施形態では、競技場（スタジアム）やコンサートホール等の施設に、複数のカメラおよび複数のマイクを設置する場合を例に挙げて説明する。画像処理システム１００は、複数のカメラおよび複数のマイクを用いて、撮影および集音を行う。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、およびエンドユーザ端末１９０を有する。本実施形態では、例えば、画像処理システム１００により情報処理システムの一例が実現される。

コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ３３０とを有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ〜３１０ｃ、１８０ａ〜１８０ｂ、１７０ａ〜１７０ｙを通じて、動作状態の管理およびパラメータの設定等を行う。ここで、ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでも良いし、インターコネクト（Ｉｎｆｉｎｉｂａｎｄ等）や産業用イーサーネット等を組み合せて構成されても良い。また、ネットワークは、これらに限定されず、他の種別のネットワークであっても良い。

最初に、センサシステム１１０ａ〜１１０ｚの２６セットで得られる画像および音声を、センサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作の一例を説明する。本実施形態では、センサシステム１１０ａ〜１１０ｚがデイジーチェーンで相互に接続される場合を例に挙げて説明する。
本実施形態において、特別な説明がない場合には、センサシステム１１０ａ〜１１０ｚの２６セットを区別せず、センサシステム１１０と記載する。各センサシステム１１０内の装置やネットワークについても同様に、特別な説明がない場合には、これらを区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、カメラアダプタ１２０、およびネットワーク１７０と記載する。

尚、本実施形態では、センサシステム１１０の数を２６セットとするが、これは一例であり、センサシステム１１０の数は２６セットに限定されない。また、本実施形態では、特に断りがない限り、画像は、動画および静止画の概念を含むものとして説明する。即ち、本実施形態の画像処理システム１００は、静止画および動画の何れについても処理することが可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツに、仮想視点画像と仮想視点音声とが含まれる例を中心に説明する。しかしながら、仮想視点コンテンツは、これに限定されない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近い位置にあるマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての詳細な説明を省略するが、基本的に音声は画像と共に処理されるものとする。

センサシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士は、デイジーチェーンで相互に接続される。この接続形態により、複数のセンサシステム１１０の接続に使用するケーブル数の削減や配線作業の省力化が可能になる。特に、この接続形態は、撮影画像の４Ｋや８Ｋ等への高解像度化や、高フレームレート化に伴う画像データの大容量化が図られる場合に有効である。

尚、複数のセンサシステム１１０の接続形態は、デイジーチェーンに限定されない。例えば、スター型のネットワークを用いて良い。スター型のネットワークを用いる場合、全てのセンサシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続される。この場合、スイッチングハブ１８０を経由してセンサシステム１１０ａ〜１１０ｚ間のデータ送受信が行われる。

また、図１では、デイジーチェーン接続となるようにセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続される構成を示した。しかしながら、必ずしも、センサシステム１１０ａ〜１１０ｚの全てがカスケード接続される必要はない。例えば、複数のセンサシステム１１０を複数のグループに分割しても良い。このようにする場合、分割したグループ単位でデイジーチェーン接続となるようにセンサシステム１１０を接続しても良い。また、分割したグループ単位の終端となるカメラアダプタ１２０をスイッチングハブ１８０に接続し、スイッチングハブ１８０が、各カメラ１１２で撮影された画像を画像コンピューティングサーバ２００に出力しても良い。このような構成は、画像処理システム１００をスタジアムに適用する場合に特に有効である。例えば、スタジアムが複数のフロアを有し、フロア毎にセンサシステム１１０を配備する場合が考えられる。このような場合に前述した構成を採用すれば、例えば、フロア毎、或いは、スタジアムの半周毎に、カメラ１１２で撮影された画像を画像コンピューティングサーバ２００へ入力することが出来る。従って、全てのセンサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも、センサシステム１１０の設置の簡便化と、システムの柔軟化とを図ることが出来る。

また、デイジーチェーンで接続されて画像コンピューティングサーバ２００へ画像を出力するカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。即ち、センサシステム１１０が複数のグループに分割されているか否かに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。画像コンピューティングサーバ２００へ画像を出力するカメラアダプタ１２０が１つの場合、デイジーチェーンで接続されたセンサシステム１１０間で画像が伝送され、終端のカメラアダプタ１２０から画像コンピューティングサーバ２００に画像が伝送される。そして、画像コンピューティングサーバ２００で競技場の全周の画像が生成される。このため、画像コンピューティングサーバ２００において競技場の全周の画像データが揃うタイミングは同期がとられている。即ち、センサシステム１１０がグループに分割されていなければ、画像コンピューティングサーバ２００において必要な画像データが揃うタイミングの同期をとることが出来る。

一方、画像コンピューティングサーバ２００へ画像を出力するカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合、其々のデイジーチェーンのレーン（経路）によって、伝送時の画像データの遅延が異なる場合がある。そのため、画像コンピューティングサーバ２００は、競技場の全周の画像データが揃うまで待って、各画像データの同期をとることによって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。

本実施形態では、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、およびカメラアダプタ１２０ａを有する。尚、センサシステム１１０ａの構成は、この構成に限定されない。センサシステム１１０ａは、少なくとも１台のカメラアダプタ１２０ａと、少なくとも１台のカメラ１１２ａとを有していれば良い。例えば、センサシステム１１０ａは、１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａとで構成されても良いし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａとで構成されても良い。即ち、画像処理システム１００ａ内の少なくとも１つのカメラ１１２ａと少なくとも１つのカメラアダプタ１２０ａは、Ｎ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、およびカメラアダプタ１２０ａ以外の装置を含んでいても良い。また、カメラ１１２ａとカメラアダプタ１２０ａとが同一筐体で一体となって構成されていても良い。更に、カメラアダプタ１２０ａの機能の少なくとも一部をフロントエンドサーバ２３０が有していても良い。本実施形態では、センサシステム１１０ｂ〜１１０ｚの構成は、センサシステム１１０ａの構成と同じであるので、センサシステム１１０ｂ〜１１０ｚの詳細な説明を省略する。尚、センサシステム１１０ｂ〜１１０ｚは、センサシステム１１０ａと同じ構成に限定されず、其々のセンサシステム１１０が異なる構成でも良い。

カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、ネットワーク１７０ａを介してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。マイク１１１ａにて集音された音声も、ネットワーク１７０ａを介してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、マイク１１１ｂにて集音された音声と、カメラ１１２ｂにて撮影された画像とを、センサシステム１１０ａから取得した画像および音声と合わせてセンサシステム１１０ｃに伝送する。

センサシステム１１０ｃ〜１１０ｚでも前述した動作を続ける。これにより、センサシステム１１０ａ〜１１０ｚで取得された画像および音声は、センサシステム１１０ｚからネットワーク１８０ｂを介してスイッチングハブ１８０に伝送され、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。
尚、本実施形態では、カメラ１１２ａ〜１１２ｚとカメラアダプタ１２０ａ〜１２０ｚとが分離された構成を例に挙げて示す。しかしながら、前述したようにこれらは、同一筺体で一体化されていても良い。その場合、マイク１１１ａ〜１１１ｚは、カメラアダプタ１２０ａ〜１２０ｚと一体化されたカメラ１１２ａ〜１１２ｚに内蔵されていても良いし、カメラ１１２ａ〜１１２ｚの外部に接続されていても良い。

次に、画像コンピューティングサーバ２００の構成および動作の一例について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、およびタイムサーバ２９０を有する。

タイムサーバ２９０は、時刻および同期信号を配信する機能を有する。タイムサーバ２９０は、スイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚに時刻および同期信号を配信する。時刻および同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、時刻および同期信号に基づいてカメラ１１２ａ〜１１２ｚにより撮影された画像データをＧｅｎｌｏｃｋさせ画像データのフレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２ａ〜１１２ｚの撮影タイミングを同期させる。これにより、画像処理システム１００は、同じタイミングで撮影された複数の画像に基づいて仮想視点画像を生成することが出来るため、撮影タイミングのずれによる仮想視点画像の品質の低下を抑制することが出来る。尚、本実施形態では、タイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとする。しかしながら、必ずしも、タイムサーバ２９０が複数のカメラ１１２の時刻同期を管理する必要はない。例えば、時刻同期のための処理を各カメラ１１２または各カメラアダプタ１２０が独立して行っても良い。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像データおよび音声データから、セグメント化された伝送パケットを再構成してデータ形式を変換する。フロントエンドサーバ２３０は、データ形式を変換した画像データおよび音声データを、カメラの識別子、データ種別、およびフレーム番号等と関連付けてデータベース２５０に書き込む。
バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想的な視点の指定を受け付ける。バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から受け付けられた視点に基づいて、仮想カメラ操作ＵＩ３３０から受け付けられた視点に対応する画像データおよび音声データをデータベース２５０から読み出す。バックエンドサーバ２７０は、データベース２５０から読み出した画像データおよび音声データに対してレンダリング処理を行って仮想視点画像を生成する。

尚、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、およびバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていても良い。また、フロントエンドサーバ２３０、データベース２５０、およびバックエンドサーバ２７０の少なくとも１つが複数含まれていても良い。また、画像コンピューティングサーバ２００内の任意の位置に、前述した装置以外の装置が含まれていても良い。更に、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していても良い。

レンダリング処理された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信される。エンドユーザ端末１９０を操作するユーザは、視点の指定に応じた画像の閲覧および音声の視聴が出来る。即ち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された画像（複数の仮想視点画像）と仮想視点情報とに基づく仮想視点コンテンツを生成する。具体的に、バックエンドサーバ２７０は、例えば、複数のカメラ１１２により撮影された画像データから複数のカメラアダプタ１２０により抽出された所定領域の画像データと、ユーザの操作により指定された視点とに基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、仮想カメラ操作ＵＩ３３０により指定された視点における見えを表す画像であるとも言える。視点は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。即ち、仮想視点画像には、ユーザが任意に指定した視点に対応する画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。尚、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、仮想視点コンテンツに音声データが含まれていなくても良い。

また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信しても良い。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されても良い。圧縮符号化を行う前者の手法は、エンドユーザ端末１９０としてスマートフォンやタブレットを想定している。後者の手法は、エンドユーザ端末１９０として非圧縮画像を表示可能なディスプレイを想定している。即ち、エンドユーザ端末１９０の種別に応じて画像フォーマットの切り替えが可能である。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰＬｉｖｅＳｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

このように、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、および映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは、センサシステム１１０ａ〜１１０ｚを含む。データ保存ドメインは、データベース２５０、フロントエンドサーバ２３０、およびバックエンドサーバ２７０を含む。映像生成ドメインは、仮想カメラ操作ＵＩ３３０およびエンドユーザ端末１９０を含む。尚、画像処理システム１００の構成は、このような構成に限定されない。例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ〜１１０ｚから画像データを取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ〜１１０ｚから直接画像データを取得する方法ではなく、映像収集ドメインと映像生成ドメインとの間にデータ保存ドメインを配置する。具体的に、フロントエンドサーバ２３０は、センサシステム１１０ａ〜１１０ｚで生成された画像データ、音声データ、およびそれらのデータのメタ情報を、データベース２５０の共通スキーマおよびデータ型に変換する。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２ａ〜１１２ｚが他機種のカメラに変わっても、カメラの差分をフロントエンドサーバ２３０が吸収し、他機種のカメラにより撮影された画像データをデータベース２５０に登録することが出来る。このことによって、カメラ１１２が他機種のカメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減することが出来る。

また、本実施形態では、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする。画像生成処理に係わる共通処理をバックエンドサーバ２７０で行い、操作ＵＩに係わるアプリケーションの差分部分の処理を仮想カメラ操作ＵＩ３３０で行う。このことにより、仮想カメラ操作ＵＩ３３０を開発する際に、ＵＩ（ユーザインターフェース）となる操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能に対する開発に注力する事が出来る。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０からの要求に応じて画像生成処理に係わる共通処理を追加または削除することも可能である。このことによって仮想カメラ操作ＵＩ３３０から要求に柔軟に対応することが出来る。

このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２により撮影された画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。尚、本実施形態における画像処理システム１００は、前述した物理的な構成に限定される訳ではなく、論理的に構成されていても良い。

本実施形態では、例えば、カメラアダプタ１２０ａ〜１２０ｚを用いることにより、複数の情報処理装置の一例が実現される。また、仮想カメラ操作ＵＩ３３０は、被写体に対する視点を設定する。また、バックエンドサーバ２７０は、複数の方向から撮影された複数の撮影画像に含まれる被写体の領域の画像を用いて、仮想カメラ操作ＵＩ３３０により設定された視点から見た場合の当該被写体の画像を生成する。

（カメラアダプタ）
次に、本実施形態におけるカメラアダプタ１２０の機能ブロックの一例について図２を利用して説明する。図２は、カメラアダプタ１２０の機能的な構成の一例を示す図である。
カメラアダプタ１２０は、ネットワークアダプタ６１１０、伝送部６１２０、画像処理部６１３０、および外部機器制御部６１４０を有する。
ネットワークアダプタ６１１０は、データ送受信部６１１１および時刻制御部６１１２を有する。

データ送受信部６１１１は、ネットワーク１７０、２９１、３１０ａを介して、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、および制御ステーション３１０とデータ通信を行う。例えば、データ送受信部６１１１は、カメラ１１２により撮影された画像から前景背景分離部６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。前景画像および背景画像の出力先となるカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部６１２２の処理に応じて予め定められた順序において次の順序のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。尚、撮影画像から分離された前景画像を出力して背景画像を出力しないカメラアダプタ１２０が存在しても良い。

時刻制御部６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙＣｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。尚、時刻同期のためのプロトコルは、ＩＥＥＥ１５８８に限定されず、例えば、他のＥｔｈｅｒＡＶＢ規格や、独自のプロトコルでも良い。本実施形態では、ネットワークアダプタ６１１０としてＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）を利用するが、ネットワークアダプタ６１１０は、ＮＩＣに限定されず、他のＩｎｔｅｒｆａｃｅを利用しても良い。また、ＩＥＥＥ１５８８は、ＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されている。後者は、ＰＴＰｖ２（ＰｒｅｃｉｓｉｏｎＴｉｍｅＰｒｏｔｏｃｏｌＶｅｒｓｉｏｎ２）とも呼ばれる。

伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有し、以下の機能部を有する。
データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、およびフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有する。

データルーティング処理部６１２２は、後述するデータルーティング情報保持部６１２５が保持するデータを利用し、データ送受信部６１１１が受信したデータおよび画像処理部６１３０で処理されたデータのルーティング先を決定する機能を有する。また、データルーティング処理部６１２２は、決定したルーティング先へデータを送信する機能を有する。データルーティング処理部６１２２は、自身が属するカメラアダプタ１２０に対応するカメラ１１２と同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０をルーティング先として決定するのが好ましい。これらのカメラ１１２で撮影される画像はフレーム相関が高いため、このようにしてルーティング先を決定することが画像処理を行う上で好適だからである。複数のカメラアダプタ１２０それぞれのデータルーティング処理部６１２２によるルーティング先の決定に応じて、前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。

時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（ＰｒｅｃｉｓｉｏｎＴｉｍｅＰｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有する。尚、時刻同期を行うためのプロトコルは、ＰＴＰに限定されず、他の同様のプロトコルを利用して時刻同期を行っても良い。

画像・音声伝送処理部６１２４は、画像データおよび音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有する。メッセージには、画像データおよび音声データと、各データのメタ情報とが含まれる。本実施形態のメタ情報には、画像の撮影をした時および音声のサンプリングをした時のタイムコードまたはシーケンス番号と、データ種別と、カメラ１１２、マイク１１１の個体を示す識別子等が含まれる。尚、画像・音声伝送処理部６１２４により送信される画像データおよび音声データは、データ圧縮・伸張部６１２１でデータ圧縮されていても良い。

また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受け取る。そして、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０から受け取ったメッセージに含まれるデータ種別に応じて、伝送プロトコルに規定されるパケットサイズにフラグメントされたデータ情報を画像データ、音声データに復元する。尚、データを復元した際にデータが圧縮されている場合、データ圧縮・伸張部６１２１が当該データに対する伸張処理を行う。
データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。

画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ、および他のカメラアダプタ１２０から受け取った画像データに対して処理を行う機能を有し、以下の機能部を有する。
前景背景分離部６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像とに分離する機能を有する。即ち、前景背景分離部６１３１は、自身が属するカメラアダプタ１２０に対応するカメラ１１２により撮影された画像データから所定領域を抽出する。所定領域は、例えば、撮影画像に対するオブジェクトの検出結果として得られる前景画像の領域である。前景背景分離部６１３１は、この所定領域の抽出結果に基づいて、撮影画像を前景画像と背景画像とに分離する。尚、オブジェクトとは、例えば、人物などの被写体である。ただし、オブジェクトは、特定人物（選手、監督、及び／又は審判等）であっても良いし、ボールやゴール等、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像と、そのようなオブジェクトを含まない背景領域とを分離して処理することで、画像処理システム１００において生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上することが出来る。また、前景領域と背景領域との分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることが出来る。尚、所定領域は、前景画像に限定されず、例えば、背景画像であっても良い。

三次元情報処理部６１３２は、前景背景分離部６１３１で分離された前景画像と、他のカメラアダプタ１２０から受け取った前景画像と、制御ステーション３１０が有する撮影空間情報と、を用いて、三次元的画像情報処理を行う機能を有する。三次元的画像情報処理には、例えば、ステレオマッチング等が利用される。
画質調整部６１３３は、前景背景分離部６１３１で分離された前景画像および背景画像の少なくとも何れか一方の画質を調整する機能を有する。画質とは、例えば、解像度、色階調、コントラスト、彩度、輝度、および明度の少なくとも何れか１つである。

キャリブレーション制御部６１３４は、キャリブレーションに必要な画像データを、カメラ制御部６１４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有する。尚、本実施形態では、キャリブレーションに係わる演算処理をフロントエンドサーバ２３０で行う場合を例に挙げて説明する。しかしながら、当該演算処理を行うノードはフロントエンドサーバ２３０に限定されない。例えば、制御ステーション３１０やカメラアダプタ１２０（他のカメラアダプタ１２０を含む）等、他のノードで当該演算処理が行われても良い。また、キャリブレーション制御部６１３４は、カメラ制御部６１４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有する。

外部機器制御部６１４０は、カメラアダプタ１２０に接続される機器を制御する機能を有し、以下の機能部を有する。
カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、カメラ１１２で撮影された画像データの取得、同期信号の提供、および時刻設定等を行う機能を有する。

カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、およびホワイトバランスの設定等）の設定および参照が含まれる。さらに、カメラ１１２の制御には、カメラ１１２の状態（撮影中、停止中、同期中、およびエラー等）の取得と、撮影の開始および停止と、ピント調整等が含まれる。尚、取り外し可能なレンズがカメラ１１２に装着されている場合には、カメラアダプタ１２０がレンズに接続し、直接レンズの調整を行っても良い。また、カメラアダプタ１２０がカメラ１１２を介してズーム等のレンズ調整を行っても良い。

同期信号の提供は、時刻同期制御部６１２３で得られる、タイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。
時刻設定は、時刻同期制御部６１２３で得られる、タイムサーバ２９０と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受け取る画像データに、カメラ制御部６１４１から提供されるタイムコードが付与されることになる。尚、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されず、他のフォーマットであっても良い。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの提供をせず、カメラ１１２から受け取った画像データに自身がタイムコードを付与しても良い。

マイク制御部６１４２は、マイク１１１と接続し、マイク１１１の制御と、マイク１１１での収音の開始および停止と、マイク１１１で収音された音声データの取得等を行う機能を有する。
マイク１１１の制御には、例えば、ゲイン調整や、マイク１１１の状態の取得等が含まれる。また、マイク制御部６１４２は、音声データをサンプリングするタイミングとタイムコードをマイク１１１に対して提供する。例えば、タイムサーバ２９０からの時刻情報が例えば４８ＫＨｚのワードクロックに変換されてマイク１１１に供給されることにより、音声データのサンプリングのタイミングとなるクロック情報がマイク１１１に供給される。

雲台制御部６１４３は、雲台１１３と接続し、雲台１１３の制御を行う機能を有する。雲台１１３の制御には、例えば、パン・チルト制御や、雲台１１３の状態の取得等が含まれる。
センサ制御部６１４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合、センサ制御部６１４４は、振動を表す情報を取得する。画像処理部６１３０は、前景背景分離部６１３１での処理に先立って、センサ制御部６１４４により取得された振動情報を用いて、振動を抑えた画像データを生成する。例えば、カメラ１１２が８Ｋカメラであるとする。この場合、画像処理部６１３０は、カメラ１１２で撮影された画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、当該カメラ１１２と隣接する位置に設置されたカメラ１１２の画像との位置合わせを行う。これにより、画像処理部６１３０は、建造物の躯体振動が各カメラ１１２に異なる周波数で伝搬しても、カメラアダプタ１２０に配備された本機能で、各カメラ１１２で撮影された画像データの位置合わせを行うことが出来る。その結果、画像処理部６１３０は、電子的に防振された画像データを生成することが出来、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。尚、センサシステム１１０のセンサは外部センサ１１４に限定されず、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果が得られる。

（画像処理部６１３０）
図３は、カメラアダプタ１２０内部の画像処理部６１３０の機能的な構成の一例を示す図である。
キャリブレーション制御部６１３４は、カメラ制御部６１４１から入力された画像データに対して、色補正処理やブレ補正処理（電子防振処理）等を行う。色補正処理は、カメラ１１２毎の色のばらつきを抑えるための処理である。ブレ補正処理は、カメラ１１２の振動に起因するブレに対して画像の位置を安定させるための処理である。

前景背景分離部６１３１の機能的な構成の一例について説明する。
前景分離部５００１は、カメラ１１２で撮影された画像データであって、位置合わせが行われた画像データと、背景画像５００２とを比較した結果に基づいて、当該画像データから前景画像を分離する。背景更新部５００３は、背景画像５００２と、カメラ１１２で撮影された画像データであって、位置合わせが行われた画像データとを用いて新しい背景画像を生成し、背景画像５００２を新しい背景画像に更新する。背景切出部５００４は、背景画像５００２の一部を切り出す制御を行う。背景切出部５００４は、切り出した背景画像５００２に対する画質調整が必要である場合、当該背景画像５００２を画質調整部６１３３に出力し、そうでない場合、当該背景画像５００２を伝送部６１２０に出力する。

次いで三次元情報処理部６１３２の機能的な構成の一例について説明する。
三次元モデル情報受信部５００５は、仮想視点画像を得るためにフロントエンドサーバ２３０内で生成される三次元モデルに関する情報を制御ステーション３１０から受信する。当該受信する情報の一つは、画像処理システム１００が有する全てのカメラ１１２の全共通被写範囲を表す三次元データである。即ち、全てのカメラ１１２の全共通被写範囲を表す三次元データは、全てのカメラ１１２が撮影可能な被写空間（被写界）の乗算（論理積の演算）を行うことにより求められる空間である。全共通被写範囲は、カメラ１１２に固有の内部パラメータ（焦点距離、画像中心、およびレンズ歪みパラメータ等）と、カメラ１１２の位置姿勢を表す外部パラメータ（回転行列および位置ベクトル等）とに依存する。全共通被写範囲は、制御ステーション３１０にて算出される。尚、カメラ１１２の内部パラメータおよび外部パラメータの変更が撮影中に生じた場合、全共通被写範囲は、随時制御ステーション３１０にて再計算される。

他カメラ前景受信部５００６は、他のカメラアダプタ１２０で画像データから分離された前景画像を受信する。
前景位置判定部５００７は、前景分離部５００１で分離された前景画像と、他のカメラアダプタ１２０で画像データから分離された前景画像とを用いて、ステレオマッチングの原理等を用い、前景画像が被写空間のどのエリアに存在する画像かを判定する。前景位置判定部５００７は、この判定の結果に基づいて、前景画像をそのまま伝送部６１２０に送信する処理と、画質調整部６１３３に送信する処理と、どちらにも送信しない処理（即ち前景画像データを削除する処理）と、の何れかの処理を行う。前景位置判定部５００７で行われる処理の一例の詳細については後述する。

本実施形態では、例えば、ステレオマッチングの原理等を用いて、前景画像が被写空間のどのエリアに存在する画像かを判定することにより、複数の撮影画像に含まれる被写体の画像を用いて、当該被写体の実空間における位置を特定する。また、上接カメラで得られる前景画像と自カメラで得られる前景画像とのマッチングする範囲の三次元座標を算出することにより、前記複数の撮影画像に含まれる被写体の画像を用いて、当該被写体の領域の画像の三次元座標を導出する。

画質調整部６１３３は、前景位置判定部５００７、背景切出部５００４により伝送前に画質調整を実行すると判定された前景画像、背景画像を受信する。画質調整部６１３３は、解像度、色階調、コントラスト、彩度、輝度、および明度等の画質調整を実行し、画質調整した画像データを伝送部６１２０に送信する。

（伝送調整処理）
以下に、本実施形態の伝送調整処理の一例を、具体例を用いて説明する。
図４は、全共通被写範囲の一例を示す平面図である。図４は、フィールド４００と、その周囲の或る高さ位置に設置された８台のカメラ１１２ａ〜１１２ｈとを、上方から見た様子の概略を示す。カメラ１１２ａ〜１１２ｈの光軸中心は、全て共通の注視点６３０１に向いている。各カメラ１１２ａ〜１１２ｈは、水平画角θａ〜θｈとなる焦点距離にそれぞれ設定されている。また、フィールド４００上にはオブジェクトＰ〜Ｕが存在する。ここでは、説明を簡単にするために、オブジェクトＰ〜Ｕが立方体の物体であるものとする。図４において、全てのカメラ１１２ａ〜１１２ｈの全共通被写範囲は、全共通被写範囲Ａになる。図５は、全共通被写範囲の一例を示す斜視図である。図５では、図４に示すフィールド４００を俯瞰した様子の概略を示す。図５に示すように、全共通被写範囲Ａは、実際には、三次元の多面体の領域である。

全共通被写範囲Ａの内側に存在するオブジェクトＲ、Ｓの全ての面は、カメラ１１２ａ〜１１２ｈのうち２台以上のカメラで撮影される。このため、カメラ１１２ａ〜１１２ｈから得られる、オブジェクトＲ、Ｓに対応する前景画像をフロントエンドサーバ２３０に集結する。従って、フロントエンドサーバ２３０は、ステレオマッチングの原理を用いることで、３６０°どこから見ても欠落のないオブジェクトＲ、Ｓの三次元モデルを生成することが可能である。一方、全共通被写範囲Ａの外側に存在するオブジェクトＰ、Ｑ、Ｔ、Ｕには、一台のカメラからしか撮影されない面が存在する。換言すると、全共通被写範囲Ａの外側に存在するオブジェクトＰ、Ｑ、Ｔ、Ｕは、カメラ１１２ａ〜１１２ｈのうち少なくとも一台において撮影可能な範囲に存在しない。従って、オブジェクトＰ、Ｑ、Ｔ、Ｕについては、或る視点から見た場合に欠落のある三次元モデルしか生成されない。本実施形態では、三次元モデルが確実に不完全となる範囲、即ち、全共通被写範囲Ａの外側に存在するオブジェクトに対応する前景画像を各カメラアダプタ１２０で随時判定し、他のカメラアダプタ１２０に伝送しない。このようにすることで、デイジーチェーン接続を行う場合のデータの伝送負荷を低減することが出来る。

図６は、図４に示した８台のカメラ１１２ａ〜１１２ｈのうち、デイジーチェーンの上流側にある３台のカメラ１１２ａ〜１１２ｃだけを取り出して示す図である。図７（ａ）〜（ｃ）は、それぞれ、カメラ１１２ａ、１１２ｂ、１１２ｃで撮影された画像データから得られる、背景画像を分離した後の前景画像の一例を示す図である。図７（ａ）〜（ｃ）では、画像間でのオブジェクトの共通面を識別するため、各オブジェクトＰ〜Ｕの図６における左側の面に丸印を描き加えている。また、図８は、三次元情報処理部６１３２により実行される伝送調整処理の一例を説明するフローチャートである。尚、以下では、デイジーチェーンにおいて連続する３台のカメラを、デイジーチェーンの上流側から上接カメラ、自カメラ、下接カメラと称する。

まず、デイジーチェーンの最上流のカメラアダプタ１２０ａについては、図８のフローチャートによる処理を実行せずに、データ送受信部６１１１は、全ての前景画像を下接カメラであるカメラ１１２ｃに伝送する（図７（ａ）を参照）。２台目のカメラ１１２ｂにおける前景位置判定部５００７は、上接カメラであるカメラ１１２ａで撮影された画像データから得られる前景画像と自カメラであるカメラ１１２ｂで撮影された画像データから得られる前景画像とを比較する。前景位置判定部５００７は、この比較の結果に基づいて、これらの前景画像間の対応点のマッチングを行う。尚、上接カメラであるカメラ１１２ａで撮影された画像データから得られる前景画像は、他カメラ前景受信部５００６で受信される。また、以下の説明では、上接カメラで撮影された画像データから得られる前景画像を、必要に応じて上接カメラで得られる前景画像と称し、自カメラで撮影された画像データから得られる前景画像を、必要に応じて自カメラで得られる前景画像と称する。

本実施形態では、前景位置判定部５００７は、上接カメラで得られる前景画像と、自カメラで撮影された画像データから得られる前景画像とを取得することにより、撮影画像に含まれる被写体の領域の画像を取得する。また、例えば、前景画像は、被写体の領域の画像の一例である。また、例えば、上接カメラで得られる前景画像と、自カメラで得られる前景画像は、複数の方向から撮影された複数の撮影画像に含まれる被写体の領域の画像の一例である。また、例えば、上接カメラであるカメラ１１２ａに対応するカメラアダプタ１２０ａは、予め決められた順序において当該情報処理装置の１つ前の順序になる前記情報処理装置の一例である。また、下接カメラであるカメラ１１２ｃに対応するカメラアダプタ１２０ｃは、予め決められた順序において当該情報処理装置の次の順序になる前記情報処理装置の一例である。

前景位置判定部５００７は、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像とのマッチングする範囲を判定する（Ｓ１００１）。これらの前景画像のうち、マッチングする範囲については、Ｓ１００２の処理が実行され、マッチングしない範囲については、Ｓ１００６の処理が実行される。即ち、自カメラで得られる前景画像と、上接カメラで得られる前景画像とに、マッチングする範囲とマッチングしない範囲とが含まれる場合、これらの前景画像については、Ｓ１００２以降の処理と、Ｓ１００６以降の処理との双方の処理が行われる。

Ｓ１００２において、前景位置判定部５００７は、ステレオマッチングの原理を用いて、上接カメラで得られる前景画像と自カメラで得られる前景画像とのマッチングする範囲の三次元座標を算出する（Ｓ１００２）。

次に、前景位置判定部５００７は、Ｓ１００２で得られた三次元座標に基づいて、上接カメラで得られる前景画像と自カメラで得られる前景画像とのマッチングする範囲が、全共通被写範囲Ａの内側にあるか否かを判定する（Ｓ１００３）。全共通被写範囲Ａは、制御ステーション３１０から受信されるものである。
この判定の結果、上接カメラで得られる前景画像と自カメラで得られる前景画像とのマッチングする範囲が全共通被写範囲Ａの内側にある場合（Ｓ１００３でＹｅｓの場合）、前景位置判定部５００７は、次の処理を行う。即ち、前景位置判定部５００７は、上接カメラで得られる前景画像と自カメラで得られる前景画像とのマッチングする範囲を、下接カメラであるカメラ１１２ｃに対応するカメラアダプタ１２０ｃへ伝送すると決定する（Ｓ１００４）。

本実施形態では、前景位置判定部５００７は、Ｓ１００４において、少なくとも２つの撮影装置における被写範囲の共通領域に被写体の領域がある場合、前記撮影画像に含まれる当該被写体の領域の画像を伝送する。

一方、上接カメラで得られる前景画像と自カメラで得られる前景画像とのマッチングする範囲が全共通被写範囲Ａの内側にない場合（Ｓ１００３でＮｏの場合）、前景位置判定部５００７は、次の処理を行う。即ち、前景位置判定部５００７は、上接カメラで得られる前景画像の、自カメラで得られる前景画像とマッチングする範囲が、全共通被写範囲Ａの内側にない場合、当該範囲の画像を伝送しないと決定する（Ｓ１００５）。また、前景位置判定部５００７は、自カメラで得られる前景画像の、上接カメラで得られる前景画像とマッチングする範囲が、全共通被写範囲Ａの内側にない場合、当該範囲の画像を伝送すると決定する（Ｓ１００５）。ただし、前景位置判定部５００７は、当該範囲の画像の伝送を、下接カメラであるカメラ１１２ｃに対応するカメラアダプタ１２０ｃまでに制限する（Ｓ１００５）。

この時点で、自カメラで得られる前景画像の、上接カメラで得られる前景画像とマッチングする範囲であって、全共通被写範囲Ａの内側にない範囲の画像を非伝送としてもよい。しかしながら、本実施形態では、下接カメラであるカメラ１１２ｃに対応するカメラアダプタ１２０ｃまでは、当該画像を伝送する。このようにすれば、下接カメラにおける前景画像の対応点のマッチング探索の精度を維持することが出来るからである。ただし、当該画像は、下接カメラであるカメラ１１２ｃよりも下流側にあるカメラ１１２ｄ〜１１２ｈに対応するカメラアダプタ１２０ｄ〜１２０ｈには伝送されない。具体的に、カメラアダプタ１２０ｃの前景位置判定部５００７は、当該画像をカメラアダプタ１２０ｄに伝送しないと決定する。なお、Ｓ１００５において、カメラアダプタ１２０は、全共通被写範囲Ａの内側にない前景画像を圧縮やリサイズして伝送してもよい。このように、全共通被写範囲Ａの内側にない前景画像のデータ量を削減して伝送することによる伝送の制限を行うことで、システムの伝送負荷を抑えつつ、より広い範囲で被写体が存在する仮想視点画像を生成することができる。

本実施形態では、前景位置判定部５００７は、Ｓ１００３〜Ｓ１００５において、前記被写体の実空間における位置に基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御する。前景位置判定部５００７は、Ｓ１００５において、前記撮影画像に含まれる当該被写体の領域の画像を伝送しないことと、前記撮影画像に含まれる当該被写体の領域の画像の伝送先を制限することとの何れかを、当該撮影画像を撮影した撮影装置に応じて選択する。

一方、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲については、Ｓ１００６の処理が行われる。即ち、前景位置判定部５００７は、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像とに対し、非マッチング回数ｎに１を加算する（Ｓ１００６）。非マッチング回数ｎの初期値は０（ゼロ）である。

本実施形態では、例えば、非マッチング回数により計数値の一例が実現される。また、前景位置判定部５００７は、Ｓ１００６において、前記撮影画像に含まれる被写体の領域の画像が、当該撮影画像と異なる前記撮影画像に含まれる被写体の領域の画像とマッチングしない場合、当該マッチングしない画像に対する計数値を更新する。

次に、前景位置判定部５００７は、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲に対する非マッチング回数ｎを判定する（Ｓ１００７）。上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲のうち、非マッチング回数ｎが２となる範囲については、Ｓ１００８の処理が行われる。一方、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲のうち、非マッチング回数ｎが２でない範囲（１である範囲）については、Ｓ１００４の処理が行われる。

Ｓ１００８において、前景位置判定部５００７は、次の処理を行う。即ち、前景位置判定部５００７は、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲のうち、非マッチング回数ｎが２となる範囲を伝送しないと決定する（Ｓ１００８）。
本実施形態では、例えば、Ｓ１００８が、前記マッチングしない画像に対する前記計数値が所定値よりも大きい場合、当該画像を伝送しないと決定することの一例である。なお、カメラアダプタ１２０は、Ｓ１００６及びＳ１００７の処理を行わず、上接カメラで得られる前景画像と自カメラで得られる前景画像とでマッチングしないすべての前景画像の伝送を制限する構成としてもよい。

一方、処理がＳ１００４に進むと、前景位置判定部５００７は、次の処理を行う。即ち、前景位置判定部５００７は、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲のうち、非マッチング回数ｎが２でない範囲を伝送すると決定する（Ｓ１００４）。ここでは、カメラ１１２ａ、１１２ｂの２台のみについてしか処理を行っていないため、非マッチング回数ｎが２となることはない。よって、上接カメラであるカメラ１１２ａで得られる前景画像と自カメラであるカメラ１１２ｂで得られる前景画像との、マッチングしない範囲の全てが伝送される。

本実施形態では、例えば、Ｓ１００４が、前記マッチングしない画像に対する前記計数値が所定値よりも小さい場合、当該画像を伝送すると決定することの一例である。また、例えば、Ｓ１００４、Ｓ１００７、Ｓ１００８により、前記マッチングしない画像に対する前記計数値に基づいて、当該画像を含むデータの伝送を制御することの一例が実現される。また、例えば、Ｓ１００１〜Ｓ１００８により、前記複数の撮影画像に含まれる被写体の領域の画像がマッチングするか否かに基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御することの一例が実現される。

図９は、下接カメラへ伝送されるオブジェクトの一例を説明する図である。
図９の上段は、図７（ａ）および図７（ｂ）に示す前景画像に対してＳ１００１〜Ｓ１００７の処理を実行した結果を示す。図９の上段の左側は、図７（ａ）に対応し、図９の上段の右側は、図７（ｂ）に対応する。図９の上段において、全共通被写範囲Ａの内側と判定されて下接カメラであるカメラ１１２ｃへの伝送が決定される前景画像の範囲は、黒塗りの範囲となる。また、図９の上段において、全共通被写範囲Ａの外側と判定されて下接カメラであるカメラ１１２ｃまでのみを限定して伝送される前景画像の範囲は、縦縞の範囲である。また、図９の上段において、非伝送となる前景画像は、破線で囲まれた範囲となる。また、図９の上段において、非マッチング回数ｎが１であることにより伝送される前景画像の範囲は、斜線の範囲となる。

続く３台目のカメラ１１２ｃにおいて、上接カメラをカメラ１１２ｂとし、自カメラをカメラ１１２ｃとして、自カメラをカメラ１１２ｂとする場合と同様に図８のフローチャートによる処理を実行した結果を、図９の下段に示す。図９の下段の左側は、図７（ｂ）に対応し、図９の下段の右側は、図７（ｃ）に対応する。図９の下段における面の塗り分けは、図９の上段における面の塗り分けと同じである。ここで、図９の下段の左側において、破線の斜線となっているオブジェクトＱの面は、カメラ１１２ｂにしか写りこんでいないため、非マッチング回数ｎが２となり、非伝送と決定された面である。

また、２台目のカメラ１１２ｂが自カメラである時点では、オブジェクトＵは、全共通被写範囲Ａの外側であるが、下接カメラであるカメラ１１２ｃまでのみ伝送するとしたオブジェクトである。このオブジェクトＵの前景画像の一部の範囲（図９の上段の右側の縦縞の範囲）は、３台目のカメラ１１２ｃが自カメラである時点で、自カメラであるカメラ１１２ｃで得られる前景画像とマッチングせず、非伝送と決定される。従って、このオブジェクトＵの前景画像の一部の範囲（図９の上段の右側の縦縞の範囲）は、４台目のカメラ以降には伝送されない。もし、自カメラであるカメラ１１２ｃで得られる前景画像の前方に別のオブジェクトや障害物が存在する等してオブジェクトＵが写っておらず、当該前景画像と上接カメラで得られる前景画像との対応点のマッチングが取れなかったとする。このような場合にも、以降のカメラ１１２ｄ〜１１２ｈには被写オブジェクトＵの前景画像は伝送されない。

ここで、図９の下段の左側に注目する。全共通被写範囲Ａの内側に存在するオブジェクトＲ、Ｓの前景画像のみが伝送対象として残る。一方、全共通被写範囲Ａの外側に位置する被写オブジェクトＱ、Ｔ、Ｕの前景画像は非伝送となる。このように、デイジーチェーンにおいて連続する３台のカメラ１１２間で、前景画像を上流から下流に向かって伝送する中で、前後のカメラで得られる前景画像を比較し、全共通被写範囲Ａにあるか否かの判定と非マッチング回数ｎのカウントとを行う。このようにすることにより、全共通被写範囲Ａの内側に存在するオブジェクトの前景画像のみを選別して伝送することが可能である。尚、デイジーチェーンの１台目のカメラ１１２ａで得られる前景画像については、カメラ１１２ａを自カメラとし、デイジーチェーンの終端に位置するカメラ１１２ｈを上接カメラとすることで、フロントエンドサーバ２３０において、位置の判定が可能になる。

以上のように本実施形態では、デイジーチェーン接続において連続する２つのカメラ（自カメラ、上接カメラ）で得られる前景画像の範囲のうち、相互にマッチングし、且つ、全共通被写範囲Ａの内側にある範囲を、下流側のカメラ（下接カメラ）に伝送する。また、連続する２つのカメラ（自カメラ、上接カメラ）で得られる前景画像の、相互にマッチングする範囲のうち、全共通被写範囲Ａの外側にある範囲については、以下のようにして伝送の要否を決定する。即ち、自カメラで得られる前景画像の範囲を伝送し、上接カメラで得られる前景画像の範囲を伝送しない。また、非マッチング回数ｎが１になる前景画像の範囲については、下流側のカメラ（下接カメラ）に伝送するが、非マッチング回数ｎが２になる前景画像の範囲については、下流側のカメラ（下接カメラ）に伝送しない。従って、複数の視点で撮影された画像を用いて被写体の画像（三次元モデル）を生成するに際し、前景画像を的確に抽出し、当該前景画像の位置に応じて画質を最適化しながら伝送負荷を低減することが可能になる。

＜第２の実施形態＞
次に、第２の実施形態を説明する。第１の実施形態では、連続する２つのカメラ（自カメラ、上接カメラ）で得られる前景画像の、相互にマッチングする範囲のうち、全共通被写範囲Ａの外側にある範囲であって、上接カメラで得られる前景画像の範囲を伝送しない。これに対し、本実施形態では、このような前景画像の範囲のデータ量を低減してから伝送する。このように本実施形態と第１の実施形態とは、連続する２つのカメラ（自カメラ、上接カメラ）で得られる前景画像の、相互にマッチングする範囲のうち、全共通被写範囲Ａの外側にある範囲についての処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図９に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１０は、三次元情報処理部６１３２により実行される伝送調整処理の一例を説明するフローチャートである。図１１は、下接カメラへの伝送されるオブジェクトの一例を説明する図である。図１０において、図８のフローチャートと同一の処理を行うステップについては、図８に付した符号と同一の符号を付している。また、図１１における面の塗り分けは、図９における面の塗り分けと同じである。従って、これらの詳細な説明を省略する。

本実施形態では、前景位置判定部５００７は、以下の処理を行う。即ち、前景位置判定部５００７は、自カメラにより得られる前景画像の、上接カメラにより得られる前景画像とマッチングする範囲のうち、全共通被写範囲Ａの外側の範囲の画像を、画質を下げてから伝送すると決定する（Ｓ２００５）。ここで、画質を下げることは、画質調整部６１３３にて実行される。また、画質を下げることは、例えば、解像度を下げること、色階調数を下げること、コントラストを下げること、カラー画像をモノクロ化すること等により実現される。尚、Ｓ２００５でも図８のＳ１００５と同様、前景位置判定部５００７は、自カメラで得られる前景画像の、上接カメラで得られる前景画像とマッチングする範囲が、全共通被写範囲Ａの内側にない場合、当該範囲の画像を伝送すると決定する。下接カメラにおける前景画像の対応点のマッチング探索の精度を維持するためである。ただし、当該範囲の画像は、下接カメラよりも下流側にあるカメラ１１２ｄに対応するカメラアダプタ１２０には伝送されない。

本実施形態では、前景位置判定部５００７は、Ｓ２００５において、少なくとも２つの撮影装置における被写範囲の共通領域に被写体の領域がない場合、前記撮影画像に含まれる当該被写体の領域の画像を、当該画像のデータ量を少なくして伝送すると決定する。また、Ｓ２００５において、少なくとも２つの撮影装置における被写範囲の共通領域に被写体の領域がない場合、前記撮影画像に含まれる当該被写体の領域の画像の伝送先を制限すると決定される。

図７に示した前景画像に対して図１０のフローチャートによる処理を適用しながらフロントエンドサーバ２３０まで伝送することにより得られる前景画像を図１１に示す。ここでは、フロントエンドサーバ２３０が、１台目のカメラ１１２ａで得られる画像に対して、終端に位置するカメラ１１２ｈで得られる前景画像を用いて図１０のフローチャートによる処理を適用した結果を示す（図１１の上段の左側を参照）。図１１において、ドット模様で示す範囲は、画質を下げた上で伝送される範囲である。図１１に示すように、全共通被写範囲Ａの外側にあるが、対応点のマッチングがとれ、且つ、三次元座標の算出が可能なオブジェクトＴ、Ｕの前景画像については画質を下げて伝送される。

一方、オブジェクトＴの、図４の上側および右側の面は、カメラ１１２ｇからしか撮影されない。また、オブジェクトＵの、図４の右側の面は、カメラ１１２ｆからしか撮影されない。このため、フロントエンドサーバ２３０は、これら面の三次元モデルを生成することが出来ない。即ち、フロントエンドサーバ２３０には、オブジェクトＴ、Ｕの略半分のみの低画質のモデルが存在することになる。そのような画像データは、３６０°自由なカメラワークに対応する完全な仮想視点データとは言えない。しかしながら、仮想視点コンテンツの生成において、例えば、前ボケや後ボケ（画像上でコンテンツの注目点となるメインオブジェクトの前後に存在する、大きくボケた画像）等を表現するためには利用可能である。メインオブジェクトの画質が保たれているなかで、その周囲のオブジェクトの画像がボケた画像であれば、（そのモデルの一部が欠落していても）視聴者に違和感を与えることや画質の低下を感じさせることを抑制することが出来る。

一方、図１１の上段において、被写オブジェクトＰ、Ｑの、図１１に示す面は非伝送となる。これら面は、それぞれ、カメラ１１２ａ、１１２ｂの１台にしか写りこんでいないため、非マッチング回数ｎが２となり、非伝送と決定される。これらの面は、フロントエンドサーバ２３０まで伝送したとしてもステレオマッチングによる三次元モデル化が出来ない。このため、伝送負荷の低減効果の向上のため、第１の実施形態と同様に非伝送とするのが好ましい。こうして、フロントエンドサーバ２３０には、図１１の下段に示すようなオブジェクトＲ、Ｓ、Ｔ、Ｕが伝送される。ただし、前述したようにオブジェクトＴ、Ｕは、画質が落とされて伝送される。

以上のように本実施形態では、全共通被写範囲Ａの外側にあっても、マッチングがとれ、且つ、三次元座標の算出が可能なオブジェクトＴ、Ｕの前景画像については画質を下げて伝送する。従って、第１の実施形態で説明した効果に加え、伝送負荷を低減しながらも仮想視点コンテンツの表現の幅を広げることが可能になるという効果が得られる。

本実施形態では、画質を調整することにより伝送負荷を下げる場合を例に挙げて説明した（Ｓ２００５を参照）。しかしながら、伝送する画像のデータ量を低減することが出来れば、必ずしも画質を下げる必要はない。例えば、該当する前景画像の範囲のデータ圧縮・伸張部６１２１における圧縮率を上げることにより、伝送負荷を下げてもよい。また、該当する前景画像の範囲のみの伝送フレームレートを下げてもよい。また、これらの制御の少なくとも２つを組み合わせて伝送負荷を下げてもよい。

また、第１、第２の実施形態では、全共通被写範囲Ａの内側にある前景画像の範囲を判定する場合を例に挙げて説明した。しかしながら、必ずしも、前景画像の位置の判定をこのようにして行う必要はない。例えば、三次元座標の算出の際の誤差の吸収のため、全共通被写範囲Ａを任意の割合で拡大した三次元空間の内側にある前景画像の範囲を判定しても良い。逆に、より限られた範囲の高画質の保持のため、或いは伝送負荷の削減効果を高めるため、全共通被写範囲Ａの一部の三次元空間の内側にある前景画像を判定しても良い。また、オブジェクトの三次元モデルに対して要求される完成率、即ち、オブジェクトの表面の何割の三次元モデルを生成するか、の設定に応じて、全数ではない一定数以上のカメラ１１２の共通被写範囲を算出しても良い。この場合、当該一定数以上のカメラ１１２の共通被写範囲の内側にある前景画像の範囲を判定することになる。更に、共通被写度（何台のカメラの共通被写範囲か）や、最も注目したい範囲からの距離に応じて、段階的に前景画像の画質調整や圧縮率を調整しても良い。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することが出来る。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ａ〜１１０ｚ：センサシステム、１１２ａ〜１１２ｚ：カメラ、１２０ａ〜１２０ｚ：カメラアダプタ、１７０ａ〜１７０ｙ：ネットワーク

Claims

撮影画像に含まれる被写体の領域の画像を取得する取得手段と、
前記被写体の位置に基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御する制御手段と、を有することを特徴とする情報処理システム。
前記被写体の実空間における位置を特定する特定手段を更に有し、
前記取得手段は、複数の方向から撮影された複数の撮影画像に含まれる被写体の領域の画像を取得し、
前記特定手段は、前記複数の撮影画像に含まれる被写体の画像を用いて、当該被写体の実空間における位置を特定することを特徴とする請求項１に記載の情報処理システム。
前記特定手段は、前記複数の撮影画像に含まれる被写体の画像を用いて、当該被写体の領域の画像の三次元座標を導出し、導出した前記被写体の領域の画像の三次元座標に基づいて、当該被写体の実空間における位置を特定することを特徴とする請求項２に記載の情報処理システム。
前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体が位置するか否かに基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御することを特徴とする請求項１〜３の何れか１項に記載の情報処理システム。
前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体の領域がある場合、前記撮影画像に含まれる当該被写体の領域の画像を伝送すると決定することを特徴とする請求項４に記載の情報処理システム。
前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体の領域がない場合、前記撮影画像に含まれる当該被写体の領域の画像を伝送しないと決定することを特徴とする請求項４または５に記載の情報処理システム。
前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体の領域がない場合、前記撮影画像に含まれる当該被写体の領域の画像を、当該画像のデータ量を少なくして伝送すると決定することを特徴とする請求項４または５に記載の情報処理システム。
前記画像のデータ量を少なくすることは、前記画像の画質、フレームレート、および圧縮率の少なくとも１つを変更することにより行われることを特徴とする請求項７に記載の情報処理システム。
前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体の領域がない場合、前記撮影画像に含まれる当該被写体の領域の画像の伝送先を制限すると決定することを特徴とする請求項４または５に記載の情報処理システム。
前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体の領域がない場合、前記撮影画像に含まれる当該被写体の領域の画像を伝送しないことと、前記撮影画像に含まれる当該被写体の領域の画像の伝送先を制限することとの何れかを、当該撮影画像を撮影した撮影手段に応じて選択することを特徴とする請求項４または５に記載の情報処理システム。
前記取得手段は、複数の方向から撮影された複数の撮影画像に含まれる被写体の領域の画像を取得し、
前記制御手段は、前記複数の撮影画像に含まれる被写体の領域の画像がマッチングするか否かに基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御することを特徴とする請求項１〜１０の何れか１項に記載の情報処理システム。
前記撮影画像に含まれる被写体の領域の画像が、当該撮影画像と異なる前記撮影画像に含まれる被写体の領域の画像とマッチングしない場合、当該マッチングしない画像に対する計数値を更新する更新手段を更に有し、
前記制御手段は、前記マッチングしない画像に対する前記計数値に基づいて、当該画像を含むデータの伝送を制御することを特徴とする請求項１１に記載の情報処理システム。
前記制御手段は、前記マッチングしない画像に対する前記計数値が所定値よりも大きい場合、当該画像を伝送しないと決定することを特徴とする請求項１２に記載の情報処理システム。
前記制御手段は、前記マッチングしない画像に対する前記計数値が所定値よりも小さい場合、当該画像を伝送すると決定することを特徴とする請求項１２または１３に記載の情報処理システム。
前記取得手段と前記制御手段と前記更新手段とをそれぞれが有する複数の情報処理装置を更に有することを特徴とする請求項１２〜１４の何れか１項に記載の情報処理システム。
前記情報処理装置が有する前記制御手段は、予め決められた順序において当該情報処理装置の次の順序になる前記情報処理装置への、前記撮影画像に含まれる被写体の領域の画像を含むデータの伝送を制御し、
前記情報処理装置が有する前記取得手段は、当該情報処理装置に接続される撮影手段により撮影された撮影画像に含まれる前記被写体の領域の画像と、予め決められた順序において当該情報処理装置の１つ前の順序になる前記情報処理装置の前記制御手段による制御に基づいて伝送された前記被写体の領域の画像と、を取得し、
前記情報処理装置が有する前記更新手段は、当該情報処理装置に接続される撮影手段により撮影された撮影画像に含まれる前記被写体の領域の画像と、予め決められた順序において当該情報処理装置の１つ前の順序になる前記情報処理装置の前記制御手段による制御に基づいて伝送された前記被写体の領域の画像と、がマッチングしない場合、当該画像に対する計数値を更新することを特徴とする請求項１５に記載の情報処理システム。
前記取得手段と前記制御手段とをそれぞれが有する複数の情報処理装置を更に有することを特徴とする請求項１〜１１の何れか１項に記載の情報処理システム。
前記情報処理装置が有する前記制御手段は、予め決められた順序において当該情報処理装置の次の順序になる前記情報処理装置への、前記撮影画像に含まれる被写体の領域の画像を含むデータの伝送を制御し、
前記情報処理装置が有する前記取得手段は、当該情報処理装置に接続される撮影手段により撮影された撮影画像に含まれる前記被写体の領域の画像と、予め決められた順序において当該情報処理装置の１つ前の順序になる前記情報処理装置の前記制御手段による制御に基づいて伝送された前記被写体の領域の画像と、を取得することを特徴とする請求項１７に記載の情報処理システム。
前記情報処理装置が有する前記制御手段は、被写界を複数の方向から撮影するための複数の撮影手段のうち、少なくとも２つの撮影手段における被写範囲の共通領域に被写体の領域がない場合、当該情報処理装置に接続される撮影手段により撮影された撮影画像に含まれる当該被写体の領域の画像を、予め決められた順序において当該情報処理装置の１つ後の順序になる前記情報処理装置まで送信すると決定することを特徴とする請求項１６または１８に記載の情報処理システム。
前記複数の情報処理装置は、デイジーチェーン接続されることを特徴とする請求項１５〜１９の何れか１項に記載の情報処理システム。
前記被写体に対する視点を設定する設定手段と、
複数の方向から撮影された複数の撮影画像に含まれる被写体の領域の画像を用いて、前記設定手段により設定された視点から見た場合の当該被写体の画像を生成する生成手段と、を更に有することを特徴とする請求項１〜２０の何れか１項に記載の情報処理システム。
撮影画像に含まれる被写体の領域の画像を取得する取得工程と、
前記被写体の位置に基づいて、前記撮影画像に含まれる当該被写体の領域の画像を含むデータの伝送を制御する制御工程と、を有することを特徴とする情報処理方法。
請求項１〜２１の何れか１項に記載の情報処理システムをコンピュータとして機能させることを特徴とするプログラム。
複数の撮影装置により撮影された撮影画像を用いて仮想視点画像を生成するシステムにおける、前記複数の撮影装置のうちの第１撮影装置により撮影された撮影画像を伝送する装置であって、
前記第１撮影装置により撮影された撮影画像を取得手段と、
前記取得手段により取得された撮影画像に含まれる所定の被写体が前記複数の撮影装置のうちの第２撮影装置による撮影範囲に存在しない場合、前記所定の被写体を含む画像の伝送を制限する制御手段と、を有することを特徴とする装置。
前記制御手段は、前記所定の被写体を含む画像の伝送を行わないことを特徴とする請求項２４に記載の装置。
前記制御手段は、前記所定の被写体を含む画像を、前記複数の撮影装置のうちの第３撮影装置により撮影された撮影画像を伝送する他の装置に伝送し、前記仮想視点画像を生成する他の装置には伝送しないことを特徴とする請求項２４に記載の装置。
前記制御手段は、前記所定の被写体を含む画像の画質を下げて伝送することを特徴とする請求項２４に記載の装置。