JP2019075740A - 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム - Google Patents

Abstract

【課題】複数のカメラの撮影画像を効率よく伝送できるようにする。【解決手段】異なる位置に配置された複数の撮影装置が撮影した複数の撮影画像を伝送する画像処理システムにおいて、複数の撮影装置のそれぞれの背景範囲について、他の撮影装置が伝送する背景範囲と重複しない領域を伝送領域として決定する処理と、この決定された伝送領域が伝送されるよう制御する処理とを行う。【選択図】 図５

Description

本発明は、被写体を複数の方向から撮影するための複数のカメラで撮影した画像を伝送する技術に関するものである。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。特許文献１では、複数のカメラで撮像した画像から前景と背景を分離し、それぞれを合成して仮想視点画像の生成を行うことについて記載されている。

特開２０００−５７３５０号公報

上述の複数視点画像に基づく仮想視点コンテンツ生成や閲覧のためには、撮影画像から三次元モデル生成等の処理を高精度かつ高速に行う必要がある。特許文献１の画像処理システムでは、仮想視点画像生成のために、各カメラで撮影した画像の共通する領域についても冗長に伝送しており、多数の撮影画像を伝送するための伝送線容量が膨大になってしまうという課題があった。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、複数のカメラの撮影画像を効率よく伝送することである。

上記課題を解決するため、本発明に係る画像処理システムは、異なる位置に配置された複数の撮影装置のそれぞれの背景範囲について、他の撮影装置が伝送する背景範囲と重複しない領域を伝送領域として決定する決定手段と、前記決定手段により決定された前記伝送領域が伝送されるよう制御する制御手段と、を備える。

本発明によれば、複数のカメラの撮影画像を効率よく伝送することができる。

画像処理システム１００の構成図。 カメラアダプタ１２０の機能ブロック図。 画像処理部６１３０の機能ブロック図。 フロントエンドサーバ２３０の機能ブロック図。 伝送領域算出部４０１の機能ブロック図。 伝送領域の決定を説明するためのフローチャート。 センサシステムの配置の一例を示す図。 カメラの伝送領域決定の算出手順を示す図。 カメラの伝送領域決定の算出手順を示す図。 カメラの伝送領域決定の算出手順を示す図。 背景画像を示す図。 カメラアダプタ１２０のハードウェア構成を示すブロック図。 伝送領域算出部１４０１の機能ブロック図。 競技場の構造を模式的に表した図。 背景画像を示す図。 背景範囲を示す図。 実施の形態３に係る画像処理システム１００の構成図。 伝送領域算出部２４０１の機能ブロック図。 背景領域の決定を説明するためのフローチャート。 仮想カメラの撮影範囲を示す図。 仮想視点画像生成のための伝送領域決定の算出手順を示す図。 仮想視点画像生成のための伝送領域決定の算出手順を示す図。 仮想視点画像生成のための伝送領域決定の算出手順を示す図。 カメラの選択方法を説明する図。 新たに伝送領域を算出し直す場合を説明する図。 伝送領域算出部３４０１の機能ブロック図。 小領域からのカメラの距離計算を表す図。

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜実施の形態１＞
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１を用いて説明する。

＜画像処理システム１００の説明＞
図１は、画像処理システム１００の一例を示す構成図である。画像処理システム１００は、センサシステム１１０ａ，...，１１０ｚと、画像コンピューティングサーバ２００と、コントローラ３００と、スイッチングハブ１８０と、エンドユーザ端末１９０とを含む。

コントローラ３００は、制御ステーション３１０と、仮想カメラ操作ＵＩ３３０とを含む。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ−３１０ｄ、１８０ａ、１８０ｂ、及び１７０ａ，...，１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。

＜センサシステム１１０の説明＞
最初に、センサシステム１１０ａ，...，センサシステム１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作について説明する。

画像処理システム１００では、センサシステム１１０ａ，...，センサシステム１１０ｚがデイジーチェーンにより接続される。ここで、本実施の形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。また、本実施形態では、特に断りがない限り、画像という文言は、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。

また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム１１０ａ，...，１１０ｚは、それぞれ１台ずつのカメラ１１２ａ，...，１１２ｚを含む。すなわち、画像処理システム１００は、同一の被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士は、デイジーチェーンにより接続される。

センサシステム１１０は、マイク１１１と、カメラ１１２と、雲台１１３と、カメラアダプタ１２０とを含んで構成されるが、この構成に限定するものではない。カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、マイク１１１ａにて集音された音声とともに、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。

前述した動作を続けることにより、センサシステム１１０ａ，...，１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。

なお、本実施形態では、カメラ１１２ａ，...，１１２ｚと、カメラアダプタ１２０ａ，...，１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ，...，１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

＜画像コンピューティングサーバ２００の説明＞
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。

画像コンピューティングサーバ２００は、フロントエンドサーバ２３０と、データベース２５０（以下、ＤＢと記載する場合がある。）と、バックエンドサーバ２７０と、タイムサーバ２９０とを含む。さらに、画像コンピューティングサーバ２００は、伝送領域算出部４０１と、カメラ配置記憶部４００とを含む。また、データベース２５０は、伝送領域情報記憶部４０２を含む。

カメラ配置記憶部４００は、制御ステーション３１０から取得した、各カメラ１１２の位置、姿勢、方向、レンズ焦点距離等の情報（以下、カメラ配置情報と記載する。）を記憶する。

伝送領域算出部４０１は、カメラ配置記憶部４００に記憶されているカメラの位置、画角から各カメラ１１２が撮影した画像のうち、仮想視点画像生成のために伝送される画像に対応する領域（以下、伝送領域と記載する。）を算出し、伝送領域情報を生成する。

伝送領域情報記憶部４０２は、伝送領域算出部４０１で生成された各カメラ１１２の伝送領域情報を記憶する。伝送領域情報は、カメラ１１２の位置または画角が変わるたびに更新される。

タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ，...，１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ，...，１２０ｚは、カメラ１１２ａ，...，１１２ｚを、時刻と同期信号とをもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。その後、カメラの識別子、画像か音声かを示すデータ種別、フレーム番号に応じてデータベース２５０に書き込む。

データベース２５０は、フロントエンドサーバ２３０から取得した、各カメラアダプタ１２０からの各フレームや画像データの受信状況を状態管理テーブルで管理する。例えば、各時刻と各カメラについて画像データが届いていなければ０、届いていれば１のフラグを立てることで対応できる。また、所定の時間ごと（例えば、１秒間）に、全て届いていれば１を、届いていない場合は所定時間内の各時刻と各カメラについて同様のフラグを立てることで管理できる。

バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。そして、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体に構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数存在していてもよい。また、画像コンピューティングサーバ２００の任意の位置に、上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。

レンダリング処理された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像の閲覧及び音声の視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。具体的には、バックエンドサーバ２７０は、例えば、複数のカメラアダプタ１２０により複数のカメラ１１２の撮影画像から切り出された所定領域の画像データ（図４にて詳述）と、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、エンドユーザ端末１９０へ送信されてもよい。

このように、画像処理システム１００は、被写体を異なる方向から撮影する複数のカメラ１１２による撮影画像に基づいて、バックエンドサーバ２７０により仮想視点画像を生成する。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

＜機能ブロック図の説明＞
次に、図１に記載の画像処理システム１００における各ノード（カメラアダプタ１２０、フロントエンドサーバ２３０、伝送領域算出部４０１）の機能ブロック図を説明する。

＜カメラアダプタ１２０の説明＞
図２は、カメラアダプタ１２０の機能構成を説明するためのブロック図である。カメラアダプタ１２０は、ネットワークアダプタ６１１０と、伝送部６１２０と、画像処理部６１３０と、外部機器制御部６１４０とを含む。

ネットワークアダプタ６１１０は、データ送受信部６１１１と、時刻制御部６１１２とを含む。データ送受信部６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０ａを介し、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えば、データ送受信部６１１１は、伝送領域算出部４０１から伝送領域情報を受信する。また、データ送受信部６１１１は、カメラ１１２の撮影画像に対して前景背景分離部６１３１が分離処理を行って生成した前景画像や、伝送領域更新部６１３４で生成した背景領域画像を、別のカメラアダプタ１２０に対して送信する。送信先のカメラアダプタ１２０は、画像処理システム１００のカメラアダプタ１２０のうち、データルーティング処理部６１２２の処理に応じて予め定められた順序における次のカメラアダプタ１２０である。各カメラアダプタ１２０が、前景画像及び背景画像を出力することで、複数の視点から撮影された前景画像と背景画像とに基づいた仮想視点画像が生成される。

時刻制御部６１１２は、例えば、ＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。

伝送部６１２０は、データ圧縮・伸張部６１２１と、データルーティング処理部６１２２と、時刻同期制御部６１２３と、画像・音声伝送処理部６１２４と、データルーティング情報保持部６１２５と、フレームレート変更部６１２６とを含む。データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。

データルーティング処理部６１２２は、後述するデータルーティング情報保持部６１２５が保持するデータを利用し、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれのデータルーティング処理部６１２２による決定に応じて、画像処理システム１００において前景画像や背景領域画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。

時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく、他の同様のプロトコルを利用して時刻同期してもよい。

画像・音声伝送処理部６１２４は、画像データ又は音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。本実施形態のメタ情報には、画像の撮影または音声のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお、送信する画像データまたは音声データは、データ圧縮・伸張部６１２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受け取る。

データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。

画像処理部６１３０は、前景背景分離部６１３１と、三次元モデル情報生成部６１３２と、キャリブレーション制御部６１３３と、伝送領域更新部６１３４とを含む。画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う。画像処理部６１３０については、図３において詳述する。

外部機器制御部６１４０は、カメラアダプタ１２０に接続する機器を制御する機能を有し、カメラ制御部６１４１と、マイク制御部６１４２と、雲台制御部６１４３とを含む。

カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスなど）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。

マイク制御部６１４２および雲台制御部６１４３は、それぞれ接続される、マイク１１１および雲台１１３を制御する機能を有する。雲台制御部６１４３は、例えば、パン・チルト制御や、状態取得を行う。

＜カメラアダプタ１２０内の画像処理部６１３０の説明＞
図３は、カメラアダプタ１２０内の画像処理部６１３０の機能ブロック図である。画像処理部６１３０は、前景背景分離部６１３１と、三次元モデル情報生成部６１３２と、キャリブレーション制御部６１３３と、伝送領域更新部６１３４とを含む。

キャリブレーション制御部６１３３は、キャリブレーションに必要な画像データを、カメラ制御部６１４１を介してカメラ１１２から取得する。そして、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理などを行う。

前景背景分離部６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離処理を行う。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は、例えば、撮影画像に対するオブジェクト検出処理の結果、オブジェクトが検出された領域である。

前景背景分離部６１３１は、撮影画像から抽出した所定領域内の画像を前景画像、所定領域以外の領域の画像（すなわち、前景画像以外）を背景画像として、撮影画像を前景画像と背景画像とに分離する。なお、オブジェクトとは、例えば、人物である。ただし、これに限られず、オブジェクトは、特定の人物（選手、監督、および／または審判など）であっても良いし、ボール等の画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景画像を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。

なお、分離処理が行われる画像は、当該画像を撮影したカメラと、隣接設置されたカメラの画像とで位置合わせが実行された画像である。位置合わせは、例えば、隣接のカメラ画像をカメラの設置情報から射影変換し、各画像の輝度分布から特徴点を抽出し、当該特徴点同士をマッチングさせることで行う。

前景背景分離部６１３１は、前景分離部５００１と、背景画像５００２と、背景更新部５００３とを有する。前景分離部５００１は、入力された画像に対して、オブジェクト検出を行って前景領域を抽出する。例えば、背景画像５００２と比較して得られた背景差分情報に基づいて、前景領域を抽出する。そして、前景領域の各画素を連結して前景画像を生成する。

背景更新部５００３は、背景画像５００２とカメラの位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像５００２を新しい背景画像に更新する。

伝送領域更新部６１３４は、伝送領域保持部５０１１と、背景領域画像生成部５０１２とを有する。

伝送領域保持部５０１１は、伝送部６１２０を介して伝送領域算出部４０１から伝送領域情報を取得し、背景領域画像生成部５０１２に送る。

背景領域画像生成部５０１２は、伝送領域保持部５０１１より取得した伝送領域情報に従って、背景画像５００２から背景領域画像を生成する。背景領域画像の生成については、図１１の参照により後述する。

三次元モデル情報生成部６１３２は、三次元モデル処理部５００５と、他カメラ前景受信部５００６と、カメラパラメータ受信部５００７とを有する。他カメラ前景受信部５００６は、他のカメラアダプタ１２０で前景背景分離された前景画像を受信する。

カメラパラメータ受信部５００７は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を受信する。

三次元モデル処理部５００５は、前景分離部５００１で分離された前景画像と、伝送部６１２０を介して受信した他のカメラ１１２の前景画像を用いて、例えば、ステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。

＜フロントエンドサーバ２３０の説明＞
図４は、フロントエンドサーバ２３０の機能構成を説明するためのブロック図である。フロントエンドサーバ２３０は、制御部２１１０と、データ入力制御部２１２０と、データ同期部２１３０と、ＣＡＤデータ記憶部２１３５と、キャリブレーション部２１４０と、画像処理部２１５０とを含む。さらに、フロントエンドサーバ２３０は、三次元モデル結合部２１６０と、画像結合部２１７０と、撮影データファイル生成部２１８０と、非撮影データファイル生成部２１８５と、ＤＢアクセス制御部２１９０と、伝送領域記憶部２２００とを含む。

制御部２１１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作などの動作モードを切り替える。また、例えば、ネットワーク３１０ｂ（Ｅｔｈｅｒｎｅｔ（登録商標））を通じて制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、同じくネットワーク３１０ｂを通じて制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と撮影データファイル生成部２１８０に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、ＣＡＤ形式に限定されない。

データ入力制御部２１２０は、ネットワーク１８０ａ，１８０ｂ（Ｅｔｈｅｒｎｅｔ（登録商標））等の通信路とスイッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続されている。そして、データ入力制御部２１２０は、ネットワーク１８０ａ，１８０ｂ、スイッチングハブ１８０を通してカメラアダプタ１２０から前景画像、背景領域画像、被写体の三次元モデル、音声データ、及びカメラキャリブレーション撮影画像データを取得する。また、データ入力制御部２１２０は、取得した前景画像及び背景領域画像を、データ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。

データ同期部２１３０は、カメラアダプタ１２０から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景領域画像、音声データ及び三次元モデルデータがそろうまでバッファする。なお、前景画像、背景領域画像、音声データ及び三次元モデルデータをまとめて、以降では撮影データと称する。撮影データにはルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、データ同期部２１３０は、このメタ情報を元にデータの属性を確認する。これにより、データ同期部２１３０は、同一時刻のデータであることなどを判断してデータがそろったことを確認する。これは、ネットワークによって各カメラアダプタ１２０から転送されたデータについて、ネットワークパケットの受信順序は保証されず、ファイル生成に必要なデータがそろうまでバッファする必要があるためである。データがそろったら、データ同期部２１３０は、前景画像及び背景領域画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。

ＣＡＤデータ記憶部２１３５は、制御部２１１０から受け取ったスタジアム形状を示す三次元データを、ＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。

キャリブレーション部２１４０は、カメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを後述する非撮影データファイル生成部２１８５に送る。また同時に、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部２１６０にカメラパラメータ情報を提供する。

画像処理部２１５０は、前景画像や背景領域画像に対して、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合には現像処理、及びカメラのレンズ歪みの補正等の処理を行う。そして、画像処理を行った前景画像は、撮影データファイル生成部２１８０に、背景領域画像は画像結合部２１７０にそれぞれ送信する。

三次元モデル結合部２１６０は、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータをキャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、例えば、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部２１８０に送信される。

伝送領域記憶部２２００は、データベース２５０内の伝送領域情報記憶部４０２から伝送領域情報を読み出し、記憶しておく。

画像結合部２１７０は、画像処理部２１５０から背景領域画像を取得し、また、伝送領域記憶部２２００から関係する伝送領域情報を取得する。さらに、画像結合部２１７０は、ＣＡＤデータ記憶部２１３５から背景構造情報であるスタジアムの三次元形状データ（スタジアム形状データ）を取得し、取得したスタジアムの三次元形状データの座標に対する背景領域画像の位置を特定する。背景領域画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、伝送領域情報に基づいて、背景領域画像を結合して１つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。

撮影データファイル生成部２１８０は、データ同期部２１３０から音声データを、画像処理部２１５０から前景画像を、三次元モデル結合部２１６０から三次元モデルデータを、画像結合部２１７０から三次元形状に結合された背景画像を取得する。そして、取得したこれらのデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。ただし、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。また例えば、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて撮影データとして出力する。

非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。

ＤＢアクセス制御部２１９０は、ＩｎｆｉｎｉＢａｎｄなどにより高速な通信が可能となるようにデータベース２５０と接続される。そして、撮影データファイル生成部２１８０及び非撮影データファイル生成部２１８５から受信したファイルをデータベース２５０に対して送信する。本実施形態では、撮影データファイル生成部２１８０が時間情報に基づいて対応付けた撮影データは、フロントエンドサーバ２３０とネットワークを介して接続される記憶装置であるデータベース２５０へＤＢアクセス制御部２１９０を介して出力される。ただし、対応付けられた撮影データの出力先はこれに限らない。例えば、フロントエンドサーバ２３０は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ２３０とネットワークを介して接続され仮想視点画像を生成する画像生成装置であるバックエンドサーバ２７０に出力してもよい。また、データベース２５０とバックエンドサーバ２７０の両方に出力してもよい。

＜伝送領域算出部４０１の説明＞
図５は、伝送領域算出部４０１の機能構成を説明するためのブロック図である。伝送領域算出部４０１は、カメラ順設定部２４０１と、画角算出部２４０２と、背景範囲算出部２４０３と、伝送領域決定部２４０４と、伝送領域保持部２４０５とを含む。

カメラ順設定部２４０１は、カメラ配置記憶部４００から各カメラ１１２の配置情報を取得する。カメラ順設定部２４０１は、各カメラ１１２のカメラ配置情報からスイッチングハブ１８０に最も近いカメラを選択し、最初に背景領域画像を伝送するカメラとして設定する。そして、デイジーチェーン接続の順に、以下に説明するように、そのカメラの背景画像について伝送する伝送領域を決める。ただし、最初に背景領域画像を伝送するカメラの選択についてはこれに限定されず、スタジアムの正面スタンド中央に最も近いカメラを選択してもよく、一意に決定されていれば構わない。

画角算出部２４０２は、カメラ配置記憶部４００から各カメラ１１２のカメラ配置情報を取得し、伝送領域を決定するカメラの姿勢、焦点距離に基づいて画角を算出する。

背景範囲算出部２４０３は、算出された画角から、背景画像として撮影される範囲（以下、背景範囲と記載する。）を算出する。なお、背景範囲は、各カメラ１１２が撮影する撮影範囲と一致する。

伝送領域決定部２４０４は、後述する伝送領域保持部２４０５から、当該カメラより以前に伝送された伝送領域を読み出し、当該カメラの背景範囲との重なりを検出する。そして、背景範囲からその重なりを除いた部分を当該カメラの伝送領域として決定する。

伝送領域保持部２４０５は決定された伝送領域をカメラ１１２毎に保持しておく。また、伝送領域保持部２４０５は、決定された伝送領域を示す伝送領域情報を伝送領域情報記憶部４０２及びスイッチングハブ１８０を経由してカメラアダプタ１２０へ送る。

次に、図６から図１０を用いて、上記動作の手順を説明する。

図６は、決定の方法を記したフローチャートである。なお、以下で説明する処理は、特に明示が無い場合、コントローラ３００の制御により実現される。すなわち、コントローラ３００が画像処理システム１００内の他の装置（例えば、フロントエンドサーバ２３０やデータベース２５０等）を制御することにより、制御が実現される。

図７は、センサシステムの配置の一例を示す図であり、図８〜図１０は、図７のセンサシステムにおけるカメラの伝送領域決定の算出手順を示す図である。図７〜図１０では、競技場を囲むようにセンサシステム１０００−１〜１００２−６のカメラ１１２（以下、カメラ１０００−１〜１００２−６と記載する場合もある。）が配置されている。カメラ１０００−１から１０００−８は、注視点１０００について撮影している。同様に、カメラ１００１，１００２は、それぞれ注視点１００１，１００２について撮影している。また、それぞれのセンサシステムは、カスケード接続されているものとする。右回りに順に配置されるセンサシステム１０００−１，１００１−１，１００２−１，...，１００２−６は、例えば、図１のセンサシステム１１０ａ，１１０ｂ，１１０ｃ，...，１１０ｔに該当し、スイッチングハブ１８０に接続されている。なお、本実施形態では説明を簡易にするために、全てのカメラは同じ高さに設置されるものとし、そのレンズの焦点距離も同じに設定されているとする。

図６に戻って、ステップＳ６０１において、カメラ順設定部２４０１は、配置されたセンサシステムから、伝送領域を決定するカメラを選択する。例えば、図７のカメラ１０００−１が最初に選択される。また、伝送領域保持部２４０５が保持する伝送領域は、最初は空である。

ステップＳ６０２において、画角算出部２４０２は、カメラ１１２の焦点距離等から画角を算出する。例えば、焦点距離７０ｍｍであれば、画角は水平２９度、垂直は１９度３０分と決まる。

ステップＳ６０３において、背景範囲算出部２４０３は、カメラ１１２の位置、姿勢等と画角算出部２４０２が算出した画角から、カメラ１１２の背景範囲を算出する。図８において、カメラ１００１−１の背景範囲１０００−１ａが算出されている。

図６に戻って、ステップＳ６０４において、伝送領域決定部２４０４は、背景範囲１０００−１ａと、それ以前に伝送された伝送領域との重なりを検出する。図８において、カメラ１０００−１は、最初に伝送領域が決定されるカメラであり、伝送領域保持部２４０５の保持する伝送領域は、上述したように空であるので、背景範囲１０００−１ａとの重なりは検出されない。

図６に戻って、ステップＳ６０５において、伝送領域決定部２４０４は、背景範囲からステップＳ６０４で検出された重なりを除去して伝送領域を決定する。カメラ１０００−１については、上述のように重なりは検出されないので、その背景範囲１０００−１ａの全てが伝送領域として決定される。

ステップＳ６０６において、伝送領域保持部２４０５では、ステップＳ６０５で決定された伝送領域を保持する。

ステップＳ６０７において、カメラ順設定部２４０１は、全カメラの伝送領域を決定したかを判断する。全カメラの伝送領域が決定している場合（ステップＳ６０７において、ＹＥＳ）、本処理を終了する。そうでない場合（ステップＳ６０７において、ＮＯ）、ステップＳ６０１に戻り、伝送順に次のカメラの伝送領域の決定を行う。ここでは、カメラ１０００−１の右隣のカメラ１００１−１についての伝送領域を決定する。

ステップＳ６０１に戻り、カメラ順設定部２４０１は、カメラ１００１−１を選択する。ステップＳ６０２、ステップＳ６０３にて、当該カメラの背景範囲を算出する。図９にその様子を示す。カメラ１００１−１の撮影する背景範囲１００１−１ｒ（点線にて示す）が算出される。

ステップＳ６０４において、伝送領域決定部２４０４は、背景範囲１００１−１ｒと、それ以前に伝送された伝送領域との重なりを検出する。ここでは、伝送領域１０００−１ａとの重なりを検出する。図９において、領域１００１−１ｐがその重なりに該当する。

図６に戻って、ステップＳ６０５において、伝送領域決定部２４０４は、背景範囲からその重なりを除去して伝送領域を決定する。ここでは、背景範囲１００１−１ｒから領域１００１−１ｐが除去された領域１００１−１ａ及び領域１００１−１ｂが、カメラ１００１−１の伝送領域として決定される。

ステップＳ６０６において、伝送領域保持部２４０５は、新たに決定された伝送領域を保持する。すなわち、伝送領域保持部２４０５は、新たに決定された領域１００１−１ａ，１００１−１ｂ及び、すでに記憶していた領域１０００−１ａを保持する。

ステップＳ６０７において、カメラ順設定部２４０１は、全カメラの伝送領域を決定したかを判断する。全てを決定していない場合（ステップＳ６０７において、ＮＯ）、ステップＳ６０１からステップＳ６０６を繰り返す。この場合、次にカメラ１００２−１が選択される。図１０に、カメラ１００１−１からカメラ１００２−６まで処理を行った結果、伝送領域保持部２４０５が保持している伝送領域を示す。このように、各カメラの伝送される背景範囲が重ならないように伝送領域が決定される。そして、これらの伝送領域に従って背景領域画像が生成されるように、伝送領域算出部４０１は、スイッチングハブ１８０を介して各センサシステムのカメラアダプタ１２０に、伝送領域を示す伝送領域情報を通知する。

図１１は、背景画像を示す図である。図１１において、背景画像１１０５は、画像１１０１からなる背景領域画像と、画像１１０２及び１１０３からなる背景領域画像とを結合して構成される。画像１１０１からなる背景領域画像は、例えば、カメラ１１２ａの背景画像のうち、カメラ１１２ａについて決定された伝送領域に対応する画像である。また、画像１１０２及び１１０３からなる背景領域画像は、例えば、カメラ１１２ｂの背景画像のうち、カメラ１１２ｂについて決定された伝送領域に対応する画像である。

各カメラには、伝送領域算出部４０１から、伝送領域情報が入力される。伝送領域情報は、例えば、伝送領域の数とそれぞれの伝送領域の形状、位置である。伝送領域の形状は、その外接矩形を設定し、その大きさとの内側を１、外側を０とする２値画像とすることで実現される。伝送領域の位置は、当該外接矩形の左上の座標として表すことも可能である。なお、伝送領域情報はこれに限定されず、輪郭をチェイン符号化等で表現することも可能である。このような伝送領域情報に基づいて、背景領域画像は生成される。

＜ハードウェア構成＞
続いて、本実施形態を構成する各装置のハードウェア構成について説明する。

図１２は、カメラアダプタ１２０のハードウェア構成を示すブロック図である。

カメラアダプタ１２０は、ＣＰＵ１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３と、補助記憶装置１２０４と、表示部１２０５と、操作部１２０６と、通信部１２０７と、バス１２０８とを含む。

ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。

表示部１２０５は、例えば、液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１２０６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、カメラ１１２やフロントエンドサーバ２３０などの外部の装置と通信を行う。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。

なお、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図１２のハードウェア構成となりうる。また、上述した各装置の機能は、ＣＰＵなどを用いてソフトウェア処理によって実現してもよい。

以上において説明した構成及び動作（画像伝送）により、注視点に関連して、複数のカメラから画像を伝送する際に、背景範囲の重なりを除去し、伝送する画像の情報量を抑えることで、安価なネットワークで高精細な画像の伝送が可能になる。

なお、上述の実施形態では、伝送領域情報記憶部４０２をデータベース２５０の内部に設置して説明したが、これに限定されない。例えば、独立した記憶部であっても構わないし、制御ステーション３１０や伝送領域算出部４０１の内部にあってももちろん構わない。

また、上述の実施形態は、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであっても良い。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。

＜実施の形態２＞
以下に、実施の形態２として、実施の形態１とは異なる伝送領域の決定処理について説明する。ここでは、撮影対象である競技場（スタジアム）の三次元形状データ（スタジアム形状データ）を用いて、伝送領域を決定する。

図１３は、実施の形態２に係る伝送領域算出部１４０１の機能ブロック図である。同図において、図５と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。伝送領域算出部１４０１は、画角算出部２４０２と、背景範囲算出部１２４０３と、伝送領域決定部２４０４と、伝送領域保持部２４０５と、スタジアム形状データ部２４１０とを含む。

スタジアム形状データ部２４１０は、制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、格納する。背景範囲算出部１２４０３は、画角算出部２４０２で算出された画角と、スタジアム形状データ部２４１０からのスタジアム形状データから、背景画像として撮影される背景範囲を算出する。

図１４は、競技場の構造を模式的に表した図である。グラウンド３０００と観客席３００２の間に壁３００１が存在する。このため、カメラから取得する背景範囲は台形ではなく、観客席の角度などによって形状が変化する。

図１５は、背景画像を示す図である。図１５において、背景画像１５００は、画像１５０１からなる背景領域画像と、画像１５０２及び１５０３からなる背景領域画像とから構成される。壁３００１と観客席３００２とは、その傾きがグラウンド３０００と異なるため、画像１５０２は、図１１の画像１１０２と比較すると、形状が変化している。

図１６は、背景範囲を示す図である。スタジアム形状データを考慮しない場合、背景範囲は、点線で囲まれた領域７００２であるが、これを考慮することによって、その背景範囲は領域７００１となる。

このように、スタジアム形状データを考慮しないで伝送領域を算出する場合は、領域７００１と領域７００２の差をカバーするために、２重に伝送される部分が生じる。しかしながら、スタジアム形状を考慮することで、当該部分の重複を防ぐことができる。

以上において説明した構成及び動作により、背景画像の伝送時に注視点に関連して、競技場（スタジアム）の三次元形状データを用いることで、より正確な伝送領域の決定ができ、さらに伝送時のデータ量を減らすことが可能になる。

＜実施の形態３＞
図１７は、実施の形態３に係る画像処理システム１００の構成図である。同図において、図１と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。実施の形態３に係る伝送領域算出部２４０１は、制御ステーション３１０と信号線３１０ｅを介して接続され、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける点が、実施の形態１と異なる。

図１８は、伝送領域算出部２４０１の機能ブロック図である。図１８において、図５と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。

カメラ順設定部１２４０１、仮想カメラ撮影範囲算出部１２４１０、および伝送領域決定部１２４０４は、制御ステーション３１０からカメラの数（Ｎ：自然数）を取得する。伝送領域決定部１２４０４は、後述する仮想カメラ撮影範囲算出部１２４１０により算出された仮想カメラの撮影範囲（以下、仮想撮影範囲と記載する場合がある。）に基づいて、各カメラの伝送領域を決定する。

仮想カメラ撮影範囲算出部１２４１０は、制御ステーション３１０から、仮想カメラの位置、方向、画角を取得する。そして、仮想カメラの撮影範囲を算出する。

図１９から図２４を用いて、伝送領域算出部２４０１の動作を説明する。

図１９は、伝送領域算出部２４０１の決定の方法を記したフローチャートである。なお、以下で説明する処理は、特に明示が無い場合、コントローラ３００の制御により実現される。すなわち、コントローラ３００が画像処理システム１００内の他の装置（例えば、フロントエンドサーバ２３０やデータベース２５０等）を制御することにより、制御が実現される。

図２０は、仮想カメラの撮影範囲を示す図であり、図２１から図２４は、図２０のセンサシステムにおける仮想カメラ１１００の仮想視点画像生成のための伝送領域決定の算出手順を示す図である。なお、図２０におけるセンサシステムは、図７において説明したセンサシステムと同様のものである。

図１９に戻って、ステップＳ１９０１において、カメラ順設定部１２４０１、仮想カメラ撮影範囲算出部１２４１０、および伝送領域決定部１２４０４は、制御ステーション３１０から、配置されているカメラの数（Ｎ）を取得する。

ステップＳ１９０２において、仮想カメラ撮影範囲算出部１２４１０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付ける。受け付けられた視点に基づいて、仮想カメラの位置、方向、画角を設定し、仮想撮影範囲を決定する。図２０を参照すると、仮想カメラ撮影範囲算出部１２４１０は、仮想カメラ１１００の位置、方向、画角から、仮想撮影範囲１１０１を算出する。なお、仮想撮影範囲１１０１の算出にあたっては、実施の形態２に記載したように、三次元形状データを用いて撮影範囲を算出しても構わない。

図１９に戻って、ステップＳ１９０３において、カメラ順設定部１２４０１は、仮想撮影範囲をカバーする（背景範囲が重なる）カメラのうち、仮想カメラに最も近いカメラを選択する。図２１を参照すると、カメラ順設定部１２４０１は、仮想カメラ１１００の位置とカメラ配置記憶部４００から入力された各カメラの配置情報に基づいて、伝送領域を決定するカメラを選択する。すなわち、仮想撮影範囲１１０１をカバーするカメラのうち、仮想カメラ１１００に最も近い位置にあるカメラ１００１−５を選択する。

図１９に戻って、ステップＳ１９０４において、画角算出部２４０２は、カメラの画角を算出する。次いで、ステップＳ１９０５において、背景範囲算出部２４０３は、背景範囲を算出する。

ステップＳ１９０６において、伝送領域決定部１２４０４は、カメラの数Ｎと閾値Ｔｈを比較する。カメラの数Ｎが閾値Ｔｈよりも大きい場合（ステップＳ１９０６において、Ｙｅｓ）、処理はステップＳ１９０７に進む。そうでない場合（ステップＳ１９０６において、Ｎｏ）、処理はステップＳ１９０８に進む。なお、閾値Ｔｈは、各カメラの背景範囲が重ならないよう配置されている場合の最大カメラ数を表す。カメラ数が閾値Ｔｈ以下のときは、各カメラの背景範囲は重ならない。また、各カメラの背景範囲が重なるように配置されている場合であっても、重なった背景範囲の伝送量がシステムにおいて許容できるデータ量であるときのカメラの台数を閾値Ｔｈとしてもよい。

ステップＳ１９０７において、伝送領域決定部１２４０４は、算出された背景範囲と、それ以前に伝送された伝送領域との重なりを検出する。図２１の場合、センサシステム１００１−５のカメラは、最初に伝送領域が決定されるカメラであり、その背景範囲１０００−５１ａでは重なりは検出されない。

図１９に戻って、ステップＳ１９０８において、伝送領域決定部１２４０４は背景範囲から、ステップＳ１９０７で検出された重なりを除去して伝送領域を決定する。ステップＳ１９０６からステップＳ１９０８に進んだ場合は、背景範囲の全てが伝送領域となる。図２１において、最初に選択されたカメラ１００１−５は、以前に伝送された伝送領域と重なりが検出されないので、その背景範囲１０００−５１ａの全てが伝送領域として決定される。

図１９に戻って、ステップＳ１９０９において、伝送領域保持部２４０５では、ステップＳ１９０８で決定された伝送領域を保持する。

ステップＳ１９１０において、カメラ順設定部１２４０１は、全カメラの伝送領域を決定したかを判断する。全カメラの伝送領域が決定している場合（ステップＳ１９１０において、ＹＥＳ）、本処理を終了する。そうでない場合（ステップＳ１９１０において、ＮＯ）、ステップＳ１９０３に戻り、次のカメラを選択する。図２２を参照すると、カメラ１００１−５の次に仮想カメラ１１００に近いカメラは、カメラ１０００−８である。当該カメラの背景範囲１０００−８１ａで仮想撮影範囲１１０１にかかる部分は、既に伝送領域１００１−５１ａに含まれているため、カメラ１０００−８はこの時点では選択されない。その次に仮想カメラ１１００に近いカメラ１０００−７の背景範囲は、仮想撮影範囲１１０１に新たに重なるため、カメラ１０００−７が選択される。

図１９に戻って、ステップＳ１９０４、およびＳ１９０５において、カメラ１０００−７の画角、背景範囲が算出される。

ステップＳ１９０６において、カメラの数Ｎと閾値Ｔｈを比較し、カメラ数Ｎが閾値Ｔｈよりも大きければ、処理はステップＳ１９０７に進み、そうでなければ、処理はステップＳ１９０８に進む。

ステップＳ１９０７において、伝送領域決定部１２４０４は点線で表される背景範囲１０００−７１ｒと、それ以前に伝送される伝送領域との重なりを検出する。

ステップＳ１９０８において、伝送領域決定部１２４０４は背景範囲からその重なりを除去して伝送領域を決定する。ここでは、領域１０００−７１ａ、および領域１０００−７１ｂが伝送領域として決定される。

なお、ステップＳ１９０６からステップＳ１９０８に進んだ場合は、背景範囲１０００−７１ｒの全てがとなる。

ステップＳ１９０９、Ｓ１９１０が処理され、カメラ順設定部１２４０１は、次のカメラを選択し、同様の処理を続ける。図２３を参照すると、仮想撮影範囲１１０１を全てカバーした時点の様子が示されている。仮想撮影範囲１１０１を全てカバーするまでに、伝送領域決定部１２４０４は、カメラ１００１−５，１０００−７，１００１−６，１００１−４，１００１−３の伝送領域を決定している。続いて、伝送領域が決定されていないカメラ（仮想撮影範囲をカバーしていないカメラ）について、実施の形態１と同様の処理を行う。すなわち、カメラ１０００−８が選択され、その後、カメラ１００２−６等と続いて処理がされる。以下、全てのカメラについて決定が行われ、その伝送領域情報が各カメラに通知される。

以上において説明した構成及び動作により、仮想視点画像生成に必要な画像から送ることで、バックエンドサーバは必要な画像が揃った時点で画像の生成が可能になり、全ての画像の到達を待たずに処理を開始することができるようになる。このため、仮想視点の移動に対して、レスポンスを向上させることができ、仮想カメラ操作ＵＩ３３０のユーザが違和感なく仮想視点合成を行うことが可能になる。

なお、ステップＳ１９０３において、カメラ順設定部１２４０１での仮想カメラ１１００の撮影範囲１１０１に基づくカメラの選択方法はこれに限定されない。図２４は、カメラの選択方法を説明するための図である。例えば、図２４に示すように、仮想撮影範囲１１０１をカバーするのに必要なカメラが最小になるようにカメラを選択することも可能である。これらは、仮想カメラの撮影範囲の位置、形状、及び各カメラの背景範囲から容易に求めることができる。例えば、カメラ１台での背景範囲を算出する。あるカメラ１台の背景範囲で仮想カメラの撮影範囲がカバーできればそのカメラを選択する。１台でカバーできなければ２台の組合せ、さらに３台の組合せと増やした場合の仮想撮影範囲１１０１のカバー状況を算出する。このように組み合わせを増やしていく過程で、最初に全てをカバーした組合せに基づいて、カメラの選択を行えばよい。

また、制御ステーション３１０からセンサシステムの故障、ネットワークの切断や故障など、任意のセンサシステムから背景領域画像が送付されないことが通知された場合、伝送領域算出部２４０１は、伝送領域の算出を行う。伝送領域算出部２４０１は、制御ステーション３１０から背景領域画像が送付されないセンサシステム（カメラ）を特定する。ここでは、カメラ１１０Ｘが特定されたとする。カメラ１１０Ｘの伝送領域については、その伝送領域と重なる伝送領域を持つカメラでカバーするように当該カメラの伝送領域を算出し直す。

図２５は、新たに伝送領域を算出し直す場合を説明するための図である。図２５において、上述のカメラ１１０Ｘを、カメラ１０００−１とする。カメラ１０００−１のである点線で示された１０００−１ａは、１００１−１ａ，１０００−２ａ，１００２−１ａ，１００２−２ａ，１００１−６ａでカバーすることができる。このように伝送領域の算出を行い、それぞれの伝送領域情報は、センサシステム１０００−１を除くセンサシステムに伝送される。また、伝送領域情報記憶部４０２に格納する。

以上の動作によって、センサシステムに故障等が生じても当該センサシステムの背景領域画像にあたる画像が伝送されることにより、後段での仮想視点画像の合成に影響を与えないようにすることができる。

＜実施の形態４＞
以下に、実施の形態４として、実施の形態１〜３とは異なる伝送領域の決定方法について説明する。すなわち、実施の形態１〜３では、カメラの撮影範囲に注目して伝送領域を決定した。実施の形態４では、スタジアムの三次元形状データ（スタジアム形状データ）を用い、撮影される領域の各地点からカメラまでの距離に注目して伝送領域を決定する。

図２６は、実施の形態４に係る伝送領域算出部３４０１の機能ブロック図である。同図において、図５と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。

伝送領域算出部３４０１は、画角算出部２４０２と、背景分布算出部２４２０と、伝送領域決定部２４３０と、伝送領域保持部２４０５とを含む。

背景分布算出部２４２０は、各センサシステムのカメラによって撮影される全領域を複数の小領域に分割し、その小領域がいずれのカメラに最も近いかを算出する。そして、小領域ごとに、算出した最も近いカメラを記録する。なお、小領域は空間を構成する点群の最小単位からそれらを複数集めた点群単位でも構わない。

伝送領域決定部２４３０は、背景分布算出部２４２０によって記録された、小領域についての最も近いカメラの情報をもとに、各カメラについて領域をグルーピングする。そして、グルーピングされた領域を、各カメラの伝送領域とする。

図２７は、小領域からのカメラの距離計算を表す図である。背景分布算出部２４２０は、距離を計算する小領域２５００を視野に収めるカメラを全カメラの画角から選択する。図２７では、カメラ１００１−１，１０００−３，１０００−４，１００１−２，１００１−３，１００１−４，１０００−７，１００１−５，１００１−６である。小領域２５００とこれらのカメラとの距離は、それぞれ距離１００１−１ｄ，１０００−３ｄ，１０００−４ｄ，１００１−２ｄ，１００１−３ｄ，１００１−４ｄ，１０００−７ｄ，１００１−５ｄ，１００１−６ｄである。

背景分布算出部２４２０は、これらの距離で最も短距離であるものを選択する。ここでは、距離１００１−６ｄが最小である。背景分布算出部２４２０は、小領域２５００の最短距離のカメラはカメラ１００１−６であると記録する。このようにして、背景分布算出部２４２０は、小領域２５００以外についての小領域（不図示）についても最短距離のカメラを算出し、記録する。

そして、伝送領域決定部２４３０は、背景分布算出部２４２０が小領域単位で記録した最短距離のカメラの情報からこれらをグルーピングし、各カメラの伝送領域を決定する。

以上において説明した構成及び動作により、各地点で最も近いカメラからの画像を使用することで、高解像度で正確な画像データを取得することができる。これにより、より高画質化を図ることが可能になる。

上述した実施の形態によれば、カメラ１１２の台数などのシステムを構成する装置の規模、及び撮影画像の出力解像度や出力フレームレートなどに依らず、撮影画像を効率よく伝送することができる。以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ センサシステム、１１１ マイク、１１２ カメラ、１１３ 雲台、１２０ カメラアダプタ、１８０ スイッチングハブ、１９０ ユーザ端末、２３０ フロントエンドサーバ、２５０ データベース、２７０ バックエンドサーバ、２９０ タイムサーバ、３１０ 制御ステーション、３３０ 仮想カメラ操作ＵＩ、４００ カメラ配置記憶部、４０１ 伝送領域算出部、４０２ 伝送領域情報記憶部、２４０１ カメラ順設定部、２４０２ 画角算出部、２４０３ 背景範囲算出部、２４０４ 伝送領域決定部、２４０５ 伝送領域保持部。

Claims (17)

1. 異なる位置に配置された複数の撮影装置が撮影した複数の撮影画像を伝送する画像処理システムであって、
   複数の前記撮影装置のそれぞれの背景範囲について、他の撮影装置が伝送する背景範囲と重複しない領域を伝送領域として決定する決定手段と、
   前記決定手段により決定された前記伝送領域が伝送されるよう制御する制御手段と、
   を備えることを特徴とする画像処理システム。
2. 前記制御手段は、複数の前記撮影装置のそれぞれに対して、前記伝送領域を通知することを特徴とする請求項１に記載の画像処理システム。
3. 複数の前記撮影装置のそれぞれの背景範囲を算出する算出手段をさらに有することを特徴とする請求項１または請求項２に記載の画像処理システム。
4. 前記算出手段は、複数の前記撮影装置の配置情報に基づいて前記背景範囲を算出することを特徴とする請求項３に記載の画像処理システム。
5. 前記配置情報は、カメラの位置、姿勢、方向、レンズ焦点距離の少なくとも１つを含むことを特徴とする請求項４に記載の画像処理システム。
6. 前記算出手段は、撮影対象の三次元形状データに基づいて前記背景範囲を算出することを特徴とする請求項３から請求項５のいずれか一項に記載の画像処理システム。
7. 仮想視点の指定を受け付ける受け付け手段をさらに備え、
   前記決定手段は、複数の前記撮影装置のうち、前記仮想視点の仮想撮影範囲の少なくとも一部をカバーする前記背景範囲を有する撮影装置を選択して、前記選択されなかった撮影装置より先に前記伝送領域を決定することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。
8. 前記決定手段は、複数の前記撮影装置のうち、前記仮想視点に近い順に、前記伝送領域を決定することを特徴とする請求項７に記載の画像処理システム。
9. 前記決定手段は、所定の領域と複数の前記撮影装置のそれぞれとの距離に基づいて前記伝送領域を決定することを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理システム。
10. 異なる位置に配置された複数の撮影装置と、
    複数の前記撮影装置が撮影した撮影画像に基づいて仮想視点画像を生成する画像処理装置と、を備える画像処理システムであって、
    前記画像処理装置は、
    複数の撮影装置のそれぞれの背景範囲を算出する算出手段と、
    複数の前記撮影装置のそれぞれの前記背景範囲について、他の撮影装置が伝送する背景範囲と重複しない領域を伝送領域として決定する決定手段と、
    複数の前記撮影装置のそれぞれに対して、前記伝送領域を通知する通知手段と、を含むことを特徴とする画像処理システム。
11. 前記撮影装置は、前記撮影画像から背景画像を分離する分離手段と、
    前記背景画像から、通知された前記伝送領域に対応させた背景領域画像を生成する生成手段をさらに含む、ことを特徴とする請求項１０に記載の画像処理システム。
12. 前記撮影装置は、前記背景領域画像を前記画像処理装置に伝送する伝送手段をさらに含み、
    前記画像処理装置は、複数の前記撮影装置の前記伝送手段を介して取得した複数の前記背景領域画像を結合して前記仮想視点画像のための背景画像を生成する画像結合手段をさらに含む、ことを特徴とする請求項１１に記載の画像処理システム。
13. 前記決定手段は、複数の前記撮影装置について、前記伝送手段が前記背景領域画像を前記画像処理装置に伝送する順に、前記伝送領域を決定することを特徴とする請求項１２に記載の画像処理システム。
14. 前記決定手段は、複数の前記撮影装置について、予め決められた順に、前記伝送領域を決定することを特徴とする請求項１２に記載の画像処理システム。
15. 異なる位置に配置された複数の撮影装置が撮影した複数の撮影画像を伝送する画像伝送方法であって、
    複数の前記撮影装置のそれぞれの背景範囲について、他の撮影装置が伝送する背景範囲と重複しない領域を伝送領域として決定する決定工程と、
    前記決定工程により決定された前記伝送領域が伝送されるよう制御する制御工程と、
    を有することを特徴とする画像伝送方法。
16. コンピュータを、請求項１５に記載の画像伝送方法を実現させるためのプログラム。
17. 異なる位置に配置された複数の撮影装置のそれぞれの背景範囲について、他の撮影装置が伝送する背景範囲と重複しない領域を伝送領域として決定する決定手段と、
    前記決定手段により決定された前記伝送領域が伝送されるよう制御する制御手段と、
    を備えることを特徴とする画像処理装置。