JP5468933B2 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。

一対のステレオ画像を一緒に見ることによって３次元画像に見える画像を提供する立体画像技術は、１世紀以上も前からよく知られている。３次元（３Ｄ）に見える画像を作成するためには、２つのわずかに異なる画像を、一方の画像がユーザの左眼に映り、他方の画像がユーザの右眼に映るようにしてそれらが一緒に見られるようにする。２つの画像が、同じシーンをわずかに異なる視点から見た画像である場合（例えば、その対の各画像が、一方は左眼から見たシーンであり、他方は右眼から見たシーンであるような場合）、ユーザが適切な見方でその画像を見ると、ユーザの脳が錯覚を起こし、その一対の画像が１つの３次元画像のように見える。その画像内のオブジェクトは、ディスプレイの奥にあるように見える。この奥行きは、そのオブジェクトに対応する左側の画像と、そのオブジェクトに対応する右側の画像との間のオフセット量に応じて決まる。

左眼で見ることを意図された画像が確実に左眼に映り、右眼で見ることを意図された画像が確実に右眼に映るようにするための多くの技術が知られている。いくつかの技術では、一対のステレオ画像の一方の画像を、他方の画像から分離可能に再生することができる。例えば、左側の画像が右側の画像の隣に表示され、それらの画像を見るために、立体鏡等の適当なビューアが用いられる。この画像表示方法は、最も初期の３Ｄ画像の形式において用いられた。

或いは、左眼で見ることを意図された左側の画像を垂直方向に偏光させ、右眼で見ることを意図された右側の画像を水平方向に偏光させることもできる。これらの左側画像及び右側画像は互いに重ねられる。各レンズの偏光が左右の眼に映るべき画像の偏光に対応した、適当な眼鏡を装着することにより、ユーザの左右の眼に適正な画像が映る。円偏光、カラーフィルタ（例えば、赤／シアンのアナグリフ）、クロマデプス、アナクロム等、多くの他の画像表示及び画像閲覧方法が知られている。これらのシステムでは、ユーザが適当な眼鏡を装着する必要がある。レンズ状のディスプレイシステムを用いたディスプレイ等の他のシステムでは、３次元画像を見るためにユーザが眼鏡を装着する必要はない。

ステレオ画像の対を生成するためのいくつかの技術が知られている。ステレオ画像の対として見るための一対の画像を生成する一般的な方法として、２台のカメラを、１つのシーンの２つの異なる画像を取得するように、互いにずらして配置する方法がある。一方のカメラを用いて左側画像が取得され、他方のカメラを用いて右側画像が取得される。そして、上記の技術のうちの１つを用いて、この２つの取得画像を１つの３Ｄ画像として見ることができる。

国際公開ＷＯ２００７／０９６８１６号パンフレット 国際公開ＷＯ９８／４３４４２号パンフレット 国際公開ＷＯ２００６／１１１８９３号パンフレット 国際公開ＷＯ２００６／０９７６８０号パンフレット 米国特許公開第２００７／００９２１１０号明細書 米国特許公開第２００３／０１７９２９４号明細書

Fehn C., ""Depth-image-based-rendering (DIBR), compression, and transmission for a new approach on 3D-TV"; PROCEEDINGS OF THE SPIE; 20040531; SPIE, BELLINGHAM, VA, US; ISSN 0277-786X; VOL-5291; PG-93-104
http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf

近年、高精細ビデオカメラ及び高精細テレビジョン放送の出現に伴い、いくつかの放送業者は、３次元画像の再生のために、一対の高精細ビデオカメラを用いて、サッカーの試合又はボクシングの試合等のスポーツイベントの高精細画像を取得している。しかしながら、３次元画像取得用の現行の高精細ビデオカメラアレイは非常に高価である。さらに、ユーザの脳は、２つの画像を同じ１つの画像として知覚しようとするため、２台のカメラ間での画像の輝度及びクロミナンスにおけるミスマッチにより、ユーザは、眼の不快感及び頭痛を感じることがある。

２次元（２Ｄ）画像から３Ｄ画像を生成する方法も知られている。例えば、１つの２Ｄ画像を左眼で見るための左側画像だと考える。右側画像を生成するために、作業者は、シーン内のオブジェクトを選択し、そのオブジェクトがそのシーンにおいてどの程度奥にあるように見えるべきかを決定し、そのオブジェクトについての画像オフセット量を適用する。このような処理の一例は、インスリー社（In-Three. Inc）によって実現されたDimensionalization（商標）と呼ばれる処理である。しかし、現実に２Ｄ画像から３Ｄ画像を再構成するためには、作業者は、シーン内でのオブジェクトの奥行き位置に関して、自身で芸術的な判断を下す必要がある。さらに、画像内でのオブジェクト及びそのオブジェクトの奥行き位置を定義するために、ビデオ映像又は動画の各フレームも、作業者によって個別にマークアップされる必要がある。この処理はコストがかかるだけでなく、非常に時間と労力がかかる。これは、１台のカメラによって取得されたビデオ画像からリアルタイムで３Ｄビデオを作製することはほぼ不可能であることを意味する。

本発明は、上記の問題を緩和又は軽減しようとするものである。

本発明の第１の態様では、カメラから、当該カメラにより撮影された、少なくとも１つのオブジェクトを含むシーンの画像に対応する撮影画像を受信するように動作可能な受信手段と、前記シーンにおける前記オブジェクトと、前記カメラを基準として規定された基準位置との間の距離を判断するように動作可能な判断手段と、前記撮影画像における前記オブジェクトの位置を検出し、前記シーンにおける前記オブジェクトに対応する、前記撮影画像における画像特徴に基づいて、前記撮影画像から変更画像を生成するように動作可能な生成手段とを具備する画像処理装置が提供される。前記生成手段は、前記変更画像において、前記オブジェクトの位置を、前記撮影画像において判断された前記オブジェクトの位置から、前記シーンにおける前記オブジェクトと、前記基準位置との間の前記判断された距離に基づくオブジェクトオフセット量だけ変位させることにより、前記変更画像を生成するように動作可能であり、当該変更画像と前記撮影画像とがディスプレイ上で一対の画像として一緒に見られた場合、前記オブジェクトが、前記ディスプレイから所定の距離だけ離れた位置にあるように知覚されるようにする。

本発明の第２の態様では、画像処理方法が提供される。当該画像処理方法は、カメラから、当該カメラにより撮影された、少なくとも１つのオブジェクトを含むシーンの画像に対応する撮影画像を受信し、前記シーンにおける前記オブジェクトと、前記カメラを基準として規定された基準位置との間の距離を判断し、前記撮影画像における前記オブジェクトの位置を検出し、前記シーンにおける前記オブジェクトに対応する、前記撮影画像における画像特徴に基づいて、前記変更画像における前記オブジェクトの位置を、前記撮影画像において判断された前記オブジェクトの位置から、前記シーンにおける前記オブジェクトと、前記基準位置との間の前記判断された距離に基づくオブジェクトオフセット量だけ変位させることにより、前記撮影画像から変更画像を生成し、当該変更画像と前記撮影画像とがディスプレイ上で一対の画像として一緒に見られた場合、前記オブジェクトが、前記ディスプレイから所定の距離だけ離れた位置にあるように知覚されるようにする。

本発明の実施形態により、スポーツイベント等のビデオ映像を、高精細カメラにより効率的に撮影し、処理して、３Ｄ画像を形成することができる。したがって、本発明の実施形態は、オブジェクトと基準位置（カメラの位置等）との間の検出された距離に基づいて、シーンにおける各検出されたオブジェクトについて、オフセット量を導出することができる。撮影画像（例えば、左側画像）と変更画像（例えば、右側画像）とが、ディスプレイ上で一対の画像として一緒に見られた場合、オブジェクトは、前記ディスプレイから一定の距離だけ離れて位置するように見える。これにより、高価なステレオカメラの対や、時間のかかる後処理作業を必要とすることなく、効率的に３Ｄ画像を生成することができる。

さらに、変更画像におけるオブジェクトの位置を、撮影画像における当該オブジェクトの検出された位置を基準として、コンテンツ処理ワークステーションにより画像データ又は距離データから判断された距離に基づくオフセット量だけ変位させることにより、２Ｄ映像から、３Ｄ映像を実質的にリアルタイムで生成することができる。「実質的に」という用語は、リアルタイムの撮影及びほぼリアルタイムの撮影だけではなく、所定時間以内の撮影を含むように意図されている。本発明の実施形態では、所定時間とは、例えば、スポーツイベントが行われている時間内、又はそのスポーツイベントにおける任意の時間、例えばサッカーの試合の前半／後半、若しくはアメリカンフットボールのクォーター等である。

本発明のさらなる態様及び特徴は、添付の特許請求の範囲において規定される。

本発明の一実施形態におけるオブジェクト追跡システムの概略図である。 本発明の一実施形態におけるオブジェクト追跡方法のフロー図である。 本発明の一実施形態におけるオブジェクト追跡の概略図である。 本発明の一実施形態における遮蔽検出の概略図である。 本発明の一実施形態におけるオブジェクト追跡及び遮蔽検出方法のフロー図である。 本発明の一実施形態におけるオブジェクト追跡及び遮蔽検出の概略図である。 オブジェクトがディスプレイから離れて位置するように見えるように、３Ｄ画像をユーザに対して表示するためのディスプレイ構成例の概略図である。 本発明の一実施形態に係る、カメラと、カメラの視野内のオブジェクトとの距離を判断するシステムの概略図である。 本発明の一実施形態に係る、カメラと、カメラの視野内のオブジェクトとの距離を判断するシステムの概略図である。 本発明の一実施形態に係る、画像が３次元画像としてユーザに知覚されるように画像を表示するシステムの概略図である。 グラウンド上の選手のグループの概略図である。 本発明の一実施形態に係る画像処理方法のフローチャートである。

本発明の、上記の及びその他の目的、特徴及び利点は、以下の例示的な実施形態の詳細な説明及びそれに関連する添付の図面により明らかになる。

画像処理装置及び画像処理方法が開示される。以下の説明では、本発明の実施形態が完全に理解されるように、複数の詳細な説明が提示される。しかしながら、本発明の実施形態を実施するためにこれらの詳細な説明を採用しなければならない訳ではないことを、当業者は理解するであろう。逆に、当業者にとって既知の詳細な説明は、実施形態の説明を簡潔にするために省略される。

図１は、本発明の実施形態におけるオブジェクト追跡システムの概略図である。図１に示す実施形態では、追跡対象のオブジェクトは、サッカーグラウンド３０上のサッカー選手（図示せず）である。グラウンド３０の高精細（High Definition：ＨＤ）ビデオ画像（１９２０×１０８０画素）が、１つ又は複数の高精細カメラによって取得される。本発明の実施形態は、２台以上のカメラから取得されたビデオ画像においてオブジェクトを追跡するために用いることができるが、いくつかの例では、１台だけのカメラが用いられる。周知の通り、ＨＤカメラは高価であるため、１台だけのカメラを用いることにより、本発明の実施形態の技術を利用するシステムの実施に必要な費用を低減することができる。しかしながら、１台だけのカメラを用いる場合、オブジェクトが位置するシーンの１つの２次元ビューしか提供することができない。結果として、１つのオブジェクトが別のオブジェクトを隠してしまう遮蔽イベントが生じる可能性が高くなるため、ビデオ画像によって表されるシーン内のオブジェクトの追跡がより困難になる。このような単一のカメラ２０の例が図１に示されるが、カメラ２２．１、２２．２によって示されるように、任意選択で、サッカーグラウンド３０の各半分にそれぞれ向けられた２台のカメラを用いてもよい。

図１では、ビデオカメラ２０が、サッカースタジアム内の固定位置に設置され、カメラ２０が取得したビデオ画像を表す信号をコンテンツ処理ワークステーション１０に通信するように構成される。コンテンツ処理ワークステーション１０は、グラウンド上の選手の位置を経時的に追跡するために、画像処理及び他の動作を実行する。次に、特定の選手がグラウンドの特定の部分において費やした時間の長さ、各選手が走った距離等のメタデータ及び試合統計データを生成することができるように、選手の位置を経時的に表すデータがロギングされる。選手の位置を経時的に表すデータにより、各選手毎に経路データが形成される。この経路データは、各選手がビデオ画像内でとった経路に関連する。この経路データは、（２次元の）ビデオ画像からは収集できない、グラウンド上での選手の位置に関連した選手の動きに関する情報を提供するために、サッカーグラウンド（オブジェクト平面）の３次元モデルに対して生成される。その後、サッカーの試合の映像が適切な媒体を介して視聴者に送信される場合に、ユーザの視聴経験をより良いものとするために、又はサッカーチームを指導するコーチを支援するために、この生成された経路データを用いることができる。グラウンド３０上の選手等のオブジェクトの追跡については、以下でより詳細に説明する。

本発明の実施形態では、コンテンツ処理ワークステーション１０として、SONY（登録商標）、Toshiba（登録商標）、及びIBM（登録商標）が共同開発したＣｅｌｌプロセッサを用いる。Ｃｅｌｌプロセッサは、その並列性により、画像処理、画像認識及びオブジェクト追跡等の計算量の多い処理タスクの実行に特に適している。しかしながら、本発明の実施形態を実施するために、任意の適切なワークステーション及び処理ユニットを用いてもよいことを当業者は理解するであろう。

本発明の実施形態におけるオブジェクト追跡システム及び方法は、サッカーグラウンド上のサッカー選手のみに限定される必要はないことが理解される。例えば、ラグビー、クリケット、アメリカンフットボール、アイスホッケー、バスケットボール等、他のチームスポーツの選手を追跡してもよい。さらに、本発明の実施形態により、ボール、アイスホッケーのパック、又はレーシングカー等の乗り物等のオブジェクトを追跡してもよい。

本発明の実施形態の技術によれば、ＨＤビデオカメラ２０を用いて生成されたビデオ画像は、グラウンド３０上の選手を追跡できるように、グラウンド全体のビューを取得するように構成される。したがって、固定位置のカメラ２０から、グラウンド全体が撮影されるが、上述のように、グラウンド全体を撮影するために、２台以上のカメラを用いてもよい。一例では、上述のように、それぞれがグラウンドの各半分に向けられた２台のカメラ２２．１及び２２．２が用いられてもよい。この例では、各カメラによって生成されたビデオ画像は、英国特許出願第０６２４４１０．７号（英国特許出願公開第ＧＢ２４４４５６６号）に記載されるように、超高解像度のビデオ画像を形成するために、コンテンツ処理ワークステーション１０によってまとめられる。本実施形態では、カメラ群からの出力は、このまとめ処理を受けた後、１つの超高解像度画像として見なすことができる。

光学的にズームする必要なく、したがってスタジアムの全体画像に影響を与えずに選手の特定の特徴をハイライトする能力等、この超高精細構成の利点は非常に多い。さらに、イベントの背景は静的であり、追跡対象のオブジェクトのほうが高い画面解像度を有するため、オブジェクトの自動追跡が容易になる。

本発明の実施形態におけるイベントロギング装置及び方法において用いられるオブジェクト追跡を、図２、図３、図４を参照して以下で説明する。

図２は、本発明の実施形態におけるオブジェクト追跡方法のフローチャートである。オブジェクトを追跡するために、受信されたビデオのうちの、所定数のフレームにわたって実質的に静的であると検出された部分から、背景モデルが構築される。最初のステップＳ３０において、画像の背景モデルを構築するために、カメラ２０から受信された、サッカーグラウンドを表すビデオ画像を処理する。この背景モデルは、個々の選手を識別及び追跡する際に役立つ前景マスクを作成するために構築される。この背景モデルは、ステップＳ３０において、画素平均及び連続フレーム間の画素値の分散を各画素について求めることによって形成される。したがって、前景マスクを識別するために、連続フレームにおいて画素の平均値が大幅に変化しない場合、それらの画素を背景画素として識別する。

このような背景／前景の分割は、画像処理分野において周知の処理であり、本発明の実施形態の技術は、２００４年インドコンピュータビジョン及び画像処理会議（Indian Conference on Computer Vision Graphics and Image Processing; ICVGIP）の会報において発表された、Manzanera and Richefeu著「Σ−Δ背景推定に基づくロバスト且つ計算効率的な動き検出アルゴリズム（A Robust and Computationally Efficient Motion Detection Algorithm Based on Σ-Δ Background Estimation）」と題する文献に記載のアルゴリズムを利用する。しかし、本発明の実施形態の技術はこの周知の技術に限定されると解釈されるべきではなく、背景モデルに対する前景マスクを追跡に用いるために生成する他の技術も周知である。

ビデオカメラのビューが人ごみを含む場合、人ごみはおそらく動き回るため、背景モデルに含められる可能性は低いことが理解されるであろう。人ごみを前景に含めることは、オブジェクト追跡を実行する際に、Ｃｅｌｌプロセッサでの処理負荷を増加させる可能性があるため、望ましくない。また、当然のことながら、ほとんどのスポーツ放送局は、人ごみの中の人々を追跡することに興味を持つとは考えにくいので、人ごみを前景に含める必要はない。

本発明の実施形態では、背景モデルは試合の開始時に構築され、選手がグラウンドに入る前に構築することもできる。さらに、影等の試合全体を通じて変化し得る照明条件における任意の変化を考慮に入れるために、試合を通じて背景モデルを定期的に再計算することができる。

ステップＳ４０において、異なる領域を識別するために、カメラから新たに受信された画像から、背景モデルを減算する。このように、画像から背景モデルを減算して得られた画像を用いて、各選手のためのマスクを生成する。ステップＳ４５において、背景モデルを減算して得られたバージョンの画像における、画素値に対する閾値が設定される。背景モデルは、まず、ビデオ画像の一連のフレームにわたる画素の平均を求めることによって生成される。各画素の平均値により、ビデオ画像のフレームからの各画素の分散を算出することができる。そして、この画素の分散を用いて、閾値が決定される。この閾値は、ビデオ画像の全画素にわたって、画素毎に異なる。人ごみを含む部分等、画像のうちの分散が高い部分に対応する画素の場合、閾値を高い値に設定することができる。一方、グラウンドの色及び内容は、選手の存在を別とすれば一貫して同じであるため、画像のうちのグラウンドに対応する部分の閾値は低くされる。このように、閾値は、前景要素が存在するか否かを判断するため、これに応じて前景マスクが識別される。ステップＳ５０において、平均人体モデルとの相関に基づく形状確率を用いて、前景マスク内の形状が抽出される。さらに、例えば選手のユニフォームの色により選手を識別するための色確率マスクを作成するために、画像から色特徴が抽出される。これにより、各チームのユニフォームの色を用いて、選手を互いに区別することができる。この目的のために、コンテンツ処理ワークステーション１０は、各サッカーチームのユニフォームの既知の色に応じて、カラーテンプレートを生成する。したがって、各チームのユニフォームの色、ゴールキーパーのユニフォームの色、審判のユニフォームの色が必要とされる。しかし、他の適切なカラーテンプレート及び／又はテンプレートマッチング処理を用いてもよいことが理解されるであろう。

図２に戻り、ステップＳ５０において、コンテンツ処理ワークステーション１０は、各カラーテンプレートの各画素と、選手の画像のユニフォーム領域に対応する画素とを比較する。次に、コンテンツ処理ワークステーション１０は、カラーテンプレートの画素と選択された画素との類似性を示す確率値を生成して、チームの色モデル及びグラウンドの色モデルから、ＨＳＶ（Hue Saturation Value：色相、彩度、明度）色空間における距離に基づいて色確率を形成する。さらに、形状確率を用いて、平均人体モデルとの相関に基づく選手の識別を行う。さらに、動き確率は、開始位置、速度パラメータ、及び加速度パラメータを用いた再帰最小２乗法推定器によって予測された位置からの距離に基づく。

選手マスクの作成が図３（ａ）に図示されている。図３（ａ）は、ビデオカメラ２０によって生成されたサッカーグラウンド３０のカメラビュー２１０を示す。既に説明したように、グラウンド３０は背景モデルの一部を形成し、一方、上述のように、選手２３０、２３２、２３４、２３６、２３８、２４０は、前景マスクの一部を形成する。選手のバウンディングボックスが、各選手の周囲の破線として示されている。

これまでのステップＳ３０、Ｓ４０、Ｓ４５、及びＳ５０は、カメラ画像処理に関して行われる。前景マスクを作成すると、ステップＳ５５において、まず、カメラとの近さにより選手の軌道をソートした後、選手の追跡が実行される。したがって、カメラに最も近いと識別された選手は最初に処理され、これらの処理された選手は追跡処理から除外される。ステップＳ６０において、選手位置が更新され、形状確率、色確率及び動き確率が最大化される。ステップＳ７０において、遮蔽マスクが構築される。この遮蔽マスクは、他のより近い選手の軌道によって隠されていることが既に分かっている画像領域を除外する。これにより、他の選手によって部分的に又は全体的に遮蔽された選手は、可視の画像領域とだけマッチングされることが保証される。この遮蔽マスクにより、軌道の結合（この軌道の結合により、遮蔽イベントが起こると、２つの軌道が同じ選手につながってしまう）の発生率が低減するため、追跡の信頼性が向上する。軌道の結合は、多数のターゲットが色によって（容易に）見分けがつかず、同じように見える場合に特に問題である。遮蔽マスクによって、画素を近い方の選手に割り当て、遠い方の選手からは除外できるようにし、両方の軌道が同じ画素のセットにマッチングされることを防止することで、それらの別個の識別性を維持することが可能になる。

その後、図３（ａ）及び図３（ｂ）に示すように、カメラ画像内に提供された特徴を抽出し、これらの特徴を３Ｄモデルにマッピングすることにより各選手を追跡する処理が続く。したがって、カメラによって生成された２Ｄ画像内の位置を対応させるために、形状確率、色確率及び動き確率を最大化させる３Ｄ位置を選手に割り当てる。以下で説明するように、選手の選択及び２Ｄ画像から３Ｄモデルへの選手のマッピングは、遮蔽イベントが検出された場合、修正される。ステップＳ６５において、２Ｄ画像から３Ｄモデルへのマッピングを支援するために、追跡対象の選手が初期化され、形状確率及び色確率のピークが、最も適切に選択された選手にマッピングされるようにする。なお、ステップＳ６５において実行される初期化は、典型的には追跡処理の開始時において、一度だけ実行されるということを強調しておく。システムを良好に初期化するためには、選手は十分に分離されているべきである。初期化後、選手の追跡における誤差は、本発明の実施形態の技術に従って自動的に補正される。この補正に、手動による介入は必要ない。

３Ｄモデルにおいて、２Ｄ画像の位置からの追跡を実行するために、投影マトリクスＰを用いた変換が実行される。追跡のためには、２Ｄ画像の位置を３Ｄモデル内の位置に関連付けることができなければならない。この変換は、投影（Ｐ）マトリクスを用いることによって達成される。２Ｄ空間における点は、３Ｄ空間における線に等しい。

第３の次元、すなわちカメラからの距離は未知であり、したがって、３Ｄ空間にわたる線のように見えるため、２Ｄ空間における点は、３Ｄモデルにおける線に等しい。オブジェクト（選手）の高さ（身長）を用いて、カメラからの距離を求めることができる。３Ｄ空間における点は、既知の基準レベル（人間の平均身長）を上回る、固定された高さにある線に沿った点を選択することによって得られる。投影マトリクスＰは、コーナー３１Ａ、３１Ｂ、３１Ｃ、３１Ｄ等のグラウンド３０の物理的な特徴を用いてカメラパラメータを求めるカメラ較正処理により、カメラにつき一回、試合前に予め取得される。したがって、投影マトリクスＰは、識別された選手の２Ｄ位置を３Ｄモデルにマッピングする際に役立ち得る。これは周知の技術であり、確立された種々の方法が用いられる。物理的パラメータに関して、投影マトリクスＰは、カメラのズームレベル、焦点中心、３Ｄ位置及び３Ｄ回転ベクトル（３Ｄ位置が向いている方向）を含む。

ステップＳ６０において実行された追跡アルゴリズムはスケーラブルであり、グラウンド上のすべての点が少なくとも１つのカメラから（十分な解像度で）可視でありさえすれば、１つ又は複数のカメラにおいて動作可能である。

色及び形状のマッチングに加えて、ステップＳ６０は、各選手をより高い確率で正確に識別するために、追跡中の選手の動きも含まれる処理を有する。したがって、フレーム間での選手の相対的な動きを、相対的な動きの期間及び方向の両方の観点について求めることができる。この相対的な動きを後続のフレームに対して用いて、特定の選手を識別するための検索領域を生成することができる。さらに、図３（ｂ）に示すように、サッカーグラウンド上の選手の相対的な動き方向を反映するために選手の位置のグラフィカル表示に対して配置された、２３０．１、２３２．１、２３４．１、２３６．１、２３８．１、２４０．１への線により、サッカーグラウンドの３Ｄモデルを増強することができる。

ステップＳ７０において、３Ｄモデルにおける選手の相対的な位置が識別されると、それに応じて、この位置がサッカーグラウンドの２Ｄ画像ビューに逆投影され、３Ｄモデルにおける位置によって識別された選手の周囲に、相対的な境界が投影される。また、ステップＳ７０において、選手の周囲の相対的な境界が、その選手に対する遮蔽マスクに追加される。

図３（ｂ）は、サッカーグラウンドの仮想モデル２２０の平面図を示す。図３（ｂ）に示す実施形態において、選手２３０、２３２、及び２３４（グラウンドの左サイド）は、選手２３６、２３８、２４０（グラウンドの右サイド）のユニフォームとは異なる色のユニフォームを着ており、したがって異なるチームに属することを示すため、コンテンツ処理ワークステーション１０によって識別されている。このように選手を区別することにより、選手の服の色によって容易に互いを区別することができるので、遮蔽イベントが起こったときの各選手の検出が容易になる。

図２を再び参照して、ステップＳ６０において、カルマンフィルタリング等の既知の技術を用いて、各選手の位置が追跡されるが、他の適切な技術を用いてもよいことが理解されるであろう。この追跡は、カメラビュー２１０及び仮想モデル２２０の両方において行われる。本発明の一実施形態では、コンテンツ処理ワークステーション１０が仮想モデル２２０における選手の位置を用いて実行する速度予測を用いて、カメラビュー２１０における各選手の追跡を支援する。

ステップＳ６０及びＳ７０は、決定ボックスＳ７５が示すように、すべての選手が処理されるまで繰り返される。したがって、すべての選手が処理されていない場合、処理はＳ６０に進み、一方、処理が完了した場合、処理はＳ８０において終了する。

図２に示すように、上記で説明した方法は２つのさらなるステップＳ８５及びＳ９０を有する。これらのステップは、２つ以上のカメラによって画像が生成された場合に必要とされる。すなわち、処理ステップＳ３０〜Ｓ８０を、各カメラからのビデオ画像に対して実行することができる。そして、各選手に、各カメラからの検出確率が提供される。したがって、ステップＳ８５によれば、各選手に対する各カメラからの検出確率に従って、各選手の位置が推定され、各カメラにより提供された確率のうち最も高い確率から推定された選手の位置、すなわち各選手について最も高い確率を有する位置が、その選手の位置として識別される。

サッカーグラウンド上の選手の追跡においてエラーが生じたと判断された場合、ステップＳ９０において、その選手に対する追跡を再初期化することができる。追跡におけるエラーの検出は、特定の追跡について、特定の選手の検出確率が比較的低い場合に生成され、それにより追跡が再初期化される。

図２に示す方法を実行する結果として、各選手についての経路データが生成され、この経路データは、ビデオ画像の各フレームにおける選手の位置を提供し、これは試合全体を通じてその選手がとる経路を表す。したがって、この経路データは経時的な位置を提供する。

各選手の位置を追跡することにより１つのカメラビューを形成する際、図４に示すように、１人の選手が別の選手の全部又は一部を隠している場合に、問題が生じ得る。

図４は、複数の選手３１０、３２０、３３０、３４０と、各選手の周囲に破線で示される、各選手に関連付けられたバウンディングボックスとを示す。選手３１０と選手３４０とは、互いに明確に区別されるが、選手３２０は、選手３３０の一部を隠している。これがいわゆる遮蔽イベントである。遮蔽イベントは、１人の選手の全部又は一部が、少なくとも１人の別の選手の全部又は一部を隠しているときにときに起こり、これにより、相対的な動き及び方向等の他の要因を考慮したとしても、選手の追跡が曖昧になる。しかし、２人以上の選手に関わる遮蔽イベントも起こり得ることが理解されるであろう。

遮蔽イベントを検出するために、コンテンツ処理ワークステーション１０は、図４に示すように、或る選手に関連するマスクの全部又は一部が、別の選手に関連するマスクの全部又は一部と同じ画像領域内に存在するか否かを検出する。遮蔽イベントに関わる選手達が敵対するチームであり、異なる色のユニフォームを着ている場合、彼らは容易に区別でき、したがって追跡可能であり得る。しかしながら、遮蔽イベントが起こり、その選手達が両方とも同じチームである場合、コンテンツ処理ワークステーション１０は、どちらがどの選手であるかを区別することができないことがある。これは特に、遮蔽イベントが起こったときの動き、例えば衝突によって生じた選手達の動きが予期できず、したがって選手を正確に追跡できないことがあるからである。結果として、各選手に割り当てられる追跡経路が取り違えられてしまう可能性がある。

追跡される選手における曖昧性を解決するために、コンテンツ処理ワークステーション１０は、遮蔽イベントに関わるすべての選手に、それらの選手の識別情報を示すラベルを付す。その後、１人又は複数の選手が容易に区別可能になると、コンテンツ処理ワークステーション１０は、この情報を用いて、選手の識別情報を正しい選手に再割り当てして、誰がどの選手であるかの記録を維持する。このプロセスを、図５を参照してより詳細に説明する。

図５は、本発明の一実施形態におけるオブジェクト追跡及び遮蔽検出の方法のフロー図を示す。

ステップＳ１００において、コンテンツ処理ワークステーション１０は、図２を参照して上述したように、１つ又は複数の画像特徴を抽出するように、取得されたビデオ画像に対して画像処理を行う。その後、抽出された画像特徴は、想定されるオブジェクト例から抽出された、対応する画像特徴と比較され、各オブジェクトが識別される。本発明の一実施形態では、図７及び図８を参照して以下でより詳細に説明するように、選手は背番号により識別される。その後、コンテンツ処理ワークステーション１０は、各オブジェクトを識別するオブジェクト識別情報を、各オブジェクトについて生成する。或いは、本発明の一実施形態では、各オブジェクト（例えば選手）は、操作者インタフェースを介して操作者により識別される。その後、コンテンツ処理ワークステーション１０は、操作者インタフェースからの入力データを用いて、オブジェクト識別データを生成する。しかし、画像認識技術を操作者による識別と組み合わせて、オブジェクト識別データを生成してもよく、又は、選手の背番号によって選手を識別する数認識等の他の適切なオブジェクト識別方法を用いてもよいことを当業者は理解するであろう。

ステップＳ１０５において、コンテンツ処理ワークステーション１０は、図２を参照して上述したように、ステップＳ１００において抽出した１つ又は複数の画像特徴に応じて、選手等の検出対象のオブジェクトを検出する。上で述べたように、各選手はまた、仮想モデル２２０及びカメラビュー２１０の両方を用いて追跡される。コンテンツ処理ワークステーション１０は、追跡プロセス中に生成したデータを用いて、各オブジェクトが受信したビデオ画像内でとる経路を記述するオブジェクト経路データを生成し、記憶する。このオブジェクト経路データは、選手の経時的なｘ−ｙ座標のサンプルの形をとる。本発明の一実施形態では、経路データは（ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）の形式を有する。ここでｔ_ｉはサンプル時間であり、ｘ_ｉ及びｙ_ｉは、サンプル時間ｔ_ｉにおけるオブジェクトのｘ座標及びｙ座標である。しかし、他の適切な経路データの形式を用いてもよいことが理解されるであろう。

ステップＳ１１５において、コンテンツ処理ワークステーション１０は、各オブジェクトについてのオブジェクト識別データを、各オブジェクトがビデオ画像内でとった経路に関するオブジェクト経路データと共にロギングする。ロギングされたデータは、コンテンツ処理ワークステーション１０のハードディスクドライブ（Hard Disk Drive：ＨＤＤ）又はダイナミックランダムアクセスメモリ（Dynamic Random Access Memory：ＤＲＡＭ）に記憶される。これにより、どの選手が、検出及び追跡された各経路と関連付けられたかについての記録を保持することが可能になる。その後、ロギングされたデータを用いて、各選手についてのデータ及び各選手が試合中にどこにいたかについてのデータを生成することができる。例えば、或る選手がグラウンドの特定の領域において費やした時間を、関連ログに記憶されたデータから生成することができる。さらに、例えば遮蔽イベント後のような何らかの理由により、選手と経路との関係が曖昧になる場合、この記録は、後に説明するように、曖昧性が解決されるまで保持される。オブジェクト経路データと共にロギングされたオブジェクト識別データの例を以下の表１に示す。

各オブジェクトについてのオブジェクト識別データと、そのオブジェクトについてのオブジェクト経路データとの関連付けにより、各オブジェクトを追跡可能になり、したがって識別可能になる。上述の実施形態において、各選手は追跡可能であり、したがって、放送局は、選手が遠くにいすぎて、操作者又はコンテンツ処理ワークステーション１０が実行する画像認識によって視覚的に識別できない場合でさえも、誰がどの選手であるかを知ることが可能になる。これにより、放送局が、この関連付けに基づいて、放送コンテンツの視聴者が望ましいと思う可能性のあるさらなる特徴及び情報を組み込むことが可能になる。ステップＳ１２０において、コンテンツ処理ワークステーション１０は、図４を参照して上述したように、遮蔽イベントが起こったか否かを検出する。遮蔽イベントが検出されない場合、プロセスはステップＳ１０５に戻ってオブジェクトを検出する。このように、各オブジェクトを個別に追跡することができ、各オブジェクトの経路を、そのオブジェクトの識別情報と一意に関連付けることができる。

しかし、遮蔽イベントが検出された場合、ステップＳ１２５において、Ｃｅｌｌプロセッサは、その遮蔽イベントに関わる各オブジェクトについてのオブジェクト識別データを、その遮蔽イベントに関わる各オブジェクトについてのオブジェクト経路データと関連付ける。例えば、Ａ、Ｂとそれぞれラベリングされた２つのオブジェクトが、経路Ｐ及びＱとそれぞれ関連付けられる場合、オブジェクトＡ及びＢに関わる遮蔽イベントの検出が起こると、経路ＰはオブジェクトＡ及びＢの両方と関連付けられ、経路Ｑも、オブジェクトＡ及びＢの両方と関連付けられる。遮蔽イベントが起こると、上述したように、コンテンツ処理ワークステーション１０によって生成された関連付けが、その後ロギングされる。これにより、誰がどの選手であるかに関していくらかの不確定性がある場合であっても、各オブジェクトを識別し直すことなく、遮蔽イベントに関わるオブジェクト（例えば選手）を追跡可能となる。したがって、遮蔽イベントに関わるオブジェクトだけが曖昧に識別され、一方、遮蔽イベントに関わらないオブジェクトは依然として識別可能であるため、コンテンツ処理ワークステーション１０の処理負荷が低減される。

ステップＳ１３０において、コンテンツ処理ワークステーション１０は、生成された経路と関連付けられたオブジェクトの識別情報を分割できるように、遮蔽イベントに関わるオブジェクトのうち１つ又は複数の識別情報が作成されたか否かを確認するためのチェックを行う。コンテンツ処理ワークステーション１０により、オブジェクトに関連する１つ又は複数の画像特徴を、想定されるオブジェクト例から抽出された画像特徴と比較することによって、オブジェクトのうちの少なくとも１つの識別が行われる。識別情報が作成されていない場合、プロセスはステップＳ１０５に移り、各オブジェクトについて生成された経路データは、遮蔽イベントに関わるオブジェクトすべてと関連付けられる。

しかしながら、遮蔽イベントに関わるオブジェクトのうちの１つ又は複数の識別情報が生成されたことが検出された場合、ステップＳ１３５において、確実に識別されたオブジェクトの識別情報を反映するために、ロギングされた経路データが更新される。上記の例において、関連ログは、Ａが経路Ｐと関連付けられ、Ｂが経路Ｑと関連付けされるように更新される。

或いは、オブジェクトの識別は、操作者インタフェースを介して操作者により行われてもよく、又は、本発明の実施形態に係る（上述の）画像認識技術を用いて、コンテンツ処理ワークステーション１０により行われてもよく、又は２つの技術の組み合わせにより行われてもよい。しかしながら、各オブジェクトを区別又は識別するのに適した任意の他の識別技術を用いてもよいことが理解されるであろう。画像認識の場合、コンテンツ処理ワークステーション１０は、画像認識プロセスによって作成された識別情報が正しい可能性がどのくらい高いかを示す信頼度を生成してもよい。本発明の一実施形態では、識別情報は、信頼度が所定の閾値よりも高くなるように決定される。さらに、操作者がそれらの識別情報に信頼度を割り当ててもよく、その信頼度が所定の閾値を超える場合、識別情報が検出される。

本発明の実施形態では、ロギングされた経路データがいつ更新されたかを示すイベント履歴が生成されてもよい。このイベント履歴は、確実な識別情報が不正確であると分かった場合のバックアップとして機能するように記憶されてもよい。例えば、操作者は、ビデオカメラ２０から遠く離れた選手が特定の識別情報を有すると確信していたが、その選手がカメラに近寄って来た（これによりユーザはその選手の高解像度画像を見ることができる）ため、それが間違いであると操作者が気付いた場合に、識別情報は不正確であると分かる。この場合、操作者は、操作者インタフェースを用いて、以前の選手の識別情報を無効にすることができ、それに応じて、コンテンツ処理ワークステーション１０は、ロギングされた経路データを更新することができる。上記の例において、識別イベント履歴は、経路Ｐが確実な識別の前にＡ及びＢの両方と関連付けられており、経路Ｑも確実な識別の前にＡ及びＢの両方と関連付けられていたことを示すデータと共に、コンテンツ処理ワークステーション１０のＨＤＤ又はＤＲＡＭに記憶することができる。

識別イベント履歴は、識別プロセス中に生成された信頼度を有してもよい。後から生成された識別情報が、それ以前に生成された確実な識別情報よりも高い信頼度を有するオブジェクトからなる場合、後続の識別情報の信頼性レベルを用いて、以前の識別情報を検証又は取消することができる。

遮蔽イベントが検出されると、その遮蔽イベントに関わるオブジェクトの曖昧性をなくすために、オブジェクトは、遮蔽イベント後の任意の時間に識別されてもよいことが理解されるであろう。したがって、コンテンツ処理ワークステーション１０は、遮蔽イベントが検出されると、ステップＳ１０５〜Ｓ１２５と並行して実行されるバックグラウンド処理として、オブジェクトの確実な識別が起こったか否かをモニタすることができる。

本発明の実施形態におけるオブジェクト追跡及び遮蔽検出のいくつかの例を、図６（ａ）及び図６（ｂ）を参照してこれより説明する。

図６（ａ）に示す例では、Ａ及びＢとして識別された２つのオブジェクトは、遮蔽イベント４１０に関わる。この遮蔽イベントが起こると、矢印によって示す検出されたオブジェクト経路の両方が、Ａ及びＢの両方と関連付けられる（ＡＢ）。その後、オブジェクトＢは、下方の経路のＡＢによって示されるとして確実に識別される。その後、この識別情報を用いて、オブジェクトＡが遮蔽イベント４１０後に上方のパスと関連付けられ、オブジェクトＢが遮蔽イベント４１０後に下方のパスと関連付けられるように、オブジェクトと経路との関連付けが更新される。

図６（ｂ）に示す例では、オブジェクトＡ及びＢがまず、遮蔽イベント４２０に関わる。しかし、オブジェクトＡ及びＢが確実に識別可能となる前に、遮蔽イベント４２０後にＡ及びＢの両方と関連付けられた下方の経路上のオブジェクトは、オブジェクトＣと共に別の遮蔽イベント４３０にも関わる。したがって、遮蔽イベント４３０が起こる前、遮蔽イベント４２０後に下方の経路上にあったオブジェクトがオブジェクトＡなのかオブジェクトＢなのかは不明である。したがって、遮蔽イベント４３０の後、２つのオブジェクトが辿る上方の経路及び下方の経路は、オブジェクトＡ、Ｂ及びＣと関連付けられる（ＡＢＣ）。

その後、遮蔽イベント４３０後に下方の経路にあるオブジェクトはオブジェクトＢであるとして確実に識別される（ＡＢＣ）。したがって、遮蔽イベント４３０後の上方の経路がオブジェクトＣと関連付けられるように、関連ログを更新することができる。さらに、この情報を用いて、オブジェクトＢは、遮蔽イベント４３０後に、下方の経路と関連するとして確実に識別されたので、遮蔽イベント４３０に関わるのはオブジェクトＢに違いないとして、遮蔽イベント４２０に関わる２つのオブジェクトの曖昧性をなくすことができるように、関連ログを更新することができる。したがって、上方の経路が遮蔽イベント４２０後にオブジェクトＡと関連付けられ、下方の経路が遮蔽イベント４２０後にオブジェクトＢと関連付けられるように、関連付けログを更新することができる。

したがって、本発明の実施形態では、オブジェクトが確実に識別される前に数回の遮蔽イベントが起こった場合であっても、オブジェクトを、オブジェクトの追跡経路と関連付けることが可能になる。さらに、本発明の実施形態により、各経路が正しいオブジェクトと関連付けられるように、相互に参照する複数の異なるオブジェクトの識別が可能になる。

いくつかの実施形態では、オブジェクトの開始位置を表すデータを用いて、オブジェクト追跡を初期化及び確認してもよい。サッカーを例にとると、選手達は、プレイグラウンド上の概ね静的な位置から試合を開始する可能性が高い。各選手は、プレイグラウンド上の特定の座標から閾値距離内に位置する可能性が高い。開始位置は、４−４−２（ディフェンスに４人、ミッドフィルダーに４人、フォワードに２人）又は５−３−２等のチームのフォーメーション、及びどちらのチームがキックオフを行い、どちらのチームが防御するかに応じて決まる。開始位置は、グラウンド上でゴールキックが行われた時点での選手の位置であってもよい。この位置情報を用いて、例えば、位置データをチームシート及びフォーメーション情報と比較することにより、選手の追跡を開始してもよい。上記遮蔽イベントが発生した際に経路情報を修正するために、このような位置情報が用いられてもよい。チームフォーメーション情報は、試合中にフォーメーションの変更が明らかになった場合、例えば交替又は退場後に、作業者によりリセットすることができるため、チームフォーメーション情報を用いることは都合が良い。これにより、オブジェクト追跡の精度及び信頼性が向上する。

本発明の実施形態を、図７（ａ）〜図７（ｄ）及び図８〜図１２を参照して以下に説明する。本発明の実施形態では、カメラ２０により撮影された撮影画像を用いて変更画像が生成され、この撮影画像と変更画像を一緒に見ると、ユーザにとって、それらの画像は１つの３次元画像として知覚される。

図７（ａ）〜図７（ｄ）は、オブジェクトがディスプレイから離れて位置するように見えるように、ユーザに対して画像を表示するためのディスプレイ構成の例を示す図である。左眼と右眼で色が異なる眼鏡、又は偏光レンズを有する眼鏡等の適当な眼鏡を用いることにより、ユーザは、左眼で見ることを意図された画像が正しく左眼に映り、右眼で見ることを意図された画像が正しく右眼に映るようにして表示画像を見ることができ、それにより、３次元の視聴経験がユーザに提供される。

オブジェクトが３次元であるという錯覚を生じさせるために、左眼で見ることを意図された画像は、右眼で見ることを意図された画像に対し、ユーザとディスプレイとの距離、ユーザの瞳孔間距離（Interpupillary Distance: ＩＰＤ）、及び画面からオブジェクトを配置させたい所期の位置までの距離に応じた変位量だけシフト又は変位される。ユーザの瞳孔間距離は、ユーザの眼の焦点が無限遠に合っているときのユーザの瞳孔間の距離である。本明細書において、ユーザと、レンダリングされたオブジェクトとの間の見かけ上の距離を、オブジェクトの見かけ上の距離と呼ぶ。

図７（ａ）〜図７（ｄ）を参照して、オフセット量の計算方法を以下で詳細に説明する。本発明の実施形態では、左眼で見ることを意図された画像（左側画像）に対してオフセット量が適用されるが、右眼で見ることを意図された右側画像に対してオフセット量を適用してもよいことが理解される。

図７（ａ）は、ディスプレイ７０５を、ユーザの左眼７１０Ｌ及び右眼７１０Ｒのイラストと共に概略的に示す。図７（ａ）〜図７（ｄ）において、ユーザの両眼とディスプレイ７０５との距離はｄ_ｓとして示され、瞳孔間距離はｐとして示される。また、図７（ａ）は、３Ｄ効果が提供されるように、オブジェクトに対応する画像特徴を表示すべきディスプレイ７０５上の位置も示す。ディスプレイ７０５に対し、ユーザの左眼７１０Ｌで見ることを意図された特定の左側画像７１５Ｌ及びユーザの右眼７１０Ｒで見ることを意図された特定の右側画像７１５Ｒが図示されている。図７（ａ）〜図７（ｄ）において、左側画像７１５Ｌと右側画像７１５Ｒの間のオフセット量は、ｉとして示される。

図７（ａ）において、左側画像７１５Ｌ及び右側画像７１５Ｒの位置は、オフセット量が瞳孔間距離ｐ（ＩＰＤ）と等しくなるように設定されている。したがって、図７（ａ）に平行の破線として示すように、オブジェクトは、ディスプレイ７０５から無限遠の距離にあるように知覚される。しかし、オブジェクトがディスプレイ７０５から有限の距離にあるように知覚させるためには、オフセット量を、ユーザの瞳孔間の距離（瞳孔間距離ｐ）よりも小さくする必要がある。これを図７（ｂ）に示す。瞳孔間距離は、性別、人種、年齢等に応じて異なるが、典型的には５２ｍｍ〜７０ｍｍである。

図７（ｂ）は、オフセット量ｉがユーザの瞳孔間の距離ｐよりも小さく、したがってオブジェクト７２０がユーザの眼から距離ｄ_Ｏのところにあるように知覚される場合の例を示す。オフセット量ｉは、以下に示す式１から計算することができる。

式１において、ｄ_Ｏはオブジェクトの見かけ上の距離であり、ｄ_ｓはユーザの両眼７１０Ｌ及び７１０Ｒとディスプレイ７０５との距離であり、ｐはユーザの瞳孔間の距離（瞳孔間距離）であり、ｉはオフセット量である。

オブジェクト７２０が、ディスプレイ７０５上で、ディスプレイの位置にあるように知覚される場合（すなわち、ｄ_Ｏ＝ｄ_ｓ）、オフセット量ｉは０である。この状況を図７（ｃ）に示す。

オブジェクト７２０が、ディスプレイ７０５とユーザとの間に位置するように知覚される場合（すなわち、ｄ_Ｏ＜ｄ_ｓ）、図７（ｄ）に示すように、左側画像７１５Ｌに適用されるオフセット量ｉは負の値となる。言い換えれば、ユーザにとって、右側画像７１５Ｒが、左側画像７１５Ｌの左にあるように知覚され、これによりユーザの両眼が輻輳して、ユーザとディスプレイ７０５との間の位置に焦点が合う。

本発明の実施形態では、ユーザの不快感及び眼の疲労を低減するために、オフセット量は、瞳孔間距離以下にすべきである（ｉ≦Ｐ）。さらに、ユーザの眼の疲労及び不快感を低減するために、ユーザの両眼７１０Ｌ及び７１０Ｒとディスプレイ７０５との距離ｄ_ｓに対するオブジェクトの見かけ上の距離ｄ_Ｏの比率は、所定の量、典型的には０．２よりも大きくすべきである。言い換えれば、実施形態によっては、ユーザの眼の不快感を低減するために、ｄ_Ｏ／ｄ_ｓ≧０．２とされる。しかし、他の適当な値を用いてもよいことが理解される。

図８〜図１２を参照して、カメラと、カメラによって撮影された画像内のオブジェクトとの距離を用いてオフセット量を決定する本発明の実施形態を以下で説明する。

図８は、本発明の実施形態に係る、カメラの位置と、カメラの視野内のオブジェクトとの距離を判断するシステムの概略図である。

図８に示すシステムは、図１に関して上述したシステムと同様である。詳細には、図８は、グラウンド３０の画像を撮影するカメラ２０と通信するように構成されたコンテンツ処理ワークステーション１０を示す。上述のように、コンテンツ処理ワークステーション１０は、カメラ２０によって撮影された画像を解析して、グラウンド３０上の選手を追跡し、グラウンド３０上での各選手の位置を判断するように動作可能である。実施形態によっては、システムは、カメラ２０の視野内のオブジェクトと、カメラ２０との距離を検出するように動作可能な距離検出器８１０を有する。距離検出器８１０及びその動作は、後により詳細に説明する。

実施形態によっては、コンテンツ処理ワークステーション１０は、追跡データ及び位置データを用いて、グラウンド３０上の選手と、カメラ２０の位置との距離を判断することができる。例えば、コンテンツ処理ワークステーション１０は、撮影画像を解析して、選手８０１とカメラ２０の位置との距離８０１ａ、選手８０３ａとカメラ２０の位置との距離８０３ａ、及び選手８０５とのカメラ２０の位置との距離８０５ａを判断することができる。

言い換えれば、本発明の実施形態は、シーンにおけるオブジェクトと、カメラを基準として規定された基準位置との距離を判断する。図８を参照して説明した実施形態では、基準位置は、カメラ２０の位置である。

さらに、実施形態によっては、コンテンツ処理ワークステーション１０は、撮影画像における所定の画像特徴を検出するように動作可能である。所定の画像特徴は、シーンにおける既知の特徴点に相当する。例えば、コンテンツ処理ワークステーション１０は、既知の技術を用いて撮影画像を解析し、コーナー、センタースポット、ペナルティエリア等のサッカーグラウンドの特徴に対応する画像特徴を検出する。検出された既知の特徴点（画像特徴）の検出された位置に基づき、コンテンツ処理ワークステーション１０は、既知の技術を用いて、グラウンド３０の３次元モデルを撮影画像にマッピングする。そして、これにより、コンテンツ処理ワークステーション１０は、撮影画像を解析し、撮影画像にマッピングされた３Ｄモデルを基準として検出された選手の位置に基づいて、選手とカメラ２０との距離を検出することができる。

本発明のいくつかの実施形態では、コンテンツ処理ワークステーション１０は、撮影画像を解析して、選手の足がグラウンドと接触する位置を判断することができる。すなわち、コンテンツ処理ワークステーション１０は、選手等のオブジェクトがグラウンド３０等の平面と接触する交点を判断することができる。

オブジェクトが、２点以上の交点において平面と接触していると検出された場合（例えば、選手の両足がグラウンド３０と接触している場合）、コンテンツ処理ワークステーション１０は、どの交点が最もカメラ２０に近いかを検出し、最も近い交点とカメラ２０との距離を用いてオフセット量を生成するように動作可能である。或いは、そのオブジェクトについて検出された全ての交点とカメラ２０との距離の平均を算出し、その平均距離を用いてオフセット量を生成することもできる。しかし、カメラ２０から最も遠い交点等、他の適当な交点を選択してもよいことが理解される。

しかし、状況によっては、上述したシーンにおけるオブジェクトとカメラ２０の位置との距離を判断する方法では、３次元画像の見た目に歪みが生じる可能性がある。このような歪みは、特に画像が非常に広角のカメラで撮影された場合、又は画像が図１で示したカメラ２２．１及びカメラ２２．２等の２台の高精細カメラを用いて撮影された画像をスティッチすることで形成された場合に顕著である。

例えば、３次元画像における画像の歪みは、グラウンド３０が３次元画像として表示され、そこに選手及びボールが重ねられる場合に生じる。この場合、コーナー３１ｂ及び３１ｃは、カメラ２０に近いほうのサイドライン上の中心点８１４よりも遠くにあるように見える。したがって、このサイドラインは、撮影画像においては直線であるにもかかわらず、３次元画像においては湾曲しているように見える。

この効果は、３次元画像がコンピュータのモニタ等の比較的小さいディスプレイ上で閲覧される場合に特に顕著である。３次元画像が映画のスクリーン等の比較的大きなディスプレイ上で閲覧される場合には、コーナー３１ｂ及び３１ｃはユーザの周辺視野に映る可能性が高いので、この効果はそれ程顕著ではない。グラウンド３０を３次元画像として表示する方法は、後により詳細に説明する。

この問題に対処するために取り得る方法は、画像の各部分について適当なオフセット量を生成して歪みを相殺することである。しかし、この方法は計算量が多いだけでなく、広角画像による歪みの程度、ディスプレイサイズ等、いくつかの物理的なパラメータに依存する。

したがって、特に３次元画像がコンピュータのモニタ等の比較的小さいディスプレイ上で閲覧される場合に、３次元画像における歪みを低減し、グラウンド３０の正面（すなわち、カメラ２０に最も近いサイドライン）が、ディスプレイから常に一定の奥行きにあるように見えることを確実にするために、本発明の実施形態では、オブジェクトと、基準線上にある基準位置との距離を判断する。この基準線は、カメラ２０の光軸と直交し、且つカメラ２０の位置を通る線である。基準位置は、基準線上の、オブジェクト位置線と基準線が交わる位置である。オブジェクト位置線は、基準線に直交し、且つオブジェクトを通る線である。これを、図９を参照して以下に説明する。

図９は、本発明の実施形態に係る、カメラ２０の視野内のオブジェクトと、カメラ２０との距離を判断するシステムの概略図である。図９に示す実施形態は、図８を参照して上述した実施形態と概ね同じである。しかしながら、図９に示す実施形態では、コンテンツ処理ワークステーション１０は、オブジェクトと、破線９０７で示す基準線との距離を判断するように動作可能である。

図９に示すように、基準線９０７は、カメラ２０の光軸に直交し（すなわち、光軸に対して直角）、且つカメラ２０の位置を通る。さらに、図９は、基準線９０７上にある基準位置９０１ａ、９０３ａ、及び９０５ａを示す。

例えば、コンテンツ処理ワークステーション１０は、選手８０１と基準位置９０１ａとの距離９０１を判断するように動作可能である。基準位置９０１ａは、基準線９０７上の、選手８０１のオブジェクト位置線（破線９０１ｂで示す）と基準線９０７が交わる位置にある。同様に、基準位置９０３ａは、基準線９０７上の、選手８０３のオブジェクト位置線（破線９０３ｂで示す）と基準線９０７が交わる位置にあり、基準位置９０５ａは、選手８０５のオブジェクト位置線（破線９０５ｂで示す）が基準線９０７と交わる位置にある。オブジェクト位置線９０１ｂ、９０３ｂ及び９０５ｂは、基準線９０７に直交し、選手８０１、８０３及び８０５をそれぞれ通る。

実施形態によっては、基準線９０７は、コーナー３１ｂ及び３１ｃと交わるサイドラインに対して平行であるため、グラウンド３０の撮影画像とグラウンド３０の変更画像とが適当な方法でディスプレイ上で一緒に閲覧された場合、コーナー３１ｂ及び３１ｃと交わるサイドライン上にある全ての点が、ディスプレイから一定の距離（奥行き）にあるように見える。これにより、画像が広角カメラを用いて撮影された場合、又は画像が２台以上のカメラにより撮影された画像を合成して形成された複合画像である場合に生じる歪みを相殺するオフセット量を生成する必要なく、３次元画像の見た目を向上させることができる。しかし、基準線９０７はサイドラインに対して平行である必要はなく、シーンにおける任意の他の適当な特徴に対して平行であってもよく、又はシーンにおける任意の他の適当な特徴を基準として配置されてもよいことが理解される。

見たときに３次元として知覚される画像を生成するために、コンテンツ処理ワークステーション１０は、撮影画像における選手等のオブジェクトの位置を検出するように動作可能である。コンテンツ処理ワークステーション１０が画像におけるオブジェクトを検出する方法は、図２を参照して上述した方法である。その後、コンテンツ処理ワークステーション１０は、撮影画像におけるオブジェクトの位置を、オフセット量だけ変位させることにより、撮影画像から変更画像を生成する。これにより、変更画像と撮影画像をディスプレイ７０５上で一対の画像として一緒に見ると、オブジェクトはディスプレイ７０５から所定の距離だけ離れて位置するように見える。変更画像と撮影画像を一緒に表示する方法を図１０に示す。

図１０は、本発明の一実施形態に係る、画像が３次元画像としてユーザに知覚されるように画像を表示するシステムを示す。

具体的には、図１０は、ディスプレイ７０５上の選手８０１及び選手８０３の画像を示す。カメラ２０により撮影された撮影画像を用いて、選手８０１に対応する左側画像８０１Ｌと、選手８０３に対応する左側画像８０３Ｌが表示される。これらの左側画像は、例えばユーザが適当な偏光眼鏡を掛けることにより、ユーザの左眼に映ることが意図される。コンテンツ処理ワークステーション１０は、この撮影画像から変更画像を生成して、オブジェクトをそれぞれ含む右側画像を生成するように動作可能である。図１０は、選手８０１に対応する右側画像８０１Ｒ（破線で示す）と、選手８０３に対応する右側画像８０３Ｒを示す。例えば、左側画像８０１Ｌと右側画像８０１Ｒとをディスプレイ７０５上で一緒に見ると、選手８０１が、あたかもディスプレイ７０５から所定の距離だけ離れて位置するように見える。

左側画像から変更画像を生成する（すなわち、左側画像から右側画像を生成する）ために、コンテンツ処理ワークステーション１０は、選手等のオブジェクトの輪郭に対応するマスクを生成するように動作可能である。これは、図２のステップＳ４０を参照して上述したものである。そして、コンテンツ処理ワークステーション１０は、そのマスク内の画素にオフセット量を適用して、変更画像（右側画像）を生成するように動作可能である。この処理は、撮影画像において検出された各オブジェクトについて行われる。

各選手についてのオフセット量は、その選手と、カメラ２０との距離に応じて決まる。例えば、図８に示すように、選手８０１は、選手８０３よりもカメラ２０に近い。したがって、上記の式１に従い、画面とユーザとの距離をｄ_ｓとすると、選手８０１に対応する左側画像８０１Ｌと右側画像８０１Ｒとの間のオフセット量は、選手８０３に対応する左側画像８０３Ｌと右側画像８０３Ｒとの間のオフセット量よりも小さい。各オブジェクトの見かけ上の距離は、例えば、特定のサイズのディスプレイに表示できるように、所望に応じて適宜スケーリングされる。

状況によっては、例えばサッカー選手達がサッカーグラウンド上にいる状況では、３次元画像において、カメラ２０と選手との間の実際の距離と同じ距離だけ、選手がディスプレイ７０５から離れて位置するように知覚させることは、ユーザの視聴経験を損ねる可能性があるため、望ましくない場合がある。さらに、オブジェクトがディスプレイから数十メートル離れて位置するように知覚させる場合、３次元効果が幾分損なわれる。したがって、本発明の実施形態では、コンテンツ処理ワークステーション１０は、撮影画像の縦方向のうちどのくらいの割合がサッカーグラウンド３０によって占められているかを検出し、それに応じてオブジェクトの見かけ上の奥行きをスケーリングするように動作可能である。

例えば、コンテンツ処理ワークステーション１０は、３Ｄモデルの撮影画像へのマッピングに基づき、カメラ２０に近いほうのサッカーグラウンド３０のサイドラインの位置を検出することができ、また、カメラ２０から遠いほうのサイドラインの位置を検出することができる。その後、コンテンツ処理ワークステーション１０は、それに応じたオフセット量を出力する。これにより、カメラ２０に近いほうのサイドラインと同じ距離だけカメラ２０から離れたオブジェクトは、ディスプレイと同じ距離だけユーザから離れているように知覚される。

ディスプレイから遠いほうのサイドラインまでの見かけ上の距離は、コンテンツ処理ワークステーション１０により、ディスプレイ７０５の鉛直高さに応じた距離となるように設定される。しかし、オブジェクトの見かけ上の距離をスケーリングする任意の他の適当な方法を用いてもよいことが理解される。

さらに、ディスプレイ上の右側画像と左側画像との間の物理的な距離により、オブジェクトがディスプレイから所定の距離だけ離れて位置するように知覚されることが理解される。したがって、本発明の実施形態では、まず、ミリメートル等の物理的な測定単位でオフセット量を計算する。ディスプレイ７０５上に画素としてレンダリングされる変更画像を生成する際、ミリメートル単位のオフセット量の値は、コンテンツ処理ワークステーション１０により、ディスプレイ７０５のサイズ、ディスプレイの画素単位の解像度、及び画素のピッチのいずれか又は全てに応じてスケーリングされる。これらのパラメータは、種々の異なるタイプのディスプレイの関連パラメータ（例えば、製造業者及び型番）を記憶するルックアップテーブルに記憶されてもよく、又はユーザにより入力されてもよい。

実施形態によっては、コンテンツ処理ワークステーション１０は、ディスプレイ７０５に、画像の較正シーケンスを表示させてもよい。これにより、ユーザは、適当な入力手段を介して、例えば、オブジェクトが無限遠に位置するように見えるか、画面と同じ距離に位置するように見えるか、又は無限遠とユーザとの間に位置するように見えるかについてのフィードバックを供給することができる。しかし、右側画像及び左側画像をスケーリングしてディスプレイ上に表示するための他の適当な方法を用いてもよいことが理解される。

上述のように、実施形態によっては、オブジェクトに関連付けられた交点と、カメラ２０との距離を、コンテンツ処理ワークステーション１０により判断することができる。したがって、実施形態によっては、オフセット量は、そのオブジェクトに関連付けられた交点と、カメラ２０との距離に基づいて生成され、このオフセット量が、オブジェクト全体に適用されてよい。すなわち、選手は、３次元画像において、サッカーグラウンド３０上の、ディスプレイから所定の距離離れた位置にあるように知覚されるが、選手自体は２次元画像として知覚される。これにより、カメラ２０から１人の選手上の各点（ディスプレイ上の出力画素に対応する）までの距離を検出し、この距離を用いて各点についてのオフセット量を生成する必要がないため、処理資源が低減されるという利点がある。さらに、これにより、上述のような追跡処理及び上述のように生成される位置データからは、このような距離データを取得することができないという問題に対処できる。

実施形態によっては、コンテンツ処理ワークステーション１０は、サッカーグラウンド３０を含むスタジアムの３次元モデルを撮影画像にマッピングするように動作可能である。これにより、コンテンツ処理ワークステーション１０は、スタジアムに対応する撮影画像における各画素について適当なオフセット量を生成することができ、これにより、スタジアム及び／又はグラウンド３０は、ディスプレイ７０５上で見たときに３次元画像に見える。スタジアム及び／又はグラウンド３０は、カメラ２０に対して比較的静的であるため、撮影画像における各画素についてのオフセット量の生成は、上記背景モデル（背景画像）の生成時に実行されてもよく、又は定期的に実行されてもよく、これにより処理資源が低減される。

実施形態によっては、コンテンツ処理ワークステーション１０は、右側画像（変更画像）が背景画像と合成されるとき、変更画像において望ましくないアーチファクトが発生する可能性を低減するために、図２を参照して説明したようなグラウンド３０の背景画像を、各撮影フレームについて生成してもよい。これにより、グラウンド３０の照明又は陰影の変化に応じた背景画像の調整が可能となる。しかし、背景画像は、任意の他の適当なフレーム間隔で、例えば１フレームおきに生成及び更新されてもよいことが理解される。

コンテンツ処理ワークステーション１０は、グラウンド３０の３次元モデルを撮影画像にマッピングし、上述のように、グラウンド３０に対応する各画素について適当なオフセット量を生成し、変更された背景画像を生成するように動作可能である。その後、コンテンツ処理ワークステーション１０は、選手等のオブジェクトに対応する変更された右側画像を、変更された背景画像と合成して、合成変更画像を生成する。例えば、コンテンツ処理ワークステーション１０は、オブジェクトに対応する変更画像を変更された背景画像に重ねることにより、合成変更画像を生成することができる。撮影画像と合成変更画像とが適当な方法によりディスプレイ上で一緒に見られると、ユーザにとっては、それらが１つの３次元画像であるように知覚される。

上述のように、追跡データは、特定の選手がグラウンド３０上のどこに位置するかを示す。これにより、コンテンツ処理ワークステーション１０は、その選手についてのオフセット量を生成することができる。これにより、左側画像と右側画像が一対の画像としてディスプレイ上に一緒に表示されたとき、選手がグラウンド３０上の３次元的な位置にあるように見える。しかし、どの追跡データがどの選手のものであるかが曖昧な場合、又は何らかの理由により追跡アルゴリズムで選手の位置を判断することができない場合、仮想３Ｄの見た目が失われるか、又は劣化する場合がある。

そこで、本発明のいくつかの実施形態では、システムは、距離検出器８１０を具備する。距離検出器８１０は、カメラ２０と一体化されてもよく、又はカメラ２０と別体に設けられてもよい。この距離検出器８１０は、グラウンド３０上の選手等のオブジェクトと、カメラ２０との距離を示す距離データを生成するように動作可能である。距離検出器８１０は、その距離データを、図８の破線８１２により示す適当な通信リンクを介してコンテンツ処理ワークステーション１０に送信するように動作可能である。その後、コンテンツ処理ワークステーション１０は、距離検出器８１０から受信した距離データに基づいて、オブジェクトとカメラとの距離を判断するように動作可能である。言い換えれば、距離検出器８１０は、距離センサとして機能する。このようなセンサは、当該技術分野において周知であり、赤外線光、超音波、レーザ光等を用いてオブジェクトまでの距離を検出することができる。

実施形態によっては、距離検出器８１０は、シーンにおけるシーン特徴（撮影画像における画素に対応する）と、カメラ２０との距離を、撮影画像の各画素について示す距離（奥行き）マッピングデータを生成するように動作可能である。この場合、この距離マッピングデータは、距離検出器８１０からコンテンツ処理ワークステーション１０に送信される距離データに含められる。

この機能を実現するために、距離検出器８１０は、赤外線光のパルスを放出する赤外線光源を有してもよい。この場合、カメラ２０は、カメラ２０の視野内にあるオブジェクトから反射される赤外線光の強度を、所定の時間間隔（典型的にはナノ秒単位）で検出して、カメラ２０からオブジェクトまでの距離を示すグレースケール画像を生成することができる。すなわち、このグレースケール画像は、光源からカメラ２０までの赤外線光の伝播時間を検出することにより生成された距離マッピングデータであると考えることができる。

設計を簡単にするために、カメラ２０は、距離検出器８１０を、赤外線光源の形で有してもよい。このようなカメラは当該技術分野において周知であり、例えば3DV Systems社製のＺ−Ｃａｍ等がある。しかし、赤外線パターン歪検出等、３Ｄ奥行きマッピングデータを生成する他の周知の方法を用いてもよいことが理解される。

このような距離検出器８１０に代えて、任意の他の適当な距離検出器を用いてもよいことが理解される。例えば、カメラ２０の光軸に対して垂直な光軸を有するカメラを用いてグラウンド３０の画像を撮影してもよい。このように撮影された画像をコンテンツ処理ワークステーション１０により解析して選手の位置を追跡し、得られたデータをカメラ２０からの画像データと関連付けて、三角測量によって、選手の位置をより正確に求めてもよい。

実施形態によっては、コンテンツ処理ワークステーション１０は、距離検出器８１０を用いて、サッカーボール等の、カメラ２０の視野内の他のオブジェクトを検出及び追跡するように動作可能であるが、任意の他の適当なオブジェクトを検出してもよいことが理解される。例えば、１つ又は複数のさらなるカメラにより撮影した画像をコンテンツ処理ワークステーション１０により解析し、追跡システムから供給されたデータと合成してサッカーボールを追跡し、それに応じて、適当な左側画像及び右側画像を生成してもよい。

変更画像を生成するために、コンテンツ処理ワークステーション１０は、シーンにおけるオブジェクトに対応する、撮影画像におけるオブジェクト画素を検出するように動作可能である。上述の実施形態では、上述のような変更画像を生成するために、選手マスクの画素に対応するオブジェクト画素が用いられた。この場合、コンテンツ処理ワークステーション１０は、距離マッピングデータにおける選手マスクの画素に関連付けられた距離データを用いて、カメラ２０と選手との距離を判断する。３次元表示を簡単にするために、距離マッピングデータにおける、選手マスクの各画素についての距離値の平均値を用いて、上述のようなオフセット量を生成してもよい。しかし、距離マッピングデータから、オブジェクトに対応する距離値を選択する任意の他の適当な方法を用いてもよいことが理解される。

別の実施形態では、コンテンツ処理ワークステーション１０は、左側画像と右側画像との間のオフセット量を、距離マッピングデータの各画素について生成するように動作可能である。この結果、上述のように左側画像と右側画像をディスプレイ上で一対の画像として一緒に見た場合、オブジェクトの３次元の見た目がより向上する。これは、オブジェクトを、ディスプレイからいくらか離れた距離にある２次元画像として表示した場合に比べ、オブジェクトの表面次元がより正確に再現されるためである。

しかしながら、グラウンド上で行われるスポーツを撮影する際に典型的な、数十メートル単位の距離を扱う場合、このような３Ｄカメラシステムでは、奥行き解像度が不足する場合がある。この奥行き解像度は、オフセット量を、撮影画像における検出されたオブジェクトに対応する各画素について生成して、効果的な３次元の見た目をユーザに提示するために必要とされる。したがって、距離マッピングデータにおける距離データに基づいてオフセット量を生成する上述した実施形態は、シーンにおける、互いに関連する複数のオブジェクトが、カメラから数メートル以内に位置している状況により適している。スポーツ映像に関して言えば、このようなスポーツは、ボクシング、スヌーカー、卓球、ティドリーウィンクス、体操、フェンシング等であるが、十分な奥行き解像度が得られるのであれば、他のイベント又はシーンを撮影してもよいことが理解される。

実施形態によっては、距離マッピングデータからの距離データを、追跡データ及び位置データと組み合わせて、グラウンド３０上の選手の位置、ひいてはカメラ２０と選手との距離を判断する際の精度を向上させてもよい。

上述の実施形態を用いてサッカーグラウンド３０上の選手の画像を撮影する場合、すべての選手がグラウンド３０の同じ領域内に位置する場合に問題が生じる可能性がある。このような状況は、例えばコーナーキック、フリーキック、又はタックル等である。この場合、３Ｄ画像がディスプレイ上で再生されるとき、１人の選手が別の選手を遮蔽してしまうため、ユーザが知覚する３Ｄの見た目が混乱し、分かりにくくなってしまう。

そこで、本発明の実施形態では、コンテンツ処理ワークステーション１０は、撮影画像内の複数の選手の互いの距離が、閾値距離以内であるか否かを検出するように動作可能である。互いの距離が閾値距離以内である選手は、１つの選手グループに属するとして指定される。コンテンツ処理ワークステーション１０は、上述の技術を用いて、各選手とカメラ２０との距離を判断し、上記グループの各選手とカメラ２０との距離の平均を示す平均距離値を生成するように動作可能である。その後、コンテンツ処理ワークステーション１０は、図８〜図１０を参照して上述した方法と同様の方法で、上記平均距離値に応じて、グループ内の各選手に適用可能な１つのオフセット量を生成するように動作可能である。その後、コンテンツ処理ワークステーション１０は、各選手を、グループ内の各選手の検出された位置から、そのグループに適用されたオフセット量だけ変位させることにより、右側画像を生成するように動作可能である。

上記の方法は、図１１に図示される。図１１は、グラウンド３０上の選手のグループを示す概略図である。詳細には、図１１は、グラウンド３０上の選手１００１、１００３、及び１００５を示す。上述のように、コンテンツ処理ワークステーション１０は、選手同士の距離が閾値距離以内であるか否かを検出するように動作可能である。図１１に示す例では、選手１００１、１００３、及び１００５は、互いに閾値距離内であり、したがって、（破線１００７により示すように）１つの選手グループに属しているとして指定される。

コンテンツ処理ワークステーション１０は、上述のように、グループ１００７内の各選手間の距離を判断し、そのグループの選手についての平均距離値を生成するように動作可能である。その後、コンテンツ処理ワークステーション１０により、上記平均距離値に基づいてオフセット量が生成され、このオフセット量が、オフセット量ｉとして、グループ１００７の各選手１００１、１００３、及び１００５に適用される。左側画像と右側画像が３Ｄ画像として一緒に表示されるとき、グループ内の３人の選手はすべて、ディスプレイ７０５から同じ距離だけ離れて位置するように見える。これにより、３Ｄ表示が単純になり、特に、サッカーの試合中、多数の高速な動きが頻繁に起こる場合に、ユーザの眼の疲労が低減される。

本発明の実施形態に係る画像処理方法を、図１２を参照して以下で説明する。

ステップＳ２００において、コンテンツ処理ワークステーション１０は、サッカーの試合の画像等のシーンの撮影画像を、カメラ２０から受信する。その後、ステップＳ２１０において、コンテンツ処理ワークステーション１０は、選手等のシーンにおけるオブジェクトと、カメラ２０との距離を判断する。この距離は、上述の技術を用いて、位置データ及び追跡データから生成されてもよく、距離データから生成されてもよく、距離マッピングデータから生成されてもよく、又はこれらのデータのいずれか又は全ての組み合わせから生成されてもよい。

ステップＳ２２０において、コンテンツ処理ワークステーション１０は、上述の技術を用いて、撮影画像内のオブジェクトの位置を検出する。例えば、実施形態によっては、コンテンツ処理ワークステーション１０は、各選手について選手マスクを生成し、変更画像（右側画像）を生成する際にその選手マスクを用いることができる。

次に、ステップＳ２３０において、コンテンツ処理ワークステーション１０は、変更画像におけるオブジェクトの位置を、オフセット量だけ変位させることにより、変更画像（右側画像）を生成する。上述のように、オフセット量は、オブジェクトとカメラ２０との距離から導出される。撮影画像（左側画像）と変更画像（右側画像）を、（例えば、図１０に示すように）ディスプレイ上で一対の画像として一緒に見ると、オブジェクトは、ディスプレイから所定の距離だけ離れて位置するように知覚される。これにより、高価なステレオカメラの対や、時間のかかる後処理動作を必要とすることなく、いわゆる３Ｄ画像を効率的に生成することができる。

上述の実施形態は、スポーツの試合の選手を参照して説明されたが、上述の技術を、３Ｄ画像を撮影及び生成するのに望ましい他の状況に適用してもよいことが理解される。

さらに、上述の実施形態は、１つの画像に対して画像処理を行うものとして説明されたが、上述の技術を、ビデオカメラによって撮影された一連のビデオ画像に適用してもよいことが理解される。変更画像におけるオブジェクトの位置を、撮影画像において検出されたオブジェクトの位置から、コンテンツ処理ワークステーション１０により画像データ又は距離データ等のデータから判断された距離に基づいたオフセット量だけ変位させることにより、一連の３Ｄ画像を撮影及び生成することができ、これにより、ユーザはほぼリアルタイムで一連の３Ｄ画像を見ることができる。

上述の実施形態では、画像処理を、カメラ２０によって撮影された画像に対して実行されるものとして説明した。しかし、上述の技術は、スティッチされたビデオ画像にも等しく適用可能であることが理解される。このようなスティッチされた画像は、例えばカメラ２２．１及び２２．２によって撮影されたビデオ画像をスティッチすることにより生成された超高精細画像等である。さらに、撮影画像を右側画像として扱ってもよく、変更画像を左側画像として扱ってもよいことが理解される。

ユーザに対する３次元の見た目を実現するために、左側画像（Ｌ）及び右側画像（Ｒ）は、ディスプレイに同時に提示される必要はないことが理解される。例えば、それらの画像を、ユーザが残像を知覚する（典型的には、２４フレーム／秒）よりも速いフレームレートに対応する速度で交互に表示してもよい。言い換えれば、左側画像と右側画像を交互に含む一連のフレーム（例えば、ＬＲＬＲＬＲＬＲＬＲ）を、６０フレーム／秒のフレームレートで表示することができるが、任意の他の適当なフレームレートを用いてもよい。そして、ユーザは、右眼に右側画像が映り、左眼に左側画像が映るように、対応する左側画像及び右側画像を交互に見えなくする適当な眼鏡を用いて、これらの画像を見ることができる。したがって、「一緒に表示する」という用語は、左側画像と右側画像を同時に見ること、交互に見ること、又はユーザが３次元効果を知覚できる任意の他の適当な方法で見ることを意味するものとして理解されるべきである。

本発明の実施形態では、画像処理方法の構成要素は、コンテンツ処理ワークステーション１０において任意の適当な方法で実現されてよい。したがって、従来の等価の装置の既存の部品によって本発明の実施形態の機能を実現するために必要とされる変更を、プロセッサが実施可能な命令を含むコンピュータプログラム製品の形で実装してもよい。このようなプロセッサが実施可能な命令は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ又はこれら若しくは他の記憶媒体の任意の組み合わせ等のデータ記憶媒体に記憶されるか、或いはイーサネット（登録商標）、無線ネットワーク、インターネット、又はこれら若しくは他のネットワークの任意の組み合わせ等のネットワークを介して、データ信号により送信されるか、或いはＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）、又は、既存の等価の装置に変更を加える際に用いるのに適した他の構成可能な回路若しくはカスタムメイドの回路ハードウェアとして実現される。

Claims (22)

1. カメラから、当該カメラにより撮影された、少なくとも１つのオブジェクトを含むシーンの画像に対応する撮影画像を受信するように動作可能な受信手段と、
   前記シーンにおける前記オブジェクトと、前記カメラを基準として規定された基準位置との間の距離を、当該基準位置と当該シーンにおける当該オブジェクトとの間の距離を示す距離データに基づいて判断するように動作可能な判断手段と、
   前記撮影画像における前記オブジェクトの位置を検出し、前記シーンにおける前記オブジェクトに対応する、前記撮影画像における画像特徴に基づいて、前記撮影画像から変更画像を生成するように動作可能な生成手段と
   を具備し、
   前記距離データは、前記撮影画像における各画素について、前記シーンにおける当該各画素に対応するシーン特徴と、前記基準位置との間の距離を示す距離マッピングデータを含み、
   前記生成手段は、前記変更画像において、前記オブジェクトの位置を、前記撮影画像において判断された前記オブジェクトの位置から、前記シーンにおける前記オブジェクトと、前記基準位置との間の前記判断された距離に基づくオブジェクトオフセット量だけ変位させることにより、前記変更画像を生成するように動作可能であり、当該変更画像と前記撮影画像とがディスプレイ上で一対の画像として一緒に見られた場合、前記オブジェクトが、前記ディスプレイから所定の距離だけ離れた位置にあるように知覚されるようにする
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記生成手段は、前記シーンにおける前記オブジェクトに対応する、前記撮影画像におけるオブジェクト画素を検出するように動作可能である
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記オブジェクト画素は、前景画像を形成し、
   前記シーンにおける前記オブジェクトに対応していないとして検出された前記撮影画像における画素は、背景画像を形成する背景画素として指定され、
   前記生成手段は、前記オブジェクト画素の位置を、前記撮影画像における前記オブジェクトの位置から、前記オブジェクトオフセット量だけ変位させて、変更前景画像を生成するように動作可能であり、
   前記判断手段は、前記撮影画像における背景画素に対応する、前記シーンにおけるシーン特徴と、前記基準位置との間の距離を、前記距離マッピングデータにおいて当該背景画素と関連付けられた距離データに基づいて判断するように動作可能であり、
   前記生成手段は、各背景画素の位置を、前記背景画像における当該背景画素の位置から、前記背景画素に対応する前記シーンにおける前記シーン特徴と、前記基準位置との間の距離に基づく背景画素オフセット量だけそれぞれ変位させることにより、変更背景画像を生成し、当該変更背景画像を前記変更前景画像と合成して前記変更画像を生成するように動作可能であり、当該変更画像と前記撮影画像とが前記ディスプレイ上で一対の画像として一緒に見られた場合、当該変更画像と当該撮影画像とが、１つの３次元画像であるように共に知覚されるようにする
   画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記判断手段は、前記シーンにおける前記オブジェクトと、前記基準位置との間の距離を、前記距離マッピングデータにおいて前記オブジェクト画素と関連付けられた距離データに基づいて判断するように動作可能である
   画像処理装置。
5. 請求項２に記載の画像処理装置であって、
   前記生成手段は、前記各オブジェクト画素の位置を、前記撮影画像における当該オブジェクト画素の位置から、当該オブジェクト画素に対応する前記シーンにおけるシーン特徴と、前記基準位置との間の距離に応じたオブジェクトオフセット量だけそれぞれ変位させることにより、前記変更画像を生成するように動作可能である
   画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記シーンの少なくとも一部の所定の３次元モデルが、前記シーンにおける既知の特徴点にマッピングされ、
   上記判断手段は、前記シーンにおける前記オブジェクトと、前記基準位置との間の距離を、前記所定の３次元モデルに対する、前記シーンにおける前記オブジェクトの前記検出された位置に基づいて判断するように動作可能である
   画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記判断手段は、前記シーンにおける前記既知の特徴点の位置に対応する、前記撮影画像における所定の画像特徴を検出して、前記３次元モデルを前記既知の特徴点にマッピングするように動作可能である
   画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記判断手段は、前記シーンにおける、前記カメラを基準とした前記オブジェクトの位置を検出するように動作可能であり、前記シーンにおける前記オブジェクトと、前記基準位置との間の距離を、前記シーンにおける、前記カメラを基準とした前記オブジェクトの位置に基づいて判断するように動作可能である
   画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記受信手段は、前記カメラによって撮影された一連の画像を受信するように動作可能であり、
   前記判断手段は、
   前記シーンにおける、前記カメラを基準として前記オブジェクトの前記検出された位置に基づいて、前記撮影画像における前記オブジェクトの位置を、前記一連の画像にわたって追跡して、追跡データを生成し、
   前記追跡データに基づいて、前記シーンにおける前記オブジェクトと、前記基準位置との間の距離を判断するように動作可能である
   画像処理装置。
10. 請求項１に記載の画像処理装置であって、
    前記判断手段は、前記撮影画像を解析することにより、前記距離データを生成するように動作可能である
    画像処理装置。
11. 請求項１に記載の画像処理装置であって、
    前記距離データを距離センサから受信するように動作可能な距離データ受信手段をさらに具備し、
    前記判断手段は、前記距離センサから受信した前記距離データに応じて、前記シーンにおける前記オブジェクトと、前記基準位置との間の距離を判断するように動作可能である
    画像処理装置。
12. 請求項１に記載の画像処理装置であって、
    前記シーンは、平面を有し、
    前記判断手段は、前記シーンにおける前記オブジェクトと、前記平面とが接触する交点を検出し、当該交点と前記基準位置との間の距離を判断するように動作可能であり、
    前記オブジェクトオフセット量は、前記交点と前記基準位置との間の距離に応じて決定される
    画像処理装置。
13. 請求項１に記載の画像処理装置であって、
    前記生成手段は、前記撮影画像を解析することにより、前記シーンにおける複数のオブジェクトを検出するように動作可能であり、
    前記生成手段は、前記シーンにおける前記複数のオブジェクトの互いの距離が、閾値距離以内であるか否かを検出するように動作可能であり、
    互いの距離が前記閾値距離以内であるとして検出されたオブジェクトは、前記シーンにおける１つのオブジェクトグループに属するとして指定され、
    前記判断手段は、前記シーンにおける前記オブジェクトグループの各オブジェクトと、前記基準位置との間の距離をそれぞれ検出し、当該シーン内の当該オブジェクトグループの各オブジェクトと、前記基準位置との間の距離の平均を示す平均距離値を生成するように動作可能であり、
    前記生成手段は、前記シーンにおける前記複数のオブジェクトの互いの距離が前記閾値距離以内であるとして検出された場合、前記オブジェクトグループの各オブジェクトの位置を、前記シーンにおける前記複数のオブジェクトの前記検出された位置から、前記平均距離値に基づくグループオフセット量だけ変位させることにより、前記変更画像を生成するように動作可能である
    画像処理装置。
14. 請求項１に記載の画像処理装置であって、
    前記基準位置は、前記カメラの位置である
    画像処理装置。
15. 請求項１に記載の画像処理装置であって、
    前記基準位置は、前記カメラの光軸に直交し、且つ前記カメラの位置を通る基準線上に位置し、
    前記基準位置は、前記基準線と直交し、且つ前記オブジェクトを通るオブジェクト位置線と、前記基準線とが交わる前記基準線上の位置に位置する
    画像処理装置。
16. 請求項１５に記載の画像処理装置であって、
    前記基準線は、前記シーンにおけるシーン特徴と平行である
    画像処理装置。
17. 請求項１に記載の画像処理装置であって、
    前記受信手段は、互いに交わる光軸を有する複数の異なるカメラから、前記シーンの複数の異なる画像に対応する複数の撮影画像を受信するように動作可能であり、
    前記判断手段は、前記複数の異なるカメラから受信した前記複数の異なる撮影画像を解析することにより、前記シーンにおける前記オブジェクトと、前記基準位置との間の距離を判断するように動作可能である
    画像処理装置。
18. 請求項１に記載の画像処理装置であって、
    前記シーンは、スポーツのグラウンドを有するスポーツスタジアムを含み、
    前記シーンにおける前記オブジェクトは、前記スポーツグラウンド上の選手であるか、又は当該スポーツにおいて用いられるスポーツオブジェクトである
    画像処理装置。
19. シーンの画像を撮影して撮影画像を生成するように動作可能な１台又は複数台のカメラと、
    請求項１に記載の画像処理装置と
    を具備する画像処理システム。
20. 請求項１９に記載の画像処理システムであって、
    前記変更画像と前記撮影画像とを一対の画像として表示するように動作可能なディスプレイをさらに具備する
    画像処理システム。
21. カメラから、当該カメラにより撮影された、少なくとも１つのオブジェクトを含むシーンの画像に対応する撮影画像を受信し、
    前記シーンにおける前記オブジェクトと、前記カメラを基準として規定された基準位置との間の距離を、当該基準位置と当該シーンにおける当該オブジェクトとの間の距離を示す距離データに基づいて判断し、
    前記撮影画像における前記オブジェクトの位置を検出し、
    前記シーンにおける前記オブジェクトに対応する、前記撮影画像における画像特徴に基づいて、前記変更画像における前記オブジェクトの位置を、前記撮影画像において判断された前記オブジェクトの位置から、前記シーンにおける前記オブジェクトと、前記基準位置との間の前記判断された距離に基づくオブジェクトオフセット量だけ変位させることにより、前記撮影画像から変更画像を生成し、当該変更画像と前記撮影画像とがディスプレイ上で一対の画像として一緒に見られた場合、前記オブジェクトが、前記ディスプレイから所定の距離だけ離れた位置にあるように知覚されるようにし、
    前記距離データは、前記撮影画像における各画素について、前記シーンにおける当該各画素に対応するシーン特徴と、前記基準位置との間の距離を示す距離マッピングデータを含む
    画像処理方法。
22. コンピュータに、請求項２１に記載の画像処理方法の各ステップを実行させるためのプログラム。

Images