JP2010041725A - イベントログ生成装置及びイベントログ生成方法 - Google Patents

Abstract

【課題】スポーツイベント等のビデオ映像におけるイベントログの生成にかかる費用及び労力を低減する。
【解決手段】スポーツイベントに存在する要素と関連付けられたゲームイベントのイベントログの生成方法が提供される。当該方法は、前記スポーツイベントにおける各要素に対応する画像特徴を、一連のビデオ画像内で追跡し、前記追跡された画像特徴から、前記要素のうちの１つに対応する第１の画像特徴を選択して、当該要素を選択要素として指定する。当該方法はさらに、前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲームイベントを選択し、前記選択されたゲームイベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する。
【選択図】図１１

Description

本発明は、イベントログ生成方法及びイベントログ生成装置、並びにイベントログを生成するためのプログラム及びグラフィカルユーザインタフェースに関する。

サッカーの試合中継等のスポーツ放送の分野においては、解説者が、各選手について試合統計データをまとめることができるように、試合のライブ映像又はスタジアムの解説席から選手を視覚的に識別するのが一般的である。さらに、ハイライト番組のために、操作者が、適切なレビューソフト及び編集ソフトを用いて、ライブビデオ映像から、試合のフィールド上における各選手の位置及び動きに関する情報をまとめることもできる。

しかしながら、記録されたビデオ映像のレビュー及び編集は、時間及び費用がかかるだけでなく、ヒューマンエラーを生じやすい。操作者を支援するために、自動システムを利用し、映像上で実行される画像認識技術を用いて各選手を追跡することもできるが、選手がボールをキックする、別の選手にタックルする等のゲーム内イベントに関わっている場合、そのようなシステムによって自動的にイベントをロギングするのは困難である。

さらに、試合中の選手の位置に関する注釈付きデータを利用し、３Ｄ仮想シミュレーションを用いてその試合を再現することができる。しかし、そのシミュレーションをリアリティあるものにするためには、そのシミュレーション中で、選手にその試合で起こった現実のイベントに即した適切な行動を取らせるように、ゲーム内イベントの種類に関するデータを、シミュレーションを実行する装置に入力する必要がある。

特許文献１に記載されるようないくつかのシステムは、複数のカメラを用いて、サッカーの試合等のスポーツイベントにおける対象者を追跡する。このシステムによって生成される位置データには、操作者によって、試合の映像とは別に表示される別個のリストを用いて、適切なイベントにより注釈を付けることができる。

国際公開第ＷＯ０２／０７１３３４号パンフレット 特開２００６−０１２０１２号公報 特開２００６−２５１８８５号公報 スペイン特許公開第２１６５７８３号

しかし、対象となるイベントが多数ある場合、操作者は、リストから選手を選択し、その選手に関連すると思われるイベントを、映像から目視で確認しなければならないため、大量の映像に注釈を付けるのには時間がかかる。

本発明は、上記の課題を軽減又は緩和しようとするものである。

本発明の第１の態様では、スポーツイベントに存在する要素と関連付けられたゲーム内イベントのイベントログの生成方法が提供される。当該方法は、前記スポーツイベントにおける各要素に対応する特徴画像を、一連のビデオ画像内で追跡し、前記追跡された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該選択要素を選択要素として指定し、前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択し、前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該要素のイベントログを生成する。

これにより、例えばサッカーの試合の選手に対応する特徴画像を追跡し、所望の選手に対応する特徴画像を選択することにより、操作者は、イベントリストから適切なゲーム内イベント（キック又はヘディング等）を選択して、そのゲーム内イベントをその選手と関連付けることができる。さらに、或る選手に対応する特徴画像を、例えばコンテンツ処理ワークステーションが自動的に選択して、その選手をイベントリストから選択された適切なイベントと関連付けることもできる。したがって、試合統計データを作成するためにビデオ画像に注釈を付ける作業にかかる費用及び労力を低減することができる。さらに、例えば、得られたイベントログを、実際のサッカーの試合に関わる選手及びボールの追跡データを含む３Ｄシミュレーションに対する入力として用いることもできるので、実際の試合の３Ｄシミュレーションを向上させることができ、シミュレーション上の選手に、ゲーム内イベントと関連付けられた行為を再現させることができる。

前記イベントログの生成方法はまた、前記第１の特徴画像を、前記イベントリストと共に前記一連のビデオ画像内で表示し、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択する。

これにより、ユーザがイベントを選択し易くなるため、注釈付け処理がスピードアップする。

前記イベントリストは、前記第１の特徴画像に隣接して表示されてもよい。

これにより、ユーザは、画面上の、ビデオが表示された領域に集中することができる。これもやはり、注釈付け処理を迅速にする。

前記イベントログの生成方法はまた、前記一連のビデオ画像を解析することにより、各ビデオ画像内の、前記スポーツイベントと関連付けられたゲームオブジェクトの位置を追跡して、前記一連のビデオ画像内での前記ゲームオブジェクトの移動方向に関連する動きデータを生成し、前記動きデータを解析することにより、前記ゲームオブジェクトの移動方向の変化に応じて、ゲーム内イベントの発生を検出し、ゲーム内イベントの発生が検出された１つ又は複数のビデオ画像にフラグを付加することにより、当該ビデオ画像中でゲーム内イベントが発生していることを示してもよい。

これにより、イベントを含むフレームを自動的に検出することができるので、ユーザはより迅速に関連するフレームにスキップできるようになる。

前記ゲームオブジェクトの移動方向の変化が所定の閾値よりも大きい場合に、ゲーム内イベントの発生が検出されてもよい。

前記イベントログの生成方法は、前記一連のビデオ画像を解析することにより、前記選択要素に対する前記ゲームオブジェクトの位置を検出し、前記選択要素に対する前記ゲームオブジェクトの前記検出された位置に応じて、前記イベントリストからゲーム内イベントを選択してもよい。

これは、複数の関連するイベントを選択し易くするために特に有用である。例えば、以下に説明するサッカーの実施形態では、ゲームオブジェクト（例えば、ボール）が頭の高さ付近にあるときにイベントの発生が検出された場合、そのイベントはボールのヘディングである可能性が高いことを意味する。

前記イベントログの生成方法は、前記ゲームオブジェクトと前記各要素との間の相対的な距離を検出して、当該ゲームオブジェクトと当該各要素との間の当該距離に関連する距離データを生成し、前記距離データを解析して、ゲーム内イベントの発生が検出されたときにどの要素が前記ゲームオブジェクトに最も近接していたかを検出し、前記ゲーム内イベントと、当該ゲーム内イベントの発生時に前記ゲームオブジェクトに最も近接していたとして検出された要素とを関連付けてもよい。

これもやはり、イベントログを自動で生成するために役立つ。

前記イベントログの生成方法はまた、前記一連のビデオ画像を連続表示し、ゲーム内イベントが発生しているとしてフラグを付加されたビデオ画像において、前記一連のビデオ画像の連続再生を一時停止し、前記選択要素と関連付けるために、ユーザにより前記イベントリストから適切なゲーム内イベントが選択されるように、前記第１の特徴画像を前記イベントリストと共に表示してもよい。

これもやはり、イベントログの生成処理をスピードアップするのに役立つ。

前記各要素は、当該要素を固有に識別可能な固有識別データに関連付けられてもよい。

また、コンピュータに、前記イベントログの生成方法における各ステップを実行させるためのコンピュータ読み取り可能な命令を含むプログラムも提供される。

本発明の別の態様では、スポーツイベントにおける要素と関連付けられたゲーム内イベントのイベントログの生成装置が提供される。当該装置は、前記スポーツイベントにおける各要素に対応する特徴画像を、一連のビデオ画像内で追跡する追跡手段と、前記追跡された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定する特徴画像選択手段と、前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択するゲーム内イベント選択手段と、前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する関連付け手段とを具備する。

前記イベントログの生成装置は、前記第１の特徴画像を、前記イベントリストと共に前記一連のビデオ画像内で表示する表示手段をさらに具備し、前記ゲーム内イベント選択手段は、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択するように動作可能である。

本発明のさらに別の態様では、スポーツイベントにおける要素と関連付けられたゲーム内イベントのイベントログの生成装置が提供される。当該装置は、前記スポーツイベントにおける各要素に対応する特徴画像を、一連のビデオ画像内で追跡する追跡装置と、前記追跡された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定する特徴画像選択部と、前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択するゲーム内イベント選択部と、前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する関連付け装置とを具備する。

前記イベントログの生成装置は、前記第１の特徴画像を、前記イベントリストと共に前記一連のビデオ画像内で表示する表示装置をさらに具備し、前記ゲーム内イベント選択部は、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択するように動作可能である。

前記イベントリストは、前記第１の特徴画像に隣接するように表示されてもよい。

前記追跡装置は、前記一連のビデオ画像を解析することにより、各ビデオ画像内の、前記スポーツイベントと関連付けられたゲームオブジェクトの位置を追跡して、前記一連のビデオ画像内での前記ゲームオブジェクトの移動方向に関連する動きデータを生成するように動作可能である。前記イベントログの生成装置は、前記動きデータを解析することにより、前記ゲームオブジェクトの移動方向の変化に応じて、ゲーム内イベントの発生を検出する検出部と、ゲーム内イベントの発生が検出された１つ又は複数のビデオ画像にフラグを付加することにより、当該ビデオ画像中でゲーム内イベントが発生していることを示すフラグ装置とをさらに具備してもよい。

前記ゲームオブジェクトの移動方向の変化が所定の閾値よりも大きい場合に、ゲーム内イベントの発生が検出されてもよい。

前記追跡装置は、前記一連のビデオ画像を解析することにより、前記選択要素に対する前記ゲームオブジェクトの位置を検出するように動作可能であり、前記ゲーム内イベント選択部は、前記選択要素に対する前記ゲームオブジェクトの前記検出された位置に応じて、前記イベントリストからゲーム内イベントを選択するように動作可能である。

前記追跡装置は、前記ゲームオブジェクトと前記各要素との間の相対的な距離を検出して、当該ゲームオブジェクトと当該各要素との間の当該距離に関連する距離データを生成し、前記距離データを解析して、ゲーム内イベントの発生が検出されたときにどの要素が前記ゲームオブジェクトに最も近接していたかを検出するように動作可能であり、前記関連付け装置は、前記ゲーム内イベントと、当該ゲーム内イベントの発生時に前記ゲームオブジェクトに最も近接していたことが検出された要素とを関連付けるように動作可能である。

前記イベントログの生成装置は、前記一連のビデオ画像を連続表示するためのディスプレイをさらに具備してもよく、また、前記イベントログの生成装置は、ゲーム内イベントが発生しているとしてフラグを付加されたビデオ画像において、前記一連のビデオ画像の連続再生を一時停止し、前記選択要素と関連付けるために、ユーザにより前記イベントリストから適切なゲーム内イベントが選択されるように、前記第１の特徴画像を前記イベントリストと共に前記ディスプレイに表示するように動作可能である。

前記各要素は、当該要素を固有に識別可能な固有識別データに関連付けられてもよい。

本発明のさらに別の態様では、スポーツイベントにおける要素と後に関連付けられるゲーム内イベントのイベントログを生成するためのグラフィカルユーザインタフェースが提供される。当該グラフィカルユーザインタフェースは、前記スポーツイベントにおける各要素に対応し、一連のビデオ画像のうちの１つの画像内で表示される複数の特徴画像と、前記表示された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定する特徴画像選択部と、前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択するゲーム内イベント選択部と、前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する関連付け装置と、前記一連のビデオ画像内の前記第１の特徴画像を、前記イベントリストと共に表示する表示装置とを具備し、前記ゲーム内イベント選択部は、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択するように動作可能である。

本発明の種々のさらに別の態様及び特徴は、添付の特許請求の範囲において規定される。

本発明の一実施形態におけるイベントロギング装置において用いられるオブジェクト追跡システム概略図である。 本発明の実施形態におけるイベントロギング装置において用いられるオブジェクト追跡方法のフロー図である。 本発明の一実施形態におけるイベントロギング装置及び方法において用いられるオブジェクト追跡の概略図である。 追跡対象の選手を含むサッカーの試合を示す、シーンから取得されたビデオ画像の例である。 図４Ａに示す図と等価且つ技術的に同一な線図である。 背景モデルを生成するために、平均を取得することにより処理されたビデオ画像の例である。 図５Ａに示す図と等価且つ技術的に同一な線図である。 分散を考慮した場合の背景モデルを示す図である。 図５Ｃに示す図と等価且つ技術的に同一な線図である。 追跡された選手の位置を示すために、本発明の実施形態の技術に従って処理されたビデオ画像の例である。 図６Ａに示す図と等価且つ技術的に同一な線図である。 ２つの異なるカメラによって取得された２つのビデオ画像の例であり、一方は、サッカーグラウンドの各サイドを示し、他方は、選手の位置が経時的に追跡されるサッカーの試合の仮想表現の例を示す。 図７Ａに示す図と等価且つ技術的に同一な線図である。 追跡される選手にラベルが付された、サッカーの試合のビデオ画像の表現である。 試合のビューを変更することができる、サッカーの試合の仮想モデルの３次元表現である。 合成された要素によって試合を表現するサッカーの試合の仮想モデルを作成する、クライアント機器がインターネットを介して利用可能なシステムの概略ブロック図である。 本発明の一実施形態に係る、ゲーム内イベントと選手とを関連付けるイベントリストが付された、サッカーの試合の画像の概略図である。 本発明の一実施形態に係るイベントログの生成方法のフロー図である。 本発明の実施形態に係るゲーム内イベントの検出方法のフロー図である。 本発明の一実施形態に係る、オブジェクトの移動方向の変化を検出するための動きベクトルのｘ−ｙプロットを示す図である。

本発明の実施形態の上述した利点及び特徴、並びにその他の利点及び特徴は、添付の図面を参照して説明される以下の例示的な実施形態の詳細な説明から明らかになる。

イベントログの生成方法及び装置が開示される。以下の説明において、本発明の実施形態の包括的な理解を提供するために、複数の具体的な詳細が提示される。しかしながら、本発明を実施するために、これらの具体的な詳細を採用しなければいけないわけではないことを当業者は理解するであろう。逆に、当業者にとって既知の具体的な詳細は、実施形態の提示を簡潔にするために省略されている。

図１は、本発明の実施形態に係るイベントロギング装置及び方法において用いられるオブジェクト追跡システムの概略図を示す。図１に示す実施形態では、追跡対象のオブジェクトは、サッカーグラウンド３０上のサッカー選手（図示せず）である。グラウンド３０の高精細（High Definition：ＨＤ）ビデオ画像（１９２０×１０８０画素）が、１つ又は複数の高精細カメラによって取得される。本発明の実施形態は、２台以上のカメラから取得されたビデオ画像においてオブジェクトを追跡するために用いることができるが、いくつかの例では、１台だけのカメラが用いられる。周知の通り、ＨＤカメラは高価であるため、１台だけのカメラを用いることにより、本発明の実施形態の技術を利用するシステムの実施に必要な費用を低減することができる。しかしながら、１台だけのカメラを用いる場合、オブジェクトが位置するシーンの１つの２次元ビューしか提供することができない。結果として、１つのオブジェクトが別のオブジェクトを隠してしまう遮蔽イベントが生じる可能性が高くなるため、ビデオ画像によって表されるシーン内のオブジェクトの追跡がより困難になる。このような単一のカメラ２０の例が図１に示されるが、カメラ２２．１、２２．２によって示されるように、任意選択で、サッカーグラウンド３０の各半分にそれぞれ向けられた２台のカメラを用いてもよい。

いくつかの実施形態では、カメラ２０及び／又はカメラ２２．１及び２２．２と組み合わせて、さらなるカメラ２２．３を用いて、サッカーボール等のオブジェクトのサッカーグラウンド３０に対する位置を検出してもよい。これについては後により詳細に説明する。

図１では、ビデオカメラ２０が、サッカースタジアム内の固定位置に設置され、カメラ２０が取得したビデオ画像を表す信号をコンテンツ処理ワークステーション１０に通信するように構成される。コンテンツ処理ワークステーション１０は、グラウンド上の選手の位置を経時的に追跡するために、画像処理及び他の動作を実行する。次に、特定の選手がグラウンドの特定の部分において費やした時間の長さ、各選手が走った距離等のメタデータ及び試合統計データを生成することができるように、選手の位置を経時的に表すデータがロギングされる。選手の位置を経時的に表すデータにより、各選手毎に経路データが形成される。この経路データは、各選手がビデオ画像内でとった経路に関連する。この経路データは、（２次元の）ビデオ画像からは収集できない、グラウンド上での選手の位置に関連した選手の動きに関する情報を提供するために、サッカーグラウンド（オブジェクト平面）の３次元モデルに対して生成される。その後、サッカーの試合の映像が適切な媒体を介して視聴者に送信される場合に、ユーザの視聴経験をより良いものとするために、又はサッカーチームを指導するコーチを支援するために、この生成された経路データを用いることができる。グラウンド３０上の選手等のオブジェクトの追跡については、以下でより詳細に説明する。

本発明の実施形態では、コンテンツ処理ワークステーション１０として、SONY（登録商標）、Toshiba（登録商標）、及びIBM（登録商標）が共同開発したＣｅｌｌプロセッサを用いる。Ｃｅｌｌプロセッサは、その並列性により、画像処理、画像認識及びオブジェクト追跡等の計算量の多い処理タスクの実行に特に適している。しかしながら、本発明の実施形態を実施するために、任意の適切なワークステーション及び処理ユニットを用いてもよいことを当業者は理解するであろう。

本発明の実施形態の技術によれば、ＨＤビデオカメラ２０を用いて生成されたビデオ画像は、グラウンド３０上の選手を追跡できるように、グラウンド全体のビューを取得するように構成される。したがって、固定位置のカメラ２０から、グラウンド全体が撮影されるが、上述のように、グラウンド全体を撮影するために、２台以上のカメラを用いてもよい。一例では、上述のように、それぞれがグラウンドの各半分に向けられた２台のカメラ２２．１及び２２．２が用いられてもよい。この例では、各カメラによって生成されたビデオ画像は、英国特許出願第０６２４４１０．７号（英国特許出願公開第ＧＢ２４４４５６６号）に記載されるように、超高解像度のビデオ画像を形成するために、コンテンツ処理ワークステーション１０によってまとめられる。本実施形態では、カメラ群からの出力は、このまとめ処理を受けた後、１つの超高解像度画像として見なすことができる。

光学的にズームする必要なく、したがってスタジアムの全体画像に影響を与えずに選手の特定の特徴をハイライトする能力等、この超高精細構成の利点は非常に多い。さらに、イベントの背景は静的であり、追跡対象のオブジェクトのほうが高い画面解像度を有するため、オブジェクトの自動追跡が容易になる。

本発明の実施形態に係るイベントロギング装置及び方法において用いられるオブジェクト追跡を、図２、図３、図４を参照して以下で説明する。

図２は、本発明の実施形態に係るオブジェクト追跡方法のフローチャートである。オブジェクトを追跡するために、受信されたビデオのうちの、所定数のフレームにわたって実質的に静的であると検出された部分から、背景モデルが構築される。最初のステップＳ３０において、画像の背景モデルを構築するために、カメラ２０から受信された、サッカーグラウンドを表すビデオ画像を処理する。この背景モデルは、個々の選手を識別及び追跡する際に役立つ前景マスクを作成するために構築される。この背景モデルは、ステップＳ３０において、画素平均及び連続フレーム間の画素値の分散を各画素について求めることによって形成される。したがって、前景マスクを識別するために、連続フレームにおいて画素の平均値が大幅に変化しない場合、それらの画素を背景画素として識別する。

このような背景／前景の分割は、画像処理分野において周知の処理であり、本発明の実施形態の技術は、２００４年インドコンピュータビジョン及び画像処理会議（Indian Conference on Computer Vision Graphics and Image Processing; ICVGIP）の会報において発表された、Manzanera and Richefeu著「Σ−Δ背景推定に基づくロバスト且つ計算効率的な動き検出アルゴリズム（A Robust and Computationally Efficient Motion Detection Algorithm Based on Σ-Δ Background Estimation）」と題する文献に記載のアルゴリズムを利用する。しかし、本発明の実施形態の技術はこの周知の技術に限定されると解釈されるべきではなく、背景モデルに対する前景マスクを追跡に用いるために生成する他の技術も周知である。

ビデオカメラのビューが人ごみを含む場合、人ごみはおそらく動き回るため、背景モデルに含められる可能性は低いことが理解されるであろう。人ごみを前景に含めることは、オブジェクト追跡を実行する際に、Ｃｅｌｌプロセッサでの処理負荷を増加させる可能性があるため、望ましくない。また、当然のことながら、ほとんどのスポーツ放送局は、人ごみの中の人々を追跡することに興味を持つとは考えにくいので、人ごみを前景に含める必要はない。

開示するオブジェクト追跡システムでは、背景モデルは試合の開始時に構築され、選手がグラウンドに入る前に構築することもできる。さらに、影等の試合全体を通じて変化し得る照明条件における任意の変化を考慮に入れるために、試合を通じて背景モデルを定期的に再計算することができる。

ステップＳ４０において、異なる領域を識別するために、カメラから新たに受信された画像から、背景モデルを減算する。このように、画像から背景モデルを減算して得られた画像を用いて、各選手のためのマスクを生成する。ステップＳ４５において、背景モデルを減算して得られたバージョンの画像における、画素値に対する閾値が設定される。背景モデルは、まず、ビデオ画像の一連のフレームにわたる画素の平均を求めることによって生成される。各画素の平均値により、ビデオ画像のフレームからの各画素の分散を算出することができる。そして、この画素の分散を用いて、閾値が決定される。この閾値は、ビデオ画像の全画素にわたって、画素毎に異なる。人ごみを含む部分等、画像のうちの分散が高い部分に対応する画素の場合、閾値を高い値に設定することができる。一方、グラウンドの色及び内容は、選手の存在を別とすれば一貫して同じであるため、画像のうちのグラウンドに対応する部分の閾値は低くされる。このように、閾値は、前景要素が存在するか否かを判断するため、これに応じて前景マスクが識別される。ステップＳ５０において、平均人体モデルとの相関に基づく形状確率を用いて、前景マスク内の形状が抽出される。さらに、例えば選手のユニフォームの色により選手を識別するための色確率マスクを作成するために、画像から色特徴が抽出される。これにより、各チームのユニフォームの色を用いて、選手を互いに区別することができる。この目的のために、コンテンツ処理ワークステーション１０は、各サッカーチームのユニフォームの既知の色に応じて、カラーテンプレートを生成する。したがって、各チームのユニフォームの色、ゴールキーパーのユニフォームの色、審判のユニフォームの色が必要とされる。しかし、他の適切なカラーテンプレート及び／又はテンプレートマッチング処理を用いてもよいことが理解されるであろう。

図２に戻ると、ステップＳ５０において、コンテンツ処理ワークステーション１０は、各カラーテンプレートの各画素と、選手の画像のユニフォーム領域に対応する画素とを比較する。次に、コンテンツ処理ワークステーション１０は、カラーテンプレートの画素と選択された画素との類似性を示す確率値を生成して、チームの色モデル及びグラウンドの色モデルから、ＨＳＶ（Hue Saturation Value：色相、彩度、明度）色空間における距離に基づいて色確率を形成する。さらに、形状確率を用いて、平均人体モデルとの相関に基づく選手の識別を行う。さらに、動き確率は、開始位置、速度パラメータ、及び加速度パラメータを用いた再帰最小２乗法推定器によって予測された位置からの距離に基づく。

選手マスクの作成が図３Ａに図示されている。図３Ａは、ビデオカメラ２０によって生成されたサッカーグラウンド３０のカメラビュー２１０を示す。既に説明したように、グラウンド３０は背景モデルの一部を形成し、一方、上述のように、選手２３０、２３２、２３４、２３６、２３８、２４０は、前景マスクの一部を形成する。選手のバウンディングボックスが、各選手の周囲の破線として示されている。

これまでのステップＳ３０、Ｓ４０、Ｓ４５、及びＳ５０は、カメラ画像処理に関して行われる。前景マスクを作成すると、ステップＳ５５において、まず、カメラとの近さにより選手の軌道をソートした後、選手の追跡が実行される。したがって、カメラに最も近いと識別された選手は最初に処理され、これらの処理された選手は追跡処理から除外される。ステップＳ６０において、選手位置が更新され、形状確率、色確率及び動き確率が最大化される。ステップＳ７０において、遮蔽マスクが構築される。この遮蔽マスクは、他のより近い選手の軌道によって隠されていることが既に分かっている画像領域を除外する。これにより、他の選手によって部分的に又は全体的に遮蔽された選手は、可視の画像領域とだけマッチングされることが保証される。この遮蔽マスクにより、軌道の結合（この軌道の結合により、遮蔽イベントが起こると、２つの軌道が同じ選手につながってしまう）の発生率が低減するため、追跡の信頼性が向上する。軌道の結合は、多数のターゲットが色によって（容易に）見分けがつかず、同じように見える場合に特に問題である。遮蔽マスクによって、画素を近い方の選手に割り当て、遠い方の選手からは除外できるようにし、両方の軌道が同じ画素のセットにマッチングされることを防止することで、それらの別個の識別性を維持することが可能になる。

その後、図３（Ａ）及び図３（Ｂ）に示すように、カメラ画像内に提供された特徴を抽出し、これらの特徴を３Ｄモデルにマッピングすることにより各選手を追跡する処理が続く。したがって、カメラによって生成された２Ｄ画像内の位置を対応させるために、形状確率、色確率及び動き確率を最大化させる３Ｄ位置を選手に割り当てる。以下で説明するように、選手の選択及び２Ｄ画像から３Ｄモデルへの選手のマッピングは、遮蔽イベントが検出された場合、修正される。ステップＳ６５において、２Ｄ画像から３Ｄモデルへのマッピングを支援するために、追跡対象の選手が初期化され、形状確率及び色確率のピークが、最も適切に選択された選手にマッピングされるようにする。なお、ステップＳ６５において実行される初期化は、典型的には追跡処理の開始時において、一度だけ実行されるということを強調しておく。システムを良好に初期化するためには、選手は十分に分離されているべきである。初期化後、選手の追跡における誤差は、本発明の実施形態の技術に従って自動的に補正される。この補正に、手動による介入は必要ない。

３Ｄモデルにおいて、２Ｄ画像の位置からの追跡を実行するために、投影マトリクスＰを用いた変換が実行される。追跡のためには、２Ｄ画像の位置を３Ｄモデル内の位置に関連付けることができなければならない。この変換は、投影（Ｐ）マトリクスを用いることによって達成される。２Ｄ空間における点は、３Ｄ空間における線に等しい。

第３の次元、すなわちカメラからの距離は未知であり、したがって、３Ｄ空間にわたる線のように見えるため、２Ｄ空間における点は、３Ｄモデルにおける線に等しい。オブジェクト（選手）の高さ（身長）を用いて、カメラからの距離を求めることができる。３Ｄ空間における点は、既知の基準レベル（人間の平均身長）を上回る、固定された高さにある線に沿った点を選択することによって得られる。投影マトリクスＰは、コーナー３１Ａ、３１Ｂ、３１Ｃ、３１Ｄ等のグラウンド３０の物理的な特徴を用いてカメラパラメータを求めるカメラ較正処理により、カメラにつき一回、試合前に予め取得される。したがって、投影マトリクスＰは、識別された選手の２Ｄ位置を３Ｄモデルにマッピングする際に役立ち得る。これは周知の技術であり、確立された種々の方法が用いられる。物理的パラメータに関して、投影マトリクスＰは、カメラのズームレベル、焦点中心、３Ｄ位置及び３Ｄ回転ベクトル（３Ｄ位置が向いている方向）を含む。

ステップＳ６０において実行された追跡アルゴリズムはスケーラブルであり、グラウンド上のすべての点が少なくとも１つのカメラから（十分な解像度で）可視でありさえすれば、１つ又は複数のカメラにおいて動作可能である。

色及び形状のマッチングに加えて、ステップＳ６０は、各選手をより高い確率で正確に識別するために、追跡中の選手の動きも含まれる処理を有する。したがって、フレーム間での選手の相対的な動きを、相対的な動きの期間及び方向の両方の観点について求めることができる。この相対的な動きを後続のフレームに対して用いて、特定の選手を識別するための検索領域を生成することができる。さらに、図３Ｂに示すように、サッカーグラウンド上の選手の相対的な動き方向を反映するために選手の位置のグラフィカル表示に対して配置された、２３０．１、２３２．１、２３４．１、２３６．１、２３８．１、２４０．１への線により、サッカーグラウンドの３Ｄモデルを増強することができる。

ステップＳ７０において、３Ｄモデルにおける選手の相対的な位置が識別されると、それに応じて、この位置がサッカーグラウンドの２Ｄ画像ビューに逆投影され、３Ｄモデルにおける位置によって識別された選手の周囲に、相対的な境界が投影される。また、ステップＳ７０において、選手の周囲の相対的な境界が、その選手に対する遮蔽マスクに追加される。

図３Ｂは、サッカーグラウンドの仮想モデル２２０の平面図を示す。図３に示す実施形態において、選手２３０、２３２、及び２３４（グラウンドの左サイド）は、選手２３６、２３８、２４０（グラウンドの右サイド）のユニフォームとは異なる色のユニフォームを着ており、したがって異なるチームに属することを示すため、コンテンツ処理ワークステーション１０によって識別されている。このように選手を区別することにより、選手の服の色によって容易に互いを区別することができるので、遮蔽イベントが起こったときの各選手の検出が容易になる。

図２を再び参照して、ステップＳ６０において、カルマンフィルタリング等の既知の技術を用いて、各選手の位置が追跡されるが、他の適切な技術を用いてもよいことが理解されるであろう。この追跡は、カメラビュー２１０及び仮想モデル２２０の両方において行われる。本発明の一実施形態では、コンテンツ処理ワークステーション１０が仮想モデル２２０における選手の位置を用いて実行する速度予測を用いて、カメラビュー２１０における各選手の追跡を支援する。

ステップＳ６０及びＳ７０は、決定ボックスＳ７５が示すように、すべての選手が処理されるまで繰り返される。したがって、すべての選手が処理されていない場合、処理はＳ６０に進み、一方、処理が完了した場合、処理はＳ８０において終了する。

図２に示すように、上記で説明した方法は２つのさらなるステップＳ８５及びＳ９０を有する。これらのステップは、２つ以上のカメラによって画像が生成された場合に必要とされる。すなわち、処理ステップＳ３０〜Ｓ８０を、各カメラからのビデオ画像に対して実行することができる。そして、各選手に、各カメラからの検出確率が提供される。したがって、ステップＳ８５によれば、各選手に対する各カメラからの検出確率に従って、各選手の位置が推定され、各カメラにより提供された確率のうち最も高い確率から推定された選手の位置、すなわち各選手について最も高い確率を有する位置が、その選手の位置として識別される。

サッカーグラウンド上の選手の追跡においてエラーが生じたと判断された場合、ステップＳ９０において、その選手に対する追跡を再初期化することができる。追跡におけるエラーの検出は、特定の追跡について、特定の選手の検出確率が比較的低い場合に生成され、それにより追跡が再初期化される。

図２に示す方法を実行する結果として、各選手についての経路データが生成され、この経路データは、ビデオ画像の各フレームにおける選手の位置を提供し、これは試合全体を通じてその選手がとる経路を表す。したがって、この経路データは経時的な位置を提供する。

図４Ａ、図５Ａ、図５Ｃ、及び図６Ａは、サッカーの試合の例示的なビデオ画像のフレームの例を示す図である。この例では、本発明の技術を用いて選手が追跡され、仮想モデルであるサッカーの試合の３Ｄモデルが生成されている。説明を補足するとともに理解を助けるために、図４Ａ、図５Ａ、図５Ｃ、及び図６Ａに対応する線図が、図４Ｂ、図５Ｂ、図５Ｄ、及び図６Ｂにそれぞれ提供される。これらの線図は、フレームの例と等価且つ技術的に同一である。これらは、アプリケーションの後続の再生処理により図４Ａ、図５Ａ、図５Ｃ、及び図６Ａの例が分かりにくくなった場合の理解を助けるために提供される。図４Ａは、１台のＨＤカメラによって生成された、サッカーの試合のビデオ画像の例を示す図である。図５Ａは、各画素の平均値を用いて背景のみを生成するように画像処理された図４Ａのビデオ画像を示す図であり、図５Ｃは、画像における各画素の分散を用いて背景のみを生成するように画像処理された図４Ａのビデオ画像を示す図である。対応する線図である図５Ｄにおいて、人ごみ（図５における破線で示す）は、背景において最も高い分散を生じることが明らかである。図６Ａは、追跡の結果として、図３Ａに示す例に対応する各選手の周囲のバウンディングボックスが提供された例を示す図である。

図７Ａは、グラウンドの各半分をビューに入れるためにそれぞれ配置された２つのカメラ（カメラ２２．１、２２．２等）をビデオ画像の生成に用いた場合のフレームの例を示す図である。図２０は、図１３において示すビデオ画像の実際のスクリーンショットの例を示す図である。左半分及び右半分の両方において、選手はバウンディングボックスによって図示されるように追跡され、バウンディングボックスは各選手に重ねられる。

図７Ａの下半分では、図７Ａの上半分における２次元ビデオ画像において、カメラから見たグラウンド上のポジションに従って番号を付けられた選手の位置を表すために、サッカーの試合の仮想モデルが生成されている。したがって、サッカーの試合の３Ｄモデルのビューは、図３Ｂに示す仮想モデルの説明に対応する。また、説明を補足するとともに理解を助けるために、図７Ａに対応する線図が図７Ｂに提供される。この線図は、フレームの例と等価且つ技術的に同一であり、アプリケーションの後続の再生処理により図７Ａの例が分かりにくくなった場合の理解を助けるために提供される。

本発明の実施形態の技術によれば、上述したサッカーの試合の２Ｄ画像の３Ｄモデルに対して生成される追跡情報を、ビデオカメラによって取得されたビデオ画像に追加することができる。一例を図８に示す。図３Ｂに示すように、サッカーグラウンドの３Ｄモデルを用いて、サッカーグラウンド上の選手の追跡及び検出を支援する。選手の相対的な位置が３Ｄモデルから検出されると、その選手のためのマスクが２Ｄ画像に投影され、２Ｄ画像内での選手の検出及び追跡を支援するために用いられる。ここで、選手の位置が一旦比較的高い確率で識別されると、カメラの２Ｄビデオ画像内での選手の位置がわかる。これにより、追跡アルゴリズムにより推定されたその選手の識別情報を示すグラフィックを、コンテンツ処理ワークステーション１０によって、カメラからのライブビデオフィードに重ねることができる。したがって、図８に示すように、各選手３００、３０２、３０４、３０６には、対応するラベル３０８、３１０、３１２、３１４が提供され、その後、これらのラベルを用いて、選手の識別情報を追跡するために、グラウンドの周囲の選手が追跡される。このように、オブジェクトが位置する平面の３次元モデルを用いてオブジェクトを追跡することで、識別されたオブジェクトの相対的な位置がビデオ画像に逆投影され、グラフィカルラベル又は識別情報又は他の効果が導入され、それにより、ライブのビデオ画像又は処理済みのビデオ画像において選手の識別情報を見ることができる。

図８の画像ビュー内には、抽出された複数の画像の２つのセット３２０、３２２も示される。サッカーグラウンドの各サイドには、抽出された複数の画像のセット３２０、３２２のうちの１つのセットが提供される。各画像は、カメラ２０から提供された画像の分離された部分であり、この分離された部分は、選手をサッカーグラウンドからできるだけ分離することを目的とする。したがって、各選手を識別すると、ビデオ画像内のその選手の画像を、サッカーグラウンド上の各チームに対応する各セット内の他の選手と共に抽出して表示することができる。この抽出された画像を表示することにより、サッカーの試合を通して特定の選手を追跡するための別個のカメラの必要なしに、その選手を自動的に分離して視聴することができる。したがって、単一のカメラを用いてサッカーグラウンド全体を撮影することができ、あたかも各選手を追跡するために複数のカメラを用いているかのように、試合を通して各選手を追跡することができる。結果として、費用及びシステムの複雑性の大幅な低減を達成することができる。

図３Ａ及び図３Ｂを参照して上記で説明したように、各選手を追跡する処理では、サッカーグラウンドの３Ｄモデルを用が用いられ、選手の識別及び位置特定が支援される。選手の位置の推定に関する情報を収集し、ビデオ画像の各フレーム間でその情報を追跡する（オブジェクト経路データ）ことで、各選手の画像を合成し、それらの選手を３Ｄモデル内で表現することにより、ライブビデオ画像の仮想表現を作成することが可能である。さらに、仮想空間内でのモデルのビューの相対的な位置又は合成されたカメラ位置は、サッカーグラウンドの３Ｄモデルの相対的なビューを適応化するための既知の技術を用いて調整することができる。したがって、カメラにより提供された画像ビューから求められた経時的な選手の位置のそれぞれについて、所望のカメラ位置から見たそのライブのサッカーの試合の仮想３Ｄビューを再生することが可能である。

図９に示す例において説明すると、（図３Ｂ及び図８に示すように）各選手についての経路データを３Ｄモデルに適用することにより、３Ｄモデルが合成され、選手は、経時的に変化する位置における各選手のモデルによって表現される。さらに、３Ｄモデルのビューは変更可能であるため、実際にはカメラが存在しない位置における試合のビューを提供するために、カメラの相対的な位置を変更することができる。したがって、一例として、フリーキックが与えられた場合、図９に示すように、実際にはカメラが存在しない位置におけるフリーキックのビューを提供するために、カメラの相対的な位置をゴールの後ろから提供することができる。

上述のように、これは、投影マトリクスＰを用いて、カメラ位置の３Ｄにおける相対位置を、グラウンド３０のコーナーからマッピングすることによって達成される。さらに、上述のように各選手の相対的な向きを推定して、この相対的な向きを、各選手についての経路データと共に提供することができ、選手の合成モデルを、この経時的に変化する向きで表示することができる。したがって、上記の追跡処理の一部として識別された選手の向きが、経路データと共に提供され、サッカーの試合の３Ｄモデルが生成される。この３Ｄモデルは実画像と対応するため、この向きデータを用いて、モデル内での選手の向きが変更される。

さらなる技術が、図１０に示される。上記で示したように、追跡アルゴリズムを用いて生成された追跡情報（オブジェクト経路データ）を用いることにより、及び、現実のライブのサッカーの試合の表現を生成するために、合成表現を、図３Ｂにおける方向線によって示されるような選手の相対的な向きと組み合わせて各選手に適用することにより、現実のサッカーの試合の３Ｄ仮想モデルを合成することが可能である。サッカーグラウンド上の選手の追跡された位置を合成モデルで置き換えることにより、ライブビデオ画像が、３次元の合成された形で表現されるため、事実上、これは圧縮形式を表している。したがって、３Ｄ仮想モデルに従うサッカーの試合の表現を、インターネットを介してクライアント機器にストリーミングすることができる。このような構成は図１０に示されている。図１０において、コンテンツ処理ワークステーション１０は、データ記憶装置４００からデータを受信する。このデータは、サッカー選手の、事前に生成された合成表現を提供する。サッカーの試合の仮想表現を向上させるために、この表現は、各選手の姿勢、体勢、態度に関する情報も含むことができる。したがって、上記の追跡処理により生成された経路データを、選手の姿勢、体勢、態度に関する情報を含むように増強することができ、この情報を用いて、対応する選手の合成モデルを選択することができる。

コンテンツ処理ワークステーション１０は、データ記憶装置４００から合成表現を受信すると、サッカーの試合の３Ｄ仮想表現を生成することができ、任意選択で、この３Ｄ仮想モデルを表すデータを、後処理装置４１０に送ることもできる。配信サーバ４２０にストリーミングするための、サッカーの試合の３Ｄ仮想モデルに関する情報をパッケージ化するために、後処理装置４１０を用いることができる。

図１０において、複数のクライアント機器４２２のそれぞれは、所望のチーム又は特定の選手の所望のビューに関する選択肢を選択することにより、サッカーグラウンドの３Ｄ仮想モデルの特定のビューを要求することができ、これらの要求はその後、配信サーバ４２０に供給される。配信サーバ４２０は、その後、クライアント機器４２２によって提供された所望の選択結果に応じて、サッカーの試合の３Ｄ仮想モデルを表すデータをストリーミングするように構成されてもよい。その後、クライアント機器４２２は、カメラ２０によって生成されたライブビデオ画像の圧縮バージョンを効率的に提供する、３Ｄ仮想モデルの所望のビューを再生することができる。したがって、サッカーの試合の３Ｄモデルを再生するためのデータをクライアント機器にストリーミングすることができ、このデータは、ライブ又はほぼライブのサッカーの試合の低帯域幅バージョンを提供する。このデータは単に、各選手の経時的な位置の追跡を提供するオブジェクト経路データを含んでもよく、各選手の向きを含んでもよい。クライアント機器におけるアプリケーションソフトウェアによって、サッカーグラウンドの３Ｄモデルを生成することができる。このアプリケーションソフトウェアは、選手の合成モデルをロードし、経路データを適用して、サッカーの試合の３Ｄモデルを生成する。或いは、３Ｄモデルを用いて、実際の試合を再生するコンピュータゲームを作成してもよい。

選手と、ボールのキック等のイベントとの間の関連付けを含むイベントログを生成する本発明の実施形態を、図１１〜図１４を参照して以下に説明する。なお、当然ながら、追跡対象のオブジェクトは選手である必要はなく、レフェリー、ボール又は試合における他の要素、或いは馬術又はモーターレース等のイベントの参加者であってもよい。したがって、全体を通して、選手という用語は参加者という用語と同義であると解釈されたい。

イベントログを生成することにより、上述のようなサッカーグラウンドの３Ｄモデルを再生するためのデータを、選手が行う行動に関するデータを用いて増強することで、当該３Ｄモデルをよりリアリティあるものとすることができる。さらに、イベントログに記憶されたデータを用いて、試合後の分析のための試合統計データ等を生成して選手のコーチングに役立てることができる。典型的には、イベントログは、試合後にその試合のビデオ映像を再生する際に生成されるが、実施形態によっては、イベントログを実質的にリアルタイムで生成することができる。これについては後述する。

図１１は、ゲーム内イベントと選手とを関連付けるイベントリストが共に示されたサッカーグラウンドの画像を示す概略図である。具体的には、図１１は、サッカーグラウンド３０上の複数の選手（５１０ａ、５１０ｂ、５１０ｃ、５１０ｄ、５１０ｅ及び５１０ｆ）を、サッカーボール５２０と共に示す。選手５１０ｅの周囲に、選手選択ボックス５３０が示される。選手選択ボックス５３０は、選手との関連付けが可能な起こり得るイベントの一覧を示すイベントリストと関連付けられている。例えば、イベントリスト５４０は、「ドリブル」「ヘディング」「左キック」「右キック」「ファウル」及び「タックル」等の起こり得るイベントを示すが、当然ながら、イベントリストは、選手と関連付けるための任意の適切なイベントを含んでもよい。

一実施形態では、イベントリスト５４０によって、操作者は、１つ又は複数の特定の画像フレームについて、イベントを選手に割り当てる又は関連付けることができる。これを実現するための方法を、図１２を参照して以下に説明する。

図１２は、本発明の一実施形態に係るイベントログの生成方法のフロー図である。

ステップＳ１００において、コンテンツ処理ワークステーション１０は、図１〜図８を参照して上述したように、一連のビデオ画像内の、選手に対応する特徴画像を追跡する。この一連のビデオ画像は、適切なディスプレイを用いて、操作者に対して連続表示及び連続再生される。これにより、試合中に特定のイベントが起こったときに、そのイベントを選手と関連付けることができる。ユーザが手動でイベントを選手と関連付けてもよく、又はコンテンツ処理ワークステーション１０が自動的にイベントを検出し、そのイベントを選手と関連付けてもよく、又は２つの技術を組み合わせて関連付けを行ってもよい。

ステップＳ１０５において、或る選手（選手５１０ｅ等）に対応する特徴画像が選択される。一実施形態では、操作者は、マウス等の適切なユーザ入力装置を用いて、選択したい選手（例えば、選手５１０ｅ）に対応する特徴画像をクリックすることにより、選手を選択することができる。しかし、当然ながら、操作者が選手に対応する特徴画像を選択するために、他の適切な入力装置を用いてもよい。

その後、コンテンツ処理ワークステーション１０は、その選手を選択選手として指定し、その選手（例えば、選手５１０ｅ）の周囲に選手選択ボックス５３０を表示させることにより、その選手をディスプレイに強調表示させる。これにより、操作者は、自分がクリックして選択選手として指定した選手を目視で確認することができる。しかし、当業者は、選択した選手を強調表示するための他の適した方法を用いてもよいことを理解できるであろう。

一実施形態では、選手を選択するために、操作者は、ゲーム内イベント（左足又は右足でのキック等）の発生に気付いたときに、ビデオ画像の再生を一時停止して、そのイベントに選手を関連付けてもよい。或いは、コンテンツ処理ワークステーション１０がゲーム内イベントの発生を検出して、ビデオ画像の連続表示を一時停止し、ユーザがイベントを選手に割り当て又は関連付けてもよい。イベントの発生を検出する方法は、図１３を参照して後により詳細に説明される。

別の実施形態では、コンテンツ処理ワークステーション１０は、ステップＳ１０５において、イベントの発生と、選手に対するボール５２０の位置とに応じて、選手に対応する特徴画像を選択するように動作可能である。これは、図１３を参照して後により詳細に説明する。

ステップＳ１０５において選手が選択されると、ステップＳ１１０において、イベントリスト５４０からゲーム内イベントが選択される。図１１に示す実施形態では、コンテンツ処理ワークステーション１０は、イベントリスト５４０を、選手選択ボックス５３０と関連付けて表示させる。その後、操作者は、イベントリスト５４０から、選手と関連付ける適切なイベントを選択することができる。例えば、選手５１０ｅがボール５２０をキックするとすぐに、操作者は、図１１において強調して示されるように、イベントリスト５４０から、「左キック」を選択する。操作者がイベントリスト５４０から適切なイベントを迅速に選択できるように、イベントリスト５４０は、選手選択ボックス５３０にかなり近接して表示されてもよい。例えば、イベントリスト５４０は、例えばビデオ画像又は選手に対応する特徴画像の上に表示されてもよい。イベントリストが選手５１０の近くに表示されるため、操作者が映像、すなわち例えばサッカーの試合にイベントデータを用いて注釈を付けるスピードを向上できるという利点がある。しかし、当然ながら、イベントリスト５４０は適宜任意の方法で表示されてもよい。

一実施形態では、コンテンツ処理ワークステーション１０は、図１３を参照して後に説明するように、イベントリスト５４０から操作者の操作によらずにイベントを選択するように動作可能である。この場合、イベントリスト５４０は表示されなくてもよい。或いは、イベントが検出されたこと、及びどのイベントをどの選手と関連付けるかを操作者に通知するためにイベントリスト５４０が表示されてもよい。これにより、操作者は、コンテンツ処理ワークステーション１０が行ったイベントと選手との関連付けが正しくない場合、又は誤ったイベントを選手と関連付けてしまった場合に、それを無効にし新たな関連付けをすることができるようになる。

これを実現するために、操作者は、（例えば、グラフィカルユーザインタフェースから一時停止機能を選択することにより）コンテンツ処理ワークステーション１０に対して適切な入力を行い、操作者が上述のように選手及びイベントを選択できるように、イベントリスト５４０を表示させることができる。

ステップＳ１１０においてイベントリスト５４０からゲーム内イベントが選択されると、コンテンツ処理ワークステーション１０は、選択されたゲーム内イベントを選択された選手と関連付けて、イベントログを生成する。イベントログは、イベントが発生した時刻に関するデータ、選手を固有に識別する固有識別データ（選手ＩＤ）、選手とイベントとの関連付けに関するデータ、及びイベントの種類に関するデータを含む。イベントログの一例を以下に示す。

上記の例では、時刻は試合の開始時からロギングされるが、イベントが発生した時刻を記録するために、適宜任意の他の方法を用いてもよい。さらに、イベントは、イベントリスト５４０に示されるゲーム内イベントに限られず、「ゴール」、「パス」、「スライディング」、又はそのイベントリストが関連しているスポーツその他のイベントにおいて適切なイベント等の他のイベントを用いてもよい。また、イベントがイベントリスト５４０内に含まれないイベントである場合、操作者は、キーボード等の適切なユーザインタフェースを用いて、イベントの種類を手入力することができる。しかし、この作業は試合映像への注釈付けに遅延をもたらすおそれがあるので、典型的には、イベントリスト５４０は、サッカーの試合中に通常起こるゲーム内イベントを含むものとされる。

コンテンツ処理ワークステーション１０によってゲーム内イベントが検出される実施形態を、図１３を参照して以下で説明する。

図１３は、本発明の実施形態によるゲーム内イベントを検出するための方法を示すフロー図である。コンテンツ処理ワークステーション１０は、ボール５２０の動きを追跡し、ボール５２０の移動方向の変化を検出することにより、イベントの発生を検出する。例えば、ボール５２０が選手にキックされた場合、ボール５２０の移動方向は、例えばカメラ２０から見て左方向への移動から右方向への移動に変化する。

したがって、コンテンツ処理ワークステーション１０は、ステップＳ２００において、上述した追跡処理と同様の追跡処理を用いてボール５２０を追跡するように動作可能である。ボール５２０の位置を用いて、動きデータと、ボール５２０の経時的な経路に関する経路データとが生成される。ボール５２０の追跡を支援するために、コンテンツ処理ワークステーション１０は、カメラ２２．３によって取得したビデオ画像を用いて、ボール５２０の位置を既知の技術を用いて三角測量することもできる。これは、ボール５２０がカメラ２０から遠く離れており、カメラ２０の解像度がそのボールのサイズを検出するのに不十分であると思われるときに有用である。これにより、カメラ２０に対するボール５２０の距離を正確に計算することができる。したがって、一実施形態では、カメラ２０及び２２．３等の一対の立体カメラを用いて、周知の技術により、ボール５２０の位置を検出する。しかし、当然ながら、コンテンツ処理ワークステーション１０にボール５２０の位置を検出させるために、任意の他の適切な数のカメラを用いてもよい。

ステップＳ２０５において、コンテンツ処理ワークステーション１０は、ボール５２０の動きデータを解析することにより、ボール５２０の移動方向が変化したか否かを検出する。ボール５２０の移動方向の変化が検出されなかった場合、処理はステップＳ２００に戻り、ボール５２０の位置が追跡される。一方、コンテンツ処理ワークステーション１０がボール５２０の移動方向の変化を検出した場合、処理はステップＳ２１０に進む。

上述のように、追跡処理は、連続したフレーム間でのボール５２０の位置の変化に関して、ボール５２０の動きベクトルを生成する。。したがって、本発明の一実施形態では、コンテンツ処理ワークステーション１０は、各座標面（例えば、水平成分ｘ対垂直成分ｙ（ｘｙプロット）、水平成分ｘ対深さ成分ｚ（ｘｚプロット）、及び垂直成分ｙ対深さ成分ｚ（ｙｚプロット））におけるボール５２０の方向のグラフをプロットすることにより、ボール５２０の移動方向の変化を検出するように動作可能である。しかし、当然ながら、動きベクトルを表現するために、他のプロットを用いてもよく、円筒極座標及び球面極座標等の他の座標系を適宜用いてもよい。

また、ここで、「プロット」及び「プロッティング」という用語は、プロットが表示される必要があることまでを意味するわけではない。本実施形態において、これらの用語は、プロットされた点に対して以下に説明するようなさらなるデータ操作を実行できるように、データ値を生成することを指している。

４つの動きベクトルｖ_１、ｖ_２、ｖ_３及びｖ_４のｘｙプロットの一例を図１４に示す。コンテンツ処理ワークステーション１０は、生成された動きベクトルを互いに関連付けて、経路データを生成するように動作可能である。図１４に示す例では、経路データは動きベクトルｖ_１、ｖ_２、ｖ_３及びｖ_４を含む。コンテンツ処理ワークステーション１０は、各動きベクトルｖ_１、ｖ_２、ｖ_３及びｖ_４が、動きベクトルの始点を通り且つｘ軸に平行な線との間で形成する角度を計算して、角度θ_１、θ_２、θ_３及びθ_４を生成するように動作可能である。これらの角度θ_１、θ_２、θ_３及びθ_４は、固定された基準についての絶対角を表す。

次に、コンテンツ処理ワークステーション１０は、その動きベクトルのｘ軸に対する角度と、前の動きベクトルについての角度とを比較する。オブジェクトの移動方向の変化は、１つの動きベクトルと次の動きベクトルの角度の差に対応する。換言すれば、ボールの移動方向は、図１４に示すような動きベクトルに関連付けられた角度から類推される。

ボール５２０の移動方向の変化が起こっているフレームは、ゲーム内イベントを含んでいる可能性が高い。したがって、ボール５２０の動きの変化に関連しているとして検出されたビデオ画像は、ステップＳ２１０において、コンテンツ処理ワークステーション１０により、イベントを含むとして検出され、フラグを付加される。

図１４に示す例において、角度θ_１はθ_２と同じである。したがって、ｖ_１とｖ_２の間に移動方向の変化は検出されないため、これらの動きベクトルに関連するフレームがイベントを含んでいる可能性は低い。しかしながら、図１４に示す例において、θ_２はθ_３と同じではなく、したがって動きベクトルｖ_２とｖ_３との間の移動方向の変化がコンテンツ処理ワークステーション１０により検出され、これらの動きベクトルｖ_２とｖ_３に関連するフレームは、イベントを含んでいる（当該フレームでイベントが発生している）可能性が高い。

いくつかの実施形態では、ボール５２０の移動方向の変化が検出されたフレームは、イベントを含んでいるとしてフラグを付加される。しかし、方向の変化が比較的小さい場合（例えば、ｖ_２とｖ_３の間）、それは、ボール５２０の軌道が単に選手からそれたか、又はカーブしたにすぎない可能性が高い。したがって、いくつかの実施形態では、コンテンツ処理ワークステーション１０は、ボール５２０の移動方向の変化（すなわち、動きベクトルとｘ軸との間の角度）が所定の閾値よりも大きい場合にのみ、イベントを検出する。また、動きベクトルと基準が形成する絶対角の符号が変化した場合にイベントが検出されてもよい。

これは、図１４において動きベクトルｖ_３及びＶ_４によって示される。この例では、θ_３及びθ_４は異なる符号を有し、マイナスの角度θ_４がプラスの角度θ_３よりも大きくなっている（ここで、プラスはｘ軸から反時計回りの方向とし、マイナスはｘ軸から時計回りの方向とする）。したがって、動きベクトルｖ_３及びｖ_４に関連するビデオ画像は、コンテンツ処理ワークステーション１０により、イベントを含んでいるとして検出される。コンテンツ処理ワークステーション１０はその後、これらのイベントを含むビデオ画像にフラグを付加する。

上述したプロッティング処理及び角度検出は、各プロット（ｘｙ、ｘｚ及びｙｚ）について実行される。コンテンツ処理ワークステーション１０は、ボール５２０の移動方向の変化が３つのプロットのうちのいずれか１つによって示される度に、上述したようにイベントを検出する。或いは、２以上のプロット間で相関がある場合、例えば、移動方向の変化がｘｙプロット及びｘｚプロットの両方において示される場合にのみ、イベントの発生が検出される。

もちろん、ボール５２０の移動方向の変化を検出するために、任意の適切な数及び種類のプロットを用いてもよい。また、各動きベクトルについて計算される角度は、絶対値でなくてもよく、図１４において角度α_１、α_２及びα_３によって示す、前の動きベクトルに対する相対角であってもよい。したがって、本実施形態では、方向の変化は、２つの連続した動きベクトルの間の、１８０度ではない相対角に対応する。

図１３に戻り、一実施形態では、コンテンツ処理ワークステーション１０は、検出されたイベントを選手に自動的に関連付けることもできる。この手法は、ボールをキック又はヘディングしている（すなわち、イベントに関係している）選手は、ボールに最も近い選手である可能性が高いため、ボールに最も近い選手をそのイベントと関連付けるべきであるという考えに基づいている。

これを実現するために、イベントを含んでいるとして検出されたビデオ画像にフラグが付加されると、コンテンツ処理ワークステーション１０は、ステップＳ２１５において、ボール５２０と各選手との間の相対的な距離を検出して、距離データを生成するように動作可能である。距離データは、各選手について、ボール５２０と各選手との間の距離に関する距離値を含む。典型的には、この処理は、処理資源を低減するために、イベントを含んでいるとしてフラグを付加されたビデオ画像又はフレームに対してのみ実行される。しかしながら、ボール５２０と選手との間の距離を各ビデオ画像について計算して、各フレーム又は画像についての選手とボール５２０との距離の距離ログを生成してもよい。

その後、ステップＳ２０５及びＳ２１０においてゲーム内イベントの発生が検出された場合、ステップＳ２２０において、コンテンツ処理ワークステーション１０は、距離データを解析して、どの選手がボール５２０に最も近接しているかを検出する。典型的には、データが解析されて、最も低い距離値が検出され、この値が、最も近接した選手に対応するとしてコンテンツ処理ワークステーション１０により選択される。しかしながら、もちろん、他の適切な技術を用いてもよい。

ステップＳ２２５において、コンテンツ処理ワークステーション１０は、そのフレームのゲーム内イベントを、最も低い距離値に対応する選手と関連付ける。その後、この関連付けは、上述のようにイベントログに記憶される。

いくつかの実施形態では、コンテンツ処理ワークステーション１０は、選手の身体に対するボール５２０の相対的な位置を検出することにより、イベントの種類を検出することもできる。例えば、選手の頭付近で検出されるボールの方向変化は、ヘディングに対応する可能性が高く、選手の足付近で検出されるボールの方向変化は、キックに対応する可能性が高い。したがって、コンテンツ処理ワークステーション１０は、例えばカメラ２０及び２２．３によって取得されたビデオ画像を解析して、グラウンド３０に対する、且つ／又は（ステップＳ２１５及びＳ２２５を参照して上述したように）イベントが起こったときにボール５２０に最も近接しているとして検出された選手に対する、ボール５２０の相対的な高さを、三角測量等の周知の技術を用いて検出する。典型的には、選手に対するボール５２０の相対的な高さと、その高さに関連付けられたイベントとの対応関係は、ルックアップテーブルに記憶される。したがって、コンテンツ処理ワークステーション１０は、選手に対してボール５２０が検出された位置と、ルックアップテーブルに記憶されたデータとに応じて、イベントリスト５４０から適切なゲーム内イベントを選択する。

以上より、映像への注釈付けを不必要に遅延させる可能性のある操作者による入力を行うことなく、ほぼリアルタイムでゲーム内イベントを選手と関連付けることができる。

別の実施形態では、注釈付けのために、一連のビデオ画像が操作者に対して提示されるとき、コンテンツ処理ワークステーション１０は、ゲーム内イベントが発生しているとしてフラグを付加されたビデオ画像において、一連のビデオ画像の再生を一時停止することができる。その後、コンテンツ処理ワークステーション１０は、そのイベントに関連しているとして検出された選手に対応する特徴画像及び／又は選手選択ボックス５３０と共にイベントリストを表示させる。その後、操作者は、上述のように、イベントリスト５４０から適切なイベントを選択する。操作者はすべての映像を確認しなくてもよく、コンテンツ処理ワークステーション１０がフラグを付加したフレームだけに注釈を付ければよいため、やはり、映像への注釈付けのスピードが向上する。

さらに、コンテンツ処理ワークステーション１０が特定の種類のイベントを特定の選手に自動的に関連付けた場合、コンテンツ処理ワークステーション１０は、その特定の種類のイベントが選手と正しく関連付けられたことを操作者が確認できるように、ビデオ画像の再生を一時停止することができる。イベントと選手が正しく関連付けられていなかった場合、操作者は、例えば選択したい選手に対応する特徴画像をクリックし、上述のようにイベントリスト５４０から正しいゲーム内イベントを選択することにより、正しい選手を選択することができる。

ここで、自動的にイベントとイベントの種類とを検出し、そのイベントを選手と関連付けるための上記手法は、基本的に、タックル、ヘディング、キック等、選手がボールと接触するイベントに限られる。しかしながら、ファウル又はスライディングなどの他のイベントは、ボールに関わるとは限らない。したがって、イベントを手動で選択するための上記手法と、イベントを自動で検出及び／又は選択するための上記手法とを適宜組み合わせてもよい。さらに、イベントリスト５４０が所望のイベントを含んでいない場合、操作者は、キーボード等の適切な入力装置をダイアログボックス等の適切なグラフィカルユーザインタフェースと共に用いて、イベントの種類を入力してもよい。さらに、図１３において図示されたステップは必ずしもその順番で実行される必要はなく、例えば、ステップＳ２１５〜Ｓ２２５は、ステップＳ２００〜Ｓ２１０と並行して行われてもよい。

ボール５２０を追跡する他の技術を用いて、操作者が、ボールがグラウンド３０に接触した点にタグを付けたり、また、回転、風又はボールに影響を与える他のより微妙な動きがないと仮定して、ボール５２０が空中で描く放物線の頂点にマークを付けてもよい。このデータは、その後ボールの経路データとして用いられ、イベントログ内のデータと関連付けられて、試合の３Ｄモデル化を支援する。

もちろん、添付の特許請求の範囲において規定される本発明の範囲を逸脱することなく、上述の実施形態に種々の変更を加えることができる。例えば、例示した実施形態は、サッカーの試合を参照して説明されたが、もちろん、他のスポーツイベント又は演劇等の娯楽イベントも、上記で開示した技術を適用することができる。さらに、Ｃｅｌｌプロセッサ以外の他のプロセッサを用いて上記の処理を実行してもよい。本発明の実施形態の技術に係る処理は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ（Programmable Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、又はこれら若しくは他の記憶媒体の任意の組み合わせ等のデータ記憶媒体に記憶されるか、或いは、イーサネット、無線ネットワーク、インターネット、又はこれら若しくは他のネットワークの組み合わせ等のネットワーク上でデータ信号を介して伝送される、コンピュータ実行可能な命令を含むコンピュータプログラム製品の形で実施されてもよい。

本明細書において、本発明の例示的な実施形態を添付の図面を参照して詳細に説明したが、本発明はこれらの厳密な実施形態に限定されず、添付の特許請求の範囲において規定される本発明の範囲及び精神を逸脱することなく、当業者によって種々の変更及び変形を加えてもよいことはもちろんである。

Claims (19)

1. スポーツイベントに存在する要素と関連付けられたゲーム内イベントのイベントログを生成するイベントログ生成方法であって、
   前記スポーツイベントにおける各要素に対応する特徴画像を、一連のビデオ画像内で追跡し、
   前記追跡された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定し、
   前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択し、
   前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成し、
   前記第１の特徴画像を、前記イベントリストと共に前記一連のビデオ画像内で表示し、
   前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択する
   イベントログ生成方法。
2. 請求項１に記載のイベントログ生成方法であって、
   前記イベントリストは、前記第１の特徴画像に隣接して表示される
   イベントログ生成方法。
3. 請求項１に記載のイベントログ生成方法であって、さらに、
   前記一連のビデオ画像を解析することにより、各ビデオ画像内の、前記スポーツイベントと関連付けられたゲームオブジェクトの位置を追跡して、前記一連のビデオ画像内での前記ゲームオブジェクトの移動方向に関連する動きデータを生成し、
   前記動きデータを解析することにより、前記ゲームオブジェクトの移動方向の変化に応じて、ゲーム内イベントの発生を検出し、
   ゲーム内イベントの発生が検出された１つ又は複数のビデオ画像にフラグを付加することにより、当該ビデオ画像中でゲーム内イベントが発生していることを示す
   イベントログ生成方法。
4. 請求項１に記載のイベントログ生成方法であって、
   前記ゲームオブジェクトの移動方向の変化が所定の閾値よりも大きい場合に、ゲーム内イベントの発生が検出される
   イベントログ生成方法。
5. 請求項３に記載のイベントログ生成方法であって、さらに、
   前記一連のビデオ画像を解析することにより、前記選択要素に対する前記ゲームオブジェクトの位置を検出し、
   前記選択要素に対する前記ゲームオブジェクトの前記検出された位置に応じて、前記イベントリストからゲーム内イベントを選択する
   イベントログ生成方法。
6. 請求項３に記載のイベントログ生成方法であって、さらに、
   前記ゲームオブジェクトと前記各要素との間の相対的な距離を検出して、当該ゲームオブジェクトと当該各要素との間の当該距離に関連する距離データを生成し、
   前記距離データを解析して、ゲーム内イベントの発生が検出されたときにどの要素が前記ゲームオブジェクトに最も近接していたかを検出し、
   前記ゲーム内イベントと、当該ゲーム内イベントの発生時に前記ゲームオブジェクトに最も近接していたことが検出された要素とを関連付ける
   イベントログ生成方法。
7. 請求項３に記載のイベントログ生成方法であって、さらに、
   前記一連のビデオ画像を連続的に表示し、
   ゲーム内イベントが発生しているとしてフラグを付加されたビデオ画像において、前記一連のビデオ画像の連続再生を一時停止し、
   前記選択要素と関連付けるために、ユーザにより前記イベントリストから適切なゲーム内イベントが選択されるように、前記第１の特徴画像を前記イベントリストと共に表示する
   イベントログ生成方法。
8. 請求項１に記載のイベントログ生成方法であって、
   前記各要素は、当該要素を固有に識別可能な固有識別データに関連付けられる
   イベントログ生成方法。
9. コンピュータに、請求項１に記載のイベントログ生成方法における各ステップを実行させるためのコンピュータ読み取り可能な命令を含むプログラム。
10. スポーツイベントにおける要素と関連付けられたゲーム内イベントのイベントログを生成するイベントログ生成装置であって、
    前記スポーツイベントにおける各要素に対応する特徴画像を、一連のビデオ画像内で追跡する追跡装置と、
    前記追跡された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定する特徴画像選択部と、
    前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択するゲーム内イベント選択部と、
    前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する関連付け装置と、
    前記第１の特徴画像を、前記イベントリストと共に前記一連のビデオ画像内で表示する表示装置と
    を具備し、前記ゲーム内イベント選択部は、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択するように動作可能である
    イベントログ生成装置。
11. 請求項１０に記載のイベントログ生成装置であって、
    前記イベントリストは、前記第１の特徴画像に隣接して表示される
    イベントログ生成装置。
12. 請求項１０に記載のイベントログ生成装置であって、
    前記追跡装置は、前記一連のビデオ画像を解析することにより、各ビデオ画像内における、前記スポーツイベントと関連付けられたゲームオブジェクトの位置を追跡して、前記一連のビデオ画像内での前記ゲームオブジェクトの移動方向に関連する動きデータを生成するように動作可能であり、
    当該イベントログ生成装置は、
    前記動きデータを解析することにより、前記ゲームオブジェクトの移動方向の変化に応じて、ゲーム内イベントの発生を検出する検出部と、
    ゲーム内イベントの発生が検出された１つ又は複数のビデオ画像にフラグを付加することにより、当該ビデオ画像中でゲーム内イベントが発生していることを示すフラグ装置と
    をさらに具備するゲーム内イベント生成装置。
13. 請求項１２に記載のイベントログ生成装置であって、
    前記ゲームオブジェクトの移動方向の変化が所定の閾値よりも大きい場合に、ゲーム内イベントの発生が検出される
    イベントログ生成装置。
14. 請求項１２に記載のイベントログ生成装置であって、
    前記追跡装置は、前記一連のビデオ画像を解析することにより、前記選択要素に対する前記ゲームオブジェクトの位置を検出するように動作可能であり、
    前記ゲーム内イベント選択部は、前記選択要素に対する前記ゲームオブジェクトの前記検出された位置に応じて、前記イベントリストからゲーム内イベントを選択するように動作可能である
    イベントログ生成装置。
15. 請求項１２に記載のイベントログ生成装置であって、
    前記追跡装置は、前記ゲームオブジェクトと前記各要素との間の相対的な距離を検出して、当該ゲームオブジェクトと当該各要素との間の当該距離に関連する距離データを生成し、前記距離データを解析して、ゲーム内イベントの発生が検出されたときにどの要素が前記ゲームオブジェクトに最も近接していたかを検出するように動作可能であり、
    前記関連付け装置は、前記ゲーム内イベントと、当該ゲーム内イベントの発生時に前記ゲームオブジェクトに最も近接していたことが検出された要素とを関連付けるように動作可能である
    イベントログ生成装置。
16. 請求項１２に記載のイベントログ生成装置であって、
    前記一連のビデオ画像を連続的に表示するためのディスプレイをさらに具備し、
    ゲーム内イベントが発生しているとしてフラグを付加されたビデオ画像において、前記一連のビデオ画像の連続再生を一時停止し、
    前記選択要素と関連付けるために、ユーザにより前記イベントリストから適切なゲーム内イベントが選択されるように、前記第１の特徴画像を前記イベントリストと共に前記ディスプレイに表示する
    ように動作可能である
    イベントログ生成装置。
17. 請求項１０に記載のイベントログ生成装置であって、
    前記各要素は、当該要素を固有に識別可能な固有識別データに関連付けられる
    イベントログ生成装置。
18. スポーツイベントにおける要素と後に関連付けられるゲーム内イベントのイベントログを生成するためのグラフィカルユーザインタフェースであって、
    前記スポーツイベントにおける各要素に対応し、一連のビデオ画像のうちの１つのビデオ画像内で表示される複数の特徴画像と、
    前記表示された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定する特徴画像選択部と、
    前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択するゲーム内イベント選択部と、
    前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する関連付け装置と、
    前記一連のビデオ画像内の前記第１の特徴画像を、前記イベントリストと共に表示する表示装置と
    を具備し、前記ゲーム内イベント選択部は、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択するように動作可能である
    グラフィカルユーザインタフェース。
19. スポーツイベントに存在する要素と関連付けられたゲーム内イベントのイベントログを生成するイベントログ生成装置であって、
    前記スポーツイベントにおける各要素に対応する特徴画像を、一連のビデオ画像内で追跡する追跡手段と、
    前記追跡された特徴画像から、前記要素のうちの１つに対応する第１の特徴画像を選択して、当該要素を選択要素として指定する特徴画像選択手段と、
    前記選択要素と関連付けるために、起こり得るイベントのイベントリストから、ゲーム内イベントを選択するゲーム内イベント選択手段と、
    前記選択されたゲーム内イベントを、前記選択要素と関連付けて、当該選択要素のイベントログを生成する関連付け手段と、
    前記第１の特徴画像を、前記イベントリストと共に前記一連のビデオ画像内で表示する表示手段と
    を具備し、前記ゲーム内イベント選択手段は、前記ゲーム内イベントをユーザが手動で選択することに応じて、前記イベントリストから前記ゲーム内イベントを選択するように動作可能である
    イベントログ生成装置。