JP2009519539A - イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム - Google Patents

Abstract

少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、そのイベントデータをサービス提供可能な状態にするための方法及びシステムが提供される。本システムは、通信ネットワークを含む。通信ネットワークには複数のカメラ・ユニットが連結される。カメラ・ユニットは、イベント会場において、イベント会場の周りに離間して配置された複数の検出器面において、イベントにおける対象物から伝搬する波動から複数の画像を生成するように構成及び設置される。カメラ・ユニットは、検出器面における画像中のエネルギーを測定し、少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせる複数の検出器と、複数の検出器からの複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理し、画像データを得るための複数の信号プロセッサと、を含む。

Description

本発明は、イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステムに関する。

スポーツ情報及び放送は、現在のところ、広くインターネットを経由して提供される。ウェブを介した映像の効果的なストリーミングを可能にするために多くの努力がなされている。十分な帯域幅があれば、これは効果的に行うことが可能であるが、多くのユーザは非常な性能不足による悪影響を受けている。ウェブを介した映像は、圧縮されていてもなお、情報の過多による悪影響を受ける。映像作品を制作するコストは、結果がウェブを経由して放映されることによって削減される。テキストのストリーミングは非常に成功しているものの、見ていて非常に面白いものではなく、また、起こっていることを言葉に移し変えるアナウンサーを必要とする。現在、リアルタイムに近い試合を要約した統計データを提供するウェブサイトが存在する。しかしながら、これらは試合の詳細分析の再構成を可能にするのに十分な情報に欠けている。

音響ストリーミングは非常に成功している。良好な性能に見合うデータ速度は適度なものである。テレビ放映のない多くのスポーツ・イベント（例えばほとんどの大学におけるもの）は、ラジオアナウンサーを有する。

公開された米国特許出願第２００２／００５１２１６号及び第２００３／０１９３５７１号は、どちらもスマートカメラを開示する。後者の出願に説明されるように、多くの用途において、対象物を調査するか又は位置付けするには、マシンビジョン即ち画像処理分析が用いられる。例えば、製造用途において、マシンビジョン分析は、対象物の画像を取得し、種々のタイプの画像処理アルゴリズムを用いてその画像を分析することにより、製造された対象物の欠陥を検出するのに用いることができる。一例として、キャパシタなどの電子部品を製造するシステムは、キャパシタのそれぞれの側面を検査して製造上の欠陥を検出し、キャパシタが適切にラベル付けされ、マーク付けされ、又はカラーコード付けされていることを保証するために、マシンビジョンを用いることができる。

マシンビジョン用途は、取得した対象物画像の検査において、種々のタイプの画像分析機能又は画像処理機能又はアルゴリズムのいずれかを実施するように動作可能な画像処理ソフトウェアを用いることができる。例えば取得した画像のパターン情報をテンプレート画像のパターン情報と比較するために、例えばパターン・マッチング・アルゴリズムがしばしば用いられる。さらに、例えば、取得した画像のカラー情報をテンプレート画像のカラー情報と比較するために、カラー・マッチング・アルゴリズムを用いることもできる。画像の検査には、Ｂｌｏｂ（バイナリ・ラージ・オブジェクト）分析ツールを用いることもできる。種々の用途において、パターン、カラー、及び／又はＢｌｏｂ分析情報を用いて、対象物が全ての必要な部品を正しい位置に含んでいること、対象物が適切な語、ラベル、又はマーク付けを有すること、対象物表面が傷又は他の形で損なわれていないこと、などを検証することができる。

デジタルカメラ、ラインスキャンカメラなどを含むいずれかのタイプのカメラ又は他の装置を用いて、マシンビジョン用途において分析される画像を取得することができる。ここで用いられる「カメラ」という用語は、赤外線イメージング装置、Ｘ線イメージング装置、超音波イメージング装置、及び、画像又はセンサ・データを受け取り、生成し、処理し、又は取得するように動作するいずれかの他のタイプの装置を含む、全てのそうした装置を包含することが意図される。

典型的には、画像処理及び画像データ分析は、カメラに連結することができるコンピューティング・システムによって実施される。例えば、パーソナル・コンピュータ（ＰＣ）は、カメラから画像データを受け取り、１つ又はそれ以上のソフトウェア・プログラムを実行して、画像データを処理し、分析することができる。別の例として、データ取得（ＤＡＱ）コンピュータ・ボード（例えば、コンピュータに取り付けられたもの）は、カメラから画像データを受け取り、そのデータに、特にパターン認識、信号調整及び変換、及びフィルタリングを含む種々の信号処理操作を実施することができる。

しかしながら、ますます、このような画像処理能力はカメラ又はセンサにより、装置に「搭載」されたハードウェア及び／又はソフトウェアによって実施されるようになっている。「スマートカメラ」という用語は、カメラ又は他の画像センサと、取得された画像を分析する又は処理するための画像処理機能を実行するように構成されることができる機能的ユニット（即ち、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）のようなプロセッサ／メモリ及び／又はプログラム可能なハードウェア）と、を含む種々のタイプの装置のいずれかを含むことが意図される。スマートカメラの例は、画像が撮影されたときのカメラの正確な位置及び姿勢を示す地理重ね合わせメタデータを用いて自動的にタグ付けされたデジタル画像データを生成するＮＡＶＳＹＳ Ｃｏｒｐｏｒａｔｉｏｎ社製のＧＩ−ＥＹＥと、高速度画像処理信号プロセッサに高解像度電荷連結素子（ＣＣＤ）センサを組み込み、外界との通信を可能にする種々のインターフェースを提供するＶｉｓｉｏｎ Ｃｏｍｐｏｎｅｎｔｓ ＧｍｂＨ社製のＳｍａｒｔ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃａｍｅｒａと、特にフレーム・グラバとロボット・ガイダンス・システムとを含むＤＳＰ能力を搭載したＶｉｓｕａｌ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ社製のＳＭＡＲＴカメラと、を含む。

本発明の目的は、少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステムを提供することである。

本発明の上記の目的及び他の目的を遂行するに当り、少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、そのイベントデータをサービス提供可能な状態にするためのシステムが提供される。本システムは、通信ネットワークと、通信ネットワークに連結された複数のカメラ・ユニットと、を含む。カメラ・ユニットは、イベント会場において、イベント会場の周りに離間して配置された複数の平行ではない検出器面において、少なくとも１人の参加者を含む、イベントにおける対象物から伝搬する波動から複数の画像を生成するように構成及び設置される。カメラ・ユニットは、検出器面における画像中のエネルギーを測定し、少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせる複数の検出器と、複数の検出器からの複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理し、画像データを得るための複数の信号プロセッサと、を含む。カメラ・ユニットは、イベント会場に関して３Ｄに較正される。通信ネットワークには、画像データを処理して３Ｄデータを含むイベントデータを得るためのプロセッサ・サブシステムが連結される。データ・エンジンを含むサーバは、通信ネットワークを通じてプロセッサ・サブシステムと通信状態にある。サーバは、プロセッサ・サブシステムから３Ｄデータを含むイベントデータを受信し、このイベントデータをサービス提供可能な状態にするように構成される。

波動は、対象物から反射された光信号とすることができ、検出器の少なくとも１つは光検出器のアレイを含むことができる。

光検出器のアレイの各々はビデオカメラを含むことができる。

３Ｄデータは少なくとも１人の参加者の３Ｄの位置、ポーズ、及び外観を表すことができる。

３Ｄデータは複数のイベント参加者と、参加者の３Ｄ位置、ポーズ、及び外観と、を表すことができる。

イベントデータは、イベントのスナップショット及びビデオクリップと、個々の及びグループの統計的データと、イベントが審判付きのイベントである際には審判上のヘルプ・データと、を含むことができる。

ネットワークはイーサネット（登録商標）・ネットワークであってもよく、又は無線ネットワークであってもよい。

本システムは、さらに、イベントデータを受信し、イベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化されたイベント参加者を含むアニメ化されたシナリオを作成するように構成された、アニメーション・エンジンを含むクライアントを含むことができる。

シナリオはプレーであってもよく、少なくとも１人の参加者は、プレーにおける少なくとも１人の仮想選手を含むことができる。

少なくとも１人の仮想選手は、少なくとも１人の仮想スポーツ選手を含むことができる。

クライアントはイベントデータを編集して編集済イベントデータを得るためのエディタを含むことができ、アニメ化されたシナリオは編集済イベントデータに基づくことかできる。

クライアントはイベントデータに基づく仮想環境を作成するための手段を含むことができ、アニメ化されたシナリオは仮想環境においてシミュレートされてもよい。

クライアントは仮想環境においてアニメ化されたシナリオを制御するための手段を含むことができる。

制御するための手段は、アニメ化されたシナリオを見る現実の人間の視点を制御することができる。

サーバは、さらにウェブサーバを含むことができる。

本システムは、さらに、それを通じてウェブサーバにクライアントを連結し、選択された少なくとも１つのイベント中の対象物に関するイベントデータを得るように構成されたウェブブラウザ・インターフェースを含むクライアントを含むことができる。

クライアントは、サービス提供されたイベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化された仮想参加者を含むアニメ化されたシナリオを作成するためのアニメーション・エンジンを含むことができる。

本システムは、さらに、通信ネットワークに連結された音響サブシステムを含むことができる。音響サブシステムは、イベント会場において、イベント会場の異なる位置からの複数の音を取得し処理して音データを得るように構成し、設置することができる。プロセッサ・サブシステムは音データを処理して３Ｄ音データを得る。イベントデータは３Ｄ音データを含む。

イベントは、スポーツ・イベントのようなアクション指向イベントであってもよい。

イベントは監視イベントであってもよい。

較正されたカメラ・ユニットは、単一のカメラ・ユニットによって捉えられる３Ｄ位置を表す３Ｄ方向の線分を生じさせることができる。

さらに、本発明の上記の目的及び他の目的を実行するに当り、少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、このイベントデータをサービス提供可能な状態にするための方法が提供される。本方法は、イベント会場の周りに離間して配置された複数の平行ではない検出器面において、少なくとも１人の参加者を含むイベント中の対象物から伝播する波動から複数の画像を生成するステップを含む。本方法は、さらに、検出器面における画像中のエネルギーを測定し、少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせるステップを含む。本方法は、さらに、複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理し、画像データを得るステップと、画像データを処理して、３Ｄデータを含んだイベントデータを得るステップと、３Ｄデータを含んだイベントデータをサービス提供可能な状態にするステップと、を含む。

本方法は、さらに、イベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化されたイベント参加者を含むアニメ化されたシナリオを作成するステップを含むことができる。

本方法は、さらに、イベントデータを編集して編集済イベントデータを得るステップを含ことができ、アニメ化されたシナリオは編集済イベントデータに基づいてもよい。

本方法は、さらに、イベントデータに基づく仮想環境を作成するステップを含むことができ、アニメ化されたシナリオは仮想環境においてシミュレートされてもよい。

本方法は、さらに、仮想環境においてアニメ化されたシナリオを制御するステップを含むことができる。

制御するステップは、アニメ化されたシナリオを見る現実の人間の視点を制御することができる。

サービス提供可能な状態にするステップは、イベントデータをインターネット上でサービス提供可能な状態にすることができる。

本方法は、さらに、イベントデータをインターネット上でサービス提供するステップを含むことができる。

本方法は、さらに、サービス提供されたイベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化された仮想参加者を含むアニメ化されたシナリオを作成するステップを含むことができる。

本方法は、さらに、イベント会場の異なる位置からの複数の音を取得し処理して音データを得るステップと、音データを処理して３Ｄ音データを得るステップと、を含むことができる。イベントデータは３Ｄ音データを含むことができる。

本方法は、さらに、不完全な又は消失した情報を埋めるように３Ｄデータを処理するステップを含むことができる。

本方法は、さらに、少なくとも１人の参加者の位置及び速度を表す３Ｄデータを、イベントの３Ｄモデルと共に用いて、不完全な又は消失したイベントデータを補償するステップを含むことができる。

本方法及びシステムの１つの実施形態は、スポーツ又は他のアクション指向イベントのインターネット上の自動放送を可能にする。本システムは、カメラを用いて連続的に追跡すること、及び、認識技術を用いて全てのイベント参加者の位置を判定し、ユーザがインターネット上でアクションを見られるようにするアニメーションの作成に必要な情報の導出を与えることにより、イベントの包括的な記録を作成する。本システムは、視認者に視認する視野及び時間を選ばせることにより、視認者がイベントに参加できるようにする。視認者は、アメリカンフットボールの試合をミドルラインバッカーの観点から見ることができ、又は、サッカーの試合をゴールキーパーの観点から見ることができる。ビデオゲームによってこの情報が用いられ、現実を現行のゲームに取り込むようにすることも可能である。

本発明の上記の目的及び他の目的、特徴、及び利点は、添付の図面と共に、本発明を実施するための最良の形態についての以下の詳細な説明から直ちに明白となるであろう。

本発明のシステムの１つの実施形態は、アクション指向の娯楽コンテンツをウェブ上で放送する。取得システムは、参加者の位置及びポーズ、及びシーン視認の形態でイベント情報を取得する。データ・エンジンは、インターネット上で放送するために、それを格納する。ユーザ・システムは、ユーザがイベントをどの位置からでも選択し、取得し、視認できるようにする。

取得システムは、イベントを捕捉するために、典型的にクライアント会場に設置される。現行のデジタル・イメージング及びマシンビジョンの技術は、費用効果の高い設置を可能にする。

データ・エンジンは、ユーザの能力／期待に適合するような達成可能な解像度、映像及び音の品質、及び取得速度を提供する。

ユーザ・システムは、ビデオゲームに似たアニメーションと映像画像との混合物を表示する。高度なコンピュータ・ゲームのために開発された能力は、取得システムによって駆動される視認可能な３Ｄアニメーションの作成を実現可能としている。

システム構成要素
取得システム
取得システムは、市販の「スマートカメラ」と、限られた数のカメラ・ビューから３Ｄシーン情報及び画像を導き出す制御装置とのネットワークである。スマートカメラは、搭載された処理を用いて、捉えたものから重要な情報を導き出し、通信する。多数のスマートカメラ出力は、指定の解像度に合わせた対象物の動きと位置の再構成を可能にする。

取得システム制御装置は、自動的に、
・選手の３Ｄ位置、及びポーズと、
・３Ｄグラフィック記述による選手の外観と、
・ハイライト及び重要プレーのスナップショット及びビデオクリップと、
・選手及びチームの統計的データと、
・審判上のヘルプと、
を生成する。

設置
設置されると、取得システムは受動的であり、イベントデータの送信ルーチンは自動的である。スマートカメラは、図１に示されるように、試合場から外れた柱、典型的には照明塔に、永続的に取り付けられる。取得システムは、クライアント会場に永続的に設置してもよく、又は一時的に設置してもよい。システム監視のためにウェブ・ベースの診断を用いてもよいであろう。

データ・エンジン
データ・エンジンは、市販のソフトウェアとハードウェア（即ちサーバ）の両方を用いて、イベントデータを格納し、ウェブ上で利用できるようにする。必要なネットワーク帯域幅は、多数のインターネット・プロバイダからライセンス交付を受けることができよう。

ユーザ・システム
ユーザ・システムは、ユーザのＰＣ又はゲーム・システム上にイベントのアニメーションを生成する。ユーザ・システムは、イベントを見るため、イベントを分析するため、又は種々のシミュレーション・ゲームの出発点として、多数の方法で用いることが可能である。イベントデータは、例えば、アメリカンフットボールの試合をクォーターバックの視野から、クォーターバックの後ろ上方１０フィートから、又はサイドラインから見る、というように、ユーザが無際限に選択することができるイベント・ビューを可能にする。その結果は、高度に対話的で、ためになる、強力なエンターテインメントである。

本発明のシステムには多数の用途が存在する。最も強力なのは、仮想の環境即ち競技場においてイベントに参加する特有の方法であると思われる。

仮想競技場
本システムの１つの実施形態は、ファンに、仮想の競技場と、アクション中の試合場を含む全エリアへの立ち入りと、を提供する。加えて、多数のイベント又は同じイベントの多数のビューを同時に表示することが可能である。

以下のサブセクションは、本システムの異なる実施形態の用途を図示する。

視認プログラム
視認プログラムは、イベントを観戦し、試合の進行に合わせて視認位置を制御することを可能にする。

スポーツ視認
イベントデータは３Ｄアニメーションを駆動する。それは、ズーム、アングルなど共に、選手を追う、ボールを追う、選手を独立させる、といった種々の視認手法を選べるようにする。それは、（可能な場合には）プレー、ボール支配、又は他の同様の概念に応じた時間上の動きの巻戻し又は早送りを可能にする。

スポーツゲーム
格納されたイベントデータの読み取りと使用のためのインターフェースを加えることにより、スポーツゲームを用いて現行の試合及び歴史的な試合を見ることができる。こうしたゲームの開発者は、プレーとグラフィックスとを生成するために、既に膨大な量の作業を行っており、イベントデータを用いてこれを強化することが可能である。

ＰＤＡ／メッセージング対話型ゲーム・データ
２Ｄの再生／視認インターフェースを有するＰＤＡ又は携帯電話にイベントデータをストリーミングしてもよい。カラーディスプレイ及び３Ｄアニメーション能力を有する携帯電話は、試合を追うか、又は他の誰かとシミュレーション・ゲームをするのに用いることが可能である。

シミュレーション・ゲーム
シミュレーション・ゲームは、選手によって選ばれた戦略又はプレーの選択肢及びその結果を判定するのに、歴史的なイベントデータを用いることができる。

スポーツゲーム
格納されたイベントデータの読み取りと使用のためのインターフェースを加えることにより、スポーツゲームを用いて、選ばれた歴史的チームを相手にプレーすることが可能である。

フットボールゲーム
これにより、例えば、ミシガン大学チームをオハイオ州立大学とシーズン中のどの時点でも戦わせることができ、その結果は現行シーズンのそれぞれのチームのイベントデータによって判定される。また、これにより、あるチームに関して選ばれた選手が前週又は前シーズンにおける自分たちの実際の働きを用いてチームの働きを判定するという、空想版のフットボールを可能にする。

空想のフットボール
各々の選手のチームを表示し、選手の働きのリアルタイム更新を行う。

コーチング及びトレーニングのツール
イベントデータは、コーチが選手の位置及び動きを分析できるようにするツールを提供する。本システムの単純な形態のものは、全てのレベルにおけるサッカー及びアメリカンフットボールに関し、追跡ツール又はトレーニングツールとして用いることが可能である。他のチームのイベントデータをマイニングして、チーム又は選手の傾向及び能力を探すことが可能である。

スポーツ審判システム
本システムを審判に用いてもよい。それがもつ選手及びボールの相対的３Ｄ位置の知識を、多くのスポーツの審判に用いることが可能である。それは、検証可能な客観的結論を引き出す際に、又は、特に練習状況において審判員を全員交代させる際に、審判員を援助する情報を取り込むためのツールとして用いることが可能である。

放送支援
リアルタイムの統計的データ及び特有のビューの生成装置として、本システムの１つの実施形態は、従来のテレビジョン放送を援助するのに用いることが可能である。

本システムは、一組の試合映像からイベントデータを抽出するのに用いることもできる。

リプレーの生成
本システムは、放送アナウンサーがリアルタイムで用いるためのグラフィックスを生じさせることができる。プレー及び結果として得られる統計的データの再構成は、放送者及びチームにとって有用である。これらの両方を用いて、試合を見直し、データをマイニングして種々の傾向を探し、異なるシナリオ及び手法を試すことが可能である。本データを用いて、放送イベントのための３Ｄ音トラックを提供することが可能である。テレビジョン／ＰＣの何らかの高度の組み合わせによってサポートされる３Ｄ視認システムをサポートするのに、本データを用いることが可能である。

ＴＶ／ラジオを介した試合の視認プログラム
放送者は、イベントデータを用いて、「イベントデータ・チャンネル」に注解を伴う単一で制作された視認手法を提供するアニメーションを作成することができる。

対話型試合データ
高度のモニタがあれば、コンピュータはウェブから試合データを得て、重ね画像上に統計的データ又は要約のストリームを提供することが可能である。ユーザは、所望の情報の種類に関する好みを設定できる。各々のプレーの後でチームが取得したヤード数のカウントが可能である。代替的に、放送者がそのデータを提供してもよい。

リアリティショー
規則的に製作される毎週の放送を相補するリアリティショー現場の無休放送。

舞台プレー
舞台プレーをアニメーションと３Ｄ音を用いて放送することができる。

パーティ
自分たちのパーティを、他の人が仮想参加者になれるようにして、放送したいと思う人々がいる可能性がある。

アニメーション制作
プレーデータ・システムは、アニメーションでのアクションを演出し、その３Ｄ記述を捕捉するのに用いることが可能である。次いで、アニメーション製作者は得られた結果を編集及び増強して、ムービー又はショーにする。

セキュリティ監視
本方法及びシステムの１つの実施形態は、視界にある人物及び対象物を追跡及び解釈する市販の監視ビデオシステムの強化を可能にする。ある人物のイベントデータ記述をバイオメトリクス認識システムと対にすることができる。作成されたバイオメトリクス・データを用いて、車及び人間を全て追跡することができる。これは、行動分析能力と対にすることができる。こうすることで、例えば、ショッピングモールの駐車場の人々を監視し、人がモールに入るのでなく車から車に移動することに気付くことができる。

システム構成要素
取得システム（高性能）
カメラ・サブシステム
これは、図２に示されるような、ポーズ及び画像の両方に関するシーン情報を捕捉することができるカメラのネットワークである。カメラ・サブシステムは、一群のスマートカメラである。サブシステムは、第三者による新規のカメラ・システムの開発ができるように、公開されたインターフェースを有する。

スマート・カメラ・ユニット
カメラは、典型的に、幾つかの画像ヘッドと共にプロセッサを備える。これは、独立して向けられた多数のセンサを用いることにより、単一のカメラが、例えば種々の範囲をカバーするか、又は広いフィールドを容易にカバーできるようにする。標準的な取得センサは方形であるが、多くの場合、シーンは主として水平である。カメラは１ギガビットのイーサネット（登録商標）リンクをサポートすることができる。カメラ・ユニットは、ズームレンズ及び／又はパン／チルト能力を有することができる。

主要なカメラ部品は市販で入手可能である。

カメラ・プロセッサ
各々のカメラ・ユニットの中のプロセッサは、ＤＰＳ即ちゲートアレイによって補完される。これらは、アルゴリズムがリアルタイムで実行できるようにするのに必要なハードウェア補強を与える。ハードウェア及び開発ソフトウェアは、種々の市販のカメラを使用できるようにする。プロセッサ・モジュールは、８個までの画像ヘッドと併せて、イーサネット（登録商標）をサポートする。カメラ・ヘッドへのインターフェースは、必要であれば多数の異なるカメラを使えるようにする、標準的な高速インターフェースであるファイアラインであることが好ましい。

カメラ画像ヘッド
カメラ・プロセッサに画像データを供給するカメラ・ヘッドは、１から１６メガピクセルのＲＧＢ撮像装置を含む。カメラ画像ヘッドは、最初の画像取得及び処理を制御するそれ自体のプロセッサを有する。カメラ・ヘッドは、ファイアライン・インターフェースを用いて画像データをカメラ・プロセッサにストリーミングする。低コスト版のカメラ・ユニットは、より要求度の低い用途に関して、画像ヘッドを単一のプロセッサと組み合わせる。

音サブシステム
マイクロフォン・ユニットのネットワークは、図１に示されるように、種々のエリアにおける音を取り込む。音は、３Ｄ位置指定音が可能になるように分析され、格納される。音響サブシステムは、一群のマイクロフォン・ユニット、及び、第三者が音取得システム部品を開発できるようにするインターフェースである。

シーンの１つの領域から音を取り込み、ネットワーク・プロセッサ又はサブシステムに送れるように、各々のマイクロフォン・ユニットは指向性であることが好ましい。

統合及び分析サブシステム
統合及び分析サブシステム（図２のサブシステム）は、シーンの記述を指定された解像度で作成し、保持する。それは、このデータをデータ・エンジンに与える。

分析及び統合サブシステムは、個々のカメラ・ユニット及びマイクロフォン・ユニットからデータを収集及び処理し、これをサーバのローカルのデータ・エンジンに転送する、ＤＳＰ即ちゲートアレイを伴ったプロセッサを収容する。ローカルのデータ・エンジンとのリンクは、１ギガビットのイーサネット（登録商標）であってもよく、又はファイアラインであってもよい。このハードウェア、及びそれを用いるのに必要なソフトウェアは、市販で入手可能である。

ネットワーク
良好な性能のために、１ギガビットのイーサネット（登録商標）・ネットワークが全てのシステム構成要素を接続してもよい。ある程度の性能を犠牲にして、無線ネットワークもまた、用いることができる。

その他のハードウェア
上述された機器は、典型的に、取付け用のハードウェアと、環境的エンクロージャと、配線とを要する。

取得システム操作
取得の記述
取得システムは、限られた数の２Ｄビューから、３Ｄの試合情報と画像とを導き出す。各「選手」又はイベントの幾つかのビューが、全ての動きと位置との再構成を可能にする。多数のスポーツにおける幾つかの有利な点は、番号付きユニフォームの使用と、試合が頻繁にリセットされて既知の位置へ戻される点である。

カメラ・ユニットのネットワークは、シーン（即ちイベント会場）を種々のアングルから視認する。シーン中のどの対象物についても少なくとも２つの異なるビューがあることが望ましい。カメラは、例えば、１０００ピクセル掛ける１０００ピクセルのピクセル解像度を有することができる。任意の距離において、カメラは、そのレンズに応じ、例えば距離４０ｍからの１０ｍ×１０ｍのような幾らかの視野を視認する。この場合においては、結果として得られる４０ｍからの取得解像度は、１０ｍ／１０００ピクセル、即ちほぼ１ｍ／１００ピクセル、即ち１０ｍｍ／ピクセル（ほぼ１／２インチ）である。

映像を放映するための典型的な速度は、現行のところ、３０フレーム／秒である。１０更新／秒というデータ取得速度であれば、視認者が試合を追うことが可能であろう。例えばボール追跡カメラなどの選択されたカメラには、より高速な更新速度を持たせてもよい。映像放映速度は、人が一連の画像を滑らかな動作として知覚できる速度である。ユーザが視認するグラフィックス・システムは少なくとも３０フレーム／秒の速度でビューを更新することになるが、アニメーション・ソフトウェアが全ての対象物に関して滑らかな動きを作り出すので、位置データ速度はこれと適合する必要はない。システムが適切に動作するには、多数の推論タイプが必要である。

スポーツにおける一群の選手のアニメーションは、典型的に、選手に関するモデルに身長、体重、外観及び体格といった要因の調整を加えたものに基づく。この種のモデルは、選手がどのようなポーズを取っているのかを判定する一組のパラメータを伴った、対象物についての数学的記述である。取得システムがこれらのパラメータを導き出す。特に、変化するパラメータのみをアニメーション・エンジンと交換すればよいことから、このパラメータの組は非常にコンパクト且つ効率的に選手を記述する方法である。モデルの付加的な態様は、対象物の動的な記述である。

シーンの遮蔽
時に、種々の選手が全てのカメラのビューから遮蔽されてしまうか、或いは与えられた時間に全ての選手を識別するには、シーンが煩雑又は複雑になり過ぎる場合がある。データが数秒の遅れをもって放映されている場合には、その前後の情報を用いて消失したデータを埋めることが可能である。消失した情報は、後の情報が利用可能になるまで、種々の一貫した規則を用いて埋められ、主として、その前の動きが続行する。

シーンの記述
シーンは、静止した背景と、動的な背景要素と、前景の対象物（選手）と、を有するものとしてモデル化される。対象物は、単純な３Ｄ固体としてもよく、又は人体の抽象物といったそれよりも遥かに複雑な記述を有してもよい。対象物は静的属性と動的属性の両方を有する。身長及び体重と、全体的な形態は、与えられたシーン全体にわたり静的である。特定の人物が歩いたり走ったりする方法も判定することができ、リアルなアニメーションに関する情報の量を減らすのに用いることができる。

ポーズ
対象物は、全体的な位置（質量中心）を有すると共に、ヨー、ピッチ、及びロールを有する。これらの記述の全体が、ポーズと呼ばれる。対象物が頭部、両手、脚部、足といった多数の剛性部分で構成されている場合には、対象物を記述するには、各部分のポーズを記述する必要がある。しかしながら、これらのポーズの全ては互いに関連している。全てのポーズが見るたびにいつも変わるわけではない。

最小限のデータを用いて一連の動きを記述するための多数の有効な戦略が存在する。これらを用いて、シーン条件下での対象物の動きは効率的な方法で記述される。

ビュー
所与の位置にある１つの対象物に関し、多数のビューが存在する。これらは、特に、選ばれた視野及び照明に左右される。カメラによって捕捉されたビューは、何らかの形で圧縮することが可能であるが、実際にイベントを見ている錯覚を作り出すためには、かなり高速度の中断されない高解像度のシーケンスが必要である。ＰＣ又はビデオゲームは、現行のところ、この錯覚を作り出す画像生成に非常に優れており、引き続き一層良好になりつつある。

身振り
記述のサイズを減らすための別の戦略は、身振りを記述することである。例えば、歩行、走行、又は手振りは、全て、Ａから開始して何らかの速さでＢに向かう、所与の対象物の身振りとして記述が可能である。この記述は、記述するのに必要なデータが非常に小さく、対象物の移動映像よりも遥かに少ない。加えて、デフォルトの身振りは、そのまま移動する、又は、その対象物に関してそれ以上の情報が与えられなければ停止してＣに戻る、などのように指定することが可能である。

位置／身振りの記述
対象物の位置、及び背景と照明条件とが知られている場合には、シーンのいかなるビューも生成することができる。位置／身振りの記述は普遍的である。それはまた、シーンを説明する極めて効率的な方法であり、次いでこれを用いてユーザに対し、リアルなビューを生成することができる。

画像の追加
位置／身振りの記述があれば、位置／身振り情報が取得されたときに、画像の細部を抽出することも可能である。身振りが導き出されると、所与の下位対象物（靴又は手）の境界もまた導き出される。両方の画像は抽出され、取得ビューと共に格納することが可能である。選ばれたビューにおけるアニメーションを作成するために、取得ビューと選択ビューとの知識を用いて画像を変形してもよい。それは、ユーザ・ビューのために作成されるグラフィック画像に細部を付け加えるのに用いることができる。よって、例えば、散発的に靴の記述を送ることで、ユーザはそれに付着した草の染みを見ることができる一方、送られるデータは尚も非常に小さく、散発的なままである。

これは、キャッチ、ファンブル、及びアウトオブバウンズの状況のような特に関心ある現実のシーンの捕捉を含むことができる。こうしたシーンは、選ばれた現行の視認位置に適合するように変形されることになろう。

画像データの作成
３Ｄ位置及びビューから独立した参加者の外観の導出は、各々のカメラ・ユニットから取得された画像から、
・参加者の番号（用いられている場合）
・頭部／ヘルメット位置
・身体／胸部／背中の質量中心
・手／腕／ひじ／肩
・脚部／足 ひざ
の情報を抽出する。

データ抽出は、図３に示されるように、
・画像の取得（各々のカメラに関して）
・画像のセグメント化（各々のカメラに関して）
・特徴の交差操作及びラベル付け（全てのカメラからの特徴に対して）
・その前の情報を踏まえて最良のラベル付けを選ぶ
・外観情報を抽出し、更新する
・現行データを計算し、格納する
という形で進む。

カメラ・ベースの処理
画像の取得と、処理の第１段階とは、典型的に、「スマートカメラ」即ちカメラ・ユニットにおいて行われる。

この情報を導き出すためにカメラによって用いられるデータは、
・カメラの３Ｄ位置をイベント試合場又は会場に関係付ける較正パラメータと、
・ビュー内の対象物のその前の位置及び速度と、
・イベントの種類についての情報と、
である。

その前の情報が入手できない場合には、操作は、一組の開始パラメータを用いて進行することになる。

画像の取得
画像の取得は、利用可能なシーンのその前の状態についての情報と並行して行われることになる。その前のシーン情報は、画像を取得する可能性のあるエリアをターゲットにするために用いられる。それは、最適な画像の取得パラメータを調整するのに用いられることもあろう。取得された画像は、次の画像が取得されるまで保存される。

画像のセグメント化
画像は、画像のセグメント化が可能な限り信頼でき、迅速なものとなるように助けるために、その前の情報を用いて、並行してセグメント化される。特徴の大体の位置及び外観が知られている場合には、このプロセスは、これらを用いて簡略化され、高速化される。

参加者の特徴は、ブロブ分析、エッジ分析、領域成長、又は他の典型的な画像処理技術を用いた画像セグメント化を経て背景から抽出される。

対象物の速度についての情報は、新規の画像をその前の画像から取り去ることによって得られる。

種々の対象抽出操作を用いて、一貫した方法で、必要な特徴を分離することができる。四肢は、特に重要であり、よって、一組の四肢抽出操作が用いられる。

特徴は、それを生み出す抽出操作に従って、タイプを割り当てられる。一般に類似した特徴のタイプは、類似した抽出操作によって生み出される。

必要に応じて、較正データの更新のために、フィールドにおける位置合わせマークを抽出し、利用可能にすることができよう。

第１段階の結果を送る
上記の情報は、指定のカメラと関連する画像の座標の形を取る。画像特徴は、カメラの較正データを用いることにより、３Ｄ特徴に変形される。３Ｄ画像特徴は、ラベル付けのためのプロセッサに送られる。地点特徴は、例えば、カメラ中心からの３Ｄ光線になるであろう。

第２段階処理
特徴がラベル付けされると、結果はカメラに送り返され、これを用いて画像に戻り、対象物の外観モデルへのいずれかの更新を抽出するか、又はラベル付けにおける曖昧さをなくすためのより多くの情報を導き出すことができる。

第２段階の結果を送る
完了すると、いずれの結果も更なる処理及び格納のために送られる。

１． 統合及び分析プロセッサ
セグメント化の結果は、特徴プロセッサに渡される。このシステムは、個々のカメラからの全ての情報を組み合わせ、ラベル付けされた３Ｄ位置情報を作成する。それは、その結果をカメラに送り返し、次の取得とセグメント化のサイクルを案内するが、それはまた、選手の外観及び可能性のある付加的な特徴情報の必要な更新に関する画像の検査を可能にする。

プロセッサは、開始時の参加者とその位置とを判定するのに十分なイベント情報を有することになる。

２． 特徴の交差操作及びラベル付け
ラベル付けの課題は、２つの構成要素を有する。即ち、参加者の位置と、参加者の四肢の位置と、である。

ラベル付けは、どちらの場合にも同じ方法で進行し、違いは、全ての参加者に関してフィールド全体が走査されるのに対し、それらが知られれば、参加者の四肢の可能性のある位置がかなり正確にわかるという点である。加えて、人間の形態についての種々の規則（頭部は足の反対側にあり、腕は体幹に付着している、など）を守りつつ主要特徴から四肢を「成長」させるアルゴリズムを用いることができる。目標は、一貫性を守るために網羅的に検索しなければならない曖昧な情報の量を減らすことである。

３． 参加者ラベル
各選手に対応する大型の特徴の質量中心を用いて、主要特徴が最初に適合される。対象物の四肢は、その保有者が知られた後においてのみ決定される。選手の番号が曖昧さなしに抽出でき、認識でき、主要特徴と適合できるときは常に、これがラベルとして用いられる。

最初のステップは、各々のカメラにおける特徴の組から参加者の３Ｄ位置を見出すことである。各々のカメラ特徴は、カメラ中心から実際の特徴の中を通る光線を表す。同じ３Ｄ特徴を記述する全てのカメラからの光線は全て、幾らかの小規模なエラーを伴いつつ、特徴の３Ｄ位置で交差するはずである。

３．１ 四肢のラベル付け
参加者がラベル付けされ、その位置が知られると、同じラベル付け技術を用いて四肢がラベル付けされ、候補特徴を正しいタイプと位置に制限する。加えて、四肢は、参加者への接続可能性を確立することで導き出すことが可能である。

３．２ 一般的なラベル付け手法
一般的なラベル付け手法は、以下の通りである。

４． 容易なラベル付け
第１のステップは、カメラの対により、全ての曖昧でないラベル付けを見出すことである。次いで、これは全てのカメラに拡張され、その結果は容易な特徴へのラベル付けとなる。次いで、必要に応じて推論が行われる、残りの特徴へのラベル付けが実施される。

４．１ 取得と共に繰り返されるラベル付け
基本的な手法は、可能性を限定する幾つかのフィルタを用いて、全ての可能性のある有効な特徴の対合を繰り返し評価することである。用いられるフィルタは以下の通りである。

５． 交差フィルタ
これは、同じタイプの特徴からの光線を交差させ、大幅な交差エラーを有する対及び／又は物理的に可能な平面で終わらない対をなくすことにより、カメラ間の特徴の対を両立性に関して評価するために用いられる。このフィルタは、同一の対象物に対応している可能性のある特徴の組をプレー的に減少させる。図４は、このフィルタの一例を示す。例えば、位置Ａ、Ｂ、及びＣは、その前の位置Ａ’、Ｂ’、及びＣ’を有し、ここで可能な最大の移動は約２メートルである。ＡにおけるＲ１の高さは２メートルであり、Ｘにおける高さは１．５メートルである。ＣにおけるＲ４の高さは２メートルであり、Ｘにおける高さは１．２メートルである。Ｘにおける交差エラーは、Ａにおいては．３メートルである。ＡにおけるＲ１とＲ５の交差に関するエラーは０．００５メートルである。ＸにおけるＲ１とＲ４の交差は、０．３００メートルである。エラーが０．５０メートルに設定されている場合、交差フィルタは、ｘを考慮から除外する。ＺにおけるＲ２とＲ５の交差は、０．０４メートルのエラーを有しており、よって、これは有効な候補である。交差フィルタの結果は、Ａ、Ｂ、Ｃ、及びＺを候補として残す。付加的なカメラの対は、Ａ、Ｂ、Ｃを生成するが、Ｚは生成しない。その前の位置からの最小エラーを用いて、結果として得られる候補のラベル付けがされる。

５．１ ３Ｄ近接性
対象物は、時間の量が示す分しか移動できなかったはずなので、その前の位置の近くを通過する各々のカメラからの候補特徴は、その対象物のラベルに関してのみ考慮される。

５．２ 適合の繰り返し
フィルタリングの後で、残りのラベル付けされていない特徴の全ての可能性のある組み合わせをテストする適合が繰り返して行われる。各々の組み合わせは、以前の位置からの最小距離を見出すことによって評価される。有効な候補が十分にないか、又はエラー閾値が超えられた場合には、組み合わせは直ちに却下される。

５．３ 消失した又は新規の特徴
閾値を下回るエラーが最も少ない一貫した特徴の最大規模の組が見出される。これは、幾らかの適合しない特徴を残す場合もある。これらは、次いで、「新規」の属性を与えられ、以前の特徴情報との一貫性に基づく仮のラベルを割り当てられる。現行の特徴のいずれとも適合しない以前の特徴が存在する場合もある。このような特徴は「消失した」との属性を与えられる。

このステップにおいて、以前の特徴情報を用いて、新規又は消失した特徴に関する正確なラベル付けを推測することが可能である。しかしながら、後でこの情報を上書きする処理ができるようにするために、それが推測であるという情報が含まれる。

５．４ 結論
このプロセスが完了すると、全てのカメラの対から結果として得られる特徴は組み合わされ、シーンの完全な記述にされる。次いで、このシーン記述を用いて、現行のイベント・モデルが更新される。

データ・モデルの構成
次いで、このデータを圧縮し、その全体をサービス提供してもよく、又は、必要な記述の変更を行い、圧縮してサービス提供してもよい。加えて、イベントの抽象形、即ち、ポーズ又は身振りの変更の記述を伴った参加者の全体的な位置移動を説明する、より高いレベルの記述を生成してもよい。

音分析
プロセッサは音をイベントのサブ領域のローカルに分離する。これは、この形態で格納される。

データ・エンジン
データ・エンジンはデータを格納し、これをウェブ上で、又はローカルに、サービス提供可能な状態にする。

位置のストレージ
シーン中の全ての対象物に関する、時間によってタグ付けされた一連の位置及びポーズのためのストレージ。

グラフィック・オブジェクト・ストレージ
個々の選手に関連するグラフィック細部のためのストレージ。これらはシーズン全体を通じて保存することができる。

映像マトリクス・ストレージ
時間及び場所に関してタグ付けされた画像のためのストレージ。

音マトリクス・ストレージ
時間及び場所に関してタグ付けされた音のためのストレージ。音響情報とテキスト情報の両方を格納する。

ユーザ・ビューの生成
ユーザ・アプリケーションに供給するためのデータを生成する。

ウェブ・ビューの生成
現行においてブラウザが利用可能な標準的な３Ｄアニメーションシステムに供給するためのデータを生成する。

放送者ビューの生成
放送者又はチームが使うためのソース画像の生成。必要に応じて、重ね映像を生成するハードウェアを用いる。

データ・インターフェース
データ・インターフェースは、第三者のソフトウェアをイベントデータの前処理又は後処理に使えるようにするために、利用可能である。

ネットワーク監視制御室
データ・フローを監視し、システムの警報及び問題に応答するような制御室を保持することができる。インターネット・サービス・プロバイダが、殆どのインターネット上の問題に対処するであろう。

プロバイダ
イベントデータは、商業サービスによって提供されるインターネット・サーバにストリーミングすることができる。サービスによるトランザクションごとにコストが発生するであろう。ライセンス交付を受けたコンピュータに使用を制限するために、データの暗号化が必要な場合もある。

ユーザ・システム
イベントデータは、イベントを見るため、イベントを分析するため、又は種々のシミュレーション・ゲームの出発点として、多数の方法で用いることが可能である。

一連の位置情報と画像の細部（選手の顔、キャッチの外観）とを取り、番組を見る人物が選んだ視野において提示するようにこれらを変形するのに、現行のコンピュータ・グラフィックス技術を用いてもよい。

イベントデータ・ソースへの接続
イベントデータ・ソースへの安全なログイン。これは、広告者にとって多大な関心である、データの制御及びユーザの識別の両方を可能にする。

ビューの選択
ユーザは特定のセッションに関して、ビューの形式、解像度などを選択する。

画像生成
画像は選択された視認形式で生成される。

音の生成
選択された音響の生成は、３Ｄ音システムを利用するために、３Ｄ位置選択を使用するであろう。３Ｄ音を正確に再現する多数の音システムが存在する。

ビューアの能力
・視認位置を選んで視認する（即ち、ミドルラインバッカーの位置からプレーを視認する）
・恣意的な視野でリプレーする
・プレーの図式的ビューを与える（×印及び○印）
・試合中に種々の統計的データを生成する
・特定の選手を追跡する
・試合履歴を早送りする
・異なる結果によるユーザ提案修正を可能にする

アニメーション
ユーザ・システムは、データを表示するような３Ｄアニメーション・アプリケーションを含む。ユーザ・システムは、ビュー及びシーンの展開を制御できるようにする。

ビューアの記述
ビューが試合の視野ビューを選択すると、３Ｄ試合情報を用いて、正確な位置における選手のグラフィック表現が構成される。加えて、グラフィック・システムにより、選択された付加的な画像を変形し、正確な位置関係で配置することが可能である。例を挙げれば、幾つかの顔の基準画像を用いて、選手のグラフィックに顔を付けることが可能であり、又はサイドラインでのキャッチの撮影映像を、現行の視認角度及び距離に合わせて変形することが可能である。

ＴＶ放送の強化
本発明のシステムは、現行のスポーツ放送と合体することができる。取得システムは、放送者がリプレーを生成し、プレーを図式的な形態で示す能力を強化し、視認者が試合の視野を選ぶ能力を強化する。

小規模放送
高品質のアニメーションを生成する能力があるワークステーションを用いて、テレビジョン放送信号を作り出すことができる。注解及び視野の選択は放送者が制御するものとなる。

ＳＤＫ
ユーザ・システムの別の態様は、試合及びアプリケーション開発者がイベントデータ又は情報を使用できるようにするＳＤＫ（ソフトウェア開発キット）であろう。

ゲーム
イベントデータを活用するために、一群のゲームを開発してもよい。

プレー解釈
審判の合図の解釈、ブロックなのか衝突なのか、タックルなのかタックル失敗なのか、パスの受け損ねなのかキャッチなのか、などの種々の付加的な情報が必要である。既知の結果から遡り、消失した情報を導き出すことができる。プレー終了は、これを行う時間を与える。

審判員は競技場で使用可能ないずれかの統計的データ情報と共に常時監視されるので、どんな間違いも訂正される。カメラは、一貫した試合情報を保証するためにスコアボードを視認することができる。マイクは競技場のアナウンサーの音を取り込むことができる。

イリュージョン
このプロセスを付加的に助け、試合を「ライブ」で見ている錯覚を作り出すのは、視認プログラムの選手が地点間をスムーズに移動する能力である。データが不完全である場合には、選手はそのまま動きを続けることができ、選手が位置から外れたことを後の情報が示した場合には、その位置へスムーズに「向けられる」であろう。

データ量
試合を表すのに必要なデータ量は非常に少なく、これが生成される速度は、リアルタイム試合放映に関して「ダイアルアップ」インターネット接続をサポートするのに十分なだけ遅い。細部の量は、使用される接続の帯域幅に合わせて「スケーリング」することが可能である。

本発明の実施形態が図示され、説明されたが、これらの実施形態が本発明の全ての可能な形態を図示し説明するものであるとは意図されていない。逆に、本明細書において用いられた語は限定的なものではなく説明的なものであり、本発明の精神及び範囲を逸脱することなく種々の変更を為すことができると理解される。

アメリカンフットボールの試合を行うフットボール選手などのイベント参加者が、フットボール選手を表す３Ｄデータを含んだイベントデータを作成するための本発明のシステムによって視認される、フットボール競技場などのイベント会場の概略斜視図である。 本発明のシステムの１つの実施形態の概略ブロック図である。 本発明の方法の１つの実施形態を示すブロック図のフローチャートである。 一対のカメラ、及び、カメラ中心からイベント参加者への有向線分の概略図である。

Claims (48)

1. 少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、前記イベントデータをサービス提供可能な状態にするためのシステムであって、
   通信ネットワークと、
   前記通信ネットワークに連結された複数のカメラ・ユニットと、
   を含み、前記カメラ・ユニットは、イベント会場において、前記イベント会場の周りに離間して配置された複数の平行ではない検出器面において、前記少なくとも１人の参加者を含む前記イベント中の対象物から伝播する波動を用いて複数の画像を生成するように構成及び設置されており、且つ、前記検出器面における前記画像中のエネルギーを測定し、前記少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせる複数の検出器と、前記複数の検出器からの前記複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理して画像データを得るための複数の信号プロセッサと、を含んでおり、前記カメラ・ユニットは、前記イベント会場に関して３Ｄに較正され、
   前記通信ネットワークに連結された、前記画像データを処理して前記３Ｄデータを含むイベントデータを得るためのプロセッサ・サブシステムと、
   データ・エンジンを含むサーバと、
   を含み、前記サーバは、前記通信ネットワークを通じて前記プロセッサ・サブシステムと通信状態にあり、前記プロセッサ・サブシステムから前記３Ｄデータを含む前記イベントデータを受信し、前記イベントデータをサービス提供可能な状態にするように構成されている、
   ことを特徴とするシステム。
2. 前記波動は前記対象物から反射された光信号であり、前記検出器の少なくとも１つは光検出器のアレイを含むことを特徴とする請求項１に記載のシステム。
3. 前記光検出器のアレイの各々はビデオカメラを含むことを特徴とする請求項２に記載のシステム。
4. 前記３Ｄデータは前記少なくとも１人の参加者の３Ｄ位置、ポーズ、及び外観を表すことを特徴とする請求項１に記載のシステム。
5. 前記３Ｄデータは複数のイベント参加者と、前記参加者の３Ｄ位置、ポーズ、及び外観と、を表すことを特徴とする請求項１に記載のシステム。
6. 前記イベントデータは前記イベントのスナップショット及びビデオクリップを含むことを特徴とする請求項３に記載のシステム。
7. 前記イベントデータは個々の及びグループの統計的データを含むことを特徴とする請求項５に記載のシステム。
8. 前記イベントは審判付きイベントであり、前記イベントデータは審判上のヘルプ・データを含むことを特徴とする請求項５に記載のシステム。
9. 前記ネットワークはイーサネット・ネットワークであることを特徴とする請求項１に記載のシステム。
10. 前記ネットワークは無線ネットワークであることを特徴とする請求項１に記載のシステム。
11. 前記イベントデータを受信し、前記イベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化されたイベント参加者を含むアニメ化されたシナリオを作成するように構成された、アニメーション・エンジンを含むクライアントをさらに含むことを特徴とする請求項１に記載のシステム。
12. 前記シナリオはプレーであり、前記少なくとも１人の参加者はプレーにおける少なくとも１人の仮想選手を含むことを特徴とする請求項１１に記載のシステム。
13. 前記少なくとも１人の仮想選手は、少なくとも１人の仮想スポーツ選手を含むことを特徴とする請求項１２に記載のシステム。
14. 前記クライアントは前記イベントデータを編集して編集済イベントデータを得るためのエディタを含み、前記アニメ化されたシナリオは前記編集済イベントデータに基づくことを特徴とする請求項１１に記載のシステム。
15. 前記クライアントは前記イベントデータに基づく仮想環境を作成するための手段を含み、前記アニメ化されたシナリオは前記仮想環境においてシミュレートされることを特徴とする請求項１１に記載のシステム。
16. 前記クライアントは前記仮想環境において前記アニメ化されたシナリオを制御するための手段を含むことを特徴とする請求項１５に記載のシステム。
17. 前記制御するための手段は、前記アニメ化されたシナリオを見る現実の人間の視点を制御することを特徴とする請求項１６に記載のシステム。
18. 前記サーバは、ウェブサーバをさらに含むことを特徴とする請求項１に記載のシステム。
19. 前記クライアントを前記ウェブサーバに連結し、前記イベントにおける少なくとも１つの選択された対象物に関する前記イベントデータを得るように構成されたウェブブラウザ・インターフェース、を含むクライアントをさらに含むことを特徴とする請求項１８に記載のシステム。
20. 前記クライアントは、前記サービス提供されたイベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化された仮想参加者を含むアニメ化されたシナリオを作成するためのアニメーション・エンジンを含むことを特徴とする請求項１９に記載のシステム。
21. さらに、前記通信ネットワークに連結された音響サブシステムをさらに含み、前記音響サブシステムは、前記イベント会場において、前記イベント会場の異なる位置からの複数の音を取得し処理して音データを得るように構成及び設置された音響サブシステムを含んでおり、前記プロセッサ・サブシステムは３Ｄ音データを得るように前記音データを処理し、前記イベントデータは前記３Ｄ音データを含むことを特徴とする請求項１に記載のシステム。
22. 前記イベントはアクション指向イベントであることを特徴とする請求項１に記載のシステム。
23. 前記アクション指向イベントはスポーツ・イベントであることを特徴とする請求項２２に記載のシステム。
24. 前記イベントは監視イベントであることを特徴とする請求項１に記載のシステム。
25. 少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、前記イベントデータをサービス提供可能な状態にするための方法であって、
    イベント会場の周りに離間して配置された複数の平行ではない検出器面において、前記少なくとも１人の参加者を含む前記イベント中の対象物から伝播する波動から複数の画像を生成し、
    前記検出器面における前記画像中のエネルギーを測定し、前記少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせ、
    画像データを得るように、前記複数の信号を少なくとも１つの制御アルゴリズムを用いて処理し、
    前記３Ｄデータを含む前記イベントデータを得るように前記画像データを処理し、
    前記３Ｄデータを含む前記イベントデータをサービス提供可能な状態にする、
    ステップを含むことを特徴とする方法。
26. 前記波動は前記対象物から反射された光信号であることを特徴とする請求項２５に記載の方法。
27. 前記３Ｄデータは前記少なくとも１人の参加者の３Ｄ位置、ポーズ、及び外観を表すことを特徴とする請求項２５に記載の方法。
28. 前記３Ｄデータは複数のイベント参加者と、前記参加者の３Ｄ位置、ポーズ、及び外観と、を表すことを特徴とする請求項２５に記載の方法。
29. 前記イベントデータは前記イベントのスナップショット及びビデオクリップを含むことを特徴とする請求項２６に記載の方法。
30. 前記イベントデータは個々の及びグループの統計的データを含むことを特徴とする請求項２８に記載の方法。
31. 前記イベントは審判付きのイベントであり、前記イベントデータは審判上のヘルプ・データを含むことを特徴とする請求項２８に記載の方法。
32. 前記イベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化されたイベント参加者を含むアニメ化されたシナリオを作成するステップをさらに含む、請求項２５に記載の方法。
33. 前記シナリオはプレーであり、前記少なくとも１人の参加者はプレーにおける少なくとも１人の仮想選手を含むことを特徴とする請求項３２に記載の方法。
34. 前記少なくとも１人の仮想選手は、少なくとも１人の仮想スポーツ選手を含むことを特徴とする請求項３３に記載の方法。
35. 前記イベントデータを編集して編集済イベントデータを得るステップをさらに含み、前記アニメ化されたシナリオは前記編集済イベントデータに基づくことを特徴とする請求項３２に記載の方法。
36. 前記イベントデータに基づく仮想環境を作成するステップをさらに含み、前記アニメ化されたシナリオは前記仮想環境においてシミュレートされることを特徴とする請求項３２に記載の方法。
37. 前記仮想環境において前記アニメ化されたシナリオを制御するステップをさらに含むことを特徴とする請求項３６に記載の方法。
38. 前記制御するステップは、前記アニメ化されたシナリオを見る現実の人間の視点を制御することを特徴とする請求項３７に記載の方法。
39. 前記サービス提供可能な状態にするステップは、前記イベントデータをインターネット上でサービス提供可能な状態にすることを特徴とする請求項２５に記載の方法。
40. 前記イベントデータをインターネット上でサービス提供するステップをさらに含む、請求項３９に記載の方法。
41. 前記サービス提供されたイベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化された仮想参加者を含むアニメ化されたシナリオを作成するステップをさらに含む、請求項４０に記載の方法。
42. 音データを得るように前記イベント会場の異なる位置からの複数の音を取得し処理するステップと、３Ｄ音データを得るように前記音データを処理するステップと、をさらに含み、前記イベントデータは前記３Ｄ音データを含むことを特徴とする請求項２５に記載の方法。
43. 前記イベントはアクション指向イベントであることを特徴とする請求項２５に記載の方法。
44. 前記アクション指向イベントはスポーツ・イベントであることを特徴とする請求項４３に記載の方法。
45. 前記イベントは監視イベントであることを特徴とする請求項２５に記載の方法。
46. 前記較正されたカメラ・ユニットは３Ｄ位置を表す３Ｄ方向の線分を生じさせることを特徴とする請求項１に記載のシステム。
47. 不完全な又は消失したイベントデータを補償するように、前記３Ｄデータを処理するステップをさらに含むことを特徴とする請求項２５に記載の方法。
48. 不完全な又は消失したイベントデータを補償するように、前記少なくとも１人の参加者の位置及び速度を表す３Ｄデータを、前記イベントの３Ｄモデルと共に用いるステップを含む、請求項２５に記載の方法。

Images