JP2002518722A - スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置 - Google Patents

Abstract

(57)【要約】 仮想観覧システムは、スポーツ競技場の周囲に配置されたカメラからの未加工の像を使用して、凝視された任意の視点からスポーツ競技の仮想観覧を形成する。システムは、光学トラッキングシステムと、仮想環境サーバと、１または複数の仮想観覧ステーションとからなる。光学トラッキングシステムは、スポーツ競技場の周囲に計画的に配置された複数の予め選択されたカメラから未加工の２次元ビデオデータを受ける。未加工の２次元ビデオデータは、その後、複数のデータゲートに区分され、一連のソフトウエア画像プロセッサにより、各スポーツ選手や他の標的となる存在物（エンティティ）に割り当てられるボディー状態データに処理される。ボディー状態データは、その後、選択された複数の仮想観覧ステーションへ送るため、ボディー位置情報及びビジュアルモデルを形成する仮想環境サーバに送られる。各仮想観覧ステーションは、仮想スポーツシーンを所望通りに描写して観覧するための観覧ソフトウエアを有している。また、観覧ステーションは、仮想カメラの観覧視点を制御するとともに、必要な時にビデオデータを送信して他のビデオ出力と組み合わせることができるように、ビデオデータをビデオプロダクションセンターに出力する。このようなシステムにより、オペレータは、オプションのコントロールセンターから所望の仮想観覧を選択することができるとともに、仮想観覧画像を遠く離れた観衆に送ることができる。コントロールセンターやアーカイブコンピュータのようなオプションのサブシステムは、カメラ位置、テザー、フォーカス、ズームを変更したり、スポーツ競技に関する処理されたデータを記憶するために、また、要求に応じてデータを再生するために、システム内に組み込まれても良い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は、一般に、３次元コンピュータグラフィックディスプレイシステムに
関し、特に、従来のＴＶ、デジタルＴＶ及びインターネットの視聴者及び放送者
が実質的に有利な位置からスポーツ競技を観覧できるシステム及び方法に関する
。

【０００２】

【従来の技術】

複数のテレビカメラを適当な位置に配置して、これらのカメラから供給される
ものを放送ブース内のアナウンサーに提供するとともに、プレーに関してアナウ
ンサーがコメントできるように競技の所定のプレーを再生して、最終的にテレビ
放送全体を視聴者に送信することによって、スポーツ競技を放送することはこの
技術分野において良く知られている。しかしながら、このような従来の放送方法
は幾つかの欠点を有している。

【０００３】 第１に、カメラが競技場に計画的に配置されていない場合、あるいは、競技場
を十分に取材するためのカメラが数台しかない場合には、放送の質が損なわれる
。これによって、競技場の特定の部分における特定のプレーが見逃されたり十分
に取材されなかったりする。

【０００４】 第２に、幾つかの従来のテレビカメラは若干移動できるが、競技場周囲のカメ
ラの位置は基本的には固定され静止している。しかしながら、競技場において、
試合のボールや選手の動きは活発で予測することができない。したがって、試合
中、静的に配置されたカメラは、決定的な角度からの像を提供し損なう場合があ
り、あるいは、カメラの視野が選手や関係者によって妨げられてしまう。例えば
、タッチアウトを避けるために野球のランナーがベースに向かってスライディン
グするクローズアップ画像や、ランナーの膝が地面に触れる前もしくは後にラン
ニングバックをしくじるクローズアップ画像、あるいは、ワイド・レシーバがパ
スを受けた後に両足をバウンドしようと試みるクローズアップ画像を、静的な競
技場のカメラが提供し損なうことはよくある。

【０００５】 第３に、従来のカメラは、一般に、試合中、実際の競技場内に配置されていな
い。カーレースが注目に値する唯一の例外であり、車の中のカメラは、レース放
送を激変させるとともに、スポーツファンの興味を刺激した。しかしながら、フ
ットボールのような他のスポーツ競技において、ヘルメット内やその他のスポー
ツ道具内に装着されるグランド上のカメラは、幅広く使われておらず未だ楽しめ
ない。そのため、競技場から離れたカメラにより、比較的離れた有利なポイント
から、間接的な視野で競技を記録しなければならない。

【０００６】 第４に、放送ブース内のスポーツ実況アナウンサーは、ビデオが使えるかどう
かを、競技場のカメラによって予め記録されたビデオで間に合わせなければなら
ない。実況アナウンサーは、他の視点から試合を記録するためにカメラの位置を
動的に移すことができない。そのため、実況アナウンサーは、固定的なビデオ画
像に制限され、ビデオが記録される視点を変えることができない。また、メジャ
ーリーグのスローモーション即時再生の使用頻度が増大するにつれて、即時再生
の有利な位置が益々重要となってきている。

【０００７】 従来は、スポーツ選手や競技ボールのようなスポーツ道具の物理的な位置をリ
アルタイムに取得して処理する幾つかの試みがなされた。例えば、ダベール（Da
ver）の米国特許第５，５１３，８５４号は、動いている人をリアルタイムに取
得するシステムを開示している。また、ラルセン（Larsen）の米国特許第５，３
６３，２９７号は、スポーツ競技のための自動カメラトラッキングシステムを開
示している。しかしながら、これらのシステムはいずれも、個々のスポーツ選手
やスポーツ道具をリアルタイムで追跡（トラッキング）し、且つトラッキングデ
ータを使用して処理された値に基づいてシミュレートされた像を形成し、且つシ
ミュレートされた像を本来のスポーツ競技を表わすためにリアルタイムで更新さ
れる仮想スポーツ環境にまとめる１つのシステムを教示してはいない。

【０００８】 このように、スポーツ研究の不足や従来のシステムの欠点により、スポーツ競
技の仮想観覧を形成する要求を満足することはできず、これは本発明を成す動機
付けとなった。

【０００９】

【発明が解決しようとする課題】

本発明の目的は、カメラが固定配置されているにもかかわらず、無限の視点を
表示して分析するために、スポーツ競技のような人間の動きをリアルタイムで収
集するシステム及び方法を提供することである。

【００１０】 他の目的は、カメラが固定配置されているにもかかわらず、あるいは、試合の
道具、選手、関係者の動的な動きにかかわらず、最適な角度及び視点から与えら
れたスポーツプレーの観覧を与えるシステム及び方法を提供することである。

【００１１】 更なる他の目的は、アナウンサーや視聴者がグランド上のカメラ位置の視点か
らグランド上のプレーを観ることができるとともに、ユーザがグランド上の任意
のカメラ位置を仮想的に選択することができるシステム及び方法を提供すること
である。

【００１２】 更なる目的は、スポーツ実況アナウンサーが自身の特定の姿勢に適するように
視点を調整することができるようにすることである。

【００１３】

【課題を解決するための手段】

要約すれば、仮想観覧システムは、スポーツ競技場の周囲に配置されたカメラ
からの未加工の像を使用して、考慮された任意の視点からスポーツ競技の仮想観
覧を形成する。システムは、光学トラッキングシステムと、仮想環境サーバと、
１または複数の仮想観覧ステーションとからなる。光学トラッキングシステムは
、スポーツ競技場の周囲に計画的に配置された複数の予め選択されたカメラから
未加工の２次元ビデオデータを取得する。未加工の２次元ビデオデータは、その
後、複数のデータゲートに区分され、一連のソフトウエア画像プロセッサにより
、各スポーツ選手や他の標的となる存在物（エンティティ）に割り当てられるボ
ディー状態データに処理される。ボディー状態データは、その後、選択された番
号の仮想観覧ステーションへ送るため、ボディー位置情報及びビジュアルモデル
を形成する仮想環境サーバに送られる。各仮想観覧ステーションは、仮想スポー
ツシーンを所望通りに描写して観覧するための観覧ソフトウエアを有している。
また、観覧ステーションは、仮想カメラの観覧視点を制御するとともに、必要な
時にビデオデータを送信して他のビデオ出力と組み合わせることができるように
、ビデオデータをビデオプロダクションセンターに出力する。観覧ステーション
は、依頼者のため、状態データのデータパケットをインターネットで出力する。
このようなシステムにより、オペレータは、オプションのコントロールセンター
から所望の仮想観覧を選択することができるとともに、仮想観覧画像を遠く離れ
た観衆に送ることができる。コントロールセンターは、データパケットをインタ
ーネットやインタラクティブ（双方向）ＴＶを含む同様なメディアに送ることが
できる。コントロールセンターやアーカイブコンピュータのようなオプションの
サブシステムは、カメラ位置、テザー、フォーカス及びズームを変更したり、ス
ポーツ競技に関する処理されたデータを記憶するために、また、要求に応じてデ
ータを再生するために、システム内に組み込まれても良い。形成される仮想観覧
は、競技場のカメラから受ける未加工のビデオ内に実際の対象物を有していない
が、演算されたデータに基づいて実際のプレー状況を正確に描写する。

【００１４】 本発明の他の特徴、目的、長所は、添付図面を参照しながら以下の説明を読む
ことによって明らかとなる。

【００１５】 本出願は、スポーツ競技の仮想観覧を形成する方法及び装置に関して、１９９
８年６月１２日に出願された同時係属の米国出願第０９／０９４，５２４号のＰ
ＣＴ８条に基づく優先権を主張する。

【００１６】

【発明の実施の形態】 本発明の機能及び構造を更に理解するために図面を参照すると、仮想観覧スポ
ーツシステム１０（Virtual View Sports System :ＶＶＳシステム）と呼ばれる
本発明は、３つの主要なサブシステム、すなわち、光学トラッキングシステム１
１と、仮想環境サーバ１２と、仮想観覧ステーション１３とを備えている。コン
トロールセンター１４及びアーカイブコンピュータ１６は、ＶＶＳシステムの能
力を高める光学的なサブシステムであるが、システムの動作にとって重要ではな
い。これらの主要なサブシステムを示すＶＶＳシステム１０の全体のシステム構
造が図１に示されている。提案されたシステムハードウエア構成要素の別個の図
及びシステムワイド（広域）図は、同時係属の仮出願に開示されており、これを
参照することによって本願に組み入れられるとともに、以下の説明の参考となる
。

【００１７】 一例として、本発明では、スポーツ選手やボールを有するスポーツ競技の仮想
化に関して説明する。しかしながら、当業者であれば分かるように、ＶＶＳシス
テム１０は、予め選択された対象（オブジェクト）が、陸軍の演習、有害な環境
モニタリング、無人宇宙探検といった仮想環境への変換やトラッキングを必要と
する、任意のタイプの状況にも適用できる。

【００１８】 図２に示されるように、光学トラッキングシステム１１は、一組の従来のＴＶ
カメラ１７から未加工のビデオデータを受け、ＴＶカメラ１７はスポーツ競技場
の周囲に計画的に位置決めされており、各カメラ１７が２次元（２−Ｄ）で撮影
するものに基づいて、３次元（３−Ｄ）の位置データが形成される。用途や要求
される精度の程度に応じて、２つあるいはそれ以上のカメラが使用されるととも
に、非常に高い精度が要求される場合には高解像度カメラが加えられても良い。
未加工の２次元のデータは、Ｉ／Ｏシーケンサ部１９によって複数のデータゲー
トに区分されるとともに、一連のアレイプロセッサ盤２１により、受けた各ビデ
オ画像中のスポーツ選手や他の目標となる存在に関する身体状態（ボディー状態
）データ６７に処理される。また、軌跡相関盤２３は光学トラッキングシステム
１１内に含まれている（図３参照）。

【００１９】 図５に示されるように、その後、データは、位置データ及びビデオフレームか
ら現実的なアニメーション化されたキャラクターを形成する仮想環境サーバ１２
によって受けられる。サーバ１２は、真に迫った外観を形成するスポーツキャラ
クター上に実際のビデオデータをかぶせる（オーバーレイする）ために、１つの
モデルテクスチャリング部２７と一連の環境サーバコンピュータ３２とを有して
いる。また、記憶された画像をオペレータの要求に応じて仮想観覧ステーション
１３が再生できるように、仮想環境サーバ１２は、過去の記録を随意的にアーカ
イブコンピュータ１６（図７参照）内に保存しても良い。

【００２０】 環境サーバコンピュータ３２は、予めプログラムされたボディーの動きの知識
を使用して、軌跡相関システム２３（図３参照）によって評価されたボディー状
態を補正及び改良する。また、選手のランニングといったようなある一定のジェ
スチャーを認識することによって、また、状態を滑らかにすることによって、測
定されたボディー状態を修正して、より現実的なビジュアルシミュレーションを
与えることもできる。ボディーを滑らかにすることによって、偶発的な動きを変
え、あらゆる測定の失敗を補正する。

【００２１】 より良好なボディー状態を形成する他の技術は、ボディーの物理的な動きや他
の複数のボディーとの相互作用を形に表わすことである。例えば、大抵のトラッ
キングフィルタは、バットが野球のボールを打った際にボールに追従することが
難しい。このような相互作用を予測してボディーへの影響力を測定すると、シス
テムの状態方程式を修正して優れたボディー状態情報を得ることができる。

【００２２】 ＶＶＳシステムを動作させるためには、少なくとも１つの仮想観覧ステーショ
ン１３が必要であるが、図６に示されるように多数の仮想観覧ステーションが使
用される測定可能なシステムが望ましい。各ステーションは、基本的には、カメ
ラオペレータによって操作される仮想カメラである。各仮想観覧ステーションは
、仮想環境サーバ１２によって提供される位置データ及びキャラクターアニメー
ションに基づいて、３次元画像を提供することができる。カメラオペレータは、
インターフェースコンソール上のジョイスティックを使用してあるいはコントロ
ールセンター１４のオペレータによって形成される予め設定された観覧点（ビュ
ーポイント）から選択して、観覧視野を移動させることができるとともに任意の
位置に「飛ばす」ことができ、これにより、任意の仮想視野からスポーツ競技を
観覧することができる。オペレータは、各仮想観覧ステーション１３上で実行さ
れる標準的な画像ソフトウエアを使用して、仮想視野を制御する。

【００２３】 コントロールセンター１４により、オペレータは、手動介入が望ましい場合に
は、その要求に応じて、ＶＶＳシステム１０の操作を担うことができる。コント
ロールセンター１４は、ＶＶＳシステム１０を初期設定し、診断し、微調整する
能力を加える。また、コントロールセンター１４により、オペレータは、ＶＶＳ
システム１０に取り付けられた各カメラを遠隔的に操作して、スポーツ競技にお
ける興味ポイントの最適な範囲を規定することができる。

【００２４】 図２に示されるように、光学トラッキングシステム１１は、光学的なカメラデ
ータを、カメラ１７によって観覧される対象（オブジェクト）に関する３次元位
置データに変換できるように最適化されたラック装着可能なエレクトロニクス装
置を想定している。この３次元データは、「オブジェクトトラック」と呼ばれ、
スポーツ選手の動きや相対的なボール位置と対応するように連続的に更新される
。光学トラッキングシステムは、デュアル３００Ｗ ＡＣ電源、冷却ファン、２
０スロットのｐ−ｖ面、複数のプラグ・イン・カードを有するラック装着可能な
カードケージ内に保持されるように容易に設計可能なコマーシャル・オフ・ザ・
シェルフ（Commercial Off The Shelf :COTS）を使用している。光学トラッキン
グシステム１１と仮想環境サーバ１２のような他のＶＶＳシステムの構成要素と
の間の高速接続を実現するために、バス拡張カードを設けることもできる。ラッ
ク装着可能な構成を成すと、ＶＶＳシステムを拡張することができ、複数のトッ
プレベルのＶＶＳシステム構成要素を有する大きな構成配置をサポートすること
ができる。

【００２５】 一連のカメラインターフェースカード１８は、光学トラッキングシステム１１
がカメラフレームデータを処理する準備をするまで、カメラフレームデータのバ
ッファリングを行なう。また、カード１８は、観覧、フォーカス及びズーム制御
のためにカメラと接続し、コントロールセンター１４のための送信経路として作
用する。各カメラインターフェースカードは、デジタルビデオインターフェース
と、単一のカメラのためのコントロールインターフェースとを有している。８つ
のカメラインターフェースカード１８は、最大６０Ｈｚのフレームレートを持つ
最大１２８０×１０２４ピクセルの解像度を有するカメラをサポートするように
構成することができる。光学トラッキングシステムは、最初は、最大で８つのカ
メラインターフェースカードをサポートするように構成されている。しかしなが
ら、図示のように、これは、非常に多くのカメラ入力源が必要な様々なタイプの
スポーツ競技に対応できるスケール可能なシステムである。

【００２６】 Ｉ／Ｏシーケンサ部１９は、バッファ付きのフレームデータをカメラインター
フェースカード１８から受け、フレームを複数のゲートに分割するとともに、こ
のデータを適切なイメージアレイプロセッサ２１に分配する。ゲートは、システ
ムで使用されるハードウエアの能力にしたがって大きさが決められるフレームの
処理し易い部分として規定され、動的なシステムパラメータにしたがって変更す
ることができる。一般なシステムでは、図示のように、８つの全てのカメライン
ターフェースカード１８及び対応する８つのイメージアレイプロセッサ盤２１に
対して、１つのＩ／Ｏシーケンサ１９が使用される。

【００２７】 イメージアレイプロセッサ盤２１は、Ｉ／Ｏシーケンサ１９によって形成され
たゲートに関して画像処理を行なう。各イメージアレイプロセッサ盤は、単一の
命令複数データストリームアーキテクチャ（Instruction Multiple Data stream
Architecture :ＳＩＭＤ）タイプの配列の高速イメージプロセッサ２２を有し
ている。これらのイメージプロセッサ２２は、業界標準の画像処理アルゴリズム
を使用して、各フレーム内のオブジェクトを認識する。フレームに対する各オブ
ジェクトの２次元位置データは、その後、軌跡相関盤２３に送られる。

【００２８】 図３に示されるように、軌跡相関盤２３は、各イメージアレイプロセッサ盤２
１からのオブジェクトの位置データを処理するとともに、各オブジェクトの位置
データを、メモリ内に記憶されたオブジェクト軌跡ファイル２４として示される
過去の３次元オブジェクト位置データと関連付ける。ＶＶＳ１０の個々の部分に
よって形成されるデータを記憶するのに十分な標準的なランダムアクセスメモリ
量を有する共有メモリ領域は、共通の複数の電子サブシステムバスを通じてＶＶ
Ｓシステムの全ての部分に接続された１つの共通のＤＭＡインターフェース２６
を介して、アクセス可能である。

【００２９】 図５に示されるように、仮想環境サーバ１２は、システムの構成要素がＣＯＴ
Ｓエレクトロニクスをもって構成可能であるとともに、生のスポーツ競技の画像
を最適に形成して保存して分配できるラック装着可能な装置内にシステムの構成
要素が一般に保持される光学トラッキングシステムと類似している。ＤＭＡイン
ターフェースを介した仮想環境サーバ１２と光学トラッキングシステム１１との
間の高速接続を実現するために、ＣＯＴＳバス拡張カードが設けられていても良
い。

【００３０】 モデルテクスチャリング部２７は、光学トラッキングシステム１１によって提
供された情報に基づいて、写真のようなリアルな３次元ビジュアルモデルを形成
する。モデルテクスチャリング部２７は、スポーツ選手の身体（ボディー）の各
部分の位置測定値を保持する共有データベースから情報をアクセスして、そこか
らスポーツ関係者の３次元ワイヤーフレーム画像を形成する。モデルテクスチャ
リング部２７は、その後、ビデオフレームデータを使用して身体（ボディー）の
各部分に関する「モデルテクスチャー」２８を形成するとともに、これらのテク
スチャーを、先に形成したように、トラッキング部２７によって保持されたワイ
ヤーフレームモデル上にマッピングし、リアル度の高い３次元ビジュアルモデル
を形成する。

【００３１】 環境サーバコンピュータ３２は、軌跡相関盤２３によって先に演算されたボデ
ィー状態情報とモデルテクスチャリング部２７によって形成されたテクスチャー
情報２８とを使用して、シーンの形成のために、一貫性のあるボディー位置情報
及びビジュアルモデルを仮想観覧ステーション１３に提供する。ボディー位置デ
ータ及びリアルタイムなビジュアルモデルは、ダイレクトメモリアクセス（ＤＭ
Ａ）インターフェース２６を介して、仮想観覧ステーション１３と同期される。
また、仮想環境サーバ１２は、ＤＭＡインターフェースを介した仮想観覧ステー
ション１３からのアーカイブ要求を受け入れる。

【００３２】 オプションの追加機能として、アーカイブコンピュータ１６（図８参照）は、
要求に応じて過去の仮想環境データの検索や速い重複保存を行なう一連の安価な
レイド（Redundant Array of Inexpensive Drivers :RAID）からのビジュアルモ
デルやボディー位置情報のリアルタイムな記録・再生を行なうことができる。ま
た、アーカイブコンピュータは、適当なＶＶＳプログラミングを介して、ユーザ
によって制御された再生速度をサポートする。

【００３３】 図６に示されるように、各仮想観覧ステーション１３は、ＶＶＳ観覧ソフトウ
エアを有する高性能のＣＯＴＳ ＳＧＩワークステーションである。これらの仮
想観覧ステーション１３によって、オペレータは、仮想カメラの観覧角度やモニ
タのリアルタイムなデータを制御することができ、あるいは、高画質なシーンを
形成するための即時再生モードを機能させることができる。各仮想観覧ステーシ
ョン１３は、シーン内におけるオブジェクトの位置を決定するために、ボディー
状態情報を使用して３Ｄ仮想環境を描くシーン表現（シーンレンダリング）機能
１２６を有している。一般に、シーン表現機能１２６は、３次元多角形（ポリゴ
ン）のデータベース及び写真のようにリアルなテクスチャーを使用して、シーン
内にオブジェクトを描く。シーンが表現されると、シーン表現機能１２６は、シ
ーン内の観覧点（ビューポイント）の実況変化に応答する。写真のようにリアル
なモデルと描出ボディー状態データとをこのように組み合わせると、シーン表現
機能は、リアルタイムな実況再生において、非常にリアルな仮想シーンを形成す
ることができる。この実施例において、ＶＶＳシステムは、最大で４つの仮想観
覧ステーションをサポートするようになっている。

【００３４】 図８に示されるように、ＶＶＳシステム１０の他のオプション追加機能は、Ｖ
ＶＳコントローラインターフェースコンピュータ２９を有するコントロールセン
ター１４及びＶＶＳコントロールセンター３１である。コントローラインターフ
ェース２９は、ＶＶＳコントロールセンター３１と光学トラッキングシステム１
１／仮想環境サーバ１２との間のインターフェースとして機能する。ＶＶＳコン
トローラインターフェースは、リアルタイムのオブジェクト位置データをダイレ
クトメモリアクセス（ＤＭＡ）インターフェース２６を介してＶＶＳコントロー
ルセンターに送ることができる。また、ＶＶＳコントローラインターフェースは
、ＤＭＡインターフェース２６を介してＶＶＳコントロールセンターから送られ
てくる、位置決め、ズーム、フォーカスのようなカメラコマンドや、初期化や環
境設定といったシステムコマンドを伝送する。

【００３５】 ＶＶＳコントロールセンター３１は、ＶＶＳ制御ソフトウエアを有するＣＯＴ
Ｓシリコングラフィック（ＳＧＩ）ワークステーションである。ＶＶＳコントロ
ールコンソール（図示せず）により、オペレータは、ＶＶＳシステムを初期化で
きるとともに、カメラのオーバライド自動制御及びアップグレードを効果的に実
行することができる。ＶＶＳコントロールコンソールは、ダイレクトメモリアク
セス（ＤＭＡ）インターフェース２６を介して、仮想環境サーバ及び光学トラッ
キングシステムと繋がっている。

【００３６】 システムの能力を示すため、データの流れ及び動作時のＶＶＳシステム１０の
処理機能について説明する。様々なシステム機能の関係や機能間のデータのやり
とりを明確にするため、標準的な慣習通りに、機能名に斜字体を使用し、データ
名に太字を使用し、データベース名にアンダータインを付す。ＶＶＳシステムの
主要なサブシステム及び比較的重要ではないサブジステムを示す前述した複数の
図面を参照しながら、各部分の動作について説明する。

【００３７】 好ましい実施例に示されているように、光学トラッキングシステムは、最大で
８つのカメラインターフェースカード１８をサポートする。各カードは、カメラ
インターフェース４１と、フレームバッファ４２と、カメラコントローラ４３と
、カメラトラッキング機能４４と、共有ボディー状態ファイル４６とを有してい
る。カメラインターフェース４１は、カメラ１７からのビデオフレーム・カメラ
方向を処理するとともに、それをフレームバッファ４２内に格納する。また、イ
ンターフェース４１は、カメラコントローラ４３からのフォーカス、ズーム、位
置決めの各コマンドを処理するとともに、これらを選択されたカメラ１７に転送
する。カメラコントローラ４３は、ＶＶＳインターフェースコンピュータ２９内
のＶＶＳコントローラ８１から送られてくるテザー、フォーカス、ズームといっ
たカメラコマンドを処理する。例えば、ＶＶＳコントローラ８１からのテザーコ
マンドによって、カメラコントローラ４３は、特定のスポーツのボディーに追従
するようにカメラを方向付け、また、コントローラ４３は、テザーコマンドをカ
メラトラッキング機能４４に転送する。また、カメラトラッキング機能４４から
のカメラ位置決め（カメラポインティング）コマンドは、コントローラ４３によ
って処理される。カメラトラッキング機能４４は、カメラコントローラ機能４３
からのテザーコマンドを処理するとともに、共有ボディー状態ファイル４６から
ボディー状態データの一例を読み出すことができ、また、追従されるボディーを
選択されたカメラの視野内に中心付けるために必要なカメラの方向変化を演算す
ることができる。カメラポインティングコマンドは、その後、カメラを適切に動
作させるために、カメラコントローラ機能４３に送られる。ボディー状態ファイ
ル４６は、後述するように、ボディー伝達機能６８によりリアルタイムで更新さ
れる。

【００３８】 Ｉ／Ｏシーケンス部１９は、ゲートビルダー５１とＩ／Ｏシーケンサ５２とか
らなる。ゲートビルダー５１は、フレームデータ及びカメラ方向に関して、フレ
ームバッファ４２を調査する。ゲートビルダーは、フレームをアレイサイズの複
数のゲートに分割し、各ゲート毎にＸ，Ｙゲート座標を特定して、各ゲート毎に
観覧時間にタグを付すとともに、ゲートとゲート座標と観覧時間とをＩ／Ｏシー
ケンサ５２に供給する。また、ゲートビルダー５１は、ユーザが規定する速度で
、フレームとフレーム座標と観覧時間とをモデルテクスチャリング盤２７に送る
。Ｉ／Ｏシーケンサ５２は、利用可能なアレイプロセッサ盤２１に対して、ゲー
トとゲート座標と観覧時間とを順序付ける。また、図示のように、Ｉ／Ｏシーケ
ンサ５２は、８つのアレイプロセッサ盤のために、負荷バランシングを提供する
。

【００３９】 アレイプロセッサ盤２１は、主に、画像処理機能を実行する。これらの盤は１
つのイメージプロセッサ２２を有しており、イメージプロセッサ２２は、受けた
各フレームに関してエッジ検出を行なって、ボディーとボディーの中心の３次元
位置として定義付けられるボディー重心とを確認する。また、イメージプロセッ
サ２２は、パターンマッチングを実行して、特定の１つのボディーを一人の選手
に関連付けるとともに、オブジェクトヒットパイプデータベース６４内に記憶す
るために、２次元（ボディー要素）オブジェクト位置、オブジェクトタイプ、オ
ブジェクト方向、オブジェクト観覧時間を確認する。図示のように（図３参照）
、イメージプロセッサは、ボディー重心とボディーＩＤとボディー観覧時間変数
とをオブジェクトヒットパイプ６４に送信する。

【００４０】 前述したイメージプロセッサ２２は、細分化、特徴抽出、分類といった技術を
処理する標準的な画像ソフトウエアを使用して、フレーム内の各ボディー画像を
利用する。図４は、これらの技術を使用してボディーデータを解析する１つのア
プローチを示している。図示のように、背景削除９２及び相関関係９３に関する
サブモジュールをプログラミングするために、未加工の画像データ９１が送信さ
れる。背景削除サブプログラム９２は、２進拡張（Binary Dilation）、２進エ
ロージョン（Binary Erosion）、２進閉鎖（Binary Closing）、逆画像変換、コ
ンベックス・ハル（Convex Hull）技術といった良く知られたアルゴリズムを使
用して、背景を真のボディーから分離する。画像グループ分け９４は、抽出処理
の特徴抽出部の一部として存在し、データを他のサブ機能に送る。グループ分け
サブプロセシングプログラム９４は、空間フィルタを使用してピクセルを分類し
、分割された各ピクセルに関するグループＩＤを形成する。この情報は、概略化
サブプログラム９６と画像相関関係サブプログラム９３と他の特徴抽出サブプロ
グラム９７とに送られる。概略化サブプログラム９６は、ピクセル分離技術によ
ってグループ又は染み（blob）を確認して、体系的にデータの境界を剥ぎ取って
、単位幅の概略を形成する。画像相関関係９３は、先に形成されたグループＩＤ
を使用して、概略化プロセスで得られた相関関係ピークを特定のグループに割り
当てる。ボディー状態データを更に純化させて適切なボディー測定値を得るため
に、グループ分けプロセスからのデータ出力によって抽出された場所やモーメン
トといった他のタイプの特徴、染み形状（blob shapes）といった特徴は、サブ
プログラム９７によって処理される。抽出して得られた各グループは、その後、
所定の特徴画像テンプレートにしたがって分類され（９８）、ボディーヒットパ
イプ６４及びオブジェクトヒットパイプ６１に送られる。

【００４１】 移動するスポーツ選手やボールを確認するためにこれらの技術を使った画像処
理を題材とした様々な優れた本が書かれている。そのような技術の１つの優れた
出典は、ケニス・Ｒ・キャッスルマン（Kenneth R. Castleman）によるデジタル
画像処理であり、参照により本願に組み入れられる。染みやボディー移転（body
devolution）の技術を扱った他の引例は、明細書に添付された参考文献表に列
挙されており、参照により本願に組み込まれる。また、フレーム画像処理に関す
る議論については省略する。なぜなら、この議論は本発明の範囲を越えており、
また、本発明においては、適切な動作のために、標準的な工業処理技術を使用で
きるからである。

【００４２】 図３に示されるように、軌跡相関盤２３は、アレイプロセッサ盤２１からの２
次元オブジェクト及びボディー状態データに基づいて、３次元オブジェクト及び
ボディー軌跡を作成する。軌跡盤２３は、オブジェクトヒットパイプ６１と、軌
跡相関機能６２と、オブジェクトトラックファイル２４と、ボディーヒットパイ
プ６４と、ボディー相関機能６６と、ボディー状態ファイル６７と、ボディー伝
達機能６８とを有している。オブジェクトヒットパイプ６１は、オブジェクトタ
イプ、オブジェクト位置、オブジェクト方向、オブジェクト観覧時間といったオ
ブジェクトヒットを記録する。軌跡相関機能６２は、その後、２次元オブジェク
トヒットを、オブジェクト軌跡ファイル２４内に記憶された３次元オブジェクト
軌跡と関連付けて、３次元オブジェクト位置及びオブジェクト方向を更新すると
ともに、オブジェクト速度及びオブジェクト加速度を演算する。また、軌跡相関
機能６２は、予め決められた相関関係の閾値が満たされるように、オブジェクト
トラックファイル２４内に記憶されたオブジェクト軌跡を組み合わせたり分割し
たりする。また、オブジェクト軌跡ファイル２４は、オブジェクトタイプ、オブ
ジェクト位置、オブジェクト方向、オブジェクト速度、オブジェクト加速度、母
体といったオブジェクト軌跡を記憶する。ボディーヒットパイプ６４は、ボディ
ー重心、ボディーＩＤ、ボディー観覧時間といったボディーヒットを記憶する。
同様に、軌跡相関機能６２は、ボディーヒットパイプ６４からのボディー重心及
びボディーＩＤ情報を処理して、ボディー状態ファイル６７内に記憶されたボデ
ィー重心及びボディーＩＤデータを更新する。ボディー状態ファイル６７は、関
連する各部分に関して、ボディーＩＤ、ボディー重心、状態データを含むボディ
ー状態を記憶する。各ボディーは、２つの脚、２つの膝、２つの胴ポイント、１
つの腹、２つの肩ポイント、２つの肘、２つの手、１つの頭といった関連付けら
れた部分データを有している。関連付けられた各部分に関して、関連付けられた
部分のタイプ、関連付けられた部分の位置、関連付けられた部分の方向、関連付
けられた部分の速度、関連付けられた部分の加速度が記憶される。ボディー状態
ファイル６７は、モデルテクスチャリング部２７と環境サーバコンピュータ１２
とを有する他の複数のＶＶＳボード及びその構成部分を使用することによって前
述した共有メモリ内に記憶される。ボディー伝達機能６８は、３次元オブジェク
ト軌跡をボディー状態ファイル６７内の関連付けられた部分と関連付けることに
よって、ボディー状態ファイルを維持するとともに、オブジェクト軌跡ファイル
２４内の母体変数を更新して、ボディー状態ファイル６７内の関連付けられた部
分の位置、関連付けられた部分の方向、関連付けられた部分の速度、関連付けら
れた部分の加速度を更新する。また、ボディー伝達機能６８は、人間の動きのア
ルゴリズムを適用して、ボディー状態ファイル６７内に保持されたボディー関連
付けを滑らかにする。また、アーカイブコンピュータ１６がシステム内に存在し
ている場合には、ボディー状態の最新情報は、ボディー伝達機能６８によって、
保存のためのリアルタイムレコーダ１０１に送られる。

【００４３】 モデルテクスチャリング部２７は、ビデオフレームからモデルテクスチャーを
リアルタイムに形成するようになっている。モデルテクスチャリング部２７は、 ボディー状態 ファイル６７とフレームバッファ４２を使用するとともに、ボディ
ー相互関連機能１１１と、フレーム表現機能１１２と、ビジュアルモデルデータ
ベース１１３と、テクスチャー形成機能１１４とを有している。フレームバッフ
ァファイル４２は、ゲートビルダー機能５１からのカメラ方向データ及び画像の
時間タグ付きのフレームを記憶する。ボディーの相互関連機能１１１は、ボディ
ー状態データを使用して、３次元ワイヤーフレームでありボディーのテクスチャ
ー表示であるどのビジュアルモデルがボディーに関連付けられるかを決定する。 ビジュアルモデル ファイルは、モデル名、モデルタイプ、エンティティタイプマ
ッピング、ボディー寸法、ポリゴンの幾何学的構造、テクスチャー、テクスチャ
ーマッピングを含むビジュアルモデルを記憶する。機能１１１は、ボディー状態
データを順々に使用して、関連付けられた部分を有するエンティティ状態データ
を形成するとともに、そのデータをフレーム表現機能１１２に送信する。フレー
ム表現機能１１２は、その後、ボディーの相互関連機能１１１からのエンティテ
ィ状態と、ゲートビルダー機能５１からのカメラ方向データと、ビジュアルモデ
ルファイル１１３からのビジュアルモデルを使用して、カメラ１７からの観覧の
スチールフレームを描く。その後、フレーム表現機能１１２は、どの多角形（ポ
リゴン）が視野内にあるかを決定して、フレームバッファからの分割フレームを
視野内の多角形（ポリゴン）と調和させるとともに、画質がテクスチャーを形成
するために十分であるかどうかを決定するために、スチールフレームをテクスチ
ャー形成機能１１４に送る。画質が十分である場合には、テクスチャー及びポリ
ゴンマッピングが形成されて共有テクスチャーファイル１０２及びリアルタイム
レコーダ１０１に送られる。テクスチャー形成機能は、フレーム表現機能からの
スチールフレームとフレームバッファからの対応するフレームを処理する。テク
スチャー形成機能は、その後、そのスチールフレームを取得して、どの多角形（
ポリゴン）が視野内にあるかを決定（測定）するとともに、フレームバッファか
らフレームを取得して、それを目に見える多角形（ポリゴン）と調和するように
分割する。また、テクスチャー形成機能は、画質がテクスチャー形成にとって十
分であるかどうかを決定する機能を有している。

【００４４】 アーカイブコンピュータ１６は、要求に応じて、ボディー状態及びテクスチャ
ーを記憶したり修正したりすることができる。コンピュータ１６は、ボディー状
態ファイル６７及びテクスチャーファイル１０２に接続するリアルタイムレコー
ダ機能１０１と、アーカイブリーダ機能１０３とを有している。リアルタイムレ
コーダ機能１０１は、軌跡相関盤２３内のボディー伝達機能６８からのボディー
状態の最新情報とモデルテクスチャリングボード２７内のテクスチャー形成機能
１１４からのテクスチャーの更新とを処理する。アーカイブコンピュータ１６は
、リアルタイムで、ボディー状態の最新情報をボディー状態ファイル６７内に記
憶できるとともに、テクスチャーの更新をテクスチャーファイル１０２内に記憶
できる。ボディー状態ファイル６７は、過去のボディー状態及び過去のテクスチ
ャーの更新を記憶する。アーカイブリーダ機能１０３は、個々の仮想観覧ステー
ション１３からの再生コマンドに応答する。再生コマンドは、セットスタート、
セットエンド、セット再生速度、セットプレー方向、プレー、ポーズ、ステップ
フレーム、ゴースタート、ゴーエンドを含んでいる。アーカイブリーダ１０３は
、ボディー状態の更新及びテクスチャーの更新を、対応するそれぞれの仮想観覧
ステーション１３のために、環境サーバコンピュータ１２に送ることができる。

【００４５】 環境サーバコンピュータ３２は、その対応する仮想観覧ステーション１３のた
めに、エンティティ状態ファイル１２１及びビジュアルモデル１２２からの一例
であるエンティティ状態を形成する主機能を有している。サーバコンピュータ３
２は、ボディー状態ファイル６７と、テクスチャーファイル１０２と、ボディー
相互関連機能１１１と、テクスチャーマッピング機能１２３と、ＤＭＡインター
フェース２６とを使用して、仮想シーンデータを適切に形成する。ボディー状態
ファイル６７とテクスチャーデータベース１０２は、ボディー伝達機能６８及び
テクスチャー形成機能１１４によって形成されるリアルタイムのデータベースも
しくはアーカイブリーダ機能１０３によって形成される再生データベースである
共有メモリからアクセスされる。ボディー相互関連機能１１１は、モデルテクス
チャリング盤２７内のボディー相互関連機能１１１と同じ動作を行なうとともに
、エンティティ状態を、ＤＭＡインターフェース２６を介して、各仮想観覧ステ
ーション１３内に格納されたエンティティ状態ファイル１２１に送る。テクスチ
ャーマッピング機能１２３は、テクスチャーファイル１０２からテクスチャー及
びポリゴンマッピングを取得するとともに、テクスチャー及びテクスチャーマッ
ピングの更新を、ＤＭＡインターフェース２６を介して、各仮想観覧ステーショ
ン１３内に格納されたビジュアルモデルデータベース１２２に送る。ＤＭＡイン
ターフェース２６は、対応するそれぞれの仮想観覧ステーション１３内にエンテ
ィティ状態及びビジュアルモデルデータベースが格納されているため、ボディー
相互関連１１１及びテクスチャーマッピング１２３機能からのデータベースの更
新を同期させる。また、ＤＭＡインターフェース２６は、各仮想観覧ステーショ
ン１３内のユーザインターフェース機能１２４からの再生コマンドを処理すると
ともに、アーカイブリーダがアーカイブコンピュータ１６内に存在する場合には
、これらのコマンドをアーカイブリーダ１０３に転送する。

【００４６】 ＶＶＳインターフェースコンピュータ２９は、ＶＶＳコントロールセンター３
１のためのエンティティ状態を形成するとともに、ＶＶＳコントロールセンター
内のユーザインターフェース機能８６からのコマンドを処理する。インターフェ
ースコンピュータ２９は、ボディー状態ファイル６７と、ボディー相互関連機能
１１１と、ＤＭＡインターフェース２６と、ＶＶＳコントローラ機能８１とを有
している。ボディー状態ファイル６７は、共有メモリからアクセスされるととも
に、ボディー伝達機能６８によってリアルタイムに形成される。ボディー相互関
連機能１１１は環境サーバコンピュータ内のボディー相互関連機能１１１と同じ
動作を行なう。ＤＭＡインターフェース２６は、ボディー相互関連機能１１１か
らのデータベースの更新を、ＶＶＳコントロールセンター３１内に格納されたエ
ンティティ状態データベース１２１と同期させる。また、ＤＭＡインターフェー
ス２６は、ＶＶＳコントロールセンター３１内のユーザインターフェース機能８
６からのカメラコマンドを処理して、これらのコマンドをＶＶＳコントローラ機
能８１に転送する。ＶＶＳコントローラ機能８１は、ズーム、フォーカス、テザ
ーコマンドを含むカメラコマンドを処理して、これらのコマンドをカメラインタ
ーフェースカード１８内のカメラコントローラ機能４３に転送する。

【００４７】 仮想観覧ステーション１３は、その対応する環境サーバコンピュータ３２によ
って形成されるエンティティ状態１２１及びビジュアルモデル１２２を使用して
、仮想カメラによって形成されるビデオを表現するようになっている。ＶＶＳシ
ステム１０（この実施例において）は、最大で４つの仮想観覧ステーション１３
をサポートする。各仮想観覧ステーション１３は、エンティティ状態ファイル１
２１と、ビジュアルモデルファイル１２２と、シーン表現機能１２６と、ユーザ
インターフェース機能１２４と、ビデオインターフェース１２７と、ＤＭＡイン
ターフェース２６とを有している。エンティティ状態ファイル１２１は、エンテ
ィティＩＤ、エンティティタイプ、エンティティ位置、エンティティ速度、エン
ティティ加速度、関連付けられた各部分の状態データを含むエンティティ状態を
記憶する。各ボディーは、２つの脚、２つの膝、２つの胴ポイント、１つの腹、
２つの肩ポイント、２つの肘、２つの手、１つの頭を含む、関連付けられた部分
を有している。関連付けられた各部分に関しては、関連付けられた部分のタイプ
、関連付けられた部分の位置、関連付けられた部分の方向、関連付けられた部分
の速度、関連付けられた部分の加速度が記憶される。ビジュアルモデルファイル
１２２は、モデル名、モデルタイプ、エンティティタイプマッピング、ボディー
寸法、ポリゴンの幾何学的構造、テクスチャー、テクスチャーマッピングを含む
ビジュアルモデルを記憶する。これらのデータベースは、ＤＭＡインターフェー
ス２６を介して環境サーバコンピュータ３２から送られるボディー状態及びテク
スチャーの更新からリアルタイムに形成される。シーン表現機能１２６は、エン
ティティ状態データ１２１を使用して、３次元シーン及び予めプログラムされた
ビジュアルモデルデータ１２２内でオブジェクトを位置決めし、選択された仮想
視野からの観覧視野を表わす形成された３次元シーン内でボディーがどのように
現れるかを決定する。

【００４８】 シーン表現機能１２６は、ユーザインターフェース機能１２４からの仮想カメ
ラナビゲーションコマンドに応答して、形成された仮想シーンを望ましい形態に
修正する。形成された３次元シーンは、その後、ビデオプロダクションセンター
１２８及びＶＶＳコントロールセンター３１への送信に適したプロトコルに修正
するために、ビデオインターフェース１２７に送られる。また、ユーザインター
フェース機能１２４は、オペレータからの仮想カメラナビゲーションコマンド及
び再生コマンドを処理して、これらを、ＤＭＡインターフェース２６を介してシ
ーン表現機能１２６及びアーカイブコンピュータ１６（存在する場合）に転送す
る。ＤＭＡインターフェースは、仮想観覧ステーション１３とこれに対応する環
境サーバコンピュータ３２との間の通信ポートとして作用する。また、ＤＭＡイ
ンターフェース２６は、ボディーの相互関連１１１及びテクスチャーマッピング
１２３機能からのデータベースの更新を処理して、エンティティ状態１２１及び ビジュアルモデル １１３データベースを適切に更新する。最終的に、また、ＤＭ
Ａインターフェース２６は、ユーザインターフェース１２４からの再生コマンド
を処理して、これらを環境サーバコンピュータ３２内のＤＭＡインターフェース
２６を介してアーカイブコンピュータ１６に転送する。

【００４９】 ＶＶＳコントロールセンター３１は、仮想観覧スポーツシステム１０の動作を
モニタして調整するために、ＶＶＳシステム１０内に組み込まれていても良い。
ＶＶＳコントロールセンター３１は、エンティティ状態ファイル１２１と、プラ
ンビューディスプレイ機能８７と、ユーザイターフェース機能８６と、ビデオデ
ィスプレイ機能８８と、ビデオインターフェース８９と、ＤＭＡインターフェー
ス２６とを有している。エンティティ状態ファイル１２１はエンティティ状態デ
ータを前述したように記憶する。プランビューディスプレイ機能８７は、エンテ
ィティ状態データを使用して、「プランビュー（plan view）」と呼ばれ競技場
の「神の視点」を示す２次元のトップダウンディスプレイ内でオブジェクトを位
置決めする。プランディスプレイは、ユーザインターフェース機能８６から受け
る一例のプランビューエンティティ選択コマンドによって操作されても良い。ま
た、ビデオインターフェース機能は、仮想観覧ステーション１３からのビデオ信
号を処理して、これらをビデオディスプレイ機能８８に転送する。また、ビデオ
ディスプレイ機能は、ユーザインターフェース機能からのビデオ選択コマンドに
応答し、オペレータの選択に基づいて、特定の仮想観覧ステーションのビデオ信
号を表示することができる。ユーザインターフェース機能８６は、プランビュー
ディスプレイ機能からのエンティティＩＤを処理するとともに、カメラテザーコ
マンドを形成して、そのデータを、ＤＭＡインターフェース２６を介してＶＶＳ
インターフェースコンピュータ２９に転送する。同様に、ユーザインターフェー
ス機能８６は、オペレータからのズーム及びフォーカスコマンドを処理して、こ
れらのコマンドを、ＭＡインターフェース２６を介してＶＶＳインターフェース
コンピュータ２９に送る。また、オペレータからのビデオ選択コマンドは、この
ような方法で、仮想観覧ステーション１３内のビデオインターフェース機能１２
７に送られても良い。

【００５０】 ＤＭＡインターフェース２６は、ＶＶＳコントロールセンター３１とＶＶＳイ
ンターフェースコンピュータ２９との間の通信ポートとして作用する。ＤＭＡイ
ンターフェース２６は、ボディー相互関連機能１１１からのデータベース更新を
処理して、エンティティ状態データベース１２１を適切に更新する。他の構成部
分の機能に見られるように、インターフェース２６もまた、ユーザインターフェ
ース８６からのズーム、フォーカス、テザーコマンドを含むカメラコマンドを処
理して、これらを、ＭＡインターフェース２６を介してＶＶＳインターフェース
コンピュータ２９に転送する。ビデオインターフェース１２７は、最大で４つの
仮想観覧ステーション１３からのビデオ信号を処理して、これらをビデオディス
プレイ機能８８に転送する。

【００５１】 以上、本発明を１つの形態で示してきたが、当業者であれば分かるように、本
発明はこれに限定されず、本発明の思想から逸脱することなく様々な変形や改良
を行なうことができることは言うまでもない。例えば、様々なシステム１０全体
内の様々なサブ要素を「盤」、「サブプログラム」、「部分」として示してきた
が、これらの各形態は都合良く選択されるとともに、当業者であれば分かるよう
に、これらの機能は、システムのサイズの制約や環境状態の要求あるいは経済性
を考慮して、ハードウエア、ファームウエア、ソフトウエア要素から移動されあ
るいはこれらに移動されても良い。本発明の構成要素を明確に名付け直すことは
、本発明本来の思想から逸脱するものではない。

【００５２】 以下に参照文献を示す。

【００５３】 １． グレゴリー・Ａ・バックス（Baxes, Gregory A.） デジタル画像処理：
原理と応用。ジョン・ウィリー・アンド・サンズ・インコーポレイテッド（John
Wiley & Sons, Incorporated）, ニューヨーク州, ニューヨーク, ９月. （出
版年不明） ２． ケニス・Ｒ・キャッスルマン（Castleman, Kenneth R.） デジタル画像
処理。プレンティス・ホール（Prentice-Hall）,パラマス,ニュージャージー州,
１９９５年８月。

【００５４】 ３． ケニス・Ｒ・キャッスルマン（Castleman, Kenneth R.） デジタル画像
処理。プレンティス・ホール（Prentice-Hall）,パラマス,ニュージャージー州,
１９７９年７月。

【００５５】 ４． Ｅ・Ｒ・デービス（Davies, E.R.） 機械展望：理論、アルゴリズム、
実技試験。 アカデミック・プレス（Academic Press）, オーランド, フロリダ
州, １９９０年１月。

【００５６】 ５． リチャード・Ｃ・デューダ（Duda, Richard C.）及び ピーター・Ｅ・
ハート（Hart, Peter E.） パターン分類とシーン解析。ジョン・ウィリィ・ア
ンド・サンズ・インコーポレイテッド（John Wiley & Sons, Incorporated）,
ニューヨーク, ニューヨーク州, １９７３年１月。

【００５７】 ６． ラファエル・Ｃ・ゴンザレス（Gonzales, Rafael C.）;ポール・ウィン
ツ（Wintz, Paul）; ラルフ・Ｃ・ゴンザレス（Gonzales, Ralpf C.）; リチャ
ード・Ｅ・ウッズ（Woods Richard E.） デジタル画像処理。アディソン・ウェ
ズリイ・ロングマン・インコーポレイテッド（Addison Wesley Longman, Incorp
orated）, レディング, マサチューセッツ州, １９８７年１月。

【００５８】 ７． ジョン・Ｃ・ラス（Russ, John C.） 画像処理ハンドブック。ＣＲＣプ
レス・インコーポレイテッド（CRC Press, Incorporated）, ボカ・ラトン, フ
ロリダ州, １９９４年１１月。

【図面の簡単な説明】

添付した書類に、発明の特徴を具体化した仮想観覧システムが描かれている。
これらの図面は本発明の開示の一部をなすものである。

【図１】 システムの主要な構成要素を示したシステム全体の図である。

【図２】 光学トラッキングシステム内にあるカメラインターフェースカード、Ｉ／Ｏシ
ケンスモジュール、アレイプロセッサ盤における、システムとデータの流れとを
組み合わせた図である。

【図３】 光学トラッキングシステム内にある軌跡相関盤における、システムとデータの
流れとを組み合わせた図である。

【図４】 光学トラッキングシステムのイメージプロセッサ内で生じる画像処理のデータ
の流れを示す図である。

【図５】 モデルテクスチャリング部と環境サーバコンピュータとからなるサブ構成要素
を有する仮想環境サーバにおける、システムとデータの流れとを組み合わせた図
である。

【図６】 仮想観覧ステーションにおけるシステムとデータの流れとを組み合わせた図で
ある。

【図７】 アーカイブコンピュータにおけるシステムとデータの流れとを組み合わせた図
である。

【図８】 ＶＶＳインターフェースコンピュータとＶＶＳコントロールセンターとからな
るサブ構成要素を有するコントロールセンターにおける、システムとデータの流
れとを組み合わせた図である。

【手続補正書】

【提出日】平成１３年４月２日（２００１．４．２）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，Ｕ Ｚ，ＶＮ，ＹＵ，ＺＷ (72)発明者 ウェルズ、 ロバート ヴィー． アメリカ合衆国 35803 アラバマ州 ハ ンツヴィル コディアック ドライブ 1000 Ｆターム(参考） 5B050 AA08 BA07 BA08 BA09 BA11 BA12 CA07 DA07 EA03 EA07 EA19 EA24 EA27 EA28 FA02 【要約の続き】 て他のビデオ出力と組み合わせることができるように、 ビデオデータをビデオプロダクションセンターに出力す る。このようなシステムにより、オペレータは、オプシ ョンのコントロールセンターから所望の仮想観覧を選択 することができるとともに、仮想観覧画像を遠く離れた 観衆に送ることができる。コントロールセンターやアー カイブコンピュータのようなオプションのサブシステム は、カメラ位置、テザー、フォーカス、ズームを変更し たり、スポーツ競技に関する処理されたデータを記憶す るために、また、要求に応じてデータを再生するため に、システム内に組み込まれても良い。

Claims (20)

【特許請求の範囲】
1. 【請求項１】 （ａ）カメラインターフェースと、Ｉ／Ｏシーケンス部と、
   少なくとも１つのイメージプロセッサを有するアレイイメージプロセッサ部と、
   軌跡相関部とを有し、ビデオデータを受信し３次元の位置データに変換する光学
   トラッキング部と、 （ｂ）モデルテクスチャー部と少なくとも１つの環境サーバコンピュータとか
   らなり、前記光学トラッキング部から前記位置データを受信し、仮想スポーツ選
   手データ及び仮想シーンデータを形成する仮想環境サーバと、 （ｃ）前記仮想環境サーバからの前記仮想スポーツ選手データ及び前記仮想シ
   ーンデータを仮想画像内に描写する少なくとも１つの仮想観覧ステーションと、 を備えていることを特徴とするスポーツ競技の仮想観覧形成装置。
2. 【請求項２】 ボディー位置情報及びビジュアルモデルの記録及び再生をリ
   アルタイムで行なうためのアーカイブコンピュータを更に備え、該アーカイブコ
   ンピュータは、前記光学トラッキング部及び前記仮想環境サーバとの間でデータ
   のやりとりを行なう手段を有していることを特徴とする請求項１に記載の仮想観
   覧形成装置。
3. 【請求項３】 コントローラインターフェースコンピュータ及びＶＶＳコン
   トロールセンターからなる前記装置の動作を制御するためのコントロールセンタ
   ーを更に備え、該コントロールセンターは、前記仮想観覧ステーション及び前記
   光学トラッキング部との間でデータのやりとりを行なう手段を有していることを
   特徴とする請求項１に記載の仮想観覧形成装置。
4. 【請求項４】 前記イメージプロセッサは、前記ビデオデータ内の選択され
   たスポーツ選手の３次元位置を確認するための確認手段を有することを特徴とす
   る請求項３に記載の仮想観覧形成装置。
5. 【請求項５】 前記光学トラッキング部は、前記ビデオデータを供給するカ
   メラの動作を制御するカメラコントローラを更に備えていることを特徴とする請
   求項４に記載の仮想観覧形成装置。
6. 【請求項６】 前記Ｉ／Ｏシーケンス部は、前記ビデオデータを適当なサイ
   ズのアレイに分割するゲートビルダーと、前記サイズのアレイを前記アレイイメ
   ージプロセッサ部に対して順序付けるＩ／Ｏシーケンサとを備えていることを特
   徴とする請求項５に記載の仮想観覧形成装置。
7. 【請求項７】 前記イメージプロセッサは、前記ビデオデータを分割する手
   段と、予め選択された一連の特徴を前記ビデオデータから抽出する手段と、予め
   選択された一組の特徴テンプレートにしたがって前記ビデオデータを分類する手
   段とを更に備えていることを特徴とする請求項１に記載の仮想観覧形成装置。
8. 【請求項８】 前記装置の全体にわたって共有メモリデータを記憶して分配
   するＤＭＡインターフェースを更に備えていることを特徴とする請求項１に記載
   の仮想観覧形成装置。
9. 【請求項９】 前記確認手段は、前記ビデオデータを分割する手段と、予め
   選択された一連の特徴を前記ビデオデータから抽出する手段と、予め選択された
   一組の特徴テンプレートにしたがって前記ビデオデータを分類する手段とを備え
   ていることを特徴とする請求項４に記載の仮想観覧形成装置。
10. 【請求項１０】 （ａ）ビデオデータを受信し、３次元の位置データに変換
    する手段と、 （ｂ）光学トラッキング部から位置データを受信し、仮想スポーツ選手データ
    及び仮想シーンデータを形成する手段と、 （ｃ）仮想環境サーバからの前記仮想スポーツ選手データ及び前記仮想シーン
    データを仮想画像に解釈する手段と、 を備えていることを特徴とするスポーツ競技の仮想観覧を形成するための仮想
    観覧形成装置。
11. 【請求項１１】 前記ビデオデータを受信し変換する手段は、カメラインタ
    ーフェースと、Ｉ／Ｏシーケンス部と、少なくとも１つのイメージプロセッサを
    有するアレイイメージプロセッサ部と、軌跡相関部とを有していることを特徴と
    する請求項１０に記載の装置。
12. 【請求項１２】 前記位置データを受信し形成する手段は、３次元モデル及
    びテクスチャーを形成するモデルテクスチャリング部と、ボディー位置情報及び
    ビジュアルモデルを前記仮想観覧ステーションに提供する環境サーバコンピュー
    タとを有していることを特徴とする請求項１１に記載の仮想観覧形成装置。
13. 【請求項１３】 前記仮想スポーツ選手データ及び前記仮想シーンデータの
    記録及び再生をリアルタイムで行なう手段を更に備えていることを特徴とする請
    求項１０に記載の仮想観覧形成装置。
14. 【請求項１４】 コントローラインターフェースコンピュータ及びＶＶＳコ
    ントロールセンターからなる前記装置の動作を制御するための手段を更に備え、
    前記コントロールセンターは、前記表現する手段及び前記受信・変換する手段と
    の間でデータのやりとりを行なう手段を更に有していることを特徴とする請求項
    １０に記載の仮想観覧形成装置。
15. 【請求項１５】 （ａ）スポーツ競技の周囲に配置された複数のカメラから
    ビデオデータを受信するステップと、 （ｂ）前記ビデオデータを、前記ビデオデータ内に現れる各スポーツ関係者の
    ３次元位置データに変換するステップと、 （ｃ）前記関係者に関する前記位置データから３次元モデルを形成するステッ
    プと、 （ｄ）一貫性のあるコヒーレントなボディー位置情報を前記３次元モデルと組
    み合わせて仮想シーンを表現するステップ とからなることを特徴とするスポーツ競技の仮想観覧形成方法。
16. 【請求項１６】 前記ビデオデータを３次元位置データに変換するステップ
    は、 （ａ）前記ビデオデータを複数のゲートに分割するステップと、 （ｂ）画像処理のため、前記複数のゲートを複数のアレイプロセッサに対して
    順序付けるステップと、 （ｃ）細分化、特徴抽出、オブジェクト分類を通じて、前記ビデオデータ内で
    オブジェクトを確認するステップ とからなることを特徴とする請求項１５に記載の仮想観覧形成方法。
17. 【請求項１７】 前記形成するステップは、 （ａ）前記ビデオデータ内に現れる前記各スポーツ関係者の前記各関係者に関
    するボディー部分を有した３次元ワイヤーフレーム表示を形成するステップと、 （ｂ）前記ワイヤーフレーム表示上に前記ボディー部分のそれぞれに関するモ
    デルテクスチャーを形成するとともに、前記テクスチャーを前記ボディー部分の
    それぞれにマッピングするステップ とからなることを特徴とする請求項１６に記載の仮想観覧形成方法。
18. 【請求項１８】 前記表現するステップの前に、前記モデルテクスチャー及
    び前記位置データから、一貫性のあるコヒーレントなボディー位置情報を形成す
    るステップを更に有することを特徴とする請求項１７に記載の仮想観覧形成方法
    。
19. 【請求項１９】 スポーツ競技内の所望の位置からビデオデータを供給でき
    るように、前記カメラの位置、テザー、フォーカス、ズームを制御するステップ
    を更に有することを特徴とする請求項１５に記載の仮想観覧形成方法。
20. 【請求項２０】 その後の再生のために、前記３次元位置データを記憶する
    ステップを更に有することを特徴とする請求項１６に記載の仮想観覧形成方法。