JP2002518722A - スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置 - Google Patents
スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置Info
- Publication number
- JP2002518722A JP2002518722A JP2000554124A JP2000554124A JP2002518722A JP 2002518722 A JP2002518722 A JP 2002518722A JP 2000554124 A JP2000554124 A JP 2000554124A JP 2000554124 A JP2000554124 A JP 2000554124A JP 2002518722 A JP2002518722 A JP 2002518722A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- data
- viewing
- video data
- virtual viewing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
仮想観覧システムは、スポーツ競技場の周囲に配置されたカメラからの未加工の像を使用して、凝視された任意の視点からスポーツ競技の仮想観覧を形成する。システムは、光学トラッキングシステムと、仮想環境サーバと、1または複数の仮想観覧ステーションとからなる。光学トラッキングシステムは、スポーツ競技場の周囲に計画的に配置された複数の予め選択されたカメラから未加工の2次元ビデオデータを受ける。未加工の2次元ビデオデータは、その後、複数のデータゲートに区分され、一連のソフトウエア画像プロセッサにより、各スポーツ選手や他の標的となる存在物(エンティティ)に割り当てられるボディー状態データに処理される。ボディー状態データは、その後、選択された複数の仮想観覧ステーションへ送るため、ボディー位置情報及びビジュアルモデルを形成する仮想環境サーバに送られる。各仮想観覧ステーションは、仮想スポーツシーンを所望通りに描写して観覧するための観覧ソフトウエアを有している。また、観覧ステーションは、仮想カメラの観覧視点を制御するとともに、必要な時にビデオデータを送信して他のビデオ出力と組み合わせることができるように、ビデオデータをビデオプロダクションセンターに出力する。このようなシステムにより、オペレータは、オプションのコントロールセンターから所望の仮想観覧を選択することができるとともに、仮想観覧画像を遠く離れた観衆に送ることができる。コントロールセンターやアーカイブコンピュータのようなオプションのサブシステムは、カメラ位置、テザー、フォーカス、ズームを変更したり、スポーツ競技に関する処理されたデータを記憶するために、また、要求に応じてデータを再生するために、システム内に組み込まれても良い。
Description
【0001】
本発明は、一般に、3次元コンピュータグラフィックディスプレイシステムに
関し、特に、従来のTV、デジタルTV及びインターネットの視聴者及び放送者
が実質的に有利な位置からスポーツ競技を観覧できるシステム及び方法に関する
。
関し、特に、従来のTV、デジタルTV及びインターネットの視聴者及び放送者
が実質的に有利な位置からスポーツ競技を観覧できるシステム及び方法に関する
。
【0002】
複数のテレビカメラを適当な位置に配置して、これらのカメラから供給される
ものを放送ブース内のアナウンサーに提供するとともに、プレーに関してアナウ
ンサーがコメントできるように競技の所定のプレーを再生して、最終的にテレビ
放送全体を視聴者に送信することによって、スポーツ競技を放送することはこの
技術分野において良く知られている。しかしながら、このような従来の放送方法
は幾つかの欠点を有している。
ものを放送ブース内のアナウンサーに提供するとともに、プレーに関してアナウ
ンサーがコメントできるように競技の所定のプレーを再生して、最終的にテレビ
放送全体を視聴者に送信することによって、スポーツ競技を放送することはこの
技術分野において良く知られている。しかしながら、このような従来の放送方法
は幾つかの欠点を有している。
【0003】 第1に、カメラが競技場に計画的に配置されていない場合、あるいは、競技場
を十分に取材するためのカメラが数台しかない場合には、放送の質が損なわれる
。これによって、競技場の特定の部分における特定のプレーが見逃されたり十分
に取材されなかったりする。
を十分に取材するためのカメラが数台しかない場合には、放送の質が損なわれる
。これによって、競技場の特定の部分における特定のプレーが見逃されたり十分
に取材されなかったりする。
【0004】 第2に、幾つかの従来のテレビカメラは若干移動できるが、競技場周囲のカメ
ラの位置は基本的には固定され静止している。しかしながら、競技場において、
試合のボールや選手の動きは活発で予測することができない。したがって、試合
中、静的に配置されたカメラは、決定的な角度からの像を提供し損なう場合があ
り、あるいは、カメラの視野が選手や関係者によって妨げられてしまう。例えば
、タッチアウトを避けるために野球のランナーがベースに向かってスライディン
グするクローズアップ画像や、ランナーの膝が地面に触れる前もしくは後にラン
ニングバックをしくじるクローズアップ画像、あるいは、ワイド・レシーバがパ
スを受けた後に両足をバウンドしようと試みるクローズアップ画像を、静的な競
技場のカメラが提供し損なうことはよくある。
ラの位置は基本的には固定され静止している。しかしながら、競技場において、
試合のボールや選手の動きは活発で予測することができない。したがって、試合
中、静的に配置されたカメラは、決定的な角度からの像を提供し損なう場合があ
り、あるいは、カメラの視野が選手や関係者によって妨げられてしまう。例えば
、タッチアウトを避けるために野球のランナーがベースに向かってスライディン
グするクローズアップ画像や、ランナーの膝が地面に触れる前もしくは後にラン
ニングバックをしくじるクローズアップ画像、あるいは、ワイド・レシーバがパ
スを受けた後に両足をバウンドしようと試みるクローズアップ画像を、静的な競
技場のカメラが提供し損なうことはよくある。
【0005】 第3に、従来のカメラは、一般に、試合中、実際の競技場内に配置されていな
い。カーレースが注目に値する唯一の例外であり、車の中のカメラは、レース放
送を激変させるとともに、スポーツファンの興味を刺激した。しかしながら、フ
ットボールのような他のスポーツ競技において、ヘルメット内やその他のスポー
ツ道具内に装着されるグランド上のカメラは、幅広く使われておらず未だ楽しめ
ない。そのため、競技場から離れたカメラにより、比較的離れた有利なポイント
から、間接的な視野で競技を記録しなければならない。
い。カーレースが注目に値する唯一の例外であり、車の中のカメラは、レース放
送を激変させるとともに、スポーツファンの興味を刺激した。しかしながら、フ
ットボールのような他のスポーツ競技において、ヘルメット内やその他のスポー
ツ道具内に装着されるグランド上のカメラは、幅広く使われておらず未だ楽しめ
ない。そのため、競技場から離れたカメラにより、比較的離れた有利なポイント
から、間接的な視野で競技を記録しなければならない。
【0006】 第4に、放送ブース内のスポーツ実況アナウンサーは、ビデオが使えるかどう
かを、競技場のカメラによって予め記録されたビデオで間に合わせなければなら
ない。実況アナウンサーは、他の視点から試合を記録するためにカメラの位置を
動的に移すことができない。そのため、実況アナウンサーは、固定的なビデオ画
像に制限され、ビデオが記録される視点を変えることができない。また、メジャ
ーリーグのスローモーション即時再生の使用頻度が増大するにつれて、即時再生
の有利な位置が益々重要となってきている。
かを、競技場のカメラによって予め記録されたビデオで間に合わせなければなら
ない。実況アナウンサーは、他の視点から試合を記録するためにカメラの位置を
動的に移すことができない。そのため、実況アナウンサーは、固定的なビデオ画
像に制限され、ビデオが記録される視点を変えることができない。また、メジャ
ーリーグのスローモーション即時再生の使用頻度が増大するにつれて、即時再生
の有利な位置が益々重要となってきている。
【0007】 従来は、スポーツ選手や競技ボールのようなスポーツ道具の物理的な位置をリ
アルタイムに取得して処理する幾つかの試みがなされた。例えば、ダベール(Da
ver)の米国特許第5,513,854号は、動いている人をリアルタイムに取
得するシステムを開示している。また、ラルセン(Larsen)の米国特許第5,3
63,297号は、スポーツ競技のための自動カメラトラッキングシステムを開
示している。しかしながら、これらのシステムはいずれも、個々のスポーツ選手
やスポーツ道具をリアルタイムで追跡(トラッキング)し、且つトラッキングデ
ータを使用して処理された値に基づいてシミュレートされた像を形成し、且つシ
ミュレートされた像を本来のスポーツ競技を表わすためにリアルタイムで更新さ
れる仮想スポーツ環境にまとめる1つのシステムを教示してはいない。
アルタイムに取得して処理する幾つかの試みがなされた。例えば、ダベール(Da
ver)の米国特許第5,513,854号は、動いている人をリアルタイムに取
得するシステムを開示している。また、ラルセン(Larsen)の米国特許第5,3
63,297号は、スポーツ競技のための自動カメラトラッキングシステムを開
示している。しかしながら、これらのシステムはいずれも、個々のスポーツ選手
やスポーツ道具をリアルタイムで追跡(トラッキング)し、且つトラッキングデ
ータを使用して処理された値に基づいてシミュレートされた像を形成し、且つシ
ミュレートされた像を本来のスポーツ競技を表わすためにリアルタイムで更新さ
れる仮想スポーツ環境にまとめる1つのシステムを教示してはいない。
【0008】 このように、スポーツ研究の不足や従来のシステムの欠点により、スポーツ競
技の仮想観覧を形成する要求を満足することはできず、これは本発明を成す動機
付けとなった。
技の仮想観覧を形成する要求を満足することはできず、これは本発明を成す動機
付けとなった。
【0009】
本発明の目的は、カメラが固定配置されているにもかかわらず、無限の視点を
表示して分析するために、スポーツ競技のような人間の動きをリアルタイムで収
集するシステム及び方法を提供することである。
表示して分析するために、スポーツ競技のような人間の動きをリアルタイムで収
集するシステム及び方法を提供することである。
【0010】 他の目的は、カメラが固定配置されているにもかかわらず、あるいは、試合の
道具、選手、関係者の動的な動きにかかわらず、最適な角度及び視点から与えら
れたスポーツプレーの観覧を与えるシステム及び方法を提供することである。
道具、選手、関係者の動的な動きにかかわらず、最適な角度及び視点から与えら
れたスポーツプレーの観覧を与えるシステム及び方法を提供することである。
【0011】 更なる他の目的は、アナウンサーや視聴者がグランド上のカメラ位置の視点か
らグランド上のプレーを観ることができるとともに、ユーザがグランド上の任意
のカメラ位置を仮想的に選択することができるシステム及び方法を提供すること
である。
らグランド上のプレーを観ることができるとともに、ユーザがグランド上の任意
のカメラ位置を仮想的に選択することができるシステム及び方法を提供すること
である。
【0012】 更なる目的は、スポーツ実況アナウンサーが自身の特定の姿勢に適するように
視点を調整することができるようにすることである。
視点を調整することができるようにすることである。
【0013】
要約すれば、仮想観覧システムは、スポーツ競技場の周囲に配置されたカメラ
からの未加工の像を使用して、考慮された任意の視点からスポーツ競技の仮想観
覧を形成する。システムは、光学トラッキングシステムと、仮想環境サーバと、
1または複数の仮想観覧ステーションとからなる。光学トラッキングシステムは
、スポーツ競技場の周囲に計画的に配置された複数の予め選択されたカメラから
未加工の2次元ビデオデータを取得する。未加工の2次元ビデオデータは、その
後、複数のデータゲートに区分され、一連のソフトウエア画像プロセッサにより
、各スポーツ選手や他の標的となる存在物(エンティティ)に割り当てられるボ
ディー状態データに処理される。ボディー状態データは、その後、選択された番
号の仮想観覧ステーションへ送るため、ボディー位置情報及びビジュアルモデル
を形成する仮想環境サーバに送られる。各仮想観覧ステーションは、仮想スポー
ツシーンを所望通りに描写して観覧するための観覧ソフトウエアを有している。
また、観覧ステーションは、仮想カメラの観覧視点を制御するとともに、必要な
時にビデオデータを送信して他のビデオ出力と組み合わせることができるように
、ビデオデータをビデオプロダクションセンターに出力する。観覧ステーション
は、依頼者のため、状態データのデータパケットをインターネットで出力する。
このようなシステムにより、オペレータは、オプションのコントロールセンター
から所望の仮想観覧を選択することができるとともに、仮想観覧画像を遠く離れ
た観衆に送ることができる。コントロールセンターは、データパケットをインタ
ーネットやインタラクティブ(双方向)TVを含む同様なメディアに送ることが
できる。コントロールセンターやアーカイブコンピュータのようなオプションの
サブシステムは、カメラ位置、テザー、フォーカス及びズームを変更したり、ス
ポーツ競技に関する処理されたデータを記憶するために、また、要求に応じてデ
ータを再生するために、システム内に組み込まれても良い。形成される仮想観覧
は、競技場のカメラから受ける未加工のビデオ内に実際の対象物を有していない
が、演算されたデータに基づいて実際のプレー状況を正確に描写する。
からの未加工の像を使用して、考慮された任意の視点からスポーツ競技の仮想観
覧を形成する。システムは、光学トラッキングシステムと、仮想環境サーバと、
1または複数の仮想観覧ステーションとからなる。光学トラッキングシステムは
、スポーツ競技場の周囲に計画的に配置された複数の予め選択されたカメラから
未加工の2次元ビデオデータを取得する。未加工の2次元ビデオデータは、その
後、複数のデータゲートに区分され、一連のソフトウエア画像プロセッサにより
、各スポーツ選手や他の標的となる存在物(エンティティ)に割り当てられるボ
ディー状態データに処理される。ボディー状態データは、その後、選択された番
号の仮想観覧ステーションへ送るため、ボディー位置情報及びビジュアルモデル
を形成する仮想環境サーバに送られる。各仮想観覧ステーションは、仮想スポー
ツシーンを所望通りに描写して観覧するための観覧ソフトウエアを有している。
また、観覧ステーションは、仮想カメラの観覧視点を制御するとともに、必要な
時にビデオデータを送信して他のビデオ出力と組み合わせることができるように
、ビデオデータをビデオプロダクションセンターに出力する。観覧ステーション
は、依頼者のため、状態データのデータパケットをインターネットで出力する。
このようなシステムにより、オペレータは、オプションのコントロールセンター
から所望の仮想観覧を選択することができるとともに、仮想観覧画像を遠く離れ
た観衆に送ることができる。コントロールセンターは、データパケットをインタ
ーネットやインタラクティブ(双方向)TVを含む同様なメディアに送ることが
できる。コントロールセンターやアーカイブコンピュータのようなオプションの
サブシステムは、カメラ位置、テザー、フォーカス及びズームを変更したり、ス
ポーツ競技に関する処理されたデータを記憶するために、また、要求に応じてデ
ータを再生するために、システム内に組み込まれても良い。形成される仮想観覧
は、競技場のカメラから受ける未加工のビデオ内に実際の対象物を有していない
が、演算されたデータに基づいて実際のプレー状況を正確に描写する。
【0014】 本発明の他の特徴、目的、長所は、添付図面を参照しながら以下の説明を読む
ことによって明らかとなる。
ことによって明らかとなる。
【0015】 本出願は、スポーツ競技の仮想観覧を形成する方法及び装置に関して、199
8年6月12日に出願された同時係属の米国出願第09/094,524号のP
CT8条に基づく優先権を主張する。
8年6月12日に出願された同時係属の米国出願第09/094,524号のP
CT8条に基づく優先権を主張する。
【0016】
【発明の実施の形態】 本発明の機能及び構造を更に理解するために図面を参照すると、仮想観覧スポ
ーツシステム10(Virtual View Sports System :VVSシステム)と呼ばれる
本発明は、3つの主要なサブシステム、すなわち、光学トラッキングシステム1
1と、仮想環境サーバ12と、仮想観覧ステーション13とを備えている。コン
トロールセンター14及びアーカイブコンピュータ16は、VVSシステムの能
力を高める光学的なサブシステムであるが、システムの動作にとって重要ではな
い。これらの主要なサブシステムを示すVVSシステム10の全体のシステム構
造が図1に示されている。提案されたシステムハードウエア構成要素の別個の図
及びシステムワイド(広域)図は、同時係属の仮出願に開示されており、これを
参照することによって本願に組み入れられるとともに、以下の説明の参考となる
。
ーツシステム10(Virtual View Sports System :VVSシステム)と呼ばれる
本発明は、3つの主要なサブシステム、すなわち、光学トラッキングシステム1
1と、仮想環境サーバ12と、仮想観覧ステーション13とを備えている。コン
トロールセンター14及びアーカイブコンピュータ16は、VVSシステムの能
力を高める光学的なサブシステムであるが、システムの動作にとって重要ではな
い。これらの主要なサブシステムを示すVVSシステム10の全体のシステム構
造が図1に示されている。提案されたシステムハードウエア構成要素の別個の図
及びシステムワイド(広域)図は、同時係属の仮出願に開示されており、これを
参照することによって本願に組み入れられるとともに、以下の説明の参考となる
。
【0017】 一例として、本発明では、スポーツ選手やボールを有するスポーツ競技の仮想
化に関して説明する。しかしながら、当業者であれば分かるように、VVSシス
テム10は、予め選択された対象(オブジェクト)が、陸軍の演習、有害な環境
モニタリング、無人宇宙探検といった仮想環境への変換やトラッキングを必要と
する、任意のタイプの状況にも適用できる。
化に関して説明する。しかしながら、当業者であれば分かるように、VVSシス
テム10は、予め選択された対象(オブジェクト)が、陸軍の演習、有害な環境
モニタリング、無人宇宙探検といった仮想環境への変換やトラッキングを必要と
する、任意のタイプの状況にも適用できる。
【0018】 図2に示されるように、光学トラッキングシステム11は、一組の従来のTV
カメラ17から未加工のビデオデータを受け、TVカメラ17はスポーツ競技場
の周囲に計画的に位置決めされており、各カメラ17が2次元(2−D)で撮影
するものに基づいて、3次元(3−D)の位置データが形成される。用途や要求
される精度の程度に応じて、2つあるいはそれ以上のカメラが使用されるととも
に、非常に高い精度が要求される場合には高解像度カメラが加えられても良い。
未加工の2次元のデータは、I/Oシーケンサ部19によって複数のデータゲー
トに区分されるとともに、一連のアレイプロセッサ盤21により、受けた各ビデ
オ画像中のスポーツ選手や他の目標となる存在に関する身体状態(ボディー状態
)データ67に処理される。また、軌跡相関盤23は光学トラッキングシステム
11内に含まれている(図3参照)。
カメラ17から未加工のビデオデータを受け、TVカメラ17はスポーツ競技場
の周囲に計画的に位置決めされており、各カメラ17が2次元(2−D)で撮影
するものに基づいて、3次元(3−D)の位置データが形成される。用途や要求
される精度の程度に応じて、2つあるいはそれ以上のカメラが使用されるととも
に、非常に高い精度が要求される場合には高解像度カメラが加えられても良い。
未加工の2次元のデータは、I/Oシーケンサ部19によって複数のデータゲー
トに区分されるとともに、一連のアレイプロセッサ盤21により、受けた各ビデ
オ画像中のスポーツ選手や他の目標となる存在に関する身体状態(ボディー状態
)データ67に処理される。また、軌跡相関盤23は光学トラッキングシステム
11内に含まれている(図3参照)。
【0019】 図5に示されるように、その後、データは、位置データ及びビデオフレームか
ら現実的なアニメーション化されたキャラクターを形成する仮想環境サーバ12
によって受けられる。サーバ12は、真に迫った外観を形成するスポーツキャラ
クター上に実際のビデオデータをかぶせる(オーバーレイする)ために、1つの
モデルテクスチャリング部27と一連の環境サーバコンピュータ32とを有して
いる。また、記憶された画像をオペレータの要求に応じて仮想観覧ステーション
13が再生できるように、仮想環境サーバ12は、過去の記録を随意的にアーカ
イブコンピュータ16(図7参照)内に保存しても良い。
ら現実的なアニメーション化されたキャラクターを形成する仮想環境サーバ12
によって受けられる。サーバ12は、真に迫った外観を形成するスポーツキャラ
クター上に実際のビデオデータをかぶせる(オーバーレイする)ために、1つの
モデルテクスチャリング部27と一連の環境サーバコンピュータ32とを有して
いる。また、記憶された画像をオペレータの要求に応じて仮想観覧ステーション
13が再生できるように、仮想環境サーバ12は、過去の記録を随意的にアーカ
イブコンピュータ16(図7参照)内に保存しても良い。
【0020】 環境サーバコンピュータ32は、予めプログラムされたボディーの動きの知識
を使用して、軌跡相関システム23(図3参照)によって評価されたボディー状
態を補正及び改良する。また、選手のランニングといったようなある一定のジェ
スチャーを認識することによって、また、状態を滑らかにすることによって、測
定されたボディー状態を修正して、より現実的なビジュアルシミュレーションを
与えることもできる。ボディーを滑らかにすることによって、偶発的な動きを変
え、あらゆる測定の失敗を補正する。
を使用して、軌跡相関システム23(図3参照)によって評価されたボディー状
態を補正及び改良する。また、選手のランニングといったようなある一定のジェ
スチャーを認識することによって、また、状態を滑らかにすることによって、測
定されたボディー状態を修正して、より現実的なビジュアルシミュレーションを
与えることもできる。ボディーを滑らかにすることによって、偶発的な動きを変
え、あらゆる測定の失敗を補正する。
【0021】 より良好なボディー状態を形成する他の技術は、ボディーの物理的な動きや他
の複数のボディーとの相互作用を形に表わすことである。例えば、大抵のトラッ
キングフィルタは、バットが野球のボールを打った際にボールに追従することが
難しい。このような相互作用を予測してボディーへの影響力を測定すると、シス
テムの状態方程式を修正して優れたボディー状態情報を得ることができる。
の複数のボディーとの相互作用を形に表わすことである。例えば、大抵のトラッ
キングフィルタは、バットが野球のボールを打った際にボールに追従することが
難しい。このような相互作用を予測してボディーへの影響力を測定すると、シス
テムの状態方程式を修正して優れたボディー状態情報を得ることができる。
【0022】 VVSシステムを動作させるためには、少なくとも1つの仮想観覧ステーショ
ン13が必要であるが、図6に示されるように多数の仮想観覧ステーションが使
用される測定可能なシステムが望ましい。各ステーションは、基本的には、カメ
ラオペレータによって操作される仮想カメラである。各仮想観覧ステーションは
、仮想環境サーバ12によって提供される位置データ及びキャラクターアニメー
ションに基づいて、3次元画像を提供することができる。カメラオペレータは、
インターフェースコンソール上のジョイスティックを使用してあるいはコントロ
ールセンター14のオペレータによって形成される予め設定された観覧点(ビュ
ーポイント)から選択して、観覧視野を移動させることができるとともに任意の
位置に「飛ばす」ことができ、これにより、任意の仮想視野からスポーツ競技を
観覧することができる。オペレータは、各仮想観覧ステーション13上で実行さ
れる標準的な画像ソフトウエアを使用して、仮想視野を制御する。
ン13が必要であるが、図6に示されるように多数の仮想観覧ステーションが使
用される測定可能なシステムが望ましい。各ステーションは、基本的には、カメ
ラオペレータによって操作される仮想カメラである。各仮想観覧ステーションは
、仮想環境サーバ12によって提供される位置データ及びキャラクターアニメー
ションに基づいて、3次元画像を提供することができる。カメラオペレータは、
インターフェースコンソール上のジョイスティックを使用してあるいはコントロ
ールセンター14のオペレータによって形成される予め設定された観覧点(ビュ
ーポイント)から選択して、観覧視野を移動させることができるとともに任意の
位置に「飛ばす」ことができ、これにより、任意の仮想視野からスポーツ競技を
観覧することができる。オペレータは、各仮想観覧ステーション13上で実行さ
れる標準的な画像ソフトウエアを使用して、仮想視野を制御する。
【0023】 コントロールセンター14により、オペレータは、手動介入が望ましい場合に
は、その要求に応じて、VVSシステム10の操作を担うことができる。コント
ロールセンター14は、VVSシステム10を初期設定し、診断し、微調整する
能力を加える。また、コントロールセンター14により、オペレータは、VVS
システム10に取り付けられた各カメラを遠隔的に操作して、スポーツ競技にお
ける興味ポイントの最適な範囲を規定することができる。
は、その要求に応じて、VVSシステム10の操作を担うことができる。コント
ロールセンター14は、VVSシステム10を初期設定し、診断し、微調整する
能力を加える。また、コントロールセンター14により、オペレータは、VVS
システム10に取り付けられた各カメラを遠隔的に操作して、スポーツ競技にお
ける興味ポイントの最適な範囲を規定することができる。
【0024】 図2に示されるように、光学トラッキングシステム11は、光学的なカメラデ
ータを、カメラ17によって観覧される対象(オブジェクト)に関する3次元位
置データに変換できるように最適化されたラック装着可能なエレクトロニクス装
置を想定している。この3次元データは、「オブジェクトトラック」と呼ばれ、
スポーツ選手の動きや相対的なボール位置と対応するように連続的に更新される
。光学トラッキングシステムは、デュアル300W AC電源、冷却ファン、2
0スロットのp−v面、複数のプラグ・イン・カードを有するラック装着可能な
カードケージ内に保持されるように容易に設計可能なコマーシャル・オフ・ザ・
シェルフ(Commercial Off The Shelf :COTS)を使用している。光学トラッキン
グシステム11と仮想環境サーバ12のような他のVVSシステムの構成要素と
の間の高速接続を実現するために、バス拡張カードを設けることもできる。ラッ
ク装着可能な構成を成すと、VVSシステムを拡張することができ、複数のトッ
プレベルのVVSシステム構成要素を有する大きな構成配置をサポートすること
ができる。
ータを、カメラ17によって観覧される対象(オブジェクト)に関する3次元位
置データに変換できるように最適化されたラック装着可能なエレクトロニクス装
置を想定している。この3次元データは、「オブジェクトトラック」と呼ばれ、
スポーツ選手の動きや相対的なボール位置と対応するように連続的に更新される
。光学トラッキングシステムは、デュアル300W AC電源、冷却ファン、2
0スロットのp−v面、複数のプラグ・イン・カードを有するラック装着可能な
カードケージ内に保持されるように容易に設計可能なコマーシャル・オフ・ザ・
シェルフ(Commercial Off The Shelf :COTS)を使用している。光学トラッキン
グシステム11と仮想環境サーバ12のような他のVVSシステムの構成要素と
の間の高速接続を実現するために、バス拡張カードを設けることもできる。ラッ
ク装着可能な構成を成すと、VVSシステムを拡張することができ、複数のトッ
プレベルのVVSシステム構成要素を有する大きな構成配置をサポートすること
ができる。
【0025】 一連のカメラインターフェースカード18は、光学トラッキングシステム11
がカメラフレームデータを処理する準備をするまで、カメラフレームデータのバ
ッファリングを行なう。また、カード18は、観覧、フォーカス及びズーム制御
のためにカメラと接続し、コントロールセンター14のための送信経路として作
用する。各カメラインターフェースカードは、デジタルビデオインターフェース
と、単一のカメラのためのコントロールインターフェースとを有している。8つ
のカメラインターフェースカード18は、最大60Hzのフレームレートを持つ
最大1280×1024ピクセルの解像度を有するカメラをサポートするように
構成することができる。光学トラッキングシステムは、最初は、最大で8つのカ
メラインターフェースカードをサポートするように構成されている。しかしなが
ら、図示のように、これは、非常に多くのカメラ入力源が必要な様々なタイプの
スポーツ競技に対応できるスケール可能なシステムである。
がカメラフレームデータを処理する準備をするまで、カメラフレームデータのバ
ッファリングを行なう。また、カード18は、観覧、フォーカス及びズーム制御
のためにカメラと接続し、コントロールセンター14のための送信経路として作
用する。各カメラインターフェースカードは、デジタルビデオインターフェース
と、単一のカメラのためのコントロールインターフェースとを有している。8つ
のカメラインターフェースカード18は、最大60Hzのフレームレートを持つ
最大1280×1024ピクセルの解像度を有するカメラをサポートするように
構成することができる。光学トラッキングシステムは、最初は、最大で8つのカ
メラインターフェースカードをサポートするように構成されている。しかしなが
ら、図示のように、これは、非常に多くのカメラ入力源が必要な様々なタイプの
スポーツ競技に対応できるスケール可能なシステムである。
【0026】 I/Oシーケンサ部19は、バッファ付きのフレームデータをカメラインター
フェースカード18から受け、フレームを複数のゲートに分割するとともに、こ
のデータを適切なイメージアレイプロセッサ21に分配する。ゲートは、システ
ムで使用されるハードウエアの能力にしたがって大きさが決められるフレームの
処理し易い部分として規定され、動的なシステムパラメータにしたがって変更す
ることができる。一般なシステムでは、図示のように、8つの全てのカメライン
ターフェースカード18及び対応する8つのイメージアレイプロセッサ盤21に
対して、1つのI/Oシーケンサ19が使用される。
フェースカード18から受け、フレームを複数のゲートに分割するとともに、こ
のデータを適切なイメージアレイプロセッサ21に分配する。ゲートは、システ
ムで使用されるハードウエアの能力にしたがって大きさが決められるフレームの
処理し易い部分として規定され、動的なシステムパラメータにしたがって変更す
ることができる。一般なシステムでは、図示のように、8つの全てのカメライン
ターフェースカード18及び対応する8つのイメージアレイプロセッサ盤21に
対して、1つのI/Oシーケンサ19が使用される。
【0027】 イメージアレイプロセッサ盤21は、I/Oシーケンサ19によって形成され
たゲートに関して画像処理を行なう。各イメージアレイプロセッサ盤は、単一の
命令複数データストリームアーキテクチャ(Instruction Multiple Data stream
Architecture :SIMD)タイプの配列の高速イメージプロセッサ22を有し
ている。これらのイメージプロセッサ22は、業界標準の画像処理アルゴリズム
を使用して、各フレーム内のオブジェクトを認識する。フレームに対する各オブ
ジェクトの2次元位置データは、その後、軌跡相関盤23に送られる。
たゲートに関して画像処理を行なう。各イメージアレイプロセッサ盤は、単一の
命令複数データストリームアーキテクチャ(Instruction Multiple Data stream
Architecture :SIMD)タイプの配列の高速イメージプロセッサ22を有し
ている。これらのイメージプロセッサ22は、業界標準の画像処理アルゴリズム
を使用して、各フレーム内のオブジェクトを認識する。フレームに対する各オブ
ジェクトの2次元位置データは、その後、軌跡相関盤23に送られる。
【0028】 図3に示されるように、軌跡相関盤23は、各イメージアレイプロセッサ盤2
1からのオブジェクトの位置データを処理するとともに、各オブジェクトの位置
データを、メモリ内に記憶されたオブジェクト軌跡ファイル24として示される
過去の3次元オブジェクト位置データと関連付ける。VVS10の個々の部分に
よって形成されるデータを記憶するのに十分な標準的なランダムアクセスメモリ
量を有する共有メモリ領域は、共通の複数の電子サブシステムバスを通じてVV
Sシステムの全ての部分に接続された1つの共通のDMAインターフェース26
を介して、アクセス可能である。
1からのオブジェクトの位置データを処理するとともに、各オブジェクトの位置
データを、メモリ内に記憶されたオブジェクト軌跡ファイル24として示される
過去の3次元オブジェクト位置データと関連付ける。VVS10の個々の部分に
よって形成されるデータを記憶するのに十分な標準的なランダムアクセスメモリ
量を有する共有メモリ領域は、共通の複数の電子サブシステムバスを通じてVV
Sシステムの全ての部分に接続された1つの共通のDMAインターフェース26
を介して、アクセス可能である。
【0029】 図5に示されるように、仮想環境サーバ12は、システムの構成要素がCOT
Sエレクトロニクスをもって構成可能であるとともに、生のスポーツ競技の画像
を最適に形成して保存して分配できるラック装着可能な装置内にシステムの構成
要素が一般に保持される光学トラッキングシステムと類似している。DMAイン
ターフェースを介した仮想環境サーバ12と光学トラッキングシステム11との
間の高速接続を実現するために、COTSバス拡張カードが設けられていても良
い。
Sエレクトロニクスをもって構成可能であるとともに、生のスポーツ競技の画像
を最適に形成して保存して分配できるラック装着可能な装置内にシステムの構成
要素が一般に保持される光学トラッキングシステムと類似している。DMAイン
ターフェースを介した仮想環境サーバ12と光学トラッキングシステム11との
間の高速接続を実現するために、COTSバス拡張カードが設けられていても良
い。
【0030】 モデルテクスチャリング部27は、光学トラッキングシステム11によって提
供された情報に基づいて、写真のようなリアルな3次元ビジュアルモデルを形成
する。モデルテクスチャリング部27は、スポーツ選手の身体(ボディー)の各
部分の位置測定値を保持する共有データベースから情報をアクセスして、そこか
らスポーツ関係者の3次元ワイヤーフレーム画像を形成する。モデルテクスチャ
リング部27は、その後、ビデオフレームデータを使用して身体(ボディー)の
各部分に関する「モデルテクスチャー」28を形成するとともに、これらのテク
スチャーを、先に形成したように、トラッキング部27によって保持されたワイ
ヤーフレームモデル上にマッピングし、リアル度の高い3次元ビジュアルモデル
を形成する。
供された情報に基づいて、写真のようなリアルな3次元ビジュアルモデルを形成
する。モデルテクスチャリング部27は、スポーツ選手の身体(ボディー)の各
部分の位置測定値を保持する共有データベースから情報をアクセスして、そこか
らスポーツ関係者の3次元ワイヤーフレーム画像を形成する。モデルテクスチャ
リング部27は、その後、ビデオフレームデータを使用して身体(ボディー)の
各部分に関する「モデルテクスチャー」28を形成するとともに、これらのテク
スチャーを、先に形成したように、トラッキング部27によって保持されたワイ
ヤーフレームモデル上にマッピングし、リアル度の高い3次元ビジュアルモデル
を形成する。
【0031】 環境サーバコンピュータ32は、軌跡相関盤23によって先に演算されたボデ
ィー状態情報とモデルテクスチャリング部27によって形成されたテクスチャー
情報28とを使用して、シーンの形成のために、一貫性のあるボディー位置情報
及びビジュアルモデルを仮想観覧ステーション13に提供する。ボディー位置デ
ータ及びリアルタイムなビジュアルモデルは、ダイレクトメモリアクセス(DM
A)インターフェース26を介して、仮想観覧ステーション13と同期される。
また、仮想環境サーバ12は、DMAインターフェースを介した仮想観覧ステー
ション13からのアーカイブ要求を受け入れる。
ィー状態情報とモデルテクスチャリング部27によって形成されたテクスチャー
情報28とを使用して、シーンの形成のために、一貫性のあるボディー位置情報
及びビジュアルモデルを仮想観覧ステーション13に提供する。ボディー位置デ
ータ及びリアルタイムなビジュアルモデルは、ダイレクトメモリアクセス(DM
A)インターフェース26を介して、仮想観覧ステーション13と同期される。
また、仮想環境サーバ12は、DMAインターフェースを介した仮想観覧ステー
ション13からのアーカイブ要求を受け入れる。
【0032】 オプションの追加機能として、アーカイブコンピュータ16(図8参照)は、
要求に応じて過去の仮想環境データの検索や速い重複保存を行なう一連の安価な
レイド(Redundant Array of Inexpensive Drivers :RAID)からのビジュアルモ
デルやボディー位置情報のリアルタイムな記録・再生を行なうことができる。ま
た、アーカイブコンピュータは、適当なVVSプログラミングを介して、ユーザ
によって制御された再生速度をサポートする。
要求に応じて過去の仮想環境データの検索や速い重複保存を行なう一連の安価な
レイド(Redundant Array of Inexpensive Drivers :RAID)からのビジュアルモ
デルやボディー位置情報のリアルタイムな記録・再生を行なうことができる。ま
た、アーカイブコンピュータは、適当なVVSプログラミングを介して、ユーザ
によって制御された再生速度をサポートする。
【0033】 図6に示されるように、各仮想観覧ステーション13は、VVS観覧ソフトウ
エアを有する高性能のCOTS SGIワークステーションである。これらの仮
想観覧ステーション13によって、オペレータは、仮想カメラの観覧角度やモニ
タのリアルタイムなデータを制御することができ、あるいは、高画質なシーンを
形成するための即時再生モードを機能させることができる。各仮想観覧ステーシ
ョン13は、シーン内におけるオブジェクトの位置を決定するために、ボディー
状態情報を使用して3D仮想環境を描くシーン表現(シーンレンダリング)機能
126を有している。一般に、シーン表現機能126は、3次元多角形(ポリゴ
ン)のデータベース及び写真のようにリアルなテクスチャーを使用して、シーン
内にオブジェクトを描く。シーンが表現されると、シーン表現機能126は、シ
ーン内の観覧点(ビューポイント)の実況変化に応答する。写真のようにリアル
なモデルと描出ボディー状態データとをこのように組み合わせると、シーン表現
機能は、リアルタイムな実況再生において、非常にリアルな仮想シーンを形成す
ることができる。この実施例において、VVSシステムは、最大で4つの仮想観
覧ステーションをサポートするようになっている。
エアを有する高性能のCOTS SGIワークステーションである。これらの仮
想観覧ステーション13によって、オペレータは、仮想カメラの観覧角度やモニ
タのリアルタイムなデータを制御することができ、あるいは、高画質なシーンを
形成するための即時再生モードを機能させることができる。各仮想観覧ステーシ
ョン13は、シーン内におけるオブジェクトの位置を決定するために、ボディー
状態情報を使用して3D仮想環境を描くシーン表現(シーンレンダリング)機能
126を有している。一般に、シーン表現機能126は、3次元多角形(ポリゴ
ン)のデータベース及び写真のようにリアルなテクスチャーを使用して、シーン
内にオブジェクトを描く。シーンが表現されると、シーン表現機能126は、シ
ーン内の観覧点(ビューポイント)の実況変化に応答する。写真のようにリアル
なモデルと描出ボディー状態データとをこのように組み合わせると、シーン表現
機能は、リアルタイムな実況再生において、非常にリアルな仮想シーンを形成す
ることができる。この実施例において、VVSシステムは、最大で4つの仮想観
覧ステーションをサポートするようになっている。
【0034】 図8に示されるように、VVSシステム10の他のオプション追加機能は、V
VSコントローラインターフェースコンピュータ29を有するコントロールセン
ター14及びVVSコントロールセンター31である。コントローラインターフ
ェース29は、VVSコントロールセンター31と光学トラッキングシステム1
1/仮想環境サーバ12との間のインターフェースとして機能する。VVSコン
トローラインターフェースは、リアルタイムのオブジェクト位置データをダイレ
クトメモリアクセス(DMA)インターフェース26を介してVVSコントロー
ルセンターに送ることができる。また、VVSコントローラインターフェースは
、DMAインターフェース26を介してVVSコントロールセンターから送られ
てくる、位置決め、ズーム、フォーカスのようなカメラコマンドや、初期化や環
境設定といったシステムコマンドを伝送する。
VSコントローラインターフェースコンピュータ29を有するコントロールセン
ター14及びVVSコントロールセンター31である。コントローラインターフ
ェース29は、VVSコントロールセンター31と光学トラッキングシステム1
1/仮想環境サーバ12との間のインターフェースとして機能する。VVSコン
トローラインターフェースは、リアルタイムのオブジェクト位置データをダイレ
クトメモリアクセス(DMA)インターフェース26を介してVVSコントロー
ルセンターに送ることができる。また、VVSコントローラインターフェースは
、DMAインターフェース26を介してVVSコントロールセンターから送られ
てくる、位置決め、ズーム、フォーカスのようなカメラコマンドや、初期化や環
境設定といったシステムコマンドを伝送する。
【0035】 VVSコントロールセンター31は、VVS制御ソフトウエアを有するCOT
Sシリコングラフィック(SGI)ワークステーションである。VVSコントロ
ールコンソール(図示せず)により、オペレータは、VVSシステムを初期化で
きるとともに、カメラのオーバライド自動制御及びアップグレードを効果的に実
行することができる。VVSコントロールコンソールは、ダイレクトメモリアク
セス(DMA)インターフェース26を介して、仮想環境サーバ及び光学トラッ
キングシステムと繋がっている。
Sシリコングラフィック(SGI)ワークステーションである。VVSコントロ
ールコンソール(図示せず)により、オペレータは、VVSシステムを初期化で
きるとともに、カメラのオーバライド自動制御及びアップグレードを効果的に実
行することができる。VVSコントロールコンソールは、ダイレクトメモリアク
セス(DMA)インターフェース26を介して、仮想環境サーバ及び光学トラッ
キングシステムと繋がっている。
【0036】 システムの能力を示すため、データの流れ及び動作時のVVSシステム10の
処理機能について説明する。様々なシステム機能の関係や機能間のデータのやり
とりを明確にするため、標準的な慣習通りに、機能名に斜字体を使用し、データ
名に太字を使用し、データベース名にアンダータインを付す。VVSシステムの
主要なサブシステム及び比較的重要ではないサブジステムを示す前述した複数の
図面を参照しながら、各部分の動作について説明する。
処理機能について説明する。様々なシステム機能の関係や機能間のデータのやり
とりを明確にするため、標準的な慣習通りに、機能名に斜字体を使用し、データ
名に太字を使用し、データベース名にアンダータインを付す。VVSシステムの
主要なサブシステム及び比較的重要ではないサブジステムを示す前述した複数の
図面を参照しながら、各部分の動作について説明する。
【0037】 好ましい実施例に示されているように、光学トラッキングシステムは、最大で
8つのカメラインターフェースカード18をサポートする。各カードは、カメラ
インターフェース41と、フレームバッファ42と、カメラコントローラ43と
、カメラトラッキング機能44と、共有ボディー状態ファイル46とを有してい
る。カメラインターフェース41は、カメラ17からのビデオフレーム・カメラ
方向を処理するとともに、それをフレームバッファ42内に格納する。また、イ
ンターフェース41は、カメラコントローラ43からのフォーカス、ズーム、位
置決めの各コマンドを処理するとともに、これらを選択されたカメラ17に転送
する。カメラコントローラ43は、VVSインターフェースコンピュータ29内
のVVSコントローラ81から送られてくるテザー、フォーカス、ズームといっ
たカメラコマンドを処理する。例えば、VVSコントローラ81からのテザーコ
マンドによって、カメラコントローラ43は、特定のスポーツのボディーに追従
するようにカメラを方向付け、また、コントローラ43は、テザーコマンドをカ
メラトラッキング機能44に転送する。また、カメラトラッキング機能44から
のカメラ位置決め(カメラポインティング)コマンドは、コントローラ43によ
って処理される。カメラトラッキング機能44は、カメラコントローラ機能43
からのテザーコマンドを処理するとともに、共有ボディー状態ファイル46から
ボディー状態データの一例を読み出すことができ、また、追従されるボディーを
選択されたカメラの視野内に中心付けるために必要なカメラの方向変化を演算す
ることができる。カメラポインティングコマンドは、その後、カメラを適切に動
作させるために、カメラコントローラ機能43に送られる。ボディー状態ファイ
ル46は、後述するように、ボディー伝達機能68によりリアルタイムで更新さ
れる。
8つのカメラインターフェースカード18をサポートする。各カードは、カメラ
インターフェース41と、フレームバッファ42と、カメラコントローラ43と
、カメラトラッキング機能44と、共有ボディー状態ファイル46とを有してい
る。カメラインターフェース41は、カメラ17からのビデオフレーム・カメラ
方向を処理するとともに、それをフレームバッファ42内に格納する。また、イ
ンターフェース41は、カメラコントローラ43からのフォーカス、ズーム、位
置決めの各コマンドを処理するとともに、これらを選択されたカメラ17に転送
する。カメラコントローラ43は、VVSインターフェースコンピュータ29内
のVVSコントローラ81から送られてくるテザー、フォーカス、ズームといっ
たカメラコマンドを処理する。例えば、VVSコントローラ81からのテザーコ
マンドによって、カメラコントローラ43は、特定のスポーツのボディーに追従
するようにカメラを方向付け、また、コントローラ43は、テザーコマンドをカ
メラトラッキング機能44に転送する。また、カメラトラッキング機能44から
のカメラ位置決め(カメラポインティング)コマンドは、コントローラ43によ
って処理される。カメラトラッキング機能44は、カメラコントローラ機能43
からのテザーコマンドを処理するとともに、共有ボディー状態ファイル46から
ボディー状態データの一例を読み出すことができ、また、追従されるボディーを
選択されたカメラの視野内に中心付けるために必要なカメラの方向変化を演算す
ることができる。カメラポインティングコマンドは、その後、カメラを適切に動
作させるために、カメラコントローラ機能43に送られる。ボディー状態ファイ
ル46は、後述するように、ボディー伝達機能68によりリアルタイムで更新さ
れる。
【0038】 I/Oシーケンス部19は、ゲートビルダー51とI/Oシーケンサ52とか
らなる。ゲートビルダー51は、フレームデータ及びカメラ方向に関して、フレ
ームバッファ42を調査する。ゲートビルダーは、フレームをアレイサイズの複
数のゲートに分割し、各ゲート毎にX,Yゲート座標を特定して、各ゲート毎に
観覧時間にタグを付すとともに、ゲートとゲート座標と観覧時間とをI/Oシー
ケンサ52に供給する。また、ゲートビルダー51は、ユーザが規定する速度で
、フレームとフレーム座標と観覧時間とをモデルテクスチャリング盤27に送る
。I/Oシーケンサ52は、利用可能なアレイプロセッサ盤21に対して、ゲー
トとゲート座標と観覧時間とを順序付ける。また、図示のように、I/Oシーケ
ンサ52は、8つのアレイプロセッサ盤のために、負荷バランシングを提供する
。
らなる。ゲートビルダー51は、フレームデータ及びカメラ方向に関して、フレ
ームバッファ42を調査する。ゲートビルダーは、フレームをアレイサイズの複
数のゲートに分割し、各ゲート毎にX,Yゲート座標を特定して、各ゲート毎に
観覧時間にタグを付すとともに、ゲートとゲート座標と観覧時間とをI/Oシー
ケンサ52に供給する。また、ゲートビルダー51は、ユーザが規定する速度で
、フレームとフレーム座標と観覧時間とをモデルテクスチャリング盤27に送る
。I/Oシーケンサ52は、利用可能なアレイプロセッサ盤21に対して、ゲー
トとゲート座標と観覧時間とを順序付ける。また、図示のように、I/Oシーケ
ンサ52は、8つのアレイプロセッサ盤のために、負荷バランシングを提供する
。
【0039】 アレイプロセッサ盤21は、主に、画像処理機能を実行する。これらの盤は1
つのイメージプロセッサ22を有しており、イメージプロセッサ22は、受けた
各フレームに関してエッジ検出を行なって、ボディーとボディーの中心の3次元
位置として定義付けられるボディー重心とを確認する。また、イメージプロセッ
サ22は、パターンマッチングを実行して、特定の1つのボディーを一人の選手
に関連付けるとともに、オブジェクトヒットパイプデータベース64内に記憶す
るために、2次元(ボディー要素)オブジェクト位置、オブジェクトタイプ、オ
ブジェクト方向、オブジェクト観覧時間を確認する。図示のように(図3参照)
、イメージプロセッサは、ボディー重心とボディーIDとボディー観覧時間変数
とをオブジェクトヒットパイプ64に送信する。
つのイメージプロセッサ22を有しており、イメージプロセッサ22は、受けた
各フレームに関してエッジ検出を行なって、ボディーとボディーの中心の3次元
位置として定義付けられるボディー重心とを確認する。また、イメージプロセッ
サ22は、パターンマッチングを実行して、特定の1つのボディーを一人の選手
に関連付けるとともに、オブジェクトヒットパイプデータベース64内に記憶す
るために、2次元(ボディー要素)オブジェクト位置、オブジェクトタイプ、オ
ブジェクト方向、オブジェクト観覧時間を確認する。図示のように(図3参照)
、イメージプロセッサは、ボディー重心とボディーIDとボディー観覧時間変数
とをオブジェクトヒットパイプ64に送信する。
【0040】 前述したイメージプロセッサ22は、細分化、特徴抽出、分類といった技術を
処理する標準的な画像ソフトウエアを使用して、フレーム内の各ボディー画像を
利用する。図4は、これらの技術を使用してボディーデータを解析する1つのア
プローチを示している。図示のように、背景削除92及び相関関係93に関する
サブモジュールをプログラミングするために、未加工の画像データ91が送信さ
れる。背景削除サブプログラム92は、2進拡張(Binary Dilation)、2進エ
ロージョン(Binary Erosion)、2進閉鎖(Binary Closing)、逆画像変換、コ
ンベックス・ハル(Convex Hull)技術といった良く知られたアルゴリズムを使
用して、背景を真のボディーから分離する。画像グループ分け94は、抽出処理
の特徴抽出部の一部として存在し、データを他のサブ機能に送る。グループ分け
サブプロセシングプログラム94は、空間フィルタを使用してピクセルを分類し
、分割された各ピクセルに関するグループIDを形成する。この情報は、概略化
サブプログラム96と画像相関関係サブプログラム93と他の特徴抽出サブプロ
グラム97とに送られる。概略化サブプログラム96は、ピクセル分離技術によ
ってグループ又は染み(blob)を確認して、体系的にデータの境界を剥ぎ取って
、単位幅の概略を形成する。画像相関関係93は、先に形成されたグループID
を使用して、概略化プロセスで得られた相関関係ピークを特定のグループに割り
当てる。ボディー状態データを更に純化させて適切なボディー測定値を得るため
に、グループ分けプロセスからのデータ出力によって抽出された場所やモーメン
トといった他のタイプの特徴、染み形状(blob shapes)といった特徴は、サブ
プログラム97によって処理される。抽出して得られた各グループは、その後、
所定の特徴画像テンプレートにしたがって分類され(98)、ボディーヒットパ
イプ64及びオブジェクトヒットパイプ61に送られる。
処理する標準的な画像ソフトウエアを使用して、フレーム内の各ボディー画像を
利用する。図4は、これらの技術を使用してボディーデータを解析する1つのア
プローチを示している。図示のように、背景削除92及び相関関係93に関する
サブモジュールをプログラミングするために、未加工の画像データ91が送信さ
れる。背景削除サブプログラム92は、2進拡張(Binary Dilation)、2進エ
ロージョン(Binary Erosion)、2進閉鎖(Binary Closing)、逆画像変換、コ
ンベックス・ハル(Convex Hull)技術といった良く知られたアルゴリズムを使
用して、背景を真のボディーから分離する。画像グループ分け94は、抽出処理
の特徴抽出部の一部として存在し、データを他のサブ機能に送る。グループ分け
サブプロセシングプログラム94は、空間フィルタを使用してピクセルを分類し
、分割された各ピクセルに関するグループIDを形成する。この情報は、概略化
サブプログラム96と画像相関関係サブプログラム93と他の特徴抽出サブプロ
グラム97とに送られる。概略化サブプログラム96は、ピクセル分離技術によ
ってグループ又は染み(blob)を確認して、体系的にデータの境界を剥ぎ取って
、単位幅の概略を形成する。画像相関関係93は、先に形成されたグループID
を使用して、概略化プロセスで得られた相関関係ピークを特定のグループに割り
当てる。ボディー状態データを更に純化させて適切なボディー測定値を得るため
に、グループ分けプロセスからのデータ出力によって抽出された場所やモーメン
トといった他のタイプの特徴、染み形状(blob shapes)といった特徴は、サブ
プログラム97によって処理される。抽出して得られた各グループは、その後、
所定の特徴画像テンプレートにしたがって分類され(98)、ボディーヒットパ
イプ64及びオブジェクトヒットパイプ61に送られる。
【0041】 移動するスポーツ選手やボールを確認するためにこれらの技術を使った画像処
理を題材とした様々な優れた本が書かれている。そのような技術の1つの優れた
出典は、ケニス・R・キャッスルマン(Kenneth R. Castleman)によるデジタル
画像処理であり、参照により本願に組み入れられる。染みやボディー移転(body
devolution)の技術を扱った他の引例は、明細書に添付された参考文献表に列
挙されており、参照により本願に組み込まれる。また、フレーム画像処理に関す
る議論については省略する。なぜなら、この議論は本発明の範囲を越えており、
また、本発明においては、適切な動作のために、標準的な工業処理技術を使用で
きるからである。
理を題材とした様々な優れた本が書かれている。そのような技術の1つの優れた
出典は、ケニス・R・キャッスルマン(Kenneth R. Castleman)によるデジタル
画像処理であり、参照により本願に組み入れられる。染みやボディー移転(body
devolution)の技術を扱った他の引例は、明細書に添付された参考文献表に列
挙されており、参照により本願に組み込まれる。また、フレーム画像処理に関す
る議論については省略する。なぜなら、この議論は本発明の範囲を越えており、
また、本発明においては、適切な動作のために、標準的な工業処理技術を使用で
きるからである。
【0042】 図3に示されるように、軌跡相関盤23は、アレイプロセッサ盤21からの2
次元オブジェクト及びボディー状態データに基づいて、3次元オブジェクト及び
ボディー軌跡を作成する。軌跡盤23は、オブジェクトヒットパイプ61と、軌
跡相関機能62と、オブジェクトトラックファイル24と、ボディーヒットパイ
プ64と、ボディー相関機能66と、ボディー状態ファイル67と、ボディー伝
達機能68とを有している。オブジェクトヒットパイプ61は、オブジェクトタ
イプ、オブジェクト位置、オブジェクト方向、オブジェクト観覧時間といったオ
ブジェクトヒットを記録する。軌跡相関機能62は、その後、2次元オブジェク
トヒットを、オブジェクト軌跡ファイル24内に記憶された3次元オブジェクト
軌跡と関連付けて、3次元オブジェクト位置及びオブジェクト方向を更新すると
ともに、オブジェクト速度及びオブジェクト加速度を演算する。また、軌跡相関
機能62は、予め決められた相関関係の閾値が満たされるように、オブジェクト
トラックファイル24内に記憶されたオブジェクト軌跡を組み合わせたり分割し
たりする。また、オブジェクト軌跡ファイル24は、オブジェクトタイプ、オブ
ジェクト位置、オブジェクト方向、オブジェクト速度、オブジェクト加速度、母
体といったオブジェクト軌跡を記憶する。ボディーヒットパイプ64は、ボディ
ー重心、ボディーID、ボディー観覧時間といったボディーヒットを記憶する。
同様に、軌跡相関機能62は、ボディーヒットパイプ64からのボディー重心及
びボディーID情報を処理して、ボディー状態ファイル67内に記憶されたボデ
ィー重心及びボディーIDデータを更新する。ボディー状態ファイル67は、関
連する各部分に関して、ボディーID、ボディー重心、状態データを含むボディ
ー状態を記憶する。各ボディーは、2つの脚、2つの膝、2つの胴ポイント、1
つの腹、2つの肩ポイント、2つの肘、2つの手、1つの頭といった関連付けら
れた部分データを有している。関連付けられた各部分に関して、関連付けられた
部分のタイプ、関連付けられた部分の位置、関連付けられた部分の方向、関連付
けられた部分の速度、関連付けられた部分の加速度が記憶される。ボディー状態
ファイル67は、モデルテクスチャリング部27と環境サーバコンピュータ12
とを有する他の複数のVVSボード及びその構成部分を使用することによって前
述した共有メモリ内に記憶される。ボディー伝達機能68は、3次元オブジェク
ト軌跡をボディー状態ファイル67内の関連付けられた部分と関連付けることに
よって、ボディー状態ファイルを維持するとともに、オブジェクト軌跡ファイル
24内の母体変数を更新して、ボディー状態ファイル67内の関連付けられた部
分の位置、関連付けられた部分の方向、関連付けられた部分の速度、関連付けら
れた部分の加速度を更新する。また、ボディー伝達機能68は、人間の動きのア
ルゴリズムを適用して、ボディー状態ファイル67内に保持されたボディー関連
付けを滑らかにする。また、アーカイブコンピュータ16がシステム内に存在し
ている場合には、ボディー状態の最新情報は、ボディー伝達機能68によって、
保存のためのリアルタイムレコーダ101に送られる。
次元オブジェクト及びボディー状態データに基づいて、3次元オブジェクト及び
ボディー軌跡を作成する。軌跡盤23は、オブジェクトヒットパイプ61と、軌
跡相関機能62と、オブジェクトトラックファイル24と、ボディーヒットパイ
プ64と、ボディー相関機能66と、ボディー状態ファイル67と、ボディー伝
達機能68とを有している。オブジェクトヒットパイプ61は、オブジェクトタ
イプ、オブジェクト位置、オブジェクト方向、オブジェクト観覧時間といったオ
ブジェクトヒットを記録する。軌跡相関機能62は、その後、2次元オブジェク
トヒットを、オブジェクト軌跡ファイル24内に記憶された3次元オブジェクト
軌跡と関連付けて、3次元オブジェクト位置及びオブジェクト方向を更新すると
ともに、オブジェクト速度及びオブジェクト加速度を演算する。また、軌跡相関
機能62は、予め決められた相関関係の閾値が満たされるように、オブジェクト
トラックファイル24内に記憶されたオブジェクト軌跡を組み合わせたり分割し
たりする。また、オブジェクト軌跡ファイル24は、オブジェクトタイプ、オブ
ジェクト位置、オブジェクト方向、オブジェクト速度、オブジェクト加速度、母
体といったオブジェクト軌跡を記憶する。ボディーヒットパイプ64は、ボディ
ー重心、ボディーID、ボディー観覧時間といったボディーヒットを記憶する。
同様に、軌跡相関機能62は、ボディーヒットパイプ64からのボディー重心及
びボディーID情報を処理して、ボディー状態ファイル67内に記憶されたボデ
ィー重心及びボディーIDデータを更新する。ボディー状態ファイル67は、関
連する各部分に関して、ボディーID、ボディー重心、状態データを含むボディ
ー状態を記憶する。各ボディーは、2つの脚、2つの膝、2つの胴ポイント、1
つの腹、2つの肩ポイント、2つの肘、2つの手、1つの頭といった関連付けら
れた部分データを有している。関連付けられた各部分に関して、関連付けられた
部分のタイプ、関連付けられた部分の位置、関連付けられた部分の方向、関連付
けられた部分の速度、関連付けられた部分の加速度が記憶される。ボディー状態
ファイル67は、モデルテクスチャリング部27と環境サーバコンピュータ12
とを有する他の複数のVVSボード及びその構成部分を使用することによって前
述した共有メモリ内に記憶される。ボディー伝達機能68は、3次元オブジェク
ト軌跡をボディー状態ファイル67内の関連付けられた部分と関連付けることに
よって、ボディー状態ファイルを維持するとともに、オブジェクト軌跡ファイル
24内の母体変数を更新して、ボディー状態ファイル67内の関連付けられた部
分の位置、関連付けられた部分の方向、関連付けられた部分の速度、関連付けら
れた部分の加速度を更新する。また、ボディー伝達機能68は、人間の動きのア
ルゴリズムを適用して、ボディー状態ファイル67内に保持されたボディー関連
付けを滑らかにする。また、アーカイブコンピュータ16がシステム内に存在し
ている場合には、ボディー状態の最新情報は、ボディー伝達機能68によって、
保存のためのリアルタイムレコーダ101に送られる。
【0043】 モデルテクスチャリング部27は、ビデオフレームからモデルテクスチャーを
リアルタイムに形成するようになっている。モデルテクスチャリング部27は、 ボディー状態 ファイル67とフレームバッファ42を使用するとともに、ボディ
ー相互関連機能111と、フレーム表現機能112と、ビジュアルモデルデータ
ベース113と、テクスチャー形成機能114とを有している。フレームバッフ
ァファイル42は、ゲートビルダー機能51からのカメラ方向データ及び画像の
時間タグ付きのフレームを記憶する。ボディーの相互関連機能111は、ボディ
ー状態データを使用して、3次元ワイヤーフレームでありボディーのテクスチャ
ー表示であるどのビジュアルモデルがボディーに関連付けられるかを決定する。 ビジュアルモデル ファイルは、モデル名、モデルタイプ、エンティティタイプマ
ッピング、ボディー寸法、ポリゴンの幾何学的構造、テクスチャー、テクスチャ
ーマッピングを含むビジュアルモデルを記憶する。機能111は、ボディー状態
データを順々に使用して、関連付けられた部分を有するエンティティ状態データ
を形成するとともに、そのデータをフレーム表現機能112に送信する。フレー
ム表現機能112は、その後、ボディーの相互関連機能111からのエンティテ
ィ状態と、ゲートビルダー機能51からのカメラ方向データと、ビジュアルモデ
ルファイル113からのビジュアルモデルを使用して、カメラ17からの観覧の
スチールフレームを描く。その後、フレーム表現機能112は、どの多角形(ポ
リゴン)が視野内にあるかを決定して、フレームバッファからの分割フレームを
視野内の多角形(ポリゴン)と調和させるとともに、画質がテクスチャーを形成
するために十分であるかどうかを決定するために、スチールフレームをテクスチ
ャー形成機能114に送る。画質が十分である場合には、テクスチャー及びポリ
ゴンマッピングが形成されて共有テクスチャーファイル102及びリアルタイム
レコーダ101に送られる。テクスチャー形成機能は、フレーム表現機能からの
スチールフレームとフレームバッファからの対応するフレームを処理する。テク
スチャー形成機能は、その後、そのスチールフレームを取得して、どの多角形(
ポリゴン)が視野内にあるかを決定(測定)するとともに、フレームバッファか
らフレームを取得して、それを目に見える多角形(ポリゴン)と調和するように
分割する。また、テクスチャー形成機能は、画質がテクスチャー形成にとって十
分であるかどうかを決定する機能を有している。
リアルタイムに形成するようになっている。モデルテクスチャリング部27は、 ボディー状態 ファイル67とフレームバッファ42を使用するとともに、ボディ
ー相互関連機能111と、フレーム表現機能112と、ビジュアルモデルデータ
ベース113と、テクスチャー形成機能114とを有している。フレームバッフ
ァファイル42は、ゲートビルダー機能51からのカメラ方向データ及び画像の
時間タグ付きのフレームを記憶する。ボディーの相互関連機能111は、ボディ
ー状態データを使用して、3次元ワイヤーフレームでありボディーのテクスチャ
ー表示であるどのビジュアルモデルがボディーに関連付けられるかを決定する。 ビジュアルモデル ファイルは、モデル名、モデルタイプ、エンティティタイプマ
ッピング、ボディー寸法、ポリゴンの幾何学的構造、テクスチャー、テクスチャ
ーマッピングを含むビジュアルモデルを記憶する。機能111は、ボディー状態
データを順々に使用して、関連付けられた部分を有するエンティティ状態データ
を形成するとともに、そのデータをフレーム表現機能112に送信する。フレー
ム表現機能112は、その後、ボディーの相互関連機能111からのエンティテ
ィ状態と、ゲートビルダー機能51からのカメラ方向データと、ビジュアルモデ
ルファイル113からのビジュアルモデルを使用して、カメラ17からの観覧の
スチールフレームを描く。その後、フレーム表現機能112は、どの多角形(ポ
リゴン)が視野内にあるかを決定して、フレームバッファからの分割フレームを
視野内の多角形(ポリゴン)と調和させるとともに、画質がテクスチャーを形成
するために十分であるかどうかを決定するために、スチールフレームをテクスチ
ャー形成機能114に送る。画質が十分である場合には、テクスチャー及びポリ
ゴンマッピングが形成されて共有テクスチャーファイル102及びリアルタイム
レコーダ101に送られる。テクスチャー形成機能は、フレーム表現機能からの
スチールフレームとフレームバッファからの対応するフレームを処理する。テク
スチャー形成機能は、その後、そのスチールフレームを取得して、どの多角形(
ポリゴン)が視野内にあるかを決定(測定)するとともに、フレームバッファか
らフレームを取得して、それを目に見える多角形(ポリゴン)と調和するように
分割する。また、テクスチャー形成機能は、画質がテクスチャー形成にとって十
分であるかどうかを決定する機能を有している。
【0044】 アーカイブコンピュータ16は、要求に応じて、ボディー状態及びテクスチャ
ーを記憶したり修正したりすることができる。コンピュータ16は、ボディー状
態ファイル67及びテクスチャーファイル102に接続するリアルタイムレコー
ダ機能101と、アーカイブリーダ機能103とを有している。リアルタイムレ
コーダ機能101は、軌跡相関盤23内のボディー伝達機能68からのボディー
状態の最新情報とモデルテクスチャリングボード27内のテクスチャー形成機能
114からのテクスチャーの更新とを処理する。アーカイブコンピュータ16は
、リアルタイムで、ボディー状態の最新情報をボディー状態ファイル67内に記
憶できるとともに、テクスチャーの更新をテクスチャーファイル102内に記憶
できる。ボディー状態ファイル67は、過去のボディー状態及び過去のテクスチ
ャーの更新を記憶する。アーカイブリーダ機能103は、個々の仮想観覧ステー
ション13からの再生コマンドに応答する。再生コマンドは、セットスタート、
セットエンド、セット再生速度、セットプレー方向、プレー、ポーズ、ステップ
フレーム、ゴースタート、ゴーエンドを含んでいる。アーカイブリーダ103は
、ボディー状態の更新及びテクスチャーの更新を、対応するそれぞれの仮想観覧
ステーション13のために、環境サーバコンピュータ12に送ることができる。
ーを記憶したり修正したりすることができる。コンピュータ16は、ボディー状
態ファイル67及びテクスチャーファイル102に接続するリアルタイムレコー
ダ機能101と、アーカイブリーダ機能103とを有している。リアルタイムレ
コーダ機能101は、軌跡相関盤23内のボディー伝達機能68からのボディー
状態の最新情報とモデルテクスチャリングボード27内のテクスチャー形成機能
114からのテクスチャーの更新とを処理する。アーカイブコンピュータ16は
、リアルタイムで、ボディー状態の最新情報をボディー状態ファイル67内に記
憶できるとともに、テクスチャーの更新をテクスチャーファイル102内に記憶
できる。ボディー状態ファイル67は、過去のボディー状態及び過去のテクスチ
ャーの更新を記憶する。アーカイブリーダ機能103は、個々の仮想観覧ステー
ション13からの再生コマンドに応答する。再生コマンドは、セットスタート、
セットエンド、セット再生速度、セットプレー方向、プレー、ポーズ、ステップ
フレーム、ゴースタート、ゴーエンドを含んでいる。アーカイブリーダ103は
、ボディー状態の更新及びテクスチャーの更新を、対応するそれぞれの仮想観覧
ステーション13のために、環境サーバコンピュータ12に送ることができる。
【0045】 環境サーバコンピュータ32は、その対応する仮想観覧ステーション13のた
めに、エンティティ状態ファイル121及びビジュアルモデル122からの一例
であるエンティティ状態を形成する主機能を有している。サーバコンピュータ3
2は、ボディー状態ファイル67と、テクスチャーファイル102と、ボディー
相互関連機能111と、テクスチャーマッピング機能123と、DMAインター
フェース26とを使用して、仮想シーンデータを適切に形成する。ボディー状態
ファイル67とテクスチャーデータベース102は、ボディー伝達機能68及び
テクスチャー形成機能114によって形成されるリアルタイムのデータベースも
しくはアーカイブリーダ機能103によって形成される再生データベースである
共有メモリからアクセスされる。ボディー相互関連機能111は、モデルテクス
チャリング盤27内のボディー相互関連機能111と同じ動作を行なうとともに
、エンティティ状態を、DMAインターフェース26を介して、各仮想観覧ステ
ーション13内に格納されたエンティティ状態ファイル121に送る。テクスチ
ャーマッピング機能123は、テクスチャーファイル102からテクスチャー及
びポリゴンマッピングを取得するとともに、テクスチャー及びテクスチャーマッ
ピングの更新を、DMAインターフェース26を介して、各仮想観覧ステーショ
ン13内に格納されたビジュアルモデルデータベース122に送る。DMAイン
ターフェース26は、対応するそれぞれの仮想観覧ステーション13内にエンテ
ィティ状態及びビジュアルモデルデータベースが格納されているため、ボディー
相互関連111及びテクスチャーマッピング123機能からのデータベースの更
新を同期させる。また、DMAインターフェース26は、各仮想観覧ステーショ
ン13内のユーザインターフェース機能124からの再生コマンドを処理すると
ともに、アーカイブリーダがアーカイブコンピュータ16内に存在する場合には
、これらのコマンドをアーカイブリーダ103に転送する。
めに、エンティティ状態ファイル121及びビジュアルモデル122からの一例
であるエンティティ状態を形成する主機能を有している。サーバコンピュータ3
2は、ボディー状態ファイル67と、テクスチャーファイル102と、ボディー
相互関連機能111と、テクスチャーマッピング機能123と、DMAインター
フェース26とを使用して、仮想シーンデータを適切に形成する。ボディー状態
ファイル67とテクスチャーデータベース102は、ボディー伝達機能68及び
テクスチャー形成機能114によって形成されるリアルタイムのデータベースも
しくはアーカイブリーダ機能103によって形成される再生データベースである
共有メモリからアクセスされる。ボディー相互関連機能111は、モデルテクス
チャリング盤27内のボディー相互関連機能111と同じ動作を行なうとともに
、エンティティ状態を、DMAインターフェース26を介して、各仮想観覧ステ
ーション13内に格納されたエンティティ状態ファイル121に送る。テクスチ
ャーマッピング機能123は、テクスチャーファイル102からテクスチャー及
びポリゴンマッピングを取得するとともに、テクスチャー及びテクスチャーマッ
ピングの更新を、DMAインターフェース26を介して、各仮想観覧ステーショ
ン13内に格納されたビジュアルモデルデータベース122に送る。DMAイン
ターフェース26は、対応するそれぞれの仮想観覧ステーション13内にエンテ
ィティ状態及びビジュアルモデルデータベースが格納されているため、ボディー
相互関連111及びテクスチャーマッピング123機能からのデータベースの更
新を同期させる。また、DMAインターフェース26は、各仮想観覧ステーショ
ン13内のユーザインターフェース機能124からの再生コマンドを処理すると
ともに、アーカイブリーダがアーカイブコンピュータ16内に存在する場合には
、これらのコマンドをアーカイブリーダ103に転送する。
【0046】 VVSインターフェースコンピュータ29は、VVSコントロールセンター3
1のためのエンティティ状態を形成するとともに、VVSコントロールセンター
内のユーザインターフェース機能86からのコマンドを処理する。インターフェ
ースコンピュータ29は、ボディー状態ファイル67と、ボディー相互関連機能
111と、DMAインターフェース26と、VVSコントローラ機能81とを有
している。ボディー状態ファイル67は、共有メモリからアクセスされるととも
に、ボディー伝達機能68によってリアルタイムに形成される。ボディー相互関
連機能111は環境サーバコンピュータ内のボディー相互関連機能111と同じ
動作を行なう。DMAインターフェース26は、ボディー相互関連機能111か
らのデータベースの更新を、VVSコントロールセンター31内に格納されたエ
ンティティ状態データベース121と同期させる。また、DMAインターフェー
ス26は、VVSコントロールセンター31内のユーザインターフェース機能8
6からのカメラコマンドを処理して、これらのコマンドをVVSコントローラ機
能81に転送する。VVSコントローラ機能81は、ズーム、フォーカス、テザ
ーコマンドを含むカメラコマンドを処理して、これらのコマンドをカメラインタ
ーフェースカード18内のカメラコントローラ機能43に転送する。
1のためのエンティティ状態を形成するとともに、VVSコントロールセンター
内のユーザインターフェース機能86からのコマンドを処理する。インターフェ
ースコンピュータ29は、ボディー状態ファイル67と、ボディー相互関連機能
111と、DMAインターフェース26と、VVSコントローラ機能81とを有
している。ボディー状態ファイル67は、共有メモリからアクセスされるととも
に、ボディー伝達機能68によってリアルタイムに形成される。ボディー相互関
連機能111は環境サーバコンピュータ内のボディー相互関連機能111と同じ
動作を行なう。DMAインターフェース26は、ボディー相互関連機能111か
らのデータベースの更新を、VVSコントロールセンター31内に格納されたエ
ンティティ状態データベース121と同期させる。また、DMAインターフェー
ス26は、VVSコントロールセンター31内のユーザインターフェース機能8
6からのカメラコマンドを処理して、これらのコマンドをVVSコントローラ機
能81に転送する。VVSコントローラ機能81は、ズーム、フォーカス、テザ
ーコマンドを含むカメラコマンドを処理して、これらのコマンドをカメラインタ
ーフェースカード18内のカメラコントローラ機能43に転送する。
【0047】 仮想観覧ステーション13は、その対応する環境サーバコンピュータ32によ
って形成されるエンティティ状態121及びビジュアルモデル122を使用して
、仮想カメラによって形成されるビデオを表現するようになっている。VVSシ
ステム10(この実施例において)は、最大で4つの仮想観覧ステーション13
をサポートする。各仮想観覧ステーション13は、エンティティ状態ファイル1
21と、ビジュアルモデルファイル122と、シーン表現機能126と、ユーザ
インターフェース機能124と、ビデオインターフェース127と、DMAイン
ターフェース26とを有している。エンティティ状態ファイル121は、エンテ
ィティID、エンティティタイプ、エンティティ位置、エンティティ速度、エン
ティティ加速度、関連付けられた各部分の状態データを含むエンティティ状態を
記憶する。各ボディーは、2つの脚、2つの膝、2つの胴ポイント、1つの腹、
2つの肩ポイント、2つの肘、2つの手、1つの頭を含む、関連付けられた部分
を有している。関連付けられた各部分に関しては、関連付けられた部分のタイプ
、関連付けられた部分の位置、関連付けられた部分の方向、関連付けられた部分
の速度、関連付けられた部分の加速度が記憶される。ビジュアルモデルファイル
122は、モデル名、モデルタイプ、エンティティタイプマッピング、ボディー
寸法、ポリゴンの幾何学的構造、テクスチャー、テクスチャーマッピングを含む
ビジュアルモデルを記憶する。これらのデータベースは、DMAインターフェー
ス26を介して環境サーバコンピュータ32から送られるボディー状態及びテク
スチャーの更新からリアルタイムに形成される。シーン表現機能126は、エン
ティティ状態データ121を使用して、3次元シーン及び予めプログラムされた
ビジュアルモデルデータ122内でオブジェクトを位置決めし、選択された仮想
視野からの観覧視野を表わす形成された3次元シーン内でボディーがどのように
現れるかを決定する。
って形成されるエンティティ状態121及びビジュアルモデル122を使用して
、仮想カメラによって形成されるビデオを表現するようになっている。VVSシ
ステム10(この実施例において)は、最大で4つの仮想観覧ステーション13
をサポートする。各仮想観覧ステーション13は、エンティティ状態ファイル1
21と、ビジュアルモデルファイル122と、シーン表現機能126と、ユーザ
インターフェース機能124と、ビデオインターフェース127と、DMAイン
ターフェース26とを有している。エンティティ状態ファイル121は、エンテ
ィティID、エンティティタイプ、エンティティ位置、エンティティ速度、エン
ティティ加速度、関連付けられた各部分の状態データを含むエンティティ状態を
記憶する。各ボディーは、2つの脚、2つの膝、2つの胴ポイント、1つの腹、
2つの肩ポイント、2つの肘、2つの手、1つの頭を含む、関連付けられた部分
を有している。関連付けられた各部分に関しては、関連付けられた部分のタイプ
、関連付けられた部分の位置、関連付けられた部分の方向、関連付けられた部分
の速度、関連付けられた部分の加速度が記憶される。ビジュアルモデルファイル
122は、モデル名、モデルタイプ、エンティティタイプマッピング、ボディー
寸法、ポリゴンの幾何学的構造、テクスチャー、テクスチャーマッピングを含む
ビジュアルモデルを記憶する。これらのデータベースは、DMAインターフェー
ス26を介して環境サーバコンピュータ32から送られるボディー状態及びテク
スチャーの更新からリアルタイムに形成される。シーン表現機能126は、エン
ティティ状態データ121を使用して、3次元シーン及び予めプログラムされた
ビジュアルモデルデータ122内でオブジェクトを位置決めし、選択された仮想
視野からの観覧視野を表わす形成された3次元シーン内でボディーがどのように
現れるかを決定する。
【0048】 シーン表現機能126は、ユーザインターフェース機能124からの仮想カメ
ラナビゲーションコマンドに応答して、形成された仮想シーンを望ましい形態に
修正する。形成された3次元シーンは、その後、ビデオプロダクションセンター
128及びVVSコントロールセンター31への送信に適したプロトコルに修正
するために、ビデオインターフェース127に送られる。また、ユーザインター
フェース機能124は、オペレータからの仮想カメラナビゲーションコマンド及
び再生コマンドを処理して、これらを、DMAインターフェース26を介してシ
ーン表現機能126及びアーカイブコンピュータ16(存在する場合)に転送す
る。DMAインターフェースは、仮想観覧ステーション13とこれに対応する環
境サーバコンピュータ32との間の通信ポートとして作用する。また、DMAイ
ンターフェース26は、ボディーの相互関連111及びテクスチャーマッピング
123機能からのデータベースの更新を処理して、エンティティ状態121及び ビジュアルモデル 113データベースを適切に更新する。最終的に、また、DM
Aインターフェース26は、ユーザインターフェース124からの再生コマンド
を処理して、これらを環境サーバコンピュータ32内のDMAインターフェース
26を介してアーカイブコンピュータ16に転送する。
ラナビゲーションコマンドに応答して、形成された仮想シーンを望ましい形態に
修正する。形成された3次元シーンは、その後、ビデオプロダクションセンター
128及びVVSコントロールセンター31への送信に適したプロトコルに修正
するために、ビデオインターフェース127に送られる。また、ユーザインター
フェース機能124は、オペレータからの仮想カメラナビゲーションコマンド及
び再生コマンドを処理して、これらを、DMAインターフェース26を介してシ
ーン表現機能126及びアーカイブコンピュータ16(存在する場合)に転送す
る。DMAインターフェースは、仮想観覧ステーション13とこれに対応する環
境サーバコンピュータ32との間の通信ポートとして作用する。また、DMAイ
ンターフェース26は、ボディーの相互関連111及びテクスチャーマッピング
123機能からのデータベースの更新を処理して、エンティティ状態121及び ビジュアルモデル 113データベースを適切に更新する。最終的に、また、DM
Aインターフェース26は、ユーザインターフェース124からの再生コマンド
を処理して、これらを環境サーバコンピュータ32内のDMAインターフェース
26を介してアーカイブコンピュータ16に転送する。
【0049】 VVSコントロールセンター31は、仮想観覧スポーツシステム10の動作を
モニタして調整するために、VVSシステム10内に組み込まれていても良い。
VVSコントロールセンター31は、エンティティ状態ファイル121と、プラ
ンビューディスプレイ機能87と、ユーザイターフェース機能86と、ビデオデ
ィスプレイ機能88と、ビデオインターフェース89と、DMAインターフェー
ス26とを有している。エンティティ状態ファイル121はエンティティ状態デ
ータを前述したように記憶する。プランビューディスプレイ機能87は、エンテ
ィティ状態データを使用して、「プランビュー(plan view)」と呼ばれ競技場
の「神の視点」を示す2次元のトップダウンディスプレイ内でオブジェクトを位
置決めする。プランディスプレイは、ユーザインターフェース機能86から受け
る一例のプランビューエンティティ選択コマンドによって操作されても良い。ま
た、ビデオインターフェース機能は、仮想観覧ステーション13からのビデオ信
号を処理して、これらをビデオディスプレイ機能88に転送する。また、ビデオ
ディスプレイ機能は、ユーザインターフェース機能からのビデオ選択コマンドに
応答し、オペレータの選択に基づいて、特定の仮想観覧ステーションのビデオ信
号を表示することができる。ユーザインターフェース機能86は、プランビュー
ディスプレイ機能からのエンティティIDを処理するとともに、カメラテザーコ
マンドを形成して、そのデータを、DMAインターフェース26を介してVVS
インターフェースコンピュータ29に転送する。同様に、ユーザインターフェー
ス機能86は、オペレータからのズーム及びフォーカスコマンドを処理して、こ
れらのコマンドを、MAインターフェース26を介してVVSインターフェース
コンピュータ29に送る。また、オペレータからのビデオ選択コマンドは、この
ような方法で、仮想観覧ステーション13内のビデオインターフェース機能12
7に送られても良い。
モニタして調整するために、VVSシステム10内に組み込まれていても良い。
VVSコントロールセンター31は、エンティティ状態ファイル121と、プラ
ンビューディスプレイ機能87と、ユーザイターフェース機能86と、ビデオデ
ィスプレイ機能88と、ビデオインターフェース89と、DMAインターフェー
ス26とを有している。エンティティ状態ファイル121はエンティティ状態デ
ータを前述したように記憶する。プランビューディスプレイ機能87は、エンテ
ィティ状態データを使用して、「プランビュー(plan view)」と呼ばれ競技場
の「神の視点」を示す2次元のトップダウンディスプレイ内でオブジェクトを位
置決めする。プランディスプレイは、ユーザインターフェース機能86から受け
る一例のプランビューエンティティ選択コマンドによって操作されても良い。ま
た、ビデオインターフェース機能は、仮想観覧ステーション13からのビデオ信
号を処理して、これらをビデオディスプレイ機能88に転送する。また、ビデオ
ディスプレイ機能は、ユーザインターフェース機能からのビデオ選択コマンドに
応答し、オペレータの選択に基づいて、特定の仮想観覧ステーションのビデオ信
号を表示することができる。ユーザインターフェース機能86は、プランビュー
ディスプレイ機能からのエンティティIDを処理するとともに、カメラテザーコ
マンドを形成して、そのデータを、DMAインターフェース26を介してVVS
インターフェースコンピュータ29に転送する。同様に、ユーザインターフェー
ス機能86は、オペレータからのズーム及びフォーカスコマンドを処理して、こ
れらのコマンドを、MAインターフェース26を介してVVSインターフェース
コンピュータ29に送る。また、オペレータからのビデオ選択コマンドは、この
ような方法で、仮想観覧ステーション13内のビデオインターフェース機能12
7に送られても良い。
【0050】 DMAインターフェース26は、VVSコントロールセンター31とVVSイ
ンターフェースコンピュータ29との間の通信ポートとして作用する。DMAイ
ンターフェース26は、ボディー相互関連機能111からのデータベース更新を
処理して、エンティティ状態データベース121を適切に更新する。他の構成部
分の機能に見られるように、インターフェース26もまた、ユーザインターフェ
ース86からのズーム、フォーカス、テザーコマンドを含むカメラコマンドを処
理して、これらを、MAインターフェース26を介してVVSインターフェース
コンピュータ29に転送する。ビデオインターフェース127は、最大で4つの
仮想観覧ステーション13からのビデオ信号を処理して、これらをビデオディス
プレイ機能88に転送する。
ンターフェースコンピュータ29との間の通信ポートとして作用する。DMAイ
ンターフェース26は、ボディー相互関連機能111からのデータベース更新を
処理して、エンティティ状態データベース121を適切に更新する。他の構成部
分の機能に見られるように、インターフェース26もまた、ユーザインターフェ
ース86からのズーム、フォーカス、テザーコマンドを含むカメラコマンドを処
理して、これらを、MAインターフェース26を介してVVSインターフェース
コンピュータ29に転送する。ビデオインターフェース127は、最大で4つの
仮想観覧ステーション13からのビデオ信号を処理して、これらをビデオディス
プレイ機能88に転送する。
【0051】 以上、本発明を1つの形態で示してきたが、当業者であれば分かるように、本
発明はこれに限定されず、本発明の思想から逸脱することなく様々な変形や改良
を行なうことができることは言うまでもない。例えば、様々なシステム10全体
内の様々なサブ要素を「盤」、「サブプログラム」、「部分」として示してきた
が、これらの各形態は都合良く選択されるとともに、当業者であれば分かるよう
に、これらの機能は、システムのサイズの制約や環境状態の要求あるいは経済性
を考慮して、ハードウエア、ファームウエア、ソフトウエア要素から移動されあ
るいはこれらに移動されても良い。本発明の構成要素を明確に名付け直すことは
、本発明本来の思想から逸脱するものではない。
発明はこれに限定されず、本発明の思想から逸脱することなく様々な変形や改良
を行なうことができることは言うまでもない。例えば、様々なシステム10全体
内の様々なサブ要素を「盤」、「サブプログラム」、「部分」として示してきた
が、これらの各形態は都合良く選択されるとともに、当業者であれば分かるよう
に、これらの機能は、システムのサイズの制約や環境状態の要求あるいは経済性
を考慮して、ハードウエア、ファームウエア、ソフトウエア要素から移動されあ
るいはこれらに移動されても良い。本発明の構成要素を明確に名付け直すことは
、本発明本来の思想から逸脱するものではない。
【0052】 以下に参照文献を示す。
【0053】 1. グレゴリー・A・バックス(Baxes, Gregory A.) デジタル画像処理:
原理と応用。ジョン・ウィリー・アンド・サンズ・インコーポレイテッド(John
Wiley & Sons, Incorporated), ニューヨーク州, ニューヨーク, 9月. (出
版年不明) 2. ケニス・R・キャッスルマン(Castleman, Kenneth R.) デジタル画像
処理。プレンティス・ホール(Prentice-Hall),パラマス,ニュージャージー州,
1995年8月。
原理と応用。ジョン・ウィリー・アンド・サンズ・インコーポレイテッド(John
Wiley & Sons, Incorporated), ニューヨーク州, ニューヨーク, 9月. (出
版年不明) 2. ケニス・R・キャッスルマン(Castleman, Kenneth R.) デジタル画像
処理。プレンティス・ホール(Prentice-Hall),パラマス,ニュージャージー州,
1995年8月。
【0054】 3. ケニス・R・キャッスルマン(Castleman, Kenneth R.) デジタル画像
処理。プレンティス・ホール(Prentice-Hall),パラマス,ニュージャージー州,
1979年7月。
処理。プレンティス・ホール(Prentice-Hall),パラマス,ニュージャージー州,
1979年7月。
【0055】 4. E・R・デービス(Davies, E.R.) 機械展望:理論、アルゴリズム、
実技試験。 アカデミック・プレス(Academic Press), オーランド, フロリダ
州, 1990年1月。
実技試験。 アカデミック・プレス(Academic Press), オーランド, フロリダ
州, 1990年1月。
【0056】 5. リチャード・C・デューダ(Duda, Richard C.)及び ピーター・E・
ハート(Hart, Peter E.) パターン分類とシーン解析。ジョン・ウィリィ・ア
ンド・サンズ・インコーポレイテッド(John Wiley & Sons, Incorporated),
ニューヨーク, ニューヨーク州, 1973年1月。
ハート(Hart, Peter E.) パターン分類とシーン解析。ジョン・ウィリィ・ア
ンド・サンズ・インコーポレイテッド(John Wiley & Sons, Incorporated),
ニューヨーク, ニューヨーク州, 1973年1月。
【0057】 6. ラファエル・C・ゴンザレス(Gonzales, Rafael C.);ポール・ウィン
ツ(Wintz, Paul); ラルフ・C・ゴンザレス(Gonzales, Ralpf C.); リチャ
ード・E・ウッズ(Woods Richard E.) デジタル画像処理。アディソン・ウェ
ズリイ・ロングマン・インコーポレイテッド(Addison Wesley Longman, Incorp
orated), レディング, マサチューセッツ州, 1987年1月。
ツ(Wintz, Paul); ラルフ・C・ゴンザレス(Gonzales, Ralpf C.); リチャ
ード・E・ウッズ(Woods Richard E.) デジタル画像処理。アディソン・ウェ
ズリイ・ロングマン・インコーポレイテッド(Addison Wesley Longman, Incorp
orated), レディング, マサチューセッツ州, 1987年1月。
【0058】 7. ジョン・C・ラス(Russ, John C.) 画像処理ハンドブック。CRCプ
レス・インコーポレイテッド(CRC Press, Incorporated), ボカ・ラトン, フ
ロリダ州, 1994年11月。
レス・インコーポレイテッド(CRC Press, Incorporated), ボカ・ラトン, フ
ロリダ州, 1994年11月。
添付した書類に、発明の特徴を具体化した仮想観覧システムが描かれている。
これらの図面は本発明の開示の一部をなすものである。
これらの図面は本発明の開示の一部をなすものである。
【図1】 システムの主要な構成要素を示したシステム全体の図である。
【図2】 光学トラッキングシステム内にあるカメラインターフェースカード、I/Oシ
ケンスモジュール、アレイプロセッサ盤における、システムとデータの流れとを
組み合わせた図である。
ケンスモジュール、アレイプロセッサ盤における、システムとデータの流れとを
組み合わせた図である。
【図3】 光学トラッキングシステム内にある軌跡相関盤における、システムとデータの
流れとを組み合わせた図である。
流れとを組み合わせた図である。
【図4】 光学トラッキングシステムのイメージプロセッサ内で生じる画像処理のデータ
の流れを示す図である。
の流れを示す図である。
【図5】 モデルテクスチャリング部と環境サーバコンピュータとからなるサブ構成要素
を有する仮想環境サーバにおける、システムとデータの流れとを組み合わせた図
である。
を有する仮想環境サーバにおける、システムとデータの流れとを組み合わせた図
である。
【図6】 仮想観覧ステーションにおけるシステムとデータの流れとを組み合わせた図で
ある。
ある。
【図7】 アーカイブコンピュータにおけるシステムとデータの流れとを組み合わせた図
である。
である。
【図8】 VVSインターフェースコンピュータとVVSコントロールセンターとからな
るサブ構成要素を有するコントロールセンターにおける、システムとデータの流
れとを組み合わせた図である。
るサブ構成要素を有するコントロールセンターにおける、システムとデータの流
れとを組み合わせた図である。
【手続補正書】
【提出日】平成13年4月2日(2001.4.2)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SZ,UG,ZW),EA(AM ,AZ,BY,KG,KZ,MD,RU,TJ,TM) ,AL,AM,AT,AU,AZ,BA,BB,BG, BR,BY,CA,CH,CN,CU,CZ,DE,D K,EE,ES,FI,GB,GE,GH,GM,HR ,HU,ID,IL,IS,JP,KE,KG,KP, KR,KZ,LC,LK,LR,LS,LT,LU,L V,MD,MG,MK,MN,MW,MX,NO,NZ ,PL,PT,RO,RU,SD,SE,SG,SI, SK,SL,TJ,TM,TR,TT,UA,UG,U Z,VN,YU,ZW (72)発明者 ウェルズ、 ロバート ヴィー. アメリカ合衆国 35803 アラバマ州 ハ ンツヴィル コディアック ドライブ 1000 Fターム(参考) 5B050 AA08 BA07 BA08 BA09 BA11 BA12 CA07 DA07 EA03 EA07 EA19 EA24 EA27 EA28 FA02 【要約の続き】 て他のビデオ出力と組み合わせることができるように、 ビデオデータをビデオプロダクションセンターに出力す る。このようなシステムにより、オペレータは、オプシ ョンのコントロールセンターから所望の仮想観覧を選択 することができるとともに、仮想観覧画像を遠く離れた 観衆に送ることができる。コントロールセンターやアー カイブコンピュータのようなオプションのサブシステム は、カメラ位置、テザー、フォーカス、ズームを変更し たり、スポーツ競技に関する処理されたデータを記憶す るために、また、要求に応じてデータを再生するため に、システム内に組み込まれても良い。
Claims (20)
- 【請求項1】 (a)カメラインターフェースと、I/Oシーケンス部と、
少なくとも1つのイメージプロセッサを有するアレイイメージプロセッサ部と、
軌跡相関部とを有し、ビデオデータを受信し3次元の位置データに変換する光学
トラッキング部と、 (b)モデルテクスチャー部と少なくとも1つの環境サーバコンピュータとか
らなり、前記光学トラッキング部から前記位置データを受信し、仮想スポーツ選
手データ及び仮想シーンデータを形成する仮想環境サーバと、 (c)前記仮想環境サーバからの前記仮想スポーツ選手データ及び前記仮想シ
ーンデータを仮想画像内に描写する少なくとも1つの仮想観覧ステーションと、 を備えていることを特徴とするスポーツ競技の仮想観覧形成装置。 - 【請求項2】 ボディー位置情報及びビジュアルモデルの記録及び再生をリ
アルタイムで行なうためのアーカイブコンピュータを更に備え、該アーカイブコ
ンピュータは、前記光学トラッキング部及び前記仮想環境サーバとの間でデータ
のやりとりを行なう手段を有していることを特徴とする請求項1に記載の仮想観
覧形成装置。 - 【請求項3】 コントローラインターフェースコンピュータ及びVVSコン
トロールセンターからなる前記装置の動作を制御するためのコントロールセンタ
ーを更に備え、該コントロールセンターは、前記仮想観覧ステーション及び前記
光学トラッキング部との間でデータのやりとりを行なう手段を有していることを
特徴とする請求項1に記載の仮想観覧形成装置。 - 【請求項4】 前記イメージプロセッサは、前記ビデオデータ内の選択され
たスポーツ選手の3次元位置を確認するための確認手段を有することを特徴とす
る請求項3に記載の仮想観覧形成装置。 - 【請求項5】 前記光学トラッキング部は、前記ビデオデータを供給するカ
メラの動作を制御するカメラコントローラを更に備えていることを特徴とする請
求項4に記載の仮想観覧形成装置。 - 【請求項6】 前記I/Oシーケンス部は、前記ビデオデータを適当なサイ
ズのアレイに分割するゲートビルダーと、前記サイズのアレイを前記アレイイメ
ージプロセッサ部に対して順序付けるI/Oシーケンサとを備えていることを特
徴とする請求項5に記載の仮想観覧形成装置。 - 【請求項7】 前記イメージプロセッサは、前記ビデオデータを分割する手
段と、予め選択された一連の特徴を前記ビデオデータから抽出する手段と、予め
選択された一組の特徴テンプレートにしたがって前記ビデオデータを分類する手
段とを更に備えていることを特徴とする請求項1に記載の仮想観覧形成装置。 - 【請求項8】 前記装置の全体にわたって共有メモリデータを記憶して分配
するDMAインターフェースを更に備えていることを特徴とする請求項1に記載
の仮想観覧形成装置。 - 【請求項9】 前記確認手段は、前記ビデオデータを分割する手段と、予め
選択された一連の特徴を前記ビデオデータから抽出する手段と、予め選択された
一組の特徴テンプレートにしたがって前記ビデオデータを分類する手段とを備え
ていることを特徴とする請求項4に記載の仮想観覧形成装置。 - 【請求項10】 (a)ビデオデータを受信し、3次元の位置データに変換
する手段と、 (b)光学トラッキング部から位置データを受信し、仮想スポーツ選手データ
及び仮想シーンデータを形成する手段と、 (c)仮想環境サーバからの前記仮想スポーツ選手データ及び前記仮想シーン
データを仮想画像に解釈する手段と、 を備えていることを特徴とするスポーツ競技の仮想観覧を形成するための仮想
観覧形成装置。 - 【請求項11】 前記ビデオデータを受信し変換する手段は、カメラインタ
ーフェースと、I/Oシーケンス部と、少なくとも1つのイメージプロセッサを
有するアレイイメージプロセッサ部と、軌跡相関部とを有していることを特徴と
する請求項10に記載の装置。 - 【請求項12】 前記位置データを受信し形成する手段は、3次元モデル及
びテクスチャーを形成するモデルテクスチャリング部と、ボディー位置情報及び
ビジュアルモデルを前記仮想観覧ステーションに提供する環境サーバコンピュー
タとを有していることを特徴とする請求項11に記載の仮想観覧形成装置。 - 【請求項13】 前記仮想スポーツ選手データ及び前記仮想シーンデータの
記録及び再生をリアルタイムで行なう手段を更に備えていることを特徴とする請
求項10に記載の仮想観覧形成装置。 - 【請求項14】 コントローラインターフェースコンピュータ及びVVSコ
ントロールセンターからなる前記装置の動作を制御するための手段を更に備え、
前記コントロールセンターは、前記表現する手段及び前記受信・変換する手段と
の間でデータのやりとりを行なう手段を更に有していることを特徴とする請求項
10に記載の仮想観覧形成装置。 - 【請求項15】 (a)スポーツ競技の周囲に配置された複数のカメラから
ビデオデータを受信するステップと、 (b)前記ビデオデータを、前記ビデオデータ内に現れる各スポーツ関係者の
3次元位置データに変換するステップと、 (c)前記関係者に関する前記位置データから3次元モデルを形成するステッ
プと、 (d)一貫性のあるコヒーレントなボディー位置情報を前記3次元モデルと組
み合わせて仮想シーンを表現するステップ とからなることを特徴とするスポーツ競技の仮想観覧形成方法。 - 【請求項16】 前記ビデオデータを3次元位置データに変換するステップ
は、 (a)前記ビデオデータを複数のゲートに分割するステップと、 (b)画像処理のため、前記複数のゲートを複数のアレイプロセッサに対して
順序付けるステップと、 (c)細分化、特徴抽出、オブジェクト分類を通じて、前記ビデオデータ内で
オブジェクトを確認するステップ とからなることを特徴とする請求項15に記載の仮想観覧形成方法。 - 【請求項17】 前記形成するステップは、 (a)前記ビデオデータ内に現れる前記各スポーツ関係者の前記各関係者に関
するボディー部分を有した3次元ワイヤーフレーム表示を形成するステップと、 (b)前記ワイヤーフレーム表示上に前記ボディー部分のそれぞれに関するモ
デルテクスチャーを形成するとともに、前記テクスチャーを前記ボディー部分の
それぞれにマッピングするステップ とからなることを特徴とする請求項16に記載の仮想観覧形成方法。 - 【請求項18】 前記表現するステップの前に、前記モデルテクスチャー及
び前記位置データから、一貫性のあるコヒーレントなボディー位置情報を形成す
るステップを更に有することを特徴とする請求項17に記載の仮想観覧形成方法
。 - 【請求項19】 スポーツ競技内の所望の位置からビデオデータを供給でき
るように、前記カメラの位置、テザー、フォーカス、ズームを制御するステップ
を更に有することを特徴とする請求項15に記載の仮想観覧形成方法。 - 【請求項20】 その後の再生のために、前記3次元位置データを記憶する
ステップを更に有することを特徴とする請求項16に記載の仮想観覧形成方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/094,524 | 1998-06-12 | ||
US09/094,524 US6124862A (en) | 1997-06-13 | 1998-06-12 | Method and apparatus for generating virtual views of sporting events |
PCT/US1998/027743 WO1999065223A2 (en) | 1998-06-12 | 1998-12-30 | Method and apparatus for generating virtual views of sporting events |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002518722A true JP2002518722A (ja) | 2002-06-25 |
Family
ID=22245696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000554124A Pending JP2002518722A (ja) | 1998-06-12 | 1998-12-30 | スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US6124862A (ja) |
EP (1) | EP1095501A2 (ja) |
JP (1) | JP2002518722A (ja) |
KR (1) | KR20010074508A (ja) |
CN (1) | CN1322437A (ja) |
AU (1) | AU1948999A (ja) |
BR (1) | BR9815902A (ja) |
CA (1) | CA2343743A1 (ja) |
MX (1) | MXPA00012307A (ja) |
WO (1) | WO1999065223A2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
JP2009519539A (ja) * | 2005-12-14 | 2009-05-14 | プレイデータ システムズ インコーポレイテッド | イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム |
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
JP2017212591A (ja) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP2017211828A (ja) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
WO2018190327A1 (ja) * | 2017-04-11 | 2018-10-18 | 株式会社バスキュール | 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム |
JP2020515091A (ja) * | 2016-12-13 | 2020-05-21 | キヤノン株式会社 | 仮想カメラを構成する方法、システム及び装置 |
Families Citing this family (177)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9719694D0 (en) | 1997-09-16 | 1997-11-19 | Canon Kk | Image processing apparatus |
EP0930585B1 (en) | 1998-01-14 | 2004-03-31 | Canon Kabushiki Kaisha | Image processing apparatus |
US7162532B2 (en) | 1998-02-23 | 2007-01-09 | Koehler Steven M | System and method for listening to teams in a race event |
JP3046578B2 (ja) * | 1998-06-11 | 2000-05-29 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
US6483511B1 (en) | 1998-12-31 | 2002-11-19 | Richard D. Snyder | Event simulator, and methods of constructing and utilizing same |
GB2349762B (en) * | 1999-03-05 | 2003-06-11 | Canon Kk | Image processing apparatus |
GB2349764B (en) * | 1999-03-05 | 2003-07-09 | Canon Kk | Image processing apparatus |
US7139767B1 (en) | 1999-03-05 | 2006-11-21 | Canon Kabushiki Kaisha | Image processing apparatus and database |
GB2349761B (en) * | 1999-03-05 | 2003-06-11 | Canon Kk | Image processing appatratus |
GB2349763B (en) * | 1999-03-05 | 2003-07-16 | Canon Kk | Apparatus for generating a database and a database so generated |
US6578203B1 (en) | 1999-03-08 | 2003-06-10 | Tazwell L. Anderson, Jr. | Audio/video signal distribution system for head mounted displays |
US20020057364A1 (en) | 1999-05-28 | 2002-05-16 | Anderson Tazwell L. | Electronic handheld audio/video receiver and listening/viewing device |
US7210160B2 (en) | 1999-05-28 | 2007-04-24 | Immersion Entertainment, L.L.C. | Audio/video programming and charging system and method |
JP2004500756A (ja) * | 1999-11-24 | 2004-01-08 | ダートフィッシュ エルティーディー. | ビデオシーケンスと時空正規化との調整および合成 |
ES2165294B1 (es) * | 1999-12-24 | 2003-05-16 | Univ Catalunya Politecnica | Sistema de visualizacion y transmision de imagenes electronicas a traves de la red informatica o sistemas de almacenamiento digital. |
US20030132939A1 (en) * | 2000-03-01 | 2003-07-17 | Levin Moshe | Interactive navigation through real-time live video space created in a given remote geographic location |
ATE318484T1 (de) * | 2000-03-24 | 2006-03-15 | Reality Commerce Corp | Verfahren und vorrichtung zur parallelen mehrfachblickwinkelbildaufnahme und -kompression |
US20030172131A1 (en) * | 2000-03-24 | 2003-09-11 | Yonghui Ao | Method and system for subject video streaming |
AU2001259171A1 (en) * | 2000-04-26 | 2001-11-07 | Anivision, Inc. | Systems and methods for integrating virtual advertisements into recreated events |
US7630721B2 (en) | 2000-06-27 | 2009-12-08 | Ortiz & Associates Consulting, Llc | Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices |
US7149549B1 (en) * | 2000-10-26 | 2006-12-12 | Ortiz Luis M | Providing multiple perspectives for a venue activity through an electronic hand held device |
US7796162B2 (en) * | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
US8583027B2 (en) | 2000-10-26 | 2013-11-12 | Front Row Technologies, Llc | Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user |
US7782363B2 (en) | 2000-06-27 | 2010-08-24 | Front Row Technologies, Llc | Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences |
US7812856B2 (en) | 2000-10-26 | 2010-10-12 | Front Row Technologies, Llc | Providing multiple perspectives of a venue activity to electronic wireless hand held devices |
KR20000064078A (ko) * | 2000-08-17 | 2000-11-06 | 오창근 | 다중 영상을 이용한 3차원 실물 모델링 기술 |
AU2002211116A1 (en) * | 2000-10-06 | 2002-04-15 | Virtual Spectator International Limited | Interactive display system |
US20060129933A1 (en) * | 2000-12-19 | 2006-06-15 | Sparkpoint Software, Inc. | System and method for multimedia authoring and playback |
KR100480007B1 (ko) * | 2000-12-29 | 2005-03-30 | 이항규 | 입체영상 제작 및 재생 시스템 및 방법 |
KR100393350B1 (ko) * | 2001-04-23 | 2003-08-02 | (주)가시오페아 | 가상경기 시스템 및 방법 |
US20020190991A1 (en) * | 2001-05-16 | 2002-12-19 | Daniel Efran | 3-D instant replay system and method |
CA2348353A1 (en) * | 2001-05-22 | 2002-11-22 | Marc Arseneau | Local broadcast system |
EP1410621A1 (en) * | 2001-06-28 | 2004-04-21 | Omnivee Inc. | Method and apparatus for control and processing of video images |
GB2382033A (en) * | 2001-07-16 | 2003-05-21 | Samantha Bhalla | A sports analysis system intended for use in a betting game |
US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
GB2379571A (en) * | 2001-09-11 | 2003-03-12 | Eitan Feldbau | Determining the Position of Players on a Sports Field |
US7283687B2 (en) | 2001-09-24 | 2007-10-16 | International Business Machines Corporation | Imaging for virtual cameras |
US7027073B2 (en) | 2001-09-24 | 2006-04-11 | International Business Machines Corporation | Virtual cameras for digital imaging |
US20030062675A1 (en) * | 2001-09-28 | 2003-04-03 | Canon Kabushiki Kaisha | Image experiencing system and information processing method |
JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
AU2002950805A0 (en) * | 2002-08-15 | 2002-09-12 | Momentum Technologies Group | Improvements relating to video transmission systems |
US7240075B1 (en) * | 2002-09-24 | 2007-07-03 | Exphand, Inc. | Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system |
JP2004129049A (ja) * | 2002-10-04 | 2004-04-22 | Matsushita Electric Ind Co Ltd | カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法 |
WO2004034617A1 (en) | 2002-10-07 | 2004-04-22 | Immersion Entertainment, Llc | System and method for providing event spectators with audio/video signals pertaining to remote events |
CA2409788A1 (en) * | 2002-10-25 | 2004-04-25 | Ibm Canada Limited-Ibm Canada Limitee | Architecture for dynamically monitoring computer application data |
US20040114176A1 (en) | 2002-12-17 | 2004-06-17 | International Business Machines Corporation | Editing and browsing images for virtual cameras |
US20040189828A1 (en) * | 2003-03-25 | 2004-09-30 | Dewees Bradley A. | Method and apparatus for enhancing a paintball video |
GB2403364A (en) * | 2003-06-24 | 2004-12-29 | Christopher Paul Casson | Virtual scene generating system |
US7593687B2 (en) | 2003-10-07 | 2009-09-22 | Immersion Entertainment, Llc | System and method for providing event spectators with audio/video signals pertaining to remote events |
US20050131657A1 (en) * | 2003-12-16 | 2005-06-16 | Sean Mei Hsaio L. | Systems and methods for 3D modeling and creation of a digital asset library |
US20050131658A1 (en) * | 2003-12-16 | 2005-06-16 | Mei Hsaio L.S. | Systems and methods for 3D assembly venue modeling |
US20050131659A1 (en) * | 2003-12-16 | 2005-06-16 | Mei Hsaio L.S. | Systems and methods for 3D modeling and asset management |
US7590290B2 (en) | 2004-07-21 | 2009-09-15 | Canon Kabushiki Kaisha | Fail safe image processing apparatus |
KR100739686B1 (ko) * | 2004-08-13 | 2007-07-13 | 경희대학교 산학협력단 | 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치 |
US7557775B2 (en) * | 2004-09-30 | 2009-07-07 | The Boeing Company | Method and apparatus for evoking perceptions of affordances in virtual environments |
EP1645944B1 (en) * | 2004-10-05 | 2012-08-15 | Sony France S.A. | A content-management interface |
JP4244040B2 (ja) * | 2005-03-10 | 2009-03-25 | 任天堂株式会社 | 入力処理プログラムおよび入力処理装置 |
ES2790885T3 (es) | 2005-03-29 | 2020-10-29 | Sportvu Ltd | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos |
US20060244831A1 (en) * | 2005-04-28 | 2006-11-02 | Kraft Clifford H | System and method for supplying and receiving a custom image |
JP2007005895A (ja) * | 2005-06-21 | 2007-01-11 | Olympus Imaging Corp | 撮影システム |
CN100355272C (zh) * | 2005-06-24 | 2007-12-12 | 清华大学 | 一种交互式多视点视频***中虚拟视点的合成方法 |
US8042140B2 (en) * | 2005-07-22 | 2011-10-18 | Kangaroo Media, Inc. | Buffering content on a handheld electronic device |
EP2463820A3 (en) | 2005-07-22 | 2012-09-12 | Kangaroo Media, Inc. | System and methods for enhancing the experience of spectators attending a live sporting event |
US7584038B2 (en) * | 2005-07-29 | 2009-09-01 | Caterpillar Inc. | Method and apparatus for determining virtual visibility |
US7907532B2 (en) | 2005-11-23 | 2011-03-15 | Jds Uniphase Corporation | Pool-based network diagnostic systems and methods |
EP2097874A4 (en) * | 2006-11-15 | 2011-05-04 | Depth Analysis Pty Ltd | SYSTEMS AND METHODS FOR MANAGING THE PRODUCTION OF ANIMATION BASED ON FREE-VIEWING VIDEO |
JP5101101B2 (ja) * | 2006-12-27 | 2012-12-19 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
EP2124444B1 (en) * | 2006-12-28 | 2013-04-03 | Sharp Kabushiki Kaisha | Transmission device, view environment control device, and view environment control system |
EP1944700A1 (en) * | 2007-01-10 | 2008-07-16 | Imagetech Co., Ltd. | Method and system for real time interactive video |
KR101439095B1 (ko) * | 2007-05-03 | 2014-09-12 | 강민수 | 멀티채널 방송 시스템 |
GB2452510A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
WO2009061283A2 (en) * | 2007-11-09 | 2009-05-14 | National University Of Singapore | Human motion analysis system and method |
US8466913B2 (en) * | 2007-11-16 | 2013-06-18 | Sportvision, Inc. | User interface for accessing virtual viewpoint animations |
US8049750B2 (en) * | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
US9782660B2 (en) | 2007-11-30 | 2017-10-10 | Nike, Inc. | Athletic training system and method |
CN100589125C (zh) * | 2007-12-29 | 2010-02-10 | 中国科学院计算技术研究所 | 一种虚拟摄像机规划布局方法和*** |
US9235816B2 (en) * | 2008-04-09 | 2016-01-12 | Geannie M. Bastian | System and method for facilitating performance venue seat selection |
JP5731734B2 (ja) * | 2008-06-12 | 2015-06-10 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
US8047924B2 (en) * | 2008-10-27 | 2011-11-01 | Roland Tirelli | Riding simulation system |
US8246479B2 (en) | 2008-10-27 | 2012-08-21 | Roland Tirelli | Mechanical device for simulating an animal ride |
CN101753852A (zh) * | 2008-12-15 | 2010-06-23 | 姚劲草 | 基于目标检测与跟踪的体育比赛动态微型地图 |
CN101465957B (zh) * | 2008-12-30 | 2011-01-26 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的*** |
DE102009007639B4 (de) * | 2009-02-05 | 2011-05-26 | Kurt Wallerstorfer | Vorrichtung zur Bildaufzeichnung eines Sportlers auf einer Rennstrecke |
WO2011066408A1 (en) * | 2009-11-24 | 2011-06-03 | F3M3 Companies, Inc. | System and method for reviewing a play |
US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US20120188333A1 (en) * | 2009-05-27 | 2012-07-26 | The Ohio State University | Spherical view point controller and method for navigating a network of sensors |
US20100311512A1 (en) * | 2009-06-04 | 2010-12-09 | Timothy James Lock | Simulator with enhanced depth perception |
CN101930284B (zh) | 2009-06-23 | 2014-04-09 | 腾讯科技(深圳)有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和*** |
US8254755B2 (en) * | 2009-08-27 | 2012-08-28 | Seiko Epson Corporation | Method and apparatus for displaying 3D multi-viewpoint camera video over a network |
DE202009014231U1 (de) * | 2009-10-21 | 2010-01-07 | Robotics Technology Leaders Gmbh | System zur Visualisierung einer Kameralage in einem virtuellen Aufnahmestudio |
CN102118567B (zh) * | 2009-12-30 | 2015-06-17 | 新奥特(北京)视频技术有限公司 | 一种分离模式的虚拟体育*** |
CN102118568B (zh) * | 2009-12-30 | 2015-02-18 | 新奥特(北京)视频技术有限公司 | 一种用于体育比赛的图形生成*** |
CN102118574B (zh) * | 2009-12-30 | 2015-02-18 | 新奥特(北京)视频技术有限公司 | 一种体育赛事直播的方法 |
CN102201080A (zh) * | 2010-03-24 | 2011-09-28 | 新奥特(北京)视频技术有限公司 | 一种支持多种体育项目的竞赛管理*** |
US8694553B2 (en) | 2010-06-07 | 2014-04-08 | Gary Stephen Shuster | Creation and use of virtual places |
US9132352B1 (en) * | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
US9384587B2 (en) * | 2010-11-29 | 2016-07-05 | Verizon Patent And Licensing Inc. | Virtual event viewing |
CN102096469B (zh) * | 2011-01-21 | 2012-04-18 | 中科芯集成电路股份有限公司 | 一种多功能手势互动*** |
EP2680931A4 (en) | 2011-03-04 | 2015-12-02 | Eski Inc | DEVICES AND METHOD FOR PROVIDING A DISTRIBUTED TREATMENT IN A SURROUNDINGS |
WO2013024364A2 (en) * | 2011-08-17 | 2013-02-21 | Iopener Media Gmbh | Systems and methods for virtual viewing of physical events |
US9298986B2 (en) | 2011-12-09 | 2016-03-29 | Gameonstream Inc. | Systems and methods for video processing |
US10937239B2 (en) * | 2012-02-23 | 2021-03-02 | Charles D. Huston | System and method for creating an environment and for sharing an event |
US9947112B2 (en) | 2012-12-18 | 2018-04-17 | Koninklijke Philips N.V. | Scanning device and method for positioning a scanning device |
GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
US20150189191A1 (en) * | 2013-12-27 | 2015-07-02 | Telemetrio LLC | Process and system for video production and tracking of objects |
US20170010334A1 (en) * | 2015-07-08 | 2017-01-12 | Lockheed Martin Corporation | General purpose removal of geomagnetic noise |
US9823313B2 (en) | 2016-01-21 | 2017-11-21 | Lockheed Martin Corporation | Diamond nitrogen vacancy sensor with circuitry on diamond |
US10168393B2 (en) | 2014-09-25 | 2019-01-01 | Lockheed Martin Corporation | Micro-vacancy center device |
US9541610B2 (en) | 2015-02-04 | 2017-01-10 | Lockheed Martin Corporation | Apparatus and method for recovery of three dimensional magnetic field from a magnetic detection system |
US10338162B2 (en) | 2016-01-21 | 2019-07-02 | Lockheed Martin Corporation | AC vector magnetic anomaly detection with diamond nitrogen vacancies |
US10088452B2 (en) | 2016-01-12 | 2018-10-02 | Lockheed Martin Corporation | Method for detecting defects in conductive materials based on differences in magnetic field characteristics measured along the conductive materials |
US9824597B2 (en) | 2015-01-28 | 2017-11-21 | Lockheed Martin Corporation | Magnetic navigation methods and systems utilizing power grid and communication network |
US9910104B2 (en) | 2015-01-23 | 2018-03-06 | Lockheed Martin Corporation | DNV magnetic field detector |
US9614589B1 (en) | 2015-12-01 | 2017-04-04 | Lockheed Martin Corporation | Communication via a magnio |
US9853837B2 (en) | 2014-04-07 | 2017-12-26 | Lockheed Martin Corporation | High bit-rate magnetic communication |
US9638821B2 (en) | 2014-03-20 | 2017-05-02 | Lockheed Martin Corporation | Mapping and monitoring of hydraulic fractures using vector magnetometers |
US10088336B2 (en) | 2016-01-21 | 2018-10-02 | Lockheed Martin Corporation | Diamond nitrogen vacancy sensed ferro-fluid hydrophone |
US9910105B2 (en) | 2014-03-20 | 2018-03-06 | Lockheed Martin Corporation | DNV magnetic field detector |
WO2015157290A1 (en) | 2014-04-07 | 2015-10-15 | Lockheed Martin Corporation | Energy efficient controlled magnetic field generator circuit |
JP2017531979A (ja) | 2014-10-10 | 2017-10-26 | ライブバーン インク | スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法 |
CN106662920B (zh) * | 2014-10-22 | 2020-11-06 | 华为技术有限公司 | 交互式视频生成 |
WO2016118756A1 (en) | 2015-01-23 | 2016-07-28 | Lockheed Martin Corporation | Apparatus and method for high sensitivity magnetometry measurement and signal processing in a magnetic detection system |
WO2016122965A1 (en) | 2015-01-28 | 2016-08-04 | Lockheed Martin Corporation | In-situ power charging |
WO2016126435A1 (en) | 2015-02-04 | 2016-08-11 | Lockheed Martin Corporation | Apparatus and method for estimating absolute axes' orientations for a magnetic detection system |
WO2017020115A1 (en) | 2015-08-05 | 2017-02-09 | Eski Inc. | Methods and apparatus for communicating with a receiving unit |
US9813857B2 (en) | 2015-08-13 | 2017-11-07 | Eski Inc. | Methods and apparatus for creating an individualized record of an event |
RU2018113153A (ru) * | 2015-09-24 | 2019-10-24 | ЛОКАТОР АйПи, ЛП | Гиперлокализованные метеорологические данные и данные окружающей среды |
US10419788B2 (en) * | 2015-09-30 | 2019-09-17 | Nathan Dhilan Arimilli | Creation of virtual cameras for viewing real-time events |
US10116976B2 (en) | 2015-10-15 | 2018-10-30 | At&T Intellectual Property I, L.P. | System and method for distributing media content associated with an event |
WO2017078766A1 (en) | 2015-11-04 | 2017-05-11 | Lockheed Martin Corporation | Magnetic band-pass filter |
WO2017087014A1 (en) | 2015-11-20 | 2017-05-26 | Lockheed Martin Corporation | Apparatus and method for hypersensitivity detection of magnetic field |
GB2560283A (en) | 2015-11-20 | 2018-09-05 | Lockheed Corp | Apparatus and method for closed loop processing for a magnetic detection system |
CN105407259B (zh) * | 2015-11-26 | 2019-07-30 | 北京理工大学 | 虚拟摄像方法 |
US9573062B1 (en) | 2015-12-06 | 2017-02-21 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
US9782678B2 (en) | 2015-12-06 | 2017-10-10 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
JP6674247B2 (ja) * | 2015-12-14 | 2020-04-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
WO2017127096A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Diamond nitrogen vacancy sensor with dual rf sources |
GB2562958A (en) | 2016-01-21 | 2018-11-28 | Lockheed Corp | Magnetometer with a light emitting diode |
GB2562193B (en) | 2016-01-21 | 2021-12-22 | Lockheed Corp | Diamond nitrogen vacancy sensor with common RF and magnetic fields generator |
WO2017127094A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Magnetometer with light pipe |
WO2017127090A1 (en) | 2016-01-21 | 2017-07-27 | Lockheed Martin Corporation | Higher magnetic sensitivity through fluorescence manipulation by phonon spectrum control |
US9788152B1 (en) | 2016-04-01 | 2017-10-10 | Eski Inc. | Proximity-based configuration of a device |
US10408890B2 (en) | 2017-03-24 | 2019-09-10 | Lockheed Martin Corporation | Pulsed RF methods for optimization of CW measurements |
US10317279B2 (en) | 2016-05-31 | 2019-06-11 | Lockheed Martin Corporation | Optical filtration system for diamond material with nitrogen vacancy centers |
US10228429B2 (en) | 2017-03-24 | 2019-03-12 | Lockheed Martin Corporation | Apparatus and method for resonance magneto-optical defect center material pulsed mode referencing |
US10527746B2 (en) | 2016-05-31 | 2020-01-07 | Lockheed Martin Corporation | Array of UAVS with magnetometers |
US10571530B2 (en) | 2016-05-31 | 2020-02-25 | Lockheed Martin Corporation | Buoy array of magnetometers |
US10677953B2 (en) | 2016-05-31 | 2020-06-09 | Lockheed Martin Corporation | Magneto-optical detecting apparatus and methods |
US10145910B2 (en) | 2017-03-24 | 2018-12-04 | Lockheed Martin Corporation | Photodetector circuit saturation mitigation for magneto-optical high intensity pulses |
US10345395B2 (en) | 2016-12-12 | 2019-07-09 | Lockheed Martin Corporation | Vector magnetometry localization of subsurface liquids |
US20170343621A1 (en) | 2016-05-31 | 2017-11-30 | Lockheed Martin Corporation | Magneto-optical defect center magnetometer |
US10274550B2 (en) | 2017-03-24 | 2019-04-30 | Lockheed Martin Corporation | High speed sequential cancellation for pulsed mode |
US10330744B2 (en) | 2017-03-24 | 2019-06-25 | Lockheed Martin Corporation | Magnetometer with a waveguide |
US10338163B2 (en) | 2016-07-11 | 2019-07-02 | Lockheed Martin Corporation | Multi-frequency excitation schemes for high sensitivity magnetometry measurement with drift error compensation |
US10371765B2 (en) | 2016-07-11 | 2019-08-06 | Lockheed Martin Corporation | Geolocation of magnetic sources using vector magnetometer sensors |
US10281550B2 (en) | 2016-11-14 | 2019-05-07 | Lockheed Martin Corporation | Spin relaxometry based molecular sequencing |
US10345396B2 (en) | 2016-05-31 | 2019-07-09 | Lockheed Martin Corporation | Selected volume continuous illumination magnetometer |
US10359479B2 (en) | 2017-02-20 | 2019-07-23 | Lockheed Martin Corporation | Efficient thermal drift compensation in DNV vector magnetometry |
CN105872387A (zh) * | 2016-06-06 | 2016-08-17 | 杭州同步科技有限公司 | 一种虚拟摄像机与真实摄像机切换的***和方法 |
FR3052949B1 (fr) * | 2016-06-17 | 2019-11-08 | Alexandre Courtes | Procede et systeme de prise de vues a l'aide d'un capteur virtuel |
US10762446B2 (en) | 2016-08-02 | 2020-09-01 | Ebay Inc. | Access control for a digital event |
JP6917820B2 (ja) * | 2016-08-05 | 2021-08-11 | 株式会社半導体エネルギー研究所 | データ処理システム |
JP6938123B2 (ja) * | 2016-09-01 | 2021-09-22 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
WO2018045446A1 (en) | 2016-09-07 | 2018-03-15 | Eski Inc. | Projection systems for distributed manifestation and related methods |
JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
US9972122B1 (en) | 2016-12-20 | 2018-05-15 | Canon Kabushiki Kaisha | Method and system for rendering an object in a virtual view |
US10371760B2 (en) | 2017-03-24 | 2019-08-06 | Lockheed Martin Corporation | Standing-wave radio frequency exciter |
US10338164B2 (en) | 2017-03-24 | 2019-07-02 | Lockheed Martin Corporation | Vacancy center material with highly efficient RF excitation |
US10379174B2 (en) | 2017-03-24 | 2019-08-13 | Lockheed Martin Corporation | Bias magnet array for magnetometer |
US10459041B2 (en) | 2017-03-24 | 2019-10-29 | Lockheed Martin Corporation | Magnetic detection system with highly integrated diamond nitrogen vacancy sensor |
CN110892455A (zh) * | 2017-07-14 | 2020-03-17 | 索尼公司 | 图像处理装置、用于图像处理装置的图像处理方法和程序 |
CN112153472A (zh) * | 2020-09-27 | 2020-12-29 | 广州博冠信息科技有限公司 | 一种画面特效的生成方法及装置、存储介质及电子设备 |
US11573795B1 (en) * | 2021-08-02 | 2023-02-07 | Nvidia Corporation | Using a vector processor to configure a direct memory access system for feature tracking operations in a system on a chip |
US11606221B1 (en) | 2021-12-13 | 2023-03-14 | International Business Machines Corporation | Event experience representation using tensile spheres |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3217098A (en) * | 1962-08-29 | 1965-11-09 | Robert A Oswald | Method of policing horse races |
US4754342A (en) * | 1986-04-11 | 1988-06-28 | Cmx Corporation | Video editing system having virtual memory |
US5742760A (en) * | 1992-05-12 | 1998-04-21 | Compaq Computer Corporation | Network packet switch using shared memory for repeating and bridging packets at media rate |
US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
US5513854A (en) * | 1993-04-19 | 1996-05-07 | Daver; Gil J. G. | System used for real time acquistion of data pertaining to persons in motion |
US5499146A (en) * | 1994-05-24 | 1996-03-12 | Texas Instruments Incorporated | Method and apparatus for recording images for a virtual reality system |
US5734805A (en) * | 1994-06-17 | 1998-03-31 | International Business Machines Corporation | Apparatus and method for controlling navigation in 3-D space |
US5598208A (en) * | 1994-09-26 | 1997-01-28 | Sony Corporation | Video viewing and recording system |
US5600368A (en) * | 1994-11-09 | 1997-02-04 | Microsoft Corporation | Interactive television system and method for viewer control of multiple camera viewpoints in broadcast programming |
US5564698A (en) * | 1995-06-30 | 1996-10-15 | Fox Sports Productions, Inc. | Electromagnetic transmitting hockey puck |
-
1998
- 1998-06-12 US US09/094,524 patent/US6124862A/en not_active Expired - Fee Related
- 1998-12-30 AU AU19489/99A patent/AU1948999A/en not_active Abandoned
- 1998-12-30 JP JP2000554124A patent/JP2002518722A/ja active Pending
- 1998-12-30 BR BR9815902-0A patent/BR9815902A/pt not_active Application Discontinuation
- 1998-12-30 EP EP98964326A patent/EP1095501A2/en not_active Withdrawn
- 1998-12-30 CN CN98814111A patent/CN1322437A/zh active Pending
- 1998-12-30 CA CA002343743A patent/CA2343743A1/en not_active Abandoned
- 1998-12-30 KR KR1020007014117A patent/KR20010074508A/ko active IP Right Grant
- 1998-12-30 MX MXPA00012307A patent/MXPA00012307A/es unknown
- 1998-12-30 WO PCT/US1998/027743 patent/WO1999065223A2/en active IP Right Grant
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009519539A (ja) * | 2005-12-14 | 2009-05-14 | プレイデータ システムズ インコーポレイテッド | イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム |
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
US9406131B2 (en) | 2006-06-02 | 2016-08-02 | Liberovision Ag | Method and system for generating a 3D representation of a dynamically changing 3D scene |
US8284238B2 (en) | 2007-09-05 | 2012-10-09 | Sony Corporation | Image processing apparatus and method |
JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
JP2017212591A (ja) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP2017211828A (ja) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
US10848748B2 (en) | 2016-05-25 | 2020-11-24 | Canon Kabushiki Kaisha | Method for generating virtual viewpoint image and image processing apparatus |
JP2020515091A (ja) * | 2016-12-13 | 2020-05-21 | キヤノン株式会社 | 仮想カメラを構成する方法、システム及び装置 |
JPWO2018190327A1 (ja) * | 2017-04-11 | 2019-12-19 | 株式会社バスキュール | 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム |
JP2020119584A (ja) * | 2017-04-11 | 2020-08-06 | 株式会社バスキュール | 仮想現実提供システム |
WO2018190327A1 (ja) * | 2017-04-11 | 2018-10-18 | 株式会社バスキュール | 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム |
US11093025B2 (en) | 2017-04-11 | 2021-08-17 | Bascule Inc. | Virtual-reality provision system, three-dimensional-display-data provision device, virtual-space provision system, and program |
JP7098119B2 (ja) | 2017-04-11 | 2022-07-11 | 株式会社バスキュール | 仮想現実提供システム |
JP2022132286A (ja) * | 2017-04-11 | 2022-09-08 | 株式会社バスキュール | 仮想現実提供システム |
JP7421736B2 (ja) | 2017-04-11 | 2024-01-25 | 株式会社バスキュール | 仮想現実提供システム |
Also Published As
Publication number | Publication date |
---|---|
EP1095501A2 (en) | 2001-05-02 |
CA2343743A1 (en) | 1999-12-16 |
AU1948999A (en) | 1999-12-30 |
BR9815902A (pt) | 2001-02-20 |
KR20010074508A (ko) | 2001-08-04 |
US6124862A (en) | 2000-09-26 |
MXPA00012307A (es) | 2005-07-15 |
CN1322437A (zh) | 2001-11-14 |
WO1999065223A3 (en) | 2000-04-06 |
WO1999065223A2 (en) | 1999-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002518722A (ja) | スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置 | |
US20210233304A1 (en) | Systems and associated methods for creating a viewing experience | |
US20230008567A1 (en) | Real-time system for generating 4d spatio-temporal model of a real world environment | |
CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
US9087380B2 (en) | Method and system for creating event data and making same available to be served | |
KR102475994B1 (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
EP3836081A1 (en) | Data processing method and apparatus | |
JP7387286B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
JP2009519539A (ja) | イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム | |
WO2001082195A1 (en) | Systems and methods for integrating virtual advertisements into recreated events | |
US20200014901A1 (en) | Information processing apparatus, control method therefor and computer-readable medium | |
JP6817770B2 (ja) | 画像処理装置、画像処理方法 | |
US20230291883A1 (en) | Image processing system, image processing method, and storage medium | |
JP7459199B1 (ja) | 画像処理システム | |
EP4342554A1 (en) | Image processing system, image processing method, and computer program | |
JP2023156940A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022171436A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2023169697A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN118118643A (zh) | 一种视频数据处理方法及相关装置 | |
KR20080097403A (ko) | 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게하는 방법 및 시스템 | |
JP2022051532A (ja) | 仮想環境を介してオブジェクトのパスを生成するための方法、装置、およびコンピュータプログラム製品 | |
JP2021179687A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2023111640A (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
Grimson et al. | Immersive Sporting Events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040309 |