JP2009519539A - Method and system for creating event data and making it serviceable - Google Patents
Method and system for creating event data and making it serviceable Download PDFInfo
- Publication number
- JP2009519539A JP2009519539A JP2008545551A JP2008545551A JP2009519539A JP 2009519539 A JP2009519539 A JP 2009519539A JP 2008545551 A JP2008545551 A JP 2008545551A JP 2008545551 A JP2008545551 A JP 2008545551A JP 2009519539 A JP2009519539 A JP 2009519539A
- Authority
- JP
- Japan
- Prior art keywords
- event
- data
- event data
- participant
- animated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、そのイベントデータをサービス提供可能な状態にするための方法及びシステムが提供される。本システムは、通信ネットワークを含む。通信ネットワークには複数のカメラ・ユニットが連結される。カメラ・ユニットは、イベント会場において、イベント会場の周りに離間して配置された複数の検出器面において、イベントにおける対象物から伝搬する波動から複数の画像を生成するように構成及び設置される。カメラ・ユニットは、検出器面における画像中のエネルギーを測定し、少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせる複数の検出器と、複数の検出器からの複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理し、画像データを得るための複数の信号プロセッサと、を含む。 Methods and systems are provided for creating event data that includes 3D data representing at least one event participant and making the event data serviceable. The system includes a communication network. A plurality of camera units are connected to the communication network. The camera unit is configured and installed to generate a plurality of images from the waves propagating from the object in the event at a plurality of detector surfaces spaced apart around the event venue at the event venue. The camera unit measures the energy in the image at the detector plane and produces a plurality of detectors that produce signals obtained from different directions for at least one participant, and a plurality of detectors from the plurality of detectors. A plurality of signal processors for processing the signal using at least one control algorithm to obtain image data.
Description
本発明は、イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステムに関する。 The present invention relates to a method and system for creating event data and making it serviceable.
スポーツ情報及び放送は、現在のところ、広くインターネットを経由して提供される。ウェブを介した映像の効果的なストリーミングを可能にするために多くの努力がなされている。十分な帯域幅があれば、これは効果的に行うことが可能であるが、多くのユーザは非常な性能不足による悪影響を受けている。ウェブを介した映像は、圧縮されていてもなお、情報の過多による悪影響を受ける。映像作品を制作するコストは、結果がウェブを経由して放映されることによって削減される。テキストのストリーミングは非常に成功しているものの、見ていて非常に面白いものではなく、また、起こっていることを言葉に移し変えるアナウンサーを必要とする。現在、リアルタイムに近い試合を要約した統計データを提供するウェブサイトが存在する。しかしながら、これらは試合の詳細分析の再構成を可能にするのに十分な情報に欠けている。 Sports information and broadcasts are currently widely provided via the Internet. Many efforts have been made to enable effective streaming of video over the web. If there is sufficient bandwidth, this can be done effectively, but many users are adversely affected by very poor performance. Even though the video via the web is compressed, it is still adversely affected by an excess of information. The cost of producing a video work is reduced by the results being broadcast via the web. Although text streaming is very successful, it is not very interesting to watch, and it requires an announcer that translates what is happening into words. Currently, there are websites that provide statistical data summarizing near real-time matches. However, they lack sufficient information to allow reconstitution of the detailed analysis of the game.
音響ストリーミングは非常に成功している。良好な性能に見合うデータ速度は適度なものである。テレビ放映のない多くのスポーツ・イベント（例えばほとんどの大学におけるもの）は、ラジオアナウンサーを有する。 Acoustic streaming has been very successful. A data rate commensurate with good performance is reasonable. Many sporting events without television broadcasts (eg at most universities) have radio announcers.
公開された米国特許出願第２００２／００５１２１６号及び第２００３／０１９３５７１号は、どちらもスマートカメラを開示する。後者の出願に説明されるように、多くの用途において、対象物を調査するか又は位置付けするには、マシンビジョン即ち画像処理分析が用いられる。例えば、製造用途において、マシンビジョン分析は、対象物の画像を取得し、種々のタイプの画像処理アルゴリズムを用いてその画像を分析することにより、製造された対象物の欠陥を検出するのに用いることができる。一例として、キャパシタなどの電子部品を製造するシステムは、キャパシタのそれぞれの側面を検査して製造上の欠陥を検出し、キャパシタが適切にラベル付けされ、マーク付けされ、又はカラーコード付けされていることを保証するために、マシンビジョンを用いることができる。 Published US patent applications 2002/0051216 and 2003/0193571 both disclose smart cameras. As described in the latter application, in many applications, machine vision or image processing analysis is used to investigate or locate objects. For example, in manufacturing applications, machine vision analysis is used to detect defects in manufactured objects by acquiring images of the objects and analyzing the images using various types of image processing algorithms. be able to. As an example, a system that manufactures electronic components such as capacitors inspects each side of the capacitor to detect manufacturing defects, and the capacitors are properly labeled, marked, or color coded. Machine vision can be used to ensure that.
マシンビジョン用途は、取得した対象物画像の検査において、種々のタイプの画像分析機能又は画像処理機能又はアルゴリズムのいずれかを実施するように動作可能な画像処理ソフトウェアを用いることができる。例えば取得した画像のパターン情報をテンプレート画像のパターン情報と比較するために、例えばパターン・マッチング・アルゴリズムがしばしば用いられる。さらに、例えば、取得した画像のカラー情報をテンプレート画像のカラー情報と比較するために、カラー・マッチング・アルゴリズムを用いることもできる。画像の検査には、Ｂｌｏｂ（バイナリ・ラージ・オブジェクト）分析ツールを用いることもできる。種々の用途において、パターン、カラー、及び／又はＢｌｏｂ分析情報を用いて、対象物が全ての必要な部品を正しい位置に含んでいること、対象物が適切な語、ラベル、又はマーク付けを有すること、対象物表面が傷又は他の形で損なわれていないこと、などを検証することができる。 Machine vision applications can use image processing software that is operable to perform any of various types of image analysis functions or image processing functions or algorithms in the inspection of acquired object images. For example, a pattern matching algorithm is often used to compare the pattern information of the acquired image with the pattern information of the template image. Further, for example, a color matching algorithm can be used to compare the color information of the acquired image with the color information of the template image. Blob (binary large object) analysis tools can also be used for image inspection. In various applications, using pattern, color, and / or blob analysis information, the object contains all the necessary parts in the correct position, the object has the appropriate word, label, or markup It can be verified that the surface of the object is not damaged or otherwise damaged.
デジタルカメラ、ラインスキャンカメラなどを含むいずれかのタイプのカメラ又は他の装置を用いて、マシンビジョン用途において分析される画像を取得することができる。ここで用いられる「カメラ」という用語は、赤外線イメージング装置、Ｘ線イメージング装置、超音波イメージング装置、及び、画像又はセンサ・データを受け取り、生成し、処理し、又は取得するように動作するいずれかの他のタイプの装置を含む、全てのそうした装置を包含することが意図される。 Any type of camera or other device, including digital cameras, line scan cameras, etc., can be used to acquire images that are analyzed in machine vision applications. The term “camera” as used herein is an infrared imaging device, an x-ray imaging device, an ultrasound imaging device, and any that operates to receive, generate, process, or acquire image or sensor data. It is intended to encompass all such devices, including other types of devices.
典型的には、画像処理及び画像データ分析は、カメラに連結することができるコンピューティング・システムによって実施される。例えば、パーソナル・コンピュータ（ＰＣ）は、カメラから画像データを受け取り、１つ又はそれ以上のソフトウェア・プログラムを実行して、画像データを処理し、分析することができる。別の例として、データ取得（ＤＡＱ）コンピュータ・ボード（例えば、コンピュータに取り付けられたもの）は、カメラから画像データを受け取り、そのデータに、特にパターン認識、信号調整及び変換、及びフィルタリングを含む種々の信号処理操作を実施することができる。 Typically, image processing and image data analysis are performed by a computing system that can be coupled to a camera. For example, a personal computer (PC) can receive image data from a camera and execute one or more software programs to process and analyze the image data. As another example, a data acquisition (DAQ) computer board (e.g., attached to a computer) receives image data from a camera and includes various data including pattern recognition, signal conditioning and conversion, and filtering, among others. Signal processing operations can be performed.
しかしながら、ますます、このような画像処理能力はカメラ又はセンサにより、装置に「搭載」されたハードウェア及び／又はソフトウェアによって実施されるようになっている。「スマートカメラ」という用語は、カメラ又は他の画像センサと、取得された画像を分析する又は処理するための画像処理機能を実行するように構成されることができる機能的ユニット（即ち、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）のようなプロセッサ／メモリ及び／又はプログラム可能なハードウェア）と、を含む種々のタイプの装置のいずれかを含むことが意図される。スマートカメラの例は、画像が撮影されたときのカメラの正確な位置及び姿勢を示す地理重ね合わせメタデータを用いて自動的にタグ付けされたデジタル画像データを生成するＮＡＶＳＹＳ Ｃｏｒｐｏｒａｔｉｏｎ社製のＧＩ−ＥＹＥと、高速度画像処理信号プロセッサに高解像度電荷連結素子（ＣＣＤ）センサを組み込み、外界との通信を可能にする種々のインターフェースを提供するＶｉｓｉｏｎ Ｃｏｍｐｏｎｅｎｔｓ ＧｍｂＨ社製のＳｍａｒｔ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃａｍｅｒａと、特にフレーム・グラバとロボット・ガイダンス・システムとを含むＤＳＰ能力を搭載したＶｉｓｕａｌ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ社製のＳＭＡＲＴカメラと、を含む。 Increasingly, however, such image processing capabilities are implemented by cameras or sensors and by hardware and / or software “onboard” the device. The term “smart camera” is a functional unit that can be configured to perform image processing functions for analyzing or processing captured images with a camera or other image sensor (ie, field And any of various types of devices including a processor / memory and / or programmable hardware such as a programmable gate array (FPGA). An example of a smart camera is GI-manufactured by NAVSYS Corporation, which generates digital image data that is automatically tagged with geographic overlay metadata that indicates the exact position and orientation of the camera when the image was taken. EYE, a Smart Machine Vision Camera from Vision Components GmbH that incorporates a high-resolution charge-coupled device (CCD) sensor into a high-speed image processing signal processor and provides various interfaces that enable communication with the outside world, especially frames And a SMART camera manufactured by Visual Inspection Systems with DSP capabilities including a grabber and a robot guidance system.
本発明の目的は、少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステムを提供することである。 An object of the present invention is to provide a method and system for creating event data including 3D data representing at least one event participant and making it serviceable.
本発明の上記の目的及び他の目的を遂行するに当り、少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、そのイベントデータをサービス提供可能な状態にするためのシステムが提供される。本システムは、通信ネットワークと、通信ネットワークに連結された複数のカメラ・ユニットと、を含む。カメラ・ユニットは、イベント会場において、イベント会場の周りに離間して配置された複数の平行ではない検出器面において、少なくとも１人の参加者を含む、イベントにおける対象物から伝搬する波動から複数の画像を生成するように構成及び設置される。カメラ・ユニットは、検出器面における画像中のエネルギーを測定し、少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせる複数の検出器と、複数の検出器からの複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理し、画像データを得るための複数の信号プロセッサと、を含む。カメラ・ユニットは、イベント会場に関して３Ｄに較正される。通信ネットワークには、画像データを処理して３Ｄデータを含むイベントデータを得るためのプロセッサ・サブシステムが連結される。データ・エンジンを含むサーバは、通信ネットワークを通じてプロセッサ・サブシステムと通信状態にある。サーバは、プロセッサ・サブシステムから３Ｄデータを含むイベントデータを受信し、このイベントデータをサービス提供可能な状態にするように構成される。 In carrying out the above object and other objects of the present invention, a system for creating event data including 3D data representing at least one event participant and making the event data ready for service provision is provided. Provided. The system includes a communication network and a plurality of camera units coupled to the communication network. The camera unit includes a plurality of waves from a wave propagating from an object in the event, including at least one participant, at a plurality of non-parallel detector planes spaced around the event venue. Configured and installed to generate an image. The camera unit measures the energy in the image at the detector plane and produces a plurality of detectors that produce signals obtained from different directions for at least one participant, and a plurality of detectors from the plurality of detectors. A plurality of signal processors for processing the signal using at least one control algorithm to obtain image data. The camera unit is calibrated to 3D with respect to the event venue. Coupled to the communication network is a processor subsystem for processing image data to obtain event data including 3D data. A server that includes a data engine is in communication with the processor subsystem through a communication network. The server is configured to receive event data including 3D data from the processor subsystem and place the event data in a serviceable state.
波動は、対象物から反射された光信号とすることができ、検出器の少なくとも１つは光検出器のアレイを含むことができる。 The wave can be an optical signal reflected from the object, and at least one of the detectors can include an array of photodetectors.
光検出器のアレイの各々はビデオカメラを含むことができる。 Each of the arrays of photodetectors can include a video camera.
３Ｄデータは少なくとも１人の参加者の３Ｄの位置、ポーズ、及び外観を表すことができる。 The 3D data can represent the 3D position, pose, and appearance of at least one participant.
３Ｄデータは複数のイベント参加者と、参加者の３Ｄ位置、ポーズ、及び外観と、を表すことができる。 The 3D data can represent a plurality of event participants and the 3D position, pose, and appearance of the participants.
イベントデータは、イベントのスナップショット及びビデオクリップと、個々の及びグループの統計的データと、イベントが審判付きのイベントである際には審判上のヘルプ・データと、を含むことができる。 Event data may include event snapshots and video clips, individual and group statistical data, and referee help data when the event is a referee event.
ネットワークはイーサネット（登録商標）・ネットワークであってもよく、又は無線ネットワークであってもよい。 The network may be an Ethernet network or a wireless network.
本システムは、さらに、イベントデータを受信し、イベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化されたイベント参加者を含むアニメ化されたシナリオを作成するように構成された、アニメーション・エンジンを含むクライアントを含むことができる。 The system is further configured to receive the event data and create an animated scenario that includes at least one animated event participant traveling along a virtual path based on the event data. Clients including animation engines can be included.
シナリオはプレーであってもよく、少なくとも１人の参加者は、プレーにおける少なくとも１人の仮想選手を含むことができる。 The scenario may be play, and at least one participant may include at least one virtual player in play.
少なくとも１人の仮想選手は、少なくとも１人の仮想スポーツ選手を含むことができる。 The at least one virtual player can include at least one virtual athlete.
クライアントはイベントデータを編集して編集済イベントデータを得るためのエディタを含むことができ、アニメ化されたシナリオは編集済イベントデータに基づくことかできる。 The client can include an editor for editing the event data to obtain edited event data, and the animated scenario can be based on the edited event data.
クライアントはイベントデータに基づく仮想環境を作成するための手段を含むことができ、アニメ化されたシナリオは仮想環境においてシミュレートされてもよい。 The client can include means for creating a virtual environment based on the event data, and the animated scenario may be simulated in the virtual environment.
クライアントは仮想環境においてアニメ化されたシナリオを制御するための手段を含むことができる。 The client can include means for controlling animated scenarios in the virtual environment.
制御するための手段は、アニメ化されたシナリオを見る現実の人間の視点を制御することができる。 The means for controlling can control the viewpoint of a real human looking at the animated scenario.
サーバは、さらにウェブサーバを含むことができる。 The server can further include a web server.
本システムは、さらに、それを通じてウェブサーバにクライアントを連結し、選択された少なくとも１つのイベント中の対象物に関するイベントデータを得るように構成されたウェブブラウザ・インターフェースを含むクライアントを含むことができる。 The system can further include a client including a web browser interface configured to couple the client to a web server therethrough and obtain event data regarding the object in the selected at least one event.
クライアントは、サービス提供されたイベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化された仮想参加者を含むアニメ化されたシナリオを作成するためのアニメーション・エンジンを含むことができる。 The client can include an animation engine for creating an animated scenario that includes at least one animated virtual participant moving along a virtual path based on served event data.
本システムは、さらに、通信ネットワークに連結された音響サブシステムを含むことができる。音響サブシステムは、イベント会場において、イベント会場の異なる位置からの複数の音を取得し処理して音データを得るように構成し、設置することができる。プロセッサ・サブシステムは音データを処理して３Ｄ音データを得る。イベントデータは３Ｄ音データを含む。 The system can further include an acoustic subsystem coupled to the communication network. The acoustic subsystem can be configured and installed in an event venue to obtain sound data by obtaining and processing multiple sounds from different locations in the event venue. The processor subsystem processes the sound data to obtain 3D sound data. The event data includes 3D sound data.
イベントは、スポーツ・イベントのようなアクション指向イベントであってもよい。 The event may be an action-oriented event such as a sports event.
イベントは監視イベントであってもよい。 The event may be a monitoring event.
較正されたカメラ・ユニットは、単一のカメラ・ユニットによって捉えられる３Ｄ位置を表す３Ｄ方向の線分を生じさせることができる。 A calibrated camera unit can produce a 3D directional line that represents the 3D position captured by a single camera unit.
さらに、本発明の上記の目的及び他の目的を実行するに当り、少なくとも１人のイベント参加者を表す３Ｄデータを含むイベントデータを作成し、このイベントデータをサービス提供可能な状態にするための方法が提供される。本方法は、イベント会場の周りに離間して配置された複数の平行ではない検出器面において、少なくとも１人の参加者を含むイベント中の対象物から伝播する波動から複数の画像を生成するステップを含む。本方法は、さらに、検出器面における画像中のエネルギーを測定し、少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせるステップを含む。本方法は、さらに、複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理し、画像データを得るステップと、画像データを処理して、３Ｄデータを含んだイベントデータを得るステップと、３Ｄデータを含んだイベントデータをサービス提供可能な状態にするステップと、を含む。 Further, in carrying out the above object and other objects of the present invention, event data including 3D data representing at least one event participant is created, and the event data is put into a serviceable state. A method is provided. The method generates a plurality of images from waves propagating from an object in an event including at least one participant at a plurality of non-parallel detector surfaces spaced apart around the event venue. including. The method further includes measuring energy in the image at the detector plane to produce a plurality of signals obtained from different directions for at least one participant. The method further includes processing a plurality of signals using at least one control algorithm to obtain image data, processing the image data to obtain event data including 3D data, and 3D data. And making the event data including the state in which the service can be provided.
本方法は、さらに、イベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化されたイベント参加者を含むアニメ化されたシナリオを作成するステップを含むことができる。 The method can further include creating an animated scenario that includes at least one animated event participant moving along a virtual path based on the event data.
本方法は、さらに、イベントデータを編集して編集済イベントデータを得るステップを含ことができ、アニメ化されたシナリオは編集済イベントデータに基づいてもよい。 The method may further include editing the event data to obtain edited event data, and the animated scenario may be based on the edited event data.
本方法は、さらに、イベントデータに基づく仮想環境を作成するステップを含むことができ、アニメ化されたシナリオは仮想環境においてシミュレートされてもよい。 The method may further include creating a virtual environment based on the event data, and the animated scenario may be simulated in the virtual environment.
本方法は、さらに、仮想環境においてアニメ化されたシナリオを制御するステップを含むことができる。 The method can further include controlling an animated scenario in the virtual environment.
制御するステップは、アニメ化されたシナリオを見る現実の人間の視点を制御することができる。 The controlling step can control the viewpoint of a real human looking at the animated scenario.
サービス提供可能な状態にするステップは、イベントデータをインターネット上でサービス提供可能な状態にすることができる。 The step of enabling service provision may make the event data ready for service on the Internet.
本方法は、さらに、イベントデータをインターネット上でサービス提供するステップを含むことができる。 The method can further include providing event data over the Internet.
本方法は、さらに、サービス提供されたイベントデータに基づく仮想経路に沿って移動する少なくとも１人のアニメ化された仮想参加者を含むアニメ化されたシナリオを作成するステップを含むことができる。 The method can further include creating an animated scenario that includes at least one animated virtual participant traveling along a virtual path based on the served event data.
本方法は、さらに、イベント会場の異なる位置からの複数の音を取得し処理して音データを得るステップと、音データを処理して３Ｄ音データを得るステップと、を含むことができる。イベントデータは３Ｄ音データを含むことができる。 The method can further include obtaining and processing multiple sounds from different locations at the event venue to obtain sound data and processing the sound data to obtain 3D sound data. The event data can include 3D sound data.
本方法は、さらに、不完全な又は消失した情報を埋めるように３Ｄデータを処理するステップを含むことができる。 The method can further include processing the 3D data to fill incomplete or missing information.
本方法は、さらに、少なくとも１人の参加者の位置及び速度を表す３Ｄデータを、イベントの３Ｄモデルと共に用いて、不完全な又は消失したイベントデータを補償するステップを含むことができる。 The method may further include using 3D data representing the position and velocity of at least one participant with a 3D model of the event to compensate for incomplete or missing event data.
本方法及びシステムの１つの実施形態は、スポーツ又は他のアクション指向イベントのインターネット上の自動放送を可能にする。本システムは、カメラを用いて連続的に追跡すること、及び、認識技術を用いて全てのイベント参加者の位置を判定し、ユーザがインターネット上でアクションを見られるようにするアニメーションの作成に必要な情報の導出を与えることにより、イベントの包括的な記録を作成する。本システムは、視認者に視認する視野及び時間を選ばせることにより、視認者がイベントに参加できるようにする。視認者は、アメリカンフットボールの試合をミドルラインバッカーの観点から見ることができ、又は、サッカーの試合をゴールキーパーの観点から見ることができる。ビデオゲームによってこの情報が用いられ、現実を現行のゲームに取り込むようにすることも可能である。 One embodiment of the present method and system enables automatic broadcasting of sports or other action-oriented events over the Internet. This system is necessary for continuous tracking using a camera and creation of animations that use recognition technology to determine the location of all event participants and allow users to see actions on the Internet. Create a comprehensive record of events by giving you the derivation of information. The system allows the viewer to participate in the event by allowing the viewer to select the field of view and time to view. The viewer can see an American football game from the middleline backer's perspective or a soccer game from the goalkeeper's perspective. This information can be used by video games to bring reality into the current game.
本発明の上記の目的及び他の目的、特徴、及び利点は、添付の図面と共に、本発明を実施するための最良の形態についての以下の詳細な説明から直ちに明白となるであろう。 The above objects and other objects, features and advantages of the present invention will become readily apparent from the following detailed description of the best mode for carrying out the invention when taken in conjunction with the accompanying drawings.
本発明のシステムの１つの実施形態は、アクション指向の娯楽コンテンツをウェブ上で放送する。取得システムは、参加者の位置及びポーズ、及びシーン視認の形態でイベント情報を取得する。データ・エンジンは、インターネット上で放送するために、それを格納する。ユーザ・システムは、ユーザがイベントをどの位置からでも選択し、取得し、視認できるようにする。 One embodiment of the system of the present invention broadcasts action-oriented entertainment content on the web. The acquisition system acquires event information in the form of participant positions and poses and scene viewing. The data engine stores it for broadcast on the Internet. The user system allows the user to select, capture and view events from any location.
取得システムは、イベントを捕捉するために、典型的にクライアント会場に設置される。現行のデジタル・イメージング及びマシンビジョンの技術は、費用効果の高い設置を可能にする。 An acquisition system is typically installed at a client venue to capture events. Current digital imaging and machine vision technologies enable cost-effective installation.
データ・エンジンは、ユーザの能力／期待に適合するような達成可能な解像度、映像及び音の品質、及び取得速度を提供する。 The data engine provides achievable resolution, video and sound quality, and acquisition speed to meet user capabilities / expectations.
ユーザ・システムは、ビデオゲームに似たアニメーションと映像画像との混合物を表示する。高度なコンピュータ・ゲームのために開発された能力は、取得システムによって駆動される視認可能な３Ｄアニメーションの作成を実現可能としている。 The user system displays a mixture of animation and video images similar to video games. The capabilities developed for advanced computer games make it possible to create visible 3D animations driven by acquisition systems.
システム構成要素
取得システム
取得システムは、市販の「スマートカメラ」と、限られた数のカメラ・ビューから３Ｄシーン情報及び画像を導き出す制御装置とのネットワークである。スマートカメラは、搭載された処理を用いて、捉えたものから重要な情報を導き出し、通信する。多数のスマートカメラ出力は、指定の解像度に合わせた対象物の動きと位置の再構成を可能にする。
System components
Acquisition System The acquisition system is a network of commercially available “smart cameras” and a controller that derives 3D scene information and images from a limited number of camera views. The smart camera uses the onboard processing to derive important information from what it captures and communicates. Numerous smart camera outputs allow reconstruction of the movement and position of objects to a specified resolution.
取得システム制御装置は、自動的に、
・選手の３Ｄ位置、及びポーズと、
・３Ｄグラフィック記述による選手の外観と、
・ハイライト及び重要プレーのスナップショット及びビデオクリップと、
・選手及びチームの統計的データと、
・審判上のヘルプと、
を生成する。
The acquisition system controller will automatically
・ 3D positions and poses of players
・ 3D graphic description of player appearance,
・ Highlights and important play snapshots and video clips;
・ Statistical data of players and teams,
-Referee help and
Is generated.
設置
設置されると、取得システムは受動的であり、イベントデータの送信ルーチンは自動的である。スマートカメラは、図１に示されるように、試合場から外れた柱、典型的には照明塔に、永続的に取り付けられる。取得システムは、クライアント会場に永続的に設置してもよく、又は一時的に設置してもよい。システム監視のためにウェブ・ベースの診断を用いてもよいであろう。
Once installed , the acquisition system is passive and the event data transmission routine is automatic. The smart camera is permanently attached to a pillar, typically a lighting tower, as shown in FIG. The acquisition system may be permanently installed at the client venue or may be temporarily installed. Web-based diagnostics may be used for system monitoring.
データ・エンジン
データ・エンジンは、市販のソフトウェアとハードウェア（即ちサーバ）の両方を用いて、イベントデータを格納し、ウェブ上で利用できるようにする。必要なネットワーク帯域幅は、多数のインターネット・プロバイダからライセンス交付を受けることができよう。
Data Engine The data engine uses both commercially available software and hardware (ie, a server) to store event data and make it available on the web. The required network bandwidth could be licensed from a number of internet providers.
ユーザ・システム
ユーザ・システムは、ユーザのＰＣ又はゲーム・システム上にイベントのアニメーションを生成する。ユーザ・システムは、イベントを見るため、イベントを分析するため、又は種々のシミュレーション・ゲームの出発点として、多数の方法で用いることが可能である。イベントデータは、例えば、アメリカンフットボールの試合をクォーターバックの視野から、クォーターバックの後ろ上方１０フィートから、又はサイドラインから見る、というように、ユーザが無際限に選択することができるイベント・ビューを可能にする。その結果は、高度に対話的で、ためになる、強力なエンターテインメントである。
User System The user system generates an animation of the event on the user's PC or game system. The user system can be used in a number of ways to view events, analyze events, or as a starting point for various simulation games. Event data includes an event view that the user can select indefinitely, such as watching an American football game from a quarterback view, 10 feet above the quarterback, or from the sideline. enable. The result is a highly interactive, profitable and powerful entertainment.
本発明のシステムには多数の用途が存在する。最も強力なのは、仮想の環境即ち競技場においてイベントに参加する特有の方法であると思われる。 There are many uses for the system of the present invention. The most powerful seems to be the unique way to participate in an event in a virtual environment or stadium.
仮想競技場
本システムの１つの実施形態は、ファンに、仮想の競技場と、アクション中の試合場を含む全エリアへの立ち入りと、を提供する。加えて、多数のイベント又は同じイベントの多数のビューを同時に表示することが可能である。
Virtual Stadium One embodiment of the present system provides fans with a virtual stadium and access to all areas including the action arena. In addition, multiple events or multiple views of the same event can be displayed simultaneously.
以下のサブセクションは、本システムの異なる実施形態の用途を図示する。 The following subsections illustrate the application of different embodiments of the system.
視認プログラム
視認プログラムは、イベントを観戦し、試合の進行に合わせて視認位置を制御することを可能にする。
The visual recognition program visual recognition program makes it possible to watch an event and control the visual recognition position as the game progresses.
スポーツ視認
イベントデータは３Ｄアニメーションを駆動する。それは、ズーム、アングルなど共に、選手を追う、ボールを追う、選手を独立させる、といった種々の視認手法を選べるようにする。それは、（可能な場合には）プレー、ボール支配、又は他の同様の概念に応じた時間上の動きの巻戻し又は早送りを可能にする。
Sports viewing event data drives 3D animation. It is possible to select various visual recognition methods such as chasing the player, chasing the ball, and making the player independent for both zoom and angle. It allows rewinding or fast-forwarding of movement over time according to play (when possible), ball control, or other similar concepts.
スポーツゲーム
格納されたイベントデータの読み取りと使用のためのインターフェースを加えることにより、スポーツゲームを用いて現行の試合及び歴史的な試合を見ることができる。こうしたゲームの開発者は、プレーとグラフィックスとを生成するために、既に膨大な量の作業を行っており、イベントデータを用いてこれを強化することが可能である。
By adding sports games reading of the stored event data and an interface for use, it can be seen the current game and the historical match with sports games. Developers of such games have already done a tremendous amount of work to generate play and graphics, which can be enhanced using event data.
ＰＤＡ／メッセージング対話型ゲーム・データ
２Ｄの再生／視認インターフェースを有するＰＤＡ又は携帯電話にイベントデータをストリーミングしてもよい。カラーディスプレイ及び３Ｄアニメーション能力を有する携帯電話は、試合を追うか、又は他の誰かとシミュレーション・ゲームをするのに用いることが可能である。
Event data may be streamed to a PDA or mobile phone having a PDA / Messaging Interactive Game Data 2D playback / viewing interface. A cell phone with a color display and 3D animation capability can be used to follow a game or play a simulation game with someone else.
シミュレーション・ゲーム
シミュレーション・ゲームは、選手によって選ばれた戦略又はプレーの選択肢及びその結果を判定するのに、歴史的なイベントデータを用いることができる。
Simulation Game A simulation game can use historical event data to determine the strategy or play choices chosen by a player and their outcome.
スポーツゲーム
格納されたイベントデータの読み取りと使用のためのインターフェースを加えることにより、スポーツゲームを用いて、選ばれた歴史的チームを相手にプレーすることが可能である。
By adding an interface for reading and use of sports games stored event data, using a sports game, it is possible to play the selected historical team partner.
フットボールゲーム
これにより、例えば、ミシガン大学チームをオハイオ州立大学とシーズン中のどの時点でも戦わせることができ、その結果は現行シーズンのそれぞれのチームのイベントデータによって判定される。また、これにより、あるチームに関して選ばれた選手が前週又は前シーズンにおける自分たちの実際の働きを用いてチームの働きを判定するという、空想版のフットボールを可能にする。
Football game This allows, for example, a University of Michigan team to fight Ohio State University at any time during the season, and the result is determined by the event data of each team during the current season. This also allows for a fancy version of football where players selected for a team use their actual work in the previous week or season to determine the team's work.
空想のフットボール
各々の選手のチームを表示し、選手の働きのリアルタイム更新を行う。
It displays the team of each player of the fancy football and performs real-time update of the player's work.
コーチング及びトレーニングのツール
イベントデータは、コーチが選手の位置及び動きを分析できるようにするツールを提供する。本システムの単純な形態のものは、全てのレベルにおけるサッカー及びアメリカンフットボールに関し、追跡ツール又はトレーニングツールとして用いることが可能である。他のチームのイベントデータをマイニングして、チーム又は選手の傾向及び能力を探すことが可能である。
Coaching and training tool event data provides tools that allow coaches to analyze athlete positions and movements. A simple form of the system can be used as a tracking or training tool for soccer and American football at all levels. It is possible to mine event data of other teams and look for team or player trends and abilities.
スポーツ審判システム
本システムを審判に用いてもよい。それがもつ選手及びボールの相対的３Ｄ位置の知識を、多くのスポーツの審判に用いることが可能である。それは、検証可能な客観的結論を引き出す際に、又は、特に練習状況において審判員を全員交代させる際に、審判員を援助する情報を取り込むためのツールとして用いることが可能である。
Sports referee system This system may be used for referees. Knowledge of the relative 3D position of the player and the ball it has can be used for many sports referees. It can be used as a tool to capture information to assist referees in drawing verifiable objective conclusions, or in particular when replacing all referees in practice situations.
放送支援
リアルタイムの統計的データ及び特有のビューの生成装置として、本システムの１つの実施形態は、従来のテレビジョン放送を援助するのに用いることが可能である。
As an apparatus for generating broadcast-assisted real-time statistical data and unique views, one embodiment of the system can be used to assist in conventional television broadcasts.
本システムは、一組の試合映像からイベントデータを抽出するのに用いることもできる。 The system can also be used to extract event data from a set of match videos.
リプレーの生成
本システムは、放送アナウンサーがリアルタイムで用いるためのグラフィックスを生じさせることができる。プレー及び結果として得られる統計的データの再構成は、放送者及びチームにとって有用である。これらの両方を用いて、試合を見直し、データをマイニングして種々の傾向を探し、異なるシナリオ及び手法を試すことが可能である。本データを用いて、放送イベントのための３Ｄ音トラックを提供することが可能である。テレビジョン／ＰＣの何らかの高度の組み合わせによってサポートされる３Ｄ視認システムをサポートするのに、本データを用いることが可能である。
Replay Generation The system can generate graphics for use by broadcast announcers in real time. Playing and reconstructing the resulting statistical data is useful for broadcasters and teams. Both of these can be used to review matches, mine data to look for different trends, and try different scenarios and techniques. This data can be used to provide a 3D sound track for a broadcast event. This data can be used to support 3D viewing systems supported by some advanced combination of television / PC.
ＴＶ／ラジオを介した試合の視認プログラム
放送者は、イベントデータを用いて、「イベントデータ・チャンネル」に注解を伴う単一で制作された視認手法を提供するアニメーションを作成することができる。
A TV program / radio viewing program broadcaster can use event data to create an animation that provides a single produced viewing technique with annotations on the “event data channel”.
対話型試合データ
高度のモニタがあれば、コンピュータはウェブから試合データを得て、重ね画像上に統計的データ又は要約のストリームを提供することが可能である。ユーザは、所望の情報の種類に関する好みを設定できる。各々のプレーの後でチームが取得したヤード数のカウントが可能である。代替的に、放送者がそのデータを提供してもよい。
With an interactive game data altitude monitor, the computer can obtain game data from the web and provide a stream of statistical data or summaries on the overlay image. The user can set preferences regarding the type of information desired. It is possible to count the number of yards acquired by the team after each play. Alternatively, the broadcaster may provide the data.
リアリティショー
規則的に製作される毎週の放送を相補するリアリティショー現場の無休放送。
Reality Show A 24/7 broadcast on the reality show that complements the regular weekly broadcast.
舞台プレー
舞台プレーをアニメーションと３Ｄ音を用いて放送することができる。
Stage play Stage play can be broadcast using animation and 3D sound.
パーティ
自分たちのパーティを、他の人が仮想参加者になれるようにして、放送したいと思う人々がいる可能性がある。
Party There may be people who want to broadcast their party, allowing others to become virtual participants.
アニメーション制作
プレーデータ・システムは、アニメーションでのアクションを演出し、その３Ｄ記述を捕捉するのに用いることが可能である。次いで、アニメーション製作者は得られた結果を編集及び増強して、ムービー又はショーにする。
An animation production play data system can be used to direct an action in an animation and capture its 3D description. The animation creator then edits and augments the obtained results into a movie or show.
セキュリティ監視
本方法及びシステムの１つの実施形態は、視界にある人物及び対象物を追跡及び解釈する市販の監視ビデオシステムの強化を可能にする。ある人物のイベントデータ記述をバイオメトリクス認識システムと対にすることができる。作成されたバイオメトリクス・データを用いて、車及び人間を全て追跡することができる。これは、行動分析能力と対にすることができる。こうすることで、例えば、ショッピングモールの駐車場の人々を監視し、人がモールに入るのでなく車から車に移動することに気付くことができる。
Security Surveillance One embodiment of the present method and system allows for the enhancement of commercially available surveillance video systems that track and interpret people and objects in view. A person's event data description can be paired with a biometrics recognition system. The generated biometric data can be used to track all cars and people. This can be paired with behavioral analysis capabilities. In this way, for example, people in a parking lot of a shopping mall can be monitored and noticed that a person moves from a car to a car instead of entering the mall.
システム構成要素
取得システム（高性能）
カメラ・サブシステム
これは、図２に示されるような、ポーズ及び画像の両方に関するシーン情報を捕捉することができるカメラのネットワークである。カメラ・サブシステムは、一群のスマートカメラである。サブシステムは、第三者による新規のカメラ・システムの開発ができるように、公開されたインターフェースを有する。
System components
Acquisition system (high performance)
Camera Subsystem This is a network of cameras that can capture scene information for both poses and images, as shown in FIG. The camera subsystem is a group of smart cameras. The subsystem has a public interface so that a third party can develop a new camera system.
スマート・カメラ・ユニット
カメラは、典型的に、幾つかの画像ヘッドと共にプロセッサを備える。これは、独立して向けられた多数のセンサを用いることにより、単一のカメラが、例えば種々の範囲をカバーするか、又は広いフィールドを容易にカバーできるようにする。標準的な取得センサは方形であるが、多くの場合、シーンは主として水平である。カメラは１ギガビットのイーサネット（登録商標）リンクをサポートすることができる。カメラ・ユニットは、ズームレンズ及び／又はパン／チルト能力を有することができる。
Smart camera unit cameras typically include a processor with several image heads. This allows a single camera to cover, for example, various areas or easily cover a large field by using a large number of independently oriented sensors. Standard acquisition sensors are square, but in many cases the scene is primarily horizontal. The camera can support a 1 Gigabit Ethernet link. The camera unit may have a zoom lens and / or pan / tilt capability.
主要なカメラ部品は市販で入手可能である。 Major camera parts are available commercially.
カメラ・プロセッサ
各々のカメラ・ユニットの中のプロセッサは、ＤＰＳ即ちゲートアレイによって補完される。これらは、アルゴリズムがリアルタイムで実行できるようにするのに必要なハードウェア補強を与える。ハードウェア及び開発ソフトウェアは、種々の市販のカメラを使用できるようにする。プロセッサ・モジュールは、８個までの画像ヘッドと併せて、イーサネット（登録商標）をサポートする。カメラ・ヘッドへのインターフェースは、必要であれば多数の異なるカメラを使えるようにする、標準的な高速インターフェースであるファイアラインであることが好ましい。
Camera Processor The processor in each camera unit is complemented by a DPS or gate array. These provide the hardware enhancements necessary to allow the algorithm to run in real time. The hardware and development software make it possible to use various commercially available cameras. The processor module supports Ethernet together with up to 8 image heads. The interface to the camera head is preferably a fireline, which is a standard high-speed interface that allows many different cameras to be used if necessary.
カメラ画像ヘッド
カメラ・プロセッサに画像データを供給するカメラ・ヘッドは、１から１６メガピクセルのＲＧＢ撮像装置を含む。カメラ画像ヘッドは、最初の画像取得及び処理を制御するそれ自体のプロセッサを有する。カメラ・ヘッドは、ファイアライン・インターフェースを用いて画像データをカメラ・プロセッサにストリーミングする。低コスト版のカメラ・ユニットは、より要求度の低い用途に関して、画像ヘッドを単一のプロセッサと組み合わせる。
Camera Image Head The camera head that supplies the image data to the camera processor includes a 1 to 16 megapixel RGB imager. The camera image head has its own processor that controls the initial image acquisition and processing. The camera head streams image data to the camera processor using a fireline interface. The low cost version of the camera unit combines the image head with a single processor for less demanding applications.
音サブシステム
マイクロフォン・ユニットのネットワークは、図１に示されるように、種々のエリアにおける音を取り込む。音は、３Ｄ位置指定音が可能になるように分析され、格納される。音響サブシステムは、一群のマイクロフォン・ユニット、及び、第三者が音取得システム部品を開発できるようにするインターフェースである。
The network of sound subsystem microphone units captures sound in various areas, as shown in FIG. The sound is analyzed and stored to allow 3D location sound. The acoustic subsystem is a group of microphone units and an interface that allows a third party to develop sound acquisition system components.
シーンの１つの領域から音を取り込み、ネットワーク・プロセッサ又はサブシステムに送れるように、各々のマイクロフォン・ユニットは指向性であることが好ましい。 Each microphone unit is preferably directional so that sound can be captured from one area of the scene and sent to a network processor or subsystem.
統合及び分析サブシステム
統合及び分析サブシステム（図２のサブシステム）は、シーンの記述を指定された解像度で作成し、保持する。それは、このデータをデータ・エンジンに与える。
Integration and Analysis Subsystem The integration and analysis subsystem (subsystem of FIG. 2) creates and maintains a description of the scene at a specified resolution. It provides this data to the data engine.
分析及び統合サブシステムは、個々のカメラ・ユニット及びマイクロフォン・ユニットからデータを収集及び処理し、これをサーバのローカルのデータ・エンジンに転送する、ＤＳＰ即ちゲートアレイを伴ったプロセッサを収容する。ローカルのデータ・エンジンとのリンクは、１ギガビットのイーサネット（登録商標）であってもよく、又はファイアラインであってもよい。このハードウェア、及びそれを用いるのに必要なソフトウェアは、市販で入手可能である。 The analysis and integration subsystem contains a processor with a DSP or gate array that collects and processes data from individual camera and microphone units and forwards it to the server's local data engine. The link to the local data engine may be 1 gigabit Ethernet or may be a fireline. This hardware and the software necessary to use it are available commercially.
ネットワーク
良好な性能のために、１ギガビットのイーサネット（登録商標）・ネットワークが全てのシステム構成要素を接続してもよい。ある程度の性能を犠牲にして、無線ネットワークもまた、用いることができる。
For good network performance, a 1 Gigabit Ethernet network may connect all system components. Wireless networks can also be used at the expense of some performance.
その他のハードウェア
上述された機器は、典型的に、取付け用のハードウェアと、環境的エンクロージャと、配線とを要する。
Other Hardware The equipment described above typically requires mounting hardware, an environmental enclosure, and wiring.
取得システム操作
取得の記述
取得システムは、限られた数の２Ｄビューから、３Ｄの試合情報と画像とを導き出す。各「選手」又はイベントの幾つかのビューが、全ての動きと位置との再構成を可能にする。多数のスポーツにおける幾つかの有利な点は、番号付きユニフォームの使用と、試合が頻繁にリセットされて既知の位置へ戻される点である。
Acquisition system operation
The acquisition description acquisition system derives 3D game information and images from a limited number of 2D views. Several views of each “player” or event allow reconstruction of all movements and positions. Some advantages in many sports are the use of numbered uniforms and the fact that the game is frequently reset and returned to a known position.
カメラ・ユニットのネットワークは、シーン（即ちイベント会場）を種々のアングルから視認する。シーン中のどの対象物についても少なくとも２つの異なるビューがあることが望ましい。カメラは、例えば、１０００ピクセル掛ける１０００ピクセルのピクセル解像度を有することができる。任意の距離において、カメラは、そのレンズに応じ、例えば距離４０ｍからの１０ｍ×１０ｍのような幾らかの視野を視認する。この場合においては、結果として得られる４０ｍからの取得解像度は、１０ｍ／１０００ピクセル、即ちほぼ１ｍ／１００ピクセル、即ち１０ｍｍ／ピクセル（ほぼ１／２インチ）である。 A network of camera units views the scene (ie, the event venue) from various angles. Desirably, there are at least two different views for any object in the scene. The camera can have a pixel resolution of 1000 pixels by 1000 pixels, for example. At any distance, the camera will see some field of view, for example 10 m × 10 m from a distance of 40 m, depending on the lens. In this case, the resulting acquisition resolution from 40 m is 10 m / 1000 pixels, i.e. approximately 1 m / 100 pixels, i.e. 10 mm / pixel (approximately 1/2 inch).
映像を放映するための典型的な速度は、現行のところ、３０フレーム／秒である。１０更新／秒というデータ取得速度であれば、視認者が試合を追うことが可能であろう。例えばボール追跡カメラなどの選択されたカメラには、より高速な更新速度を持たせてもよい。映像放映速度は、人が一連の画像を滑らかな動作として知覚できる速度である。ユーザが視認するグラフィックス・システムは少なくとも３０フレーム／秒の速度でビューを更新することになるが、アニメーション・ソフトウェアが全ての対象物に関して滑らかな動きを作り出すので、位置データ速度はこれと適合する必要はない。システムが適切に動作するには、多数の推論タイプが必要である。 A typical speed for broadcasting video is currently 30 frames / second. If the data acquisition speed is 10 updates / second, the viewer will be able to follow the game. For example, a selected camera, such as a ball tracking camera, may have a faster update rate. The video broadcast speed is a speed at which a person can perceive a series of images as a smooth motion. The graphics system that the user sees will update the view at a rate of at least 30 frames per second, but the animation data will create a smooth motion for all objects, so the position data rate will match this. There is no need. A number of inference types are required for the system to work properly.
スポーツにおける一群の選手のアニメーションは、典型的に、選手に関するモデルに身長、体重、外観及び体格といった要因の調整を加えたものに基づく。この種のモデルは、選手がどのようなポーズを取っているのかを判定する一組のパラメータを伴った、対象物についての数学的記述である。取得システムがこれらのパラメータを導き出す。特に、変化するパラメータのみをアニメーション・エンジンと交換すればよいことから、このパラメータの組は非常にコンパクト且つ効率的に選手を記述する方法である。モデルの付加的な態様は、対象物の動的な記述である。 An animation of a group of players in a sport is typically based on a model related to players with adjustments for factors such as height, weight, appearance and physique. This type of model is a mathematical description of an object with a set of parameters that determine what pose the player is in. An acquisition system derives these parameters. In particular, since only changing parameters need to be exchanged with the animation engine, this set of parameters is a very compact and efficient way to describe a player. An additional aspect of the model is a dynamic description of the object.
シーンの遮蔽
時に、種々の選手が全てのカメラのビューから遮蔽されてしまうか、或いは与えられた時間に全ての選手を識別するには、シーンが煩雑又は複雑になり過ぎる場合がある。データが数秒の遅れをもって放映されている場合には、その前後の情報を用いて消失したデータを埋めることが可能である。消失した情報は、後の情報が利用可能になるまで、種々の一貫した規則を用いて埋められ、主として、その前の動きが続行する。
When a scene is occluded , various players may be occluded from the view of all cameras, or the scene may be too complicated or complicated to identify all players at a given time. When data is aired with a delay of several seconds, it is possible to fill the lost data using the information before and after that. Missing information is filled in using various consistent rules until later information is available, primarily with the previous movements continuing.
シーンの記述
シーンは、静止した背景と、動的な背景要素と、前景の対象物（選手）と、を有するものとしてモデル化される。対象物は、単純な３Ｄ固体としてもよく、又は人体の抽象物といったそれよりも遥かに複雑な記述を有してもよい。対象物は静的属性と動的属性の両方を有する。身長及び体重と、全体的な形態は、与えられたシーン全体にわたり静的である。特定の人物が歩いたり走ったりする方法も判定することができ、リアルなアニメーションに関する情報の量を減らすのに用いることができる。
Scene description A scene is modeled as having a static background, a dynamic background element, and a foreground object (player). The object may be a simple 3D solid or may have a much more complex description than that of a human body abstraction. The object has both static and dynamic attributes. Height and weight and the overall form are static throughout a given scene. It can also determine how a particular person walks or runs, and can be used to reduce the amount of information about realistic animation.
ポーズ
対象物は、全体的な位置（質量中心）を有すると共に、ヨー、ピッチ、及びロールを有する。これらの記述の全体が、ポーズと呼ばれる。対象物が頭部、両手、脚部、足といった多数の剛性部分で構成されている場合には、対象物を記述するには、各部分のポーズを記述する必要がある。しかしながら、これらのポーズの全ては互いに関連している。全てのポーズが見るたびにいつも変わるわけではない。
The pause object has an overall position (center of mass) and has yaw, pitch, and roll. The whole of these descriptions is called a pose. When the object is composed of a number of rigid parts such as the head, both hands, legs, and feet, it is necessary to describe the pose of each part in order to describe the object. However, all of these poses are related to each other. Not every time you see every pose.
最小限のデータを用いて一連の動きを記述するための多数の有効な戦略が存在する。これらを用いて、シーン条件下での対象物の動きは効率的な方法で記述される。 There are a number of effective strategies for describing a sequence of movements with minimal data. Using these, the movement of the object under the scene conditions is described in an efficient manner.
ビュー
所与の位置にある１つの対象物に関し、多数のビューが存在する。これらは、特に、選ばれた視野及び照明に左右される。カメラによって捕捉されたビューは、何らかの形で圧縮することが可能であるが、実際にイベントを見ている錯覚を作り出すためには、かなり高速度の中断されない高解像度のシーケンスが必要である。ＰＣ又はビデオゲームは、現行のところ、この錯覚を作り出す画像生成に非常に優れており、引き続き一層良好になりつつある。
With respect to one object in the view given location, numerous views are present. These depend in particular on the field of view and illumination chosen. The view captured by the camera can be compressed in some way, but in order to create the illusion of actually seeing the event, a fairly high speed uninterrupted high resolution sequence is required. PCs or video games are currently very good at generating images that create this illusion and continue to be better.
身振り
記述のサイズを減らすための別の戦略は、身振りを記述することである。例えば、歩行、走行、又は手振りは、全て、Ａから開始して何らかの速さでＢに向かう、所与の対象物の身振りとして記述が可能である。この記述は、記述するのに必要なデータが非常に小さく、対象物の移動映像よりも遥かに少ない。加えて、デフォルトの身振りは、そのまま移動する、又は、その対象物に関してそれ以上の情報が与えられなければ停止してＣに戻る、などのように指定することが可能である。
Another strategy for reducing the size of gesture descriptions is to describe gestures. For example, walking, running, or hand gestures can all be described as gestures of a given object starting from A and heading to B at some speed. This description requires very little data to describe and is much less than the moving image of the object. In addition, the default gesture can be specified such as moving as it is, or stopping and returning to C if no further information is given about the object.
位置／身振りの記述
対象物の位置、及び背景と照明条件とが知られている場合には、シーンのいかなるビューも生成することができる。位置／身振りの記述は普遍的である。それはまた、シーンを説明する極めて効率的な方法であり、次いでこれを用いてユーザに対し、リアルなビューを生成することができる。
Any view of the scene can be generated if the location / position of the object to be described and the background and lighting conditions are known. The description of position / gesture is universal. It is also a very efficient way of describing a scene, which can then be used to generate a realistic view for the user.
画像の追加
位置／身振りの記述があれば、位置／身振り情報が取得されたときに、画像の細部を抽出することも可能である。身振りが導き出されると、所与の下位対象物（靴又は手）の境界もまた導き出される。両方の画像は抽出され、取得ビューと共に格納することが可能である。選ばれたビューにおけるアニメーションを作成するために、取得ビューと選択ビューとの知識を用いて画像を変形してもよい。それは、ユーザ・ビューのために作成されるグラフィック画像に細部を付け加えるのに用いることができる。よって、例えば、散発的に靴の記述を送ることで、ユーザはそれに付着した草の染みを見ることができる一方、送られるデータは尚も非常に小さく、散発的なままである。
If there is a description of the additional position / gesture of the image, it is possible to extract details of the image when the position / gesture information is acquired. When gestures are derived, the boundaries of a given sub-object (shoes or hands) are also derived. Both images can be extracted and stored with the acquired view. To create an animation in the selected view, the image may be transformed using knowledge of the acquired view and the selected view. It can be used to add details to a graphic image created for a user view. Thus, for example, by sporadically sending a description of a shoe, the user can see the grass stain attached to it, while the data sent is still very small and remains sporadic.
これは、キャッチ、ファンブル、及びアウトオブバウンズの状況のような特に関心ある現実のシーンの捕捉を含むことができる。こうしたシーンは、選ばれた現行の視認位置に適合するように変形されることになろう。 This can include capturing real scenes of particular interest, such as catch, fumble, and out-of-bounds situations. Such a scene would be transformed to fit the current viewing position chosen.
画像データの作成
３Ｄ位置及びビューから独立した参加者の外観の導出は、各々のカメラ・ユニットから取得された画像から、
・参加者の番号（用いられている場合）
・頭部／ヘルメット位置
・身体／胸部／背中の質量中心
・手／腕／ひじ／肩
・脚部／足 ひざ
の情報を抽出する。
Creation of image data The derivation of the appearance of the participants independent of the 3D position and view is derived from the images acquired from each camera unit,
・ Participant number (if used)
・ Head / helmet position ・ Body / chest / back mass center ・ Hand / arm / elbow / shoulder ・ Leg / foot Knee information is extracted.
データ抽出は、図３に示されるように、
・画像の取得（各々のカメラに関して）
・画像のセグメント化（各々のカメラに関して）
・特徴の交差操作及びラベル付け（全てのカメラからの特徴に対して）
・その前の情報を踏まえて最良のラベル付けを選ぶ
・外観情報を抽出し、更新する
・現行データを計算し、格納する
という形で進む。
Data extraction is as shown in FIG.
・ Image acquisition (for each camera)
-Image segmentation (for each camera)
-Feature crossing and labeling (for features from all cameras)
・ Select the best labeling based on previous information ・ Extract and update appearance information ・ Calculate and store current data
カメラ・ベースの処理
画像の取得と、処理の第１段階とは、典型的に、「スマートカメラ」即ちカメラ・ユニットにおいて行われる。
The acquisition of camera-based processed images and the first stage of processing is typically performed in a “smart camera” or camera unit.
この情報を導き出すためにカメラによって用いられるデータは、
・カメラの３Ｄ位置をイベント試合場又は会場に関係付ける較正パラメータと、
・ビュー内の対象物のその前の位置及び速度と、
・イベントの種類についての情報と、
である。
The data used by the camera to derive this information is
A calibration parameter relating the 3D position of the camera to the event game field or venue;
The previous position and velocity of the object in the view;
Information about the type of event,
It is.
その前の情報が入手できない場合には、操作は、一組の開始パラメータを用いて進行することになる。 If no previous information is available, the operation will proceed using a set of start parameters.
画像の取得
画像の取得は、利用可能なシーンのその前の状態についての情報と並行して行われることになる。その前のシーン情報は、画像を取得する可能性のあるエリアをターゲットにするために用いられる。それは、最適な画像の取得パラメータを調整するのに用いられることもあろう。取得された画像は、次の画像が取得されるまで保存される。
Acquiring an image Acquiring an image is performed in parallel with information about the previous state of an available scene. The previous scene information is used to target an area where an image may be acquired. It may also be used to adjust the optimal image acquisition parameters. The acquired image is stored until the next image is acquired.
画像のセグメント化
画像は、画像のセグメント化が可能な限り信頼でき、迅速なものとなるように助けるために、その前の情報を用いて、並行してセグメント化される。特徴の大体の位置及び外観が知られている場合には、このプロセスは、これらを用いて簡略化され、高速化される。
Image segmentation The images are segmented in parallel using previous information to help ensure that the image segmentation is as reliable and quick as possible. If the approximate location and appearance of the features are known, the process is simplified and speeded up using them.
参加者の特徴は、ブロブ分析、エッジ分析、領域成長、又は他の典型的な画像処理技術を用いた画像セグメント化を経て背景から抽出される。 Participant features are extracted from the background via image segmentation using blob analysis, edge analysis, region growing, or other typical image processing techniques.
対象物の速度についての情報は、新規の画像をその前の画像から取り去ることによって得られる。 Information about the velocity of the object is obtained by removing a new image from the previous image.
種々の対象抽出操作を用いて、一貫した方法で、必要な特徴を分離することができる。四肢は、特に重要であり、よって、一組の四肢抽出操作が用いられる。 Various object extraction operations can be used to separate the required features in a consistent manner. The limbs are particularly important, so a set of limb extraction operations is used.
特徴は、それを生み出す抽出操作に従って、タイプを割り当てられる。一般に類似した特徴のタイプは、類似した抽出操作によって生み出される。 A feature is assigned a type according to the extraction operation that produces it. In general, similar feature types are produced by similar extraction operations.
必要に応じて、較正データの更新のために、フィールドにおける位置合わせマークを抽出し、利用可能にすることができよう。 If necessary, alignment marks in the field could be extracted and made available for calibration data updates.
第１段階の結果を送る
上記の情報は、指定のカメラと関連する画像の座標の形を取る。画像特徴は、カメラの較正データを用いることにより、３Ｄ特徴に変形される。３Ｄ画像特徴は、ラベル付けのためのプロセッサに送られる。地点特徴は、例えば、カメラ中心からの３Ｄ光線になるであろう。
The above information sending the results of the first stage takes the form of image coordinates associated with the specified camera. Image features are transformed into 3D features by using camera calibration data. The 3D image features are sent to a processor for labeling. The point feature will be, for example, a 3D ray from the camera center.
第２段階処理
特徴がラベル付けされると、結果はカメラに送り返され、これを用いて画像に戻り、対象物の外観モデルへのいずれかの更新を抽出するか、又はラベル付けにおける曖昧さをなくすためのより多くの情報を導き出すことができる。
When the second stage processing feature is labeled, the result is sent back to the camera, which is used to return to the image to extract any updates to the object's appearance model, or to remove ambiguity in labeling. More information can be derived to eliminate it.
第２段階の結果を送る
完了すると、いずれの結果も更なる処理及び格納のために送られる。
Upon completion of sending the results of the second stage , any results are sent for further processing and storage.
１． 統合及び分析プロセッサ
セグメント化の結果は、特徴プロセッサに渡される。このシステムは、個々のカメラからの全ての情報を組み合わせ、ラベル付けされた３Ｄ位置情報を作成する。それは、その結果をカメラに送り返し、次の取得とセグメント化のサイクルを案内するが、それはまた、選手の外観及び可能性のある付加的な特徴情報の必要な更新に関する画像の検査を可能にする。
1. The result of the integration and analysis processor segmentation is passed to the feature processor. This system combines all information from individual cameras to create labeled 3D position information. It sends the results back to the camera and guides the next acquisition and segmentation cycle, which also allows inspection of the image regarding the player's appearance and any necessary updates of possible additional feature information .
プロセッサは、開始時の参加者とその位置とを判定するのに十分なイベント情報を有することになる。 The processor will have enough event information to determine the starting participant and its location.
２． 特徴の交差操作及びラベル付け
ラベル付けの課題は、２つの構成要素を有する。即ち、参加者の位置と、参加者の四肢の位置と、である。
2. The feature crossing and labeling task has two components. That is, the position of the participant and the position of the limb of the participant.
ラベル付けは、どちらの場合にも同じ方法で進行し、違いは、全ての参加者に関してフィールド全体が走査されるのに対し、それらが知られれば、参加者の四肢の可能性のある位置がかなり正確にわかるという点である。加えて、人間の形態についての種々の規則（頭部は足の反対側にあり、腕は体幹に付着している、など）を守りつつ主要特徴から四肢を「成長」させるアルゴリズムを用いることができる。目標は、一貫性を守るために網羅的に検索しなければならない曖昧な情報の量を減らすことである。 Labeling proceeds in the same way in both cases, the difference being that the entire field is scanned for all participants, whereas if they are known, the potential position of the participant's limb is determined. It is quite accurate. In addition, use algorithms that “grow” the extremities from the main features while adhering to various rules regarding human form (head is on the other side of the foot, arms are attached to the trunk, etc.) Can do. The goal is to reduce the amount of vague information that must be exhaustively searched to maintain consistency.
３． 参加者ラベル
各選手に対応する大型の特徴の質量中心を用いて、主要特徴が最初に適合される。対象物の四肢は、その保有者が知られた後においてのみ決定される。選手の番号が曖昧さなしに抽出でき、認識でき、主要特徴と適合できるときは常に、これがラベルとして用いられる。
3. Participant labels Major features are first matched using the large feature mass center corresponding to each player. The limb of the object is determined only after its owner is known. This is used as a label whenever a player's number can be extracted unambiguously, can be recognized, and can be matched with key features.
最初のステップは、各々のカメラにおける特徴の組から参加者の３Ｄ位置を見出すことである。各々のカメラ特徴は、カメラ中心から実際の特徴の中を通る光線を表す。同じ３Ｄ特徴を記述する全てのカメラからの光線は全て、幾らかの小規模なエラーを伴いつつ、特徴の３Ｄ位置で交差するはずである。 The first step is to find the participant's 3D position from the set of features at each camera. Each camera feature represents a ray that passes through the actual feature from the camera center. All rays from all cameras describing the same 3D feature should intersect at the 3D location of the feature with some minor error.
３．１ 四肢のラベル付け
参加者がラベル付けされ、その位置が知られると、同じラベル付け技術を用いて四肢がラベル付けされ、候補特徴を正しいタイプと位置に制限する。加えて、四肢は、参加者への接続可能性を確立することで導き出すことが可能である。
3.1 Limb Labeling Once a participant is labeled and its position is known, the limb is labeled using the same labeling technique to limit candidate features to the correct type and position. In addition, limbs can be derived by establishing connectivity to participants.
３．２ 一般的なラベル付け手法
一般的なラベル付け手法は、以下の通りである。
3.2 General labeling technique The general labeling technique is as follows.
４． 容易なラベル付け
第１のステップは、カメラの対により、全ての曖昧でないラベル付けを見出すことである。次いで、これは全てのカメラに拡張され、その結果は容易な特徴へのラベル付けとなる。次いで、必要に応じて推論が行われる、残りの特徴へのラベル付けが実施される。
4). Easy Labeling The first step is to find all unambiguous labeling by the camera pair. This is then extended to all cameras, and the result is easy feature labeling. Then, the remaining features are labeled, inferred as necessary.
４．１ 取得と共に繰り返されるラベル付け
基本的な手法は、可能性を限定する幾つかのフィルタを用いて、全ての可能性のある有効な特徴の対合を繰り返し評価することである。用いられるフィルタは以下の通りである。
4.1 Repeated labeling with acquisition The basic approach is to iteratively evaluate all possible valid feature pairs using several filters that limit the possibilities. The filters used are as follows.
５． 交差フィルタ
これは、同じタイプの特徴からの光線を交差させ、大幅な交差エラーを有する対及び／又は物理的に可能な平面で終わらない対をなくすことにより、カメラ間の特徴の対を両立性に関して評価するために用いられる。このフィルタは、同一の対象物に対応している可能性のある特徴の組をプレー的に減少させる。図４は、このフィルタの一例を示す。例えば、位置Ａ、Ｂ、及びＣは、その前の位置Ａ’、Ｂ’、及びＣ’を有し、ここで可能な最大の移動は約２メートルである。ＡにおけるＲ１の高さは２メートルであり、Ｘにおける高さは１．５メートルである。ＣにおけるＲ４の高さは２メートルであり、Ｘにおける高さは１．２メートルである。Ｘにおける交差エラーは、Ａにおいては．３メートルである。ＡにおけるＲ１とＲ５の交差に関するエラーは０．００５メートルである。ＸにおけるＲ１とＲ４の交差は、０．３００メートルである。エラーが０．５０メートルに設定されている場合、交差フィルタは、ｘを考慮から除外する。ＺにおけるＲ２とＲ５の交差は、０．０４メートルのエラーを有しており、よって、これは有効な候補である。交差フィルタの結果は、Ａ、Ｂ、Ｃ、及びＺを候補として残す。付加的なカメラの対は、Ａ、Ｂ、Ｃを生成するが、Ｚは生成しない。その前の位置からの最小エラーを用いて、結果として得られる候補のラベル付けがされる。
5). Interstitial filter This interlaces feature pairs between cameras by intersecting rays from features of the same type and eliminating pairs with significant crossing errors and / or pairs that do not end in a physically possible plane. Used to evaluate with respect to. This filter playfully reduces the set of features that may correspond to the same object. FIG. 4 shows an example of this filter. For example, positions A, B, and C have previous positions A ′, B ′, and C ′, where the maximum possible movement is about 2 meters. The height of R1 in A is 2 meters, and the height in X is 1.5 meters. The height of R4 in C is 2 meters and the height in X is 1.2 meters. The crossing error at X is. 3 meters. The error for the intersection of R1 and R5 in A is 0.005 meters. The intersection of R1 and R4 in X is 0.300 meters. If the error is set to 0.50 meters, the crossing filter excludes x from consideration. The intersection of R2 and R5 in Z has an error of 0.04 meters, so this is a valid candidate. The result of the cross filter leaves A, B, C, and Z as candidates. Additional camera pairs produce A, B, C, but not Z. The resulting error is labeled using the minimum error from the previous position.
５．１ ３Ｄ近接性
対象物は、時間の量が示す分しか移動できなかったはずなので、その前の位置の近くを通過する各々のカメラからの候補特徴は、その対象物のラベルに関してのみ考慮される。
5.1 Since the 3D proximity object should have been able to move only by the amount of time, the candidate features from each camera passing near its previous position are considered only with respect to the label of the object Is done.
５．２ 適合の繰り返し
フィルタリングの後で、残りのラベル付けされていない特徴の全ての可能性のある組み合わせをテストする適合が繰り返して行われる。各々の組み合わせは、以前の位置からの最小距離を見出すことによって評価される。有効な候補が十分にないか、又はエラー閾値が超えられた場合には、組み合わせは直ちに却下される。
After iterative filtering of the 5.2 matching, the matching is repeatedly performed to test all possible combinations of the remaining unlabeled features. Each combination is evaluated by finding the minimum distance from the previous position. If there are not enough valid candidates or the error threshold is exceeded, the combination is immediately rejected.
５．３ 消失した又は新規の特徴
閾値を下回るエラーが最も少ない一貫した特徴の最大規模の組が見出される。これは、幾らかの適合しない特徴を残す場合もある。これらは、次いで、「新規」の属性を与えられ、以前の特徴情報との一貫性に基づく仮のラベルを割り当てられる。現行の特徴のいずれとも適合しない以前の特徴が存在する場合もある。このような特徴は「消失した」との属性を与えられる。
5.3 Find the largest set of consistent features with the least number of errors below the missing or new feature threshold. This may leave some incompatible features. These are then given a “new” attribute and assigned a temporary label based on consistency with previous feature information. There may be previous features that do not match any of the current features. Such a feature is given the attribute “disappeared”.
このステップにおいて、以前の特徴情報を用いて、新規又は消失した特徴に関する正確なラベル付けを推測することが可能である。しかしながら、後でこの情報を上書きする処理ができるようにするために、それが推測であるという情報が含まれる。 In this step, previous feature information can be used to infer accurate labeling for new or missing features. However, in order to be able to later overwrite this information, information is included that is speculative.
５．４ 結論
このプロセスが完了すると、全てのカメラの対から結果として得られる特徴は組み合わされ、シーンの完全な記述にされる。次いで、このシーン記述を用いて、現行のイベント・モデルが更新される。
5.4 Conclusion When this process is complete, the resulting features from all camera pairs are combined into a complete description of the scene. This scene description is then used to update the current event model.
データ・モデルの構成
次いで、このデータを圧縮し、その全体をサービス提供してもよく、又は、必要な記述の変更を行い、圧縮してサービス提供してもよい。加えて、イベントの抽象形、即ち、ポーズ又は身振りの変更の記述を伴った参加者の全体的な位置移動を説明する、より高いレベルの記述を生成してもよい。
Data Model Configuration The data may then be compressed and serviced in its entirety, or the description may be modified as necessary and compressed for service. In addition, a higher level description may be generated that describes the event's abstract form, ie, the overall position movement of the participant with a description of the pose or gesture change.
音分析
プロセッサは音をイベントのサブ領域のローカルに分離する。これは、この形態で格納される。
The sound analysis processor separates the sound locally in the event sub-region. This is stored in this form.
データ・エンジン
データ・エンジンはデータを格納し、これをウェブ上で、又はローカルに、サービス提供可能な状態にする。
Data Engine The data engine stores data and makes it available for service on the web or locally.
位置のストレージ
シーン中の全ての対象物に関する、時間によってタグ付けされた一連の位置及びポーズのためのストレージ。
Location Storage Storage for a series of time-tagged positions and poses for all objects in the scene.
グラフィック・オブジェクト・ストレージ
個々の選手に関連するグラフィック細部のためのストレージ。これらはシーズン全体を通じて保存することができる。
Graphic object storage Storage for graphic details associated with individual players. These can be preserved throughout the season.
映像マトリクス・ストレージ
時間及び場所に関してタグ付けされた画像のためのストレージ。
Video matrix storage Storage for images tagged in terms of time and location.
音マトリクス・ストレージ
時間及び場所に関してタグ付けされた音のためのストレージ。音響情報とテキスト情報の両方を格納する。
Sound matrix storage Storage for sound tagged with respect to time and location. Stores both acoustic and text information.
ユーザ・ビューの生成
ユーザ・アプリケーションに供給するためのデータを生成する。
Generate user view Generate data to supply to the user application.
ウェブ・ビューの生成
現行においてブラウザが利用可能な標準的な３Ｄアニメーションシステムに供給するためのデータを生成する。
Web View Generation Generate data to feed into standard 3D animation systems currently available to browsers.
放送者ビューの生成
放送者又はチームが使うためのソース画像の生成。必要に応じて、重ね映像を生成するハードウェアを用いる。
Generating broadcaster views Generating source images for use by broadcasters or teams. If necessary, hardware that generates superimposed images is used.
データ・インターフェース
データ・インターフェースは、第三者のソフトウェアをイベントデータの前処理又は後処理に使えるようにするために、利用可能である。
Data interface The data interface can be used to allow third party software to be used for pre-processing or post-processing of event data.
ネットワーク監視制御室
データ・フローを監視し、システムの警報及び問題に応答するような制御室を保持することができる。インターネット・サービス・プロバイダが、殆どのインターネット上の問題に対処するであろう。
Network monitoring control room Data flow can be monitored and a control room can be maintained that responds to system alarms and problems. Internet service providers will address most Internet problems.
プロバイダ
イベントデータは、商業サービスによって提供されるインターネット・サーバにストリーミングすることができる。サービスによるトランザクションごとにコストが発生するであろう。ライセンス交付を受けたコンピュータに使用を制限するために、データの暗号化が必要な場合もある。
Provider event data can be streamed to an Internet server provided by a commercial service. There will be a cost for each transaction by the service. Data encryption may be required to limit use to licensed computers.
ユーザ・システム
イベントデータは、イベントを見るため、イベントを分析するため、又は種々のシミュレーション・ゲームの出発点として、多数の方法で用いることが可能である。
User system event data can be used in a number of ways to view events, analyze events, or as a starting point for various simulation games.
一連の位置情報と画像の細部（選手の顔、キャッチの外観）とを取り、番組を見る人物が選んだ視野において提示するようにこれらを変形するのに、現行のコンピュータ・グラフィックス技術を用いてもよい。 Using current computer graphics technology to take a series of location information and image details (player's face, catch appearance) and transform them to present in the field of view chosen by the person watching the program May be.
イベントデータ・ソースへの接続
イベントデータ・ソースへの安全なログイン。これは、広告者にとって多大な関心である、データの制御及びユーザの識別の両方を可能にする。
Connect to event data sources Secure login to event data sources. This allows for both data control and user identification, which is of great interest to advertisers.
ビューの選択
ユーザは特定のセッションに関して、ビューの形式、解像度などを選択する。
View Selection The user selects the view format, resolution, etc. for a particular session.
画像生成
画像は選択された視認形式で生成される。
The image generation image is generated in the selected visual format.
音の生成
選択された音響の生成は、３Ｄ音システムを利用するために、３Ｄ位置選択を使用するであろう。３Ｄ音を正確に再現する多数の音システムが存在する。
Sound generation Selected sound generation will use 3D position selection to utilize the 3D sound system. There are a number of sound systems that accurately reproduce 3D sounds.
ビューアの能力
・視認位置を選んで視認する（即ち、ミドルラインバッカーの位置からプレーを視認する）
・恣意的な視野でリプレーする
・プレーの図式的ビューを与える（×印及び○印）
・試合中に種々の統計的データを生成する
・特定の選手を追跡する
・試合履歴を早送りする
・異なる結果によるユーザ提案修正を可能にする
Select the viewer's ability / viewing position for viewing (that is, view the play from the position of the middle line backer)
・ Replay with an arbitrary view ・ Provide a schematic view of play (× and ○)
・ Generate various statistical data during the game ・ Track a specific player ・ Fast forward the game history ・ Allow user suggestions to be modified with different results
アニメーション
ユーザ・システムは、データを表示するような３Ｄアニメーション・アプリケーションを含む。ユーザ・システムは、ビュー及びシーンの展開を制御できるようにする。
The animation user system includes a 3D animation application that displays data. The user system allows control over the development of views and scenes.
ビューアの記述
ビューが試合の視野ビューを選択すると、３Ｄ試合情報を用いて、正確な位置における選手のグラフィック表現が構成される。加えて、グラフィック・システムにより、選択された付加的な画像を変形し、正確な位置関係で配置することが可能である。例を挙げれば、幾つかの顔の基準画像を用いて、選手のグラフィックに顔を付けることが可能であり、又はサイドラインでのキャッチの撮影映像を、現行の視認角度及び距離に合わせて変形することが可能である。
When the viewer's descriptive view selects the game view, the 3D game information is used to construct a graphic representation of the player at the correct location. In addition, the selected additional image can be transformed and placed in the correct positional relationship by the graphic system. For example, it is possible to add a face to a player's graphic using a reference image of several faces, or to change the captured video of a catch on the sideline to match the current viewing angle and distance Is possible.
ＴＶ放送の強化
本発明のシステムは、現行のスポーツ放送と合体することができる。取得システムは、放送者がリプレーを生成し、プレーを図式的な形態で示す能力を強化し、視認者が試合の視野を選ぶ能力を強化する。
TV Broadcast Enhancement The system of the present invention can be combined with existing sports broadcasts. The acquisition system enhances the ability of the broadcaster to generate replays, show play in a schematic form, and the ability of viewers to select the field of view of the game.
小規模放送
高品質のアニメーションを生成する能力があるワークステーションを用いて、テレビジョン放送信号を作り出すことができる。注解及び視野の選択は放送者が制御するものとなる。
A television broadcast signal can be created using a workstation capable of producing small broadcast high quality animation. The commentator and field of view selection are controlled by the broadcaster.
ＳＤＫ
ユーザ・システムの別の態様は、試合及びアプリケーション開発者がイベントデータ又は情報を使用できるようにするＳＤＫ（ソフトウェア開発キット）であろう。
SDK
Another aspect of the user system would be an SDK (Software Development Kit) that allows game and application developers to use event data or information.
ゲーム
イベントデータを活用するために、一群のゲームを開発してもよい。
A group of games may be developed to utilize game event data.
プレー解釈
審判の合図の解釈、ブロックなのか衝突なのか、タックルなのかタックル失敗なのか、パスの受け損ねなのかキャッチなのか、などの種々の付加的な情報が必要である。既知の結果から遡り、消失した情報を導き出すことができる。プレー終了は、これを行う時間を与える。
Various additional information is required, such as interpretation of the sign of the play interpretation referee, whether it is a block or a collision, whether it is a tackle or tackle failure, whether it is a missed pass or a catch. Going back from known results, it is possible to derive lost information. The end of play gives time to do this.
審判員は競技場で使用可能ないずれかの統計的データ情報と共に常時監視されるので、どんな間違いも訂正される。カメラは、一貫した試合情報を保証するためにスコアボードを視認することができる。マイクは競技場のアナウンサーの音を取り込むことができる。 Judges are constantly monitored with any statistical data information available on the stadium, so any mistakes are corrected. The camera can view the scoreboard to ensure consistent game information. The microphone can capture the sound of the stadium announcer.
イリュージョン
このプロセスを付加的に助け、試合を「ライブ」で見ている錯覚を作り出すのは、視認プログラムの選手が地点間をスムーズに移動する能力である。データが不完全である場合には、選手はそのまま動きを続けることができ、選手が位置から外れたことを後の情報が示した場合には、その位置へスムーズに「向けられる」であろう。
Illusions An additional aid to this process and the creation of the illusion of watching the game “live” is the ability of the player in the viewing program to move smoothly between points. If the data is incomplete, the player can continue to move, and if the later information indicates that the player is out of position, it will be smoothly "pointed" to that position. .
データ量
試合を表すのに必要なデータ量は非常に少なく、これが生成される速度は、リアルタイム試合放映に関して「ダイアルアップ」インターネット接続をサポートするのに十分なだけ遅い。細部の量は、使用される接続の帯域幅に合わせて「スケーリング」することが可能である。
Data volume The amount of data required to represent a game is very small and the rate at which it is generated is slow enough to support a “dial-up” internet connection for real-time game broadcast. The amount of detail can be “scaled” to match the bandwidth of the connection used.
本発明の実施形態が図示され、説明されたが、これらの実施形態が本発明の全ての可能な形態を図示し説明するものであるとは意図されていない。逆に、本明細書において用いられた語は限定的なものではなく説明的なものであり、本発明の精神及び範囲を逸脱することなく種々の変更を為すことができると理解される。 While embodiments of the invention have been illustrated and described, it is not intended that these embodiments illustrate and describe all possible forms of the invention. On the contrary, it is understood that the terms used herein are illustrative rather than limiting and that various changes can be made without departing from the spirit and scope of the invention.
Claims (48)
通信ネットワークと、
前記通信ネットワークに連結された複数のカメラ・ユニットと、
を含み、前記カメラ・ユニットは、イベント会場において、前記イベント会場の周りに離間して配置された複数の平行ではない検出器面において、前記少なくとも１人の参加者を含む前記イベント中の対象物から伝播する波動を用いて複数の画像を生成するように構成及び設置されており、且つ、前記検出器面における前記画像中のエネルギーを測定し、前記少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせる複数の検出器と、前記複数の検出器からの前記複数の信号を、少なくとも１つの制御アルゴリズムを用いて処理して画像データを得るための複数の信号プロセッサと、を含んでおり、前記カメラ・ユニットは、前記イベント会場に関して３Ｄに較正され、
前記通信ネットワークに連結された、前記画像データを処理して前記３Ｄデータを含むイベントデータを得るためのプロセッサ・サブシステムと、
データ・エンジンを含むサーバと、
を含み、前記サーバは、前記通信ネットワークを通じて前記プロセッサ・サブシステムと通信状態にあり、前記プロセッサ・サブシステムから前記３Ｄデータを含む前記イベントデータを受信し、前記イベントデータをサービス提供可能な状態にするように構成されている、
ことを特徴とするシステム。 A system for creating event data including 3D data representing at least one event participant and making the event data serviceable.
A communication network;
A plurality of camera units coupled to the communication network;
And wherein the camera unit includes the at least one participant in the event venue at a plurality of non-parallel detector planes spaced around the event venue. Is constructed and installed to generate a plurality of images using waves propagating from and measures energy in the image at the detector plane to obtain from different directions for the at least one participant. A plurality of detectors for generating a plurality of received signals; a plurality of signal processors for processing the plurality of signals from the plurality of detectors using at least one control algorithm to obtain image data; The camera unit is calibrated in 3D with respect to the event venue,
A processor subsystem coupled to the communication network for processing the image data to obtain event data including the 3D data;
A server containing a data engine;
And the server is in communication with the processor subsystem through the communication network, receives the event data including the 3D data from the processor subsystem, and is ready to provide the event data. Is configured to
A system characterized by that.
イベント会場の周りに離間して配置された複数の平行ではない検出器面において、前記少なくとも１人の参加者を含む前記イベント中の対象物から伝播する波動から複数の画像を生成し、
前記検出器面における前記画像中のエネルギーを測定し、前記少なくとも１人の参加者に関する異なる方向から得られた複数の信号を生じさせ、
画像データを得るように、前記複数の信号を少なくとも１つの制御アルゴリズムを用いて処理し、
前記３Ｄデータを含む前記イベントデータを得るように前記画像データを処理し、
前記３Ｄデータを含む前記イベントデータをサービス提供可能な状態にする、
ステップを含むことを特徴とする方法。 A method for creating event data including 3D data representing at least one event participant and making the event data serviceable.
Generating a plurality of images from waves propagating from the object during the event including the at least one participant at a plurality of non-parallel detector planes spaced around the event venue;
Measuring energy in the image at the detector plane to produce a plurality of signals obtained from different directions for the at least one participant;
Processing the plurality of signals with at least one control algorithm to obtain image data;
Processing the image data to obtain the event data including the 3D data;
Bringing the event data including the 3D data into a serviceable state;
A method comprising steps.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2005/045410 WO2007070049A1 (en) | 2005-12-14 | 2005-12-14 | Method and system for creating event data and making same available to be served |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009519539A true JP2009519539A (en) | 2009-05-14 |
Family
ID=38163230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008545551A Pending JP2009519539A (en) | 2005-12-14 | 2005-12-14 | Method and system for creating event data and making it serviceable |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP1969585A1 (en) |
| JP (1) | JP2009519539A (en) |
| CA (1) | CA2633197A1 (en) |
| WO (1) | WO2007070049A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017212591A (en) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | Control apparatus, control method, and program |
| JP2019003346A (en) * | 2017-06-13 | 2019-01-10 | 株式会社Ｍｇｒシステム企画 | Activity support method and activity support apparatus |
| JP2019071650A (en) * | 2018-12-27 | 2019-05-09 | キヤノン株式会社 | Control device, control method, and program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2452510A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002518722A (en) * | 1998-06-12 | 2002-06-25 | アニヴィジョン インコーポレイテッド | Method and apparatus for forming virtual viewing of sports competition |
| JP2002358534A (en) * | 2001-02-05 | 2002-12-13 | Craftmax:Kk | System and method for distributing data |
| JP2003199060A (en) * | 2001-12-26 | 2003-07-11 | Bellsystem 24 Inc | Sport video delivery system and video processing system |
| JP2003244728A (en) * | 2002-02-15 | 2003-08-29 | Mitsubishi Heavy Ind Ltd | Virtual image creating apparatus and virtual image creating method |
| JP2004266620A (en) * | 2003-03-03 | 2004-09-24 | Yamaha Corp | Internet telephone system, internet telephone equipment, and program therefor |
| JP2005080015A (en) * | 2003-09-01 | 2005-03-24 | Sony Corp | Imaging device and method thereof |
| JP2005100367A (en) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | Image generating apparatus, image generating method and image generating program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
-
2005
- 2005-12-14 CA CA002633197A patent/CA2633197A1/en not_active Abandoned
- 2005-12-14 WO PCT/US2005/045410 patent/WO2007070049A1/en active Application Filing
- 2005-12-14 EP EP05854179A patent/EP1969585A1/en not_active Withdrawn
- 2005-12-14 JP JP2008545551A patent/JP2009519539A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002518722A (en) * | 1998-06-12 | 2002-06-25 | アニヴィジョン インコーポレイテッド | Method and apparatus for forming virtual viewing of sports competition |
| JP2002358534A (en) * | 2001-02-05 | 2002-12-13 | Craftmax:Kk | System and method for distributing data |
| JP2003199060A (en) * | 2001-12-26 | 2003-07-11 | Bellsystem 24 Inc | Sport video delivery system and video processing system |
| JP2003244728A (en) * | 2002-02-15 | 2003-08-29 | Mitsubishi Heavy Ind Ltd | Virtual image creating apparatus and virtual image creating method |
| JP2004266620A (en) * | 2003-03-03 | 2004-09-24 | Yamaha Corp | Internet telephone system, internet telephone equipment, and program therefor |
| JP2005080015A (en) * | 2003-09-01 | 2005-03-24 | Sony Corp | Imaging device and method thereof |
| JP2005100367A (en) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | Image generating apparatus, image generating method and image generating program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017212591A (en) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | Control apparatus, control method, and program |
| US11190673B2 (en) | 2016-05-25 | 2021-11-30 | Canon Kabushiki Kaisha | Control device, control method, and program |
| JP2019003346A (en) * | 2017-06-13 | 2019-01-10 | 株式会社Ｍｇｒシステム企画 | Activity support method and activity support apparatus |
| JP7010456B2 (en) | 2017-06-13 | 2022-01-26 | 株式会社Ｍｇｒシステム企画 | Activity support method and activity support device |
| JP2019071650A (en) * | 2018-12-27 | 2019-05-09 | キヤノン株式会社 | Control device, control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2633197A1 (en) | 2007-06-21 |
| EP1969585A1 (en) | 2008-09-17 |
| WO2007070049A1 (en) | 2007-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9087380B2 (en) | Method and system for creating event data and making same available to be served | |
| US10582191B1 (en) | Dynamic angle viewing system | |
| US11381739B2 (en) | Panoramic virtual reality framework providing a dynamic user experience | |
| US5729471A (en) | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene | |
| US11373354B2 (en) | Techniques for rendering three-dimensional animated graphics from video | |
| EP1864505B1 (en) | Real-time objects tracking and motion capture in sports events | |
| US11748870B2 (en) | Video quality measurement for virtual cameras in volumetric immersive media | |
| US8667519B2 (en) | Automatic passive and anonymous feedback system | |
| US9094615B2 (en) | Automatic event videoing, tracking and content generation | |
| US10412467B2 (en) | Personalized live media content | |
| US20150297949A1 (en) | Automatic sports broadcasting system | |
| US20200388068A1 (en) | System and apparatus for user controlled virtual camera for volumetric video | |
| KR20010074508A (en) | Method and apparatus for generating virtual views of sporting events | |
| US7173672B2 (en) | System and method for transitioning between real images and virtual images | |
| JP2009505553A (en) | System and method for managing the insertion of visual effects into a video stream | |
| EP0847201B1 (en) | Real time tracking system for moving bodies on a sports field | |
| Wu et al. | Enhancing fan engagement in a 5G stadium with AI-based technologies and live streaming | |
| US11514704B2 (en) | Method and apparatus of game status determination | |
| JP2009519539A (en) | Method and system for creating event data and making it serviceable | |
| CN117793324A (en) | Virtual rebroadcast reconstruction system, real-time generation system and pre-generation system | |
| US11398076B2 (en) | Three dimensional media streaming and broadcasting system and method | |
| CN102118576B (en) | Method and device for color key synthesis in virtual sports system | |
| KR20080097403A (en) | Method and system for creating event data and making same available to be served | |
| US20230368471A1 (en) | Method and system for converting 2-d video into a 3-d rendering with enhanced functionality | |
| WO2023157005A1 (en) | An augmented reality interface for watching live sport games |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111011 |