JP2007534279A - リアル・タイム二次元および三次元、単一品位および高品位ビデオ・エフェクト用グラフィック・ハードウェアを使用するためのシステムおよび方法 - Google Patents

リアル・タイム二次元および三次元、単一品位および高品位ビデオ・エフェクト用グラフィック・ハードウェアを使用するためのシステムおよび方法 Download PDF

Info

Publication number
JP2007534279A
JP2007534279A JP2007509615A JP2007509615A JP2007534279A JP 2007534279 A JP2007534279 A JP 2007534279A JP 2007509615 A JP2007509615 A JP 2007509615A JP 2007509615 A JP2007509615 A JP 2007509615A JP 2007534279 A JP2007534279 A JP 2007534279A
Authority
JP
Japan
Prior art keywords
video data
thread
video
effect
readable medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007509615A
Other languages
English (en)
Inventor
クーネ，シュテファン・ベー
Original Assignee
ピナクル・システムズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ピナクル・システムズ・インコーポレーテッド filed Critical ピナクル・システムズ・インコーポレーテッド
Publication of JP2007534279A publication Critical patent/JP2007534279A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】特殊ハードウェアがなければリアル・タイム・ビデオを実行することができないという従来技術の欠点を解消するシステムおよび方法を提供する。
【解決手段】単一品位または高品位ビデオ・データを処理し、未来時点において生ずる二次元および三次元エフェクトを生成する命令を含む方法、システム、およびコンピュータ読み取り可能媒体。エフェクトは、多数のスレッドを用いて、ビデオ処理システムにおいて作成される。
【選択図】図４

Description

本発明は、一般的には、ビデオおよびグラフィック処理システムに関し、更に特定すれば、リアル・タイム二次元および三次元、単一品位、および高品位ビデオ・エフェクト用のグラフィック・ハードウェアを使用するためのシステムおよび方法に関する。
今日の電子機器の価格低下および種々の技術的進歩により、高い技術の電子機器が大多数の消費者にも入手可能となっている。これは、特に、ビデオ処理、記録、取り込み(capturing)、および編集の分野に該当する。パーソナル・コンピュータが普及しているので、消費者はビデオ・データをパーソナル・コンピュータ上で容易に目視および記録することや、ビデオ・デバイスからビデオ・データを取り込むことができる。更に、パーソナル・コンピュータの処理速度向上により、消費者は、パーソナル・コンピュータ上でエフェクトの追加やグラフィックの追加というようなビデオ・データの編集を行い、エフェクトまたはグラフィクスを有するビデオを視認することができる。
殆どのパーソナル・コンピュータは、中央演算装置（「ＣＰＵ」）およびグラフィック・カードの双方を有する。最近のグラフィック・カードは、グラフィック処理ユニット（「ＧＰＵ」）およびビデオ・メモリを、ＣＰＵおよびシステム・メモリとは別個に含んでいる。従来、ビデオ編集は、多数の入力ストリームをビデオまたは静止画からタイムライン上で受信し、これらのストリームをエフェクト（例えば、推移(transition)効果またはクリップ効果）と組み合わせて単一のビデオ出力ファイルを作成することから成る。このプロセスは、ＣＰＵまたはＧＰＵを利用して様々なタスクを実行する。
図１は、従来のビデオ編集プロセス（１００）の一例を示す。最初に、コンピュータは、入来するビデオ・データを受信し、ＣＰＵを利用してデコードする（段階１０２）。例えば、ビデオは標準的なフォーマット（例えば、ＭＰＥＧ）で格納すること、または取り込むことができ、処理の前にデコードが必要となる。デコード方式は複雑である可能性があるので、デコード・プロセスはＣＰＵサイクルにおいて非常に大きな負担となる。
次に、コンピュータは１フレームの結果の中に付帯するエフェクトを順次処理し、最も望ましい設定を決定する（段階１０４）。このステップの間、ＧＰＵ／ＣＰＵエフェクトの混合を回避するために、コンピュータはＧＰＵエフェクトをＣＰＵエフェクトと置き換える、またはその逆を行い、可能であれば互換性のあるエフェクトに置き換えることができる。次いで、エフェクトの連続処理が、メモリのようなリソースに過剰な負担をかける場合、コンピュータはタスクを分割し、エフェクトを順次処理し複雑度を低下させる（段階１０６）。
次に、コンピュータは、デコードしたビデオ・データをグラフィック・カードに転送し、ＧＰＵによって処理を行う（段階１０８）。次いで、デコードしたビデオおよび順次処理したエフェクトから、グラフィック・カードが、フレームのレンダリングに必要となる中間データ、例えば、ポリゴン・モデルやタイムライン情報を作成する（段階１１０）。
次に、ＣＰＵは、伸張したビデオ・データおよびエフェクトの中間結果をレンダリングする（段階１１２）。次いで、コンピュータはＣＰＵ／ＧＰＵの混合が必要か否か判定を行う（段階１１４）。混合が必要な場合、ＣＰＵはレンダリングした中間結果をリード・バックして処理する。このようにする場合、プロセスは段階１０８に戻る。しかしながら、リード・バックが必要な場合、リアル・タイムのビデオ編集は不可能となる。
全ての処理を実行した後、エフェクトを含む完結ビデオ・データを表示する（段階１１６）。例えば、エフェクトを含むビデオをコンピュータのモニタ上に表示することができる。
場合によっては、編集してエフェクトを入れたデータをセーブしなければならないこともある（段階１１８）。例えば、編集したデータが、背景にレンダリングするコンテンツとして必要となる場合がある。編集ビデオ・データをセーブする必要がある場合、データをＣＰＵにリード・バックする（段階１２０）。リード・バックが必要となる場合、リアル・タイムのビデオ編集は不可能となる。次いで、コンピュータはリード・バックしたビデオ・データを圧縮するが、これはＣＰＵを集中的に用いる（段階１２２）。圧縮されたデータは、後に使用するために格納することができる。
前述のビデオ編集プロセスでは、段階１０２において受信したビデオ・データは、様々な方法で得ることができる。データを得る方法の１つは、コンピュータによって、ディジタル・ビデオまたは静止画カメラのようなビデオ・デバイスからビデオ・データを取り込むことによる。図２は、ビデオ・デバイスからビデオを取り込むプロセスを示す。最初に、コンピュータはデバイスからビデオ・データを読み取る（段階２０２）。コンピュータは、ＩＥＥＥ１３９４（Firewire)またはＵＳＢ２のような、従来のデータ・ポートを介してデータを読み取ることができる。ビデオ・データは、ビデオ・カメラからのビデオ映像、カメラからの静止画像、あるいはケーブルまたは衛星ＴＶシステムからのビデオ信号を含むことができる。
次いで、コンピュータは、データを、磁気ハード・ドライブのような記憶装置に格納する（段階２０４）。次に、ビデオ・デバイスから取り込まれる殆どのビデオ・データは、Ｍ．Ｐ．Ｅ．Ｇ．のような従来のフォーマットにしたがってエンコードされるので、コンピュータは、ビデオ・データを表示可能となるようにデコードする（段階２０６）。次に、コンピュータはデコードしたビデオ・データをグラフィック・カードに転送する（段階２０８）。最後に、グラフィック・カードがデコード・データを処理し、このデータを表示する（段階２１０）。
前述のビデオ編集方法では、データを読み返すことが必要となるために、リアル・タイムでのビデオの編集が妨げられる場合がある。更に、コンピュータのリソースを浪費する様々な欠点がある。更に、グラフィック・アプリケーション・プログラミング・インターフェース（例えば、direct X）内のコールはいずれも、オペレーティング・システム（「ＯＳ」）からの最も高い優先度を有することができる。ビデオ・デバイス・ドライバにおけるストール(stall)は「リング０」ストールであるので、インターフェースのコールにより「ＣＰＵ不感時間」が生ずる。言い換えると、ＧＰＵがエフェクトを処理し作成している際、ビデオ・デバイス・ドライバは表示のためにその結果を待つことになる。ビデオ・デバイス・ドライバは優先度が最も高いので、ビデオ・デバイス・ドライバがＧＰＵの処理終了を待っている間、他の全てのコンピュータ・プロセスが遅れることになる。このため、ドライバがＧＰＵからの結果を待っているとき、コンピュータはＣＰＵサイクルを失い、ＣＰＵをデコードのために利用できる可能性が低下する。加えて、グラフィック・カードからのリード・バックは、非同期のリード・バックである可能性があり、リード・バックが終了するまで、ＣＰＵを停止させることになり得る。
従来、殆どのビデオ信号は標準規定（「ＳＤ」）ビデオであり、ストリーム当たりのレートは７２０×４８０×２×３０＝４１ＭＢ／ｓである。しかし、解像度が１０８０ｐである高品位（「ＨＤ」）ビデオの出現により、入来ビデオ・レートは、ストリーム当たり１９２０×１０８０×２×６０＝２５０ＭＢ／ｓとなる場合がある。このために、遥かに多い量のデータがビデオ・キャプチャおよび編集プロセスに流入する。したがって、前述の欠点が悪化することになる。
これらの問題に答えて、リアル・タイムでのビデオ編集に対処するために、様々な特化した製品が作成されている。Matrox Flex 3Dシステムは、特殊グラフィックおよびデコーダ・ボードを用いてリアル・タイム・エフェクトを創造する。Silicon Graphics Ocatane システムは、特殊グラフィック・ハードウェアを用いてリアル・タイム・エフェクトを創造する。Softimage DSシステムは３Ｄでビデオを編集するが、リアル・タイムで再生することはできない。Avid Real Vision HD10は、特殊ハードウェアを利用してリアル・タイム・エフェクトを創造する。しかしながら、これらの製品全てにおいて、特殊ハードウェア・デコーダ、グラフィック・ボード、または特殊コンピュータが、リアル・タイム・ビデオ編集には必要である。このように、従来のパーソナル・コンピュータおよびその他の汎用計算機は、特殊ハードウェアがなければ、リアル・タイム・ビデオを実行することができない。
したがって、本発明は、関連技術の１つ以上の限界や欠点を未然に回避する、リアル・タイム二次元および三次元、単一品位、および高品位ビデオ・エフェクト用のグラフィック・ハードウェアを用いるためのシステムおよび方法を目的とする。
本発明に係る態様によれば、未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理する方法を実行するための命令を含む方法、システム、およびコンピュータ読み取り可能媒体は、ビデオ・データに付加するエフェクトを作成し、ビデオ・データから事前伸張ビデオ・データを生成し、エフェクトを記述するパラメータを決定するためにアプリケーション・スレッドを実装し、事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするためにアップロード・スレッドを実装し、デコード・ビデオ・データを生成するために、事前伸張ビデオ・データをデコードするためにデコード・スレッドを実装し、出力ビデオ・データを生成するために、エフェクトをデコード・ビデオ・データにレンダリングするためにレンダリング・スレッドを実装し、出力ビデオ・データを発表するためにプレゼンタ・スレッドを実装することから成る。
本発明に係る態様によれば、未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理する方法を実行するための命令を含む方法、システム、およびコンピュータ読み取り可能媒体は、ビデオ・データを受信し、エフェクトを作成し、ビデオ・データから事前伸張ビデオ・データを生成し、事前伸張ビデオ・データをビデオ・ハードウェアにアップロードし、デコード・ビデオ・データを生成するために、事前伸張ビデオ・データをデコードし、エフェクトを記述するパラメータを決定し、出力ビデオ・データを生成するために、エフェクトをデコード・ビデオ・データにレンダリングし、出力ビデオ・データを発表することから成る。
本発明に関係する更に別の態様は、部分的に、以下に続く説明において明記されており、部分的に、その説明から自明であり、あるいは本発明の実施によって習得することができる。本発明の態様は、添付した特許請求の範囲において特定的に指摘した要素および組み合わせによって実現および達成することができる。
尚、以上の記載および以下の記載は、例示であり説明に役立てるために過ぎず、特許請求する発明を限定することは全く意図していないことは言うまでもない。
添付図面は、本願に組み込まれその一部をなしており、本発明のある種の態様を例示し、その説明と共に示し、本発明に関連する原理の一部を説明するために用いられる。
これより、本発明の実施形態例について詳細に説明する。その例は添付図面に示されている。可能なときはいつでも、同じまたは同様の要素に言及する際には、同じ参照番号を図面全体にわたって用いることとする。添付図面は、本発明に係る実施形態および実施態様の例を示し、当業者が本発明を実施することを可能にするように十分詳細に説明している。実施形態例の説明は、他の実施形態や実施態様が本発明の範囲に該当しないことを示すのでも暗示するのでもない。他の実施態様も利用可能であり、本発明の範囲から逸脱することなく構造や方法の変更が可能であることは言うまでもない。
全体像
本発明によるプロセスは、ビデオ「エフェクト」の発生、エフェクトのパラメータの供給、サンプルおよびビットマップのアップロード、サンプルのデコード、エフェクトのレンダリング、エフェクトの出力、およびリソースのリリースに関する。計算効率の向上を可能とし、リアル・タイムでエフェクトの導入および編集を可能にするように、ＣＰＵおよびＧＰＵを利用するように、プロセスが調整されている。
計算効率の向上は、処理の直列化を回避することによって達成する。これは、多数のスレッドを利用して計算効率を最大限高めることによって遂行することができる。アップロード、デコード、レンダリング、およびプレゼンテーションからのプロセスの各々は、独立したスレッドによって行われ、エフェクトの発生において並列処理を可能とする。更に、計算効率を高めるにあたって、編集ビデオが完成したときにのみ編集ビデオにアクセスすることにより、ＧＰＵ関連ドライバの停止を回避する。これは、ドライバ・ブラインド(driver blind)をコールすること、またはグラフィック・ハードウェアとＣＰＵとの間の衝突を回避するためにコマンドを遅らせる代わりに、クエリ・プロセスまたは非停止ロック(non stalling lock)を用いることによって遂行することができる。加えて、データをグラフィック・ハードウェアにコピーする際にＣＰＵを用いる代わりに、バス・マスタリングを利用すれば、直接アクセスの遅延を回避することができる。
様々な用語が本明細書全体を通じて利用されている。以下の用語の概説は、各用語の一般的なあらましを規定する。しかしながら、これらの用語のあらましは、用語を規定する例に限定することを意図しているのではなく、当技術分野において認められる同等の意味を全て包含することを意図している。
３Ｄ−サーバ： ２Ｄ／３Ｄ関連動作およびリソース管理を実行するように構成されているアプリケーション拡張部。
スレッド：アプリケーション、プログラム、またはアプリケーション拡張部が実行する１回のプロセス。
エフェクト： 「３Ｄ−サーバ」が処理することができるあらゆる種類の２Ｄ／３Ｄ効果。例には、１つのビデオ・ストリームを異なるビデオ・ストリームの中に表示する（ピクチャ・イン・ピクチャ、「ＰＩＰ」）、グラフィックをタイトルのようなビデオに追加する、静止画像をビデオに追加する、ビデオ・フレームを繋ぐ、およびフレーム間に推移エフェクトを追加するというような、ビデオの併合が含まれる。
タイムライン：エフェクトを用いて組み合わせることができる多数のビデオまたは静止画データ。
サンプル：タイムラインの一部。例えば、サンプルはビデオ・データの１フレームとすることができる。
サンプル・オブジェクト：エフェクトを作成する際に用いられる情報を収容するメモリ構造。情報は、サンプル、サンプルに対する参照、異なるスレッドが発行するコマンド（スヌーピング）、異なるスレッドが発行するコマンドの結果、および小トンあるスレッドが発行するコマンドのタイミングを含む。
バス・マスタリング： ＣＰＵとの相互作用が全くなく、システム・メモリから直接データを検索するプロセス。
周辺構成要素相互接続（「ＰＣＩ」）：Intel社がＩ／Ｏ周辺素子をＣＰＵに接続するために最初に設計した高速パラレル・バス。
ＰＣＩエクスプレス：ＰＣＩソフトウェア使用モデルを維持し、物理バスを、多数のレーンを提供する高速（２．５Ｇｂ／ｓ）シリアル・バスと置き換えるＰＣＩの発展バージョン。
アクセラレィティッド・グラフィック・ポート（「ＡＧＰ」）： グラフィック・カードから主メモリに直接接続を設けるバス。
ＡＧＰメモリ：ＧＰＵがアクセスすることができる、ＣＰＵが使用するためにシステムに内蔵されているメモリ。ＡＧＰまたはＰＣＩエクスプレスを使用しない場合、ＣＰＵは遅い可能性があるデータをコピーする必要がある場合もある。
サーフェイス(surface)： システムが画像または抽象データ用コンテナと解釈するメモリ・バッファ。サーフェイスは、ＡＧＰメモリまたはローカル・ビデオ・メモリのいずれかに内蔵することができる。
空きサーフェイス・リスト：割り当てられたサーフェイス全てが入っているリスト。異なる種類のサーフェイス毎に異なるリストがあってもよい。「空きリスト」を求めるスレッドのようなプロセスは、新たなサンプルが使用可能になると直ちに開始する。
コマンド・パケット：スレッド間で受け渡されるコマンドを含むデータ構造。
スヌーピング・コマンド： ダミー・コマンドであり、ＧＰＵおよび３Ｄアプリケーション・プログラム・インターフェース（「ＡＰＩ」）が対応する。プロセスがＧＰＵによって実行されたか否か判定するために、問い合わせることができる。あるいは、スヌーピング・コマンドは、ＡＰＩの「使用中」(in use)クエリを用いるか、または単にある時間（例えば、いつサーフェイスを用いたかに応じて、５ｍｓまで）待機することによって、エミュレートすることができる。
図３は、本発明に関係する態様にしたがって、リアル・タイムでエフェクトを含ませるためにビデオを編集する処理システム上で実行する多数のスレッドを利用する総合プロセス３００を示す。概略的に、プロセス３００はビデオ・タイムラインのサンプルを取り込み、このサンプルを多数のスレッド間で受け渡して処理する。
プロセス３００が開始すると、プロセス３００が用いる各スレッド、即ち、アプリケーション・スレッド、アップロード・スレッド、デコーダ・スレッド、レンダリング・スレッド、プレゼンタ(presenter)スレッド、およびリリース・スレッドを実装する（段階３０１）。次いで、処理システムはサンプルをアプリケーション・スレッドに渡し、ビデオに要求されるエフェクトを作成する（段階３０２）。次いで、アプリケーション・スレッドは、「事前分解ビデオ」(pre-decomposed video)を生成する。事前分解ビデオとは、ＭＰＥＧのようなフォーマットによって圧縮され、データ・パケットまたはその他の静的画像を含むことができるビデオ・データである。次に、処理システムは、サンプルをアップロード・スレッドに渡し、事前分解ビデオをグラフィック・カードにアップロードする（段階３０４）。処理システムにおける処理を減らすために、アップロード・スレッドはバス・マスタリング・プロセスを利用して、ビデオ・データをグラフィック・カードにアップロードしてもよい。
次いで、処理システムはサンプルをデコーダ・スレッドに渡し、ビデオ・データの最終デコードを実行する（段階３０６）。即ち、ＭＰＥＧのようなフォーマットで圧縮することができるビデオ・データをデコードして、生のビデオ・データを得る。
続いて、処理システムはサンプルをレンダリング・スレッドに渡し、エフェクト・データを生成して、エフェクトをレンダリングする（段階３０８）。一旦エフェクトをレンダリングすると、処理システムは、レンダリングしたサンプルをプレゼンタ・スレッドに渡し、レンダリングしたビデオ・サンプルを出力する（段階３１０）。次いで、一旦ビデオを出力したなら、処理システムは用いたリソース全てをリリース・スレッドに渡し、ビデオを編集する際に用いたリソースをリリースする（段階３１２）。
プロセス３００においては、前述の段階のいずれでも、処理システム内にある多数の処理ユニットを利用して、スレッドを並列に実行することができる。例えば、デコーダ・スレッド（段階３０６）およびレンダリング・スレッド（段階３１０）は、処理システム上の異なる処理ユニットによって実行することができる。
プロセス３００では、アップロード、デコード、レンダリング、およびプレゼンテーションからのプロセスの各々が、独立したスレッドによって実行されるので、処理システムは、エフェクトを生成するために、並列で処理を実行することができる。更に、各スレッドがそのそれぞれの処理を完了した後、スレッドはスヌーピング・コマンドを実行して、プロセスが完了したことを示すことができる。更に、各プロセスの完了がわかるので、編集したビデオにアクセスするのを編集したビデオが完了したときにのみにして、ＧＰＵ関連ドライバの停止を回避することによって、計算効率を高めることができる。
環境およびプロセスの一例
図４は、本発明に関係する方法およびシステムを、ある実施形態にしたがって実施することができる環境例４００を示す。環境４００は、ビデオ処理ユニット４０１、ネットワーク４２２、入力デバイス４２４、ビデオ入力デバイス４０２、および出力デバイス４１８を含むことができる。
ビデオ処理ユニット４０１は、パーソナル・コンピュータ、移動計算機（例えば、ＰＤＡ）、移動通信デバイス（例えば、セル・ホーン）、セット・トップ・ボックス（例えば、ケーブルまたは衛星ボックス）、ビデオ・ゲーム・コンソール、スマート・アプライアンス(smart appliance)、またはユーザがビデオ・データを受信し処理することを可能にする構造であればその他のいずれでもよい。一構成例では、ビデオ処理ユニット４０１は、データ・ポート４０４、記憶モジュール４０６、ＣＰＵ４０８、メモリ４１０、グラフィック・モジュール３１２、およびネットワーク・インターフェース４２０を含み、少なくとも１つのバス４０３によって相互接続することができる。
環境４００において、入力デバイス４２４はデータ・ポート４０４に結合されている。入力デバイス４２４は、少なくとも１つのユーザ作動入力モードを含み、コマンドを入力することにより、複数のプロセッサ処理モードから選択することができる。入力デバイス４２４は、キーボード、マウス、および／またはタッチ・スクリーンのような構成要素を含むことができる。加えて、前述のように、入力デバイス４２４は１つ以上のオーディオ・キャプチャ・デバイスを含む。例えば、入力デバイス４２４は、ユーザが可聴発声を入力することができるマイクロフォンを含むことができる。したがって、入力デバイス４２４は、入力された発声を認識し解析する音声認識ソフトウェアを含むこと、またはこれに結合することができる。音声認識ソフトウェアは、メモリ４１０内に位置することができる。入力デバイス４２４は、加えてまたは代わりに、データ読み取りデバイスおよび／または入力ポートを含むこともできる。
ビデオ・入力デバイス４０２は、データ・ポート４０４にも結合されている。ビデオ入力デバイス４０２は、少なくともビデオ・カメラ、静止画カメラ、またはしかるべきビデオ生成デバイスであればその他のいずれでも含むことができる。加えて、ビデオ入力デバイス４０２は、１つ以上のビデオ・キャプチャ・デバイス（例えば、スキャナ）、ビデオ・レコーダ、またはビデオ・データを供給可能ないずれのデバイスでも含むこともできる。
記憶モジュール４０６は、ビデオ処理ユニット４０１に大容量ストレージを設けることができる。記憶モジュール４０６は、種々の構成要素またはサブシステムを用いて実施することができ、例えば、ハード・ドライブ、光ドライブ、ＣＤＲＯＭドライブ、ＤＶＤドライブ、汎用記憶装置、着脱可能記憶装置、および／または情報を格納可能なその他のデバイスを含む。更に、記憶モジュール４０６はビデオ処理ユニット４０１内に示されているが、記憶モジュール４０６はビデオ処理ユニット４０１の外部に実装することもできる。
記憶モジュール４０６は、ビデオ処理ユニット４０１がネットワーク４２２、入力デバイス４２４、およびビデオ入力デバイス４０２と通信するためのプログラム・コードおよび情報を含むことができる。記憶モジュール４０６は、例えば、種々のクライアント・アプリケーションや、Microsoft Corporationが提供するWindowsオペレーティング・システムのようなオペレーティング・システム（ＯＳ）のプログラム・コードを含むことができる。加えて、記憶モジュール４０６は、他のプログラム・ネットワーク通信、カーネルおよびデバイス・ドライバ、コンフィギュレーション情報、ビデオ表示および編集、ならびにビデオ処理ユニット４０１上に実装され得るその他のアプリケーションを含むこともできる。
ビデオ処理ユニット４０１におけるＣＰＵ４０８は、命令を実行するように動作的に構成することができる。ＣＰＵ４０８は、構成要素およびデバイス間で情報の経路を決定するため、そしてメモリ４１０からの命令を実行するために構成することができる。図４は単一のＣＰＵを示すが、ビデオ処理ユニット４０１は複数の汎用プロセッサおよび／または特殊目的プロセッサ（例えば、ＡＳＩＣＳ）を含むこともできる。また、ＣＰＵ４０８は、例えば、１つ以上の以下のものを含むこともできる。コプロセッサ、メモリ、レジスタ、ならびに適宜のその他の処理デバイスおよびシステム。ＣＰＵ４０８は、例えば、Intel Corporationから供給されているPentiumTMプロセッサを用いて実施することができる。
メモリ４１０は、情報を格納することができるシステムおよび／または機構であればいずれでも含むことができる。メモリ４１０は、種々の構成要素および／またはサブシステムによって具体化することができ、ランダム・アクセス・メモリ（「ＲＡＭ」）、リード・オンリ・メモリ（「ＲＯＭ」）、磁気および光記憶エレメント、有機記憶エレメント、オーディオ・ディスク、ならびにビデオ・ディスクを含む。メモリ４１０は、プログラム・コード等のために、ＣＰＵ４０８に主メモリを設けることができる。メモリ４１０は、例えば、Microsoft Corporationが提供するWindowsオペレーティング・システムのようなオペレーティング・システム（ＯＳ）、ネットワーク通信、カーネルおよびデバイス・ドライバ、コンフィギュレーション・メモリ、ビデオ表示および編集、ならびにビデオ処理ユニット４０１上に実装され得るその他のアプリケーションのプログラム・コードを含むことができる。
単一のメモリを示すが、ビデオ処理ユニット４０１にはいずれの数のメモリ・デバイスでも含むことができ、各々は個別の機能を実行するために構成することができる。ビデオ処理ユニット４０１が、記憶モジュール４０６内にインストールされているアプリケーションを実行するとき、ＣＰＵ４０８は記憶モジュール４０６からメモリ４１０にプログラム・コードの少なくとも一部をダウンロードすることができる。ＣＰＵ４０８がプログラム・コードを実行する際、ＣＰＵ４０８はプログラム・コードの追加部分も記憶モジュール４０６から検索することもできる。
グラフィック・モジュール４１２は、ビデオおよびグラフィック・データを処理し、ビデオおよびグラフィック・データを出力することができるシステムおよび／または機構であればいずれでも含むことができる。グラフィック・モジュール４１２は、種々の構成要素および／またはサブシステムによって具体化することができ、ＧＰＵ４１４およびビデオ・メモリ４１６を含む。グラフィック・モジュール４１２は、例えば、ＡＧＰ、ＰＣＩ、またはＰＣＩエクスプレスのような種々の規格に準拠する、しかるべきグラフィック・アクセレレータであればいずれを用いてでも実施することができる。
ＧＰＵ４１４は、ビデオおよびグラフィックに関連する命令を実行するように動作的に構成することができる。ＧＰＵ４１４は、構成要素およびデバイス間で情報の経路を決定するため、そしてＣＰＵ４０８およびメモリ４１０からの命令を実行するために構成することができる。ＧＰＵ４１４は、１つまたは複数の汎用プロセッサおよび／または特殊目的プロセッサ４１４を含むことができる。また、ＧＰＵ４１４は、例えば、コプロセッサ、メモリ、レジスタ、ならびに適宜の処理デバイスおよびシステムの内、１つ以上を含むこともできる。
ビデオ・メモリ４１６は、情報を格納することができるのであればいずれのシステムおよび／または機構でも含むことができる。ビデオ・メモリ４１６は、種々の構成要素および／またはサブシステムによって具体化することができ、ＲＡＭおよび／またはリード・オンリ・メモリＲＯＭを含む。ビデオ・メモリ４１６は、ＧＰＵ４１４に主メモリを提供することができる。単一のメモリを示すが、いずれの数のメモリ・デバイスでもビデオ・メモリ４１６を構成することもでき、各々、別個の機能を実行するように構成することができる。
ビデオ処理ユニット４０１は、ネットワーク・インターフェース４２０を介してネットワーク４２２に接続することができ、ネットワーク・インターフェース４２０は有線および／またはワイヤレス通信リンクを介して動作的に接続することができる。ネットワーク・インターフェース４２０は、ネットワーク・カードおよびイーサネット・カードのような、ネットワーク４２２あるいは外付けイーサネットＬＡＮ(attached Ethernet LAN)、シリアル・ライン等のような他のいずれのネットワークに情報を送出し、ネットワーク４２２から情報を受信するのに適した機構であれば、いずれでもよい。一構成では、ネットワーク・インターフェース４２０は、ビデオ処理ユニット４０１に処理ユニットおよびインターネットと相互作用させることもできる。
ネットワーク４２２は、インターネット、仮想個人ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、広帯域ディジタル・ネットワーク、あるいは２つ以上のノード即ち場所間における通信を可能にするのであれば他のいずれの構造でもよい。ネットワーク４２２は、共有、公用、または私用データ・ネットワークを含むことができ、広域または局在域を包含することができる。ネットワーク４２２は１つ以上の有線および／またはワイヤレス接続を含むことができる。ネットワーク４２２は、Transmission Control and Internet Protocol（ＴＣＰ／ＩＰ）、Asynchronous Transfer Mode（ＡＴＭ）、イーサネット、またはネットワーク一間において通信を制御する他のいずれの手順の集合体というような、通信プロトコルを採用することができる。ある実施形態では、ネットワーク４２２は電話サービスも含むおよび／または提供することもできる。このような実施形態では、ネットワーク４２２は公衆電話交換網（「ＳＴＴＮ」）に含まれる、および／またはこれを利用する (leverage)ことができる。あるいは、ネットワーク４２２は、ボイス・オーバー・インターネット・プロトコル（「ＶｏＩＰ」）技術を利用することもできる。ある実施態様では、ネットワーク４２２は、ＰＳＴＮおよびＶｉＯＰ技術を含む、および／またはこれらを利用することもできる。
出力デバイス４１８は、陰極線管、液晶、発光ダイオード、ガス・プラズマ、またはその他の種類の表示機構によって、グラフィック・モジュール４１２が出力するテキスト、画像、またはその他の種類の情報を視覚的に表示するように構成することができる。例えば、出力デバイス４１８はコンピュータ・モニタであってもよい。加えてまたは代わりに、出力デバイス４１８は、聴取可能に送出するように構成することもできる。例えば、出力デバイス４１８は、スピーカのように、可聴音響をユーザに出力するオーディオ出力デバイスを含むこともできる。したがって、出力デバイス４１８は、合成した人の発声または予め記録した人の発声を生成するように構成したオーディオ・ソフトウェアを含むか、またはこれに結合することができる。このようなソフトウェアは、メモリ４１０内に位置し、相互作用するように構成することができる。出力デバイス４１８は、ユーザの双方向処理を可能とするために、入力デバイス４２４と共に用いるとよい。
前述のように、ビデオ処理ユニット４０１は、図４に示すものよりも多いおよび／または少ない構成要素を備えていてもよく、ビデオ処理ユニット４０１内に内蔵される構成要素の１つ以上は、追加のサービス、データおよび／またはユーザに対処するために、規模が調整可能とするとよい。
図４が示す種々の構成要素は全てビデオ処理ユニット４０１内に位置するが、ビデオ処理ユニット４０１の構成要素の１つ以上は、ネットワーク４２２に結合されている１つ以上の他の処理ユニット（図示せず）、または他の場所に存在することができ、またはこれらの間で分散することもできる。例えば、アプリケーションは他の処理ユニット内に位置することができ、記憶モジュール４０６はビデオ処理ユニット４０１の外部に位置することができ、ネットワーク４２２を通じてビデオ処理ユニット４０１に結合することができる。また、前述のように、いずれの数の処理ユニットでも環境４００に含むことができるのは、言うまでもない。
本発明の代替実施態様では、複数の他の処理ユニット（図示せず）の各々が、それぞれ、ビデオ処理ユニット４０１の全てまたは一部の複製または変形(version)を内蔵することもできる。このような実施態様では、各変形は、互いに排他的にまたは共同して動作することができる。
図５Ａおよび図５Ｂは、本発明に関係する態様にしたがって、エフェクトを作成しビデオを編集するためのプロセス例５００を示す。プロセス５００は、図４に示す環境４００上で実行することができる。
エフェクトおよびビデオ編集は、ビデオ処理ユニット４０１上で実行するアプリケーションに応答して行われる。アプリケーションは、ビデオ処理ユニット４０１のユーザによって、入力デバイス４２４を介して開始することができる。加えて、アプリケーションは、常時ビデオ処理ユニット４０１上で実行し、受信したいずれのビデオに対してもビデオ編集を行うようにすることができる。また、アプリケーションはビデオ・データの入力または受信によって開始することができる。アプリケーション例には、ビデオまたはグラフィック・データおよび３Ｄ−サーバを利用する一人以上のユーザまたはその他のデバイスに特定の機能を実行するように設計された、しかるべき種類のプログラムであればいずれでも含むことができる。アプリケーションは、１つ以上のワード・プロセッサ、データベース・プログラム、インターネット、エクストラネット、および／またはイントラネット・ブラウザあるいはウェブサイト、開発ツール、スケジューリング・ツール、ルーティング・ツール、通信ツール、メニュー・インターフェース、ビデオ表示プログラム、ビデオまたは２Ｄ／３Ｄ効果を含むゲーム・プログラム、ビデオ記録プログラム、ならびにオーディオおよび／またはビデオ編集プログラムを備えることができる。アプリケーションは、いずれの構造的、手続き的、オブジェクト指向、またはその他の種類のプログラミング言語で書かれたデータでも操作する命令の集合体とすることができる。図示のように、アプリケーションは、当該アプリケーションとの双方向処理の利用を容易にするＧＵＩのような、ユーザ・インターフェースを備えることができる。
アプリケーションは、記憶モジュール４０６および／またはメモリ４１０に格納することができる。加えて、アプリケーションは、ネットワーク４２２を通じて、または入力デバイス４２４から受信することができる。アプリケーションが記憶モジュール４０６にインストールされている場合、ＣＰＵ４０８は記憶モジュール４０６からメモリ４１０にプログラム・コードの少なくとも一部をダウンロードすることができる。ＣＰＵ４０８がプログラム・コードを実行すると、ＣＰＵ４０８は記憶モジュール４０６からプログラムの追加部分も検索することができる。
処理するビデオ・データは、環境４００の種々の構成要素によって取得または受信することができる。ビデオ・データは、ビデオ入力デバイス４０２またはネットワーク４２２から取得または受信することができる。加えて、ビデオ・データは、記憶モジュール４０６および／または４１０に格納し、アプリケーションを起動するときにアクセスするか、あるいはアプリケーションを起動するときにこのアプリケーションによって作成することができる。
アプリケーションを起動した後、プロセス５００が開始する。プロセス５００において、１組の多数のスレッドを利用して、種々の編集処理段を実行する。最初に、アプリケーションは、当技術分野では周知の方法で、再生時点に先だって（即ち、エフェクトを表示または利用する予定を立てる前に）エフェクトを作成する（エフェクトは単一のエフェクトまたは多数のエフェクトでもよい）（段階５０２）。アプリケーションは、エフェクトの複雑度または数に応じて、単一および／または多数のアプリケーション・スレッドを用いてエフェクトを作成することができる。エフェクトの一例を上げるとすれば、ディジタル・バーサタイル・ディスク（ＤＶＤ）において別個のビデオ・データまたはメニューを組み合わせるＰＩＰであろう。次いで、アプリケーションはエフェクトのテキスト・ディスクリプションを３Ｄ−サーバにアップロードする（段階５０４）。アプリケーションは、エフェクトをインスタンス化し、解釈し、準備する（段階５０６）。３Ｄ−サーバは、Pinnacle StudioまたはLiquidのようなビデオ編集プログラムの一部である、アプリケーション拡張部としてもよい。
次に、アプリケーションは、タイムラインの一部である事前伸張ビデオ・データを生成または特定する。タイムラインは、最大長動画ビデオまたは単一静止映像のような、いずれの長さのビデオ・データでもよい。アプリケーションは、単一および／または多数のアプリケーション・スレッドを用いて、ビデオ・データを生成または特定することができる。事前伸張ビデオ・データは、ビデオ・パケットおよび／またはタイトルのようなその他の静止画像を含むことができる。タイムラインを異なるトラックに分割することもできる。例えば、最大長動画ビデオでは、各トラックはビデオ・データの１フレームとすることができる。タイムラインにおけるトラック毎に、アプリケーションは、エフェクトを準備するために必要なビデオ・データのサンプル全てを読み出すかまたは生成し、サンプルが圧縮されているか否か判定し、恐らくは部分的にサンプルをデコードし、このサンプルを３Ｄサーバ／アップロード・スレッドに渡す。例えば、アプリケーションは、記憶モジュール４０６またはビデオ入力デバイス４０２からビデオ・データのサンプルを読み出すことができる。加えて、テキスト・データのようなビデオ・データは、アプリケーションが生成してもよい。
アプリケーションは、読み取ったまたは生成した最初のサンプルのためにサンプル・バッファを割り当てる（段階５０７）。サンプル・バッファは、メモリ４１０または記憶モジュール４０６のメモリに内蔵することができる。次いで、アプリケーションは、サンプルが圧縮されているか否か判定を行う（段階５０８）。サンプルが圧縮されている場合、アプリケーションは部分的に圧縮サンプルをデコードすることができる。
サンプルが圧縮されている場合、アプリケーションはサンプルをデコード・バッファに読み込む（段階５０９）。デコード・バッファは、メモリ４１０または記憶モジュール４０６のメモリに内蔵することができる。次いで、アプリケーションは部分的にデコードしたサンプルをサンプル・バッファに読み込む（段階５１０）。次に、アプリケーションはサンプル・バッファをアップロード・スレッドに渡す（段階５１３）。
サンプルが圧縮されていない場合、アプリケーションはサンプルをサンプル・バッファに読み込む（段階５１２）。次に、アプリケーションはサンプル・バッファをアップロード・スレッドに渡す（段階５１３）。
作成したエフェクトは１つよりも多いサンプルを有する場合がある。アプリケーションは、全てのサンプルを読み終えたか否か判定を行う（段階５１４）。全てのサンプルを読み終えていない場合、アプリケーションは、サンプル・バッファの割り当て、およびサンプルが圧縮されているか否かの判定を繰り返す（段階５０７〜５１３）。全てのサンプルを読み終わり、アップロード・スレッドに渡した後、アップロード・スレッドはアップロード処理に移る。
次に、サンプル・オブジェクトをグラフィック・ハードウェア４１２のビデオ・メモリ４１６にアップロードする。サンプル・オブジェクトは、初期状態では、ＡＧＰメモリ・サーフェイスを含む。サーフェイスの可用性およびステータスによっては、サンプル・オブジェクトの割り当てには十分な量の時間が必要となる場合がある。サーフェイスの可用性およびステータスは、サーフェイスの付随するスヌーピング・コマンドを用いてチェックすることができる。スヌーピング・コマンドは、ＧＰＵおよび３Ｄアプリケーション・プログラム・インターフェース（「ＡＰＩ」）が対応するダミー・コマンドでもよく、ＧＰＵがプロセスを実行したか否か判定するために問い合わせることができる。あるいは、スヌーピング・コマンドは、ＡＰＩの「使用中」問い合わせ(in use inquire)を用いて、または単にある時間待機する（例えば、サーフェイスをいつ用いたかに応じて５ｍｓまで）ことによってエミュレートしてもよい。
アップロード・プロセスは、３Ｄ−サーバのアップロード・スレッドによって実行することができる。３Ｄサーバ／アップロード・スレッドは、アプリケーションからのコマンドを待つ（段階５１５）。アップロード・スレッドがサンプル・オブジェクト、コマンド・パケット、およびサンプル・バッファを得ると直ぐに、アップロード・スレッドの仕様に必要なビデオ・メモリ・サーフェイスが利用可能となるまで、アップロード・スレッドは待機する（段階５１６）。例えば、サンプル・オブジェクトは、ある量のメモリまたは色空間形式(color space type)を必要とする場合がある。ビデオ・メモリ４１６において、必要なサイズまたは色空間形式が得られない場合、アップロード・スレッドは、メモリが利用可能となるまで待機する。次に、アップロード・スレッドは、ビデオ・メモリ・サーフェイスをチェックし、保留中の動作があるか調べる（段階５１８）。サーフェイスをチェックするには、未処理のスヌーピング・コマンドまたは３Ｄ ＡＰＩの「使用中」問い合わせを用いればよい。次いで、サーフェイスの準備ができたなら、アップロード・スレッドはアップロード・コマンドを発行する（段階５２０）。時間前に予めエフェクトを準備しているので、グラフィック・モジュール４１２はサンプル・オブジェクトのアップロードを待っていない。例えば、アップロード・スレッドは、バス・マスタリング・プロセスを用いて、データをビデオ・メモリ・サーフェイスにコピーすることができる。更に、アップロード・スレッドは、アップロード・コマンドの実行時点を書き留め、スヌーピング・コマンドを発行し、両メモリ・サーフェイス上に書き留める（段階５２２）。
次いで、アップロード・スレッドは、サンプル・オブジェクトに収容されているサンプルが圧縮されているか否か判定を行う（段階５２３）。例えば、ビデオ・データは、ＭＰＥＧのような標準フォーマットを用いて圧縮することができる。サンプル・オブジェクトに収容されているビデオ・データが伸張を必要としない場合、アップロードはサンプル・オブジェクトをアップロードしたとして通知する（段階５２４）。次いで、事前に伸張したビデオ・データを収容した新たなビデオ・メモリ・サーフェイスをサンプル・オブジェクトに付加し、サンプル・オブジェクトおよびコマンド・パケットをレンダリング・スレッドに渡す（段階５２５）。次いで、アップロード・スレッドは、ＡＰＧメモリ・サーフェイスが他の目的に用いられていなければ、これを空きサーフェイス・リストの末尾に入れることにより、いずれの待機中のプロセスをもリリースする（段階５２６）。
サンプルがデコードを必要とする場合、デコーダ・スレッドを用いてデータを伸張する。アップロード・スレッドは、サンプル・オブジェクトおよびコマンド・パケットをデコーダ・スレッド・キューに入れる（段階５２８）。次いで、アップロード・スレッドは、ＡＰＧメモリ・サーフェイスが他の目的に用いられていなければ、これを空きサーフェイス・リストの末尾に入れることにより、いずれの待機中のプロセスをもリリースする（段階５３０）。
次いで、アップロード・スレッドは段階５１６に戻り、アップロードを必要とする次のサンプル・オブジェクトに対しての処理を開始する。
図６は、本発明に関係する態様にしたがって、デコーダ・スレッドによってサンプル・データをデコードするプロセスを示す。デコード・プロセスは、３Ｄ−サーバのデコーダ・スレッドによって実行することができる。デコーダ・スレッドは連続的に実行し、キュー内に置くサンプル・オブジェクトおよびコマンド・パケットを待つ。最初に、デコーダ・スレッドはキューをチェックして、サンプル・オブジェクトおよびコマンド・パケットがあるか否か調べる（段階６０２）。サンプル・オブジェクトおよびコマンド・パケットがキューの中にある場合、デコーダ・スレッドはデコード・プロセスに進む。ない場合、デコーダ・スレッドはサンプル・オブジェクトおよびコマンド・パケットを待つ。また、デコード・スレッドは、スヌーピング・コマンドが発行され実行されるまで待機してもよい。あるいは、デコーダ・スレッドはある時間期間待機する。例えば、この時間期間は、現時点およびコマンドが発行された時点の何らかの関数としてもよい（例えば、ｍａｘ（０．５ｍｓ−<現時点＞−＜コマンドが発行された時点＞）。次いで、デコーダ・スレッドは、デコードしたデータのために、新たなビデオ・メモリ・サーフェイスを取得する（段階６０４）。新たなビデオ・メモリ・サーフェイスは、例えば、ビデオ・メモリ４１６に含まれていてもよい。例えば、サーフェイスは未圧縮カラー・フォーマットと一致していてもよい。
次いで、サーフェイスには未処理のアクションがあってはならないので、デコーダ・スレッドは、新たなビデオ・メモリ・サーフェイスが何らかの未処理のアクションを収容しているか否か、スヌーピング・コマンドを発行することによって判定することができる（段階６０６）。次いで、デコーダ・スレッドはコマンドを発行し、デコード・プロセスを実行する（段階６０８）。デコード・プロセスは、「ｉＤＣＴ」（逆離散余弦変換）または「ｉＤＣＴ＋動き補償」のいずれかを含むことができる。ｉＤＣＴ／動き補償は、殆どのＧＰＵ上では別個のハードウェア・ユニットであり、ＧＰＵ４１４に含めることができ、これによってデコード・プロセスを３Ｄコマンドと並行して実行することが可能となる。必要であれば、これらのコマンドを発行した後に、コマンド時間およびスヌーピング・コマンドを発行し、両サーフェイスに書き留める（段階６１０）。次いで、デコーダ・スレッドはサンプル・オブジェクトをアップロードしたものとして通知する（段階６１１）。
最後に、デコーダ・スレッドは新たなビデオ・メモリ・サーフェイスをサンプル・オブジェクトに付加し、デコーダ・スレッドは、事前伸張ビデオを収容したビデオ・メモリ・サーフェイスを、空きバッファ・リストの末尾に入れ（この種のサーフェイスを待っているプロセスをリリースする）、新たなビデオ・メモリ・サーフェイスをサンプル・オブジェクトに付加する（段階６１２）。加えて、サンプル・オブジェクトおよびコマンド・パケットはレンダリング・スレッドに渡される（段階６１２）。デコーダ・スレッドは、次いで、キューをチェックし、新たなサンプル・オブジェクトに対してデコード処理を開始する。
アップロードおよびデコードを実行している間、アプリケーション・スレッドはある時点に対するエフェクト・パラメータを決定し続けることができる。アプリケーション・スレッドの決定は、必要なエフェクト全てを収集し、時間依存データを計算し、エフェクトのために使用したサンプル・オブジェクトを決定することを含めばよい（図５の段階５２８）。次いで、アプリケーションはこれらのエフェクト・パラメータをレンダリング・スレッドに渡し、これに応答して、レンダリング・スレッドは出力サンプル・オブジェクトを返す。次いで、出力サンプル・オブジェクトは、エフェクトを有するサンプル・オブジェクトがいつ完了するのかを判定するための参照として用いることができる（段階５３０）。３Ｄ−サーバは出力サンプル・オブジェクトのためにどの物理目標サーフェイスを用いるか規定していないので、出力サンプル・オブジェクトはプロキシのみである。
次に、レンダリング・スレッドは、エフェクトをレンダリングする。図７は、本発明の態様にしたがって、エフェクトをレンダリングするプロセスを示す。レンダリング・プロセスは、３Ｄ−サーバのレンダリング・スレッドによって実行することができる。サンプル・オブジェクトおよびコマンド・パケットをレンダリング・スレッドに渡し、レンダリング・キューに入れる。レンダリング・キューは、サンプル・オブジェクトおよびコマンド・パケットがあるか否かレンダリング・キューをチェックする（段階７０１）。サンプル・オブジェクトおよびコマンド・パケットがキューの中にある場合、レンダリング・スレッドはレンダリング・プロセスに進む。ない場合、レンダリング・スレッドはサンプル・オブジェクトおよびコマンド・パケットを待つ。加えて、レンダリング・スレッドは、レンダリングするエフェクトの種類に応じて、レンダリングを実行する前に、数個のサンプル・オブジェクトおよびコマンド・パケットを待つ場合もある。
レンダリング・スレッドは、アプリケーションが供給するエフェクト・パラメータに応じて、用いる各エフェクトを準備する（段階７０２）。次に、レンダリング・スレッドはターゲット・メモリ・サーフェイスを出力サンプル・オブジェクトに割り当てる（段階７０４）。ターゲット・メモリ・サーフェイスは、例えば、ビデオ・メモリ４１６に含むことができる。ターゲット・メモリ・サーフェイスは、メモリ４１０に含むこともできる。次いで、レンダリング・スレッドは、エフェクトに対するサンプル・オブジェクトがレンダリングの準備ができるまで待機する（段階７０６）。次いで、レンダリング・スレッドは、エフェクト・パラメータに応じて、エフェクトをレンダリングする（段階７０８）。レンダリング・スレッドは、スヌーピング・コマンドを発行し、これをサンプル・オブジェクトに付加する（段階７１０）。次いで、レンダリング・スレッドは、サーフェイスおよびリソースをリリースするプロセスを可能にするために、コマンド・パケットをリリース・スレッドに渡す（段階７１２）。
一旦ビデオを表示することが必要となると、スヌーピング・コマンドを実行し、３Ｄ−サーバは出力サンプル・オブジェクトおよびコマンドをプレゼンタ・スレッドに渡し、これらはプレゼンテーション用キューに入れられる（段階７１４）。スヌーピング・コマンドは各スレッドによって実行されているので、ビデオ処理ユニット４０１は、各プロセス・スレッドがその指定されたタスクを完了していることを知っている。レンダリング・スレッドは、次に、キューをチェックし、新たなサンプル・オブジェクトに対してレンダリング処理を開始する。
図８は、本発明の態様にしたがって、エフェクトを含むビデオを発表するプロセスを示す。プレゼンテーション・プロセスはプレゼンタ・スレッドによって実行することができる。プレゼンタ・スレッドは、３Ｄサーバによって実装されるスレッドとすることができ、あるいはアプリケーションによって実装することもできる。最初に、出力サンプル・オブジェクトおよびコマンド・パケットがあるか否かキューをチェックする（段階８０２）。ビデオがオーディオ・データも必要とする場合、同期オーディオ／ビデオの発表ができるようにプレゼンタ・キューを設定すればよい。次に、出力サンプルおよびコマンド・パケットが利用可能であれば、出力コマンド・パケットをプレゼンタ・スレッドに渡す（段階８０４）。次いで、プレゼンタ・スレッドはプレゼンテーション方法を実行し、予定した時点において出力サンプル・オブジェクトを発表する（段階８０６）。例えば、エフェクトを含むビデオをグラフィック・モジュール４１２に渡し、出力デバイス４１８上で発表することができる。次に、プレゼンタ・スレッドは出力サンプル・オブジェクトを再度出力サーフェイスの空きリストに入れる（段階８０８）。
図９は、本発明の態様にしたがって、リソースをリリースするプロセスを示す。リリース・プロセスは、リリース・スレッドによって実行することができる。リリース・スレッドは、３Ｄサーバによって実装されるスレッドとすることができ、あるいはアプリケーションによって実装することもできる。最後に、３Ｄ−サーバは使用したサンプル・オブジェクト全ておよびその他のリソースを空きサーフェイス・リストに入れ、他の待機プロセスをリリースする（段階９０２）。リリース・プロセスは、３Ｄサーバのリリース・スレッドによって実行することができる。プロセス５００は、タイムラインの各エフェクトが作成され、エフェクトを含むタイムラインの発表が終わるまで継続する。
プロセス５００について、１つのエフェクトを有するビデオ・フレームに関して説明した。しかしながら、プロセス５００は、多数のエフェクトを有する多数のビデオ・フレームに対して実行することもできる。更に、再生時点に先だってエフェクトを作成するので、アプリケーションおよび３Ｄ−サーバは 現ビデオ再生時点に合わせてビデオ・データを処理し出力するためにスレッドを同時に実行する。
本発明の他の実施形態は、ここに開示した本発明の明細書の検討および実施によって、当業者には明白となろう。本明細書および例は、例示として見なされるに過ぎず、本発明の真の範囲および主旨は特許請求の範囲によって示されるものとする。
図１は、従来のビデオ編集プロセスを示すフローチャートである。 図２は、従来のビデオ・キャプチャ・プロセスを示すフローチャートである。 図３は、本発明に関係する態様によるビデオ・エフェクト・プロセスを示すフローチャートである。 図４は、本発明に関係する態様による処理を実行可能な処理環境を示す図である。 図５Ａは、本発明に関係する態様によるビデオ・プロセスを示すフローチャートである。 図５Ｂは、本発明に関係する態様によるビデオ・プロセスを示すフローチャートである。 図６は、図５に示すビデオ・プロセスと共に実行するデコード・プロセスを示すフローチャートである。 図７は、図５に示すビデオ・プロセスと共に実行するレンダリング・プロセスを示すフローチャートである。 図８は、図５に示すビデオ・プロセスと共に実行するプレゼンテーション・プロセスを示すフローチャートである。 図９は、図５に示すビデオ・プロセスと共に実行する解除プロセスを示すフローチャートである。

Claims (87)

  1. 未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理する方法であって、
    アプリケーション・スレッド、アップロード・スレッド、デコード・スレッド、レンダリング・スレッド、およびプレゼンタ・スレッドを実装するステップと、
    前記ビデオ・データに追加する前記エフェクトを作成するために前記ビデオ・データを前記アプリケーション・スレッドに渡し、前記ビデオ・データから事前伸張ビデオ・データを生成し、前記エフェクトを記述するパラメータを決定するステップと、
    前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするために、前記事前伸張ビデオ・データをアップロード・スレッドに渡すステップと、
    前記事前伸張ビデオ・データをデコードしてデコード・ビデオ・データを生成するために、前記事前伸張ビデオ・データを前記デコード・スレッドに渡すステップと、
    前記デコード・ビデオ・データ内に前記エフェクトをレンダリングして出力ビデオ・データを生成するために、前記デコード・ビデオ・データを前記レンダリング・スレッドに渡すステップと、
    前記出力ビデオ・データを発表するために、前記出力ビデオ・データを前記プレゼンタ・スレッドに渡すステップと、
    を備えている、方法。
  2. 請求項１記載の方法であって、デコードおよびレンダリングにおいて利用したリソースをリリースするためのリリース・スレッドを実装するステップを備えている、方法。
  3. 請求項１記載の方法において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードする、方法。
  4. 請求項１記載の方法であって、更に、各スレッド実施のタイミングを決定するためにスヌーピング・コマンドを発行するステップを備えている、方法。
  5. 請求項１記載の方法において、前記アプリケーション・スレッドは、
    前記ビデオ・データのサンプルの読み取りを実行するステップと、
    前記サンプルにサンプル・オブジェクトを割り当てるステップと、
    前記事前伸張ビデオ・データを生成するために、前記サンプルを部分的にデコードするステップと、
    前記サンプル・オブジェクトを前記アップロード・スレッドに転送するステップと、
    を実行する、方法。
  6. 請求項５記載の方法において、前記アップロード・スレッドは、
    ビデオ・メモリ・サーフェイスを取得するステップと、
    第１スヌーピング・コマンドを発行するステップと、
    前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードするステップと、
    を実行する、方法。
  7. 請求項６記載の方法において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする、方法。
  8. 請求項６記載の方法において、前記デコード・スレッドは、
    第２スヌーピング・コマンドを発行するステップと、
    新たなビデオ・メモリ・サーフェイスを取得するステップと、
    前記新たなビデオ・メモリ・サーフェイスのステータスを判定するステップと、
    前記新たなビデオ・メモリ・サーフェイスにおいて前記デコード・ビデオ・データを生成するために前記デコードを実行するステップと、
    前記新たなビデオ・メモリ・サーフェイスを前記サンプル・オブジェクトに付加するステップと、
    を実行する、方法。
  9. 請求項８記載の方法において、前記アプリケーション・スレッドは、更に、
    前記アプリケーションにおいて、前記エフェクトに対してエフェクト・パラメータを決定するステップと、
    前記エフェクト・パラメータを前記アプリケーションから前記レンダリング・スレッドに渡すステップと、
    を実行する、方法。
  10. 請求項９記載の方法において、前記出力サンプル・オブジェクトはプロキシである、方法。
  11. 請求項９記載の方法において、前記レンダリング・スレッドは、
    ターゲット・メモリ・サーフェイスを前記出力サンプル・オブジェクトに割り当てるステップと、
    前記エフェクトをレンダリングするステップと、
    前記レンダリングしたエフェクトを前記ターゲット・メモリ・サーフェイスに格納するステップと、
    を実行する、方法。
  12. 請求項１１記載の方法において、前記プレゼンタ・スレッドは、
    前記出力サンプル・オブジェクトをプレゼンタ・キューに入れるステップと、
    前記出力サンプル・オブジェクトを前記出力ビデオ・データとして発表するために、プレゼンタ方法を実行するステップと、
    を実行する、方法。
  13. 未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理する方法であって、
    前記ビデオ・データを受信するステップと、
    前記エフェクトを作成するステップと、
    前記ビデオ・データから事前伸張ビデオ・データを生成するステップと、
    前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするステップと、
    デコード・ビデオ・データを生成するために、前記事前伸張ビデオ・データをデコードするステップと、
    前記エフェクトを記述するパラメータを決定するステップと、
    出力ビデオ・データを生成するために、前記エフェクトを前記デコード・ビデオ・データにレンダリングするステップと、
    前記出力ビデオ・データを発表するステップと、
    を備えている、方法。
  14. 請求項１３記載の方法であって、デコードおよびレンダリングにおいて利用したリソースをリリースするステップを備えている、方法。
  15. 請求項１４記載の方法において、前記エフェクトを作成するステップ、事前伸張ビデオを生成するステップ、およびパラメータを決定するステップをアプリケーションによって実行する、方法。
  16. 請求項１５記載の方法において、前記アプリケーションは実行するステップ毎にスレッドを起動する、方法。
  17. 請求項１５記載の方法において、前記事前伸張ビデオをアップロードするステップと、前記事前伸張ビデオ・データをデコードするステップと、前記エフェクトをレンダリングするステップと、リソースをリリースするステップを３Ｄ−サーバによって実行する、方法。
  18. 請求項１７記載の方法において、前記３Ｄ−サーバは実行するステップ毎にスレッドを起動する、方法。
  19. 請求項１７記載の方法において、前記アプリケーションおよび３Ｄ−サーバは並列に動作する、方法。
  20. 請求項１３記載の方法において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードする、方法。
  21. 請求項１３記載の方法であって、更に、各ステップのタイミングを決定するために、スヌーピング・コマンドを発行するステップを備えている、方法。
  22. 請求項１７記載の方法において、前記ビデオ・データから事前伸張ビデオ・データを生成するステップは、
    前記ビデオ・データのサンプルを読み取るステップと、
    前記サンプルにサンプル・オブジェクトを割り当てるステップと、
    前記事前伸張ビデオ・データを生成するために、前記サンプルを部分的にデコードするステップと、
    前記サンプル・オブジェクトを前記アップロード・スレッドに転送するステップと、
    を備えている、方法。
  23. 請求項２２記載の方法において、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするステップは、
    ビデオ・メモリ・サーフェイスを取得するステップと、
    第１スヌーピング・コマンドを発行するステップと、
    前記事前伸張ビデオ・データを前記３Ｄ−サーバにアップロードするステップと、
    を備えている、方法。
  24. 請求項２３記載の方法において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする、方法。
  25. 請求項２３記載の方法において、デコード・ビデオ・データを生成するために前記事前圧縮ビデオ・データをデコードするステップは、
    第２スヌーピング・コマンドを発行するステップと、
    新たなビデオ・メモリ・サーフェイスを取得するステップと、
    前記新たなビデオ・メモリ・サーフェイスのステータスを判定するステップと、
    前記新たなビデオ・メモリ・サーフェイスにおいて前記デコード・ビデオ・データを生成するために前記デコードを実行するステップと、
    前記新たなビデオ・メモリ・サーフェイスを前記サンプル・オブジェクトに付加するステップと、
    を備えている、方法。
  26. 請求項２５記載の方法であって、更に、
    前記アプリケーションにおいて、前記エフェクトに対するパラメータを決定するステップと、
    前記エフェクト・パラメータを前記アプリケーションから前記レンダリング・スレッドに渡すステップと、
    前記アプリケーションにおいて、出力サンプル・オブジェクトを受信するステップと、
    を備えている、方法。
  27. 請求項２６記載の方法において、前記出力サンプル・オブジェクトはプロキシである、方法。
  28. 請求項２６記載の方法において、出力ビデオ・データを生成するために前記エフェクトを前記デコード・ビデオ・データにレンダリングするステップは、
    ターゲット・メモリ・サーフェイスを前記出力サンプル・オブジェクトに割り当てるステップと、
    前記エフェクトをレンダリングするステップと、
    前記レンダリングしたエフェクトを前記ターゲット・メモリ・サーフェイスに格納するステップと、
    を備えている、方法。
  29. 請求項２８記載の方法において、前記出力ビデオ・データを出力するステップは、
    前記出力サンプル・オブジェクトをプレゼンタ・キューに入れるステップと、
    前記出力サンプル・オブジェクトを前記出力ビデオ・データとして発表するために、プレゼンタ方法を実行するステップと、
    を実行する、方法。
  30. 未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理するシステムであって、
    前記ビデオ・データに付加する前記エフェクトを作成し、前記ビデオ・データから事前伸張ビデオ・データを生成し、前記エフェクトを記述するパラメータを決定するためにアプリケーション・スレッドを実装する手段と、
    前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするためにアップロード・スレッドを実装する手段と、
    デコード・ビデオ・データを生成するために、前記事前伸張ビデオ・データをデコードするためにデコード・スレッドを実装する手段と、
    出力ビデオ・データを生成するために、前記エフェクトを前記デコード・ビデオ・データにレンダリングするためにレンダリング・スレッドを実装する手段と、
    前記出力ビデオ・データを発表するためにプレゼンタ・スレッドを実装する手段と、
    を備えている、システム。
  31. 請求項３０記載のシステムであって、デコードおよびレンダリングにおいて利用したリソースをリリースするためにリリース・スレッドを実装する手段を備えている、システム。
  32. 請求項３０記載のシステムにおいて、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードする、システム。
  33. 請求項３０記載のシステムであって、更に、各スレッド実装のタイミングを決定するために、スヌーピング・コマンドを発行する手段を備えている、システム。
  34. 請求項３０記載のシステムにおいて、前記アプリケーション・スレッドを実装する前記手段は、
    前記ビデオ・データのサンプルを読み取る手段と、
    前記サンプルにサンプル・オブジェクトを割り当てる手段と、
    前記事前伸張ビデオ・データを生成するために、前記サンプルを部分的にデコードする手段と、
    前記サンプル・オブジェクトを前記アップロード・スレッドに転送する手段と、
    を備えている、システム。
  35. 請求項３４記載のシステムにおいて、前記アップロード・スレッドを実装する前記手段は、
    ビデオ・メモリ・サーフェイスを取得する手段と、
    第１スヌーピング・コマンドを発行する手段と、
    前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする手段と、
    を備えている、システム。
  36. 請求項３５記載のシステムにおいて、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする、システム。
  37. 請求項３５記載のシステムにおいて、前記デコード・スレッドを実装する前記手段は、
    第２スヌーピング・コマンドを発行する手段と、
    新たなビデオ・メモリ・サーフェイスを取得する手段と、
    前記新たなビデオ・メモリ・サーフェイスのステータスを判定する手段と、
    前記新たなビデオ・メモリ・サーフェイスにおいて前記デコード・ビデオ・データを生成するためにデコードを実行する手段と、
    前記新たなビデオ・メモリ・サーフェイスを前記サンプル・オブジェクトに付加する手段と、
    を備えている、システム。
  38. 請求項３７記載のシステムにおいて、前記アプリケーション・スレッドを実装する前記手段は、更に、
    前記アプリケーションにおいて、前記エフェクトに対するエフェクト・パラメータを決定する手段と、
    前記エフェクト・パラメータを前記アプリケーションから前記レンダリング・スレッドに渡す手段と、
    を備えている、システム。
  39. 請求項３８記載のシステムにおいて、前記出力サンプル・オブジェクトはプロキシである、システム。
  40. 請求項３８記載のシステムにおいて、前記レンダリング・スレッドを実装する前記手段は、
    ターゲット・メモリ・サーフェイスを前記出力サンプル・オブジェクトに割り当てる手段と、
    前記エフェクトをレンダリングする手段と、
    前記レンダリングしたエフェクトを前記ターゲット・メモリ・サーフェイスに格納する手段と、
    を備えている、システム。
  41. 請求項４０記載のシステムにおいて、前記プレゼンタ・スレッドを実装する前記手段は、
    前記出力サンプル・オブジェクトをプレゼンタ・キューに入れる手段と、
    前記出力サンプル・オブジェクトを前記出力ビデオ・データとして発表するために、プレゼンタ方法を実行する手段と、
    を備えている、システム。
  42. 未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理するシステムであって、
    前記ビデオ・データを受信する手段と、
    前記エフェクトを作成する手段と、
    前記ビデオ・データから事前伸張ビデオ・データを生成する手段と、
    前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードする手段と、
    デコード・ビデオ・データを生成するために、前記事前伸張ビデオ・データをデコードする手段と、
    前記エフェクトを記述するパラメータを決定する手段と、
    出力ビデオ・データを生成するために、前記エフェクトを前記デコード・ビデオ・データにレンダリングする手段と、
    前記出力ビデオ・データを発表する手段と、
    を備えている、システム。
  43. 請求項４２記載のシステムであって、デコードおよびレンダリングにおいて利用したリソースをリリースする手段を備えている、システム。
  44. 請求項４３記載のシステムにおいて、前記エフェクトを作成する手段、事前伸張ビデオを生成する手段、およびパラメータを決定する手段はアプリケーションである、システム。
  45. 請求項１５記載の方法において、前記アプリケーションは実行する手段毎にスレッドを起動する、方法。
  46. 請求項４４記載の方法において、前記事前伸張ビデオをアップロードする手段と、前記事前伸張ビデオ・データをデコードする手段と、前記エフェクトをレンダリングする手段と、リソースをリリースする手段は、３Ｄ−サーバである、システム。
  47. 請求項４６記載のシステムにおいて、前記３Ｄ−サーバは実行するステップ毎にスレッドを起動する、システム。
  48. 請求項４６記載のシステムにおいて、前記アプリケーションおよび３Ｄ−サーバは並列に動作する、システム。
  49. 請求項４２記載のシステムにおいて、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするシステム。
  50. 請求項４２記載のシステムであって、更に、各ステップのタイミングを決定するために、スヌーピング・コマンドを発行する手段を備えている、システム。
  51. 請求項４６記載のシステムにおいて、前記ビデオ・データから事前伸張ビデオ・データを生成する手段は、
    前記ビデオ・データのサンプルを読み取る手段と、
    前記サンプルにサンプル・オブジェクトを割り当てる手段と、
    前記事前伸張ビデオ・データを生成するために、前記サンプルを部分的にデコードする手段と、
    前記サンプル・オブジェクトを前記３Ｄ−サーバに転送する手段と、
    を備えている、方法。
  52. 請求項５１記載のシステムにおいて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードする手段は、
    ビデオ・メモリ・サーフェイスを取得する手段と、
    第１スヌーピング・コマンドを発行する手段と、
    前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする手段と、
    を備えている、システム。
  53. 請求項５２記載のシステムにおいて、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする、システム。
  54. 請求項５２記載のシステムにおいて、デコード・ビデオ・データを生成するために前記事前圧縮ビデオ・データをデコードする手段は、
    第２スヌーピング・コマンドを発行する手段と、
    新たなビデオ・メモリ・サーフェイスを取得する手段と、
    前記新たなビデオ・メモリ・サーフェイスのステータスを判定する手段と、
    前記新たなビデオ・メモリ・サーフェイスにおいて前記デコード・ビデオ・データを生成するためにデコードを実行する手段と、
    前記新たなビデオ・メモリ・サーフェイスを前記サンプル・オブジェクトに付加する手段と、
    を備えている、システム。
  55. 請求項５４記載のシステムであって、更に、
    前記アプリケーションにおいて、前記エフェクトに対するパラメータを決定する手段と、
    前記エフェクト・パラメータを前記アプリケーションから前記レンダリング・スレッドに渡す手段と、
    前記アプリケーションにおいて、出力サンプル・オブジェクトを受信する手段と、
    を備えている、システム。
  56. 請求項５５記載のシステムにおいて、前記出力サンプル・オブジェクトはプロキシである、システム。
  57. 請求項５５記載のシステムにおいて、前記出力ビデオ・データを生成するために前記エフェクトを前記デコード・ビデオ・データにレンダリングする手段は、
    ターゲット・メモリ・サーフェイスを前記出力サンプル・オブジェクトに割り当てる手段と、
    前記エフェクトをレンダリングする手段と、
    前記レンダリングしたエフェクトを前記ターゲット・メモリ・サーフェイスに格納する手段と、
    を備えている、システム。
  58. 請求項５７記載のシステムにおいて、前記出力ビデオ・データを出力する手段は、
    前記出力サンプル・オブジェクトをプレゼンタ・キューに入れる手段と、
    前記出力サンプル・オブジェクトを前記出力ビデオ・データとして発表するために、プレゼンタ方法を実行する手段と、
    を備えている、システム。
  59. 未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理する方法をコンピュータ・システムに実行させる命令を含むコンピュータ読み取り可能媒体であって、前記方法が、
    前記ビデオ・データに付加する前記エフェクトを作成し、前記ビデオ・データから事前伸張ビデオ・データを生成し、前記エフェクトを記述するパラメータを決定するためにアプリケーション・スレッドを実装するステップと、
    前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするためにアップロード・スレッドを実装するステップと、
    デコード・ビデオ・データを生成するために、前記事前伸張ビデオ・データをデコードするためにデコード・スレッドを実装するステップと、
    出力ビデオ・データを生成するために、前記エフェクトを前記デコード・ビデオ・データにレンダリングするためにレンダリング・スレッドを実装するステップと、
    前記出力ビデオ・データを発表するためにプレゼンタ・スレッドを実装するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  60. 請求項５９記載のコンピュータ読み取り可能媒体であって、デコードおよびレンダリングにおいて利用したリソースをリリースするためにリリース・スレッドを実装するステップを備えている、コンピュータ読み取り可能媒体。
  61. 請求項５９記載のコンピュータ読み取り可能媒体において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードする、コンピュータ読み取り可能媒体。
  62. 請求項５９記載のコンピュータ読み取り可能媒体であって、更に、各スレッド実装のタイミングを決定するために、スヌーピング・コマンドを発行するステップを備えている、コンピュータ読み取り可能媒体。
  63. 請求項５９記載のコンピュータ読み取り可能媒体において、前記アプリケーション・スレッドを実装するステップは、
    前記ビデオ・データのサンプルを読み取るステップと、
    前記サンプルにサンプル・オブジェクトを割り当てるステップと、
    前記事前伸張ビデオ・データを生成するために、前記サンプルを部分的にデコードするステップと、
    前記サンプル・オブジェクトを前記アップロード・スレッドに転送するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  64. 請求項６３記載のコンピュータ読み取り可能媒体において、前記アップロード・スレッドを実装するステップは、
    ビデオ・メモリ・サーフェイスを取得するステップと、
    第１スヌーピング・コマンドを発行するステップと、
    前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードするステップと、
    を備えている、コンピュータ読み取り可能媒体。
  65. 請求項６４記載のコンピュータ読み取り可能媒体において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする、コンピュータ読み取り可能媒体。
  66. 請求項６４記載のコンピュータ読み取り可能媒体において、前記デコーダ・スレッドを実装するステップは、
    第２スヌーピング・コマンドを発行するステップと、
    新たなビデオ・メモリ・サーフェイスを取得するステップと、
    前記新たなビデオ・メモリ・サーフェイスのステータスを判定するステップと、
    前記新たなビデオ・メモリ・サーフェイスにおいて前記デコード・ビデオ・データを生成するためにデコードを実行するステップと、
    前記新たなビデオ・メモリ・サーフェイスを前記サンプル・オブジェクトに付加するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  67. 請求項６６記載のコンピュータ読み取り可能媒体において、前記アプリケーション・スレッドを実装するステップは、更に、
    前記アプリケーションにおいて、前記エフェクトに対するエフェクト・パラメータを決定するステップと、
    前記エフェクト・パラメータを前記アプリケーションから前記レンダリング・スレッドに渡すステップと、
    を備えている、コンピュータ読み取り可能媒体。
  68. 請求項６７記載のコンピュータ読み取り可能媒体において、前記出力サンプル・オブジェクトはプロキシである、コンピュータ読み取り可能媒体。
  69. 請求項６７記載のコンピュータ読み取り可能媒体において、前記レンダリング・スレッドを実装する前記ステップは、
    ターゲット・メモリ・サーフェイスを前記出力サンプル・オブジェクトに割り当てるステップと、
    前記エフェクトをレンダリングするステップと、
    前記レンダリングしたエフェクトを前記ターゲット・メモリ・サーフェイスに格納するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  70. 請求項６９記載のコンピュータ読み取り可能媒体において、前記プレゼンタ・スレッドを実装するステップは、
    前記出力サンプル・オブジェクトをプレゼンタ・キューに入れるステップと、
    前記出力サンプル・オブジェクトを前記出力ビデオ・データとして発表するために、プレゼンタ方法を実行するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  71. 未来時点において生ずるようにエフェクトを生成するためにビデオ・データを処理する方法をコンピュータ・システムに実行させる命令を含むコンピュータ読み取り可能媒体であって、前記方法が、
    前記ビデオ・データを受信するステップと、
    前記エフェクトを作成するステップと、
    前記ビデオ・データから事前伸張ビデオ・データを生成するステップと、
    前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするステップと、
    デコード・ビデオ・データを生成するために、前記事前伸張ビデオ・データをデコードするステップと、
    前記エフェクトを記述するパラメータを決定するステップと、
    出力ビデオ・データを生成するために、前記エフェクトを前記デコード・ビデオ・データにレンダリングするステップと、
    前記出力ビデオ・データを発表するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  72. 請求項７１記載のコンピュータ読み取り可能媒体であって、デコードおよびレンダリングにおいて利用したリソースをリリースするステップを備えている、コンピュータ読み取り可能媒体。
  73. 請求項７２記載のコンピュータ読み取り可能媒体において、前記エフェクトを作成するステップと、事前伸張ビデオを生成するステップと、パラメータを決定するステップをアプリケーションによって実行する、コンピュータ読み取り可能媒体。
  74. 請求項７３記載のコンピュータ読み取り可能媒体において、前記アプリケーションは実行するステップ毎にスレッドを起動する、コンピュータ読み取り可能媒体。
  75. 請求項７３記載のコンピュータ読み取り可能媒体において、前記事前伸張ビデオをアップロードするステップと、前記事前伸張ビデオ・データをデコードするステップと、前記エフェクトをレンダリングするステップと、リソースをリリースするステップを３Ｄ−サーバが実行する、コンピュータ読み取り可能媒体。
  76. 請求項７５記載のコンピュータ読み取り可能媒体において、前記３Ｄ−サーバは実行するステップ毎にスレッドを起動する、コンピュータ読み取り可能媒体。
  77. 請求項７５記載のコンピュータ読み取り可能媒体において、前記アプリケーションおよび３Ｄ−サーバは並列に動作する、コンピュータ読み取り可能媒体。
  78. 請求項７１記載のコンピュータ読み取り可能媒体において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするコンピュータ読み取り可能媒体。
  79. 請求項７１記載のコンピュータ読み取り可能媒体であって、更に、各ステップのタイミングを決定するために、スヌーピング・コマンドを発行するステップを備えている、コンピュータ読み取り可能媒体。
  80. 請求項７５記載のコンピュータ読み取り可能媒体において、前記ビデオ・データから事前伸張ビデオ・データを生成するステップは、
    前記ビデオ・データのサンプルを読み取るステップと、
    前記サンプルにサンプル・オブジェクトを割り当てるステップと、
    前記事前伸張ビデオ・データを生成するために、前記サンプルを部分的にデコードするステップと、
    前記サンプル・オブジェクトを前記３Ｄ−サーバに転送するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  81. 請求項８０記載のコンピュータ読み取り可能媒体において、前記事前伸張ビデオ・データをビデオ・ハードウェアにアップロードするステップは、
    ビデオ・メモリ・サーフェイスを取得するステップと、
    第１スヌーピング・コマンドを発行するステップと、
    前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードするステップと、
    を備えている、コンピュータ読み取り可能媒体。
  82. 請求項８１記載のコンピュータ読み取り可能媒体において、バス・マスタリング・プロセスを用いて、前記事前伸張ビデオ・データを前記ビデオ・メモリ・サーフェイスにアップロードする、コンピュータ読み取り可能媒体。
  83. 請求項８１記載のコンピュータ読み取り可能媒体において、デコード・ビデオ・データを生成するために前記事前圧縮ビデオ・データをデコードするステップは、
    第２スヌーピング・コマンドを発行するステップと、
    新たなビデオ・メモリ・サーフェイスを取得するステップと、
    前記新たなビデオ・メモリ・サーフェイスのステータスを判定するステップと、
    前記新たなビデオ・メモリ・サーフェイスにおいて前記デコード・ビデオ・データを生成するためにデコードを実行するステップと、
    前記新たなビデオ・メモリ・サーフェイスを前記サンプル・オブジェクトに付加するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  84. 請求項８３記載のコンピュータ読み取り可能媒体であって、更に、
    前記アプリケーションにおいて、前記エフェクトに対してエフェクト・パラメータを決定するステップと、
    前記エフェクト・パラメータを前記アプリケーションから前記３Ｄ−サーバに渡すステップと、
    前記アプリケーションにおいて、出力サンプル・オブジェクトを受信するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  85. 請求項８４記載のコンピュータ読み取り可能媒体において、前記出力サンプル・オブジェクトはプロキシである、コンピュータ読み取り可能媒体。
  86. 請求項８４記載のコンピュータ読み取り可能媒体において、前記出力ビデオ・データを生成するために前記エフェクトを前記デコード・ビデオ・データにレンダリングするステップは、
    ターゲット・メモリ・サーフェイスを前記出力サンプル・オブジェクトに割り当てるステップと、
    前記エフェクトをレンダリングするステップと、
    前記レンダリングしたエフェクトを前記ターゲット・メモリ・サーフェイスに格納するステップと、
    を備えている、コンピュータ読み取り可能媒体。
  87. 請求項８６記載のコンピュータ読み取り可能媒体において、前記出力ビデオ・データを出力するステップは、
    前記出力サンプル・オブジェクトをプレゼンタ・キューに入れるステップと、
    前記出力サンプル・オブジェクトを前記出力ビデオ・データとして発表するために、プレゼンタ方法を実行するステップと、
    を備えている、コンピュータ読み取り可能媒体。
JP2007509615A 2004-04-22 2005-04-21 リアル・タイム二次元および三次元、単一品位および高品位ビデオ・エフェクト用グラフィック・ハードウェアを使用するためのシステムおよび方法 Pending JP2007534279A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/829,324 US7286132B2 (en) 2004-04-22 2004-04-22 System and methods for using graphics hardware for real time two and three dimensional, single definition, and high definition video effects
PCT/US2005/013556 WO2005107241A2 (en) 2004-04-22 2005-04-21 System and methods for using graphics hardware for real time two and three dimensional, single definition, and high definition video effects

Publications (1)

Publication Number Publication Date
JP2007534279A true JP2007534279A (ja) 2007-11-22

Family

ID=34966449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007509615A Pending JP2007534279A (ja) 2004-04-22 2005-04-21 リアル・タイム二次元および三次元、単一品位および高品位ビデオ・エフェクト用グラフィック・ハードウェアを使用するためのシステムおよび方法

Country Status (5)

Country Link
US (1) US7286132B2 (ja)
EP (1) EP1751973A2 (ja)
JP (1) JP2007534279A (ja)
CA (1) CA2563782A1 (ja)
WO (1) WO2005107241A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016043A (ja) * 2011-08-25 2012-01-19 Toshiba Corp グラフィクスプロセッシングユニットおよび情報処理装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849372B2 (en) 2012-09-28 2017-12-26 Sony Interactive Entertainment Inc. Method and apparatus for improving efficiency without increasing latency in emulation of a legacy application title
KR101046586B1 (ko) * 2004-05-28 2011-07-06 삼성전자주식회사 디스플레이장치와 이를 이용한 디스플레이 시스템
US7743376B2 (en) * 2004-09-13 2010-06-22 Broadcom Corporation Method and apparatus for managing tasks in a multiprocessor system
US20070126742A1 (en) * 2005-12-07 2007-06-07 Adi Bar-Lev Movement management system for a cellular telephone
US20070229520A1 (en) * 2006-03-31 2007-10-04 Microsoft Corporation Buffered Paint Systems
US8056093B1 (en) * 2006-12-07 2011-11-08 Nvidia Corporation Asynchronous kernel processing for a graphics processing system
US8462165B1 (en) * 2007-03-19 2013-06-11 Nvidia Corporation System, method, and computer program product for voice control of a graphics hardware processor
JP4889573B2 (ja) * 2007-06-07 2012-03-07 ヤマハ株式会社 画像処理装置
EP2051173A3 (en) * 2007-09-27 2009-08-12 Magix Ag System and method for dynamic content insertion from the internet into a multimedia work
US8707150B2 (en) * 2008-12-19 2014-04-22 Microsoft Corporation Applying effects to a video in-place in a document
US8811801B2 (en) * 2010-03-25 2014-08-19 Disney Enterprises, Inc. Continuous freeze-frame video effect system and method
US20110298787A1 (en) * 2010-06-02 2011-12-08 Daniel Feies Layer composition, rendering, and animation using multiple execution threads
US8635270B2 (en) * 2011-09-19 2014-01-21 Verizon Patent And Licensing Inc. Thread mechanism for media and metadata upload
WO2013055802A1 (en) * 2011-10-10 2013-04-18 Genarts, Inc. Network-based rendering and steering of visual effects
US9248374B2 (en) 2012-06-29 2016-02-02 Sony Computer Entertainment Inc. Replay and resumption of suspended game
US9717989B2 (en) 2012-06-29 2017-08-01 Sony Interactive Entertainment Inc. Adding triggers to cloud-based emulated games
US9694276B2 (en) 2012-06-29 2017-07-04 Sony Interactive Entertainment Inc. Pre-loading translated code in cloud based emulated applications
US9925468B2 (en) 2012-06-29 2018-03-27 Sony Interactive Entertainment Inc. Suspending state of cloud-based legacy applications
US9656163B2 (en) 2012-06-29 2017-05-23 Sony Interactive Entertainment Inc. Haptic enhancements for emulated video game not originally designed with haptic capabilities
US10406429B2 (en) 2012-08-29 2019-09-10 Sony Interactive Entertainment, LLC User-based mini-game generation and distribution
US20140092087A1 (en) 2012-09-28 2014-04-03 Takayuki Kazama Adaptive load balancing in software emulation of gpu hardware
US11013993B2 (en) 2012-09-28 2021-05-25 Sony Interactive Entertainment Inc. Pre-loading translated code in cloud based emulated applications
US9707476B2 (en) 2012-09-28 2017-07-18 Sony Interactive Entertainment Inc. Method for creating a mini-game
US9258012B2 (en) 2013-03-15 2016-02-09 Sony Computer Entertainment Inc. Compression of state information for data transfer over cloud-based networks
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337710B1 (en) * 1997-06-12 2002-01-08 Lsi Logic Corporation Graphical video editing system for regeneration of bitstreams
US6226038B1 (en) * 1998-04-03 2001-05-01 Avid Technology, Inc. HDTV editing and effects previsualization using SDTV devices
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US6573905B1 (en) 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
JP2001292408A (ja) 2000-04-07 2001-10-19 Sony Corp 映像編集装置、映像編集方法、映像編集システム、および映像編集用プログラムを記録したコンピュータ読み取り可能な記録媒体
US7089391B2 (en) * 2000-04-14 2006-08-08 Quickshift, Inc. Managing a codec engine for memory compression/decompression operations using a data movement engine
US20030212742A1 (en) * 2002-05-07 2003-11-13 Hochmuth Roland M. Method, node and network for compressing and transmitting composite images to a remote client
GB0226295D0 (en) * 2002-11-12 2002-12-18 Autodesk Canada Inc Image processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016043A (ja) * 2011-08-25 2012-01-19 Toshiba Corp グラフィクスプロセッシングユニットおよび情報処理装置

Also Published As

Publication number Publication date
WO2005107241A2 (en) 2005-11-10
US20050237326A1 (en) 2005-10-27
CA2563782A1 (en) 2005-11-10
US7286132B2 (en) 2007-10-23
EP1751973A2 (en) 2007-02-14
WO2005107241A3 (en) 2006-01-12

Similar Documents

Publication Publication Date Title
JP2007534279A (ja) リアル・タイム二次元および三次元、単一品位および高品位ビデオ・エフェクト用グラフィック・ハードウェアを使用するためのシステムおよび方法
US10229651B2 (en) Variable refresh rate video capture and playback
US11418832B2 (en) Video processing method, electronic device and computer-readable storage medium
JP4959504B2 (ja) 適応制御を行うことができるｍｐｅｇコード化オーディオ・ビジュアルオブジェクトをインターフェイスで連結するためのシステムおよび方法
EP3357253B1 (en) Gapless video looping
US8265457B2 (en) Proxy editing and rendering for various delivery outlets
US20060037054A1 (en) Rendering graphics/image data using dynamically generated video streams
US5748187A (en) Synchronization control of multimedia objects in an MHEG engine
US20060244839A1 (en) Method and system for providing multi-media data from various sources to various client applications
CN110446114B (zh) 多媒体数据的处理装置、方法、电子设备及存储介质
JPH10108162A (ja) ビット・ストリーム・サーバから受け取ったビット・ストリームを処理する方法及びアップレット
CN109474843A (zh) 语音操控终端的方法、客户端、服务器
CN1921610B (zh) 基于客户端的视频流互动处理方法及处理***
CN101582926A (zh) 实现远程媒体播放重定向的方法和***
US20030191860A1 (en) Accelerated collaboration of high frame rate applications
JP2005051703A (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
US20080005801A1 (en) Remote session media playback
US20080124041A1 (en) Adding video effects for video enabled applications
KR100340169B1 (ko) 자바를 이용한 동적 멀티미디어 웹 카타로깅 시스템 및 그 방법
CN113535063A (zh) 直播页面切换方法、视频页面切换方法、电子设备及存储介质
CN113596495B (zh) 直播推流处理方法及其装置、设备与介质
CN115393490A (zh) 图像渲染方法、装置、存储介质及电子设备
EP3229478B1 (en) Cloud streaming service system, image cloud streaming service method using application code, and device therefor
JP2008108296A (ja) 情報再生装置及び情報再生方法
ES2382747A1 (es) Interaccion multimodal sobre aplicaciones de television digital.

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126