JP4481166B2 - ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム - Google Patents

ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム Download PDF

Info

Publication number
JP4481166B2
JP4481166B2 JP2004523896A JP2004523896A JP4481166B2 JP 4481166 B2 JP4481166 B2 JP 4481166B2 JP 2004523896 A JP2004523896 A JP 2004523896A JP 2004523896 A JP2004523896 A JP 2004523896A JP 4481166 B2 JP4481166 B2 JP 4481166B2
Authority
JP
Japan
Prior art keywords
video
buffer
scene
texture
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004523896A
Other languages
English (en)
Other versions
JP2005534113A (ja
Inventor
ヴァランティン レフェブレ
Original Assignee
トータル イメルショー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トータル イメルショー filed Critical トータル イメルショー
Publication of JP2005534113A publication Critical patent/JP2005534113A/ja
Application granted granted Critical
Publication of JP4481166B2 publication Critical patent/JP4481166B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ユーザが、合成画像およびビデオ画像をリアルタイムでミキシングすることを可能にする方法およびシステムに関する。
対象となる課題
より厳密には、本発明の主題は、ユーザが、
(i)標準電子回路から構成されるデータ処理装置において、合成画像のフローを作成し、
(ii)合成画像のフローと少なくとも1つのビデオ画像フローとの間の視覚的対話を行うことによって、シーンをトレースすることを可能にする方法およびシステムである。
本発明によって提示するようにこの問題を解決することにより、独自に開発した高価なデータ処理装置を利用することなく、シーンの質を向上し、処理時間を短縮することが可能になる。
リアリティの向上実現を可能にする、従来技術による機器を図1に表す。この機器は、
・グラフィックワークステーションSTGと、
・「クロマキーヤ」タイプのラックRCKと、
・「画像遅延」タイプのラックRRIとを含む。
凡例CおよびSVは、それぞれカメラおよびビデオ出力を示す。
グラフィックワークステーションSTGは、合成画像のみの生成に使われる。グラフィックワークステーションSTGは、専用に開発されたものか、またはシリコングラフィックス(商標)ステーションである。合成画像は、統一された色背景(基本色)で生成される。
「クロマキーヤ」タイプのラックRCKは、カメラ(C)からのビデオ画像を、グラフィックステーションSTGによって生成された合成画像とミキシングするのに使われる。基本色は、ビデオ画像で置き換えられる。
「画像遅延」タイプのラックRRIは、画像ジェネレータの処理時間を補償するのに使われる。
従来技術の欠点:
従来技術の機器は、価格ならびに画像の質および機能に関する問題を提示している。
価格に関する問題:
従来技術の機器の原価は非常に高い。実際、「画像遅延」ラックRRIは、業務用のラックであり、グラフィックステーションSTGは、業務用のステーションである。従来技術による従来のソリューションは、実施不可能である(従来のソリューションは、3つの個別モジュール、すなわち画像ジェネレータ/画像遅延/クロマキーから構成される)。
画像の質および機能に関する問題:
ビデオと合成画像の間の視覚的な対話性は限られている。実際、「クロマキーヤ」RCKからの出力時、ビデオは、基本色の代わりに挿入される。合成画像にビデオを反射させることも、その逆もできない。ビデオは、テクスチャとして扱うことができない。たとえば、ビデオは、実際の画像(ビデオ画像)と合成オブジェクトの間の反射効果をもつことができない。「クロマキー」の真の原理は、アーチファクトを生じ得ることである。クロマキーは、合成画像の色パレットでの選択を制限し、問題となる透明性を有する合成オブジェクトの描画を行う。
専用グラフィックステーションのパフォーマンスは、より一層高性能の消費者グラフィックボードのパフォーマンスがすぐに上回る(消費者機器の画像性能は、約6か月で2倍になる)。
従来のソリューションは、保守に関するコストが高い(ソリューションを構成する3つのユニットは、特別な保守契約を伴う)。
従来のソリューションは、ポータブルコンピュータ内で動作することができない。従来のソリューションは、可動性をもたない。
従来のソリューションは、その全パーツの調節に時間がかかる。
ビデオ画像の処理が不可能:
・ビデオは、仮想シーンのどの要素を局所的にテクスチャ加工するのにも使うことができない。
・ビデオは、整形することができない(たとえば光学的歪みの補正は不可能である)。
・ビデオに対して処理を実施することができない(たとえば、クロマキータイプの処理)。
処理
本発明によるデータ処理装置、特に「PCコンピュータ」タイプの装置は、
・マザーボードと、
・シーンをレンダリングし表示するグラフィックボードとを備える。
本発明におけるシーンの意味は、後で図2に関連して説明する。
シーンをレンダリングし表示するグラフィックボードは、1Dおよび3D処理を高速化するプロセッサと、作業用バッファ、すなわち「バックバッファ」と、テクスチャメモリとを備える。
データ処理機器は、リアルタイムでビデオ画像をビデオバッファに取得することを可能にする取得手段も含む。取得手段は、特に、
・グラフィックボードに統合されたビデオ取得の形、および/または
・マザーボードに統合されたビデオ取得の形、および/または
・専用の取得カードを介するビデオ取得の形(たとえばPCTVの名称で知られるPinnacle(商標)カード)で現れる。
本発明による方法は、
・シーンをレンダリングする度に、ビデオバッファをグラフィックボードの記憶域にコピーし、
・グラフィックボードの前記作業用バッファに合成画像をトレースすることによって、シーンの特定のレンダリングを実施するステップを含む。
本発明の第1の変形形態によると、特定のレンダリングを実行するために、好ましくは本方法は、
・シーンの各レンダリングの後で、ビデオバッファを作業用バッファにコピーするステップと、
・合成画像を作業用バッファにトレースするステップとを含む。
この第1の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、シーンをレンダリングする度にそのビデオバッファを作業用バッファにコピーするために、好ましくは本手順は、
・最初のレンダリングにおいて偶数ビデオラインをコピーするステップと、次いで
・その後のレンダリングにおいて奇数ビデオラインをコピーするステップとを含む。
本発明の第2の変形形態によると、特定のレンダリングを実行するために、本方法は好ましくは、その特定のレンダリングに先立って、グラフィックボードのテクスチャメモリ中に専用テクスチャを作成することからなる初期化ステップを含む。専用テクスチャは、ビデオバッファと同じサイズである。テクスチャは、ビデオバッファをテクスチャメモリにコピーするのに専用である。
この第2の変形形態の場合、本方法は、
・ビデオバッファを専用テクスチャにコピーするステップと、
・シーンのポリゴンの一部をテクスチャ加工する専用テクスチャを用いて、シーンを完全にトレースし直すステップとをさらに含む。
この第2の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、シーンをレンダリングする度にそのビデオバッファを専用テクスチャにコピーするために、好ましくは本発明によると、本方法は、
・最初のレンダリングにおいて偶数ビデオラインをコピーするステップと、次いで
・その後のレンダリングにおいて奇数ビデオラインをコピーするステップと、
・約1本のハーフライン分のビデオバッファの変換をシーンのレンダリングに適用するステップとを含む。
このビデオバッファ変換は、
・専用テクスチャのテクスチャ座標を変更すること、
・または専用テクスチャでテクスチャ加工されたポリゴンの座標を変更することのいずれかによって実施される。
その結果、画像の質が向上する。
第2の変形形態の場合でのように第1の変形形態の場合でも、異なる2つのやり方で進めることによって、ビデオバッファをグラフィックボードの記憶域にコピーすることができる。
第1のやり方の場合、取得手段は、各新規ビデオ画像用に新しいビデオバッファを有するドライバを含む。好ましくは本発明によると、この第1のやり方の場合、シーンのレンダリングは、各新規ビデオバッファの提示と同時に実施される。
第2のやり方の場合、取得手段は、各新規ビデオ画像用に新しいビデオバッファを提示するドライバも含む。ただし、この第2の進め方の場合、好ましくは本発明によると、本方法は、
・ビデオキャプチャのパフォーマンスユニット(「スレッド」)を利用することによって、バッファメモリを各新規ビデオバッファで満たすステップと、
・バッファメモリに含まれるビデオバッファの1つをグラフィックボードのテクスチャメモリにコピーするステップと、
・各新規ビデオバッファの提示に関して同期せずにシーン描画を実施するステップとを含む。
本発明による方法は、ビデオ画像を合成画像とミキシングするシーン設計においてグラフィック機能の向上を可能にする。
アンチエイリアス
好ましくは本発明によると、本方法は、シーン設計においてアンチエイリアス機能を適用するステップを含む。アンチエイリアス機能の概念は、後で説明する。
透明性
好ましくは本発明によると、本方法は、シーンの設計中に透明機能を適用するステップを含む。透明機能の概念は、後で説明する。
光学的歪みの補正
好ましくは本発明によると、本方法は、専用テクスチャを用いてシーンのポリゴンをテクスチャ加工することによって、ビデオバッファに非直線歪みを加えるステップを含む。
したがって、ビデオ画像の光学的歪みを補正することができる。
ビデオ画像のリアルタイム処理
好ましくは本発明によると、本方法は、特にクロマキータイプの処理を可能にする、ピクセルシェーダー機能をビデオバッファに適用するステップを含む。ピクセルシェーダーおよびクロマキータイプの処理の概念は、後で説明する。
環境マッピング
好ましくは本発明によると、データ処理装置は、それぞれがビデオバッファを有する2つの取得手段を含む。本方法は、
・取得手段の一方のビデオバッファをグラフィックボードの第2の専用テクスチャにコピーするステップと、
・第2の専用テクスチャを使うことによって、シーンの少なくとも一部分をテクスチャ加工するステップとを含む。
したがって、合成オブジェクト上で実際に反射を得ることができる。
ビデオ遅延
好ましくは本発明によると、本方法は、バッファメモリに含まれるビデオバッファの1つを、グラフィックボードのテクスチャメモリへコピーすることを遅くするステップを含む。
したがって、合成画像の表示に対して、ビデオ画像の表示を遅らせることができる。
システム
本発明は同様に、ユーザが、
(i)標準電子回路から構成されるデータ処理装置において、合成画像のフローを作成し、
(ii)合成画像のフローと少なくとも1つのビデオ画像フローとの間の視覚的対話を行うことによって、シーンを設計することを可能にするシステムに関する。
この問題を解決することにより、独自に開発した高価なデータ処理装置を利用することなく、シーンの質を向上し、処理時間を短縮することが可能になる。
本発明によるデータ処理装置は、特に一般の「PC」タイプのプロセッサを含む。このプロセッサは、
・マザーボードと、
・シーンをレンダリングし表示するグラフィックボードとを備える。
レンダリングおよび表示用グラフィックボードは、2D/3D処理を高速化するプロセッサと、作業用バッファ、すなわち「バックバッファ」と、テクスチャメモリとを含む。
データ処理機器は、ビデオ画像をビデオバッファにリアルタイムで取得することを可能にする取得手段を含む。取得手段は、特に、
・グラフィックボードに統合されたビデオ取得手段の形、および/または
・マザーボードに統合されたビデオ取得手段の形、および/または
・専用の取得カードを介するビデオ取得手段の形で現れる。
シーンの特定の描画を実施するために、
・マザーボードは、シーンの描画の度に、ビデオバッファをグラフィックボードのメモリゾーンにコピーすることを可能にするデータ処理手段をさらに含み、
・2D/3D処理高速化プロセッサは、グラフィックボードの記憶域に合成画像をトレースし設計するトレース手段を含む。
第1の変形形態では、好ましくは本発明によると、シーンの特定の描写的描画を実行するために、
・データ処理手段は、シーンを描写する度に、ビデオバッファを作業用バッファにコピーする第1のコピー手段を備え、
・2D/3D処理高速化プロセッサは、合成画像を作業用バッファにトレースする第1の計算手段を備える。
この第1の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、好ましくは本発明によると、ビデオバッファから作業用バッファにコピーする第1の手段は、
・最初の描画において偶数ビデオラインを選択しコピーする第1の選択およびコピー手段と、次いで
・その後の描画において奇数ビデオラインを選択しコピーする第2の選択およびコピー手段とを備える。
第2の変形形態では、特定の描画を実施するために、好ましくは本発明によると、データ処理手段は、その特定の描画に先立って、グラフィックボードのテクスチャメモリ中に専用テクスチャを作成する初期化手段を備える。専用テクスチャは、ビデオバッファと同じサイズである。この第2の変形形態の場合、データ処理手段は、ビデオバッファを専用テクスチャにコピーする第2のコピー手段をさらに備え、
・2D/3D処理高速化プロセッサは、シーンの特定のポリゴンをテクスチャ加工する専用テクスチャを用いて、シーンを完全にトレースする第2の計算手段を備える。
この第2の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、好ましくは本発明によると、ビデオバッファから専用テクスチャにコピーする第2の手段は、
・最初の描画において偶数ビデオラインを選択しコピーする第3の手段と、次いで
・その後の描画において奇数ビデオラインを選択しコピーする第4の手段とを備える。
2D/3D処理高速化プロセッサは、シーンの描画の際に約1本のハーフライン分のビデオバッファからの変換を適用するための第3の計算手段を備える。
このビデオバッファからの変換は、
・専用テクスチャのテクスチャ座標を変更すること、
・または専用テクスチャでテクスチャ加工されたポリゴンの座標を変更することのいずれかによって実施される。
その結果、画像の質が向上する。
第2の変形形態の場合でのように第1の変形形態の場合でも、異なる2つのやり方で、ビデオバッファをコピーすることができる。
第1の進め方の場合、取得手段は、各新規ビデオ画像用の新しいビデオバッファを有するドライバを備える。好ましくは本発明によると、この第1の進め方の場合、データ処理手段は、各新規ビデオバッファの提示と同時にシーンの描画を実施する。
第2の進め方の場合、取得手段は、各新規ビデオ画像用に新しいビデオバッファを有するドライバを備える。この第2の進め方の場合、好ましくは本発明によると、前記データ処理手段は、
・ビデオキャプチャのパフォーマンスユニット(「スレッド」)を使用して、バッファメモリを各新規ビデオバッファで満たす転送手段と、
・前記バッファメモリに含まれるビデオバッファをグラフィックボードのテクスチャメモリにコピーする第3のコピー手段とを備える。
データ処理手段は、各新規ビデオバッファの提示に関して同期せずに前記シーンのレンダリングを実施する。
本発明によるシステムは、ビデオ画像を合成画像とミキシングすることによってシーンが走査される際のグラフィック機能を可能にする。
アンチエイリアス
好ましくは本発明によると、データ処理手段は、シーンの設計中にアンチエイリアスを適用可能にする。
透明性
好ましくは本発明によると、データ処理手段は、シーンの走査中に透明機能の適用を可能にする。
光学的歪みの補正
好ましくは本発明によると、データ処理手段は、専用テクスチャを用いてシーンのポリゴンをテクスチャ加工することによって、ビデオバッファに非直線歪みを加えることを可能にする。
したがって、ビデオ画像の光学的歪みを補正することができる。
ビデオ画像のリアルタイム処理
好ましくは本発明によると、データ処理手段は、特にクロマキータイプの処理を可能にする、ピクセルシェーダー機能の適用を可能にする。
環境マッピング
好ましくは本発明によると、データ処理装置は、それぞれがビデオバッファを有する2つの取得手段を含む。データ処理装置は、取得手段の一方のビデオバッファをグラフィックボードの第2の専用テクスチャにコピーすることを可能にする。
2D/3D処理高速化プロセッサは、第2の専用テクスチャを使うことによって、シーンの少なくとも一部分をテクスチャ加工することを可能にする。
したがって、合成オブジェクト上で実際に反射を得ることができる。
ビデオ遅延
好ましくは本発明によると、データ処理装置は、バッファメモリに含まれるビデオバッファの1つを、グラフィックボードのテクスチャメモリにコピーするのを遅らせることを可能にする。
したがって、合成画像の表示に対して、ビデオ画像の表示を遅らせることができる。
示唆的であるが限定的でない例および図面を用いた本発明の変形形態の説明を読むと、本発明の他の特性および利点が明らかになるであろう。
図1は、上で従来技術を示す際に説明した。次に、本発明によるシステムの変形形態の概観を表す図2を説明する。
図2に、
・グラフィックボード8と、
・マザーボード7と、
・ビデオ画像13のフロー5を受け取る取得手段12と、
・シーン4を含むハードディスク42とを備えるデータ処理装置2を表す。
グラフィックボード8は、
・第1の計算手段29を備える2D/3D処理高速化プロセッサ9と、
・2D/3D処理高速化プロセッサ9から合成画像16のフロー3を受け取る作業バッファ10と、
・専用テクスチャ19を備えるテクスチャメモリ11と、
・ビデオ出力39と、
・ビデオ出力バッファ(バックバッファ)40とを備える。
マザーボード7は、
・第1の選択コピー手段30および第2の選択コピー手段31を含む第1のコピー手段27を備えるデータ処理手段26と、
・シーン4およびポリゴン20を含む中央記憶装置41と、
・偶数ビデオライン17および奇数ビデオライン18を含むビデオバッファ14を備えるバッファメモリ23と、
・ドライバ22と、
・実行ユニット24とを備える。
別の変形形態では、データ処理手段26は、初期化手段32と、第3の選択コピー手段35および第4の選択コピー手段35を備える第2のコピー手段33とを含む(図3を参照)。この変形形態の場合、2D/3D処理高速化プロセッサ9は、第2の計算手段34を含む(図4を参照)。
取得手段12は、フロー5のビデオ画像に対応するビデオ信号13に番号をつける(ビデオ信号は、標準的なアナログでも数値でもよい)。マザーボードは、この番号がつけられたフローを、ピクセルから構成されるビデオバッファ14で受け取り、バッファのメモリに格納した。本説明において、ビデオバッファ14は、ピクセルバッファとも呼ばれる。3Dシーン4は、
・テクスチャ(2D画像)およびポリゴン20(3D形状)から構成される3Dオブジェクト要素と、
・光源要素と、
・仮想カメラ要素との配合である。
3Dシーン4は、ハードディスク42に格納され、マザーボード3の中央記憶装置41にコピーし直される。
合成画像16を計算するために、マザーボード7は、3Dシーンのビデオバッファ14およびテクスチャをグラフィックボード8のテクスチャメモリ11にコピーし、表示されるポリゴン20すべて、光源、およびカメラをテクスチャメモリ11に送る。専用化された回路(2D/3D処理高速化プロセッサ9)は、作業バッファ10(バックバッファ)内で、こうした3Dデータから、画像2Dを計算する。作業バッファ10の内容は次いで、ビデオ出力バッファ40(フロントバッファ)およびビデオ出力39に転送されて、表示装置(テレビ、モニタ、プロジェクタ)によって画像を表示するのに用いられる。
ビデオバッファ14は、テクスチャメモリ11の専用テクスチャ19にコピーし直される。専用テクスチャ19はシーンの一部なので、ユーザの必要に応じてその内容を表示することができる。非限定的な例として、
・「フルスクリーン」ビデオを得るための、背景での専用テクスチャ19の表示、
・リアルタイムでビデオを用いてシーン4の効果を向上させるための、シーン4に含まれる合成オブジェクト上での専用テクスチャ19の表示が挙げられる。
テクスチャ加工とは、スーパーインポーズされたテクスチャ(2D画像)を用いて、3D形式のポリゴン20を描く技術である。このテクスチャ加工のために、各先端3Dには、テクスチャにおける3D座標(テクスチャ座標)からなるポリゴン20が割り当てられる。同じポリゴン20において複数のテクスチャを使うことができる。各テクスチャに対する1組のテクスチャ座標は、先端に関連づけられる。
テクスチャ加工は、どのタイプの2D画像を用いても、したがって2D画像であるビデオバッファ14を用いても行うことができる。ビデオバッファ14を用いてテクスチャ加工された1組のポリゴン20は、合成画像16の計算に関わるどのオブジェクトのようにも扱われる。
次に、取得手段12が、グラフィックボード8に統合されたビデオ取得の形で現れる場合の変形形態を概略的に表した図5を説明する。
データ処理装置2は、取得手段12を装備したグラフィックボード8を含む。ビデオ画像13は、取得手段12によってリアルタイムで取得され、次いで、ビデオバッファ14にコピーし直される。ビデオバッファ14は次いで、可能な2つのやり方で、すなわち
・作業バッファ10か、
・またはテクスチャメモリ11にコピーし直される。
このコピーの後、2D/3D処理高速化プロセッサ9は、作業バッファ10においてシーン4のレンダリングを実施する。作業バッファ10は、ビデオ出力39の更新を可能にするビデオ出力バッファ40に転送される。
次に、取得手段12が、マザーボード7に統合されたビデオ取得の形で現れる場合の変形形態を概略的に表す図6を説明する。
データ処理装置2は、取得手段12を装備したマザーボード7を含む。データ処理装置2は、グラフィックボード8も含む。ビデオ画像13は、取得手段12によってリアルタイムで取得され、次いで、ビデオバッファ14にコピーし直される。ビデオバッファ14は次いで、可能な2つのやり方で、すなわち
・作業バッファ10か、
・またはテクスチャメモリ11にコピーし直される。
このコピーの後、2D/3D処理高速化プロセッサ9は、作業バッファ10においてシーン4のレンダリングを実施する。作業バッファ10は、ビデオ出力39の更新を可能にするビデオ出力バッファ40に転送される。
次に、取得手段12が、専用取得カードによるビデオ取得の形で現れる場合の変形形態を概略的に表した図7を説明する。
データ処理装置2は、マザーボード7に接続された取得カード(たとえば、Pinnacle(商標)PCTVカードの形の取得手段12を含む。データ処理装置2は、グラフィックボード8も含む。ビデオ画像13は、取得手段12によってリアルタイムで取得され、次いで、ビデオバッファ14にコピーし直される。ビデオバッファ14は次いで、可能な2つのやり方で、すなわち
・作業バッファ10か、
・またはテクスチャメモリ11にコピーし直される。
このコピーの後、グラフィックボードの2D/3D処理高速化プロセッサ9は、作業バッファ10においてシーン4のレンダリングを実施する。作業バッファ10は、ビデオ出力39の更新を可能にするビデオ出力バッファ40に転送される。
次に、グラフィックボードのビデオ出力バッファ(バックバッファ)40への、ビデオバッファ14のコピーをブロックの形で概略的に表す図8を説明する。各ブロックは、以下の意味をもつ。
ブロック48:
開始
ブロック50:
取得手段12の初期化:
取得モードへの変化。
ビデオ入力の定義(たとえば、Sビデオ/PAL/NTSC
ビデオ取得の開始。
ブロック52:
2D/3D処理高速化プロセッサ9の初期化:
出力タイプの定義(たとえば、VGA、PAL、NTSC、またはDVI)。
画像モードの定義(フルスクリーンまたはウィンドウ)。
画像解像度の定義(たとえば、32ビット/ピクセルで800×600)。
Zバッファのモードの定義(3D高速化の開始)。
ダブルバッファモードへの変化(ビデオ出力40および作業バッファ10の作成)。
ブロック54:
シーン4の変更:
ハードディスク42からの全3Dモデルのローディング。
ブロック56:
ZバッファのRAZ。
作業バッファ10のRAZ(任意選択)。
ブロック58:
取得手段12から送られたビデオバッファ14の、作業バッファ10へのコピー。
ブロック60:
2D/3C処理高速化プロセッサ9によって実施される、作業バッファ10へのシーン4のトレース。
ビデオ出力バッファ40の更新
ブロック62:
プログラム終了か?
ブロック64:
終了。
次に、グラフィックボードのテクスチャメモリ11への、ビデオバッファ14のコピーアルゴリズムをブロックの形で概略的に表す図9を説明する。各ブロックは、以下の意味をもつ。
ブロック66:
開始
ブロック68:
取得手段12の初期化:
取得モードへの変化
ビデオ入力の定義(たとえば、Sビデオ/PAL/NTSC)
ブロック70:
2D/3D処理高速化プロセッサ9の初期化、
出力タイプの定義(たとえば、VGA、PAL、NTSC、またはDVI)。
画像モードの定義(フルスクリーンまたはウィンドウ)。
画像解像度の定義(たとえば、32ビット/ピクセルで800×600)。
Zバッファのモードの定義(3D高速化の開始)。
ダブルバッファモードへのシフト(ビデオ出力バッファ40および作業バッファ10の作成)。
専用テクスチャの初期化(テクスチャメモリ11内で専用テクスチャ19を作成する。専用テクスチャ19は、ビデオキャプチャバッファビデオ14と同じ数のラインおよび列である。)
ブロック72:
シーン4のローディング
ハードドライブ42からの全3Dモデルのローディング。
ブロック74:
ZバッファのRAZ。
作業バッファ(10)のRAZ(任意選択)。
ブロック76:
テクスチャメモリ11に含まれる専用テクスチャ19への、取得手段12からのビデオバッファ14のコピー。
作業用バッファ10へのシーン4のトレース。
テクスチャから作成することができるものを含むテクスチャの使用(たとえば、環境マッピング、スクリーン背景としての作業バッファ10のトレースされた内燃機関、合成オブジェクトのテクスチャ加工)。
ビデオ出力バッファ40の更新
ブロック80:
プログラム終了か?
ブロック82:
終了。
アンチエイリアスの説明:
アンチエイリアスは、合成画像16の有限解像度に起因する、ポリゴン20のエッジにおけるステアステップの削減を可能にするフィルタリング操作である。
アンチエイリアスが適用されると、前景にあるオブジェクトのエッジのピクセルの色は、背景オブジェクトのピクセルと前景にあるオブジェクトのピクセルとの間のフィルタリング操作によって取得される。
本発明は、ビデオを有するテクスチャ加工されたオブジェクトを、他の合成オブジェクトと同じ性質の要素として扱うことを可能にする。アンチエイリアス機能はしたがって、シーン全体のトレースに適用される。
透明効果の説明
合成オブジェクトは、透明な面を含むことができる。このようなオブジェクトが、ビデオを有するテクスチャ加工された背景オブジェクトに関して前景にある場合、テクスチャ加工されたビデオオブジェクトは、こうした面を通して見られる。
非直線歪みの説明:
ビデオは、ポリゴン20のマッピングされたテクスチャに格納されるので、本方法は、ビデオへの非直線歪みの適用を可能にする。したがって、ビデオ画像をリアルタイムで歪ませて、ビデオカメラの光学的歪みを補正することができる。曲げられた状態で現れる画像のエッジ部分のラインはしたがって、ビデオテクスチャを引き伸ばすことによって直線にすることができる。
この目的のため、関連づけられた頂点からなる座標が線形的に展開するとき、曲線を描くテクスチャ座標を用いてビデオテクスチャが張られる、ポリゴン20からなる規則的な網目が作成される。
「ピクセルシェーダー」処理、具体的には「クロマキー」についての説明。
ピクセルの最終的な色は、トレースされているポリゴン20の同一ピクセルの色と、トレース済みのポリゴン20の色との配合である。ポリゴンのピクセルの色は、こうしたポリゴンに関連づけられた1つまたは複数のテクスチャにおけるこのピクセルの値とポリゴンの照度の配合である。
今日のグラフィックボードは、プログラム(ピクセルシェーダー)を用いて、この配合を実施する。このプログラムは、他の3Dオブジェクトのように、グラフィックボード8に転送される。
本発明の方法は、それ自体が公知である、「ピクセルシェーダー」タイプの機能を、ビデオ画像に適用することを可能にする。この適用により、特にビデオバッファ14または他の画像処理に対して、「クロマキー」タイプのアルゴリズムの利用が可能になる。
クロマキーの原理は、画像中で、所与の色のポイントすべてを、別のビデオソースからのポイントで置き換えることである。この技術は、「ブルースクリーン」と呼ばれる場合もある。単純なクロマキーアルゴリズムを、後で説明する。ビデオの各ピクセルごとに、
・各ピクセルの色がスペースYUVに入れられ、
・この色の相違が、座標Y(輝度)を無視して、基準色と比較して計算され、
・相違が所定の閾値未満の場合、ピクセルは透明になる。所定の閾値未満でない場合、ピクセルは通常通り表示される。
環境マッピングの説明
環境マッピングは、レイトレーシング(リアルタイムでは使用不可能)を用いずに反射面をシミュレートする技術である。この技術は、オブジェクトを囲むシーンの画像を含む特殊テクスチャを、オブジェクト自体に対して与える。その結果、高度な計算能力を必要とせず、反射面の外見の近似が得られる。
本発明の方法は、2つの取得手段12(2つの取得カード)の使用に一般化され、2つの取得手段12の一方(2つの取得カードの一方)を用いて、このカードに関連づけられたバッファビデオ14をテクスチャ11のメモリにコピーすることを可能にする。このコピーは、テクスチャ加工されたシーンのオブジェクトがこのテクスチャを用いてトレースされるとき、環境のマッピングとして働く。こうすることにより、こうした合成オブジェクトで実際に反射を得ることが特に可能になる。
他の取得カードは、そのビデオバッファ14を、反射がある合成オブジェクトの背景に表示されるテクスチャのメモリにコピーするのに使われる。
バッファメモリ23の説明
バッファメモリ方法は、ビデオ画像の表示を遅らせるのを可能にする。
N個のビデオ画像が、メモリに格納される。
バッファメモリ方法は、ビデオ画像の表示を遅らせるのを可能にする。バッファメモリ23は、以下の原理に基づいて作用する。バッファメモリ23は、N個のビデオバッファ14を格納することができる。こうしたビデオバッファ14は、周期N、(N−2)、(N−2)、(N−3)などの間に取得手段12によって取得されるビデオ画像13に対応する。周期Nにおいて、本方法は、周期(N−2)で取得されたビデオバッファ14を使うことを決定することができ、この場合、3つの周期でビデオ出力39によって表示されるビデオ画像を遅らせる結果となる。通常、この処理によって、最大N個の画像を遅延させることができる。
従来技術に勝る、権利請求対象のソリューションの利点
次に、従来技術に勝る、本発明の方法およびシステムの利点を説明する。
・本発明の方法およびシステムは、画像の質、すなわちポリゴンの数、シャドーイング、テクスチャ加工、透明性、反射、およびアンチエイリアスの向上を可能にする。
・本発明の方法およびシステムは、ビデオテクスチャ加工の効果、すなわち、単一の静的画像ではなくライブビデオを有する合成オブジェクトのテクスチャ加工をリアルタイムで遂行することを可能にする。
・本発明の方法およびシステムは、動的環境マッピング効果、すなわち、静的ではなくビデオそのものである環境マップを合成オブジェクトの周囲に配置することを可能にする。こうすることにより、特に合成オブジェクトが鏡と同程度に反射する面を有する場合に驚異的な効果が起こり得る。
・本発明の方法およびシステムは、伝統的には1つまたはいくつかのライブビデオソースではなく静的テクスチャを用いて行うことが可能であったすべてのことを可能にする。
・本発明の方法およびシステムは、ピクセルシェーダー技術によるビデオ画像処理(具体的にはクロマキータイプの処理の実行を可能にする。
・本発明の方法およびシステムは、外部ラックを用いずにビデオ画像を遅らせることを可能にする。
・処理はすべて同じマシン内で行われるので、本発明の方法およびシステムは、システムの応答時間の短縮を可能にする(いくつかの処理装置の処理時間が、従来技術の内燃機関のように累積しない)。
・本発明の方法およびシステムは、低コストで大量生産される素材の使用を可能にする。
・本発明の方法およびシステムは、電子機器(ハードウェア)の独自開発を必要としない。本発明の方法およびシステムは、保守(一般に利用可能なPCのマザーボード、消費者グラフィックボード、消費者ビデオ取得カード)を容易にすることができる。
・本発明の方法およびシステムは、1台のコンピュータ(標準PCケース)、ポータブルコンピュータ、または産業用ラックPC)を用いて作用することができる。
・本発明の方法およびシステムは、リアルタイムで作用することができる。すなわち、ビデオ画像が直接生成される。したがって、編集コスト(post−production cost)を低下させることができる(数秒のビデオ画像に数時間もかからない)。
・本発明の方法およびシステムは、移植することができる。本方法およびシステムは、コンパクトな産業用PCボード上で作用することができる(軍もしくは海軍または危険地域)。
・本発明の方法およびシステムは、硬化物(産業用、軍用)上で作用することができる。
・本発明の方法およびシステムは、ソフトウェアをほとんど更新することなく、高速化グラフィックボードのパフォーマンスの発展を追及することができる。標準画像ライブラリ(DirectXまたはOpenの使用。
・本発明の方法およびシステムは、容易に動かすことができ(移動性)、使用場所で高速にインストールすることができる。
・本発明の方法およびシステムは、ビデオ入力(たとえばDV入力)を装備したポータブルコンピュータ上で実行することができる。
方法および本発明によるシステムの産業上および商用の適用範囲。
オーディオビジュアル分野(動画およびビデオ)の内燃機関の、産業上の適用範囲。
本発明の方法およびシステムは、オンラインで、またはオンラインの状況で撮影されるオーディオビジュアル制作物に特に利用することができる。
・リアルタイムの仮想セット(仮想セッティングにプレゼンタを表示する)
・リアルタイムの特殊効果(たとえば、リアルタイムでの粒子、爆発、歪み)。
本発明の方法およびシステムは、特に広告分野において利用することができる(たとえば、実際のセッティング内の仮想製品)。
本発明の方法およびシステムは、テレキャストに仮想オブジェクトをオーバーレイし、放送プレゼンタとの対話を行うのに利用することができる(トークショー、スポーツ中継、テレビショッピング、ニュース、天気予報、医療番組)。
本発明の方法およびシステムは、実際のセッティングにリアルタイムで「アバター」、すなわち仮想の人物になるのに利用することができる。
本発明の方法およびシステムは、動画に対してリアルタイムの視覚化(撮影現場での特殊効果の制御)を行うのに利用することができる。
本発明の方法およびシステムは、製造分野で利用することができる(手作業による操作を指導し、製造中に製作者に情報提供するための実際の画像を用いた効果の向上)。
本発明の方法およびシステムは、保守分野で利用することができる(保守スケジュールを最適化し、応急処置をリアルタイムでガイドするための補足情報を伴う実際の画像を用いた効果の向上)。
本発明の方法およびシステムは、軍の内燃機関において利用することができる(仮想ターゲット、仮想脅威、爆発、歩兵、車両)。
本発明の方法およびシステムは、シミュレーションにおいて利用することができる(実際の小道具、仮想プロトタイプ、仮想車両のテストを合わせ用いた、大気または環境現象のシミュレーション)。
本発明の方法およびシステムは、ビデオゲームの分野で利用することができる(ビデオゲームにおける実際のプレーヤの視覚化、または実際の画像への、人、車両などの仮想要素の統合)。
本発明の方法およびシステムは、
・自動車分野(実際の道路上の仮想車両)、
・アーキテクチャ分野(実際の景観での仮想建築物の視覚化)、
・リアルタイム操行の分野、すなわちパイロットまたは車掌に向けたデータ表示において利用することができる。
マーケティングまたは通信分野における適用範囲
本発明の方法およびシステムは、市場調査の実施、すなわち実際にはまだ製造されていない製品を、実際の状況において表すのに利用することができる(たとえば、新しいモバイルGSM、新しい車両)。
本発明の方法およびシステムは、店舗またはビジネス中心街でインタラクティブな画像を作成するのに利用することができる。
情報技術分野における産業上の適用範囲
本発明の方法およびシステムは、テレビ会議に利用することができる。テレビ電話によって、仮想オブジェクトを挿入し、仮想オブジェクトと対話することができるようになる。
レジャー分野における産業上の適用範囲
本発明の方法およびシステムは、アミューズメントパークで利用することができ、ビジュアルアニメーションをリアルタイムで表示する(たとえば、インタラクティブな鏡)。
リアリティに対する向上を可能にする従来技術の機器を表す図である。 本発明によるシステムの変形形態の概観を表す図である。 別の変形形態の場合のデータ処理手段26を概略的に示す図である。 図3に示す変形形態の場合の2D/3D処理高速化プロセッサ9を概略的に表す図である。 取得手段12が、グラフィックボード8に統合されたビデオ取得の形で現れる場合の変形形態を概略的に表す図である。 取得手段12が、マザーボード7に統合されたビデオ取得の形である場合の変形形態を概略的に表す図である。 取得手段12が、専用取得カードによるビデオ取得の形で現れる場合の変形形態を概略的に表す図である。 グラフィックボードのビデオ出力バッファ(バックバッファ)40に、ビデオバッファ14をコピーするアルゴリズムを概略的に表す図である。 グラフィックボードのテクスチャメモリ11に、ビデオバッファ14をコピーするアルゴリズムを概略的に表す図である。

Claims (24)

  1. ユーザが、
    (i)データ処理装置(2)において、合成画像のフロー(3)を作成し、
    (ii)前記合成画像のフロー(3)と少なくとも1つのビデオ画像フロー(5)との間の視覚的対話を行うことによって、シーン(4)をトレースすることを可能にし、
    その結果、前記シーン(4)の質を向上させ、独自に開発した高価なデータ処理装置(2)を利用することなく処理時間を短縮する方法であって、
    特に消費者「PCコンピュータタイプ」である前記データ処理装置(2)が、
    マザーボード(7)と、
    2D/3D処理高速化プロセッサ(5)、作業バッファ(10)(「バックバッファ」)、およびテクスチャメモリ(11)を含む、前記シーン(4)をレンダリングし表示するグラフィックスボード(8)と、
    ビデオ画像(13)をリアルタイムでビデオバッファ(14)に取得することを可能にする取得手段(12)とを備え、
    前記取得手段(12)が特に、
    ・前記グラフィックボード(8)に統合されたビデオ取得の形、および/または
    ・前記マザーボード(7)に統合されたビデオ取得の形、および/または
    ・専用の取得ボードを介するビデオ取得の形で現れ、
    前記方法が、
    ・前記シーンの特定の描画を実施し、
    ・前記シーン(4)をレンダリングする度に、前記ビデオバッファ(14)を前記グラフィックボード(8)のメモリゾーン(10、11)にコピーし、
    ・前記グラフィックボード(8)の前記作業バッファ(10)に前記合成画像(16)をトレースするステップを含む方法であって、
    前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を有するドライバ(22)を備え、前記シーン(4)のレンダリングが、各新規ビデオバッファ(14)の提示と同時に実施されることを特徴とする方法。
  2. ユーザが、
    (i)データ処理装置(2)において、合成画像のフロー(3)を作成し、
    (ii)前記合成画像のフロー(3)と少なくとも1つのビデオ画像フロー(5)との間の視覚的対話を行うことによって、シーン(4)をトレースすることを可能にし、
    その結果、前記シーン(4)の質を向上させ、独自に開発した高価なデータ処理装置(2)を利用することなく処理時間を短縮する方法であって、
    特に消費者「PCコンピュータタイプ」である前記データ処理装置(2)が、
    マザーボード(7)と、
    2D/3D処理高速化プロセッサ(5)、作業バッファ(10)(「バックバッファ」)、およびテクスチャメモリ(11)を含む、前記シーン(4)をレンダリングし表示するグラフィックスボード(8)と、
    ビデオ画像(13)をリアルタイムでビデオバッファ(14)に取得することを可能にする取得手段(12)とを備え、
    前記取得手段(12)が特に、
    ・前記グラフィックボード(8)に統合されたビデオ取得の形、および/または
    ・前記マザーボード(7)に統合されたビデオ取得の形、および/または
    ・専用の取得ボードを介するビデオ取得の形で現れ、
    前記方法が、
    ・前記シーンの特定の描画を実施し、
    ・前記シーン(4)をレンダリングする度に、前記ビデオバッファ(14)を前記グラフィックボード(8)のメモリゾーン(10、11)にコピーし、
    ・前記グラフィックボード(8)の前記作業バッファ(10)に前記合成画像(16)をトレースするステップを含む方法であって、
    更に、前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を有するドライバ(22)を備え、
    ・ビデオキャプチャのパフォーマンスユニット(24)(「スレッド」)を利用することによって、バッファメモリ(23)を各新規ビデオバッファで満たすステップと、
    ・前記バッファメモリ(23)に含まれる前記ビデオバッファ(14)の1つを前記グラフィックボード(8)の前記テクスチャメモリ(11)にコピーするステップと、
    ・各新規ビデオバッファ(14)の提示に関して同期せずに前記シーン(4)の描画を実施するステップとを含むことを特徴とする方法。
  3. 特定の描画を実施するために、
    ・前記シーン(4)のレンダリングの度に、前記ビデオバッファ(14)を前記作業バッファ(10)にコピーするステップと、
    ・前記合成画像(16)を前記作業バッファ(10)にトレースするステップとを含む、請求項1または請求項2に記載の方法。
  4. 前記ビデオバッファがインターレースビデオラインを含み、前記シーン(4)をレンダリングする度に前記ビデオバッファ(14)を前記作業バッファ(10)にコピーするために、
    ・最初の描画のときに前記偶数ビデオライン(17)をコピーするステップと、次いで
    ・その後の描画のときに前記奇数ビデオライン(18)をコピーするステップとを含む、請求項に記載の方法。
  5. 特定の描画を実施するために、
    ・前記特定の描画に先立って、前記グラフィックボード(8)の前記テクスチャメモリ(11)中に専用テクスチャ(19)を作成することによって初期化するステップであって、前記専用テクスチャ(19)が、前記ビデオバッファ(14)と同じサイズであり、前記専用テクスチャ(19)が、前記ビデオバッファ(14)を前記テクスチャメモリ(11)にコピーするのに専用であるステップを含み、
    ・前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーするステップと、
    ・前記シーン(4)のポリゴン(20)の一部をテクスチャ加工する前記専用テクスチャ(19)を用いて、前記シーン(4)を完全にトレースするステップとをさらに含む、請求項1または請求項2に記載の方法。
  6. 前記ビデオバッファ(14)がインターレースビデオラインを含み、前記シーン(4)の描画の度に前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーするために、
    ・最初のレンダリングのときに前記偶数ビデオライン(17)をコピーするステップと、次いで
    ・その後の描画のときに前記奇数ビデオライン(18)をコピーするステップと、
    ・前記専用テクスチャ(19)のテクスチャ座標を変更すること、
    ・または前記専用テクスチャ(19)でテクスチャ加工されたポリゴン(20)の座標を変更することのいずれかによって、
    ・(画像の質が向上するように)約1本のハーフライン分の前記ビデオバッファ(14)からの変換を前記シーン(4)の描画に適用するステップとを含む、請求項に記載の方法。
  7. 前記シーン(4)のトレースにおいてアンチエイリアス機能を適用するステップを含む、請求項1からのいずれか一項に記載の方法。
  8. 前記シーン(4)のトレースにおいて透明機能を適用するステップを含む、請求項1からのいずれか一項に記載の方法。
  9. 前記専用テクスチャ(19)を用いて前記シーン(4)のポリゴン(20)をテクスチャ加工するとき、(前記ビデオ画像の光学的歪みを補正することができるように)前記ビデオバッファ(14)に非直線歪みを加えるステップを含む、請求項1からのいずれか一項に記載の方法。
  10. 特にクロマキータイプの処理を可能にする、前記ビデオバッファ(14)にピクセルシェーダー機能を適用するステップを含む、請求項1からのいずれか一項に記載の方法。
  11. 前記データ処理装置(2)が、それぞれがビデオバッファ(14)を有する取得手段(12)を備え、
    ・前記取得手段(12)の1つの、前記ビデオバッファ(14)を前記グラフィックボード(8)の第2の専用テクスチャにコピーするステップと、
    ・前記第2の専用テクスチャを使うことによって、(合成オブジェクト上で実際に反射を得ることができるように)前記シーン(4)を少なくとも部分的にテクスチャ加工するステップとを含む、請求項1から10のいずれか一項に記載の方法。
  12. バッファメモリ(23)に含まれる前記ビデオバッファ(14)の1つを、(前記合成画像(16)の表示に対して、ビデオ画像(13)の表示を遅らせることができるように)前記グラフィックボード(8)の前記テクスチャメモリ(11)にコピーすることを遅らせるステップを含む、請求項1から11のいずれか一項に記載の方法。
  13. ユーザが、
    (i)標準電子回路からなるデータ処理装置(2)において、合成画像のフロー(3)を作成し、
    (ii)前記合成画像のフロー(3)と少なくとも1つのビデオ画像フロー(5)との間の視覚的対話を行うことによって、シーン(4)をトレースすることを可能にし、
    その結果、前記シーン(4)の質を向上させ、独自に開発した高価なデータ処理装置(2)を利用することなく処理時間を短縮するシステムであって、
    特に消費者「PCコンピュータ」タイプである前記データ処理装置(2)が、
    マザーボード(7)と、
    2D/3D処理高速化プロセッサ(9)、作業バッファ(10)(「バックバッファ」)、およびテクスチャメモリ(11)を含む、前記シーン(4)をレンダリングし表示するグラフィックスボード(8)と、
    ビデオ画像(13)をリアルタイムでビデオバッファ(14)に取得することを可能にする取得手段(12)とを備え、前記取得手段(12)が特に、
    ・前記グラフィックボード(7)に統合されたビデオ取得の形、および/または前記マザーボード(7)に統合されたビデオ取得の形、および/または
    ・専用の取得ボードを介するビデオ取得の形で現れ、
    前記(4)シーンの特定のレンダリングを実施するために、
    ・前記マザーボード(7)が、前記(4)シーンの描画の度に、前記ビデオバッファ(14)を前記グラフィックボード(8)のメモリゾーン(16)にコピーし直させ、
    ・前記2D/3D処理高速化プロセッサ(9)が、前記グラフィックボード(8)のメモリゾーン(15)に前記合成画像(16)をトレースするトレース手段を備え、
    前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を有するドライバ(22)を含み、前記データ処理手段(26)が、前記シーン(4)の描画を、各新規ビデオバッファ(14)の提示と同期して実施するシステム。
  14. ユーザが、
    (i)標準電子回路からなるデータ処理装置(2)において、合成画像のフロー(3)を作成し、
    (ii)前記合成画像のフロー(3)と少なくとも1つのビデオ画像フロー(5)との間の視覚的対話を行うことによって、シーン(4)をトレースすることを可能にし、
    その結果、前記シーン(4)の質を向上させ、独自に開発した高価なデータ処理装置(2)を利用することなく処理時間を短縮するシステムであって、
    特に消費者「PCコンピュータ」タイプである前記データ処理装置(2)が、
    マザーボード(7)と、
    2D/3D処理高速化プロセッサ(9)、作業バッファ(10)(「バックバッファ」)、およびテクスチャメモリ(11)を含む、前記シーン(4)をレンダリングし表示するグラフィックスボード(8)と、
    ビデオ画像(13)をリアルタイムでビデオバッファ(14)に取得することを可能にする取得手段(12)とを備え、前記取得手段(12)が特に、
    ・前記グラフィックボード(7)に統合されたビデオ取得の形、および/または前記マザーボード(7)に統合されたビデオ取得の形、および/または
    ・専用の取得ボードを介するビデオ取得の形で現れ、
    前記(4)シーンの特定のレンダリングを実施するために、
    ・前記マザーボード(7)が、前記(4)シーンの描画の度に、前記ビデオバッファ(14)を前記グラフィックボード(8)のメモリゾーン(16)にコピーし直させ、
    ・前記2D/3D処理高速化プロセッサ(9)が、前記グラフィックボード(8)のメモリゾーン(15)に前記合成画像(16)をトレースするトレース手段を備え、
    更に、前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を提示するドライバ(22)を有し、前記データ処理手段(26)が、
    ・ビデオキャプチャの実行ユニット(24)(「スレッド」)を利用することによって、バッファメモリ(23)を各新規ビデオバッファ(14)で満たす変換手段と、
    ・前記バッファメモリ(23)に含まれる前記ビデオバッファの1つを前記グラフィックボード(8)の前記テクスチャメモリ(11)にコピーする第3のコピー手段(38)とを備え、
    前記データ処理手段(26)が、各新規ビデオバッファ(14)の提示に関して同期せずに前記シーン(4)の描画を実施するシステム。
  15. 特定の描画を実施するために、
    ・前記データ処理手段(26)が、前記シーン(4)の描画の度に、前記ビデオバッファ(14)を前記作業バッファ(10)にコピーする第1のコピー手段(27)を備え、
    ・前記2D/3D処理高速化プロセッサが、前記合成画像(16)を前記作業バッファ(10)にトレースする第1の計算手段(29)を備える、請求項13または請求項14に記載のシステム。
  16. 前記ビデオバッファ(14)がインターレースビデオラインを含み、前記ビデオバッファ(14)を前記作業バッファ(10)にコピーする第1の手段(27)が、
    ・最初のレンダリングのときに前記偶数ビデオライン(17)を選択しコピーする第1の選択およびコピー手段(30)と、次いで
    ・その後の描画のときに前記奇数ビデオライン(18)を選択しコピーする第2の選択およびコピー手段(31)とを備える、請求項15に記載のシステム。
  17. 特定のレンダリングを実施するために、前記データ処理手段(26)が、特定の描画に先立って、前記グラフィックボード(8)の前記テクスチャメモリ(11)中での専用テクスチャ(19)の作成を初期化する手段であって、前記専用テクスチャ(19)が前記ビデオバッファ(14)と同じサイズである手段を含み、
    特定の描画を実行するために、前記データ処理手段(26)が、前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーする第2のコピー手段(33)をさらに含み、
    特定の描画を実行するために、前記2D/3D処理高速化プロセッサが、前記シーン(4)のポリゴン(20)の一部をテクスチャ加工する前記専用テクスチャ(39)を用いて、前記シーン(4)を完全にトレースするための第2の計算手段(34)をさらに含む、請求項13または請求項14に記載のシステム。
  18. 前記ビデオバッファ(14)がインターレースビデオラインを含み、前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーする前記第2の手段(33)が、
    ・最初の描画において前記偶数ビデオライン(17)を選択しコピーする第3の手段と、次いで
    ・その後の描画において前記奇数ビデオライン(18)を選択しコピーする第4の手段と、
    ・前記専用テクスチャ(19)のテクスチャ座標を変更すること、
    ・または前記専用テクスチャ(15)でテクスチャ加工されたポリゴン(20)の座標を変更することのいずれかによって、
    ・(画像の質が向上するように)約1本のハーフライン分の前記ビデオバッファ(14)からの変換(21)を前記シーン(4)の描画に適用する第3の計算手段とを備える、請求項17に記載のシステム。
    るシステム。
  19. 前記データ処理手段(26)が、前記シーン(4)がトレースされるときにアンチエイリアス機能を適用することを可能にする、請求項13から18のいずれか一項に記載のシステム。
  20. 前記データ処理手段(26)が、前記シーン(4)がトレースされるときに透明機能を適用することを可能にする、請求項13から19のいずれか一項に記載のシステム。
  21. 前記データ処理手段(26)が、前記専用テクスチャ(19)を用いて前記シーン(4)のポリゴン(20)をテクスチャ加工して、(前記ビデオ画像の光学的歪みを補正することができるように)前記ビデオバッファ(14)に非直線歪みを加えることを可能にする、請求項13から20のいずれか一項に記載のシステム。
  22. 前記データ処理手段(26)が、前記ビデオバッファ(14)にピクセルシェーダー機能を適用することを可能にし、特にクロマキータイプの処理を可能にする、請求項13から21のいずれか一項に記載のシステム。
  23. 前記データ処理手段(26)が、前記取得手段の1つから前記グラフィックボード(8)の第2の専用テクスチャに前記ビデオバッファ(14)をコピーすることを可能にし、前記2D/3D処理高速化プロセッサ(9)が、前記第2の専用テクスチャを使うことによって、(合成オブジェクト上で実際に何らかの反射を得ることができるように)前記シーン(4)を少なくとも部分的にテクスチャ加工することを可能にする、請求項13から22のいずれか一項に記載のシステム。
  24. 前記データ処理手段(26)が、バッファメモリ(23)に含まれる前記ビデオバッファ(14)の1つを、(前記合成画像(16)の表示に対して、前記ビデオ画像(13)の表示を遅らせることができるように)前記グラフィックボード(8)の前記テクスチャメモリ(151)にコピーすることを遅らせることを可能にする、請求項13から23のいずれか一項に記載のシステム。
JP2004523896A 2002-07-24 2003-07-21 ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム Expired - Fee Related JP4481166B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0209401A FR2842977A1 (fr) 2002-07-24 2002-07-24 Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
PCT/FR2003/050019 WO2004012445A2 (fr) 2002-07-24 2003-07-21 Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video

Publications (2)

Publication Number Publication Date
JP2005534113A JP2005534113A (ja) 2005-11-10
JP4481166B2 true JP4481166B2 (ja) 2010-06-16

Family

ID=30011453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004523896A Expired - Fee Related JP4481166B2 (ja) 2002-07-24 2003-07-21 ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム

Country Status (12)

Country Link
US (1) US7471301B2 (ja)
EP (1) EP1527599B1 (ja)
JP (1) JP4481166B2 (ja)
AT (1) ATE473594T1 (ja)
AU (1) AU2003273498A1 (ja)
DE (1) DE60333299D1 (ja)
DK (1) DK1527599T3 (ja)
ES (1) ES2348853T3 (ja)
FR (1) FR2842977A1 (ja)
PT (1) PT1527599E (ja)
SI (1) SI1527599T1 (ja)
WO (1) WO2004012445A2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
CA2621191C (en) 2005-08-29 2012-12-18 Evryx Technologies, Inc. Interactivity via mobile image recognition
EP2005566A1 (de) * 2006-03-20 2008-12-24 INA-Drives & Mechatronics GmbH & Co oHG Linearantrieb mit bewegter, massereduzierter und seitengeführter passiveinheit
EP1837060A1 (en) * 2006-03-21 2007-09-26 In Fusio (S.A.) Method for displaying interactive video content from a video stream in a display of a user device
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
US20070277097A1 (en) * 2006-05-25 2007-11-29 Erik Frederick Hennum Apparatus, system, and method for context-aware authoring transform
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR2928805B1 (fr) * 2008-03-14 2012-06-01 Alcatel Lucent Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
US8184143B2 (en) * 2008-06-27 2012-05-22 Sony Mobile Communications Ab Simulated reflective display
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN102906810B (zh) 2010-02-24 2015-03-18 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
US9514654B2 (en) 2010-07-13 2016-12-06 Alive Studios, Llc Method and system for presenting interactive, three-dimensional learning tools
KR101296910B1 (ko) * 2010-10-20 2013-08-14 엘지디스플레이 주식회사 게이트 드라이버 및 이를 포함한 유기발광다이오드 표시장치
USD648390S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD647968S1 (en) 2011-01-31 2011-11-01 Logical Choice Technologies, Inc. Educational card
USD648796S1 (en) 2011-01-31 2011-11-15 Logical Choice Technologies, Inc. Educational card
USD648391S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD675648S1 (en) 2011-01-31 2013-02-05 Logical Choice Technologies, Inc. Display screen with animated avatar
USD654538S1 (en) 2011-01-31 2012-02-21 Logical Choice Technologies, Inc. Educational card
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US10022041B2 (en) 2012-06-27 2018-07-17 Camplex, Inc. Hydraulic system for surgical applications
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9854328B2 (en) * 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
US9782159B2 (en) 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
US9301731B2 (en) 2013-07-16 2016-04-05 Edan Instruments, Inc. Ultrasound system and transducer assemblies
CN105637512B (zh) 2013-08-22 2018-04-20 贝斯普客公司 用于创造定制产品的方法和***
EP3046458B1 (en) 2013-09-20 2020-10-21 Camplex, Inc. Surgical visualization systems
WO2015042460A1 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems and displays
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム
US9977572B2 (en) 2014-04-01 2018-05-22 Hallmark Cards, Incorporated Augmented reality appearance enhancement
WO2016090336A1 (en) 2014-12-05 2016-06-09 Camplex, Inc. Surgical visualization systems and displays
US11154378B2 (en) 2015-03-25 2021-10-26 Camplex, Inc. Surgical visualization systems and displays
EP3383247A4 (en) 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
US10453244B2 (en) * 2016-10-07 2019-10-22 Sony Corporation Multi-layer UV map based texture rendering for free-running FVV applications
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227863A (en) * 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5781174A (en) * 1992-07-14 1998-07-14 Matsushita Electric Industrial Co., Ltd. Image synthesizer and image pointing system
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
US5553859A (en) * 1995-03-22 1996-09-10 Lazer-Tron Corporation Arcade game for sensing and validating objects
US5764317A (en) * 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
DE19619090A1 (de) * 1996-04-30 1997-11-13 Cfb Gmbh Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes
US5889550A (en) * 1996-06-10 1999-03-30 Adaptive Optics Associates, Inc. Camera tracking system
JP2970558B2 (ja) * 1996-10-25 1999-11-02 日本電気株式会社 オーディオ/ビデオ/コンピュータグラフィクス同期再生合成方式及び方法
US6034739A (en) * 1997-06-09 2000-03-07 Evans & Sutherland Computer Corporation System for establishing a three-dimensional garbage matte which enables simplified adjusting of spatial relationships between physical and virtual scene elements
US6014163A (en) * 1997-06-09 2000-01-11 Evans & Sutherland Computer Corporation Multi-camera virtual set system employing still store frame buffers for each camera
US6262749B1 (en) * 1997-12-31 2001-07-17 Acuson Corporation Ultrasonic system and method for data transfer, storage and/or processing
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6608630B1 (en) * 1998-11-09 2003-08-19 Broadcom Corporation Graphics display system with line buffer control scheme
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6798420B1 (en) * 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US7162528B1 (en) * 1998-11-23 2007-01-09 The United States Of America As Represented By The Secretary Of The Navy Collaborative environment implemented on a distributed computer network and software therefor
US6508709B1 (en) * 1999-06-18 2003-01-21 Jayant S. Karmarkar Virtual distributed multimedia gaming method and system based on actual regulated casino games
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP2001137541A (ja) * 1999-11-17 2001-05-22 Square Co Ltd オブジェクト表示方法、ゲーム装置および記録媒体
US7098888B2 (en) * 2000-04-28 2006-08-29 Texas Tech University System Development of stereoscopic-haptic virtual environments
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
WO2002100285A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
US6724386B2 (en) * 2001-10-23 2004-04-20 Sony Corporation System and process for geometry replacement

Also Published As

Publication number Publication date
SI1527599T1 (sl) 2010-11-30
EP1527599A2 (fr) 2005-05-04
DE60333299D1 (de) 2010-08-19
AU2003273498A1 (en) 2004-02-16
JP2005534113A (ja) 2005-11-10
EP1527599B1 (fr) 2010-07-07
ES2348853T3 (es) 2010-12-03
US20060074921A1 (en) 2006-04-06
WO2004012445A3 (fr) 2004-04-08
DK1527599T3 (da) 2010-10-25
FR2842977A1 (fr) 2004-01-30
AU2003273498A8 (en) 2004-02-16
US7471301B2 (en) 2008-12-30
WO2004012445A2 (fr) 2004-02-05
ATE473594T1 (de) 2010-07-15
PT1527599E (pt) 2010-08-31

Similar Documents

Publication Publication Date Title
JP4481166B2 (ja) ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム
US7142709B2 (en) Generating image data
JP2508513B2 (ja) 画像発生装置
US5459529A (en) Video processing for composite images
CN108108140B (zh) 一种多屏协同显示方法及存储装置及支持3d显示的设备
CN105447898A (zh) 一种虚拟现实设备中显示2d应用界面的方法和装置
CA3045133C (en) Systems and methods for augmented reality applications
GB2113950A (en) Image composition system
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
CN110968962B (zh) 基于云渲染在移动端或大屏三维展示方法及***
KR100610689B1 (ko) 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록매체
JP4707782B2 (ja) 画像処理装置およびその方法
CN113781660A (zh) 一种用于直播间在线渲染加工虚拟场景的方法及装置
JP2000011204A (ja) 画像処理方法及び画像処理プログラムを記録した記録媒体
US6590574B1 (en) Method, system, and computer program product for simulating camera depth-of-field effects in a digital image
CN113546410B (zh) 地形模型渲染方法、装置、电子设备和存储介质
JP2001250127A (ja) 三次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体、ぼかし描画処理方法およびビデオゲーム装置
CN116437061A (zh) 演示图像激光投射方法、装置、计算机设备及存储介质
JP2005346417A (ja) 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置
CN114428573B (zh) 特效图像处理方法、装置、电子设备及存储介质
CN115830210A (zh) 虚拟对象的渲染方法、装置、电子设备及存储介质
US20040174367A1 (en) System and method for processing real-time video streams
JP3501479B2 (ja) 画像処理装置
JP2009064355A (ja) プログラム、情報記憶媒体及び画像生成システム
Hayashi et al. Ultra high resolution 4K/8K Real-time CG System and its application

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091020

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100317

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees