JP2001283248A - グラフィックオブジェクトの表面点を投影する方法 - Google Patents
グラフィックオブジェクトの表面点を投影する方法Info
- Publication number
- JP2001283248A JP2001283248A JP2001052859A JP2001052859A JP2001283248A JP 2001283248 A JP2001283248 A JP 2001283248A JP 2001052859 A JP2001052859 A JP 2001052859A JP 2001052859 A JP2001052859 A JP 2001052859A JP 2001283248 A JP2001283248 A JP 2001283248A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- depth
- depth value
- buffer
- surfel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/40—Hidden part removal
- G06T15/405—Hidden part removal using Z-buffer
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
素に変換することができるグラフィックオブジェクトの
表面点を投影する方法を得る。 【解決手段】 ピクセルの深度値を決定するために深度
バッファにおけるピクセル上にグラフィックオブジェク
トの表面点を投影する方法において、各表面点は、対応
するピクセル上に投影される。各投影された表面点の深
度値は、ピクセルの深度値よりも小さい場合にのみ、ピ
クセルに記憶される。正接円盤は、表面点の位置で構築
され、該正接円盤は、表面点間の最大距離よりも大きい
半径を有している。正接円盤は、ピクセルの対応する部
分集合のピクセル上に投影される。投影された正接円盤
の深度値が対応する部分集合のピクセルの深度値よりも
小さい場合にのみ、投影された正接円盤の深度値は、対
応する部分集合のピクセルに記憶される。
Description
ィックレンダリングに関し、より具体的には画像再構築
に関する。
は、消費者レベルではいたるところで見受けられるよう
になっている。高級なPCワークステーションから低価
格のゲームステーションに至るまで入手可能な3次元グ
ラフィックスハードウェアのアクセラレータが急激に増
大している。しかし、対話式のコンピュータグラフィッ
クスは、本当の印象を仮想世界に与えるようなリアリズ
ムのレベルには未だ到達していない。例えば、実時間ゲ
ームにおける一般的な前景部キャラクターは、角張った
シルエット等の不快な人工産物をしばしば出現させてい
る極端にミニマリズムに走ったポリゴンモデルになって
いる。
モデル化の技術で、増大しつつある複雑な形状の3次元
グラフィックスモデルを創造できるようにしている。し
かし、より高い等級のモデル化のプリミティブは、結局
は、グラフィックスサブシステムによって表現される以
前に三角形状に分解されている。プリミティブをレンダ
リングする三角形は、像描写力とコンピュータ負荷との
間で適正なバランスをとる上で満足のできるもののよう
である。現実味をだすために、生物に見えるモデルは、
更により多くの三角形を有し、又は1999年3月6日
のエコノミストの73ページ〜74ページの『 Smooth
Operator :滑らかなオペレータ』でスミス氏が述べてい
るような高度に複雑な形状を必要としており、『リアリ
ティを出すには8000万個のポリゴンを使う』と言っ
ている。
の隘路となり、過度の浮動小数点数計算を招き、過度の
ラスター化要件を必要とすることになる。オブジェクト
の可視複雑性を高めるために、テクスチャマッピングが
導入されてきた。テクスチャは、ポリゴン内部をより詳
細に現し、それによってもっと大きくて数の少ない三角
形が使われるようにしている。今日のグラフィックスエ
ンジンは、高いテクスチャマッピングの性能を求めて高
度に仕組まれている。しかし、テクスチャ写像は、ポリ
ゴンモデルの潜在的な幾何学形状に追従して、平坦な又
は若干湾曲した表面上で最も良好な仕上がりにならなけ
ればならない。リアルなまたは「生物」の表面は、しば
しば、ラスター化中に多くの工程で適用されなければな
らない多数のテクスチャを必要とする。
g)や、バンプマッピング(bump mapping)や変位マッ
ピング等の進んだレンダリング技術は、大部分の現在の
消費者向けのグラフィックスシステムでは取り扱われて
いない。煙や火や水等のグラフィックス現象は、三角形
を使ってテクスチャを出すように表現するのは困難であ
る。
ラフィックエレメントを使って多くの異なった方法で3
次元空間でオブジェクトを表示することができる。グラ
フィックオブジェクトを表示するのに一般的に使用され
ている公知の表示は、暗示的で、幾何学的で、ボリュメ
トリックであり、点サンプリングに依るものである。
は任意の数学的及び/若しくは物理学的関数から発生さ
れる。例えば、中空な球体の輪郭を描くために、人は単
にx2+y2+z2 =rの関数(デカルト座標における)
を表現エンジンに与えればよく、中実球体に対しては、
関数は、x2+y2+z2 ≦rである。色や他の材料特性
は、同様に合成して発生されることになる。関数は、色
々な幾何学的形状や、物理的物体や現実の又は空想上の
モデルを説明するのに使用されることになる。陰関数
は、例えば人の形態等の複雑なオブジェクトを合成する
には適していない。
シュとして幾何学的にモデル化されてきた。通常、ポリ
ゴンは三角形と成っている。各小面の寸法は、殆ど小面
の領域におけるオブジェクトの湾曲度合に対応するよう
に決められている。多くのポリゴンは、オブジェクトが
大きな曲率を有している場合に必要とされるが、比較的
平坦な領域に対しては少なくできる。ポリゴンモデル
は、バーチャルトレーニングの情況や3次元のモデル化
のツールや、ビデオゲーム等の多くの用途に使用されて
いる。特色として、幾何学的表示は、ただ単に、グラフ
ィックオブジェクトの表面輪郭を扱うに過ぎない。
クトにおける局部的な曲率の度合には対応できず、結局
は三角形が平坦の面を有しているため、ポリゴンモデル
が変形されると問題が生じる。更に、変形は、局部領域
の相対的解像度を変えることになろう。いずれの場合で
も、変形された湾曲に従ってオブジェクトを再度調整す
る必要がある。再調整(ポリゴン化)は、演算時間の観
点から比較的費用がかかるために、それは通常事前処理
工程として行われる。結果的に、ポリゴンモデルは、動
的に変形される必要があるオブジェクトにはうまく合っ
ていない。
T走査等でボリュメトリックデータ集合を生成するため
に3次元空間でサンプリングされる。各サンプルは、ボ
クセルと呼ばれている。一般的なデータ集合は、100
万のボクセルを有している。ボリュメトリックデータ集
合を表現するために、オブジェクトは、一般にセグメン
ト化される。等−表面(Iso-surface)は、特定の容積
領域に焦点を合わせるために識別される。例えば、人の
頭のボリュメトリックデータ集合は、骨や柔軟組織等の
材料特性に応じてボクセルを区分しているであろう。
モデル化や、ボリュメトリックデータ集合の変形は、依
然として非常に演算に対して費用のかかる作業である。
しばしば、人はただ表面の輪郭に興味を持ったり、また
オブジェクトの内部については事実上無視されることが
ある。
ば、例えば風洞シミュレーションにおける流体の流れを
モデル化するのに使用される。方向速度等の或る属性
は、流体の流れに渡って個々の点サンプルを追跡した
り、又は全体の流れをビジュアル化するために点サンプ
ルに与えられる。
やダストや霧等の『雲状』オブジェクトのビジュアル化
にある。シェーディングモデルは、雲状オブジェクトを
表現するために光を放出する点サンプルに適用される。
更に点サンプルは、表面をモデル化するためにエネルギ
ー関数の助けを得てサブ空間に抑制されることになる。
点サンプルから成る雲の長所は、雲が非常に変形しやす
い事である。短所としては、雲における点サンプルは、
分離していて、力を受けると個別に行動することであ
る。更に、従来技術の点サンプルは、ソリッドオブジェ
クトやモデルの表面を表現するには全く適していない。
は、モデル化されるオブジェクトの複雑さに依存してい
る。例えば、複雑なオブジェクトの幾何学的表示に関し
ては、ポリゴンは一般的に寸法が非常に小さく、ピクセ
ルの数は非常に少ない程度となっており、またオブジェ
クトは多くのポリゴンによって表示される。ポリゴン
は、通常、三角形を定義している頂点で表示される。
形の投影は、投影に入る各ピクセルの明暗度を算定する
ために走査−変換(ラスター化)される。これは、ほん
の数個のピクセルが各ポリゴンによって変換される時に
は、比較的時間のかかる作業と成る。ポリゴンを点サン
プルに置き換えて点サンプルを画像へと投影すること
は、オブジェクトを表現する上でより効率的な技法とな
る。
かの技法が知られている。一般に、ボリュームレンダリ
ングは極めて複雑である。ボクセルの数が制限されてい
なければ、実時間レンダリングは、時間が掛かったり、
又は実時間の応用には実用的でない。
国特許第5,781,194号の『ボクセルベースのオ
ブジェクトの実時間投影』に説明されている実時間レン
ダリングシステムは、表面のボクセル間に増分ベクトル
を使用して表面のボクセル鎖を構築するものである。そ
の投影は、オブジェクトのモデル化と表示に成功してお
り、非常に詳細な表面領域を示している。硬質体の動き
のモデル化は、物質に基づいた方法が使用されていない
のでリアリズムに欠けたスクリッピング(:scriptin
g)機構の助けを得て実施される。
用は、コンピュータグラフィックスに長い歴史を有して
いる。キャットマル氏は、1974年12月のユタ大学
の哲学博士論文の『湾曲表面のコンピュータ表示の細別
化アルゴリズム』において、幾何学的な細別が究極的に
は表面上の点に到達することを認めていた。パーティク
ルは、引き続き、他の方法では表現できなかった雲、爆
発、火等のオブジェクトに使用された。このことについ
ては、リーブス氏の1983年7月のSIGグラフ集録
第359〜376ページの『パーティクルシステム』に
おけるファジーなオブジェクトの部類のモデル化技法を
参照して下さい。
に発生される画像スプライトによって表示されて来た。
スプライト(sprite)は、描くのが早く、またオブジェ
クトのビジュアル特徴を十分に保っており、これについ
ては、1998年7月のSIGグラフ集録第231〜2
42ページのシェイド氏等の『層状深度画像:Layered
Depth Images』を参照して下さい。同様なアプローチ
は、高いほぼ一定のフレーム速度を維持するためにタリ
スマンレンダリングシステムに使用されていたが、これ
については、1996年8月のSIGグラフ集録第35
3〜364ページのトールボルグ氏等の『タリスマン:
PC用日用品実時間3次元グラフィックス』を参照して
下さい。しかし、平らなポリゴン上へオブジェクトをマ
ッピングすることは、視覚エラーを起こすことになり、
視差と非閉塞の作用を許容しない。これらの問題に対処
するために、幾つかの方法でピクセル当りの深度情報
を、二、三の名称をあげると、層状インポスターや深さ
を有したスプライトや層状深度画像と色々と呼ばれてい
る画像に加えるようにしている。更に、これらの技法は
いずれも、任意の視点から照射され表現される完全なオ
ブジェクトのモデルを与えてはくれない。
景を表示するために、視線依存の画像芯出されたサンプ
ルを利用している。しかし、視線依存のサンプルは、オ
ブジェクトの動きや、物性の変化や、光源の位置及び強
さの変化を伴った動的情景に対しては効果的で無い。
レポート第85−022号の『表示プリミティブとして
の点の利用』においてレボイ氏等は、オブジェクトを点
表示に変換するプロセスを説明している。そこでは、各
ポイントは、位置と色とを有している。彼等は、更に、
滑らかな表面として点を表現するプロセスも説明してい
る。点は、0次元のサンプルとしてモデル化されてお
り、オブジェクトオーダの投影を利用して表現されてい
る。レンダリングする時には、多数の点が同じピクセル
へと投影され、これらの点の明暗度は、考慮の下でピク
セルの最終明暗度を得るべくフィルタにかけられる必要
があるであろう。このフィルタリングは、画像における
投影された点位置から対応したピクセル中心までの距離
に比例して明暗度に重み付けして実施されるが、ところ
が重みは、表面によるピクセルの部分的被度(partial
coverage)に従って正規化されている。被度は、画像空
間における投影点の密度を算定して推定され、また重み
は、ガウスのフィルタでモデル化されている。高められ
た深度バッファ(z−バッファ)は、深度値の小さな領
域での点の混和を可能にする許容値と深度比較ができる
ようにしている。それらの点表示は、いずれの視点から
もオブジェクトを表現できるようにしている。
ユーログラフィックスワークショップ19998年の集
録のレンダリング技法1998年の第181〜192ペ
ージの『点サンプルレンダリング』においてグロスマン
氏等によって説明されているように、点サンプルは、正
三角形格子上のオブジェクトの正射投影をサンプリング
することで得られる。正三角形格子は、隣接したサンプ
リング点間の間隔がより規則正しいので四辺形格子より
も好ましいものであった。
学の技術報告書AIM−1604の『デルタツリー:画
像をベースにしたレンダリングへのオブジェクトを中心
にしたアプローチ』においてダリ氏等は、画像ベースの
レンダリングへのオブジェクトを中心としたアプローチ
としてデルタツリーを導入した。しかし、彼等の方法に
おける視点の動きは、特定の場所に依然として制限され
ている。
91〜298ページの『LDIツリー:画像ベースのレ
ンダリングのための階層的表現』においてチャン氏等
は、画像ベースのレンダリングのために階層的空間区分
データ構造にLIDツリーを与えた。
は、幾つかの制約がある。従って、必要とされるもの
は、各々の最良の特長を組み合わせ且つレンダリングを
簡略化するオブジェクト表現法である。
に飛んだ形状とテクスチャとを有したオブジェクトをイ
ンタラクティブなフレーム速度で表現する方法を提供す
る。本方法は、レンダリングプリミティブとしての表面
要素(surfels、以下サーフェルと称す)をベー
スとしている。サーフェルとは、グラフィックスモデル
の点サンプルのことである。事前処理段階では、複雑な
幾何学的モデルの表面は、3つの正射投影視線に沿って
サンプリングが行われる。本発明は、画像空間解像度を
利用してオブジェクトを適応できるようにサンプリング
を行う。同時に、テクスチャ、バンプ又は変位のマッピ
ング等のコンピュータ使用頻度の高い計算が行われる。
ラスター化とテクスチャリングを核となるレンダリング
パイプラインから事前処理工程に移すことで、表現コス
トは、劇的に削減される。
ルレンダリングは、外形の識別を行い、それで、オブジ
ェクト表現をレンダリングに必要とされる必須物に削減
する。対照してみると、三角形のプリミティブは、頂点
の結合価や隣接性のような−レンダリングには必ずしも
利用されなかったり、又は必要とされないデータ等の接
続性情報を陰関数表示で記憶している。
チャや、他のサーフェル毎のデータを記憶することで、
高品質のレンダリングプロセスを構築できるようにして
いる。シェーディングと変換は、フォーン照明やバンプ
や変位のマッピング及び他の進んだレンダリング特長を
達成するために、サーフェル毎をベースにして適用され
る。
なフレーム速度で作動する線よりも色彩を強調するサー
フェルレンダリングプロセスを環境マッピングを提供す
る。階層的フォワード投影アルゴリズムは、スピード−
品質のトレードオフをつけるために出力ピクセル当りの
サーフェル密度を推定できるようにするものである。
在来のグラフィックスパイプラインを補完する。本パイ
プラインは、レンダリング性能と品質のためのメモリオ
ーバヘッドをトレードする。本発明は、インタラクティ
ブな3次元適用に、特に非常に詳細な表面を有した生物
オブジェクトや、事前処理が論点となっていない適用に
適している。これらの特質は、本発明をインタラクティ
ブなゲームにとって理想的なものにしている。
ィブなフレーム速度で効率的に複雑な幾何学的オブジェ
クトを表現する上で強力な範例である。従来のような表
面の識別、即ち三角形や四辺形の網目状組織とは違っ
て、サーフェルは、明確な接続性の無い点のプリミティ
ブと成っている。サーフェルの属性は、深度、テクスチ
ャ色、法線等から構成されている。事前処理として、幾
何学的オブジェクトのオクトリベースのサーフェルレン
ダリングが実現される。サンプリング中に、サーフェル
の位置と法線は、任意に摂動し、またテクスチャ色の異
なったレベルが事前にフィルタに通され、視線に独立し
た状態でサーフェル毎に記憶される。
ピングアルゴリズムは、サーフェルをzバッファ(深度
バッファ)に投影する。可視部のスプラッチングと呼ば
れている新規な方法は、zバッファにおける可視サーフ
ェルと孔とを決定する。可視サーフェルは、テクスチャ
のフィルタリングと、フォーン照明と、サーフェル毎の
法線を使用する環境マッピングとを使ってシェーディン
グされる。スーパーサンプリングを含んだ画像再構築の
幾つかの方法は、フレキシブルな速度−品質のトレード
オフを与えてくれる。操作が簡単なので、サーフェルレ
ンダリングパイプラインは、ハードウェアの実装に順応
できる。サーフェルオブジェクトは、複雑な形状と、低
いレンダリングコストと高い画像品質を与えてくれるも
のであり、それでそれらをゲーム等の低価格で実時間の
グラフィックスに特に適したものとしている。
は、オブジェクトの表面の形状及び陰の属性を記憶する
メモリを有している。それら属性は、メモリにおいてオ
クトリとして配列されている。オクトリは、複数のノー
ドを複数のレベルで配列しており、各ノードは、複数の
0次元のn個のエレメントから成る集合を記憶してお
り、n個のエレメント集合は、グラフィックオブジェク
トの表面の一部分の形状及び陰の属性を局部的に近似さ
せており、またn個のエレメント集合は、画像空間のサ
ンプリング解像度を有している。複数の平行な処理パイ
プラインは、メモリに接続されている。パイプライン
は、オクトリのノードのn個のエレメント集合を最低解
像度レベルから最高解像度レベルまでトラバースさせる
ことで、オクトリの形状及び陰の属性を選択された向き
を有した画像面に投影する。
トを通して光線を投射することで、サンプリングされ
る。光線は、オブジェクトを取り囲んだ直交面から発せ
られる。オブジェクトの表面は、光線が表面と交差する
点での形状及び陰の属性を求めてサンプリングされる。
各サンプリングされる点のサンプリングされる形状及び
陰の属性は、メモリに記憶されたオクトリに記憶され
る。
属性は、各表面点の位置における正接円盤を構成するこ
とでフィルタリングされる。正接円盤は、徐々により大
きくなる半径を有している。各正接円盤は、テクスチャ
空間における楕円に投影される。視野独立フィルタ機能
は、表面点に対するテクスチャミップマップを発生する
ために、各表面点の位置で適用される。フィルタ機能
は、投影された正接円盤に等しい範囲を有している。表
面点は、深度バッファにおけるピクセルに投影され、ま
た視野依存フィルタ機能は、ピクセルに対する色を決め
るために画像バッファにおける各ピクセルに適用され
る。
『surfels』として表示されるグラフィックオブ
ジェクトについて、画像ベースの適応性のあるサンプリ
ングとオブジェクトベースのレンダリングとについて説
明する。図1に示されているように、我々は、グラフィ
ックオブジェクト103の表面102の一部分101を
局部的に近似させる陰(shade)及び形状(shape)の属
性を備えた0次元のn個エレメント集合体としてサーフ
ェル100を定義している。形状属性は、オブジェクト
の位置と向きと深度の情報を含むことができる。陰属性
は、テクスチャと材料特性と不透明度とを有することが
できる。以下により詳細に説明するように、我々は、サ
ーフェルを縮小された層状深度立方体(layered depth
cube:LDC)のツリーとして記憶する。
オブジェクト空間への画像空間の投影であり、結果的に
任意の2次元のマニホールドと成っている。換言すれ
ば、我々のサーフェル位置属性は、画像空間の解像度を
備えたオブジェクト空間の座標を有している。サーフェ
ルのマニホールドは、より複雑な2次元マニホールドを
形成するために互いに接続される。マニホールドは、現
実的な又は仮想上の任意のオブジェクトを概略示してい
る。
リングプリミティブは、オブジェクト空間の解像度によ
って通常サンプリングされる。我々の表示は、オブジェ
クトサーフェルと画像面のピクセルとの間のマッピング
を定義することで、オブジェクト空間レンダリングと画
像空間サンプリングとを組み合わせるようにしている。
サーフェルは、画像解像度に応じて発生される。かくし
て、ピクセルよりもより細かな詳細部は、オブジェクト
をサンプリングする際には何ら考慮されていない。オブ
ジェクト空間座標と画像空間解像サンプリングを組み合
わせることで、我々は簡単で効率的で高速のレンダリン
グを行う。我々はピクセルに対するオブジェクト−オー
ダの投影プロセスを説明する。可視性スプラッチング
(visibility splatting)と呼ばれている技法を使用し
て、閉塞されたサーフェルを放棄し、また連続した2次
元画像を補間技法を使って再構築する。
は、サンプリングされるオブジェクト空間と画像空間と
の間に直接的な対応を与える。このようにサーフェルを
定義することで、オブジェクトのレンダリングは、オブ
ジェクトの再サンプリングが視野方向のいかんにかかわ
らず、レンダリング中に必要とされないと言う点でより
容易になる。かくして、『サーフェル化された』オブジ
ェクトのレンダリングすることは、より効率的である。
画像空間解像度を備えたサーフェル格子は、我々にいず
れの視野方向に対しても事前にサンプリングされたオブ
ジェクトをレンダリングできるようにしてくれる。
及び点サンプリングを我々の発明に係るサーフェルと比
較している。その表は、我々のサーフェルが公知の従来
技術の表示プリミティブと類似した属性を有しているこ
とを示している。
ピクセルの寸法を有している時、サーフェルは、変換さ
れたポリゴンのピクセルの属性を有している。サーフェ
ルは、更に、抽出された8−接続の表面ボクセルとして
も考えられ、そこでは、サーフェルが配置されているセ
ルが1×1×1ピクセルの寸法を有すると共に、6つの
隣接サーフェルを有している。サーフェルオブジェクト
は、更に、画像格子の解像度に基づいて決められるパー
ティクルのマッピングとしても考えられ得るものであ
る。
ば、サーフェルは、それらの外形ではボクセルやパーテ
ィクルとは違っている。サーフェルは、格子に関しては
ポリゴンやパーティクルとは違っている。サーフェル
は、隣接したエレメントの関連の仕方ではピクセルやパ
ーティクルとは違っている。サーフェルは、それらが予
想された出力スクリーンの解像度に従って、またオブジ
ェクト空間の基準に依らずにサンプリングされる事では
点とは違っている。サーフェルは、更に、それらが離散
的なサーフェルサンプリング格子から生じる明示的では
なく、暗示的な接続性を有している事で点とは違ってい
る。
々が表面要素を定義する仕方における最も重要な相違
は、サーフェルが画像空間解像度に従ってサンプリング
されることである。ピクセルとパーティクルは、通常オ
ブジェクト空間の解像度に従ってサンプリングされる。
ポリゴンは、画像解像度でサンプリングされるが、しか
し、サンプリングは、サンプリングが視線依存している
ためにオブジェクトが変形される時は、投影やレンダリ
ングの直前に行われなければならない。サーフェルを求
めるために、画像解像度に対しサンプリングすること
が、サンプリングが視線に独立しているので事前処理工
程で一度実施される。
ングでは、グラフィックオブジェクトは、画像再構築が
後に続く画像面へのサーフェルの簡単な投影によってオ
ブジェクトの表面を再構築するのに丁度十分なサーフェ
ルを有している。例えば、100×100のサーフェル
から成る矩形状のサーフェルポリゴンは、画像面上に1
00×100のピクセルを発生させる。画像面は、画像
バッファ内でピクセルとして物理的に表現される。正規
には、画像に対するサーフェルの寄与は、約1対1とな
る。
ラフィックオブジェクトを取り扱っている。事前処理段
階では、我々は、グラフィックオブジェクトをサンプリ
ングし、次いでサンプリングされたデータをフィルタに
通す。我々は、特定のグラフィックオブジェクトをただ
一度だけ事前処理する。サンプリングは、ソフトウェア
プログラムによって実施される。これは、一回限りの作
業なので、精巧な技法が、できるだけ多くの属性情報を
オブジェクトから抽出し、また良質な画像を発生させる
ためにどの視野方向に対しても表現上効率的なデータ構
造へとサンプリングされたオブジェクトを縮小するのに
使用される。レンダリング段階では、我々は、データ構
造を表現する。ここでは、我々はハードウェアのパイプ
ラインを利用する。実践的に、我々が一度困難な作業を
行うと、それで我々は何度も行わなければならない作業
は容易になることを体験している。このことは、我々の
パイプライン処理されるサーフェルレンダリングをアニ
メーションの用途に良く適したものとする。
のブロック線図である。適応サンプリングプロセス21
0は、グラフィックオブジェクト201及びそのテクス
チャの属性をサーフェル211に変換する。サンプリン
グ中に、我々はサーフェルを3つの直交した層状深度画
像(LDIs)に配列するためにレイキャスティング
(ray casting)を利用する。LDIsは、各光線−表
面の交差点に一つづつ各光線に沿って多数のサーフェル
を記憶する。我々は、3つの直交LDIsのこの配列を
層状深度立方体(LDC)、すなわち『ブロック』と呼
んでいる。例えば、我々は4802 の予想された出力解
像度に対して5122 のサンプリング解像度を使用する
ようにしている。即ち、我々は、所定の画像品質を提供
するためにサンプリング解像度を選択する。
以下により詳細に説明する。この工程の主目的は、ブロ
ックの視線に独立したテクスチャ属性を抽出することで
ある。我々のデータ構造では、LDCの『ブロック』
は、オクトリ221の各ノードに取り付けられている。
オクトリは、コンピュータグラフィックスでは公知であ
り、例えば1988年1月のグラフィックスに関するA
CM会報の第7巻第1号61〜75ページのヴィーンス
トラ氏等の『オクトリで表示されたオブジェクトの線
図』を参照して下さい。オクトリは、3次元を指し示す
ために使用されている。我々のLDCツリーの各レベル
は、サーフェルオブジェクトの異なった解像度に対応し
ている。データ縮小工程230では、我々はオプション
で各ブロックツリーを縮小LDCツリー231に縮小す
る。好ましくは、その縮小は3:1となる。これで、記
憶装置のコストを削減し、更に、レンダリング性能を改
善する。
は、サンプリング形状(外形)とサンプリング陰(テク
スチャ色)との間の区別である。サーフェルは、表面位
置等の形状属性と、例えば図1における表面法線104
等の向きを記憶する。我々の好適な実施例では、x−y
位置は、LDCツリー221におけるブロック(ノー
ド)の位置によって暗示的に定義される。即ち、陽関数
表現のxy座標は、記憶されていない。深度情報(z座
標)は、オクトリに陽関数表現で記憶されている。表面
の向きは、図1を見て判るように、表面法線104によ
って与えられている。法線を実際に記憶する代わりに、
我々は、反射と環境マッピングのシェーディングの間に
使用される定量化された法線表に対するインデックスを
記憶させている。上述のように、形状属性は、オブジェ
クト空間に基づいている。
ィルタに通されたテクスチャ色として表現されている。
我々は、この新規な階層的な色情報をサーフェルテクス
チャミップマップ(surfel texture mipmap)と呼んで
いる。事前フィルタリング工程220中に、バンプや変
位のマッピング等の他の視線独立方法も、抽出された形
状と陰の属性に対して実施される。表Bは、サーフェル
当りの最小記憶要件を示している。
構造では、例えばポインター等のオーバヘッドのため、
サンプリングされたデータよりも約2倍程大きくなって
いる。LDCツリーは、ランレングス符号化(run leng
th coding)やウエブレットベースの圧縮(wavelet-bas
ed compression)の技法によって実質的に圧縮される。
00を示している。パイプラインは、遠近投影法を使用
して画像面399のピクセルにLDCツリーブロックの
ブロック(ノード)を階層的に投影する。レンダリング
目的の画像面の向きは任意であり、またサンプリング中
に使用される3つの直交した深度画像の向きとは異なっ
ている事に注目されたい。
速増分フォワードワーピング(fastincremental forwar
d warping)320によって加速される。我々は、レン
ダリング速度と画像再構築の品質とを制御するために出
力ピクセル当りの投影サーフェル密度を推定する。
プラッチング330と呼ばれている新規な方法と共に、
可視性の問題を解決する。ここでは、各サーフェルでの
正接円盤は、表面の孔を検出するために、且つ隠された
(閉塞された)サーフェルが再構築プロセスで使用され
るのを防ぐためにzバッファへ走査−変換される。
ェルのテクスチャミップマップの適切なレベル間の線形
補間法を使用してフィルタに通される(340)。各々
の可視サーフェルは、例えばフォーン照明や反射マッピ
ングを使ってシェーディングされる(350)。最終工
程360は、孔の充填やアンチエイリアシングを含め
て、可視サーフェルからの画像再構築を実行する。一般
に、出力画像の解像度と深度バッファとは同じである必
要はない。事前処理工程200とレンダリング工程30
0の段階を次により詳細に説明する。
の冗長度でオブジェクトの形状と陰の属性の最適なサー
フェル表示を見出すことである。大部分の従来技術のサ
ンプリング方法は、曲率やシルエット等のオブジェクト
表面の幾何学的パラメータに基づいてオブジェクト識別
を行う。そのオブジェクト空間の識別は、一般に、レン
ダリングのために余りにも多くの又は余りにも少ないプ
リミティブを導くことになる。我々のサーフェル表示に
おいて、オブジェクトサンプリングは、画像空間の解像
度に整合されており、即ち、サンプリングは、実質的に
画像の予想された出力解像度に適合している。
(LDI1)401、(LDI2)402の内の2つの
みに対して、我々は、立方体の3側面から層状深度立方
体(LDC)と呼ばれている3の直交LDIにグラフィ
ックオブジェクト410をサンプリングする。上述のよ
うに、サンプリングは、予想された出力画像空間解像度
で実施される。レイキャスティングは、裏面を含くむオ
ブジェクト表面411との光線の全ての交差点を記録す
る。LDI1との交差点は、円として図示されており、
またLDI2との交差点は、方形として図示されてい
る。図4の(b)は、(a)の一部分の拡大図である。
数点深度データと他の形状及び陰の属性と共に0次元サ
ーフェル412を発生させる。バンプや変位のマッピン
グのための表面の又は外形の摂動は、サンプリングの前
に、又はプロシージャシェーダを使ったレイキャスティ
ング中に外形に基づいて実施される。LDCサンプリン
グは、我々に、多くの任意に向けられた深度画像から構
築するのは難しいと思われる階層的データ構造を容易に
構築できるようにしてくれる。
角形の頂点として発生されたサーフェルを使用してオブ
ジェクト表面上にドローネの三角形網を構築することで
表面上に結果的に生じるサンプリング密度を決定でき
る。このサンプリングプロセスによって発生される仮想
の三角形メッシュは、√3hの最大側辺長Smaxを有し
ている。最小側辺長Sminは、2本又は3本のサンプリ
ング光線が同じ表面位置で交差する場合にゼロになる。
我々が少なくとも一つのサーフェルが正射投影と単位拡
大のために各出力ピクセルフィルタの支持体に投影され
ることを保証すると、オブジェクトは適切にサンプリン
グされる。オブジェクト空間における隣接サーフェル間
のSmax が、即ち最大距離がピクセルの再構築フィルタ
の半径よりも小さい時に、その条件はかなえられる。一
般に、我々は、拡大と遠近投影法の効果によってLDC
解像度をこれよりも若干高くなるように選択している。
例えば、我々が4802 の画像解像度に対して5122
でサンプリングを行うのを思い出して下さい。
フィルタリングし(220)、またテクスチャは、再処
理段階中にオブジェクト空間に写像される。視線依存の
テクスチャエイリアシングを防ぐために、我々は、更
に、以下に説明するようにレンダリング中にサーフェル
毎のテクスチャのフィルタリングを適用する。
されているように、我々は、各サーフェル506に円5
01の中心を合わせる。円の正接面は、テクスチャ空間
におけるフィルタの設置面積の範囲を確定する。我々
は、これらの円501を正接円盤と呼んでいる。円盤
は、対応したサーフェル506の向き502に直交して
いる。
円盤は、表面の予め定義されたテクスチャパラメータ化
を利用してテクスチャ空間における楕円503へマッピ
ングされる。ガウシャンカーネルが、テクスチャのフィ
ルタリングに使用される。結果的に生じた色がサーフェ
ルに割り当てられる。適切なテクスチャの再構築を可能
にするために、テクスチャ空間における円形や楕円形の
フィルタ設置面積(点線)は、図5(a)〜(b)に示
されているように互いに重ね合っている。
て、オブジェクト空間における隣接サーフェル間の最大
距離であるSmax =√3hを選択する。このことは、通
常、正接円盤がオブジェクト空間において互いにオーバ
ラップし、且つテクスチャ空間におけるそれらの投影が
オーバラップすることを保証するものである。我々は、
可視性を決定するために変形されたz−バッファ充填法
を使用するので、下記のように、必ずしも全てのサーフ
ェルが画像再構築に利用できるものではない。このこと
は、テクスチャエイリアシングの人工物を生むことにな
る。従って、我々は、サーフェル当り幾つかの、一般に
は少なくとも3つの事前フィルタリングされたテクスチ
ャサンプルを記憶させるようにしている。正接円盤は、
徐々により大きくなる半径を有している。各々の円盤
は、テクスチャ空間にマッピングされ、事前フィルタリ
ングされた色を算出するために使用される。我々は、事
前フィルタリングされた色をサーフェルテクスチャミッ
プマップと呼んでいる。図5(b)は、テクスチャ空間
における徐々に大きくなっている楕円正接盤の楕円形設
置面積503〜505を示している。
るために効率的な階層的データ構造を利用する。LDC
オクトリ221は、我々にピクセル当りの投影サーフェ
ルの数を推定できるようにすると共に、より高い画像品
質に対する表現速度に折合いを付けるようにしてくれ
る。
バージョンであるLDCをオクトリの各ノード(ブロッ
ク)に記憶させることで画像再構築中の再サンプリング
とスプラッチングを回避する。我々のオクトリは、帰納
的に底上げから構築される。外形サンプリング中に獲得
される−最高解像度のLDCは、LDCツリーの最低レ
ベル(n=0)に記憶され、また最低解像度は、トップ
レベルに記憶される。
示されているように、各LDCは、ユーザ指定の寸法6
01を持ったブロックに細分される。図6(a)は、2
次元図を利用したLDCツリーの最高解像度のブロック
を示している。オクトリのより高いレベルでの、即ちよ
り低い解像度でのブロック(ノード)は、2部分から成
るように、即ち2の累乗倍でそれらの子ノードをサブサ
ンプリングすることで構築される。図6(b)は、LD
Cツリーのレベルn=1を示している。オクトリのより
高いレベルでのサーフェル602は、レベル0のLDC
におけるサーフェル604を参照としており、即ち、階
層の幾つかのブロックに現れるサーフェルは、ただ一度
だけ記憶され、またブロック間で分担されている。
hを有していれば、レベルnでのLDCは、ピクセル間
隔2nh を有している。LDCツリーの高さは、ユーザ
によって選定される。一つ高さを選定すると、階層を平
坦にし、最高解像度のLDCのみを記憶する。LDCツ
リーは、当然にサーフェルオブジェクトについて詳細レ
ベルの表示を記憶するので、その最低解像度は通常オク
トリの高さを確定する。
れている空ブロック603は、LDCツリーに記憶され
ていない。結果的に、ブロック寸法601は、最高解像
度のLDCの寸法に関連付けられておらず、任意に選択
される。ブロック寸法b=1を選択することは、LDC
ツリーを完全な容積測定のオクトリ表示にする。
ツリーを層状深度画像へブロック毎に基づいて任意に縮
小することは有益である。これは、一般にワーピング速
度での3倍増に相当しているので、我々は、この工程を
3:1への縮小と呼んでいる。先ず第1に、我々は、タ
ーゲットLDIとしてブロック内に一つのLDIを選択
する。我々は、ターゲットLDIのピクセルに対して2
つの残っているLDIをワーピングし且つ再サンプリン
グする。
に、図7(a)におけるサーフェル701〜712は、
図7(b)に示されるようなサンプリング光線交差部7
03〜704の格子箇所へ再サンプリングされている。
例えばスプラッチング等のより精巧な事前フィルタリン
グも実行され得るのであるが、我々は最も近い隣同士の
補間法を利用している。再サンプリングされたサーフェ
ルは、縮小されたLDCツリー231に記憶されてい
る。
と陰の両方に対してサーフェル表示の品質を低下させ
る。同じ表面から再サンプリングされたサーフェルは、
非常に異なったテクスチャ色と法線705とを有するの
であろう。サーフェルが同じ表面に属しているかを確定
するしきい値に対して我々は距離を比較できよう。しか
し、異なった表面からのサーフェルは、しきい値ぎりぎ
りになるであろうし、それは、通常薄い構造に対して起
きる。これは、オブジェクトの運動中に悪化される色及
び明暗度の人工物をひき起すであろう。しかし、実際に
は、我々は3:1の縮小によって厳しくなった人工物に
遭遇したことは無い。我々のレンダリングパイプライン
処理は、LDCとLDIを同様に取り扱うので、我々は
LDCとして薄い構造を有したブロックを記憶させるこ
とができるが、他方、全ての他のブロックは、単一のL
DIに縮小される。
表面上のサーフェル密度についての限界を確定できる。
ピクセル間隔hを備えたターゲットLDIを考慮すれ
ば、オブジェクト表面上の隣接サーフェル間の最大距離
は、オリジナルのLDCツリーにおけるように、Smax
=√3hとして表現される。サーフェル間の最小距離
は、表面上の仮想のドローネー三角形をより一様にしな
がら、冗長なサーフェルの除去によってSmin =hまで
増大する。
Cツリー221又は縮小されたLDCツリーを採用し、
特定の画像面の向きのためにブロックの階層的可視性選
別とフォワードワーピングとを利用してそれを画像39
9として表現する。階層的表現は、更に、我々に出力ピ
クセル当りの投影されたサーフェルの数を推定できるよ
うにもしてくれる。最大レンダリング効率のために、我
々は、ピクセル当り約一つのサーフェルを投影すると共
に出力画像におけるものと同じz−バッファ用解像度を
使用する。最大画像品質のために、我々は、z−バッフ
ァのより細かい解像度と高品質画像の再構築とを使用し
てピクセル当り多数のサーフェルを投影する。
は最高解像度のノードまでLDCツリーをトラバース
(traverse)する。各ブロック/ノードに対して、我々
は、先ず第1に、ブロック境界ボックス311を使用し
て視線の錐台形の選択を行う。視野方向は任意なので、
異なった視線はオクトリの異なった部分を明らかにする
であろう。次に、我々は、ブロックの後面選択と同じ事
を実施するために可視性錐体を利用する。サーフェルの
法線を使用して、我々は、高速で保守的な可視性テスト
(ブロックにおけるサーフェルは、何ら錐体内のいずれ
の視点からも見ることができない)を提供してくれるブ
ロック当りの可視性錐体を予め演算する。従来技術の点
サンプリングレンダリングとは対照的に、我々は、LD
Cツリーにおいて階層的に全ての可視性テストを実施
し、それで我々のテストをより効率的にする。
を選択するために、我々は、各ブロックに対して、ピク
セル当りのサーフェルの数を控えめに推定する。我々
は、高速レンダリングのためにピクセル当り一つのサー
フェルを、又はスーパーサンプリングのためにピクセル
当り多数のサーフェルを選択する。ピクセル当りのサー
フェルの数は、dmax によって決定される(801)。
値dmax は、画像空間における隣接したサーフェル間の
最大距離である。
つの主対角線312を投影することでブロック当りのd
max を推定する。正射投影のために、それらの最大長さ
は、dmax についての上部境界である。正射投影を用い
ることで生じるエラーは、ブロックが一般に少数のピク
セルに投影するので小さい。
からボトムにかけてトラバースされる。各レベルで、d
max はピクセル再構築フィルタの半径r802に比較さ
れる。もし、現在のブロックのdmax がrよりも大きけ
れば、それでその子ノードは、トラバースされる。我々
は、dmax がrよりも小さいブロックを投影し、それで
ピクセル当り約一つの面エレメントを表現する。ピクセ
ル当りのサーフェル密度は、例えばrをサブピクセルの
対辺とする等して、より小さなrを選択することで増大
される。フォワードワーピング中に、dmax は、可視性
スプラッチングと画像再構築との段階において引き続い
て使用するために各投影されたサーフェルと共に記憶さ
れる。
ーピングするために、我々は、最適化増分ブロックワー
ピングを使用する。我々のサーフェルの位置属性は、オ
ブジェクト空間の座標で表現されることを思い出して下
さい。従って、我々は、オブジェクトから画像空間にワ
ープする。このワーピングは、我々のLDCが規則正し
いので高効率である。各ブロックにおけるLDIは、独
立してワープされ、それで、我々に幾つかの又は全ての
ブロックが上述のように3:1の縮小後に単一のLDI
に縮小されてしまったLDCツリーを表現できるように
する。
ムは、サンプリング不足か、又はzバッファ(深度バッ
ファ)の『孔』を生むことに成るであろう。zバッファ
ピクセルは、ピクセルが少なくとも一つの対応した可視
サーフェルか、又は背景のピクセル投影を有していない
時には、孔として定義される。孔は、画像再構築のため
にマークされなければならない。我々は、我々の新規な
マーキングアプローチを可視性スプラッチングと呼んで
いる。画像再構築について、以下に説明する。
度値を有したzバッファを用意している。zバッファの
各ピクセルは、最も近いサーフェルに、即ち最小深度
(z)値を有したサーフェルに対するポインターと、現
在の最小深度値を保管する。ピクセルは、更に『孔』と
してマークされたり、又はされないように成っている。
我々のzバッファのピクセルは、例えば『無限大』等の
最大深度値や、背景情影で初期化され(951)、ま
た、孔では初期化されない。
同士の補間法を使用してzバッファに投影される(95
2)。サーフェル深度が、各サーフェルと共に記憶され
ることを表Bから思い出していただきたい。zバッファ
は、品質と速度との間に良好なトレードオフを提供して
くれ、また我々のzバッファは、OpenGLTM(登録
商標)等の従来からのポリゴングラフィックスレンダリ
ング方法と統合される。zバッファピクセルの深度値
は、もしサーフェルの深度値(sd )がピクセルの深度
値(pd )よりも小さければ、ただ上書きされるだけで
ある(953)。かくして、他の表面特長の前に存在し
ている表面特長のみが可視ことになる。工程945で
は、正接円盤501は、オブジェクト空間における各サ
ーフェル502に対して構築される。
は、孔や後向き表面による可視性の問題を正しく解決す
るために、サーフェルの正接円盤501の投影をzバッ
ファ900へ走査−変換する。構築された正接円盤94
5は、rt =Smax2nの半径を有していて、この場合、
Smax はオブジェクト空間にかける隣接サーフェル間の
最大距離であり、nはブロックのレベルである。円盤
は、サーフェルの法線502によって向きを決定してい
る。
に、正接円盤は、サーフェル周りに楕円901を形成す
る。我々は、部分的に軸整合された境界箱902で楕円
901を近似している。境界箱の平行四辺形は走査−変
換され、また各zバッファピクセルは、サーフェル法線
N502に基づいて適当な深度で充足される。即ち、も
し深度値が以前に記憶された深度値よりも小さければ、
記憶されていた深度値は上書きされる。
算を簡略化するために工程955で正射投影を利用す
る。投影された楕円の短軸amin 911の方向は、サー
フェル法線Nの投影に平行になっている。長軸amax 9
12は、amin に直交している。長軸の長さは、図8の
dmax によって近似されるsmax の投影となっている。
この近似は、投影中のLDCツリーの向きと拡大を考慮
に入れている。
軸913等のamin に最も平行になっている座標軸を算
定する。境界箱の短辺は、走査変換を簡略化するために
この座標軸線に整合された線となっている。境界箱の高
さh914は、楕円の座標軸線との交差によって決定さ
れる。境界箱の幅w915は、長軸線と楕円との交差部
の頂点をx−軸上に投影することで決定される。
及びyの方向に対するサーフェル深度zの偏導関数であ
る。これらは、正射投影なので一定であり、また単位法
線Nから算定される。走査変換中には、境界箱内部での
各ピクセルにおける深度が、偏導関数∂z/∂x及び∂
z/∂yを使用して算定される。更に、我々は、小さな
しきい値εを各投影されたz値に付加する。しきい値ε
は、円盤の下に在るがしかし依然として前景部表面上に
存在しているサーフェルが突然放棄されるのを防止して
いる。工程956では、ピクセル(pd )の深度値は、
もしtd <pdであれば、投影された正接円盤(td )
の深度値で上書きされる。
れで、正接円盤は、表面を完全に覆うことがなく、潜在
的に引裂と孔を残すことになる。更に、極端な遠近投影
は、正射投影を実際の投影正接円盤に対して悪く近似さ
せる。しかし、実際には、我々はこれを大きな問題とは
見ていなかった。もし、投影された正接円盤が円形であ
れば、即ち円盤がほぼ視線方向に平行となっていれば、
それで境界箱の平行四辺形は、悪い近似形となってい
る。この場合、我々は正方形の境界箱を代わりに使用す
る。
方法も、オブジェクトのボクセルや他の従来の点表示と
共にピクセルへラスター化されるポリゴンと使用される
ことに注目すべきである。我々の方法は、グラフィック
オブジェクトの基礎を成す表示からは独立していずれの
zバッファにも存在し得るものである。
サーフェルのテクスチャミップマップに、幾つかの事前
フィルタリングされたテクスチャ色を記憶させている。
表現中に、サーフェル色は、オブジェクトの縮小と表面
の向きに応じてサーフェルテクスチャのミップマップ色
から線形補間法で決められる。
ンプリングされた表面の全ての可視サーフェルを示して
いる。サーフェルの中心周りの楕円1001は、上述の
ように、最高解像度のテクスチャの事前フィルタリング
の占有面の投影を記している。事前フィルタリング中
に、我々は、占有面で前表面を覆うようにしていること
に注目して下さい。図12(b)では、zバッファのピ
クセル当りのサンプル数は、zバッファ深度テストを適
用する事によって1に制限されている。zバッファにお
けるサーフェルのポインターは、もう一つ別のより接近
したサーフェルが同じピクセルに配置されるともう一つ
別のポインターで代替される。
れるギャップを満たすために、残っているサーフェルの
占有面は拡大されなければならない。もし、サーフェル
が或るzバッファピクセルにおいて放棄されれば、それ
で、我々は、放棄されたピクセル周りの3×3近辺にお
けるzバッファピクセルが孔ではないと想定することが
できる。かくして、各サーフェルのテクスチャ占有面が
少なくともzバッファの領域を覆うと、ギャップは充填
される。結果的に、投影された占有面の楕円は、最悪の
場合√2sの短半径を持たなければならないが、そこで
sはzバッファピクセル空間である。我々は最悪のケー
スを無視し、サーフェルがzバッファのピクセル中心に
投影されることを意味している√2s/2を使用する。
図12(b)は、投影されたサーフェル周りの楕円とし
て尺度合わせされたテクスチャ占有面1002を示して
いる。
当なサーフェルのテクスチャミップマップのレベルを選
定するために視線依存のテクスチャフィルタリングを利
用する。半径√2s/2を有した円1101は、画像空
間のピクセルを通して、表面の正接面1102上に視点
1103の方向から投影され、正接面に楕円1104を
発生する。ピクセルの投影は、正射投影で近似される。
等方性のテクスチャマッピングと同様に、投影された正
接空間の楕円の長軸がサーフェルのミップマップのレベ
ルを決定するために使用される。サーフェルの色は、最
も近い2つのミップマップレベルの間で線形補間法によ
って決定される。これは、3つの線で囲まれたミップマ
ップにおけるように8個のサンプルの補完とは反対に、
2つのサンプル間の線形補間法である。
適用される。しかし、本発明に係る可視性スプラッチン
グ後に据え置かれたシェーディングは、不必要な作業を
回避する。更に、従来技術のパーティクルシェーディン
グは、画像空間への法線の変換を回避するためにオブジ
ェクト空間で通常実施される。しかし、我々は、上述の
ように、我々の可視性スプラッチング中に法線を画像空
間に既に変換している。手近の変換された法線に関連し
て、我々は、広域的効果でサーフェル毎のフォーン照明
モデルを算定するために立体の反射率と環境マップを利
用する。サーフェル毎の法線によるシェーディングで、
光線追跡品質となっている鏡による光彩の有る場面を生
む。
は、基本的には、分散したデータの補間法上の問題があ
る。スプラッチング等の従来技術の技法と対照的に、我
々は画像再構築から可視性算定を分離している。我々
は、上述のように、我々の画期的な可視性スプラッチン
グ中にzバッファピクセルに孔で印を付ける。これらの
孔ピクセルは、それらが何ら可視サンプルを含んでいな
いので画像再構築中には使用されない。
バッファにおける画像再構築を示している。図14
(a)では、画像(フレーム)バッファが、zバッファ
と同じ解像度を有している。サーフェルは、クロスハン
チングで示されているように、最も近い隣接したもの同
士の補間法を使用することでピクセル中心1201にマ
ッピングされる。孔1202は、黒の×で印が入れられ
ている。
隣接した投影サーフェル間の最大距離の推定値としての
各サーフェル記憶dmax を思い出していただきたい。こ
の距離は、少なくとも一つのサーフェルを含んでいるピ
クセルフィルタの最小半径の良好な推定値である。孔を
補完するために、我々は、例えば半径が孔ピクセルの中
心に位置決めされたdmax よりも若干大きな半径を有し
た半径方向に対称なガウスのフィルタを使用することに
なる。代わりに、孔を充填するために、我々は1996
年8月のSIGグラフ集録の43〜54ページの『ルミ
グラフ:Lumigraph』においてゴートラー氏等によって
説明されているように引き押し方法(pull-push metho
d)を適合化することもできる。
質の代替案は、スーパーサンプリングを行う。ここで
は、出力画像の解像度はzバッファ解像度の半分か、ま
たは幾分かの他の残りとなっている。スーパーサンプリ
ングの表現は、前述の通りである。画像再構築中には、
我々は、サブピクセルの色を事前フィルタリングするた
めに全ての出力ピクセルの中心にガウスのフィルタを設
置する。フィルタの半径は、少なくとも一つのサーフェ
ルを覆うためにまたdmax となっている。最小半径は√
2s/2であり、但しsは出力ピクセルの辺長さであ
る。
996年8月のSIGグラフ集録第477〜484ペー
ジの『アニメーション用の色彩を強調したレンダリン
グ』においてマイアー氏によって説明されているように
色彩を強調したレンダリングアルゴリズムのインタラク
ティブなバージョンを適合させている。我々の適合化で
は、我々は、zバッファにおける各可視サーフェルにお
けるピクセル毎のアルファーバージョンで、向きを取っ
たブラシテクスチャを表現する。テクスチャは各可視サ
ーフェルに中心が取られており、そのRGBAピクセル
は、サーフェル色が掛け合わされる。『ブラシ』の向き
を取るために、画像空間におけるサーフェル法線は、画
像面に正射投影され、テクスチャは、結果的に生じるベ
クトルと軸整合されている。テクスチャは、それで、テ
クスチャスプラッチングと同様に画像空間のラスター化
を使用して出力ピクセルにマッピングされる。各サーフ
ェルのブラシ寸法は、同じになるか、又はサーフェル毎
の法線又はテクスチャの派生物は、テクスチャに尺度を
当てるのに使用される。代わりに、各サーフェルは、ブ
ラシ型式と向きと寸法と共に係数を表に記憶できるであ
ろう。マイアー氏とは対照的に、我々は可視性スプラッ
チング後にテクスチャスプラッチングを行う。
表現や、孔の無い場合でのスーパーサンプリングに対し
て決定されるのかを説明するのは有益である。正規の表
現のためには、ピクセル色は、zバッファにおける最も
接近したサーフェルから最も近い隣接したものの補完に
よって決定される。そのサーフェルの色は、2つのサー
フェルのテクスチャミップマップレベル間で線形補間法
によって決定される。かくして、出力ピクセルの色は、
2つの事前フィルタリングされたテクスチャサンプルか
ら決定される。スーパーサンプリングの場合には、一つ
の出力ピクセルは、zバッファのサブピクセル当り一つ
のサーフェルのフィルタリングされた色を含んでいる。
かくして、8個までの事前フィルタリングされたテクス
チャサンプルは、2×2のスーパーサンプリングのため
の出力ピクセルに寄与しよう。これで、3本の線に囲ま
れたミップマップと同様の画像品質を発生する。
及びサーフェルミップマップテクスチャフィルタリング
を行う我々の方法は、比較可能な従来技術のレンダリン
グシステムよりもよりフレキシブルな速度−品質のトレ
ードオフを与えてくれる。
長所は、どんな種類の合成オブジェクトも、又は走査さ
れたオブジェクトもサーフェルに変換されると言う事で
ある。例えば、我々は、非合成のオブジェクトの容積デ
ータ、点の雲、及びLDIをサンプリングできる。LD
Cツリーの閉塞の両立可能なトラバースを利用して、我
々はオーダに独立した透明度と真正な容積の表現をでき
るようにしている。サーフェルレンダリングパイプライ
ンのハードウェア設計は、真っ直なものである。ブロッ
クワーピングは、zバッファのテスト用にただ2つの条
件命題を含んでいる。我々は、クリッピング計算を実施
する必要がない。可視性スプラッチングと画像再構築等
の全てのフレームのバッファ操作は、標準的なラスター
化とフレームバッファ技法を使用して実行される。我々
のレンダリングパイプラインは、テクスチャマップから
のテクスチャの自動照合等の逆関数計算を何ら使用して
いない。実行時間のテクスチャフィルタリングは、我々
のパイプラインで簡単になる。形状と陰の情報は、サー
フェルの位置データと同時にパイプラインに装荷される
ので、高度なデータの所在特定が存在している。結果的
に、データをキャッシュに入れることは、更に性能を改
善することになる。
複雑な形状と陰を有した生物モデルに対して理想的であ
る。我々は、パイプラインではなく、演算段階でラスタ
ー化とテクスチャフィルタリング行うので、ピクセル当
りの表現コストは、劇的に削減される。レンダリング性
能は、ワーピングとシェーディングと、画像再構築とに
よって基本的に決定される。これらの作業は、容易にベ
クトル化と、並列法と、パイプライン処理とを活用でき
る。我々のサーフェルレンダリングパイプラインは、幾
つかの速度−品質の折合いを行う。画像再構築とテクス
チャフィルタリングを分離することで、我々は、比較可
能な従来技術の点サンプリングアプローチよりもより高
度な画像品質を達成する。我々は、孔の検出に非常に効
果があって且つ画像再構築性能を高める可視性スプラッ
チングを導入している。スーパーサンプリングによるア
ンチエイリアシングは、当然我々のシステムに統合され
ている。我々のパイプラインは、インタラクティブなフ
レーム速度で高度な画像品質を得ることができる。
たが、色々な他の適合化の改造も本発明の精神と技術的
範囲内で行われることは理解すべきである。従って、本
発明の真正な精神と技術的範囲に入るような全ての変形
と改造をも含めるのが従属請求項の目的である。
ーフェルの線図である。
である。
ック線図である。
る。
る。
ロー線図である。
マップの線図である。
図である。
ータ、210 サンプリングプロセス、211 サーフ
ェル、220 事前フィルタリング工程、221 サー
フェルのLDCツリー、230 データ縮小工程、31
0 ブロック選択、320 フォワードワーピング、3
30 可視性スプラッチング、340テクスチャのフィ
ルタリング、350 繰り延べられたシェーディング、
360画像再構築とアンチエイリアシング。
Claims (18)
- 【請求項1】 ピクセルの深度値を決定するために深度
バッファにおけるピクセル上にグラフィックオブジェク
トの表面点を投影する方法であって、 対応するピクセル上に各表面点を投影する工程と、 投影された表面点の深度値がピクセルの深度値よりも小
さい場合にのみ、ピクセルに各投影された表面点の該深
度値を記憶する工程と、 表面点の位置に正接円盤を構築する工程であって、該正
接円盤は、表面点間の最大距離よりも大きい半径を有す
る、工程と、 上記正接円盤を、対応する部分集合のピクセル上に投影
する工程と、 投影された上記正接円盤の深度値が、対応するピクセル
の部分集合の深度値よりも小さい場合にのみ、対応する
部分集合のピクセルに投影された正接円盤の深度値を記
憶する工程とを有することを特徴とするグラフィックオ
ブジェクトの表面点を投影する方法。 - 【請求項2】 上記グラフィックオブジェクトは、上記
表面点を得るために画像空間解像度でサンプリングされ
ることを特徴とする請求項1に記載のグラフィックオブ
ジェクトの表面点を投影する方法。 - 【請求項3】 上記表面点は、複数のレベルを有した階
層的ツリーに表示され、複数レベルの内のレベルnで表
示された特定の表面点の半径は、最大距離の2n倍であ
ることを特徴とする請求項1に記載のグラフィックオブ
ジェクトの表面点を投影する方法。 - 【請求項4】 上記ピクセルの深度値は、最大可能深度
値に初期化されることを特徴とする請求項1に記載のグ
ラフィックオブジェクトの表面点を投影する方法。 - 【請求項5】 上記ピクセルの深度値は、背景深度値に
初期化されることを特徴とする請求項4に記載のグラフ
ィックオブジェクトの表面点を投影する方法。 - 【請求項6】 上記投影された正接円盤は楕円を成し、 境界ボックスで該楕円を近似する工程を更に有すること
を特徴とする請求項1に記載のグラフィックオブジェク
トの表面点を投影する方法。 - 【請求項7】 上記深度値は、偏導関数によって決定さ
れることを特徴とする請求項1に記載のグラフィックオ
ブジェクトの表面点を投影する方法。 - 【請求項8】 しきい値を、投影された正接円盤の深度
値に付加する工程を更に有することを特徴とする請求項
1に記載のグラフィックオブジェクトの表面点を投影す
る方法。 - 【請求項9】 上記ピクセルの深度値が、正接円盤の対
応する深度値よりも大きければ、対応するピクセルを孔
としてマークする工程を更に有することを特徴とする請
求項1に記載のグラフィックオブジェクトの表面点を投
影する方法。 - 【請求項10】 上記正接円盤上の表面点の深度値を発
生するためにポリゴンをラスター化する工程を更に有す
ることを特徴とする請求項1に記載のグラフィックオブ
ジェクトの表面点を投影する方法。 - 【請求項11】 上記表面点は、ボリュームデータ集合
の表面ボクセルであることを特徴とする請求項1に記載
のグラフィックオブジェクトの表面点を投影する方法。 - 【請求項12】 上記表面点は、陰及び形状属性を備え
た0次元のn個の要素から成る集合であることを特徴と
する請求項1に記載のグラフィックオブジェクトの表面
点を投影する方法。 - 【請求項13】 上記各表面点は、関連した形状及び陰
属性を有し、 深度バッファのピクセルに記憶された深度値に従って画
像バッファのピクセル上に陰属性を投影する工程と、 フィルタ機能に従って投影された陰属性をフィルタリン
グする工程とを更に有することを特徴とする請求項1に
記載のグラフィックオブジェクトの表面点を投影する方
法。 - 【請求項14】 上記画像バッファのピクセル解像度
は、深度バッファのピクセル解像度に等しいことを特徴
とする請求項13に記載のグラフィックオブジェクトの
表面点を投影する方法。 - 【請求項15】 上記画像バッファのピクセル解像度
は、深度バッファのピクセル解像度と異なることを特徴
とする請求項13に記載のグラフィックオブジェクトの
表面点を投影する方法。 - 【請求項16】 フィルタ機能の範囲は、画像バッファ
のピクセル間の最大距離よりも大きいことを特徴とする
請求項14に記載のグラフィックオブジェクトの表面点
を投影する方法。 - 【請求項17】 上記画像バッファのピクセル解像度
は、深度バッファのピクセル解像度よりも小さく、フィ
ルタ機能の範囲は、√2s/2よりも大きく、但し、s
は、画像バッファのピクセルの辺長さであることを特徴
とする請求項13に記載のグラフィックオブジェクトの
表面点を投影する方法。 - 【請求項18】 各表面点は、関連した形状及び陰属性
を有し、 深度バッファのピクセルの深度値に従って画像バッファ
のピクセル上に陰属性を投影する工程と、 フィルタ機能に従って投影された陰属性をフィルタリン
グする工程であって、フィルタ機能の範囲が、孔として
マークされた深度バッファにおけるピクセルに対応する
画像バッファのピクセルのための陰属性を生成する工程
とを更に有することを特徴とする請求項9に記載のグラ
フィックオブジェクトの表面点を投影する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/514545 | 2000-02-28 | ||
US09/514,545 US6639597B1 (en) | 2000-02-28 | 2000-02-28 | Visibility splatting and image reconstruction for surface elements |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001283248A true JP2001283248A (ja) | 2001-10-12 |
JP4679737B2 JP4679737B2 (ja) | 2011-04-27 |
Family
ID=24047654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001052859A Expired - Fee Related JP4679737B2 (ja) | 2000-02-28 | 2001-02-27 | グラフィックオブジェクトの表面点を投影する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6639597B1 (ja) |
EP (1) | EP1128330B1 (ja) |
JP (1) | JP4679737B2 (ja) |
DE (1) | DE60107130T2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012505445A (ja) * | 2008-10-07 | 2012-03-01 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 3dオブジェクトの3dモデルをレンダリングするための方法及びシステム |
JP2017516200A (ja) * | 2014-04-05 | 2017-06-15 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | オブジェクト及び/またはプリミティブ識別子を追跡することによるグラフィック処理の向上 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6975319B1 (en) * | 2000-03-24 | 2005-12-13 | Nvidia Corporation | System, method and article of manufacture for calculating a level of detail (LOD) during computer graphics processing |
WO2002039387A1 (en) * | 2000-11-07 | 2002-05-16 | Holographic Imaging Llc | Improved three dimensional display |
JP2004531784A (ja) * | 2000-11-07 | 2004-10-14 | ホログラフイツク・イメージング・エル・エル・シー | コンピュータ生成ホログラムディスプレイシステム |
US6909801B2 (en) * | 2001-02-05 | 2005-06-21 | National Instruments Corporation | System and method for generating a low discrepancy curve on an abstract surface |
US6919903B2 (en) * | 2001-03-02 | 2005-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Texture synthesis and transfer for pixel images |
US6873342B2 (en) * | 2001-04-12 | 2005-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating detail directed visibility elements for a graphics model |
WO2003009183A1 (fr) * | 2001-07-11 | 2003-01-30 | Riken | Procede de stockage de donnees d'entite integrant forme et quantite physique et programme de stockage |
EP1442869A4 (en) | 2001-08-16 | 2008-12-24 | Riken | METHOD AND DEVICE FOR THE FAST MANUFACTURE OF PROTOTYPES USING V-CAD DATA |
KR100446635B1 (ko) * | 2001-11-27 | 2004-09-04 | 삼성전자주식회사 | 깊이 이미지 기반 3차원 객체 표현 장치 및 방법 |
WO2003048980A1 (fr) * | 2001-12-04 | 2003-06-12 | Riken | Procede de conversion de donnees d'image tridimensionnelle en donnees de cellules interieures et programme de conversion |
US7321366B2 (en) * | 2002-02-28 | 2008-01-22 | Riken | Method and program for converting boundary data into cell inner shape data |
US7034822B2 (en) * | 2002-06-19 | 2006-04-25 | Swiss Federal Institute Of Technology Zurich | System and method for producing 3D video images |
US6853377B2 (en) * | 2002-06-26 | 2005-02-08 | Nvidia Corporation | System and method of improved calculation of diffusely reflected light |
US7215340B2 (en) * | 2002-07-19 | 2007-05-08 | Mitsubishi Electric Research Laboratories, Inc. | Object space EWA splatting of point-based 3D models |
JP4381743B2 (ja) * | 2003-07-16 | 2009-12-09 | 独立行政法人理化学研究所 | 境界表現データからボリュームデータを生成する方法及びそのプログラム |
US7302109B2 (en) * | 2003-08-28 | 2007-11-27 | General Electric Company | Method and system for image processing for structured light profiling of a part |
US7567248B1 (en) * | 2004-04-28 | 2009-07-28 | Mark William R | System and method for computing intersections between rays and surfaces |
US7218324B2 (en) * | 2004-06-18 | 2007-05-15 | Mitsubishi Electric Research Laboratories, Inc. | Scene reflectance functions under natural illumination |
US7385604B1 (en) * | 2004-11-04 | 2008-06-10 | Nvidia Corporation | Fragment scattering |
KR100624457B1 (ko) * | 2005-01-08 | 2006-09-19 | 삼성전자주식회사 | 깊이-영상 기반의 모델링 방법 및 장치 |
JP4783100B2 (ja) * | 2005-09-12 | 2011-09-28 | 独立行政法人理化学研究所 | 境界データのセル内形状データへの変換方法とその変換プログラム |
IL174737A (en) * | 2006-04-03 | 2014-12-31 | Camero Tech Ltd | Device and method for visualizing volume in broadband radar |
US8026915B1 (en) * | 2006-06-09 | 2011-09-27 | Pixar | Programmable visible surface compositing |
US7675517B2 (en) * | 2006-08-03 | 2010-03-09 | Siemens Medical Solutions Usa, Inc. | Systems and methods of gradient assisted volume rendering |
US7990379B2 (en) * | 2006-10-25 | 2011-08-02 | Siemens Aktiengesellschaft | System and method for coronary segmentation and visualization |
US20080259079A1 (en) * | 2007-04-18 | 2008-10-23 | Boxman Benjamin D | Method and system for volume rendering |
US20110090222A1 (en) * | 2009-10-15 | 2011-04-21 | Siemens Corporation | Visualization of scaring on cardiac surface |
US9401046B2 (en) * | 2011-02-07 | 2016-07-26 | Intel Corporation | Micropolygon splatting |
US10417817B2 (en) * | 2014-11-13 | 2019-09-17 | Nvidia Corporation | Supersampling for spatially distributed and disjoined large-scale data |
US9852539B2 (en) | 2015-02-26 | 2017-12-26 | Qualcomm Incorporated | Single pass surface splatting |
US20210097102A1 (en) * | 2018-04-19 | 2021-04-01 | Hewlett-Packard Development Company, L.P. | Querying images for discrete patterns using regular expressions |
US20220284667A1 (en) * | 2019-08-23 | 2022-09-08 | Art & Space It Inc. | Image processing method and image processing device for generating 3d content by means of 2d images |
EP4051549A4 (en) * | 2019-11-15 | 2024-04-24 | Waymo Llc | GENERATION OF ENVIRONMENTAL DATA |
CN115797601B (zh) * | 2022-09-08 | 2023-10-27 | 上海新迪数字技术有限公司 | 一种Brep三维模型的中面自动提取方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5579455A (en) * | 1993-07-30 | 1996-11-26 | Apple Computer, Inc. | Rendering of 3D scenes on a display using hierarchical z-buffer visibility |
WO1998025233A1 (fr) * | 1996-12-05 | 1998-06-11 | Setoguchi Laboratory Ltd. | Procede d'affichage d'une forme tridimensionnelle |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6057851A (en) * | 1995-10-06 | 2000-05-02 | International Business Machines Corp. | Computer graphics system having efficient texture mapping with perspective correction |
US6466207B1 (en) * | 1998-03-18 | 2002-10-15 | Microsoft Corporation | Real-time image rendering with layered depth images |
US6396496B1 (en) * | 1999-01-29 | 2002-05-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for modeling graphical objects represented as surface elements |
-
2000
- 2000-02-28 US US09/514,545 patent/US6639597B1/en not_active Expired - Fee Related
-
2001
- 2001-02-13 DE DE60107130T patent/DE60107130T2/de not_active Expired - Lifetime
- 2001-02-13 EP EP01103341A patent/EP1128330B1/en not_active Expired - Lifetime
- 2001-02-27 JP JP2001052859A patent/JP4679737B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5579455A (en) * | 1993-07-30 | 1996-11-26 | Apple Computer, Inc. | Rendering of 3D scenes on a display using hierarchical z-buffer visibility |
WO1998025233A1 (fr) * | 1996-12-05 | 1998-06-11 | Setoguchi Laboratory Ltd. | Procede d'affichage d'une forme tridimensionnelle |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012505445A (ja) * | 2008-10-07 | 2012-03-01 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 3dオブジェクトの3dモデルをレンダリングするための方法及びシステム |
JP2017516200A (ja) * | 2014-04-05 | 2017-06-15 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | オブジェクト及び/またはプリミティブ識別子を追跡することによるグラフィック処理の向上 |
Also Published As
Publication number | Publication date |
---|---|
EP1128330A3 (en) | 2003-08-27 |
EP1128330A2 (en) | 2001-08-29 |
DE60107130T2 (de) | 2005-12-01 |
EP1128330B1 (en) | 2004-11-17 |
JP4679737B2 (ja) | 2011-04-27 |
US6639597B1 (en) | 2003-10-28 |
DE60107130D1 (de) | 2004-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4610105B2 (ja) | グラフィックオブジェクトをレンダリングする方法及び装置 | |
JP4679737B2 (ja) | グラフィックオブジェクトの表面点を投影する方法 | |
US6509902B1 (en) | Texture filtering for surface elements | |
JP4610104B2 (ja) | グラフィックオブジェクトを表現する方法 | |
Meyer et al. | Interactive volumetric textures | |
Pfister et al. | Surfels: Surface elements as rendering primitives | |
Szirmay‐Kalos et al. | Displacement Mapping on the GPU—State of the Art | |
JP4391775B2 (ja) | グラフィクスオブジェクトの、複数のポイントを含む3dモデルをレンダリングする方法及び装置 | |
Wyman et al. | Penumbra Maps: Approximate Soft Shadows in Real-Time. | |
Yang et al. | The cluster hair model | |
Neyret | Synthesizing verdant landscapes using volumetric textures | |
Decaudin et al. | Volumetric billboards | |
Boudon et al. | Survey on computer representations of trees for realistic and efficient rendering | |
JP4047421B2 (ja) | ユーザ定義によるルームおよびウィンドウを用いた効率的レンダリング方法および装置 | |
Koo et al. | An efficient point rendering using octree and texture lookup | |
Bolla | High quality rendering of large point-based surfaces | |
Li et al. | Accurate Shadow Generation Analysis in Computer Graphics | |
Crawfis et al. | High quality splatting and volume synthesis | |
Ji et al. | P-quadtrees: A point and polygon hybrid multi-resolution rendering approach | |
Jianmin | Fast visualization of complex 3D models using displacement mapping | |
Güdükbay et al. | Three-dimensional scene representations: Modeling, animation, and rendering techniques | |
Menexi | Pre-calculated Volumetric Illumination for Real-time Graphics | |
Lu et al. | Fast visualization of complex 3D models using displacement mapping | |
Ivanov et al. | Representation of real-life 3d models by spatial patches | |
XIN | Surface modeling and rendering with line segments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110202 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |