JP2020091877A - 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること - Google Patents

複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること Download PDF

Info

Publication number
JP2020091877A
JP2020091877A JP2020005290A JP2020005290A JP2020091877A JP 2020091877 A JP2020091877 A JP 2020091877A JP 2020005290 A JP2020005290 A JP 2020005290A JP 2020005290 A JP2020005290 A JP 2020005290A JP 2020091877 A JP2020091877 A JP 2020091877A
Authority
JP
Japan
Prior art keywords
pixel
active
screen
metadata
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020005290A
Other languages
English (en)
Other versions
JP7033617B2 (ja
Inventor
バーゴフ、トビアス
Berghoff Tobias
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Europe Ltd, Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Europe Ltd
Publication of JP2020091877A publication Critical patent/JP2020091877A/ja
Priority to JP2021050413A priority Critical patent/JP7112549B2/ja
Application granted granted Critical
Publication of JP7033617B2 publication Critical patent/JP7033617B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0189Sight systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させる。【解決手段】グラフィクス処理ユニット(GPU)は、ディスプレイデバイスの複数の領域の中のディスプレイデバイスの特定の領域についてのアクティブサンプル構成を指定するメタデータを受信し、特定の領域内の1つまたは複数のピクセルのピクセルデータを受信するように構成される。ピクセルデータは、各ピクセルについて同じ数のカラーサンプルを指定する。特定の領域内の各ピクセルについて、GPUは、構成によってアクティブサンプルであると指定されるカラーサンプルについてだけピクセルシェーダを呼び出す。【選択図】図3A

Description

[関連出願の相互参照]
本出願は、本出願と同じ日に出願され、その全体の内容が参照により本明細書に組込まれる、「METHOD FOR EFFICIENT CONSTRUCTION OF HIGH RESOLUTION DISPLAY BUFFERS(高解像度ディスプレイ・バッファの効果的な製造方法)」という名称のTobias Berghoffによる、同一出願人による同時係属中の米国特許出願第14/246,064号(代理人文書番号第SCEA13055US00)に関連する。
本出願は、2014年4月5日に出願され、その全体の内容が参照により本明細書に組込まれる、「GRAPHICS PROCESSING ENHANCEMENT BY TRACKING OBJECT AND/OR PRIMITIVE IDENTIFIERS(物体追跡及び/またはプリミティブ識別子によるグラフィック処理向上)」という名称のTobias Berghoffによる、同一出願人による同時係属中の米国特許出願第14/246,067号(代理人文書番号第SCEA13056US00)に関連する。
本出願は、2014年4月5日に出願され、その全体の内容が参照により本明細書に組込まれる、「GRADIENT ADJUSTMENT FOR TEXTURE MAPPING TO NON−ORTHONORMAL GRID(非正規直交性格子に対するテキスチャマッピングの傾き調整)」という名称のMark Evan Cernyによる、同一出願人による同時係属中の米国特許出願第14/246,068号(代理人文書番号第SCEA13057US00)に関連する。
本出願は、2014年4月5日に出願され、その全体の内容が参照により本明細書に組込まれる、「VARYING EFFECTIVE RESOLUTION BY SCREEN LOCATION BY ALTERING RASTERIZATION PARAMETERS(ラスター化パラメータを変更することによりスクリーンの位置によって変化する有効解像度)」という名称のMark Evan Cernyによる、同一出願人による同時係属中の米国特許出願第14/246,063号(代理人文書番号第SCEA13059US00)に関連する。
本出願は、2014年4月5日に出願され、その全体の内容が参照により本明細書に組込まれる、「VARYING EFFECTIVE RESOLUTION BY SCREEN LOCATION IN GRAPHICS PROCESSING BY APPROXIMATING PROJECTION OF VERTICES ONTO CURVED VIEWPORT(湾曲したビューポートに近似の頂点の投影によるグラフィック処理におけるスクリーンの位置によって変化する有効解像度)」という名称のMark Evan Cernyによる、同一出願人による同時係属中の米国特許出願第14/246,066号(代理人文書番号第SCEA13060US00)に関連する。
本出願は、2014年4月5日に出願され、その全体の内容が参照により本明細書に組込まれる、「GRADIENT ADJUSTMENT FOR TEXTURE MAPPING FOR MULTIPLE RENDER TARGETS WITH RESOLUTION THAT VARIES BY SCREEN LOCATION(スクリーンの位置によって異なる解像度のターゲットの複数レンダリングのテキスチャマッピングの傾き調整)」という名称のMark Evan Cernyによる、同一出願人による同時係属中の米国特許出願第14/246,062号(代理人文書番号第SCEA13061US00)に関連する。
[技術分野]
本開示の態様は、コンピュータグラフィクスに関する。特に、本開示は、スクリーンの位置によって解像度を変更することに関する。
グラフィクス処理は、通常、2つのプロセッサ、中央処理ユニット(CPU)とグラフィクス処理ユニット(GPU)の連携を必要とする。GPUは、ディスプレイに出力するために意図されたフレームバッファ内での画像の生成を加速するように設計された専用電子回路である。GPUは、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、可搬型ゲームデバイス、ワークステーション、及びゲームコンソールにおいて使用される。GPUは、通常、コンピュータグラフィクスを操作するときに効率的であるように設計される。GPUは、しばしば、並列性が高い処理アーキテクチャを有し、並列性が高い処理アーキテクチャは、データの大きなブロックの処理が並列に行われるアルゴリズムについて汎用CPUに比べてGPUを効率的にする。
CPUは、描画コマンドと一般に呼ばれるGPU命令を送信してもよく、描画コマンドは、特定のグラフィクス処理タスクを実装するよう、例えば、画像内の直前のフレームに対して変化した特定のテキスチャをレンダーするようGPUに指令する。これらの描画コマンドは、グラフィクスのアプリケーションプログラミングインタフェース(API)を有するCPUによって連携されて、特定のアプリケーションの仮想環境の状態に対応するグラフィクスレンダリングコマンドを出してもよい。
特定のプログラムについてテキスチャをレンダーするため、GPUは、一連の処理タスクを「グラフィクスパイプライン」で実施して、仮想環境内のビジュアルをディスプレイ上でレンダーされる可能性がある画像に変換してもよい。典型的なグラフィクスパイプラインは、仮想空間内の仮想オブジェクトに対する或るレンダリングまたはシェーディング演算、ディスプレイに出力するのに適したピクセルデータを生成するシーン内での仮想オブジェクトの変換及びラスター化、並びに、被レンダー画像をディスプレイ上に出力する前の、ピクセル(またはフラグメント)に対する更なるレンダリングタスクを実施することを含んでもよい。
画像の仮想オブジェクトは、仮想シーン内でオブジェクトの形状を共に作るプリミティブとして知られる形状によって仮想空間内でしばしば記述される。例えば、レンダーされる3次元仮想世界内のオブジェクトは、3次元空間内の座標によって規定される頂点を有する一連の別個の三角形プリミティブに分解されてもよく、それにより、これらのポリゴンはオブジェクトの表面を構成する。各ポリゴンは、所与のポリゴンを他のポリゴンから区別するためにグラフィクス処理システムによって使用される可能性がある関連するインデックスを有してもよい。同様に、各頂点は、所与の頂点を他の頂点から区別するために使用される可能性がある関連するインデックスを有してもよい。グラフィクスパイプラインは、これらのプリミティブに或る演算を実施して、仮想シーンについてのビジュアルを生成し、このデータを、ディスプレイのピクセルによる再生に適する2次元フォーマットに変換してもよい。本明細書で使用される用語、グラフィクスプリミティブ情報(または単に「プリミティブ情報」)は、グラフィクスプリミティブを表すデータを指すために使用される。こうしたデータは、頂点情報(例えば、頂点位置または頂点インデックスを表すデータ)、及び、ポリゴン情報、例えばポリゴンインデックス、及び、特定の頂点を特定のポリゴンに関連付ける情報を含むが、それに限定されない。
グラフィクスパイプラインの一部として、GPUは、シェーダとして一般に知られるプログラムを実装することによってレンダリングタスクを実施してもよい。典型的なグラフィクスパイプラインは、頂点シェーダであって、頂点ごとにプリミティブの或る特性を操作してもよい、頂点シェーダ、並びに、ピクセルシェーダ(「フラグメントシェーダ」としても知られる)であって、グラフィクスパイプラインにおいて頂点シェーダから下流に演算し、また、ピクセルデータをディスプレイに送信する前にピクセルごとに或る値を操作してもよい、ピクセルシェーダを含んでもよい。フラグメントシェーダは、テキスチャをプリミティブに適用することに関連する値を操作してもよい。パイプラインは、同様に、頂点シェーダの出力を使用してプリミティブの新しいセットを生成する幾何形状シェーダ、並びに、或る他の一般的な計算タスクを実施するためGPUによって実装される場合があるコンピュートシェーダ(CS)等の、パイプライン内の種々のステージにおける他のシェーダを含んでもよい。
広い視野(FOV)を有するグラフィカルディスプレイデバイスが開発されてきた。こうしたデバイスは、頭部搭載型ディスプレイ(HMD)デバイスを含む。HMDデバイスにおいて、小さなディスプレイデバイスがユーザの頭部に装着される。ディスプレイデバイスは、一方の目(単眼HMD)または両目(両眼HMD)の前にディスプレイ光学部品を有する。HMDデバイスは、通常、デバイスの向きを検知する可能性があるセンサを含み、ユーザの頭部が移動するにつれて、ディスプレイ光学部品によって示されるシーンを変更する。従来通りに、広いFOVディスプレイのためにシーンをレンダーするほとんどのステージは、シーンの全ての部分が、単位面積当たり同じ数のピクセルを有する平面レンダリングによって実施される。
現実的な体験を提供するため、広いFOVのディスプレイデバイスによって提示されるグラフィクスが、高品質でありかつ効率的にレンダーされることが望ましい。
本開示が浮かび上がるのはこの文脈においてである。
本発明の教示は、添付図面と共に以下の詳細な説明を考えることによって容易に理解される可能性がある。
広い視野(FOV)のディスプレイの或るパラメータを示す略図である。 広いFOVのディスプレイの異なる部分についての異なる立体角を示す図である。 本開示の態様による異なる広いFOVのディスプレイの異なる領域内のピクセルの相対的重要性の例を示す図である。 本開示の態様による或るFOVのディスプレイのスクリーンの異なる領域についての異なるピクセル解像度の例を示す図である。 本開示の態様によるグラフィクス処理システムのブロック図である。 本開示の態様によるグラフィクス処理パイプラインのブロック図である。 本開示の態様による複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによってスクリーンの位置によって有効解像度を変動させる例を概略的に示す図である。 本開示の態様による複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによってスクリーンの位置によって有効解像度を変動させる例を概略的に示す図である。 本開示の態様による複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによってスクリーンの位置によって有効解像度を変動させる例を概略的に示す図である。 本開示の態様によるスクリーンの位置によって変動するピクセルアクティブサンプルカウントを実装するメタデータ構成の例を示す略図である。 本開示の態様によるスクリーンの位置によって変動するピクセルアクティブサンプルカウントを実装するメタデータ構成の代替の例を示す略図である。
以下の詳細な説明は、例証のために多くの特定の詳細を含むが、以下の詳細に対する多くの変形及び変更が本発明の範囲内にあることを当業者は認識するであろう。したがって、以下で述べる本発明の例示的な実施形態は、特許請求される発明に対する一般性を失うことなく、また、特許請求される発明に制限を課すことなく述べられる。
前置き
図1A〜1Cは、大きなFOVのディスプレイに関する過去に認識されていない問題を示す。図1Aは90°FOVディスプレイを示し、図1Bは114°FOVディスプレイを示す。従来の大きなFOVのディスプレイにおいて、3次元幾何形状は、ビュー平面に対する平面投影を使用してレンダーされる。しかし、高いFOVのビュー平面上に幾何形状をレンダーすることが非常に非効率であることがわかっている。図1Cにおいて見られるように、ビュー平面101の縁領域112及び中央領域114は、同じエリアであるが、観察者103によって見られるように、非常に異なる立体角を示す。その結果、スクリーンの縁に近いピクセルは、中央に近いピクセルに比べてずっと意味のない情報を保持する。従来的にシーンをレンダーするとき、これらの領域は、同じ数のピクセルを有し、同じサイズの領域をレンダーするのに費やされる時間は同じである。
図2A〜2Cは、異なるサイズの視野について2つの次元における大きなFOVのディスプレイの異なる部分の相対的重要性を示す。図2Aは、チェッカーボードが114°の角度を張る場合に、ビュー方向に垂直な平面チェッカーボードの各正方形についての立体角の変動を表す。換言すれば、図2Aは、114°FOVディスプレイに対する従来の平面投影レンダリングの非効率性を表す。図2Bは、90°FOVディスプレイについての同じ情報を表す。こうした平面投影レンダリングにおいて、投影は、縁にある画像201内のタイル202及び角にあるタイル203を、中央にあるタイル204と比較してより小さな立体角に圧縮する。この圧縮、また、画像201内の各タイルがスクリーン空間内に同じ数のピクセルを有することによって、中央タイル204と比較して縁タイル202をレンダーするためにほぼ4倍の非効率性因子が存在する。これによって、縁タイル202の従来のレンダリングが、中央タイル204の場合に比べて、単位立体角当たりほぼ4倍の処理を必要とすることが意味される。角タイル203の場合、非効率因子はほぼ8倍である。全画像201にわたって平均されると、非効率因子はほぼ2.5倍である。
非効率性は、FOVのサイズに依存する。例えば、図2Bに示す90°FOVディスプレイの場合、非効率因子は、縁タイル202をレンダーする場合ほぼ2倍であり、角タイル203をレンダーする場合ほぼ3倍であり、画像201をレンダーする場合ほぼ1.7倍である。
この状況を見る別の方法は、図2Cに示され、図2Cでは、スクリーン102は、張られた単位立体角当たりのピクセル数の観点からのほぼ等しい「重要性」の長方形に分割された。各長方形は、ディスプレイを通して見られる最終画像に対してほぼ同じ寄与をする。縁長方形202及び角長方形203の重要性を平面投影がどのように歪ませるかが見られる可能性がある。実際には、角長方形203は、視覚的ピクセル密度(立体角当たりのピクセル数として表現される)をディスプレイの中央に向かって高くするように選択する場合があるディスプレイ光学部品のせいで、中央長方形に対して少ない寄与をする場合がある。
先の観測結果に基づいて、広いFOVのディスプレイについての画像210が、図2Dに示すように、中央領域215より縁領域212、214、216、218において小さく、また、縁領域212、214、216、218より角領域211、213、217、及び219において小さいピクセル密度を有することが有利である。広いFOVのディスプレイのスクリーン上の従来のグラフィカル画像を、基礎にあるグラフィカル画像データまたはデータフォーマットまたはデータの処理を著しく修正する必要なしで、スクリーンにわたってピクセル密度を変動させるのと同じ効果を得るようにレンダーすることが同様に有利である。本開示の態様によれば、これらの利点は、大きなFOVのディスプレイデバイスのスクリーンの異なる領域についてそれ用のピクセルシェーダが呼び出されるアクティブカラーサンプルの数を変動させることによってグラフィクスパイプラインにおいて得られる可能性がある。
これを実装するため、グラフィクスパイプラインの一部は、スクリーンの異なる領域においてピクセル当たりのアクティブカラーサンプルの数を指定するメタデータを使用する。メタデータは、画像ではなくスクリーンに関連する。画像データが変化するのではなく、グラフィクスパイプラインにおいて、ピクセルシェーダ実行が、アクティブカラーサンプルに対してだけ行われる。例えば、画像データにおいて、ピクセル当たり4つのカラーサンプルが存在してもよい。スクリーンのフル解像度領域の場合、メタデータは、アクティブカウントを4であると指定してもよく、その場合、ピクセルシェーダは、4つ全てのカラーサンプルについて呼び出される。3/4解像度領域において、アクティブカウントは3であってよく、その場合、ピクセルシェーダは、4つのうちの3つ(例えば、最初の3つ)のカラーサンプルについて呼び出される。1/2解像度領域において、アクティブカウントは2であることになり、ピクセルシェーダは、カラーサンプルの2つについて呼び出される。1/4解像度領域において、アクティブカウントは1であることになり、ピクセルシェーダは、4つのカラーサンプルの1つだけについて呼び出されることになる。
システム及び装置
本開示の態様は、可変ピクセルサンプル解像度を有するグラフィクス処理を実装するように構成されるグラフィクス処理システムを含む。例として、また、制限としてではなく、図3Aは、本開示の態様によるグラフィクス処理を実装するために使用されてもよいコンピュータシステム300のブロック図を示す。本開示の態様によれば、システム300は、埋め込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、可搬型ゲームデバイス、ワークステーション、ゲームコンソール等であってよい。
システム300は、一般に、中央処理ユニット(CPU)302、グラフィクスプロセッサユニット(GPU)304、及び、CPUとGPUの両方がアクセス可能であるメモリ308を含んでもよい。CPU302及びGPU304はそれぞれ、1つまたは複数のプロセッサコア、例えば、単一コア、2つのコア、4つのコア、8つのコア、またはそれより多くのコアを含んでもよい。メモリ308は、アドレス指定可能なメモリ、例えば、RAM、DRAM等を提供する集積回路の形態であってよい。メモリ308は、グラフィクスリソースを格納し、また、グラフィクスレンダリングパイプライン用のデータのグラフィクスバッファ305を一時的に格納してもよいグラフィクスメモリ328を含んでもよい。グラフィクスバッファ305は、例えば、頂点パラメータ値を格納する頂点バッファ、頂点インデックスを保持するインデックスバッファ、グラフィクスコンテンツの深度値を格納する深度バッファ(例えば、Zバッファ)、ステンシルバッファ、ディスプレイに送信される完成フレームを格納するフレームバッファ、及び他のバッファを含んでもよい。図3Aに示す例において、グラフィクスメモリ328は、主メモリの一部として示される。代替の実施態様において、グラフィクスメモリは、おそらくはGPU304に統合された別個の構成要素である可能性がある。
例として、また、制限としてではなく、CPU302及びGPU304はデータバス309を使用してメモリ308にアクセスしてもよい。或る場合には、システム300が2つ以上の異なるバスを含むことが有用である場合がある。メモリ308は、CPU302及びGPU304によってアクセスされる可能性があるデータを含んでもよい。GPU304は、グラフィクス処理タスクを並列に実施するように構成される複数のコンピュートユニットを含んでもよい。各コンピュートユニットは、ローカルデータシェア等のそれ自身の専用ローカルメモリストアを含んでもよい。
CPUは、グラフィクス、コンパイラ、及びグラフィクスAPIを含んでもよいCPUコード303cを実行するように構成されてもよい。グラフィクスAPIは、GPUによって実装されたプログラムに描画コマンドを出すように構成される可能性がある。CPUコード303Cは、同様に、物理学シミュレーション及び他の機能を実装してもよい。GPU304は、先に論じたように動作するように構成されてもよい。特に、GPUは、先に論じた、コンピュートシェーダCS、頂点シェーダVS、及びピクセルシェーダPS等のシェーダを実装してもよいGPUコード303Gを実行してもよい。コンピュートシェーダCSと頂点シェーダVSとの間でのデータの通過を容易にするため、システムは、フレームバッファFBを含んでもよい1つまたは複数のバッファ305を含んでもよい。GPUコード303Gは、同様に任意選択で、ピクセルシェーダまたは幾何形状シェーダ等の他の型のシェーダ(示さず)を実装してもよい。各コンピュートユニットは、ローカルデータシェア等のそれ自身の専用ローカルメモリストアを含んでもよい。GPU304は、グラフィクスパイプラインの一部としてテキスチャをプリミティブに適用するために或る演算を実施するように構成されるテキスチャユニット306を含んでもよい。
本開示の態様によれば、CPUコード303c及びGPUコード303g及びシステム300の他の要素は、ディスプレイデバイスの複数の領域の中でディスプレイデバイス316の特定の領域についてアクティブサンプル構成を指定するメタデータMDを、グラフィクスパイプラインのラスター化ステージが受信するように構成される。ラスター化ステージは、特定の領域内の1つまたは複数のピクセルについてピクセルデータを受信する。ピクセルデータは、全表面にわたって同じサンプルカウント(各ピクセルのカラーサンプルの数)を指定する。アクティブサンプルカウントは、カラーサンプルカウント以下であり、カラーサンプルカウントは2つ以上である。特定の領域内の各ピクセルについて、ラスター化ステージは、アクティブサンプルについてだけピクセルシェーダPSを呼び出す。メタデータMDは、異なるピクセルサンプル解像度(ディスプレイの単位面積当たりのピクセルサンプルの数)を有する領域について異なるアクティブサンプル構成を指定する。こうして、ピクセルサンプル解像度は、ディスプレイデバイス316の異なる領域について変動する可能性があり、また、グラフィクス処理負荷は、ディスプレイの低解像度領域について、単に高解像度領域に比べてこれらの領域のアクティブサンプルカウントを減少させることによって低減される可能性がある。
幾つかの実施態様において、メタデータMDは、各領域についてアクティブサンプルのマスクを含む。GPU304は、マスクとプリミティブによってカバーされるサンプルとの間で論理ANDを実施して、ピクセルシェーダがそれについて呼び出されるプリミティブについてアクティブサンプルを決定する。
代替の実施態様において、メタデータMDは、ディスプレイデバイスの複数の領域の中でディスプレイデバイス316の特定の領域についてアクティブサンプルカウントを指定する。アクティブサンプルカウントは、カラーサンプルカウント以下であり、カラーサンプルカウントは2つ以上である。特定の領域内の各ピクセルについて、ラスター化ステージは、アクティブサンプルカウントに等しいピクセルの或る数のカラーサンプルについてだけピクセルシェーダPSを呼び出し、通常、シーケンシャルなカラーサンプルは、或る一貫して規定されたサンプル順序で最初のカラーサンプルから始める。
幾つかの実施態様において、CPUコード303c、GPUコード303g、及びテキスチャユニット306は、スクリーンの位置依存の可変ピクセル解像度と共にテキスチャマッピング演算に対する修正を実装するため、或るテキスチャマッピング演算を実装するように更に構成されてもよい。例えば、ピクセルシェーダPS及びテキスチャユニット306は、1つまたは複数のテキスチャマッピング演算の座標のセットを提供するためプリミティブについてピクセル位置XYについて1つまたは複数のテキスチャ座標UVを生成し、テキスチャ座標UV(おそらくは、スクリーンにわたる様々なサンプル密度に対処する補正を含む)から勾配値Grを計算し、テキスチャがプリミティブを適用する詳細のレベル(LOD)を決定するように構成される可能性がある。
例として、また、制限としてではなく、GPUの或る構成要素、例えば、或る型のシェーダまたはテキスチャユニット306は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはシステムオンチップ(SoCまたはSOC)等の専用ハードウェアとして実装されてもよい。
本明細書で使用されるように、また、当業者によって一般に理解されるように、特定用途向け集積回路(ASIC)は、汎用的使用のために意図されるのではなく特定使用のためにカスタマイズされる集積回路である。
本明細書で使用されるように、また、当業者によって一般に理解されるように、フィールドプログラマブルゲートアレイ(FPGA)は、製造後にカスタマーまたは設計者によって構成されるように設計された−したがって、「フィールドプログラマブル」集積回路である。FPGA構成は、一般に、ASICのために使用される言語と同様のハードウェア記述言語(HDL)を使用して指定される。
本明細書で使用されるように、また、当業者によって一般に理解されるように、システム・オン・ア・チップまたはシステム・オン・チップ(SoCまたはSOC)は、コンピュータまたは他の電子システムの全ての構成要素を単一チップに統合する集積回路(IC)である。SoCまたはSOCは、デジタル信号、アナログ信号、及び混合信号、並びにしばしば無線周波数機能を、全て単一チップ基板上に含んでもよい。典型的な用途は、埋め込みシステムの領域においてである。
典型的なSoCは、以下のハードウェア構成要素を含む。
1つまたは複数のプロセッサコア(例えば、マイクロコントローラ、マイクロプロセッサ、またはデジタル信号プロセッサ(DSP)コア)。
メモリブロック、例えば、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、電子的消去可能プログラマブルリードオンリーメモリ(EEPROM)、及びフラッシュメモリ。
発振器または位相ロックループ等のタイミングソース。
カウンタタイマ、リアルタイムタイマ、またはパワーオンリセット発生器等の周辺機器。
外部インタフェース、例えば、ユニバーサルシリアルバス(USB)等の業界標準、ファイヤワイヤ、イーサネット(登録商標)、ユニバーサル非同期受信機/送信機(USART)、シリアルペリフェラルインタフェース(SPI)バス。
アナログ・デジタル変換器(ADC)及びデジタル・アナログ変換器(DAC)を含むアナログインタフェース。
電圧調節器及び電力管理回路
これらの構成要素は、独占的または業界標準バスによって接続される。ダイレクトメモリアクセス(DMA)コントローラは、外部インタフェースとメモリとの間で直接、データをルーティングし、プロセッサコアをバイパスさせ、それにより、SoCのデータスループットを増加させる。
典型的なSoCは、上述したハードウェア構成要素と、実行可能命令(例えば、ソフトウェアまたはファームウェア)であって、プロセッサコア(複数可)、周辺機器、及びインタフェースを制御する、実行可能命令の両方を含む。
本開示の態様によれば、シェーダまたはテキスチャユニット306の一部または全ての機能は、代替的に、ソフトウェアプログラマブル汎用コンピュータプロセッサによって実行される、適切に構成されたソフトウェア命令によって実装されてもよい。こうした命令は、コンピュータ可読媒体、例えば、メモリ308またはストレージデバイス315内で具現化されてもよい。
システム300は、同様に、例えば、バス309によってシステムの他の構成要素と通信してもよい、よく知られている支持機能310を含んでもよい。こうした支持機能は、入力/出力(I/O)要素311、電力供給(P/S)312、クロック(CLK)313、及びキャッシュ314を含んでもよいが、それに限定されない。キャッシュ314に加えて、GPU304は、それ自身のGPUキャッシュ314Gを含んでもよく、GPUは、GPU304上で実行されるプログラムがGPUキャッシュ314Gを通して読み出せるまたは書込めるように構成されてもよい。
システム300は、被レンダーグラフィクス317をユーザに提示するためディスプレイデバイス316を含んでもよい。代替の実施態様において、ディスプレイデバイス316は、システム300と共に働く別個の構成要素である。ディスプレイデバイス316は、フラットパネルディスプレイ、頭部搭載型ディスプレイ(HMD)、陰極線管(CRT)スクリーン、プロジェクタ、または、目に見えるテキスト、数値、グラフィカルシンボル、または画像を表示する可能性がある他のデバイスの形態であってよい。特に有用な実施態様において、ディスプレイデバイス316は、湾曲スクリーンを有する大きな視野(FOV)のデバイスである。ディスプレイデバイス316は、本明細書で述べる種々の技法に従って処理される被レンダーグラフィック画像317を表示する。
システム300は、任意選択で、プログラム及び/またはデータを格納するため、ディスクドライブ、CD−ROMドライブ、フラッシュメモリ、テープドライブ等のようなマスストレージデバイス315を含んでもよい。システム300は、同様に任意選択で、システム300とユーザとの間の相互作用を容易にするためユーザインタフェースユニット318を含んでもよい。ユーザインタフェースユニット318は、キーボード、マウス、ジョイスティック、ライトペン、ゲームコントローラ、または、グラフィカルユーザインタフェース(GUI)と共に使用されてもよい他のデバイスを含んでもよい。システム300は、同様に、デバイスが、ネットワーク322を通じて他のデバイスと通信することを可能にするネットワークインタフェース320を含んでもよい。ネットワーク322は、例えば、ローカルエリアネットワーク(LAN)、インターネット等のワイドエリアネットワーク、Bluetooth(登録商標)ネットワーク等のパーソナルエリアネットワーク、または他の型のネットワークであってよい。これらの構成要素は、ハードウェア、ソフトウェア、またはファームウェア、或は、これらのうちの2つ以上の何らかの組合せであってよい。
グラフィクスパイプライン
本開示の態様によれば、システム300は、グラフィクスレンダリングパイプラインの所定の部分を実装するように構成される。図3Bは、本開示の態様によるグラフィクスレンダリングパイプライン330の例を示す。
レンダリングパイプライン330は、仮想空間(本明細書で「世界空間(world space)」と呼ばれることがある)内で2次元または好ましくは3次元幾何形状を有するシーンを描く画像としてグラフィクスをレンダーするように構成されてもよい。パイプラインの早期ステージは、シーンが、ラスター化され、ディスプレイデバイス316上で出力するのに適した離散的画素のセットとしてスクリーン空間に変換される前に、仮想空間において実施される演算を含んでもよい。パイプライン全体を通して、グラフィクスメモリ328に含まれる種々のリソースが、パイプラインステージで利用されてもよく、また、ステージに対する入力及び出力は、画像の最終値が決定される前にグラフィクスメモリに含まれるバッファに一時的に格納されてもよい。
レンダリングパイプラインは、頂点のセットによって規定された1つまたは複数の仮想オブジェクトを含んでもよい入力データ332に作用してもよく、1つまたは複数の仮想オブジェクトは、仮想空間内でセットアップされ、シーン内の座標に関して規定される幾何形状を有する。パイプラインの早期ステージは、図3Bにおいて頂点処理ステージ334として幅広く分類されるものを含んでもよく、また、これは、仮想空間内でオブジェクトの頂点を処理するため種々の計算を含んでもよい。これは、頂点シェーディング計算336を含んでもよく、頂点シェーディング計算336は、位置の値、(例えば、X−Y座標及びZ深度値)、カラー値、ライティング値、テキスチャ座標等のようなシーン内の頂点の種々のパラメータ値を操作してもよい。好ましくは、頂点シェーディング計算336は、1つまたは複数のプログラマブル頂点シェーダによって実施される。頂点処理ステージは、仮想空間内で新しい頂点及び新しい幾何形状を生成するために任意選択で使用されてもよい、テッセレーション及び幾何形状シェーダ計算338等の更なる頂点処理計算を任意選択で含んでもよい。頂点処理334と呼ばれるステージが終了すると、パイプラインのこのステージにおいて、シーンは、それぞれが頂点パラメータ値339のセットを有する頂点のセットによって規定される。
パイプライン330は、その後、シーン幾何形状を、シーン空間及び離散的画素、すなわちピクセルのセットに変換することに関連するラスター化処理ステージ340に進んでもよい。仮想空間幾何形状は、仮想空間からシーンの観察窓(または「ビューポイント」)へのオブジェクト及び頂点の投影を本質的に計算してもよい演算を通してスクリーン空間幾何形状に変換されてもよい。頂点は、プリミティブのセットとして規定されてもよい。
図3Bに示すラスター化処理ステージ340は、シーン内で頂点の各セットによって規定されるプリミティブをセットアップしてもよいプリミティブ組立て演算342を含んでもよい。各頂点は、インデックスによって規定されてもよく、各プリミティブは、グラフィクスメモリ328内のインデックスバッファに格納されてもよいこれらの頂点インデックスに関して規定されてもよい。プリミティブは、好ましくは、それぞれ3つの頂点によって規定される少なくとも三角形を含んでもよいが、同様に、点プリミティブ、線プリミティブ、及び他の多角形形状を含んでもよい。プリミティブ組立て演算342中に、或るプリミティブは、任意選択で、選択されてもよい。例えば、そのインデックスが或る巻回順序を示すプリミティブは、後向きであると考えられてもよく、また、シーンから選択されてもよい。
プリミティブが組立てられた後、ラスター化処理ステージは、スキャン変換演算344を含んでもよく、スキャン変換演算344は、各ピクセルにおいてプリミティブをサンプリングし、サンプルがプリミティブによってカバーされると更なる処理のためにプリミティブからフラグメント(ピクセルと呼ばれることがある)を生成してもよい。任意選択で、各ピクセルの複数のサンプルは、スキャン変換演算344中にプリミティブなしで採取され、それらのサンプルは、アンチエイリアシングのために使用されてもよい。或る実施態様において、異なるピクセルは異なるようにサンプリングされてもよい。例えば、幾つかの縁ピクセルは、中央ピクセルよりも低いサンプリング密度を含んで、頭部搭載型ディスプレイ(HMD)等の或る型のディスプレイデバイス316について或る態様のレンダリングを最適化してもよい。スキャン変換344中にプリミティブから生成されるフラグメント(または「ピクセル」)は、ピクセルを生成したプリミティブの頂点の頂点パラメータ値339からピクセルの位置に対して補間されてもよいパラメータ値を有してもよい。ラスター化ステージ340は、パラメータ補間演算346ステージを含んで、これらの被補間フラグメントパラメータ値349を計算してもよく、被補間フラグメントパラメータ値349は、パイプラインの後のステージにおける更なる処理のための入力として使用されてもよい。
本開示の態様によれば、プリミティブ組立て342とスキャン変換344との間で、スクリーンの異なるサブセクションが異なるピクセル解像度を有することに対処する或る演算が行われる。特定の実施態様において、プリミティブの頂点についてのスクリーンの位置がわかると、粗いラスター化343が行われて、プリミティブがオーバラップする全ての予め規定されたスクリーンサブセクション(本明細書で、粗いラスター化タイルと呼ばれることがある)を見出す可能性がある。プリミティブがオーバラップする各サブセクションについて、有効解像度がそのサブセクションについて修正されることを可能にするサブセクション依存メタデータMD、例えば、アクティブサンプルカウントまたは他のパラメータが受信される。スキャン変換344及び後続の処理ステージは、関連する1つまたは複数のサブセクションについて指定された数のアクティブサンプルに対してだけピクセル処理を実施することによって最終ピクセル値を生成する。
グラフィクスパイプライン330は、図3Bの350で全体的に示す更なるピクセル処理演算を含んで、被補間パラメータ値349を更に操作し、ディスプレイ316のための最終ピクセル値にフラグメントがどのように寄与するかを決定する更なる演算を実施してもよい。これらのピクセル処理タスクの幾つかは、フラグメントの被補間パラメータ値349を更に操作するために使用されてもよいピクセルシェーディング計算352を含んでもよい。ピクセルシェーディング計算は、プログラマブルピクセルシェーダによって実施されてもよく、ピクセルシェーダ呼出し348は、ラスター化処理ステージ340中にプリミティブのサンプリングに基づいて始動されてもよい。先に述べたように、ピクセルシェーダ呼出し348は、同様に、プリミティブがその中でレンダーされるディスプレイデバイス316の特定の領域内の各ピクセルについてアクティブサンプルカウントを指定するメタデータMDに基づいて始動されてもよい。特定の領域内の各ピクセルについて、ピクセルシェーダ呼出し348は、アクティブサンプルカウントに等しいピクセルの或る数のカラーサンプルについてだけ起こる。
図4Aは、ディスプレイスクリーン316の異なる領域401について異なるアクティブカラーサンプルを指定するようにメタデータMDがどのように構成される可能性があるかについての例を示す。幾つかの実施態様において、各領域は、ディスプレイの固定サイズ部分に対応してもよい。他の実施態様において、各領域は、ディスプレイの可変サイズ部分に対応してもよい。更なる実施態様において、メタデータMDは、垂直及び水平方向にピクセルの範囲によって各領域401を規定する可能性がある。なお更なる実施態様において、メタデータMDは、或るサイズ、例えば、32ピクセル×32ピクセルの粗いラスター化タイルによって各領域を規定する可能性がある。特定の領域に関連するメタデータは、その領域についてアクティブカラーサンプルカウントを指定する情報を含む。例として、また、制限としてではなく、メタデータは、メモリ308及び/またはグラフィクスメモリ328内のテーブルの形態で格納されてもよい。
例として、また、制限としてではなく、ディスプレイスクリーン316の各領域401の各ピクセル403は、8つの深度サンプル及び4つのカラーサンプルを有するように規定される可能性がある。任意の特定の領域についてのメタデータは、その領域の所望の解像度に応じて、その領域について1、2、3、または4のアクティブカラーサンプルカウントを指定する可能性がある。図4Aに示す例において、スクリーン316の中央領域は、フル解像度を持つことを所望されるため、メタデータMDは、これらの領域について4のアクティブカラーサンプルカウントを指定する。
こうした実施態様において、グラフィクスパイプライン330内の処理の多くは、通常通りに起こる。例えば、プリミティブ組立て342並びにスキャン変換344及びパラメータ補間346等のラスター化処理340の他の部分は、従来通りに実装されることになる。スクリーンは、単一ピクセルフォーマットを有する、例えば、カラーサンプルカウント、深度サンプルカウント、位置、及び他のパラメータを指定することになる。本開示の態様の新しい特徴は、各領域401のピクセルシェーダ呼出し348の場合、メタデータMDがアクティブカラーサンプルカウントを指定し、ピクセルシェーダが、アクティブカラーサンプルカウントに等しい回数、呼び出されることである。
或る実施態様において、ピクセルシェーダ呼出し348は、デフォルトとしてアンロールされ、深度サンプルが常に書込まれる。呼出しが常にアンロールされる場合、ピクセルシェーディング計算352は、ピクセルをマルチサンプリングすることと対照的に、各アクティブカラーサンプルについて呼び出されることによってピクセルをスーパーサンプリングする。
例えば、メタデータMDが、中央領域401Cについてピクセル当たり4つのカラーサンプルを、また、縁領域401E内でピクセル当たり2つのカラーサンプルを指定する場合、それは、縁領域401Eと比較して中央領域401Cにおいて水平及び垂直方向に2倍の解像度になることと同等である。
図4Bは、ピクセル画像当たり単一サンプルの例を示し、2ピクセル×2ピクセルクワッド406は、4つのピクセルを完全に記述する4つのカラーサンプルを示す。深度サンプルは、例においてこの点でカラーサンプルと区別されない。三角形405について、4つのピクセル位置のうちの3つのピクセル位置が三角形によってカバーされるため、この1つのクワッドは、カバーされた3つのサンプルを有する単一フラグメントとして、ピクセルシェーディング計算352のためにピクセルシェーダPSに渡される。ピクセルシェーダPSは、4つのカラーサンプルをシェーディングし、4つのカラーサンプルのうちの3つをフレームバッファFBに格納する。
図4Cにおいて、対照的に、ピクセル当たり4つのカラーサンプルが存在するため、図示する16のサンプルは2×2ピクセルに対応するだけであり、一方、図4Bの例において、それは、4×4ピクセルであった。この図は、ピクセルシェーダ呼出しが、カバーされた各サンプルに関して起こるようにアクティブピクセルがアンロールされるときに、3つのフラグメントが生成され、各フラグメントがカバーされた1つのサンプルを含むことを示す。
アクティブサンプルカウントは、メタデータMDによって指定されるサンプルを選択的にディセーブルすることによって変動する可能性がある。例えば、各ピクセルの右上及び左下が非アクティブにレンダーされる場合、1つのアクティブサンプル位置だけがカバーされ、したがって、図4Cに示す3つのフラグメントの中央だけがピクセルシェーダPSに渡される。
幾つかの実施態様において、メタデータは、ディスプレイ316の光学部品及びFOVについて固定される。こうしたメタデータ構成の例は、図4Dに概略的に示される。図4Dは、ディスプレイスクリーン316の異なるサブセクション401について異なるアクティブピクセルサンプル(またはアクティブカラーサンプル)をメタデータMDがどのように指定するように構成される可能性があるかの例を示す。図4Dに示す例において、スクリーン316の中央サブセクションは、フル解像度を持つように所望され、中央から遠いサブセクションは、徐々に低い解像度を有する。例として、また、制限としてではなく、ディスプレイスクリーン316の各領域401の各ピクセル403は、固定数の深度サンプル及びカラーサンプル、例えば、8つの深度サンプル及び4つのカラーサンプルを持つように規定される可能性がある。任意の特定の領域についてのメタデータは、その領域の所望の解像度に応じて、その領域について1、2、3、または4のアクティブカラーサンプルカウントを指定する可能性がある。
代替の実施態様において、メタデータは、目追跡のために中心窩レンダリングを実装するために変動する可能性がある。こうした実施態様において、システム300は、ユーザの注視、すなわち、ユーザの目が見ている場所を追跡し、この情報を、ユーザが見ている対応するスクリーンの位置に関連付けるためのハードウェアを含む。こうしたハードウェアの一例は、ディスプレイデバイス316のスクリーンに対してわかっている位置にありかつユーザの全体的な方向に向くデジタルカメラを含む可能性がある。デジタルカメラは、ユーザインタフェース318または別個の構成要素の一部である可能性がある。CPUコード303Cは、画像解析ソフトウェアを含む可能性があり、画像解析ソフトウェアは、カメラからの画像を解析して、(a)ユーザが画像内にいるかどうか、(b)ユーザがカメラに向いているかどうか、(c)ユーザがスクリーンに向いているかどうか、(d)ユーザの目が観察可能であるかどうか、(e)ユーザの頭部に対するユーザの目の瞳孔の向き、及び(f)カメラに対するユーザの頭部の向きを決定する。スクリーンに対するカメラのわかっている位置及び向き、ユーザの頭部に対するユーザの目の瞳孔の向き、及びカメラに対するユーザの頭部の向きから、画像解析ソフトウェアは、ユーザがスクリーンを見ているかどうかを、またそうである場合、ユーザが見ているスクリーンの部分401についてのスクリーン空間座標を決定する可能性がある。CPUコード303Cは、その後、これらのスクリーン座標をGPUコード303Gに渡し、GPUコード303Gは、部分401を含む1つまたは複数のサブセクションを決定する可能性がある。GPUコードは、その後、相応してメタデータMDを修正する可能性があるため、ピクセル解像度は、図4Eに示すように、部分401を含む1つまたは複数のサブセクションにおいて最高になり、部分401から遠く離れるサブセクションにおいて徐々に低くなる。
再び図3Bを参照すると、ピクセルシェーディング計算352は、レンダーターゲット、または複数ある場合には複数レンダーターゲット(MRT)と呼ばれることがある、グラフィクスメモリ328内の1つまたは複数のバッファ305に出力値を出力してもよい。MRTは、ピクセルシェーダが、2つ以上のレンダーターゲットであって、それぞれが同じスクリーン寸法を有するが、おそらくは異なるピクセルフォーマットを有する、2つ以上のレンダーターゲットに任意選択で出力することを可能にする。レンダーターゲットフォーマット制限は、任意の1つのレンダーターゲットが最大4つの独立した出力値(チャネル)を受入れる可能性があるだけであること、及び、これら4つのチャネルのフォーマットが互いに密に結びついていることをしばしば意味する。MRTは、単一ピクセルシェーダが異なるフォーマットの混合でより多くの値を出力することを可能にする。レンダーターゲットのフォーマットは、レンダーターゲットが、スクリーン空間ピクセルについて複数の値を格納するが、種々の性能理由から、レンダーターゲットのフォーマットが最近のハードウェア世代においてより専門的になっており、テキスチャユニットによって読込まれることにデータが適合する前にデータをリフォーマットする「リゾルブ」と呼ばれるものを(常にではないが)ときどき必要とする点で、「テキスチャのようである」。
ピクセル処理350は、一般に、ラスター演算(ROP)として一般に知られるものを含んでもよいレンダー出力演算356に到達してもよい。ラスター化演算(ROP)は、複数のレンダーターゲット(MRT)の中の各レンダーターゲットについて1回、ピクセルについて複数回実行されるだけである。出力演算356中に、最終ピクセル値359は、フレームバッファ内で決定されてもよく、フレームバッファは、任意選択で、融合フラグメント、適用ステンシル、深度試験、及び或るサンプルごとの処理タスクを含んでもよい。最終ピクセル値359は、全てのアクティブレンダーターゲット(MRT)に対する収集済み出力を含む。GPU304は、最終ピクセル値359を使用して、完成フレーム360を構成し、完成フレーム360は、任意選択で、ディスプレイデバイス316のピクセル上でリアルタイムに表示されてもよい。
出力演算350は、同様にテキスチャマッピング演算354を含んでもよく、テキスチャマッピング演算354は、或る程度まで1つまたは複数のシェーダ(例えば、ピクセルシェーダPS、コンピュートシェーダCS、頂点シェーダVS、または他の型のシェーダ)によって、また、或る程度までテキスチャユニット306によって実施されてもよい。シェーダ計算352は、スクリーン空間座標XYからテキスチャ座標UVを計算すること、及び、テキスチャ座標をテキスチャ演算354に送信すること、及びテキスチャデータTXを受信することを含む。テキスチャ座標UVは、スクリーン空間座標XYから任意の方式で計算される可能性があるが、通常、被補間入力値から、またはときどきは直前のテキスチャ演算の結果から計算される。勾配Grは、しばしば、テキスチャユニット306(テキスチャ演算ハードウェアユニット)によってテキスチャ座標のクワッドから直接計算されるが、任意選択で、ピクセルシェーダ計算352によって明示的に計算され、テキスチャユニット306に頼るのではなくテキスチャ演算354に渡されて、デフォルト計算を実施する可能性がある。
テキスチャ演算356は、一般に、ピクセルシェーダPS及びテキスチャユニット306の或る組合せによって実施される可能性がある以下のステージを含む。最初に、ピクセル位置XYについて1つまたは複数のテキスチャ座標UVが、生成され、各テキスチャマッピング演算について座標セットを提供するために使用される。その後、勾配値Grが、テキスチャ座標UVから計算され(おそらくは、サンプル位置の非直交性についての補正を有する)、テキスチャがプリミティブを適用する詳細のレベル(LOD)を決定するために使用される。
更なる態様
本開示の更なる態様は、グラフィクス処理方法を含み、方法は、
ディスプレイデバイスの複数の領域の中でディスプレイデバイスの特定の領域についてのアクティブサンプル構成を指定するメタデータを受信すること、
特定の領域内の1つまたは複数のピクセルについて、各ピクセルの同じ数のカラーサンプルを指定する、ピクセルデータを受信すること、及び、
特定の領域内の各ピクセルについて、アクティブサンプル構成によってアクティブサンプルであると指定されるカラーサンプルについてだけピクセルシェーダを呼び出すことを含む。
本開示の更なる態様は、ディスプレイデバイスのスクリーンの異なる領域が異なるピクセル解像度を有する、グラフィクス処理方法を含む。
別の更なる態様は、コンピュータ可読媒体であり、コンピュータ可読媒体は、コンピュータ可読媒体内で具現化されるコンピュータ実行可能命令を有し、コンピュータ実行可能命令は、実行されると、以下の方法の一方または両方を実装する。
更なる態様は、以下の方法の一方または両方を実施する電磁のまたは他の信号搬送コンピュータ可読命令である。
更なる態様は、通信ネットワークからダウンロード可能である及び/またはコンピュータ可読及び/またはマイクロプロセッサ実行可能媒体上に格納されるコンピュータプログラム製品であって、先の方法の一方または両方を実装するプログラムコード命令を含むことを特徴とする、コンピュータプログラム製品である。
別の更なる態様は、先の方法の一方または両方を実装するように構成されるグラフィクス処理システムである。
上記は本発明の好ましい実施形態の完全な説明であるが、種々の代替物、修正物、及び等価物を使用することが可能である。したがって、本発明の範囲は、先の説明を参照して決定されるべきでなく、代わりに、添付特許請求の範囲を参照して、その均等物の全範囲と共に決定されるべきである。本明細書で述べる任意に特徴(好ましくても、好ましくなくても)は、本明細書で述べる任意の他の特徴(好ましくても、好ましくなくても)と組合されてもよい。添付特許請求の範囲において、[不定冠詞「A」または「An」]は、別途明白に述べられる場合を除いて、冠詞に続く品目の1つまたは複数の量を指す。添付特許請求の範囲は、ミーンズ・プラス・ファンクション制限が、句「のための手段(means for)」を使用して所与の特許請求項において明示的に列挙されない限り、ミーンズ・プラス・ファンクション制限を含むものとして解釈されない。

Claims (29)

  1. ディスプレイデバイスに結合されたグラフィクス処理ユニットを有するグラフィクス処理システムによるグラフィクス処理方法であって、
    ディスプレイの特定の領域内の各ピクセルについて、前記ディスプレイデバイスのスクリーンの複数の領域の中にある特定の領域についてのアクティブサンプルのマスクを指定するメタデータによってアクティブサンプルであると指定されるカラーサンプルについてだけピクセルシェーダを呼び出すことであって、前記アクティブサンプルは、ピクセルシェーダが実行されるピクセル当たりのカラーサンプルを示すものである、前記ピクセルシェーダを呼び出すことを含み、
    前記アクティブサンプルであると指定されるカラーサンプルについてだけ前記ピクセルシェーダを呼び出すことは、前記マスクと、プリミティブによってピクセル位置がカバーされるサンプルのセットとの間で論理ANDを実施し、前記ピクセルシェーダが呼び出される前記プリミティブについて前記アクティブサンプルであると指定されるカラーサンプルを決定することを含み、
    ピクセルデータは、前記ディスプレイの全表面にわたって各ピクセルに対して同じ数のカラーサンプルを指定するものであり、
    前記メタデータは、前記特定の領域についてのアクティブサンプルカウントを指定し、前記アクティブサンプルカウントは、前記ピクセルシェーダが実行されるピクセル当たりのカラーサンプルの数を示すものである、方法。
  2. 前記アクティブサンプルカウントは、カラーサンプルの前記同じ数以下であり、カラーサンプルの前記同じ数は2以上であり、
    前記アクティブサンプルであると指定されるカラーサンプルについてだけ前記ピクセルシェーダを呼び出すことは、前記特定の領域内の各ピクセルについて、前記アクティブサンプルカウントに等しい数の前記カラーサンプルについてだけピクセルシェーダを呼び出すことを含む、請求項1に記載の方法。
  3. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの周辺の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成される、請求項1に記載の方法。
  4. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの縁の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成され、前記スクリーンの前記縁の近くに位置する前記1つまたは複数の領域についての前記アクティブサンプルカウントは、前記スクリーンの角の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントより大きい、請求項1に記載の方法。
  5. 前記ディスプレイデバイスは、90°以上の視野を特徴とする、請求項1に記載の方法。
  6. 前記ディスプレイデバイスは、頭部搭載型ディスプレイデバイスである、請求項1に記載の方法。
  7. ユーザが見ている前記ディスプレイデバイスのスクリーンの部分を決定することを更に含み、前記メタデータは、前記ユーザが見ている前記部分を含む前記スクリーンの1つまたは複数のサブセクションについてピクセル解像度が最も高くなるように前記ピクセル解像度を変えるように構成される、請求項1に記載の方法。
  8. 前記メタデータは、所与の光学部品及び前記ディスプレイデバイスの所与の視野について静的である、請求項1に記載の方法。
  9. 前記メタデータは、前記スクリーンの異なる領域について異なるアクティブカラーサンプルを指定するように構成される、請求項1に記載の方法。
  10. 前記複数の領域の各領域は、前記スクリーンの固定サイズ部分に対応する、請求項1に記載の方法。
  11. 前記複数の領域の各領域は、前記スクリーンの可変サイズ部分に対応する、請求項1に記載の方法。
  12. 前記メタデータは、前記複数の領域の各領域を垂直及び水平方向にピクセルの範囲によって画定する、請求項1に記載の方法。
  13. 前記メタデータは、前記複数の領域の各領域を或るサイズの粗いラスター化タイルによって画定する、請求項1に記載の方法。
  14. 前記メタデータは、メモリ及び/またはグラフィクスメモリ内のテーブルの形態で格納される、請求項1に記載の方法。
  15. グラフィクス処理システムであって、
    グラフィクス処理ユニット(GPU)を備え、前記グラフィクス処理ユニット(GPU)は、
    ディスプレイの特定の領域内の各ピクセルについて、ディスプレイデバイスのスクリーンの複数の領域の中にある特定の領域についてのアクティブサンプルのマスクを指定するメタデータによってアクティブサンプルであると指定されるカラーサンプルについてだけピクセルシェーダを呼び出す、ように構成され、前記アクティブサンプルは、ピクセルシェーダが実行されるピクセル当たりのカラーサンプルを示すものであり、
    前記グラフィクス処理ユニットは、前記マスクと、プリミティブによってピクセル位置がカバーされるサンプルのセットとの間で論理ANDを実施することにより前記ピクセルシェーダが前記アクティブサンプルであると指定されるカラーサンプルについてだけ前記ピクセルシェーダを呼び出すように構成され、前記ピクセルシェーダが呼び出される前記プリミティブについて前記アクティブサンプルであると指定されるカラーサンプルが決定され、
    ピクセルデータは、前記ディスプレイの全表面にわたって各ピクセルに対して同じ数のカラーサンプルを指定するものであり、
    前記メタデータは、前記特定の領域についてのアクティブサンプルカウントを指定し、前記アクティブサンプルカウントは、前記ピクセルシェーダが実行されるピクセル当たりのカラーサンプルの数を示すものである、システム。
  16. 前記アクティブサンプルカウントは、カラーサンプルの前記同じ数以下であり、カラーサンプルの前記同じ数は2以上であり、
    前記アクティブサンプルであると指定されるカラーサンプルについてだけ前記ピクセルシェーダを呼び出すことは、前記特定の領域内の各ピクセルについて、前記アクティブサンプルカウントに等しい数の前記カラーサンプルについてだけピクセルシェーダを呼び出すことを含む、請求項15に記載のシステム。
  17. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの周辺の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成される、請求項15に記載のシステム。
  18. 前記メタデータは、前記スクリーンの中心の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントが、前記スクリーンの縁の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントより大きいように構成され、前記スクリーンの前記縁の近くに位置する前記1つまたは複数の領域についての前記アクティブサンプルカウントは、前記スクリーンの角の近くに位置する前記複数の領域の1つまたは複数の領域についてのアクティブサンプルカウントより大きい、請求項15に記載のシステム。
  19. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、90°以上の視野を特徴とする、請求項15に記載のシステム。
  20. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、頭部搭載型ディスプレイデバイスである、請求項15に記載のシステム。
  21. ユーザが見ている前記ディスプレイデバイスのスクリーンの部分を決定するように構成され、前記メタデータは、前記ユーザが見ている前記部分を含む前記スクリーンの1つまたは複数のサブセクションについてピクセル解像度が最も高くなるように前記ピクセル解像度を変えるように構成される、請求項15に記載のシステム。
  22. 所与の光学部品及び前記ディスプレイデバイスの所与の視野について静的メタデータを使用するように構成される、請求項15に記載のシステム。
  23. 前記メタデータは、前記スクリーンの異なる領域について異なるアクティブカラーサンプルを指定するように構成される、請求項15に記載のシステム。
  24. 前記複数の領域の各領域は、前記スクリーンの固定サイズ部分に対応する、請求項15に記載のシステム。
  25. 前記複数の領域の各領域は、前記スクリーンの可変サイズ部分に対応する、請求項15に記載のシステム。
  26. 前記メタデータは、前記複数の領域の各領域を垂直及び水平方向にピクセルの範囲によって画定する、請求項15に記載のシステム。
  27. 前記メタデータは、前記複数の領域の各領域を或るサイズの粗いラスター化タイルによって画定する、請求項15に記載のシステム。
  28. メモリ及び/またはグラフィクスメモリを更に備え、前記メタデータは、前記メモリ及び/または前記グラフィクスメモリ内のテーブルの形態で格納される、請求項15に記載のシステム。
  29. コンピュータ実行可能命令が記録された非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、ディスプレイデバイスに結合されたグラフィクス処理ユニットを有するグラフィクス処理システムにグラフィクス処理方法を実行させ、前記方法は、
    ディスプレイの特定の領域内の各ピクセルについて、前記ディスプレイデバイスのスクリーンの複数の領域の中にある特定の領域についてのアクティブサンプルのマスクを指定するメタデータによってアクティブサンプルであると指定されるカラーサンプルについてだけピクセルシェーダを呼び出すことであって、前記アクティブサンプルは、ピクセルシェーダが実行されるピクセル当たりのカラーサンプルを示すものである、前記ピクセルシェーダを呼び出すことを含み、
    前記アクティブサンプルであると指定されるカラーサンプルについてだけ前記ピクセルシェーダを呼び出すことは、前記マスクと、プリミティブによってピクセル位置がカバーされるサンプルのセットとの間で論理ANDを実施し、前記ピクセルシェーダが呼び出される前記プリミティブについて前記アクティブサンプルであると指定されるカラーサンプルを決定することを含み、
    ピクセルデータは、前記ディスプレイの全表面にわたって各ピクセルに対して同じ数のカラーサンプルを指定するものであり、
    前記メタデータは、前記特定の領域についてのアクティブサンプルカウントを指定し、前記アクティブサンプルカウントは、前記ピクセルシェーダが実行されるピクセル当たりのカラーサンプルの数を示すものである、非一時的コンピュータ可読媒体。
JP2020005290A 2014-04-05 2020-01-16 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること Active JP7033617B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021050413A JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/246,061 2014-04-05
US14/246,061 US10068311B2 (en) 2014-04-05 2014-04-05 Varying effective resolution by screen location by changing active color sample count within multiple render targets

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016560642A Division JP6652257B2 (ja) 2014-04-05 2015-03-23 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2020046386A Division JP7004759B2 (ja) 2014-04-05 2020-03-17 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2021050413A Division JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Publications (2)

Publication Number Publication Date
JP2020091877A true JP2020091877A (ja) 2020-06-11
JP7033617B2 JP7033617B2 (ja) 2022-03-10

Family

ID=54210194

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016560642A Active JP6652257B2 (ja) 2014-04-05 2015-03-23 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2020005290A Active JP7033617B2 (ja) 2014-04-05 2020-01-16 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2020046386A Active JP7004759B2 (ja) 2014-04-05 2020-03-17 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2021050413A Active JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016560642A Active JP6652257B2 (ja) 2014-04-05 2015-03-23 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020046386A Active JP7004759B2 (ja) 2014-04-05 2020-03-17 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP2021050413A Active JP7112549B2 (ja) 2014-04-05 2021-03-24 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Country Status (5)

Country Link
US (2) US10068311B2 (ja)
EP (1) EP3129979A4 (ja)
JP (4) JP6652257B2 (ja)
KR (1) KR101922482B1 (ja)
WO (1) WO2015153165A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US10783696B2 (en) * 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
WO2015154004A1 (en) 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US10037620B2 (en) 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US9805176B2 (en) 2015-07-30 2017-10-31 Toshiba Tec Kabushiki Kaisha Shared system and terminal device
WO2017122092A1 (en) * 2016-01-12 2017-07-20 Indg Method and system for high-performance real-time adjustment of one or more elements in a playing video, interactive 360° content or image
US10303488B2 (en) 2016-03-30 2019-05-28 Sony Interactive Entertainment Inc. Real-time adjustment of application-specific operating parameters for backwards compatibility
US10915333B2 (en) 2016-03-30 2021-02-09 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
US10275239B2 (en) 2016-03-30 2019-04-30 Sony Interactive Entertainment Inc. Deriving application-specific operating parameters for backwards compatiblity
CN109477715A (zh) 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 载体辅助跟踪
CN109477607A (zh) * 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 用于跟踪的图像处理
GB2553353B (en) * 2016-09-05 2021-11-24 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
CN106651991B (zh) * 2016-09-12 2023-10-31 广州久邦世纪科技有限公司 一种智能贴图实现方法及其***
GB2560306B (en) * 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
US10514546B2 (en) 2017-03-27 2019-12-24 Avegant Corp. Steerable high-resolution display
WO2018190826A1 (en) * 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10685473B2 (en) * 2017-05-31 2020-06-16 Vmware, Inc. Emulation of geometry shaders and stream output using compute shaders
JP2019028368A (ja) * 2017-08-02 2019-02-21 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
CN109388448B (zh) * 2017-08-09 2020-08-04 京东方科技集团股份有限公司 图像显示方法、显示***以及计算机可读存储介质
US10650586B2 (en) * 2017-08-10 2020-05-12 Outward, Inc. Automated mesh generation
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
EP3598393B1 (en) * 2018-07-16 2023-11-08 Huawei Technologies Co., Ltd. Rendering using a per-tile msaa level
KR102166106B1 (ko) * 2018-11-21 2020-10-15 스크린엑스 주식회사 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
JP2022514217A (ja) 2018-12-07 2022-02-10 エイヴギャント コーポレイション 操縦可能位置決め要素
CN113412442A (zh) * 2019-01-07 2021-09-17 阿维甘特公司 控制***和渲染管道
CA3134149A1 (en) 2019-03-29 2020-10-08 Avegant Corp. Steerable hybrid display using a waveguide
NO346115B1 (en) 2019-12-20 2022-02-28 Novotech As 3D rendering
WO2021142486A1 (en) 2020-01-06 2021-07-15 Avegant Corp. A head mounted system with color specific modulation
GB2591803B (en) * 2020-02-07 2022-02-23 Imagination Tech Ltd Graphics processing method and system for rendering items of geometry based on their size
GB2591802B (en) 2020-02-07 2022-03-23 Imagination Tech Ltd Graphics processing method and system for rendering items of geometry based on their size
US20230232005A1 (en) * 2022-01-18 2023-07-20 Cisco Technology, Inc. Representing color indices by use of constant partitions
CN114473709B (zh) * 2022-02-21 2023-04-28 宁波维真显示科技股份有限公司 一种3dled修边处理装置及方法
GB2624205A (en) * 2022-11-10 2024-05-15 Imagination Tech Ltd Graphics processing system and method of rendering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503854A (ja) * 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド ポリゴンのためのグラフィックス・システム・パフォーマンスの推定
JP2002503855A (ja) * 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド 可変解像度スーパーサンプリングによるグラフィックス・システム
JP2002537614A (ja) * 1999-02-17 2002-11-05 サン マイクロシステムズ,インコーポレイティッド 並列のサンプル・ピクセル計算を実行するように構成されたグラフィックス・システム
JP2009520307A (ja) * 2005-12-19 2009-05-21 エヌヴィディア コーポレイション グラフィックスプロセッサの並列アレイアーキテクチャ
JP2013137756A (ja) * 2011-12-05 2013-07-11 Arm Ltd コンピュータグラフィックスを処理する方法およびコンピュータグラフィックスを処理するための装置
JP6652257B2 (ja) * 2014-04-05 2020-02-19 ソニー・インタラクティブエンタテインメント エルエルシー 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5224208A (en) 1990-03-16 1993-06-29 Hewlett-Packard Company Gradient calculation for texture mapping
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5602391A (en) 1995-02-23 1997-02-11 Hughes Electronics Quincunx sampling grid for staring array
US5777913A (en) * 1995-12-27 1998-07-07 Ericsson Inc. Resolution enhancement of fixed point digital filters
USH1812H (en) * 1997-10-24 1999-11-02 Sun Microsystems, Inc. Method for encoding bounding boxes of drawing primitives to be rendered for multi-resolution supersampled frame buffers
US6469700B1 (en) 1998-06-24 2002-10-22 Micron Technology, Inc. Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps
AU5686299A (en) 1998-08-20 2000-03-14 Raycer, Inc. Method and apparatus for generating texture
JP2000155850A (ja) 1998-11-20 2000-06-06 Sony Corp テクスチャ・マッピング装置及びこれを具備したレンダリング装置、並びに情報処理装置
US6417861B1 (en) 1999-02-17 2002-07-09 Sun Microsystems, Inc. Graphics system with programmable sample positions
US6781606B2 (en) 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6731298B1 (en) 2000-10-02 2004-05-04 Nvidia Corporation System, method and article of manufacture for z-texture mapping
US6906723B2 (en) 2001-03-29 2005-06-14 International Business Machines Corporation Generating partials for perspective corrected texture coordinates in a four pixel texture pipeline
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7155698B1 (en) 2001-09-11 2006-12-26 The Regents Of The University Of California Method of locating areas in an image such as a photo mask layout that are sensitive to residual processing effects
WO2003032253A2 (en) 2001-10-10 2003-04-17 Sony Computer Entertainment America Inc. System and method for environment mapping
US7081893B2 (en) 2001-10-10 2006-07-25 Sony Computer Entertainment America Inc. System and method for point pushing to render polygons in environments with changing levels of detail
US6738069B2 (en) 2001-12-31 2004-05-18 Intel Corporation Efficient graphics state management for zone rendering
US6906714B2 (en) 2002-06-21 2005-06-14 Intel Corporation Accelerated visualization of surface light fields
US6891548B2 (en) 2002-08-23 2005-05-10 Hewlett-Packard Development Company, L.P. System and method for calculating a texture-mapping gradient
TWI238975B (en) 2003-02-20 2005-09-01 Via Tech Inc Method of performing cubic mapping with texturing
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7336277B1 (en) 2003-04-17 2008-02-26 Nvidia Corporation Per-pixel output luminosity compensation
JP3966832B2 (ja) 2003-04-28 2007-08-29 株式会社東芝 描画処理装置、及び、描画処理方法
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
EP1496475B1 (en) 2003-07-07 2013-06-26 STMicroelectronics Srl A geometric processing stage for a pipelined graphic engine, corresponding method and computer program product therefor
US6967663B1 (en) 2003-09-08 2005-11-22 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US8085273B2 (en) 2003-11-19 2011-12-27 Lucid Information Technology, Ltd Multi-mode parallel graphics rendering system employing real-time automatic scene profiling and mode control
US8144156B1 (en) 2003-12-31 2012-03-27 Zii Labs Inc. Ltd. Sequencer with async SIMD array
US8090383B1 (en) 2004-02-17 2012-01-03 Emigh Aaron T Method and system for charging for a service based on time spent at a facility
US7817829B2 (en) 2004-03-15 2010-10-19 Koninklijke Philips Electronics N.V. Image visualization
US7554538B2 (en) * 2004-04-02 2009-06-30 Nvidia Corporation Video processing, such as for hidden surface reduction or removal
US7426724B2 (en) 2004-07-02 2008-09-16 Nvidia Corporation Optimized chaining of vertex and fragment programs
US7425966B2 (en) 2004-10-07 2008-09-16 Nvidia Corporation Pixel center position displacement
US7339594B1 (en) 2005-03-01 2008-03-04 Nvidia Corporation Optimized anisotropic texture sampling
JP4660254B2 (ja) 2005-04-08 2011-03-30 株式会社東芝 描画方法及び描画装置
US7289119B2 (en) 2005-05-10 2007-10-30 Sony Computer Entertainment Inc. Statistical rendering acceleration
US7511717B1 (en) 2005-07-15 2009-03-31 Nvidia Corporation Antialiasing using hybrid supersampling-multisampling
US20070018988A1 (en) 2005-07-20 2007-01-25 Michael Guthe Method and applications for rasterization of non-simple polygons and curved boundary representations
US8300059B2 (en) 2006-02-03 2012-10-30 Ati Technologies Ulc Method and apparatus for selecting a mip map level based on a min-axis value for texture mapping
US8207975B1 (en) 2006-05-08 2012-06-26 Nvidia Corporation Graphics rendering pipeline that supports early-Z and late-Z virtual machines
US7907792B2 (en) 2006-06-16 2011-03-15 Hewlett-Packard Development Company, L.P. Blend maps for rendering an image frame
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
EP2078229A2 (en) 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US8232991B1 (en) 2006-11-03 2012-07-31 Nvidia Corporation Z-test result reconciliation with multiple partitions
US8233004B1 (en) 2006-11-06 2012-07-31 Nvidia Corporation Color-compression using automatic reduction of multi-sampled pixels
US8149242B2 (en) 2006-11-10 2012-04-03 Sony Computer Entertainment Inc. Graphics processing apparatus, graphics library module and graphics processing method
JP5063990B2 (ja) 2006-11-15 2012-10-31 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7876332B1 (en) 2006-12-20 2011-01-25 Nvidia Corporation Shader that conditionally updates a framebuffer in a computer graphics system
JP5268271B2 (ja) 2007-03-23 2013-08-21 株式会社東芝 画像表示装置および画像表示方法
US20090033659A1 (en) 2007-07-31 2009-02-05 Lake Adam T Real-time luminosity dependent subdivision
US8044956B1 (en) 2007-08-03 2011-10-25 Nvidia Corporation Coverage adaptive multisampling
US8441497B1 (en) 2007-08-07 2013-05-14 Nvidia Corporation Interpolation of vertex attributes in a graphics processor
US7916155B1 (en) 2007-11-02 2011-03-29 Nvidia Corporation Complementary anti-aliasing sample patterns
JP5050786B2 (ja) 2007-11-05 2012-10-17 富士通セミコンダクター株式会社 描画処理装置、描画処理方法および描画処理プログラム
US8922565B2 (en) 2007-11-30 2014-12-30 Qualcomm Incorporated System and method for using a secondary processor in a graphics system
US8643644B2 (en) 2008-03-20 2014-02-04 Qualcomm Incorporated Multi-stage tessellation for graphics rendering
GB0810311D0 (en) 2008-06-05 2008-07-09 Advanced Risc Mach Ltd Graphics processing systems
US8605087B2 (en) 2008-07-03 2013-12-10 Nvidia Corporation Hybrid multisample/supersample antialiasing
WO2010048475A1 (en) 2008-10-23 2010-04-29 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
GB0819570D0 (en) 2008-10-24 2008-12-03 Advanced Risc Mach Ltd Methods of and apparatus for processing computer graphics
US8780131B2 (en) 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US20100214294A1 (en) 2009-02-20 2010-08-26 Microsoft Corporation Method for tessellation on graphics hardware
US8330767B2 (en) 2009-03-24 2012-12-11 Advanced Micro Devices, Inc. Method and apparatus for angular invariant texture level of detail generation
US9697641B2 (en) 2009-10-15 2017-07-04 Nvidia Corporation Alpha-to-coverage using virtual samples
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8803902B2 (en) 2009-12-03 2014-08-12 Intel Corporation Computing level of detail for anisotropic filtering
US8116547B2 (en) * 2009-12-11 2012-02-14 Aperio Technologies, Inc. Signal to noise ratio in digital pathology image analysis
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8619085B2 (en) 2010-03-08 2013-12-31 Broadcom Corporation Method and system for compressing tile lists used for 3D rendering
CN103026706B (zh) 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的***及方法
US20130300740A1 (en) 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
KR101719485B1 (ko) 2010-09-20 2017-03-27 삼성전자주식회사 그래픽 처리 유닛에서의 사전 픽셀 제거를 위한 장치 및 방법
US8593475B2 (en) 2010-10-13 2013-11-26 Qualcomm Incorporated Systems and methods for dynamic procedural texture generation management
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8982136B2 (en) 2011-05-16 2015-03-17 Qualcomm Incorporated Rendering mode selection in graphics processing units
JP5885398B2 (ja) 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US9019280B2 (en) 2011-07-22 2015-04-28 Qualcomm Incorporated Area-based rasterization techniques for a graphics processing system
KR101926570B1 (ko) 2011-09-14 2018-12-10 삼성전자주식회사 포스트 프레그먼트 쉐이더를 사용하는 그래픽 처리 방법 및 장치
US10089774B2 (en) 2011-11-16 2018-10-02 Qualcomm Incorporated Tessellation in tile-based rendering
CN103959134B (zh) 2011-11-24 2017-05-10 松下知识产权经营株式会社 头戴式显示器装置
US10535185B2 (en) 2012-04-04 2020-01-14 Qualcomm Incorporated Patched shading in graphics processing
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9495781B2 (en) 2012-06-21 2016-11-15 Nvidia Corporation Early sample evaluation during coarse rasterization
US9424685B2 (en) 2012-07-31 2016-08-23 Imagination Technologies Limited Unified rasterization and ray tracing rendering environments
US9142005B2 (en) 2012-08-20 2015-09-22 Nvidia Corporation Efficient placement of texture barrier instructions
US10096079B2 (en) 2013-06-10 2018-10-09 Sony Interactive Entertainment Inc. Fragment shaders perform vertex shader computations
US10134102B2 (en) 2013-06-10 2018-11-20 Sony Interactive Entertainment Inc. Graphics processing hardware for using compute shaders as front end for vertex shaders
US10102603B2 (en) 2013-06-10 2018-10-16 Sony Interactive Entertainment Inc. Scheme for compressing vertex shader output parameters
US10176621B2 (en) 2013-06-10 2019-01-08 Sony Interactive Entertainment Inc. Using compute shaders as front end for vertex shaders
US10976986B2 (en) * 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
WO2015154004A1 (en) 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US9760113B2 (en) 2015-02-20 2017-09-12 Sony Interactive Entertainment America Llc Backward compatibility through use of spoof clock and fine grain frequency control
US11403099B2 (en) 2015-07-27 2022-08-02 Sony Interactive Entertainment LLC Backward compatibility by restriction of hardware resources
US10235219B2 (en) 2015-07-27 2019-03-19 Sony Interactive Entertainment America Llc Backward compatibility by algorithm matching, disabling features, or throttling performance
US9892024B2 (en) 2015-11-02 2018-02-13 Sony Interactive Entertainment America Llc Backward compatibility testing of software in a mode that disrupts timing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503854A (ja) * 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド ポリゴンのためのグラフィックス・システム・パフォーマンスの推定
JP2002503855A (ja) * 1998-02-17 2002-02-05 サン・マイクロシステムズ・インコーポレーテッド 可変解像度スーパーサンプリングによるグラフィックス・システム
JP2002537614A (ja) * 1999-02-17 2002-11-05 サン マイクロシステムズ,インコーポレイティッド 並列のサンプル・ピクセル計算を実行するように構成されたグラフィックス・システム
JP2009520307A (ja) * 2005-12-19 2009-05-21 エヌヴィディア コーポレイション グラフィックスプロセッサの並列アレイアーキテクチャ
JP2013137756A (ja) * 2011-12-05 2013-07-11 Arm Ltd コンピュータグラフィックスを処理する方法およびコンピュータグラフィックスを処理するための装置
JP6652257B2 (ja) * 2014-04-05 2020-02-19 ソニー・インタラクティブエンタテインメント エルエルシー 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること

Also Published As

Publication number Publication date
EP3129979A4 (en) 2017-11-08
WO2015153165A1 (en) 2015-10-08
KR20170012201A (ko) 2017-02-02
US10068311B2 (en) 2018-09-04
JP2020170506A (ja) 2020-10-15
EP3129979A1 (en) 2017-02-15
JP7112549B2 (ja) 2022-08-03
US10614549B2 (en) 2020-04-07
JP7033617B2 (ja) 2022-03-10
JP7004759B2 (ja) 2022-01-21
KR101922482B1 (ko) 2018-11-27
US20180374195A1 (en) 2018-12-27
JP2017517025A (ja) 2017-06-22
JP6652257B2 (ja) 2020-02-19
JP2021108154A (ja) 2021-07-29
US20150287165A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
JP7112549B2 (ja) 複数のレンダーターゲット内でアクティブカラーサンプルカウントを変更することによりスクリーンの位置によって有効解像度を変動させること
JP6903183B2 (ja) 曲面ビューポート上に頂点の投影を近似することによる、グラフィックス処理における画面位置に基づく有効解像度の変化
US11301956B2 (en) Varying effective resolution by screen location by altering rasterization parameters
JP6563048B2 (ja) スクリーンの位置によって異なる解像度のターゲットの複数レンダリングのテクスチャ・マッピングの傾き調整
JP2020113301A (ja) 非正規直交グリッドへのテクスチャマッピングのためのグラデーションの調整
US11302054B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200323

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210324

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210331

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210406

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210604

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210608

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210907

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220104

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220201

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R150 Certificate of patent or registration of utility model

Ref document number: 7033617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150