JP2021512394A - 3d環境からデータをレンダリングするためのシステムおよび方法 - Google Patents
3d環境からデータをレンダリングするためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2021512394A JP2021512394A JP2020538963A JP2020538963A JP2021512394A JP 2021512394 A JP2021512394 A JP 2021512394A JP 2020538963 A JP2020538963 A JP 2020538963A JP 2020538963 A JP2020538963 A JP 2020538963A JP 2021512394 A JP2021512394 A JP 2021512394A
- Authority
- JP
- Japan
- Prior art keywords
- energy
- virtual
- ray
- coordinates
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
- G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
- G02B6/08—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images with fibre bundle in form of plate
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
明視野エネルギー伝搬解像度の概要
light fieldおよびホログラフィックディスプレイは、エネルギー面位置が、視認体積内に伝搬された角度、色、および強度の情報を提供する複数の投影の結果である。開示されたエネルギー面は、追加の情報が同じ表面を通って共存および伝搬する機会を提供し、他の感覚系応答を誘発する。立体ディスプレイとは異なり、空間内の収束されたエネルギー伝搬経路の視認される位置は、視認者が視認体積の周りを移動しても変化せず、多数の視認者が、あたかも対象物が本当にそこに存在するかのように、実世界空間内の伝搬された対象物を同時に観察し得る。いくつかの実施形態では、エネルギーの伝搬は、同じエネルギー伝搬経路内に配置され得るが、反対方向に配置されてもよい。例えば、エネルギー伝搬経路に沿ったエネルギー放出およびエネルギー捕捉は、本開示のいくつかの実施形態では、両方とも可能である。
能動領域、装置電子機器回路、パッケージング、および機械的エンベロープ
図2は、ある特定の機械的形状因子を伴う能動領域220を有する装置200を示す。装置200は、電力供給のためのドライバ230および電子機器回路240を含み、能動領域220に接続することができ、その能動領域は、xおよびyの矢印により示されるような寸法を有する。この装置200は、電力および冷却のコンポーネントを駆動するためのケーブル配線および機械的構造体を考慮に入れておらず、さらに、機械的実装面積は、可撓ケーブルを装置200の中に導入することによって最小化され得る。また、かかる装置200に対する最小設置面積は、M:xおよびM:yの矢印により示される寸法を有する機械的エンベロープ210と呼ばれ得る。この装置200は、単に例解目的のみのためであり、特定用途向け電子機器回路設計は、機械的エンベロープ・オーバヘッドをさらに減らす可能性があるが、ほとんどすべての場合において、装置の能動領域の正確なサイズとはなり得ない。一実施形態では、このデバイス200は、マイクロOLED、DLPチップ、もしくはLCDパネル、または画像照明の目的を有する他の任意の技術に対する能動画像領域220と関連するため、電子機器回路の依存状態を例解する。
エネルギー・リレーのアレイの構成および設計
いくつかの実施形態では、各装置の機械的構造の制約による継ぎ目がない個別装置のアレイから高エネルギー位置密度を生成する課題に対処するためのアプローチについて開示されている。一実施形態では、エネルギー伝搬リレーシステムにより、能動デバイス領域の有効サイズを増加させることが、機械的寸法を満たすか、または超過することを可能にして、リレーのアレイを構成し、かつ単一のシームレスなエネルギー面を形成し得る。
横アンダーソン局在エネルギー・リレーにおける開示された進展
エネルギー・リレーの特性は、横アンダーソン局在を誘発させるエネルギー・リレー要素に対して本明細書に開示された原理に従って大幅に最適化され得る。横アンダーソン局在は、横方向には不規則であるが長手方向には一貫性のある材料を通って輸送される光線の伝搬である。
ホログラフィック導波路アレイを通るエネルギーの選択的伝搬
上記および本明細書全体にわたって考察されているように、明視野ディスプレイシステムは、一般に、エネルギー源(例えば、照明源)、および上記の考察で明確に示したような、十分なエネルギー位置密度で構成されたシームレスなエネルギー面を含む。複数のリレー要素を使用して、エネルギー装置からシームレスなエネルギー面にエネルギーをリレーし得る。一旦、エネルギーが所要のエネルギー位置密度を有するシームレスなエネルギー面に送達されると、エネルギーは、開示されたエネルギー導波路システムを介して4D plenoptic関数に従って伝搬され得る。当業者により理解されるように、4D plenoptic関数は、当技術分野でよく知られており、本明細書では、これ以上詳述しない。
ホログラフィック環境内で人間の感覚受容器を刺激するための双方向シームレスなエネルギー面システムの集約
複数のシームレスなエネルギー面を一緒にタイル状に張り、融合し、接着し、貼付し、および/または縫い合わせて、部屋全体を含む任意のサイズ、形状、輪郭または形状因子を形成することによって、シームレスなエネルギー面システムの大規模環境を構築することができる。各エネルギー面システムは、双方向Holodeckエネルギー伝搬、放出、反射、または検知のために集合的に構成されたベース構造体、エネルギー面、リレー、導波路、デバイス、および電子機器回路を有するアセンブリを含み得る。
一実施形態では、光学機械式表示装置は、光を放射および誘導して、2D、立体、マルチビュー、plenoptic、4D、体積、明視野、ホログラフィック、または任意の他の光の視覚的表現を形成することができる。
エネルギー指向表面からの表面を通る4D plenoptic関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルfl(xl、yl、ul、vl)を定義する導波パラメータul、vlを含む第2の面に沿って第2の座標を通して指向される、第1の表面から2つの空間座標xl、ylを提供する。複数のエネルギー指向表面を考慮すると、plenoptic5D関数は、1つ以上のエネルギー位置を含み、エネルギー伝播経路のベクトルfl(xl、yl、zl、ul、vl)を定義する導波パラメータul、vlを含む平面に沿って第2の座標を通して指向される、第1の座標から3つの空間座標xl、yl、zlを提供する。4Dまたは5Dのそれぞれについて、時間および色のための追加の変数fl(λl、tl)を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、plenoptic関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、5D座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。
一実施形態では、コンテンツデータは、2次元(2D)空間内のデータ点を含むことができ、ステップ704の位置を決定することは、2次元空間内のデータ点に深度マップを適用することを含み得る。
単一視野のコンテンツを利用する上記からのプロセスを、立体視材料およびマルチビュー材料に適用することができる。深度情報の推定は、動き分析からの、ならびに立体、マルチビューおよび/または視差解析、手動またはレンダリングされた手段を通じて提供される1つの深度チャネルまたは提供される複数の深度チャネル、もしくは視差、深度、閉塞、形状の手動生成、ならびに/または手動もしくは自動化されたプロセスによる環境全体の再生成を通じて、および適切なデータを利用して完全な明視野を再生成する視覚効果コンテンツ生成のための標準として既知の任意の他の方法論からの、深度を通じて得られる。
4Dまたは5D明視野を利用することによって、N×Nの数、またはN×Nまでの任意の値の数のRGBマルチビュー画像を生成することが可能である。このプロセスは、正方形グリッド、0、0位置、およびN、N位置としての右上位置を仮定して、各導波路の下の各左下座標を考慮することによって適応される。このグリッドは単なる例示であり、他のマッピング方法論も利用することができる。0、0からN、Nの各位置に対して、利用される捕捉システムに基づいて可能な限り広い被写界深度で、明視野からフル解像度の画像を形成することが可能であり、アレイ内の各導波路は単一のエネルギー源位置と考えられ、各導波路の下の各座標は、0、0からN、Nまでの各完全画像に対する、より大きなエネルギー源位置アレイのなかの単一のエネルギー源位置である。これは、5D明視野の深度情報についても繰り返され得る。このようにして、様々な分布の理由から、2D、立体、マルチビュー、点群、CGシーンファイル、または4Dもしくは5D明視野から導出され得るデータの任意の他の所望の組み合わせを含むことが所望されるデータセットの任意のサブセットに対して、4Dまたは5D明視野間を容易に変わることが可能である。不規則または正方形充填4Dまたは5D構造については、エネルギー源位置を規則的グリッドに整列させるためにさらなる補間が必要である、またはエネルギー源位置と非正方形充填構造との間の線形マッピングが実施行され得、結果得られた画像は直線的に見えない可能性があり、エネルギー源位置のアーチファクトを含む可能性がある。
データ送信サイズのバランスを有して最高品質を提供する理想的なデータセットのフォーマットは、N+X RGBおよびN+Y深度+ベクトル化チャネルの使用を含み、ここでN+X RGB情報は、特定の解像度およびフォーマットを表し得るN個のRGB画像と、より低い解像度、デルタ情報などを含めるためにRGBデータ用の異なる解像度およびフォーマットを表し得るXと、特定の解像度およびフォーマットを表し得るN深度+ベクトル化チャネル、およびより低い解像度、デルタ情報などを含めるために深度+ベクトルデータ用の異なる解像度およびフォーマットを表し得るYを含むN+Y深度+ベクトル化チャネルとを含む。
4Dまたは5D明視野システムの光学シミュレーションを使用する仮想リグで捕捉されたものを含む可能性のある、plenopticまたは明視野4Dまたは5Dシステムを使用して捕捉された任意のデータについては、結果得られるフライアイパースペクティブは、明視野のuvベクトルを表すディスクを含んでいる。しかしながら、これらの座標は、エネルギー指向装置には存在しない可能性のあるエネルギー集束素子を仮定している。提案されたエネルギー指向装置のソリューションでは、集束素子は視認者の目であり得、捕捉システム間のマッピング、および元の捕捉方法と観察されたエネルギー指向装置との間のマッピングはもはや正しくない。
エネルギー指向表面からの表面を通る4D plenoptic関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルfl(xl、yl、ul、vl)を定義する導波パラメータul、vlを含む第2の面に沿って第2の座標を通して指向される、第1の表面から2つの空間座標xl、ylを提供する。複数のエネルギー指向表面を考慮すると、plenoptic5D関数は、1つ以上のエネルギー位置を含み、エネルギー伝播経路のベクトルfl(xl、yl、zl、ul、vl)を定義する導波パラメータul、vlを含む平面に沿って第2の座標を通して指向される、第1の座標から3つの空間座標xl、yl、zlを提供する。4Dまたは5Dのそれぞれについて、時間および色のための追加の変数fl(λl、tl)を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、plenoptic関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、5D座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。
受信サンプルデータの実施形態は、以下のいずれかを含み得る:
1)2Dもしくはモノスコピック、フラット、点群、UVマッピングジオメトリ、内的幾何形状、深層画像、レイヤードイメージ、CADファイル(固有)、単点サンプリング、シングルカメラキャプチャ、シングルプロジェクター投影、ボリュメトリック(体積内のベクトルを有するモノスコピック単一サンプル点)、3自由度のソース(DoF、単一点を中心としたモノスコピックx、y、z回転を有するラスター)、非明視野6 DoFのソース(ラスター+モノスコピックサンプルからのベクトル)、体積エネルギー指向装置(体積内のモノスコピックサンプル)、ペッパーズゴーストのソース(シングルポイント投影)、2D AR HMDのソース(モノスコピック単一または複数焦点面、レイヤードモノスコピック)、2D VR HMDのソース(モノスコピック単一または複数焦点面、レイヤードモノスコピック)、または2次元ラスターもしくはベクトル情報の任意の他の表現。
2)3Dもしくはステレオスコピック、トリスコピック(シングルベースライン)、マルチビュー(1D)、1Dマルチサンプル、1D多視点、水平もしくは垂直のみの視差、1D投影アレイ、2点サンプリング、1Dポイントサンプリング、水平もしくは垂直アレイ、バレットタイム、3DoFのソース(ラスター、単一点を中心としたステレオスコピックx、y、z回転)、3DoFのソース(単一点を中心としたステレオスコピックx、y、z回転内の3Dラスター)、非明視野6 DoFのソース(3Dラスター+ステレオスコピックサンプルからのベクトル)、1D体積エネルギー指向装置のソース(1D視差含有サンプル)、オートステレオスコピックデータのソース、水平多視点エネルギー指向装置のソース、3D AR HMDのソース(ステレオスコピック単一もしくは複数焦点面、レイヤードステレオスコピック)、3D VR HMDのソース(ステレオスコピック単一または複数焦点面、レイヤードステレオスコピック)、または3次元ラスターもしくはベクトル情報の任意の他の表現。
3)4Dもしくはplenoptic(5D)、マルチスコピック、積分画像、明視野(4D)、ホログラフィック(4D)、2Dマルチビュー、2Dマルチサンプル、2D多視点、2D視差、水平および垂直視差、2D投影アレイ、2Dポイントサンプリング、モーションキャプチャステージ(表面に沿った)、平面アレイ、目撃カメラアレイ、レンダリングもしくはレイ・トレースによる形状表現(4D表現)、外的幾何形状(4D表現)、明視野6 DoFのソース(平面明視野サンプル内の4Dラスター)、自由視点6 DoFのソース(4Dラスター+4D明視野サンプルからのベクトル)、4D体積エネルギー指向装置のソース(2D視差含有サンプル)、明視野エネルギー指向装置のソース(4Dサンプリング)、明視野HMDのソース(ニアフィールド4Dサンプリング)、Holodeckレイ・トレース装置のソース(4Dサンプリング)、または4次元ラスターもしくはベクトル情報の任意の他の表現。
4)5Dもしくはplenoptic+深度、明視野+深度、ホログラフィック(5Dサンプリング、4D+深度)、任意のマルチビュー(x、y、およびz軸すべてに沿って)、マルチサンプル(xyzすべてに沿って)、多視点(xyzすべてに沿って)、体積視差(xyzすべてに沿って)、投影アレイ(xyzすべてに沿って)、ポイントサンプリング(xyzすべてに沿って)、モーションキャプチャステージ(xyzすべてに沿って)、目撃カメラアレイ(任意のxyz構成)、レンダリングもしくはレイ・トレースによる形状表現(5D表現)、立方体もしくは体積レンダリング(xyzすべてに沿って)、外的幾何形状(5D表現)、明視野6 DoFのソース(体積明視野サンプル内の5Dラスター)、自由視点6 DoFのソース(5Dラスター+5D明視野サンプルからのベクトル)、5D体積エネルギー指向装置のソース(マルチプレーナ4Dサンプリング)、5D明視野エネルギー指向装置のソース(5Dサンプリング、4D+複数平面)、5D明視野HMDのソース(ニアフィールド5Dサンプリング、4D+複数平面)、Holodeckエネルギー指向装置のソース(5Dサンプリング、4D+複数平面)、または5次元ラスターもしくはベクトル情報の任意の他の表現。
1)システムメタデータは、法線、深度情報、環境特性、所与の3D座標に対する複数の角度サンプル、プロシージャルテクスチャ、幾何学的形状、点群、ディープイメージデータ、静的フレーム、時間フレーム、ビデオデータ、表面ID、表面パス、座標マップ、仮想カメラ座標、仮想照明および可視エネルギー情報、環境マップ、視覚サンプル情報のフィールド外のシーン情報、曲線、頂点、時間情報、ネットワークデータ、データベース、対象認識、エネルギー装置、外部データフィード、システムの変更および対話のためのセンサ、システムステータス、音声認識、嗅覚検出、聴覚検出、顔認識、体性感覚認識、味覚認識、UI、UX、ユーザープロファイル、フローおよびモーションベクトル、レイヤー、領域、透明度、セグメント、アニメーション、シーケンス情報、手順情報、変位マップ、または各サンプルの適正な処理のための十分なデータを提供するのに必要な任意の他のシーンデータを含む、各サンプルの表面特性に関する感覚エネルギー特有の属性またはシステム全体の参照のうちのいずれかを提供し得る。
2)視覚エネルギーは、可視または非可視電磁エネルギー、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、吸光度、透過率、マスキング、相互反射、アルベド、透明性、物理的特性、動力学的特性、反射、屈折、回折、光学効果、大気効果、周波数、変調、表面形状、テクスチャ、変位マップ、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性(例えば、反射率特性を変える音の振動、または表面の変形を引き起こす触感材料の変形)、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性の適切なレンダリングを規定するための表面特性を提供し得る。
3)聴覚エネルギー:局所音場の配置、大きさ、振幅、質量、材料伝搬パラメータ、吸光度、透過率、音響反射率を示す材料特性、拡散、透過率、増強、マスキング、散乱、局在化、周波数依存性または変調、ピッチ、トーン、粘性、滑らかさ、テクスチャ、弾性率、物体内の音波の伝搬を決定する任意の他のパラメータ、表面、媒体またはその他、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性(例えば、素材の音を変える温度)、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性、に関係するベクトル。
4)テクスチャのための機械的受容器、圧力、温度受容器、温度、他の動力学特性の中の時間、ひずみ、弾性率用の変数を含む多くの物理的特性を提供し、経時的に応力とひずみとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を規定する表面変形性パラメータおよびベクトル、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の体性感覚パラメータに関連する他の材料特性、に関連する体性感覚エネルギーベクトル。
5)よい香り、果物臭、柑橘類臭、木質(樹脂)臭、薬品臭、甘い匂い、ミント(ペパーミント)臭、こんがり焼けた(ナッツの)匂い、刺激臭および腐敗臭に対する味覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。
6)酸味、塩味、苦味(スパイシーさ)、甘味、およびおいしさ(うまみ)に対する嗅覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。
7)あるいは任意の他の感覚サンプルデータセットからの物理的な、合成の、伝達された、または計算上の相互依存性、必要とされる、設計された、または要求された感覚ベクトル、および特定の特徴のパラメータ化が、一般化されたホログラフィック構成データの再構成、保存、処理または送信に有益な場合の任意の追加の感覚特性、に基づく他の相互に関連する感覚ダイナミックス。
本開示では、逆トレーシングプロセスの実施形態がさらに想到され、これらの実施形態は、デジタル体積型表現を、逆マッピングによって、エネルギー指向装置1000と互換性があるフォーマットにレンダリングすることを可能にし、この逆マッピングは、3D環境として提示することができるコンテンツデータのデジタル体積型表現をサンプリングするための逆経路を提供する。
本開示のシステムおよび方法のいくつかの実施形態では、複数のエネルギーデータ点のエネルギーデータ点は、複数の光線の各光線に沿って、仮想視認平面から、複数の仮想開口のうちの1つの仮想開口を通して、複数の仮想ピクセルのうちの1つの仮想ピクセルを超えてサンプリングされる。
Claims (57)
- 3次元(3D)環境から4次元(4D)エネルギーフィールドをレンダリングするための方法であって、前記方法が、
シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境の前記シーンを提供することと、
複数の仮想ピクセルを前記シーン内の仮想ピクセル平面に配置することであって、各仮想ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、各仮想ピクセルの前記2D角座標が、前記仮想ピクセルと、前記シーン内の仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、各仮想ピクセルの前記2D空間座標が、前記シーン内の仮想表示平面に配置された複数の仮想開口の仮想開口の位置を識別する、配置することと、
前記仮想視認平面からの複数の光線に沿った前記シーン内の前記複数のエネルギーデータ点のうちのエネルギーデータ点をサンプリングすることであって、各光線が、前記光線と交差した1つの仮想ピクセルの前記2D角座標によって決定された角度で、1つの仮想視点および前記1つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記1つの仮想ピクセルの前記2D空間座標によって決定された1つの仮想開口と交差する、サンプリングすることと、
前記光線と交差した前記1つの仮想ピクセルに対して、各光線に沿ってサンプリングした前記エネルギーデータ点とエネルギー値とを相関させることと、
各光線の前記1つの仮想ピクセルの前記エネルギー値および各光線の前記1つの仮想ピクセルの前記既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む、方法。 - 前記複数の光線のうちの少なくとも1つの光線が、前記複数の仮想視点の各仮想視点と交差する、請求項1に記載の方法。
- 前記複数の光線のうちの1つの光線が、前記複数の仮想ピクセルの各仮想ピクセルと交差する、請求項1に記載の方法。
- 前記4Dエネルギーフィールドが、明視野を備える、請求項1に記載の方法。
- 前記4Dエネルギーフィールドが、ハプティックフィールドを備える、請求項1に記載の方法。
- 前記4Dエネルギーフィールドが、タクタイルフィールドを備える、請求項1に記載の方法。
- 前記エネルギーデータ点が、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも1つを説明する値を含む、請求項1に記載の方法。
- 前記3D環境が、深度マップを2次元空間内の点に適用することによって決定される、請求項1に記載の方法。
- 前記仮想表示平面が、エネルギー指向装置の導波管システムに対応し、エネルギーが、前記データセットに従って前記導波管システムを通して指向させて、前記シーンの少なくとも一部分の検出可能な4Dエネルギー表現を形成するように動作可能である、請求項1に記載の方法。
- 前記複数の仮想ピクセルが、前記導波管システムの第1の側の複数のエネルギー位置に対応する、請求項9に記載の方法。
- 前記データセットが、ベクトル化された材料特性データをさらに含む、請求項1に記載の方法。
- 前記方法の少なくとも一部分が、リアルタイムで実行される、請求項1に記載の方法。
- 前記方法が、リアルタイムで完全に実行される、請求項1に記載の方法。
- 前記方法の少なくとも2つの部分が、異なる期間に実行される、請求項1に記載の方法。
- 前記データセットが、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する、請求項1に記載の方法。
- 前記複数の光線の各光線に沿ってサンプリングした前記エネルギーデータ点が、エネルギー値と同時に相関される、請求項1に記載の方法。
- 前記データセットが、バイナリファイルフォーマットで格納される、請求項1に記載の方法。
- 前記複数の光線の各光線が、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルまで、およびそれを超えて、前記複数の仮想開口のうちの前記1つの仮想開口を通って延在し、前記複数のエネルギーデータ点のエネルギーデータ点が、前記仮想視認平面からサンプリングされる、請求項1に記載の方法。
- 前記ステップが、無制限に繰り返される、請求項1に記載の方法。
- 前記ステップを無制限に繰り返して、3D環境から動的な4Dエネルギーフィールドをレンダリングする、請求項1に記載の方法。
- 前記エネルギーデータをレンダリングすることが、前記エネルギー装置のための前記エネルギーデータを較正することをさらに含む、請求項1に記載の方法。
- 光線ファイルが、各仮想視点の前記位置を識別する3D空間座標、およびすべての光線と交差する前記1つの仮想ピクセルの前記2D角座標を格納する、請求項1に記載の方法。
- 前記光線ファイルが、各仮想視点の前記3D空間座標と、前記仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの前記2D角座標とを関連付ける、請求項22に記載の方法。
- 前記光線ファイルが、前記光線と交差する前記1つの仮想視点からの前記光線に沿って、前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、前記指示は、少なくとも、前記光線と交差する前記1つの仮想視点の前記3D空間座標、および前記光線と交差する前記1つの仮想ピクセルの前記2D角座標によって決定される、請求項22に記載の方法。
- 動的な3次元(3D)環境から4次元(4D)エネルギーフィールドをレンダリングするためのシステムであって、前記システムが、
感覚データエンジンおよびレンダリングエンジンを備えるプロセスサブシステムを備え、
前記感覚データエンジンが、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境の前記シーンを提供し、
前記感覚データエンジンが、前記シーンの仮想ピクセル平面に複数の仮想ピクセルを配置し、各仮想ピクセルが、2D角座標および2D空間座標を備える既知の一意の4D座標を有し、各仮想画素座標の前記2D角度が、前記仮想ピクセルと、前記感覚データエンジンによって前記シーン内の仮想視認平面に配置された複数の仮想視点の仮想視点との間の角相関を説明し、各仮想ピクセルの前記2D空間座標が、前記感覚データエンジンによって前記シーン内の仮想表示平面に配置された複数の仮想開口のうちの1つの仮想開口の前記位置を識別し、
前記レンダリングエンジンが、前記仮想視認平面からの複数の光線に沿って、前記シーン内の前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線が、前記光線と交差した1つの仮想ピクセルの前記2D角座標によって決定された角度で、1つの仮想視点および前記1つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記1つの仮想ピクセルの前記2D空間座標によって決定された1つの仮想開口と交差し、
前記レンダリングエンジンが、各光線に沿ってサンプリングした前記エネルギーデータ点と、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルのためのエネルギー値とを相関させ、
前記レンダリングエンジンが、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルの前記エネルギー値および前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルの前記既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングする、システム。 - 前記複数の光線のうちの少なくとも1つの光線が、前記複数の仮想視点の各仮想視点と交差する、請求項25に記載のシステム。
- 前記複数の光線のうちの1つの光線が、前記複数の仮想ピクセルの各仮想ピクセルと交差する、請求項25に記載のシステム。
- 前記4Dエネルギーフィールドが、明視野を備える、請求項25に記載のシステム。
- 前記4Dエネルギーフィールドが、ハプティックフィールドを備える、請求項28に記載のシステム。
- 前記4Dエネルギーフィールドが、タクタイルフィールドを備える、請求項25に記載のシステム。
- 前記エネルギーデータ点が、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも1つを説明する値を含む、請求項25に記載のシステム。
- 前記3D環境が、深度マップを2次元空間内の点に適用することによって決定される、請求項25に記載のシステム。
- 前記仮想表示平面が、エネルギー指向装置の導波管システムに対応し、エネルギーが、前記データセットに従って前記導波管システムを通して指向させて、前記シーンの少なくとも一部分の検出可能な4Dエネルギーフィールド表現を形成するように動作可能である、請求項25に記載のシステム。
- 前記複数の仮想ピクセルが、前記導波管システムの第1の側の複数のエネルギー位置に対応する、請求項33に記載のシステム。
- 前記データセットが、ベクトル化された材料特性データをさらに含む、請求項25に記載のシステム。
- 前記システムの少なくとも一部分が、リアルタイムで実行される、請求項25に記載のシステム。
- 前記システムが、リアルタイムで完全に実行される、請求項25に記載のシステム。
- 前記システムの少なくとも2つの部分が、異なる期間に実行される、請求項25に記載のシステム。
- 前記データセットが、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する、請求項25に記載のシステム。
- 前記複数の光線の各光線に沿ってサンプリングした前記エネルギーデータ点が、エネルギー値と同時に相関される、請求項25に記載のシステム。
- 前記データセットが、バイナリファイルフォーマットで格納される、請求項25に記載のシステム。
- 前記複数のエネルギーデータ点のエネルギーデータ点が、前記複数の光線の各光線に沿って前記レンダリングエンジンによってサンプリングされ、この光線が、前記仮想視認平面から、前記複数の仮想開口のうちの前記1つの仮想開口を通して、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルまで、およびそれを超えて延在する、請求項25に記載のシステム。
- 前記システムが、動的な3D環境から動的な4Dエネルギーフィールドをレンダリングするために、無制限に動作される、請求項25に記載のシステム。
- 前記システムが、前記データセットを格納するためにメモリをさらに備える、請求項25に記載のシステム。
- 前記レンダリングシステムが、前記エネルギー装置のための前記エネルギーデータを較正する、請求項25に記載の方法。
- 前記システムが、前記複数のエネルギーデータ点を格納するためにメモリをさらに備える、請求項25に記載のシステム。
- 光線ファイルが、各仮想視点の前記位置を識別する3D空間座標、およびすべての光線と交差する前記1つの仮想ピクセルの前記2D角座標を格納する、請求項25に記載のシステム。
- 前記光線ファイルが、各仮想視点の前記3D空間座標と、前記仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの前記2D角座標とを関連付ける、請求項47に記載のシステム。
- 前記光線ファイルが、前記光線と交差する前記1つの仮想視点からの前記光線に沿って、前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、前記指示は、少なくとも、前記光線と交差する前記1つの仮想視点の前記3D空間座標、および前記光線と交差する前記1つの仮想ピクセルの前記2D角座標によって決定される、請求項48に記載のシステム。
- 3次元(3D)環境からエネルギーデータをレンダリングするための方法であって、前記方法が、
シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境の前記シーンを提供することと、
複数の仮想ピクセルを前記シーン内の仮想ピクセル平面に配置することであって、各仮想ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、各仮想ピクセルの前記2D角座標が、前記仮想ピクセルと、前記シーン内の仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、各仮想ピクセルの前記2D空間座標が、前記シーン内の仮想表示平面に配置された複数の仮想開口の仮想開口の位置を識別する、配置することと、
前記仮想視認平面からの複数の光線に沿った前記シーン内の前記複数のエネルギーデータ点のうちのエネルギーデータ点をサンプリングすることであって、各光線が、前記光線と交差した1つの仮想ピクセルの前記2D角座標によって決定された角度で、1つの仮想視点および前記1つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記1つの仮想ピクセルの前記2D空間座標によって決定された1つの仮想開口と交差する、サンプリングすることと、
前記光線と交差した前記1つの仮想ピクセルに対して、各光線に沿ってサンプリングした前記エネルギーデータ点とエネルギー値とを相関させることと、
各光線の前記1つの仮想ピクセルの前記エネルギー値および各光線の前記1つの仮想ピクセルの前記既知の一意の4D座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む、方法。 - 各仮想開口が、2つの光線と交差する、請求項50に記載の方法。
- 前記複数の仮想視点が、2つの仮想視点を備える、請求項51に記載の方法。
- 前記データセットが、エネルギー装置に立体画像を出力するように指示するために動作可能なフォーマットを有する、請求項52に記載の方法。
- 前記データセットが、エネルギー装置に仮想現実画像を出力するように指示するために動作可能なフォーマットを有する、請求項52に記載の方法。
- 前記データセットが、エネルギー装置に拡張現実画像を出力するように指示するために動作可能なフォーマットを有する、請求項52に記載の方法。
- 各仮想開口が、いくつかの光線と交差する、請求項50に記載の方法。
- 前記データセットが、エネルギー装置に複数のビューから画像を出力するように指示するために動作可能なフォーマットを有し、前記複数のビューが、各仮想開口と交差する光線の数に対応する、請求項51に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023061038A JP7521745B2 (ja) | 2018-01-14 | 2023-04-04 | 3d環境からデータをレンダリングするためのシステムおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862617286P | 2018-01-14 | 2018-01-14 | |
US62/617,286 | 2018-01-14 | ||
PCT/US2019/013554 WO2019140414A1 (en) | 2018-01-14 | 2019-01-14 | Systems and methods for rendering data from a 3d environment |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023061038A Division JP7521745B2 (ja) | 2018-01-14 | 2023-04-04 | 3d環境からデータをレンダリングするためのシステムおよび方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021512394A true JP2021512394A (ja) | 2021-05-13 |
JPWO2019140414A5 JPWO2019140414A5 (ja) | 2022-01-20 |
JP7274682B2 JP7274682B2 (ja) | 2023-05-17 |
Family
ID=67219168
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020538963A Active JP7274682B2 (ja) | 2018-01-14 | 2019-01-14 | 3d環境からデータをレンダリングするためのシステムおよび方法 |
JP2023061038A Active JP7521745B2 (ja) | 2018-01-14 | 2023-04-04 | 3d環境からデータをレンダリングするためのシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023061038A Active JP7521745B2 (ja) | 2018-01-14 | 2023-04-04 | 3d環境からデータをレンダリングするためのシステムおよび方法 |
Country Status (8)
Country | Link |
---|---|
US (2) | US11650354B2 (ja) |
EP (1) | EP3737997A4 (ja) |
JP (2) | JP7274682B2 (ja) |
KR (1) | KR20200116942A (ja) |
CN (1) | CN112074782A (ja) |
AU (1) | AU2019206713A1 (ja) |
CA (1) | CA3088376A1 (ja) |
WO (1) | WO2019140414A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198784A1 (ja) * | 2018-04-12 | 2019-10-17 | 凸版印刷株式会社 | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 |
US10951875B2 (en) | 2018-07-03 | 2021-03-16 | Raxium, Inc. | Display processing circuitry |
WO2020072034A1 (en) * | 2018-10-01 | 2020-04-09 | Leia Inc. | Holographic reality system, multiview display, and method |
US11138800B1 (en) | 2018-10-31 | 2021-10-05 | Facebook Technologies, Llc | Optimizations to reduce multi-channel ray casting for color sampling |
CN111489448A (zh) * | 2019-01-24 | 2020-08-04 | 宏达国际电子股份有限公司 | 检测真实世界光源的方法、混合实境***及记录介质 |
WO2020186272A1 (en) * | 2019-03-14 | 2020-09-17 | Light Field Lab, Inc. | Systems for directing energy with energy directing surface with non-zero deflection angle |
US11212514B2 (en) | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
US11503256B2 (en) | 2019-09-04 | 2022-11-15 | Material Technologies Corporation | Object feature visualization apparatus and methods |
US11683459B2 (en) | 2019-09-04 | 2023-06-20 | Material Technologies Corporation | Object feature visualization apparatus and methods |
US11610372B2 (en) | 2019-10-11 | 2023-03-21 | Qualcomm Incorporated | Methods and apparatus for multiple lens distortion correction |
CN110689514B (zh) * | 2019-10-11 | 2022-11-11 | 深圳大学 | 一种透明物体的新视角合成模型的训练方法和计算机设备 |
US11474597B2 (en) | 2019-11-01 | 2022-10-18 | Google Llc | Light field displays incorporating eye trackers and methods for generating views for a light field display using eye tracking information |
US11043021B2 (en) | 2019-11-11 | 2021-06-22 | Manticore Games, Inc. | Programmatically configuring materials |
AU2019477064A1 (en) | 2019-12-03 | 2022-05-26 | Light Field Lab, Inc. | Light field display system for video games and electronic sports |
US11363247B2 (en) * | 2020-02-14 | 2022-06-14 | Valve Corporation | Motion smoothing in a distributed system |
JP7520539B2 (ja) * | 2020-03-19 | 2024-07-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN111460660A (zh) * | 2020-03-31 | 2020-07-28 | 安阳师范学院 | 一种内置模拟物理力学实验场景的电子装置及其控制方法 |
CN113643414B (zh) * | 2020-05-11 | 2024-02-06 | 北京达佳互联信息技术有限公司 | 一种三维图像生成方法、装置、电子设备及存储介质 |
WO2022124437A1 (ko) * | 2020-12-08 | 2022-06-16 | 한국전자기술연구원 | 호겔 단위로 경화하는 홀로그래픽 프린팅 방법 |
CN112691378B (zh) * | 2020-12-23 | 2022-06-07 | 完美世界(北京)软件科技发展有限公司 | 图像处理方法、设备及可读介质 |
CN112862938B (zh) * | 2021-01-15 | 2022-06-03 | 湖北理工学院 | 一种环境设计展示装置及方法 |
US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
KR102461478B1 (ko) * | 2021-05-03 | 2022-11-03 | (주)이머시브캐스트 | 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치 |
CN113420495B (zh) * | 2021-05-31 | 2023-02-03 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 主动诱骗式智能抗干扰方法 |
US11935199B2 (en) * | 2021-07-26 | 2024-03-19 | Google Llc | Augmented reality depth detection through object recognition |
CN114066721B (zh) * | 2021-11-03 | 2024-02-02 | 抖音视界有限公司 | 显示方法、装置和电子设备 |
US20230154101A1 (en) * | 2021-11-16 | 2023-05-18 | Disney Enterprises, Inc. | Techniques for multi-view neural object modeling |
KR102408198B1 (ko) * | 2022-01-14 | 2022-06-13 | (주)이브이알스튜디오 | 3차원 객체의 렌더링을 위한 방법 및 장치 |
US11972512B2 (en) * | 2022-01-25 | 2024-04-30 | Adobe Inc. | Directional editing of digital images |
US20220217322A1 (en) * | 2022-03-25 | 2022-07-07 | Intel Corporation | Apparatus, articles of manufacture, and methods to facilitate generation of variable viewpoint media |
CN114492088B (zh) * | 2022-04-02 | 2022-07-08 | 国家超级计算天津中心 | 一种材料外形状态显示方法和*** |
CN115690359B (zh) * | 2022-10-27 | 2023-12-15 | 科大讯飞股份有限公司 | 一种点云处理方法、装置、电子设备及存储介质 |
CN116883607B (zh) * | 2023-09-06 | 2023-12-05 | 四川物通科技有限公司 | 基于辐射传输的虚拟现实场景生成*** |
CN117876564A (zh) * | 2024-01-15 | 2024-04-12 | 联想新视界(北京)科技有限公司 | 图像处理方法及相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008191661A (ja) * | 2007-02-06 | 2008-08-21 | Mitsubishi Electric Research Laboratories Inc | シーンの4dライトフィールドを取得する装置及び方法 |
JP2010538344A (ja) * | 2007-08-29 | 2010-12-09 | セトレッド エーエス | 3dディスプレイのレンダリング方法の改良 |
US8493383B1 (en) * | 2009-12-10 | 2013-07-23 | Pixar | Adaptive depth of field sampling |
Family Cites Families (120)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2000293A6 (es) | 1986-12-29 | 1988-02-01 | Dominguez Montes Juan | Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro |
GB2251700B (en) | 1990-11-30 | 1994-08-24 | Combined Optical Ind Ltd | Multiple array lens |
US5481385A (en) | 1993-07-01 | 1996-01-02 | Alliedsignal Inc. | Direct view display device with array of tapered waveguide on viewer side |
US5396350A (en) | 1993-11-05 | 1995-03-07 | Alliedsignal Inc. | Backlighting apparatus employing an array of microprisms |
US20010028485A1 (en) | 1997-07-08 | 2001-10-11 | Stanley Kremen | Methods of preparing holograms |
AUPO884297A0 (en) | 1997-08-27 | 1997-09-18 | Orme, Gregory Michael | Imaging devices |
US6169594B1 (en) | 1998-08-24 | 2001-01-02 | Physical Optics Corporation | Beam deflector and scanner |
US6684007B2 (en) | 1998-10-09 | 2004-01-27 | Fujitsu Limited | Optical coupling structures and the fabrication processes |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US6326939B1 (en) | 1999-09-24 | 2001-12-04 | Ronald S. Smith | Optical waveguide system for a flat-panel display |
US6452699B1 (en) | 1999-09-28 | 2002-09-17 | Holospex, Inc. | Controlled diffraction efficiency far field viewing devices |
US6556280B1 (en) | 2000-09-19 | 2003-04-29 | Optical Switch Corporation | Period reconfiguration and closed loop calibration of an interference lithography patterning system and method of operation |
GB0030675D0 (en) | 2000-12-15 | 2001-01-31 | Rue De Int Ltd | Methods of creating high efficiency diffuse back-reflectors based on embossed surface relief |
JP3429282B2 (ja) | 2001-02-02 | 2003-07-22 | リサーチ・インターナショナル・インコーポレーテッド | 自動化されたシステム、及びサンプルの分析方法 |
GB0119176D0 (en) | 2001-08-06 | 2001-09-26 | Ocuity Ltd | Optical switching apparatus |
EP2420872A3 (en) | 2001-12-14 | 2012-05-02 | QUALCOMM MEMS Technologies, Inc. | Uniform illumination system |
ES2675880T3 (es) | 2002-03-13 | 2018-07-13 | Dolby Laboratories Licensing Corporation | Compensación de falla de elemento emisor de luz en un monitor |
JP3969252B2 (ja) | 2002-08-27 | 2007-09-05 | 日本電気株式会社 | 立体画像平面画像切換表示装置及び携帯端末装置 |
US7348104B2 (en) | 2002-10-03 | 2008-03-25 | Massachusetts Institute Of Technology | System and method for fabrication and replication of diffractive optical elements for maskless lithography |
JP3970784B2 (ja) | 2003-02-10 | 2007-09-05 | シャープ株式会社 | マイクロレンズ基板、及びそれを備えた液晶表示素子、並びに投影型液晶表示装置 |
JP2005026772A (ja) | 2003-06-30 | 2005-01-27 | Victor Co Of Japan Ltd | 立体映像表示方法及び立体映像表示装置 |
US20050243275A1 (en) | 2004-04-30 | 2005-11-03 | Curatu Eugene O | Wavefront sensor and relay for optical measurement and associated methods |
CN1993688B (zh) | 2004-08-03 | 2012-01-18 | 西尔弗布鲁克研究有限公司 | 走近启动的打印 |
US7916180B2 (en) | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
DE102005041229A1 (de) | 2004-12-30 | 2006-08-03 | Volkswagen Ag | Displayanordnung für ein Fahrzeug |
US8537310B2 (en) | 2005-03-01 | 2013-09-17 | North Carolina State University | Polarization-independent liquid crystal display devices including multiple polarization grating arrangements and related devices |
JP4856181B2 (ja) * | 2005-08-11 | 2012-01-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データセットからのビューのレンダリング |
ATE499800T1 (de) | 2006-03-03 | 2011-03-15 | Koninkl Philips Electronics Nv | Autostereoskopische anzeigevorrichtung mit steuerbarem flüssigkristall-linsenarray zur umschaltung zwischen einem 3d- und einem 2d-modus |
US20080144174A1 (en) | 2006-03-15 | 2008-06-19 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
US7847238B2 (en) | 2006-11-07 | 2010-12-07 | New York University | Holographic microfabrication and characterization system for soft matter and biological systems |
GB2444301A (en) | 2006-11-30 | 2008-06-04 | Qinetiq Ltd | Autostereoscopic projection display |
US8736675B1 (en) | 2006-12-01 | 2014-05-27 | Zebra Imaging, Inc. | Multi-core processor architecture for active autostereoscopic emissive displays |
US7710845B2 (en) | 2007-02-09 | 2010-05-04 | Sanyo Electric Co., Ltd. | Holographic memory and holographic recording apparatus |
DE102007023737B4 (de) | 2007-05-16 | 2009-01-02 | Seereal Technologies S.A. | Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline |
US10108146B2 (en) | 2007-08-11 | 2018-10-23 | Massachusetts Institute Of Technology | Anisotropic leaky-mode modulator for holographic video displays |
US20140300695A1 (en) | 2007-08-11 | 2014-10-09 | Massachusetts Institute Of Technology | Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display |
US8149265B2 (en) | 2007-08-11 | 2012-04-03 | Massachusetts Institute Of Technology | Holographic video display system |
DE102007042984A1 (de) | 2007-09-10 | 2009-03-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur optischen Navigation |
DE102007047470B3 (de) | 2007-09-28 | 2009-05-28 | Visumotion Gmbh | Verfahren zur Ausrichtung eines Parallaxenbarriereschirms auf einem Bildschirm |
US8427725B2 (en) | 2007-10-19 | 2013-04-23 | Seereal Technologies S.A. | Light modulating device |
JP4928476B2 (ja) | 2008-01-22 | 2012-05-09 | 日本放送協会 | 立体像生成装置、その方法およびそのプログラム |
EP4336447A1 (en) | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP2009300268A (ja) | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 3次元情報検出装置 |
US9600067B2 (en) * | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
US8666142B2 (en) | 2008-11-18 | 2014-03-04 | Global Filtration Systems | System and method for manufacturing |
US9256007B2 (en) | 2009-04-21 | 2016-02-09 | Svv Technology Innovations, Inc. | Light collection and illumination systems employing planar waveguide |
DE102009003069A1 (de) | 2009-05-13 | 2010-11-25 | Seereal Technologies S.A. | 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen |
US8345144B1 (en) | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
US9083958B2 (en) | 2009-08-06 | 2015-07-14 | Qualcomm Incorporated | Transforming video data in accordance with three dimensional input formats |
US9341846B2 (en) | 2012-04-25 | 2016-05-17 | Rockwell Collins Inc. | Holographic wide angle display |
US20200057353A1 (en) | 2009-10-09 | 2020-02-20 | Digilens Inc. | Compact Edge Illuminated Diffractive Display |
EP3567416A1 (en) | 2009-10-12 | 2019-11-13 | The Trustees of Columbia University in the City of New York | Photonic crystal spectrometer |
US9326675B2 (en) | 2009-12-24 | 2016-05-03 | Microsoft Technology Licensing, Llc | Virtual vision correction for video display |
US20130250150A1 (en) | 2010-05-03 | 2013-09-26 | Michael R. Malone | Devices and methods for high-resolution image and video capture |
KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
US8743466B2 (en) | 2010-06-15 | 2014-06-03 | Sharp Kabushiki Kaisha | Display device and method for forming the same |
KR101812299B1 (ko) | 2010-07-06 | 2017-12-27 | 시리얼 테크놀로지즈 에스.에이. | 홀로그래픽 또는 입체 디스플레이를 위한 빔 확장 및 각종 콜리메이터 |
US20120050833A1 (en) | 2010-08-30 | 2012-03-01 | Massachusetts Institute Of Technology | Methods and Apparatus for Holographic Animation |
US9232123B2 (en) | 2010-10-06 | 2016-01-05 | Hewlett-Packard Development Company, L.P. | Systems and methods for acquiring and processing image data produced by camera arrays |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
EP2715669A4 (en) | 2011-05-25 | 2015-03-18 | Third Dimension Ip Llc | ALIGNMENT, CALIBRATION AND RESTITUTION SYSTEMS AND METHODS FOR TOTAL 3D ANGLED DISPLAY |
EP2551827A3 (en) | 2011-07-28 | 2017-08-02 | Sony Mobile Communications AB | Presenting three dimensional depth |
US8917453B2 (en) | 2011-12-23 | 2014-12-23 | Microsoft Corporation | Reflective array waveguide |
EP2618103A1 (de) | 2012-01-17 | 2013-07-24 | Hexagon Technology Center GmbH | Verfahren, System und Computerprogramm zum Messen eines Winkels zwischen zwei räumlich voneinander entfernten Elementen und dessen Verwendung |
JP5845123B2 (ja) | 2012-03-22 | 2016-01-20 | 日本放送協会 | 3次元モデル−インテグラル画像変換装置およびそのプログラム |
KR20130112541A (ko) | 2012-04-04 | 2013-10-14 | 삼성전자주식회사 | 플레놉틱 카메라 장치 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9860522B2 (en) * | 2012-08-04 | 2018-01-02 | Paul Lapstun | Head-mounted light field display |
US9703019B2 (en) | 2012-08-28 | 2017-07-11 | President And Fellows Of Harvard College | Adaptive optic and acoustic devices |
US9143673B2 (en) | 2012-09-19 | 2015-09-22 | Google Inc. | Imaging device with a plurality of pixel arrays |
CA2891391A1 (en) | 2012-11-16 | 2014-05-22 | Koninklijke Philips N.V. | Reflective or transflective autostereoscopic display with reduced banding effects |
JP6076083B2 (ja) | 2012-12-26 | 2017-02-08 | 日本放送協会 | 立体画像補正装置及びそのプログラム |
KR101896339B1 (ko) | 2012-12-27 | 2018-09-10 | 삼성전자주식회사 | 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치 |
US20150262424A1 (en) * | 2013-01-31 | 2015-09-17 | Google Inc. | Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System |
US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
CN103248905A (zh) * | 2013-03-22 | 2013-08-14 | 深圳市云立方信息科技有限公司 | 一种模仿全息3d场景的显示装置和视觉显示方法 |
US10062210B2 (en) | 2013-04-24 | 2018-08-28 | Qualcomm Incorporated | Apparatus and method for radiance transfer sampling for augmented reality |
WO2014188149A1 (en) | 2013-05-20 | 2014-11-27 | Milan Momcilo Popovich | Holographic waveguide eye tracker |
US10027947B2 (en) | 2013-06-05 | 2018-07-17 | Sony Corporation | Image processing apparatus and image processing method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
WO2015005672A1 (en) | 2013-07-09 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image generating apparatus and method and non-transitory recordable medium |
US9817626B2 (en) | 2013-07-25 | 2017-11-14 | Empire Technology Development Llc | Composite display with multiple imaging properties |
WO2015071903A1 (en) | 2013-11-14 | 2015-05-21 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Printed optics system |
JP2016537901A (ja) | 2013-11-22 | 2016-12-01 | ヴィディノティ エスアーVidinoti Sa | ライトフィールド処理方法 |
WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
JP2015114775A (ja) | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US10244223B2 (en) * | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
US20150197062A1 (en) | 2014-01-12 | 2015-07-16 | Zohar SHINAR | Method, device, and system of three-dimensional printing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US9369259B2 (en) | 2014-02-13 | 2016-06-14 | Farrokh Mohamadi | W-band combiner-splitter fabricated using 3-D printing |
US10048647B2 (en) | 2014-03-27 | 2018-08-14 | Microsoft Technology Licensing, Llc | Optical waveguide including spatially-varying volume hologram |
US9786986B2 (en) | 2014-04-07 | 2017-10-10 | Kymeta Coproration | Beam shaping for reconfigurable holographic antennas |
US9478036B2 (en) | 2014-04-14 | 2016-10-25 | Nokia Technologies Oy | Method, apparatus and computer program product for disparity estimation of plenoptic images |
US20160014395A1 (en) | 2014-07-10 | 2016-01-14 | Arete Associates | Data fusion processing to identify obscured objects |
WO2016007920A1 (en) | 2014-07-11 | 2016-01-14 | New York University | Three dimensional tactile feedback system |
US10321105B2 (en) | 2014-07-31 | 2019-06-11 | Vuzix Corporation | Image and wave field projection through diffusive media |
US9360668B2 (en) | 2014-08-07 | 2016-06-07 | Continental Automotive Systems, Inc. | Dynamically calibrated head-up display |
US10529059B2 (en) | 2014-08-11 | 2020-01-07 | The Regents Of The University Of California | Vision correcting display with aberration compensation using inverse blurring and a light field display |
JP6388435B2 (ja) | 2014-08-21 | 2018-09-12 | 日本放送協会 | 画像生成装置、画像生成方法、及びプログラム |
US10423222B2 (en) | 2014-09-26 | 2019-09-24 | Digilens Inc. | Holographic waveguide optical tracker |
WO2016048402A2 (en) | 2014-09-26 | 2016-03-31 | Reald | Multiscopic image capture system |
US20160091786A1 (en) | 2014-09-30 | 2016-03-31 | Google Inc. | Screen configuration for display system |
US10656596B2 (en) | 2014-10-09 | 2020-05-19 | EagleMae Ventures LLC | Video display and method providing vision correction for multiple viewers |
WO2016084083A2 (en) | 2014-11-26 | 2016-06-02 | Eyekon E.R.D. Ltd. | Dynamic computer images for improving visual perception |
CN107110637B (zh) | 2014-12-22 | 2019-11-01 | 赛博光学公司 | 对三维测量***的校准进行更新 |
US9544583B2 (en) | 2015-01-09 | 2017-01-10 | Ricoh Company, Ltd. | Object space calibration of plenoptic imaging systems |
CN104837003B (zh) | 2015-04-03 | 2017-05-17 | 深圳市魔眼科技有限公司 | 一种全息立体显示用于矫正视力的移动终端及方法 |
CN205185315U (zh) | 2015-10-14 | 2016-04-27 | 北京工业大学 | 3d立体复印机 |
US10416454B2 (en) | 2015-10-25 | 2019-09-17 | Facebook Technologies, Llc | Combination prism array for focusing light |
CN105629620B (zh) | 2015-12-31 | 2019-03-15 | 武汉天马微电子有限公司 | 折射透镜及其驱动方法、显示装置 |
WO2017127897A1 (en) | 2016-01-27 | 2017-08-03 | Paul Lapstun | Shuttered waveguide light field display |
US9945988B2 (en) | 2016-03-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Array-based camera lens system |
WO2018014045A2 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Method of calibration for holographic energy directing systems |
EP3485322A4 (en) | 2016-07-15 | 2020-08-19 | Light Field Lab, Inc. | SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS |
WO2018014046A1 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Encoded energy waveguides for holographic super resolution |
US10757400B2 (en) | 2016-11-10 | 2020-08-25 | Manor Financial, Inc. | Near eye wavefront emulating display |
CA2959820A1 (en) * | 2017-03-03 | 2018-09-03 | Evolution Optiks Limited | Vision correction system and method, and light field display and barrier therefor |
CN107103638B (zh) * | 2017-05-27 | 2020-10-16 | 杭州万维镜像科技有限公司 | 一种虚拟场景与模型的快速渲染方法 |
US10583613B2 (en) | 2017-06-19 | 2020-03-10 | International Business Machines Corporation | 3D printing on the surface of an acoustic hologram |
US10490599B2 (en) * | 2017-07-13 | 2019-11-26 | Applied Materials, Inc. | Collimated, directional micro-LED light field display |
-
2019
- 2019-01-14 KR KR1020207023603A patent/KR20200116942A/ko not_active Application Discontinuation
- 2019-01-14 US US16/635,136 patent/US11650354B2/en active Active
- 2019-01-14 CA CA3088376A patent/CA3088376A1/en active Pending
- 2019-01-14 AU AU2019206713A patent/AU2019206713A1/en active Pending
- 2019-01-14 WO PCT/US2019/013554 patent/WO2019140414A1/en active Application Filing
- 2019-01-14 EP EP19739021.4A patent/EP3737997A4/en active Pending
- 2019-01-14 CN CN201980018331.9A patent/CN112074782A/zh active Pending
- 2019-01-14 JP JP2020538963A patent/JP7274682B2/ja active Active
-
2023
- 2023-04-04 JP JP2023061038A patent/JP7521745B2/ja active Active
- 2023-04-20 US US18/136,959 patent/US20230341592A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008191661A (ja) * | 2007-02-06 | 2008-08-21 | Mitsubishi Electric Research Laboratories Inc | シーンの4dライトフィールドを取得する装置及び方法 |
JP2010538344A (ja) * | 2007-08-29 | 2010-12-09 | セトレッド エーエス | 3dディスプレイのレンダリング方法の改良 |
US8493383B1 (en) * | 2009-12-10 | 2013-07-23 | Pixar | Adaptive depth of field sampling |
Also Published As
Publication number | Publication date |
---|---|
JP7521745B2 (ja) | 2024-07-24 |
EP3737997A1 (en) | 2020-11-18 |
US20230341592A1 (en) | 2023-10-26 |
EP3737997A4 (en) | 2021-09-29 |
CN112074782A (zh) | 2020-12-11 |
KR20200116942A (ko) | 2020-10-13 |
CA3088376A1 (en) | 2019-07-18 |
US11650354B2 (en) | 2023-05-16 |
JP7274682B2 (ja) | 2023-05-17 |
JP2023098929A (ja) | 2023-07-11 |
WO2019140414A1 (en) | 2019-07-18 |
US20200380762A1 (en) | 2020-12-03 |
AU2019206713A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7274682B2 (ja) | 3d環境からデータをレンダリングするためのシステムおよび方法 | |
JP7279283B2 (ja) | ホログラフィック感覚データ生成、操作および伝送システムおよび方法 | |
WO2018014047A1 (en) | System and methods of holographic sensory data generation, manipulation and transport | |
JP2021517659A (ja) | 4次元エネルギーフィールドパッケージアセンブリ | |
JP2021512349A (ja) | 最適化されたホログラフィック投影のための秩序化形状 | |
WO2018014040A1 (en) | Holographic superimposition of real world plenoptic opacity modulation through transparent waveguide arrays | |
US20240151896A1 (en) | System and methods of universal parameterization of holographic sensory data generation, manipulation and transport | |
NZ789927A (en) | System and methods of holographic sensory data generation, manipulation and transport |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210408 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7274682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |