JP2020514908A - カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 - Google Patents
カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 Download PDFInfo
- Publication number
- JP2020514908A JP2020514908A JP2019550189A JP2019550189A JP2020514908A JP 2020514908 A JP2020514908 A JP 2020514908A JP 2019550189 A JP2019550189 A JP 2019550189A JP 2019550189 A JP2019550189 A JP 2019550189A JP 2020514908 A JP2020514908 A JP 2020514908A
- Authority
- JP
- Japan
- Prior art keywords
- color
- warped
- warping
- color field
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 239000003086 colorant Substances 0.000 claims abstract description 14
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 28
- 210000003128 head Anatomy 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 230000004886 head movement Effects 0.000 description 9
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 8
- 239000000872 buffer Substances 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Generation (AREA)
Abstract
Description
グリッチ)をもたらし得る。この問題は、遅れ時間中の高速頭部移動によって、かつ色または場を順次投影することによって生成されたカラーコンテンツ(すなわち、LCOS等の順次ディスプレイ)に伴って悪化される。
続く説明は、ワーピングシステムが実践され得る例証的拡張現実システムに関する。しかしながら、実施形態は、他のタイプのディスプレイシステム(他のタイプの複合現実システムを含む)における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。
光学システムが、カラー仮想コンテンツを生成/レンダリングするとき、仮想コンテンツがレンダリングされるときのシステムの姿勢に関連し得るソース座標系を使用し得る。ARシステムでは、レンダリングされた仮想コンテンツは、実際の物理的オブジェクトと所定の関係を有し得る。例えば、図3は、実際の物理的台312の上部に位置付けられた仮想植木鉢310を含むARシナリオ300を図示する。ARシステムは、仮想植木鉢310が実際の台312の上部に置かれているように見えるように、実際の台312の場所が既知であるソース座標系に基づいて、仮想植木鉢310をレンダリングした。ARシステムは、第1の時間において、ソース座標系を使用して、仮想植木鉢310をレンダリングし、第1の時間の後の第2の時間において、レンダリングされた仮想植木鉢310を出力座標系に表示/投影し得る。ソース座標系および出力座標系が、同一である場合、仮想植木鉢310は、意図された場所(例えば、実際の物理的台312の上部)に現れるであろう。
図5は、いくつかの実施形態による、仮想コンテンツのワーピングを図式的に図示する。光線510によって表されるソース座標系(レンダリング姿勢)におけるソース仮想コンテンツ512が、光線510’によって表される出力座標系(推定される姿勢)におけるワーピングされた仮想コンテンツ512’にワーピングされる。図5に描写されるワーピングは、右への頭部回転を表し得る。ソース仮想コンテンツ512は、ソースX、Y場所に配置されるが、ワーピングされた仮想コンテンツ512’は、出力X’、Y’場所に変換される。
図10は、一実施形態による、カラー仮想コンテンツを種々のカラーサブ画像または場に対応する出力座標系にワーピングするための例示的グラフィック処理ユニット(GPU)252を図式的に描写する。GPU252は、ワーピングされるための生成されたカラー仮想コンテンツを記憶するための入力メモリ1010を含む。一実施形態では、カラー仮想コンテンツは、プリミティブ(例えば、図11では、三角形1100)として記憶される。GPU252は、コマンドプロセッサ1012も含み、それは、(1)カラー仮想コンテンツを入力メモリ1010から受信し/読み取り、(2)カラー仮想コンテンツをカラーサブ画像に分割し、それらのカラーサブ画像をスケジューリングユニットに分割し、(3)並列処理のために、スケジューリングユニットをレンダリングパイプラインに沿って波またはワープ内で送信する。GPU252は、スケジューラ1014をさらに含み、それは、スケジューリングユニットをコマンドプロセッサ1012から受信する。スケジューラ1014は、コマンドプロセッサ1012からの「新しい作業」またはレンダリングパイプライン(下で説明される)内の下流から戻る「古い作業」がレンダリングパイプラインを辿って任意の特定の時間に送信されるべきであるかどうかも決定する。事実上、スケジューラ1014は、GPU252が種々の入力データを処理すること順序を決定する。
頭部姿勢変化を伴わない標準的画像処理では、GPU252による処理の結果は、それぞれのX、Y値(例えば、各ピクセル)における色/明度値および深度値である。しかしながら、頭部姿勢変化に伴って、仮想コンテンツは、頭部姿勢変化に一致するようにワーピングされる。カラー仮想コンテンツに関し、各カラーサブ画像は、別個にワーピングされる。カラー仮想コンテンツをワーピングするための既存の方法では、カラー画像に対応するカラーサブ画像は、単一の出力座標系(例えば、緑色サブ画像に対応する)を使用してワーピングされる。上で説明されるように、それは、カラー干渉縞およびCBU等の他の視覚的アーチファクトをもたらし得る。
図13は、いくつかの実施形態による、例証的コンピューティングシステム1300のブロック図である。コンピュータシステム1300は、プロセッサ1307、システムメモリ1308(例えば、RAM)、静的記憶デバイス1309(例えば、ROM)、ディスクドライブ1310(例えば、磁気または光学)、通信インターフェース1314(例えば、モデムまたはEthernet(登録商標)カード)、ディスプレイ1311(例えば、CRTまたはLCD)、入力デバイス1312(例えば、キーボード)、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス1306または他の通信機構を含む。
図14は、いくつかの実施形態による、マルチフィールド(カラー)仮想コンテンツのためのワーピング/レンダリングパイプライン1400を描写する。パイプライン1400は、2つの側面、すなわち、(1)多段階/分離ワーピングと、(2)アプリケーションフレームと照明フレームとの間の頻度変動とを具現化する。
パイプライン1400は、1つ以上のワーピング段階を含む。1412では、アプリケーションCPU(「クライアント」)が、仮想コンテンツを生成し、仮想コンテンツは、アプリケーションGPU252によって1つ以上の(例えば、R、G、B)フレームおよび姿勢1414に対して処理される。1416では、ワーピング/合成器CPUおよびそのGPU252が、各フレームのための第1の推定される姿勢を使用して、第1のワーピングを実施する。パイプライン1400の後半(すなわち、照明により近い)では、ワーピングユニット1420が、各フレームのための第2の推定される姿勢を使用して、各フレーム1422R、1422G、1422Bのための第2のワーピングを実施する。第2の推定される姿勢は、第2の推定される姿勢が照明により近くで決定されるので、それぞれの第1の推定される姿勢より正確であり得る。2回ワーピングされたフレーム1422R、1422G、1422Bは、t0、t1、およびt2において表示される。
いくつかの実施形態では、クライアントまたはアプリケーションの頻度(すなわち、フレームレート)と表示または照明の頻度とは、合致しないこともある。いくつかの実施形態では、照明フレームレートは、アプリケーションフレームレートの2倍であり得る。例えば、照明フレームレートは、60Hzであり得、アプリケーションフレームレートは、30Hzであり得る。
図15は、いくつかの実施形態による、順次表示のためにマルチフィールド(カラー)仮想コンテンツをワーピングすることにおける色割れ(CBU)アーチファクトを最小化する方法1500を描写する。ステップ1512では、CPUが、眼および/または頭部追跡情報を受信する(例えば、眼追跡カメラまたはIMUから)。ステップ1514では、CPUが、眼および/または頭部追跡情報を分析し、CBUアーチファクトを予測する(例えば、ディスプレイシステムの特性に基づいて)。ステップ1516では、CBUが予測される場合、方法1500は、ステップ1518に進み、CPUは、カラーフィールドレートを増加させる(例えば、180Hzから360Hzに)。ステップ1516では、CBUが予測されない場合、方法1500は、ステップ1526に進み、画像(例えば、分割およびワーピングされた場情報)は、システムデフォルトカラーフィールドレートおよびビット深度(例えば、180Hzおよび8ビット)を使用して表示される。
Claims (21)
- 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法であって、前記方法は、
異なる第1および第2の色を有する第1および第2のカラーフィールドを取得することと、
ワーピングされた第1のカラーフィールドの投影のための第1の時間を決定することと、
ワーピングされた第2のカラーフィールドの投影のための第2の時間を決定することと、
前記第1の時間における第1の姿勢を予測することと、
前記第2の時間における第2の姿勢を予測することと、
前記第1の姿勢に基づいて前記第1のカラーフィールドをワーピングすることによって、前記ワーピングされた第1のカラーフィールドを生成することと、
前記第2の姿勢に基づいて前記第2のカラーフィールドをワーピングすることによって、前記ワーピングされた第2のカラーフィールドを生成することと
を含む、方法。 - 前記第1のカラーフィールドは、X、Y場所における第1のカラーフィールド情報を備えている、請求項1に記載の方法。
- 前記第1のカラーフィールド情報は、前記第1の色における第1の明度を備えている、請求項2に記載の方法。
- 前記第2のカラーフィールドは、前記X、Y場所における第2のカラー情報を備えている、請求項3に記載の方法。
- 前記第2のカラーフィールド情報は、前記第2の色における第2の明度を備えている、請求項4に記載の方法。
- 前記ワーピングされた第1のカラーフィールドは、第1のワーピングされたX、Y場所におけるワーピングされた第1のカラーフィールド情報を備えている、請求項1に記載の方法。
- 前記ワーピングされた第2のカラーフィールドは、第2のワーピングされたX、Y場所におけるワーピングされた第2のカラーフィールド情報を備えている、請求項6に記載の方法。
- 前記第1の姿勢に基づいて前記第1のカラーフィールドをワーピングすることは、第1の変換を前記第1のカラーフィールドに適用し、前記ワーピングされた第1のカラーフィールドを生成することを含む、請求項1に記載の方法。
- 前記第2の姿勢に基づいて前記第2のカラーフィールドをワーピングすることは、第2の変換を前記第2のカラーフィールドに適用し、前記ワーピングされた第2のカラーフィールドを生成することを含む、請求項1に記載の方法。
- 前記ワーピングされた第1および第2のカラーフィールドを順次プロジェクタに送信することと、
前記順次プロジェクタが、前記ワーピングされた第1のカラーフィールドおよび前記ワーピングされた第2のカラーフィールドを順次投影することと
をさらに含む、請求項1に記載の方法。 - 前記ワーピングされた第1のカラーフィールドは、前記第1の時間に投影され、前記ワーピングされた第2のカラーフィールドは、前記第2の時間に投影される、請求項10に記載の方法。
- 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするためのシステムであって、前記システムは、順次投影のための異なる第1および第2の色を有する第1および第2のカラーフィールドを受信するためのワーピングユニットを備え、
前記ワーピングユニットは、
それぞれのワーピングされた第1および第2のカラーフィールドの投影のための第1および第2の時間を決定し、それぞれの第1および第2の時間における第1および第2の姿勢を予測するための姿勢推定器と、
それぞれの第1および第2の姿勢に基づいて、それぞれの第1および第2のカラーフィールドをワーピングすることによって、前記ワーピングされた第1および第2のカラーフィールドを生成するための変換ユニットと
を備えている、システム。 - 非一過性コンピュータ読み取り可能な媒体において具現化されるコンピュータプログラム製品であって、前記コンピュータ読み取り可能な媒体は、一連の命令を記憶しており、前記一連の命令は、プロセッサによって実行されると、順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングする方法を前記プロセッサに実行させ、前記方法は、
異なる第1および第2の色を有する第1および第2のカラーフィールドを取得することと、
ワーピングされた第1のカラーフィールドの投影のための第1の時間を決定することと、
ワーピングされた第2のカラーフィールドの投影のための第2の時間を決定することと、
前記第1の時間における第1の姿勢を予測することと、
前記第2の時間における第2の姿勢を予測することと、
前記第1の姿勢に基づいて前記第1のカラーフィールドをワーピングすることによって、前記ワーピングされた第1のカラーフィールドを生成することと、
前記第2の姿勢に基づいて前記第2のカラーフィールドをワーピングすることによって、前記ワーピングされた第2のカラーフィールドを生成することと
を含む、コンピュータプログラム製品。 - 順次投影のためにマルチフィールドカラー仮想コンテンツをワーピングするコンピュータ実装方法であって、前記方法は、
アプリケーションフレームおよびアプリケーション姿勢を取得することと、
第1の推定される表示時間における前記アプリケーションフレームの第1のワーピングのための第1の姿勢を推定することと、
前記アプリケーション姿勢および前記推定される第1の姿勢を使用して、前記アプリケーションフレームの第1のワーピングを実施し、第1のワーピングされたフレームを生成することと、
第2の推定される表示時間における前記第1のワーピングされたフレームの第2のワーピングのための第2の姿勢を推定することと、
前記推定される第2の姿勢を使用して、前記第1のワーピングフレームの第2のワーピングを実施し、第2のワーピングされたフレームを生成することと
を含む、方法。 - 前記第2のワーピングされたフレームをほぼ前記第2の推定される表示時間において表示することをさらに含む、請求項14に記載の方法。
- 第3の推定される表示時間における前記第1のワーピングされたフレームの第3のワーピングのための第3の姿勢を推定することと、
前記推定される第3の姿勢を使用して、前記第1のワーピングフレームの第3のワーピングを実施し、第3のワーピングされたフレームを生成することと
をさらに含み、
前記第3の推定される表示時間は、前記第2の推定される表示時間より後である、請求項15に記載の方法。 - 前記第3のワーピングされたフレームをほぼ前記第3の推定される表示時間において表示することをさらに含む、請求項16に記載の方法。
- 色割れ(「CBU」)アーチファクトを最小化するコンピュータ実装方法であって、前記方法は、
受信された眼または頭部追跡情報に基づいて、CBUアーチファクトを予測することと、
前記予測されるCBUアーチファクトに基づいて、カラーフィールドレートを増加させることと
を含む、方法。 - 前記受信された眼または頭部追跡情報および前記増加させられたカラーフィールドレートに基づいて、第2のCBUを予測することと、
前記予測される第2のCBUアーチファクトに基づいて、ビット深度を減少させることと
をさらに含む、請求項18に記載の方法。 - 前記増加させられたカラーフィールドレートおよび前記減少させられたビット深度を使用して、画像を表示することをさらに含む、請求項19に記載の方法。
- 前記増加させられたカラーフィールドレートを使用して、画像を表示することをさらに含む、請求項18に記載の方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022002800A JP7096450B2 (ja) | 2017-03-17 | 2022-01-12 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
JP2022100963A JP7407869B2 (ja) | 2017-03-17 | 2022-06-23 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762473145P | 2017-03-17 | 2017-03-17 | |
US62/473,145 | 2017-03-17 | ||
PCT/US2018/023011 WO2018170482A1 (en) | 2017-03-17 | 2018-03-16 | Mixed reality system with color virtual content warping and method of generating virtual content using same |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002800A Division JP7096450B2 (ja) | 2017-03-17 | 2022-01-12 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020514908A true JP2020514908A (ja) | 2020-05-21 |
JP2020514908A5 JP2020514908A5 (ja) | 2021-04-30 |
JP7009494B2 JP7009494B2 (ja) | 2022-01-25 |
Family
ID=63520238
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550189A Active JP7009494B2 (ja) | 2017-03-17 | 2018-03-16 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
JP2022002800A Active JP7096450B2 (ja) | 2017-03-17 | 2022-01-12 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
JP2022100963A Active JP7407869B2 (ja) | 2017-03-17 | 2022-06-23 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002800A Active JP7096450B2 (ja) | 2017-03-17 | 2022-01-12 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
JP2022100963A Active JP7407869B2 (ja) | 2017-03-17 | 2022-06-23 | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10762598B2 (ja) |
EP (1) | EP3596705A4 (ja) |
JP (3) | JP7009494B2 (ja) |
KR (3) | KR102366781B1 (ja) |
CN (2) | CN110402425B (ja) |
AU (2) | AU2018234921B2 (ja) |
CA (1) | CA3055218A1 (ja) |
IL (3) | IL298822A (ja) |
WO (1) | WO2018170482A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
CN107533233B (zh) | 2015-03-05 | 2021-01-29 | 奇跃公司 | 用于增强现实的***和方法 |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
WO2017096396A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
KR20240009543A (ko) | 2016-08-02 | 2024-01-22 | 매직 립, 인코포레이티드 | 고정-거리 가상 및 증강 현실 시스템들 및 방법들 |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
US10762598B2 (en) | 2017-03-17 | 2020-09-01 | Magic Leap, Inc. | Mixed reality system with color virtual content warping and method of generating virtual content using same |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
KR102359978B1 (ko) | 2017-03-17 | 2022-02-07 | 매직 립, 인코포레이티드 | 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 |
JP7304934B2 (ja) | 2018-07-23 | 2023-07-07 | マジック リープ, インコーポレイテッド | 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 |
CN117711284A (zh) | 2018-07-23 | 2024-03-15 | 奇跃公司 | 场顺序显示器中的场内子码时序 |
WO2021070692A1 (ja) * | 2019-10-09 | 2021-04-15 | ソニー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
CN111243020B (zh) * | 2020-01-02 | 2023-07-25 | 东莞市一加创意数字科技有限公司 | 一种立体投影空间的音源位置的动态定位方法 |
EP4154513A4 (en) * | 2020-05-21 | 2023-10-18 | Magic Leap, Inc. | DISPLAY DISPLAYS WITH SPATIAL LIGHT MODULATION USING EYE TRACKING |
US11551363B2 (en) * | 2020-06-04 | 2023-01-10 | Toyota Research Institute, Inc. | Systems and methods for self-supervised residual flow estimation |
US11379950B1 (en) * | 2021-05-07 | 2022-07-05 | Lemon Inc. | System and method for projecting content in an environment |
US12067693B2 (en) * | 2021-05-18 | 2024-08-20 | Snap Inc. | Late warping to minimize latency of moving objects |
US11727631B2 (en) * | 2021-09-22 | 2023-08-15 | Qualcomm Incorporated | Dynamic variable rate shading |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140176591A1 (en) * | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
US20150002542A1 (en) * | 2013-06-28 | 2015-01-01 | Calvin Chan | Reprojection oled display for augmented reality experiences |
Family Cites Families (257)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4462165A (en) | 1983-01-31 | 1984-07-31 | The Boeing Company | Three axis orientation sensor for an aircraft or the like |
US5047952A (en) | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
US6701296B1 (en) | 1988-10-14 | 2004-03-02 | James F. Kramer | Strain-sensing goniometers, systems, and recognition algorithms |
CA2358682A1 (en) | 1992-08-14 | 1994-03-03 | British Telecommunications Public Limited Company | Position location system |
CA2142338C (en) | 1992-08-14 | 1999-11-30 | John Stuart Bladen | Position location system |
US5583974A (en) | 1993-05-10 | 1996-12-10 | Apple Computer, Inc. | Computer graphics system having high performance multiple layer Z-buffer |
TW275590B (en) | 1994-12-09 | 1996-05-11 | Sega Enterprises Kk | Head mounted display and system for use therefor |
US5592401A (en) | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5930741A (en) | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5684498A (en) * | 1995-06-26 | 1997-11-04 | Cae Electronics Ltd. | Field sequential color head mounted display with suppressed color break-up |
AU7616496A (en) | 1995-11-27 | 1997-06-19 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
US6064749A (en) | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
US5784115A (en) * | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
US6163155A (en) | 1999-01-28 | 2000-12-19 | Dresser Industries, Inc. | Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations |
US6407736B1 (en) | 1999-06-18 | 2002-06-18 | Interval Research Corporation | Deferred scanline conversion architecture |
GB9917591D0 (en) | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
JP2001208529A (ja) | 2000-01-26 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | 計測装置及びその制御方法並びに記憶媒体 |
AU2001233019A1 (en) | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
US6891533B1 (en) | 2000-04-11 | 2005-05-10 | Hewlett-Packard Development Company, L.P. | Compositing separately-generated three-dimensional images |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6738044B2 (en) | 2000-08-07 | 2004-05-18 | The Regents Of The University Of California | Wireless, relative-motion computer input device |
US6753828B2 (en) | 2000-09-25 | 2004-06-22 | Siemens Corporated Research, Inc. | System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality |
US20020180727A1 (en) | 2000-11-22 | 2002-12-05 | Guckenberger Ronald James | Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors |
US6691074B1 (en) | 2001-02-08 | 2004-02-10 | Netmore Ltd. | System for three dimensional positioning and tracking |
US6861982B2 (en) | 2001-08-16 | 2005-03-01 | Itt Manufacturing Enterprises, Inc. | System for determining position of an emitter |
US7113618B2 (en) | 2001-09-18 | 2006-09-26 | Intel Corporation | Portable virtual reality |
JP2003337963A (ja) | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
US7190331B2 (en) | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
US9153074B2 (en) | 2011-07-18 | 2015-10-06 | Dylan T X Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
JP3984907B2 (ja) | 2002-11-29 | 2007-10-03 | キヤノン株式会社 | 画像観察システム |
US20070155589A1 (en) | 2002-12-04 | 2007-07-05 | Philip Feldman | Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System |
JP2004213350A (ja) | 2002-12-27 | 2004-07-29 | Seiko Epson Corp | 力覚提示装置及び画像補正方法 |
US20050107870A1 (en) | 2003-04-08 | 2005-05-19 | Xingwu Wang | Medical device with multiple coating layers |
US7643025B2 (en) | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
US7443154B1 (en) | 2003-10-04 | 2008-10-28 | Seektech, Inc. | Multi-sensor mapping omnidirectional sonde and line locator |
CA2450837A1 (en) | 2003-11-25 | 2005-05-25 | University Of New Brunswick | Induction magnetometer |
US20160098095A1 (en) | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
JP4508820B2 (ja) | 2004-10-19 | 2010-07-21 | 株式会社ワコム | 3次元情報検出システム及び3次元情報入力装置 |
WO2006056622A1 (es) | 2004-11-19 | 2006-06-01 | Daem Interactive, Sl | Dispositivo personal con funciones de adquirir imágenes, para aplicación de recursos de realidad aumentada y método |
CN101536494B (zh) | 2005-02-08 | 2017-04-26 | 奥布隆工业有限公司 | 用于基于姿势的控制***的***和方法 |
US8982110B2 (en) | 2005-03-01 | 2015-03-17 | Eyesmatch Ltd | Method for image transformation, augmented reality, and teleperence |
EP1875732B1 (en) | 2005-04-26 | 2016-12-28 | Imax Corporation | Electronic projection systems and methods |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
JP4437228B2 (ja) | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
KR100722229B1 (ko) | 2005-12-02 | 2007-05-29 | 한국전자통신연구원 | 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법 |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP4196302B2 (ja) | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4804256B2 (ja) | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
US8194088B1 (en) | 2006-08-03 | 2012-06-05 | Apple Inc. | Selective composite rendering |
US7921120B2 (en) | 2006-11-30 | 2011-04-05 | D&S Consultants | Method and system for image recognition using a similarity inverse matrix |
CN101093586A (zh) | 2007-07-12 | 2007-12-26 | 上海交通大学 | 面向复杂场景实时交互操作的并行碰撞检测方法 |
US8165352B1 (en) | 2007-08-06 | 2012-04-24 | University Of South Florida | Reconstruction of biometric image templates using match scores |
US10095815B2 (en) | 2008-11-19 | 2018-10-09 | Elbit Systems Ltd. | System and a method for mapping a magnetic field |
IL195389A (en) | 2008-11-19 | 2013-12-31 | Elbit Systems Ltd | Magnetic Field Mapping System and Method |
US20090115406A1 (en) | 2007-11-01 | 2009-05-07 | General Electric Company | System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system |
US9013505B1 (en) | 2007-11-27 | 2015-04-21 | Sprint Communications Company L.P. | Mobile system representing virtual objects on live camera image |
KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
US7795596B2 (en) | 2008-01-03 | 2010-09-14 | Alcatel-Lucent Usa Inc. | Cloaking device detection system |
WO2009091563A1 (en) | 2008-01-18 | 2009-07-23 | Thomson Licensing | Depth-image-based rendering |
US20090184825A1 (en) | 2008-01-23 | 2009-07-23 | General Electric Company | RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System |
GB2468994B (en) | 2008-01-23 | 2012-11-28 | Intel Corp | Method, apparatus and computer program product for improved graphics performance |
US8926511B2 (en) | 2008-02-29 | 2015-01-06 | Biosense Webster, Inc. | Location system with virtual touch screen |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US8446426B2 (en) | 2008-04-28 | 2013-05-21 | Apple Inc. | Technique for visually compositing a group of graphical objects |
KR20090120159A (ko) | 2008-05-19 | 2009-11-24 | 삼성전자주식회사 | 영상합성장치 및 영상합성방법 |
US8929877B2 (en) | 2008-09-12 | 2015-01-06 | Digimarc Corporation | Methods and systems for content processing |
JP5415054B2 (ja) * | 2008-10-28 | 2014-02-12 | セイコーエプソン株式会社 | 駆動方法および電気光学装置 |
WO2010055737A1 (ja) | 2008-11-14 | 2010-05-20 | 株式会社ソニー・コンピュータエンタテインメント | 操作デバイス |
US8188745B2 (en) | 2008-12-05 | 2012-05-29 | Metrotech Corporation Inc. | Precise location and orientation of a concealed dipole transmitter |
US9465129B1 (en) | 2009-03-06 | 2016-10-11 | See Scan, Inc. | Image-based mapping locating system |
US8860723B2 (en) | 2009-03-09 | 2014-10-14 | Donya Labs Ab | Bounded simplification of geometrical computer data |
JP5177078B2 (ja) | 2009-05-26 | 2013-04-03 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8775424B2 (en) | 2010-01-26 | 2014-07-08 | Xerox Corporation | System for creative image navigation and exploration |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8581905B2 (en) | 2010-04-08 | 2013-11-12 | Disney Enterprises, Inc. | Interactive three dimensional displays on handheld devices |
TWI399688B (zh) | 2010-06-08 | 2013-06-21 | Waltop Int Corp | 整合電磁式及電容感應輸入裝置 |
RU2010123652A (ru) | 2010-06-10 | 2011-12-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) | Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником |
JP5541974B2 (ja) | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 画像表示プログラム、装置、システムおよび方法 |
JP2012043308A (ja) | 2010-08-20 | 2012-03-01 | Canon Inc | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム |
WO2012046392A1 (ja) | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
US20120086630A1 (en) | 2010-10-12 | 2012-04-12 | Sony Computer Entertainment Inc. | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
FR2966251B1 (fr) | 2010-10-19 | 2014-04-25 | Astrium Sas | Systeme d'orientation et de positionnement d'un recepteur electromagnetique |
US8660369B2 (en) | 2010-10-25 | 2014-02-25 | Disney Enterprises, Inc. | Systems and methods using mobile devices for augmented reality |
US8745061B2 (en) | 2010-11-09 | 2014-06-03 | Tibco Software Inc. | Suffix array candidate selection and index data structure |
CN103201731B (zh) | 2010-12-02 | 2016-01-20 | 英派尔科技开发有限公司 | 增强现实*** |
CN103415860B (zh) | 2011-01-27 | 2019-07-12 | 苹果公司 | 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法 |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8994722B2 (en) | 2011-02-14 | 2015-03-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for enhancing depth images of scenes using trellis structures |
JP5724544B2 (ja) | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9206007B2 (en) | 2011-05-31 | 2015-12-08 | Twist-Ease Inc. | Bag dispenser |
US20120306850A1 (en) | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US8933913B2 (en) | 2011-06-28 | 2015-01-13 | Microsoft Corporation | Electromagnetic 3D stylus |
US20150100380A1 (en) | 2011-07-20 | 2015-04-09 | Raymond P. Jones, JR. | Systems and methods for providing financial controls for aggregated weather-based work |
WO2013023705A1 (en) | 2011-08-18 | 2013-02-21 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
EP2745236A1 (en) | 2011-08-18 | 2014-06-25 | Layar B.V. | Computer-vision based augmented reality system |
US8749396B2 (en) | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
US9400941B2 (en) | 2011-08-31 | 2016-07-26 | Metaio Gmbh | Method of matching image features with reference features |
EP2756328A2 (en) | 2011-09-13 | 2014-07-23 | Sadar 3D, Inc. | Synthetic aperture radar apparatus and methods |
US8821286B2 (en) | 2011-09-29 | 2014-09-02 | Wms Gaming, Inc. | Wagering game system having motion sensing controllers |
US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
BR112014010230A8 (pt) | 2011-10-28 | 2017-06-20 | Magic Leap Inc | sistema e método para realidade virtual e aumentada |
KR102513896B1 (ko) | 2011-11-23 | 2023-03-23 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
JP6215228B2 (ja) | 2012-01-04 | 2017-10-18 | トムソン ライセンシングThomson Licensing | 3d画像シーケンスの処理 |
US8989775B2 (en) | 2012-02-29 | 2015-03-24 | RetailNext, Inc. | Method and system for WiFi-based identification of person tracks |
US9075824B2 (en) | 2012-04-27 | 2015-07-07 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US9098229B2 (en) | 2012-05-04 | 2015-08-04 | Aaron Hallquist | Single image pose estimation of image capture devices |
US9116666B2 (en) | 2012-06-01 | 2015-08-25 | Microsoft Technology Licensing, Llc | Gesture based region identification for holograms |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US9384737B2 (en) | 2012-06-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Method and device for adjusting sound levels of sources based on sound source priority |
EP2704055A1 (en) | 2012-08-31 | 2014-03-05 | Layar B.V. | Determining space to display content in augmented reality |
JP2014049934A (ja) | 2012-08-31 | 2014-03-17 | Sony Corp | ヘッドマウントディスプレイ |
US9134954B2 (en) | 2012-09-10 | 2015-09-15 | Qualcomm Incorporated | GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault |
EP2711670B1 (en) | 2012-09-21 | 2019-01-30 | NavVis GmbH | Visual localisation |
GB201217372D0 (en) | 2012-09-28 | 2012-11-14 | Ucl Business Plc | A system and method for annotating images by propagating information |
US9132342B2 (en) | 2012-10-31 | 2015-09-15 | Sulon Technologies Inc. | Dynamic environment and location based augmented reality (AR) systems |
US9177404B2 (en) | 2012-10-31 | 2015-11-03 | Qualcomm Incorporated | Systems and methods of merging multiple maps for computer vision based tracking |
US9188694B2 (en) | 2012-11-16 | 2015-11-17 | Halliburton Energy Services, Inc. | Optical interferometric sensors for measuring electromagnetic fields |
US9160727B1 (en) | 2012-11-30 | 2015-10-13 | Microstrategy Incorporated | Providing credential information |
US20140152558A1 (en) | 2012-11-30 | 2014-06-05 | Tom Salter | Direct hologram manipulation using imu |
US9026847B2 (en) | 2012-12-21 | 2015-05-05 | Advanced Micro Devices, Inc. | Hardware based redundant multi-threading inside a GPU for improved reliability |
WO2014105385A1 (en) | 2012-12-27 | 2014-07-03 | The Regents Of The University Of California | Anamorphic stretch image compression |
US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的***与方法 |
US9898866B2 (en) | 2013-03-13 | 2018-02-20 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
EP4027222A1 (en) | 2013-03-15 | 2022-07-13 | Magic Leap, Inc. | Display system and method |
US8937650B2 (en) | 2013-03-15 | 2015-01-20 | Orcam Technologies Ltd. | Systems and methods for performing a triggered action |
US20140323148A1 (en) | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
US9269003B2 (en) | 2013-04-30 | 2016-02-23 | Qualcomm Incorporated | Diminished and mediated reality effects from reconstruction |
US9367960B2 (en) | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
US10254855B2 (en) | 2013-06-04 | 2019-04-09 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US9712473B2 (en) | 2013-07-11 | 2017-07-18 | Facebook, Inc. | Methods, systems, and user interfaces for community-based location ratings |
WO2015006784A2 (en) | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10295338B2 (en) | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
US9514571B2 (en) * | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
JP6192010B2 (ja) | 2013-09-05 | 2017-09-06 | 国立大学法人 東京大学 | 重み設定装置および方法 |
US9729864B2 (en) | 2013-09-30 | 2017-08-08 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US20150097719A1 (en) | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | System and method for active reference positioning in an augmented reality environment |
JP6353214B2 (ja) * | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
CN109445095B (zh) | 2013-11-27 | 2021-11-23 | 奇跃公司 | 虚拟和增强现实***与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US11402629B2 (en) | 2013-11-27 | 2022-08-02 | Magic Leap, Inc. | Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
KR102174595B1 (ko) | 2013-12-19 | 2020-11-06 | 아비질론 포트리스 코퍼레이션 | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 |
US9360935B2 (en) | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
EP2887311B1 (en) | 2013-12-20 | 2016-09-14 | Thomson Licensing | Method and apparatus for performing depth estimation |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US20160147063A1 (en) * | 2014-11-26 | 2016-05-26 | Osterhout Group, Inc. | See-through computer display systems |
US9448409B2 (en) * | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US9405122B2 (en) | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
WO2015134475A2 (en) | 2014-03-04 | 2015-09-11 | Google Inc. | Map personalization based on social clues |
US20160203624A1 (en) | 2014-03-05 | 2016-07-14 | Google Inc. | System and Method for Providing Combined Multi-Dimensional Map Views |
WO2015134958A1 (en) | 2014-03-07 | 2015-09-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN105005457B (zh) | 2014-04-25 | 2019-04-09 | 腾讯科技(深圳)有限公司 | 地理位置展示方法及装置 |
EP3624063B1 (en) | 2014-04-25 | 2024-06-05 | Google Technology Holdings LLC | Electronic device localization based on imagery |
US9652893B2 (en) | 2014-04-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Stabilization plane determination based on gaze location |
US9727341B2 (en) | 2014-05-09 | 2017-08-08 | Samsung Electronics Co., Ltd. | Control flow in a thread-based environment without branching |
US11030784B2 (en) | 2014-06-03 | 2021-06-08 | Apple Inc. | Method and system for presenting a digital information related to a real object |
US20150358539A1 (en) | 2014-06-06 | 2015-12-10 | Jacob Catt | Mobile Virtual Reality Camera, Method, And System |
US20150379772A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
US10283035B2 (en) * | 2014-07-01 | 2019-05-07 | Sharp Kabushiki Kaisha | Field-sequential image display device and image display method |
US10056054B2 (en) | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10162177B2 (en) | 2014-07-11 | 2018-12-25 | Sixense Entertainment, Inc. | Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking |
US9363644B2 (en) | 2014-07-16 | 2016-06-07 | Yahoo! Inc. | System and method for detection of indoor tracking units |
US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
EP3192058A4 (en) | 2014-09-08 | 2018-05-02 | Simx LLC | Augmented reality simulator for professional and educational training |
WO2016038240A1 (en) | 2014-09-09 | 2016-03-17 | Nokia Technologies Oy | Stereo image recording and playback |
US20160104308A1 (en) * | 2014-10-14 | 2016-04-14 | Microsoft Technology Licensing, Llc. | Performance optimization for data visualization |
US9478029B2 (en) | 2014-10-23 | 2016-10-25 | Qualcomm Incorporated | Selection strategy for exchanging map information in collaborative multi-user SLAM systems |
US10650574B2 (en) | 2014-10-31 | 2020-05-12 | Fyusion, Inc. | Generating stereoscopic pairs of images from a single lens camera |
US11049476B2 (en) * | 2014-11-04 | 2021-06-29 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays |
US20160131904A1 (en) * | 2014-11-07 | 2016-05-12 | Osterhout Group, Inc. | Power management for head worn computing |
US9818170B2 (en) | 2014-12-10 | 2017-11-14 | Qualcomm Incorporated | Processing unaligned block transfer operations |
EP3234871B1 (en) | 2014-12-17 | 2020-11-25 | Google LLC | Generating numeric embeddings of images |
US9696549B2 (en) | 2014-12-22 | 2017-07-04 | International Business Machines Corporation | Selectively pairing an application presented in virtual space with a physical display |
US9746921B2 (en) | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US9846968B2 (en) | 2015-01-20 | 2017-12-19 | Microsoft Technology Licensing, Llc | Holographic bird's eye view camera |
US20160239985A1 (en) * | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
CN107533233B (zh) | 2015-03-05 | 2021-01-29 | 奇跃公司 | 用于增强现实的***和方法 |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
US9885773B2 (en) | 2015-03-07 | 2018-02-06 | Verity Studios Ag | Distributed localization systems and methods and self-localizing apparatus |
US9874932B2 (en) | 2015-04-09 | 2018-01-23 | Microsoft Technology Licensing, Llc | Avoidance of color breakup in late-stage re-projection |
US9814430B1 (en) | 2015-04-17 | 2017-11-14 | Bertec Corporation | System and method for measuring eye movement and/or eye position and postural sway of a subject |
NZ735943A (en) | 2015-05-04 | 2021-07-30 | Magic Leap Inc | Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same |
CN104866829B (zh) | 2015-05-25 | 2019-02-19 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
US10721280B1 (en) | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
US20160378863A1 (en) | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
US10062010B2 (en) | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US9240069B1 (en) * | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
US10750161B2 (en) | 2015-07-15 | 2020-08-18 | Fyusion, Inc. | Multi-view interactive digital media representation lock screen |
US9875427B2 (en) | 2015-07-28 | 2018-01-23 | GM Global Technology Operations LLC | Method for object localization and pose estimation for an object of interest |
WO2017044965A1 (en) | 2015-09-10 | 2017-03-16 | Duke University | Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance |
GB201518112D0 (en) * | 2015-10-13 | 2015-11-25 | Bae Systems Plc | Improvements in and relating to displays |
US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US10026212B2 (en) | 2015-11-20 | 2018-07-17 | Google Llc | Electronic display stabilization using pixel velocities |
US20170161853A1 (en) | 2015-12-03 | 2017-06-08 | James Carroll Gossweiler | Mapping system that identifies site-specific real estate due diligence professionals and related service providers |
WO2017096396A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
US10241569B2 (en) | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
FR3046261B1 (fr) | 2015-12-24 | 2018-08-31 | Starbreeze Paris | Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee |
US10130429B1 (en) | 2016-01-06 | 2018-11-20 | Ethicon Llc | Methods, systems, and devices for controlling movement of a robotic surgical system |
CA3011377C (en) | 2016-02-05 | 2024-05-14 | Magic Leap, Inc. | Systems and methods for augmented reality |
WO2017147178A1 (en) * | 2016-02-22 | 2017-08-31 | Google Inc. | Separate time-warping for a scene and an object for display of virtual reality content |
US10334076B2 (en) | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
EP3420413A1 (en) | 2016-02-22 | 2019-01-02 | Real View Imaging Ltd. | A method and system for displaying holographic images within a real object |
US9639935B1 (en) | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
CN108604391B (zh) | 2016-05-29 | 2022-06-14 | 谷歌有限责任公司 | 基于虚拟/增强现实***中的深度信息的时间扭曲调整 |
US10366536B2 (en) | 2016-06-28 | 2019-07-30 | Microsoft Technology Licensing, Llc | Infinite far-field depth perception for near-field objects in virtual environments |
KR20240009543A (ko) | 2016-08-02 | 2024-01-22 | 매직 립, 인코포레이티드 | 고정-거리 가상 및 증강 현실 시스템들 및 방법들 |
US11017712B2 (en) * | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
CA2976464A1 (en) | 2016-08-16 | 2018-02-16 | Sergi Berna Sague | Method and system for wireless location and movement mapping, tracking and analytics |
CN109863533B (zh) * | 2016-08-22 | 2024-03-15 | 奇跃公司 | 虚拟、增强和混合现实***和方法 |
US10318115B2 (en) | 2016-10-14 | 2019-06-11 | OneMarket Network LLC | System and method for presenting optimized map labels |
CN106502427B (zh) * | 2016-12-15 | 2023-12-01 | 北京国承万通信息科技有限公司 | 虚拟现实***及其场景呈现方法 |
US10942252B2 (en) | 2016-12-26 | 2021-03-09 | Htc Corporation | Tracking system and tracking method |
US10330936B2 (en) | 2017-01-19 | 2019-06-25 | Facebook Technologies, Llc | Focal surface display |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
KR102359978B1 (ko) | 2017-03-17 | 2022-02-07 | 매직 립, 인코포레이티드 | 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 |
US10762598B2 (en) | 2017-03-17 | 2020-09-01 | Magic Leap, Inc. | Mixed reality system with color virtual content warping and method of generating virtual content using same |
US10991280B2 (en) * | 2017-05-01 | 2021-04-27 | Pure Depth Limited | Head tracking based field sequential saccadic break up reduction |
US10620710B2 (en) | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
GB201709752D0 (en) | 2017-06-19 | 2017-08-02 | Advanced Risc Mach Ltd | Graphics processing systems |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
US10403032B2 (en) | 2017-08-22 | 2019-09-03 | Qualcomm Incorporated | Rendering an image from computer graphics using two rendering computing devices |
US10445922B2 (en) | 2017-08-31 | 2019-10-15 | Intel Corporation | Last-level projection method and apparatus for virtual and augmented reality |
US10529086B2 (en) | 2017-11-22 | 2020-01-07 | Futurewei Technologies, Inc. | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system |
US10481689B1 (en) | 2018-01-10 | 2019-11-19 | Electronic Arts Inc. | Motion capture glove |
US10861215B2 (en) | 2018-04-30 | 2020-12-08 | Qualcomm Incorporated | Asynchronous time and space warp with determination of region of interest |
JP7304934B2 (ja) | 2018-07-23 | 2023-07-07 | マジック リープ, インコーポレイテッド | 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 |
US11176901B1 (en) * | 2019-08-13 | 2021-11-16 | Facebook Technologies, Llc. | Pan-warping and modifying sub-frames with an up-sampled frame rate |
US10843067B1 (en) | 2019-10-04 | 2020-11-24 | Varjo Technologies Oy | Input device, system, and method |
-
2018
- 2018-03-16 US US15/924,078 patent/US10762598B2/en active Active
- 2018-03-16 WO PCT/US2018/023011 patent/WO2018170482A1/en active Application Filing
- 2018-03-16 KR KR1020197029900A patent/KR102366781B1/ko active IP Right Grant
- 2018-03-16 IL IL298822A patent/IL298822A/en unknown
- 2018-03-16 CN CN201880018310.2A patent/CN110402425B/zh active Active
- 2018-03-16 KR KR1020227005613A patent/KR102594063B1/ko active IP Right Grant
- 2018-03-16 AU AU2018234921A patent/AU2018234921B2/en active Active
- 2018-03-16 EP EP18767086.4A patent/EP3596705A4/en active Pending
- 2018-03-16 CN CN202311697587.1A patent/CN117873313A/zh active Pending
- 2018-03-16 JP JP2019550189A patent/JP7009494B2/ja active Active
- 2018-03-16 CA CA3055218A patent/CA3055218A1/en active Pending
- 2018-03-16 KR KR1020237036095A patent/KR20230149347A/ko active Application Filing
-
2019
- 2019-08-27 IL IL268962A patent/IL268962B/en unknown
-
2020
- 2020-07-23 US US16/937,510 patent/US11315214B2/en active Active
-
2021
- 2021-12-24 AU AU2021290369A patent/AU2021290369B2/en active Active
-
2022
- 2022-01-12 JP JP2022002800A patent/JP7096450B2/ja active Active
- 2022-02-02 IL IL290308A patent/IL290308B2/en unknown
- 2022-03-01 US US17/652,964 patent/US11978175B2/en active Active
- 2022-06-23 JP JP2022100963A patent/JP7407869B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140176591A1 (en) * | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
US20150002542A1 (en) * | 2013-06-28 | 2015-01-01 | Calvin Chan | Reprojection oled display for augmented reality experiences |
Also Published As
Publication number | Publication date |
---|---|
IL290308A (en) | 2022-04-01 |
KR102594063B1 (ko) | 2023-10-24 |
JP2022132292A (ja) | 2022-09-08 |
KR20220027278A (ko) | 2022-03-07 |
IL290308B1 (en) | 2023-01-01 |
WO2018170482A1 (en) | 2018-09-20 |
US10762598B2 (en) | 2020-09-01 |
US20180268519A1 (en) | 2018-09-20 |
AU2021290369A1 (en) | 2022-02-03 |
US20220188971A1 (en) | 2022-06-16 |
US11315214B2 (en) | 2022-04-26 |
AU2018234921A1 (en) | 2019-09-19 |
EP3596705A1 (en) | 2020-01-22 |
KR20230149347A (ko) | 2023-10-26 |
JP7407869B2 (ja) | 2024-01-04 |
IL298822A (en) | 2023-02-01 |
CN110402425A (zh) | 2019-11-01 |
US20200357094A1 (en) | 2020-11-12 |
CN110402425B (zh) | 2024-01-09 |
JP2022062032A (ja) | 2022-04-19 |
JP7009494B2 (ja) | 2022-01-25 |
AU2018234921B2 (en) | 2021-10-07 |
JP7096450B2 (ja) | 2022-07-05 |
US11978175B2 (en) | 2024-05-07 |
KR102366781B1 (ko) | 2022-02-22 |
IL290308B2 (en) | 2023-05-01 |
IL268962A (en) | 2019-10-31 |
IL268962B (en) | 2022-03-01 |
KR20190125455A (ko) | 2019-11-06 |
AU2021290369B2 (en) | 2022-10-20 |
CN117873313A (zh) | 2024-04-12 |
EP3596705A4 (en) | 2020-01-22 |
CA3055218A1 (en) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7407869B2 (ja) | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 | |
US11410269B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
JP7304934B2 (ja) | 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 | |
AU2022200841B2 (en) | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210315 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210315 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7009494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |