JP2023514573A - ツールブリッジ - Google Patents
ツールブリッジ Download PDFInfo
- Publication number
- JP2023514573A JP2023514573A JP2022548904A JP2022548904A JP2023514573A JP 2023514573 A JP2023514573 A JP 2023514573A JP 2022548904 A JP2022548904 A JP 2022548904A JP 2022548904 A JP2022548904 A JP 2022548904A JP 2023514573 A JP2023514573 A JP 2023514573A
- Authority
- JP
- Japan
- Prior art keywords
- data
- virtual content
- virtual
- content
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 67
- 230000008859 change Effects 0.000 claims description 7
- 230000002085 persistent effect Effects 0.000 description 35
- 230000008569 process Effects 0.000 description 29
- 210000003128 head Anatomy 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 201000003152 motion sickness Diseases 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000219357 Cactaceae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000153282 Theope Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 208000004209 confusion Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 206010013395 disorientation Diseases 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 150000003014 phosphoric acid esters Chemical class 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
- G06F30/31—Design entry, e.g. editors specifically adapted for circuit design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
仮想コンテンツを共有および同期させるためのシステムおよび方法が開示される。本方法は、ホストアプリケーションから、透過型ディスプレイを備えるウェアラブルデバイスを介して、第1のデータを備える第1のデータパッケージを受信するステップと、第1のデータに基づいて、仮想コンテンツを識別するステップと、透過型ディスプレイを介して、仮想コンテンツのビューを提示するステップと、ウェアラブルデバイスを介して、仮想コンテンツにダイレクトされる第1のユーザ入力を受信するステップと、第1のデータおよび第1のユーザ入力に基づいて、第2のデータを生成するステップと、ホストアプリケーションに、ウェアラブルデバイスを介して、第2のデータを備える第2のデータパッケージを送信するステップとを含んでもよい。
Description
(関連出願の相互参照)
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2020年2月14日に出願された、米国仮出願第62/976,995号の利益を請求する。
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2020年2月14日に出願された、米国仮出願第62/976,995号の利益を請求する。
本開示は、一般に、仮想コンテンツを共有および同期させるためのシステムおよび方法に関し、特に、複合現実環境内で仮想コンテンツを共有および同期させるためのシステムおよび方法に関する。
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム(仮想環境が、ゲーム世界を表し得る)、マップ(仮想環境が、ナビゲートされるべき地形を表し得る)、シミュレーション(仮想環境が、実環境をシミュレートし得る)、デジタルストーリーテリング(仮想キャラクタが、仮想環境内で相互に相互作用し得る)、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ(例えば、2Dディスプレイ画面)およびオーディオシステム(例えば、固定スピーカ)は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
仮想現実(「VR」)、拡張現実(「AR」)、複合現実(「MR」)、および関連技術(集合的に、「XR」)は、XRシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、VR、AR、およびMRシステム間の特異性を考慮する(但し、いくつかのシステムは、一側面(例えば、視覚的側面)では、VRとしてカテゴリ化され、同時に、別の側面(例えば、オーディオ側面)では、ARまたはMRとしてカテゴリ化され得る)。本明細書で使用されるように、VRシステムは、少なくとも1つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、VRシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、VRシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する(減衰させる)。
VRシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。1つの短所は、仮想環境内のユーザの視野が、(仮想環境ではなく)実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢(そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである)が直接可視ではない場合、VR環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全3D仮想環境を提示しなければならない、VRシステムに課される算出負担(例えば、記憶、処理力)である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、VRシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、VRシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
本明細書で使用されるように、ARシステムは、少なくとも1つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ARシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ARシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、MRシステムは、ARシステムと同様に、少なくとも1つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、MRシステム内の仮想環境が、少なくとも1つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい(顔の表情等を用いて)。実環境の提示を維持することによって、ARおよびMRシステムは、VRシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー(ユーザ自身の身体を含む)が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された3D環境を提示する必要がないため、低減される。さらに、ARおよびMRシステムは、実世界感覚入力(例えば、景色、オブジェクト、および他のユーザのビューおよび音)を利用して、その入力を拡張させる、新しい用途を作成することができる。
XRシステムは、特に、コンテンツ作成、特に、3Dコンテンツ作成のために有用であり得る。例えば、コンピュータ支援設計(「CAD」)ソフトウェアのユーザは、日常的に、3D仮想コンテンツを作成する、操作する、および/または注釈を付け得る。しかしながら、3D仮想コンテンツを2D画面上で用いた作業は、困難であり得る。キーボードおよびマウスを使用して、3Dコンテンツを再位置付けすることは、2Dツールを用いて3Dコンテンツを操作することの固有の限界のため、煩わしく、非直感的であり得る。他方で、XRシステムは、有意に優れた視認体験を提供し得る。例えば、XRシステムは、3D仮想コンテンツを3次元で表示することが可能であり得る。XRユーザは、3D仮想モデルが実オブジェクトであるかのように、3Dモデルの周囲を歩き回り、それを異なる角度から観察することが可能であり得る。瞬時に、実際のものであるかのように仮想モデルを見せる能力は、開発サイクルを有意に短縮し(例えば、モデルを物理的に製造するためのステップを省略することによって)、生産性を向上させ得る。したがって、XRシステムを使用して、3Dモデルを作成および/または操作し、既存のワークフローを補完および/または置換するためのシステムおよび方法を開発することが望ましくあり得る。
XRシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、いくつかのXRシステムでは、対応する実環境を向上させる、改良する、または改変する、仮想環境を提示することが望ましい。本開示は、複数のXRシステムを横断して仮想オブジェクトの一貫した設置を有効にする、XRシステムに関する。
本開示の実施例は、仮想コンテンツを共有および同期させるためのシステムおよび方法を説明する。本開示の実施例によると、本方法は、ホストアプリケーションから、透過型ディスプレイを備える、ウェアラブルデバイスを介して、第1のデータを備える、第1のデータパッケージを受信するステップと、第1のデータに基づいて、仮想コンテンツを識別するステップと、透過型ディスプレイを介して、仮想コンテンツのビューを提示するステップと、ウェアラブルデバイスを介して、仮想コンテンツにダイレクトされる、第1のユーザ入力を受信するステップと、第1のデータおよび第1のユーザ入力に基づいて、第2のデータを生成するステップと、ホストアプリケーションに、ウェアラブルデバイスを介して、第2のデータを備える、第2のデータパッケージを送信するステップとを含んでもよく、ホストアプリケーションは、ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、ウェアラブルデバイスと通信するように構成される。
詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
複合現実環境
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の3次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から3つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、3次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路(例えば、プロセッサ)は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第1の時間t0において、仮想環境と関連付けられるデータおよび/またはユーザによって提供される入力に基づいて、第2の時間t1における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間t0において、第1の座標に位置し、あるプログラムされた物理的パラメータ(例えば、質量、摩擦係数)を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間t1におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および/または任意の好適な入力を使用して、時間t1における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア(例えば、スクリプト)、仮想環境内の信号(例えば、オーディオ信号)の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ(例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ)を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト(無生物オブジェクト、人々、動物、光等の表現を含み得る)を含んでもよい。プロセッサは、仮想環境のビュー(例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する)を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに1つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい(例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る)、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、1つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび/または1つまたはそれを上回るスピーカ(例えば、ウェアラブル頭部デバイスの中に組み込まれ得る)を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境(「MRE」)を提示することができる。いくつかの実施形態では、1つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、MREは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列(または他の好適な表現)によって相互に関連する。故に、単一座標(いくつかの実施例では、変換行列とともに)は、実環境内の第1の場所と、また、仮想環境内の第2の対応する場所とを定義し得、その逆も同様である。
MREでは、(例えば、MREと関連付けられる仮想環境内の)仮想オブジェクトは、(例えば、MREと関連付けられる実環境内の)実オブジェクトに対応し得る。例えば、MREの実環境が、実街灯柱(実オブジェクト)をある場所座標に含む場合、MREの仮想環境は、仮想街灯柱(仮想オブジェクト)を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい(街灯柱が略円筒形形状であり得ることを反映する)。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、MREのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、MREのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、MREの仮想環境内にのみ存在し得る。
いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、MRE内の実環境は、緑色の2本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、MRE内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の2本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性(色、腕の数)において、その対応する実オブジェクトに類似するが、他の特性(顔特徴、性格)において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動(例えば、人間の性格)をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物(例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ)であってもよい。
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、VRシステムと比較して、MREを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、VRシステムのユーザは、上記に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、MRシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、VRシステムと関連付けられる負の心理学的感覚(例えば、認知的不協和)および負の物理的感覚(例えば、乗り物酔い)を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
図1Aは、ユーザ110が複合現実システム112を使用する、例示的実環境100を図示する。複合現実システム112は、ディスプレイ(例えば、透過型ディスプレイ)および1つまたはそれを上回るスピーカと、例えば、下記に説明されるような1つまたはそれを上回るセンサ(例えば、カメラ)とを含んでもよい。示される実環境100は、その中にユーザ110が立っている、長方形の部屋104Aと、実オブジェクト122A(ランプ)、124A(テーブル)、126A(ソファ)、および128A(絵画)とを含む。部屋104Aはさらに、場所座標106を含み、これは、実環境100の原点と見なされ得る。図1Aに示されるように、その原点を点106(世界座標)に伴う、環境/世界座標系108(x-軸108X、y-軸108Y、およびz-軸108Zを備える)は、実環境100のための座標空間を定義し得る。いくつかの実施形態では、環境/世界座標系108の原点106は、複合現実システム112の電源がオンにされた場所に対応し得る。いくつかの実施形態では、環境/世界座標系108の原点106は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ110は、実環境100内の実オブジェクトと見なされ得る。同様に、ユーザ110の身体部分(例えば、手、足)は、実環境100内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点115(例えば、ユーザ/聴取者/頭部座標)に伴う、ユーザ/聴取者/頭部座標系114(x-軸114X、y-軸114Y、およびz-軸114Zを備える)は、その上に複合現実システム112が位置する、ユーザ/聴取者/頭部のための座標空間を定義し得る。ユーザ/聴取者/頭部座標系114の原点115は、複合現実システム112の1つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ/聴取者/頭部座標系114の原点115は、複合現実システム112の初期較正等の間、複合現実システム112のディスプレイに対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現が、ユーザ/聴取者/頭部座標系114空間と環境/世界座標系108空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標116および右耳座標117が、ユーザ/聴取者/頭部座標系114の原点115に対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現が、左耳座標116および右耳座標117とユーザ/聴取者/頭部座標系114空間との間の変換を特性評価することができる。ユーザ/聴取者/頭部座標系114は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境/世界座標系108に対する場所の表現を簡略化することができる。同時位置特定およびマッピング(SLAM)、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系114と環境座標系108との間の変換が、リアルタイムで決定および更新されることができる。
図1Bは、実環境100に対応する、例示的仮想環境130を図示する。示される仮想環境130は、実長方形部屋104Aに対応する仮想長方形部屋104Bと、実オブジェクト122Aに対応する仮想オブジェクト122Bと、実オブジェクト124Aに対応する仮想オブジェクト124Bと、実オブジェクト126Aに対応する仮想オブジェクト126Bとを含む。仮想オブジェクト122B、124B、126Bと関連付けられるメタデータは、対応する実オブジェクト122A、124A、126Aから導出される情報を含むことができる。仮想環境130は、加えて、仮想モンスタ132を含み、これは、実環境100内の任意の実オブジェクトに対応しない。実環境100内の実オブジェクト128Aは、仮想環境130内の任意の仮想オブジェクトに対応しない。その原点を点134(持続的座標)に伴う、持続的座標系133(x-軸133X、y-軸133Y、およびz-軸133Zを備える)は、仮想コンテンツのための座標空間を定義し得る。持続的座標系133の原点134は、実オブジェクト126A等の1つまたはそれを上回る実オブジェクトと相対的に/それに対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現は、持続的座標系133空間と環境/世界座標系108空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト122B、124B、126B、および132はそれぞれ、持続的座標系133の原点134に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト122B、124B、126B、および132はそれぞれ、1つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。
持続座標データは、物理的環境に対して存続する、座標データであってもよい。持続座標データは、MRシステム(例えば、MRシステム112、200)によって使用され、持続仮想コンテンツを設置してもよく、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動に結び付けられなくてもよい。例えば、2次元画面は、画面上の位置に対してのみ仮想オブジェクトを表示してもよい。2次元画面が移動するにつれて、仮想コンテンツは、画面とともに移動してもよい。いくつかの実施形態では、持続仮想コンテンツは、部屋の角に表示されてもよい。MRユーザが、角を見ると、仮想コンテンツが見え、角から眼を逸らし(仮想コンテンツは、もはや可視ではなくなり得る)、視線を戻すと、仮想コンテンツが角に見え得る(実オブジェクトが挙動し得る方法に類似する)。
いくつかの実施形態では、持続座標データ(例えば、持続座標系)は、原点と、3つの軸とを含むことができる。例えば、持続座標系は、MRシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から出て、部屋に再進入する等し得るが、持続座標系は、部屋の中心に留まり得る(例えば、物理的環境に対して存続するため)。いくつかの実施形態では、仮想オブジェクトは、持続座標データへの変換を使用して、表示されてもよく、これは、持続仮想コンテンツを表示することを有効にし得る。いくつかの実施形態では、MRシステムは、同時位置特定およびマッピングを使用して、持続座標データを生成してもよい(例えば、MRシステムは、持続座標系を空間内の点に割り当ててもよい)。いくつかの実施形態では、MRシステムは、持続座標データを規則的インターバルで生成することによって、環境をマッピングしてもよい(例えば、MRシステムは、持続座標系を、持続座標系が少なくとも、別の持続座標系の5フィート以内にあり得る、グリッド内に割り当ててもよい)。
いくつかの実施形態では、持続座標データは、MRシステムによって生成され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続座標データを同期させるように構成されてもよい。例えば、複数のMRシステムは、同一部屋と持続座標データをマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続座標データを生成してもよく、これは、1つまたはそれを上回る観察に基づいてもよい。いくつかの実施形態では、規準持続座標データは、持続座標データの単一観察より正確および/または信頼性があり得る。いくつかの実施形態では、規準持続座標データは、1つまたはそれを上回るMRシステムに伝送されてもよい。例えば、MRシステムは、画像認識および/または場所データを使用して、対応する規準持続座標データを有する、部屋内に位置することを認識してもよい(例えば、他のMRシステムが、その部屋を以前にマッピングしているため)。いくつかの実施形態では、MRシステムは、その場所に対応する規準持続座標データを遠隔サーバから受信してもよい。
図1Aおよび1Bに関して、環境/世界座標系108は、実環境100および仮想環境130の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点106に有する。さらに、座標空間は、同一の3つの直交軸(108X、108Y、108Z)によって定義される。故に、実環境100内の第1の場所および仮想環境130内の第2の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示することを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では(図示せず)、行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
図1Cは、同時に、実環境100および仮想環境130の側面をユーザ110に複合現実システム112を介して提示する、例示的MRE150を図示する。示される実施例では、MRE150は、同時に、ユーザ110に、実環境100からの実オブジェクト122A、124A、126A、および128A(例えば、複合現実システム112のディスプレイの透過性部分を介して)と、仮想環境130からの仮想オブジェクト122B、124B、126B、および132(例えば、複合現実システム112のディスプレイのアクティブディスプレイ部分を介して)とを提示する。上記のように、原点106は、MRE150に対応する座標空間のための原点として作用し、座標系108は、座標空間のためのx-軸、y-軸、およびz-軸を定義する。
示される実施例では、複合現実オブジェクトは、座標空間108内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト(すなわち、122A/122B、124A/124B、126A/126B)を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ110に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る(仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等)。いくつかの実施例では、仮想オブジェクト(122B、124B、および/または126B)は、対応する実オブジェクト(122A、124A、および/または126A)をオクルードするように、表示されてもよい(例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して)。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る(無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等)。
いくつかの実施例では、実オブジェクト(例えば、122A、124A、126A)は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの2次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、MRE150では、仮想モンスタ132は、モンスタがMRE150の周囲を歩き回るにつれて生成される、足音効果等の1つまたはそれを上回るオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム112のプロセッサは、MRE150内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム112内に含まれる1つまたはそれを上回るスピーカおよび/または1つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ110に提示することができる。
例示的複合現実システム
例示的複合現実システム112は、ディスプレイ(接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを含み得る)と、左および右スピーカ(例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる)と、慣性測定ユニット(IMU)(例えば、頭部デバイスのつるのアームに搭載される)と、直交コイル電磁受信機(例えば、左つる部品に搭載される)と、ユーザから離れるように配向される、左および右カメラ(例えば、深度(飛行時間)カメラ)と、ユーザに向かって配向される、左および右眼カメラ(例えば、ユーザの眼移動を検出するため)とを備える、ウェアラブル頭部デバイス(例えば、ウェアラブル拡張現実または複合現実頭部デバイス)を含むことができる。しかしながら、複合現実システム112は、任意の好適なディスプレイ技術および任意の好適なセンサ(例えば、光学、赤外線、音響、LIDAR、EOG、GPS、磁気)を組み込むことができる。加えて、複合現実システム112は、ネットワーキング特徴(例えば、Wi-Fi能力)を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム112はさらに、バッテリ(ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい)と、プロセッサと、メモリとを含んでもよい。複合現実システム112のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、IMUまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング(SLAM)および/またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム112はまた、ハンドヘルドコントローラ300、および/または下記にさらに説明されるように、ウェアラブルベルトパックであり得る、補助ユニット320を含んでもよい。
図2A-2Dは、MRE(MRE150に対応し得る)または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム200(複合現実システム112に対応し得る)のコンポーネントを図示する。図2Aは、例示的複合現実システム200内に含まれるウェアラブル頭部デバイス2102の斜視図を図示する。図2Bは、ユーザの頭部2202上に装着されるウェアラブル頭部デバイス2102の上面図を図示する。図2Cは、ウェアラブル頭部デバイス2102の正面図を図示する。図2Dは、ウェアラブル頭部デバイス2102の例示的接眼レンズ2110の縁視図を図示する。図2A-2Cに示されるように、例示的ウェアラブル頭部デバイス2102は、例示的左接眼レンズ(例えば、左透明導波管セット接眼レンズ)2108と、例示的右接眼レンズ(例えば、右透明導波管セット接眼レンズ)2110とを含む。各接眼レンズ2108および2110は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ(例えば、画像毎に変調された光を介して)を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ2108は、左内部結合格子セット2112と、左直交瞳拡張(OPE)格子セット2120と、左出射(出力)瞳拡張(EPE)格子セット2122とを含むことができる。同様に、右接眼レンズ2110は、右内部結合格子セット2118と、右OPE格子セット2114と、右EPE格子セット2116とを含むことができる。画像毎に変調された光は、内部結合格子2112および2118、OPE2114および2120、およびEPE2116および2122を介して、ユーザの眼に転送されることができる。各内部結合格子セット2112、2118は、光をその対応するOPE格子セット2120、2114に向かって偏向させるように構成されることができる。各OPE格子セット2120、2114は、光をその関連付けられるEPE2122、2116に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各EPE2122、2116は、その対応するOPE格子セット2120、2114から受信された光の少なくとも一部を、接眼レンズ2108、2110の背後に定義される、ユーザアイボックス位置(図示せず)に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット2112および2118、OPE格子セット2114および2120、およびEPE格子セット2116および2122の代わりに、接眼レンズ2108および2110は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および/または屈折および反射性特徴の他の配列を含むことができる。
いくつかの実施例では、ウェアラブル頭部デバイス2102は、左つるのアーム2130と、右つるのアーム2132とを含むことができ、左つるのアーム2130は、左スピーカ2134を含み、右つるのアーム2132は、右スピーカ2136を含む。直交コイル電磁受信機2138は、左こめかみ部品またはウェアラブル頭部ユニット2102内の別の好適な場所に位置することができる。慣性測定ユニット(IMU)2140は、右つるのアーム2132またはウェアラブル頭部デバイス2102内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス2102はまた、左深度(例えば、飛行時間)カメラ2142と、右深度カメラ2144とを含むことができる。深度カメラ2142、2144は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
図2A-2Dに示される実施例では、画像毎に変調された光の左源2124は、左内部結合格子セット2112を通して、左接眼レンズ2108の中に光学的に結合されることができ、画像毎に変調された光の右源2126は、右内部結合格子セット2118を通して、右接眼レンズ2110の中に光学的に結合されることができる。画像毎に変調された光の源2124、2126は、例えば、光ファイバスキャナ、デジタル光処理(DLP)チップまたはシリコン上液晶(LCoS)変調器等の電子光変調器を含む、プロジェクタ、または側面あたり1つまたはそれを上回るレンズを使用して、内部結合格子セット2112、2118の中に結合される、マイクロ発光ダイオード(μLED)またはマイクロ有機発光ダイオード(μOLED)パネル等の発光型ディスプレイを含むことができる。入力結合格子セット2112、2118は、画像毎に変調された光の源2124、2126からの光を、接眼レンズ2108、2110のための全内部反射(TIR)に関する臨界角を上回る角度に偏向させることができる。OPE格子セット2114、2120は、伝搬する光をTIRによってEPE格子セット2116、2122に向かって下方に漸次的に偏向させる。EPE格子セット2116、2122は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
いくつかの実施例では、図2Dに示されるように、左接眼レンズ2108および右接眼レンズ2110はそれぞれ、複数の導波管2402を含む。例えば、各接眼レンズ2108、2110は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル(例えば、赤色、青色、および緑色)専用である。いくつかの実施例では、各接眼レンズ2108、2110は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離(例えば、波面曲率の逆数に対応する距離)に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、EPE格子セット2116、2122は、各EPEを横断して出射する光のPoyntingベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
いくつかの実施例では、表示されるコンテンツが3次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器2124、2126および接眼レンズ2108、2110を通して、ユーザに提示されることができる。3次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管(したがって、対応する波面曲率)を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節(例えば、オブジェクト距離依存焦点)との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
図2Dは、例示的ウェアラブル頭部デバイス2102の右接眼レンズ2110の上部からの縁視図を図示する。図2Dに示されるように、複数の導波管2402は、3つの導波管の第1のサブセット2404と、3つの導波管の第2のサブセット2406とを含むことができる。導波管の2つのサブセット2404、2406は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるEPE格子によって区別されることができる。導波管のサブセット2404、2406のそれぞれ内において、各導波管は、異なるスペクトルチャネル(例えば、赤色、緑色、および青色スペクトルチャネルのうちの1つ)をユーザの右眼2206に結合するために使用されることができる。(図2Dには図示されないが、左接眼レンズ2108の構造は、右接眼レンズ2110の構造に類似する。)
図3Aは、複合現実システム200の例示的ハンドヘルドコントローラコンポーネント300を図示する。いくつかの実施例では、ハンドヘルドコントローラ300は、把持部分346と、上部表面348に沿って配置される、1つまたはそれを上回るボタン350とを含む。いくつかの実施例では、ボタン350は、例えば、カメラまたは他の光学センサ(複合現実システム200の頭部ユニット(例えば、ウェアラブル頭部デバイス2102)内に搭載され得る)と併せて、ハンドヘルドコントローラ300の6自由度(6DOF)運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ300は、ウェアラブル頭部デバイス2102に対する位置または配向等の位置または配向を検出するための追跡コンポーネント(例えば、IMUまたは他の好適なセンサ)を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ300のハンドル内に位置付けられてもよく、および/またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ300は、ボタンの押下状態、またはハンドヘルドコントローラ300の位置、配向、および/または運動(例えば、IMUを介して)のうちの1つまたはそれを上回るものに対応する、1つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム200のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および/または移動(さらに言うと、コントローラを保持するユーザの手の位置、配向、および/または移動)に対応し得る。そのような入力はまた、ユーザがボタン350を押下したことに対応し得る。
図3Bは、複合現実システム200の例示的補助ユニット320を図示する。補助ユニット320は、エネルギーを提供し、システム200を動作するためのバッテリを含むことができ、プログラムを実行し、システム200を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット320は、補助ユニット320をユーザのベルトに取り付ける等のためのクリップ2128を含む。他の形状因子も、補助ユニット320のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット320は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス2102に結合される。補助ユニット320とウェアラブル頭部デバイス2102との間の無線接続もまた、使用されることができる。
いくつかの実施例では、複合現実システム200は、1つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス2102に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ300および/または補助ユニット320に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
図4は、上記に説明される複合現実システム200(図1に関する複合現実システム112に対応し得る)等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図4に示されるように、例示的ハンドヘルドコントローラ400B(ハンドヘルドコントローラ300(「トーテム」)に対応し得る)は、トーテム/ウェアラブル頭部デバイス6自由度(6DOF)トーテムサブシステム404Aを含み、例示的ウェアラブル頭部デバイス400A(ウェアラブル頭部デバイス2102に対応し得る)は、トーテム/ウェアラブル頭部デバイス6DOFサブシステム404Bを含む。実施例では、6DOFトーテムサブシステム404Aおよび6DOFサブシステム404Bは、協働し、ウェアラブル頭部デバイス400Aに対するハンドヘルドコントローラ400Bの6つの座標(例えば、3つの平行移動方向におけるオフセットおよび3つの軸に沿った回転)を決定する。6自由度は、ウェアラブル頭部デバイス400Aの座標系に対して表されてもよい。3つの平行移動オフセットは、そのような座標系内におけるX、Y、およびZオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス400A、ウェアラブル頭部デバイス400A内に含まれる、1つまたはそれを上回る深度カメラ444(および/または1つまたはそれを上回る非深度カメラ)、および/または1つまたはそれを上回る光学標的(例えば、上記に説明されるようなハンドヘルドコントローラ400Bのボタン350またはハンドヘルドコントローラ400B内に含まれる専用光学標的)は、6DOF追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ400Bは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス400Aは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス400Aおよびハンドヘルドコントローラ400Bはそれぞれ、3つの直交して配向されるソレノイドのセットを含み、これは、3つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される3つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ400Bに対するウェアラブル頭部デバイス400Aの6DOFが、決定され得る。加えて、6DOFトーテムサブシステム404Aは、改良された正確度および/またはハンドヘルドコントローラ400Bの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット(IMU)を含むことができる。
いくつかの実施例では、例えば、座標系108に対するウェアラブル頭部デバイス400Aの移動を補償するために、座標をローカル座標空間(例えば、ウェアラブル頭部デバイス400Aに対して固定される座標空間)から慣性座標空間(例えば、実環境に対して固定される座標空間)に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス400Aのディスプレイが、ディスプレイ上の固定位置および配向(例えば、ディスプレイの右下角における同一位置)ではなく仮想オブジェクトを実環境に対する期待される位置および配向に提示し(例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物)、仮想オブジェクトが実環境内に存在する(かつ、例えば、ウェアラブル頭部デバイス400Aが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない)という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系108に対するウェアラブル頭部デバイス400Aの変換を決定するために、SLAMおよび/またはビジュアルオドメトリプロシージャを使用して、深度カメラ444からの画像を処理することによって決定されることができる。図4に示される実施例では、深度カメラ444は、SLAM/ビジュアルオドメトリブロック406に結合され、画像をブロック406に提供することができる。SLAM/ビジュアルオドメトリブロック406実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間(例えば、慣性座標空間)との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、IMU409から取得される。IMU409からの情報は、SLAM/ビジュアルオドメトリブロック406からの情報と統合され、改良された正確度および/またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
いくつかの実施例では、深度カメラ444は、ウェアラブル頭部デバイス400Aのプロセッサ内に実装され得る、手のジェスチャトラッカ411に、3D画像を供給することができる。手のジェスチャトラッカ411は、例えば、深度カメラ444から受信された3D画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
いくつかの実施例では、1つまたはそれを上回るプロセッサ416は、ウェアラブル頭部デバイスの6DOFヘッドギヤサブシステム404B、IMU409、SLAM/ビジュアルオドメトリブロック406、深度カメラ444、および/または手のジェスチャトラッカ411からのデータを受信するように構成されてもよい。プロセッサ416はまた、制御信号を6DOFトーテムシステム404Aに送信し、そこから受信することができる。プロセッサ416は、ハンドヘルドコントローラ400Bがテザリングされない実施例等では、無線で、6DOFトーテムシステム404Aに結合されてもよい。プロセッサ416はさらに、オーディオ/視覚的コンテンツメモリ418、グラフィカル処理ユニット(GPU)420、および/またはデジタル信号プロセッサ(DSP)オーディオ空間化装置422等の付加的コンポーネントと通信してもよい。DSPオーディオ空間化装置422は、頭部関連伝達関数(HRTF)メモリ425に結合されてもよい。GPU420は、画像毎に変調された光の左源424に結合される、左チャネル出力と、画像毎に変調された光の右源426に結合される、右チャネル出力とを含むことができる。GPU420は、例えば、図2A-2Dに関して上記に説明されるように、立体視画像データを画像毎に変調された光の源424、426に出力することができる。DSPオーディオ空間化装置422は、オーディオを左スピーカ412および/または右スピーカ414に出力することができる。DSPオーディオ空間化装置422は、プロセッサ419から、ユーザから仮想音源(例えば、ハンドヘルドコントローラ320を介して、ユーザによって移動され得る)への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、DSPオーディオ空間化装置422は、対応するHRTFを決定することができる(例えば、HRTFにアクセスすることによって、または複数のHRTFを補間することによって)。DSPオーディオ空間化装置422は、次いで、決定されたHRTFを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの期待に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
図4に示されるようないくつかの実施例では、プロセッサ416、GPU420、DSPオーディオ空間化装置422、HRTFメモリ425、およびオーディオ/視覚的コンテンツメモリ418のうちの1つまたはそれを上回るものは、補助ユニット400C(上記に説明される補助ユニット320に対応し得る)内に含まれてもよい。補助ユニット400Cは、バッテリ427を含み、そのコンポーネントを給電し、および/または電力をウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス400Aのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
図4は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット400Cと関連付けられているような図4に提示される要素は、代わりに、ウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ400Bまたは補助ユニット400Cを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
ツールブリッジ
MRシステムは、仮想オブジェクト持続性を活用して、ユーザのための生産性ワークフローを向上させ得る。いくつかの実施形態では、仮想オブジェクト持続性は、仮想コンテンツが実際のものであるかのように、仮想コンテンツを表示する能力を含むことができる。例えば、仮想オブジェクトは、実テーブル上に静置されるように表示されてもよい。いくつかの実施形態では、ユーザは、仮想オブジェクトが実際にテーブル上に鎮座しているかのように、テーブルの周囲を歩き回り、仮想オブジェクトを異なる角度から観察し得る。仮想コンテンツを自然に視認し、および/またはそれと相互作用する、本能力は、他の方法より優れ得る。例えば、3Dモデルを2D画面上で視認することは、いくつかの次善策を要求し得る。ユーザは、コンピュータマウスを使用して、3Dモデルをドラッグし、異なる視認角度を表示する必要があり得る。しかしながら、3Dコンテンツを2D画面上に表示することの本質に起因して、そのような体験は、3Dコンテンツが意図するものではない方法でビューを変更させ得るため、煩わしくあり得る。いくつかの実施形態では、MRシステムはまた、複数のユーザが、3Dコンテンツ上で協働することを可能にしてもよい。例えば、同一3Dコンテンツ上で作業する、2人のユーザが、MRシステムを使用して、3次元空間内に投影された3Dコンテンツを視認してもよい。いくつかの実施形態では、3Dコンテンツは、MRシステムの両方のユーザのために同一方法で同期され、および/または位置付けられてもよい。ユーザは、次いで、3Dコンテンツの側面を参照し、動き回り、異なる角度で視認すること等によって、協働してもよい。
MRシステムは、3Dコンテンツを視認する際、2D画面より優れている場合があるが、いくつかのタスクは、他のコンピューティングシステム上で実施することがより効率的なままであり得る。例えば、複雑な3Dモデルシミュレーション、レンダリング等は、モバイルMRシステム内で容易に利用可能であり得るものより多くの算出パワーを要求し得る。いくつかの実施形態では、算出上複雑なタスクを、より多くの算出パワーを有し得、かつバッテリパックによって限定され得ない、デスクトップコンピュータのようなシステムにオフロードすることが、有益であり得る。
したがって、MRシステムと他のコンピューティングシステムを接続するためのシステムおよび方法を開発することが望ましくあり得る。シームレスな接続は、コンピューティングシステムが、モデルをレンダリングおよび/またはシミュレートし、仮想コンテンツを視認するためのMRシステムにプッシュすることを可能にし得る。いくつかの実施形態では、変更および/または注釈が、MRシステム上の仮想コンテンツに行われてもよく、変更および/または注釈は、接続されたコンピューティングシステムに戻るようにプッシュされることができる。MRシステムと他のコンピューティングシステムを接続するためのシステムおよび方法は、特に、生産性ワークフローのために有益であり得る。コンピュータ支援設計(「CAD」)ソフトウェアのユーザは、多くの反復を3Dモデル上に実施し得、CADユーザが、迅速に、変更を3Dモデルに行い、3D空間の変更を視認することを可能にすることが有益であり得る。いくつかの実施形態では、CADユーザが、3Dモデルを変更し、および/またはそれに注釈を付け(例えば、MRシステムを使用して)、変更および/または注釈を接続されたコンピューティングシステムにプッシュし、および/または変更/注釈を他のMRシステムと共有することが有益であり得る。
図5A-5Eは、いくつかの実施形態による、複数のコンピューティングシステムを横断して仮想コンテンツと作業するための例示的ワークフローを図示する。図5Aでは、コンピューティングシステム(例えば、デスクトップコンピュータ)502は、仮想コンテンツ504を含んでもよい。ユーザが、ソフトウェア(例えば、Maya、Autodesk等)を使用して、仮想コンテンツをコンピューティングシステム502上で作成し得、ユーザは、仮想コンテンツを3D空間内で視認することを所望し得る。いくつかの実施形態では、仮想コンテンツ504は、1つまたはそれを上回る3Dモデルであることができる。いくつかの実施形態では、仮想コンテンツ504は、1つまたはそれを上回る3Dモデルについてのメタデータを含むことができる。
図5Bでは、ユーザ506は、MRシステム(例えば、MRシステム112、200)を使用して、仮想コンテンツ504を受信してもよい。いくつかの実施形態では、仮想コンテンツ504は、MRシステムを使用して表示されてもよく、仮想コンテンツ504は、3D空間内に表示されてもよい。ユーザ506は、それを異なる角度から視認し、および/またはそれを操作する(例えば、それを拡大する、それ縮小する、一部を除去する、一部を追加する、それに注釈を付ける、および/または仮想コンテンツ504の他の性質を変更する)ことによって、仮想コンテンツ504と相互作用してもよい。
図5Cでは、ユーザ506およびユーザ508は、仮想コンテンツ504上で協働してもよい。いくつかの実施形態では、ユーザ506および508には、同一場所(例えば、仮想コンテンツ504が実際のものであるかのように、同一実世界場所)において、仮想コンテンツ504が見え得、これは、協働を促進し得る。いくつかの実施形態では、ユーザ506および508は、相互から遠隔であってもよく(例えば、彼らは、異なる部屋内に存在してもよい)、ユーザ506および508には、アンカポイント(また、協働するユーザに表示される他の仮想コンテンツのための位置基準としての役割を果たし得る)に対して同一位置において、仮想コンテンツ504が見え得る。例えば、ユーザ506は、仮想コンテンツ504の一部をポイントしてもよく、ユーザ508は、ユーザ506が仮想コンテンツ504の意図される部分をポイントしていることを観察してもよい。いくつかの実施形態では、ユーザ506および/または508は、それを異なる角度から視認し、および/またはそれを操作する(例えば、それを拡大する、それを縮小する、一部を除去する、一部を追加する、それに注釈を付ける、および/または仮想コンテンツ504の他の性質を変更する)ことによって、仮想コンテンツ504と相互作用してもよい。
図5Dでは、ユーザ506および/または508は、仮想コンテンツ504に対する変更を保存してもよい。例えば、ユーザ506および/または508は、仮想コンテンツ504と相互作用し、および/またはそれを修正している場合があり、仮想コンテンツ504を別のコンピューティングシステムにエクスポートすることを所望し得る。いくつかのタスクが、具体的システム上でより良好に実施され得るため、MRシステムから別のコンピューティングシステムへの容易な遷移を有効にすることが有益であり得る(例えば、MRシステムは、3Dモデルを視認し、および/またはそれにわずかな変更を行うために最良に装備され得、デスクトップコンピュータは、算出上高価な変更を3Dモデルに行うために最良に装備され得る)。
図5Eでは、仮想コンテンツ504は、コンピューティングシステム502上に提示されてもよく、これは、1つまたはそれを上回るMRシステムに接続されてもよい。いくつかの実施形態では、仮想コンテンツ504は、1つまたはそれを上回るMRシステムによって仮想コンテンツ504に行われた1つまたはそれを上回る変更を含んでもよい。
2人のユーザの協働が、描写されるが、任意の数の物理的配列内における任意の数のユーザが、仮想コンテンツ上で協働してもよいことが検討される。例えば、ユーザ506および508が、同一物理的環境(例えば、同一の第1の部屋)内に存在してもよく、ユーザ506および508には、仮想コンテンツがその物理的環境に対して同一位置に見え得る。並行して、第3のユーザが、異なる物理的環境(例えば、第2の部屋)内に存在し、また、同一仮想コンテンツが見え得る。いくつかの実施形態では、第3のユーザのための仮想コンテンツは、異なる実世界場所内に位置付けられてもよい(例えば、第3のユーザが異なる実世界場所に存在するという事実に起因して)。いくつかの実施形態では、共有仮想コンテンツは、第3のユーザのための第1のアンカポイントから変位されてもよく、変位は、第2のアンカポイントに対するユーザ506および508のための変位と同一であってもよい。
図6は、いくつかの実施形態による、例示的ツールブリッジを図示する。いくつかの実施形態では、コンピュータ616は、仮想コンテンツを含んでもよく、仮想コンテンツをMRシステム602(MRシステム112、200に対応し得る)に転送することが望ましくあり得る。いくつかの実施形態では、アプリケーション622(例えば、CADアプリケーションまたは3Dモデルを作成または編集することが可能な他のアプリケーション)は、MRシステム602(例えば、3Dモデル)に転送され、および/またはそれによって受信される、仮想コンテンツを管理してもよい。いくつかの実施形態では、完全仮想コンテンツが、コンピュータ616とMRシステム602との間で伝送されてもよい。いくつかの実施形態では、仮想コンテンツのコンポーネントが、コンピュータ616とMRシステム602との間で伝送されてもよい。例えば、3Dモデルのテクスチャが、MRシステムによって変更され得る場合、テクスチャ変更のみが、コンピュータ616に伝送されてもよい。いくつかの実施形態では、デルタファイルを伝送することは、完全仮想コンテンツを伝送するより効率的であり得る。
いくつかの実施形態では、アプリケーション622が、仮想コンテンツをツールブリッジ620に伝送し、および/またはそこから受信してもよい。ツールブリッジ620は、命令を実行するように構成される、1つまたはそれを上回るコンピュータシステムを含むことができる。いくつかの実施形態では、ツールブリッジ620は、アプリケーション622とインターフェースをとるように構成される、スクリプトであることができる。例えば、アプリケーション622は、CADアプリケーション(例えば、Maya)であってもよく、ツールブリッジ620は、3DモデルをデスクトップコンピュータからMRシステムに転送するために使用され得る、プラグインスクリプトを含むことができる。いくつかの実施形態では、ツールブリッジ620は、仮想コンテンツに対応する、データパッケージを生成してもよい。例えば、ツールブリッジ620は、仮想コンテンツのメタデータを含む、データパッケージを生成してもよい。いくつかの実施形態では、ツールブリッジ620は、仮想コンテンツを暗号化してもよい。いくつかの実施形態では、ツールブリッジ620は、仮想コンテンツのための所望の宛先に対応する、データを含む、データパッケージを生成してもよい。例えば、ツールブリッジ620は、仮想コンテンツが記憶されるべき、MRシステム602内のディレクトリ場所を規定してもよい。いくつかの実施形態では、ツールブリッジ620は、MRシステム620上のアプリケーションを仮想コンテンツのための宛先として規定してもよい。いくつかの実施形態では、ツールブリッジ620は、ペイロード(例えば、データパッケージのペイロード)がデルタファイルを含むことを示してもよい。いくつかの実施形態では、ツールブリッジ620は、ペイロードが独立型仮想コンテンツを含むことを示してもよい。いくつかの実施形態では、ツールブリッジ620はまた、受信されたデータパッケージを解析してもよい(下記のツールブリッジ612の説明参照)。
いくつかの実施形態では、ツールブリッジ620は、命令を実行するように構成されてもよく、これは、ランタイム環境内で起動してもよい。いくつかの実施形態では、ツールブリッジ620は、親プロセスのサブプロセスを実行するように構成されることができる。いくつかの実施形態では、ツールブリッジ620は、親プロセスのスレッドを実行するように構成されることができる。いくつかの実施形態では、ツールブリッジ620は、サービスを動作させるように構成されることができる(例えば、バックグラウンドオペレーティングシステムサービスとして)。いくつかの実施形態では、ツールブリッジ620によって実行される、プロセス、サブプロセス、スレッド、および/またはサービスは、ホストシステムのオペレーティングシステムが起動している間、継続的に起動するように構成されることができる(例えば、バックグラウンドで)。いくつかの実施形態では、ツールブリッジ620によって実行される、サービスは、親バックグラウンドサービスのインスタンス化であることができ、これは、1つまたはそれを上回るバックグラウンドプロセスおよび/またはサブプロセスに対するホストプロセスとしての役割を果たし得る。
いくつかの実施形態では、ツールブリッジ620は、データパッケージをデスクトップコンパニオンアプリケーション(「DCA」)サーバ618に伝送し、および/またはそこから受信してもよい。DCAサーバ618は、命令を実行するように構成される、1つまたはそれを上回るコンピュータシステムを含むことができ、コンピュータ616とMRシステム602との間のインターフェースとして機能してもよい。いくつかの実施形態では、DCAサーバ618は、DCAサービス614を管理および/または提供してもよく、これは、MRシステム602上で起動されてもよい。いくつかの実施形態では、MRシステム602は、命令を実行するように構成される、1つまたはそれを上回るコンピュータシステムを含んでもよい。いくつかの実施形態では、DCAサーバ618は、ネットワークソケットを管理および/または決定し、データパッケージを伝送し、および/またはデータパッケージを受信してもよい。
いくつかの実施形態では、DCAサーバ618は、命令を実行するように構成されてもよく、これは、ランタイム環境内で起動してもよい。いくつかの実施形態では、DCAサーバ618は、親プロセスのサブプロセスを実行するように構成されることができる。いくつかの実施形態では、DCAサーバ618は、親プロセスのスレッドを実行するように構成されることができる。いくつかの実施形態では、DCAサーバ618は、サービスを動作させるように構成されることができる(例えば、バックグラウンドオペレーティングシステムサービスとして)。いくつかの実施形態では、プロセス、DCAサーバ618によって実行される、サブプロセス、スレッド、および/またはサービスは、ホストシステムのオペレーティングシステムが起動している間、継続的に起動するように構成されることができる(例えば、バックグラウンドで)。いくつかの実施形態では、DCAサーバ618によって実行される、サービスは、親バックグラウンドサービスのインスタンス化であることができ、これは、1つまたはそれを上回るバックグラウンドプロセスおよび/またはサブプロセスに対するホストプロセスとしての役割を果たし得る。
いくつかの実施形態では、DCAサービス614は、命令を実行するように構成される、1つまたはそれを上回るコンピュータシステムを含んでもよく、データパッケージ(例えば、仮想コンテンツに対応する、データパッケージ)を受信および/または伝送するように構成されてもよい。いくつかの実施形態では、DCAサービス614は、データパッケージを3Dモデルライブラリ602に伝送し、および/またはそこからデータパッケージを受信するように構成されてもよい。
いくつかの実施形態では、DCAサービス614は、命令を実行するように構成されてもよく、これは、ランタイム環境内で起動してもよい。いくつかの実施形態では、DCAサービス614は、親プロセスのサブプロセスを実行するように構成されることができる。いくつかの実施形態では、DCAサービス614は、親プロセスのプロセスを実行するように構成されることができる。いくつかの実施形態では、DCAサービス614は、サービスを動作させるように構成されることができる(例えば、バックグラウンドオペレーティングシステムサービスとして)。いくつかの実施形態では、DCAサービス614によって実行される、プロセス、サブプロセス、スレッド、および/またはサービスは、ホストシステムのオペレーティングシステムが起動している間、継続的に起動するように構成されることができる(例えば、バックグラウンドで)。いくつかの実施形態では、DCAサービス614によって実行される、サービスは、親バックグラウンドサービスのインスタンス化であることができ、これは、1つまたはそれを上回るバックグラウンドプロセスおよび/またはサブプロセスに対するホストプロセスとしての役割を果たし得る。
いくつかの実施形態では、3Dモデルライブラリ604は、命令を実行するように構成される、1つまたはそれを上回るコンピュータシステムを含むことができる。例えば、3Dモデルライブラリ604は、プロセスを実行するように構成されてもよく、これは、ランタイム環境内で起動してもよい。いくつかの実施形態では、3Dモデルライブラリ604は、親プロセスのサブプロセスを実行するように構成されることができる。いくつかの実施形態では、3Dモデルライブラリ604は、親プロセスのプロセスを実行するように構成されることができる。いくつかの実施形態では、3Dモデルライブラリ604は、サービスを動作させるように構成されることができる(例えば、バックグラウンドオペレーティングシステムサービスとして)。いくつかの実施形態では、3Dモデルライブラリ604によって実行される、プロセス、サブプロセス、スレッド、および/またはサービスは、ホストシステムのオペレーティングシステムが起動している間、継続的に起動するように構成されることができる(例えば、バックグラウンドで)。いくつかの実施形態では、3Dモデルライブラリ604によって実行される、サービスは、親バックグラウンドサービスのインスタンス化であることができ、これは、1つまたはそれを上回るバックグラウンドプロセスおよび/またはサブプロセスに対するホストプロセスとしての役割を果たし得る。
3Dモデルライブラリ604は、仮想コンテンツ(例えば、3Dモデル)の編集および/または仮想コンテンツの他のシステムとの同期を管理することができる。いくつかの実施形態では、3Dモデルライブラリ604は、ツールブリッジ612を含むことができる。いくつかの実施形態では、ツールブリッジ612は、データパッケージを受信および/または伝送するように構成されてもよい。いくつかの実施形態では、ツールブリッジ612は、受信されたデータパッケージを解析してもよい。例えば、ツールブリッジ612は、データパッケージ内に含有される情報を解読してもよい。いくつかの実施形態では、ツールブリッジ612は、宛先に対応する、データを抽出してもよい。例えば、ツールブリッジ612は、ファイルディレクトリ場所を抽出し、データパッケージに対応するデータをその場所に記憶してもよい。いくつかの実施形態では、ツールブリッジ612は、データパッケージのペイロードがデルタファイルを含むことを決定してもよい。いくつかの実施形態では、ツールブリッジ612は、データパッケージのペイロードが独立型仮想コンテンツを含むことを決定してもよい。いくつかの実施形態では、ツールブリッジ612は、データパッケージを生成してもよい。
いくつかの実施形態では、3Dモデルライブラリ604は、情報(例えば、共有仮想コンテンツに対応する)をアプリケーション603に伝送してもよい。いくつかの実施形態では、MRシステム602は、仮想コンテンツ(例えば、ギャラリーアプリケーションであり得る、アプリケーション603を使用して)を表示してもよい。いくつかの実施形態では、アプリケーション603は、コンピュータ616から受信されたデータパッケージに対応する、更新された仮想コンテンツを表示してもよい。いくつかの実施形態では、アプリケーション603は、以前に表示された仮想コンテンツと新しく受信された仮想コンテンツを置換してもよい。いくつかの実施形態では、アプリケーション603は、コンピュータ616から受信されたデルタファイルに基づいて、以前に表示された仮想コンテンツを修正してもよい。いくつかの実施形態では、ユーザは、仮想コンテンツを修正してもよい(例えば、仮想コンテンツを回転させ、仮想コンテンツに追加し、仮想コンテンツを除去し、仮想コンテンツに注釈を付けること等によって)。いくつかの実施形態では、仮想コンテンツへの注釈(例えば、マーキング、注解等)は、注釈モジュール606内で管理、記憶、および/または記録されてもよい。いくつかの実施形態では、注釈モジュール606は、仮想コンテンツに注釈を付けることを促進してもよい(例えば、ユーザが仮想コンテンツに注釈を付けるためのユーザインターフェースを提供することによって)。いくつかの実施形態では、3Dコンテンツ操作(例えば、3Dコンテンツを回転させる、コンテンツを追加する、コンテンツを除去する)は、3Dビューワおよび操作モジュール608内で管理および/または記憶されてもよい。いくつかの実施形態では、3Dビューワおよび操作モジュール608は、仮想コンテンツを操作することを促進してもよい(例えば、ユーザが仮想コンテンツを操作するためのユーザインターフェースを提供することによって)。
いくつかの実施形態では、3Dコンテンツへの変更(例えば、注釈、他の操作)は、協働コア610に伝送されてもよい。いくつかの実施形態では、協働コア610は、3Dコンテンツへの変更に対応する、データパッケージを生成してもよい。いくつかの実施形態では、協働コア610は、データパッケージを遠隔サーバに伝送し、3Dコンテンツへの同時編集の同期をハンドリングしてもよい(例えば、別のユーザが、同時に、同一3Dコンテンツを編集する場合)。いくつかの実施形態では、協働コア610は、外部同期サービス(例えば、Firebase)のためにデータをパッケージ化するように構成されることができる。いくつかの実施形態では、協働コア610は、3Dコンテンツに行われる変更に対応する、データを受信してもよい。
ある機能が、あるブロックおよび/または構造と関連付けられるように描写され得るが、複数の機能が、単一ブロックに組み合わせられてもよいことが検討される。いくつかの実施形態では、単一機能は、複数のブロックに***されてもよい。いくつかの実施形態では、3Dモデルライブラリ604は、アプリケーション603内に含まれてもよい。いくつかの実施形態では、協働コア610は、MRシステム604のバックグラウンドで動作するサービスとして起動してもよい。
図7は、いくつかの実施形態による、コンピューティングシステムとMRシステムとの間の接続を初期化するための例示的プロセスを図示する。ステップ702では、ペアリングプロセスが、開始されることができ、ペアリング情報が、提示されることができる。いくつかの実施形態では、ステップ702は、コンピューティングシステム(例えば、デスクトップコンピュータ)を使用して実施されてもよい。例えば、ユーザは、デスクトップコンパニオンアプリをデスクトップコンピュータにダウンロードしてもよく、ユーザは、デスクトップコンピュータとMRシステムを接続することを所望し得る。いくつかの実施形態では、ユーザは、MRシステムと関連付けられるアカウントを使用して、DCAにログインしてもよい。いくつかの実施形態では、ペアリング情報が、提示されることができる。例えば、DCAは、QRコード(登録商標)をデスクトップコンピュータの画面上に提示してもよい。いくつかの実施形態では、QRコード(登録商標)は、コンピュータのIPアドレスを含んでもよい。いくつかの実施形態では、QRコード(登録商標)は、コンピュータのネットワークポートを含んでもよい。いくつかの実施形態では、QRコード(登録商標)は、暗号化キーのハッシュを含んでもよい。いくつかの実施形態では、QRコード(登録商標)は、セキュリティ認証書のハッシュを含んでもよい。
ステップ704では、ペアリング情報が、受信されることができ、接続が、開始されてもよい。いくつかの実施形態では、ステップ704は、MRシステムを使用して実施されることができる。例えば、ユーザは、QRコード(登録商標)読取アプリケーションをMRシステム上で開いてもよい。いくつかの実施形態では、MRシステムは、QRコード(登録商標)を自動的に検出してもよい。いくつかの実施形態では、通知が、ユーザに提示されてもよい(例えば、ユーザが、関連付けられるアカウントを使用して、DCAにログインする結果として)。いくつかの実施形態では、MRシステムはペアリング情報を受信してもよい(例えば、デスクトップコンピュータによって表示されるQRコード(登録商標)を読み取ることによって)。いくつかの実施形態では、MRシステムは、コンピューティングシステムとの接続を開始してもよい(例えば、ペアリング情報内に含まれるネットワーク情報を使用することによって)。いくつかの実施形態では、MRシステムにコンピューティングシステムとの接続を開始させることは、よりセキュアであり得る。例えば、コンピューティングシステムは、正しくないMRシステムとの接続を開始し、および/または不正システムによって傍受され得、取扱に注意を要する情報が、不注意に伝送され得る。
ステップ706では、ペアリング情報に対応する、第1の認証データが、伝送されてもよい。いくつかの実施形態では、ステップ706は、コンピューティングシステムを使用して実施されてもよい。例えば、デスクトップコンピュータは、MRシステムによって開始される接続を使用して、暗号化キーおよび/またはセキュリティ認証書を伝送してもよい。いくつかの実施形態では、伝送される暗号化キーおよび/またはセキュリティ認証書は、ペアリング情報の一部として含まれる、ハッシュに対応し得る。
ステップ708では、第1の認証データが、照合されてもよく、第2の認証データが、伝送されてもよい。いくつかの実施形態では、ステップ708は、MRシステムを使用して実施されてもよい。例えば、MRシステムは、デスクトップコンピュータから受信された暗号化キーのためのハッシュを算出してもよい。いくつかの実施形態では、算出されたハッシュが、ペアリング情報内に含まれるハッシュに対応する場合、MRシステムは、意図されるコンピューティングシステムと接続したことを決定し得る。いくつかの実施形態では、MRシステムは、第2の認証データを伝送してもよい(例えば、MRシステムによって署名されたセキュリティ認証書)。
ステップ710では、第2の認証データが、照合されてもよく、アクセス可能アプリケーションのリストが、受信されてもよい。いくつかの実施形態では、ステップ710は、コンピューティングシステムを使用して実施されてもよい。例えば、デスクトップコンピュータは、署名されたセキュリティ認証書を受信し、デスクトップコンピュータがMRシステムと正常にペアリングしたことを決定してもよい。いくつかの実施形態では、デスクトップコンピュータは、アクセス可能アプリケーションのリストを受信してもよい。いくつかの実施形態では、アクセス可能アプリケーションは、ペアリングされたMRシステム上で現在起動しているアプリケーションであってもよい。いくつかの実施形態では、アクセス可能アプリケーションは、DCAと互換性があるように構成される、アプリケーションであってもよい。いくつかの実施形態ではDCAがMRシステム上で開いているアプリケーションのみにアクセスするように制限することが、有益であり得る。例えば、DCAが、危殆化される場合、DCAは、MRシステムのユーザが明示的に開いたアプリケーションのみにアクセスすることが可能であり得る。いくつかの実施形態では、MRシステム上の任意のアプリケーション(起動中であるかどうかにかかわらず)が、アクセス可能アプリケーションと見なされ得る。
ステップ712では、第1のデータパッケージが、生成および伝送されることができる。いくつかの実施形態では、ステップ712は、コンピューティングシステムを使用して実施されてもよい。例えば、デスクトップコンピュータは、接続されたMRシステムに送信されるべき仮想コンテンツに対応する、データパッケージを生成してもよい。いくつかの実施形態では、仮想コンテンツは、3Dモデルを含むことができる。いくつかの実施形態では、仮想コンテンツは、テキストを含むことができる。いくつかの実施形態では、仮想コンテンツは、写真および/またはビデオを含むことができる。任意のタイプの仮想コンテンツも、使用されてもよい。いくつかの実施形態では、データパッケージは、仮想コンテンツについてのメタデータを含んでもよい。例えば、データパッケージは、仮想コンテンツのための所望の宛先を含んでもよい。いくつかの実施形態では、データパッケージは、暗号化されてもよい(例えば、暗号化キーを使用して)。
ステップ714では、第1のデータパッケージが、受信されることができ、仮想コンテンツは、アクセス可能アプリケーションを使用して表示されてもよい。いくつかの実施形態では、ステップ714は、MRシステムを使用して実施されてもよい。例えば、MRシステムは、第1のデータパッケージを受信し、所望の場所を抽出し、データパッケージを記憶してもよい。いくつかの実施形態では、MRシステムは、データパッケージを解読してもよい(例えば、暗号化キーを使用して)。いくつかの実施形態では、MRシステムは、データパッケージに対応する、仮想コンテンツを抽出し、それをユーザに表示してもよい。
ステップ716では、仮想コンテンツが、修正されてもよく、第2のデータパッケージが、生成されてもよく、第2のデータパッケージは、伝送されてもよい。いくつかの実施形態では、ステップ716は、MRシステムを使用して実施されてもよい。例えば、ユーザは、仮想コンテンツを回転させる、仮想コンテンツに注釈を付ける等を行ってもよい。いくつかの実施形態では、仮想コンテンツおよび/または仮想コンテンツへの修正に対応する、第2のデータパッケージが、生成されてもよい。いくつかの実施形態では、データパッケージは、暗号化されてもよい。いくつかの実施形態では、データパッケージは、仮想コンテンツおよび/または仮想コンテンツへの修正のための所望の宛先を含んでもよい。
図8は、いくつかの実施形態による、ツールブリッジを利用するための例示的プロセスを図示する。ステップ802では、第1のデータパッケージが、受信されてもよい。いくつかの実施形態では、第1のデータパッケージは、MRシステムにおいて受信されてもよい。いくつかの実施形態では、第1のデータパッケージは、ホストアプリケーションから受信されてもよい。いくつかの実施形態では、ホストアプリケーション(例えば、CADアプリケーション)は、MRシステムから遠隔にあって、MRシステムに通信可能に結合される、コンピュータシステム(例えば、MRシステムに接続される、デスクトップコンピュータ)上で起動されるように構成されてもよい。いくつかの実施形態では、第1のデータパッケージは、3D仮想モデルに対応する、データを含むことができる。いくつかの実施形態では、第1のデータパッケージは、3D仮想モデルを開き、および/または操作するための所望の標的アプリケーションに対応する、データを含むことができ、標的アプリケーションは、MRシステム上で起動されるように構成されてもよい。いくつかの実施形態では、仮想コンテンツは、テキストを含むことができる。いくつかの実施形態では、仮想コンテンツは、写真および/またはビデオを含むことができる。任意のタイプの仮想コンテンツも、使用されてもよい。いくつかの実施形態では、データパッケージは、仮想コンテンツについてのメタデータを含んでもよい。例えば、データパッケージは、仮想コンテンツのための所望の宛先を含んでもよい。
ステップ804では、仮想コンテンツが、第1のデータパッケージに基づいて、識別されることができる。いくつかの実施形態では、ステップ804は、MRシステムにおいて実施されてもよい。いくつかの実施形態では、仮想コンテンツは、仮想コンテンツ内に含まれ得る、メタデータによって識別されることができる。例えば、メタデータは、ファイルタイプ、ファイルを開く/それと相互作用し得る、アプリケーション等を示してもよい。
ステップ806では、仮想コンテンツが、提示されることができる。いくつかの実施形態では、ステップ806は、MRシステムにおいて実施されてもよい。いくつかの実施形態では、仮想コンテンツは、MRシステムのユーザに提示されてもよい。いくつかの実施形態では、仮想コンテンツは、MRシステムの透過型ディスプレイを介して提示されてもよい。いくつかの実施形態では、仮想コンテンツは、3次元空間に提示されることができ、ユーザは、仮想コンテンツの周囲を歩き回り、それを複数の角度/目線から物理的に点検することが可能であり得る。
ステップ808では、仮想コンテンツにダイレクトされる、ユーザ入力が、受信されてもよい。いくつかの実施形態では、ステップ808は、MRシステムにおいて実施されてもよい。いくつかの実施形態では、ユーザは、MRシステムを使用して、仮想コンテンツを操作してもよい。例えば、ユーザは、仮想コンテンツを回転させてもよい。いくつかの実施形態では、ユーザは、仮想コンテンツに注釈を付けてもよい。いくつかの実施形態では、ユーザは、仮想コンテンツの一部を除去してもよい(例えば、ユーザは、3Dモデルの1つまたはそれを上回る幾何学的特徴を除去してもよい)。いくつかの実施形態では、ユーザは、仮想コンテンツに追加してもよい。
ステップ810では、第2のデータパッケージが、ユーザ入力に基づいて、および第1のデータパッケージに基づいて、生成されてもよい。いくつかの実施形態では、ステップ810は、MRシステムにおいて実施されてもよい。いくつかの実施形態では、第2のデータパッケージは、仮想コンテンツの1つまたはそれを上回る操作(例えば、MRシステムのユーザによって行われた1つまたはそれを上回る操作)に対応し得る。いくつかの実施形態では、第2のデータパッケージは、3D仮想モデルに対応する、データを含むことができる。いくつかの実施形態では、第2のデータパッケージは、3D仮想モデルを開き、および/または操作するための所望の標的アプリケーションに対応する、データを含むことができ、標的アプリケーションは、MRシステムから遠隔のコンピュータシステム上で起動されるように構成されてもよい。いくつかの実施形態では、仮想コンテンツは、テキストを含むことができる。いくつかの実施形態では、仮想コンテンツは、写真および/またはビデオを含むことができる。任意のタイプの仮想コンテンツも、使用されてもよい。いくつかの実施形態では、データパッケージは、仮想コンテンツについてのメタデータを含んでもよい。例えば、データパッケージは、仮想コンテンツのための所望の宛先を含んでもよい。
ステップ812では、第2のデータパッケージが、伝送されてもよい。いくつかの実施形態では、ステップ812は、MRシステムにおいて実施されてもよい。いくつかの実施形態では、第2のデータパッケージは、MRシステムに通信可能に結合される、遠隔コンピュータシステムに伝送されてもよい。例えば、第2のデータパッケージは、デスクトップコンピュータに伝送されてもよい。いくつかの実施形態では、第2のデータパッケージは、モバイルデバイス(例えば、スマートフォン)に伝送されてもよい。
システム、方法、およびコンピュータ可読媒体が、開示される。いくつかの実施例によると、システムは、透過型ディスプレイを備える、ウェアラブルデバイスと、ホストアプリケーションから、透過型ディスプレイを介して、第1のデータを備える、第1のデータパッケージを受信するステップと、第1のデータに基づいて、仮想コンテンツを識別するステップと、透過型ディスプレイを介して、仮想コンテンツのビューを提示するステップと、ウェアラブルデバイスの入力デバイスを介して、仮想コンテンツにダイレクトされる、第1のユーザ入力を受信するステップと、第1のデータおよび第1のユーザ入力に基づいて、第2のデータを生成するステップと、ホストアプリケーションに、ウェアラブルデバイスを介して、第2のデータを備える、第2のデータパッケージを送信するステップとを含む、方法を実施するように構成される、1つまたはそれを上回るプロセッサとを備え、ホストアプリケーションは、ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、ウェアラブルデバイスと通信するように構成される。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、ホストアプリケーションは、コンピュータ支援描画アプリケーションを備える。いくつかの実施例では、本方法はさらに、第2のユーザ入力を受信するステップと、第2のユーザ入力に基づいて、仮想コンテンツのビューを修正するステップとを含む。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、第1のデータは、3Dグラフィカルコンテンツの第1の状態に対応し、ホストアプリケーションは、第2のデータに基づいて、3Dグラフィカルコンテンツの第1の状態を修正するように構成される。いくつかの実施例では、仮想コンテンツは、3Dモデルを備え、第1のデータに基づいて、仮想コンテンツを識別するステップは、3Dモデルライブラリ内の3Dモデルを識別するステップを含み、仮想コンテンツのビューを提示するステップは、3Dモデルライブラリ内で識別された3Dモデルのビューを提示するステップを含む。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、第1のデータは、3Dグラフィカルコンテンツの第1の状態と3Dグラフィカルコンテンツの以前の状態との間の変更を表す、データを備える。いくつかの実施例では、第1のデータパッケージをホストアプリケーションから受信するステップは、コンピュータシステムの1つまたはそれを上回るプロセッサを介して実行するように構成される、第1のヘルパアプリケーションを介して、第1のデータパッケージを受信するステップを含む。
ある実施例によると、方法は、ホストアプリケーションから、透過型ディスプレイを備える、ウェアラブルデバイスを介して、第1のデータを備える、第1のデータパッケージを受信するステップと、第1のデータに基づいて、仮想コンテンツを識別するステップと、透過型ディスプレイを介して、仮想コンテンツのビューを提示するステップと、ウェアラブルデバイスの入力デバイスを介して、仮想コンテンツにダイレクトされる、第1のユーザ入力を受信するステップと、第1のデータおよび第1のユーザ入力に基づいて、第2のデータを生成するステップと、ホストアプリケーションに、ウェアラブルデバイスを介して、第2のデータを備える、第2のデータパッケージを送信するステップとを含み、ホストアプリケーションは、ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、ウェアラブルデバイスと通信するように構成される。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、ホストアプリケーションは、コンピュータ支援描画アプリケーションを備える。いくつかの実施例では、本方法はさらに、第2のユーザ入力を受信するステップと、第2のユーザ入力に基づいて、仮想コンテンツのビューを修正するステップとを含む。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、第1のデータは、3Dグラフィカルコンテンツの第1の状態に対応し、ホストアプリケーションは、第2のデータに基づいて、3Dグラフィカルコンテンツの第1の状態を修正するように構成される。いくつかの実施例では、仮想コンテンツは、3Dモデルを備え、第1のデータに基づいて、仮想コンテンツを識別するステップは、3Dモデルライブラリ内の3Dモデルを識別するステップを含み、仮想コンテンツのビューを提示するステップは、3Dモデルライブラリ内で識別された3Dモデルのビューを提示するステップを含む。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、第1のデータは、3Dグラフィカルコンテンツの第1の状態と3Dグラフィカルコンテンツの以前の状態との間の変更を表す、データを備える。いくつかの実施例では、第1のデータパッケージをホストアプリケーションから受信するステップは、コンピュータシステムの1つまたはそれを上回るプロセッサを介して実行するように構成される、第1のヘルパアプリケーションを介して、第1のデータパッケージを受信するステップを含む。
いくつかの実施例によると、非一過性コンピュータ可読媒体は、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、ホストアプリケーションから、透過型ディスプレイを備える、ウェアラブルデバイスを介して、第1のデータを備える、第1のデータパッケージを受信するステップと、第1のデータに基づいて、仮想コンテンツを識別するステップと、透過型ディスプレイを介して、仮想コンテンツのビューを提示するステップと、ウェアラブルデバイスの入力デバイスを介して、仮想コンテンツにダイレクトされる、第1のユーザ入力を受信するステップと、第1のデータおよび第1のユーザ入力に基づいて、第2のデータを生成するステップと、ホストアプリケーションに、ウェアラブルデバイスを介して、第2のデータを備える、第2のデータパッケージを送信するステップとを含む、方法を実行させる、命令を記憶し、ホストアプリケーションは、ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、ウェアラブルデバイスと通信するように構成される。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、ホストアプリケーションは、コンピュータ支援描画アプリケーションを備える。いくつかの実施例では、本方法はさらに、第2のユーザ入力を受信するステップと、第2のユーザ入力に基づいて、仮想コンテンツのビューを修正するステップとを含む。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、第1のデータは、3Dグラフィカルコンテンツの第1の状態に対応し、ホストアプリケーションは、第2のデータに基づいて、3Dグラフィカルコンテンツの第1の状態を修正するように構成される。いくつかの実施例では、仮想コンテンツは、3Dモデルを備え、第1のデータに基づいて、仮想コンテンツを識別するステップは、3Dモデルライブラリ内の3Dモデルを識別するステップを含み、仮想コンテンツのビューを提示するステップは、3Dモデルライブラリ内で識別された3Dモデルのビューを提示するステップを含む。いくつかの実施例では、仮想コンテンツは、3Dグラフィカルコンテンツを備え、第1のデータは、3Dグラフィカルコンテンツの第1の状態と3Dグラフィカルコンテンツの以前の状態との間の変更を表す、データを備える。いくつかの実施例では、第1のデータパッケージをホストアプリケーションから受信するステップは、コンピュータシステムの1つまたはそれを上回るプロセッサを介して実行するように構成される、第1のヘルパアプリケーションを介して、第1のデータパッケージを受信するステップを含む。
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、1つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
Claims (20)
- システムであって、
透過型ディスプレイを備えるウェアラブルデバイスと、
1つまたはそれを上回るプロセッサであって、
ホストアプリケーションから、前記透過型ディスプレイを介して、第1のデータを備える第1のデータパッケージを受信することと、
前記第1のデータに基づいて、仮想コンテンツを識別することと、
前記透過型ディスプレイを介して、前記仮想コンテンツのビューを提示することと、
前記ウェアラブルデバイスの入力デバイスを介して、前記仮想コンテンツにダイレクトされる第1のユーザ入力を受信することと、
前記第1のデータおよび前記第1のユーザ入力に基づいて、第2のデータを生成することと、
前記ホストアプリケーションに、前記ウェアラブルデバイスを介して、前記第2のデータを備える第2のデータパッケージを送信することと、
を含む方法を実施するように構成される、1つまたはそれを上回るプロセッサと
を備え、
前記ホストアプリケーションは、前記ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、前記ウェアラブルデバイスと通信するように構成される、システム。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、前記ホストアプリケーションは、コンピュータ支援描画アプリケーションを備える、請求項1に記載のシステム。
- 前記方法はさらに、
第2のユーザ入力を受信することと、
前記第2のユーザ入力に基づいて、前記仮想コンテンツのビューを修正することと
を含む、請求項1に記載のシステム。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、
前記第1のデータは、前記3Dグラフィカルコンテンツの第1の状態に対応し、
前記ホストアプリケーションは、前記第2のデータに基づいて、前記3Dグラフィカルコンテンツの第1の状態を修正するように構成される、
請求項1に記載のシステム。 - 前記仮想コンテンツは、3Dモデルを備え、
前記第1のデータに基づいて、仮想コンテンツを識別することは、3Dモデルライブラリ内の前記3Dモデルを識別することを含み、
前記仮想コンテンツのビューを提示することは、前記3Dモデルライブラリ内で識別された前記3Dモデルのビューを提示することを含む、
請求項1に記載のシステム。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、
前記第1のデータは、前記3Dグラフィカルコンテンツの第1の状態と前記3Dグラフィカルコンテンツの以前の状態との間の変更を表すデータを備える、
請求項1に記載のシステム。 - 前記第1のデータパッケージを前記ホストアプリケーションから受信することは、前記コンピュータシステムの前記1つまたはそれを上回るプロセッサを介して実行するように構成される第1のヘルパアプリケーションを介して、前記第1のデータパッケージを受信することを含む、請求項1に記載のシステム。
- 方法であって、
ホストアプリケーションから、透過型ディスプレイを備えるウェアラブルデバイスを介して、第1のデータを備える第1のデータパッケージを受信することと、
前記第1のデータに基づいて、仮想コンテンツを識別することと、
前記透過型ディスプレイを介して、前記仮想コンテンツのビューを提示することと、
前記ウェアラブルデバイスの入力デバイスを介して、前記仮想コンテンツにダイレクトされる第1のユーザ入力を受信することと、
前記第1のデータおよび前記第1のユーザ入力に基づいて、第2のデータを生成することと、
前記ホストアプリケーションに、前記ウェアラブルデバイスを介して、前記第2のデータを備える第2のデータパッケージを送信することと
を含み、
前記ホストアプリケーションは、前記ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、前記ウェアラブルデバイスと通信するように構成される、方法。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、前記ホストアプリケーションは、コンピュータ支援描画アプリケーションを備える、請求項8に記載の方法。
- 第2のユーザ入力を受信することと、
前記第2のユーザ入力に基づいて、前記仮想コンテンツのビューを修正することと
をさらに含む、請求項8に記載の方法。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、
前記第1のデータは、前記3Dグラフィカルコンテンツの第1の状態に対応し、
前記ホストアプリケーションは、前記第2のデータに基づいて、前記3Dグラフィカルコンテンツの第1の状態を修正するように構成される、
請求項8に記載の方法。 - 前記仮想コンテンツは、3Dモデルを備え、
前記第1のデータに基づいて、仮想コンテンツを識別することは、3Dモデルライブラリ内の前記3Dモデルを識別することを含み、
前記仮想コンテンツのビューを提示することは、前記3Dモデルライブラリ内で識別された前記3Dモデルのビューを提示することを含む、
請求項8に記載の方法。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、
前記第1のデータは、前記3Dグラフィカルコンテンツの第1の状態と前記3Dグラフィカルコンテンツの以前の状態との間の変更を表すデータを備える、
請求項8に記載の方法。 - 前記第1のデータパッケージを前記ホストアプリケーションから受信することは、前記コンピュータシステムの前記1つまたはそれを上回るプロセッサを介して実行するように構成される第1のヘルパアプリケーションを介して、前記第1のデータパッケージを受信することを含む、請求項8に記載の方法。
- 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
ホストアプリケーションから、透過型ディスプレイを備えるウェアラブルデバイスを介して、第1のデータを備える第1のデータパッケージを受信することと、
前記第1のデータに基づいて、仮想コンテンツを識別することと、
前記透過型ディスプレイを介して、前記仮想コンテンツのビューを提示することと、
前記ウェアラブルデバイスの入力デバイスを介して、前記仮想コンテンツにダイレクトされる第1のユーザ入力を受信することと、
前記第1のデータおよび前記第1のユーザ入力に基づいて、第2のデータを生成することと、
前記ホストアプリケーションに、前記ウェアラブルデバイスを介して、前記第2のデータを備える第2のデータパッケージを送信することと
を含む方法を実行させ、
前記ホストアプリケーションは、前記ウェアラブルデバイスから遠隔のコンピュータシステムの1つまたはそれを上回るプロセッサを介して実行され、前記ウェアラブルデバイスと通信するように構成される、非一過性コンピュータ可読媒体。 - 前記方法はさらに、
第2のユーザ入力を受信することと、
前記第2のユーザ入力に基づいて、前記仮想コンテンツのビューを修正すること
を含む、請求項15に記載の非一過性コンピュータ可読媒体。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、
前記第1のデータは、前記3Dグラフィカルコンテンツの第1の状態に対応し、
前記ホストアプリケーションは、前記第2のデータに基づいて、前記3Dグラフィカルコンテンツの第1の状態を修正するように構成される、
請求項15に記載の非一過性コンピュータ可読媒体。 - 前記仮想コンテンツは、3Dモデルを備え、
前記第1のデータに基づいて、仮想コンテンツを識別することは、3Dモデルライブラリ内の前記3Dモデルを識別することを含み、
前記仮想コンテンツのビューを提示することは、前記3Dモデルライブラリ内で識別された前記3Dモデルのビューを提示することを含む、
請求項15に記載の非一過性コンピュータ可読媒体。 - 前記仮想コンテンツは、3Dグラフィカルコンテンツを備え、
前記第1のデータは、前記3Dグラフィカルコンテンツの第1の状態と前記3Dグラフィカルコンテンツの以前の状態との間の変更を表すデータを備える、
請求項15に記載の非一過性コンピュータ可読媒体。 - 前記第1のデータパッケージを前記ホストアプリケーションから受信することは、前記コンピュータシステムの前記1つまたはそれを上回るプロセッサを介して実行するように構成される第1のヘルパアプリケーションを介して、前記第1のデータパッケージを受信することを含む、請求項15に記載の非一過性コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062976995P | 2020-02-14 | 2020-02-14 | |
US62/976,995 | 2020-02-14 | ||
PCT/US2021/018035 WO2021163624A1 (en) | 2020-02-14 | 2021-02-12 | Tool bridge |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023514573A true JP2023514573A (ja) | 2023-04-06 |
JPWO2021163624A5 JPWO2021163624A5 (ja) | 2024-02-20 |
Family
ID=77273493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548904A Pending JP2023514573A (ja) | 2020-02-14 | 2021-02-12 | ツールブリッジ |
Country Status (5)
Country | Link |
---|---|
US (3) | US11494528B2 (ja) |
EP (1) | EP4104000A4 (ja) |
JP (1) | JP2023514573A (ja) |
CN (1) | CN115516364B (ja) |
WO (1) | WO2021163624A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7499749B2 (ja) | 2018-07-24 | 2024-06-14 | マジック リープ, インコーポレイテッド | アプリケーション共有 |
EP4104165A4 (en) | 2020-02-10 | 2023-07-12 | Magic Leap, Inc. | DYNAMIC COLOCATION OF VIRTUAL CONTENT |
WO2021163373A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | 3d object annotation |
WO2021163624A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Tool bridge |
CN117827004A (zh) | 2020-02-14 | 2024-04-05 | 奇跃公司 | 会话管理器 |
US11875088B2 (en) * | 2020-11-24 | 2024-01-16 | Unity Technologies ApS | Systems and methods for smart volumetric layouts |
US11847748B2 (en) * | 2021-10-04 | 2023-12-19 | Snap Inc. | Transferring objects from 2D video to 3D AR |
Family Cites Families (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4852988A (en) | 1988-09-12 | 1989-08-01 | Applied Science Laboratories | Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system |
US6847336B1 (en) | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
US6433760B1 (en) | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
US9811237B2 (en) | 1999-04-06 | 2017-11-07 | Iii Holdings 2, Llc | Visual navigation of virtual environments through logical processes |
US6491391B1 (en) | 1999-07-02 | 2002-12-10 | E-Vision Llc | System, apparatus, and method for reducing birefringence |
CA2316473A1 (en) | 1999-07-28 | 2001-01-28 | Steve Mann | Covert headworn information display or data display or viewfinder |
CA2362895A1 (en) | 2001-06-26 | 2002-12-26 | Steve Mann | Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license |
DE10132872B4 (de) | 2001-07-06 | 2018-10-11 | Volkswagen Ag | Kopfmontiertes optisches Durchsichtssystem |
US20030030597A1 (en) | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
US7987491B2 (en) | 2002-05-10 | 2011-07-26 | Richard Reisman | Method and apparatus for browsing using alternative linkbases |
CA2388766A1 (en) | 2002-06-17 | 2003-12-17 | Steve Mann | Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames |
US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
US7500747B2 (en) | 2003-10-09 | 2009-03-10 | Ipventure, Inc. | Eyeglasses with electrical components |
US7800614B2 (en) | 2004-02-17 | 2010-09-21 | Oracle America, Inc. | Efficient communication in a client-server scene graph system |
ZA200608191B (en) | 2004-04-01 | 2008-07-30 | William C Torch | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US20130073707A1 (en) | 2011-09-16 | 2013-03-21 | Social Communications Company | Capabilities based management of virtual areas |
US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
US8531355B2 (en) | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
US8860760B2 (en) | 2010-09-25 | 2014-10-14 | Teledyne Scientific & Imaging, Llc | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
FR2974474B1 (fr) | 2011-04-19 | 2017-11-17 | Prologue | Procedes et appareils de production et de traitement de representations de scenes multimedias |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
US8638498B2 (en) | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
US9274338B2 (en) | 2012-03-21 | 2016-03-01 | Microsoft Technology Licensing, Llc | Increasing field of view of reflective waveguide |
US9873045B2 (en) | 2012-05-25 | 2018-01-23 | Electronic Arts, Inc. | Systems and methods for a unified game experience |
US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
US20140218281A1 (en) | 2012-12-06 | 2014-08-07 | Eyefluence, Inc. | Systems and methods for eye gaze determination |
AU2014204252B2 (en) | 2013-01-03 | 2017-12-14 | Meta View, Inc. | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US20140195918A1 (en) | 2013-01-07 | 2014-07-10 | Steven Friedlander | Eye tracking user interface |
CA2913218C (en) | 2013-05-24 | 2022-09-27 | Awe Company Limited | Systems and methods for a shared mixed reality experience |
US10572215B1 (en) | 2014-03-31 | 2020-02-25 | Amazon Technologies, Inc. | Extendable architecture for augmented reality system |
US9519481B2 (en) | 2014-06-27 | 2016-12-13 | International Business Machines Corporation | Branch synthetic generation across multiple microarchitecture generations |
US10810797B2 (en) | 2015-05-22 | 2020-10-20 | Otoy, Inc | Augmenting AR/VR displays with image projections |
WO2017142977A1 (en) | 2016-02-15 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for tethering 3-d virtual elements to digital content |
WO2017214559A1 (en) * | 2016-06-10 | 2017-12-14 | Dirtt Environmental Solutions, Inc. | Mixed-reality architectural design environment |
WO2017214576A1 (en) * | 2016-06-10 | 2017-12-14 | Dirtt Environmental Solutions, Inc. | Mixed-reality and cad architectural design environment |
US10147243B2 (en) | 2016-12-05 | 2018-12-04 | Google Llc | Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment |
EP3340012A1 (en) * | 2016-12-26 | 2018-06-27 | CaptoGlove International Limited | Haptic interaction method, tool and system |
US20180255285A1 (en) | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
WO2018175335A1 (en) | 2017-03-24 | 2018-09-27 | Pcms Holdings, Inc. | Method and system for discovering and positioning content into augmented reality space |
US10871934B2 (en) | 2017-05-04 | 2020-12-22 | Microsoft Technology Licensing, Llc | Virtual content displayed with shared anchor |
US10685456B2 (en) | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
US10559133B2 (en) * | 2018-02-07 | 2020-02-11 | Dell Products L.P. | Visual space management across information handling system and augmented reality |
US11049322B2 (en) * | 2018-06-18 | 2021-06-29 | Ptc Inc. | Transferring graphic objects between non-augmented reality and augmented reality media domains |
US11087538B2 (en) | 2018-06-26 | 2021-08-10 | Lenovo (Singapore) Pte. Ltd. | Presentation of augmented reality images at display locations that do not obstruct user's view |
US10977868B2 (en) * | 2018-06-29 | 2021-04-13 | Factualvr, Inc. | Remote collaboration methods and systems |
JP7499749B2 (ja) | 2018-07-24 | 2024-06-14 | マジック リープ, インコーポレイテッド | アプリケーション共有 |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
US10854006B2 (en) | 2018-11-15 | 2020-12-01 | Palo Alto Research Center Incorporated | AR-enabled labeling using aligned CAD models |
EP4104165A4 (en) | 2020-02-10 | 2023-07-12 | Magic Leap, Inc. | DYNAMIC COLOCATION OF VIRTUAL CONTENT |
WO2021163373A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | 3d object annotation |
CN117827004A (zh) | 2020-02-14 | 2024-04-05 | 奇跃公司 | 会话管理器 |
WO2021163624A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Tool bridge |
-
2021
- 2021-02-12 WO PCT/US2021/018035 patent/WO2021163624A1/en unknown
- 2021-02-12 CN CN202180028410.5A patent/CN115516364B/zh active Active
- 2021-02-12 EP EP21753843.8A patent/EP4104000A4/en active Pending
- 2021-02-12 US US17/175,467 patent/US11494528B2/en active Active
- 2021-02-12 JP JP2022548904A patent/JP2023514573A/ja active Pending
-
2022
- 2022-09-21 US US17/949,989 patent/US11797720B2/en active Active
-
2023
- 2023-09-15 US US18/468,629 patent/US20240005050A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115516364B (zh) | 2024-04-26 |
WO2021163624A1 (en) | 2021-08-19 |
US20210256175A1 (en) | 2021-08-19 |
EP4104000A4 (en) | 2023-07-12 |
US11494528B2 (en) | 2022-11-08 |
EP4104000A1 (en) | 2022-12-21 |
US20230014150A1 (en) | 2023-01-19 |
CN115516364A (zh) | 2022-12-23 |
US11797720B2 (en) | 2023-10-24 |
US20240005050A1 (en) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7445720B2 (ja) | 拡張現実のためのシステムおよび方法 | |
US11763559B2 (en) | 3D object annotation | |
US11797720B2 (en) | Tool bridge | |
US11475644B2 (en) | Session manager | |
JP2023068152A (ja) | 複合現実のための二重聴取者位置 | |
JP2023513250A (ja) | 仮想コンテンツの動的併置 | |
US11477599B2 (en) | Delayed audio following | |
US11961194B2 (en) | Non-uniform stereo rendering | |
JP2023527357A (ja) | 角加速の決定 | |
JP2023514571A (ja) | 遅延オーディオ追従 | |
WO2023183054A1 (en) | Optimized mixed reality audio rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240209 |