JP2024054287A - Method and system for sharing 3D models - Google Patents
Method and system for sharing 3D models Download PDFInfo
- Publication number
- JP2024054287A JP2024054287A JP2024018516A JP2024018516A JP2024054287A JP 2024054287 A JP2024054287 A JP 2024054287A JP 2024018516 A JP2024018516 A JP 2024018516A JP 2024018516 A JP2024018516 A JP 2024018516A JP 2024054287 A JP2024054287 A JP 2024054287A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual
- model
- data
- host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 283
- 230000008569 process Effects 0.000 abstract description 104
- 238000012545 processing Methods 0.000 description 69
- 238000009877 rendering Methods 0.000 description 51
- 238000004422 calculation algorithm Methods 0.000 description 45
- 238000003384 imaging method Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 28
- 239000000470 constituent Substances 0.000 description 27
- 210000003128 head Anatomy 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 24
- 238000000354 decomposition reaction Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 22
- 210000001747 pupil Anatomy 0.000 description 20
- 239000000463 material Substances 0.000 description 19
- 238000013507 mapping Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 230000004308 accommodation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 238000003491 array Methods 0.000 description 9
- 230000002085 persistent effect Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 230000035807 sensation Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000014616 translation Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 230000004807 localization Effects 0.000 description 6
- 230000006855 networking Effects 0.000 description 5
- 230000002350 accommodative effect Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 206010019233 Headaches Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 101710181757 1,2-dihydroxy-3-keto-5-methylthiopentene dioxygenase Proteins 0.000 description 1
- 101710094863 Acireductone dioxygenase Proteins 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 241000219357 Cactaceae Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/08—Bandwidth reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2008—Assembling, disassembling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】３Ｄモデルを分解および共有するためのシステムおよび方法を提供する。【解決手段】３Ｄモデル共有プロセス１２００では、仮想３次元モデルの第１のバージョンが、ウェアラブルヘッドデバイスのディスプレイを介して表示される。要求が、仮想３次元モデルの第２のバージョンと関連付けられるデータに関してホストデバイスに行われ、仮想３次元モデルの第２のバージョンは、構成部分を備える。仮想３次元モデルの第１のバージョンが構成部分を備えるかどうかが、決定される。仮想３次元モデルの第１のバージョンが構成部分を備えないという決定に従って、要求が、構成部分と関連付けられるデータに関してホストデバイスに行われる。仮想３次元モデルの第２のバージョンは、ウェアラブルヘッドデバイスのディスプレイを介して表示される。【選択図】図１２A system and method for decomposing and sharing 3D models is provided. In a 3D model sharing process 1200, a first version of a virtual three-dimensional model is displayed via a display of a wearable head device. A request is made to a host device for data associated with a second version of the virtual three-dimensional model, the second version of the virtual three-dimensional model comprising a component part. It is determined whether the first version of the virtual three-dimensional model comprises the component part. In accordance with a determination that the first version of the virtual three-dimensional model does not comprise the component part, a request is made to the host device for data associated with the component part. The second version of the virtual three-dimensional model is displayed via a display of the wearable head device. (FIG. 12)
Description
（関連出願の相互参照）
本願は、その内容が、参照することによってそれらの全体として本明細書に組み込まれる、２０１８年９月２４に出願された、米国仮出願第６２／７３５，６７５号の優先権を主張する。
CROSS-REFERENCE TO RELATED APPLICATIONS
This application claims priority to U.S. Provisional Application No. 62/735,675, filed September 24, 2018, the contents of which are incorporated herein by reference in their entirety.
本開示は、複合現実、結像、および可視化システムを含む、２つ以上のコンピューティングシステムの間で３次元モデルを共有することに関する。 The present disclosure relates to sharing three-dimensional models between two or more computing systems, including mixed reality, imaging, and visualization systems.
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、および「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、コンピュータ生成仮想画像情報の提示を伴う。拡張現実（ＡＲ）シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としての仮想画像情報の提示を伴う。複合現実（ＭＲ）は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用し得る、拡張現実のタイプである。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。 Modern computing and display technologies have facilitated the development of systems for so-called "virtual reality," "augmented reality," and "mixed reality" experiences, in which digitally reproduced images are presented to a user in a manner that appears or may be perceived as real. Virtual reality (VR) scenarios typically involve the presentation of computer-generated virtual image information without transparency to other actual real-world visual inputs. Augmented reality (AR) scenarios typically involve the presentation of virtual image information as an augmentation to the visualization of the real world around the user. Mixed reality (MR) is a type of augmented reality in which physical and virtual objects may coexist and interact in real time. The systems and methods disclosed herein address various challenges associated with VR, AR, and MR technologies.
本開示の実施例は、３Ｄモデルを分解および共有するためのシステムおよび方法を説明する。例示的方法では、仮想３次元モデルの第１のバージョンが、ウェアラブルヘッドデバイスのディスプレイを介して表示される。要求が、仮想３次元モデルの第２のバージョンと関連付けられるデータに関してホストデバイスに行われ、仮想３次元モデルの第２のバージョンは、構成部分を備える。仮想３次元モデルの第１のバージョンが構成部分を備えるかどうかが、決定される。仮想３次元モデルの第１のバージョンが構成部分を備えないという決定に従って、要求が、構成部分と関連付けられるデータに関してホストデバイスに行われる。仮想３次元モデルの第２のバージョンは、ウェアラブルヘッドデバイスのディスプレイを介して表示される。仮想３次元モデルの第１のバージョンが構成部分を備えるという決定に従って、要求が、構成部分と関連付けられるデータに関してホストデバイスに行われない。
本発明は、例えば、以下を提供する。
（項目１）
システムであって、
ホストコンピューティングシステムと、
頭部搭載型ディスプレイシステムを備えるクライアントコンピューティングシステムと
を備え、
前記ホストコンピューティングシステムは、
メモリ内に記憶された仮想３次元モデルにアクセスすることと、
前記３次元モデルを１つ以上の構成部分に分解することと、
前記１つ以上の構成部分のリストを前記クライアントコンピューティングシステムに送信することと、
前記クライアントコンピューティングシステムから構成部分要求を受信することと、
前記構成部分要求に対応する１つ以上の構成部分を前記クライアントコンピューティングシステムに送信することと
を含む方法を実行するように構成される１つ以上のプロセッサ
を備え、
前記クライアントコンピューティングシステムは、
前記ホストコンピューティングシステムから前記１つ以上の構成部分のリストを受信することと、
前記構成部分要求を前記ホストコンピューティングシステムに送信することと、
前記ホストコンピューティングシステムから前記構成部分要求に対応する前記構成部分のうちの１つ以上のものを受信することと、
前記構成部分要求に対応する前記構成部分のうちの１つ以上のものから、前記仮想３次元モデルのコピーを構成することと
を含む方法を実行するように構成される１つ以上のプロセッサ
を備える、システム。
（項目２）
前記構成部分は、メッシュデータを備える、項目１に記載のシステム。
（項目３）
前記構成部分は、テクスチャデータを備える、項目１に記載のシステム。
（項目４）
前記ホストコンピューティングシステムは、サーバを備える、項目１に記載のシステム。
（項目５）
前記ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、項目１に記載のシステム。
（項目６）
前記方法はさらに、メモリ内に前記１つ以上の構成部分を記憶することを含む、項目１に記載のシステム。
（項目７）
前記方法はさらに、前記１つ以上の構成部分を分解することを含む、項目１に記載のシステム。
（項目８）
方法であって、
メモリ内に記憶された仮想３次元モデルにアクセスすることと、
前記３次元モデルを１つ以上の構成部分に分解することと、
前記１つ以上の構成部分のリストを、頭部搭載型ディスプレイを備えるクライアントコンピューティングシステムに送信することと、
前記クライアントコンピューティングシステムから構成部分要求を受信することと、
前記構成部分要求に対応する１つ以上の構成部分を前記クライアントコンピューティングシステムに送信することと、
ホストコンピューティングシステムから前記１つ以上の構成部分のリストを受信することと、
前記構成部分要求を前記ホストコンピューティングシステムに送信することと、
前記ホストコンピューティングシステムから前記構成部分要求に対応する前記構成部分のうちの１つ以上のものを受信することと、
前記構成部分要求に対応する前記構成部分のうちの１つ以上のものから、前記仮想３次元モデルのコピーを構成することと
を含む、方法。
（項目９）
前記構成部分は、メッシュデータを備える、項目８に記載の方法。
（項目１０）
前記構成部分は、テクスチャデータを備える、項目８に記載の方法。
（項目１１）
前記ホストコンピューティングシステムは、サーバを備える、項目８に記載の方法。
（項目１２）
前記ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、項目８に記載の方法。
（項目１３）
前記方法はさらに、メモリ内に前記１つ以上の構成部分を記憶することを含む、項目８に記載の方法。
（項目１４）
前記方法はさらに、前記１つ以上の構成部分を分解することを含む、項目８に記載の方法。
（項目１５）
非一過性のコンピュータ可読媒体であって、前記非一過性のコンピュータ可読媒体は、１つ以上の命令を記憶しており、前記１つ以上の命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
メモリ内に記憶された仮想３次元モデルにアクセスすることと、
前記３次元モデルを１つ以上の構成部分に分解することと、
前記１つ以上の構成部分のリストを、頭部搭載型ディスプレイを備えるクライアントコンピューティングシステムに送信することと、
前記クライアントコンピューティングシステムから構成部分要求を受信することと、
前記構成部分要求に対応する１つ以上の構成部分を前記クライアントコンピューティングシステムに送信することと、
ホストコンピューティングシステムから前記１つ以上の構成部分のリストを受信することと、
前記構成部分要求を前記ホストコンピューティングシステムに送信することと、
前記ホストコンピューティングシステムから前記構成部分要求に対応する前記構成部分のうちの１つ以上のものを受信することと、
前記構成部分要求に対応する前記構成部分のうちの１つ以上のものから、前記仮想３次元モデルのコピーを構成することと
を含む方法を実施させる、非一過性のコンピュータ可読媒体。
（項目１６）
前記構成部分は、メッシュデータを備える、項目１５に記載の非一過性のコンピュータ可読媒体。
（項目１７）
前記構成部分は、テクスチャデータを備える、項目１５に記載の非一過性のコンピュータ可読媒体。
（項目１８）
前記ホストコンピューティングシステムは、サーバを備える、項目１５に記載の非一過性のコンピュータ可読媒体。
（項目１９）
前記ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、項目１５に記載の非一過性のコンピュータ可読媒体。
（項目２０）
前記方法はさらに、メモリ内に前記１つ以上の構成部分を記憶することを含む、項目１５に記載の非一過性のコンピュータ可読媒体。
（項目２１）
前記方法はさらに、前記１つ以上の構成部分を分解することを含む、項目１５に記載の非一過性のコンピュータ可読媒体。
（項目２２）
方法であって、
メモリ内に記憶された仮想３次元モデルにアクセスすることと、
前記仮想３次元モデルを１つ以上の構成部分に分解することと、
１つ以上のアレイ内に前記１つ以上の構成部分を記憶することであって、前記１つ以上の構成部分は、前記仮想３次元モデルと別個に記憶される、ことと、
ウェアラブルヘッドデバイスから接続要求を受信することと、
利用可能な構成部分のリストを前記ウェアラブルヘッドデバイスに送信することと、
前記ウェアラブルヘッドデバイスから構成部分要求を受信することと、
前記構成部分要求に基づいて、要求された構成部分を前記ウェアラブルヘッドデバイスに送信することと
を含む、方法。
（項目２３）
方法であって、
ウェアラブルヘッドデバイスを介して、接続要求をホストデバイスに送信することと、
前記ホストデバイスから利用可能な構成部分のリストを受信することと、
構成部分要求を前記ホストデバイスに送信することと、
前記ホストデバイスから、前記構成部分要求に基づいて、要求された構成部分を受信することと、
前記要求された構成部分に基づいて、仮想３次元モデルのコピーを再構成することと
を含む、方法。
An embodiment of the present disclosure describes a system and method for decomposing and sharing a 3D model. In an exemplary method, a first version of a virtual three-dimensional model is displayed via a display of a wearable head device. A request is made to a host device for data associated with a second version of the virtual three-dimensional model, the second version of the virtual three-dimensional model comprising a component part. It is determined whether the first version of the virtual three-dimensional model comprises the component part. In accordance with a determination that the first version of the virtual three-dimensional model does not comprise the component part, a request is made to the host device for data associated with the component part. The second version of the virtual three-dimensional model is displayed via a display of the wearable head device. In accordance with a determination that the first version of the virtual three-dimensional model comprises the component part, a request is not made to the host device for data associated with the component part.
The present invention provides, for example, the following:
(Item 1)
1. A system comprising:
A host computing system;
a client computing system having a head mounted display system;
The host computing system includes:
Accessing a virtual three-dimensional model stored in a memory;
decomposing the three-dimensional model into one or more component parts;
transmitting the list of the one or more components to the client computing system;
receiving a component request from the client computing system;
and transmitting to the client computing system one or more component parts corresponding to the component part request;
The client computing system includes:
receiving a list of the one or more components from the host computing system;
sending the component request to the host computing system;
receiving one or more of the components corresponding to the component request from the host computing system;
and constructing a copy of the virtual three-dimensional model from one or more of the component parts corresponding to the component part requests.
(Item 2)
2. The system of claim 1, wherein the component comprises mesh data.
(Item 3)
2. The system of claim 1, wherein the component parts comprise texture data.
(Item 4)
2. The system of claim 1, wherein the host computing system comprises a server.
(Item 5)
2. The system of claim 1, wherein the host computing system comprises a head mounted display system.
(Item 6)
2. The system of claim 1, wherein the method further comprises storing the one or more components in a memory.
(Item 7)
2. The system of claim 1, wherein the method further comprises disassembling the one or more components.
(Item 8)
1. A method comprising:
Accessing a virtual three-dimensional model stored in a memory;
decomposing the three-dimensional model into one or more component parts;
transmitting the list of the one or more components to a client computing system having a head mounted display;
receiving a component request from the client computing system;
transmitting to the client computing system one or more components corresponding to the component request;
receiving a list of the one or more components from a host computing system;
sending the component request to the host computing system;
receiving one or more of the components corresponding to the component request from the host computing system;
and constructing a copy of the virtual three-dimensional model from one or more of the component parts corresponding to the component part requests.
(Item 9)
9. The method of claim 8, wherein the component parts comprise mesh data.
(Item 10)
9. The method of claim 8, wherein the constituent parts comprise texture data.
(Item 11)
9. The method of claim 8, wherein the host computing system comprises a server.
(Item 12)
9. The method of claim 8, wherein the host computing system comprises a head mounted display system.
(Item 13)
9. The method of claim 8, further comprising storing the one or more components in a memory.
(Item 14)
9. The method of claim 8, further comprising disassembling the one or more components.
(Item 15)
A non-transitory computer-readable medium having stored thereon one or more instructions that, when executed by one or more processors, cause the one or more processors to:
Accessing a virtual three-dimensional model stored in a memory;
decomposing the three-dimensional model into one or more component parts;
transmitting the list of the one or more components to a client computing system having a head mounted display;
receiving a component request from the client computing system;
transmitting to the client computing system one or more components corresponding to the component request;
receiving a list of the one or more components from a host computing system;
sending the component request to the host computing system;
receiving one or more of the components corresponding to the component request from the host computing system;
and constructing a copy of the virtual three-dimensional model from one or more of the component parts corresponding to the component part requests.
(Item 16)
Item 16. The non-transitory computer-readable medium of item 15, wherein the component parts comprise mesh data.
(Item 17)
20. The non-transitory computer-readable medium of claim 15, wherein the constituent portions comprise texture data.
(Item 18)
20. The non-transitory computer-readable medium of claim 15, wherein the host computing system comprises a server.
(Item 19)
20. The non-transitory computer-readable medium of claim 15, wherein the host computing system comprises a head mounted display system.
(Item 20)
20. The non-transitory computer-readable medium of claim 15, wherein the method further comprises storing the one or more components in a memory.
(Item 21)
20. The non-transitory computer-readable medium of claim 15, wherein the method further comprises disassembling the one or more component parts.
(Item 22)
1. A method comprising:
Accessing a virtual three-dimensional model stored in a memory;
decomposing the virtual three-dimensional model into one or more component parts;
storing the one or more components in one or more arrays, the one or more components being stored separately from the virtual three-dimensional model;
receiving a connection request from a wearable head device;
Sending a list of available components to the wearable head device;
receiving a component request from the wearable head device;
and transmitting the requested component part to the wearable head device based on the component part request.
(Item 23)
1. A method comprising:
Sending a connection request to a host device via the wearable head device;
receiving a list of available components from the host device;
sending a component request to the host device;
receiving a requested component from the host device based on the component request;
and reconstructing a copy of the virtual three-dimensional model based on the requested components.
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点も、説明、図面、および請求項から明白となるであろう。 Details of one or more implementations of the subject matter described herein are set forth in the accompanying drawings and the description below. Other features, aspects, and advantages will become apparent from the description, drawings, and claims.
図面の全体を通して、参照番号が、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。 Throughout the drawings, reference numbers may be reused to indicate correspondence between referenced elements. The drawings are provided to illustrate example embodiments described herein and are not intended to limit the scope of the present disclosure.
複合現実環境 Mixed reality environment
全ての人々のように、複合現実システムのユーザは、実環境、すなわち、「実世界」の３次元部分、およびユーザによって知覚可能であるそのコンテンツの全てに存在する。例えば、ユーザは、通常のヒトの感覚のうちの１つ、すなわち、視覚、音、接触、味、匂いを使用して、実環境を知覚し、実環境内で自分自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができ、例えば、座標は、緯度、経度、および海面に対する標高、参照点からの３つの直交次元における距離、または他の好適な値を備えることができる。同様に、ベクトルは、座標空間内の方向および規模を有する数量を説明することができる。 Like all people, users of a mixed reality system are present in a real environment, i.e., the three-dimensional portion of the "real world" and all of its content that is perceivable by the user. For example, the user perceives the real environment using one of the normal human senses, i.e., sight, sound, touch, taste, and smell, and interacts with the real environment by moving his or her own body within the real environment. Locations within the real environment can be described as coordinates in a coordinate space, where, for example, the coordinates may comprise latitude, longitude, and elevation relative to sea level, distance in three orthogonal dimensions from a reference point, or other suitable values. Similarly, a vector can describe a quantity that has a direction and magnitude in the coordinate space.
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の計算表現である。仮想環境は、任意のオブジェクト、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性の表現を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる、すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信される入力が、力が方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について公知である任意の好適な情報、および／または任意の好適な入力（例えば、実世界パラメータ）を使用し、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際に、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内でオーディオ信号を生成するためのソフトウェア、入力および出力を取り扱うためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。 A computing device may maintain a representation of a virtual environment, for example, in a memory associated with the device. As used herein, a virtual environment is a computational representation of a three-dimensional space. A virtual environment may include a representation of any object, action, signal, parameter, coordinate, vector, or other property associated with that space. In some examples, the circuitry (e.g., a processor) of the computing device may maintain and update the state of the virtual environment, i.e., the processor may determine the state of the virtual environment at a second time t1 based on data associated with the virtual environment and/or input provided by a user at a first time t0. For example, if an object in the virtual environment is located at a first coordinate at time t0 and has certain programmed physical parameters (e.g., mass, coefficient of friction), and input received from a user indicates that a force should be applied to the object in a directional vector, the processor may apply the laws of kinematics and use basic mechanics to determine the location of the object at time t1. The processor may use any suitable information known about the virtual environment and/or any suitable input (e.g., real-world parameters) to determine the state of the virtual environment at time t1. In maintaining and updating the state of the virtual environment, the processor may execute any suitable software, including software for creating and deleting virtual objects in the virtual environment, software (e.g., scripts) for defining behavior of virtual objects or characters in the virtual environment, software for defining behavior of signals (e.g., audio signals) in the virtual environment, software for creating and updating parameters associated with the virtual environment, software for generating audio signals in the virtual environment, software for handling inputs and outputs, software for implementing network operations, software for applying asset data (e.g., animation data for moving a virtual object over time), or many other possibilities.
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境の任意または全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人、動物、ライト等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視認軸、および錐台を伴う「カメラ」に対応する）を決定し、そのビューに対応する仮想環境の視認可能な場面をディスプレイにレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能な場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、１つ以上のオーディオ信号としてユーザに提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成し得る（例えば、仮想キャラクタが、話す、または音響効果を引き起こし得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽的キューまたは周囲音と関連付けられ得る。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の複合物に対応し、聴取者座標において聴取者によって聞かれるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、１つ以上のスピーカを介して、オーディオ信号をユーザに提示することができる。 An output device, such as a display or speaker, can present any or all aspects of the virtual environment to the user. For example, the virtual environment may include virtual objects (which may include representations of inanimate objects, people, animals, lights, etc.) that may be presented to the user. The processor can determine a view of the virtual environment (e.g., corresponding to a "camera" with origin coordinates, viewing axis, and frustum) and render a viewable scene of the virtual environment corresponding to that view on the display. Any suitable rendering technique may be used for this purpose. In some examples, the viewable scene may include only some virtual objects in the virtual environment and exclude certain other virtual objects. Similarly, the virtual environment may include audio aspects that may be presented to the user as one or more audio signals. For example, a virtual object in the virtual environment may generate sounds that originate from the object's location coordinates (e.g., a virtual character may speak or cause a sound effect), or the virtual environment may be associated with musical cues or ambient sounds that may or may not be associated with a particular location. The processor can determine audio signals corresponding to "listener" coordinates, e.g., audio signals corresponding to a composite of sounds in the virtual environment and that are mixed and processed to simulate an audio signal that would be heard by a listener at the listener coordinates, and present the audio signals to the user via one or more speakers.
仮想環境が、計算構造としてのみ存在するため、ユーザは、その通常の感覚を使用して、仮想環境を直接知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触知出力デバイス等によって、ユーザに提示されるような、仮想環境を間接的にのみ知覚することができる。同様に、ユーザは、仮想環境に直接触れる、それを操作する、または別様にそれと相互作用することができないが、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用し、仮想環境を更新し得るプロセッサに、入力データを提供することができる。例えば、カメラセンサは、ユーザが仮想環境内でオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用し、オブジェクトを、それに応じて仮想環境内で応答させることができる。 Because the virtual environment exists only as a computational construct, the user cannot directly perceive the virtual environment using their normal senses. Instead, the user can only indirectly perceive the virtual environment as presented to the user, for example, by a display, speakers, tactile output devices, etc. Similarly, the user cannot directly touch, manipulate, or otherwise interact with the virtual environment, but can provide input data via input devices or sensors to a processor that can use the device or sensor data to update the virtual environment. For example, a camera sensor can provide optical data indicating that the user is attempting to move an object in the virtual environment, and the processor can use that data to cause the object to respond accordingly in the virtual environment.
複合現実システムは、例えば、透過型ディスプレイおよび／または１つ以上のスピーカ（例えば、ウェアラブルヘッドデバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる複合現実（「ＭＲ」）環境をユーザに提示することができる。いくつかの実施形態では、１つ以上のスピーカは、頭部搭載型ウェアラブルユニットの外部にあり得る。本明細書で使用されるように、ＭＲ環境は、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一の座標空間を共有し、いくつかの実施例では、実座標空間および１つ以上の対応する仮想座標空間は、１つ以上の変換行列（または他の好適な表現）によって相互に関連する。故に、いくつかの実施形態では、単一の座標は（いくつかの実施例では、変換行列とともに）、実環境内の第１の場所、また、仮想環境内の第２の対応する場所を定義することができ、その逆も同様である。 A mixed reality system can present a user with a mixed reality ("MR") environment that combines aspects of real and virtual environments, for example, using a see-through display and/or one or more speakers (which may be incorporated, for example, into a wearable head device). In some embodiments, the one or more speakers may be external to the head-mounted wearable unit. As used herein, an MR environment is a simultaneous representation of a real environment and a corresponding virtual environment. In some examples, the corresponding real and virtual environments share a single coordinate space, and in some examples, the real coordinate space and the one or more corresponding virtual coordinate spaces are interrelated by one or more transformation matrices (or other suitable representations). Thus, in some embodiments, a single coordinate (in some examples, together with a transformation matrix) can define a first location in the real environment and a second corresponding location in the virtual environment, and vice versa.
ＭＲ環境では、（例えば、ＭＲ環境と関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲ環境と関連付けられる実環境内の）実際のオブジェクトに対応することができる。例えば、ＭＲ環境の実環境が、場所座標において実際の街灯（実際のオブジェクト）を備える場合、ＭＲ環境の仮想環境は、対応する場所座標において対応する仮想街灯（仮想オブジェクト）を備えてもよい。本明細書で使用されるように、実際のオブジェクトは、その対応する仮想オブジェクトと組み合わせて、「複合現実オブジェクト」をともに構成する。仮想オブジェクトが、対応する実際のオブジェクトと完全に合致または整合する必要はない。いくつかの実施例では、仮想オブジェクトは、対応する実際のオブジェクトの簡略化されたバージョンであり得る。例えば、実環境が、実際の街灯を含む場合、対応する仮想オブジェクトは、（街灯が略円筒形であり得ることを反映して）実際の街灯とほぼ同一の高さおよび半径の円柱を備えてもよい。このように仮想オブジェクトを単純化することは、計算効率を可能にすることができ、そのような仮想オブジェクトに実施されるべき計算を単純化することができる。さらに、ＭＲ環境のいくつかの実施例では、実環境内の全ての実際のオブジェクトが、対応する仮想オブジェクトと関連付けられるわけではない場合がある。同様に、ＭＲ環境のいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実際のオブジェクトと関連付けられるわけではない場合がある。すなわち、いくつかの仮想オブジェクトが、いずれの実世界対応物も伴わずに、単独でＭＲ環境の仮想環境内にあってもよい。いくつかの実施例では、全ての実際のオブジェクトが、対応する実際のオブジェクトと関連付けられるわけではない場合がある。 In an MR environment, a virtual object (e.g., in a virtual environment associated with the MR environment) may correspond to a real object (e.g., in a real environment associated with the MR environment). For example, if the real environment of the MR environment comprises a real street lamp (real object) at a location coordinate, the virtual environment of the MR environment may comprise a corresponding virtual street lamp (virtual object) at a corresponding location coordinate. As used herein, a real object in combination with its corresponding virtual object together constitutes a "mixed reality object." A virtual object need not perfectly match or align with a corresponding real object. In some examples, a virtual object may be a simplified version of a corresponding real object. For example, if the real environment includes a real street lamp, the corresponding virtual object may comprise a cylinder of approximately the same height and radius as the real street lamp (reflecting that a street lamp may be approximately cylindrical). Simplifying virtual objects in this manner may enable computational efficiency and simplify the calculations to be performed on such virtual objects. Furthermore, in some examples of an MR environment, not all real objects in the real environment may be associated with a corresponding virtual object. Similarly, in some implementations of an MR environment, not all virtual objects in the virtual environment may be associated with a corresponding real-world object. That is, some virtual objects may exist alone in the virtual environment of the MR environment without any real-world counterpart. In some implementations, not all real-world objects may be associated with a corresponding real-world object.
いくつかの実施例では、仮想オブジェクトは、対応する実際のオブジェクトのものと時として著しく異なる、特性を有し得る。例えば、ＭＲ環境内の実環境が、緑色で２本腕のサボテン、すなわち、とげのある無生物オブジェクトを備え得る一方、ＭＲ環境内の対応する仮想オブジェクトは、ヒトの顔特徴および無愛想な態度を伴う緑色で２本腕の仮想キャラクタの特性を有し得る。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）においてその対応する実際のオブジェクトに類似するが、他の特性（顔特徴、性格）において実際のオブジェクトと異なる。このように、仮想オブジェクトは、独創的、抽象的、誇張された、または空想的様式で、実際のオブジェクトを表す、または挙動（例えば、ヒトの性格）をそうでなければ無生物の実際のオブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物がない、純粋に空想的な創作物（例えば、おそらく、実環境内の空虚な空間に対応する場所における、仮想環境内の仮想モンスター）であってもよい。 In some examples, virtual objects may have characteristics that are sometimes significantly different from those of the corresponding real object. For example, a real environment in an MR environment may comprise a green, two-armed cactus, i.e., a thorny inanimate object, while the corresponding virtual object in the MR environment may have the characteristics of a green, two-armed virtual character with human facial features and a surly attitude. In this example, the virtual object resembles its corresponding real object in some characteristics (color, number of arms) but differs from the real object in other characteristics (facial features, personality). In this way, virtual objects have the potential to represent real objects in an original, abstract, exaggerated, or fantastical manner, or to impart behaviors (e.g., human personality) to otherwise inanimate real objects. In some examples, a virtual object may be a purely fantastical creation with no real-world counterpart (e.g., a virtual monster in a virtual environment, perhaps in a location that corresponds to an empty space in the real environment).
実環境を覆い隠しながら、ユーザに仮想環境を提示する、ＶＲシステムと比較して、ＭＲ環境を提示する複合現実システムは、仮想環境が提示されている間に、実環境が知覚可能なままであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚およびオーディオキューを使用し、対応する仮想環境を体験し、それと相互作用することができる。実施例として、上記のように、ユーザが仮想環境を直接知覚すること、またはそれと相互作用することができないため、ＶＲシステムのユーザは、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、自身の実環境内の対応する実際のオブジェクトを見る、聞く、および触れることによって、仮想オブジェクトと相互作用することが直観的かつ自然であると見出し得る。本レベルの双方向性は、仮想環境とのユーザの没入感、関連、および関与を高めることができる。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理的感覚（例えば、認知的不協和）および負の身体的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、我々の実世界の体験を拡張または改変し得る用途のための多くの可能性を提供する。 Compared to VR systems, which present a virtual environment to a user while obscuring the real environment, mixed reality systems that present an MR environment offer the advantage that the real environment remains perceptible while the virtual environment is presented. Thus, a user of a mixed reality system can experience and interact with a corresponding virtual environment using visual and audio cues associated with the real environment. As an example, as described above, a user of a VR system may struggle to perceive or interact with a virtual object displayed in a virtual environment because the user cannot directly perceive or interact with the virtual environment, whereas a user of an MR system may find it intuitive and natural to interact with a virtual object by seeing, hearing, and touching the corresponding real object in his or her real environment. This level of interactivity can increase a user's immersion, association, and engagement with the virtual environment. Similarly, by presenting a real environment and a virtual environment simultaneously, a mixed reality system can reduce the negative psychological sensations (e.g., cognitive dissonance) and negative physical sensations (e.g., motion sickness) associated with a VR system. Mixed reality systems also offer many possibilities for applications that can augment or modify our experience of the real world.
図１９Ａは、ユーザ１９１０が複合現実システム１９１２を使用する、例示的実環境１９００を図示する。複合現実システム１９１２は、例えば、下記に説明されるように、ディスプレイ（例えば、透過型ディスプレイ）と、１つ以上のスピーカと、１つ以上のセンサ（例えば、カメラ）とを備えてもよい。示される実環境１９００は、ユーザ１９１０が立っている長方形の部屋１９０４Ａと、実際のオブジェクト１９２２Ａ（ランプ）、１９２４Ａ（テーブル）、１９２６Ａ（ソファ）、および１９２８Ａ（絵画）とを備える。部屋１９０４Ａはさらに、実環境１９００の原点と見なされ得る、場所座標１９０６を備える。図１９Ａに示されるように、点１９０６（世界座標）にその原点を伴う環境／世界座標系１９０８（ｘ軸１９０８Ｘ、ｙ軸１９０８Ｙ、およびｚ軸１９０８Ｚを備える）が、実環境１９００のための座標空間を定義することができる。いくつかの実施形態では、環境／世界座標系１９０８の原点１９０６は、複合現実システム１９１２の電源が入れられた場所に対応し得る。いくつかの実施形態では、環境／世界座標系１９０８の原点１９０６は、動作の間にリセットされ得る。いくつかの実施例では、ユーザ１９１０は、実環境１９００内の実際のオブジェクトと見なされ得、同様に、ユーザ１９１０の身体部分（例えば、手、足）は、実環境１９００内の実際のオブジェクトと見なされ得る。いくつかの実施例では、点１９１５（例えば、ユーザ／聴取者／頭部座標）にその原点を伴うユーザ／聴取者／頭部座標系１９１４（ｘ軸１９１４Ｘ、ｙ軸１９１４Ｙ、およびｚ軸１９１４Ｚを備える）が、複合現実システム１９１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義することができる。ユーザ／聴取者／頭部座標系１９１４の原点１９１５は、複合現実システム１９１２の１つ以上の成分に対して定義され得る。例えば、ユーザ／聴取者／頭部座標系１９１４の原点１９１５は、複合現実システム１９１２の初期較正の間等に、複合現実システム１９１２のディスプレイに対して定義され得る。行列（平行移動行列およびクォータニオン行列または他の回転行列を含み得る）、または他の好適な表現が、ユーザ／聴取者／頭部座標系１９１４空間と環境／世界座標系１９０８空間との間の変換を特徴付けることができる。いくつかの実施形態では、左耳座標１９１６および右耳座標１９１７が、ユーザ／聴取者／頭部座標系１９１４の原点１９１５に対して定義され得る。行列（平行移動行列およびクォータニオン行列または他の回転行列を含み得る）、または他の好適な表現が、左耳座標１９１６および右耳座標１９１７とユーザ／聴取者／頭部座標系１９１４空間との間の変換を特徴付けることができる。ユーザ／聴取者／頭部座標系１９１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１９０８に対する場所の表現を単純化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、視覚的走行距離計測法、または他の技法を使用して、ユーザ座標系１９１４と環境座標系１９０８との間の変換が、リアルタイムで決定および更新されることができる。 19A illustrates an example real environment 1900 in which a user 1910 uses a mixed reality system 1912. The mixed reality system 1912 may include a display (e.g., a see-through display), one or more speakers, and one or more sensors (e.g., a camera), for example, as described below. The illustrated real environment 1900 includes a rectangular room 1904A in which the user 1910 is standing, and real objects 1922A (lamp), 1924A (table), 1926A (sofa), and 1928A (painting). The room 1904A further includes a location coordinate 1906, which may be considered the origin of the real environment 1900. As shown in FIG. 19A, an environment/world coordinate system 1908 (with an x-axis 1908X, a y-axis 1908Y, and a z-axis 1908Z) with its origin at point 1906 (world coordinates) may define a coordinate space for the real environment 1900. In some embodiments, the origin 1906 of the environment/world coordinate system 1908 may correspond to where the mixed reality system 1912 is powered on. In some embodiments, the origin 1906 of the environment/world coordinate system 1908 may be reset during operation. In some examples, the user 1910 may be considered an actual object in the real environment 1900, and similarly, the body parts (e.g., hands, feet) of the user 1910 may be considered actual objects in the real environment 1900. In some examples, a user/listener/head coordinate system 1914 (comprising an x-axis 1914X, a y-axis 1914Y, and a z-axis 1914Z) with its origin at a point 1915 (e.g., user/listener/head coordinate) may define a coordinate space for the user/listener/head in which the mixed reality system 1912 is located. An origin 1915 of the user/listener/head coordinate system 1914 may be defined with respect to one or more components of the mixed reality system 1912. For example, an origin 1915 of the user/listener/head coordinate system 1914 may be defined relative to a display of the mixed reality system 1912, such as during an initial calibration of the mixed reality system 1912. Matrices (which may include translation matrices and quaternion or other rotation matrices) or other suitable representations may characterize the transformation between the user/listener/head coordinate system 1914 space and the environment/world coordinate system 1908 space. In some embodiments, left ear coordinates 1916 and right ear coordinates 1917 may be defined relative to the origin 1915 of the user/listener/head coordinate system 1914. Matrices (which may include translation matrices and quaternion or other rotation matrices) or other suitable representations may characterize the transformation between the left ear coordinates 1916 and right ear coordinates 1917 and the user/listener/head coordinate system 1914 space. The user/listener/head coordinate system 1914 can simplify the representation of location relative to the user's head or head-mounted device, for example, relative to the environment/world coordinate system 1908. Using simultaneous localization and mapping (SLAM), visual odometry, or other techniques, the transformation between the user coordinate system 1914 and the environment coordinate system 1908 can be determined and updated in real time.
図１９Ｂは、実環境１９００に対応する例示的仮想環境１９３０を図示する。示される仮想環境１９３０は、実際の長方形の部屋１９０４Ａに対応する仮想長方形の部屋１９０４Ｂと、実際のオブジェクト１９２２Ａに対応する仮想オブジェクト１９２２Ｂと、実際のオブジェクト１９２４Ａに対応する仮想オブジェクト１９２４Ｂと、実際のオブジェクト１９２６Ａに対応する仮想オブジェクト１９２６Ｂとを備える。仮想オブジェクト１９２２Ｂ、１９２４Ｂ、１９２６Ｂと関連付けられるメタデータは、対応する実際のオブジェクト１９２２Ａ、１９２４Ａ、１９２６Ａから導出される情報を含むことができる。仮想環境１９３０は、加えて、実環境１９００内のいずれの実際のオブジェクトにも対応しない、仮想モンスター１９３２を備える。実環境１９００内の実際のオブジェクト１９２８Ａは、仮想環境１９３０内のいずれの仮想オブジェクトにも対応しない。点１９３４（持続的座標）にその原点を伴う持続的座標系１９３３（軸１９３３Ｘ、ｙ軸１９３３Ｙ、およびｚ軸１９３３Ｚを備える）は、仮想コンテンツのための座標空間を定義することができる。持続的座標系１９３３の原点１９３４は、実際のオブジェクト１９２６Ａ等の１つ以上の実際のオブジェクトに対して／関して定義され得る。行列（平行移動行列およびクォータニオン行列または他の回転行列を含み得る）、または他の好適な表現が、持続的座標系１９３３空間と環境／世界座標系１９０８空間との間の変換を特徴付けることができる。いくつかの実施形態では、仮想オブジェクト１９２２Ｂ、１９２４Ｂ、１９２６Ｂ、および１９３２はそれぞれ、持続的座標系１９３３の原点１９３４に対してそれらの独自の持続的座標点を有し得る。いくつかの実施形態では、複数の持続的座標系が存在し得、仮想オブジェクト１９２２Ｂ、１９２４Ｂ、１９２６Ｂ、および１９３２はそれぞれ、１つ以上の持続的座標系に対してそれらの独自の持続的座標点を有し得る。 19B illustrates an example virtual environment 1930 corresponding to the real environment 1900. The virtual environment 1930 shown includes a virtual rectangular room 1904B corresponding to the real rectangular room 1904A, a virtual object 1922B corresponding to the real object 1922A, a virtual object 1924B corresponding to the real object 1924A, and a virtual object 1926B corresponding to the real object 1926A. Metadata associated with the virtual objects 1922B, 1924B, 1926B may include information derived from the corresponding real objects 1922A, 1924A, 1926A. The virtual environment 1930 additionally includes a virtual monster 1932 that does not correspond to any real object in the real environment 1900. A real object 1928A in the real environment 1900 does not correspond to any virtual object in the virtual environment 1930. A persistent coordinate system 1933 (comprising axes 1933X, y-axis 1933Y, and z-axis 1933Z) with its origin at point 1934 (persistent coordinates) can define a coordinate space for the virtual content. The origin 1934 of the persistent coordinate system 1933 can be defined relative to/with respect to one or more real objects, such as real object 1926A. Matrices (which may include translation matrices and quaternion matrices or other rotation matrices) or other suitable representations can characterize the transformation between the persistent coordinate system 1933 space and the environment/world coordinate system 1908 space. In some embodiments, virtual objects 1922B, 1924B, 1926B, and 1932 may each have their own persistent coordinate point relative to the origin 1934 of the persistent coordinate system 1933. In some embodiments, there may be multiple persistent coordinate systems, and virtual objects 1922B, 1924B, 1926B, and 1932 may each have their own persistent coordinate points relative to one or more persistent coordinate systems.
図１９Ａおよび１９Ｂに関して、環境／世界座標系１９０８は、実環境１９００および仮想環境１９３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、点１９０６にその原点を有する。さらに、座標空間は、同一の３つの直交軸（１９０８Ｘ、１９０８Ｙ、１９０８Ｚ）によって定義される。故に、実環境１９００内の第１の場所および仮想環境１９３０内の第２の対応する場所が、同一の座標空間に関して説明されることができる。これは、同一の座標が両方の場所を識別するために使用されることができるため、実および仮想環境内の対応する場所を識別および表示することを単純化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要はない。例えば、いくつかの実施例（図示せず）では、行列（平行移動行列およびクォータニオン行列または他の回転行列を含み得る）、または他の好適な表現が、実環境座標空間と仮想環境座標空間との間の変換を特徴付けることができる。 19A and 19B, the environment/world coordinate system 1908 defines a shared coordinate space for both the real environment 1900 and the virtual environment 1930. In the illustrated embodiment, the coordinate space has its origin at point 1906. Furthermore, the coordinate space is defined by the same three orthogonal axes (1908X, 1908Y, 1908Z). Thus, a first location in the real environment 1900 and a second corresponding location in the virtual environment 1930 can be described with respect to the same coordinate space. This simplifies identifying and displaying corresponding locations in the real and virtual environments because the same coordinates can be used to identify both locations. However, in some embodiments, the corresponding real and virtual environments need not use a shared coordinate space. For example, in some embodiments (not shown), matrices (which may include translation matrices and quaternion matrices or other rotation matrices) or other suitable representations can characterize the transformation between the real environment coordinate space and the virtual environment coordinate space.
図１９Ｃは、複合現実システム１９１２を介して、実環境１９００および仮想環境１９３０の側面をユーザ１９１０に同時に提示する、例示的ＭＲ環境１９５０を図示する。示される実施例では、ＭＲ環境１９５０は、（例えば、複合現実システム１９１２のディスプレイの透過型部分を介して）実環境１９００からの実際のオブジェクト１９２２Ａ、１９２４Ａ、１９２６Ａ、および１９２８Ａ、および（例えば、複合現実システム１９１２のディスプレイのアクティブディスプレイ部分を介して）仮想環境１９３０からの仮想オブジェクト１９２２Ｂ、１９２４Ｂ、１９２６Ｂ、および１９３２をユーザ１９１０に同時に提示する。上記のように、原点１９０６は、ＭＲ環境１９５０に対応する座標空間のための原点として作用し、座標系１９０８は、座標空間のためのｘ軸、ｙ軸、およびｚ軸を定義する。 19C illustrates an exemplary MR environment 1950 that simultaneously presents aspects of the real environment 1900 and the virtual environment 1930 to the user 1910 via a mixed reality system 1912. In the example shown, the MR environment 1950 simultaneously presents to the user 1910 real objects 1922A, 1924A, 1926A, and 1928A from the real environment 1900 (e.g., via a transparent portion of the display of the mixed reality system 1912), and virtual objects 1922B, 1924B, 1926B, and 1932 from the virtual environment 1930 (e.g., via an active display portion of the display of the mixed reality system 1912). As above, the origin 1906 serves as the origin for a coordinate space corresponding to the MR environment 1950, and the coordinate system 1908 defines the x-, y-, and z-axes for the coordinate space.
示される実施例では、複合現実オブジェクトは、座標空間１９０８内の対応する場所を占有する、対応する対の実際のオブジェクトおよび仮想オブジェクト（すなわち、１９２２Ａ／１９２２Ｂ、１９２４Ａ／１９２４Ｂ、１９２６Ａ／１９２６Ｂ）を備える。いくつかの実施例では、実際のオブジェクトおよび仮想オブジェクトは両方とも、同時にユーザ１９１０に可視であり得る。これは、例えば、（仮想オブジェクトが古代の損傷した彫刻の欠落部分を提示する、博物館アプリケーションにおいて等）仮想オブジェクトが対応する実際のオブジェクトのビューを拡張するように設計される情報を提示する事例において、望ましくあり得る。いくつかの実施例では、仮想オブジェクト（１９２２Ｂ、１９２４Ｂ、および／または１９２６Ｂ）は、対応する実際のオブジェクト（１９２２Ａ、１９２４Ａ、および／または１９２６Ａ）を閉塞するように、（例えば、ピクセル化閉塞シャッタを使用する、アクティブピクセル化閉塞を介して）表示されてもよい。これは、例えば、（無生物の実際のオブジェクトが「生きている」キャラクタになる、双方向朗読アプリケーション等の）仮想オブジェクトが対応する実際のオブジェクトの視覚代替物として作用する事例において、望ましくあり得る。 In the example shown, the mixed reality objects comprise corresponding pairs of real and virtual objects (i.e., 1922A/1922B, 1924A/1924B, 1926A/1926B) that occupy corresponding locations in coordinate space 1908. In some examples, both the real and virtual objects may be visible to user 1910 at the same time. This may be desirable, for example, in instances where a virtual object presents information designed to augment the view of the corresponding real object (such as in a museum application where the virtual object presents a missing portion of an ancient damaged sculpture). In some examples, the virtual objects (1922B, 1924B, and/or 1926B) may be displayed so as to occlude (e.g., via active pixelated occlusion using a pixelated occlusion shutter) the corresponding real objects (1922A, 1924A, and/or 1926A). This may be desirable, for example, in cases where a virtual object acts as a visual substitute for a corresponding real object (such as an interactive reading application, where inanimate real objects become "living" characters).
いくつかの実施例では、実際のオブジェクト（例えば、１９２２Ａ、１９２４Ａ、１９２６Ａ）は、必ずしも仮想オブジェクトを構成しない場合がある、仮想コンテンツまたはヘルパデータと関連付けられ得る。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実際のオブジェクトの２次元表現、対応する実際のオブジェクトと関連付けられるカスタムアセットタイプ、または対応する実際のオブジェクトと関連付けられる統計データを含み得る。本情報は、不必要な計算オーバーヘッドを負担することなく、実際のオブジェクトを伴う計算を可能にする、または促進することができる。 In some examples, real objects (e.g., 1922A, 1924A, 1926A) may be associated with virtual content or helper data that may not necessarily constitute virtual objects. The virtual content or helper data may facilitate processing or handling of the virtual object within a mixed reality environment. For example, such virtual content may include a two-dimensional representation of the corresponding real object, a custom asset type associated with the corresponding real object, or statistical data associated with the corresponding real object. This information may enable or facilitate computations involving the real object without incurring unnecessary computational overhead.
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面も組み込み得る。例えば、ＭＲ環境１９５０では、仮想モンスター１９３２は、モンスターがＭＲ環境１９５０を歩き回るにつれて生成される足音効果等の１つ以上のオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１９１２のプロセッサは、ＭＲ環境１９５０内の全てのそのような音の混合および処理された複合物に対応する、オーディオ信号を算出し、複合現実システム１９１２に含まれる１つ以上のスピーカおよび／または１つ以上の外部スピーカを介して、オーディオ信号をユーザ１９１０に提示することができる。 In some examples, the presentation described above may also incorporate audio aspects. For example, in the MR environment 1950, the virtual monster 1932 may be associated with one or more audio signals, such as footstep effects, that are generated as the monster roams the MR environment 1950. As described further below, a processor of the mixed reality system 1912 may calculate an audio signal that corresponds to a mixed and processed composite of all such sounds within the MR environment 1950, and present the audio signal to the user 1910 via one or more speakers included in the mixed reality system 1912 and/or one or more external speakers.
（複合現実オブジェクト共有） (Mixed reality object sharing)
オブジェクトの３Ｄデジタルモデルが、仮想オブジェクトとして、ＡＲ／ＶＲ／ＭＲ（以降では簡単にするためにＭＲと称される）環境内で１人以上の実際またはデジタルの人々に表示されてもよい。例えば、自動車技師が、その毎週のチーム会議で新しい車の設計を同僚と共有することを所望し得る。従来的に、設計共有は、視認者が３Ｄオブジェクトを想像することができるように、設計のいくつかの異なるビューを提供することによって遂行され得る。この場合、自動車技師は、会議の間に同僚に配布するべき透視図面をプリントアウトし得る。これは、単純な設計には役立ち得るが、３Ｄオブジェクトが複雑な形状または設計を有する場合、視認者が視認者の頭の中で３Ｄオブジェクトをともに繋ぎ合わせることは、困難であり得る。代替として、または加えて、３Ｄ設計またはモデルを共有する従来的方法は、物理的プロトタイプを作成するステップを伴い得る。本実施例では、自動車技師は、物理的プロトタイプを作成することに時間および金を費やす必要があろう。物理的プロトタイプは、設計者の意図を理解することをより容易にし得るが、設計の基本バージョンのみを示し得る（視認者は、設計の外側のみが見ることができるが、例えば、それを開いて内部コンポーネントを視認することができない）。 A 3D digital model of an object may be displayed as a virtual object to one or more real or digital people in an AR/VR/MR (hereafter referred to as MR for simplicity) environment. For example, an automotive engineer may want to share a new car design with colleagues at his weekly team meeting. Traditionally, design sharing may be accomplished by providing several different views of the design so that the viewer can imagine the 3D object. In this case, the automotive engineer may print out perspective drawings to distribute to colleagues during the meeting. This may be useful for simple designs, but if the 3D object has a complex shape or design, it may be difficult for the viewer to piece together the 3D object in his or her mind. Alternatively, or in addition, traditional methods of sharing a 3D design or model may involve creating a physical prototype. In this example, the automotive engineer would need to spend time and money creating a physical prototype. A physical prototype may make it easier to understand the designer's intent, but may only show a basic version of the design (a viewer can only see the outside of the design but cannot, for example, open it up to view the internal components).
開示されるシステムおよび方法の実施形態は、コンピューティングシステムの間の改良された３Ｄモデル共有を提供し得る。上記の実施例を継続すると、本発明は、自動車技師が、車の新しいデジタル３Ｄモデルを作成し、次いで、会議の間にモデルを同僚と迅速かつ効率的に共有することを可能にし得る。本発明はまた、高速かつ容易な計画外の共有を可能にすることもできる。例えば、自動車技師のマネージャが、自動車技師と協力するために、マネージャが前もって設計していた３Ｄ設計を共有することを所望し得る。いくつかの実施形態では、マネージャは、古い３Ｄ車設計にアクセスし、人々が設計をダウンロードすること、またはアクセスするためのリンクをクリックすることを要求することなく、会議に出席している全員と共有することができる。 Embodiments of the disclosed system and method may provide improved 3D model sharing between computing systems. Continuing with the example above, the present invention may enable an automotive engineer to create a new digital 3D model of a car and then quickly and efficiently share the model with colleagues during a meeting. The present invention may also enable fast and easy unplanned sharing. For example, the automotive engineer's manager may want to share a 3D design that the manager designed in advance to collaborate with the automotive engineer. In some embodiments, the manager can access the old 3D car design and share it with everyone attending the meeting without requiring people to download the design or click a link to access it.
典型的には、例えば、ゲームでは、３Ｄモデル（代替として、３Ｄアセットまたは３Ｄコンテンツと呼ばれる）は、ユーザがゲームを始動するときに、ユーザによって視認されるであろう３Ｄアセットの全てが、すでにデバイス上にあるように、ゲームアプリケーションに事前ロードされる。更新が必要とされるとき、アプリケーションは、オフラインで新しいコンテンツを追加するであろう。例えば、ゲームは、ゲームが起動していないときにパッチを適用してもよく、アプリケーションが次に開かれるときに、新しいコンテンツが、インストールされ、使用の準備ができている。新しい３Ｄモデルを２つ以上のコンピューティングシステムと共有する本システムは、頻繁な計画された更新のためには便宜的であるが、新しい３Ｄモデルが頻繁または予想外に要求されるときには非実用的である。 Typically, for example, in games, 3D models (alternatively called 3D assets or 3D content) are preloaded into the game application so that when the user starts the game, all of the 3D assets that will be visible by the user are already on the device. When updates are needed, the application will add new content offline. For example, a game may be patched when the game is not running, and the next time the application is opened, the new content is installed and ready for use. This system of sharing new 3D models with two or more computing systems is convenient for frequent planned updates, but is impractical when new 3D models are frequently or unexpectedly required.
ＭＲゲームまたはアプリケーションは、学校でカエルの生体構造について学習する生徒の群全体等の複数の人々が共通の目標に向けて貢献する、協調的であり得る。教師が概念を解説しようとし、生徒が理解しない場合、教師が説明しているものが見え得るように、教師がカエルの仮想３Ｄモデルを生徒に表示することが望ましくあり得る。従来的システムは、教師が新しいカエルモデル更新を生徒にプッシュし得るように、生徒が３Ｄモデルをダウンロードすること、またはアプリケーションを終了させて再入力することを要求するであろう。加えて、そのような方法は、３Ｄアセットデータの全てを収納するために、大量のディスク記憶装置を要求し得る。ディスク空間を使用することなく、３Ｄモデルにアクセスする代替方法が、望ましくあり得る。 MR games or applications can be collaborative, with multiple people contributing towards a common goal, such as an entire group of students learning about the anatomy of a frog at school. If a teacher is trying to explain a concept and the student does not understand, it may be desirable for the teacher to display a virtual 3D model of the frog to the student so that they can see what the teacher is explaining. Traditional systems would require the student to download the 3D model or to exit and re-enter the application so that the teacher can push a new frog model update to the student. In addition, such methods may require large amounts of disk storage to house all of the 3D asset data. An alternative method of accessing the 3D model without using disk space may be desirable.
これらの問題は、サーバと１人以上のクライアントとの間のネットワークを経由してデータをストリーミングするための方法およびシステムによって、解決され得る。サーバは、１つ以上の３Ｄモデルへのアクセスを有してもよく、３Ｄモデル共有サーバアプリケーションをダウンロードさせて起動させてもよい。３Ｄモデル共有アプリケーションは、モデルを構成データ部分に分解し、構成データ部分を圧縮し、パッケージ化し、ネットワーク上のクライアントに送信してもよい。クライアントは、３Ｄモデル共有クライアントアプリケーションランタイムの間に構成部分を受信し、３Ｄモデルを再構築し、３Ｄモデルを視認することができる。いくつかの実施形態では、ランタイムは、ゲームまたはアプリケーションループが動作しているとき、画面がアプリケーションコンテンツを表示しているとき、および／またはコンピューティングシステムがアプリケーションのフレームワークとともに動作しているときであってもよい。任意の数のクライアントが、ネットワークの一部であってもよい。任意の数の３Ｄモデルが、クライアントに送信されてもよい。２人以上のクライアントは、２つ以上のデバイス（例えば、コンピューティングシステム）を伴う１人の人物であってもよい、またはそれぞれ１つのデバイスを伴う２人以上の人々であってもよい。 These problems may be solved by a method and system for streaming data over a network between a server and one or more clients. The server may have access to one or more 3D models and may download and launch a 3D model sharing server application. The 3D model sharing application may break the model down into constituent data parts, compress, package and send the constituent data parts to clients on the network. The clients may receive the constituent parts during the 3D model sharing client application runtime, reconstruct the 3D model and view the 3D model. In some embodiments, the runtime may be when a game or application loop is running, when a screen is displaying application content, and/or when a computing system is working with the application's framework. Any number of clients may be part of the network. Any number of 3D models may be sent to the clients. The two or more clients may be one person with two or more devices (e.g., computing systems) or two or more people with one device each.
本願の利点は、ランタイムの間に３Ｄコンテンツ共有を可能にすることである。 The advantage of this application is that it enables 3D content sharing during runtime.
用語「ホスト」は、サーバと同義的に使用されてもよい。用語「３Ｄモデル」、「３Ｄアセット」、「３Ｄコンテンツ」、および「３Ｄモデル」は、同義的に使用されてもよい。
（ウェアラブルシステムの３Ｄディスプレイの実施例）
The term "host" may be used synonymously with server. The terms "3D model,""3Dasset,""3Dcontent," and "3D model" may be used synonymously.
(Example of 3D display for wearable system)
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するように構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。 A wearable system (also referred to herein as an augmented reality (AR) system) can be configured to present 2D or 3D virtual images to a user. The images may be still images, frames of video, or videos, in combination or the like. At least a portion of the wearable system can be implemented on a wearable device, which may present a VR, AR, or MR environment, either alone or in combination, for user interaction. A wearable device can be used synonymously with an AR device (ARD). Additionally, for purposes of this disclosure, the term "AR" is used synonymously with the term "MR."
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加えて、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。 Figure 1 depicts an illustration of a mixed reality scenario with certain virtual reality objects and certain physical objects viewed by a person. In Figure 1, an MR scene 100 is depicted in which a user of the MR technology sees a real-world park-like setting 110 featuring people, trees, buildings in the background, and a concrete platform 120. In addition to these items, the user of the MR technology also perceives that they "see" a robotic figure 130 standing on the real-world platform 120, and a flying cartoon-like avatar character 140 that appears to be an anthropomorphic bumblebee, although these elements do not exist in the real world.
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生産するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。 In order for a 3D display to produce a true depth sensation, and more specifically, a simulated sensation of surface depth, it may be desirable to generate, for each point in the display's field of view, an accommodative response that corresponds to that point's virtual depth. If the accommodative response to a display point does not correspond to that point's virtual depth as determined by the binocular depth cues of convergence and stereopsis, the human eye may experience accommodative conflicts, resulting in unstable imaging, deleterious eye strain, headaches, and, in the absence of accommodative information, a near-complete lack of surface depth.
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供することができる。 VR, AR, and MR experiences can be provided by a display system having a display in which images corresponding to multiple depth planes are provided to a viewer. The images may be different for each depth plane (e.g., providing slightly different presentations of a scene or object) and may be focused separately by the viewer's eyes, thereby serving to provide depth cues to the user based on ocular accommodation required to focus on different image features of a scene located on different depth planes, or based on observing different image features on different depth planes that are out of focus. As discussed elsewhere herein, such depth cues can provide a believable perception of depth.
図２は、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成され得る、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００はまた、ＡＲシステム２００とも称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含むことができる。ディスプレイ２２０は、フレーム２３０に結合されてもよく、これは、ユーザ、装着者、または視認者２１０によって装着可能である。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。 2 illustrates an example of a wearable system 200 that may be configured to provide an AR/VR/MR scene. The wearable system 200 may also be referred to as an AR system 200. The wearable system 200 may include a display 220 and various mechanical and electronic modules and systems to support the functionality of the display 220. The display 220 may be coupled to a frame 230, which is wearable by a user, wearer, or viewer 210. The display 220 may be positioned in front of the eyes of the user 210. The display 220 may present AR/VR/MR content to the user. The display 220 may comprise a head mounted display (HMD) that is worn on the user's head.
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられることができる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供することができる）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するためのオーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されていない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられることができる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。 In some embodiments, a speaker 240 can be coupled to the frame 230 and positioned adjacent the user's ear canal (in some embodiments, another speaker, not shown, can be positioned adjacent the user's other ear canal to provide stereo/shapeable sound control). The display 220 can include an audio sensor (e.g., a microphone) 232 for detecting an audio stream from the environment and capturing ambient sound. In some embodiments, one or more other audio sensors, not shown, can be positioned to provide stereo sound reception. Stereo sound reception can be used to determine the location of a sound source. The wearable system 200 can perform voice or speech recognition on the audio stream.
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに向いた結像システム４６２（図４に示される）を含むこともできる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡し得る。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに向いた結像システム４６２は、１つ以上のカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示が、その眼に対して動的に調整されることを可能にするために使用されてもよい。 The wearable system 200 may include an outwardly facing imaging system 464 (shown in FIG. 4) that observes the world in the user's surrounding environment. The wearable system 200 may also include an inwardly facing imaging system 462 (shown in FIG. 4) that may track the user's eye movements. The inwardly facing imaging system may track either one eye's movements or both eyes' movements. The inwardly facing imaging system 462 may be mounted to the frame 230 and may be in electrical communication with the processing module 260 or 270 that may process the image information obtained by the inwardly facing imaging system and determine, for example, the pupil diameter or orientation of the user's 210 eyes, eye movements, or eye posture. The inwardly facing imaging system 462 may include one or more cameras. For example, at least one camera may be used to image each eye. Images acquired by the cameras may be used to determine pupil size or eye posture for each eye separately, thereby allowing the presentation of image information to each eye to be dynamically adjusted for that eye.
実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。 As an example, the wearable system 200 can obtain an image of the user's posture using an outward facing imaging system 464 or an inward facing imaging system 462. The image may be a still image, a frame of video, or a video.
ディスプレイ２２０は、有線導線または無線コネクティビティ等によって、ローカルデータ処理モジュール２６０に動作可能に結合され、これは、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る（２５０）。 The display 220 is operatively coupled, such as by wired or wireless connectivity, to a local data processing module 260, which may be mounted in a variety of configurations (250), such as fixedly attached to the frame 230, fixedly attached to a helmet or hat worn by the user, built into headphones, or otherwise removably attached to the user 210 (e.g., in a backpack configuration, in a belt-coupled configuration), etc.
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムおよび／または外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または（ｂ）可能性として、処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であり得るように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって、遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。 The local processing and data module 260 may include a hardware processor and digital memory such as non-volatile memory (e.g., flash memory), both of which may be utilized to aid in processing, caching, and storing data. The data may include (a) data captured from sensors (e.g., operably coupled to the frame 230 or otherwise attached to the user 210), such as image capture devices (e.g., cameras in the inward-facing and/or outward-facing imaging systems), audio sensors (e.g., microphones), inertial measurement units (IMUs), accelerometers, compasses, global positioning system (GPS) units, wireless devices, or gyroscopes), or (b) data obtained or processed using the remote processing module 270 or remote data repository 280, possibly for passing to the display 220 after processing or retrieval. The local processing and data module 260 may be operatively coupled to a remote processing module 270 or a remote data repository 280 by a communication link 262 or 264, such as via a wired or wireless communication link, such that these remote modules may be available as resources to the local processing and data module 260. In addition, the remote processing module 280 and the remote data repository 280 may be operatively coupled to each other.
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶されることができ、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にすることができる。
（ウェアラブルシステムの例示的コンポーネント）
In some embodiments, remote processing module 270 may comprise one or more processors configured to analyze and process the data or image information. In some embodiments, remote data repository 280 may comprise a digital data storage facility, which may be available through the Internet or other networking configurations in a "cloud" resource configuration. In some embodiments, all data may be stored and all calculations may be performed in the local processing and data module, allowing for fully autonomous use from the remote module.
Example Components of a Wearable System
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ディスプレイ２２０と、フレーム２３０とを含み得る、ウェアラブルシステム２００を示す。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つ以上のものは、ディスプレイ２２０の一部であり得る。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられる種々のデータ（例えば、オーディオまたは視覚データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有し得ることを理解されたい。なお、図３は、ウェアラブルシステムを通して収集、分析、および記憶され得る、種々のコンポーネントおよびデータのタイプのうちのいくつかの基本概念を提供する。 3 diagrammatically illustrates example components of a wearable system. FIG. 3 shows a wearable system 200, which may include a display 220 and a frame 230. A blowup 202 diagrammatically illustrates various components of the wearable system 200. In some implementations, one or more of the components illustrated in FIG. 3 may be part of the display 220. The various components, alone or in combination, may collect various data (e.g., audio or visual data, etc.) associated with a user of the wearable system 200 or the user's environment. It should be understood that other embodiments may have additional or fewer components depending on the application for which the wearable system is used. However, FIG. 3 provides a basic idea of some of the various components and types of data that may be collected, analyzed, and stored through the wearable system.
図３は、ディスプレイ２２０を含み得る、例示的ウェアラブルシステム２００を示す。ディスプレイ２２０は、ユーザの頭部、またはフレーム２３０に対応する、筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２２６は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つ以上の透明ミラーまたは回折光学要素を備えてもよく、投影された光３３８を眼３０２、３０４の中に指向し、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように発散し得る。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであり得る。カメラ３１６は、図４に示される外向きに向いた結像システム４６４の一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つ以上のオブジェクト認識装置７０８（例えば、図７に示される）を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。 3 illustrates an exemplary wearable system 200 that may include a display 220. The display 220 may include a display lens 226 that may be mounted to a housing or frame 230 that corresponds to the user's head or frame 230. The display lens 226 may include one or more transparent mirrors or diffractive optical elements positioned in front of the user's eyes 302, 304 by the housing 230 and may be configured to direct the projected light 338 into the eyes 302, 304 and facilitate beam shaping while also allowing transmission of at least some light from the local environment. The wavefront of the projected light beam 338 may diverge to match the desired focal length of the projected light. As illustrated, two wide-field machine vision cameras 316 (also referred to as world cameras) are coupled to the housing 230 and may image the environment around the user. These cameras 316 may be dual capture visible/non-visible (e.g., infrared) light cameras. The camera 316 may be part of an outward-facing imaging system 464 shown in FIG. 4. Images acquired by the world camera 316 may be processed by a pose processor 336. For example, the pose processor 336 may implement one or more object recognizers 708 (e.g., shown in FIG. 7) to identify a pose of the user or another person in the user's environment, or to identify a physical object in the user's environment.
図３を継続して参照すると、光３３８を眼３０２、３０４の中に指向するように構成される、ディスプレイ光学系およびレンズを伴う、一対の光プロジェクタモジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポートすることが可能であるように構成されることができる、赤外線光（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。カメラ３２４は、図４に示される、内向きに向いた結像システム４６２の一部であってもよい。ウェアラブルシステム２００はさらに、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高い周波数でデータを提供し得る、センサアセンブリ３３９を特徴とすることができる。センサアセンブリ３３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。描写されるシステム２００はまた、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成され得る、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の頭部姿勢プロセッサ３３６を備えることができる。頭部姿勢プロセッサ３３６は、ハードウェアプロセッサであり得、図２Ａに示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。 Continuing with reference to FIG. 3, a pair of light projector modules with display optics and lenses configured to direct light 338 into the eyes 302, 304 are shown. The depicted diagram also shows two miniature infrared cameras 324 paired with infrared lights (such as light emitting diodes "LEDs") that can be configured to track the user's eyes 302, 304 and support rendering and user input. The cameras 324 may be part of the inwardly facing imaging system 462 shown in FIG. 4. The wearable system 200 may further feature a sensor assembly 339 with X, Y, and Z axis accelerometer capabilities and magnetic compass and X, Y, and Z axis gyroscope capabilities, preferably providing data at a relatively high frequency such as 200 Hz. The sensor assembly 339 may be part of the IMU, described with reference to FIG. 2A. The depicted system 200 may also include a head pose processor 336, such as an ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or ARM processor (Advanced Reduced Instruction Set Machine), that may be configured to calculate real-time or near real-time user head pose from the wide field of view image information output from the capture device 316. The head pose processor 336 may be a hardware processor and may be implemented as part of the local processing and data module 260 shown in FIG. 2A.
ウェアラブルシステムはまた、１つ以上の深度センサ２３４を含むこともできる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ライダ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。 The wearable system may also include one or more depth sensors 234. The depth sensors 234 may be configured to measure the distance between objects in the environment and the wearable device. The depth sensors 234 may include a laser scanner (e.g., lidar), an ultrasonic depth sensor, or a depth-sensing camera. In some implementations where the camera 316 has depth-sensing capabilities, the camera 316 may also be considered a depth sensor 234.
また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成され得る、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。図３に示されるようなウェアラブルシステム２００はまた、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。 Also shown is a processor 332, which may be configured to perform digital or analog processing and derive attitude from gyroscope, compass, or accelerometer data from the sensor assembly 339. The processor 332 may be part of the local processing and data module 260, shown in FIG. 2. The wearable system 200 as shown in FIG. 3 may also include a positioning system, such as, for example, a GPS 337 (Global Positioning System), to aid in attitude and positioning analysis. In addition, the GPS may further provide remote-based (e.g., cloud-based) information about the user's environment. This information may be used to recognize objects or information within the user's environment.
ウェアラブルシステムは、ユーザの環境についてのより多くの情報を提供し得る、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されるデータを組み合わせてもよい。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、（例えば、遠隔処理モジュール２７０と通信することによって）ユーザの場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出すことができる。別の実施例として、ウェアラブルシステム２００は、世界カメラ３１６（図４に示される外向きに向いた結像システム４６４の一部であり得る）を使用して、環境を監視することができる。世界カメラ３１６によって入手される画像に基づいて、ウェアラブルシステム２００は、（例えば、図７に示される１つ以上のオブジェクト認識装置７０８を使用することによって）環境内のオブジェクトを検出することができる。ウェアラブルシステムはさらに、ＧＰＳ３３７によって入手されるデータを使用して、文字を解釈することができる。 The wearable system may combine data obtained by the GPS 337 and a remote computing system (e.g., the remote processing module 270, another user's ARD, etc.), which may provide more information about the user's environment. As an example, the wearable system can determine the user's location based on the GPS data and retrieve (e.g., by communicating with the remote processing module 270) a world map including virtual objects associated with the user's location. As another example, the wearable system 200 can monitor the environment using the world camera 316 (which may be part of the outward-facing imaging system 464 shown in FIG. 4). Based on the images obtained by the world camera 316, the wearable system 200 can detect objects in the environment (e.g., by using one or more object recognizers 708 shown in FIG. 7). The wearable system can further interpret characters using data obtained by the GPS 337.
ウェアラブルシステム２００はまた、ユーザの世界のビューのために、ユーザにローカルであるレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成され得る、レンダリングエンジン３３４を備えてもよい。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、ウェアラブルシステム２００の他のコンポーネントに（例えば、有線または無線リンクを介して）通信可能に結合されることができる。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影し得る）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することもできる。 The wearable system 200 may also include a rendering engine 334 that may be configured to provide rendering information that is local to the user for the user's view of the world and facilitate the operation of the scanner and imaging into the user's eye. The rendering engine 334 may be implemented by a hardware processor (e.g., a central processing unit or a graphics processing unit, etc.). In some embodiments, the rendering engine is part of the local processing and data module 260. The rendering engine 334 may be communicatively coupled (e.g., via wired or wireless links) to other components of the wearable system 200. For example, the rendering engine 334 may be coupled to the eye camera 324 via communication link 274 and to the projection subsystem 318 (which may project light into the user's eyes 302, 304 via a scanning laser array in a manner similar to a retinal scanning display) via communication link 272. The rendering engine 334 may also communicate with other processing units, such as, for example, the sensor pose processor 332 and the image pose processor 336, via links 276 and 294, respectively.
カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動を用いて推定され得る）を含んでもよい。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つ以上のものは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用され得る、画像および姿勢を入手することができる。 A camera 324 (e.g., a small infrared camera) may be utilized to track eye pose and support rendering and user input. Some example eye poses may include where the user is looking or the depth at which they are focusing (which may be estimated using eye convergence and divergence). A GPS 337, gyroscope, compass, and accelerometer 339 may be utilized to provide rough or fast pose estimation. One or more of the cameras 316 can obtain images and poses that, in conjunction with data from associated cloud computing resources, may be utilized to map the local environment and share the user view with others.
図３に描写される例示的コンポーネントは、例証目的のみのためのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等の他のコンポーネントに搭載される、またはその中に収納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。 The exemplary components depicted in FIG. 3 are for illustrative purposes only. Multiple sensors and other functional modules are shown together for ease of illustration and description. Some embodiments may include only one or a subset of these sensors or modules. Furthermore, the locations of these components are not limited to the locations depicted in FIG. 3. Some components may be mounted on or housed within other components, such as belt-mounted components, handheld components, or helmet components. As an example, the image pose processor 336, the sensor pose processor 332, and the rendering engine 334 may be located in a belt pack and configured to communicate with other components of the wearable system via wireless communications, such as ultra-wideband, Wi-Fi, Bluetooth, or via wired communications. The depicted housing 230 is preferably head-mountable and wearable by a user. However, some components of the wearable system 200 may be worn on other parts of the user's body. For example, the speaker 240 may be inserted into the user's ear to provide sound to the user.
ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影される光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。 With regard to projecting light 338 into the user's eyes 302, 304, in some embodiments, the camera 324 may be utilized to measure where the center of the user's eyes geometrically converges, which generally coincides with the location of the eye's focal point or "depth of focus." The three-dimensional surface of all points at which the eyes converge may be referred to as the "monocular locus." The focal length may take on a finite number of depths or may vary infinitely. Light projected from the convergence distance appears focused on the subject's eyes 302, 304, while light in front of or behind the convergence distance is blurred.
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と密接に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。 The human visual system is complex and providing a realistic perception of depth is difficult. A viewer of an object may perceive the object as three-dimensional due to a combination of convergence and accommodation. The convergence of the two eyes relative to one another (e.g., the rotational movement of the pupils toward or away from one another to converge the gaze of the eyes and fixate on the object) is closely linked to the focusing of the eye's lenses (or "accommodation"). Under normal conditions, a change in the focus of the eye's lenses or accommodation of the eye to change focus from one object to another at a different distance will automatically produce a corresponding change in convergence to the same distance, under a relationship known as the "accommodation-divergence reflex." Similarly, a change in convergence will induce a corresponding change in accommodation under normal conditions. A display system that provides a better match between accommodation and convergence may produce a more realistic and comfortable simulation of a three-dimensional image.
さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦する場所にかかわらず、ヒトの眼によって正しく分解されることができる。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、輻輳・開散運動上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを種々の程度の可変分解能でレンダリングするために利用されてもよい。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。 Furthermore, spatially coherent light with a beam diameter of less than about 0.7 millimeters can be correctly resolved by the human eye regardless of where the eye focuses. Thus, to create the illusion of proper depth of focus, the vergence of the eye may be tracked using the camera 324, and the rendering engine 334 and projection subsystem 318 may be utilized to render all objects on or near the vergence in focus and all other objects with various degrees of variable resolution. Preferably, the system 220 renders to the user at a frame rate of about 60 frames per second or greater. As explained above, preferably, the camera 324 may be utilized for eye tracking, and the software may be configured to take not only the vergence geometry, but also focus location cues to serve as user input. Preferably, such a display system is configured with a suitable brightness and contrast for daytime or nighttime use.
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る、位置特定システムと統合されてもよい。位置特定情報は、ユーザの関連世界のビュー内で正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対して存在する場所を把握することを促進するであろう）。 In some embodiments, the display system preferably has a latency of less than about 20 milliseconds for visual object alignment, an angular alignment of less than about 0.1 degrees, and a resolution of about 1 arc minute, which is believed to be approximately the limit of the human eye, without being limited by theory. The display system 220 may be integrated with a localization system that may involve a GPS element, optical tracking, a compass, an accelerometer, or other data sources to aid in position and attitude determination. The localization information may be utilized to facilitate accurate rendering within the user's view of the relevant world (e.g., such information would facilitate knowing where the glasses are relative to the real world).
いくつかの実施形態では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、１つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つ以上の画像のより快適な視認を可能にするように構成されることができる。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影されることができる。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にすることができる。 In some embodiments, the wearable system 200 is configured to display one or more virtual images based on the accommodation of the user's eyes. Unlike traditional 3D display approaches that force the user to focus where the image is projected, in some embodiments, the wearable system can be configured to automatically vary the focus of the projected virtual content to allow for a more comfortable viewing of one or more images presented to the user. For example, if the user's eyes have a current focus of 1 m, the image may be projected to match the user's focus. If the user shifts the focus to 3 m, the image can be projected to match the new focus. Thus, rather than forcing a predetermined focus on the user, the wearable system 200 of some embodiments can allow the user's eyes to function in a more natural manner.
そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実施形態は、１つ以上の可変焦点要素（ＶＦＥ）を通して、仮想画像を種々の焦点距離に投影するように構成されることができる。１つ以上の実施形態では、３Ｄ知覚は、画像をユーザから離れた固定焦点面に投影する、多平面焦点システムを通して達成され得る。他の実施形態は、可変平面焦点を採用することができ、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動してもよい。 Such a wearable system 200 may eliminate or reduce the incidence of eye strain, headaches, and other physiological symptoms typically observed with virtual reality devices. To accomplish this, various embodiments of the wearable system 200 may be configured to project virtual images at various focal distances through one or more variable focus elements (VFEs). In one or more embodiments, 3D perception may be achieved through a multi-planar focus system that projects images onto a fixed focal plane away from the user. Other embodiments may employ a variable planar focus, where the focal plane may move back and forth in the z-direction to match the user's current state of focus.
多平面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、変動焦点の光ビームをラスタパターンで可変に投影する、光変調器を備えることができる。したがって、画像を変動する焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、ユーザの眼球異常を補償するためにも使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、下記にさらに説明されるように、空間光変調器は、画像を１つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
（導波管スタックアセンブリ）
In both the multi-plane and variable plane focus systems, the wearable system 200 may employ eye tracking to determine the convergence and divergence movements of the user's eyes, determine the user's current focus, and project the virtual image at the determined focus. In other embodiments, the wearable system 200 may include a light modulator that variably projects a light beam of varying focus in a raster pattern across the retina through a fiber scanner or other light generating source. Thus, the ability of the wearable system 200 display to project images at varying focal distances may be used to not only facilitate accommodation for the user to view objects in 3D, but also to compensate for the user's ocular abnormalities. In some other embodiments, the spatial light modulator may project the image to the user through various optical components. For example, as described further below, the spatial light modulator may project the image onto one or more waveguides, which then transmit the image to the user.
(Waveguide Stack Assembly)
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含むことができる。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４Ａは、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。 4 illustrates an example of a waveguide stack for outputting image information to a user. The wearable system 400 can include a stack of waveguides or a stacked waveguide assembly 480 that can be utilized to provide a three-dimensional perception to the eye/brain using multiple waveguides 432b, 434b, 436b, 438b, 4400b. In some embodiments, the wearable system 400 can correspond to the wearable system 200 of FIG. 2, of which FIG. 4A diagrammatically illustrates some portions of the wearable system 200 in more detail. For example, in some embodiments, the waveguide assembly 480 can be integrated into the display 220 of FIG. 2.
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。 With continued reference to FIG. 4, the waveguide assembly 480 may also include a number of features 458, 456, 454, 452 between the waveguides. In some embodiments, the features 458, 456, 454, 452 may be lenses. In other embodiments, the features 458, 456, 454, 452 may not be lenses. Rather, they may simply be spacers (e.g., cladding layers or structures to form air gaps).
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂ、または複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射することができ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入されることができる。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向され得る、サンプル射出瞳ビームの場全体を出力してもよい。 Waveguides 432b, 434b, 436b, 438b, 440b, or multiple lenses 458, 456, 454, 452 may be configured to transmit image information to the eye with various levels of wavefront curvature or light beam divergence. Each waveguide level may be associated with a particular depth plane and configured to output image information corresponding to that depth plane. Image injection devices 420, 422, 424, 426, 428 may be utilized to inject image information into waveguides 440b, 438b, 436b, 434b, 432b, respectively, which may be configured to disperse incident light across each individual waveguide for output toward the eye 410. Light can exit the output surfaces of image injection devices 420, 422, 424, 426, 428 and be injected into the corresponding input edges of waveguides 440b, 438b, 436b, 434b, 432b. In some embodiments, a single beam of light (e.g., a collimated beam) can be injected into each waveguide to output an entire sample exit pupil beam field that can be directed toward eye 410 at a particular angle (and divergence) corresponding to the depth plane associated with the particular waveguide.
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報をそれぞれ生産する、離散ディスプレイであり得る。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つ以上の光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端であり得る。 In some embodiments, image input devices 420, 422, 424, 426, 428 may be discrete displays that each produce image information for input into a corresponding waveguide 440b, 438b, 436b, 434b, 432b, respectively. In some other embodiments, image input devices 420, 422, 424, 426, 428 may be the output of a single multiplexed display that may send image information to each of image input devices 420, 422, 424, 426, 428, for example, via one or more optical conduits (such as fiber optic cables).
コントローラ４６０が、ディスプレイおよび画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御することができる。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含むことができる。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイス、または有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。 A controller 460 can control the operation of the display and image input devices 420, 422, 424, 426, 428. The controller 460 can include programming (e.g., instructions in a non-transitory computer-readable medium) that coordinates the timing and provision of image information to the waveguides 440b, 438b, 436b, 434b, 432b. In some embodiments, the controller 460 can be a single integrated device or a distributed system connected by wired or wireless communication channels. The controller 460 can be part of the processing module 260 or 270 (illustrated in FIG. 2) in some embodiments.
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を回折または別様に再指向することによって、光を導波管から外部結合するように構成され得る、光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。外部結合された光は、例えば、導波管によって、導波管内で伝搬する光が回折格子等の光再指向要素に衝打する場所において出力されることができる。光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよく、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。 Waveguides 440b, 438b, 436b, 434b, 432b may be configured to propagate light within each individual waveguide by total internal reflection (TIR). Each of waveguides 440b, 438b, 436b, 434b, 432b may be planar or have another shape (e.g., curved) with major top and bottom surfaces and edges extending between the major top and bottom surfaces. In the illustrated configuration, waveguides 440b, 438b, 436b, 434b, 432b may each include optical elements 440a, 438a, 436a, 434a, 432a that may be configured to couple light out of the waveguide by diffracting or otherwise redirecting light propagating within each individual waveguide. The outcoupled light can be output, for example, by a waveguide where the light propagating in the waveguide strikes a light redirecting element, such as a diffraction grating. The optical elements (440a, 438a, 436a, 434a, 432a) can be, for example, reflective or diffractive optical features. Although shown disposed on the bottom major surfaces of the waveguides 440b, 438b, 436b, 434b, 432b for ease of explanation and clarity of drawing, in some embodiments the optical elements 440a, 438a, 436a, 434a, 432a can be disposed on the top or bottom major surfaces or directly within the volume of the waveguides 440b, 438b, 436b, 434b, 432b. In some embodiments, the optical elements 440a, 438a, 436a, 434a, 432a may be attached to a transparent substrate and formed in a layer of material that forms the waveguides 440b, 438b, 436b, 434b, 432b. In some other embodiments, the waveguides 440b, 438b, 436b, 434b, 432b may be a monolithic piece of material and the optical elements 440a, 438a, 436a, 434a, 432a may be formed on and/or within that piece of material.
図４を継続して参照すると、本明細書に議論されるように、いくつかの実施形態では、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成されることができる。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を作成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させることができる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を作成するように構成されてもよい。 Continuing with reference to FIG. 4, as discussed herein, in some embodiments, each waveguide 440b, 438b, 436b, 434b, 432b can be configured to output light and form an image corresponding to a particular depth plane. For example, the waveguide 432b closest to the eye may be configured to deliver collimated light to the eye 410 as it is launched into such waveguide 432b. The collimated light may represent an optical infinity focal plane. The next upper waveguide 434b may be configured to send collimated light that passes through a first lens 452 (e.g., a negative lens) before it can reach the eye 410. The first lens 452 may be configured to create a slight convex wavefront curvature such that the eye/brain interprets the light originating from the next upper waveguide 434b as originating from a first focal plane closer inward from optical infinity toward the eye 410. Similarly, the third upper waveguide 436b may pass its output light through both the first lens 452 and the second lens 454 before reaching the eye 410. The combined refractive power of the first and second lenses 452 and 454 may be configured to create another incremental amount of wavefront curvature such that the eye/brain interprets the light originating from the third upper waveguide 436b as originating from a second focal plane that is closer inward from optical infinity toward the person than was the light from the next upper waveguide 434b.
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成されることができ、スタック内の最高導波管４４０ｂが、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供することができる。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。 Other waveguide layers (e.g., waveguides 438b, 440b) and lenses (e.g., lenses 456, 458) can be similarly configured, with the highest waveguide 440b in the stack sending its output through all of the lenses between it and the eye for an aggregate focal force that represents the focal plane closest to the person. To compensate for the stack of lenses 458, 456, 454, 452 when viewing/interpreting light originating from the world 470 on the other side of the stacked waveguide assembly 480, a compensating lens layer 430 may be placed on top of the stack to compensate for the aggregate force of the lens stacks 458, 456, 454, 452 below. Such a configuration can provide as many perceived focal planes as there are waveguide/lens pairs available. Both the light extraction optical elements of the waveguides and the focusing sides of the lenses may be static (e.g., not dynamic or electroactive). In some alternative embodiments, one or both may be dynamic using electroactive features.
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられる特定の深度平面のために、光をそれらの個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度平面を有する導波管は、関連付けられる深度平面に応じて、異なる量の発散を伴って光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。 Continuing with FIG. 4, the light extraction optical elements 440a, 438a, 436a, 434a, 432a may be configured to redirect light from their respective waveguides and output the light with an appropriate amount of divergence or collimation for the particular depth plane associated with the waveguide. As a result, waveguides with different associated depth planes may have different configurations of light extraction optical elements that output light with different amounts of divergence depending on the associated depth plane. In some embodiments, as discussed herein, the light extraction optical elements 440a, 438a, 436a, 434a, 432a may be solid or surface features that may be configured to output light at specific angles. For example, the light extraction optical elements 440a, 438a, 436a, 434a, 432a may be solid holograms, surface holograms, and/or diffraction gratings.
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）であり得る。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割されることができ、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となる。 In some embodiments, the light extraction optical elements 440a, 438a, 436a, 434a, 432a can be diffractive features or "diffractive optical elements" (also referred to herein as "DOEs") that form a diffraction pattern. Preferably, the DOEs have a relatively low diffraction efficiency so that only a portion of the light in the beam is deflected toward the eye 410 at each intersection of the DOE, while the remainder continues traveling through the waveguide via total internal reflection. The light carrying the image information can thus be split into several related exit beams that exit the waveguide at multiple locations, resulting in a very uniform pattern of exit emission toward the eye 304 for this particular collimated beam bouncing within the waveguide.
いくつかの実施形態では、１つ以上のＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体内に回折パターンを備えることができる、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。 In some embodiments, one or more DOEs may be switchable between an "on" state in which they actively diffract and an "off" state in which they do not significantly diffract. For example, a switchable DOE may comprise a layer of polymer dispersed liquid crystal in which the microdroplets can comprise a diffractive pattern within a host medium, and the refractive index of the microdroplets can be switched to substantially match that of the host material (in which case the pattern does not significantly diffract incident light), or the microdroplets can be switched to a refractive index that does not match that of the host medium (in which case the pattern actively diffracts incident light).
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動され得る。被写界深度は、視認者の瞳孔サイズと反比例して変化し得る。結果として、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度平面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節することなく、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。 In some embodiments, the number and distribution of depth planes or depths of field may be dynamically varied based on the pupil size or orientation of the viewer's eye. The depth of field may vary inversely with the viewer's pupil size. As a result, as the size of the viewer's eye pupil decreases, the depth of field increases such that one plane that is indistinguishable because its location exceeds the focal depth of the eye may become distinguishable and appear more in focus with a reduction in pupil size and a corresponding increase in depth of field. Similarly, the number of spaced-apart depth planes used to present different images to the viewer may be reduced with a reduced pupil size. For example, the viewer may not be able to clearly perceive details in both a first depth plane and a second depth plane at one pupil size without adjusting the eye's accommodation from one depth plane to the other. However, these two depth planes may be simultaneously well-focused for the user at another pupil size without changing accommodation.
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させ得る。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度平面間間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。 In some embodiments, the display system may vary the number of waveguides that receive image information based on a determination of pupil size or orientation, or in response to receiving an electrical signal indicative of a particular pupil size or orientation. For example, if the user's eye is unable to distinguish between two depth planes associated with two waveguides, the controller 460 (which may be an embodiment of the local processing and data module 260) may be configured or programmed to stop providing image information to one of those waveguides. Advantageously, this may reduce the processing burden on the system, thereby increasing the responsiveness of the system. In embodiments in which the DOE for a waveguide is switchable between on and off states, the DOE may be switched to the off state when the waveguide receives image information.
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。 In some embodiments, it may be desirable to have the exit beam meet the condition of having a diameter less than the diameter of the viewer's eye. However, meeting this condition may be difficult in light of the variability in the size of the viewer's pupil. In some embodiments, this condition is met over a wide range of pupil sizes by varying the size of the exit beam in response to a determination of the size of the viewer's pupil. For example, as the pupil size decreases, the size of the exit beam may also decrease. In some embodiments, the exit beam size may be varied using a variable aperture.
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する、視認者２１０のＦＯＶと同一である場合とそうではない場合がある。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに向いた結像システム４６４から取得される画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡する、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。 The wearable system 400 may include an outwardly facing imaging system 464 (e.g., a digital camera) that images a portion of the world 470. This portion of the world 470 may be referred to as the field of view (FOV) of the world camera, and the imaging system 464 is sometimes also referred to as the FOV camera. The world camera FOV may or may not be the same as the viewer 210 FOV, which encompasses the portion of the world 470 that the viewer 210 perceives at a given time. For example, in some situations, the world camera FOV may be larger than the viewer 210's field of view of the wearable system 400. The entire area available for viewing or imaging by the viewer may be referred to as the ocular field of view (FOR). The FOR may include a solid angle of 4π steradians surrounding the wearable system 400, since the wearer can move his or her body, head, or eyes and perceive virtually any direction in space. In other contexts, the wearer's movements may be more constrained and the wearer's FOR may correspondingly subtend a smaller solid angle. Images acquired from the outward-facing imaging system 464 can be used to track gestures (e.g., hand or finger gestures) made by the user, detect objects in the world 470 in front of the user, etc.
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供し得る、指向性マイクロホンを備えることができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに向いた結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または（例えば、鏡に見られるような）話者の反射された画像と組み合わせて、音声認識を使用して、話者の身元を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手される音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の身元（例えば、名前または他の人口統計情報）を決定することができる。 The wearable system 400 can include an audio sensor 232, e.g., a microphone, to capture ambient sound. As described above, in some embodiments, one or more other audio sensors can be positioned to provide stereo sound reception useful in determining the location of the speech source. The audio sensor 232 can include, as another example, a directional microphone, which can provide such useful directional information regarding where the audio source is located. The wearable system 400 can use information from both the outwardly facing imaging system 464 and the audio sensor 230 in locating the speech source or to determine the active speaker at a particular moment, etc. For example, the wearable system 400 can use voice recognition alone or in combination with a reflected image of the speaker (e.g., as seen in a mirror) to determine the identity of the speaker. As another example, the wearable system 400 can determine the speaker's location in the environment based on sounds obtained from a directional microphone. The wearable system 400 can use speech recognition algorithms to analyze sounds originating from the speaker's location, determine the content of the speech, and use voice recognition techniques to determine the identity of the speaker (e.g., name or other demographic information).
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６６（例えば、デジタルカメラ）を含むこともできる。内向きに向いた結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別（例えば、虹彩識別を介して）のため、画像を取得するために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一の眼４１０のみの瞳孔直径または配向（例えば、一対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに向いた結像システム４６６によって取得される画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。 The wearable system 400 may also include an inwardly facing imaging system 466 (e.g., a digital camera) that observes user movements, such as eye and face movements. The inwardly facing imaging system 466 may be used to capture images of the eye 410 and determine the size and/or orientation of the pupil of the eye 304. The inwardly facing imaging system 466 may be used to obtain images for use in determining the direction the user is looking (e.g., eye pose) or for biometric identification of the user (e.g., via iris identification). In some embodiments, at least one camera may be utilized for each eye independently to separately determine the pupil size or eye pose of each eye, thereby allowing the presentation of image information to each eye to be dynamically adjusted for that eye. In some other embodiments, the pupil diameter or orientation of only a single eye 410 (e.g., using only a single camera per pair of eyes) is determined and assumed to be similar for both eyes of the user. Images acquired by the inwardly facing imaging system 466 may be analyzed to determine the user's eye posture or mood, which may be used by the wearable system 400 to determine audio or visual content to be presented to the user. The wearable system 400 may also determine head pose (e.g., head position or head orientation) using sensors such as an IMU, accelerometer, gyroscope, etc.
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラのいくつかまたは全ての可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下するかまたはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間に、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
（ウェアラブルシステムの他のコンポーネント）
The wearable system 400 may include a user input device 466 through which a user may input commands into the controller 460 and interact with the wearable system 400. For example, the user input device 466 may include a track pad, a touch screen, a joystick, a multi-degree-of-freedom (DOF) controller, a capacitive sensing device, a game controller, a keyboard, a mouse, a directional pad (D-pad), a wand, a tactile device, a totem (e.g., serving as a virtual user input device), and the like. A multi-DOF controller may sense user input in some or all of the possible translations (e.g., left/right, forward/backward, or up/down) or rotations (e.g., yaw, pitch, or roll) of the controller. A multi-DOF controller that supports translations may be referred to as 3DOF, while a multi-DOF controller that supports translations and rotations may be referred to as 6DOF. In some cases, a user may use a finger (e.g., thumb) to press or swipe on the touch-sensitive input device to provide input to the wearable system 400 (e.g., to provide user input to a user interface provided by the wearable system 400). The user input device 466 may be held by the user's hand during use of the wearable system 400. The user input device 466 may communicate with the wearable system 400 in wired or wireless communication.
(Other components of the wearable system)
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの触覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。 In many implementations, the wearable system may include other components in addition to or as an alternative to the components of the wearable system described above. The wearable system may include, for example, one or more tactile devices or components. The tactile devices or components may be operable to provide a haptic sensation to the user. For example, the tactile device or component may provide a haptic sensation of pressure or texture upon touching the virtual content (e.g., a virtual object, virtual tool, other virtual structure). The haptics may replicate the haptic sensation of a physical object that the virtual object represents, or may replicate the sensation of an imaginary object or character (e.g., a dragon) that the virtual content represents. In some implementations, the tactile device or component may be worn by the user (e.g., a user-wearable glove). In some implementations, the tactile device or component may be held by the user.
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していなくてもよい。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
（ウェアラブルシステムとのユーザ相互作用の例示的プロセス）
A wearable system may include one or more physical objects that can be manipulated by a user, for example, to allow input to or interaction with the wearable system. These physical objects may be referred to herein as totems. Some totems may take the form of inanimate objects, e.g., pieces of metal or plastic, walls, the surface of a table. In some implementations, a totem may not actually have any physical input structures (e.g., keys, triggers, joysticks, trackballs, rocker switches). Instead, a totem may simply provide a physical surface, and the wearable system may render a user interface to appear to the user as being on one or more surfaces of the totem. For example, the wearable system may render an image of a computer keyboard and trackpad to appear to reside on one or more surfaces of the totem. For example, the wearable system may render a virtual computer keyboard and virtual trackpad to appear on the surface of a thin rectangular plate of aluminum that serves as the totem. The rectangular plate itself may not have any physical keys or trackpads or sensors. However, the wearable system may detect user manipulation or interaction or touch with the rectangular plate as a selection or input made via a virtual keyboard or virtual trackpad. User input device 466 (shown in FIG. 4) may be an embodiment of the totem, which may include a trackpad, touchpad, trigger, joystick, trackball, rocker or virtual switch, mouse, keyboard, multi-degree-of-freedom controller, or another physical input device. A user may use the totem alone or in combination with posture to interact with the wearable system or other users.
(Exemplary Process of User Interaction with a Wearable System)
図５は、仮想ユーザインターフェースと相互作用するための方法５００の実施例のプロセスフロー図である。方法５００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法５００の実施形態は、ウェアラブルシステムによって使用され、ウェアラブルシステムのＦＯＶ内の人物またはドキュメントを検出することができる。 FIG. 5 is a process flow diagram of an example method 500 for interacting with a virtual user interface. Method 500 may be implemented by a wearable system described herein. An embodiment of method 500 may be used by a wearable system to detect a person or document within the FOV of the wearable system.
ブロック５１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前決定されてもよい。ウェアラブルシステムは、ユーザ入力（例えば、ジェスチャ、視覚データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて、特定のＵＩが取り込まれる必要があることを識別してもよい。ＵＩは、システムの装着者がドキュメントを装着者に提示するユーザを観察している（例えば、旅行者検問所において）、セキュリティシナリオに特有であり得る。ブロック５２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられるデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがＵＩをユーザの物理的場所に関連して表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。本明細書に説明されるセキュリティコンテキストでは、ＵＩは、装着者が、旅行者および旅行者のドキュメントを見ながら、ＵＩを容易に視認し得るように、ＵＩがドキュメントをシステムの装着者に提示している旅行者を囲繞しているかのように表示されてもよい。ＵＩが、手中心である場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されるデータ、または任意の他のタイプの収集されたデータを通して、導出されてもよい。 At block 510, the wearable system may identify a particular UI. The type of UI may be predetermined by the user. The wearable system may identify that a particular UI needs to be captured based on user input (e.g., gestures, visual data, audio data, sensory data, direct commands, etc.). The UI may be specific to a security scenario where a wearer of the system is observing a user presenting a document to the wearer (e.g., at a traveler checkpoint). At block 520, the wearable system may generate data for the virtual UI. For example, data associated with the UI's boundaries, general structure, shape, etc. may be generated. In addition, the wearable system may determine map coordinates of the user's physical location so that the wearable system may display the UI in relation to the user's physical location. For example, if the UI is body-centered, the wearable system may determine coordinates of the user's physical standing position, head pose, or eye pose so that a ring UI may be displayed around the user, or a planar UI may be displayed on a wall or in front of the user. In the security context described herein, the UI may be displayed as if it were surrounding the traveler presenting a document to the wearer of the system, so that the wearer may easily view the UI while viewing the traveler and the traveler's document. If the UI is hand-centered, map coordinates of the user's hand may be determined. These map points may be derived through data received through the FOV camera, sensory input, or any other type of collected data.
ブロック５３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック５４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが作成されると、ウェアラブルシステムは、単に、ブロック５５０において、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、それが認識される場合（ブロック５６０）、コマンドと関連付けられる仮想コンテンツが、ユーザに表示されてもよい（ブロック５７０）。
（複合現実におけるアバタレンダリングの実施例）
In block 530, the wearable system may send data from the cloud to the display, or data may be sent from a local database to the display component. In block 540, a UI is displayed to the user based on the sent data. For example, a light field display can project a virtual UI into one or both of the user's eyes. Once the virtual UI is created, the wearable system may simply wait for commands from the user in block 550 and generate more virtual content on the virtual UI. For example, the UI may be a body-centered ring around the user's body or the body of a person (e.g., a traveler) in the user's environment. The wearable system may then wait for a command (gesture, head or eye movement, voice command, input from a user input device, etc.) and if it is recognized (block 560), the virtual content associated with the command may be displayed to the user (block 570).
(Example of Avatar Rendering in Mixed Reality)
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されるＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。 The wearable system may employ various mapping-related techniques to achieve a high depth of field in the rendered light field. When mapping a virtual world, it is advantageous to capture all features and points in the real world and accurately depict the virtual objects in relation to the real world. To this end, FOV images captured from a user of the wearable system can be added to the world model by including new photos that convey information about various points and features of the real world. For example, the wearable system can collect a set of map points (such as 2D or 3D points), find new map points, and render a more accurate version of the world model. The world model of a first user can be communicated (e.g., via a network such as a cloud network) to a second user so that the second user can experience the world surrounding the first user.
図６Ａは、複合現実環境内のアバタ処理およびレンダリングシステム６９０を備え得る、ウェアラブルシステムの別の実施例のブロック図である。ウェアラブルシステム６００は、図２に示されるウェアラブルシステム２００の一部であってもよい。本実施例では、ウェアラブルシステム６００は、マップデータベース７１０（図７に示される）内のデータの少なくとも一部を含み得る、マップ６２０を備えることができる。マップは、部分的に、ウェアラブルシステム上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所に（例えば、クラウドシステム内に）常駐してもよい。姿勢プロセス６１０は、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、マップ６２０からのデータを利用して、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定してもよい。姿勢データは、ユーザが、システムを体験し、世界内で動作するにつれてオンザフライで収集されるデータから、算出されてもよい。データは、画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および実または仮想環境内のオブジェクトと関連する表面情報を備えてもよい。 FIG. 6A is a block diagram of another example of a wearable system that may include an avatar processing and rendering system 690 in a mixed reality environment. The wearable system 600 may be part of the wearable system 200 shown in FIG. 2. In this example, the wearable system 600 may include a map 620 that may include at least a portion of the data in the map database 710 (shown in FIG. 7). The map may reside in part locally on the wearable system and in part in a networked storage location accessible by a wired or wireless network (e.g., in a cloud system). An attitude process 610 may run on the wearable computing architecture (e.g., processing module 260 or controller 460) and utilize data from the map 620 to determine the position and orientation of the wearable computing hardware or the user. The attitude data may be calculated from data collected on the fly as the user experiences the system and operates within the world. The data may include images, data from sensors (such as inertial measurement units, which generally include accelerometer and gyroscope components), and surface information associated with objects in a real or virtual environment.
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。本システムは、種々のコンポーネントが存在する世界内の場所だけではなく、世界が成る内容も見出すように構成されることができる。姿勢は、マップの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。 The sparse point representation may be the output of a simultaneous localization and mapping (e.g., SLAM or vSLAM, which refers to configurations where the input is image/vision only) process. The system can be configured to find not only where in the world various components reside, but also what the world consists of. Poses can be building blocks that accomplish many goals, including capturing maps and using data from maps.
一実施形態では、疎点位置は、それ自体では完全には適正ではない場合があり、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生産するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、ステレオ６４０と称される、プロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して作成される赤外線パターン等）、画像カメラから入手される画像、または手のジェスチャ／トーテム６５０が、ステレオプロセス６４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合され得、そのうちの一部は、表面表現を用いて要約され得る。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）６４０の出力は、融合プロセス６３０において組み合わせられてもよい。姿勢６１０も同様に、本融合プロセス６３０への入力であってもよく、融合６３０の出力は、マップ取込プロセス６２０への入力となる。サブ表面が、トポグラフィマッピング等において相互と接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。 In one embodiment, the sparse point locations may not be entirely correct by themselves, and further information may be required to produce a multifocal AR, VR, or MR experience. A dense representation, generally referring to depth map information, may be utilized to fill this gap, at least in part. Such information may be calculated from a process referred to as stereo 640, where the depth information is determined using techniques such as triangulation or time-of-flight sensing. Image information and active patterns (such as infrared patterns created using an active projector), images obtained from an image camera, or hand gestures/totems 650 may serve as inputs to the stereo process 640. A significant amount of the depth map information may be fused together, some of which may be summarized using a surface representation. For example, a mathematically definable surface may be an efficient (e.g., for large point clouds) and easy-to-summarize input to other processing devices such as a game engine. Thus, the outputs of the stereo vision process (e.g., depth maps) 640 may be combined in a fusion process 630. The pose 610 may also be an input to this fusion process 630, the output of which is the input to the map capture process 620. Sub-surfaces may connect with each other to form larger surfaces, such as in topographical mapping, and the map becomes a large-scale hybrid of points and surfaces.
複合現実プロセス６６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図６Ａに描写される実施形態では、ゲームパラメータが、入力され、システムのユーザが、種々の場所における１匹以上のモンスター、種々の条件下で死にかけている、または逃げているモンスター（ユーザがモンスターを射撃する場合等）、種々の場所における壁または他のオブジェクト、および同等物を伴った状態で、モンスターバトルゲームをプレーしていることを決定し得る。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報（例えば、オブジェクトが、平坦または丸いかどうか、水平または垂直であるか、テーブルまたはランプであるかどうか等の分類）を含んでもよく、世界マップは、複合現実への別の有益な入力であり得る。世界に対する姿勢も同様に、入力となることができ、ほぼあらゆる双方向システムに対して重要な役割を担うことができる。 Various inputs may be utilized to resolve various aspects of the mixed reality process 660. For example, in the embodiment depicted in FIG. 6A, game parameters may be input to determine that a user of the system is playing a monster battle game with one or more monsters in various locations, monsters dying or fleeing under various conditions (such as when the user shoots the monsters), walls or other objects in various locations, and the like. A world map may contain information about the location of objects or semantic information of objects (e.g., classification of whether an object is flat or round, horizontal or vertical, a table or a lamp, etc.), and may be another useful input to mixed reality. Attitude relative to the world may be an input as well, and may play an important role for almost any interactive system.
ユーザからの制御または入力は、ウェアラブルシステム６００への別の入力であり得る。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回る、またはゲームをプレーするために、例えば、ユーザは、自らが所望する内容に関して、ウェアラブルシステム６００に命令する必要があり得る。単に自らを空間内で移動させる以外にも、利用され得る種々の形態のユーザ制御が、存在し得る。一実施形態では、トーテム（例えば、ユーザ入力デバイス）または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。本システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、本システムは、場所および配向、および、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている内容を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をユーザがクリックしているかどうかを理解するように構成されてもよい）。 Controls or inputs from the user may be another input to the wearable system 600. As described herein, user inputs may include visual inputs, gestures, totems, audio inputs, sensory inputs, etc. To move around or play a game, for example, the user may need to command the wearable system 600 as to what he or she desires. There may be various forms of user control that may be utilized beyond simply moving oneself in space. In one embodiment, an object such as a totem (e.g., a user input device) or a toy gun may be held by the user and tracked by the system. The system would preferably be configured to know that the user is holding an item and understand the type of interaction the user is having with the item (e.g., if the totem or object is a gun, the system may be configured to understand the location and orientation, and whether the user is clicking a trigger or other sensitive button or element, which may be equipped with sensors such as an IMU that may help determine what is occurring even when such activity is not within the field of view of any of the cameras).
手のジェスチャの追跡または認識もまた、入力情報を提供し得る。ウェアラブルシステム６００は、ボタン押下、左または右、停止、握持、保持のジェスチャ等に関して、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム用環境において電子メールまたはカレンダを通してフリップする、または「フィストバンプ」を別の人物またはプレーヤと行うことを所望し得る。ウェアラブルシステム６００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止のために手を開く、ＯＫのために親指を上げる、ＯＫではないことのために親指を下げる、または指向性コマンドのための右または左または上／下への手のフリップのような単純な静的ジェスチャであってもよい。 Tracking or recognition of hand gestures may also provide input information. The wearable system 600 may be configured to track and interpret hand gestures in terms of button presses, left or right, stop, grab, hold gestures, and the like. For example, in one configuration, a user may want to flip through email or calendar in a non-gaming environment, or "fist bump" with another person or player. The wearable system 600 may be configured to utilize a minimal amount of hand gestures, which may or may not be dynamic. For example, gestures may be simple static gestures such as an open hand for stop, thumbs up for OK, thumbs down for not OK, or a flip of the hand to the right or left or up/down for a directional command.
眼追跡は、別の入力であり得る（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して、決定されてもよく、次いで、その特定の人物に関して開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等の他の技法も、眼追跡のために使用されることができる。 Eye tracking can be another input (e.g., to track where the user is looking, control display technology, render to a specific depth or range). In one embodiment, eye convergence may be determined using triangulation, and accommodation may then be determined using a convergence/accommodation model developed for that particular person. Eye tracking is performed by an eye camera, which can determine eye gaze (e.g., direction or orientation of one or both eyes). Other techniques, such as, for example, measurement of electrical potentials with electrodes placed near the eyes (e.g., electro-oculography), can also be used for eye tracking.
発話追跡は、別の入力であり得、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用されることができる。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム６００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム６００は、発話している人物（例えば、発話が、ＡＲＤの装着者からのものであるか、または別の人物からのものであるか、または音声（例えば、環境内のラウドスピーカによって伝送される録音された音声）からのものであるか）を決定するための音声認識技術、および話されている内容を決定するための発話認識技術を組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化を使用する他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、発話のコンテンツを識別することができる。 Speech tracking can be another input and can be used alone or in combination with other inputs (e.g., totem tracking, eye tracking, gesture tracking, etc.). Speech tracking can include speech recognition, voice recognition, alone or in combination. System 600 can include an audio sensor (e.g., a microphone) that receives an audio stream from the environment. System 600 can incorporate voice recognition technology to determine who is speaking (e.g., whether the speech is from the wearer of the ARD or from another person or from a voice (e.g., recorded voice transmitted by a loudspeaker in the environment)) and to determine what is being said. The local data and processing module 260 or the remote processing module 270 can process the audio data from the microphone (or audio data in another stream, such as, for example, a video stream being viewed by a user) and identify the content of the speech by applying various speech recognition algorithms, such as, for example, hidden Markov models, dynamic time warping (DTW)-based speech recognition, neural networks, deep learning algorithms such as deep feedforward and recurrent neural networks, end-to-end automatic speech recognition, machine learning algorithms (described with reference to FIG. 7), or other algorithms that use acoustic or language modeling.
ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０はまた、話者がウェアラブルシステム６００のユーザ２１０であるかまたはユーザが会話している別の人物であるか等の話者の身元を識別し得る、音声認識アルゴリズムを適用することもできる。いくつかの例示的音声認識アルゴリズムは、周波数推定、隠れマルコフモデル、ガウス混合物モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、行列表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮法（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むこともできる。スペクトル特徴が、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される、種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。 The local data and processing module 260 or the remote processing module 270 may also apply speech recognition algorithms that may identify the identity of the speaker, such as whether the speaker is the user 210 of the wearable system 600 or another person with whom the user is conversing. Some example speech recognition algorithms may include frequency estimation, hidden Markov models, Gaussian mixture models, pattern matching algorithms, neural networks, matrix representations, vector quantization, speaker diarization, decision trees, and dynamic time warping (DTW) techniques. Speech recognition techniques may also include anti-speaker techniques such as cohort models and world models. Spectral features may be used in representing speaker characteristics. The local data and processing module or the remote data processing module 270 may perform speech recognition using various machine learning algorithms, which are described with reference to FIG. 7.
ウェアラブルシステムの実装は、ＵＩを介したこれらのユーザ制御または入力を使用することができる。ＵＩ要素（例えば、制御、ポップアップウィンドウ、吹き出し、データエントリフィールド等）は、例えば、情報、例えば、オブジェクトのグラフィックまたは意味論情報のディスプレイを閉じるために使用されることができる。 The implementation of the wearable system can use these user controls or inputs via the UI. UI elements (e.g., controls, pop-up windows, callouts, data entry fields, etc.) can be used, for example, to dismiss the display of information, e.g., graphical or semantic information of an object.
カメラシステムに関して、図６Ａに示される例示的ウェアラブルシステム６００は、３対のカメラ、すなわち、ユーザの顔の側面に配列される、相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、立体視結像プロセス６４０をハンドリングし、また、ユーザの顔の正面における手のジェスチャおよびトーテム／オブジェクト追跡を捕捉するために、ユーザの顔の正面に配向される、異なる対のカメラとを含むことができる。ＦＯＶカメラおよび立体視プロセス６４０のための一対のカメラは、外向きに向いた結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム６００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される、眼追跡カメラ（図４に示される内向きに向いた結像システム４６２の一部であり得る）を含むことができる。ウェアラブルシステム６００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。 With respect to the camera system, the exemplary wearable system 600 shown in FIG. 6A may include three pairs of cameras: a relatively wide FOV or passive SLAM pair of cameras arranged on the sides of the user's face, and a different pair of cameras oriented in front of the user's face to handle the stereoscopic imaging process 640 and to capture hand gestures and totem/object tracking in front of the user's face. The pair of cameras for the FOV cameras and stereoscopic imaging process 640 may be part of the outward facing imaging system 464 (shown in FIG. 4). The wearable system 600 may include an eye-tracking camera (which may be part of the inward facing imaging system 462 shown in FIG. 4) oriented toward the user's eyes to triangulate eye vectors and other information. The wearable system 600 may also include one or more textured light projectors (such as infrared (IR) projectors) to inject texture into the scene.
ウェアラブルシステム６００は、アバタ処理およびレンダリングシステム６９０を備えることができる。アバタ処理およびレンダリングシステム６９０は、コンテキスト情報に基づいて、アバタを生成し、更新し、アニメーション化し、レンダリングするように構成されることができる。アバタ処理およびレンダリングシステム６９０の一部または全部は、単独で、または組み合わせて、ローカル処理およびデータモジュール２６０または遠隔処理モジュール２６２、２６４の一部として実装されることができる。種々の実施形態では、複数のアバタ処理およびレンダリングシステム６９０（例えば、異なるウェアラブルデバイス上に実装されるような）が、仮想アバタ６７０をレンダリングするために使用されることができる。例えば、第１のユーザのウェアラブルデバイスが、第１のユーザの意図を決定するために使用されてもよい一方、第２のユーザのウェアラブルデバイスは、アバタの特性を決定し、第１のユーザのウェアラブルデバイスから受信される意図に基づいて、第１のユーザのアバタをレンダリングすることができる。第１のユーザのウェアラブルデバイスおよび第２のユーザのウェアラブルデバイス（または他のそのようなウェアラブルデバイス）は、例えば、図９を参照して説明されるであろうように、ネットワークを介して通信することができる。 The wearable system 600 may include an avatar processing and rendering system 690. The avatar processing and rendering system 690 may be configured to generate, update, animate, and render avatars based on the context information. Some or all of the avatar processing and rendering system 690 may be implemented as part of the local processing and data module 260 or the remote processing modules 262, 264, alone or in combination. In various embodiments, multiple avatar processing and rendering systems 690 (e.g., implemented on different wearable devices) may be used to render the virtual avatar 670. For example, a first user's wearable device may be used to determine the first user's intent, while a second user's wearable device may determine avatar characteristics and render the first user's avatar based on the intent received from the first user's wearable device. The first user's wearable device and the second user's wearable device (or other such wearable devices) can communicate over a network, for example, as will be described with reference to FIG. 9.
図６Ｂは、例示的アバタ処理およびレンダリングシステム６９０を図示する。例示的アバタ処理およびレンダリングシステム６９０は、単独で、または組み合わせて、３Ｄモデル処理システム６８０と、コンテキスト情報分析システム６８８と、アバタ自動スケーラ６９２と、意図マッピングシステム６９４と、生体構造調節システム６９８と、刺激応答システム６９６とを備えることができる。システム６９０は、アバタ処理およびレンダリングのための機能性を図示することを意図しており、限定的であることを意図していない。例えば、ある実装では、これらのシステムのうちの１つ以上のものは、別のシステムの一部であってもよい。例えば、コンテキスト情報分析システム６８８の一部は、個々に、または組み合わせて、アバタ自動スケーラ６９２、意図マッピングシステム６９４、刺激応答システム６９６、または生体構造調節システム６９８の一部であってもよい。 6B illustrates an exemplary avatar processing and rendering system 690. The exemplary avatar processing and rendering system 690 may comprise, either alone or in combination, a 3D model processing system 680, a context information analysis system 688, an avatar auto-scaler 692, an intent mapping system 694, an anatomy adjustment system 698, and a stimulus response system 696. The system 690 is intended to illustrate functionality for avatar processing and rendering and is not intended to be limiting. For example, in some implementations, one or more of these systems may be part of another system. For example, parts of the context information analysis system 688 may be parts of the avatar auto-scaler 692, the intent mapping system 694, the stimulus response system 696, or the anatomy adjustment system 698, either alone or in combination.
コンテキスト情報分析システム６８８は、図２および３を参照して説明される、１つ以上のデバイスセンサに基づいて、環境およびオブジェクト情報を決定するように構成されることができる。例えば、コンテキスト情報分析システム６８８は、ユーザまたはユーザのアバタの視認者の外向きに向いた結像システム４６４によって入手される画像を使用して、環境およびユーザの環境のオブジェクト（物理的または仮想オブジェクトを含む）またはユーザのアバタがレンダリングされる環境を分析することができる。コンテキスト情報分析システム６８８は、単独で、または場所データまたは世界マップ（例えば、マップ６２０、７１０、９１０）から入手されるデータと組み合わせて、そのような画像を分析し、環境内のオブジェクトの場所およびレイアウトを決定することができる。コンテキスト情報分析システム６８８はまた、仮想アバタ６７０を現実的にアニメーション化するために、ユーザまたはヒト全般の生物学的特徴にアクセスすることができる。例えば、コンテキスト情報分析システム６８８は、ユーザのアバタの身体の一部（例えば、頭部）が、ユーザの身体の他の部分に対して違和感のある（または非現実的）位置にあり得ない（例えば、アバタの頭部が、２７０度方向転換されない）ように、アバタに適用され得る、違和感曲線を生成し得る。ある実装では、１つ以上のオブジェクト認識装置７０８（図７に示される）は、コンテキスト情報分析システム６８８の一部として実装されてもよい。 The context information analysis system 688 can be configured to determine environment and object information based on one or more device sensors, as described with reference to FIGS. 2 and 3. For example, the context information analysis system 688 can use images acquired by the outwardly facing imaging system 464 of a viewer of the user or the user's avatar to analyze the environment and objects (including physical or virtual objects) of the user's environment or the environment in which the user's avatar is rendered. The context information analysis system 688 can analyze such images, alone or in combination with data acquired from location data or world maps (e.g., maps 620, 710, 910), to determine the location and layout of objects in the environment. The context information analysis system 688 can also access biological characteristics of the user or humans in general to realistically animate the virtual avatar 670. For example, the context information analysis system 688 may generate an incongruity curve that may be applied to a user's avatar such that a part of the avatar's body (e.g., the head) cannot be in an incongruent (or unrealistic) position relative to other parts of the user's body (e.g., the avatar's head cannot be turned 270 degrees). In some implementations, one or more object recognizers 708 (shown in FIG. 7) may be implemented as part of the context information analysis system 688.
アバタ自動スケーラ６９２、意図マッピングシステム６９４、および刺激応答システム６９６、および生体構造調節システム６９８は、コンテキスト情報に基づいて、アバタの特性を決定するように構成されることができる。アバタのいくつかの例示的特性は、サイズ、外観、位置、配向、移動、姿勢、表情等を含むことができる。アバタ自動スケーラ６９２は、ユーザがアバタを不快な姿勢で見る必要がないように、アバタを自動的にスケーリングするように構成されることができる。例えば、アバタ自動スケーラ６９２は、ユーザが、それぞれ、アバタを見下ろす、またはアバタを見上げる必要がないように、アバタのサイズを増加または減少させ、アバタをユーザの眼の高さに持って来ることができる。意図マッピングシステム６９４は、アバタがその中にレンダリングされる環境に基づいて、ユーザの相互作用の意図を決定し、（正確なユーザ相互作用ではなく）意図をアバタにマッピングすることができる。例えば、第１のユーザの意図は、テレプレゼンスセッションにおいて第２のユーザと通信することであり得る（例えば、図９Ｂ参照）。典型的には、２人が、通信するときに相互に向かい合う。第１のユーザのウェアラブルシステムの意図マッピングシステム６９４は、テレプレゼンスセッションの間に存在するそのような対面意図を決定することができ、第１のユーザのウェアラブルシステムに、第２のユーザのアバタを第１のユーザに向かってレンダリングさせることができる。第２のユーザが、物理的に方向転換しようとした場合、第２のユーザのアバタを方向転換された位置にレンダリングする代わりに（第２のユーザのアバタの背面を第１のユーザに対してレンダリングさせるであろう）、第１のユーザの意図マッピングシステム６９４は、第２のアバタの顔を第１のユーザに対してレンダリングし続けることができ、これは、テレプレゼンスセッションの推測される意図（例えば、本実施例では、対面意図）である。 The avatar auto-scaler 692, the intent mapping system 694, the stimulus response system 696, and the anatomy adjustment system 698 can be configured to determine characteristics of the avatar based on the context information. Some example characteristics of the avatar can include size, appearance, position, orientation, movement, posture, facial expression, etc. The avatar auto-scaler 692 can be configured to automatically scale the avatar so that the user does not have to view the avatar in an uncomfortable position. For example, the avatar auto-scaler 692 can increase or decrease the size of the avatar and bring the avatar to the user's eye level so that the user does not have to look down or up at the avatar, respectively. The intent mapping system 694 can determine the user's interaction intent based on the environment in which the avatar is rendered and map the intent (rather than the exact user interaction) to the avatar. For example, the intent of a first user can be to communicate with a second user in a telepresence session (see, e.g., FIG. 9B). Typically, two people face each other when communicating. The intent mapping system 694 of the first user's wearable system can determine such a facing intent that exists during the telepresence session and can cause the first user's wearable system to render the second user's avatar facing the first user. If the second user attempts to physically turn around, instead of rendering the second user's avatar in a turned-around position (which would cause the back of the second user's avatar to be rendered towards the first user), the first user's intent mapping system 694 can continue to render the second avatar's face towards the first user, which is the inferred intent of the telepresence session (e.g., in this example, a facing intent).
刺激応答システム６９６は、環境内の着目オブジェクトを識別し、着目オブジェクトに対するアバタの応答を決定することができる。例えば、刺激応答システム６９６は、アバタの環境内の音源を識別し、音源を見るようにアバタを自動的に方向転換させることができる。刺激応答システム６９６はまた、閾値終了条件を決定することもできる。例えば、刺激応答システム６９６は、音源が消失した後に、またはある時間周期が経過した後に、アバタをそのオリジナル姿勢に戻らせることができる。 The stimulus response system 696 can identify objects of interest in the environment and determine the avatar's response to the objects of interest. For example, the stimulus response system 696 can identify a sound source in the avatar's environment and automatically reorient the avatar to look at the sound source. The stimulus response system 696 can also determine threshold exit conditions. For example, the stimulus response system 696 can cause the avatar to return to its original posture after the sound source disappears or after a period of time has passed.
生体構造調節システム６９８は、生物学的特徴に基づいて、ユーザの姿勢を調節するように構成されることができる。例えば、生体構造調節システム６９８は、違和感曲線に基づいて、ユーザの頭部とユーザの胴体との間またはユーザの上半身と下半身との間の相対的位置を調節するように構成されることができる。 The anatomical adjustment system 698 can be configured to adjust the user's posture based on the biological characteristics. For example, the anatomical adjustment system 698 can be configured to adjust the relative position between the user's head and the user's torso or between the user's upper body and lower body based on the discomfort curve.
３Ｄモデル処理システム６８０は、仮想アバタ６７０をアニメーション化し、ディスプレイ２２０にレンダリングさせるように構成されることができる。３Ｄモデル処理システム６８０は、仮想キャラクタ処理システム６８２と、移動処理システム６８４とを含むことができる。仮想キャラクタ処理システム６８２は、ユーザの３Ｄモデルを生成し、（仮想アバタを作成およびアニメーション化するために）更新するように構成されることができる。移動処理システム６８４は、例えば、アバタの姿勢を変化させることによって、アバタをユーザの環境内で動き回らせることによって、またはアバタの顔の表情をアニメーション化することによって等、アバタをアニメーション化するように構成されることができる。本明細書にさらに説明されるであろうように、仮想アバタは、リギング技法を使用して、アニメーション化されることができる。いくつかの実施形態では、アバタは、２つの部分、すなわち、仮想アバタの外向き外観をレンダリングするために使用される表面表現（例えば、変形可能メッシュ）と、メッシュをアニメーション化するための相互接続された関節の階層セット（例えば、コア骨格）とにおいて表される。いくつかの実装では、仮想キャラクタ処理システム６８２は、表面表現を編集または生成させるように構成されることができる一方、移動処理システム６８４は、アバタを移動させること、メッシュを変形させること等によって、アバタをアニメーション化するために使用されることができる。
（ユーザの環境をマッピングする実施例）
The 3D model processing system 680 can be configured to animate the virtual avatar 670 and render it on the display 220. The 3D model processing system 680 can include a virtual character processing system 682 and a movement processing system 684. The virtual character processing system 682 can be configured to generate and update (to create and animate) a 3D model of the user. The movement processing system 684 can be configured to animate the avatar, for example, by changing the avatar's pose, by moving the avatar around the user's environment, or by animating the avatar's facial expressions, etc. As will be described further herein, the virtual avatar can be animated using rigging techniques. In some embodiments, the avatar is represented in two parts: a surface representation (e.g., a deformable mesh) that is used to render the virtual avatar's outward appearance, and a hierarchical set of interconnected joints (e.g., a core skeleton) for animating the mesh. In some implementations, the virtual character processing system 682 can be configured to edit or generate surface representations, while the movement processing system 684 can be used to animate the avatar by moving it, deforming meshes, etc.
(Example of Mapping a User's Environment)
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を、１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに向いた結像システムのカメラ等）によって入手される画像データは、マッピング点のセットに変えられてもよい。 7 is a block diagram of an example of an MR environment 700. The MR environment 700 may be configured to receive inputs (e.g., visual inputs 702 from a user's wearable system, stationary inputs 704 such as room cameras, sensory inputs 706 from various sensors, gestures, totems, eye tracking, user inputs, etc. from user input devices 466) from one or more user wearable systems (e.g., wearable system 200 or display system 220) or stationary room systems (e.g., room cameras, etc.). The wearable systems may use various sensors (e.g., accelerometers, gyroscopes, temperature sensors, movement sensors, depth sensors, GPS sensors, inward facing imaging systems, outward facing imaging systems, etc.) to determine the location and various other attributes of the user's environment. This information may be further supplemented with information from stationary cameras in the room, which may provide images from different perspectives or various cues. Image data acquired by the cameras (e.g., room cameras and/or outward facing imaging system cameras) may be turned into a set of mapping points.
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに添付することができる。マップデータベース７１０は、経時的に収集される種々の点およびそれらの対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。 One or more object recognizers 708 can crawl through the received data (e.g., a collection of points), recognize or map the points, tag images, and attach semantic information to the objects using a map database 710. The map database 710 may comprise various points and their corresponding objects collected over time. The various devices and the map database may be interconnected through a network (e.g., LAN, WAN, etc.) and accessible to the cloud.
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。 Based on this information and the set of points in the map database, the object recognizers 708a-708n may recognize objects in the environment. For example, the object recognizers may recognize faces, people, windows, walls, user input devices, televisions, documents (e.g., travel documents, driver's licenses, passports as described in the security embodiments herein), other objects in the user's environment, etc. One or more object recognizers may be specialized for objects with certain characteristics. For example, object recognizer 708a may be used to recognize faces, while another object recognizer may be used to recognize documents.
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム４６４（図４に示される）によって入手される画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。 Object recognition may be performed using various computer vision techniques. For example, the wearable system may analyze images acquired by the outward facing imaging system 464 (shown in FIG. 4) and perform scene reconstruction, event detection, video tracking, object recognition (e.g., people or documents), object pose estimation, face recognition (e.g., from images of people or documents in the environment), learning, indexing, motion estimation, or image analysis (e.g., identifying indicia in documents such as photographs, signatures, identification information, travel information, etc.). One or more computer vision algorithms may be used to perform these tasks. Non-limiting examples of computer vision algorithms include Scale Invariant Feature Transform (SIFT), Speed Up Robust Features (SURF), Orientation FAST and Rotation BRIEF (ORB), Binary Robust Invariant Scalable Keypoints (BRISK), Fast Retinal Keypoints (FREAK), Viola-Jones algorithm, Eigenfaces approach, Lucas-Kanade algorithm, Horn-Schunk algorithm, Mean-shift algorithm, Visual Simultaneous Localization and Mapping (VSLM), and others. These include techniques such as sequential Bayes estimators (e.g., Kalman filter, extended Kalman filter, etc.), bundle adjustment, adaptive thresholding (and other thresholding techniques), iterative nearest neighbor (ICP), semi-global matching (SGM), semi-global block matching (SGBM), feature point histograms, various machine learning algorithms (e.g., support vector machines, k-nearest neighbor algorithms, naive Bayes, neural networks (including convolutional or deep neural networks), or other supervised/unsupervised models, etc.), etc.
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む、教師ありまたは教師なし機械学習アルゴリズムを含むことができる。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用するステップを含んでもよい。 Object recognition can additionally or alternatively be performed by various machine learning algorithms. Once trained, the machine learning algorithms can be stored by the HMD. Some examples of machine learning algorithms can include supervised or unsupervised machine learning algorithms, including regression algorithms (e.g., ordinary least squares regression, etc.), instance-based algorithms (e.g., learning vector quantization, etc.), decision tree algorithms (e.g., classification and regression trees, etc.), Bayesian algorithms (e.g., naive Bayes, etc.), clustering algorithms (e.g., k-means clustering, etc.), association rule learning algorithms (e.g., a priori algorithm, etc.), artificial neural network algorithms (e.g., Perceptron, etc.), deep learning algorithms (e.g., Deep Boltzmann Machine, i.e., deep neural networks, etc.), dimensionality reduction algorithms (e.g., principal component analysis, etc.), ensemble algorithms (e.g., stacked generalization, etc.), and/or other machine learning algorithms. In some embodiments, individual models can be customized for individual datasets. For example, the wearable device can generate or store a base model. The base model may be used as a starting point to generate additional models specific to a data type (e.g., a particular user in a telepresence session), a data set (e.g., a set of additional images acquired of a user in a telepresence session), a conditional situation, or other variations. In some embodiments, the wearable HMD can be configured to utilize multiple techniques to generate models for analysis of the aggregated data. Other techniques may include using predefined thresholds or data values.
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、オブジェクトに動作性を与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、本システムは、ある意味論情報を添付してもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、本システムは、鏡が、部屋内のオブジェクトの画像を反射し得る、反射表面を有するという意味論情報を添付してもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。本システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から累積するにつれて成長することができる。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されるデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集される点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。 Based on this information and the set of points in the map database, the object recognizer 708a-708n may recognize the object, complement the object with semantic information, and give the object operability. For example, if the object recognizer recognizes that the set of points is a door, the system may attach some semantic information (e.g., a door has a hinge and has 90 degrees of movement around the hinge). If the object recognizer recognizes that the set of points is a mirror, the system may attach semantic information that the mirror has a reflective surface that can reflect an image of the object in the room. The semantic information may include the affordances of the object, as described herein. For example, the semantic information may include the object's normal. The system may assign a vector, the direction of which indicates the object's normal. Over time, the map database may grow as the system (which may reside locally or be accessible through a wireless network) accumulates more data from the world. Once the object is recognized, the information may be transmitted to one or more wearable systems. For example, the MR environment 700 may contain information about a scene taking place in California. The environment 700 may be transmitted to one or more users in New York. Based on the data received from the FOV camera and other inputs, the object recognizer and other software components can map points collected from the various images, recognize objects, etc., so that the scene can be accurately "passed" to a second user who may be in a different part of the world. The environment 700 may also use a topology map for localization purposes.
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在し得る。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに居住する友人と散歩に行くことを所望し得る。 FIG. 8 is a process flow diagram of an example method 800 for rendering virtual content in relation to recognized objects. Method 800 describes how a virtual scene may be presented to a user of a wearable system. The user may be geographically remote from the scene. For example, a user may be in New York but may wish to view a scene currently occurring in California, or may wish to go for a walk with a friend who resides in California.
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成され得る。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。本システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ－７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、それに応じて、ブロック８５０においてユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
（複数のウェアラブルシステム間の例示的通信）
At block 810, the wearable system may receive input from the user and other users regarding the user's environment. This may be accomplished through various input devices and knowledge already held in the map database. The user's FOV camera, sensors, GPS, eye tracking, etc. communicate information to the system at block 810. The system may determine sparse points based on this information at block 820. The sparse points may be used in determining pose data (e.g., head pose, eye pose, body pose, or hand gestures) that may be used in displaying and understanding the orientation and position of various objects in the user's surroundings. The object recognizers 708a-708n may crawl through these collected points and recognize one or more objects using the map database at block 830. This information may then be communicated to the user's respective wearable system at block 840, and the desired virtual scene may be displayed to the user accordingly at block 850. For example, a desired virtual scene (eg, a user in CA) may be displayed in an appropriate orientation, position, etc., relative to various objects and other surroundings of the user in New York.
(Example Communication Between Multiple Wearable Systems)
図９は、相互と相互作用する複数のユーザデバイスを描写する、全体的システム図を図式的に図示する。コンピューティング環境９００は、ユーザデバイス９３０ａ、９３０ｂ、９３０ｃを含む。ユーザデバイス９３０ａ、９３０ｂ、および９３０ｃは、ネットワーク９９０を通して、相互と通信することができる。ユーザデバイス９３０ａ－９３０ｃはそれぞれ、ネットワークインターフェースを含み、ネットワーク９９０を介して、遠隔コンピューティングシステム９２０（ネットワークインターフェース９７１も含み得る）と通信することができる。ネットワーク９９０は、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他のネットワークであってもよい。コンピューティング環境９００はまた、１つ以上の遠隔コンピューティングシステム９２０を含むこともできる。遠隔コンピューティングシステム９２０は、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含んでもよい。ユーザデバイス９３０ａ、９３０ｂ、および９３０ｃは、ネットワーク９９０を介して、遠隔コンピューティングシステム９２０と通信してもよい。 9 diagrammatically illustrates an overall system diagram depicting multiple user devices interacting with each other. Computing environment 900 includes user devices 930a, 930b, 930c. User devices 930a, 930b, and 930c can communicate with each other through network 990. User devices 930a-930c each include a network interface and can communicate with remote computing system 920 (which may also include network interface 971) via network 990. Network 990 may be a LAN, WAN, peer-to-peer network, wireless, Bluetooth, or any other network. Computing environment 900 may also include one or more remote computing systems 920. Remote computing systems 920 may include server computer systems that are clustered and located in different geographic locations. User devices 930a, 930b, and 930c may communicate with remote computing system 920 via network 990.
遠隔コンピューティングシステム９２０は、具体的ユーザの物理および／または仮想世界についての情報を維持し得る、遠隔データリポジトリ９８０を含んでもよい。データ記憶装置９８０は、ユーザ、ユーザの環境（例えば、ユーザの環境の世界マップ）、またはユーザのアバタの構成に関連する情報を記憶することができる。遠隔データリポジトリは、図２に示される遠隔データリポジトリ２８０の実施形態であってもよい。遠隔コンピューティングシステム９２０はまた、遠隔処理モジュール９７０を含んでもよい。遠隔処理モジュール９７０は、図２に示される遠隔処理モジュール２７０の実施形態であってもよい。遠隔処理モジュール９７０は、ユーザデバイス（９３０ａ、９３０ｂ、９３０ｃ）および遠隔データリポジトリ９８０と通信し得る、１つ以上のプロセッサを含んでもよい。プロセッサは、ユーザデバイスおよび他のソースから取得される情報を処理することができる。いくつかの実装では、処理または記憶の少なくとも一部は、ローカル処理およびデータモジュール２６０（図２に示されるような）によって提供されることができる。遠隔コンピューティングシステム９２０は、所与のユーザが、具体的ユーザ自身の物理的および／または仮想世界についての情報を別のユーザと共有することを可能にし得る。 The remote computing system 920 may include a remote data repository 980 that may maintain information about a particular user's physical and/or virtual world. The data storage 980 may store information related to the configuration of the user, the user's environment (e.g., a world map of the user's environment), or the user's avatar. The remote data repository may be an embodiment of the remote data repository 280 shown in FIG. 2. The remote computing system 920 may also include a remote processing module 970. The remote processing module 970 may be an embodiment of the remote processing module 270 shown in FIG. 2. The remote processing module 970 may include one or more processors that may communicate with the user devices (930a, 930b, 930c) and the remote data repository 980. The processors may process information obtained from the user devices and other sources. In some implementations, at least a portion of the processing or storage may be provided by the local processing and data module 260 (as shown in FIG. 2). The remote computing system 920 may enable a given user to share information about the particular user's own physical and/or virtual world with another user.
ユーザデバイスは、単独で、または組み合わせて、ウェアラブルデバイス（ＨＭＤまたはＡＲＤ等）、コンピュータ、モバイルデバイス、または任意の他のデバイスであってもよい。例えば、ユーザデバイス９３０ｂおよび９３０ｃは、ＡＲ／ＶＲ／ＭＲコンテンツを提示するように構成され得る、図２に示されるウェアラブルシステム２００（または図４に示されるウェアラブルシステム４００）の実施形態であってもよい。 The user devices may be, alone or in combination, wearable devices (such as HMDs or ARDs), computers, mobile devices, or any other devices. For example, user devices 930b and 930c may be an embodiment of the wearable system 200 shown in FIG. 2 (or the wearable system 400 shown in FIG. 4) that may be configured to present AR/VR/MR content.
ユーザデバイスのうちの１つ以上のものは、図４に示されるユーザ入力デバイス４６６と併用されることができる。ユーザデバイスは、（例えば、図４に示される外向きに向いた結像システム４６４を使用して）ユーザおよびユーザの環境についての情報を取得することができる。ユーザデバイスおよび／または遠隔コンピューティングシステム１２２０は、ユーザデバイスから取得される情報を使用して、画像、点、および他の情報の集合を構築、更新、および建造することができる。例えば、ユーザデバイスは、入手される未加工情報を処理し、さらなる処理のために、処理された情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスはまた、処理のために、未加工情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスは、処理された情報を遠隔コンピューティングシステム１２２０から受信し、ユーザに投影する前に、最終処理を提供してもよい。ユーザデバイスはまた、取得された情報を処理し、処理された情報を他のユーザデバイスにパスしてもよい。ユーザデバイスは、入手された情報を処理しながら、遠隔データリポジトリ１２８０と通信してもよい。複数のユーザデバイスおよび／または複数のサーバコンピュータシステムが、入手された画像の構築および／または処理に関与してもよい。 One or more of the user devices can be used in conjunction with the user input device 466 shown in FIG. 4. The user device can acquire information about the user and the user's environment (e.g., using the outwardly facing imaging system 464 shown in FIG. 4). The user device and/or the remote computing system 1220 can use the information acquired from the user device to build, update, and construct a collection of images, points, and other information. For example, the user device may process the raw information acquired and send the processed information to the remote computing system 1220 for further processing. The user device may also send the raw information to the remote computing system 1220 for processing. The user device may receive the processed information from the remote computing system 1220 and provide final processing before projecting to the user. The user device may also process the acquired information and pass the processed information to other user devices. The user device may communicate with the remote data repository 1280 while processing the acquired information. Multiple user devices and/or multiple server computer systems may be involved in the construction and/or processing of the acquired images.
物理的世界に関する情報は、経時的に展開されてもよく、異なるユーザデバイスによって収集される情報に基づいてもよい。仮想世界のモデルはまた、経時的に展開され、異なるユーザの入力に基づいてもよい。そのような情報およびモデルは、時として、本明細書では、世界マップまたは世界モデルと称され得る。図６および７を参照して説明されるように、ユーザデバイスによって入手される情報は、世界マップ９１０を構築するために使用されてもよい。世界マップ９１０は、図６Ａに説明されるマップ６２０の少なくとも一部を含んでもよい。種々のオブジェクト認識装置（例えば、７０８ａ、７０８ｂ、７０８ｃ…７０８ｎ）が、オブジェクトおよびタグ画像を認識するため、および意味論情報をオブジェクトに添付するために使用されてもよい。これらのオブジェクト認識装置はまた、図７に説明される。 Information about the physical world may evolve over time and may be based on information collected by different user devices. Models of the virtual world may also evolve over time and be based on input from different users. Such information and models may sometimes be referred to herein as world maps or world models. As described with reference to Figures 6 and 7, information obtained by the user devices may be used to construct a world map 910. The world map 910 may include at least a portion of the map 620 described in Figure 6A. Various object recognizers (e.g., 708a, 708b, 708c...708n) may be used to recognize objects and tag images and to attach semantic information to objects. These object recognizers are also described in Figure 7.
遠隔データリポジトリ９８０は、データを記憶し、世界マップ９１０の構築を促進するために使用されることができる。ユーザデバイスは、ユーザの環境についての情報を常に更新し、世界マップ９１０についての情報を受信することができる。世界マップ９１０は、ユーザによって、または別の人物によって作成されてもよい。本明細書に議論されるように、ユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）および遠隔コンピューティングシステム９２０は、単独で、または組み合わせて、世界マップ９１０を構築および／または更新してもよい。例えば、ユーザデバイスは、遠隔処理モジュール９７０および遠隔データリポジトリ９８０と通信してもよい。ユーザデバイスは、ユーザおよびユーザの環境についての情報を入手および／または処理してもよい。遠隔処理モジュール９７０は、遠隔データリポジトリ９８０およびユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）と通信し、ユーザおよびユーザの環境についての情報を処理してもよい。遠隔コンピューティングシステム９２０は、例えば、ユーザの画像を選択的にクロッピングすること、ユーザの背景を修正すること、仮想オブジェクトをユーザの環境に追加すること、ユーザの発話に補助情報で注釈を付けること等、ユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）によって入手される情報を修正することができる。遠隔コンピューティングシステム９２０は、処理された情報を同一および／または異なるユーザデバイスに送信することができる。
（３Ｄモデル共有のための例示的プロセス）
The remote data repository 980 can be used to store data and facilitate the construction of the world map 910. The user devices can constantly update information about the user's environment and receive information about the world map 910. The world map 910 may be created by the user or by another person. As discussed herein, the user devices (e.g., 930a, 930b, 930c) and the remote computing system 920 may, alone or in combination, construct and/or update the world map 910. For example, the user devices may communicate with the remote processing module 970 and the remote data repository 980. The user devices may obtain and/or process information about the user and the user's environment. The remote processing module 970 may communicate with the remote data repository 980 and the user devices (e.g., 930a, 930b, 930c) and process information about the user and the user's environment. The remote computing system 920 can modify information obtained by the user devices (e.g., 930a, 930b, 930c), for example, by selectively cropping the user's image, modifying the user's background, adding virtual objects to the user's environment, annotating the user's speech with auxiliary information, etc. The remote computing system 920 can transmit the processed information to the same and/or different user devices.
(Exemplary Process for Sharing 3D Models)
図１０は、本明細書に説明されるシステムおよび方法を使用して、３Ｄアセットを共有する例示的プロセス１０００を図示する。ステップ１００１では、３Ｄ共有ホストアプリケーションが、ホストシステムから３Ｄモデルファイルにアクセスすることができる。ホストは、ホストシステム上に新しい３Ｄアセットを作成すること、または外部システムから３Ｄアセットを取得することのいずれかによって、これを行ってもよい。３Ｄアセットは、ＡｕｔｏＣａｄまたは３Ｄ Ｓｔｕｄｉｏ Ｍａｘ等の３Ｄモデル化アプリケーションにおいて生じ得、任意のファイルタイプであってもよい。ホストは、アセットインポートプラグイン（例えば、ＡＳＳＩＭＰ）を利用し、グラフィック形式交換を可能にし得る。ＡＳＳＩＭＰプラグインは、例えば、．ｆｂｘ形式におけるＦｉｌｍｂｏｘ（ＦＢＸ）、または．３ｄｓ形式におけるＡｕｔｏｄｅｓｋ Ｍａｘ ３Ｄモデル化（３ＤＳ）等の最大４０個の異なるファイル形式をサポートし得る。いくつかの実施形態では、カスタムプログラムが、ファイル形式交換を可能にするように書かれてもよい。任意の他の好適なファイル形式変換方法が、ホスト３Ｄ共有アプリケーション内で使用するためのファイル再フォーマットを可能にするために使用されてもよい。 FIG. 10 illustrates an example process 1000 for sharing 3D assets using the systems and methods described herein. In step 1001, a 3D sharing host application can access a 3D model file from a host system. The host may do this by either creating a new 3D asset on the host system or by acquiring a 3D asset from an external system. The 3D asset may originate in a 3D modeling application such as AutoCad or 3D Studio Max and may be any file type. The host may utilize an asset import plug-in (e.g., ASSIMP) to enable graphic format exchange. The ASSIMP plug-in may support up to 40 different file formats, such as, for example, Filmbox (FBX) in the .fbx format, or Autodesk Max 3D modeling (3DS) in the .3ds format. In some embodiments, custom programs may be written to enable file format exchange. Any other suitable file format conversion method may be used to enable file reformatting for use within the host 3D sharing application.
ステップ１００３では、３Ｄ共有ホストアプリケーションが、３Ｄアセットを構成部分に分解することができる。構成部分の実施例は、地理データ、材料データ、頂点テーブル、１つ以上のテクスチャ、三角形インデックス、または３Ｄモデルの完全な表現を最終的に定義するために使用される任意の他のデータであってもよい。 In step 1003, the 3D sharing host application can break down the 3D asset into its constituent parts. Examples of constituent parts can be geographic data, material data, a vertex table, one or more textures, triangle indices, or any other data that is used to ultimately define a complete representation of the 3D model.
ステップ１００５では、構成部分が、ホストとのネットワークの一部であるクライアントに送信されることができる。いくつかの実施形態では、１つだけのクライアントが存在し得る。いくつかの実施形態では、２つ以上のクライアントが存在し得る。好ましい実施形態では、ローカルエリアネットワークが、ＵＤＰプロトコルを利用して、利用されてもよい。ネットワークは、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、アドホック、または任意の他のネットワークであってもよい。いくつかの実施形態では、ネットワークは、上記に説明されるようなネットワーク９９０であってもよい。ホストは、９２０との関連で上記に説明されるように、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含み得る、遠隔コンピューティングシステムであってもよい。クライアントは、上記に説明されるようなユーザデバイス９３０ａ、９３０ｂ、および／または９３０ｃであってもよい。いくつかの実施形態では、１つのホストが存在し得る。いくつかの実施形態では、２つ以上のホストが存在し得る。いくつかの実施形態では、ネットワークに接続される各デバイスは、事実上、ネットワーク上の他のデバイスからの３Ｄアセットの共有および受信の両方を行う、ホストおよびクライアントの両方であってもよい。 In step 1005, the components can be sent to a client that is part of a network with the host. In some embodiments, there may be only one client. In some embodiments, there may be more than one client. In a preferred embodiment, a local area network may be utilized utilizing UDP protocol. The network may be a LAN, WAN, peer-to-peer network, wireless, Bluetooth, ad-hoc, or any other network. In some embodiments, the network may be network 990 as described above. The host may be a remote computing system that may include server computer systems that are clustered and located in different geographic locations as described above in connection with 920. The client may be user devices 930a, 930b, and/or 930c as described above. In some embodiments, there may be one host. In some embodiments, there may be more than one host. In some embodiments, each device connected to the network may in effect be both a host and a client, both sharing and receiving 3D assets from other devices on the network.
ステップ１００７では、クライアントが、構成部分を受信することができる。 In step 1007, the client can receive the components.
ステップ１００９では、クライアントが、ホストから受信される構成部分から３Ｄアセットを再構成することができる。いくつかの実施形態では、３Ｄアセットは、クライアントデバイスのメモリ内に記憶されることができる。いくつかの実施形態では、３Ｄアセットは、デバイスによって後で使用するために保存されてもよい。 In step 1009, the client can reconstruct the 3D asset from the components received from the host. In some embodiments, the 3D asset can be stored in memory of the client device. In some embodiments, the 3D asset may be saved for later use by the device.
ステップ１０１１では、クライアントが、再構成された３Ｄアセットを表示することができる。いくつかの実施形態では、クライアントは、再構成された３Ｄアセットを表示しなくてもよい、または、例えば、ユーザ要求に応じて、後の時間にアセットを表示してもよい。いくつかの実施形態では、クライアントは、再構成された３Ｄアセットを表示してもよいが、ユーザは、ユーザのＦＯＶの外側にあるため、再構成された３Ｄアセットが見ることができない場合がある。
（例示的３Ｄモデル共有システム構成）
In step 1011, the client may display the reconstructed 3D asset. In some embodiments, the client may not display the reconstructed 3D asset, or may display the asset at a later time, for example, in response to a user request. In some embodiments, the client may display the reconstructed 3D asset, but the user may not be able to see it because it is outside the user's FOV.
(Exemplary 3D Model Sharing System Configuration)
図１１は、本明細書に説明されるシステムおよび方法を使用して、３Ｄアセットを共有するための例示的３Ｄモデル共有システム構成１１００を図示する。図１１は、１つのクライアント（「遠隔」と呼ばれ得る）システム１１１６と、１つのサーバ（「ホスト」と呼ばれ得る）システム１１１８とを備える、システム構成１１００を描写する。クライアントシステムおよびホストシステムは、システムを物理的に分離する必要はなく、例えば、いくつかの実施形態では、クライアントおよびサーバは、（例えば、同一のコンピュータシステムの１つ以上のプロセッサによって並行して実行される、クライアントおよびサーバスレッドとして）同一の物理的デバイス上に存在することができる。実践では、３Ｄ共有システム１１００は、概して、分解された３Ｄアセットのソースとして機能し得る、少なくとも１つのホストシステム１１１８を要求し得る。ホストシステム１１１８は、３Ｄ共有アプリケーション内で利用可能な３Ｄモデルのタイプおよび数量に対して権威的制御を有し得る。３Ｄ共有システム１１００は、通信ネットワーク１１１４を通してホストシステム１１１８に動作可能に接続される、任意の数（例えば、０、１、１０個等）のクライアントシステム１１１６を有してもよい。通信ネットワーク１１１４は、例えば、ユーザデータグラムプロトコル（ＵＤＰ）を利用する、ＬＡＮであってもよい。ホストシステム１１１８は、少なくとも１つのディスプレイに動作可能に結合され、他のコンピューティングシステムから通信を受信することが可能である、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、ホストシステム１１１８は、ネットワークインターフェースを用いてコンピュータモニタにアタッチされたＰＣデスクトップコンピュータであってもよい。いくつかの実施形態では、ホストシステム１１１８は、上記に説明されるようなシステム２００、９３０ａ、９３０ｂ、または９３０ｃであってもよい。ユーザデバイス２００、９３０ａ、９３０ｂ、および９３０ｃは、通信ネットワーク１１１４を通して、相互および他のコンピューティングシステムと通信することができる。ユーザデバイス９３０ａ－９３０ｃはそれぞれ、ネットワーク１１１４を介して９２０等の遠隔コンピューティングシステムと通信するためのネットワークインターフェース（ネットワークインターフェース９７１も含み得る）を含むことができる。クライアントシステム１１１６は、少なくとも１つのディスプレイに動作可能に結合され、他のコンピューティングシステムから通信を受信することが可能である、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、クライアントシステム１１１６は、ネットワークインターフェースを用いてコンピュータモニタにアタッチされたＰＣデスクトップコンピュータであってもよい。いくつかの実施形態では、クライアントシステム１１１８は、上記に説明されるようなシステム２００、９３０ａ、９３０ｂ、または９３０ｃであってもよい。ユーザデバイス２００、９３０ａ、９３０ｂ、および９３０ｃは、通信ネットワーク１１１４を通して、相互および他のコンピューティングシステムと通信することができる。ユーザデバイス９３０ａ－９３０ｃはそれぞれ、ネットワーク１１１４を介して９２０等の遠隔コンピューティングシステムと通信するためのネットワークインターフェース（ネットワークインターフェース９７１も含み得る）を含むことができる。 FIG. 11 illustrates an exemplary 3D model sharing system configuration 1100 for sharing 3D assets using the systems and methods described herein. FIG. 11 depicts a system configuration 1100 that includes one client (which may be referred to as a "remote") system 1116 and one server (which may be referred to as a "host") system 1118. The client system and the host system need not be physically separate systems, for example, in some embodiments, the client and the server can exist on the same physical device (e.g., as client and server threads executed in parallel by one or more processors of the same computer system). In practice, the 3D sharing system 1100 may generally require at least one host system 1118 that may act as a source of decomposed 3D assets. The host system 1118 may have authoritative control over the types and quantities of 3D models available within the 3D sharing application. The 3D sharing system 1100 may have any number (e.g., 0, 1, 10, etc.) of client systems 1116 operably connected to a host system 1118 through a communications network 1114. The communications network 1114 may be, for example, a LAN utilizing a User Datagram Protocol (UDP). The host system 1118 may comprise one or more processors operably coupled to at least one display and capable of receiving communications from other computing systems. In some embodiments, the host system 1118 may be a PC desktop computer attached to a computer monitor with a network interface. In some embodiments, the host system 1118 may be a system 200, 930a, 930b, or 930c as described above. The user devices 200, 930a, 930b, and 930c may communicate with each other and with other computing systems through the communications network 1114. Each of the user devices 930a-930c can include a network interface (which may also include a network interface 971) for communicating with remote computing systems such as 920 over the network 1114. The client system 1116 can include one or more processors operatively coupled to at least one display and capable of receiving communications from other computing systems. In some embodiments, the client system 1116 can be a PC desktop computer attached to a computer monitor with a network interface. In some embodiments, the client system 1118 can be the system 200, 930a, 930b, or 930c as described above. The user devices 200, 930a, 930b, and 930c can communicate with each other and with other computing systems through the communications network 1114. Each of the user devices 930a-930c can include a network interface (which may also include a network interface 971) for communicating with remote computing systems such as 920 over the network 1114.
ホストシステム１１１８は、３Ｄ共有ホストアプリケーションをインストールされてもよい。３Ｄ共有ホストアプリケーションは、３つの主要モジュール、すなわち、アセットモジュール１１０８と、分解モジュール１１１０と、伝送モジュール１１１２とを備えてもよい。アセットモジュール１１０８は、１つ以上の完全３Ｄモデルを備えてもよい。分解モジュール１１１０は、完全３Ｄモデルを構成部分に分解し、随意に、構成部分を圧縮し、構成部分を、異なるシステムに送信する準備ができている１つ以上のアレイの中に設置するように機能してもよい。アレイは、１つ以上の分解された３Ｄモデルを含有し得る、１つ以上のライブラリ内に記憶されてもよい。伝送モジュール１１１２は、分解モジュール１１１０からの構成部分をデータの転送可能な部分に分解するように機能してもよく、伝送プロトコルおよびプロセスを管理してもよい。伝送モジュール１１１２は、データの転送可能な部分を、通信ネットワーク１１１４上に接続される他のシステムに送信してもよい。 The host system 1118 may have a 3D sharing host application installed. The 3D sharing host application may include three main modules: an asset module 1108, a decomposition module 1110, and a transmission module 1112. The asset module 1108 may include one or more full 3D models. The decomposition module 1110 may function to decompose the full 3D models into constituent parts, optionally compress the constituent parts, and place the constituent parts into one or more arrays ready to be transmitted to different systems. The arrays may be stored in one or more libraries, which may contain one or more decomposed 3D models. The transmission module 1112 may function to decompose the constituent parts from the decomposition module 1110 into transferable pieces of data and may manage the transmission protocol and process. The transmission module 1112 may transmit the transferable pieces of data to other systems connected on the communication network 1114.
クライアントまたは遠隔システム１１１６は、３Ｄ共有クライアントアプリケーションをインストールされてもよい。３Ｄ共有クライアントアプリケーションは、３つの主要モジュール、すなわち、伝送モジュール１１０６と、再構成モジュール１１０４と、アセットモジュール１１０２とを備えてもよい。伝送モジュール１１０６は、１つ以上の分解された３Ｄモデルを受信するように機能してもよく、クライアントシステム１１１６のための伝送およびネットワーキングプロセスを管理してもよい。伝送モジュール１１０６は、メッセージングプロトコルを通して、３Ｄモデル共有ホストアプリケーションと通信してもよい。これらのプロトコルは、特注のプロトコルであってもよい、または一般的に使用されているプロトコルを利用してもよい。再構成モジュール１１０４は、ネットワーク上の他のシステムからの受信される分解された３Ｄモデルを組み立て直すように機能してもよい。アセットモジュール１１０２は、１つ以上の完全３Ｄモデルを備えてもよい。
（３Ｄモデル共有のための例示的プロセス）
The client or remote system 1116 may have the 3D Share client application installed. The 3D Share client application may comprise three main modules: a transmission module 1106, a reconstruction module 1104, and an assets module 1102. The transmission module 1106 may function to receive one or more exploded 3D models and may manage the transmission and networking process for the client system 1116. The transmission module 1106 may communicate with the 3D model sharing host application through messaging protocols. These protocols may be custom protocols or may utilize commonly used protocols. The reconstruction module 1104 may function to reassemble exploded 3D models received from other systems on the network. The assets module 1102 may comprise one or more complete 3D models.
(Exemplary Process for Sharing 3D Models)
図１２は、本明細書に説明されるシステムおよび方法を使用する、サーバとクライアントとの間の例示的３Ｄモデル共有プロセス１２００を図示する。プロセス１２００は、サーバシステム１１１８等のサーバシステムが３Ｄモデル共有ホストアプリケーションを開くときに、ステップ１２０２から開始し得る。 FIG. 12 illustrates an example 3D model sharing process 1200 between a server and a client using the systems and methods described herein. Process 1200 may begin at step 1202 when a server system, such as server system 1118, opens a 3D model sharing host application.
ステップ１２０４では、サーバが、１つ以上の完全３Ｄモデルファイルを３Ｄモデル共有ホストアプリケーションにロードしてもよい。完全３Ｄモデルファイルは、例えば、ＡｕｔｏＣａｄ等のホストシステム１１１８上にダウンロードされる異なる３Ｄモデル化ソフトウェアから、ホストシステム１１１８上に生じてもよい。いくつかの実施形態では、３Ｄモデルファイルは、外部ハードドライブ、遠隔コンピューティングシステム（例えば、上記の図９からの９２０）等の外部ソースから、またはクラウド記憶装置からインポートされてもよい。いくつかの実施形態では、３Ｄモデルファイルは、３Ｄスキャナまたは類似デバイスから生じてもよい。３Ｄモデルファイルは、ＡＳＳＩＭＰまたは同等のプラグインを使用して、インポートされてもよい。プラグインは、１つの形式から３Ｄモデル共有ホストアプリケーションと互換性がある異なるファイルフォーマットに３Ｄモデルファイルを変換してもよい。ファイルフォーマット化が、下記により詳細に説明されるように、分解プロセスの間にサーバにおいて消失し得るため、プラグインは、例えば、ホストシステム１１１８等のホストシステムのみによって利用されてもよい。 In step 1204, the server may load one or more complete 3D model files into the 3D model sharing host application. The complete 3D model files may originate on the host system 1118 from different 3D modeling software, such as, for example, AutoCad, that is downloaded onto the host system 1118. In some embodiments, the 3D model files may be imported from an external source, such as an external hard drive, a remote computing system (e.g., 920 from FIG. 9 above), or from cloud storage. In some embodiments, the 3D model files may originate from a 3D scanner or similar device. The 3D model files may be imported using an ASSIMP or equivalent plugin. The plugin may convert the 3D model files from one format to a different file format that is compatible with the 3D model sharing host application. The plugin may be utilized only by the host system, such as, for example, the host system 1118, because the file formatting may be lost on the server during the decomposition process, as described in more detail below.
ステップ１２０６では、サーバシステムが、３Ｄモデルをその構成部分に分解してもよい。３Ｄモデルを分解するステップは、３Ｄモデル内の構成部分を識別するステップを含むことができる。３Ｄモデルを分解するステップは、３Ｄモデル自体の変化（例えば、３Ｄモデル内の情報の損失）または３Ｄモデルが視認のためにレンダリングされる方法の変化をもたらさないという点で、非破壊的であり得る。３Ｄモデルを分解するステップは、データレベル変更を３Ｄモデルおよび／またはその構成部分に適用するステップ（例えば、データフォーマット化変更を適用するステップ、または構成部分を圧縮し、共有を促進するステップ）を含むことができる。分解プロセスは、上記に説明されるように、分解モジュール１１１０内で生じてもよい。構成部分は、３Ｄモデルを完全に定義するために要求されるデータのサブセットであってもよい。構成部分サブセットは、頂点テーブル、地理データ、材料データ等の３Ｄモデルを備えるデータの既存のバンドルによって定義され得る。いくつかの実施形態では、構成部分サブセットは、３Ｄモデル共有アプリケーションプログラマ等によって、他の方法で定義され得る。 In step 1206, the server system may decompose the 3D model into its constituent parts. Decomposing the 3D model may include identifying the constituent parts within the 3D model. Decomposing the 3D model may be non-destructive in that it does not result in a change to the 3D model itself (e.g., loss of information within the 3D model) or a change to the way the 3D model is rendered for viewing. Decomposing the 3D model may include applying data level changes to the 3D model and/or its constituent parts (e.g., applying data formatting changes or compressing the constituent parts to facilitate sharing). The decomposition process may occur within the decomposition module 1110, as described above. A constituent part may be a subset of data required to fully define the 3D model. A constituent part subset may be defined by an existing bundle of data that comprises the 3D model, such as vertex tables, geographic data, material data, etc. In some embodiments, a constituent part subset may be defined in other ways, such as by a 3D model sharing application programmer.
ステップ１２１４では、クライアントシステムが、３Ｄモデル共有クライアントアプリケーションを開いてもよい。これは、ネットワーキングプロトコル、通信、および発見に関連する一連のステップを開始してもよい。 In step 1214, the client system may open a 3D model sharing client application, which may initiate a series of steps related to networking protocols, communication, and discovery.
ステップ１２１６では、３Ｄモデル共有クライアントアプリケーションが、ホストが存在する場合、ネットワークを介して３Ｄモデル共有ホストを発見し得る。ネットワークは、ＬＡＮ（例えば、ＵＤＰ）であってもよい。いくつかの実施形態では、ローカルネットワークは、私設である。いくつかの実施形態では、クラウドサービスが、使用されない。 In step 1216, the 3D model sharing client application may discover the 3D model sharing host over the network, if a host exists. The network may be a LAN (e.g., UDP). In some embodiments, the local network is private. In some embodiments, a cloud service is not used.
ステップ１２０８では、サーバが、クライアントから接続要求を受信してもよく、サーバが、接続要求を容認してもよい。 In step 1208, the server may receive a connection request from the client, and the server may accept the connection request.
ステップ１２１０では、サーバが、クライアント情報要求をクライアントに返送してもよい。クライアント情報要求は、３Ｄモデル共有ホストアプリケーションのライブラリ内に全てのリストを含有してもよい。クライアント情報要求は、代替として、アセット保有量またはコンテンツのテーブルと呼ばれ得る。 In step 1210, the server may send a client information request back to the client. The client information request may contain a list of everything in the library of the 3D model sharing host application. The client information request may alternatively be referred to as an asset holdings or table of contents.
ステップ１２１８では、クライアントが、３Ｄモデル共有サーバアプリケーションライブラリと比較すると、３Ｄモデル共有クライアントアプリケーションライブラリから欠落しているアイテムを規定するデータを用いて、サーバに返信してもよい。 In step 1218, the client may reply to the server with data defining items that are missing from the 3D model sharing client application library when compared to the 3D model sharing server application library.
ステップ１２１２では、サーバが、３Ｄモデル共有クライアントアプリケーションから欠落しているアイテムをクライアントに送信することによって応答してもよい。いくつかの実施形態では、クライアントは、最近、３Ｄモデル共有アプリケーションを開いている場合があり、したがって、そのライブラリ内にゼロ個のアイテムを伴って開始することができる。本状況では、ホストは、そのライブラリ全体をクライアントに送信してもよい。いくつかの実施形態では、ライブラリは、メモリ内に設置されてもよく、したがって、３Ｄモデル共有アプリケーションが閉じられるときに消去されてもよい。いくつかの実施形態では、ライブラリは、３Ｄモデルが後の日付にアクセスされ得るように、クライアントシステムハードドライブ等のディスクに保存されてもよい。いくつかの実施形態では、クライアントに送信される３Ｄモデルデータは、ファイル形式を伴わないデータ構造である。本ステップの終わりに、３Ｄモデル共有ホストライブラリは、３Ｄモデル共有クライアントライブラリに合致し得る。換言すると、ホストシステムおよびクライアントシステムは両方とも、ここで、３Ｄモデルの同一のセットのための同一の構成部分を含有してもよい。 In step 1212, the server may respond by sending the client the items that are missing from the 3D model sharing client application. In some embodiments, the client may have recently opened the 3D model sharing application and therefore may start with zero items in its library. In this situation, the host may send its entire library to the client. In some embodiments, the library may be located in memory and therefore erased when the 3D model sharing application is closed. In some embodiments, the library may be saved to a disk, such as the client system hard drive, so that the 3D models may be accessed at a later date. In some embodiments, the 3D model data sent to the client is a data structure without a file format. At the end of this step, the 3D model sharing host library may match the 3D model sharing client library. In other words, both the host system and the client system may now contain the same components for the same set of 3D models.
いくつかの実施形態では、クライアントが、サーバ内に記憶されたアイテムと比較すると旧式であるアイテムを更新してもよい。例えば、クライアント情報要求は、アセット保有量内の個々のアセットと関連付けられるバージョン番号を含んでもよい。サーバのアセット保有量内の１つ以上のアセットは、クライアントとともに記憶されたアセットに対応することができる。クライアントは、サーバのアセット保有量内の対応するアイテムよりも小さいバージョン番号を有する、クライアントアセットライブラリ内に記憶されたアイテムを識別することができる。クライアントは、更新を要求するアイテムを識別するサーバにデータを送信することができ、サーバは、対応する更新されたアイテムをクライアントに送信することによって応答することができる。 In some embodiments, a client may update items that are out of date compared to items stored in the server. For example, a client information request may include a version number associated with an individual asset in an asset inventory. One or more assets in the server's asset inventory may correspond to assets stored with the client. The client may identify items stored in the client asset library that have a lower version number than the corresponding items in the server's asset inventory. The client may send data to the server identifying the items requesting an update, and the server may respond by sending the corresponding updated items to the client.
ステップ１２２０では、クライアントが、サーバから送信される新しいアイテムから、１つ以上の３Ｄモデルを再構成してもよい。いくつかの実施形態では、クライアントは、ここで、サーバと同一の完全３Ｄモデルを有してもよい。 In step 1220, the client may reconstruct one or more 3D models from the new items sent from the server. In some embodiments, the client may now have a complete 3D model that is identical to the server.
ステップ１２２２では、クライアントシステムのユーザが、ここで、ホストシステムによって共有される３Ｄモデルを視認してもよい。
（例示的３Ｄモデル共有システム構成）
In step 1222, a user of the client system may now view the 3D model shared by the host system.
(Exemplary 3D Model Sharing System Configuration)
図１３は、本明細書に説明されるシステムおよび方法を使用して、３Ｄアセットを共有するための例示的３Ｄモデル共有システム構成１３００を図示する。 FIG. 13 illustrates an example 3D model sharing system configuration 1300 for sharing 3D assets using the systems and methods described herein.
３Ｄモデル共有システム構成１３００は、ネットワーク等の通信リンク１３０２によって動作可能に結合される、ホストシステム１３０６と、クライアントシステム１３０４とを備えてもよい。クライアントシステム１３０４は、３Ｄモデル共有クライアントアプリケーションを開かせて起動させ、したがって、ランタイム環境内で動作させてもよい。ホストシステム１３０６は、３Ｄモデル共有ホストアプリケーションを開かせて起動させ、したがって、ランタイム環境内で動作させてもよい。図１３は、１つのサーバシステムおよび１つのホストシステムを描写するが、これは、範囲が限定的であるように意図されず、例証を容易にするために行われる。実践では、３Ｄモデル共有システム構成１３００は、１つだけのホストシステム１３０６、１つを上回るホストシステム１３０６、１つのクライアントシステム１３０４、１つを上回るクライアントシステム１３０４、および／またはホスト（例えば、通信１３０２を介して３Ｄモデルデータを他のシステムに送信する）およびクライアント（例えば、通信１３０２を介して他のシステムから３Ｄモデルデータを受信する）の両方として機能する、１つ以上のシステムを有してもよい。さらに、いくつかの実施形態では、単一のシステムが、ホストシステムおよびクライアントシステムの両方を備えることができる。いくつかの実施形態では、ホストシステム１３０６は、ホストシステム１１１８であってもよい。いくつかの実施形態では、クライアントシステム１３０４は、クライアントシステム１１１６であってもよい。ホストシステム１３０６は、少なくとも１つのディスプレイ、例えば、コンピュータモニタにアタッチされたＰＣデスクトップコンピュータに動作可能に結合される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、ホストシステム１３０６は、上記に説明されるようなシステム２００、９３０ａ、９３０ｂ、または９３０ｃであってもよい。クライアントシステム１３０４は、少なくとも１つのディスプレイ、例えば、コンピュータモニタにアタッチされたＰＣデスクトップコンピュータに動作可能に結合される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、クライアントシステム１３０４は、上記に説明されるようなシステム２００、９３０ａ、９３０ｂ、または９３０ｃであってもよい。 The 3D model sharing system configuration 1300 may include a host system 1306 and a client system 1304 operably coupled by a communication link 1302, such as a network. The client system 1304 may have a 3D model sharing client application open and running, thus operating within the runtime environment. The host system 1306 may have a 3D model sharing host application open and running, thus operating within the runtime environment. While FIG. 13 depicts one server system and one host system, this is not intended to be limiting in scope and is done for ease of illustration. In practice, the 3D model sharing system configuration 1300 may have only one host system 1306, more than one host system 1306, one client system 1304, more than one client system 1304, and/or one or more systems that function as both a host (e.g., sending 3D model data to other systems via communication 1302) and a client (e.g., receiving 3D model data from other systems via communication 1302). Further, in some embodiments, a single system may comprise both a host system and a client system. In some embodiments, the host system 1306 may be the host system 1118. In some embodiments, the client system 1304 may be the client system 1116. The host system 1306 may comprise one or more processors operably coupled to at least one display, e.g., a PC desktop computer attached to a computer monitor. In some embodiments, the host system 1306 may be the system 200, 930a, 930b, or 930c as described above. The client system 1304 may comprise one or more processors operably coupled to at least one display, e.g., a PC desktop computer attached to a computer monitor. In some embodiments, the client system 1304 may be the system 200, 930a, 930b, or 930c as described above.
ホストシステム１３０６は、サーバモジュール１３１６を備えてもよい。サーバモジュール１３１６は、伝送およびネットワーキングプロトコル等のサーバであることに特有の機能およびプロセスを管理してもよい。サーバモジュール１３１６は、プロセス１２００におけるステップ１２０８、１２１０、および／または１２１２のように、接続要求を受信および処理してもよい。いくつかの実施形態では、サーバモジュール１３１６は、伝送モジュール１１１２を備えてもよい。 The host system 1306 may include a server module 1316. The server module 1316 may manage functions and processes specific to being a server, such as transmission and networking protocols. The server module 1316 may receive and process connection requests, such as steps 1208, 1210, and/or 1212 in process 1200. In some embodiments, the server module 1316 may include a transmission module 1112.
ホストシステム１３０６は、ホストロードモジュール１３２０を備えてもよい。ロードモジュールは、３Ｄモデル共有ホストアプリケーションが、３Ｄアセットを３Ｄモデル共有ホストアプリケーションの中に、またはホストシステム１３０６上に、インポートまたはロードすることを可能にする、機能およびプロセスを含有してもよい。ロードモジュール１３２０は、ＡＳＳＩＭＰプラグインを備えてもよい。いくつかの実施形態では、プロセス１２００からのステップ１２０４は、ロードモジュール１３２０内で生じてもよい。いくつかの実施形態では、プロセス１０００からのステップ１００１は、ロードモジュール１３２０内で生じてもよい。いくつかの実施形態では、アセットモジュール１１０８は、ロードモジュール１３２０を備えてもよい。 The host system 1306 may comprise a host load module 1320. The load module may contain functions and processes that allow the 3D model sharing host application to import or load 3D assets into the 3D model sharing host application or onto the host system 1306. The load module 1320 may comprise an ASSIMP plug-in. In some embodiments, step 1204 from process 1200 may occur within the load module 1320. In some embodiments, step 1001 from process 1000 may occur within the load module 1320. In some embodiments, the asset module 1108 may comprise the load module 1320.
ホストシステム１３０６は、ホストライブラリマネージャモジュール１３１８を備えてもよい。ライブラリマネージャモジュール１３１８は、３Ｄアセット共有ホストアプリケーションにすでにロードされている３Ｄアセットに対応する、データおよびプロセスを含有および管理してもよい。ライブラリマネージャモジュール１３１８は、３Ｄアセット共有ホストアプリケーションのライブラリに対応する、データおよびプロセスを含有および管理してもよい。これは、コンテンツのライブラリテーブル等を維持する、分解プロセスを含んでもよい。いくつかの実施形態では、プロセス１２００からのステップ１２０６は、ライブラリマネージャモジュール１３１８内で生じてもよい。いくつかの実施形態では、プロセス１０００からのステップ１００３は、ライブラリマネージャモジュール１３１８内で生じてもよい。いくつかの実施形態では、ライブラリマネージャモジュール１３１８は、システム１１００からの分解モジュール１１１０を備えてもよい。 The host system 1306 may include a host library manager module 1318. The library manager module 1318 may contain and manage data and processes corresponding to 3D assets already loaded into the 3D asset sharing host application. The library manager module 1318 may contain and manage data and processes corresponding to libraries of the 3D asset sharing host application. This may include a decomposition process that maintains a library table of contents, and the like. In some embodiments, step 1206 from process 1200 may occur within the library manager module 1318. In some embodiments, step 1003 from process 1000 may occur within the library manager module 1318. In some embodiments, the library manager module 1318 may include the decomposition module 1110 from the system 1100.
ホストシステム１３０６は、ホスト世界モジュール１３２２を備えてもよい。ホスト世界モジュール１３２２は、完全３Ｄアセット、３Ｄ仮想世界、実世界のメッシュ化等、およびこれらの間の統合を管理してもよい。いくつかの実施形態では、ホスト世界モジュール１３２２は、シーングラフ、またはシーングラフの機能的均等物と見なされ得る。いくつかの実施形態では、世界は、世界ライブラリから得られるアイテム（すなわち、完全に再構成された３Ｄモデル）から描き、それらから世界オブジェクトを作成することができる。いくつかの実施形態では、３Ｄ仮想世界内の全てのものが、世界オブジェクトとして表されることができる。世界オブジェクトは、世界「クラス」の一部であってもよい。いくつかの実施形態では、ホスト世界モジュール１３２２は、プロセス１２００のステップ１２２２によって、またはプロセス１０００のステップ１０１１によって（すなわち、３Ｄモデルがクライアントにおいてローカルで共有および再構成された後に）、クライアント世界モジュール１３１２と同一のデータを含有する。ホスト世界モジュール１３２２からの出力は、レンダリングパスモジュール１３２４の中にフィードされてもよい。 The host system 1306 may include a host world module 1322. The host world module 1322 may manage the full 3D assets, the 3D virtual world, the meshing of the real world, etc., and the integration between them. In some embodiments, the host world module 1322 may be considered a scene graph, or a functional equivalent of a scene graph. In some embodiments, the world may be drawn from items (i.e., fully reconstructed 3D models) from a world library, from which world objects may be created. In some embodiments, everything in the 3D virtual world may be represented as a world object. A world object may be part of a world "class." In some embodiments, the host world module 1322 contains the same data as the client world module 1312 by step 1222 of process 1200 or by step 1011 of process 1000 (i.e., after the 3D model has been shared and reconstructed locally at the client). The output from the host world module 1322 may be fed into the rendering path module 1324.
ホストシステム１３０６は、ホストレンダリングパスモジュール１３２４を備えてもよい。レンダリングパスモジュール１３２４は、ホスト世界モジュール１３２２からのデータを入力として受け入れ、それをホストシステム１３０６レンダリングパイプラインに通してもよく、ホストシステム１３０６のディスプレイ上に１つ以上の３Ｄモデルを表示してもよい。 The host system 1306 may include a host rendering path module 1324. The rendering path module 1324 may accept data from the host world module 1322 as input and pass it through the host system 1306 rendering pipeline and may display one or more 3D models on a display of the host system 1306.
クライアントシステム１３０４は、クライアントモジュール１３０８を備えてもよい。クライアントモジュール１３０４は、伝送およびネットワーキングおよび／またはサーバ／クライアントプロトコル等のクライアントであることに特有の機能およびプロセスを管理してもよい。クライアントモジュール１３０８は、サーバ発見プロセスおよび他の接続プロトコルを管理してもよい。いくつかの実施形態では、これは、プロセス１２００におけるステップ１２１６および／または１２１８を含んでもよい。いくつかの実施形態では、クライアントモジュール１３０８は、伝送モジュール１１０６を備えてもよい。 The client system 1304 may comprise a client module 1308. The client module 1304 may manage functions and processes specific to being a client, such as transmission and networking and/or server/client protocols. The client module 1308 may manage server discovery processes and other connection protocols. In some embodiments, this may include steps 1216 and/or 1218 in process 1200. In some embodiments, the client module 1308 may comprise a transmission module 1106.
クライアントシステム１３０４は、クライアントライブラリマネージャモジュール１３１０を備えてもよい。ライブラリマネージャモジュール１３１０は、３Ｄアセット共有ホストアプリケーションから受信された３Ｄアセット構成部分に対応する、データおよびプロセスを含有および管理してもよい。ライブラリマネージャモジュール１３１０は、３Ｄアセット共有クライアントアプリケーションのライブラリに対応する、データおよびプロセスを含有および管理してもよい。これは、再構成プロセスを含んでもよい。いくつかの実施形態では、プロセス１２００からのステップ１２２０は、ライブラリマネージャモジュール１３１０内で生じてもよい。いくつかの実施形態では、プロセス１０００からのステップ１００９は、ライブラリマネージャモジュール１３１０内で生じてもよい。いくつかの実施形態では、ライブラリマネージャモジュール１３１０は、システム１１００からの再構成モジュール１１０４を備えてもよい。いくつかの実施形態では、クライアントライブラリは、プロセス１２００のステップ１２２２によって、またはプロセス１０００のステップ１０１１によって（すなわち、３Ｄモデルがクライアントにおいてローカルで共有および再構成された後に）、ホストライブラリと同一のデータを含有する。 The client system 1304 may include a client library manager module 1310. The library manager module 1310 may contain and manage data and processes corresponding to the 3D asset components received from the 3D asset sharing host application. The library manager module 1310 may contain and manage data and processes corresponding to the library of the 3D asset sharing client application. This may include a reconstruction process. In some embodiments, step 1220 from process 1200 may occur within the library manager module 1310. In some embodiments, step 1009 from process 1000 may occur within the library manager module 1310. In some embodiments, the library manager module 1310 may include a reconstruction module 1104 from the system 1100. In some embodiments, the client library contains the same data as the host library by step 1222 of process 1200 or by step 1011 of process 1000 (i.e., after the 3D model is shared and reconstructed locally at the client).
クライアントシステム１３０４は、クライアント世界モジュール１３１２を備えてもよい。クライアント世界モジュール１３１２は、完全に再構成された３Ｄアセット、３Ｄ仮想世界、実世界のメッシュ化等、およびこれらの間の統合を管理してもよい。いくつかの実施形態では、クライアント世界モジュール１３１２は、シーングラフ、またはシーングラフの機能的均等物と見なされ得る。いくつかの実施形態では、世界は、世界ライブラリから得られるアイテム（すなわち、完全に再構成された３Ｄモデル）から描き、それらから世界オブジェクトを作成する。いくつかの実施形態では、３Ｄ仮想世界内の全てのものが、世界オブジェクトとして表される。世界オブジェクトは、世界「クラス」の一部であってもよい。いくつかの実施形態では、クライアント世界モジュール１３１２は、プロセス１２００のステップ１２２２によって、またはプロセス１０００のステップ１０１１によって（すなわち、３Ｄモデルがクライアントにおいてローカルで共有および再構成された後に）、ホスト世界モジュール１３２２と同一のデータを含有することができる。クライアント世界モジュール１３１２からの出力は、レンダリングパスモジュール１３１４の中にフィードされてもよい。 The client system 1304 may include a client world module 1312. The client world module 1312 may manage the fully reconstructed 3D assets, the 3D virtual world, the meshing of the real world, and the like, and the integration between them. In some embodiments, the client world module 1312 may be considered a scene graph, or a functional equivalent of a scene graph. In some embodiments, the world is drawn from items (i.e., fully reconstructed 3D models) taken from a world library, from which world objects are created. In some embodiments, everything in the 3D virtual world is represented as a world object. A world object may be part of a world "class." In some embodiments, the client world module 1312 may contain the same data as the host world module 1322 by step 1222 of process 1200 or by step 1011 of process 1000 (i.e., after the 3D model has been shared and reconstructed locally at the client). The output from the client world module 1312 may be fed into the rendering path module 1314.
クライアントシステム１３０４は、クライアントレンダリングパスモジュール１３１４を備えてもよい。レンダリングパスモジュール１３１４は、クライアント世界モジュール１３１２からのデータを入力として受け入れ、それをクライアントシステム１３０４レンダリングパイプラインに通してもよく、クライアントシステム１３０４のディスプレイ上に１つ以上の仮想３Ｄモデルを表示してもよい。 The client system 1304 may include a client rendering path module 1314. The rendering path module 1314 may accept data from the client world module 1312 as input, pass it through the client system 1304 rendering pipeline, and display one or more virtual 3D models on a display of the client system 1304.
例示的３Ｄモデル共有システム構成１３００は、２つ以上のデバイスがランタイムの間に完全３Ｄモデルを共有することを可能にすることができる。これは、アプリケーションが閉じられるまで更新が待機する必要があり得る従来的システムよりも速く、新しいアセットをコンピューティングシステム上のアプリケーションに追加するという利点を有することができる。
（３Ｄモデルを分解するための例示的プロセス）
The exemplary 3D model sharing system configuration 1300 can enable two or more devices to share a complete 3D model during runtime, which can have the advantage of adding new assets to an application on a computing system faster than traditional systems where updates may have to wait until the application is closed.
Example Process for Decomposing a 3D Model
図１４は、本明細書に説明されるシステムおよび方法を使用して、完全３Ｄモデルを分解するための例示的プロセス１４００を図示する。いくつかの実施形態では、分解プロセス１４００は、ホストライブラリマネージャモジュール１３１８内で生じてもよい。いくつかの実施形態では、分解プロセス１４００は、分解モジュール１１１０内で生じてもよい。いくつかの実施形態では、分解プロセス１４００は、プロセス１０００におけるステップ１００３であってもよい。いくつかの実施形態では、分解プロセス１４００は、プロセス１２００におけるステップ１２０６であってもよい。 FIG. 14 illustrates an example process 1400 for decomposing a full 3D model using the systems and methods described herein. In some embodiments, the decomposition process 1400 may occur within the host library manager module 1318. In some embodiments, the decomposition process 1400 may occur within the decomposition module 1110. In some embodiments, the decomposition process 1400 may be step 1003 in process 1000. In some embodiments, the decomposition process 1400 may be step 1206 in process 1200.
プロセス１４００は、３Ｄモデル共有ホストアプリケーション内にロードされ得る、完全３Ｄモデルから開始し得る。ステップ１４０２では、３Ｄモデル共有ホストアプリケーションが、３Ｄモデルの１つの構成部分をコピーし、構成部分を表すデータをアレイの中に設置してもよい。いくつかの例示的構成部分は、１つ以上の頂点位置、頂点テーブル、地理データ、材料データ、テクスチャ、三角形インデックステーブル等であってもよい。構成部分は、完全３Ｄモデルを表すために要求されるデータの一部であってもよい。 Process 1400 may begin with a complete 3D model, which may be loaded into a 3D model sharing host application. In step 1402, the 3D model sharing host application may copy a component of the 3D model and place data representing the component into an array. Some example components may be one or more of vertex positions, a vertex table, geographic data, material data, textures, triangle index tables, etc. A component may be a portion of the data required to represent the complete 3D model.
ステップ１４０４では、構成部分が、随意に、圧縮されてもよい。標準圧縮技法が、使用されてもよい。 In step 1404, the components may optionally be compressed. Standard compression techniques may be used.
ステップ１４０６では、構成部分が、パッケージ化されてもよい。 In step 1406, the components may be packaged.
ステップ１４０８では、パッケージが、３Ｄモデル共有ホストアプリケーションのライブラリのうちの１つの中に記憶されてもよい。３Ｄモデル共有ホストアプリケーションは、パッケージを記憶および編成するために使用される、１つ以上のライブラリを有してもよい。いくつかの実施形態では、ライブラリは、図１６に示されるように、３つのライブラリ、すなわち、メッシュライブラリ、材料ライブラリ、およびテクスチャライブラリを備えてもよい。代替ライブラリ構成が、使用されてもよい。パッケージは、対応するライブラリ内に記憶されてもよい（例えば、テクスチャは、テクスチャライブラリ内に記憶されてもよい）。 At step 1408, the package may be stored in one of the libraries of the 3D model sharing host application. The 3D model sharing host application may have one or more libraries used to store and organize the packages. In some embodiments, the library may comprise three libraries, as shown in FIG. 16: a mesh library, a material library, and a texture library. Alternate library configurations may be used. The package may be stored in the corresponding library (e.g., textures may be stored in the texture library).
ステップ１４１０では、プロセスが、３Ｄモデルをチェックし、ライブラリに追加される必要がある付加的構成部分が存在するかどうかを確認してもよい。ライブラリに追加されていない、さらなる構成部分が存在する場合、プロセスは、全ての構成部分がライブラリに追加されるまで、ステップ１４０２において最初から再び開始することができる。全ての構成部分が追加されたとき、ライブラリは、ステップ１４１２のように、完全３Ｄモデルの完全な記録を含有してもよい。 In step 1410, the process may check the 3D model to see if there are additional components that need to be added to the library. If there are more components that have not been added to the library, the process may start again from the beginning at step 1402 until all components have been added to the library. When all components have been added, the library may contain a complete record of the complete 3D model, as in step 1412.
いくつかの実施形態では、３Ｄモデルが、３Ｄモデルアプリケーションによって事前に定義される構成部分に分解されることができる。例えば、３Ｄモデルアプリケーション（例えば、コンピュータ支援設計プログラム）が、それぞれ、１つ以上の定義された構成部分（例えば、三角形アレイまたはテクスチャ）を備え得る、異なるデータ要素（例えば、メッシュおよびメッシュレンダリング）の観点から、３Ｄモデルを定義することができる。その場合に３Ｄモデルを分解するステップは、動作（例えば、データフォーマット化）を各構成部分に適用し、それをメモリ内に記憶するステップを構成することができる。いくつかの実施形態では、本明細書に説明される方法およびシステムが、３Ｄモデルを、ユーザによって定義される１つ以上の下位群に分解するために使用されることができる。例えば、車の３Ｄモデルに関して、ユーザが、頂点／部分／構造の集合を「エンジン」として、頂点／部分／構造の集合を「シャーシ」として、頂点／部分／構造の集合を「駆動列」として、および頂点／部分／構造の集合を「車輪」として、指定することができる。各下位群は、次いで、随意に、圧縮され、別個にデバイスに送信されることができる。いくつかの実施形態では、３Ｄモデルが、アルゴリズムで定義された下位群に分解されることができる。例えば、アルゴリズムが、頂点／部分／構造の集合を「エンジン」として識別するために（例えば、手動で、半自動的に、および／または、例えば、機械学習を通して、自動的に）開発されている可能性がある。アルゴリズムは、初期識別に基づいて限定されたプールから頂点／部分／構造の集合を分類しようとする前に、最初に、３Ｄモデル全体を識別することができる（例えば、最初に、モデルを車として識別する）。アルゴリズムはまた、頂点／部分／構造の集合を直接分類しようとすることもできる。
（完全３Ｄモデルの実施例）
In some embodiments, the 3D model can be decomposed into components predefined by the 3D model application. For example, a 3D model application (e.g., a computer-aided design program) can define a 3D model in terms of different data elements (e.g., meshes and mesh renderings), each of which may comprise one or more defined components (e.g., triangle arrays or textures). Decomposing the 3D model can then comprise applying an operation (e.g., data formatting) to each component and storing it in memory. In some embodiments, the methods and systems described herein can be used to decompose a 3D model into one or more user-defined subgroups. For example, for a 3D model of a car, a user can designate a set of vertices/parts/structures as "engine", a set of vertices/parts/structures as "chassis", a set of vertices/parts/structures as "drivetrain", and a set of vertices/parts/structures as "wheels". Each subgroup can then be optionally compressed and transmitted separately to the device. In some embodiments, the 3D model can be decomposed into algorithmically defined subgroups. For example, an algorithm may have been developed (e.g., manually, semi-automatically, and/or automatically, e.g., through machine learning) to identify a set of vertices/parts/structures as an "engine." The algorithm may first identify the entire 3D model (e.g., first identify the model as a car) before attempting to classify the set of vertices/parts/structures from a limited pool based on the initial identification. The algorithm may also attempt to classify the set of vertices/parts/structures directly.
(Example of a fully 3D model)
図１５は、本明細書に説明されるシステムおよび方法を使用する、例示的完全３Ｄモデル１５００を図示する。いくつかの実施形態では、完全３Ｄモデルは、３Ｄレンダリング可能デジタルオブジェクトを説明するデータの完全なセットであってもよい。いくつかの実施形態では、完全３Ｄモデルは、互換性があるレンダリングパイプラインに追加されたときに表示が可能である、デジタルまたは仮想オブジェクトを表すデータのセットであってもよい。 FIG. 15 illustrates an example full 3D model 1500 using the systems and methods described herein. In some embodiments, a full 3D model may be a complete set of data describing a 3D renderable digital object. In some embodiments, a full 3D model may be a set of data representing a digital or virtual object that is capable of being displayed when added to a compatible rendering pipeline.
３Ｄモデルコンポーネント１５０２では、３Ｄモデルは、名称を割り当てられることができる。名称は、ユーザ、インポートプロセスによって割り当てられてもよい、および／またはＡｕｔｏＣａｄにおいて３Ｄモデルに与えられるファイル名等の３Ｄモデル作成ソフトウェアで使用されるオリジナルファイル名であってもよい。３Ｄモデルは、２つの主要なタイプのデータ、すなわち、メッシュデータ１５０４およびメッシュレンダラデータ１５０６を有してもよい。メッシュデータは、データのサブセット、または構成部分Ａ１５０８、構成部分Ｂ１５１０、構成部分１５１２、および構成部分１５１４等の構成部分にさらに分解されてもよい。材料データ１５１６は、データのサブセット、または材料性質１５２２、テクスチャ１ １５１８、およびテクスチャ２ １５２２等の構成部分にさらに分解されてもよい。３Ｄモデルデータの正確なレイアウト、カテゴリ化、および下位群化は、図１５に示されるものから変動し得る。いくつかの実施形態では、メッシュ１５０４の下に、２、３、または１０個の構成部分等の任意の数の構成部分が存在し得る。いくつかの実施形態では、１つだけの代わりに、材料データ１５１６の下に性質１５２２の複数のサブセットが存在し得る。いくつかの実施形態では、図１５に示されるよりも多いまたは少ないテクスチャ構成部分１５１８、１５２０が存在し得る。任意の好適な数およびカテゴリ化が、完全３Ｄモデルを構成部分に分解するために使用されてもよい。 In the 3D model component 1502, the 3D model can be assigned a name. The name may be assigned by a user, an import process, and/or may be the original file name used in the 3D model creation software, such as the file name given to the 3D model in AutoCad. The 3D model may have two main types of data: mesh data 1504 and mesh renderer data 1506. The mesh data may be further decomposed into subsets of data or components, such as component A 1508, component B 1510, component 1512, and component 1514. The material data 1516 may be further decomposed into subsets of data or components, such as material properties 1522, texture 1 1518, and texture 2 1522. The exact layout, categorization, and subgrouping of the 3D model data may vary from that shown in FIG. 15. In some embodiments, there may be any number of components under mesh 1504, such as 2, 3, or 10 components. In some embodiments, there may be multiple subsets of properties 1522 under the material data 1516 instead of only one. In some embodiments, there may be more or fewer texture components 1518, 1520 than are shown in FIG. 15. Any suitable number and categorization may be used to break down the full 3D model into its components.
いくつかの実施形態では、例示的完全３Ｄモデル１５００は、例示的分解プロセス１４００を使用して分解されることができる。完全３Ｄモデル１５００は、１つ以上の構成部分（例えば、構成部分Ａ１５０８、構成部分Ｂ１５１０、構成部分Ｃ１５１２、構成部分Ｄ１５１４、テクスチャ１ １５１８、テクスチャ２ １５２０、および／または材料性質１５２２）を備えることができる。完全３Ｄモデル１５００の１つの構成部分（例えば、テクスチャ１）が、分解プロセス１４００のステップ１４０２においてコピーされることができる。構成部分は、随意に、分解プロセス１４００のステップ１４０４において圧縮されることができる。構成部分は、分解プロセス１４００のステップ１４０６においてパッケージ化されることができる。構成部分は、（例えば、ライブラリ１６００の例示的セット内に）分解プロセス１４００のステップ１４０８において記憶されることができる。ステップ１４０２、１４０４、１４０６、および１４０８は、完全３Ｄモデル１５００の全ての構成部分が（例えば、ライブラリ１６００のセット内に）記憶されるまで、完全３Ｄモデル１５００の構成部分毎に繰り返されることができる。
（３Ｄモデル共有アプリケーションにおけるライブラリの実施例）
In some embodiments, the exemplary full 3D model 1500 can be decomposed using the exemplary decomposition process 1400. The full 3D model 1500 can comprise one or more components (e.g., component A 1508, component B 1510, component C 1512, component D 1514, texture 1 1518, texture 2 1520, and/or material properties 1522). One component (e.g., texture 1) of the full 3D model 1500 can be copied in step 1402 of the decomposition process 1400. The components can optionally be compressed in step 1404 of the decomposition process 1400. The components can be packaged in step 1406 of the decomposition process 1400. The components can be stored in step 1408 of the decomposition process 1400 (e.g., in the exemplary set of libraries 1600). Steps 1402, 1404, 1406, and 1408 may be repeated for each component of the complete 3D model 1500 until all components of the complete 3D model 1500 have been stored (eg, in a set in the library 1600).
(Example of library in 3D model sharing application)
図１６は、本明細書に説明されるシステムおよび方法を使用して、３Ｄモデルの構成部分を記憶するために３Ｄモデル共有アプリケーションで利用される、ライブラリ１６００の例示的セットを図示する。ライブラリ１６００のセットは、３Ｄモデル構成部分を記憶および編成するために、１つ以上のライブラリを備えてもよい。いくつかの実施形態では、３つのライブラリ、すなわち、メッシュライブラリ１６０２、材料ライブラリ１６０４、およびテクスチャライブラリ１６０６が存在し得る。メッシュライブラリ１６０２は、３Ｄモデルメッシュを説明する、アレイの形態の構成部分のセットを含有してもよい。メッシュライブラリ内に記憶され得る例示的アレイは、頂点バッファアレイ１６０８、法線バッファアレイ１６１０、ＵＶバッファアレイ１６１２、および／または三角形アレイ１６１４である。メッシュライブラリはまた、随意に、材料「名称」１６１６、ビットマップテクスチャ１「名称」１６１８、およびビットマップテクスチャ２「名称」１６２０等の１つ以上の文字列値を含有してもよい。これらの文字列値１６１６、１６１８、１６２０は、材料ライブラリ１６０４およびテクスチャライブラリ１６０６等の他のライブラリを参照し得る。いくつかの実施形態では、完全３Ｄモデルは、データの全てがメッシュライブラリ１６０２からプルまたは参照されるときに表されてもよい。いくつかの実施形態では、「名称」のための完全３Ｄモデルが、データの全てが記録または単一の３Ｄモデル「名称」に対応するライブラリ１６０２、１６０４、１６０６の全てからプルまたは参照されるときに表されてもよい。 FIG. 16 illustrates an exemplary set of libraries 1600 utilized in a 3D model sharing application to store components of a 3D model using the systems and methods described herein. The set of libraries 1600 may comprise one or more libraries to store and organize the 3D model components. In some embodiments, there may be three libraries: a mesh library 1602, a material library 1604, and a texture library 1606. The mesh library 1602 may contain a set of components in the form of arrays that describe the 3D model mesh. Exemplary arrays that may be stored within the mesh library are a vertex buffer array 1608, a normal buffer array 1610, a UV buffer array 1612, and/or a triangle array 1614. The mesh library may also optionally contain one or more string values, such as a material "name" 1616, a bitmap texture 1 "name" 1618, and a bitmap texture 2 "name" 1620. These string values 1616, 1618, 1620 may reference other libraries, such as material library 1604 and texture library 1606. In some embodiments, a complete 3D model may be represented when all of the data is pulled or referenced from mesh library 1602. In some embodiments, a complete 3D model for a "name" may be represented when all of the data is pulled or referenced from all of the libraries 1602, 1604, 1606 that correspond to a record or single 3D model "name."
材料ライブラリ１６０４は、３Ｄモデルのための材料の性質および性質関連値を表す、データを含有してもよい。いくつかの実施形態では、テクスチャライブラリ１６０６は、１つ以上のテクスチャ１６２２、１６２４を含有してもよい。いくつかの実施形態では、テクスチャライブラリ１６０６は、１つ以上のビットマップを含有してもよい。いくつかの実施形態では、テクスチャライブラリ１６０６は、１つ以上のＵＶマップ、ＵＶ座標、または他のＵＶ空間データを含有してもよい。 The material library 1604 may contain data representing material properties and property-related values for the 3D model. In some embodiments, the texture library 1606 may contain one or more textures 1622, 1624. In some embodiments, the texture library 1606 may contain one or more bitmaps. In some embodiments, the texture library 1606 may contain one or more UV maps, UV coordinates, or other UV space data.
３Ｄ共有アプリケーションのライブラリ１６００に含有されるデータの全てが、完全なレンダリング可能３Ｄモデルを表すように組み合わせられてもよい。
（３Ｄモデルを再構成するための例示的プロセス）
All of the data contained in the 3D sharing application library 1600 may be combined to represent a complete renderable 3D model.
(Exemplary Process for Reconstructing a 3D Model)
図１７は、本明細書に説明されるシステムおよび方法を使用して、その構成部分から完全３Ｄモデルを再構成するための例示的プロセス１７００を図示する。いくつかの実施形態では、本プロセスは、プロセス１２００におけるステップ１２２０であってもよい。いくつかの実施形態では、プロセス１７００は、プロセス１０００におけるステップ１００９であってもよい。いくつかの実施形態では、プロセス１７００は、再構成モジュール１１０４内で生じてもよい。いくつかの実施形態では、プロセス１７００は、ライブラリマネージャモジュール１３１０内で生じてもよい。 FIG. 17 illustrates an example process 1700 for reconstructing a complete 3D model from its constituent parts using the systems and methods described herein. In some embodiments, this process may be step 1220 in process 1200. In some embodiments, process 1700 may be step 1009 in process 1000. In some embodiments, process 1700 may occur within reconstruction module 1104. In some embodiments, process 1700 may occur within library manager module 1310.
プロセス１７００は、時として、空のゲームオブジェクトと呼ばれることもある、空のオブジェクトを作成することによって、ステップ１７０２から開始し得る。いくつかの実施形態では、空のゲームオブジェクトは、参照座標系を伴う空間内の空の容積を備えてもよい。いくつかの実施形態では、空のオブジェクトは、本質的に、空間内に存在する変換、すなわち、位置および配向である。いくつかの実施形態では、空のオブジェクトは、空の角柱である。いくつかの実施形態では、空のオブジェクトは、図１５の１５０２に対応し得る。 Process 1700 may begin at step 1702 by creating an empty object, sometimes referred to as an empty game object. In some embodiments, an empty game object may comprise an empty volume in space with a reference coordinate system. In some embodiments, an empty object is essentially a transformation, i.e., a position and orientation, that exists in space. In some embodiments, the empty object is an empty prism. In some embodiments, the empty object may correspond to 1502 in FIG. 15.
空のオブジェクトが作成された１７０２後、新しいメッシュ１７０４および新しいメッシュレンダラ１７０８が、空のゲームオブジェクトに追加されてもよい。いくつかの実施形態では、新しいメッシュ１７０４を追加するステップは、図１５のメッシュ１５０４に対応し得、新しいメッシュレンダラ１７０８を追加するステップは、図１５のメッシュレンダラ１５０６に対応し得る。 After the empty object is created 1702, a new mesh 1704 and a new mesh renderer 1708 may be added to the empty game object. In some embodiments, adding the new mesh 1704 may correspond to mesh 1504 of FIG. 15, and adding the new mesh renderer 1708 may correspond to mesh renderer 1506 of FIG. 15.
プロセス１７００は、空のメッシュバッファが、メッシュデータに対応する３Ｄモデル構成部分で充填され得、空のメッシュレンダラバッファが、メッシュレンダリングデータに対応する３Ｄモデル構成部分で充填され得る、ステップ１７０６および１７１０に進んでもよい。いくつかの実施形態では、ステップ１７０６および／または１７１０が、圧縮されたデータを圧縮解除してもよい。いくつかの実施形態では、メッシュデータは、図１５からの構成部分１５０８、１５１０、１５１２、１５１４に対応し得る。いくつかの実施形態では、メッシュレンダリングデータは、構成部分１５１８、１５２０、１５２２に対応し得る。バッファは、単一の３Ｄモデルに対応する３Ｄモデルアプリケーションのライブラリからのデータで充填されてもよい。いくつかの実施形態では、空のメッシュバッファは、メッシュライブラリ１６０２からのデータで充填されてもよい１７０６。いくつかの実施形態では、空のメッシュレンダリングバッファは、材料ライブラリ１６０４およびテクスチャライブラリ１６０６からのデータで充填されてもよい１７１０。プロセス１７００は、単一の３Ｄモデル（すなわち、３Ｄモデル共有アプリケーションのライブラリ内の単一の記録）に対応するデータの全てが空のオブジェクトに追加されたときに、完了し得る。 Process 1700 may proceed to steps 1706 and 1710 where an empty mesh buffer may be filled with 3D model components corresponding to the mesh data and an empty mesh renderer buffer may be filled with 3D model components corresponding to the mesh rendering data. In some embodiments, steps 1706 and/or 1710 may decompress the compressed data. In some embodiments, the mesh data may correspond to components 1508, 1510, 1512, 1514 from FIG. 15. In some embodiments, the mesh rendering data may correspond to components 1518, 1520, 1522. The buffer may be filled with data from a library of the 3D model application corresponding to a single 3D model. In some embodiments, the empty mesh buffer may be filled 1706 with data from the mesh library 1602. In some embodiments, the empty mesh render buffer may be filled 1710 with data from the material library 1604 and the texture library 1606. Process 1700 may be complete when all of the data corresponding to a single 3D model (i.e., a single record in the library of the 3D model sharing application) has been added to the empty object.
図１８は、本明細書に説明されるシステムおよび方法を使用する、例示的完全３Ｄモデル１８００を図示する。いくつかの実施形態では、完全３Ｄモデル１８００は、プロセス１７００の出力であってもよい。いくつかの実施形態では、完全３Ｄモデル１８００は、例示的完全３Ｄモデル１５００のより詳細なバージョンであり得、一般的構成コンポーネントＡは、頂点バッファ１８０８であり得、一般的構成コンポーネントＢは、法線バッファ１８１０であり得、一般的構成コンポーネントＣは、ＵＶバッファ１８１２であり得、一般的構成コンポーネントＤは、三角形インデックス１８１４であり得る。いくつかの実施形態では、三角形インデックス１８１４は、最後に充填される必要があり得る。 Figure 18 illustrates an example full 3D model 1800 using the systems and methods described herein. In some embodiments, the full 3D model 1800 may be the output of the process 1700. In some embodiments, the full 3D model 1800 may be a more detailed version of the example full 3D model 1500, where general construction component A may be a vertex buffer 1808, general construction component B may be a normal buffer 1810, general construction component C may be a UV buffer 1812, and general construction component D may be a triangle index 1814. In some embodiments, the triangle index 1814 may need to be filled last.
いくつかの実施形態では、完全３Ｄモデル１８００は、そこから構成部分がコピーされる、プロセス１４００への入力であってもよい。いくつかの実施形態では、完全３Ｄモデル１８００は、世界オブジェクトとして世界モジュール１３２２および／または１３１２内に記憶されてもよい。いくつかの実施形態では、完全３Ｄモデル１８００は、プロセス１２００のステップ１２０４および／またはプロセス１０００のステップ１００１において、３Ｄモデル共有サーバアプリケーションにロードされる３Ｄモデルであってもよい。いくつかの実施形態では、完全３Ｄモデル１８００は、プロセス１２００のステップ１２２０および／またはプロセス１０００のステップ１００９から出力されてもよい。いくつかの実施形態では、完全３Ｄモデル１８００は、アセットモジュール１１０２および／または１１０８内に記憶されたアセットであってもよい。オブジェクト「名称」１８０２は、３ＤモデルがもはやＦＢＸファイル形式ではなくなっても、３Ｄモデル共有アプリケーションにロードされたオリジナルファイル名、例えば、ｃａｒ．ｆｂｘに合致し得る。
（３Ｄモデル共有の他の実施例）
In some embodiments, the complete 3D model 1800 may be an input to the process 1400 from which components are copied. In some embodiments, the complete 3D model 1800 may be stored as a world object in the world module 1322 and/or 1312. In some embodiments, the complete 3D model 1800 may be the 3D model that is loaded into the 3D model sharing server application in step 1204 of the process 1200 and/or step 1001 of the process 1000. In some embodiments, the complete 3D model 1800 may be an output from step 1220 of the process 1200 and/or step 1009 of the process 1000. In some embodiments, the complete 3D model 1800 may be an asset stored in the asset module 1102 and/or 1108. The object "name" 1802 may match the original file name that was loaded into the 3D model sharing application, e.g., car.fbx, even though the 3D model is no longer in the FBX file format.
(Another Example of Sharing 3D Models)
いくつかの実施形態では、３Ｄモデルが、ＭＲデバイス（例えば、ウェアラブルシステム２００）から生じることができる。ＭＲデバイスは、物理的オブジェクトについての情報を捕捉し、物理的オブジェクトの３Ｄモデルを生成し、３Ｄモデルを構成部分に分解し、構成部分をクライアントデバイスに送信することができ、クライアントデバイスは、構成部分に基づいて３Ｄモデルを生成することができる。例えば、オブジェクト認識装置７０８が、外向きに向いた結像システム４６４、ライダセンサ、深度センサ、ＲＧＢカメラ、赤外線カメラ、飛行時間カメラ、および／またはＭＲデバイス上の他のセンサから入力を受信することができる。本入力は、物理的オブジェクトに基づいて３Ｄモデルを生成するために、コンピュータビジョンアルゴリズムおよび／または機械学習訓練アルゴリズムで使用されることができる。アルゴリズムが、最初に、物理的オブジェクトを識別し、次いで、物理的オブジェクトと関連付けられる３Ｄモデルのライブラリに基づいて、３Ｄモデルを生成することによって、３Ｄモデルを生成することができる。いくつかの実施形態では、３Ｄモデルが、３Ｄモデルのライブラリ内の事前に定義された下位群に基づいて、下位群を組み立てることによって、物理的オブジェクトから生成されることができる。いくつかの実施形態では、３Ｄモデルが、ユーザによって定義される下位群に分解されることができる。いくつかの実施形態では、３Ｄモデルが、アルゴリズムで定義された下位群に分解されることができる。例えば、アルゴリズムが、頂点／部分／構造の集合を下位群として識別するために（例えば、手動で、半自動的に、および／または、例えば、機械学習を通して、自動的に）開発されている可能性がある。 In some embodiments, the 3D model can originate from an MR device (e.g., wearable system 200). The MR device can capture information about a physical object, generate a 3D model of the physical object, break down the 3D model into constituent parts, and send the constituent parts to a client device, which can generate the 3D model based on the constituent parts. For example, the object recognizer 708 can receive input from the outward-facing imaging system 464, the lidar sensor, the depth sensor, the RGB camera, the infrared camera, the time-of-flight camera, and/or other sensors on the MR device. This input can be used in computer vision algorithms and/or machine learning training algorithms to generate a 3D model based on the physical object. The algorithm can generate the 3D model by first identifying the physical object and then generating the 3D model based on a library of 3D models associated with the physical object. In some embodiments, the 3D model can be generated from the physical object by assembling the subgroups based on predefined subgroups in the library of 3D models. In some embodiments, the 3D model can be broken down into subgroups defined by the user. In some embodiments, the 3D model can be decomposed into algorithmically defined subgroups. For example, an algorithm may have been developed (e.g., manually, semi-automatically, and/or automatically, e.g., through machine learning) to identify sets of vertices/portions/structures as subgroups.
いくつかの実施形態では、アルゴリズムはまた、物理的オブジェクトから直接、３Ｄモデルを生成することもできる。例えば、アルゴリズムが、物理的オブジェクトの表面および頂点を識別し、物理的オブジェクトの観察された特性に基づいて、物理的オブジェクト全体の３Ｄモデルを生成することができる。いくつかの実施形態では、アルゴリズムが、物理的オブジェクトの位置特定された表面および頂点を識別し、位置特定された部分の３Ｄモデルを生成する、および／または下位群のライブラリに基づいて物理的オブジェクトの下位群を定義することができる。アルゴリズムが、下位群の関連付けに関するデータを記憶し、構成部分に基づいて完全な３Ｄモデルを形成することができる。 In some embodiments, the algorithm can also generate 3D models directly from physical objects. For example, the algorithm can identify surfaces and vertices of a physical object and generate a 3D model of the entire physical object based on observed properties of the physical object. In some embodiments, the algorithm can identify localized surfaces and vertices of a physical object and generate a 3D model of the localized portions and/or define subgroups of the physical object based on a library of subgroups. The algorithm can store data regarding the association of the subgroups and form a complete 3D model based on the constituent parts.
本開示に説明される３Ｄモデル共有システムおよび方法は、ランタイムの間にレンダリング可能３Ｄモデルを１つのコンピューティングシステムから異なるコンピューティングシステムに移動させる方法の技術的問題の具体的解決策を提供することができる。これは、オフラインで新しいレンダリング可能３Ｄモデルのみをアプリケーションに追加する、既存の技術と比べた改良を提示することができる。 The 3D model sharing system and method described in this disclosure can provide a specific solution to the technical problem of how to move renderable 3D models from one computing system to a different computing system during runtime. This can represent an improvement over existing techniques that only add new renderable 3D models to an application offline.
３Ｄモデルが本明細書に議論されるが、本願に説明されるシステムおよび方法は、３Ｄモデル以外の他のデジタルアセットに適用され得ることも検討される。例えば、２Ｄモデルが、本明細書に説明されるシステムおよび方法を使用して、（例えば、輪郭およびテクスチャに）分解、転送、および再構築されることができる。いくつかの実施形態では、アニメーションが、本明細書に説明されるシステムおよび方法を使用して、（例えば、それぞれ、本明細書に説明されるようにさらに分解され得る、一連のメッシュに）分解、転送、および再構築されることができる。いくつかの実施形態では、３Ｄモデルが、（例えば、２Ｄ画面上に表示するように、または２Ｄマップを作成するように）２Ｄモデルに平坦化されることができる。
（他の考慮点）
Although 3D models are discussed herein, it is also contemplated that the systems and methods described herein may be applied to other digital assets other than 3D models. For example, a 2D model may be decomposed (e.g., into contours and textures), transferred, and reconstructed using the systems and methods described herein. In some embodiments, an animation may be decomposed (e.g., into a series of meshes, each of which may be further decomposed as described herein), transferred, and reconstructed using the systems and methods described herein. In some embodiments, a 3D model may be flattened into a 2D model (e.g., for display on a 2D screen or to create a 2D map).
(Other considerations)
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。 Each of the processes, methods, and algorithms described herein and/or depicted in the accompanying figures may be embodied in code modules executed by one or more physical computing systems, hardware computer processors, application-specific circuits, and/or electronic hardware configured to execute specific and particular computer instructions, and may be fully or partially automated thereby. For example, a computing system may include a general-purpose computer (e.g., a server) or a special-purpose computer programmed with specific computer instructions, special-purpose circuits, etc. The code modules may be compiled and linked into an executable program, installed in a dynamic link library, or written in an interpreted programming language. In some implementations, certain operations and methods may be performed by circuitry specific to a given function.
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、アニメーションまたはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。 Furthermore, certain implementations of the functionality of the present disclosure may be sufficiently mathematically, computationally, or technically complex that special purpose hardware (utilizing appropriate specialized executable instructions) or one or more physical computing devices may be required to implement the functionality, e.g., due to the amount or complexity of the calculations involved, or to provide results in substantially real-time. For example, an animation or video may contain many frames, each frame may have millions of pixels, and specifically programmed computer hardware may be required to process the video data to provide the desired image processing task or application in a commercially reasonable amount of time.
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。 The code modules or any type of data may be stored on any type of non-transitory computer-readable medium, such as physical computer storage devices, including hard drives, solid-state memory, random access memory (RAM), read-only memory (ROM), optical disks, volatile or non-volatile storage devices, combinations of the same, and/or the like. The methods and modules (or data) may also be transmitted as data signals (e.g., as part of a carrier wave or other analog or digital propagating signal) generated on various computer-readable transmission media, including wireless-based and wired/cable-based media, and may take various forms (e.g., as part of a single or multiplexed analog signal, or as multiple discrete digital packets or frames). The results of the disclosed processes or process steps may be stored persistently or otherwise in any type of non-transitory tangible computer storage device, or communicated via a computer-readable transmission medium.
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。 Any process, block, state, step, or functionality in the flow diagrams described herein and/or depicted in the accompanying figures should be understood as potentially representing a code module, segment, or portion of code that includes one or more executable instructions for implementing a specific function (e.g., logical or arithmetic) or step in the process. Various processes, blocks, states, steps, or functionality can be combined, rearranged, added to, removed from, modified, or otherwise altered from the illustrative examples provided herein. In some embodiments, additional or different computing systems or code modules may perform some or all of the functionality described herein. The methods and processes described herein are also not limited to any particular sequence, and the blocks, steps, or states associated therewith can be performed in other sequences, e.g., serially, in parallel, or in some other manner, as appropriate. Tasks or events may be added to or removed from the disclosed exemplary embodiments. Furthermore, the separation of various system components in the implementations described herein is for illustrative purposes and should not be understood as requiring such separation in all implementations. It should be understood that the program components, methods, and systems described may generally be integrated together in a single computer product or packaged into multiple computer products. Many implementation variations are possible.
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。 The processes, methods, and systems may be implemented in a network (or distributed) computing environment. Network environments include enterprise-wide computer networks, intranets, local area networks (LANs), wide area networks (WANs), personal area networks (PANs), cloud computing networks, crowdsourced computing networks, the Internet, and the World Wide Web. The network may be a wired or wireless network or any other type of communications network.
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。 The systems and methods of the present disclosure each have several innovative aspects, none of which is solely responsible for or required for the desirable attributes disclosed herein. The various features and processes described above may be used independently of one another or may be combined in various ways. All possible combinations and subcombinations are intended to fall within the scope of the present disclosure. Various modifications of the implementations described in the present disclosure may be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other implementations without departing from the spirit or scope of the present disclosure. Thus, the claims are not intended to be limited to the implementations shown herein, but are to be accorded the widest scope consistent with the present disclosure, the principles, and novel features disclosed herein.
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。 Certain features described herein in the context of separate implementations can also be implemented in combination in a single implementation. Conversely, various features described in the context of a single implementation can also be implemented separately in multiple implementations or in any suitable subcombination. Moreover, although features may be described above as operative in a combination and may even be initially claimed as such, one or more features from the claimed combination may in some cases be deleted from the combination and the claimed combination may be directed to a subcombination or variation of the subcombination. No single feature or group of features is necessary or essential to every embodiment.
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを合意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。 Conditional statements used herein, such as, among others, "can," "could," "might," "may," "e.g.," and the like, unless specifically stated otherwise or understood otherwise within the context as used, are generally intended to convey that certain embodiments include certain features, elements, and/or steps, while other embodiments do not. Thus, such conditional statements are generally not intended to agree that features, elements, and/or steps are in any way required for one or more embodiments, or that one or more embodiments necessarily include logic for determining whether those features, elements, and/or steps should be included or performed in any particular embodiment, with or without authorial input or prompting. The terms "comprising," "including," "having," and the like, are synonymous and are used inclusively in a non-limiting manner and do not exclude additional elements, features, acts, operations, etc. Also, the term "or" is used in its inclusive sense (and not in its exclusive sense), thus, for example, when used to connect a list of elements, the term "or" means one, some, or all of the elements in the list. In addition, the articles "a," "an," and "the," as used in this application and the appended claims, should be construed to mean "one or more" or "at least one," unless otherwise specified.
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等が、Ｘ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。 As used herein, a phrase referring to a list of items "at least one of" refers to any combination of those items, including single elements. As an example, "at least one of A, B, or C" is intended to cover A, B, C, A and B, A and C, B and C, and A, B, and C. Transitive phrases such as "at least one of X, Y, and Z" are generally understood differently in the context in which they are used to convey that an item, term, etc. may be at least one of X, Y, or Z, unless specifically stated otherwise. Thus, such transitive phrases are generally not intended to suggest that an embodiment requires that at least one of X, at least one of Y, and at least one of Z, respectively, be present.
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
（例示的実施形態）
Similarly, although operations may be depicted in the figures in a particular order, it should be appreciated that such operations need not be performed in the particular order depicted, or in sequential order, or that all of the depicted operations need not be performed to achieve desirable results. Additionally, the figures may diagrammatically depict one or more exemplary processes in the form of a flow chart. However, other operations not depicted may be incorporated within the diagrammatically depicted exemplary methods and processes. For example, one or more additional operations may be performed before, after, simultaneously with, or during any of the depicted operations. Additionally, operations may be rearranged or reordered in other implementations. In some circumstances, multitasking and parallel processing may be advantageous. Additionally, the separation of various system components in the implementations described above should not be understood as requiring such separation in all implementations, and it should be understood that the described program components and systems may generally be integrated together in a single software product or packaged in multiple software products. Additionally, other implementations are within the scope of the following claims. In some cases, the actions recited in the claims may be performed in a different order and still achieve desirable results.
EXEMPLARY EMBODIMENTS
１．方法であって、 1. A method comprising:
頭部搭載型デバイスのディスプレイを介して、仮想３次元モデルの第１のバージョンを表示するステップであって、仮想３次元モデルの第１のバージョンは、構成部分の第１のバージョンを備える、ステップと、 Displaying a first version of the virtual three-dimensional model via a display of the head-mounted device, the first version of the virtual three-dimensional model comprising a first version of the component part;
ホストデバイスから仮想３次元モデルの第２のバージョンと関連付けられるデータを要求するステップであって、仮想３次元モデルの第２のバージョンは、構成部分の第２のバージョンを備える、ステップと、 requesting data associated with a second version of the virtual three-dimensional model from the host device, the second version of the virtual three-dimensional model comprising a second version of the component part;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求するかどうかを決定するステップと、 determining whether the first version of the component requires an update based on the second version of the component;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求するという決定に従って、 Pursuant to a determination that the first version of the component requires an update based on the second version of the component,
ホストデバイスから構成部分の第２のバージョンと関連付けられるデータを要求するステップと、 requesting data associated with a second version of the component from the host device;
頭部搭載型デバイスのディスプレイを介して、仮想３次元モデルの第２のバージョンを表示するステップと、 Displaying a second version of the virtual three-dimensional model via a display of the head-mounted device;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求しないという決定に従って、 Pursuant to a determination based on the second version of the component that the first version of the component does not require an update,
ホストデバイスから構成部分の第２のバージョンと関連付けられるデータを要求することを控えるステップと、
を含む、方法。
refraining from requesting data associated with the second version of the component from the host device;
A method comprising:
２．構成部分は、メッシュデータを備える、実施形態１に記載の方法。 2. The method of embodiment 1, wherein the component comprises mesh data.
３．構成部分は、テクスチャデータを備える、実施形態１に記載の方法。 3. The method of embodiment 1, wherein the component comprises texture data.
４．ホストデバイスは、サーバである、実施形態１に記載の方法。 4. The method of embodiment 1, wherein the host device is a server.
５．頭部搭載型デバイスは、第１の頭部搭載型デバイスであり、ホストデバイスは、第２の頭部搭載型デバイスである、実施形態１に記載の方法。 5. The method of embodiment 1, wherein the head-mounted device is a first head-mounted device and the host device is a second head-mounted device.
６．方法はさらに、メモリ内に構成部分の第２のバージョンと関連付けられるデータを記憶するステップを含む、実施形態１に記載の方法。 6. The method of embodiment 1, further comprising storing data associated with the second version of the component in memory.
７．方法はさらに、構成部分の第２のバージョンと関連付けられるデータを展開するステップを含む、実施形態１に記載の方法。 7. The method of embodiment 1, further comprising extracting data associated with the second version of the component.
８．システムであって、 8. A system comprising:
ディスプレイを備える、頭部搭載型デバイスと、 A head-mounted device equipped with a display,
１つ以上のプロセッサであって、 One or more processors,
ディスプレイを介して、仮想３次元モデルの第１のバージョンを表示するステップであって、仮想３次元モデルの第１のバージョンは、構成部分の第１のバージョンを備える、ステップと、 displaying a first version of the virtual three-dimensional model via a display, the first version of the virtual three-dimensional model comprising a first version of the component part;
ホストデバイスから仮想３次元モデルの第２のバージョンと関連付けられるデータを要求するステップであって、仮想３次元モデルの第２のバージョンは、構成部分の第２のバージョンを備える、ステップと、 requesting data associated with a second version of the virtual three-dimensional model from the host device, the second version of the virtual three-dimensional model comprising a second version of the component part;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求するかどうかを決定するステップと、 determining whether the first version of the component requires an update based on the second version of the component;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求するという決定に従って、 Pursuant to a determination that the first version of the component requires an update based on the second version of the component,
ホストデバイスから構成部分の第２のバージョンと関連付けられるデータを要求するステップと、 requesting data associated with a second version of the component from the host device;
ディスプレイを介して、仮想３次元モデルの第２のバージョンを表示するステップと、 Displaying a second version of the virtual three-dimensional model via the display;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求しないという決定に従って、 Pursuant to a determination based on the second version of the component that the first version of the component does not require an update,
ホストデバイスから構成部分の第２のバージョンと関連付けられるデータを要求することを控えるステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサと、
を備える、システム。
refraining from requesting data associated with the second version of the component from the host device;
one or more processors configured to execute a method,
A system comprising:
９．構成部分は、メッシュデータを備える、実施形態８に記載のシステム。 9. The system of embodiment 8, wherein the component comprises mesh data.
１０．構成部分は、テクスチャデータを備える、実施形態８に記載のシステム。 10. The system of embodiment 8, wherein the component comprises texture data.
１１．ホストデバイスは、サーバである、実施形態８に記載のシステム。 11. The system of embodiment 8, wherein the host device is a server.
１２．頭部搭載型デバイスは、第１の頭部搭載型デバイスであり、ホストデバイスは、第２の頭部搭載型デバイスである、実施形態８に記載のシステム。 12. The system of embodiment 8, wherein the head-mounted device is a first head-mounted device and the host device is a second head-mounted device.
１３．方法はさらに、メモリ内に構成部分の第２のバージョンと関連付けられるデータを記憶するステップを含む、実施形態８に記載のシステム。 13. The system of embodiment 8, wherein the method further includes storing data associated with the second version of the component in the memory.
１４．方法はさらに、構成部分の第２のバージョンと関連付けられるデータを展開するステップを含む、実施形態８に記載のシステム。 14. The system of embodiment 8, wherein the method further includes extracting data associated with the second version of the component.
１５．非一過性のコンピュータ可読媒体であって、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、 15. A non-transitory computer-readable medium that, when executed by one or more processors, causes the one or more processors to
頭部搭載型デバイスのディスプレイを介して、仮想３次元モデルの第１のバージョンを表示するステップであって、仮想３次元モデルの第１のバージョンは、構成部分の第１のバージョンを備える、ステップと、 Displaying a first version of the virtual three-dimensional model via a display of the head-mounted device, the first version of the virtual three-dimensional model comprising a first version of the component part;
ホストデバイスから仮想３次元モデルの第２のバージョンと関連付けられるデータを要求するステップであって、仮想３次元モデルの第２のバージョンは、構成部分の第２のバージョンを備える、ステップと、 requesting data associated with a second version of the virtual three-dimensional model from the host device, the second version of the virtual three-dimensional model comprising a second version of the component part;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求するかどうかを決定するステップと、 determining whether the first version of the component requires an update based on the second version of the component;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求するという決定に従って、 Pursuant to a determination that the first version of the component requires an update based on the second version of the component,
ホストデバイスから構成部分の第２のバージョンと関連付けられるデータを要求するステップと、 requesting data associated with a second version of the component from the host device;
頭部搭載型デバイスのディスプレイを介して、仮想３次元モデルの第２のバージョンを表示するステップと、 Displaying a second version of the virtual three-dimensional model via a display of the head-mounted device;
構成部分の第２のバージョンに基づいて、構成部分の第１のバージョンが更新を要求しないという決定に従って、 Pursuant to a determination based on the second version of the component that the first version of the component does not require an update,
ホストデバイスから構成部分の第２のバージョンと関連付けられるデータを要求することを控えるステップと、
を含む、方法を実行させる命令を記憶する、非一過性のコンピュータ可読媒体。
refraining from requesting data associated with the second version of the component from the host device;
A non-transitory computer readable medium storing instructions for carrying out a method, comprising:
１６．構成部分は、メッシュデータを備える、実施形態１５に記載の非一過性のコンピュータ可読媒体。 16. The non-transitory computer-readable medium of embodiment 15, wherein the component comprises mesh data.
１７．構成部分は、テクスチャデータを備える、実施形態１５に記載の非一過性のコンピュータ可読媒体。 17. The non-transitory computer-readable medium of embodiment 15, wherein the component comprises texture data.
１８．ホストデバイスは、サーバである、実施形態１５に記載の非一過性のコンピュータ可読媒体。 18. The non-transitory computer-readable medium of embodiment 15, wherein the host device is a server.
１９．頭部搭載型デバイスは、第１の頭部搭載型デバイスであり、ホストデバイスは、第２の頭部搭載型デバイスである、実施形態１５に記載の非一過性のコンピュータ可読媒体。 19. The non-transitory computer-readable medium of embodiment 15, wherein the head-mounted device is a first head-mounted device and the host device is a second head-mounted device.
２０．方法はさらに、メモリ内に構成部分の第２のバージョンと関連付けられるデータを記憶するステップを含む、実施形態１５に記載の非一過性のコンピュータ可読媒体。 20. The non-transitory computer-readable medium of embodiment 15, wherein the method further includes storing data associated with the second version of the component in memory.
２１．方法はさらに、構成部分の第２のバージョンと関連付けられるデータを展開するステップを含む、実施形態１５に記載の非一過性のコンピュータ可読媒体。 21. The non-transitory computer-readable medium of embodiment 15, wherein the method further includes extracting data associated with the second version of the component.
２２．方法であって、 22. A method comprising:
メモリ内に記憶された仮想３次元モデルにアクセスするステップと、 Accessing a virtual three-dimensional model stored in memory;
仮想３次元モデルの１つ以上の構成部分を決定するステップと、 Determining one or more components of the virtual three-dimensional model;
１つ以上のアレイ内に１つ以上の構成部分を記憶するステップであって、１つ以上の構成部分は、仮想３次元モデルと別個に記憶される、ステップと、 Storing one or more components in one or more arrays, where the one or more components are stored separately from the virtual three-dimensional model;
頭部搭載型デバイスから接続要求を受信するステップと、 Receiving a connection request from the head-mounted device;
利用可能な構成部分のリストを頭部搭載型デバイスに送信するステップと、 Transmitting a list of available components to the head-mounted device;
頭部搭載型デバイスから構成部分要求を受信するステップと、 receiving a component request from the head-mounted device;
構成部分要求に基づいて、要求された構成部分を頭部搭載型デバイスに送信するステップと、
を含む、方法。
transmitting the requested component parts to the head mounted device based on the component part request;
A method comprising:
２３．構成部分は、メッシュデータを備える、実施形態２２に記載の方法。 23. The method of embodiment 22, wherein the component comprises mesh data.
２４．構成部分は、テクスチャデータを備える、実施形態２２に記載の方法。 24. The method of embodiment 22, wherein the component comprises texture data.
２５．方法はさらに、１つ以上の構成部分を圧縮するステップを含む、実施形態２２に記載の方法。 25. The method of embodiment 22, further comprising compressing one or more of the components.
２６．仮想３次元モデルは、第１の仮想３次元モデルであり、方法はさらに、要求された構成部分に基づいて、仮想３次元モデルのコピーを生成するステップを含む、実施形態２２に記載の方法。 26. The method of embodiment 22, wherein the virtual three-dimensional model is a first virtual three-dimensional model, and the method further includes generating a copy of the virtual three-dimensional model based on the requested component parts.
２７．方法はさらに、頭部搭載型デバイスのディスプレイを介して、要求された構成部分を表示するステップを含む、実施形態２２に記載の方法。 27. The method of embodiment 22, further comprising displaying the requested component via a display of the head mounted device.
２８．方法はさらに、 28. The method further comprises:
新しい仮想３次元モデルのためのプレースホルダを作成するステップと、 Creating a placeholder for a new virtual 3D model;
要求された構成部分に基づいて、新しい仮想３次元モデルのためのプレースホルダを更新するステップと、
を含む、実施形態２２に記載の方法。
updating a placeholder for the new virtual 3D model based on the requested components;
23. The method of embodiment 22, comprising:
２９．システムであって、 29. A system comprising:
頭部搭載型デバイスと、 A head-mounted device,
１つ以上のプロセッサであって、 One or more processors,
メモリ内に記憶された仮想３次元モデルにアクセスするステップと、 Accessing a virtual three-dimensional model stored in memory;
仮想３次元モデルの１つ以上の構成部分を決定するステップと、 Determining one or more components of the virtual three-dimensional model;
１つ以上のアレイ内に１つ以上の構成部分を記憶するステップであって、１つ以上の構成部分は、仮想３次元モデルと別個に記憶される、ステップと、 Storing one or more components in one or more arrays, where the one or more components are stored separately from the virtual three-dimensional model;
頭部搭載型デバイスから接続要求を受信するステップと、 Receiving a connection request from the head-mounted device;
利用可能な構成部分のリストを頭部搭載型デバイスに送信するステップと、 Transmitting a list of available components to the head-mounted device;
頭部搭載型デバイスから構成部分要求を受信するステップと、 receiving a component request from the head-mounted device;
構成部分要求に基づいて、要求された構成部分を頭部搭載型デバイスに送信するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサと、
を備える、システム。
transmitting the requested component parts to the head mounted device based on the component part request;
one or more processors configured to execute a method,
A system comprising:
３０．構成部分は、メッシュデータを備える、実施形態２９に記載のシステム。 30. The system of embodiment 29, wherein the component comprises mesh data.
３１．構成部分は、テクスチャデータを備える、実施形態２９に記載のシステム。 31. The system of embodiment 29, wherein the component comprises texture data.
３２．方法はさらに、１つ以上の構成部分を圧縮するステップを含む、実施形態２９に記載のシステム。 32. The system of embodiment 29, wherein the method further includes compressing one or more components.
３３．仮想３次元モデルは、第１の仮想３次元モデルであり、方法はさらに、要求された構成部分に基づいて、仮想３次元モデルのコピーを生成するステップを含む、実施形態２９に記載のシステム。 33. The system of embodiment 29, wherein the virtual three-dimensional model is a first virtual three-dimensional model, and the method further includes generating a copy of the virtual three-dimensional model based on the requested component parts.
３４．方法はさらに、頭部搭載型デバイスのディスプレイを介して、要求された構成部分を表示するステップを含む、実施形態２９に記載のシステム。 34. The system of embodiment 29, wherein the method further includes displaying the requested component via a display of the head-mounted device.
３５．方法はさらに、 35. The method further comprises:
新しい仮想３次元モデルのためのプレースホルダを作成するステップと、 Creating a placeholder for a new virtual 3D model;
要求された構成部分に基づいて、新しい仮想３次元モデルのためのプレースホルダを更新するステップと、
を含む、実施形態２９に記載のシステム。
updating a placeholder for the new virtual 3D model based on the requested components;
30. The system of embodiment 29, comprising:
３６．非一過性のコンピュータ可読媒体であって、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、 36. A non-transitory computer-readable medium that, when executed by one or more processors, causes the one or more processors to
メモリ内に記憶された仮想３次元モデルにアクセスするステップと、 Accessing a virtual three-dimensional model stored in memory;
仮想３次元モデルの１つ以上の構成部分を決定するステップと、 Determining one or more components of the virtual three-dimensional model;
１つ以上のアレイ内に１つ以上の構成部分を記憶するステップであって、１つ以上の構成部分は、仮想３次元モデルと別個に記憶される、ステップと、 Storing one or more components in one or more arrays, where the one or more components are stored separately from the virtual three-dimensional model;
頭部搭載型デバイスから接続要求を受信するステップと、 Receiving a connection request from the head-mounted device;
利用可能な構成部分のリストを頭部搭載型デバイスに送信するステップと、 Transmitting a list of available components to the head-mounted device;
頭部搭載型デバイスから構成部分要求を受信するステップと、 receiving a component request from the head-mounted device;
構成部分要求に基づいて、要求された構成部分を頭部搭載型デバイスに送信するステップと、
を含む、方法を実行させる命令を記憶する、非一過性のコンピュータ可読媒体。
transmitting the requested component parts to the head mounted device based on the component part request;
A non-transitory computer readable medium storing instructions for carrying out a method, comprising:
３７．構成部分は、メッシュデータを備える、実施形態３６に記載の非一過性のコンピュータ可読媒体。 37. The non-transitory computer-readable medium of embodiment 36, wherein the component comprises mesh data.
３８．構成部分は、テクスチャデータを備える、実施形態３６に記載の非一過性のコンピュータ可読媒体。 38. The non-transitory computer-readable medium of embodiment 36, wherein the component portion comprises texture data.
３９．方法はさらに、１つ以上の構成部分を圧縮するステップを含む、実施形態３６に記載の非一過性のコンピュータ可読媒体。 39. The non-transitory computer-readable medium of embodiment 36, wherein the method further comprises compressing one or more components.
４０．仮想３次元モデルは、第１の仮想３次元モデルであり、方法はさらに、要求された構成部分に基づいて、仮想３次元モデルのコピーを生成するステップを含む、実施形態３６に記載の非一過性のコンピュータ可読媒体。 40. The non-transitory computer-readable medium of embodiment 36, wherein the virtual three-dimensional model is a first virtual three-dimensional model, and the method further includes generating a copy of the virtual three-dimensional model based on the requested component parts.
４１．方法はさらに、頭部搭載型デバイスのディスプレイを介して、要求された構成部分を表示するステップを含む、実施形態３６に記載の非一過性のコンピュータ可読媒体。 41. The non-transitory computer-readable medium of embodiment 36, wherein the method further includes displaying the requested component via a display of the head-mounted device.
４２．方法はさらに、 42. The method further comprises:
新しい仮想３次元モデルのためのプレースホルダを作成するステップと、 Creating a placeholder for a new virtual 3D model;
要求された構成部分に基づいて、新しい仮想３次元モデルのためのプレースホルダを更新するステップと、
を含む、実施形態３６に記載の非一過性のコンピュータ可読媒体。
updating a placeholder for the new virtual 3D model based on the requested components;
37. The non-transitory computer-readable medium of embodiment 36, comprising:
４３．システムであって、 43. A system comprising:
ホストコンピューティングシステムと、 A host computing system,
頭部搭載型ディスプレイシステムを備える、クライアントコンピューティングシステムと、
を備え、
a client computing system having a head mounted display system;
Equipped with
ホストコンピューティングシステムは、 The host computing system is
メモリ内に記憶された仮想３次元モデルにアクセスするステップと、 Accessing a virtual three-dimensional model stored in memory;
３次元モデルを１つ以上の構成部分に分解するステップと、 Decomposing the three-dimensional model into one or more component parts;
１つ以上の構成部分のリストをクライアントコンピューティングシステムに送信するステップと、 transmitting a list of one or more components to a client computing system;
クライアントコンピューティングシステムから構成部分要求を受信するステップと、 receiving a component part request from a client computing system;
構成部分要求に対応する１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備え、
transmitting to a client computing system one or more component parts corresponding to the component part request;
one or more processors configured to execute a method,
クライアントコンピューティングシステムは、 The client computing system is
ホストコンピューティングシステムから１つ以上の構成部分のリストを受信するステップと、 receiving a list of one or more components from a host computing system;
構成部分要求をホストコンピューティングシステムに送信するステップと、 sending a component request to a host computing system;
ホストコンピューティングシステムから構成部分要求に対応する構成部分のうちの１つ以上のものを受信するステップと、 receiving one or more of the components corresponding to the component request from a host computing system;
構成部分要求に対応する構成部分のうちの１つ以上のものから、仮想３次元モデルのコピーを構成するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、
システム。
constructing a copy of the virtual three-dimensional model from one or more of the component parts corresponding to the component part requests;
comprising one or more processors configured to execute a method comprising:
system.
４４．構成部分は、メッシュデータを備える、実施形態４３に記載のシステム。 44. The system of embodiment 43, wherein the component comprises mesh data.
４５．構成部分は、テクスチャデータを備える、実施形態４３に記載のシステム。 45. The system of embodiment 43, wherein the component comprises texture data.
４６．ホストコンピューティングシステムは、サーバである、実施形態４３に記載のシステム。 46. The system of embodiment 43, wherein the host computing system is a server.
４７．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態４３に記載のシステム。 47. The system of embodiment 43, wherein the host computing system comprises a head-mounted display system.
４８．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態４３に記載のシステム。 48. The system of embodiment 43, wherein the method further includes storing one or more components in the memory.
４９．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態４３に記載のシステム。 49. The system of embodiment 43, wherein the method further includes a step of deploying one or more components.
５０．方法であって、 50. A method comprising:
メモリ内に記憶された仮想３次元モデルにアクセスするステップと、 Accessing a virtual three-dimensional model stored in memory;
３次元モデルを１つ以上の構成部分に分解するステップと、 Decomposing the three-dimensional model into one or more component parts;
１つ以上の構成部分のリストを、頭部搭載型ディスプレイを備えるクライアントコンピューティングシステムに送信するステップと、 transmitting a list of one or more components to a client computing system having a head mounted display;
クライアントコンピューティングシステムから構成部分要求を受信するステップと、 receiving a component part request from a client computing system;
構成部分要求に対応する１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、 transmitting one or more components corresponding to the component request to the client computing system;
ホストコンピューティングシステムから１つ以上の構成部分のリストを受信するステップと、 receiving a list of one or more components from a host computing system;
構成部分要求をホストコンピューティングシステムに送信するステップと、 sending a component request to a host computing system;
ホストコンピューティングシステムから構成部分要求に対応する構成部分のうちの１つ以上のものを受信するステップと、 receiving one or more of the components corresponding to the component request from a host computing system;
構成部分要求に対応する構成部分のうちの１つ以上のものから、仮想３次元モデルのコピーを構成するステップと、
を含む、方法。
constructing a copy of the virtual three-dimensional model from one or more of the component parts corresponding to the component part requests;
A method comprising:
５１．構成部分は、メッシュデータを備える、実施形態５０に記載の方法。 51. The method of embodiment 50, wherein the component comprises mesh data.
５２．構成部分は、テクスチャデータを備える、実施形態５０に記載の方法。 52. The method of embodiment 50, wherein the component comprises texture data.
５３．ホストコンピューティングシステムは、サーバである、実施形態５０に記載の方法。 53. The method of embodiment 50, wherein the host computing system is a server.
５４．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態５０に記載の方法。 54. The method of embodiment 50, wherein the host computing system comprises a head-mounted display system.
５５．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態５０に記載の方法。 55. The method of embodiment 50, further comprising storing one or more components in the memory.
５６．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態５０に記載の方法。 56. The method of embodiment 50, further comprising deploying one or more components.
５７．非一過性のコンピュータ可読媒体であって、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、 57. A non-transitory computer-readable medium that, when executed by one or more processors, causes the one or more processors to
メモリ内に記憶された仮想３次元モデルにアクセスするステップと、 Accessing a virtual three-dimensional model stored in memory;
３次元モデルを１つ以上の構成部分に分解するステップと、 Decomposing the three-dimensional model into one or more component parts;
１つ以上の構成部分のリストを、頭部搭載型ディスプレイを備えるクライアントコンピューティングシステムに送信するステップと、 transmitting a list of one or more components to a client computing system having a head mounted display;
クライアントコンピューティングシステムから構成部分要求を受信するステップと、 receiving a component part request from a client computing system;
構成部分要求に対応する１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、 transmitting one or more components corresponding to the component request to the client computing system;
ホストコンピューティングシステムから１つ以上の構成部分のリストを受信するステップと、 receiving a list of one or more components from a host computing system;
構成部分要求をホストコンピューティングシステムに送信するステップと、 sending a component request to a host computing system;
ホストコンピューティングシステムから構成部分要求に対応する構成部分のうちの１つ以上のものを受信するステップと、 receiving one or more of the components corresponding to the component request from a host computing system;
構成部分要求に対応する構成部分のうちの１つ以上のものから、仮想３次元モデルのコピーを構成するステップと、
を含む、方法を実施させる、１つ以上の命令を記憶する、非一過性のコンピュータ可読媒体。
constructing a copy of the virtual three-dimensional model from one or more of the component parts corresponding to the component part requests;
23. A non-transitory computer-readable medium storing one or more instructions that cause a method to be performed, comprising:
５８．構成部分は、メッシュデータを備える、実施形態５７に記載の非一過性のコンピュータ可読媒体。 58. The non-transitory computer-readable medium of embodiment 57, wherein the component comprises mesh data.
５９．構成部分は、テクスチャデータを備える、実施形態５７に記載の非一過性のコンピュータ可読媒体。 59. The non-transitory computer-readable medium of embodiment 57, wherein the component comprises texture data.
６０．ホストコンピューティングシステムは、サーバである、実施形態５７に記載の非一過性のコンピュータ可読媒体。 60. The non-transitory computer-readable medium of embodiment 57, wherein the host computing system is a server.
６１．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態５７に記載の非一過性のコンピュータ可読媒体。 61. The non-transitory computer-readable medium of embodiment 57, wherein the host computing system comprises a head-mounted display system.
６２．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態５７に記載の非一過性のコンピュータ可読媒体。 62. The non-transitory computer-readable medium of embodiment 57, wherein the method further comprises storing one or more components in the memory.
６３．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態５７に記載の非一過性のコンピュータ可読媒体。 63. The non-transitory computer-readable medium of embodiment 57, wherein the method further comprises deploying one or more components.
６４．システムであって、 64. A system comprising:
ホストコンピューティングシステムであって、ホストコンピューティングシステムは、 A host computing system, the host computing system comprising:
ホストアセットモジュールを介して、第１の仮想３次元モデルにアクセスするステップと、 Accessing the first virtual three-dimensional model via a host asset module;
分解モジュールを介して、１つ以上の構成部分を識別するステップと、 Identifying one or more constituent parts via a decomposition module;
分解モジュールを介して、１つ以上の構成部分をライブラリにコピーするステップと、 Copying one or more components to a library via a decomposition module;
ホスト伝送モジュールを介して、１つ以上の構成部分にアクセスするステップと、 Accessing one or more components via a host transmission module;
ホスト伝送モジュールを介して、１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、ホストコンピューティングシステムと、
transmitting, via a host transmission module, one or more components to a client computing system;
A host computing system comprising one or more processors configured to execute a method, comprising:
クライアントコンピューティングシステムであって、クライアントコンピューティングシステムは、頭部搭載型ディスプレイシステムを備え、クライアントコンピューティングシステムは、 A client computing system, the client computing system having a head-mounted display system, the client computing system
クライアント伝送モジュールを介して、ホストコンピューティングシステムから１つ以上の構成部分を受信するステップと、 receiving one or more components from a host computing system via a client transmission module;
構成モジュールを介して、空のオブジェクトを作成するステップと、 Creating an empty object via the configuration module;
構成モジュールを介して、１つ以上のデータタイプを空のオブジェクトに追加するステップと、 Adding one or more data types to the empty object via a configuration module;
構成モジュールを介して、１つ以上の構成部分を空のオブジェクトに追加するステップと、 Adding one or more configuration parts to the empty object via a configuration module;
クライアントアセットモジュールを介して、仮想３次元モデルのコピーを記憶するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、クライアントコンピューティングシステムと、
を備え、
storing, via a client asset module, a copy of the virtual three-dimensional model;
A client computing system comprising one or more processors configured to execute a method, comprising:
Equipped with
ホストコンピューティングシステムおよびクライアントコンピューティングシステムは、通信リンクを介して通信可能に接続される、
システム。
the host computing system and the client computing system are communicatively connected via a communications link;
system.
６５．構成部分は、メッシュデータを備える、実施形態６４に記載のシステム。 65. The system of embodiment 64, wherein the component comprises mesh data.
６６．構成部分は、テクスチャデータを備える、実施形態６４に記載のシステム。 66. The system of embodiment 64, wherein the component comprises texture data.
６７．ホストコンピューティングシステムは、サーバである、実施形態６４に記載のシステム。 67. The system of embodiment 64, wherein the host computing system is a server.
６８．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態６４に記載のシステム。 68. The system of embodiment 64, wherein the host computing system comprises a head-mounted display system.
６９．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態６４に記載のシステム。 69. The system of embodiment 64, wherein the method further includes storing one or more components in the memory.
７０．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態６４に記載のシステム。 70. The system of embodiment 64, wherein the method further comprises deploying one or more components.
７１．方法であって、 71. A method comprising:
ホストコンピューティングシステムにおけるステップであって、ホストコンピューティングシステムは、 A step in a host computing system, the host computing system
ホストアセットモジュールを介して、第１の仮想３次元モデルにアクセスするステップと、 Accessing the first virtual three-dimensional model via a host asset module;
分解モジュールを介して、１つ以上の構成部分を識別するステップと、 Identifying one or more constituent parts via a decomposition module;
分解モジュールを介して、１つ以上の構成部分をライブラリにコピーするステップと、 Copying one or more components to a library via a decomposition module;
ホスト伝送モジュールを介して、１つ以上の構成部分にアクセスするステップと、 Accessing one or more components via a host transmission module;
ホスト伝送モジュールを介して、１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、ステップと、
transmitting, via a host transmission module, one or more components to a client computing system;
comprising one or more processors configured to execute a method, the method comprising:
クライアントコンピューティングシステムにおけるステップであって、クライアントコンピューティングシステムは、頭部搭載型ディスプレイシステムを備え、クライアントコンピューティングシステムは、 A step in a client computing system, the client computing system having a head mounted display system, the client computing system
クライアント伝送モジュールを介して、ホストコンピューティングシステムから１つ以上の構成部分を受信するステップと、 receiving one or more components from a host computing system via a client transmission module;
構成モジュールを介して、空のオブジェクトを作成するステップと、 Creating an empty object via a configuration module;
構成モジュールを介して、１つ以上のデータタイプを空のオブジェクトに追加するステップと、 Adding one or more data types to the empty object via a configuration module;
構成モジュールを介して、１つ以上の構成部分を空のオブジェクトに追加するステップと、 Adding one or more configuration parts to the empty object via a configuration module;
クライアントアセットモジュールを介して、仮想３次元モデルのコピーを記憶するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、ステップと、
を含み、
storing, via a client asset module, a copy of the virtual three-dimensional model;
comprising one or more processors configured to execute a method, the method comprising:
Including,
ホストコンピューティングシステムおよびクライアントコンピューティングシステムは、通信リンクを介して通信可能に接続される、
方法。
the host computing system and the client computing system are communicatively connected via a communications link;
Method.
７２．構成部分は、メッシュデータを備える、実施形態７１に記載の方法。 72. The method of embodiment 71, wherein the component comprises mesh data.
７３．構成部分は、テクスチャデータを備える、実施形態７１に記載の方法。 73. The method of embodiment 71, wherein the component comprises texture data.
７４．ホストコンピューティングシステムは、サーバである、実施形態７１に記載の方法。 74. The method of embodiment 71, wherein the host computing system is a server.
７５．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態７１に記載の方法。 75. The method of embodiment 71, wherein the host computing system comprises a head-mounted display system.
７６．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態７１に記載の方法。 76. The method of embodiment 71, further comprising storing one or more components in the memory.
７７．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態７１に記載の方法。 77. The method of embodiment 71, further comprising deploying one or more components.
７８．非一過性のコンピュータ可読媒体であって、１つ以上のプロセッサによって実行されると、プロセッサに、 78. A non-transitory computer-readable medium that, when executed by one or more processors, causes the processors to
ホストコンピューティングシステムにおいて、 In the host computing system,
ホストアセットモジュールを介して、第１の仮想３次元モデルにアクセスするステップと、 Accessing the first virtual three-dimensional model via a host asset module;
分解モジュールを介して、１つ以上の構成部分を識別するステップと、 Identifying one or more constituent parts via a decomposition module;
分解モジュールを介して、１つ以上の構成部分をライブラリにコピーするステップと、 Copying one or more components to a library via a decomposition module;
ホスト伝送モジュールを介して、１つ以上の構成部分にアクセスするステップと、 Accessing one or more components via a host transmission module;
ホスト伝送モジュールを介して、１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、 Transmitting one or more components to a client computing system via a host transmission module;
クライアントコンピューティングシステムであって、クライアントコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、クライアントコンピューティングシステムにおいて、 A client computing system, the client computing system being equipped with a head-mounted display system,
クライアント伝送モジュールを介して、ホストコンピューティングシステムから１つ以上の構成部分を受信するステップと、 receiving one or more components from a host computing system via a client transmission module;
構成モジュールを介して、空のオブジェクトを作成するステップと、 Creating an empty object via a configuration module;
構成モジュールを介して、１つ以上のデータタイプを空のオブジェクトに追加するステップと、 Adding one or more data types to the empty object via a configuration module;
構成モジュールを介して、１つ以上の構成部分を空のオブジェクトに追加するステップと、 Adding one or more components to the empty object via a configuration module;
クライアントアセットモジュールを介して、仮想３次元モデルのコピーを記憶するステップと、 Storing a copy of the virtual 3D model via a client asset module;
を含む、方法を実施させる、１つ以上の命令を記憶し、ホストコンピューティングシステムおよびクライアントコンピューティングシステムは、通信リンクを介して通信可能に接続される、
非一過性のコンピュータ可読媒体。
a host computing system and a client computing system communicatively coupled via a communications link;
A non-transitory computer-readable medium.
７９．構成部分は、メッシュデータを備える、実施形態７８に記載の非一過性のコンピュータ可読媒体。 79. The non-transitory computer-readable medium of embodiment 78, wherein the component comprises mesh data.
８０．構成部分は、テクスチャデータを備える、実施形態７８に記載の非一過性のコンピュータ可読媒体。 80. The non-transitory computer-readable medium of embodiment 78, wherein the component comprises texture data.
８１．ホストコンピューティングシステムは、サーバである、実施形態７８に記載の非一過性のコンピュータ可読媒体。 81. The non-transitory computer-readable medium of embodiment 78, wherein the host computing system is a server.
８２．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態７８に記載の非一過性のコンピュータ可読媒体。 82. The non-transitory computer-readable medium of embodiment 78, wherein the host computing system comprises a head-mounted display system.
８３．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態７８に記載の非一過性のコンピュータ可読媒体。 83. The non-transitory computer-readable medium of embodiment 78, wherein the method further comprises storing one or more components in the memory.
８４．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態７８に記載の非一過性のコンピュータ可読媒体。 84. The non-transitory computer-readable medium of embodiment 78, wherein the method further comprises deploying one or more components.
８５．システムであって、 85. A system comprising:
ホストコンピューティングシステムであって、 A host computing system,
ロードモジュールを介して、第１の仮想３次元モデルにアクセスするステップと、 Accessing the first virtual three-dimensional model via the load module;
ホストライブラリマネージャモジュールを介して、１つ以上の構成部分を識別するステップと、 Identifying one or more components via a host library manager module;
ホストライブラリマネージャモジュールを介して、１つ以上の構成部分をライブラリにコピーするステップと、 Copying one or more components to a library via a host library manager module;
ホスト世界モジュールを介して、第１の仮想３次元モデルを記憶するステップと、 storing the first virtual three-dimensional model via the host world module;
ホストレンダリングパスモジュールを介して、第１の仮想３次元モデルをレンダリングするステップと、 Rendering the first virtual three-dimensional model via a host rendering path module;
サーバモジュールを介して、１つ以上の構成部分にアクセスするステップと、 Accessing one or more components via a server module;
サーバモジュールを介して、１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、ホストコンピューティングシステムと、
transmitting, via the server module, one or more components to a client computing system;
A host computing system comprising one or more processors configured to execute a method, comprising:
クライアントコンピューティングシステムであって、クライアントコンピューティングシステムは、頭部搭載型ディスプレイシステムを備え、クライアントコンピューティングシステムは、 A client computing system, the client computing system having a head-mounted display system, the client computing system
クライアントモジュールを介して、ホストコンピューティングシステムから１つ以上の構成部分を受信するステップと、 receiving one or more components from a host computing system via a client module;
仮想３次元モデルのコピーを生成するステップであって、仮想３次元モデルを生成するステップは、 A step of generating a copy of a virtual three-dimensional model, the step of generating the virtual three-dimensional model includes:
クライアントライブラリマネージャモジュールを介して、空のオブジェクトを作成するステップと、 Creating an empty object via the Client Library Manager module;
クライアントライブラリマネージャモジュールを介して、１つ以上の構成部分を空のオブジェクトに追加するステップとを含む、
ステップと、
adding, via a client library manager module, one or more components to the empty object;
Steps and
クライアント世界モジュールを介して、仮想３次元モデルのコピーを記憶するステップと、 Storing a copy of the virtual three-dimensional model via the client world module;
クライアントレンダリングパスモジュールを介して、仮想３次元モデルのコピーをレンダリングするステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、クライアントコンピューティングシステムと、
rendering a copy of the virtual three-dimensional model via a client rendering path module;
A client computing system comprising one or more processors configured to execute a method, comprising:
を備え、ホストコンピューティングシステムおよびクライアントコンピューティングシステムは、通信リンクを介して通信可能に接続される、
システム。
wherein the host computing system and the client computing system are communicatively connected via a communication link;
system.
８６．構成部分は、メッシュデータを備える、実施形態８５に記載のシステム。 86. The system of embodiment 85, wherein the component comprises mesh data.
８７．構成部分は、テクスチャデータを備える、実施形態８５に記載のシステム。 87. The system of embodiment 85, wherein the component comprises texture data.
８８．ホストコンピューティングシステムは、サーバである、実施形態８５に記載のシステム。 88. The system of embodiment 85, wherein the host computing system is a server.
８９．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態８５に記載のシステム。 89. The system of embodiment 85, wherein the host computing system comprises a head-mounted display system.
９０．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態８５に記載のシステム。 90. The system of embodiment 85, wherein the method further includes storing one or more components in the memory.
９１．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態８５に記載のシステム。 91. The system of embodiment 85, wherein the method further includes a step of deploying one or more components.
９２．方法であって、 92. A method comprising:
ホストコンピューティングシステムにおいて、 In the host computing system,
ロードモジュールを介して、第１の仮想３次元モデルにアクセスするステップと、 Accessing the first virtual three-dimensional model via the load module;
ホストライブラリマネージャモジュールを介して、１つ以上の構成部分を識別するステップと、 Identifying one or more components via a host library manager module;
ホストライブラリマネージャモジュールを介して、１つ以上の構成部分をライブラリにコピーするステップと、 Copying one or more components to a library via a host library manager module;
ホスト世界モジュールを介して、第１の仮想３次元モデルを記憶するステップと、 storing the first virtual three-dimensional model via the host world module;
ホストレンダリングパスモジュールを介して、第１の仮想３次元モデルをレンダリングするステップと、 Rendering the first virtual three-dimensional model via a host rendering path module;
サーバモジュールを介して、１つ以上の構成部分にアクセスするステップと、 Accessing one or more components via a server module;
サーバモジュールを介して、１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、 Transmitting one or more components to a client computing system via a server module;
クライアントコンピューティングシステムであって、クライアントコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、クライアントコンピューティングシステムにおいて、 A client computing system, the client computing system being equipped with a head-mounted display system,
クライアントモジュールを介して、ホストコンピューティングシステムから１つ以上の構成部分を受信するステップと、 receiving one or more components from a host computing system via a client module;
仮想３次元モデルのコピーを生成するステップであって、仮想３次元モデルのコピーを生成するステップは、 A step of generating a copy of a virtual three-dimensional model, the step of generating a copy of the virtual three-dimensional model includes:
クライアントライブラリマネージャモジュールを介して、空のオブジェクトを作成するステップと、 Creating an empty object via the Client Library Manager module;
クライアントライブラリマネージャモジュールを介して、１つ以上の構成部分を空のオブジェクトに追加するステップとを含む、
ステップと、
adding, via a client library manager module, one or more components to the empty object;
Steps and
クライアント世界モジュールを介して、仮想３次元モデルのコピーを記憶するステップと、 Storing a copy of the virtual three-dimensional model via the client world module;
クライアントレンダリングパスモジュールを介して、仮想３次元モデルのコピーをレンダリングするステップと、 Rendering a copy of the virtual 3D model via a client rendering path module;
を含み、ホストコンピューティングシステムおよびクライアントコンピューティングシステムは、通信リンクを介して通信可能に接続される、
方法。
wherein the host computing system and the client computing system are communicatively connected via a communication link;
Method.
９３．構成部分は、メッシュデータを備える、実施形態９２に記載の方法。 93. The method of embodiment 92, wherein the component comprises mesh data.
９４．構成部分は、テクスチャデータを備える、実施形態９２に記載の方法。 94. The method of embodiment 92, wherein the component comprises texture data.
９５．ホストコンピューティングシステムは、サーバである、実施形態９２に記載の方法。 95. The method of embodiment 92, wherein the host computing system is a server.
９６．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態９２に記載の方法。 96. The method of embodiment 92, wherein the host computing system comprises a head-mounted display system.
９７．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態９２に記載の方法。 97. The method of embodiment 92, further comprising storing one or more components in the memory.
９８．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態９２に記載の方法。 98. The method of embodiment 92, further comprising deploying one or more components.
９９．１つ以上のプロセッサによって実行されると、プロセッサに方法を実施させる、１つ以上の命令を記憶する、非一過性のコンピュータ可読媒体であって、 99. A non-transitory computer-readable medium storing one or more instructions that, when executed by one or more processors, cause the processors to perform a method,
ホストコンピューティングシステムであって、ホストコンピューティングシステムは、 A host computing system, the host computing system comprising:
ロードモジュールを介して、第１の仮想３次元モデルにアクセスするステップと、 Accessing the first virtual three-dimensional model via the load module;
ホストライブラリマネージャモジュールを介して、１つ以上の構成部分を識別するステップと、 Identifying one or more components via a host library manager module;
ホストライブラリマネージャモジュールを介して、１つ以上の構成部分をライブラリにコピーするステップと、 Copying one or more components to a library via a host library manager module;
ホスト世界モジュールを介して、第１の仮想３次元モデルを記憶するステップと、 storing the first virtual three-dimensional model via the host world module;
ホストレンダリングパスモジュールを介して、第１の仮想３次元モデルをレンダリングするステップと、 Rendering the first virtual three-dimensional model via a host rendering path module;
サーバモジュールを介して、１つ以上の構成部分にアクセスするステップと、 Accessing one or more components via a server module;
サーバモジュールを介して、１つ以上の構成部分をクライアントコンピューティングシステムに送信するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、ホストコンピューティングシステムと、
transmitting, via the server module, one or more components to a client computing system;
A host computing system comprising one or more processors configured to execute a method, comprising:
クライアントコンピューティングシステムであって、クライアントコンピューティングシステムは、頭部搭載型ディスプレイシステムを備え、クライアントコンピューティングシステムは、 A client computing system, the client computing system having a head-mounted display system, the client computing system
クライアントモジュールを介して、ホストコンピューティングシステムから１つ以上の構成部分を受信するステップと、 receiving one or more components from a host computing system via a client module;
仮想３次元モデルのコピーを生成するステップであって、仮想３次元モデルのコピーを生成するステップは、 A step of generating a copy of a virtual three-dimensional model, the step of generating a copy of the virtual three-dimensional model includes:
クライアントライブラリマネージャモジュールを介して、空のオブジェクトを作成するステップと、 Creating an empty object via the Client Library Manager module;
クライアントライブラリマネージャモジュールを介して、１つ以上の構成部分を空のオブジェクトに追加するステップとを含む、
ステップと、
adding, via a client library manager module, one or more components to the empty object;
Steps and
クライアント世界モジュールを介して、仮想３次元モデルのコピーを記憶するステップと、 Storing a copy of the virtual three-dimensional model via the client world module;
クライアントレンダリングパスモジュールを介して、仮想３次元モデルのコピーをレンダリングするステップと、 Rendering a copy of the virtual 3D model via a client rendering path module;
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、クライアントコンピュータと、
を備え、
ホストコンピューティングシステムおよびクライアントコンピューティングシステムは、通信リンクを介して通信可能に接続される、
非一過性のコンピュータ可読媒体。
A client computer comprising one or more processors configured to execute a method including:
Equipped with
the host computing system and the client computing system are communicatively connected via a communications link;
A non-transitory computer-readable medium.
１００．構成部分は、メッシュデータを備える、実施形態９９に記載の非一過性のコンピュータ可読媒体。 100. The non-transitory computer-readable medium of embodiment 99, wherein the component comprises mesh data.
１０１．構成部分は、テクスチャデータを備える、実施形態９９に記載の非一過性のコンピュータ可読媒体。 101. The non-transitory computer-readable medium of embodiment 99, wherein the component comprises texture data.
１０３．ホストコンピューティングシステムは、サーバである、実施形態９９に記載の非一過性のコンピュータ可読媒体。 103. The non-transitory computer-readable medium of embodiment 99, wherein the host computing system is a server.
１０４．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態９９に記載の非一過性のコンピュータ可読媒体。 104. The non-transitory computer-readable medium of embodiment 99, wherein the host computing system comprises a head-mounted display system.
１０５．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態９９に記載の非一過性のコンピュータ可読媒体。 105. The non-transitory computer-readable medium of embodiment 99, wherein the method further comprises storing one or more components in the memory.
１０６．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態９９に記載の非一過性のコンピュータ可読媒体。 106. The non-transitory computer-readable medium of embodiment 99, wherein the method further comprises deploying one or more components.
１０７．システムであって、 107. A system comprising:
１つ以上の構成部分を備える、３次元モデルを記憶する、非一過性のコンピュータ可読メモリと、 A non-transitory computer-readable memory that stores a three-dimensional model having one or more components;
ホストコンピューティングシステムであって、非一過性のコンピュータ可読メモリから３次元モデルにアクセスするように構成され、さらに、 A host computing system configured to access the three-dimensional model from a non-transitory computer-readable memory, and further comprising:
非一過性のコンピュータ可読メモリ内に記憶されたアレイの中に３次元モデルの１つ以上の構成部分のうちの１つを記憶するステップと、 Storing one of the one or more components of the three-dimensional model in an array stored in a non-transitory computer-readable memory;
ホストコンピューティングシステムのライブラリ内のパッケージの中にアレイをパッケージ化するステップと、
を含む、方法を実行するように構成される、１つ以上のプロセッサを備える、ホストコンピューティングシステムと、
を備える、システム。
packaging the array in a package in a library of a host computing system;
A host computing system comprising one or more processors configured to execute a method, comprising:
A system comprising:
１０８．構成部分は、メッシュデータを備える、実施形態１０７に記載のシステム。 108. The system of embodiment 107, wherein the component comprises mesh data.
１０９．構成部分は、テクスチャデータを備える、実施形態１０７に記載のシステム。 109. The system of embodiment 107, wherein the component comprises texture data.
１１０．ホストコンピューティングシステムは、サーバである、実施形態１０７に記載のシステム。 110. The system of embodiment 107, wherein the host computing system is a server.
１１１．ホストコンピューティングシステムは、頭部搭載型ディスプレイシステムを備える、実施形態１０７に記載のシステム。 111. The system of embodiment 107, wherein the host computing system comprises a head-mounted display system.
１１２．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態１０７に記載のシステム。 112. The system of embodiment 107, wherein the method further includes storing one or more components in the memory.
１１３．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態１０７に記載のシステム。 113. The system of embodiment 107, wherein the method further includes a step of deploying one or more components.
１１４．方法であって、 114. A method comprising:
非一過性のコンピュータ可読メモリを介して、１つ以上の構成部分を備える、３次元モデルを記憶するステップと、 Storing the three-dimensional model, comprising one or more components, via a non-transitory computer-readable memory;
非一過性のコンピュータ可読メモリから３次元モデルにアクセスするステップと、 Accessing the three-dimensional model from a non-transitory computer-readable memory;
非一過性のコンピュータ可読メモリ内に記憶されたアレイの中に３次元モデルの１つ以上の構成部分のうちの１つを記憶するステップと、 Storing one of the one or more components of the three-dimensional model in an array stored in a non-transitory computer-readable memory;
ホストコンピューティングシステムのライブラリ内のパッケージの中にアレイをパッケージ化するステップと、
を含む、方法。
packaging the array in a package in a library of a host computing system;
A method comprising:
１１５．構成部分は、メッシュデータを備える、実施形態１１４に記載の方法。 115. The method of embodiment 114, wherein the component comprises mesh data.
１１６．構成部分は、テクスチャデータを備える、実施形態１１４に記載の方法。 116. The method of embodiment 114, wherein the component comprises texture data.
１１７．非一過性のコンピュータ可読メモリは、サーバの一部である、実施形態１１４に記載の方法。 117. The method of embodiment 114, wherein the non-transitory computer-readable memory is part of the server.
１１８．非一過性のコンピュータ可読メモリは、頭部搭載型ディスプレイシステムの一部である、実施形態１１４に記載の方法。 118. The method of embodiment 114, wherein the non-transitory computer-readable memory is part of a head-mounted display system.
１１９．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態１１４に記載の方法。 119. The method of embodiment 114, further comprising storing one or more components in the memory.
１２０．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態１１４に記載の方法。 120. The method of embodiment 114, further comprising deploying one or more components.
１２１．非一過性のコンピュータ可読媒体であって、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、 121. A non-transitory computer-readable medium that, when executed by one or more processors, causes the one or more processors to
非一過性のコンピュータ可読メモリを介して、１つ以上の構成部分を備える、３次元モデルを記憶するステップと、 Storing the three-dimensional model, comprising one or more components, via a non-transitory computer-readable memory;
非一過性のコンピュータ可読メモリから３次元モデルにアクセスするステップと、 Accessing the three-dimensional model from a non-transitory computer-readable memory;
非一過性のコンピュータ可読メモリ内に記憶されたアレイの中に３次元モデルの１つ以上の構成部分のうちの１つを記憶するステップと、 Storing one of the one or more components of the three-dimensional model in an array stored in a non-transitory computer-readable memory;
ホストコンピューティングシステムのライブラリ内のパッケージの中にアレイをパッケージ化するステップと、
を含む、方法を実施させる、１つ以上の命令を記憶する、非一過性のコンピュータ可読媒体。
packaging the array in a package in a library of a host computing system;
23. A non-transitory computer-readable medium storing one or more instructions that cause a method to be performed, comprising:
１２２．構成部分は、メッシュデータを備える、実施形態１２１に記載の非一過性のコンピュータ可読媒体。 122. The non-transitory computer-readable medium of embodiment 121, wherein the component comprises mesh data.
１２３．構成部分は、テクスチャデータを備える、実施形態１２１に記載の非一過性のコンピュータ可読媒体。 123. The non-transitory computer-readable medium of embodiment 121, wherein the component portion comprises texture data.
１２４．非一過性のコンピュータ可読メモリは、サーバの一部である、実施形態１２１に記載の非一過性のコンピュータ可読媒体。 124. The non-transitory computer-readable medium of embodiment 121, wherein the non-transitory computer-readable memory is part of a server.
１２５．非一過性のコンピュータ可読メモリは、頭部搭載型ディスプレイシステムの一部である、実施形態１２１に記載の非一過性のコンピュータ可読媒体。 125. The non-transitory computer-readable medium of embodiment 121, wherein the non-transitory computer-readable memory is part of a head-mounted display system.
１２６．方法はさらに、メモリ内に１つ以上の構成部分を記憶するステップを含む、実施形態１２１に記載の非一過性のコンピュータ可読媒体。 126. The non-transitory computer-readable medium of embodiment 121, wherein the method further comprises storing one or more components in the memory.
１２７．方法はさらに、１つ以上の構成部分を展開するステップを含む、実施形態１２１に記載の非一過性のコンピュータ可読媒体。 127. The non-transitory computer-readable medium of embodiment 121, wherein the method further comprises deploying one or more components.
構成部分の実施例は、地理データ、材料データ、頂点テーブル、１つ以上のテクスチャ、三角形インデックス、または３Ｄモデルの完全な表現を最終的に定義するために使用される任意の他のデータであってもよい。 Examples of components may be geographic data, material data, a vertex table, one or more textures, a triangle index, or any other data that is used to ultimately define a complete representation of the 3D model.
Claims (1)
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862735675P | 2018-09-24 | 2018-09-24 | |
| US62/735,675 | 2018-09-24 | ||
| JP2021516560A JP7331088B2 (en) | 2018-09-24 | 2019-09-24 | Method and system for 3D model sharing |
| PCT/US2019/052798 WO2020068878A1 (en) | 2018-09-24 | 2019-09-24 | Methods and systems for three-dimensional model sharing |
| JP2022139736A JP2022172272A (en) | 2018-09-24 | 2022-09-02 | Method and system for three-dimensional model sharing |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022139736A Division JP2022172272A (en) | 2018-09-24 | 2022-09-02 | Method and system for three-dimensional model sharing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024054287A true JP2024054287A (en) | 2024-04-16 |
Family
ID=69884543
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021516560A Active JP7331088B2 (en) | 2018-09-24 | 2019-09-24 | Method and system for 3D model sharing |
| JP2022139736A Pending JP2022172272A (en) | 2018-09-24 | 2022-09-02 | Method and system for three-dimensional model sharing |
| JP2024018516A Pending JP2024054287A (en) | 2018-09-24 | 2024-02-09 | Method and system for sharing 3D models |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021516560A Active JP7331088B2 (en) | 2018-09-24 | 2019-09-24 | Method and system for 3D model sharing |
| JP2022139736A Pending JP2022172272A (en) | 2018-09-24 | 2022-09-02 | Method and system for three-dimensional model sharing |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11450065B2 (en) |
| EP (1) | EP3857520A4 (en) |
| JP (3) | JP7331088B2 (en) |
| CN (1) | CN113168737A (en) |
| WO (1) | WO2020068878A1 (en) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10357718B2 (en) | 2017-02-28 | 2019-07-23 | Electronic Arts Inc. | Realtime dynamic modification and optimization of gameplay parameters within a video game application |
| US10545456B2 (en) * | 2017-04-17 | 2020-01-28 | 8i Limited | Hologram location |
| US10713543B1 (en) | 2018-06-13 | 2020-07-14 | Electronic Arts Inc. | Enhanced training of machine learning systems based on automatically generated realistic gameplay information |
| JP7331088B2 (en) | 2018-09-24 | 2023-08-22 | マジック リープ， インコーポレイテッド | Method and system for 3D model sharing |
| US11159768B1 (en) | 2019-01-03 | 2021-10-26 | Facebook Technologies, Llc | User groups based on artificial reality |
| US10953334B2 (en) * | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
| US11347371B2 (en) * | 2019-11-25 | 2022-05-31 | Unity Technologies ApS | Automatic translation of user interface elements from wireframe tools to production augmented reality framework |
| US11215817B1 (en) * | 2020-12-03 | 2022-01-04 | Facebook Technologies, Llc. | Systems and methods for generating spectator images of an artificial reality environment |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| IT202100003686A1 (en) * | 2021-02-17 | 2022-08-17 | H Farm Education S R L | SHARED VIRTUAL REALITY EQUIPMENT AND RELATED METHOD |
| US11893675B1 (en) | 2021-02-18 | 2024-02-06 | Splunk Inc. | Processing updated sensor data for remote collaboration |
| US11915377B1 (en) | 2021-02-18 | 2024-02-27 | Splunk Inc. | Collaboration spaces in networked remote collaboration sessions |
| US11681539B2 (en) * | 2021-05-28 | 2023-06-20 | International Business Machines Corporation | Transforming asset operation video to augmented reality guidance model |
| KR102565481B1 (en) * | 2021-06-23 | 2023-08-09 | (주) 올림플래닛 | Method, apparatus and system for providing virtual space 3d contents packaging and streaming service based on web |
| CN114546210A (en) * | 2022-01-28 | 2022-05-27 | 联想(北京)有限公司 | Mapping method and augmented reality equipment |
| US20230274504A1 (en) * | 2022-02-28 | 2023-08-31 | Apple Inc. | System and method of three-dimensional immersive applications in multi-user communication sessions |
| KR20230171663A (en) * | 2022-06-14 | 2023-12-21 | 이루고월드 주식회사 | Apparatus for accessing to 3d virtual world through multiple device and method thereof |
| CN116643648B (en) * | 2023-04-13 | 2023-12-19 | 中国兵器装备集团自动化研究所有限公司 | Three-dimensional scene matching interaction method, device, equipment and storage medium |
| CN117557740B (en) * | 2024-01-10 | 2024-04-09 | 四川见山科技有限责任公司 | Three-dimensional model segmentation level switching method and device, electronic equipment and storage medium |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3059138B2 (en) | 1998-07-27 | 2000-07-04 | ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・アメリカ・インコーポレイテッド | 3D virtual reality environment creation, editing and distribution system |
| JP2002328951A (en) * | 2001-04-27 | 2002-11-15 | Komatsu Ltd | Data distribution device of three dimensions model and data distribution system |
| US7650260B1 (en) * | 2001-09-17 | 2010-01-19 | Impact Xoft | Method and system for designing objects using functional object representation |
| JP2003178332A (en) * | 2001-12-10 | 2003-06-27 | Komatsu Ltd | Simulation method for disassembling and assembling |
| JP2006195971A (en) | 2004-12-16 | 2006-07-27 | Canon Inc | Three-dimensional cad system |
| JP4870474B2 (en) | 2006-05-24 | 2012-02-08 | 株式会社リコー | Parts catalog display system and control method thereof |
| US8910439B2 (en) * | 2007-04-11 | 2014-12-16 | M3house, LLC | Wall panels for affordable, sustainable buildings |
| JP5403974B2 (en) | 2008-09-09 | 2014-01-29 | キヤノン株式会社 | 3D CAD system |
| EP2589023B1 (en) * | 2010-06-30 | 2021-05-19 | Barry Lynn Jenkins | System and method of from-region visibility determination and delta-pvs based content streaming using conservative linearized umbral event surfaces |
| EP2617025B1 (en) * | 2010-09-13 | 2019-05-08 | Barry Lynn Jenkins | Delivering and controlling streaming interactive media comprising renderable geometric, texture and lighting data |
| US8401687B2 (en) * | 2010-11-24 | 2013-03-19 | Sap Ag | Visual assembly tool |
| US9471938B2 (en) * | 2012-03-12 | 2016-10-18 | Xerox Corporation | Method for fulfillment of kit and apparatus associated therewith |
| US20140162781A1 (en) * | 2012-12-06 | 2014-06-12 | Sony Online Entrtainment Llc | System and method for building in groups |
| WO2014110502A1 (en) | 2013-01-11 | 2014-07-17 | The Regents Of The University Of Michigan | Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time |
| JP5894115B2 (en) | 2013-05-20 | 2016-03-23 | 株式会社図研 | Design support system, design support method and program thereof |
| KR101821284B1 (en) | 2013-08-22 | 2018-01-23 | 비스포크, 인코포레이티드 | Method and system to create custom products |
| US10310266B2 (en) | 2016-02-10 | 2019-06-04 | Advanced Micro Devices, Inc. | Method and system for streaming information in wireless virtual reality |
| US10575878B2 (en) | 2016-07-21 | 2020-03-03 | Warsaw Orthopedic, Inc. | Spinal implant system and methods of use |
| JP6944135B2 (en) * | 2016-07-29 | 2021-10-06 | ソニーグループ株式会社 | Image processing device and image processing method |
| US10379611B2 (en) | 2016-09-16 | 2019-08-13 | Intel Corporation | Virtual reality/augmented reality apparatus and method |
| US10976982B2 (en) * | 2018-02-02 | 2021-04-13 | Samsung Electronics Co., Ltd. | Guided view mode for virtual reality |
| JP7331088B2 (en) | 2018-09-24 | 2023-08-22 | マジック リープ， インコーポレイテッド | Method and system for 3D model sharing |
-
2019
- 2019-09-24 JP JP2021516560A patent/JP7331088B2/en active Active
- 2019-09-24 CN CN201980076776.2A patent/CN113168737A/en active Pending
- 2019-09-24 US US16/581,716 patent/US11450065B2/en active Active
- 2019-09-24 WO PCT/US2019/052798 patent/WO2020068878A1/en unknown
- 2019-09-24 EP EP19866679.4A patent/EP3857520A4/en active Pending
-
2022
- 2022-08-08 US US17/883,474 patent/US20220383604A1/en active Pending
- 2022-09-02 JP JP2022139736A patent/JP2022172272A/en active Pending
-
2024
- 2024-02-09 JP JP2024018516A patent/JP2024054287A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN113168737A (en) | 2021-07-23 |
| US20220383604A1 (en) | 2022-12-01 |
| EP3857520A1 (en) | 2021-08-04 |
| JP2022502749A (en) | 2022-01-11 |
| US20200098173A1 (en) | 2020-03-26 |
| US11450065B2 (en) | 2022-09-20 |
| JP2022172272A (en) | 2022-11-15 |
| EP3857520A4 (en) | 2021-12-01 |
| WO2020068878A1 (en) | 2020-04-02 |
| JP7331088B2 (en) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7331088B2 (en) | Method and system for 3D model sharing | |
| US11789524B2 (en) | Rendering location specific virtual content in any location | |
| US10789753B2 (en) | Avatar facial expression representation in multidimensional space | |
| JP7437327B2 (en) | Method and system for interpolation of heterogeneous inputs | |
| US11868515B2 (en) | Generating textured polygon strip hair from strand-based hair for a virtual character | |
| US20240005808A1 (en) | Individual viewing in a shared space | |
| JP7459050B2 (en) | Pose space dimension reduction for pose space deformation of virtual characters | |
| JP2023076633A (en) | Contextual-based rendering of virtual avatars | |
| JP2022009208A (en) | Face model capture by wearable device | |
| CN115769174A (en) | Avatar customization for optimal gaze recognition | |
| US11836840B2 (en) | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters | |
| US11669218B2 (en) | Real-time preview of connectable objects in a physically-modeled virtual space | |
| US20230260156A1 (en) | Methods and systems for interpolation of disparate inputs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240209 |