CN110275603A - 分布式人造现实***、手镯设备和头戴式显示器 - Google Patents
分布式人造现实***、手镯设备和头戴式显示器 Download PDFInfo
- Publication number
- CN110275603A CN110275603A CN201910189902.7A CN201910189902A CN110275603A CN 110275603 A CN110275603 A CN 110275603A CN 201910189902 A CN201910189902 A CN 201910189902A CN 110275603 A CN110275603 A CN 110275603A
- Authority
- CN
- China
- Prior art keywords
- user
- bracelet
- neckstrap
- hand
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 claims abstract description 151
- 230000033001 locomotion Effects 0.000 claims description 44
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 11
- 230000011664 signaling Effects 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 17
- 238000003384 imaging method Methods 0.000 description 34
- 210000001508 eye Anatomy 0.000 description 25
- 230000000007 visual effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000005611 electricity Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 235000019577 caloric intake Nutrition 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000004279 orbit Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000156948 Aphantopus hyperantus Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000010415 tropism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux
- G01R33/022—Measuring gradient
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux
- G01R33/0206—Three-component magnetometers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及分布式人造现实***、手镯设备和头戴式显示器。***包括被配置为将内容呈现给用户的眼镜设备。处理器通信地耦合至眼镜设备。手镯设备包括被配置为响应用户的手的移动确定位置信号的第一跟踪传感器。手镯设备通信地耦合至处理器。处理器部分基于位置信号确定用户的手的姿势。
Description
技术领域
本公开整体涉及人造现实***，并且具体地，涉及具有手镯设备的分布式人造现实***。
背景技术
增强现实(AR)***和环境允许用户直接或间接地观看通过产生的感官输入(被叠加在现实世界环境上)而被增强的现实世界环境。感官输入可以是诸如声音、视频、图形等任意媒体形式。通常，AR***包括将视觉和音频信息提供给用户的耳机。与用户通常沉浸在完全产生的环境中的虚拟现实(VR)***相反，因为AR***允许用户继续参与到除产生的环境之外的现实世界环境中，所以用户对于大型的AR耳机设备会具有更低的容忍度。此外，通过减少用户在他或她的环境中的体验与人造现实***自身之间的摩擦，更少的形式因素便于全天或更长时间的使用人造现实***。
然而，AR***的形式因素的减少使得提供足够的电力和运算面临挑战、并且限制添加附加特征(可以增强用户的AR体验并且便于AR***与环境的交互)的能力。进一步地，手势是用户交互并且指示其环境中的对象的重要方式，但是，这些手势未能通过耳机设备被捕获。因为其限制了视野，所以耳机设备不能响应耳机所呈现的模拟环境而看到用户的双手或捕获用户的手势。进一步地，常规的手跟踪***主要聚焦于简单地捕获手的移动，而非确定手的运动在用户环境的上下文中的含义及通过分布式***检测的其他信号。更一般地，分布式***通常不能完全集成不同的设备并且不能利用分布式AR***的能力来组合通过***中的各个设备捕获的信息。
发明内容
分布式***包括跟踪用户的手相对于用户的人造现实环境的运动的手镯设备。手镯设备是分布式人造现实***中的若干设备之一，结合了感测、处理、以及多个设备上的电力存储。分布式***中的其他设备包括眼镜设备和颈带设备。分布式人造现实***通过提供检测用户的现实世界环境中的对象及其他特征的成像设备而将用户的手在用户环境内的运动置于上下文中。可以响应用户的手的运动调整人造现实。
***包括被配置为将内容呈现给用户的眼镜设备。处理器通信地耦合至眼镜设备。手镯设备包括被配置为响应用户的手的移动而确定位置信息的第一跟踪传感器。手镯设备通信地耦合至处理器。处理器部分基于位置信号确定用户的手的姿势。
附图说明
图1是根据一个或多个实施方式的分布式人造现实***的示图。
图2是根据一个或多个实施方式的由用户佩戴的分布式人造现实***的示图。
图3是根据一个或多个实施方式的局部环境中的分布式人造现实***的成像设备的示图。
图4是根据一个或多个实施方式的分布式人造现实***中的信号通信的示图。
图5是根据一个或多个实施方式的分布式人造现实***的框图。
图仅出于示出之目的描述了本公开的实施方式。本领域技术人员应当容易认识到，在下列描述中，在不背离此处描述的本公开的原理、或探查的益处的情况下，可以采用此处示出的结构和方法的可替代实施方式。
具体实施方式
AR和/或混合现实(MR)设备允许用户直接或间接地观看通过诸如声音、视频、图形等产生的感官输入而被增强的现实世界环境。产生的感官输入可以被叠加在现实世界环境中，以允许用户同时与两者交互。为了允许用户在还感知增强环境的同时继续观看并且与他或她的现实世界环境交互，AR设备为用户完美地提供了易于长时间佩戴、而不干扰用户与环境的交互的微创界面。AR、虚拟现实(VR)、和/或MR设备设计的一个类别包括具有为用户提供诸如图形或视频等产生的视觉输入的光学元件的近眼显示器(NED)。可以将NED嵌入在镜片(位于用户鼻子的鼻梁上)形式的眼镜设备中。然而，为了适应减少形式因素的NED作为一对镜片，移去NED的运算、电池、以及附加功能并且移至单独的链接设备上。结果是一起为用户提供完美的AR体验的多个独立设备的分布式AR ***。
手势和手的运动是人们与其现实世界环境交互的重要方式。为了确定用户如何响应人造现实，分布式AR***能够捕获手的移动并且将手的移动转化成所产生的人造现实中的手势并且响应于所产生的人造现实。然而，手跟踪***通常仅集中于检测用户的手的运动并且不一定必须将这些信号与分布式AR***内的其他设备的功能组合。例如，指示性手势可以具有许多可能的含义，视用户的环境而定；如果现实世界中存在一对象，则用户指向对象具有与仅捕获用户做出指示性手势非常不同的含义。由此，相对于用户的现实世界环境确定手势对于理解用户如何与人造现实 (可能被覆盖在其顶部上)交互是重要的。
本公开提供了少量形式因素的设备，以为用户呈现视觉和音频内容并且还通过分布若干设备的功能而跟踪用户的手势。产生的分布式人造现实***允许相对于人造和现实世界环境检测用户的手势的手动跟踪，以为未必仅通过手跟踪***实现的用户手势提供上下文。由此，分布式AR***利用从多个设备采集的信号提供更好地响应用户与人造现实的交互的更为沉浸式的人造现实***。
本公开的实施方式可以包括人造现实***或可以结合人造现实***实现。人造现实是在呈现给用户之前通过某种方式进行调整的现实形式，可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合式现实、或某种组合和/或其派生物。人造现实内容可以包括完全产生的内容或与捕获(例如，现实世界)内容组合的产生内容。人造现实内容可以包括视频、音频、触觉反馈、或其某种组合、以及通过单一通道或多个通道(诸如为观看者产生三维效果的立体视频等)呈现的任意内容。此外，在一些实施方式中，人造现实还可以与例如创建人造现实中的内容所使用和/或人造现实中另行使用(例如，执行活动)的应用、产品、附件、服务、或其某种组合相关联。可以在各个平台上实现提供人造现实内容的人造现实***，包括连接至主机计算机***的头戴显示器(HMD)、独立HMD、移动设备或计算***、或能够为一个或多个观看者提供人造现实内容的任意其他硬件平台。
***概述
图1是根据一个或多个实施方式的分布式人造现实***100的示图。分布式***100包括手镯105、眼镜设备110、以及颈带115。在可替代的实施方式中，分布式***100可以包括附加部件(例如，下面详细讨论的移动设备)。
手镯
手镯105检测用户的手的移动。手镯105包括位置传感器120、相机 125、以及磁性传感器130。手镯105被示出为由具有圆边缘的带子形成的小圈。手镯105配合在用户的手腕周围，参考图2更为详细地示出了手镯 105。手镯105可以由诸如弹性体或其他聚合体材料等任意挠性材料构成。手镯105的尺寸是可以调整的，因此，带的尺寸能够配合到每个独立用户的手腕。
如示出的，手镯105包括位置传感器120。可以存在定位在手镯105 上的各个点处的任意数目的位置传感器120。一个或多个位置传感器可以定位在惯性测量单元(IMU)(未示出)的外部、IMU的内部、或其某种组合。位置传感器120可以是能够确定手镯105的位置并且响应手镯105 的移动产生信号的任意传感器。因为将手镯105佩戴在用户的手腕上，所以位置传感器120因此提供因用户的手臂的移动而产生的位置信号。在一些实施方式中，位置传感器120随着时间跟踪手镯105的位置，以使用之前的定位数据点确定后续的位置。在一些实施方式中，位置传感器120可以是测量平移运动(例如，前/后、上/下、左/右)的加速计。此外或可替代地，位置传感器120是测量旋转运动(例如，倾斜、偏转、以及滚动) 的陀螺仪。在一些实施方式中，定位在手镯105上的多个加速计与多个陀螺仪一起提供指示手镯105在六个自由度上的移动的位置信号。位置传感器120可以是MEMS设备。
一个或多个位置传感器120向IMU(未示出)提供位置信号，IMU 可以定位在手镯105、眼镜设备110、和/或颈带115上。IMU使用来自一个或多个位置传感器120的位置信号评估手镯105的位置。IMU可以评估手镯105相对于眼镜设备110、颈带115、和/或分布式人造现实***100 中的任意其他设备(诸如，图4和图5中描述的移动设备等)的相对位置。在一些实施方式中，IMU对来自一个或多个位置传感器120的测量信号进行快速采样并且从采样数据计算手镯105的评估位置。例如，IMU随着时间集成从一个或多个位置传感器120接收的测量信号，以评估速度矢量，并且IMU随着时间集成速度矢量，以确定手镯105的参考点的评估位置。通过颈带115、眼镜设备110、移动设备(未示出)、或分布式人造现实***100中的任意其他设备的运算舱170可以完成用于IMU处理来自一个或多个位置传感器120的位置信号的一些或全部运算。
根据位置传感器120确定位置的IMU、运算舱170、或任意其他处理器可以从手镯105接收一个或多个校准参数。使用一个或多个校准参数保持对手镯105的跟踪。基于所接收的校准参数，IMU可以调整一个或多个 IMU参数(例如，采样速率)。通过颈带115的运算舱170、移动设备的处理器、或分布式人造现实***100中的设备的任意其他处理器可以确定调整。在一些实施方式中，特定的校准参数致使IMU对参考点的初始位置进行更新，以使得其与参考点的下一个校准位置对应。在参考点的下一个校准位置处更新参考点的初始位置有助于减少与所确定的手镯105的评估位置相关联的累积误差。累积误差，也被称之为漂移误差，致使参考点的评估位置随着时间从参考点的实际位置“漂移”。在一些实施例中，IMU从手镯105上的一个或多个位置传感器120、以及眼镜设备110上的位置传感器(未示出)、及颈带115上的位置传感器(未示出)接收位置信息。
如图1所示，手镯105包括相机125。可以存在定位在手镯105上的一个或多个相机125。如从手镯105中看到的，一个或多个相机125捕获用户的手的手势信息。关于用户的手的手势信息包括手指运动和姿势、以及手掌运动姿势。用户的手的手势、姿势、位置、或移动可以是由用户的手做出的指示、挥动、或任意其他信号。尽管可以通过一个或多个相机125捕获视觉信息，然而，通过未物理定位在手镯105中的处理器可以从视觉信息确定用户的手的手势、姿势、或位置。处理器可以定位在颈带115、眼镜设备110、或分布式人造现实***100中的任意其他设备(诸如，参考图4和图5描述的移动设备等)上。在手的运动模型中可以使用通过一个或多个相机125捕获的视觉信息，运动模型将视觉检测的用户的手的移动与手势相关联。运动模型可以是机器学习，因此，随着时间，与通过一个或多个相机125捕获的移动信息有关的模型适于用户的手势。运动模型可以将从一个或多个相机125采集的视觉信息与来自手镯105、眼镜设备 110、和/或颈带115上的其他传感器的其他信息组合。例如，可以将来自相机125的视觉信息与通过位置传感器120和/或IMU确定的移动信息组合。在其他实施例中，可以将来自相机125的视觉信息与从定位在眼镜设备110和/或颈带115上的相机(未示出)获得的视觉信息组合。运动模型可以存储在控制器、或其他软件模块(未示出)中。例如，运行模型可以存储在诸如参考图4和图5描述的移动设备等移动设备中。处理器与控制器或软件模型通信并且使用运动模型从来自相机125、位置传感器120、磁性传感器130、或定位在手镯105上的任意其他传感器的任意信号确定姿势、手势、或手的信号。处理器定位在颈带115、眼镜设备110、或分布式人造现实***100中的任意其他设备(诸如，参考图4和图5描述的移动设备等)上。
在一些实施例中，相机可以是采集用户的手的深度图像数据的深度相机组件。定位在眼镜设备110、颈带115、和/或移动设备中的任一个上的手跟踪单元可以包括使用深度图像数据确定用户的手的手姿势的神经网络。例如，在美国专利申请号15/487361中可以找出关于确定有关用户的手的姿势、手势、或其他信息的附加细节，通过引用将其全部内容结合在此。
将描述通过相机125、一个或多个位置传感器120、以及IMU确定的用户的手的移动的信号与通过磁性传感器130产生的信号组合，磁性传感器130测量手镯105相对于背景磁场的相对位置。磁性传感器130可以定位在手镯105上的任意位置，并且可以存在分布在手镯105上的任意数目的磁性传感器130。磁性传感器130可以是磁力计、MEMS磁场传感器、或能够检测磁场的方向、强度、和/或变化的任意其他磁性传感器。
基线背景磁场存在于手镯105操作的任意环境中，无论这是地球磁场的结果，还是来自环境中存在的产生电磁辐射的其他电子设备的结果。尽管具有不同的方向和/或量级，然而，与环境中存在的来源、周围环境、背景磁场无关。磁性传感器130测量背景磁场的矢量方向。当手镯105响应用户的手臂的移动而移动时，通过磁性传感器130测量的矢量方向响应手镯105相对于背景磁场的新方位而改变。在一些实施方式中，假设背景磁场不及时地改变，并且由此所检测的磁场的改变来自手镯105的移动。在一些实施方式中，磁性传感器130是3D磁力计并且由此各个磁性传感器 130检测三个自由度上的变化。在其他实施方式中，每个磁性传感器可以被配置为响应单一方向上的变化而产生信号，因此，为了实现三个自由度，三个不同的磁性传感器130被配置为沿着三个独立轴线进行检测。
磁性传感器130一起产生给出因手镯105的移动产生的测量磁场的变化相对于静止、背景磁场的梯度的信号。从该梯度可以确定手镯105的速度(包含旋转和线性速度分量)。然而，通过诸如陀螺仪位置传感器120 等位置传感器120可以独立测量旋转速度。由此，将来自磁性传感器130 的测量与来自位置传感器120的已知旋转测量进行组合允许从测量梯度独立确定梯度的线性速度分量。由此，在无需经过集成式线性加速计和IMU 测量的漂移误差(影响位置传感器120的准确性)的情况下，可以确定该线性速度。类似地，如果使用通过加速计位置传感器120测量的已知线性速度确定未知的旋转速度，则从通过磁性传感器130测量的梯度可以确定手镯105的速度的旋转分量。
在一些实施方式中，可以将来自位置传感器120、相机125、以及磁性传感器130中的任一个的测量组合到运动模型中，以确定手势、用户的手臂的位置、和/或用户的前臂的位置。在一些实施方式中，可以在同时定位和映射(SLAM)算法中使用来自位置传感器120、相机125、以及磁性传感器130中的任一个的测量，通过定位在颈带115和/或分布式人造现实***100中的任意其他设备(诸如，图4和图5中描述的移动设备等)上的运算舱170可以完成同时定位和映射(SLAM)算法。
在一些实施方式中，手镯105包括定位在手镯105上的任意位置的无线网关或定向天线(未示出)，通过无线网关或定向天线，手镯105将信息传输至眼镜设备110、颈带115、和/或分布式人造现实***100中的任意其他设备并且从眼镜设备110、颈带115、和/或分布式人造现实***100 中的任意其他设备接收信息。手镯105、眼镜设备110、和/或颈带115之间的无线连接可以是WiFi连接、蓝牙连接、或能够传输并且接收信息的任意其他无线连接。如参考图4和图5进一步详细描述的，无线网关还可以将手镯105连接至移动设备。在其他实施方式中，通过有线连接将手镯 105连接至颈带115、眼镜设备110、或分布式人造现实***中的任意其他设备(诸如，移动设备等)。在这些实施例中，有线连接可以为手镯105 提供电力和/或将信息从手镯105传输至第二设备。例如，颈带115中的电池舱155可以通过有线连接向手镯105提供电力。连接电线的长度是可以收缩的或通过其他方式可调整的。
在一些实施方式中，手镯105包括电池舱(未示出)，通过电池舱为位置传感器120、相机125、以及磁性传感器130中的任一个提供电力。电池舱中的电源可以是再充电的。电池舱中的电源可以是锂离子电池、锂聚合体电池、一次锂电池、碱电池、或任意其他形式的电力存储器。
眼镜设备
眼镜设备110为分布式***100的用户提供内容。眼镜设备110包括两个光学***135。眼镜设备110还可以包括各种传感器，诸如，一个或多个无源传感器、一个或多个有源传感器、一个或多个音频设备、眼睛跟踪***、IMU(未示出)、或其某种组合等。如图1所示，眼镜设备110 和光学***135形成镜片的形状，且两个光学***135用作框架140内的晶片“透镜”。通过连接器145将框架140附接至颈带115，连接器145 通过连接器结150连接至颈带115。
光学***135将视觉媒体呈现给用户。光学***135中的每个可以包括显示组件。在一些实施方式中，当眼镜设备110被配置为AR眼镜设备时，显示组件还允许和/或将来自眼镜设备110周围的局部区域的光定向至眼眶(即，用户的眼睛所占据的空间的区域)。光学***135可以包括针对用户的镜片度数而定制的校正透镜。光学***135可以是双焦点校正透镜。光学***135可以是三焦点校正透镜。
使用显示组件通过利用投影仪产生图像光并且通过任意数目的波导、光栅、光扩散等将输出光传递至用户眼眶中的眼睛而将视觉媒体呈现给用户。由此，显示组件通过产生的图像光而提供内容(可以被覆盖在用户的现实世界环境的顶部上)。显示组件可以由具有一个或多个折射指数(有效地最小化眼镜设备110视觉***的重量并且拓宽眼镜设备110视觉***的视野)的一种或多种材料(例如，塑料、玻璃等)构成。在可替代的配置中，眼镜设备110包括显示组件与眼睛之间的一个或多个元件。例如，元件可以作用于校正从显示组件发射的图像光的像差、校正任意光源由于用户的视觉度数需求而产生的像差、放大图像光、对从显示组件发射的图像光执行某种其他光学调整、或其某种组合。元件可以包括孔、菲涅尔透镜、凸透镜、凹透镜、液晶透镜、液态或其他可变形的表面透镜、衍射元件、波导、过滤器、偏振器、漫射器、纤维椎体、一个或多个反射表面、偏振反射表面、双折射元件、或影响从显示组件发射的图像光的任意其他合适的光学元件。例如，在美国专利申请号15/704190中可以找出描述显示组件的实施例的附加细节，通过引用将其全部内容结合在此。
通过眼镜设备110呈现的媒体的实施例包括一个或多个图像、文本、视频、音频、或其某种组合。眼镜设备110能够被配置为在视觉域内操作成VR NED、AR NED、混合现实(MR)NED、或其某种组合。例如，在一些实施方式中，眼镜设备110可以利用计算机产生的元素(例如，图像、视频、声音等)增强物理的现实世界环境的视野。眼镜设备110可以包括扬声器或将音频传递给用户的任意其他装置，诸如，骨骼传导、软骨传导等。
可以响应通过手镯105检测的用户的手势调整通过眼镜设备110呈现的媒体。例如，手镯105可以确定用户指向眼镜设备110中所显示的视觉人造现实中的虚拟对象。作为响应，通过眼镜设备110显示的视野可以对对象进行缩小、显示关于对象的信息、将对象带至焦点上、或响应用户的手势的任意其他调整。
在其他实施方式中，眼镜设备110不将媒体或信息呈现给用户。例如，眼镜设备110可以结合诸如耦合式移动设备或膝上型电脑(未示出)等独立显示器使用。在其他实施方式中，眼镜设备110可以用于各种研究目的：训练应用、生物测量应用(例如，疲劳度或应力检测)、汽车应用、禁用的通信***、或使用眼镜跟踪或其他感测功能的任意其他应用。
眼镜设备110可以包括诸如1维(1D)成像器、2维(2D)成像器、或用于眼镜设备110的定位和稳定化的扫描仪等嵌入式传感器(未示出)、以及用于理解用户随时的意图和注意力的传感器。可以使用定位在眼镜设备110上的传感器进行SLAM算法，如参考图4和图5进一步详细描述的，通过嵌入在运算舱170内的处理器和/或定位在耦合移动设备中的处理器可以全部或部分完成SLAM算法。定位在眼镜设备110上的嵌入式传感器可以具有相关联的处理和运算能力。
在一些实施方式中，眼镜设备110进一步包括用于跟踪用户的一只眼睛或两只眼睛的位置的眼睛跟踪***(未示出)。应注意，关于眼睛的位置的信息还包括关于眼睛的方位的信息(即，关于用户的眼睛凝视的信息)。基于所确定和跟踪的眼睛的位置和方位，眼镜设备110调整从一个或两个显示组件发射的图像光。在一些实施方式中，眼镜设备110通过光学***135调整图像光的焦点并且确保图像光聚焦在所确定的眼镜凝视的角度处，以减少视觉辐辏调节冲突(VAC)。此外或可替代地，眼镜设备 110基于眼镜的位置通过对图像光执行注视点渲染而调整图像光的分辨率。此外或可替代地，眼镜设备110使用有关凝视位置和访问的信息提供关于用户注意力的上下文意识(无论是现实内容或虚拟内容)。眼镜***通常包括照明源和成像设备(相机)。在一些实施方式中，将眼镜***的部件集成到显示组件中。在可替代的实施方式中，将眼镜***的部件集成到框架140中。例如，在美国专利申请号15/644,203中可以找出关于眼睛跟踪***和眼镜设备的整合的附加细节，通过引用将其全部内容结合在此。
如参考图4和图5进一步详细描述的，通过定位在运算舱170中的处理器和/或耦合式移动设备可以完成眼睛跟踪***的运算。眼镜设备110 可以包括确定眼镜设备相对于用户的环境的位置、以及检测用户移动的 IMU传感器(未示出)。IMU传感器还可以确定眼镜设备110与颈带115 之间的相对空间关系、和/或眼镜设备110与手镯105之间的空间关系，IMU传感器可以提供关于用户的头部的位置相对于用户的身体和手的位置的信息。此处，颈带115还可以包括便于颈带115相对于眼镜设备110对准和取向的IMU传感器(未示出)。当独立于眼镜设备110操作时，颈带115 上的IMU传感器可以确定颈带115的方位。眼镜设备110还可以包括深度相机组件(DCA)(未示出)，深度相机组件(DCA)可以是飞行时间(TOF) 相机、结构化光(SL)相机、无源和/或有源立体***，并且可以包括红外(IR)光源和检测相机。DCA捕获诸如眼镜设备110等设备周围的区域的情景的各个深度区的视觉信息。在美国专利申请号15/372779中可以找出描述DCA的附加细节，通过引用将其全部内容结合在此。眼镜设备 110可以包括诸如红、绿、以及蓝(GRB)彩色相机、无源定位传感器等各种无源传感器。如由定位在手镯105上的一个或多个相机125确定的，眼镜设备110上的相机可以补充关于用户的手的视觉信息。眼镜设备110 可以包括诸如结构化光传感器、有源***等各种有源传感器。可以将有源传感器的数目最小化，以减少眼镜设备110的整体重量、功耗、以及热生成。可以将有源和无源传感器、以及相机***放置在眼镜设备110上的任意位置。
颈带
颈带115是执行从其他设备(例如，手镯105、眼镜设备110、移动设备等)被卸载的处理强度操作的可佩戴式设备。如图1所示，颈带115 通过连接结150连接至眼镜设备110。颈带115通过任意标准的无线信号连接无线地连接至手镯105。颈带115包括定位在第一臂160、第二臂165、以及运算舱170中的每个上的电池舱155。如示出的，电池舱155嵌入在第一臂160和第二臂165中。如示出的，运算舱170连接至第一臂160和第二臂165。
上述部件中的任一个可以定位在颈带115的任意其他部分中。可以存在分布在颈带115上的任意数目的电池舱155。可以存在分布在颈带115 上的任意数目的运算舱170。电池舱155和运算舱170优选定位成使得颈带115上的重量、从设备对称轴线自左至右均匀地分布。电池舱可以对称地定位在设备对称轴线上、或可以非对称地分布而平衡其他传感器或盒的重量。例如，电池舱155可以定位在第一臂160上，以平衡定位在第二臂 165上的运算舱。
颈带115由第一臂160、第二臂165、以及运算舱170构成，颈带115 形成与用户的脖颈相符合的“U”形状。如参考图2进一步详细描述的，颈带115佩戴在用户的脖颈周围，而眼镜设备110佩戴在用户的头部上(未示出)。颈带115的第一臂160和第二臂165各自可以放在用户的双肩、靠近他或她的脖颈的顶部上，因此，通过用户的脖颈根部和双肩承受第一臂160和第二臂165的重量。运算舱170可以位于用户的脖颈的颈背上。连接器145足够长，以在颈带115放在用户脖颈的周围时，允许将眼镜设备110佩戴在用户的头部上。连接器145可以调整，允许各个用户定制连接器145的长度。
电池舱155中的电源可以位于一个或多个子组件(如示出的，两个子组件)中，其中，嵌入在第一臂160中的单元和/或第二臂165中的电池舱 155为眼镜设备110提供电力。各个电池舱155容纳可以再充电的电源(例如，电池)。电池舱155中的电源可以是锂离子电池、锂聚合体电池、一次锂电池、碱电池、或任意其他形式的电力存储器。如果利用一个以上的电池子组件，第一臂160的电池舱155则可以具有与第二臂165的电池舱 155中的电池不同的电池或不同的电力能力。运算舱170可以具有其自身的电源(未示出)和/或可以通过电池舱155中的电源提供电力。将电池舱 155定位在颈带115上使得电池舱155的重量和通过电池舱155产生的热量从眼镜设备110分布至颈带(更好地扩散和分散热量)并且还利用了用户的脖颈根部和双肩的承受能力。由于定位成靠近用户的脖颈可以保护它们免于太阳和环境热源的损坏，将电池舱155、运算舱170、以及任意数目的其他传感器定位在颈带115上还可以更好地调节这些元件中的每个元件的受热。
运算舱170容纳处理器(未示出)，处理器处理通过手镯105、眼镜设备110、和/或颈带115上的任意传感器或相机***产生的信息。运算舱170 的处理器通信地耦合至眼镜设备110。运算舱170的处理器通信地耦合至手镯105。参考图3进一步详细描述手镯105、眼镜设备110、以及颈带 115之间的通信。通过参考图3描述的任意信号可以进行处理器与手镯105 和眼镜设备110中的任一个之间的通信。通过移动设备(诸如，参考图4 和图5进一步详细描述的移动设备等)也可以处理由手镯105、眼镜设备 110、以及颈带115产生的信息。移动设备(诸如，参考图4和图5进一步详细描述的移动设备等)的处理器可以通信地耦合至眼镜设备110和/ 或手镯105。运算舱170中的处理器可以处理由手镯105、眼镜设备110、以及颈带115中的每个产生的信息。连接器145在眼镜设备110与颈带115 之间、并且在眼镜设备110与运算舱170中的处理器之间传递信息。手镯 105可以经由定位在手镯105和颈带115上的无线网关将信息传递至运算舱170。参考图5进一步详细描述颈带115的无线网关。在一些实施例中，第一臂160和第二臂165各自还可以具有嵌入式处理器(未示出)。在这些实施例中，连接器145在眼镜设备110与第一臂160、第二臂165、以及运算舱170的每个中的处理器之间传递信息。在这些实施例中，可以将通过无线网关从手镯105接收的信息分布至第一臂160、第二臂165、以及运算舱170中的每个进行处理。信息可以是光学数据形式、电数据形式、或任意其他可传输的数据形式。将由手镯105和眼镜设备110产生的信息的处理移至颈带115减少了手镯105和眼镜设备110的重量和热产生，从而使得手镯105和眼镜设备110更适于用户并且奖励用户更长的时间规模。
嵌入在运算舱170中的处理器可以从定位在手镯105和眼镜设备110 上的IMU传感器运算全部的惯性和空间计算。嵌入在运算舱170中的处理器可以从定位在眼镜设备110上的有源传感器、无源传感器、及相机***、以及手镯105上的位置传感器120、相机125、及磁性传感器130运算全部计算。嵌入在运算舱170中的处理器可以从由定位在手镯105和/ 或眼镜设备110上的任意传感器提供的信息执行全部运算。嵌入在运算舱 170中的处理器可以结合定位在耦合式外部设备(诸如，参考图4和图5 进一步详细描述的移动设备等)上的处理器从由定位在手镯105和/或眼镜设备110上的任意传感器提供的信息执行全部运算。
颈带115可以包括多功能舱(未示出)。多功能舱可以是其中由用户***并且移除附加特征单元的定制舱。在购买颈带115时，用户可以选择并且定制附加特征。多功能舱中包括的单元的实施例如下：成像设备、记忆单元、处理单元、扩音器阵列、投影仪、相机等。参考图5对此进行进一步详细描述。
如图1所示，运算舱170和电池舱155可以是颈带115的片段。然而，运算舱170和电池舱155也可以是颈带115的任意子结构(诸如，嵌入在颈带115中的舱、耦合至嵌入在颈带115中的传感器的舱等)和/或可以定位在颈带115上的任意位置。
在一些实施例中，连接器145将信息从眼镜设备110传递至颈带115。定位在眼镜设备110上的传感器可以向嵌入在运算舱170中的处理器提供通过运算舱170中的处理器处理的感测数据。运算舱170可以将其运算的结果传递至眼镜设备110。例如，如果运算舱170中的处理器的结果是显示给用户的渲染结果，运算舱则通过连接器145发送信息，以在光学*** 135上进行显示。在一些实施例中，可以存在多个连接器145。例如，一个连接器145可以传递电力，而另一连接器145可以传递信息。
在一些实施例中，连接器145在连接器结(未示出)处通过与框架140 的磁感应向眼镜设备110提供电力。在该实施例中，连接器145可以利用保持磁体耦合至框架140。在其他实施例中，连接器145通过任意常规的电力耦合技术将电力从颈带115提供至眼镜设备110。连接器145是挠性的，以允许眼镜设备110相对于颈带115独立地移动。因为用户的头部与脖颈之间的距离可以改变，所以连接器145是可以收缩的或通过其他方式可调整，以为各个用户提供近眼显示器与颈带115之间的校正长度。
在一些实施例中，眼镜设备110与颈带115无线地耦合。在这些实施例中，嵌入在运算舱170中的处理器通过无线信号连接从眼镜设备110及定位在眼镜设备110上的传感器和相机组件接收信息、并且可以通过无线信号连接将信息传输回至眼镜设备110。眼镜设备110与颈带115之间的无线连接可以通过定位在第一臂160和/或第二臂165中和/或眼镜设备110 上的无线网关(未示出)或定向天线。眼镜设备110与颈带115之间的无线连接可以是WiFi连接、蓝牙连接、或能够传输和接收信息的任意其他无线连接。如参考图4和图5进一步详细描述的，无线网关还可以将眼镜设备102和/或颈带115连接至移动设备。
在眼镜设备110与颈带115无线地耦合的一些实施例中，连接器145 仅可以在颈带115与眼镜设备110之间传输电力。由此，将在眼镜设备110 与颈带115之间无线地传输信息。在这些实施例中，连接器145可以薄化。在眼镜设备110与颈带115无线地耦合的一些实施例中，可以经由无线电力感应在眼镜设备110与颈带115之间传输电力。此外或可替代地，可以经由无线电力感应在颈带115与手镯105之间传输电力。在一些实施例中，可以存在定位在眼镜设备110中的独立电池或电源。在眼镜设备110与颈带115无线地耦合的一些实施例中，连接器145的添加是可选的。
分布式***中的设备之间的交互
通过眼镜设备110上的光学***135或颈带115产生的人造现实的视觉分量可以响应通过手镯105测量的用户的手的移动而改变。此外或可替代地，可以响应通过手镯105测量的用户的手的移动而调整通过眼镜设备 110或颈带115产生的人造现实的音频分量。可以响应通过手镯105测量的用户手势或手的移动而改变通过眼镜设备110和/或颈带115产生的人造现实的任意其他分量。例如，手镯105可以确定用户指向光学***135中所显示的虚拟对象，并且作为响应，光学***135可以对对象进行缩小。
手镯105、眼镜设备110、以及颈带115架构由此允许用户在仍维持提供完整人造现实体验所必须的处理和电池电力的同时通过少量形式因素的设备体验人造现实。进一步地，手镯105允许分布式人造现实***100 响应通过眼镜设备110和颈带115显示和产生的人造现实确定用户的手的运动。因为通过颈带115可以完成处理，所以能够减少手镯105的形式因素。如通过定位在眼镜设备110和/或颈带115上的传感器确定的，通过将用户的手势与关于用户的现实世界环境的信息进行组合能够将通过手镯 105检测的移动进一步置于上下文中。参考图3对此做进一步详细的描述。
分布式人造现实***与用户
图2是根据一个或多个实施方式的用户佩戴的分布式人造现实***的示图。用户200将手镯105佩戴至靠近他或她的手205。手镯105与用户 200的手腕的形状相符合。如同一对镜片，用户200将眼镜设备102佩戴在他或她的头部上。颈带115被示出在用户脖颈210的周围，因此，运算舱130位于用户脖颈210的颈背上并且第二臂165位于用户脖颈210的侧部上。由此，将颈带115的重量分布在用户的双肩上，并且颈带115与用户脖颈210的形状相符合。
手镯105与用户的手腕相符合，因此，用户的手205和/或手臂(未示出)的移动不会导致手镯105上的传感器相对于手205移位。可以确保相机125使得用户的手205在相机125的视线内。磁性传感器(未示出)结合位置传感器120和相机125可以统一测量用户的手205的移动并且将测量传递至颈带115的运算舱170。因为用户可以容忍其双肩上的沉重负荷，所以可以将可能通过其他方式定位在手镯105和/或眼镜设备110上的部件的重量移位至颈带115，从而便于用户的手205的自由移动。
局部环境的上下文中的手跟踪
图3是根据一个或多个实施方式的局部环境305中的分布式人造现实***的成像设备310的示图。成像设备310可以是采集关于用户的局部环境305的信息的DCA。成像设备310可以定位在眼镜设备110和/或颈带115上。成像设备310包括一个或多个来源和一个或多个光传感器(例如，相机、录影仪)。光源照射局部环境，以允许成像设备310检测局部环境中的对象(例如，对象320和325、用户的双手等)的存在性。手镯105 跟踪用户的手并且确定相对于局部环境305与所检测对象320和325的手势330。如此处提及的，还可以将手势330称之为用户的手的姿势、用户的手的位置、或手的移动。
成像设备310将波形315发射至局部环境305中。波形315的波长可以在可见频段(～380nm至750nm)、红外(IR)频段(～750nm至1500nm)、紫外线频段(10nm至380nm)、电磁光谱的另一部分、或其某种组合内。光传感器对作为波形315发射的同一范围的波长敏感。光传感器还对具有可见波长的光以及作为波形315发射的光敏感。例如，光传感器可以是红色、绿色、蓝色、IR(RGBI)相机。在一些实施方式中，除互补金属氧化物半导体(CMOS)成像器、其他光敏设备、或其某种组合之外，光传感器可以是相机。
成像设备310的光传感器检测局部环境305中的对象(例如，对象320 和325、用户的双手等)的存在性。例如，被发射至局部环境305中的波形315反射对象320和325。除反射波形315之外，对象320和325反射由成像设备310的光传感器采集的入射周围环境光。通过光传感器采集反射的周围环境和波形315的光并且将反射光与发射波形315进行比较，以确定对象320和325的特性，诸如，对象320和325到成像设备310的距离、对象320和325的形状、对象320和325的表面纹理化等。在一些实施例中，波形315是结构化光(SL)，结构化光(SL)可以是诸如对称或类似光斑图案、栅格、水平条等任意SL图案。成像设备310将发射的SL 与反射光的结构进行比较，以检测对象320和325的特性。在一些实施方式中，成像设备310可以使用飞行时间(ToF)深度确定技术，其中，例如，从发射的波形315与所检测的对象320和325的波形315的一部分的反射之间的时间延迟确定对象320和325的特性。在一些实施方式中，成像设备310可以使用立体成像技术，其中，通过立体图像确定对象320和 325的特性。此外，在一些实施方式中，可以将一种或多种深度确定技术进行组合来确定局部环境305中的对象(例如，对象320、对象325、用户的双手等)的深度信息。成像设备310可以使用任意其他深度感测来确定对象320和325的特性和/或用户的手。在一些实施方式中，成像设备 310对局部环境305中的波形315进行初始扫描，以检测对象320和325，并且然后，选择性地发射在所述检测的对象320和325周围被局部化的第二集合的波形315。
成像设备310传递所采集的关于对象320和325的信息并且将信息传递至分布式人造现实***的处理器，诸如，颈带115的运算舱710中的处理器、移动设备(诸如，图4和图5中所示的移动设备405或534等)的处理器等、或分布式人造现实***中的任意其他设备中的任意其他处理器等。处理器还接收来自相机125的多个视觉信号、来自位置传感器120的位置信号、来自磁性传感器130的方位信号、或一起指示手势330的来自手镯105的任意其他信号。处理器从手镯105接收的任意信号中确定手势 330。由此，通过任意有线或无线信号可以将成像设备310通信地耦合至分布式人造现实***中的处理器。
如通过成像设备310对手势330的确定，处理器将关于定位在局部环境305中的对象的信息进行组合。处理器通过从定位在手镯105上的传感器被传递至处理器的传感器信息中确定手势330。在一些实例中，关于定位在局部环境305中的对象的信息还可以包括关于一个或多个用户的双手的深度信息。处理器可以确定手势330是否是指局部环境305中所检测的任意对象。例如，处理器可以确定手势330是否指示用户与对象的交互，诸如，手势330是否指向局部环境305中的对象等。由此，处理器在由成像设备310确定的局部环境305的上下文中解释处理器从传感器信息(通过定位在手镯105上的任意数目的传感器提供的)所确定的用户的手势 330。在一些实施例中，处理器使用关于定位在局部环境305中的对象的信息确定手势330。处理器可以将从手镯105接收的信号与关于从成像设备310接收的对象的信息进行组合而确定手势330。例如，如果手镯105 上的传感器指示手镯105与由成像设备310检测的对象对准，处理器则可以使用该信息确定用户指向对象并且由此确定手势330是指向性手势。
响应将手势330与所检测的对象相关联，处理器可以调整通过手镯 105、眼镜设备110、和/或颈带115中的任一个提供给用户的人造现实。例如，如果处理器确定手势330指向对象320，其可以指示眼镜设备110 向用户显示关于对象320的信息。例如，如果对象320是手势330所指向的书籍，则眼镜设备110可以向用户显示关于书籍的最近评述、同一作者的书籍、书籍的预览等。
由此，通过组合成像设备310与手镯105的检测，分布式人造现实***能够将手势330置于上下文中并且响应手势330对人造现实环境中的用户提供反馈。
分布式***中的信号路径
图4是根据一个或多个实施方式的信号路径400的示图。在信号路径 400中，信号源410向移动设备405发送第一信号415。移动设备向颈带 115发送第二信号420。移动设备还向手镯105发送第三信号425。手镯 105向颈带115发送第四信号430。该信号路径可以反向，因此，颈带115 向手镯105发送第四信号430和/或手镯105向移动设备405发送第三信号425。连接器145将第五信号435通信至眼镜设备110。该信号路径可以反向，因此，眼镜设备110通过连接器145向颈带115发送第五信号435，颈带115向移动设备405发送第二信号420，并且移动设备向信号源410 发送第一信号415。可以按照任意顺序分别传输和接收第一信号415、第二信号420、第三信号425、第四信号430、以及第五信号435。仅出于示出之目的，在图4中将其描述为“第一”、“第二”、“第三”、“第四”、以及“第五”。
信号源410是无线信号源，能够经由信号源410的蜂窝网络将移动设备405链接至互联网。在一些实施例中，信号源410是蜂窝网络。信号源可以来自使用有线和/或无线通信***的局域网和/或广域网的任意组合。信号源410可以使用标准的通信技术和/或协议发送第一信号415。可以使用诸如以太网802.11(微波存取全球互通)、3G、4G、5G、码分多址(CDMA)、数字用户线路(DSL)等技术发送信号415。在一些实施例中，移动设备可以是诸如个人数字助理(PDA)、智能手机、膝上型电脑、平板电脑、或另一合适的设备等具有计算机功能的任意设备。移动设备405 被配置为与信号源410、手镯105、以及颈带115通信。在一些实施方式中，颈带115和/或手镯105与信号源410直接通信，因此，将从信号源 410发送的第一信号415直接发送至颈带115和/或手镯105。
移动设备405将第二信号420通信至颈带115并且将第三信号425发送至手镯105。第二信号420和第三信号425可以是有线或无线信号。移动设备405可以具有控制由手镯105、颈带115、和/或眼镜设备110产生的人造现实环境时所使用的应用。应用可以在诸如IOS操作***、 ANDROID操作***等任意移动设备操作***上运行。移动设备605上的应用可以控制手镯105、颈带115、以及眼镜设备110上的其他特征(诸如，打开或关闭语音命令特征、调整音量、亮度等)。移动设备405上的应用可以允许手镯105、颈带115、以及眼镜设备110的个性化设置。
移动设备405可以用作定位在颈带115的运算舱中的处理器的附加处理器。移动设备405的处理器通过第二信号420或第三信号425通信地耦合至颈带115和手镯105中的每个。在一些实施例中，眼镜设备110可以通过第五信号435和第二信号420通信地耦合至移动设备405的处理器。在其他实施例中，眼镜设备110通过眼镜设备110与移动设备405之间的直达信号(未示出)(经由无线信号)通信地耦合至移动设备405的处理器。眼镜设备110与移动设备405之间的无线信号可以是蓝牙信号、Wi-Fi 信号、或任意其他合适的无线信号。移动设备可以处理来自手镯105、眼镜设备110、和/或颈带115的信息。移动设备405可以与颈带115具有有线或无线通信，取决于处理信息的接收或传输是否存在延迟问题。在一些实施例中，移动设备405可以用作定位在颈带115上的电池舱的备用电池。在一些实施例中，颈带115从移动设备405接收关于眼镜设备102上的传感器的信息。
第二信号420、第三信号425、第四信号430、以及第五信号435分别可以是诸如蓝牙信号、Wi-Fi信号、或任意其他合适的无线信号等无线信号。在一些实施例中，第二信号420、第三信号425、第四信号430、以及第五信号435分别可以是通过电线传递的电、磁、或光学信号、或者任意其他非无线信号。由此，第二信号620可以是从颈带115传递至移动设备 405的信息、或从移动设备405传递至颈带115的信息。通过移动设备405 可以处理该信息。
由此，移动设备405至少通过第二信号420耦合至颈带115。颈带115 上的投影仪可以将图像、视频、或任意视觉内容投射在移动设备405的屏幕上。由此，移动设备405可以用作附加的人造现实设备，从颈带115能够将人造现实环境投射到附加的人造现实设备上。移动设备405仅可以操作手镯105和/或颈带115，因此，用户的人造现实体验中不包括眼镜设备 102并且通过颈带115和移动设备405、或手镯105和移动设备405产生全部的人造现实环境。
在一些实施例中，移动设备405上的相机可以具有3D用户捕获特征，以允许3维地渲染并且跟踪用户的身体。移动设备上的相机可以提供用户面部的3D深度图。成像设备310可以定位在移动设备405上。在一些实施例中，移动设备405包括增强关于由成像设备310确定的局部环境305 的信息的独立成像设备。例如，移动设备405可以具有包括深度相机组件的无源相机或有源相机(能够扫描房间或通过其他方式映射用户的环境)。相机组件可以是TOF***、SL***、单一或立体视觉(无源和/或有源)、或能够产生深度图的任意其他***。相机组件可以提供用户的环境的完整3D描述(诸如，其中用户站立的房间或用户周围的其他物理结构等)。移动设备405上的相机可以向手镯105、颈带115、和/或眼镜设备102提供3D信息。
移动设备405还可以具有音频和/或视觉流特征，以允许用户预见可以补充由手镯105、颈带115、和/或眼镜设备102产生的人造现实环境的音频/视觉信息。移动设备405可以包括触觉特征，其中，将用户与移动设备 405的物理交互翻译成对手镯105、颈带115、和/或眼镜设备102的命令。
由此，移动设备405可以补充由手镯105、眼镜设备102、和/或颈带 115提供的人造现实环境。
除通过移动设备405通信之外，手镯105可以通过第四信号430与颈带115直接通信。第四信号430可以是诸如蓝牙信号、Wi-Fi信号、或任意其他合适的无线信号等无线信号。在一些实施例中，第四信号430可以是通过电线传递的电、磁、或光学信号、或者任意其他非无线信号。由此，第四信号430可以是从颈带115被传递至手镯105的信息、或从手镯105传递至颈带115的信息。通过颈带115可以处理该信息。例如，手镯105 可以通过第四信号430将手势330通信至颈带115。
分布式人造现实***
图5是根据一个或多个实施方式的分布式人造现实***500的框图。分布式人造现实***500包括手镯536、NED 502、颈带514、以及移动设备534。手镯536连接至NED 502、颈带514、以及移动设备534。手镯536可以是图1至图4中描述的手镯105。颈带514连接至手镯536、 NED 502、以及移动设备534。颈带514可以是图1和图2及图4中描述的颈带115。NED502可以是图1和图2及图4所示的眼镜设备110。移动设备534可以是图4所示的移动设备405。在***500的可替代配置中，可以包括不同和/或附加的部件。***500可以在VR***环境、AR***环境、MR***环境、或其某种组合中操作。
如参考图1描述的，NED 502包括光学***135。NED 502还可以包括眼睛***504、一个或多个无源传感器506、一个或多个有源传感器 508、一个或多个位置传感器510、以及惯性测量单元(IMU)512。眼睛***504可以是NED 502的可选特征。
眼睛***504跟踪用户的眼睛移动。眼睛***504至少可以包括二向色镜(用于将来自眼镜区域的光朝向第一位置反射)和位于反射光的位置处、用于捕获图像的相机。基于所检测的眼睛移动，眼睛***504 可以与手镯536、颈带514、CPU 520、和/或移动设备534通信，以进行进一步处理。对于各种显示和交互应用，可以使用通过眼睛***504采集并且通过颈带514和/或移动设备534的CPU 520处理的眼睛跟踪信息。各种应用包括但不限于，提供用户界面(例如，基于凝视的选择)、注意力评估(例如，出于用户安全)、凝视伴随的显示模式(例如，注视点渲染、变焦光学、自适应光学失真校正、场渲染的合成深度)、深度和视差校正的度量尺度等。在一些实施方式中，移动设备534中的处理器还可以为眼睛***504提供运算。
无源传感器506可以是相机。无源传感器还可以是***，即，相对于彼此并且相对于NED 502上的具体参考点定位在NED 502上的具***置中的对象。***可以是三直角锥反射器、反射标记、与NED 502操作的环境完全不同的类型的光源、或其某种组合。在***是有源传感器 508(即，LED或其他类型的发光设备)的实施方式中，***可以发射可见频段(～370nm至750nm)、红外(IR)频段(～750nm至1700nm)、紫外线频段(300nm至380nm)、电磁光谱的某一其他部分、或其某种组合内的光。
基于来自一个或多个位置传感器510的一个或多个测量信号，IMU 512产生指示相对于NED 502的初始位置的NED 502的评估位置的IMU 跟踪数据。例如，位置传感器510包括测量平移运动(前/后、上/下、左/ 右)的多个加速计和测量旋转运动(例如，倾斜、偏转、以及滚动)的多个陀螺仪。在一些实施方式中，IMU 512对测量信号进行快速地采样并且从采样数据计算NED 502的评估位置。例如，IMU 512随着时间集成从加速计接收的测量信号，以评估速度矢量，并且随着时间集成速度矢量，以确定NED 502的参考点的评估位置。可替代地，IMU 512向颈带514和/ 或移动设备534提供采样的测量信号，以处理评估NED 502的速度矢量和评估位置时所需的运算。
IMU 512可以从手镯536、颈带514、和/或移动设备534接收一个或多个校准参数。使用一个或多个校准参数保持对NED 502的跟踪。基于所接收的校准参数，IMU 512可以调整一个或多个IMU参数(例如，采样速率)。通过颈带514的CPU 520或移动设备534的处理器可以确定调整。在一些实施方式中，特定的校准参数致使IMU 512更新参考点的初始位置，以使得其与参考点的下一校准位置对应。在参考点的下一校准位置处更新参考点的初始位置有助于降低与所确定的NED 502的评估位置相关联的累积误差。累积误差，也被称之为漂移误差，致使参考点的评估位置随着时间从参考点的实际位置“漂移”。在一些实施例中，IMU 512定位在颈带514中或IMU存在于颈带514和NED 502中。在一些实施例中， IMU 512从NED 502上的位置传感器510、手镯536上的位置传感器538、以及颈带上的位置传感器510接收位置信息(未示出)。
如图5所示，颈带514包括成像设备310、电源518、CPU 520、投影仪526、用户重要器官监测器528、无线网关530、成像设备310、以及激励器532。音频单元516、投影仪526、用户重要器官监测器528、成像设备310、以及激励器532是颈带514生物可选部件。在一些实施方式中，颈带514包括与各种功能单元对接的一个或多个多功能舱。功能单元能够包括例如附加电源、附加处理单元(例如，CPU)、投影仪526、用户重要器官监测器528、无线网关530、以及激励器532。
可选地，成像设备310定位在颈带514上。在***500的其他实施方式中，成像设备310可以定位在移动设备534或NED 502上。参考图3 进一步详细描述成像设备310。
电源518向光学***135、眼睛***504、无源传感器506、有源传感器508、位置传感器510、以及IMU 512提供电力。光源518可以是如图1所示的电池舱155。电源518可以是通过移动设备534进行再充电的再充电电池。响应激励器532的输入和/或通过移动设备534接收的命令，可以打开或关闭电源518。
CPU 520可以是任意标准的处理器并且可以是嵌入在如图1所示的运算舱170中的处理器。CPU 520可以为手镯536和NED 502提供全部运算处理，包括与位置传感器538、IMU540、相机542、磁性传感器544、眼睛***504、无源传感器506、有源传感器508、IMU 512相关联的运算。 CPU 520可以与移动设备534的处理器并行完成计算。移动设备534中的处理器可以向CPU 520提供计算结果。
投影仪526可以定位在颈带514上，以将视觉信息投射给用户。投影仪526可以将视觉信息投射到用户视野的表面上、或与屏幕耦合的设备(诸如，移动设备534等)上。
用户重要器官(vital)监测器528监测生命征象及其他用户健康指标。生命征象可以是心率、脉搏、评估的卡路里消耗、用户行走的步伐数、用户的温度、呼吸率、血压等。用户重要器官监测器528可以定位成紧靠近颈带514上的用户脖颈，因此，生命征象是准确的。例如，如果抵靠用户的脖颈稳定地按压重要器官监测器，脉搏检测则更为准确。用户重要器官监测器528可以与电源518和CPU 520热隔离，以确保温度评估是用户的温度的结果并且不受由电源518和CPU 520产生的热的影响。用户重要器官监测器可以与位置传感器510和IMU512通信，以检测用户的步伐和用户的移动，从而评估所行走的步伐数和/或卡路里消耗。
无线网关530提供与移动设备534、手镯536、和/或NED 502的信号通信。如图4所示，无线网关530可以将第二信号420从移动设备405传递至颈带115。如图4所示，无线网关530可以传递第三信号425。无线网关530可以是诸如蓝牙网关、Wi-Fi网关等任意标准的无线信号网关。
激励器532控制手镯536、颈带514、NED 502、和/或移动设备534 上的功能。激励器532可以为手镯536、NED 502、和/或颈带514中的任意单元接通或断开电源。
手镯536包括位置传感器538、IMU 540、相机542、以及磁性传感器 544。手镯536可以包括任意附加的无源或有源传感器。位置传感器538 响应手镯536的移动而产生信号。在一些实施例中，位置传感器538指示手镯536与NED 502、颈带514、和/或移动设备534中的任一个之间的相对位置。位置传感器538可以是位置传感器120并且参考图1做了进一步详细的描述。IMU 540使用由位置传感器538产生的信号确定手镯536的位置。还参考图1描述了IMU 540。相机542采集关于用户的手的视觉信息，以确定诸如手势330等用户的手势。相机542可以是相机125并且参考图1做了进一步详细的描述。磁性传感器544产生指示背景磁场的方向的信号。手镯536的移动产生磁性传感器544相对于磁场的相对位置的变化(用于确定手镯105的移动)。磁性传感器544可以是磁性传感器130 并且参考图1做了进一步详细的描述。
分布式人造现实***500对用户产生人造现实环境、或其任意组合。分布式人造现实***500能够分布手镯536、NED 502、颈带514、以及移动设备534上的处理、电力、以及热产生功能。这允许将手镯536、NED 502、以及颈带514中的每个调整至用户舒适的所需重量和温度、以及提供用户与手镯536、NED 502、颈带514、和/或移动设备534中的任一个交互的可变虚拟环境界面和功能。
附加配置信息
已经出于示出之目的展开了本公开的实施方式的上述描述；然而，其并不旨在穷尽本公开或将本公开局限于所公开的精确形式。相关领域技术人员应当认识到，根据上述公开，许多改造和变形是可能的。
本描述的一些部分在信息的操作的算法和符号表示法方面描述了本公开的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示法将其工作的实质有效地传递给本领域的技术人员。通过功能、运算、或逻辑描述的这些操作被理解为通过计算机程序或等效电路、微代码等实现。进一步地，有时还证明了便于将这些操作的布置称为模块、而不损失一般性。可以将所描述的操作及其相关联的模块嵌入到软件、固件、硬件、或其任意组合中。
单独或结合其他设备利用一个或多个硬件或软件模块可以执行或实现此处描述的任意步骤、操作、或过程。在一个实施方式中，利用包括含计算机程序代码的计算机可读介质的计算机程序产品实现软件模块，通过计算机处理器可以运行计算机程序代码，以执行所描述的任意或全部步骤、操作、或过程。
本公开的是事发还涉及用于执行此处的操作的装置。可以出于需求目的而专门构造该装置，和/或该装置可以包括通过存储在计算机中的计算机程序而被选择性地激活或重新配置的通用计算设备。可以将该计算机程序存储在非易失性、有形的计算机可读存储介质、或适于存储电子指令的任意类型的媒介(可以耦合至计算机***总线)中。进一步地，本说明书中所提及的任意计算***可以包括单一处理器或可以是采用增强计算能力的多个处理器设计的架构。
本公开中的实施方式还可以涉及通过此处描述的计算过程而生产的产品。该产品口可以包括从计算过程产生的信息，其中，将信息存储在非易失性、有形的计算机可读存储介质中并且信息可以包括计算机程序产品或此处描述的其他数据组合的任意实施方式。
最后，原则上出于易读和指令性目的选择了本说明书中使用的语言，并且其不可以被选择为界定或限制发明主题。因此，其旨在使得本公开的范围不受该细节描述的限制、而是受基于此发起申请的任意权利要求书的限制。相应地，实施方式的公开旨在为示出、而非限制下列权利要求书中阐述的本公开的范围。
Claims (20)
1.一种分布式人造现实***，包括：
眼镜设备，被配置为将内容呈现给用户；
处理器，通信地耦合至所述眼镜设备；
手镯设备，包括第一跟踪传感器，所述第一跟踪传感器被配置为响应所述用户的手的移动确定位置信号，所述手镯设备通信地耦合至所述处理器；并且
其中，所述处理器部分基于所述位置信号确定所述用户的手的姿势。
2.根据权利要求1所述的分布式人造现实***，进一步包括磁力计，所述磁力计被配置为测量所述手镯设备的位置相对于磁场的梯度，并且其中：
所述第一跟踪传感器是加速计；
所述位置信号是线性速度；并且
所述用户的手的旋转速度是根据所述梯度和所述线性速度确定的。
3.根据权利要求1所述的分布式人造现实***，进一步包括磁力计，所述磁力计被配置为测量所述手镯设备的位置相对于磁场的梯度，并且其中：
所述第一跟踪传感器是陀螺仪；
所述位置信号是旋转速度；并且
所述用户的手的线性速度是根据所述梯度和所述旋转速度确定的。
4.根据权利要求1所述的分布式人造现实***，其中，所述眼镜设备被进一步配置为响应所述用户的手的姿势而改变呈现给所述用户的所述内容。
5.根据权利要求1所述的分布式人造现实***，其中，所述处理器使用运动模型将所述位置信号与所述用户的手的姿势相关联，并且其中，所述眼镜设备响应所述用户的手的姿势改变呈现给所述用户的所述内容。
6.根据权利要求1所述的分布式人造现实***，进一步包括：
深度相机组件，通信地耦合至所述处理器，并且被配置为将波形发射至所述用户的环境中并且从所述环境中的至少一个对象反射的波形捕获多个光学信号，并且其中，所述处理器将所述多个光学信号与所述用户的手的姿势相关联。
7.根据权利要求6所述的分布式人造现实***，进一步包括通信地耦合至所述手镯设备的颈带，并且其中，照明设备定位在所述颈带中。
8.一种手镯设备，包括：
第一跟踪传感器，被配置为响应用户的手的移动确定位置信号，所述手镯设备通信地耦合至处理器和眼镜设备、并且被配置为与所述用户的手腕相符合；
其中，所述处理器部分基于所述位置信号确定所述用户的手的姿势；并且
其中，所述眼镜设备被配置为响应所述用户的手的姿势改变呈现给用户的内容。
9.根据权利要求8所述的手镯设备，进一步包括磁力计，所述磁力计被配置为测量所述手镯设备的位置相对于磁场的梯度，并且其中：
所述第一跟踪传感器是加速计；
所述位置信号是线性速度；并且
所述用户的手的旋转速度是根据所述梯度和所述线性速度确定的。
10.根据权利要求8所述的手镯设备，进一步包括磁力计，所述磁力计被配置为测量所述手镯设备的位置相对于磁场的梯度，并且其中：
所述第一跟踪传感器是陀螺仪；
所述位置信号是旋转速度；并且
所述用户的手的线性速度是根据所述梯度和所述旋转速度确定的。
11.根据权利要求8所述的手镯设备，进一步包括：
深度相机组件，通信地耦合至所述处理器，并且被配置为将波形发射至所述用户的环境中并且从所述环境中的至少一个对象反射的波形捕获多个光学信号，并且其中，所述处理器将所述多个光学信号与所述用户的手的姿势相关联。
12.根据权利要求11所述的手镯设备，进一步包括通信地耦合至所述手镯设备的颈带，并且其中，照明设备定位在所述颈带中。
13.根据权利要求11所述的手镯设备，其中，所述波形是结构化光。
14.根据权利要求8所述的手镯设备，进一步包括通信地耦合至所述手镯设备的颈带，并且其中，所述处理器定位在所述颈带中。
15.一种头戴式显示器，包括：
眼镜设备，被配置为将内容呈现给用户；
处理器，通信地耦合至所述眼镜设备；
手镯设备，包括第一跟踪传感器，所述第一跟踪传感器被配置为响应所述用户的手的移动确定位置信号，所述手镯设备通信地耦合至所述处理器；并且
其中，所述处理器部分基于所述位置信号确定所述用户的手的姿势。
16.根据权利要求15所述的头戴式显示器，进一步包括磁力计，所述磁力计被配置为测量所述手镯设备的位置相对于磁场的梯度，并且其中：
所述第一跟踪传感器是加速计；
所述位置信号是线性速度；并且
所述用户的手的旋转速度是根据所述梯度和所述线性速度确定的。
17.根据权利要求15所述的头戴式显示器，进一步包括磁力计，所述磁力计被配置为测量所述手镯设备的位置相对于磁场的梯度，并且其中：
所述第一跟踪传感器是陀螺仪；
所述位置信号是旋转速度；并且
所述用户的手的线性速度是根据所述梯度和所述旋转速度确定的。
18.根据权利要求15所述的头戴式显示器，其中，所述眼镜设备被进一步配置为响应所述用户的手的姿势改变呈现给所述用户的所述内容。
19.根据权利要求15所述的头戴式显示器，进一步包括：
深度相机组件，通信地耦合至所述处理器，并且被配置为将波形发射至所述用户的环境中并且从所述环境中的至少一个对象反射的波形捕获多个光学信号，并且其中，所述处理器将所述多个光学信号与所述用户的手的姿势相关联。
20.根据权利要求15所述的头戴式显示器，进一步包括通信地耦合至所述手镯设备的颈带，并且其中，深度相机组件定位在所述颈带中。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/919,869 US10528133B2 (en) | 2018-03-13 | 2018-03-13 | Bracelet in a distributed artificial reality system |
| US15/919,869 | 2018-03-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110275603A true CN110275603A (zh) | 2019-09-24 |
| CN110275603B CN110275603B (zh) | 2023-05-05 |
Family
ID=67904441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910189902.7A Active CN110275603B (zh) | 2018-03-13 | 2019-03-13 | 分布式人造现实***、手镯设备和头戴式显示器 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10528133B2 (zh) |
| CN (1) | CN110275603B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113029190A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 运动跟踪***和方法 |
| WO2022002133A1 (zh) * | 2020-07-01 | 2022-01-06 | 青岛小鸟看看科技有限公司 | 手势追踪方法及装置 |
| CN114661152A (zh) * | 2022-03-16 | 2022-06-24 | 北京伊园未来科技有限公司 | 一种降低视觉疲劳的ar显示控制***及方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10824235B2 (en) | 2018-01-08 | 2020-11-03 | Facebook Technologies, Llc | Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures |
| US10877558B1 (en) * | 2018-02-28 | 2020-12-29 | Facebook Technologies, Llc | Wearable gesture input device using electric impedance measurement |
| CN111868666A (zh) | 2018-03-23 | 2020-10-30 | 脸谱科技有限责任公司 | 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和*** |
| US11860246B1 (en) * | 2019-05-24 | 2024-01-02 | Apple Inc. | Short-range position tracking using stationary magnetic field gradient |
| US11994751B1 (en) | 2020-12-30 | 2024-05-28 | Snap Inc. | Dual system on a chip eyewear |
| US20230041519A1 (en) * | 2021-08-09 | 2023-02-09 | Htc Corporation | Tracking system, tracking method and non-transitory computer-readable storage medium |
| US20230123344A1 (en) * | 2021-10-14 | 2023-04-20 | Jason Heger | Dual system on a chip eyewear |
| US11997249B2 (en) | 2021-10-14 | 2024-05-28 | Snap Inc. | Dual system on a chip eyewear |
| JP2023115808A (ja) * | 2022-02-08 | 2023-08-21 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記録媒体 |
| US11822736B1 (en) * | 2022-05-18 | 2023-11-21 | Google Llc | Passive-accessory mediated gesture interaction with a head-mounted device |
| US20240103610A1 (en) * | 2022-09-15 | 2024-03-28 | Riku Arakawa | Egocentric human body pose tracking |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040017353A1 (en) * | 2000-02-24 | 2004-01-29 | Anton Suprun E. | Method of data input into a computer |
| CN101019765A (zh) * | 2007-03-29 | 2007-08-22 | 新奥博为技术有限公司 | 一种磁共振图像引导下的手术***及手术导航方法 |
| US8179604B1 (en) * | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
| US20120221290A1 (en) * | 2011-02-28 | 2012-08-30 | Anand Ravindra Oka | Portable electronic device adapted to provide an improved attitude matrix |
| US20130268012A1 (en) * | 2012-04-09 | 2013-10-10 | Shiloh Sison | Implantable medical devices, and methods of use therewith, that detect exposure to magnetic fields from mri systems |
| US20130265220A1 (en) * | 2012-04-09 | 2013-10-10 | Omek Interactive, Ltd. | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| US20140267701A1 (en) * | 2013-03-12 | 2014-09-18 | Ziv Aviv | Apparatus and techniques for determining object depth in images |
| CN104199546A (zh) * | 2014-08-31 | 2014-12-10 | 上海威璞电子科技有限公司 | 基于腕带和手环类产品采用四种手势实现控制的方法 |
| CN104345802A (zh) * | 2013-08-08 | 2015-02-11 | 派布勒斯有限公司 | 控制近眼式显示器的方法和设备 |
| CN105393079A (zh) * | 2013-02-28 | 2016-03-09 | 谷歌技术控股有限责任公司 | 基于上下文的深度传感器控制 |
| CN106232192A (zh) * | 2014-03-14 | 2016-12-14 | 索尼互动娱乐股份有限公司 | 具有可旋转放置的摄像机的玩游戏装置 |
| CN106537290A (zh) * | 2014-05-09 | 2017-03-22 | 谷歌公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法 |
| CN107209960A (zh) * | 2014-12-18 | 2017-09-26 | 脸谱公司 | 用于提供虚拟现实环境的用户界面的***、设备及方法 |
| CN107533233A (zh) * | 2015-03-05 | 2018-01-02 | 奇跃公司 | 用于增强现实的***和方法 |
| CN107664949A (zh) * | 2016-07-29 | 2018-02-06 | 联想（新加坡）私人有限公司 | 用于呈现虚拟现实对象的设备和方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW395121B (en) * | 1996-02-26 | 2000-06-21 | Seiko Epson Corp | Personal wearing information display device and the display method using such device |
| DE69736622T2 (de) * | 1996-07-03 | 2007-09-13 | Hitachi, Ltd. | System zur Bewegungserkennung |
| AU2001233019A1 (en) * | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
| US20110199296A1 (en) * | 2010-02-18 | 2011-08-18 | Simpson Samuel K | Single wrist user input system |
| US20110199303A1 (en) * | 2010-02-18 | 2011-08-18 | Simpson Samuel K | Dual wrist user input system |
| US8711206B2 (en) | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
| US10061387B2 (en) | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
| US9170656B2 (en) | 2012-03-01 | 2015-10-27 | Elwha Llc | Systems and methods for scanning a user environment and evaluating data of interest |
| WO2013170383A1 (en) | 2012-05-16 | 2013-11-21 | Xtreme Interactions Inc. | System, device and method for processing interlaced multimodal user input |
| US10234941B2 (en) * | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
| KR102114178B1 (ko) | 2014-01-02 | 2020-05-22 | 삼성전자 주식회사 | 근거리에 위치한 전자 장치들을 제어하는 방법 및 장치 |
| JP6571108B2 (ja) | 2014-01-05 | 2019-09-04 | マノモーション アーベー | モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム |
| US20150227245A1 (en) * | 2014-02-10 | 2015-08-13 | Polyera Corporation | Attachable Device with Flexible Electronic Display Orientation Detection |
| US10215568B2 (en) * | 2015-01-30 | 2019-02-26 | Vision Service Plan | Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete |
-
2018
- 2018-03-13 US US15/919,869 patent/US10528133B2/en active Active
-
2019
- 2019-03-13 CN CN201910189902.7A patent/CN110275603B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040017353A1 (en) * | 2000-02-24 | 2004-01-29 | Anton Suprun E. | Method of data input into a computer |
| CN101019765A (zh) * | 2007-03-29 | 2007-08-22 | 新奥博为技术有限公司 | 一种磁共振图像引导下的手术***及手术导航方法 |
| US20120221290A1 (en) * | 2011-02-28 | 2012-08-30 | Anand Ravindra Oka | Portable electronic device adapted to provide an improved attitude matrix |
| US8179604B1 (en) * | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
| US20130268012A1 (en) * | 2012-04-09 | 2013-10-10 | Shiloh Sison | Implantable medical devices, and methods of use therewith, that detect exposure to magnetic fields from mri systems |
| US20130265220A1 (en) * | 2012-04-09 | 2013-10-10 | Omek Interactive, Ltd. | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| CN105393079A (zh) * | 2013-02-28 | 2016-03-09 | 谷歌技术控股有限责任公司 | 基于上下文的深度传感器控制 |
| US20140267701A1 (en) * | 2013-03-12 | 2014-09-18 | Ziv Aviv | Apparatus and techniques for determining object depth in images |
| CN104345802A (zh) * | 2013-08-08 | 2015-02-11 | 派布勒斯有限公司 | 控制近眼式显示器的方法和设备 |
| CN106232192A (zh) * | 2014-03-14 | 2016-12-14 | 索尼互动娱乐股份有限公司 | 具有可旋转放置的摄像机的玩游戏装置 |
| CN106537290A (zh) * | 2014-05-09 | 2017-03-22 | 谷歌公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法 |
| CN104199546A (zh) * | 2014-08-31 | 2014-12-10 | 上海威璞电子科技有限公司 | 基于腕带和手环类产品采用四种手势实现控制的方法 |
| CN107209960A (zh) * | 2014-12-18 | 2017-09-26 | 脸谱公司 | 用于提供虚拟现实环境的用户界面的***、设备及方法 |
| CN107533233A (zh) * | 2015-03-05 | 2018-01-02 | 奇跃公司 | 用于增强现实的***和方法 |
| CN107664949A (zh) * | 2016-07-29 | 2018-02-06 | 联想（新加坡）私人有限公司 | 用于呈现虚拟现实对象的设备和方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113029190A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 运动跟踪***和方法 |
| WO2022002133A1 (zh) * | 2020-07-01 | 2022-01-06 | 青岛小鸟看看科技有限公司 | 手势追踪方法及装置 |
| CN114661152A (zh) * | 2022-03-16 | 2022-06-24 | 北京伊园未来科技有限公司 | 一种降低视觉疲劳的ar显示控制***及方法 |
| CN114661152B (zh) * | 2022-03-16 | 2022-12-20 | 北京伊园未来科技有限公司 | 一种降低视觉疲劳的ar显示控制***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10528133B2 (en) | 2020-01-07 |
| CN110275603B (zh) | 2023-05-05 |
| US20190286232A1 (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275603A (zh) | 分布式人造现实***、手镯设备和头戴式显示器 | |
| US11385467B1 (en) | Distributed artificial reality system with a removable display | |
| TWI597623B (zh) | 可穿戴基於行爲的視覺系統 | |
| US9728010B2 (en) | Virtual representations of real-world objects | |
| US9105210B2 (en) | Multi-node poster location | |
| US9035970B2 (en) | Constraint based information inference | |
| US9696547B2 (en) | Mixed reality system learned input and functions | |
| US10976807B2 (en) | Distributed artificial reality system with contextualized hand tracking | |
| US11662589B2 (en) | Geometry modeling of eyewear devices with flexible frames | |
| US20140152558A1 (en) | Direct hologram manipulation using imu | |
| CN103443742A (zh) | 用于凝视和姿势接口的***和方法 | |
| TWI453462B (zh) | 智慧型電子裝置之虛擬望遠系統及其方法 | |
| US11656471B2 (en) | Eyewear including a push-pull lens set | |
| US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
| US11982814B2 (en) | Segmented illumination display | |
| US20230117720A1 (en) | Dual system on a chip eyewear | |
| KR20230152724A (ko) | 필드 렌즈를 구비한 프로젝터 | |
| JP2016116066A (ja) | 表示装置、及び、表示装置の制御方法 | |
| US20240045491A1 (en) | Medical image overlays for augmented reality experiences | |
| WO2024047990A1 (ja) | 情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |