CN107106907A - 用于确定用户手指位置的信号生成和检测器***以及方法 - Google Patents

用于确定用户手指位置的信号生成和检测器***以及方法 Download PDF

Info

Publication number
CN107106907A
CN107106907A CN201580071986.4A CN201580071986A CN107106907A CN 107106907 A CN107106907 A CN 107106907A CN 201580071986 A CN201580071986 A CN 201580071986A CN 107106907 A CN107106907 A CN 107106907A
Authority
CN
China
Prior art keywords
light
wearable device
signal
hmd
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580071986.4A
Other languages
English (en)
Other versions
CN107106907B (zh
Inventor
D.马林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN107106907A publication Critical patent/CN107106907A/zh
Application granted granted Critical
Publication of CN107106907B publication Critical patent/CN107106907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/825Fostering virtual characters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18Timing circuits for raster scan displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述一种用于确定用户手指位置的方法。所述方法包括从头戴式显示器(HMD)传输电力信号以向多个光发射器提供电力。所述光发射器在接收到所述电力信号之后按序列发射光。所述方法包括使用由所述光发射器发射的所述光来确定所述光发射器的多个位置。所述位置用来使用所述HMD来玩游戏。

Description

用于确定用户手指位置的信号生成和检测器***以及方法
技术领域
本公开涉及用于确定用户手指位置的信号生成和检测器***以及方法。
背景技术
已经开发了多种装置用于玩游戏。例如,各种游戏公司已经产生游戏控制台以向用户提供独特的游戏体验。为了说明,用户可玩战争游戏、功夫游戏、舞蹈游戏等。
一些游戏公司已经开发了越过用户的头并且向用户提供游戏显示的显示装置。用户感觉到好像他/她在使用这类显示装置玩游戏期间处于游戏中。
然而,一些游戏装置缺乏准确度并且是昂贵的。
发明内容
本公开的实施方案提供用于确定用户手指位置的信号生成和检测器***以及方法。
本公开的其他方面将从以下结合附图进行的详细说明而变得明显,举例说明了本公开描述的实施方案的原理。
在一些实施方案中,本公开涉及手指上的具有小的红外线(IR)发光二极管(LED)的穿戴装置,例如指环、贴片、手镯等。从IR LED发射的光使用IR传感器检测以确定在其中实现IR LED的可穿戴装置的位置。
本公开的一些实施方案涉及结合在与照明相同时间段内收集IR光的同步传感器使用来自每个可穿戴装置的IR光的非常短、非常亮的脉冲。出于这个应用,在可穿戴装置上使用以例如照明可穿戴装置的IR LED等的电力较小从而使无线电力***变得实用。使用皮肤作为传输电路的一部分以向可穿戴装置无线地传输电力信号是可能的。
在各种实施方案中,共振电感耦合被设计成专用于近程到中程距离电力传递。例如,一些***可通过将Wi-Fi信号电感地耦合到电力存储装置(例如,电容器极板、导线等)从现有Wi-Fi信号直接得到电力。
在一些实施方案中,由于电力被无线地发送,同步信号也被无线地发送。将电力和同步信号广播至全部可穿戴装置。每个可穿戴装置具有相对于所有其他指环(LED)确定其照明时隙的标识符(ID)。例如,IR传感器在1000赫兹(Hz)的频率下对光进行取样。在穿戴在10个手指上的10个可穿戴装置的10个LED的情况下,10个LED按序列以每第1/1000秒帧被照明,然后每个LED由于这一时分多路复用取样而有效地在100Hz下取样。从传感器的角度来看,当陷波IR滤波器用来在传感器侧上匹配IR照明的频率时,LED是迄今为止最亮的物体。由于在传感器的视锥中在每个取样间隔处存在单一亮点,对可穿戴装置的检测变得容易。此外,在各种实施方案中,这一类亮点在其他取样间隔中并不可见,从而增加了识别所述点的置信度。
传感器的实例包括摄像机(例如,电荷耦合装置(CCD)摄像机、互补金属氧化物半导体(CMOS)摄像机等)或它可以是对位置灵敏的装置(PSD)。PSD返回光的点(例如,重心等)。
此外,在各种实施方案中,在同步期间,位置被确定的可穿戴装置是利用识别代码识别。识别代码与可穿戴装置相关联并且因此与用户的手指相关联。例如,用户被指示将可穿戴装置穿戴在用户的特定手指上。指令被显示在头戴式显示器(HMD)的显示屏上并且由游戏控制台的游戏处理器生成。在各种实施方案中,指令被提供在指令小册子中,所述指令小册子与HMD、游戏控制台和可穿戴装置一起提供给用户。
在各种实施方案中,单一传感器用来确定从其位置到LED的二维(2D)射线,但不能用来确定LED相对于参考系沿该射线的位置。在这种情况下,多个传感器用来在三维(3D)空间中对可穿戴装置的位置进行三角测量。例如,两个传感器使用HMD的基线安装在HMD本身上。这将允许将参考系与HMD相联系。
然而,在若干实施方案中,由于当移动手指和/或手时,用户的手指和/或手的阻碍,两个安装在HMD的传感器从可穿戴装置中的一些并不具有瞄准线。在这些实施方案中,另外的传感器在用户的前面使用,指回用户的躯干。对于这些另外的传感器,它们的参考系被确定。为了得到另外的传感器参考系,将两个或更多个时分多路复用脉冲IR LED放置在HMD上。只要另外的传感器中的每一个在其视锥中具有两个HMD IR LED,HMD布局就被确定来进一步确定另外的传感器的参考系与HMD的参考系之间的相对位置。
在一些实施方案中,在多个传感器的情况下,在被传感器中的一个或多个遮挡或处于传感器中的一个或多个的视线之外的可穿戴装置上可能存在LED。如果从可穿戴装置发射的光由传感器中的两个检测到,那么可穿戴装置的可靠的相对位置被确定。如果多于两个传感器检测来自可穿戴装置的LED的光,那么LED的位置被更加精确地确定。在各种实施方案中,如果仅单一传感器检测来自LED的光,那么用户手指的约束条件和/或不受单一传感器阻碍的其他LED的常识性知识用来估计沿所讨论的LED的射线的距离。
在各种实施方案中,如果LED被所有传感器遮挡,那么数据(例如,图像捕获数据、LED的最近位置数据等)用来确定LED的位置。
在一些实施方案中,本文描述的***和方法适用于可穿戴LED“贴片”。例如,LED附接到穿戴在用户手上的手套。作为另一个实例,贴片通过使用VelcroTM或其他附接方法附接到用户的衣物。作为另一个实例,当将贴片穿戴在手腕和臂上时确定用户手腕和臂的位置。例如,可穿戴装置包括手腕带或臂带。
在若干实施方案中,执行校准操作。例如,用户被指示将可穿戴装置穿戴在用户手指的远端处。在这个实例中,如果从用户到用户和/或从一个接口会话到另一个接口会话存在一些变化,那么所述校准有助于确定用户手指位置的可靠性。作为另一个实例,当LED附接到用户身体的其他部位(例如,手腕、前臂等)时,所述校准有助于确定不同用户的其他身体部位之间的相对位置。
在各种实施方案中,不需要校准操作。例如,在LED附接到手套的情况下,不执行校准。手套适合多个用户的手。
在若干实施方案中,描述用于追踪手和手指位置以便通过与游戏控制台对接的HMD与虚拟环境对接的方法。所述方法包括从HMD向与穿戴HMD的用户手的多个手指相关联的多个可穿戴装置传输电力信号以及向多个可穿戴装置序列地传输标识符(ID)。每个ID标识多个可穿戴装置中的一个。多个可穿戴装置中的每一个被致使激活对应的光源,使得基于由HMD序列地传输的ID,多个可穿戴装置中的每一个对时隙是有效的并且每个可穿戴装置在相应时隙中重复有效。此外,对于每个传输的ID,所述方法包括确定附接到HMD的至少两个光学传感器的空间位置以及使用设置在HMD上的用于所检测空间位置的至少两个传感器检测来自多个可穿戴装置中的一个的发射的光。对发射的光的检测与序列地传输的ID同步。同样,对于每个传输的ID,所述方法包括从HMD向所述游戏控制台发送针对所检测的发射的光和所确定的空间位置的数据,以确定与手指中的一个的当前位置相关联的多个可穿戴装置中的一个的当前位置。针对序列地传输的ID中的每一个重复如下操作:确定空间位置,检测发射的光和从HMD向游戏控制台发送针对所检测的发射的光的数据,以便随时间的推移识别可穿戴装置的移动的位置。
在一些实施方案中,描述用于追踪手和手指位置以便通过HMD与虚拟环境对接的方法。所述方法包括从HMD向与穿戴HMD的用户手的多个手指相关联的多个可穿戴装置传输电力信号。所述方法还包括向多个可穿戴装置序列地传输ID。每个ID标识多个可穿戴装置中的一个。同样,多个可穿戴装置中的每一个被致使激活对应的光源,使得基于由HMD序列地传输的ID,多个可穿戴装置中的每一个对时隙是有效的并且每个可穿戴装置在相应时隙中重复有效。所述方法还包括使用设置在HMD上的至少两个传感器检测来自多个可穿戴装置中的一个的发射的光。对发射的光的检测的操作与序列地传输的ID同步。所述方法包括提供关于发射的光的数据以用于确定可穿戴装置中的每一个的位置。可穿戴装置中的每一个的位置相对于HMD的至少两个传感器之间的参考系进行确定,使得每个可穿戴装置的位置与手指中的一个的位置相关联。所述方法包括将用户的手显示在虚拟环境中。用户的手包括基于所确定的位置显示的手指。
在许多实施方案中,描述用于确定可穿戴装置的位置的方法。所述方法包括从HMD传输电力信号以向具有多个光发射器的多个可穿戴装置提供电力。光发射器基于在电力信号内接收的电力以有序序列发射光。所述有序序列是如下序列:光发射器按其重复光的多个序列发射和每个光发射器按其具有光的一部分的发射频率。所述方法包括检测由光发射器发射的光以生成电信号并且提供关于电信号的分析数据以确定可穿戴装置的多个位置。可穿戴装置的位置用于确定用户手的手指的表示在显示在HMD内的交互性环境内的一个或多个位置。
在各种实施方案中,描述用于显示交互性环境的图像的***。所述***包括将要穿戴在用户头上的HMD。所述HMD包括用于生成电力信号的电源和耦合到电源以用于朝向一个或多个光发射器装置传输电力信号的传输器。将所述一个或多个光发射器装置整合到对应的一个或多个可穿戴装置中。一个或多个可穿戴装置被配置来穿戴在用户的一个或多个身体部位上。一个或多个光发射器装置基于电力信号按序列发射光。HMD还包括用于感测光的至少一部分以生成多个电信号的信号检测器。所述***还包括耦合到HMD的游戏控制台。所述游戏控制台包括与信号检测器相关联、用于根据电信号确定可穿戴装置中的一个的一个或多个位置的位置确定模块。所述HMD还包括从游戏控制台接收图像数据的通信装置。所述图像数据基于一个或多个位置生成。所述HMD包括用于基于图像数据显示一个或多个图像的显示屏。
在一些实施方案中,描述被控制来基于同步信号发射光的光发射器***。所述光发射器***包括用于在玩游戏期间穿戴在用户的相应的一个或多个身体部位上的一个或多个可穿戴装置。每个可穿戴装置包括用于从HMD接收电力信号和同步信号以生成解调信号的接收器。所述同步信号包括可穿戴装置的标识符。此外,每个可穿戴装置包括连接到接收器以用于存储从解调信号生成的电荷的存储装置和耦合到存储装置以用于在接收到基于电荷生成的电流信号之后生成光的光源。所述光源被控制来基于同步信号中的标识符来发射光。
本文描述的***和方法的一些优点包括在玩游戏期间提供用户手指的准确位置。例如,基于由穿戴在用户手指上的许多光源发射的光和由耦合到HMD的光学传感器对光的检测,确定手指的位置。所述位置用来在HMD的显示屏上玩游戏。光源与用户手指的耦合有助于增加手指位置的准确性。
本文描述的***和方法的其他优点包括在玩游戏期间提供用户的身体部位(例如,手肘、手腕等)的准确位置。光源耦合到身体部位并且从光源发射的光用来确定身体部位的位置。光源到身体部位的耦合有助于在玩游戏期间增加身体部位位置的准确性。身体部位的位置用来玩显示在HMD上的游戏。
在一些实施方案中,当光源序列地发射光时,准确性得到增加。当光源序列地发射光时,光学传感器可清晰地检测用户手指或身体部位上的每个光源。
本文描述的***和方法的另外的优点包括减少使用HMD玩游戏的费用。例如,用来捕获手指或身体部位的图像的数字摄像机比光源和光学传感器更加昂贵。在使用光源的情况下,经常不需要使用数字摄像机并且减少了使用HMD玩游戏的成本。
附图说明
本公开的各种实施方案通过参考以下结合附图进行的描述来最好地理解,在附图中:
图1是根据本公开的一个实施方案的***的图,所述***用于示出使用用户手指上的可穿戴装置来玩游戏。
图2A是根据本公开的一个实施方案的用来示出将可穿戴装置穿戴在左手手指远端上的用户左手的图。
图2B是根据本公开的一个实施方案的用来示出被整合到可穿戴装置内的光源的用户左手的图,所述可穿戴装置穿戴在用户左手手指远端上。
图2C是根据本公开的一个实施方案的用来示出将可穿戴装置定位在用户对应手指的远端与中间部分之间的手指关节上的用户左手的图。
图2D是根据本公开的一个实施方案的用来示出将可穿戴装置定位在用户对应手指的中间部分上的用户左手的图。
图2E是根据本公开的一个实施方案的用来示出可穿戴装置在连接用户左手的对应手指的中间部分和手指的近端部分的手指关节上的位置的用户左手的图。
图2F是根据本公开的一个实施方案的用来示出可穿戴装置在用户手指的近端部分上的位置的用户左手的图。
图3A是根据本公开的一个实施方案的用来示出使用被穿戴在用户左手手指远端各部分上的可穿戴装置的用户左手的图。
图3B是根据本公开的一个实施方案的用来示出将光源整合到套环中的用户左手的图。
图4A是根据本公开的一个实施方案的用来示出使用贴片作为可穿戴装置的用户左手的图。
图4B是根据本公开的一个实施方案的被穿戴在用户手指上的贴片的图。
图5是根据本公开的一个实施方案的用来示出将光源整合在手套的手指部分中的用户左手的图。
图6A是根据本公开的一个实施方案的具有光源的指环的图。
图6B是根据本公开的一个实施方案的由从信号传输器接收的电力信号充电的指环的实施方案的图。
图6C是根据本公开的一个实施方案的由从信号传输器接收的电力信号充电的包括多个光源的另一个指环的实施方案的图。
图7A是根据本公开的一个实施方案的用来示出具有不同数量光源的指环的图。
图7B是根据本公开的一个实施方案的用来示出对来自光源的光的发射进行排序的多个指环的图。
图7C是用来示出根据本公开的一个实施方案的不同形状的指环的图。
图8A-1是根据本公开的一个实施方案的用来示出光学传感器在头戴式显示器(HMD)下方的位置的HMD的图。
图8A-2是根据本公开的一个实施方案的图8A-1的用来示出光学传感器在HMD前面和边缘上的各种位置处的位置的HMD的图。
图8B是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8C是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8C是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8D是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8E是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8F是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8G是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8H是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图8I是根据本公开的一个实施方案的用来示出光学传感器定位在HMD上的位置的图。
图9A是根据本公开的一个实施方案的用来示出将电力信号传输至可穿戴装置并且从可穿戴装置中的每一个接收光信号的信号生成器和检测器(SGD)的图。
图9B是根据本公开的一个实施方案的包括用来将不希望的频率过滤掉的频率滤波器的另一个SGD的图。
图10A-1是根据本公开的一个实施方案的用来示出可穿戴装置的部件的可穿戴装置的框图。
图10A-2是根据本公开的一个实施方案的用来示出使用可穿戴装置中的电荷传感器的可穿戴装置的框图。
图10B是根据本公开的一个实施方案的用来示出打开和关闭光源的曲线图。
图10C是根据本公开的一个实施方案的用来示出由光源进行的光的序列发射的时序图。
图11A-1是根据本公开的一个实施方案的用于示出生成电力信号和同步信号的信号生成器的图。
图11A-2是根据本公开的一个实施方案的用于示出生成同步信号以使由光学传感器对光的收集与由光源对光的发射同步的信号生成器的图。
图11B是根据本公开的一个实施方案的用来示出使用可穿戴装置的识别代码(ID)来生成光的光发射器装置的图。
图11C是根据本公开的一个实施方案的用来示出使用可穿戴装置的ID以及时间延迟的另一个光发射器装置的实施方案的图。
图11D是根据本公开的一个实施方案的用来示出使用可穿戴装置的ID以及时间延迟和频率的另一个光发射器装置的实施方案的图。
图12是根据本公开的一个实施方案的用于基于由可穿戴装置内的光发射器发射的光的入射位置来确定可穿戴装置的位置的信号检测器的图。
图13是根据本公开的一个实施方案的用来示出使用射线求交计算来确定光源距处于HMD上的光学传感器的参考系的位置的***的图。
图14A是根据本公开的一个实施方案的用来示出处于HMD上的光学传感器对可穿戴装置的遮挡。
图14B示出根据本公开的一个实施方案的用来相对于HMD的参考系提供参考系的躯干装置。
图14C是根据本公开的一个实施方案的用来示出确定所遮挡的可穿戴装置相对于HMD的参考系的位置。
图15A是根据本公开的一个实施方案的用来基于游戏的状态向用户提供触觉反馈的触觉反馈***的图。
图15B是根据本公开的一个实施方案的用来示出由游戏控制台控制触觉反馈***的***的图。
图16是根据本公开的一个实施方案的指示将可穿戴装置穿戴在用户的其他身体部位上的***的图。
图17A是根据本公开的一个实施方案的用来示出使用可穿戴装置的位置来确定游戏命令的***的图。
图17B是根据本公开的一个实施方案的被显示在HMD的显示屏上的游戏的图,其用来示出可穿戴装置的位置与被显示在显示于HMD上的游戏中的虚拟手指的图像之间的协调。
图17C是根据本公开的一个实施方案的用户正在玩网球游戏同时网球游戏显示在HMD的显示屏上的图。
图17D是根据本公开的一个实施方案的被执行以将虚拟枪保持在显示在HMD上的游戏中的手势的图。
图17E是根据本公开的一个实施方案的由用户执行以将虚拟花保持在显示在HMD上的游戏中的二手指手势的图。
图17F是根据本公开的一个实施方案的示出由用户执行以将武器保持在显示在HMD的显示屏上的游戏中的保持动作的图。
图17G是根据本公开的一个实施方案的用来示出在显示在HMD上的游戏中使用虚拟电话的接电话动作的图。
图17H是根据本公开的一个实施方案的使用用户的双手来指示图像捕获装置捕获用户身体部位或用户所在房间的图像或视频而执行的捕获图像手势的图。
图17I是根据本公开的一个实施方案的用来示出由用户执行的暂停手势和暂停手势的效果的图。
图18A是根据本公开的一个实施方案的用户手的各种位置的图,其用来示出基于由用户穿戴的可穿戴装置的位置而发生的取样速率的变化或由光源进行的光的发射的频率的变化。
图18B是根据本公开的一个实施方案的SGD的图,其用来示出基于用户左手和右手的位置变化而发生的光发射器的光的发射频率的变化。
图19是根据本公开的一个实施方案的用来示出由穿戴在用户手指上的光源进行的光的发射的不同序列的图。
图20是根据本公开的一个实施方案的用来示出使用图像捕获装置以便确定可穿戴装置的位置的***的图。
图21A是根据本公开的一个实施方案的用来示出在由光学传感器对光进行取样与由光源进行的光的发射之间同步的图。
图21B是根据本公开的一个实施方案的用来示出在由光源进行的光的发射频率与由图像捕获装置得到的捕获图像的快门速度之间同步的图。
图21C是根据本公开的一个实施方案的用来示出在由光源进行的光的发射频率与由HMD的图形处理单元(GPU)将图像显示在HMD的显示屏上的帧速率之间同步的图。
图22是根据本公开中描述的一个实施方案的游戏控制台的框图,所述游戏控制台可兼容地与手持式控制器(HHC)和HMD对接。
图23是根据本公开中述的一个实施方案的示出HMD的各种部件的框图。
图24示出根据本公开的一个实施方案的用来传送游戏数据的信息服务提供商(INSP)体系结构的实施方案。
具体实施方式
描述了用于确定用户手指位置的信号生成和检测器***以及方法。应注意,本公开的各种实施方案在没有这些具体细节中的一些或全部的情况下实践。在其他情况下,没有详细描述众所周知的处理操作,以避免不必要地混淆本公开的各种实施方案。
在一个实施方案中,***包括计算机、控制器和显示器。在各种实施方案中,计算机是通用计算机、专用计算机及或执行用于生成交互式数据的交互式程序(例如,计算机软件程序、计算机软件应用程序等)的其他这类装置,所述交互式数据被呈现以将交互式内容显示在显示装置上。在一些实施方案中,替代计算机,使用游戏控制台。游戏控制台的实例包括由Sony Computer Entertainment公司或其他制造商所制造的游戏控制台。显示装置的实例包括能够从计算机接收视频输出并且呈现所述视频输出的电视、监测器、投影仪显示器、头戴式显示器(HMD)或其他这类显示器和显示***。用户通过移动一个或多个光源向交互式程序提供输入。光源充当运动控制器,其使用户能够与交互式程序对接并且通过使光源移动来向交式互程序提供输入。在一些实施方案中,光源与显示装置无线通信,因为这种无线通信与有线连接相比而言提供了光源的更大移动自由。
在一些实施方案中,提供多个可穿戴装置以增强用户与交互式环境的交互。可穿戴装置的实例包括指环、贴片、手镯、手腕带、臂带、橡胶带、塑料带、金属带等。此外,交互式环境的实例包括虚拟现实环境、游戏环境和增强现实环境。
可穿戴装置由用户穿戴并且结合头戴式显示器(HMD)使用,所述头戴式显示器(HMD)被穿戴在用户头上以覆盖用户的眼睛。用户移动他的/她的手指并且手指的位置被确定以生成手指或另一个虚拟对象在交互式环境中的对应位置,所述交互式环境显示在HMD的一个或多个显示屏上。例如,当用户向上移动他的/她的手指时,手指或虚拟对象的表示在交互式环境中也向上移动。作为另一个实例,当用户在真实世界中移动他的/她的手指一定距离时,另一个虚拟对象的虚拟手指在交互式环境中移动对应的量。用户手指的位置的这类确定在交互式环境中向用户提供沉溺和接合体验。用户感觉到好像他/她处于交互式环境中并且实际地与交互式环境交互。所述体验在用户的思想中产生交互式环境是真的(例如,存在在真实世界中)的印象。
为了有助于确定手指位置,HMD与两个或更高数量的光学传感器配合。光学传感器感测由整合在可穿戴装置内的光源发射的光。所感测的光用来确定光源距光学传感器的参考系的位置。
在各种实施方案中,所述***包括一个或多个摄像机,所述一个或多个摄像机捕获用户或用户所在房间的图像。然后通过分析由一个或多个摄像机捕获的图像来确定光源的空间位置和移动。
图1是***100的实施方案的图,所述***100用于示出使用可穿戴装置WD1、WD2、WD3、WD4、WD5、WD6、WD7、WD8、WD9和WD10来玩游戏,例如,二维游戏、三维游戏、单玩家游戏、多玩家游戏等。每个可穿戴装置WD1至WD10的实例包括指环。如本文所使用,指环具有任意形状,例如,正方形形状、圆形形状和椭圆形形状等。在一些实施方案中,本文描述的每个可穿戴装置由塑料或金属制成。在各种实施方案中,塑料是柔性的或非柔性的。在一些实施方案中,每个可穿戴装置是透明的、半透明的或不透明的。例如,可穿戴装置WD1至WD10由透明的柔性塑料材料制成。
每个可穿戴装置穿戴在用户101的手指上。例如,可穿戴装置WD1穿戴在用户101的左手H1的小拇指上,可穿戴装置WD2穿戴在左手的无名指上,可穿戴装置WD3穿戴在左手的中指上,可穿戴装置WD4穿戴在左手的食指上,并且可穿戴装置WD5穿戴在左手的大拇指上。作为另一个实例,可穿戴装置WD6穿戴在用户101的右手H2的大拇指上,可穿戴装置WD7穿戴在右手的食指上,可穿戴装置WD8穿戴在右手的中指上,可穿戴装置WD9穿戴在右手的无名指上,并且可穿戴装置WD10穿戴在右手的小拇指上。
每个可穿戴装置包括生成和发射光的光源,例如,光发射器、发光二极管(LED)等。例如,LED是当被提供有电能时发射光的pn结二极管。LED发射可见光或红外线。光源的其他实例包括卤素光源、发光电化学池(LEC)、电致发光导线等。
用户101将头戴式显示器(HMD)102穿戴在他的/她的头上。HMD 102覆盖用户102的眼睛并且包括显示屏(例如LED显示屏、液晶显示(LCD)屏、等离子体显示屏等)以将游戏图像显示给用户101。在一些实施方案中,HMD 102包括多个显示屏。在各种实施方案中,HMD102是具有投影图像的能力以及穿透能力的光学头戴式显示器(OHMD)。
在一些实施方案中,HMD 102显示计算机生成的图像(CGI),例如,虚拟图像等。在各种实施方案中,HMD 102将真实世界的真实世界图像显示在用户102前面并且使真实世界图像叠加在CGI上。基于叠加生成的合成图像是增强现实图像。
在HMD 102的底部表面处是附接的光学传感器104和106。作为实例,光学传感器将光改变成电信号。光学传感器的实例包括对位置灵敏的装置(PSD)。PSD测量光点在PSD表面上一维或多维中的位置。光学传感器104和106附接(例如,通过磁体连接)到HMD 102的底部表面。在一些实施方案中,光学传感器104和106整合在HMD 102的身体内并且具有暴露在光下的部分。
***100还包括游戏控制台108和任选的显示装置(例如,电视、计算机屏幕等)。游戏控制台108包括执行游戏代码(例如,游戏计算机程序等)以有助于用户101玩游戏的游戏处理器110。在一些实施方案中,游戏代码响应于接收由用户101执行(例如,输入等)的动作的指示。由用户101执行的动作的实例包括对游戏对象的选择、用户101的手指的移动、用户101的手的移动、用户101的眼睛的移动等。如本文中所使用,游戏对象在玩游戏期间被显示在HMD 102的显示屏上。游戏对象的实例包括游戏中的背景环境、游戏的化身、游戏期间的点数、用户101在游戏期间的奖励等。
在各种实施方案中,游戏代码作为游戏例程执行以从游戏的一个状态到达游戏的另一个状态。在这些实施方案中,由用户101执行的动作并不充当用于执行游戏代码的触发器。
游戏代码由游戏控制台108的游戏处理器110执行以生成游戏数据,例如游戏对象的位置、游戏对象的颜色、游戏对象的纹理、游戏对象的明暗、在玩游戏期间用户101赢得或失去的点数、游戏对象的形状等。HMD 102的中央处理单元(CPU)112通过游戏控制台108的通信装置114和HMD 102的通信装置116从游戏处理器110接收游戏数据。CPU 112呈现游戏数据以将游戏显示在HMD 102的一个或多个显示屏118上。
如本文中所使用,处理器是应用专用集成电路(ASIC)或可编程逻辑装置(PLD)或微处理器或微控制器或CPU等。同样,如本文所使用的通信装置包括通过有线介质(例如,一个或多个物理电导体等)与另一个装置通信的有线通信装置,或包括与另一个装置无线通信的无线通信装置。有线通信装置应用标准的例如,以太网、电气电子工程师协会(IEEE)1394、串行的、并行的、射频、通用串行总线(USB)等以在两个装置之间传递数据。无线通信的实例包括射频(RF)通信、调制、解调、无线数据通信、Wi-Fi通信、蓝牙通信、使用声能的通信、使用光能的通信和使用磁能的通信。
在玩游戏期间,用户101移动他的/她的手指。在移动用户101的手指的情况下,可穿戴装置WD1至WD10移动。可穿戴装置WD1至WD10序列地发射光。例如,可穿戴装置WD1至WD10以正向序列发射光。为了说明,可穿戴装置WD1首先发射光,可穿戴装置WD2第二个发射光并且以此类推直到可穿戴装置WD10第十个发射光。作为另一个实例,可穿戴装置WD1至WD10以反向序列发射光。为了说明,可穿戴装置WD10首先发射光,可穿戴装置WD9第二个发射光并且以此类推直到可穿戴装置WD1第十个发射光。作为又一个实例,可穿戴装置WD1至WD10以随机顺序发射光。为了说明,可穿戴装置WD5首先发射光,可穿戴装置WD3第二个发射光,可穿戴装置WD2第三个发射光等。
在一些实施方案中,由可穿戴装置WD1至WD10进行序列发射光允许确定用户101的每个单个手指的位置。例如,在可穿戴装置上指示将可穿戴装置穿戴在用户101的某只手的某个手指上。从可穿戴装置发射的光被感测以确定在其上穿戴可穿戴装置的手指的位置。
光学传感器104和106检测由可穿戴装置WD1至WD10序列地发射的光以生成电信号。将电信号通过HMD 102的模拟数字转换器(A至D转换器)从模拟形式转换成数字形式以生成数字数据,所述数字数据由HMD 102的HMD处理器(未示出)处理以有助于确定可穿戴装置WD1至WD10的位置。
在一些实施方案中,替代HMD处理器确定可穿戴装置WD1至WD10的位置,由A至D转换器生成的数字数据由HMD 102的通信装置116传送到游戏控制台108的通信装置114以用于由游戏控制台108的游戏处理器110处理,以便确定可穿戴装置WD1至WD10的位置。
可穿戴装置WD1至WD10的位置用来玩游戏。例如,游戏控制台108的游戏控制器110基于可穿戴装置WD1至WD10的位置来改变显示在一个或多个显示屏118上的游戏的游戏对象(例如,用户101的虚拟手指)的位置、游戏对象的虚拟位置等。作为另一个实例,游戏处理器110在与可穿戴装置WD1至WD10中的一个移动的方向相同的方向上(例如,向上方向、向下方向、侧向方向等)移动游戏对象。作为又一个实例,游戏处理器110将游戏对象移位与可穿戴装置WD1至WD10中的一个的移位距离相同的距离。
在一些实施方案中,用户101穿戴任意数量的可穿戴装置。例如,用户101穿戴可穿戴装置WD1、可穿戴装置WD3和可穿戴装置WD5并且不穿戴可穿戴装置WD2和不穿戴可穿戴装置WD4。作为另一个实例,用户101在他的/她的手指上穿戴多于一个可穿戴装置。作为又一个实例,用户101在每隔一个手指上穿戴可穿戴装置。
应注意,在一些实施方案中,游戏数据和/或游戏代码存储在游戏控制台120的游戏存储器装置120中。游戏数据和/或游戏代码由游戏处理器108从游戏存储器装置120访问。在各种实施方案中,将游戏数据存储在HMD 102的HMD存储器装置122中。游戏数据由CPU112从HMD存储器装置122访问以便将游戏显示在一个或多个显示屏118上。
如本文所使用,存储器装置包括非易失性计算机可读介质,例如,随机访问存储器(RAM)或只读存储器(ROM)或其组合等。存储器装置的实例包括闪存存储器、冗余阵列的存储盘、硬盘、磁存储器、致密盘等。
应注意,每个可穿戴装置WD1至WD10仅穿戴在用户101的任意手指上。例如,可穿戴装置WD5穿戴在用户101的左手H1的食指上或用户101的右手H2的大拇指上。作为另一个实例,可穿戴装置WD8穿戴在用户101的左手H1的大拇指上。
可穿戴装置的其他实例包括手表、手镯、手腕带、橡胶带、金属带、手腕带、项链、链子等。
图2A是用来示出可穿戴装置WD1至WD5穿戴在左手手指的远端(例如,远节指骨等)上的用户101(图1)的左手的实施方案的图。例如,可穿戴装置WD4穿戴在用户101的左手食指的远端202上。除用户101的大拇指之外的每个手指具有三个部分,包括近端部分、中间部分和远端。近端部分(例如,近节指骨等)由手指关节(例如,拇指指节间关节等)连接到中间部分(例如,中间节指骨等),并且中间部分通过另一个手指关节(例如,拇指指节间关节等)连接到远端。用户101的大拇指具有两个部分,即,近端部分和远端。在一些实施方案中,可穿戴装置被穿戴成围绕用户101手指远端的一部分。整合在可穿戴装置WD5内的光源LE5在用户101的左手的大拇指上可见。
图2B是用来示出整合在可穿戴装置WD1至WD5内的光源(例如,LE 1至5等)的用户101(图1)的左手的实施方案的图,所述可穿戴装置WD1至WD5穿戴在用户101手指的远端上。可穿戴装置WD1至WD5由用户110穿戴以有助于将光源LE1至LE5定位在用户101左手的背侧上。背侧上的位置有助于由光学传感器104和106(图1)访问由光源LE1至LE5发射的光。类似地,将多个光源LE6至LE10(在下文进一步描述)整合到可穿戴装置WD6至WD10中并且定位在用户101的右手上以有助于由光学传感器104和106访问由光源LE6至LE10发射的光。
图2C是用来示出将可穿戴装置WD1至WD5定位在处于用户101的对应手指的远端与中间部分之间的手指关节上的用户101(图1)的左手的实施方案的图。例如,可穿戴装置WD1穿戴在连接用户101左手小拇指远端的拇指指节间关节上。
图2D是用来示出将可穿戴装置WD1至WD5定位在用户101的对应手指的中间部分上的用户101(图1)的左手的实施方案的图。例如,可穿戴装置WD4穿戴成围绕用户101左手食指的中间部分204,并且可穿戴装置WD3穿戴成围绕用户101的左手中指的中间部分。
图2E是用来示出可穿戴装置WD1至WD5在连接用户101左手的对应手指的中间部分和手指的近端部分的手指关节上的位置的用户101(图1)的左手的实施方案的图。可穿戴装置WD5穿戴在用户101左手的大拇指上以被定位在处于大拇指远端与大拇指近端部分之间的手指关节上。
图2F是用来示出可穿戴装置WD1至WD5在用户101手指的近端部分上的位置的用户101(图1)的左手的实施方案的图。例如,可穿戴装置WD4穿戴成邻接和配合用户101的左手食指的近端部分。
图3A是用来示出使用被穿戴在用户101(图1)左手手指远端各部分上的可穿戴装置W1、W2、W3、W4和W5来覆盖手指指甲的用户101的左手H1的实施方案的图。例如,可穿戴装置W4穿戴在用户101的左手食指的远端202的至少一部分上以覆盖食指的尖端302。作为另一个实例,可穿戴装置W4穿戴在远端202的至少一部分上以在所述部分上作为盖起作用。
应注意,用户101右手手指的各部分也用类似可穿戴装置(例如类似于可穿戴装置W1至W5等)覆盖。
图3B是用来示出将光源LE1至LE5整合到对应的可穿戴装置W1至W5中的用户101的左手的实施方案的图。例如,将光源LE1整合成可穿戴装置W1的一部分。可穿戴装置W1至W5被穿戴成有助于将光源LE1至LE5在用户101左手的背侧上可见。光源LE1至LE5的可见性允许由光源LE1至LE5发射的光被光学传感器104和106(图1)访问。类似地,类似于可穿戴装置W1至W5的可穿戴装置穿戴在用户101的右手上以有助于使整合在类似可穿戴装置内的对应的光源在右手背侧上可见。
图4A是用来示出使用贴片P1、P2、P3、P4和P5作为可穿戴装置的用户101(图1)左手的实施方案的图。贴片P1至P5由编织物(例如,VelcroTM材料、织物、棉、聚酯、尼龙等)制成。在一些实施方案中,贴片P1至P5由柔性塑料材料制成。贴片P1至P5穿戴在用户101左手手指的远端上。在一些实施方案中,贴片P1至P5穿戴在用户101左手手指的任何其他部分(例如,中间部分、近端部分、手指关节等)上。类似地,贴片穿戴在用户101右手手指上。
光源LE1至LE5与对应的贴片P1至P5整合在一起。当贴片P1至P5穿戴在用户101的手指上时,光源LE1至LE5被定位成在用户101左手的背侧上可见。所述可见性允许光学传感器104和106(图1)访问由LE 1至LE5生成的光。
在一些实施方案中,将贴片附接(例如,胶粘、使用VelcroTM附接、利用销紧固、夹持等)到用户101的一件衣物以确定贴片所附接的位置的定位。在各种实施方案中,贴片附接到可穿戴装置,例如手表、太阳镜、处方眼镜等。
图4B是穿戴在用户101(图1)手指上的贴片402的实施方案的图。贴片402是穿戴在用户101右手上的贴片P1至P5中任一个或任意路径的实例。贴片402具有在贴片402的顶部表面404上发射光以便由光学传感器104和106(图1)访问的光源403。光源403是光源LE1至LE10中任一个的实例。此外,贴片402在底部表面406(在图4B中不可见)上具有VelcroTM,所述底部表面406与顶部表面404相对。用户101在他的/她的手指上穿戴贴片402以围绕底部表面406并且与底部表面406邻接,并且定位贴片402以有助于光源403对光学传感器104和106的可见性。
在一些实施方案中,替代贴片402,夹具、可拉伸织物、塑料材料、橡胶带、金属带等用作具有整合的光源的可穿戴装置。
图5是用来示出将LE1至5整合到手套502的手指部分504A、504B、504C、504D和504F中的用户101(图1)的左手的实施方案的图。例如,将光源LE1与手指部分504A整合在一起,将光源LE2与手指部分504B整合在一起,将光源LE3与手指部分504C整合在一起,将光源LE4与手指部分504D整合在一起,并且将光源LE5与手指部分504E整合在一起。在一些实施方案中,手套502由织物或塑料制成。手套502穿戴在用户101的左手上。光源LE1至LE5位于手套502的背侧上。背侧上的位置有助于在光源LE1至LE5与光学传感器104和106(图1)之间形成瞄准线。应注意,手套穿戴在用户101的右手上并且手套与光源LE6至LE10整合在一起。
在一些实施方案中,任意数量的光源位于手套502的手指部分上。例如,多个光源与手指部分504A整合在一起。在各种实施方案中,光源LE1至LE5以一定图案(例如,Z形图案、直线、曲线图案等)位于手指部分504A、504B、504C、504D和504F上。在一些实施方案中,光源位于每隔一个手指部分上。例如,将光源LE1与手指部分504A整合在一起,手指部分504B缺少光源,将光源LE3与手指部分504C整合在一起,手指部分504D缺少光源,并且将光源LE5与手指部分504E整合在一起。
图6A是具有光源403并且穿戴在用户101(图1)手指上的指环602的实施方案的图。光源403与指环602整合在一起。指环602是可穿戴装置WD1至WD10中任一个的实例,并且光源403是光源LE 1至LE 10中任一个的实例。
图6B是由从信号传输器608接收的电力信号充电的指环606的实施方案的图。指环606是可穿戴装置WD1至WD10(图1)中任一个的实例。信号传输器608连接到电源610。
电源610的实例包括射频(RF)电源、电池、电池组和可编程电源。在一些实施方案中,RF电源包括低电压电源,例如少于几百伏特等。此外,在各种实施方案中,可编程电源是可编程的以通过模拟或数字接口控制。例如,电力的量和由可编程电源生成的电力的频率由远程处理器控制。信号传输器608的实例包括用由电源610生成的信号调制载波波形以生成电力信号611的调制器。
将电力信号611传输给整合在指环606内的信号接收器612。例如,在信号传输器608与信号接收器612之间的距离处于一到两米之间的范围中以有助于向信号接收器612传输电力信号610。信号接收器612解调电力信号610以生成通过导体(例如,导线等)供应至位于指环606的空间内侧(例如,凹处等)的电容器616的电力信号614。电容器616用电力信号614充电并且在电容器616充电之后,电容器616向光源618A提供电力。光源618A是光源LE1至LE10中任一个的实例。光源618A在从电容器616接收到电力之后发射光。
在一些实施方案中,替代电容器616,将电容器群组放置在指环606内的空间内侧。例如,所述群组包括与彼此并行耦合以能够由电力信号614对电容器并行充电的电容器。
图6C是包括多个光源618A和618B的另一个指环630的实施方案的图。指环630是可穿戴装置WD1至WD10中任一个的实例。光源618B是光源LE1至LE10中任一个的实例。将由电容器616储存的电力的一部分由电容器616提供给光源618A并且将剩余部分通过导体632提供给光源618B。在接收到电力的剩余部分之后,光源618B发射光。
在一些实施方案中,信号接收器612包括使由信号接收器612生成的解调信号分离以生成两个分离信号的分离器。将两个分离信号中的一个提供给电容器616。将两个分离信号中的另一个通过分离器提供给连接到分离器的另一个电容器(未示出)。所述另一个电容器也连接到光源618B。所述另一个电容器由另一个分离信号充电并且向光源618B提供充电电力。光源618B在从另一个电容器接收到电力之后发射光。分离器的实例包括将信号接收器612连接到另一个电容器的导体。实施方案排除导体632。
在一些实施方案中,用户101的皮肤用来传输电力信号。在各种实施方案中,由电源610生成的电力信号从Wi-Fi信号提取。
图7A是用来示出具有不同数量的光源的指环606、702、704、706和708的实施方案的图。例如,指环606具有光源618A。指环702具有光源618A和618I。指环704具有光源618A、618E、618I和618M。指环706具有光源618A、618C、618E、618G、618I、618K、618M和618O。指环708具有光源618A、618B、618C、618D、618E、618F、618G、618H、618I、618J、618K、618L、618M、618N、618O和618P。每个指环606、702、704、706和708是可穿戴装置WD1至WD10中任一个的实例。光源618A、618B、618C、618D、618E、618F、618G、618H、618I、618J、618K、618L、618M、618N、618O和618P中的任一个是光源LE1至LE10中的任一个的实例。
应注意,指环的光源位于指环的周边。例如,光源618A和618I位于指环606直径的相对端处。当光源618A和618I位于相对端时,光学传感器104和106(图1)一次不能访问由光源618A和618I一次发射的光。这使光学传感器能够确定光源618A的位置和光源618I的位置。
在各种实施方案中,指环的光源按序列(例如,连续地)以轮转方式、以随机方式等发射光。例如,在指环704上光源618A发射光,然后光源618E发射光,之后光源618I发射光,并且然后光源618M发射光以便以轮转方式连续地发射光。作为另一个实例,光源618A发射光,然后光源618G发射光,然后光源618M发射光,然后光源618E发射光等。在这个实例中,光源618A、618G、618M和618E以随机序列方式发射光。
在一些实施方案中,指环的光源彼此是等距的。例如,指环708的光源618A与618B之间的周边距离与光源618B与618C之间的周边距离相同。
在各种实施方案中,指环的光源彼此不等距。例如,指环708的光源618A与618B之间的周边距离大于光源618B与618C之间的周边距离。
图7B是用来示出将来自光源618A、618E、618I、618M、618Q、618R、618S和618T的光发射进行排序的多个指环704和710的实施方案的图。指环710是可穿戴装置WD1至WD10中任一个的实例。此外,光源618Q、618R、618S和618T中的任一个是光源LE1至LE10中任一个的实例。光源618Q、618R、618S和618T位于指环710的周边并且彼此是等距的。在一些实施方案中,光源618Q、618R、618S和618T彼此不等距。指环704和710两者具有相同数量的光源。
在一些实施方案中,指环704穿戴在用户101(图1)的一个手指上,并且指环710穿戴在用户101的另一个手指上。作为实例,指环704穿戴在用户101的左手上,并且指环710穿戴在用户101的右手上。作为另一个实例,指环704穿戴在用户101手的一个手指上,并且指环710穿戴在用户101手的另一个手指上。
指环704和710的光源序列地和可替代地发射光。例如,由光源618A、618E、618I、618M、618Q、618R、618S和618T得到的光存在交替的发射序列。为了进一步说明,光源618A首先发射光,光源618Q第二个发射光,光源618M第三个发射光,之后光源618T第四个发射光,光源618I第五个发射光,之后光源618S第六个发射光,然后光源618E第七个发射光,并且然后光源618R第八个发射光。
图7C是用来示出不同形状的指环的图。例如,指环712是正方形形状,另一个指环714是椭圆形形状,指环716是矩形形状,指环718是三角形形状并且另一个指环720是五边形形状。在一些实施方案中,指环是多边形形状。在各种实施方案中,指环是曲线形状和直线形状的组合。在若干实施方案中,指环是曲线形状。每个指环712、714、716和720是可穿戴装置WD1至WD10中任一个的实例。
图8A-8I是用来示出将多个光学传感器放置在HMD 800上的不同位置L1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12、L13、L14、L15、L16、L17、L18、L19、L20和L21的图。例如,将光学传感器104(图1)在HMD 800上放置在位置L1至L21中的任一个处。如图8A-1所示,HMD800是HMD 102(图1)的实例。在一些实施方案中,HMD 800是Sony Computer EntertainmentAmerica LLC研究与开发的产品。HMD 800包括将HMD 800支撑在用户101(图1)的头上的头支撑部802。HMD 800包括开启/关闭开关804,其允许开启或关闭HMD 800。
HMD 800包括放置在用户101的眼睛前面以用一个或多个显示屏808覆盖眼睛的框架806。框架806嵌入并且保护一个或多个显示屏808。游戏显示在一个或多个显示屏808上以向用户101提供娱乐、玩游戏体验。框架806具有前面810,所述前面810面向框架806的侧面、与HMD 800的剩余主体812所在的侧面相对。剩余主体814包括支撑用户101头部后侧的后部支撑部810。剩余主体814还包括绕用户101头的侧面和后部配合的框架816。光学传感器104和106在HMD 800的框架806的底部表面处附接到HMD 800。光学传感器104被定位到位置L19(在图8A-2中所示)并且光学传感器106被定位在位置L20(其也在图8A-2中所示)处。
图8A-2是用来示出光学传感器附接到HMD 800的框架806外侧的各种其他位置(例如,L1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12、L13、L14、L15、L16、L17、L18和L21等)的HMD 800的实施方案的图。
在一些实施方案中,将一个或多个标记物(例如,光源、反射带、反射材料等)放置在位置L1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12、L13、L14、L15、L16、L17、L18、L19、L20和L21中的一个或多个处以允许图像捕获装置捕获标记物的图像,以便确定HMD 800的位置和/或定向。
如本文中所使用,图像捕获装置是数字摄像机或立体摄像机或深度感测图像捕获装置或深度摄像机或红外线摄像机等。
参考图8B,其提供HMD 800的前面810的实施方案的前视图,许多光学传感器OS2、OS14、OS19和OS20位于位置L2、L14、L19和L20处。光学传感器OS2位于正面810的左边缘LE处,并且光学传感器OS14位于前面810的右边缘RE处。光学传感器OS19和OS20位于前面810的底部边缘BE处。
在一些实施方案中,底部边缘BE大致是垂直的(例如,从80度至100度的范围内),或垂直于左边缘和右边缘中的每一个。在各种实施方案中,前面810的顶部边缘TE大致是垂直的或垂直于左边缘和右边缘中的每一个,并且并行或大致并行于底部边缘BE。
图8C是HMD 800(图8A)的前面810的实施方案的前视图。多个光学传感器OS5、OS8和OS11位于前面810的位置L5、L8和L11处。应注意,在一些实施方案中,光学传感器OS5、OS8和OS11被彼此等距离定位。在各种实施方案中,光学传感器OS5、OS8和OS11被彼此不等距离定位。例如,光学传感器OS5与OS8之间的距离大于或小于光学传感器OS8与OS11之间的距离。
图8D是HMD 800(图8A)的前面810的实施方案的前视图。如图8D所示,光学传感器OS5和OS11在前面810上位于对应位置L5和L11处。
图8E是HMD 800(图8A)的前面810的实施方案的图。多个光学传感器OS4、OS6、OS10和OS12位于前面810的拐角处。例如,光学传感器OS4在前面810上位于顶部左拐角、位置L4处,光学传感器OS10在前面810上位于顶部右拐角、位置L10处,光学传感器OS12在前面810上位于底部右拐角、位置L12处,并且光学传感器OS6在前面810上位于底部左拐角、位置L6处。
光学传感器OS4与OS10之间的距离与光学传感器OS6与OS12之间的距离相同或不同。此外,光学传感器OS4与OS6之间的距离与光学传感器OS10与OS12之间的距离相同或不同。
图8F是用来示出光学传感器OS19、OS20和OS21在前面810的底部边缘BE处的位置的前面810的实施方案的图。例如,光学传感器OS19位于位置L19处,光学传感器OS20位于位置L20处,并且光学传感器OS21位于位置L21处。
在各种实施方案中,光学传感器OS19、OS21和OS20彼此是等距离的。在若干实施方案中,光学传感器OS19与OS21之间的距离与光学传感器OS20与OS21之间的距离不同。
图8G是用来示出光学传感器OS2和OS14在前面810的对应的左边缘和右边缘处的位置的前面810的实施方案的图。此外,在图8G中,光学传感器OS8在前面810上位于位置18处。
在一些实施方案中,光学传感器OS2、OS8和OS14被彼此等距离定位。在各种实施方案中,光学传感器OS2与OS8之间的距离与光学传感器OS8与OS14之间的距离不同。
图8H是前面810的实施方案的图,在所述前面810上光学传感器OS2和OS14位于前面810的相应左边缘和右边缘处。
在一些实施方案中,光学传感器OS2和OS14位于前面810的对应左边缘和右边缘的中心处。在各种实施方案中,光学传感器OS2和OS14位于相应左边缘和右边缘,但距相应左边缘和右边缘的中心一定距离处。
图8I是用来示出光学传感器OS6、OS7和OS12位于相应位置L6、L7和L12处的前面810的实施方案的图。应注意,位置L6、L7和L12在前面810上形成三角形图案。
在各种实施方案中,光学传感器OS6与OS7之间的距离与光学传感器OS7与OS12之间的距离相同。在一些实施方案中,光学传感器OS6与OS7之间的距离与光学传感器OS7与OS12之间的距离不同。
图9A是用来示出将电力信号传输至可穿戴装置WD1至WD10并且从可穿戴装置WD1至WD10中的每一个接收光信号的信号生成器和检测器(SGD)901的实施方案的图。SGD 901包括信号传输器608和电源610。SGD 901还包括滤波器902和取样器904,所述滤波器902和取样器904两者都是任选的。此外,SGD 901包括A至D转换器906和多个光学传感器装置914(例如,光学传感器104和106(图1)等)。
在接收到被广播至所有可穿戴装置WD1至WD10的电力信号611之后,可穿戴装置WD1至WD10序列地发射光。例如,LE1在时间段t1期间发射光,LE2在时间段t2期间发射光,LE3在时间段t3期间发射光,以此类推直到LE10在时间段t10期间发射光。应注意,在一些实施方案中,时间段和时隙在本文可互换地使用。由LE 1至10进行的光的发射重复。例如,LE10在序列结束时发射光,之后LE1发射光。滤波器902过滤光的落进可见光谱或红外线光谱中的部分。例如,当LE1(图1)发射可见光时,滤波器902过滤可见光以将任何红外光(例如,来自周围环境的红外光、来自LE1的红外光等)移除。
光学传感器装置914检测由可穿戴装置WD1至WD10序列地发射的光以生成电信号。将电信号由A至D转换器906从模拟形式转换成数字形式并且生成数字数据,所述数字数据从A至D转换器906被提供给取样器904。在各种实施方案中,A至D转换器906是光学传感器装置914的一部分。取样器904对数字数据取样以生成数据的多个样本。
应注意,在一些实施方案中,SGD 901位于HMD 102(图1)内。
在各种实施方案中,SGD 901排除A至D转换器906和取样器904。在这些实施方案中,由光学传感器装置914生成的电信号由HMD 102的通信装置116(图1)传输至游戏控制台108(图1)的通信装置114(图1)。光学传感器装置914耦合到HMD 102的通信装置116。此外,在这些实施方案中,游戏控制台108包括A至D转换器906和取样器904,所述A至D转换器906和取样器904在游戏控制台108中是任选的。游戏控制台108中的A至D转换器906连接到通信装置114以接收由任选的传感器装置914生成的电信号。
在一些实施方案中,A至D转换器906和取样器904位于游戏控制台108内而不是HMD102内。例如,将电信号通过通信装置114和116从任选的传感器装置914传送到游戏控制台108内的A至D转换器906。
图9B是另一个SGD 920的实施方案的图,所述另一个SGD 920包括频率滤波器922以将不希望的频率过滤掉。SGD 920包括光学传感器装置914、时域至频域转换器924、频率滤波器922、频域至时域转换器926、A至D转换器906和取样器904。应注意,取样器904任选地包括在SGD 920中。
光学传感器装置914感测由可穿戴装置WD1至WD10序列地发射的光以生成电信号。时域至频域转换器924将电信号从时域转换至频域以生成频域信号。频率滤波器922将可见频率或红外频率过滤掉以生成过滤的信号。例如,当LE 1至10发射可见光时,频率滤波器922将红外频率过滤掉并且当LE 1至10发射红外光时,频率滤波器922将可见频率过滤掉。
频域至时域转换器926接收过滤的信号并且将所述过滤的信号从频域转换回时域。A至D转换器906将从频域至时域转换器926接收的时域信号从模拟形式转换成数字形式以生成数字信号。取样器904对从A至D转换器906接收的数字信号取样以生成取样的信号。
在一些实施方案中,SGD 920位于HMD 102(图1)内。
在各种实施方案中,时域至频域转换器924、频率滤波器922、频域至时域转换器926、A至D转换器906和取样器904位于游戏控制台108内而不是HMD 102内。例如,将电信号通过通信装置114和116传送到游戏控制台108内的时域至频域转换器924。
图10A-1是用来示出可穿戴装置1000的部件的可穿戴装置1000的实施方案的框图。可穿戴装置1000是可穿戴装置WD1至WD10(图1)中任一个的实例。可穿戴装置1000包括光源1006,所述光源1006是LE 1至10(图1)中任一个的实例。可穿戴装置1000包括信号接收器1002、电荷存储装置104和开关1008。电荷存储装置1004的实例包括一个或多个电容器(例如,电容器616(图6C))。电荷存储装置1004的另一个实例包括电池。开关1008的实例包括晶体管或晶体管群组。
信号接收器1002从信号传输器608(图9A)接收电力信号611并且解调电力信号611以生成电荷信号,所述电荷信号由信号接收器1002提供给电荷存储装置1004。电荷存储装置1004存储电荷存储信号的电荷并且当开关1008关闭时,将所存储的电荷通过开关1008提供给光源1006。光源1006被预编程以在接收到电荷存储信号的电荷之后发射光。光源1006在开关1008关闭时接收电荷存储信号的电荷并且在开关1008打开时不接收电荷存储信号。
开关1008基于由延迟控制器101发送的信号和由频率控制器1012发送的信号而打开或关闭。在一些实施方案中,控制器(如本文所使用)包括处理器、ASIC、PLD或其组合。延迟控制器1010被预编程具有时间延迟以关闭开关1008。例如,延迟控制器1010控制开关1008以在被编程到延迟控制器1010中的时间延迟之后关闭。当从电荷存储装置1004接收存储在电荷存储装置1004中的电荷时,光源1006在时间延迟之后发射光。在一些实施方案中,时间延迟被预编程以允许电荷存储装置1004被充电超过预先确定的电平。
在控制开关1008关闭之后,延迟控制器1010向频率控制器1012发送信号。在从频率控制器1012接收到信号之后,频率控制器1012生成控制开关1008在其下打开和关闭的频率的信号。光源1006在开关1008在其下关闭的频率处发射光直到电荷存储装置1004中的电荷的量低于电平。
在一些实施方案中,整合在手套内的一个或多个光源由电源(例如,电池、一个电容器、多个电容器等)提供电力。例如,手套的每个手指部分包括由电力信号611充电的一个电容器或多个电容器。电池的实例包括可再充电电池和非可再充电电池。在电池用来向手套的光源提供电力的情况下,不需要电力信号611并且开关1008连接到电池以允许或不允许向光源1006供应电力。在一些实施方案中,在电荷存储装置1002不用电力信号611充电超过预先确定的电平的情况下,备用电池连接到电荷存储装置1004以对电荷存储装置1004充电。
图10A-2是用来示出使用电荷传感器1013来触发由光源1006发射光的可穿戴装置1020的实施方案的图。可穿戴装置1020是可穿戴装置WD1至WD10(图1)中任一个的实例。电荷传感器1013连接到电荷存储装置1004和比较器1017。在各种实施方案中,比较器1017实现为控制器或ASIC或PLD或其组合。
电荷传感器1013测量存储在电荷存储装置1004中的静电电荷的量并且将所测量的电荷提供给可穿戴装置1020的比较器1017。比较器1017确定所测量的电荷是否超过预先确定的量并且向延迟控制器1010发送信号以激活延迟控制器1010。当延迟控制器1010被激活时,延迟控制器1010等待可穿戴装置1020的所预编程的延迟的量并且在延迟之后将信号发送至开关1008以关闭开关1008。此外,在发送信号以关闭开关1008之后,延迟控制器1010还向频率控制器1012发送信号以在预先确定的或预编程的频率下打开和关闭开关1008。
应注意,被预编程到延迟控制器1010中的延迟的量对可穿戴装置WD1至WD10中的每一个是不同的。例如,被预编程到WD1的延迟控制器1010中的延迟的量小于被预编程到WD2的延迟控制器1010中的延迟的量,并且被预编程到WD2的延迟控制器1010中的延迟的量小于被预编程到WD3的延迟控制器1010中的延迟的量,等等。
此外,应注意,在一些实施方案中,开关1008在其下打开和关闭并且被预编程到频率控制器1012中的频率对全部可穿戴装置WD1至WD10是相同的。
图10B是用来示出对电荷存储装置1004(图10A-1、图10A-2)充电和放电的曲线图1022的实施方案。曲线图1022绘制电荷对时间t的量。在接收到电力信号611(图10A-2)的情况下,存储在电荷存储装置1004中的电荷的量增加。当电荷存储装置1004中的电荷达到预先确定的量时,开关1008(图10A-1、图10A-2)关闭并且光源1006(图10A-1、图10A-2)发射光。电荷存储装置1004中的电荷的量在达到预先确定的量之后保持恒定或大致恒定,例如处于预先确定的范围内等。当电力信号611不再被广播时,电荷存储装置1004中的电荷消散,并且最终光源1006并不打开或保持关闭,即使在开关1008关闭的情况下。
图10C是由光源LE1至LE10进行的光的序列发射的时序图。在接收到电力信号611(图10A-1)之后,光源LE1发射光。光源LE1在发射光时间段t1之后停止光的发射。然后,在时间段t1之后,在接收到电力信号611之后,光源LE2发射光时间段t2。在时间段t2之后,光源LE2中断发射光并且光源LE3开始光的发射时间段t3。在时间段t3之后,光源LE3停止光的发射并且光源LE4发射光时间段t4。这继续时间段t5、t6、t7、t8、t9和t10。在时间段t10期间,光源LE10发射光。在光源LE10发射光时间段t10之后,光源LE1重复光的发射时间段t11。由剩余光源LE2至L10进行的光的发射的另一个周期在时间段t11之后重复。例如,光的发射在时间段t12、t13、t14、t15、t16、t17、t18、t29、t20、t21、t22和t23期间重复。
图11A-1是用于示出电力信号611和同步信号1102的生成的信号生成器1100的实施方案的图。在一些实施方案中,信号生成器1100位于HMD 102(图1)内。信号生成器1100包括信号传输器608、电源610、另一个信号传输器1104和同步器1107、存储器装置1108和时钟源1109。在各种实施方案中,同步器1107实现为控制器或ASIC或PLD或其组合。
存储器装置1108存储可穿戴装置WD1至WD10的识别代码(ID),例如,数字、字母数字字符、字符等。例如,将ID1分配给可穿戴装置WD1,将另一个ID2分配给可穿戴装置WD2,将又一个ID3分配给可穿戴装置WD3,将又一个ID4分配给可穿戴装置WD4,将ID5分配给可穿戴装置WD5,将另一个ID6分配给可穿戴装置WD6,将又一个ID7分配给可穿戴装置WD7,将又一个ID8分配给可穿戴装置WD8,将另一个ID9分配给可穿戴装置WD9,并且将另一个ID10分配给可穿戴装置WD10。在一些实施方案中,标识符和识别代码在本文中可互换地使用。
电力信号611被生成并且传输(例如,广播)至可如上文所述的全部穿戴装置WD1至WD10。在传输电力信号611期间,同步器1107从存储器装置1108接收可穿戴装置WD1至WD10中的一个的ID(例如,ID1等)并且生成嵌入ID的信号。嵌入ID的信号在时钟周期与由时钟源1109(例如,时钟振荡器、具有锁相环路的振荡器)生成的时钟信号同步期间生成。嵌入ID的信号由同步器1107提供给信号传输器1104。信号传输器1104的实例包括用由同步器1107生成并且从同步器1107接收的信号调制载波波形的调制器。载波波形由信号传输器1104调制以生成同步信号1102。具有可穿戴装置WD1至WD10中的一个的ID的同步信号1102由信号传输器1104广播至全部可穿戴装置WD1至WD10。
在下一个时钟周期(例如,连续地跟随在其期间生成可穿戴装置WD1至WD10中的一个的ID的时钟周期等的时钟周期)期间,包括可穿戴装置中的另一个(例如,WD2等)的ID(例如,ID2等)的另一个信号与时钟信号同步生成并且然后由信号传输器1104传输至可穿戴装置WD1至WD10。以此方式,同步信号的生成和传输与针对全部剩余的可穿戴装置(例如,WD3至WD10等)的时钟信号同步执行,并且然后针对全部可穿戴装置WD1至WD10的同步信号的生成和传输与时钟信号同步重复。
在一些实施方案中,由同步器1107生成的信号和由电源610生成的信号两者由传输器608或传输器1104传输。在这些实施方案中,电源610和同步器1107连接到传输器608或传输器1104。
在若干实施方案中,除嵌入可穿戴装置WD1至WD10中的一个的ID之外,时间延迟也嵌入同步信号内。在这些实施方案中,存储器装置1108包括在可穿戴装置WD1至WD10的ID与在其之后可穿戴装置WD1至WD10将在接收到电力信号611之后发射光的时间延迟之间的映射。例如,存储器装置1108在ID1与时间延迟td1之间包括链路。时间以td1是在可穿戴装置WD1接收电力信号611之后由可穿戴装置WD1的LE1进行的光的发射的时间延迟。同步器1107将ID1至10,在ID1至10与由光源LE1至LE10进行的光的发射的时间延迟(例如,td1、td2、td3、td4、tf5、tf6、tf7、td8、td9、td10等)之间的映射嵌入同步信号中。例如,同步器1107在时钟信号的由时钟源1109生成的第一时钟周期期间嵌入ID1和时间延迟td1,并且在时钟信号的第二时钟周期期间嵌入ID2和时间延迟td2。第二时钟周期与第一时钟周期连续。
在各种实施方案中,除嵌入可穿戴装置WD1至WD10中的一个的ID之外,时间延迟和频率也嵌入同步信号内。在这些实施方案中,存储器装置1108包括在可穿戴装置WD1至WD10的ID、在其之后可穿戴装置WD1至WD10将在接收到电力信号611之后发射光的时间延迟与光的发射的频率之间的映射。例如,存储器装置1108在ID1、时间延迟td1与频率f1之间包括链路。同步器1107将ID1至10,在ID1至10与由光源LE1至LE10进行的光的发射的时间延迟(例如,td1、td2、td3、td4、tf5、tf6、tf7、td8、td9、td10等)之间的映射以及在ID1至10与由光源LE1至LE10进行的光的发射的频率(例如,f1、f2、f3、f4、f5、f6、f7、f8、f9、f10等)之间的映射嵌入同步信号中。例如,同步器1107在时钟信号的由时钟源1109生成的第一时钟周期期间嵌入ID1、时间延迟td1和频率f1,并且在时钟信号的第二时钟周期期间嵌入ID2、时间延迟td2和频率f2。
图11A-2是用来示出由光学传感器装置914对光的收集与由光源LE1至LE10对光的发射同步的信号生成器1101的实施方案的图。信号生成器1101与信号生成器1100(图11A-1)相同,不同的是同步器1107连接到光学传感器装置914。在生成包括第一ID(例如,ID1等)的同步信号之后,同步器1107向光学传感器装置914发送激活的信号以激活(例如,启用、打开等)光学传感器装置914以便收集光。当光学传感器装置914被激活时,光学传感器装置收集由具有第一ID的光源发射的光。同步器1107发送去激活的信号以在发送激活的信号之后的预先确定的时间段之后去激活(例如,禁用、关闭等)光学传感器装置914。类似地,在生成包括第二ID(例如,ID2等)的同步信号之后,同步器914向光学传感器装置914发送另一个激活的信号以激活光学传感器装置914以便从具有第二ID的光源收集光。以此方式,光学传感器装置914与由光源LE1至LE10进行的光的发射同步。
在一些实施方案中,光学传感器装置914与由时钟源1109生成的时钟信号同步打开和关闭。时钟源1109连接到光学传感器装置914。例如,在时钟信号的时钟周期的工作中的周期期间,同步器914发送具有第一ID的同步信号,并且光学传感器装置914由工作中的周期激活以从具有第一ID的光源收集光。在时钟信号的时钟周期的不工作的周期期间,光学传感器装置914由不工作的周期去激活并且不能从光源收集光。
图11B是用来示出使用可穿戴装置WD1至WD10(图1)中的一个的识别代码(ID)来生成光的光发射器装置1110的实施方案的图。光发射器装置1110在可穿戴装置WD1至WD10中的任一个内实现。光发射器装置1110包括信号接收器1002、电荷存储装置1004、开关1008、另一个信号接收器1112和ID比较器1114。在一些实施方案中,ID比较器1114实现为控制器或PLD或ASIC或其组合。
信号接收器1102接收具有可穿戴装置WD1至WD10的ID的同步信号1102。信号接收器1102解调同步信号1102以生成到ID比较器1114的具有可穿戴装置WD1至WD10的ID的信号。ID比较器1114将被接收在从信号接收器1112接收的信号内的ID与存储在ID比较器1114的存储器装置中的ID进行比较以确定ID是否匹配。在确定ID匹配之后,ID比较器1114向开关1008发送信号以关闭开关1008。当开关1008打开时,来自电荷存储装置1004的电荷通过开关1008发送至光源1106。在接收到电荷之后,光源1106发射光。
在各种实施方案中,本文描述的如由信号接收器1112执行的操作由信号接收器1002执行。在这些实施方案中,信号接收器1002连接到电荷存储装置1004和ID比较器1114两者。
图11C是用来示出使用可穿戴装置WD1至WD10(图1)的ID和所述ID与时间延迟td1至td10之间的关联性的另一个光发射器装置1130的实施方案的图。光发射器装置1130在可穿戴装置WD1至WD10中的任一个内实现。光发射器装置1130包括信号接收器1002、电荷存储装置1004、开关1008、信号接收器1112、ID比较器1114和时间延迟提取器(TDE)1133。在一些实施方案中,TDE 1133实现为控制器或PLD或ASIC或其组合。
包括可穿戴装置WD1至WD10的ID与时间延迟td1至td10之间的关联性的同步信号由光发射器装置1130的信号接收器1112接收。信号接收器1112解调同步信号以生成具有可穿戴装置WD1至WD10的ID与时间延迟td1至td10之间的关联性的信号。ID比较器1114执行从信号接收器1112接收在信号内的ID 1至10与存储在ID比较器1114的存储器装置中的ID的比较以确定是否存在匹配。在确定存在匹配之后,ID比较器1114向TDE 1133发送匹配的ID和在所匹配的ID与时间延迟td1至td1中的一个之间的关联性。
TDE 1133从所匹配的ID与时间延迟td1至td10中的一个之间的关联性进行提取(例如,识别等),并且将时间延迟应用到开关1008。例如,TDE 1133向开关1108发送信号以在对应于匹配的ID的时间延迟之后关闭开关。当开关1008关闭时,将存储在电荷存储装置1004中的电荷通过开关1008从电荷存储装置1004供应至光源1006以便由光源1006发射光。
图11D是用来示出使用可穿戴装置WD1至WD10(图1)的ID和所述ID与时间延迟td1至td10之间的关联性、所述ID与频率f1至f10之间的关联性的另一个光发射器装置1135的实施方案的图。光发射器装置1135在可穿戴装置WD1至WD10中的任一个内实现。光发射器装置1135包括信号接收器1002、电荷存储装置1004、开关1008、信号接收器1112、ID比较器1114和频率和时间延迟提取器(FTD)1132。在一些实施方案中,FTD 1132实现为控制器或PLD或ASIC或其组合。
包括可穿戴装置WD1至WD10的ID、时间延迟td1至td10与频率f1至f10之间的关联性的同步信号由光发射器装置1135的信号接收器1112接收。信号接收器1112解调同步信号以生成具有可穿戴装置WD1至WD10的ID、时间延迟td1至td10与频率f1至f10之间的关联性的信号。ID比较器1114执行从信号接收器1112接收在信号内的ID 1至10与存储在ID比较器1114的存储器装置中的ID的比较以确定是否存在匹配。在确定存在匹配之后,ID比较器1114向FTD 1132发送匹配的ID、在所匹配的ID与时间延迟td1至td1中的一个之间和在所匹配的ID与频率f1至f10中的一个之间的关联性。
FTD 1132从在所匹配的ID与时间延迟td1至td10中的一个和频率f1至f10中的一个之间的关联性、时间延迟和频率进行提取(例如,识别等),并且将频率和时间延迟应用到开关1008。例如,FTD 1132向开关1108发送信号以在对应于匹配的ID的时间延迟之后关闭开关,并且发送信号以在对应于匹配的ID的频率下重复打开和关闭开关。当开关1008关闭时,将存储在电荷存储装置1004中的电荷通过开关1008从电荷存储装置1004供应至光源1006以便由光源1006发射光。
图12是***1201的实施方案的图,所述***1201包括信号检测器1200和用于基于由可穿戴装置WD1至WD10内的光发射器发射的光确定可穿戴装置WD1至WD10的位置的游戏控制台108。信号检测器1200包括惯性传感器1209、光学传感器装置104和106、A至D转换器906、取样器904和通信装置116。此外,游戏控制台108包括存储器装置1202、位置确定模块1204、图像捕获装置1211和存储器装置1208。信号检测器1200在HMD 102(图1)内实现。在一些实施方案中,信号检测器1200在游戏控制台108(图1)内实现。如上文所指示,取样器904是任选装置。
在一些实施方案中,位置确定模块1204实现为PLD或ASIC或控制器或其组合。
由取样器904生成的样本通过通信装置116和114由取样器904提供给位置确定模块1204。此外,HMD 102的位置和定向通过通信装置116和114提供给位置确定模块1204。应注意,HMD 102的位置和定向与HMD 102的参考系FR1的位置和定向相同。参考系FR1在下文进一步被描述。
在一些实施方案中,图像捕获装置(例如,图像捕获装置1211等)捕获HMD 102的图像并且所述图像向位置确定模块1204提供HMD 102在真实世界中的位置和定向。当图像捕获装置位于游戏控制台108外侧(例如,电视等上)时,图像通过图像捕获装置的通信装置和游戏控制台108的通信装置114传递给位置确定模块1204。
在各种实施方案中,HMD 102的位置和定向使用惯性传感器1209(例如,一个或多个陀螺仪或磁力仪或加速度计或其组合)根据从图像捕获装置得到的数据进行测量。
样本用来确定入射光在光学传感器104(图1)的成像表面上的位置(例如,(x,y)位置)。表示光学传感器104的成像表面的数据在图12中作为104'展示。入射的光由光源LE1至LE10中的一个生成。例如,样本包括从由光学传感器104的电极生成的电流信号取样的数据。位置确定模块1204基于从电流信号生成的取样的数据来计算光学传感器104的成像表面上的x位置和y位置,以确定从光源发射的入射光在成像表面上的(x,y)位置。此外,类似地,位置确定模块1204基于从电流信号生成的取样的数据来计算光学传感器106的成像表面上的x位置和y位置,以确定从光源发射的入射光在光学传感器106的成像表面上的(x,y)位置。表示光学传感器106的成像表面的数据在图12中作为106'展示。光学传感器104和106相对于参考系FR1的(x,y)位置由位置确定模块1204确定。
此外,位置确定模块1204应用射线求交计算来确定光源(例如,光源LE1至LE10中任一个等)相对于处于光学传感器104与106之间并且通过光学传感器104和106的参考系FR1的位置。光源的位置根据由光源发射的光确定并且由光学传感器104和106检测。例如,两条或更多条射线发生射线求交计算,并且每条射线是由光源(例如,LE1等)发射的光的射线。光学传感器(例如,光学传感器104、光学传感器106等)能够检测从光源发射在光学传感器的成像表面上的光的点(例如,入射光的(x,y)位置、亮点等),并且将指示参考系FR1处于光学传感器104与106之间的信息预存储在位置确定模块1204内。应注意,当在光学传感器与光源之间存在瞄准线时,光学传感器能够检测光的点。还应注意,在一些实施方案中,参考系FR1是HMD 102(图1)的参考系。通过应用处于光学传感器的成像表面上的点的(x,y)位置和光学传感器的光学特性,位置确定模块1204确定亮点沿由光源发射的光产生的射线的某处发生。在具有两个光学传感器104和106以及处于两个光学传感器104与106之间的参考系FR1的基线(例如,通过光学传感器104和106的成像表面的x轴的线、参考系FR1的x轴线等)并且光学传感器104和106检测来自光源的光的情况下,存在在真实世界中相交的两条射线并且交点是光源距参考系FR1的位置。在一些实施方案中,参考系FR1是HMD 102的基线。射线求交计算操作作为逻辑(例如,计算机代码、软件程序等)存储在存储器装置1202中。
在各种实施方案中,两条射线可不相交。在这些实施方案中,光源的位置由位置确定模块1204、使用最近的点算法作为射线的最近的两个点之间的中点进行确定。例如,位置确定模块1204确定由光学传感器104检测的射线上的点,所述点最接近于由光学传感器106检测的射线上的点。位置确定模块1204计算两个点之间的中点并且将所述中点确定成发射由光学传感器104和106感测的两条射线的光源的位置。
应注意,在一些实施方案中,位置确定模块1204根据可穿戴装置的识别代码识别可穿戴装置WD1至WD10中的一个。例如,位置确定模块1204连接到同步器1107(图11A-1)并且通过通信装置114和116与同步器1107通信以得到可穿戴装置WD1至WD10中的一个的识别代码,具有可穿戴装置的识别代码的同步信号由信号传输器1104(图11A-1)传输至所述可穿戴装置WD1至WD10中的一个。基于可穿戴装置的识别代码,位置确定模块1204确定光从可穿戴装置的光源反射。
应注意,在光源LE1被光学传感器104遮挡的一些实施方案中,所遮挡的光源距参考系FR1的位置基于所遮挡的光源距参考系FR1的先前确定的位置和对所遮挡的光源的移动的预测由位置确定模块1204确定。先前确定的位置在光源LE1不被遮挡的时间期间被确定。在一些实施方案中,先前确定的位置在位置确定模块1204的计算周期期间、紧接着在确定所遮挡的光源距参考系FR1的位置的计算周期之前(例如,先于所述计算周期等)被确定。作为确定所遮挡光源的位置的实例,位置确定模块1204基于来自参考系FR1的先于确定所遮挡光源的位置而被确定的两个位置和自所遮挡光源的从两个位置中的第一个到两个位置中的第二个的移动所经过的时间量来估计所遮挡光源的移动。为了进一步说明,将速度作为第一位置和第二位置与时间量之间的差进行计算。时间量基于由耦合到位置确定模块1204的时钟源(未示出)提供的时间由位置确定模块1204计算。作为确定所遮挡光源的位置的另一个实例,所述位置根据关于在其上穿戴所遮挡的光源的用户101手指的移动的信息进行确定。为了说明,位置确定模块1204从存储在存储器装置1202中的手指和/或关节的多个轨迹中访问用户101臂的手指和/或关节的移动的轨迹,并且基于所述轨迹确定所遮挡光源的位置。在这个说明中,所述轨迹相对于参考系FR1被预计算。此外,在这个说明中,身体部位的轨迹包括身体部位能够达到用户101(图1)的多个位置。此外,在这个说明中,身体部位的轨迹排除身体部位被限制而不能达到用户101的位置。作为确定所遮挡光源的位置的又一个实例,轨迹和速度两者用来确定所遮挡光源距参考系FR1的位置。
在光源LE1被光学传感器104遮挡的各种实施方案中,所遮挡的光源距HMD 102的参考系FR1的位置基于使用图像捕获装置捕获的图像数据由位置确定模块1204确定。使用图像捕获装置捕获的图像数据作为历史信息存储在存储器装置1208中以便由位置确定模块1204访问。
图13是用来示出用来确定光源LE1距光学传感器104和106的参考系FR1的位置的射线求交计算的***1300的实施方案的图。光的射线r1从可穿戴装置WD1的光源LE1延伸至光学传感器106。此外,光的射线r2从光源LE1延伸至光学传感器104。射线求交计算由位置确定模块1204(图12)应用到两个射线r1和r2,以确定两个射线相交的点并且所述点是光源LE1相对于参考系FR1的位置。在一些实施方案中,光源LE1相对于参考系FR1的位置是距参考系FR1上的点(例如,参考坐标点(0,0,0)等)的距离(例如,垂直距离等)。在各种实施方案中,光源LE1相对于参考系FR1的位置是在x、y和z方向(如由xyz坐标系限定)上距参考系FR1上的点的距离。
在两条射线r1和r2彼此不相交的一些实施方案中,射线求交计算通过确定最接近于彼此的两个点(每条射线上有一个点)而被应用。射线求交计算还包括确定两个点之间的中点作为从其发射两条射线的可穿戴装置WD1的位置。
应注意,替代两个光学传感器104和106,在HMD 102(图1)的底部边缘处使用任意数量的光学传感器。当用来检测来自光源的光的光学传感器的数量增加时,光源位置的准确性增加。
在一些实施方案中,当不使用射线求交计算时,例如,当光源LE1不被光学传感器104遮挡而被光学传感器106遮挡时,当光源LE1不被光学传感器106遮挡而被光学传感器104遮挡时,当光源LE1被光学传感器104和106两者遮挡时等,位置确定模块1204根据剩余光源(例如,LE2至LE10)中的一个或多个的位置确定光源LE1至LE10中的一个(例如,LE1等)的位置。例如,位置确定模块1204外推经过光源LE2和LE3的位置的线直到预先确定的距离以确定光源LE1的位置。此外,在这些实施方案中,位置确定模块1204被预编程有在用户101(图1)的两个邻近手指之间的范围内的预先确定的距离。两个邻近手指的实例包括用户101左手的食指和左手的中指。两个邻近手指的另一个实例包括用户101右手的中指和右手的无名指。此外,在这些实施方案中,剩余的(例如,未被遮挡等)光源的位置根据由检测来自剩余光源的光的光学传感器104和106生成的电信号进行确定。
在若干实施方案中,剩余光源的位置结合所遮挡光源的移动速度和/或在其上穿戴所遮挡光源的身体部位的轨迹使用以确定所遮挡光源的位置。
在各种实施方案中,位置确定模块1204在校准期间确定可穿戴装置WD1至WD10的位置。在一些实施方案中,所述校准在玩游戏之前或在导航虚拟或增强显示环境之前完成。在校准期间,游戏处理器110(图1)通过通信装置114和116(图1)向HMD 102(图1)的CPU 112发送命令以将一个或多个图像(例如,虚拟对象的图像等)显示在一个或多个显示屏118(图1)上。当显示一个或多个图像时,游戏处理器110向CPU 112发送命令以向用户101显示移动在其上穿戴可穿戴装置WD1至WD10的他的/她的手指的命令,使得一个或多个图像以一定方式(例如,虚拟对象落在圆圈中、虚拟罐用导弹撞击等)被显示。当用户101在真实世界的范围内移动他的/她的手指时,可穿戴装置WD1至WD10的位置由位置确定模块1204确定。基于所述位置,游戏处理器改变将要显示在一个或多个显示屏118上的一个或多个图像的位置并且向CPU 112发送根据所改变的位置移动所述一个或多个图像的命令。将在手指在真实世界中的移动与一个或多个图像的移动之间的映射存储在游戏控制台108的游戏存储器装置120(图1)中。所述映射在校准期间被确定。在与虚拟或增强现实环境交互期间,游戏处理器110或位置确定模块1204确定在经过可穿戴装置WD1至WD10的在交互期间接收的各种位置的移动与可穿戴装置WD1至WD10的在对一个或多个图像的相同移动量进行校准期间接收的位置之间是否存在误差。游戏处理器110或位置确定模块1204校正所述误差,例如,在交互期间改变所述一个或多个图像的位置等。
在一些实施方案中,不执行所述校准。例如,当使用手套502(图5)时,不执行所述校准。
图14A、图14B和图14C用来示出躯干装置1402的实施方案,所述躯干装置用于当可穿戴装置WD1至WD10中的一个或多个被光学传感器104和106遮挡时,相对于参考系FR1提供参考系FR2。图14A用来示出可穿戴装置WD9和WD10的遮挡。在可穿戴装置WD9的光源LE9与光学传感器104之间不存在瞄准线。此外,在可穿戴装置WD10的光源LE10与光学传感器104之间不存在瞄准线。可穿戴装置WD9和WD10可在用户101的对应手指上旋转,使得LE9和10面向用户101的右手手掌而不是面向右手的背侧,以导致被光学传感器104遮挡。类似地,在可穿戴装置WD3与光学传感器106之间和在可穿戴装置WD5与光学传感器106之间存储遮挡。
图14B展示用来相对于HMD 102的参考系FR1提供参考系FR2的躯干装置1402的实施方案。躯干装置1402附接到用户101的躯干。例如,将躯干装置1402整合在用户101穿戴的束带中。所述束带的实例包括由织物或由皮革制成的束带。在一些实施方案中,躯干装置1402例如通过磁体、通过胶水、通过VelcroTM等附接到束带。在各种实施方案中,躯干装置1402通过夹具附接到用户101的衣物(例如,裤子等)。躯干装置1402包括两个光学传感器1408和1410。
此外,HMD 102被修改成包括两个光源1404和1406。作为实例,光源1404和1406例如通过磁体、胶水、VelcroTM等附接到HMD 102以修改HMD 102。所修改的HMD 102在本文中被称为HMD 1412。每个光源1404和1406的实例与在上文如光源LE1至LE10(图1)中的每一个的实例所提供的一样。
光源1404和1406发射由光学传感器1408和1410检测的光。在一些实施方案中,光源1404和1406序列地发射光。在各种实施方案中,光源1404和1406同时发射光。
光学传感器装置1408和1410检测由光源1404和1406发射的光以生成电信号。电信号用来确定每个光源1404和1406距光学传感器1408和1410的位置。例如,电信号由躯干装置1402的通信装置1414传送到游戏控制台108(图1)的通信装置114。通信装置1414接收电信号并且将所述电信号提供给游戏控制台108的A至D转换器(未示出)并且A至D转换器将电信号转换成数字数据。每个光源1404和1406距光学传感器1408和1410的位置用来提供参考系FR1与参考系FR2之间的相对位置和定向。
位置确定模块1204被预编程以将经过光学传感器1408和1410的位置的线(例如,x轴线等)确定成参考系FR2。例如,将经过光学传感器1408和1410的成像表面的基线确定成参考系FR2。此外,参考系FR1经过光源1404和1406的位置。例如,参考系FR1由位置确定模块1204预先确定成经过光源1408和1410的位置的线。应注意,光源1404和1406相对于HMD 102进行定位,使得光学传感器104和106的参考系FR1与光源1404和1406的参考系相同。例如,将光源1404和1406相对于HMD 102(例如,在HMD 102下方、在HMD 102上等)定位在经过光学传感器104和106并且处于光学传感器104与106之间的相同的线上。
图像捕获装置(例如,游戏控制台108的图像捕获装置、位于电视上的图像捕获装置、HMD 102的图像捕获装置等)捕获参考系FR2的位置和定向并且将参考系FR2的位置和定向提供给位置确定模块1204。例如,HMD 102的图像捕获装置捕获光学传感器1402和1408的位置和定向的图像,并且将所述位置和定向通过通信装置114和116提供给位置确定模块1204。
在一些实施方案中躯干装置1402包括用于测量光学传感器1402和1408的定向的惯性传感器。躯干装置1402的惯性传感器将光学传感器1402和1408的定向通过通信装置1414和游戏控制台108的通信装置114提供给位置确定模块1204。
在各种实施方案中,惯性传感器和图像捕获装置中的两者或一者用来确定光学传感器1402和1408的位置和定向。
在确定参考系FR2的位置和定向之后,位置确定模块1204确定参考系FR1与FR2之间的相对位置和定向。例如,位置确定模块1204确定参考系FR1与FR2之间的距离和在所述两个参考系FR1与FR2之间形成的角度。
图14C用来示出确定所遮挡的可穿戴装置WD10相对于参考系FR2的位置。可穿戴装置WD10朝向躯干装置1402的光学传感器1408和1410发射光。光学传感器1408和1410感测所述光以生成电信号,所述电信号由通信装置1414传输至游戏控制台108的通信装置114以便由游戏控制台108的A至D转换器转换成数字数据。将所述数字数据提供给游戏控制台108的位置确定模块1204。
以类似于上文所述的确定可穿戴装置WD1的光源LE1距光学传感器104与106之间的参考系FR1的位置的方式,位置确定模块1204(图12)确定所遮挡的可穿戴装置WD10的光源LE10距光学传感器1408与1410之间的参考系FR2的位置。此外,基于参考系FR1与FR2之间的相对位置和定向以及光源LE10相对于参考系FR2的位置,位置确定模块1204确定可穿戴装置WD10的所遮挡的光源LE10相对于参考系FR1的位置。
图15A是用来基于游戏状态向用户101(图1)提供触觉反馈的触觉反馈***1502的实施方案的图。此外,触觉反馈装置1502包括光源1504,所述光源1504是光源LE1至LE10(图1)中任一个的实例。触觉反馈***1502的实例包括套环。在一些实施方案中,触觉反馈***1502由织物、塑料或金属制成。
触觉反馈***1502具有覆盖用户101手指尖端的封闭端1506。将用户101的手指通过开口端1508***触觉反馈***1502中,所述开口端1508与封闭端1506相对。
当由游戏处理器110(图1)执行的游戏代码的游戏状态存在变化时,例如,虚拟用户正在袭击表示用户101的另一个虚拟用户,用户101的虚拟手接触游戏中的虚拟壁或另一个虚拟对象等,触觉反馈***1502通过向用户101的手指施加力(例如,振动等)向用户101提供接触感测。
图15B至用来示出游戏控制台1512对触觉反馈***1502的控制的***1510的实施方案的图。游戏控制台1512是游戏控制台108(图1)的实例。游戏控制台1512包括游戏处理器110、游戏存储器120、游戏状态检测器1514和信号传输器1516。在一些实施方案中,游戏状态检测器1514实现为PLD或ASIC或处理器或其组合。在一些实施方案中,游戏状态检测器1514在游戏处理器110内实现。信号传输器1516的实例包括调制器。
触觉反馈***1502包括触觉反馈装置1518、装置驱动器1520、信号接收器1522和电源1524。电源1524的实例包括电池并且装置驱动器1520的实例包括一个或多个晶体管。信号接收器1522的实例包括解调器并且触觉反馈装置1518的实例包括触摸致动器(例如,振动电机等)。电源1520向信号接收器1522和装置驱动器1520提供电力。
游戏状态检测器1514检测由游戏处理器110执行的游戏代码的状态以确定是否将触觉反馈提供给触觉反馈***1502。例如,游戏状态检测器1514检测指示由用户101提供的输入的信号由游戏处理器110接收或游戏代码的一部分由游戏处理器110执行。在这个实例中,所述部分指示将触觉反馈提供给用户101。此外,在这个实例中,指示输入的信号由游戏处理器110从位置确定模块1204接收。当用户101移动他的/她的手指以与显示在HMD 102的一个或多个显示屏118(图1)上的游戏交互时,位置确定模块1204确定可穿戴装置WD1至WD10的位置以便提供给游戏处理器110。手指的移动是从用户101接收的输入的实例。应注意,用户101在玩游戏期间移动他的/她的手指以接触显示在HMD 102的一个或多个显示屏118上的虚拟对象(例如,虚拟壁、光标、虚拟动物、虚拟建筑物、虚拟用户、虚拟手、虚拟手指、虚拟臂、虚拟环境等)。
在一些实施方案中,由用户101提供的输入改变游戏的状态。例如,当指示输入的信号由游戏处理器110接收时,游戏处理器110执行游戏代码的下一个部分。所述下一个部分指示将触觉反馈提供给触觉反馈***1502。游戏状态的实例包括游戏中虚拟对象的一部分、游戏中虚拟环境的颜色、虚拟环境的纹理、游戏中被分配给用户101的账户的点数、游戏中提供给用户101的账户的虚拟礼物的数量等。
在确定游戏状态或来自用户101的输入指示将触觉反馈提供给触觉反馈***1502之后,游戏状态检测器1514向信号传输器1516发送反馈信号。信号传输器1516通过调制反馈信号生成信号并且将所调制的信号发送给触觉反馈***1502的信号接收器1522。
信号接收器1522接收所调制的信号,解调所调制的信号以生成反馈信号,并且向装置驱动器1520提供反馈信号。在接收到反馈信号之后,装置驱动器1520生成电流信号以驱动触觉反馈装置1518。当触觉反馈装置1518被驱动时,触觉反馈装置1518振动以向用户101提供关于游戏状态的反馈。
在各种实施方案中,触觉反馈***1502在手套502(图5)内实现。例如,触觉反馈***1502在手套502的每个手指部分内实现以便接收所传输的信号。
图16是指示将可穿戴装置穿戴在用户101的其他身体部位上的***1600的实施方案的图。例如,可穿戴装置1602A穿戴在用户101的右手手腕上并且另一个可穿戴装置1602B穿戴在用户101的左手手腕上。作为另一个实例,可穿戴装置1604A穿戴在用户101的右肘周围并且可穿戴装置1604B穿戴在用户101的左肘周围。
每个可穿戴装置1602A、1602B、1604A和1604B由织物或塑料或金属制成。每个可穿戴装置1602A、1602B、1604A和1604B具有整合到可穿戴装置中的光源。例如,可穿戴装置1602A具有光源1610A,可穿戴装置1602B具有光源1610B,可穿戴装置1604A具有光源1612A,并且可穿戴装置1604B具有光源1612B。
在一些实施方案中,可穿戴装置1602A穿戴在用户101右前臂的任意部分上并且可穿戴装置1602B穿戴在用户101左前臂的任意部分上。在各种实施方案中,可穿戴装置1604A穿戴在用户101右上臂的任意部分上并且可穿戴装置1604B穿戴在用户101左上臂的任意部分上。
可穿戴装置1602A提供用户101的右手腕的一部分并且可穿戴装置1602B提供用户101的左手腕的一部分。类似地,可穿戴装置1604A提供用户101的右肘的一部分并且可穿戴装置1604B提供用户101的左肘的一部分。
可穿戴装置1602A、1602B、1604A和1604B的光源与由可穿戴装置WD1至WD10进行的光的发射同步发射光。例如,光源1610A首先发射光,光源1610B第二个发射光,光源1612A第三个发射光,光源1612B第四个发射光,并且然后光源LE1至LE10以序列的方式发射光,所述光源LE1至LE10的实例在上文被提供。作为另一个实例,光源LE1至LE10以序列的方式发射光,然后光源1610A发射光,之后光源1610B发射光,之后光源1612A进一步发射光并且之后光源1612B进一步发射光。作为另一个实例,光源1610B首先发射光,光源1610A第二个发射光,光源1612A第三个发射光,光源1612B第四个发射光,并且然后光源LE1至LE10以序列的方式发射光。
用户101的肘和手腕的移动在玩游戏期间充当输入以导致光源1610A、1610B、1612A和1612B的位置的变化。光源1610A、1610B、1612A和1612B的位置由信号检测器1200(图12)以类似于上文描述的确定光源LE1至LE10(图1)的位置的方式确定。将光源1610A、1610B、1612A和1612B的位置在玩游戏期间通过通信装置116和114(图1)传送到游戏处理器110(图1)以便改变游戏的状态。
在一些实施方案中,用户101穿戴可穿戴装置1602A、1602B、1604A和1604B中的一个或多个,由穿戴可穿戴装置1602A、1602B、1604A和1604B中的一个或多个进行的光的发射与由可穿戴装置WD1至WD10进行的光的发射同步。
在各种实施方案中,用户101不穿戴可穿戴装置WD1至WD10但穿戴穿戴可穿戴装置1602A、1602B、1604A和1604B中的一个或多个。在这些实施方案中,可穿戴装置1602A、1602B、1604A和1604B与彼此同步(例如,按序列等)一次发射一个光。例如,光源1610A首先发射光,光源1610B第二个发射光,光源1612A第三个发射光,并且光源1612B第四个发射光。作为另一个实例,光源1610B首先发射光,光源1610A第二个发射光,光源1612B第三个发射光,并且光源1612A第四个发射光。
在各种实施方案中,穿戴可穿戴装置1602A、1602B、1604A和1604B中的每一个具有类似于触觉反馈***1502(图15A)的内置的触觉反馈***以在玩游戏期间向用户101提供触觉反馈。
在一些实施方案中,穿戴可穿戴装置1602A、1602B、1604A和1604B中的每一个具有捕获可穿戴装置的定向的惯性传感器。此外,将所捕获的定向通过位于可穿戴装置内的通信装置和游戏控制台的通信装置114传送到位置确定模块1204。
图17A是用来示出使用可穿戴装置(例如,可穿戴装置WD1至WD10(图1)等)来确定接口命令(例如,游戏命令、通过虚拟环境导航的命令、通过增强现实环境导航的命令等)的***1700的实施方案的图。***1700包括信号检测器和显示器(SDD)1702和游戏控制台108。SDD 1702包括通信装置116、HMD CPU 112和一个或多个显示屏118。SDD 1702还包括数字信号处理器(DSP)1704、解码器1706、数字模拟转换器(DAC)1707、放大器1708和扬声器1709。
在各种实施方案中,SDD 1702在HMD 102(图1)内实现。在一些实施方案中,SDD1702包括任意数量的扬声器。
命令用来生成环境数据。位置确定模块1204确定可穿戴装置(例如,可穿戴装置WD10至WD10等)的位置(例如,位置P11、P21、P31、P41、P51、P61、P71、P81、P91、P101、P12、P22、P32、P42、P52、P62、P72、P82、P92、P102等)并且将所述位置提供给游戏处理器110。例如,位置P11和P12是可穿戴装置WD1的,位置P21和P22是可穿戴装置WD2的,位置P31和P32是可穿戴装置WD3的,位置P41和P42是可穿戴装置WD4的,位置P51和P52是可穿戴装置WD5的,位置P61和P62是可穿戴装置WD6的,位置P71和P72是可穿戴装置WD7的,位置P81和P82是可穿戴装置WD8的,位置P91和P92是可穿戴装置WD9的,位置P101和P102是可穿戴装置WD10的等。
应注意,在一些实施方案中,位置确定模块1204提供可穿戴装置的位置和游戏处理器110的可穿戴装置的识别代码。
游戏处理器110在游戏存储器120内识别对应于可穿戴装置的位置的接口命令。例如,游戏处理器110基于存储在位置P11、P21、P31、P41、P51、P61、P71、P81、P91和P101与命令C1之间的映射确定当可穿戴装置WD1至WD10处于对应的位置P11、P21、P31、P41、P51、P61、P71、P81、P91和P101时命令C1将要被执行。作为另一个实例,游戏处理器110基于存储在位置P12、P22、P32、P42、P52、P62、P72、P82、P92和P102与命令C2之间的映射确定当可穿戴装置WD1至WD10处于对应的位置P12、P22、P32、P42、P52、P62、P72、P82、P92和P102时命令C2将要被执行。
在一些实施方案中,命令与任意数量的可穿戴庄子的任意数量的位置相关联。例如,命令C1与可穿戴装置WD1至WD10中的任意三个的三个位置映射。作为另一个实例,将命令C2映射到可穿戴装置WD1至WD10中的任意六个的六个位置。
游戏处理器110执行基于可穿戴装置的位置确定的命令以生成环境数据。例如,命令C1被执行以生成环境数据E1并且命令C2被执行以生成环境数据E2。在一些实施方案中,环境数据包括识别虚拟对象在游戏场景中位置、游戏背景在游戏场景中的颜色、虚拟对象的颜色、游戏背景的纹理、虚拟对象在虚拟现实场景中的尺寸、位置、颜色、尺寸和/或纹理、背景在虚拟现实场景中的颜色、背景在虚拟现实场景中的纹理、虚拟对象在增强现实场景中的尺寸、位置、颜色、尺寸和/或纹理等的数据。
在各种实施方案中,游戏处理器110执行基于可穿戴装置的位置的命令确定的游戏命令以生成游戏音频数据(例如,音素、短语、字母数字字符、句子、音符等)。例如,游戏命令GC1被执行以生成游戏音频数据GA1并且游戏命令被执行以生成环境数据GA2。
将由游戏处理器110生成的游戏环境数据通过通信装置114和116发送至CPU 112。CPU 112呈现游戏环境数据以将游戏环境(例如,游戏场景等)显示在一个或多个显示屏118上。用户101在一个或多个显示屏118上观看游戏以玩游戏。
此外,在一些实施方案中,将由游戏处理器110基于可穿戴装置的位置生成的游戏音频数据通过通信装置114和116发送至DSP 1704。DSP 1704根据音频数据处理噪音(例如,使噪音均衡、或过滤噪音或消除噪音)或消除回声或其组合等以生成处理的音频数据并且将所处理的音频数据提供给解码器1706。解码器1706解码(例如,解释、转换、解压缩等)所处理的音频数据以生成解码的音频数据。将解码的音频数据由DAC 1707从数字形式转换成模拟形式以生成模拟的音频电信号。模拟的音频电信号由放大器1708放大以生成放大的电信号。放大的电信号由放大器1708提供给扬声器1709以输出游戏的声音。
应注意,在一些实施方案中,位置确定模块1204位于HMD 102内而不是游戏控制台108内。
图17B是显示在一个或多个显示屏118(图1)上的游戏1702的实施方案的图,其用来示出可穿戴装置WD1至WD10的位置与显示在游戏1702中的虚拟手指的图像之间的协调。在一些实施方案中,每个虚拟手指是虚拟对象的实例。游戏1702包括虚拟键盘和虚拟手指的游戏图像1712。
当与右手的剩余手指相比,用户101通过使他的/她的右手的大拇指和右手的无名指下降而执行按压动作时,类似的按压动作在游戏1702内执行。在类似的按压动作中,与虚拟右手的剩余手指相比,使用户101的虚拟右手的虚拟大拇指下降并且使虚拟右手的无名指被下降。此外,游戏图像1712将虚拟键盘的键展示为由虚拟大拇指按压并且将虚拟键盘的另一个键展示为由虚拟无名指按压。此外,被玩的键盘的声音由在HMD 102(图1)内实现的音频扬声器(例如,扬声器1709(图17A)等)生成。
图17C是网球游戏的实施方案的图,所述网球游戏由用户101玩同时网球游戏1720显示在一个或多个显示屏118(图1)上。网球游戏1720包括在HMD 102的一个或多个显示屏118上呈现的网球图像1722。用户101对他的/她的右手执行前臂动作以越过他的/她的左肩膀。当用户101执行前臂动作时,可穿戴装置1602A、1602B、1604A和1604B的位置由位置确定模块1204(图12)确定。HMD 102的CPU 112(图1)生成网球游戏1722,在所述网球游戏1722中虚拟用户1724通过执行虚拟前臂动作撞击虚拟网球1726。在虚拟前臂动作中,虚拟用户1724的虚拟右手越过虚拟用户1724的虚拟肩膀。
图17D至图17I示出由用户101执行同时穿戴可穿戴装置WD1至WD10的各种手势。图17D是用于保持枪的动作的手势,其中将虚拟枪1740保持在显示在HMD 102(图1)的一个或多个显示屏118(图1)上的游戏中。在保持枪动作中,用户101延伸他的/她的左手H1的食指和他的/她的左手的大拇指,并且卷曲左手H1的中指、无名指和小指。当执行保持枪动作时,HMD 102的CPU 112(图1)显示显示在游戏中的由虚拟手1730保持的枪1740的图像。在一些实施方案中,当保持枪动作由用户101执行时,枪1740显现在虚拟手1730中。
任意17E是有用户101执行的二手指动作的实施方案的图。在二手指动作中,左手H1的食指和中指举起,同时左手的无名指、小指和大拇指卷曲。在执行二手指动作期间,HMD102的CPU 112(图1)将虚拟花显示在虚拟手1730中。
图17F是示出在显示在HMD 102(图1)的一个或多个显示屏118(图1)上的游戏中由用户101执行以保持虚拟武器(例如,虚拟剑、虚拟刀、虚拟棍、虚拟链、虚拟鞭等)的保持动作的实施方案的图。当执行保持武器动作时,HMD 102的CPU 112(图1)将挥舞的虚拟剑显示在虚拟手1730中。
图17G是用来示出使用虚拟电话1732的接电话动作的实施方案的图。当用户101(图1)延伸他的/她的左手的他的/她的大拇指和小指并且卷曲左手的食指、中指和无名指时,CPU 112(图1)将虚拟电话1732显示为在显示在一个或多个显示屏118(图1)上的游戏中由虚拟手1730保持。
图17H是使用用户101(图1)的双手指示图像捕获装置捕获用户101的身体部位(例如,手指、手、手腕、前臂、手掌等)或用户101所在房间的图像或视频而执行的捕获图像手势的实施方案的图。例如,HMD 102包括连接到HMD 102的图像处理器(未示出)的图像捕获装置。在一些实施方案中,HMD 102的图像处理器耦合到HMD 102的通信装置116(图1)和HMD存储器122(图1)。在各种实施方案中,替代HMD存储器122或除HMD存储器122之外,HMD 102的图像处理器连接到另一个存储器装置。在确定捕获图像手势由HMD 102的图像捕获装置接收之后,HMD 102的图像处理器指示图像捕获装置启动或恢复捕获用户101的身体部位或用户101所在房间的图像或视频。应注意,当HMD 102的图像捕获装置后置时,图像捕获装置捕获房间的图像并且当图像捕获装置前置时,图像捕获装置捕获用户101的身体部位的图像。当用户101延伸他的/她的左手的他的/她的手指中的全部和他的/她的右手的他的/她的手指中的全部并且用右手的食指接触左手的大拇指并且用右手的大拇指接触左手的食指以形成捕获图像手势时执行捕获图像手势。
在一些实施方案中,捕获图像手势被执行以由LE 1至10触发光的发射。例如,SGD901(图9A)包括在电源610(图9A)与信号传输器(图9A)之间连接的开关(未示出)。开关的实例在上文中给提供。开关连接到HMD 102的图像处理器(未示出)并且图像处理器进一步连接到HMD 102(图1)的图像捕获装置。图像处理器从由HMD 102的图像捕获装置捕获的图像确定捕获图像手势由用户101执行并且被发送至开关以关闭所述开关。在关闭开关之后,由电源610生成的电力信号通过开关传递至信号传输器608。信号传输器608向LE 1至10传输电力信号611(图9A)以使LE 1至10能够发射光。
图17I是用来示出由用户101执行的暂停(例如,中止等)手势和暂停手势的效果的实施方案的图。在确定接收到暂停手势之后,HMD 102的图像处理器指示图像捕获装置暂停捕获房间或用户101的身体部位的图像。
在SGD 901(图9A)包括连接在电源610(图9A)与信号传输器608(图9A)之间的开关(未示出)的实施方案中,HMD 102的图像处理器确定执行暂停手势。在确定用户101执行暂停手势之后,HMD 102的图像处理器向开关发送信号以打开所述开关。当开关打开时,由电源610生成的电力信号并不通过开关传递至信号传输器608并且信号传输器608并不传输电力信号611(图9A)。当信号传输器608并不传输电力信号611时,LE 1至10停止或暂停发射光。
图18A是用户101的手的各种位置的实施方案的图,其用来示出基于由用户101穿戴的可穿戴装置WD1至WD10的位置而发生取样速率的变化或由光源LE1至LE10(图1)进行的光的发射的频率(例如,速率等)的变化。在模式1中,由下文进一步描述的手位置确定模块(HPDM)确定可穿戴装置WD1至WD5中的穿戴在用户101的左手上的一个或多个处于距可穿戴装置WD6至WD10中的穿戴在用户101的右手上的一个或多个的预先确定的位置内。在确定可穿戴装置WD1至WD5处于距可穿戴装置WD6至WD10的预先确定的位置内之后,HPDM通过通信装置114和116指示取样器904(图9)降低对由A至D转换器906(图9)输出的数字数据取样的取样速率。HPDM通过通信装置114和116连接到取样器904。
在模式2中,HPDM确定可穿戴装置WD1至WD5中的一个或多个并不处于距可穿戴装置WD6至WD10中的一个或多个的预先确定的位置内。响应于确定可穿戴装置WD1至WD5并不处于距可穿戴装置WD6至WD10的预先确定的位置内,HPDM通过通信装置114和116指示取样器904增加对由A至D转换器906输出的数字数据取样的速率。模式1由用户101在模式2之后重复并且取样器904的取样速率以上文所述的方式增加。
图18B是用来示出光发射器的光的发射的频率变化的SGD 1810的实施方案的图。SGD 1810是信号生成器1100(图11A-1)的实例。SGD 1810包括频率控制器1812、存储器装置1108和同步器1107。SGD 1810的剩余零件(例如,信号传输器1104(图11A-1)、电源610(图11A-1)、信号传输器608(图11A-1))和信号生成器1100的时钟源1109在图18B中未示出。
应注意,如本文所述的模块被实现为存储在非暂态计算机可读存储介质上的计算机软件或实现为ASIC或实现为PLD或实现为处理器。非暂态计算机可读存储介质的实例包括存储器装置,所述存储器装置的实例在上文被提供。
位置确定模块1204向HPDM 1810提供可穿戴装置WD1至WD10(图1)的位置。HPDM1810基于可穿戴装置WD1至WD10的位置确定可穿戴装置WD1至WD5中的一个或多个的位置处于距可穿戴装置WD6至WD10中的对应的一个或多个的一个或多个位置的预先确定的位置内。在确定可穿戴装置WD1至WD5中的一个或多个的位置处于距可穿戴装置WD6至WD10中的对应的一个或多个的一个或多个位置的预先确定的位置内之后(例如如在上文模式1的情况下),HPDM 1810通过通信装置114和116向频率控制器1812发送信号以减少由光源LE1至LE10进行的光的发射的频率。在接收到用来减少由光源LE1至LE10进行的光的发射的频率的信号之后,频率控制器1812减少频率。例如,光源LE1的光的发射的频率从f11减少至f12,并且由光源LE2进行的光的发射的频率从f21降低至f22,以此类推直到由光源LE10进行的光的发射的频率从f101减少至f102。同步器1107生成具有降低的频率(例如,f12、f22、f102等)的同步信号。
另一方面,响应于确定可穿戴装置WD1至WD5中的一个或多个的位置不处于距可穿戴装置WD6至WD10中的一个或多个的位置的预先确定的位置内(例如如在上文模式2的情况下),HPDM 1810通过通信装置114和116向频率控制器1812发送信号增加由光源LE1至LE10进行的光的发射的频率。在接收到增加由光源LE1至LE10进行的光的发射的频率的信号之后,频率控制器1812增加频率。例如,光源LE1的光的发射的频率从f12增加至f11,并且由光源LE2进行的光的发射的频率从f22增加至f21,以此类推直到由光源LE10进行的光的发射的频率从f102增加至f101。同步器1107生成具有增加的频率(例如,f11、f21、f101等)的同步信号。
在一些实施方案中,HPDM 1811位于HMD 102内。
在各种实施方案中,频率控制器1812、同步器1107和存储器装置1108位于游戏控制台108内而不是HMD 102内。
图19是用来示出由LE1至10(图1)进行的光的发射的不同序列的图。例如,在第一序列中,LE1至10以正向顺序发射光。为了说明,光源LE1首先发射光,LE2第二个发射光并且以此类推直到LE10第十个发射光。作为另一个实例,在第二序列中,LE1至10以反向顺序发射光。为了说明,光源LE10首先发射光,LE9第二个发射光并且以此类推直到LE1第十个发射光。作为又一个实例,在第三序列中,LE1至5以反向顺序发射光,并且LE6至10以正向顺序发射光。例如,LE5首先发射光,LE4第二个发射光,LE3第三个发射光,LE2第四个发射光,LE1第五个发射光,LE6第六个发射光,LE7第七个发射光,LE8第八个发射光,LE9第九个发射光并且LE10第十个发射光。作为另一个实例,LE1至10以如图19中序列4和序列5所示的随机序列发射光。
图20是用来示出使用图像捕获装置2002确定可穿戴装置WD1至WD10的位置的***2000的实施方案的图。图像捕获装置2002位于电视2004的顶部并且具有用于捕获可穿戴装置WD1至WD10的图像数据的视场。在一些实施方案中,图像捕获装置2002位于HMD 102(图1)内。将由图像捕获装置2002捕获的图像数据从图像捕获装置2002发送至游戏控制台108的位置确定模块1204。例如,当光源被光学传感器104(图1)遮挡但不被光学传感器106(图1)遮挡时使用图像数据。作为另一个实例,当光源被光学传感器106遮挡但不被光学传感器104遮挡时使用图像数据。作为另一个实例,当光源被光学传感器104和光学传感器106两者遮挡时使用图像数据。位置确定模块1204连接到游戏控制台108的通信装置114(图1)和游戏处理器110(图1)。图像捕获装置2002通过有线连接或无线连接(其中的两者在上文被描述)连接到游戏控制台108。在接收到图像数据之后,位置确定模块1204解析所述图像数据以确定光源LE1至LE10的位置。例如,位置确定模块1204确定图像数据的一部分内的强度是否大于图像数据的剩余部分的强度和/或是否具有不同于所述剩余部分的颜色。在确定是之后,位置确定模块1204确定光源在图像数据内的位置并且使用图像世界参考坐标系与真实世界参考坐标系之间的映射来将所述位置转化成真实世界(例如,房间等)中的位置。在图像世界参考坐标系与真实世界参考坐标系之间的映射是在图像世界参考坐标系与真实世界参考坐标系之间的缩放,所述缩放存储在存储器装置(未示出)中或游戏控制台108的游戏存储器装置120(图1)中。可穿戴装置WD1至WD10的位置由位置确定模块1204提供给游戏处理器110以改变显示在HMD 102上的游戏的状态。
在一些实施方案中,本文所描述的如由游戏控制台108的位置确定模块1204执行的操作由游戏控制台108的游戏处理器108(图1)执行。
在各种实施方案中,将由图像捕获装置2002捕获的图像数据通过图像捕获装置2002的通信介质提供给HMD 102的通信装置116(图1)以便存储为上文所述的历史信息。
图21A是用来示出在由光学传感器对光进行取样与由光源进行的光的发射之间同步的图。由光学传感器对光的检测与由光源LE1至LE10进行的光的发射同步。例如,当光学传感器104(图1)以1000赫兹(Hz)的速率对光进行取样并且存在在1/1000秒的频率下发射光的十个光源LE1至LE10时,光学传感器104在100Hz的频率下从每个LE1至LE10感测光。作为另一个实例,当光源LE1发射光时,光学传感器(例如,光学传感器104、光学传感器106等)被激活以在取样时间窗口期间检测光以便生成包括一个或多个电信号的样本S1。在这个实例中,当光源LE2发射光时,光学传感器再次被激活以在取样时间窗口期间检测光以便生成包括一个或多个电信号的另一个样本S2。类似地,当LE3至10发射光时生成样本S3、S4、S5、S6、S7、S8、S9和S10。
继续所述实例,在由LE1至10进行一轮光的发射之后,LE1再次在第二轮期间再次发射光。在这个第二轮中,光学传感器被激活以在取样时间窗口期间感测从LE1发射的光以便生成包括一个或多个电信号的样本S11。此外,在第二轮期间,光学传感器再次被激活以在取样时间窗口期间感测从LE2发射的光以便生成包括一个或多个电信号的样本S12。类似地,在第二轮期间,生成样本S13、S14、S15、S16、S17、S18、S19和S20。
此外,继续所述实例,在由LE1至10进行第二轮光的发射之后,执行第三轮。在第三轮期间,光学传感器被激活以在取样时间窗口期间感测从LE1发射的光以便生成包括一个或多个电信号的样本S21。同样,在第三轮期间,光学传感器再次被激活以在取样时间窗口期间感测从LE2发射的光以便生成包括一个或多个电信号的样本S22。类似地,在第三轮期间,生成样本S23、S24、S25、S26、S27、S28、S29和S30。
图21B是用来示出在由光源LE1至LE10进行的光的发射的频率与图像捕获装置2002的快门速度之间的同步的图。
在一些实施方案中,快门速度是图像捕获装置的透镜打开以捕获本文所描述的一个或多个可穿戴装置的图像的时间长度。到达图像捕获装置的光的量与快门速度成比例。快门速度的实例包括1/1000秒、1/500秒、1/250秒、1/125秒、1/60秒、1/30秒等。
图像捕获速率(例如,图像IM1、IM2、IM3、IM4、IM5、IM6、IM7、IM8、IM9、IM10、IM11、IM12、IM13、IM14、IM15、IM16、IM17、IM18、IM19、IM20、IM21、IM22、IM23、IM24、IM25、IM26、IM27、IM28、IM29和IM30由图像捕获装置捕获的速率)与由LE1至10进行的光的发射同步。例如,由LE1进行的光的发射的频率(例如,频率f11或频率f12(图18B)等)与捕获图像IM1、IM11和IM21的频率相同。作为另一个实例,由LE2进行的光的发射的频率(例如,频率f21或频率f22(图18B)等)与捕获图像IM2、IM12和IM22的频率相同。作为又一个实例,由LE1和2进行的光的发射的频率与捕获图像IM1和IM2的频率相同。作为另一个实例,由LE3和4进行的光的发射的频率与捕获图像IM13和IM14的频率相同。
应注意,图像IM1、IM2、IM3、IM4、IM5、IM6、IM7、IM8、IM9、IM10、IM11、IM12、IM13、IM14、IM15、IM16、IM17、IM18、IM19、IM20、IM21、IM22、IM23、IM24、IM25、IM26、IM27、IM28、IM29和IM30以图21B所示的序列捕获。例如,图像IM1被首先捕获,图像IM2然后被捕获,图像IM3被第三个捕获,以此类推,直到图像IM30被第三十个捕获。
在各种实施方案中,图像IM1在光源LE1发射光之后被捕获。光源LE1的位置基于由光源LE1发射的光确定。在图像IM1被捕获之后,光源LE1再次发射光并且图像IM11基于所发射的光被捕获。光源LE1在图像IM11中的位置基于在图像IM1被捕获之后由光源LE1发射的光确定。在图像IM11被捕获之后,光源LE1再次发射光并且图像IM21被捕获。光源LE1在图像IM21中的位置基于在图像IM11被捕获之后由光源LE1发射的光确定。
在各种实施方案中,CPU 112连接到存储器装置1108(图11A-1)以快门速度存储在存储器装置1108中。在这些实施方案中,耦合到存储器装置1108的快门速度匹配控制器(SSMC)(未示出)访问快门速度并且确定由光源LE1至LE10中的一个或多个进行的光的发射的频率等于或大于快门速度。SSMC位于信号生成器1100(图11A-1)内或单个生成器1101(图11A-2)中,并且将光的发射的频率存储在存储器装置1108中。
在若干实施方案中,CPU 112从存储器装置1108访问由光源LE1至LE10中的一个或多个进行的光的发射的频率以确定本文所描述的由图像捕获装置捕获图像的快门速度。
图21C是用来示出在由光源LE1至LE10进行的光的发射的频率与由HMD 102(图1)的CPU 112(图1)将图像显示在一个或多个显示屏118(图1)上的帧速率之间的同步的图。
在一些实施方案中,按帧每秒计算的帧速率是将图像(被称为帧)显示在一个或多个显示屏118上的频率。在各种实施方案中,帧是由CPU 112呈现在HMD 102的一个或多个显示屏118上的图像。在这些实施方案中,帧包括针对一个或多个显示屏118上的每个像素的颜色值和针对像素的透明值。
帧速率(例如,帧F1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12、F13、F14、F15、F16、F17、F18、F19、F20、F21、F22、F23、F24、F25、F26、F27、F28、F29和F30显示在一个或多个显示屏118上的速率等)与由LE1至10进行的光的发射同步。例如,由LE1进行的光的发射的频率(例如,频率f11或频率f12(图18B)等)与生成帧F1、F11和F21的频率相同。作为另一个实例,由LE2进行的光的发射的频率(例如,频率f21或频率f22(图18B)等)与生成帧F2、F12和F22的频率相同。作为又一个实例,由LE1和2进行的光的发射的频率与生成帧F1和F2的频率相同。作为另一个实例,由LE3和4进行的光的发射的频率与生成帧F13和F14的序列相同。
在各种实施方案中,帧F1在光源LE1发射光之后被显示并且帧F1基于光源LE1的位置而生成。光源LE1的位置基于由光源LE1发射的光确定。在帧F1被显示之后,光源LE1再次发射光并且帧F11基于所发射的光被显示。光源LE1在帧F11中的位置基于在帧F1被显示之后由光源LE1发射的光确定。在帧F11被显示之后,光源LE1再次发射光并且帧F21被显示。光源LE1在帧F21中的位置基于在帧F11被显示之后由光源LE1发射的光确定。
在各种实施方案中,CPU 112连接到存储器装置1108(图11A-1)以将帧速率存储在存储器装置1108中。在这些实施方案中,耦合到存储器装置1108的帧速率匹配控制器(FRMC)(未示出)访问帧速率并且确定由光源LE1至LE10中的一个或多个进行的光的发射的频率等于帧速率。FRMC位于信号生成器1100(图11A-1)内或单个生成器1101(图11A-2)中,并且将光的发射的频率存储在存储器装置1108中。
在若干实施方案中,CPU 112从存储器装置1108访问由光源LE1至LE10中的一个或多个进行的光的发射的频率以确定将图像显示在一个或多个显示屏118上的帧速率。
图22是游戏控制台2200的实施方案的框图,所述游戏控制台是可兼容的以用于与手持式控制器(HHC)和HMD 2205对接,所述HMD 2205是HMD 102(图1)的实例。游戏控制台2200是游戏控制台108(图1)的实例。在一些实施方案中,游戏控制台2200用来执行显示在HMD 2205上的游戏。游戏控制台2200是可兼容的以用于使HHC和HMD 2205与游戏对接。游戏控制台2200被提供有可连接到游戏控制台2200的各种***装置。游戏控制台2200具有:单元处理器2228、动态随机存取存储器(XDRAM)单元2226、具有专用视频随机存取存储器(VRAM)单元2232的现实合成器图形单元2230,以及输入/输出(I/O)桥2234。游戏控制台2200还包括:用于从磁盘2240进行读取的Blu盘只读存储器(BD-ROM)光盘读取器2240a,以及可移除的吸入式硬盘驱动器(HDD)2236,所述Blu光盘BD-ROM光盘读取器和可移除的吸入式HDD可通过I/O桥2234存取。任选地,游戏控制台2200还包括用于读取压缩闪存卡、memory存储卡等的存储卡读卡器2238,所述存储卡读卡器类似地可以通过I/O桥2234存取。I/O桥2234还连接到通用串行总线(USB)2.0端口2224、千兆以太网端口2222、IEEE 802.11b/g无线网络(Wi-Fi)端口2220以及能够支持蓝牙连接的无线链路端口2218。
在操作中,I/O桥2234处置所有无线、USB和以太网数据,包括来自一个或多个游戏控制器2202和2203和来自HMD 2205的数据。例如,当用户101(图1)在玩通过执行存储在游戏存储器装置120(图1)中的游戏程序120的一部分所生成的游戏时,I/O桥2234通过蓝牙链路从游戏控制器2202或2203或从HMD 2205接收输入数据并且将输入数据传递到单元处理器2228,所述单元处理器相应地更新游戏的当前状态。每个游戏控制器2202和2203是HHC的实例。
无线端口、USB端口和以太网端口还提供用于除游戏控制器2202和2203以及HMD2205之外的其他***装置的连接性,其***装置例如像:遥控器2204、键盘2206、鼠标2208、如Sony Playstation娱乐装置的便携式娱乐装置2210等、诸如视频摄像机等的视频摄像机2212、麦克风头戴式耳机2214,以及麦克风2215。在一些实施方案中,这类***装置无线连接到游戏控制器2200,例如,便携式娱乐装置2210通过Wi-Fi专用连接通信,而麦克风头戴式耳机2214通过蓝牙链路通信。
供应这些接口意味着游戏控制台2200潜在地也与其他***装置兼容,所述其他***装置诸如数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、互联网协议(IP)语音电话、移动电话、打印机以及扫描仪。
另外,传统存储卡读卡器2216通过USB端口2224连接到游戏控制台2200,从而允许读取游戏控制台2200所使用的种类的存储卡2248。游戏控制器2202和2203以及HMD 2205可操作来通过蓝牙链路2218与游戏控制台2200无线通信,或连接到USB端口2224,由此还提供电力,用来对游戏控制器2202和2203以及HMD 2205的电池充电。在一些实施方案中,游戏控制器2202和2203以及HMD 2205中的每一个还可包括:存储器;处理器;存储卡读卡器;诸如闪存存储器等的永久存储器;例如像照亮的球形区段、LED或红外光等的光发射器;用于超声波通信的麦克风和扬声器;声学腔;数码摄像机;内部时钟;面向游戏控制台2200的例如像球形部分的可辨认形状;以及使用例如像蓝牙、Wi-Fi等协议的无线通信。
游戏控制器2202设计成由用户101的两只手来使用,且游戏控制器2203是带有附件的单手控制器。HMD 2205设计成装配在用户101的头顶上和/或眼睛前方。除了一个或多个模拟操纵杆和常规控制按钮之外,每个游戏控制器2202和2203也可以接受数位位置确定。类似地,HMD 2205可以接受数位位置确定。因此,在一些实施方案中,除了常规按钮或操纵杆命令之外或代替常规按钮或操纵杆命令,可将游戏控制器2202和2203以及HMD 2205的用户101的手势和移动转化为游戏的输入。任选地,诸如PlaystationTM便携式装置的其他带无线功能的***装置可用作控制器。在PlaystationTM便携式装置的情况下,可在装置的显示屏上提供其他的游戏或控制信息(例如,控制指令或生命数等)。在一些实施方案中,使用其他可替代的或补充性控制装置,例如像跳舞毯(未示出)、光枪(未示出)、转向盘和踏板(未示出)、预约控制器等。预约控制器的实例包括用于快速响应测验游戏(也未示出)的单个或若干个大的按钮。
遥控器2204也可操作来通过蓝牙链路2218与游戏控制台2200无线通信。遥控器2204包括适于Blu RayTM盘BD-ROM读取器2240的操作并且适于导航光盘内容的控制件。
除了常规预先录制的且可录制的CD和所谓的超音频CD之外,Blu RayTM盘BD-ROM读取器2240还可操作来读取与游戏控制台2200兼容的CD-ROM。除了常规预先录制的且可录制的DVD之外,Blu RayTM盘BD-ROM读取器2240还可操作来读取与游戏控制台2200兼容的数字视频光盘ROM(DVD-ROM)。Blu RayTM盘BD-ROM读取器2240进一步可操作来读取与哟西控制台2200兼容的BD-ROM以及常规预先录制的且可录制的Blu-Ray光盘。
游戏控制台2200可操作来通过音频连接器2250和视频连接器2252将通过现实合成器图形单元2230所生成或解码的音频和视频供应给显示和声音输出装置2242,例如像具有显示屏2244和一个或多个扬声器2246的监视器或电视等。在各种实施方案中,音频连接器2250包括常规的模拟和数字输出,而视频连接器2252可不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此,视频输出可呈诸如逐行倒相制(PAL)或国家电视***委员会(NTSC)的格式,或呈2220p、1080i或1080p的高清晰度。音频处理(例如生成、解码等)由单元处理器2208执行。游戏控制台2200的操作***支持5.1环绕立体声、剧场环绕(DTS),以及对来自光盘的7.1环绕立体声的解码。
在一些实施方案中,视频摄像机(例如视频摄像机2212等)包括单个电荷耦合装置(CCD)、LED指示器以及基于硬件的实时数据压缩和编码设备,以便以适当格式(诸如基于图像内的运动图片专家组(MPEG)标准)传输压缩后的视频数据,以便由游戏控制台2200解码。将视频摄像机2212的LED指示器布置成响应于来自游戏控制台2200的适当的控制数据(例如,响应于表示不利照明条件等)而进行照明。视频摄像机2212的一些实施方案可通过USB、蓝牙或者Wi-Fi通信端口以不同的方式连接到游戏控制台2200。视频摄像机的各种实施方案包括一个或多个相关联的麦克风并且还能够传输音频数据。在视频摄像机的若干实施方案中,CCD可具有适合于高清晰度视频捕获的分辨率。在使用中,视频摄像机所捕获的图像并入游戏内或解释为游戏控制输入。在另一个实施方案中,视频摄像机是适合于检测红外光的红外摄像机。
在各种实施方案中,为了通过游戏控制台2200的通信端口中的一个与例如像视频摄像机或遥控器的***装置进行成功的数据通信,提供软件的适当软件,诸如装置驱动程序等。
在一些实施方案中,上述***装置(包括游戏控制台2200、HHC和HMD 2205)使HHC和HMD 2205显示并且捕获游戏的交互式会话的视频。***装置启动游戏的交互式会话,所述交互式会话定义用户101与游戏之间的交互性。***装置确定用户101所操作的HHC和/或HMD 2205的初始位置和定向。游戏控制台2200基于用户101与游戏之间的交互性来确定游戏的当前状态。***装置在用户101与游戏的交互式会话期间追踪HHC和/或HMD 2205的位置和定向。***装置基于游戏的当前状态以及HHC和/或HMD 2205的所追踪位置和定向来产生交互式会话的分离器视频串流。在一些实施方案中,HHC在HHC的显示屏上呈现分离器视频串流。在各种实施方案中,HMD 2205在HMD 2205的显示屏上呈现分离器视频串流。
参考图23,展示示出HMD 2302的部件的图。HMD 2302是HMD 102(图1)的实例。HMD2302包括用于执行程序指令的处理器2300。存储器装置2302被提供用户存储目的。存储器装置2302的实例包括易失性存储器、非易失性存储器或其组合。包括显示装置2304,所述显示装置2304提供用户101(图1)可观察的视觉界面。电池2306被提供为HMD 2302的电源。运动检测模块2308包括各种运动敏感硬件中的任一种,诸如磁力仪2310、加速度计2312和陀螺仪2314。
加速度计是用于测量反作用力所引起的加速度和重力的设备。单轴和多轴模型可用来检测不同方向上的加速度的量级和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中,使用三个加速度计2312来提供重力方向,所述重力方向为两个角度(例如,世界空间纵摇和世界空间横摇等)给出绝对参考。
磁力仪测量HMD 2302附近的磁场的强度和方向。在一些实施方案中,在HMD 2302内使用三个磁力仪2310,从而确保世界空间偏航角的绝对参考。在各种实施方案中,磁力仪被设计来跨越地球磁场,地球磁场为±80微特斯拉。磁力仪受金属影响,并且提供与实际偏航无变化的偏航测量。在一些实施方案中,磁场由于真实世界环境中的金属而扭曲,从而导致偏航测量的偏差。在各种实施方案中,这种扭曲使用来自其他传感器(例如,陀螺仪2314、摄像机2316等)信息而被校准。在一个实施方案中,加速度计2312与磁力仪2310一起使用以得到HMD 2302的倾角和方位角。
陀螺仪是用于基于角动量的原理来测量或维持定向的设备。在一个实施方案中,替代陀螺仪2314,三个陀螺仪2314基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪帮助检测快速旋转。然而,在一些实施方案中,陀螺仪在不存在绝对参考的情况下可随时间而漂移。这触发定期重新设置陀螺仪,所述重新设置可使用其他可利用的信息来完成,所述信息诸如基于对对象、加速度计、磁力仪等的视觉追踪的位置/定向确定。
提供摄像机2316来用于捕获真实世界环境的图像和图像流。在各种实施方案中,HMD 2302包括多于一个摄像机,其包括后置摄像机(例如,当用户101正在观看HMD 2302的显示时背离用户101),和前置摄像头(例如,当用户101正在观看HMD 2302的显示时直接朝向用户101等)。此外,在若干个实施方案中,深度摄像头2318可被包括在HMD 2302中,以用于感测真实世界环境中的对象的深度信息。
HMD 2302包括用于提供音频输出的扬声器2320。同样,在一些实施方案中,麦克风2322可被包括用于从真实世界环境捕获音频,包括来自周围环境的声音、由用户101进行的速度等。HMD 2302包括用户将触摸反馈提供给用户101的触摸反馈模块2324。在一个实施方案中,触摸反馈模块2324能够引起HMD 2302的移动和/或振动,以便向用户101提供触摸反馈。
LED 2326被提供为HMD 2302的状态的视觉指示器。例如,LED可指示电池电平、通电等。提供读卡器2328来使HMD 2302从存储卡读取信息和将信息写入到存储卡。包括USB接口2330作为用于启用***装置的连接或到其他装置(诸如其他便捷式装置、计算机等)的连接的接口的一个实例。在HMD 2302的各种实施方案中,可包括各种类型的接口中的任一种以启用HMD 2302的更好的连接性。
包括WiFi模块2332,以用于实现通过无线联网技术来连接到互联网。同样,HMD2302包括用于实现无线连接到其他装置的蓝牙模块2334。在一些实施方案中,还包括通信链路2336,以用于连接到其他装置。在一个实施方案中,通信链路2336利用红外线传输来进行无线通信。在其他实施方案中,通信链路2336利用用于与其他装置通信的各种无线或有线传输协议中的任一种。
包括输入按钮/传感器2338来提供用户101(图1)的输入接口。包括各种类型的输入接口中的任一种,诸如按钮、触摸垫、操纵杆、跟踪球等。在各种实施方案中,超声波通信模块2340包括于HMD 2302中以用于通过超声波技术有助于与其他装置进行通信。
包括生物传感器2342来实现来自用户的生理数据的检测。在一个实施方案中,生物传感器2342包括一个或多个干电极,其用于通过用户皮肤来检测用户的生物电信号。
已将HMD 2302的前述部件描述为仅仅是可包括在HMD 2302中的示例性部件。在各种实施方案中,HMD 2302包括或不包括前面提及的各种部件中的一些部件。
图24示出信息服务提供商(INSP)架构的实施方案。INSP 2402向地理上分散并且通过计算机网络2406(例如,局域网(LAN)、广域网(WAN)或其组合等)连接的用户2404-1、2404-2、2404-3和2404-4传达众多的信息服务。WAN的实例包括互联网并且LAN的实例包括内联网。用户2404-1、2404-2、2404-3和2404-4是用户101(图1)的实例。用户2404-1操作客户端2220-1,用户2404-2操作另一个客户端2420-2,用户2404-3操作又一个客户端2420-3并且用户2404-4操作另一个客户端2420-4。
在一些实施方案中,每个客户端2420-1、2420-2、2420-3和2420-4包括中央处理单元(CPU)、显示器和输入/输出(I/O)接口。每个客户端2420-1、2420-2、2420-3和2420-4的实例包括个人计算机(PC)、移动电话、上网本、平板电脑、游戏***、个人数字助理(PDA)、具有显示装置的游戏控制台108、HMD 102(图1)、桌面计算机、膝上型计算机、智能电视等。在一些实施方案中,INSP 2402辨识客户端装置的类型并且调整所采用的通信方法。
在一些实施方案总,INSP装置传达一种类型服务(诸如股票价格更新)或多种类型服务(诸如广播媒介、新闻、体育、游戏等)。另外,由每个INSP提供的服务是动态的,也就是,可在任何时间点添加或移去服务。因此,向特定个人提供特定类型服务的INSP可随时间而改变。例如,客户端2420-1在用户2204-1的家乡时,客户端2420-1由在客户端2420-1附近的INSP服务,并且客户端2420-1在用户2404-1行进到不同城市时由不同INSP服务。家乡INSP将所需的信息和数据传递到新的INSP,使得信息“跟随”客户端2420-1到新的城市,从而使数据更靠近客户端2420-1并且容易访问。在各种实施方案中,在主INSP与服务器INSP之间建立主-服务器关系,所述主INSP管理客户端2420-1的信息,并且服务器INSP在主INSP的控制下与客户端2420-1直接接口。在一些实施方案中,当客户端2420-1在世界范围内移动时,数据从一个ISP传递到另一个ISP,以便使处于较好位置来服务客户端2420-1的INSP成为传达这些服务的INSP。
INSP 2402包括应用服务提供商(ASP)2208,所述应用服务提供商(ASP)2208通过计算机网络2406向客户提供基于计算机的服务。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。对基于计算机的服务(例如,客户关系管理等)提供访问的简单形式是通过使用标准协议(例如,超文本传递协议(HTTP)等)。应用程序软件驻留在销售商服务器上并且通过每个客户端2420-1、2420-2、2420-3和2420-4通过网页浏览器使用超文本标记语言(HTML)等由销售商和/或其他远程接口(例如,瘦客户端)提供的专用客户端软件访问。
在广泛的地理区域范围内传达的服务常常使用云计算。云计算是一种计算方式,其中通过计算机网络2406提供可动态扩展和常常虚拟化的资源作为服务。用户2204-1、2204-2、2204-3和2204-4无需是支持用户的“云”中的技术基础架构方面的专家。在一些实施方案中,云计算可被分为不同服务,诸如基础架构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常提供从网络浏览器接入的在线共用商业应用程序,而软件和数据被存储在服务器上。基于在计算机网络图中如何描绘计算机网络2406以及其隐藏的复杂基础架构的抽象概念,将术语云用作计算机网络2406(例如,使用服务器、存储和逻辑等)的隐喻。
此外,INSP 2402包括游戏处理服务器(GPS)2410(在本文有时也称为游戏处理提供商),所述游戏处理服务器(GPS)2410由客户端2420-1、2420-2、2420-3和2420-4使用来玩单玩家和多玩家视频游戏。通过计算机网络2406玩的大多数视频游戏均通过连到游戏服务器的连接来操作。通常,游戏使用从客户端2420-1、2420-2、2420-3和2420收集数据的专用服务器应用程序并且将所述专用服务器应用程序分布给由其他用户操作的其他客户端。这比对等布置更高效率且更有效,但是单独的服务器来托管服务器应用程序。在一些实施方案中,GPS 2410在客户端2420-1、2420-2、2420-3和2420之间建立通信,这交换信息而无需进一步依靠集中的GPS 2410。
专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行,从而提供更大的带宽和专用的处理能力。专用服务器是托管大多数基于PC的多玩家游戏的游戏服务器的方法。大型多玩家在线游戏在通常由软件公司(所述软件公司拥有游戏版权)托管的专用服务器上运行,从而允许所述专用服务器控制并更新内容。
广播处理服务器(BPS)2412在本文有时被称为广播处理提供商,向观众分布音频或视频信号。对非常小范围的观众广播有时称为窄播。广播分布的最后一段是信号如何到达客户端2420-1、2420-2、2420-3和2420,并且在一些实施方案中,将信号通过空气(如同无线电基站或电视基站一样)分布给天线和接收器,或借助于基站通过电缆电视或电缆无线电或“无线电缆”被分布。在各种实施方案中,计算机网络2206还将无线电或电视信号带给客户端2420-1、2420-2、2420-3和2420,尤其在多播允许信号和带宽被共享的情况下。历史地,在若干实施方案中,广播由地理地区(例如,全国性广播、地区性广播等)定界。然而,在高速互联网扩散的情况下,广播不再受地理位置限定,因为内容可到达几乎全世界的任何国家。
存储服务提供商(SSP)2414提供计算机存储空间和相关管理服务。SSP 2414还提供定期备份和归档。通过将存储提供为服务,与当存储不被用作服务相比,客户端2420-1、2420-2、2420-3和2420-4使用更多的存储。另一个主要优点在于SSP 2414包括备用服务并且如果客户端2420-1、2420-2、2420-3和2420-4的硬盘驱动器发生故障,那么它们将不会丢失数据。此外,在一些实施方案中,多个SSP具有从客户端2420-1、2420-2、2420-3和2420-4接收的数据的总的或部分副本,从而允许客户端2420-1、2420-2、2420-3和2420-4以独立于客户端2420-1、2420-2、2420-3和2420-4所在的位置或所述客户端的类型的有效方式访问数据。例如,当用户2404-1在移动中时,用户2404-1通过家用计算机以及通过移动电话访问个人文件。
通信提供商2416向客户端2420-1、2420-2、2420-3和2420-4提供连接性。一种通信提供商2416是提供对计算机网络2406的访问的互联网服务提供商(ISP)。ISP使用适于传达互联网协议数据报的数据传输技术连接客户端2420-1、2420-2、2420-3和2420-4,所述数据传输技术诸如拨号上网、数字订户线路(DSL)、电缆调制解调器、光纤、无线或专用高速互连件。在一些实施方案中,通信提供商2416还可提供消息接发服务,诸如电子邮件、即时消息接发和短消息服务(SMS)发短信。另一种类型的通信提供商是网络服务提供商(NSP),所述网络服务提供商(NSP)通过提供到计算机网络2406的直接主干访问来销售带宽或网络接入。网络服务提供商的实例包括电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的电缆电视经营商等。
数据交换2418使INSP 2402内部的若干模块互连,并且通过计算机网络2406将这些模块连接到客户端2420-1、2420-2、2420-3和2420-4。在若干实施方案中,数据交换2418覆盖INSP 2402的全部模块均在附近的小型区域,或当不同模块在地理上分散时,覆盖较大的地理区域。例如,数据交换2402包括数据中心的机柜内的快速千兆位以太网,或洲际虚拟LAN。
应注意,在各种实施方案中,本文描述的一些实施方案与本文描述的剩余实施方案中的一个或多个进行组合。
本公开的实施方案可以通过各种计算机***配置来实践,包括手持式装置、微处理器***、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本公开的若干实施方案还可以在分布式计算环境中实践,其中由通过有线或无线网络加以链接的远程处理装置执行任务。
考虑到以上实施方案,应理解的是,本公开的许多实施方案可采用各种计算机实施的操作,这些操作涉及存储在计算机***中的数据。这些操作是涉及对物理量进行物理操作的操作。本文中描述的形成本公开的各种实施方案的部分的任何操作都是有用的机器操作。本公开的若干实施方案还涉及用于执行这些操作的装置或设备。所述设备出于所要求的目的而专门构造而成,或所述设备是由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。在一些实施方案中,各种通用机器与根据本文的教示所编写的计算机程序一起使用,或者更方便地构造更专门的设备来执行所要求的操作。
本公开的各种实施方案体现为非暂态计算机可读介质上的计算机可读代码。非暂态计算机可读介质是可存储数据的任何数据存储装置,所述数据随后由计算机***读取。非暂态计算机可读介质的实例包括硬盘驱动器、网络附加存储设备(NAS)、只读存储器(ROM)、随机存取存储器、光盘ROM(CD-ROM)、可录制CD(CD-R)、可重写CD(RW)、磁带以及其他光学和非光学数据存储装置。在一些实施方案中,计算机可读介质包括分布在网络耦合式计算机***上的计算机可读有形介质,以使得计算机可读代码是以分布式方式存储和执行。
尽管以特定顺序描述了所述方法操作,但应理解,在一些实施方案中,其他内务处理操作在操作之间执行,或者调整操作以使得它们在略微不同的时间发生,或者分布在***中,所述***允许处理操作以与所述处理相关的各种时间间隔发生,只要重叠操作的处理以所需方式执行即可。
虽然为了清楚理解的目的而在本公开中略微详细地描述了各种实施方案,但很显然,在所附权利要求的范围内做出某些变化和修改。因此,本发明实施方案被视为说明性和非限制性的,并且本公开描述的各种实施方案不限于在本文中给出的细节,而是在所附权利要求的范围和等效物内加以修改。

Claims (33)

1.一种用于追踪手和手指位置以便通过与游戏控制台对接的头戴式显示器(HMD)与虚拟环境对接的方法,其包括:
从所述HMD向与穿戴所述HMD的用户手的多个手指相关联的多个可穿戴装置传输电力信号;
向所述多个可穿戴装置序列地传输标识符(ID),每个ID识别所述多个可穿戴装置中的一个,其中所述多个可穿戴装置中的每一个被致使激活对应的光源,使得基于由所述HMD序列地传输的ID,所述多个可穿戴装置中的每一个对时隙是有效的并且每个可穿戴装置在相应时隙中重复有效;
对于每个传输的ID:
(i)确定附接到所述HMD的至少两个光学传感器的空间位置;
(ii)使用设置在所述HMD上的用于检测的空间位置的所述至少两个传感器来检测从所述多个可穿戴装置中的一个发射的光,对发射的光的所述检测与所述序列地传输的ID同步;
(iii)从所述HMD向所述游戏控制台发送针对所述检测的发射的光和所述确定的空间位置的数据,以确定与所述手指中的一个的当前位置相关联的所述多个可穿戴装置中的一个的当前位置;以及
(iv)针对所述序列地传输的ID中的每一个重复操作(i)-(iii)以便随时间的推移识别所述可穿戴装置的移动的位置。
2.如权利要求1所述的方法,其还包括将所述用户的所述手的图形表示显示在所述虚拟环境中,以及与所述可穿戴装置的所述识别的移动大体上同步展示所述用户手的所述图形表示的手指的移动。
3.如权利要求1所述的方法,其中序列地传输所述标识符包括传输第一个所述可穿戴装置的第一个所述标识符,之后传输第二个所述可穿戴装置的第二个所述标识符。
4.如权利要求1所述的方法,其中将发射的光的检测与序列地传输的ID同步包括检测由所述可穿戴装置按序列发射的光。
5.如权利要求1所述的方法,其还包括循环重复所述序列地传输ID和在所述循环中重复对发射的光的所述检测。
6.如权利要求1所述的方法,其中所述可穿戴装置在一个手套内或多个手套内实现。
7.一种方法,其包括:
从头戴式显示器(HMD)传输电力信号以向具有多个光发射器的多个可穿戴装置提供电力,所述光发射器基于在所述电力信号内接收的电力以有序序列发射光,所述有序序列是如下序列:光发射器按其重复所述光的多个序列发射并且每个光发射器按其具有所述光的一部分的发射频率;
检测由所述光发射器发射的所述光以生成电信号;以及
向游戏控制台提供关于所述电信号的分析数据以确定所述可穿戴装置的多个位置,所述可穿戴装置的所述位置用来确定用户手的手指的表示在被显示在所述HMD内的交互式环境内的一个或多个位置。
8.如权利要求7所述的方法,其还包括将所述用户的所述手的图形表示显示在所述交互式环境中,以及与所述可穿戴装置的识别的移动大体上同步展示所述用户手的所述图形表示内的手指的移动,所述识别的移动包括所述可穿戴装置的所述一个或多个位置。
9.如权利要求7所述的方法,其中在接收到所述电力信号之后,每个光发射器被编程以在一定时间处启动发射所述光的一部分并且在一定频率下重复发射所述光的各部分。
10.如权利要求7所述的方法,其还包括从所述HMD向所述可穿戴装置传输同步信号,其中所述同步信号包括对所述可穿戴装置中的每一个的识别,所述识别用来确定每个光发射器在接收所述电力信号之后发射所述光的一部分的时间或每个光发射器发射所述光的各部分的时间和频率。
11.如权利要求7所述的方法,其中所述光发射器中的每一个被配置来在剩余的所述光发射器不发射所述光的剩余部分的时间处发射所述光的一部分。
12.如权利要求7所述的方法,其中用于确定所述可穿戴装置的多个位置的分析包括:
基于关于所述电信号的所述数据来确定光学传感器的成像表面上的第一位置,所述光学传感器附接到所述HMD;
基于关于所述电信号的所述数据来确定另一个光学传感器的成像表面上的第二位置,所述另一个光学传感器附接到所述HMD;以及
基于所述第一位置和所述第二位置来计算所述一个所述可穿戴装置的一个所述位置。
13.如权利要求12所述的方法,其还包括在玩所述游戏期间呈现表示所述一个所述可穿戴装置的所述一个所述位置的图像。
14.如权利要求7所述的方法,其中所述手是所述用户的第一只手,所述方法还包括:
基于第一组所述光发射器距第二组所述光发射器的位置来改变来自所述光发射器的光发射的速率,所述第一组所述光发射器用于穿戴在所述用户的所述第一只手上并且所述第二组所述光发射器用于穿戴在所述用户的第二只手上。
15.如权利要求7所述的方法,其中所述光发射器发射与所述电信号的样本由所述HMD的光学传感器生成的速率同步的所述光。
16.如权利要求7所述的方法,
其中所述游戏控制台使所述位置与游戏命令相关联并且执行所述游戏命令,所述游戏命令被执行来生成游戏环境数据;
从所述游戏控制台接收所述游戏环境数据;以及
呈现所述游戏环境数据以在所述HMD的显示屏上显示所述交互性环境。
17.一种***,其包括:
被配置来穿戴在用户头上的头戴式显示器(HMD),所述HMD包括:
电源,所述电源用来生成电力信号;
传输器,所述传输器耦合到所述电源以用于朝向一个或多个光发射器装置传输所述电力信号,其中所述一个或多个光发射器装置被整合到对应的一个或多个可穿戴装置中,所述一个或多个可穿戴装置被配置来穿戴在用户的一个或多个身体部位上,其中所述一个或多个光发射器装置基于所述电力信号按序列发射光;以及
信号检测器,所述信号检测器用于感测所述光的至少一部分以生成多个电信号;以及
耦合到所述HMD的游戏控制台,所述游戏控制台包括与所述信号检测器相关联的位置确定模块以便根据所述电信号确定所述可穿戴装置中的一个的一个或多个位置;
其中所述HMD还包括:
通信装置,所述通信装置用于从所述游戏控制台接收图像数据,所述图像数据基于所述一个或多个位置生成;以及
显示屏,所述显示屏用于基于所述图像数据显示一个或多个图像。
18.如权利要求17所述的***,
其中所述信号检测器包括用于检测所述光以生成所述电信号的一个或多个光学传感器装置,其中所述位置确定模块耦合到所述信号检测器以用于基于所述电信号确定从所述可穿戴装置中的所述一个发射在所述光学传感器装置中的一个上的所述光的一部分的入射点的位置,
其中所述位置确定模块被配置来基于所述位置和从所述一个所述可穿戴装置发射在另一个所述光学传感器装置上的所述光的一部分的入射点的另一个位置来确定所述一个所述可穿戴装置的一个所述位置。
19.如权利要求17所述的***,其中所述位置确定模块被配置来从图像捕获装置接收所述一个或多个位置。
20.如权利要求17所述的***,其中所述位置确定模块被配置来基于所述一个所述可穿戴装置的移动速度或所述身体部位中的在其上穿戴所述可穿戴装置的一个部位的移动轨迹或所述可穿戴装置中的剩余可穿戴装置的位置或其组合来确定所述一个所述可穿戴装置的一个所述位置。
21.如权利要求17所述的***,其中所述光发射器装置中的每一个包括用于向所述用户提供触觉反馈的触觉反馈***。
22.如权利要求17所述的***,其中所述HMD还包括:
框架,所述显示屏嵌入在所述框架中;以及
一个或多个另外的信号检测器,其中所述信号检测器和所述一个或多个另外的检测器位于所述框架的边缘处。
23.如权利要求17所述的***,其中所述***包括:
多个光源,
其中所述光源生成光以由附接到所述用户躯干的多个传感器装置检测以便进一步提供所述传感器装置的参考系与所述HMD的参考系之间的相对位置,所述HMD的所述参考系在从所述一个或多个光发射器装置发射的所述光受到遮挡之前被确定,所述传感器装置用于检测从所述一个或多个光发射器装置发射的所述光以生成电信号,
其中所述位置确定模块被配置来根据由所述传感器装置生成的所述电信号和所述传感器装置的所述参考系与所述HMD的所述参考系之间的所述相对位置确定所述一个或多个可穿戴装置的所述一个或多个位置。
24.如权利要求17所述的***,其还包括:
同步器,所述同步器用于生成同步信号;以及
传输器,所述传输器耦合到所述同步器以用于向所述一个或多个光发射器装置传输所述同步信号,
其中所述一个或多个光发射器装置基于所述同步信号按所述序列发射光。
25.一种光发射器***,其包括:
一个或多个可穿戴装置,所述一个或多个可穿戴装置用于在玩游戏期间穿戴在用户的相应的一个或多个身体部位上,其中每个可穿戴装置包括:
接收器,所述接收器用于从头戴式显示器(HMD)接收电力信号和同步信号以生成解调信号,其中所述同步信号包括所述可穿戴装置的标识符;以及
存储装置,所述存储装置连接到所述接收器以便存储从所述解调信号生成的电荷;以及
光源,所述光源耦合到所述存储装置以便在接收到基于所述电荷生成的电流信号之后生成光,其中所述光源被控制来基于所述同步信号中的所述标识符而发射所述光。
26.如权利要求25所述的光发射器***,其中所述光源包括发光二极管。
27.如权利要求25所述的光发射器***,其中每个可穿戴装置包括多个光源,所述多个光源彼此等距地位于所述可穿戴装置的周边。
28.如权利要求25所述的光发射器***,其中每个可穿戴装置是环形形状或多边形形状或椭圆形形状。
29.如权利要求25所述的光发射器***,其中所述一个或多个可穿戴装置被配置来被穿戴成围绕用户手指的远端部分或中间部分或近端部分。
30.如权利要求25所述的光发射器***,其中所述一个或多个可穿戴装置被配置来被穿戴成包封手指的尖端和所述手指的远端的一部分。
31.如权利要求25所述的光发射器***,其中所述光源附接到手套的手指部分。
32.如权利要求25所述的光发射器***,其中每个可穿戴装置包括:
电荷传感器,所述电荷传感器耦合到所述电荷存储装置以便测量存储在所述电荷存储装置中的电荷量;
比较器,所述比较器耦合到所述电荷传感器以便确定所述电荷量是否大于预先确定的电平;
延迟控制器,所述延迟控制器耦合到所述比较器,其中所述延迟控制器被预编程以在从所述比较器接收到信号之后提供延迟信号,当所述比较器确定所述电荷量大于所述预先确定的电平时接收所述信号;以及
开关,所述开关耦合到所述延迟控制器并且处于所述光源与所述电荷存储装置之间,所述开关被配置成在从所述延迟控制器接收到所述延迟信号之后关闭。
33.如权利要求32所述的光发射器***,其中每个可穿戴装置包括:
频率控制器,所述频率控制器耦合到所述延迟控制器以便从所述延迟控制器接收信号,当所述延迟控制器向所述开关发送所述延迟信号时所述信号从所述延迟控制器接收,
其中所述频率控制器耦合到所述开关以便以一定频率控制所述开关的打开和关闭,所述频率控制器在接收到所述延迟信号之后用于向所述开关发送用于控制所述开关的打开和关闭的信号。
CN201580071986.4A 2014-12-31 2015-12-17 用于确定用户手指位置的信号生成和检测器***以及方法 Active CN107106907B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/587,761 US9746921B2 (en) 2014-12-31 2014-12-31 Signal generation and detector systems and methods for determining positions of fingers of a user
US14/587,761 2014-12-31
PCT/US2015/066369 WO2016109232A2 (en) 2014-12-31 2015-12-17 Signal generation and detector systems and methods for determining positions of fingers of a user

Publications (2)

Publication Number Publication Date
CN107106907A true CN107106907A (zh) 2017-08-29
CN107106907B CN107106907B (zh) 2018-10-30

Family

ID=55083515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071986.4A Active CN107106907B (zh) 2014-12-31 2015-12-17 用于确定用户手指位置的信号生成和检测器***以及方法

Country Status (6)

Country Link
US (2) US9746921B2 (zh)
EP (1) EP3229930B1 (zh)
JP (1) JP6337212B2 (zh)
KR (1) KR101839851B1 (zh)
CN (1) CN107106907B (zh)
WO (1) WO2016109232A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339090A (zh) * 2016-08-31 2017-01-18 广东虹勤通讯技术有限公司 一种键帽、手套及输入***
CN107562205A (zh) * 2017-09-15 2018-01-09 上海展扬通信技术有限公司 一种智能终端的投影键盘及该投影键盘的操作方法
CN109991740A (zh) * 2017-12-30 2019-07-09 深圳多哚新技术有限责任公司 一种轻薄头戴显示设备
CN110609610A (zh) * 2018-06-15 2019-12-24 意美森公司 用于利用传感器融合来多速率控制触觉效果的***和方法
CN111372070A (zh) * 2018-12-26 2020-07-03 宏碁股份有限公司 追踪定位***及其定位与校正方法
CN111566598A (zh) * 2018-01-19 2020-08-21 索尼公司 可穿戴装置和安装夹具
CN112015268A (zh) * 2020-07-21 2020-12-01 重庆非科智地科技有限公司 基于bim的虚实交互的交底方法及装置、***和存储介质
CN112888914A (zh) * 2018-10-31 2021-06-01 索尼互动娱乐股份有限公司 ***校准装置,***校准方法和程序
CN113742695A (zh) * 2021-09-17 2021-12-03 中国银行股份有限公司 一种密码输入***及密码输入方法
CN114265212A (zh) * 2021-12-02 2022-04-01 华为终端有限公司 智能眼镜和智能眼镜佩戴检测方法
US11315530B2 (en) 2018-11-28 2022-04-26 Acer Incorporated Tracking system and related positioning and calibration methods
US11986067B2 (en) 2020-08-19 2024-05-21 Masimo Corporation Strap for a wearable device
USD1036293S1 (en) 2021-08-17 2024-07-23 Masimo Corporation Straps for a wearable device

Families Citing this family (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
CA2828222A1 (en) 2010-02-23 2011-09-01 Muv Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) * 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
US11191996B2 (en) 2012-08-31 2021-12-07 Blue Goji Llc Body joystick for interacting with virtual reality or mixed reality machines or software applications
US11951355B2 (en) 2012-08-31 2024-04-09 Blue Goji Llc Health-related data collection system for healthcare diagnostics and treatment platforms
US11465014B2 (en) * 2012-08-31 2022-10-11 Blue Goji Llc Body joystick for interacting with virtual reality or mixed reality machines or software applications with brainwave entrainment
US10549153B2 (en) * 2012-08-31 2020-02-04 Blue Goji Llc Virtual reality and mixed reality enhanced elliptical exercise trainer
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
EA032658B1 (ru) * 2013-07-15 2019-06-28 Вр Электроникс Лимитид Способ интерактивной физиологической синхронизации пользователя с виртуальной средой
US10353982B1 (en) 2013-08-13 2019-07-16 Amazon Technologies, Inc. Disambiguating between users
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
WO2016100933A1 (en) 2014-12-18 2016-06-23 Oculus Vr, Llc System, device and method for providing user interface for a virtual reality environment
US10613628B2 (en) 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US10444018B2 (en) 2015-02-27 2019-10-15 Microsoft Technology Licensing, Llc Computer-implemented method to test the sensitivity of a sensor for detecting movement of a tracking device within an established frame of reference of a moving platform
US10111620B2 (en) * 2015-02-27 2018-10-30 Microsoft Technology Licensing, Llc Enhanced motion tracking using transportable inertial sensors to determine that a frame of reference is established
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
JP7136558B2 (ja) * 2015-03-05 2022-09-13 マジック リープ, インコーポレイテッド 拡張現実のためのシステムおよび方法
CN107615213A (zh) 2015-04-21 2018-01-19 意美森公司 蚀刻输入的动态呈现
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US10007116B2 (en) * 2015-06-15 2018-06-26 Oculus Vr, Llc Recessed light-emitting diodes in virtual-reality systems
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20170168592A1 (en) * 2015-12-14 2017-06-15 Volodymyr Mishyn System and method for optical tracking
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
WO2017119846A1 (en) * 2016-01-06 2017-07-13 Heptagon Micro Optics Pte. Ltd. Three-dimensional imaging using frequency domain-based processing
US10295971B2 (en) * 2016-01-19 2019-05-21 King Fahd University Of Petroleum And Minerals Wearable hand device comprising an embedded control system
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US9761056B1 (en) * 2016-03-10 2017-09-12 Immersv, Inc. Transitioning from a virtual reality application to an application install
CN107346172B (zh) * 2016-05-05 2022-08-30 富泰华工业(深圳)有限公司 一种动作感应方法及装置
AU2017266933B2 (en) 2016-05-20 2023-01-12 Magic Leap, Inc. Contextual awareness of user interface menus
EP3465631B1 (en) * 2016-06-07 2020-07-08 Koninklijke KPN N.V. Capturing and rendering information involving a virtual environment
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10709975B2 (en) * 2016-06-29 2020-07-14 Intel Corporation Systems and methods for manipulating a virtual object
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
JP6535641B2 (ja) * 2016-08-23 2019-06-26 株式会社コロプラ 仮想空間に表示されるオブジェクトを制御するための方法および装置、ならびに、当該方法をコンピュータに実行させるためのプログラム
US20190250722A1 (en) * 2016-09-26 2019-08-15 Muv Interactive Ltd. Multi-sensing trigger for hand-held device
EP3519892B1 (en) 2016-09-27 2020-12-16 Snap Inc. Eyewear device mode indication
US11601806B2 (en) * 2016-09-28 2023-03-07 Sony Corporation Device, computer program and method
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
WO2018072593A1 (zh) * 2016-10-21 2018-04-26 北京小鸟看看科技有限公司 虚拟现实***及其空间定位装置、定位方法
US9983665B2 (en) 2016-10-25 2018-05-29 Oculus Vr, Llc Position tracking system that exploits arbitrary configurations to determine loop closure
CN106528020B (zh) * 2016-10-26 2019-05-31 腾讯科技(深圳)有限公司 一种视角模式切换方法及终端
US10088902B2 (en) * 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US10255894B1 (en) * 2016-12-16 2019-04-09 Mark J. BONNER Wearable electronic musical instrument
CN106768361B (zh) * 2016-12-19 2019-10-22 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和***
TWI655447B (zh) * 2016-12-26 2019-04-01 宏達國際電子股份有限公司 追蹤系統及追蹤方法
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10573285B1 (en) * 2017-01-30 2020-02-25 Mark J. BONNER Portable electronic musical system
US20180239138A1 (en) * 2017-02-17 2018-08-23 Olga DEMCHENKO Computer data input-output device
GB2560003B (en) * 2017-02-24 2021-08-18 Sony Interactive Entertainment Inc Virtual reality
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
IL298822A (en) 2017-03-17 2023-02-01 Magic Leap Inc A mixed reality system with color virtual content distortion and a method for creating virtual content using it
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
WO2018191755A1 (en) * 2017-04-14 2018-10-18 REHABILITATION INSTITUTE OF CHICAGO d/b/a Shirley Ryan AbilityLab Prosthetic virtual reality training interface and related methods
TWI626469B (zh) * 2017-04-27 2018-06-11 宏碁股份有限公司 頭戴式顯示器及其控制方法
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10481736B2 (en) 2017-06-21 2019-11-19 Samsung Electronics Company, Ltd. Object detection and motion identification using electromagnetic radiation
CN109143577A (zh) * 2017-06-28 2019-01-04 宏碁股份有限公司 头戴式显示器及其控制方法
EP3422147A1 (en) * 2017-06-28 2019-01-02 Koninklijke Philips N.V. Display apparatus for computer-mediated reality
US10838499B2 (en) 2017-06-29 2020-11-17 Apple Inc. Finger-mounted device with sensors and haptics
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
DE112018005530T5 (de) * 2017-09-29 2020-07-02 Apple Inc. IMU-basierter Handschuh
WO2019096369A1 (en) * 2017-11-14 2019-05-23 Alterface Holdings Tracking of a user device
GB2569603B (en) 2017-12-21 2020-04-01 Sony Interactive Entertainment Inc Position tracking apparatus and method
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
KR102010023B1 (ko) * 2018-01-10 2019-08-12 주식회사 동우 이앤씨 혼합 현실 서비스 제공 방법 및 시스템
JP6908573B2 (ja) * 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981067B2 (en) * 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10914567B2 (en) * 2018-02-23 2021-02-09 Apple Inc. Magnetic sensor based proximity sensing
US10997943B2 (en) * 2018-03-02 2021-05-04 Facebook Technologies, Llc Portable compute case for storing and wirelessly communicating with an eyewear device
US10775892B2 (en) * 2018-04-20 2020-09-15 Immersion Corporation Systems and methods for multi-user shared virtual and augmented reality-based haptics
US10579099B2 (en) * 2018-04-30 2020-03-03 Apple Inc. Expandable ring device
US10554886B2 (en) 2018-05-18 2020-02-04 Valve Corporation Power management for optical position tracking devices
KR102551686B1 (ko) * 2018-05-29 2023-07-05 삼성전자주식회사 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
WO2019229698A1 (en) 2018-05-31 2019-12-05 Purple Tambourine Limited Interacting with a virtual environment using a pointing controller
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
CN112272814A (zh) * 2018-06-19 2021-01-26 索尼公司 信息处理设备、信息处理方法及程序
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
KR101987050B1 (ko) * 2018-08-01 2019-06-10 양영용 Vr드론실기실감체험 형성장치
US11537219B2 (en) 2018-08-07 2022-12-27 The Research Foundation For The State University Of New York Feedback input apparatus and method for use thereof
EP3617849A1 (en) * 2018-08-27 2020-03-04 Airbus Operations, S.L.U. A real time virtual reality (vr) system and related methods
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
EP3875226A4 (en) * 2018-10-30 2022-07-20 Cyberdyne Inc. INTERACTIVE INFORMATION TRANSMISSION SYSTEM, INTERACTIVE INFORMATION TRANSMISSION METHOD AND INFORMATION TRANSMISSION SYSTEM
US20200139226A1 (en) * 2018-11-03 2020-05-07 Beat Games s.r.o. Player tracking video game
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
KR102108048B1 (ko) * 2018-12-07 2020-05-11 (주)익스트리플 역감 제어 장치 및 그 방법
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
KR102218089B1 (ko) * 2019-01-22 2021-02-19 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102237608B1 (ko) * 2019-01-22 2021-04-09 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
US11989355B2 (en) 2019-02-18 2024-05-21 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
JP7353773B2 (ja) * 2019-03-18 2023-10-02 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7283958B2 (ja) * 2019-04-11 2023-05-30 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP2020177283A (ja) * 2019-04-15 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7288792B2 (ja) 2019-04-24 2023-06-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
US20220121283A1 (en) * 2019-06-12 2022-04-21 Hewlett-Packard Development Company, L.P. Finger clip biometric virtual reality controllers
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
US11409364B2 (en) * 2019-09-13 2022-08-09 Facebook Technologies, Llc Interaction with artificial reality based on physical objects
US11681369B2 (en) * 2019-09-16 2023-06-20 Iron Will Innovations Canada Inc. Control-point activation condition detection for generating corresponding control signals
CA3152444A1 (en) 2019-09-24 2021-04-01 Landon NICKERSON Smart ring
US11175734B1 (en) * 2019-09-26 2021-11-16 Apple Inc Wrist tracking devices
US11714494B2 (en) 2019-09-26 2023-08-01 Apple Inc. Ring input devices
CN112865612B (zh) 2019-11-27 2023-05-16 北京小米移动软件有限公司 电子设备及其控制方法、装置、可读存储介质
US11474602B2 (en) 2020-02-26 2022-10-18 Disney Enterprises, Inc. Gameplay system with play augmented by merchandise
US11207599B2 (en) * 2020-02-26 2021-12-28 Disney Enterprises, Inc. Gameplay system with play augmented by merchandise
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
US20230154128A1 (en) * 2020-03-26 2023-05-18 Sony Group Corporation Information processing device, information processing method, and information processing program
US11397468B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11397466B2 (en) * 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
KR102612430B1 (ko) 2020-08-28 2023-12-12 한국전자통신연구원 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
WO2022241047A1 (en) * 2021-05-11 2022-11-17 Axon Enterprise, Inc. Equipment detection using a wearable device
CN114227679B (zh) * 2021-12-17 2023-07-25 深圳市金大智能创新科技有限公司 一种基于数字化虚拟人驱动的远程机器人控制方法及***
WO2023150766A1 (en) * 2022-02-04 2023-08-10 Bluegoji, Llc Body joystick for interacting with virtual reality or mixed reality machines or software applications with brainwave entrainment
US20230398432A1 (en) * 2022-06-10 2023-12-14 Sony Interactive Entertainment Inc. Asynchronous dynamic vision sensor led ai tracking system and method
US12029971B2 (en) * 2022-06-10 2024-07-09 Sony Interactive Entertainment LLC Hybrid pixel dynamic vision sensor tracking using IR and ambient light (or depth sensor)
US11995226B2 (en) * 2022-06-10 2024-05-28 Sony Interactive Entertainment Inc. Dynamic vision sensor tracking based on light source occlusion
EP4369155A4 (en) * 2022-09-23 2024-06-05 Samsung Electronics Co., Ltd. WEARABLE ELECTRONIC DEVICE AND METHOD FOR IDENTIFYING A CONTROL DEVICE USING A WEARABLE ELECTRONIC DEVICE
KR20240048409A (ko) * 2022-10-06 2024-04-15 재단법인 아산사회복지재단 햅틱 피드백 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131017A (ja) * 1998-10-23 2000-05-12 Sony Corp 自己位置提示物体、その位置認識装置及びその位置認識方法
WO2010032223A1 (en) * 2008-09-20 2010-03-25 Saar Shai Finger-worn device and interaction methods and communication methods
CN102149436A (zh) * 2008-05-30 2011-08-10 美国索尼电脑娱乐有限责任公司 利用图像分析和超声波通信对控制器三维定位的确定
US20130267318A1 (en) * 1997-08-22 2013-10-10 Motion Games, Llc Advanced video gaming methods for education and play using camera based inputs

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3623723A (en) 1969-07-16 1971-11-30 Charles E Helbach Finger manipulation game
US4322081A (en) 1981-04-06 1982-03-30 Terry Jr Wilfred F Finger tip golf game
US5135226A (en) 1991-04-09 1992-08-04 Dennis Place Single-finger gripping device
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5558550A (en) 1994-02-14 1996-09-24 Setteducati; Mark Simulated finger device
EP1037827A2 (en) 1997-04-28 2000-09-27 Myong Ho Cho Finger supporting structure
JP2000029619A (ja) * 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
US6460849B1 (en) 1999-03-16 2002-10-08 Jeffrey W. Bean Rotating ring game
US7114193B2 (en) 2004-05-20 2006-10-03 Warrior Lacrosse, Inc. Trigger finger protective glove
JP2009104429A (ja) * 2007-10-24 2009-05-14 Nikon Corp ヘッドマウントディスプレイ装置及び携帯装置
SE534411C2 (sv) 2009-11-02 2011-08-09 Stanley Wissmar Elektronisk Finger Ring och tillverkning av densamme
US9024872B2 (en) * 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
US9300147B2 (en) * 2011-06-29 2016-03-29 Lg Electronics Inc. Method for avoiding signal collision in wireless power transfer
US20130148271A1 (en) 2011-12-13 2013-06-13 Feng-Dun Huang Handset protection housing with finger ring
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130267318A1 (en) * 1997-08-22 2013-10-10 Motion Games, Llc Advanced video gaming methods for education and play using camera based inputs
JP2000131017A (ja) * 1998-10-23 2000-05-12 Sony Corp 自己位置提示物体、その位置認識装置及びその位置認識方法
CN102149436A (zh) * 2008-05-30 2011-08-10 美国索尼电脑娱乐有限责任公司 利用图像分析和超声波通信对控制器三维定位的确定
WO2010032223A1 (en) * 2008-09-20 2010-03-25 Saar Shai Finger-worn device and interaction methods and communication methods

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339090A (zh) * 2016-08-31 2017-01-18 广东虹勤通讯技术有限公司 一种键帽、手套及输入***
CN107562205A (zh) * 2017-09-15 2018-01-09 上海展扬通信技术有限公司 一种智能终端的投影键盘及该投影键盘的操作方法
CN109991740A (zh) * 2017-12-30 2019-07-09 深圳多哚新技术有限责任公司 一种轻薄头戴显示设备
CN111566598A (zh) * 2018-01-19 2020-08-21 索尼公司 可穿戴装置和安装夹具
CN110609610A (zh) * 2018-06-15 2019-12-24 意美森公司 用于利用传感器融合来多速率控制触觉效果的***和方法
CN112888914A (zh) * 2018-10-31 2021-06-01 索尼互动娱乐股份有限公司 ***校准装置,***校准方法和程序
CN112888914B (zh) * 2018-10-31 2023-02-28 索尼互动娱乐股份有限公司 ***校准装置,***校准方法和程序
US11315530B2 (en) 2018-11-28 2022-04-26 Acer Incorporated Tracking system and related positioning and calibration methods
CN111372070A (zh) * 2018-12-26 2020-07-03 宏碁股份有限公司 追踪定位***及其定位与校正方法
CN112015268A (zh) * 2020-07-21 2020-12-01 重庆非科智地科技有限公司 基于bim的虚实交互的交底方法及装置、***和存储介质
US11986067B2 (en) 2020-08-19 2024-05-21 Masimo Corporation Strap for a wearable device
USD1036293S1 (en) 2021-08-17 2024-07-23 Masimo Corporation Straps for a wearable device
CN113742695A (zh) * 2021-09-17 2021-12-03 中国银行股份有限公司 一种密码输入***及密码输入方法
CN114265212A (zh) * 2021-12-02 2022-04-01 华为终端有限公司 智能眼镜和智能眼镜佩戴检测方法

Also Published As

Publication number Publication date
WO2016109232A2 (en) 2016-07-07
US20170308166A1 (en) 2017-10-26
WO2016109232A3 (en) 2016-09-15
KR20170081727A (ko) 2017-07-12
JP6337212B2 (ja) 2018-06-06
US20160187974A1 (en) 2016-06-30
EP3229930B1 (en) 2018-07-11
US9746921B2 (en) 2017-08-29
KR101839851B1 (ko) 2018-05-04
US10241573B2 (en) 2019-03-26
EP3229930A2 (en) 2017-10-18
CN107106907B (zh) 2018-10-30
JP2018500674A (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
CN107106907B (zh) 用于确定用户手指位置的信号生成和检测器***以及方法
JP6538897B2 (ja) 空間感知を備えるゲーム機
CN111095150B (zh) 机器人作为私人教练
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN106255916B (zh) 跟踪头戴式显示器(hmd)的方法和***以及用于hmd头带调整的校准
CN106232192B (zh) 具有可旋转放置的摄像机的玩游戏装置
CN106575159B (zh) 手套接口对象
CN106664401B (zh) 用于在与内容交互时向用户提供反馈的***和方法
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
CN108027653A (zh) 虚拟环境中的触觉交互
US11769306B2 (en) User-exhibit distance based collaborative interaction method and system for augmented reality museum
CN107533369A (zh) 带有***装置的手套指尖的磁性跟踪
CN202355828U (zh) 游戏***和操作装置
CN110119815A (zh) 模型训练方法、装置、存储介质及设备
CN107683449A (zh) 控制经由头戴式显示器呈现的个人空间内容
CN107111340A (zh) 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和***
CN106687914A (zh) 体积空间的物理交互式显像
CN108379817A (zh) 肢体康复训练***及方法
WO2021157691A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN110461427A (zh) 变焦设备和相关方法
WO2018057044A1 (en) Dual motion sensor bands for real time gesture tracking and interactive gaming
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
Loviscach Playing with all senses: Human–Computer interface devices for games
Guzman-Ballen Virtual reality system with haptics integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant