CN102414641A - 改变显示环境内的视图视角 - Google Patents
改变显示环境内的视图视角 Download PDFInfo
- Publication number
- CN102414641A CN102414641A CN2010800200116A CN201080020011A CN102414641A CN 102414641 A CN102414641 A CN 102414641A CN 2010800200116 A CN2010800200116 A CN 2010800200116A CN 201080020011 A CN201080020011 A CN 201080020011A CN 102414641 A CN102414641 A CN 102414641A
- Authority
- CN
- China
- Prior art keywords
- user
- posture
- input
- visual angle
- display environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/55—Details of game data or player data management
- A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
- A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本文公开了用于改变显示环境内的视图视角的***和方法。例如,可存储与多个输入相对应的姿势数据。所述输入可被输入至由计算设备实现的游戏或应用中。可捕捉游戏或应用的用户的图像。例如,适当的捕捉设备可在一段时间内捕捉用户的若干图像。可分析并处理图像以检测用户的姿势。可将用户的姿势的各方面与所存储的姿势数据进行比较以确定该用户的预期姿势输入。该比较可以是用于确定与姿势数据相对应的输入的分析的一部分,其中所述输入中的一个或多个被输入至该游戏或应用中并导致该显示环境内的视图视角被改变。
Description
背景技术
诸如计算机游戏、多媒体应用等之类的许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常,使用如控制器、遥控器、键盘、鼠标等来输入这些控制。不幸的是,这些控制可能是难以学习的,由此造成了用户和这些游戏及应用之间的障碍。而且,操作这些控制所需的用户动作可能不同于用户为了与游戏或其他应用中显示的虚拟或真实环境逼真地交互而会采取的动作。
例如,手持控制器的按钮可用来致使游戏角色或化身在三维(3D)虚拟环境中导航或改变视角(perspective)。在此示例中,使用手持控制器上的按钮来与虚拟环境交互在物理上不同于人们可能通常优选地用来与类似的真实环境交互的逼真移动。例如,对于用户来说可能较佳的是做出行走运动来引起游戏角色在虚拟环境中的向前移动,而不是按动控制器按钮来使游戏角色在虚拟环境中向前移动。
相应地,期望提供用于允许用户使用直观的、自然的移动或姿势来在显示环境内交互的***和方法。
概述
本文公开了用于改变显示环境内的视图视角(view perspective)的***和方法。例如,可存储与多个输入相对应的姿势数据。所述输入可被输入至由计算设备实现的游戏或应用。可捕捉游戏或应用的用户的图像。例如,适当的捕捉设备可在一段时间内捕捉用户的若干图像。可分析和/或处理图像以检测用户的姿势。可将该用户的姿势的一个或多个方面与所存储的姿势数据的一个或多个方面进行比较,以确定该用户的预期的姿势输入。该比较可以是用于确定输入中与姿势数据相对应的一个或多个输入的分析的一部分,其中输入中的一个或多个被输入至该游戏或应用并导致该显示环境内的视图视角被改变。可显示该显示环境的已改变的视图视角。
在一个实施例中,用户的姿势或移动可被用来控制化身或游戏角色的动作。例如,可对照姿势过滤器来比较用户的姿势。如果各点的移动满足速度和/或位置过滤标准,则这些移动可被直接映射到用户的化身的相应点上。这些移动可被缩放,从而不管用户的骨架模型和化身模型之间的比例的差异如何,这些移动都是正确的。
姿势过滤器可允许以每根骨和/或每个关节为基础来指定过滤条件。条件可以按照离其他骨和/或关节、中性“静止(rest)”位置、或游戏空间或房间中的固定位置的角度距离或直线距离来表示。条件还可以按照速度或加速度来表示。如果用户移动或运动满足过滤器的标准,则***可在化身中反映该移动和/或在显示器上示出的第一人称游戏角色的视图视角中反映该移动。
提供本概述以便以简化形式介绍在以下具体实施方式中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的实现。
附图说明
参考附图来进一步描述根据本说明书的用于更改虚拟环境内的视图视角的***、方法和计算机可读介质,在附图中:
图1示出了目标识别、分析和跟踪***的示例实施例,其中用户正在玩有迷宫的游戏;
图2示出了可在目标识别、分析和跟踪***中使用的捕捉设备的示例实施例;
图3示出了可用于在目标识别、分析和跟踪***中检测一个或多个姿势的计算环境的示例实施例;
图4示出了可用于在目标识别、分析和跟踪***中检测一个或多个姿势的计算环境的另一示例实施例;
图5描绘了用于基于用户做出的姿势改变显示环境内的视图视角的示例方法的流程图;
图6描绘了被分成多个区段的游戏空间的俯视图,其中用户可以在这些区段内移动以导致输入动作;
图7示出了位于正常玩游戏位置的用户;以及
图8示出了两个用户位于捕捉设备之前,以控制两个化身的移动。
具体实施方式
如本文将会描述的,用户可通过做出一个或多个姿势来改变显示环境内的视图视角。根据一个实施例,用户可以做出改变三维虚拟环境内的显示的视角的一个或多个物理移动或姿势。例如,用户可以由该虚拟环境中的化身或游戏角色表示,而用户向左或向右的肩膀转动移动可导致虚拟环境的视图的相应偏移。在另一实施例中,显示环境可以是由视频设备捕捉的真实环境,而用户的移动可导致用户的化身或游戏角色的相应“移动”,从而使得所显示的视角在所显示的真实环境中被相应地改变。
在一实施例中,用户姿势可以由例如捕捉设备检测。例如,捕捉设备可捕捉场景的深度图像。在一个实施例中,捕捉设备可以确定场景中的一个或多个目标或对象是否对应于诸如用户等人类目标。如果捕捉设备确定场景中的一个或多个对象是人类,则它可以确定人类的深度以及人的大小。然后该设备可基于所存储的信息(诸如,例如将人的大小与翼展和/或个人简档信息相匹配的查找表)使虚拟屏幕以每个人类目标为中心。可扫描与人类模式(pattern)相匹配的每个目标或对象以生成与其相关联的模型,诸如骨架模型、网格人类模型等。该模型然后可被提供给计算环境,使得计算环境可跟踪该模型,呈现与该模型相关联的化身,基于相应的RGB图像确定衣服、皮肤和其他颜色,和/或基于例如该模型来确定在计算环境上执行的应用中执行哪些控制。
在示出化身的示例实施例中,通常可以从越过该化身肩膀的第三人称视图视角示出该化身。该视图视角可从该化身后面的位置保持,诸如用户感觉像是屏幕上化身正在模仿用户的动作一样。从用户的视角看,这个视图视角可去除右侧和左侧之间的任何歧义,意味着用户的右侧就是化身的右侧,而玩家的左侧就是化身的左侧。
在一示例实施例中,该***可监视用户的骨架模型上的定位点,以跟踪用户移动。当这些点移动时,***可对照姿势过滤器比较该运动。如果各点的移动满足速度和/或位置过滤标准,这些移动可被直接映射到用户的化身的相应点上。这些移动可被缩放,从而不管用户的骨架模型和化身模型之间的比例的差异如何,这些移动都是正确的。
该姿势过滤器可允许以每根骨和/或每个关节为基础来指定过滤条件。条件可以按照与其他骨和/或关节、中性“静止(rest)”位置、或游戏空间或房间中的固定位置的角度距离或直线距离来表示。条件还可以按照速度或加速度来表示。如果用户移动或运动满足过滤器的标准,则***可在化身中反映该移动和/或在显示器上示出的第一人称游戏角色的视图视角中反映该移动。
在一示例中,在姿势过滤器在任何次数的拒绝之后第一次识别出用户姿势时,该***可以开始过渡过程,通过该过渡过程,化身的四肢被平滑地动画到匹配该用户的位置。在此过渡期间,可识别另外的姿势输入动作,从而使得动画的目标位置和/或视图视角改变。该动画可被动态更新以瞄准用户的新位置。该重新瞄准(retargeting)可继续,直到化身的位置与用户的位置相匹配。如果在过渡仍旧在进行中的时候姿势过滤器因为动作落在其参数之外而拒绝动作,则该过渡可继续进行到最后已知的姿势目标,除非被另一姿势动画覆盖。
可在一段时间内跟踪用户移动以确定用户的移动是否旨在作为用于与显示环境交互的输入姿势。例如,所跟踪的移动可与姿势模型一起使用以确定用户是否想要改变环境内的视图视角。在一示例实施例中,计算环境可存储姿势数据,所述姿势数据包括用于定义与输入姿势相对应的移动的姿势模型。例如,姿势模型可定义向前移动、向后移动、转向移动、闪避移动、下蹲移动、游泳移动、飞翔移动、疾驰移动、侧移(strafe)移动或环绕移动。当用户做出移动时,可使用姿势模型分析该移动以确定用户是否意图做出定义的姿势。基于该分析,计算环境可确定该移动的一个或多个方面与所定义的姿势的一个或多个方面足够类似,从而可以确定检测到该姿势。如果确定用户的移动与姿势模型中的一个足够类似,则与该姿势模型相对应的输入可被用作对游戏或应用的输入以改变环境内的视图视角,和/或控制化身或游戏角色。
图1示出目标识别、分析和跟踪***10的配置的示例实施例,其中用户18正在玩有迷宫的游戏。在该示例实施例中,***10可识别、分析并跟踪人类目标的移动以确定用户18的预期姿势。进而,***10可使用包括姿势模型的姿势数据库来分析用户的移动,并可基于检测到的用户18做出的姿势改变视听设备16的显示画面14内的视图视角。
如图1所示,***10可包括计算环境12。计算环境12可以是计算机、游戏***、控制台等。根据一示例实施例,计算环境12可包括硬件组件和/或软件组件,使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。
如图1所示,***10可包括捕捉设备20。捕捉设备20可以例如是可用于监视一个或多个用户(诸如用户18)的检测器,从而由该一个或多个用户执行的移动可被捕捉、分析和跟踪以确定预期姿势。可以使用姿势模型来分析这些移动以在应用内执行一个或多个控制或动作,如下面将会更详细地描述的。
根据一个实施例,***10可以连接于视听设备16。视听设备16可以是可向诸如用户18等的用户提供游戏或应用视觉和/或音频的任何类型的显示器,诸如电视机、监视器、高清晰度电视机(HDTV)等。例如,计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器,这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号,然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例,视听设备16可经由例如,S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1所示,在一示例实施例中,在计算环境12上执行的应用可以是涉及用户18可能正在导航的迷宫的游戏。例如,计算环境12可使用视听设备16来在视听设备16的显示器屏幕上提供正在三维迷宫内以第一人称角色玩游戏的用户18的视图视角。用户18可使用姿势来控制在迷宫游戏空间内的移动,以及改变三维迷宫内的视图视角。例如,用户18可以以行走运动移动以致使该视图视角在该迷宫游戏空间内向前移动。在另一示例中,用户18可以转动他或她的头或肩膀以在转动方向上移动该视图视角。因此,根据一示例实施例,***10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的姿势,从而使得该姿势可被解释为对游戏空间中的玩家的游戏控制。用户18的其他姿势也可被解释为其他输入,诸如对向前移动、向右或向左转、闪避、下蹲、游泳、飞翔、疾驰、侧移、环绕之类的输入。显示环境中的视图视角可依照该姿势改变。
根据其他实施例,***10还可用于将目标移动解释为游戏领域之外的操作***和/或应用控制。例如,事实上操作***和/或应用的任何可控方面都可由诸如用户18等目标的移动来控制。
图2示出可在***10中使用的捕捉设备20的示例实施例。根据该示例实施例,捕捉设备20可被配置成经由任何合适的技术(包括例如飞行时间、结构化光、立体图像等)来捕捉带有包括一个或多个图像的用户移动信息的视频,用户移动信息可包括姿势值。根据一个实施例,捕捉设备20可将计算出的姿势信息组织为坐标信息,诸如X、Y和Z坐标信息。可以随时间监视如本文所述的用户模型的坐标以确定用户或用户的附属物的移动。基于用户模型坐标的移动,计算环境可确定该用户是否正在做出定义的姿势,如本文所述。
如图2所示,根据一示例实施例,图像相机组件25可包括可用于捕捉场景的姿势图像的IR光组件26、三维(3-D)相机27和RGB相机28。例如,在飞行时间分析中,捕捉设备20的IR光组件26可以将红外光发射到场景上,然后,可以使用传感器(未示出),用例如3-D相机27和/或RGB相机28,来检测从场景中的一个或多个目标和物体的表面反向散射的光。在某些实施例中,可以使用脉冲红外光,使得可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地,在其他示例性实施例中,可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。也可使用此信息来确定用户移动。
根据另一示例实施例,可使用飞行时间分析,通过经由包括例如快门式光脉冲成像在内的各种技术来随时间分析反射光束的强度以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。也可使用此信息来确定用户移动。
在另一示例实施例中,捕捉设备20可使用结构化光来捕捉姿势信息。在这一分析中,图案化光(即,被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件26被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时,作为响应,图案可变形。图案的这种变形可由例如3-D相机27和/或RGB相机28来捕捉,然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一实施例,捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分开的相机,以获取可以被解析以生成姿势信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例,话筒30可用于减少***10中的捕捉设备20和计算环境12之间的反馈。另外,话筒30可用于接收也可由用户提供的音频信号,以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中,捕捉设备20还可以包括可与图像相机组件25进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等,这些指令可包括用于接收姿势相关图像的指令、用于确定合适的目标是否可被包括在姿势图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、用于通过包括骨架跟踪***在内的任何手段来确定手臂长度或尺寸的指令、或任何其他合适的指令。
捕捉设备20还可包括存储器组件34,存储器组件34可存储可由处理器32执行的指令、由3-D相机或RGB相机所捕捉的图像或图像帧、玩家简档、或任何其他合适的信息、图像等。根据一示例实施例,存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示,在一个实施例中,存储器组件34可以是与图像捕捉组件25和处理器32进行通信的单独的组件。根据另一实施例,存储器组件34可被集成到处理器32和/或图像捕捉组件25中。
如图2所示,捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网线缆连接等有线连接,和/或诸如无线802.11b、802.11g、802.11a或802.11n连接之类的无线连接。根据一个实施例,计算环境12可以经由通信链路36向捕捉设备20提供时钟,可以使用该时钟来确定何时捕捉例如场景。
附加地,捕捉设备20可以经由通信链路36向计算环境12提供由例如3-D相机27和/或RGB相机28捕捉到的姿势信息和图像,以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用骨架模型、姿势信息和所捕捉的图像来例如创建虚拟屏幕、修改用户界面、以及控制诸如游戏或文字处理程序等应用。例如,如图2中所示,计算环境12可包括用于存储姿势数据的姿势库190。该姿势数据可包括姿势过滤器的集合,每一姿势过滤器包括关于骨架模型(在用户移动时)可执行的姿势的信息。可以将由相机27、28和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器进行比较,以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。这些姿势可以与对应用的各种输入或对应用的控制相关联,如本文所述。因此,计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来改变视图视角。
图3示出了可用于在目标识别、分析和跟踪***中检测一个或多个姿势的计算环境的示例实施例。而且,该示例计算环境可用于基于一个或多个所检测到的姿势而改变视听设备(诸如例如图1中示出的视听设备16)上的视图视角。诸如上面参考图1和图2所描述的计算环境12之类的计算环境可以是多媒体控制台100,如游戏控制台。如图3所示,多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数,由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核,以及由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM 106可存储在多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据,用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112,诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、***管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作***控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如,因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供***存储器143来存储在引导过程期间加载的应用数据。提供介质驱动器144,该介质驱动器可以包括DVD/CD驱动器、硬盘驱动器,或其他可移动介质驱动器等等。介质驱动器144可以内置或外置于多媒体控制台100。应用数据可经由介质驱动器144访问,以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
***管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。***供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各种其他组件经由一条或多条总线互连,总线包括串行和并行总线、存储器总线、***总线、以及使用各种总线架构中任一种的处理器或局部总线。作为示例,这些架构可以包括***部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时,应用数据可从***存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中,介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放,以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该***简单地连接到电视机或其他显示器而作为独立***来操作。在该独立模式中,多媒体控制台100允许一个或多个用户与该***交互、看电影、或听音乐。然而,随着通过网络接口124或无线适配器148可用的宽带连接的集成,多媒体控制台100还可作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时,可以保留设定量的硬件资源以供多媒体控制台操作***作***使用。这些资源可以包括存储器保留量(例如,16MB)、CPU和GPU周期保留量(例如,5%)、网络带宽保留量(例如,8kbs)等。因为这些资源是在***引导时保留的,所以所保留的资源从应用的角度而言是不存在的。
具体而言,存储器保留优选地足够大,以包含启动内核、并发***应用和驱动程序。CPU保留优选地为恒定,使得若所保留的CPU用量不被***应用使用,则空闲线程将消耗任何未使用的周期。
对于GPU保留,通过使用GPU中断来调度代码来将弹出窗口呈现为覆盖图以显示由***应用生成的轻量消息(例如,弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小,并且覆盖图优选地与屏幕分辨率成比例缩放。在并发***应用使用完整用户界面的情况下,优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率,从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且***资源被保留之后,并发***应用执行来提供***功能。***功能被封装在上述保留的***资源中执行的一组***应用中。操作***内核标识是***应用线程而非游戏应用线程的线程。***应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行,以便为应用提供一致的***资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存***最小化。
当并发***应用需要音频时,则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在***应用活动时控制游戏应用音频水平(例如,静音、衰减)。
输入设备(例如,控制器142(1)和142(2))由游戏应用和***应用共享。输入设备不是保留资源,而是在***应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换,而无需知晓游戏应用的知识,并且驱动程序维护有关焦点切换的状态信息。相机27、28和捕捉设备20可为控制台100定义额外的输入设备。
图4示出了可用于在目标识别、分析和跟踪***中检测一个或多个姿势的计算环境220的另一示例实施例,该计算环境可以是图1和图2所示的计算环境12。而且,该示例计算环境可用于基于一个或多个所检测到的姿势而改变视听设备(诸如例如图1中示出的视听设备16)上的视图视角。计算***环境220只是合适的计算环境的一个示例,并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中,所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如,本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中,术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中,实施者可以编写体现逻辑的源代码,且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步,因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地,本领域技术人员可以明白软件进程可被变换成等价的硬件结构,而硬件结构本身可被变换成等价的软件进程。因此,对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图4中,计算环境220包括计算机241,计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。***存储器222包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出***224(BIOS)通常存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制,图4示出了操作***225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238,从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239,以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至***总线221,并且磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至***总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中,例如,硬盘驱动器238被示为存储操作***258、应用程序257、其他程序模块256和程序数据255。注意,这些组件可以与操作***225、应用程序226、其他程序模块227和程序数据228相同,也可以与它们不同。在此操作***258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号,以说明至少它们是不同的副本。用户可以通过输入设备,例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至***总线的用户输入接口236连接至处理单元259,但也可以由其他接口和总线结构,例如并行端口、游戏端口或通用串行总线(USB)来连接。相机27、28和捕捉设备20可为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至***总线221。除监视器之外,计算机还可以包括可以通过输出***接口233连接的诸如扬声器244和打印机243之类的其他***输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点,并且通常包括许多或所有以上关于计算机241所描述的元件,但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249,但还可包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN联网环境中时,计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时,计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250,可以是内置的或外置的,可以经由用户输入接口236或其他适当的机制连接到***总线221。在联网环境中,相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制,图4示出了远程应用程序248驻留在存储器设备247上。应当理解,所示的网络连接是示例性的,并且可使用在计算机之间建立通信链路的其他手段。
图5示出了用于基于用户18做出的姿势改变显示环境内的视图视角的示例方法500的流程图。示例方法500可使用例如参考图1-4所描述的***10的捕捉设备20和/或计算环境12来实现。在一个实施例中,视图视角可显示在诸如例如视听设备16等显示设备上。
根据一示例实施例,在505,与向游戏或其他应用的输入相对应的姿势数据可由***10的计算环境12存储。例如,计算环境12可存储姿势建模数据,该姿势建模数据可用于与用户的姿势进行比较。该姿势数据可包括姿势过滤器的集合,每一姿势过滤器包括关于用户的骨架模型(在用户移动时)可执行的姿势的信息。该姿势数据可包含用于与用户的移动的各方面进行比较的某些方面,以确定用户是否正在做出旨在作为对游戏或其他应用的输入的特定姿势。
根据一示例实施例,在目标进入捕捉设备场景时可进行一过程以确定目标是否是人类。如果确定目标是人类,则可在一段时间内捕捉该目标的移动。在510,捕捉设备20可检测姿势信息。在515,可使用所存储的姿势数据来分析所检测到的用户18的姿势或运动。例如,计算环境可将所检测到的姿势的一个或多个方面与所存储的姿势数据进行比较以确定所检测到的姿势是否应当被认为是与所存储的姿势数据之一相对应的输入。例如,计算环境可比较用户的脚移动以确定该移动是否应当被认为是行走姿势。
在520,基于在515的分析,计算环境12可确定所述输入中对应于所述姿势数据的至少一个输入,用于改变显示环境内的视野视角。在本示例中,如果该移动被认为是行走姿势,则该移动可导致显示环境内的视图视角向前移动。在525,可经由诸如例如视听设备16等显示器来显示已改变的视图视角。
根据一个实施例,在一会话期间可周期性地扫描该用户。这些扫描可用于生成用户的移动模型,其中该模型可以是骨架移动模型、网格人类移动模型或其任何合适的表示。这种移动模型可包括有关该用户做出的姿势的具体数据。可以将此数据与所存储的姿势数据进行比较以确定姿势是否应当被认为是用于改变视图视角的输入。
在一示例实施例中,如上所述,上面参考图1所描述的用户18的移动可被跟踪。当用户18做出由捕捉设备20和计算环境12识别出的合适的姿势时,经由视听显示器16显示的视图视角可被改变。所识别出的用户姿势可充当对电子角色扮演游戏或应用的实时输入,用于在三维虚拟环境中移动玩家。在一个示例中,所述输入可在由视频设备捕捉并显示给用户的真实环境内移动屏幕上角色、化身或第一人称角色。
在一示例实施例中,用户可以能够通过做出一个或多个姿势来导航、交互并改变3D虚拟环境或其他环境内的视图视角。通过对用户的姿势中的一个或多个姿势的检测,某些动作可被输入至实现该环境的应用中。用于控制用户的化身的示例性输入动作包括向前行走、向后行走、向左转到任何期望的面向、向右转到任何期望的面向、向前跑动、向左侧移、向右侧移、臂部移动、腿部移动、以及化身与对象的交互,诸如用化身的手和/或臂进行交互。
当用户上下移动他或她的腿时,行走运动可被检测到。下面的表1提供了导致相应输入动作的示例性用户姿势。
表1
方向性步进运动可以利用与上面描述的行走运动相同的所有动作和行为,而不是使用原地行走动作来建立移动。为了向前走,用户将一只脚向前放以启动并保持向前和/或向后动作。下面的表2提供了导致相应输入动作的示例性用户姿势。
表2
下面的表3提供了对于输入动作的示例性预定化身动画描述。这些预定化身动画可以是在用户做出定义的姿势时制定的化身的预编程移动。
表3
在示例实施例中,预定化身动画可结合声音示出。例如,当导致化身行走时,可以播放轻微的脚步声。在另一示例中,当导致化身跑动时,可以播放沉重的脚步声。在另一示例中,当导致化身侧移时,可以播放刮擦或滑动脚步声。在另一示例中,当导致化身碰撞某一物体时,可以播放碰撞声。在另一示例中,当化身导致某一物体落下或与另一物体相撞时,可以播放重的碰撞声。
在一示例实施例中,用户可通过将他或她的身体完全定位在游戏空间的新的区段或区域内来做出动作输入。可将游戏空间分成不同区段,用户可在这些区段内移动以导致输入动作。图6描绘了被分成九(9)个区段的游戏空间的俯视图,其中用户可以在这些区段内移动以导致输入动作。参考图6,用户60可在以下区域内移动:区域61用以输入向前、对角向左移动;区域62用以输入向前移动;区域63用以输入向前、对角向右移动;区域64用以输入向左侧移移动;区域65用以输入到中心位置的移动;区域66用以输入向右侧移移动;区域67用以输入向后、对角向左移动;区域68用以输入向后移动;以及区域69用以输入向后、对角向右移动。这些移动可导致会类似于按下操纵杆控制器上的方向按钮的输入。在这些位置中的任何位置中,用户可向右或向左转动他或她的肩膀以在显示环境上在同一方向上转动化身或游戏角色的身体。进而,使用这些位置和身体转动输入,用户可同时平移和转动以在三维虚拟环境内环形平移(circle strafe)。在一示例实施例中,中心位置,诸如在图6的中心区域65处,对于整个应用会话,诸如例如游戏会话,保持固定。在本示例中,每次用户移到区域65外时,用户必需返回区域65以停止用户的化身运动。游戏空间的占地区域可被标记以指示区域65,从而用户知道为了停止化身的移动要返回何处。在一示例中,用户可能期望使化身向前移动一定距离然后停止。这种控制可以通过用户移动到区域62以使得当用户在区域62中时化身向前移动来实现。在用户决定化身已经向前移动得足够远时,用户可以退回到中心区域65以停止化身的向前移动。
在一示例实施例中,***可识别出用户期望停止化身的移动,即便用户没有从其他区域之一完全返回到中心区域65。例如,***可识别出用户向中心区域65的方向上迈出一步和/或用户几乎完全位于中心区域65中。在这一种或两种情况中,控制输入可以是停止化身的当前动作。此外,在***做出这样的识别之后,用户的新位置可被认为是中心区域65,而其它区域的位置参考中心区域65被类似地重新定义。
用户可做出一个或多个预定义姿势以重新定义游戏空间内中心区域65的位置。例如,用户可将使他或她的双脚并排放置以将中心区域65定义为在该用户的当前位置处。参考新定义的中心区域,其他区域也会被重新定位。该***可被配置成识别用于定义中心区域的位置的预定姿势,并被配置成当该姿势被识别出时重新定义中心区域和其他区域的位置。该姿势可在开始玩游戏时或在玩游戏过程中被识别。
当用户以一种或多种不同方式移动时,跳跃运动可被检测到。在识别的跳跃动作输入的示例中,用户可原地跳跃,其中他或她的双脚离开地板。在另一示例中,当用户快速踮起他或她的脚趾,然后返回到脚平放状态(flat-footed)时,跳跃动作输入可被识别出。在另一示例中,当用户通过快速弯曲他或她的膝盖然后站起恢复直立来快速向下掉落时,跳跃动作输入可被识别出。在此示例中,此移动可被认为是“预备跳”动作,该预备跳动作启动游戏角色或化身的完整跳跃。这些移动中的任一个可被识别出并且类似地充当用于控制显示环境内的化身或视图视角的输入。
当用户做出下蹲移动时,下蹲运动可被检测出。例如,用户可弯曲他或她的膝盖并弓起他或她的背,同时稍微前倾,来导致下蹲输入动作。此移动可被识别出并且类似地充当用于控制显示环境内的化身或视图视角的输入。
跳跃和下蹲动作中的任一个可以与本文描述的任何其他运动姿势组合起来执行。例如,用户可以组合地向前或向后跑动并跳跃,组合地向左或向右侧移并跳跃,组合地跑动并下蹲,或者组合地侧移并下蹲。这些移动中的任一个可被识别出并且类似地充当用于控制显示环境内的化身或视图视角的输入。
根据一示例实施例,来自腰部以上(例如,头、臂和躯干)的用户的移动被用户的化身近似完全地或1∶1地模拟。近似完全地或1∶1地模拟用户的例外是在预定化身动画期间。在预定动画期间,可以模拟用户的上身移动,除非用户的臂停止不动或处于正常行走运动(在这种情况下该化身的预定动画更优先)。图7示出了位于正常玩游戏位置的用户70。正常玩游戏位置可被定义为前臂二头肌角度在165°到180°之间,且双臂形成以2°的角度从肩向下展开的锥形。双臂可以位于图7中示出的虚线所定义的锥形内的任何地方。
在一示例实施例中,预定化身动画可比精确模拟用户的移动更优先。例如,如果“原地行走”或“原地跑动”姿势过滤器返回TRUE(真)(即,该游戏将该返回值分别解释为行走或跑动),则可显示该化身的行走或跑动动画。进而在本示例中,否则如果玩家通过在一个方向迈步而触发移动动画,则显示该化身的预定移动动画,直到玩家停止该触发移动。否则,在本示例中,化身的移动模拟用户的移动。因此,预定动画通常可比模拟用户的移动更优先。
回头参考图3,在一个实施例中,一旦接收到用户的图像,可将该图像下采样到较低的处理分辨率,从而可用更少的计算开销来更容易地使用和/或更快地处理该图像。此外,可从该图像中移除和/或平滑掉一个或多个高变度和/或含噪声的值;可填入和/或重构缺少的和/或移除的图像信息的部分;和/或可对所接收的图像信息执行任何其他合适的处理,使得该信息可用于确定如上所述的用户的姿势。
在一示例实施例中,***10可用于同时检测一个以上用户的姿势。在一个示例中,多个用户的姿势可用于改变在视听设备(诸如,例如视听设备16)的相应数量的部分上显示的显示环境的视图视角。
图8示出了两个用户位于捕捉设备之前,以控制两个化身的移动。根据一个实施例,视听设备16可在视听设备16上显示的一个或多个虚拟环境内显示化身22和24。用户18和21可做出姿势以分别使化身22和24移动。例如,用户18和21可做出行走运动以分别使化身22和24在他们各自的虚拟环境内向前移动。用户18和21也可做出本文描述的其他姿势以使他们各自的化身按照本文提供的描述移动。此外,用户18和21可做出姿势以改变如本文所述的所显示的虚拟环境内的视图视角。
在一示例实施例中,可部分或完全跟踪用户移动以部分或完全控制用户的化身的移动。在一示例中,该***可以不利用每个用户移动来控制用户的化身。在一些应用中,这样的保真度可能对用户来说是令人分心的。如果需要,可以在用户的骨架模型或其他模型中以逐组件的方式来调整姿势过滤器的保真度。在一示例中,可以不跟踪用户的双臂以使它们能够自由地操作控制器,诸如玩游戏的控制器。在另一示例中,用户身体的一部分,诸如例如用户身体的左侧,可被化身精确模拟,而用户身体的右侧的移动可仅针对“挥动”姿势进行跟踪,或者完全不在化身中反映控制。灵敏度可基于用户的身体部位离正常位置的距离、运动速度和/或类似物。
在另一示例实施例中,***10可纠正物理区域内目标的漂移。例如,在玩期间,用户可能从中心区域移动或漂移开。为了纠正漂移,用户可以做出一个或多个姿势以针对该用户重新定义中心位置。例如,用户可将他的或她的双脚并拢站立,以将用户的当前位置重新定义为中心位置。因此,以此方式,该***可能不关心用户在游戏空间中的位置,因为用户可以在他或她注意到他或她的位置漂移之后重新定位他或她的位置的中心。
在另一示例实施例中,化身可以实时模拟用户的移动。例如,姿势过滤器可以识别用户的姿势,并使得化身使用该姿势的预定动画来模拟该姿势。例如,如果用户做出投掷运动,则可移动化身的臂以利用预定的投掷运动来模拟该用户的投掷运动。此外,该投掷运动的结果可被预先确定。例如,实时响应于用户的投掷运动,化身所持有的物体可被该化身掷出。
在另一示例实施例中,化身可在该化身由用户姿势控制的状态和该化身不由用户姿势控制的状态之间转换。例如,用户的身体可做出用于在这些状态间移动的姿势。例如,用户姿势对化身的控制可以在用户的脚和膝盖升高到特定高度时被启用,诸如在准备跺脚运动时。在本示例中的任何其他用户位置或移动中,除了例如通过操纵杆的控制以外,该化身不由用户移动控制。当用户做出移动以启用基于姿势的控制时,该化身可移动以模拟用户的身***置和移动。
在另一示例实施例中,用户可以将他或她的脚放在一起以使得化身停在原地。结果,控制输入可导致化身留在该虚拟世界内的相同位置,从而使得下一视图视角只被其他输入改变。基于其他用户控制输入或应用输入,下一视图视角可以相同或被改变。
在又一示例实施例中,如本文所描述的,用户可以做出一个或多个姿势,以改变显示环境的虚拟视口。例如,用户的姿势可被用作用于移动相机视图(虚拟视口)的输入。例如,用户可原地跳跃,并且作为结果,显示环境内的相机视图可相应地向上移动。在另一示例中,用户可以向左或向右移动,并且作为结果,显示环境内的相机视图可以相应地向左或向右移动。在一实施例中,可以跟踪用户的一个或多个附属物的移动,而显示环境内的相机视图可以在相应方向上移动。
应该理解,本文所述的配置和/或方法在本质上是示例性的,且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此,所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样,可以改变上述过程的次序。
此外,本公开的主题包括各种过程、***和配置,以及本文所公开的其他特征、功能、动作、和/或过程,以及其等效物的组合和子组合。
Claims (15)
1.一种用于改变显示环境内的视图视角的方法,所述方法包括:
存储(505)与多个输入相对应的多个姿势数据;
检测(510)用户的姿势;
使用所述姿势数据分析(515)所检测到的姿势;
基于所述分析,确定(520)所述输入中的至少一个,以改变显示环境内的视图视角;以及
基于所述输入中的所述至少一个,显示(525)所述显示环境的改变后的视图视角。
2.如权利要求1所述的方法,其特征在于,存储多个姿势数据还包括过滤条件,所述条件包括离骨架骨头位置或骨架关节位置的角度距离和直线距离中的至少一个。
3.如权利要求1所述的方法,其特征在于,存储多个姿势数据还包括过滤条件,所述条件包括骨架骨头或骨架关节的速度和加速度中的至少一个。
4.如权利要求1所述的方法,其特征在于,检测用户的姿势还包括检测以下用户移动中的至少一个:向前移动、向后移动、转动移动、闪避移动、下蹲移动、游泳移动、飞翔移动、疾驰移动、侧移移动和环绕移动。
5.如权利要求1所述的方法,其特征在于,分析所检测到的姿势还包括:
将所检测到的姿势的一方面与所述多个姿势数据进行比较;以及
确定所检测到的姿势的所述方面是否与所述姿势数据的一方面相匹配。
6.如权利要求1所述的方法,其特征在于,所述显示环境是三维虚拟环境和所显示的真实环境之一。
7.如权利要求1所述的方法,其特征在于,还包括基于所述输入中的所述至少一个,确定所述显示环境的所述改变后的视图视角。
8.如权利要求1所述的方法,其特征在于,还包括基于所述输入中的至少一个,改变所述显示环境的虚拟视口。
9.一种存储有计算机可执行指令的计算机可读介质,所述计算机可执行指令用于改变显示环境内的视图视角,包括:
存储(505)与多个输入相对应的多个姿势数据;
检测(510)用户的姿势;
使用所述姿势数据分析(515)所检测到的姿势;
基于所述分析,确定(520)所述输入中的至少一个,以改变显示环境内的视图视角;以及
基于所述输入中的所述至少一个,显示(525)所述显示环境的改变后的视图视角。
10.如权利要求9所述的计算机可读介质,其特征在于,用于存储多个姿势数据的计算机可执行指令还包括过滤条件,所述条件包括离骨架骨头位置或骨架关节位置的角度距离和直线距离中的至少一个。
11.如权利要求9所述的计算机可读介质,其特征在于,用于存储多个姿势数据的计算机可执行指令还包括过滤条件,所述条件包括离骨架骨头或骨架关节的速度和加速度中的至少一个。
12.如权利要求9所述的计算机可读介质,其特征在于,用于检测用户的姿势的计算机可执行指令还包括检测以下用户移动中的至少一个:向前移动、向后移动、转动移动、闪避移动、下蹲移动、游泳移动、飞翔移动、疾驰移动、侧移移动和环绕移动。
13.如权利要求9所述的计算机可读介质,其特征在于,所述显示环境是三维虚拟环境和所显示的真实环境之一。
14.如权利要求9所述的计算机可读介质,其特征在于,所述计算机可执行指令还包括基于所述输入中的所述至少一个,确定所述显示环境的所述改变后的视图视角。
15.一种用于改变显示环境内的视图视角的***,所述***包括:
用于检测用户的姿势的检测器(20);
计算设备(12),用于:
存储与多个输入相对应的多个姿势数据;
使用所述姿势数据分析所检测到的姿势;以及
基于所述分析,确定所述输入中的至少一个,以改变显示环境内的视图视角;以及
用于基于所述输入中的所述至少一个,显示所述显示环境的改变后的视图视角的显示器(16)。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17489309P | 2009-05-01 | 2009-05-01 | |
US61/174,893 | 2009-05-01 | ||
US12/474,769 US9498718B2 (en) | 2009-05-01 | 2009-05-29 | Altering a view perspective within a display environment |
US12/474,769 | 2009-05-29 | ||
PCT/US2010/032447 WO2010126841A2 (en) | 2009-05-01 | 2010-04-26 | Altering a view perspective within a display environment |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102414641A true CN102414641A (zh) | 2012-04-11 |
CN102414641B CN102414641B (zh) | 2014-03-12 |
Family
ID=43031365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080020011.6A Active CN102414641B (zh) | 2009-05-01 | 2010-04-26 | 改变显示环境内的视图视角 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9498718B2 (zh) |
CN (1) | CN102414641B (zh) |
WO (1) | WO2010126841A2 (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105451829A (zh) * | 2013-06-13 | 2016-03-30 | 生化游戏有限公司 | 用于物理疗法以及复健的影像游戏的个人数字训练器材 |
CN106062675A (zh) * | 2014-11-21 | 2016-10-26 | Uz睿脑公司 | 基于动作识别而控制画面上的三维虚拟空间的方法及其控制装置 |
CN106537173A (zh) * | 2014-08-07 | 2017-03-22 | 谷歌公司 | 基于雷达的姿势识别 |
WO2017054452A1 (zh) * | 2015-09-29 | 2017-04-06 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、终端及计算机存储介质 |
CN107115653A (zh) * | 2016-11-03 | 2017-09-01 | 京东方科技集团股份有限公司 | 调整泳姿的装置、泳姿信息处理***、泳姿信息处理方法 |
CN107765986A (zh) * | 2017-11-01 | 2018-03-06 | 网易(杭州)网络有限公司 | 游戏***的信息处理方法和装置 |
US10310621B1 (en) | 2015-10-06 | 2019-06-04 | Google Llc | Radar gesture sensing using existing data protocols |
US10409385B2 (en) | 2014-08-22 | 2019-09-10 | Google Llc | Occluded gesture recognition |
WO2019201047A1 (zh) * | 2018-04-16 | 2019-10-24 | 腾讯科技(深圳)有限公司 | 在虚拟环境中进行视角调整的方法、装置及可读存储介质 |
US10496182B2 (en) | 2015-04-30 | 2019-12-03 | Google Llc | Type-agnostic RF signal representations |
US10642367B2 (en) | 2014-08-07 | 2020-05-05 | Google Llc | Radar-based gesture sensing and data transmission |
US10664061B2 (en) | 2015-04-30 | 2020-05-26 | Google Llc | Wide-field radar-based gesture recognition |
US10664059B2 (en) | 2014-10-02 | 2020-05-26 | Google Llc | Non-line-of-sight radar-based gesture recognition |
CN111514584A (zh) * | 2019-02-01 | 2020-08-11 | 北京市商汤科技开发有限公司 | 游戏控制方法及装置、游戏终端及存储介质 |
US10817070B2 (en) | 2015-04-30 | 2020-10-27 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
US10936085B2 (en) | 2015-05-27 | 2021-03-02 | Google Llc | Gesture detection and interactions |
US10948996B2 (en) | 2014-06-03 | 2021-03-16 | Google Llc | Radar-based gesture-recognition at a surface of an object |
US11140787B2 (en) | 2016-05-03 | 2021-10-05 | Google Llc | Connecting an electronic component to an interactive textile |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100295782A1 (en) * | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
CN102004552A (zh) * | 2010-12-06 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于跟踪点识别的加强用户现场运动体验的方法和*** |
EP2742403A4 (en) * | 2011-09-16 | 2015-07-15 | Landmark Graphics Corp | METHOD AND SYSTEMS FOR GESTRO-BASED CONTROL OF A PETROTECHNICAL APPLICATION |
WO2013131232A1 (en) * | 2012-03-05 | 2013-09-12 | Microsoft Corporation | Generation of depth images based upon light falloff |
GB2502100B (en) * | 2012-05-14 | 2016-09-28 | Alan Vinton Roger | Improvements in or relating to presentation and display equipment |
CN103455253B (zh) * | 2012-06-04 | 2018-06-08 | 乐金电子(中国)研究开发中心有限公司 | 一种与视频设备交互的方法及用于交互的视频设备 |
US9681982B2 (en) | 2012-12-17 | 2017-06-20 | Alcon Research, Ltd. | Wearable user interface for use with ocular surgical console |
JP6335695B2 (ja) * | 2014-07-09 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
US10268321B2 (en) | 2014-08-15 | 2019-04-23 | Google Llc | Interactive textiles within hard objects |
US9588625B2 (en) | 2014-08-15 | 2017-03-07 | Google Inc. | Interactive textiles |
EP3198560A4 (en) * | 2014-09-24 | 2018-05-09 | Intel Corporation | User gesture driven avatar apparatus and method |
US9857939B2 (en) * | 2015-02-27 | 2018-01-02 | Accenture Global Services Limited | Three-dimensional virtualization |
US10016162B1 (en) | 2015-03-23 | 2018-07-10 | Google Llc | In-ear health monitoring |
US9983747B2 (en) | 2015-03-26 | 2018-05-29 | Google Llc | Two-layer interactive textiles |
US9848780B1 (en) | 2015-04-08 | 2017-12-26 | Google Inc. | Assessing cardiovascular function using an optical sensor |
US10080528B2 (en) | 2015-05-19 | 2018-09-25 | Google Llc | Optical central venous pressure measurement |
US9693592B2 (en) | 2015-05-27 | 2017-07-04 | Google Inc. | Attaching electronic components to interactive textiles |
US10376195B1 (en) | 2015-06-04 | 2019-08-13 | Google Llc | Automated nursing assessment |
US10222869B2 (en) * | 2015-08-03 | 2019-03-05 | Intel Corporation | State machine based tracking system for screen pointing control |
CN107851932A (zh) | 2015-11-04 | 2018-03-27 | 谷歌有限责任公司 | 用于将嵌入在服装中的电子器件连接至外部装置的连接器 |
US10175781B2 (en) | 2016-05-16 | 2019-01-08 | Google Llc | Interactive object with multiple electronics modules |
US10579150B2 (en) | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
US10586434B1 (en) * | 2017-10-25 | 2020-03-10 | Amazon Technologies, Inc. | Preventing unauthorized access to audio/video recording and communication devices |
US10809760B1 (en) * | 2018-10-29 | 2020-10-20 | Facebook, Inc. | Headset clock synchronization |
US11009964B2 (en) * | 2019-06-06 | 2021-05-18 | Finch Technologies Ltd. | Length calibration for computer models of users to generate inputs for computer systems |
EP3835924A1 (en) * | 2019-12-13 | 2021-06-16 | Treye Tech UG (haftungsbeschränkt) | Computer system and method for human-machine interaction |
WO2021216587A1 (en) * | 2020-04-20 | 2021-10-28 | Real Big Waves LLC | Systems and methods for gestural detection and control in immersive and interactive flume swimming pools |
US20230321536A1 (en) * | 2020-08-31 | 2023-10-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Controlling Movement of a Virtual Character in a Virtual Reality Environment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040193413A1 (en) * | 2003-03-25 | 2004-09-30 | Wilson Andrew D. | Architecture for controlling a computer using hand gestures |
CN1637698A (zh) * | 2004-01-07 | 2005-07-13 | 微软公司 | 通用计算设备的光学***设计 |
CN1797284A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
EP1879130A2 (en) * | 2006-07-13 | 2008-01-16 | Northrop Grumman Corporation | Gesture recognition interface system |
Family Cites Families (246)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4288078A (en) * | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
US4695953A (en) * | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) * | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) * | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) * | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) * | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4720789A (en) * | 1985-10-31 | 1988-01-19 | Bally Manufacturing Corporation | Video exercise or game floor controller with position indicating foot pads |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) * | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) * | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) * | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) * | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) * | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) * | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239463A (en) * | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US5239464A (en) * | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US4901362A (en) * | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) * | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) * | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) * | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
US5139261A (en) * | 1989-09-15 | 1992-08-18 | Openiano Renato M | Foot-actuated computer game controller serving as a joystick |
JPH03103822U (zh) * | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) * | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) * | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
WO1993010708A1 (en) | 1991-12-03 | 1993-06-10 | French Sportech Corporation | Interactive video testing and training system |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) * | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
IL114278A (en) * | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
CN100524015C (zh) * | 1995-06-22 | 2009-08-05 | 3Dv***有限公司 | 生成距景物距离的图象的方法和装置 |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
WO1999044698A2 (en) | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
CA2253626A1 (en) | 1996-05-08 | 1997-11-13 | Real Vision Corporation | Real time simulation using position sensing |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
AU3954997A (en) | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US6088042A (en) * | 1997-03-31 | 2000-07-11 | Katrix, Inc. | Interactive motion data animation system |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP1017973A1 (en) | 1997-09-24 | 2000-07-12 | 3DV Systems Ltd. | Acoustical imaging system |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
AU1099899A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
WO1999019840A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | A system and method for generating an animatable character |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
GB9817834D0 (en) * | 1998-08-14 | 1998-10-14 | British Telecomm | Predicting avatar movement in a distributed virtual environment |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
AU1930700A (en) | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP2026035A2 (en) | 1998-12-16 | 2009-02-18 | 3DV Systems Ltd. | 3D camera for distance measurements |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6450886B1 (en) * | 1999-04-09 | 2002-09-17 | Konami Co., Ltd. | Foot switcher, foot switch sheet and mat for use in the same |
US6614422B1 (en) | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
AU5646299A (en) * | 1999-09-08 | 2001-04-10 | 3Dv Systems Ltd. | 3d imaging system |
US6512838B1 (en) * | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
US20030132950A1 (en) | 2001-11-27 | 2003-07-17 | Fahri Surucu | Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains |
US7050177B2 (en) * | 2002-05-22 | 2006-05-23 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
US6690618B2 (en) | 2001-04-03 | 2004-02-10 | Canesta, Inc. | Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device |
US20030021032A1 (en) | 2001-06-22 | 2003-01-30 | Cyrus Bamji | Method and system to display a virtual input device |
US7006236B2 (en) * | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
US6322074B1 (en) * | 1999-11-09 | 2001-11-27 | Forrest-Pruzan Creative Llc | Interactive quiz game system and method |
DE19960180B4 (de) * | 1999-12-14 | 2006-03-09 | Rheinmetall W & M Gmbh | Verfahren zur Herstellung eines Sprenggeschosses |
US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6663491B2 (en) * | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
JP3725460B2 (ja) * | 2000-10-06 | 2005-12-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6539931B2 (en) * | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US6554434B2 (en) * | 2001-07-06 | 2003-04-29 | Sony Corporation | Interactive projection system |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
US20030165048A1 (en) | 2001-12-07 | 2003-09-04 | Cyrus Bamji | Enhanced light-generated interface for use with electronic devices |
AU2003217587A1 (en) | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
WO2003073359A2 (en) | 2002-02-26 | 2003-09-04 | Canesta, Inc. | Method and apparatus for recognizing objects |
US7310431B2 (en) * | 2002-04-10 | 2007-12-18 | Canesta, Inc. | Optical methods for remotely measuring objects |
ATE321689T1 (de) | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US7623115B2 (en) * | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7151530B2 (en) * | 2002-08-20 | 2006-12-19 | Canesta, Inc. | System and method for determining an input selected by a user through a virtual interface |
US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
EP1477924B1 (en) | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US7372977B2 (en) * | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
JP4546956B2 (ja) | 2003-06-12 | 2010-09-22 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
US8083588B2 (en) * | 2003-09-04 | 2011-12-27 | Pryor Timothy R | Reconfigurable surface based video games |
US7874917B2 (en) * | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US7729515B2 (en) * | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
JP3847753B2 (ja) * | 2004-01-30 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
WO2005104010A2 (en) | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7542040B2 (en) * | 2004-08-11 | 2009-06-02 | The United States Of America As Represented By The Secretary Of The Navy | Simulated locomotion method and apparatus |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
US7991220B2 (en) * | 2004-09-01 | 2011-08-02 | Sony Computer Entertainment Inc. | Augmented reality game system using identification information to display a virtual object in association with a position of a real object |
EP1645944B1 (en) * | 2004-10-05 | 2012-08-15 | Sony France S.A. | A content-management interface |
JP4449723B2 (ja) * | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
US20060142081A1 (en) * | 2004-12-27 | 2006-06-29 | Kil Timothy D | Method for using a game pad as a realistic lower body game controller |
ES2791718T3 (es) | 2005-01-07 | 2020-11-05 | Qualcomm Inc | Detección y seguimiento de objetos en imágenes |
US7379566B2 (en) | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
US8009871B2 (en) * | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
KR100688743B1 (ko) * | 2005-03-11 | 2007-03-02 | 삼성전기주식회사 | 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법 |
US7317836B2 (en) * | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
WO2006103676A2 (en) * | 2005-03-31 | 2006-10-05 | Ronen Wolfson | Interactive surface and display system |
EP1886509B1 (en) | 2005-05-17 | 2017-01-18 | Qualcomm Incorporated | Orientation-sensitive signal output |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US7731588B2 (en) * | 2005-09-28 | 2010-06-08 | The United States Of America As Represented By The Secretary Of The Navy | Remote vehicle control system |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
GB2431717A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Scene analysis |
EP2821879A1 (en) * | 2006-01-06 | 2015-01-07 | Drnc Holdings, Inc. | Method for entering commands and/or characters for a portable communication device equipped with a tilt sensor |
CN101496032B (zh) * | 2006-02-27 | 2011-08-17 | 普莱姆传感有限公司 | 使用斑纹解相关的距离映射的方法及设备 |
US8601379B2 (en) * | 2006-05-07 | 2013-12-03 | Sony Computer Entertainment Inc. | Methods for interactive communications with real time effects and avatar environment interaction |
US7721207B2 (en) * | 2006-05-31 | 2010-05-18 | Sony Ericsson Mobile Communications Ab | Camera based control |
US7701439B2 (en) * | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
GB2440993C (en) * | 2006-07-25 | 2014-03-19 | Sony Comp Entertainment Europe | Apparatus and method of interaction with a data processor |
US8411149B2 (en) * | 2006-08-03 | 2013-04-02 | Alterface S.A. | Method and device for identifying and extracting images of multiple users, and for recognizing user gestures |
US8395658B2 (en) * | 2006-09-07 | 2013-03-12 | Sony Computer Entertainment Inc. | Touch screen-like user interface that does not require actual touching |
JP5294442B2 (ja) * | 2006-09-13 | 2013-09-18 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
US8277316B2 (en) * | 2006-09-14 | 2012-10-02 | Nintendo Co., Ltd. | Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
GB2452644B (en) * | 2006-10-10 | 2009-09-16 | Promethean Ltd | Automatic tool docking |
US20080134102A1 (en) * | 2006-12-05 | 2008-06-05 | Sony Ericsson Mobile Communications Ab | Method and system for detecting movement of an object |
US8351646B2 (en) * | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7840031B2 (en) * | 2007-01-12 | 2010-11-23 | International Business Machines Corporation | Tracking a range of body movement based on 3D captured image streams of a user |
GB2447096B (en) * | 2007-03-01 | 2011-10-12 | Sony Comp Entertainment Europe | Entertainment device and method |
GB0703974D0 (en) * | 2007-03-01 | 2007-04-11 | Sony Comp Entertainment Europe | Entertainment device |
US20080215975A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world user opinion & response monitoring |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US20080309618A1 (en) * | 2007-06-12 | 2008-12-18 | Kazuyuki Okada | Methods and systems for controlling an input device, for generating collision data, and for controlling a camera angle |
WO2009002804A2 (en) * | 2007-06-22 | 2008-12-31 | Chumby Industries, Inc. | Systems and methods for device registration |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
JP5430572B2 (ja) * | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
US8128487B2 (en) * | 2007-10-15 | 2012-03-06 | International Business Machines Corporation | Compensating participants of virtual environments |
EP2203893A4 (en) | 2007-10-30 | 2014-05-07 | Hewlett Packard Development Co | INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION |
US20090221368A1 (en) * | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
US8419545B2 (en) * | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
US8734214B2 (en) * | 2007-11-29 | 2014-05-27 | International Business Machines Corporation | Simulation of sporting events in a virtual environment |
WO2009072435A1 (ja) * | 2007-12-03 | 2009-06-11 | Shimane Prefectural Government | 画像認識装置および画像認識方法 |
GB2455316B (en) * | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
US8149210B2 (en) * | 2007-12-31 | 2012-04-03 | Microsoft International Holdings B.V. | Pointing device and method |
CN102439603B (zh) * | 2008-01-28 | 2014-08-13 | 耐特维塔有限公司 | 用于三维建模的采样方法 |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
US20090221338A1 (en) * | 2008-02-29 | 2009-09-03 | Benjamin Stewart | Physical exercise video game method and apparatus |
US8259163B2 (en) * | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
US8194921B2 (en) * | 2008-06-27 | 2012-06-05 | Nokia Corporation | Method, appartaus and computer program product for providing gesture analysis |
US8009022B2 (en) * | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
US9149210B2 (en) * | 2010-01-08 | 2015-10-06 | Medtronic, Inc. | Automated calibration of posture state classification for a medical device |
US8659658B2 (en) * | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
US8929612B2 (en) * | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
-
2009
- 2009-05-29 US US12/474,769 patent/US9498718B2/en active Active
-
2010
- 2010-04-26 CN CN201080020011.6A patent/CN102414641B/zh active Active
- 2010-04-26 WO PCT/US2010/032447 patent/WO2010126841A2/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040193413A1 (en) * | 2003-03-25 | 2004-09-30 | Wilson Andrew D. | Architecture for controlling a computer using hand gestures |
CN1637698A (zh) * | 2004-01-07 | 2005-07-13 | 微软公司 | 通用计算设备的光学***设计 |
CN1797284A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
EP1879130A2 (en) * | 2006-07-13 | 2008-01-16 | Northrop Grumman Corporation | Gesture recognition interface system |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105451829A (zh) * | 2013-06-13 | 2016-03-30 | 生化游戏有限公司 | 用于物理疗法以及复健的影像游戏的个人数字训练器材 |
US10948996B2 (en) | 2014-06-03 | 2021-03-16 | Google Llc | Radar-based gesture-recognition at a surface of an object |
CN106537173B (zh) * | 2014-08-07 | 2019-11-26 | 谷歌有限责任公司 | 基于雷达的姿势识别 |
CN106537173A (zh) * | 2014-08-07 | 2017-03-22 | 谷歌公司 | 基于雷达的姿势识别 |
US10642367B2 (en) | 2014-08-07 | 2020-05-05 | Google Llc | Radar-based gesture sensing and data transmission |
US11221682B2 (en) | 2014-08-22 | 2022-01-11 | Google Llc | Occluded gesture recognition |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
US11816101B2 (en) | 2014-08-22 | 2023-11-14 | Google Llc | Radar recognition-aided search |
US10936081B2 (en) | 2014-08-22 | 2021-03-02 | Google Llc | Occluded gesture recognition |
US10409385B2 (en) | 2014-08-22 | 2019-09-10 | Google Llc | Occluded gesture recognition |
US10664059B2 (en) | 2014-10-02 | 2020-05-26 | Google Llc | Non-line-of-sight radar-based gesture recognition |
US11163371B2 (en) | 2014-10-02 | 2021-11-02 | Google Llc | Non-line-of-sight radar-based gesture recognition |
CN106062675A (zh) * | 2014-11-21 | 2016-10-26 | Uz睿脑公司 | 基于动作识别而控制画面上的三维虚拟空间的方法及其控制装置 |
US10496182B2 (en) | 2015-04-30 | 2019-12-03 | Google Llc | Type-agnostic RF signal representations |
US11709552B2 (en) | 2015-04-30 | 2023-07-25 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
US10817070B2 (en) | 2015-04-30 | 2020-10-27 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
US10664061B2 (en) | 2015-04-30 | 2020-05-26 | Google Llc | Wide-field radar-based gesture recognition |
US10936085B2 (en) | 2015-05-27 | 2021-03-02 | Google Llc | Gesture detection and interactions |
WO2017054452A1 (zh) * | 2015-09-29 | 2017-04-06 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、终端及计算机存储介质 |
US10661171B2 (en) | 2015-09-29 | 2020-05-26 | Tencent Technology (Shenzhen) Company Limited | Information processing method, terminal, and computer storage medium |
US10401490B2 (en) | 2015-10-06 | 2019-09-03 | Google Llc | Radar-enabled sensor fusion |
US10459080B1 (en) | 2015-10-06 | 2019-10-29 | Google Llc | Radar-based object detection for vehicles |
US10379621B2 (en) | 2015-10-06 | 2019-08-13 | Google Llc | Gesture component with gesture library |
US10768712B2 (en) | 2015-10-06 | 2020-09-08 | Google Llc | Gesture component with gesture library |
US10823841B1 (en) | 2015-10-06 | 2020-11-03 | Google Llc | Radar imaging on a mobile computing device |
US11698439B2 (en) | 2015-10-06 | 2023-07-11 | Google Llc | Gesture recognition using multiple antenna |
US10310621B1 (en) | 2015-10-06 | 2019-06-04 | Google Llc | Radar gesture sensing using existing data protocols |
US10540001B1 (en) | 2015-10-06 | 2020-01-21 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
US10503883B1 (en) | 2015-10-06 | 2019-12-10 | Google Llc | Radar-based authentication |
US11698438B2 (en) | 2015-10-06 | 2023-07-11 | Google Llc | Gesture recognition using multiple antenna |
US11132065B2 (en) | 2015-10-06 | 2021-09-28 | Google Llc | Radar-enabled sensor fusion |
US11693092B2 (en) | 2015-10-06 | 2023-07-04 | Google Llc | Gesture recognition using multiple antenna |
US11656336B2 (en) | 2015-10-06 | 2023-05-23 | Google Llc | Advanced gaming and virtual reality control using radar |
US10705185B1 (en) | 2015-10-06 | 2020-07-07 | Google Llc | Application-based signal processing parameters in radar-based detection |
US11481040B2 (en) | 2015-10-06 | 2022-10-25 | Google Llc | User-customizable machine-learning in radar-based gesture detection |
US11175743B2 (en) | 2015-10-06 | 2021-11-16 | Google Llc | Gesture recognition using multiple antenna |
US10908696B2 (en) | 2015-10-06 | 2021-02-02 | Google Llc | Advanced gaming and virtual reality control using radar |
US11256335B2 (en) | 2015-10-06 | 2022-02-22 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
US11385721B2 (en) | 2015-10-06 | 2022-07-12 | Google Llc | Application-based signal processing parameters in radar-based detection |
US11140787B2 (en) | 2016-05-03 | 2021-10-05 | Google Llc | Connecting an electronic component to an interactive textile |
CN107115653A (zh) * | 2016-11-03 | 2017-09-01 | 京东方科技集团股份有限公司 | 调整泳姿的装置、泳姿信息处理***、泳姿信息处理方法 |
CN107765986A (zh) * | 2017-11-01 | 2018-03-06 | 网易(杭州)网络有限公司 | 游戏***的信息处理方法和装置 |
CN107765986B (zh) * | 2017-11-01 | 2020-05-19 | 网易(杭州)网络有限公司 | 游戏***的信息处理方法和装置 |
WO2019201047A1 (zh) * | 2018-04-16 | 2019-10-24 | 腾讯科技(深圳)有限公司 | 在虚拟环境中进行视角调整的方法、装置及可读存储介质 |
US11151773B2 (en) | 2018-04-16 | 2021-10-19 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium |
CN111514584B (zh) * | 2019-02-01 | 2022-07-26 | 北京市商汤科技开发有限公司 | 游戏控制方法及装置、游戏终端及存储介质 |
US11429193B2 (en) | 2019-02-01 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd. | Control of virtual objects based on gesture changes of users |
CN111514584A (zh) * | 2019-02-01 | 2020-08-11 | 北京市商汤科技开发有限公司 | 游戏控制方法及装置、游戏终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102414641B (zh) | 2014-03-12 |
WO2010126841A3 (en) | 2011-02-03 |
US20100281438A1 (en) | 2010-11-04 |
WO2010126841A2 (en) | 2010-11-04 |
US9498718B2 (en) | 2016-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102414641B (zh) | 改变显示环境内的视图视角 | |
CN102413885B (zh) | 用于对运动捕捉应用模型跟踪的***和方法 | |
CN102448560B (zh) | 经由屏幕上化身进行用户移动反馈的***和方法 | |
CN102622774B (zh) | 起居室电影创建 | |
CN102576466B (zh) | 用于跟踪模型的***和方法 | |
CN102596340B (zh) | 用于将动画或运动应用到角色的***和方法 | |
CN102448561B (zh) | 姿势教练 | |
CN102665838B (zh) | 用于确定和跟踪目标的肢端的方法和*** | |
CN102413887B (zh) | 管理虚拟端口 | |
CN102129292B (zh) | 在运动捕捉***中识别用户意图 | |
CN102129293B (zh) | 在运动捕捉***中跟踪用户组 | |
CN102163077B (zh) | 使用碰撞体来捕捉屏幕对象 | |
CN102135798B (zh) | 仿生学运动 | |
CN102549619B (zh) | 人类跟踪*** | |
CN102194105B (zh) | 用于人体跟踪的代表训练数据 | |
CN102207771A (zh) | 推断参与运动捕捉***的用户意图 | |
CN102156658B (zh) | 对象的低等待时间呈现 | |
CN102356373A (zh) | 虚拟对象操纵 | |
CN102681657A (zh) | 交互式内容创建 | |
CN102947777A (zh) | 用户跟踪反馈 | |
CN102362293A (zh) | 链接动画 | |
CN102129551A (zh) | 基于关节跳过的姿势检测 | |
CN102741885A (zh) | 装饰显示环境 | |
CN102193624A (zh) | 用于基于姿势的用户界面的物理交互区 | |
CN102184009A (zh) | 跟踪***中的手位置后处理精炼 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150504 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150504 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |