CN102918518A - 基于云的个人特征简档数据 - Google Patents

基于云的个人特征简档数据 Download PDF

Info

Publication number
CN102918518A
CN102918518A CN2011800262649A CN201180026264A CN102918518A CN 102918518 A CN102918518 A CN 102918518A CN 2011800262649 A CN2011800262649 A CN 2011800262649A CN 201180026264 A CN201180026264 A CN 201180026264A CN 102918518 A CN102918518 A CN 102918518A
Authority
CN
China
Prior art keywords
user
computing environment
data
personal characteristics
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800262649A
Other languages
English (en)
Other versions
CN102918518B (zh
Inventor
K·S·佩雷斯
A·A-A·基普曼
J·克拉维
J·莫尔纳
A·E·科恩布卢姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102918518A publication Critical patent/CN102918518A/zh
Application granted granted Critical
Publication of CN102918518B publication Critical patent/CN102918518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)

Abstract

公开了用于感测、存储和使用个人特征简档数据的***和方法。一旦被感测和存储，此个人特征简档数据就可以用于各种目的。在一个示例中，用户的个人简档数据可以被访问和下载到用户可与之进行交互的不同的计算***，以便这些不同的***可以被立即调节到该用户的个人特征和交互方式。在另一个示例中，用户的个人简档数据也可以用于认证目的。

Description

基于云的个人特征简档数据
背景技术
过去，诸如计算机游戏和多媒体应用程序之类的计算应用程序使用控制器、遥控器、键盘、鼠标等等来允许用户操纵游戏人物或应用程序的其他方面。最近，计算机游戏和多媒体应用程序开始使用相机和软件姿势识别引擎来提供自然用户界面（“NUI”）。利用NUI，用户姿势被检测、解释并用于控制游戏人物或应用程序的其他方面。
鼠标及其他这样的控制器提供用于与计算***进行交互的定义明确的界面。NUI***所面临的挑战之一是，界面是通过用户与他们在其中移动的3-D空间的交互以及对该3-D空间的感觉来控制。然而，身体的、社会的及其他个人特征使每一个用户至少稍微不同，如此，不同的用户以不同的方式与NUI***进行交互。如此，例如，在用户的姿势的表现不同于标准的情况下，NUI***可能不会理解用户的意图。尽管随着时间的推移用户自己的NUI***可以被调整到他们的个人交互风格，但是，用户可能会在与他们自己的NUI***之外的NUI***进行交互时遇到麻烦。
尽管给NUI***带来困难，但是，用户的个人特征具有目前没有被利用的潜在的优点。例如，当前***要花好长时间通过登录协议以及口令确保对用户进行适当的认证，但是，没有将由用户的个人特征所提供的大量的信息来用于认证目的。
发明内容
此处公开了用于生成、存储和使用与用户相关联的个人特征简档的***。个人特征简档可以由第一计算环境所生成，然后被存储在可由包括该第一计算环境的多个计算环境访问的中心数据库中。个人特征简档可以包含涉及用户的个人特征的数据，该数据可以由与第一计算设备相关联的捕捉设备来感测。这些个人特征包括，但不仅限于，用户的诸如块头、体形和毛发之类的身体特征；诸如口音、音调、男高音和韵律之类的声音特征；以及用户以非典型的方式执行的姿势。
一旦生成和存储，用户的个人特征简档数据可以用于各种目的。在一个示例中，用户的个人特征简档数据可以被访问和下载到用户可与之进行交互的不同的计算***，以便这些不同的***可以被立即调节到该用户的个人特征和交互方式。在另一个示例中，用户的个人特征简档数据也可以用于认证目的。
在一个实施例中，当前技术涉及利用自然用户界面***改进用户体验的方法。该方法包括下列步骤：a)从与第一计算环境相关联的自然用户界面的传感器获取表示用户的特征的数据；b)将在所述步骤a)中获取的所述特征数据存储在可由不同于所述第一计算环境的第二计算环境访问的位置；以及c)将在所述步骤b)中存储的所述特征数据提供给所述第二计算环境。
在又一实施例中，当前技术涉及改进包括多个计算环境的***中的改进用户体验的方法，第一计算环境耦合到用于捕捉用户的特征的捕捉设备。该方法包括下列步骤：a)根据从所述捕捉设备接收到的表示用户的一个或多个特征的数据，生成所述用户的个人特征简档；b)将在所述步骤a)中生成的所述个人特征简档存储在可由不同于所述第一计算环境的第二计算环境访问的位置；以及c)在所述用户访问所述第二计算环境时，将在所述步骤b)中存储的所述个人特征简档提供给所述第二计算环境。
在又一实施例中，当前技术涉及利用自然用户界面改进包括游戏应用程序的一个或多个计算环境以及用于提供自然用户界面的捕捉设备的***中的用户体验的方法。该方法包括下列步骤：a)根据从与计算环境相关联的捕捉设备获取的表示用户的一个或多个特征的数据，生成所述用户的个人特征简档；b)存储在所述步骤a)中获取的所述个人特征简档；c)接收访问存储了在所述步骤b)中存储的所述特征数据的位置中的资源的请求；d)在接收到访问资源的所述请求的所述步骤c)之后，获取表示存储在所述个人特征简档中的一个或多个特征的数据；e)将在所述步骤d)中获取的数据与存储在所述个人特征简档中的数据进行比较；以及f)如果所述步骤e)的比较示出了在所述步骤d)中获取的数据和存储在所述个人特征简档中的数据之间的匹配，则授权访问所述资源的所述请求。
提供本“发明内容”是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图简述
图1A示出了目标识别、分析和跟踪***的示例实施方式，其中用户正在玩游戏。
图1B示出了目标识别、分析和跟踪***的另一示例实施方式，其中用户正在操作图形用户界面。
图2示出了可以用于目标识别、分析和跟踪***中的捕捉设备的示例实施方式。
图3示出了用于实现本发明技术的各实施例的网络拓扑。
图4A示出了可以被用来解释目标识别、分析和跟踪***中的一个或多个姿势的计算环境的示例实施方式。
图4B示出了可以被用来解释目标识别、分析和跟踪***中的一个或多个姿势的计算环境的另一示例实施方式。
图5示出了从图2的目标识别、分析和跟踪***生成的用户的骨架映射。
图6是示出了个人特征简档的生成和存储的流程图。
图7是示出了对个人特征简档的访问的流程图。
图8是用于使用个人特征简档进行认证的***的流程图。
图9是用于识别用户姿势的***的框图。
图10是图9所示出的用于识别用户姿势的***的操作的流程图。
详细描述
现在将参考图1-10描述本发明技术的各实施方式，它们一般涉及用于生成、存储和使用与给定用户相关联的个人特征简档的***。一旦生成和存储，用户的个人特征简档数据就可以用于各种目的。在一个示例中，用户的个人特征简档数据可以被访问和下载到用户可与之进行交互的不同的计算***，以便这些不同的***可以被立即调节到该用户的个人特征和交互方式。在另一个示例中，用户的个人特征简档数据也可以用于认证目的。
最初参考图1-2，用于实现本发明技术的硬件包括目标识别、分析和跟踪***10，该***可以是用于识别、分析和/或跟踪诸如用户18等人类目标的NUI***。目标识别、分析和跟踪***10的各实施例包括用于执行游戏或其他应用的计算环境12，以及具有显示器14的用于提供来自游戏或其他应用的音频和视觉表示的视听设备16。***10还包括捕捉设备20，它用于检测设备20捕捉的用户的位置和移动，计算环境接收并使用该位置和移动来控制应用。下面将更详细地描述这些组件中的每一个。
如图1A所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18正在玩的保龄球游戏。例如，计算环境12可以使用视听显示器14来向用户18提供保龄球球道的视觉表示。计算环境12还可使用显示器14来提供用户18可以利用他的或她的移动来控制的玩家化身24的视觉表示。例如，用户18可以移动和摆动他们的手臂来模仿在物理空间中打保龄球，并且化身24可以模拟这一运动来沿着虚拟保龄球道投虚拟保龄球。如此，根据一示例实施方式，目标识别、分析和跟踪***10的计算机环境12和捕捉设备20可以被用来识别和分析用户在物理空间中的接近和臂摆动，以便被解释为对游戏空间中的玩家化身24的游戏控制。
保龄球应用是NUI***10的任何数量的应用中的一个，其中用户的运动和/或位置被计算环境解释为用于控制应用的某些特征的预定义的姿势。***10还可具有被用作***控件（不是特定应用所特有的）的各种预定义的姿势。例如，图1B示出了用户与显示在显示器14上的图形用户界面19进行交互。界面19是菜单驱动的显示，用户能够使用预定义的姿势滚动浏览该显示。
图2示出可在目标识别、分析和跟踪***10中使用的捕捉设备20的一个示例实施例。涉及与本发明技术一起使用的捕捉设备的附加细节在题为“Device For Identifying And Tracking Multiple Humans Over Time（用于随时间标识和跟踪多个人的设备）”的共同待审的专利申请号12/475,308中阐述，该申请通过引用而整体结合于此。然而，在一示例实施例中，捕捉设备20可以被配置成通过任何合适的技术，包括例如，飞行时间、结构化光、立体图像等等，来捕捉具有可包括深度值的深度图像的视频。根据一个实施例，捕捉设备20可以将所计算的深度信息组织成“Z层”，即与从深度相机沿其视线延伸的Z轴相垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维（2-D）像素区域，其中2-D像素区域中的每一个像素都可以（例如以厘米、毫米等等为单位）表示来自相机的被捕捉的场景中的物体的长度。
如图2所示，根据一个示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维（3-D）相机26，以及RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，并且随后可使用传感器（未示出）、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。
根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪***10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。在其他实施例中，捕捉设备20还可包括用于感测用户的特征的各种其他传感器。
在一示例实施例中，捕捉设备20还可包括能与图像相机组件22通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件34可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的分开的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，该时钟可用于确定何时捕捉例如场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像、以及可以由捕捉设备20生成的骨架模型。存在用于确定由捕捉设备20检测到的目标或对象是否与人类目标相对应的各种已知技术。骨架映射技术因而可用于确定该用户的骨架上的各个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括：将图像变换成人的人体模型表示以及将图像变换成人的网格模型表示。
然后，可以将骨架模型提供给计算环境12，使得计算环境可以执行各种动作。计算环境可以跟踪该骨架模型并在视听显示器14上呈现与该骨架模型相关联的化身。计算环境还可基于例如从骨架模型中识别出的用户的姿势来确定在计算机环境上执行的应用中要执行哪些控制。例如，如图2所示，计算环境12可包括用于确定用户何时执行了预定义姿势的姿势识别器引擎190。在下文更详细地解释姿势识别器引擎190。
由***10所获得的数据及其他信息可以与一个或多个其他***以及服务器共享，诸如，例如，通过图3所示出的网络拓扑50。图3示出了上文所描述的***10（在图3中称为***10-1）以及各种其他***10-2、10-3、……、10-n，每一个***都可包括上文参考***10所描述的某些或全部组件。***10-1到10-n中的每一个（统称为***10）都可以通过网络51连接到中心服务52。如下面将更详细地说明的，可以收集***10中的任何一个***上的用户的个人特征简档数据，并将其存储在服务52的服务数据库62中。
***10中的每一个上的计算环境12可以是相同或不同的计算环境，并可以例如是多媒体控制台、个人计算机（PC）、游戏***或控制台、服务器、手持式计算设备、PDA、移动电话、云计算机等等。***10可以通过网络51彼此联网以及与服务52联网。
网络51可以是因特网，但是一般可以包括例如内联网、个人区域网络（PAN）、校园网（CAN）、局域网（LAN）、广域网（WAN）、计算机网络、游戏网络等等。拓扑50可以使用诸如客户机/服务器、对等（如由虚线箭头54所指示的）之类的网络基础结构或混合体系结构。
网络51还可表示连接网络中的各个设备的技术，诸如光纤、公用交换电话网（PSTN）、蜂窝电话网络、全球用户电报网、无线LAN、以太网、输电线通信等等。计算环境可以通过有线或无线***，通过本地网络或广泛分布的网络连接在一起。可为网络通信使用任何适当的无线接口。例如，无线链路可以符合下列协议：GSM、CDMA、UMTS、LTE、WIMAX、WIFI、ZIGBEE，或其组合。网络可包括云或云计算。云基础结构例如可包括通过数据中心递送的并建立在服务器上的大量的服务。服务可以在提供对网络基础结构的访问的任何地方被访问。云可以被用户看起来像单个访问点，并且基础结构对客户端而言不是可见的。
服务52可部分地包括一个或多个服务器56、登录服务58和数据库62（此处也称为中心数据库）。在各实施例中，服务52可以是由微软公司运营的
Figure BDA00002474051800071
游戏和媒体递送服务，但是在其他实施例中，它可以是其他服务。服务器56可包括web服务器和/或用于主存由***10的用户玩的游戏或其他应用的服务器。应用可以可另选地常驻在与各***10相关联的计算环境上。***10的用户可以通过用户登录服务58获得对他们的帐户记录62的访问权，用户登录服务58被用来在***10上认证用户。在一个示例中，在登录过程中，登录服务58从用户获取游戏者的标记（与用户相关联的唯一标识符）和口令，以及唯一地标识用户正在使用的***的计算环境ID。通过将游戏者标记和口令与数据库62中的用户帐户记录64进行比较，对游戏者标记和口令进行认证。数据库62可以与用户登录服务58位于同一个服务器上，或者也可以分布在不同的服务器上，或不同的服务器集合上。应该理解，上文所描述的认证过程可以在替换实施例中不同。可以使用各种认证方案中的任何一种来标识用户，以便他或她可以连接到服务52并访问他们的用户帐户记录64。
用户帐户记录64可包括有关用户的诸如游戏记录、统计以及成就之类的额外的信息。用户记录还可包括用户简档数据66，该用户简档数据66可包括各种信息，包括联系人及其他描述性信息以及朋友列表。根据本发明技术，简档数据66还可以存储如下面所说明的个人特征简档数据68。
***10上的相应的计算环境12可以执行它们自己的应用，而且也还能够访问***10上的其他计算环境，以及在网络51上的任何地方的其他计算环境上执行的或在连接到这些计算环境的设备上执行的应用。如此，第一***，例如***10-1，上的一个计算环境12的用户，可以使用网络来共享数据（例如，文件、数据库）、与其他应用进行交互、共享设备（例如，打印机）、与一个或多个其他***10上的其他用户等等进行通信（例如，电子邮件、聊天）。与任意数量的相应的本地计算环境相关联的任意数量的用户可以通过网络51访问同一应用。
可以由不同的***10所生成并在不同的***10之间共享的一项数据是个人特征简档68（此处缩写为PTP 68）。PTP 68被示为存储在服务52上的数据库62中，PTP 68的高速缓存的版本也可以存储在相应的***10上。下面说明了PTP 68的生成和合成，一般可以包括与给定用户相关联的任何特征，该任何特征可以是由与给定***10相关联的传感器感测到的。不同的***10可以具有不同的传感器。
网络拓扑50使可以访问网络的任何计算环境能从服务52或从另一个***10上的计算环境来访问PTP 68。如此，用户18可以在第一***（例如，***10-1）上生成数据，该数据包括在PTP 68中并上传到服务52上的数据库62。此后，用户可以移动到不同的位置，或使用位于同一个位置的不同的计算环境，并将PTP 68下载到该计算环境。如此，根据本发明技术的一个示例，用户可以从他的或她的家庭***行进到朋友的住宅，或与网络51相关联的任何其他计算环境，并可以访问他们的PTP 68。下面更详细地说明了本发明技术的此功能。
生成或访问PTP 68的计算环境也可以具有涉及计算环境属性和规范的相关联的元数据。例如，计算环境可以存储RGB能力、屏幕大小、可用的输入设备、捕捉设备的范围、计算环境的组件（例如，音频/视频能力）、结构信息等等。计算环境可以使用这样的信息来修改PTP 68与***和/或默认姿势信息的集成。例如，姿势可以通过物理空间中的移动来定义，该移动对应于从显示设备的显示部分的顶部到显示设备的显示部分的底部的移动。用户的PTP 68可能是由带有60英寸显示设备的计算环境所生成的，并包括显示部分的顶部和底部之间的距离，该距离对应于60英寸显示设备上的距离。在诸如带有25英寸的显示设备的计算环境之类的另一个计算环境上，***可以标识该屏幕的顶部和底部之间的较小的距离，以使得用于识别该姿势的距离对应于该较小的屏幕大小。类似地，如果物理空间具有某一大小，则计算环境可在对姿势简档与***和/或默认姿势信息的集成的分析或修改中包括该大小。例如，如果用户站得更靠近屏幕，则可以根据空间的大小来考虑对用户的姿势的解释。
在另一示例中，元数据可包括本地计算环境的文件结构所专用的信息。例如，第一计算环境可以运行程序、加载姿势简档、或将姿势简档存储在该计算环境的硬盘驱动器的特定位置，而第二计算环境可以使用不同的位置。此外，具有丰富的浏览能力的计算环境可以比例如移动电话具有更多的处理PTP 68数据的能力。与PTP 68数据相关联地存储的元数据为特定设备采用并优化PTP数据。
图4A和4B示出可存在于***10上的计算环境的两个具体示例。在一个实施例中，上面参考图1A-2所描述的计算环境12可以是多媒体控制台100，如游戏控制台。如图4A所示，多媒体控制台100具有中央处理单元（CPU）101，所述CPU具有一级高速缓存102、二级高速缓存104，以及闪存ROM 106。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU101可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元（GPU）108和视频编码器/视频编解码器（编码器/解码器）114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从GPU 108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V（音频/视频）端口140输出数据，用于传输至电视机或其他显示器。存储器控制器110连接到GPU 108，以便于处理器对各种类型的存储器112（诸如，但不限于RAM）的访问。
多媒体控制台100包括优选地在模块118上实现的I/O控制器120、***管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128以及前面板I/O子部件130。USB控制器126和128用作***控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146（例如，闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口124和/或无线适配器148提供对网络（例如，因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等各种不同的有线或无线适配器组件中的任何一种。
提供***存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接（例如IEEE 1394）等总线连接到I/O控制器120。
***管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED（发光二极管）或其他指示器的功能。***供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
多媒体控制台101内的CPU 100、GPU 108、存储器控制器110、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、***总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括***部件互连（PCI）总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从***存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。
多媒体控制台100可通过简单地将该***连接到电视机或其他显示器而作为独立***来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该***交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作***作***使用。这些资源可包括存储器的保留量（诸如，16MB）、CPU和GPU周期的保留量（诸如，5％）、网络带宽的保留量（诸如，8kbs），等等。因为这些资源是在***引导时间保留的，所保留的资源从应用的视角而言是不存在的。
具体而言，存储器保留量优选地足够大，以包含启动内核、并发***应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被***应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留量，通过使用GPU中断来调度代码以将弹出窗口渲染为覆盖图，从而显示由***应用生成的轻量消息（例如，弹出窗口）。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在完整的用户界面被并发***应用使用的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。
在多媒体控制台100引导且***资源被保留之后，执行并发***应用来提供***功能。***功能被封装在上述所保留的***资源内执行的一组***应用中。操作***内核标识出作为***应用线程而非游戏应用线程的线程。***应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便提供对应用而言一致的***资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存中断最小化。
当并发***应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器（如下所描述的）在***应用活动时控制游戏应用的音频级别（例如，静音、衰减）。
输入设备（例如，控制器142(1)和142(2)）由游戏应用和***应用共享。输入设备不是保留资源，而是在***应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义附加输入设备。
图4B示出了计算环境220的另一示例实施例，它可以是用来解释目标识别、分析和跟踪***中的一个或多个位置和运动的、图1A-2中示出的计算环境12。计算***环境220只是合适的计算环境的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应将该计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在一些实施例中，各个所示的计算元素可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语“电路”可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中，术语“电路”可包括通过体现可操作以执行功能的逻辑的软件指令来配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
在图4B中，计算环境220包括通常包括各种计算机可读介质的计算机241。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。***存储器222包括诸如ROM 223和RAM 260之类的易失性和/或非易失性存储器形式的计算机存储介质。基本输入/输出***224（BIOS）通常存储在ROM 223中，其包含诸如在启动过程中帮助在计算机241内的元件之间传输信息的基本例程。RAM 260通常包含可以立即被处理单元259访问的和/或目前正在由处理单元259操作的数据和/或程序模块。作为示例而非限制，图4B示出了操作***225、应用程序226、其他程序模块227，以及程序数据228。图4B还包括具有用于高速和高分辨率的图形处理和存储的相关联的视频存储器230的图形处理器单元（GPU）229。GPU 229可通过图形接口231连接到***总线221。
计算机241也可以包括其他可移动的/不可移动的，易失性/非易失性的计算机存储介质。只作为示例，图4B示出了读写不可移动非易失性磁性介质的硬盘驱动器238、读写可移动非易失性磁盘254的磁盘驱动器239、以及读写诸如CD ROM或其他光学介质之类的可移动的非易失性光盘253的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至***总线221，并且磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至***总线221。
上面所讨论的并且在图4B中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机241提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图4B中，硬盘驱动器238被示为存储了操作***258、应用程序257、其他程序模块256、以及程序数据255。请注意，这些组件可以与操作***225、应用程序226、其他程序模块227、，以及程序数据228相同，也可以不同。操作***258、应用程序257、其他程序模块256、以及程序数据255被给予不同的编号，以至少说明它们是不同的副本。用户可通过诸如键盘251和定点设备252（通常称为鼠标、跟踪球或触摸垫）之类的输入设备将命令和信息输入计算机241。其他输入设备（未示出）可以包括话筒、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些及其他输入设备常常通过耦合到***总线的用户输入接口236连接到处理单元259，但是，也可以通过其他接口和总线结构（如并行端口、游戏端口、通用串行总线（USB）端口）来进行连接。相机26、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也可以通过诸如视频接口232之类的接口而连接到***总线221。除监视器之外，计算机还可以包括可以通过输出***接口233连接的诸如扬声器244和打印机243之类的其他***输出设备。
计算机241可以使用到一个或多个远程计算机（如远程计算机246）的逻辑连接在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，通常包括上文参考计算机241所描述的许多或全部元件，但是图4B中只示出了存储器存储设备247。图4B中所描绘的逻辑连接包括局域网（LAN）245和广域网（WAN）249，但是也可以包括其他网络。这样的联网环境在办公室、企业范围的计算机网络、内部网和因特网中是普遍现象。
当用于LAN联网环境中时，计算机241通过网络接口或适配器237连接到LAN 245。当用于WAN联网环境中时，计算机241通常包括调制解调器250或用于通过WAN 249（如因特网）建立通信的其他装置。调制解调器250（可以是内置的或外置的）可以经由用户输入接口236或其他适当的机制连接到***总线221。在联网环境中，参考计算机241描绘的程序模块，或其某些部分可以被存储在远程存储器存储设备中。作为示例而非限制，图4B示出了驻留在存储器设备247上的远程应用程序248。可以理解，所示出的网络连接只是示例性的，也可以使用用于在计算机之间建立通信链路的其他装置。
图5描绘了可以从捕获设备20生成的用户的示例性骨架映射。在该实施例中，标识出各个关节和骨骼：每只手302、每个前臂304、每个肘306、每个大臂308、每个肩310、每个髋312、每条大腿314、每个膝316、每条小腿318、每个足320、头322、躯干324、脊椎的顶部326和底部328以及腰330。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或面部的各个特征，如鼻和眼。
通过捕捉设备20获取不同的关节的位置和/或移动数据，计算环境能够将此数据与所存储的数据进行比较，以确定用户是否执行了预定义的姿势。一旦标识了预定义的姿势，计算环境就执行与该预定义的姿势相关联的动作。如下面所说明的，由姿势识别引擎190执行姿势识别。
现在将参考图6到10来说明涉及PTP 68的本发明技术的各方面。图6是示出了PTP数据的收集和上传的高级流程图。在步骤400中，***10由用户启动。在步骤402中，获取PTP 68的特征数据。个人特征简档数据可以是涉及与用户相关联的任何特征的数据，该数据可以由可被包括在***10内的传感器来感测。上文所描述的用于此用途的传感器包括具有3-D相机26、RGB相机28和/或话筒30的捕捉设备20。应该理解，用于收集PTP数据的其他传感器可以被包括在***10内。一个这样的附加传感器可以是气味（嗅觉）传感器。
给定上面的定义，PTP数据可以包括来自用户的各种各样的特征信息，包括例如，他们看起来是什么样子、他们穿戴了什么、他们的习惯动作以及他们是如何做的、任何个性化的姿势、以及他们的声音如何。可以构想，在其他实施例中，其他所感测的特征数据可以被包括在PTP 68中。
关于用户看起来如何，PTP 68的数据可包括用户的块头和体形（在每个身体部分的基础上）、脸部特征、头和/或面部毛发（风格、长度以及颜色）、任何不同的身体特征以及该用户是男人还是女人。
关于用户的举止如何，PTP 68可包括涉及用户的特定身体语言和/或面部表情的数据。这样的身体语言数据可以涉及，例如，用户跺脚、在面颊内咀嚼、咬手指甲的倾向，某些头部移动或神经痉挛，压手指关节劈啪作响等等。用户还可以具有可以被感测并包括在用户的PTP 68的某些面部表情或面部痉挛。PTP 68还可以包括用户是习惯左手还是右手。
PTP 68的数据还可以包括用户如何执行某些姿势。具体而言，用户可能具有生理限制或简单地学习以非典型的方式执行某些常见的动作。例如，欧洲人可能习惯板球比赛，其中，投球手以回旋运动来投球。如果这样的用户被要求以美国棒球比赛的方式投球，则他的或她的回旋投球可能不被认为匹配预定义的投球姿势。然而，随时间进展，该***可能开始将该用户的运动识别为特定姿势，并建立特殊规则，以便用户的运动被识别为该姿势发生。另选地，用户可以在与***的特殊姿势学习会话中建立姿势的特殊定义。具体而言，***10可以向用户提供执行由***记录的某些姿势，然后允许用户将某些动作与该手动创建的姿势进行关联的选项。在这样的会话中，用户可以将某些非典型的运动分配到一个或多个预定义的姿势和/或用户可以将某些任意运动分配为一个或多个预定义的姿势快捷方式。所有这些数据都可以存储在用户的PTP 68中。
类似地，该***可以学习不打算作为姿势的人物特征，从而减少对姿势的假肯定标识。例如，如果用户有搔头皮的倾向（或执行任意数量的其他习惯），则该***时常可以将此解释为姿势。随时间进展，用户可以指出这样的运动不打算作为姿势。该***可以了解此情况并将该信息存储在PTP 68中（即，特定移动不是姿势）。如此，当用户此后执行该习惯时，该***理解不将此解释为姿势。
在各实施例中，用户的PTP 68的数据还可以包括用户穿戴了什么。可能有这样的情况：用户喜欢穿特定颜色或类型的衣服，每天或者每隔一定的时间段一次（诸如每周的相同的日子）。这些特征可以被捕捉设备20和计算环境12感测，并包括在PTP 68中。
PTP 68可包括多模数据。如此，除外表数据之外，PTP 68还可包括涉及用户的语音数据。这样的数据可包括涉及语音的各种特征，诸如，例如，口音、音高、男高音、韵律，以及用户是否口吃。其他声音以及语音数据也是可以的。
上面的对什么用户特征可以被包括在PTP 68内的描述只作为示例，可以理解，在其他实施例中，与特定用户相关联的各种其他特征都可以被包括在该用户的PTP 68内。
再次参考图6，在步骤402中获取PTP 68的特征数据。此步骤可以涉及对PTP信息的主动或被动收集。例如，***可以提示用户说某一单词或短语、提示用户执行给定姿势或让用户执行构成用户的PTP 68的一部分的某一其他动作。***可以提示用户说或执行示范特定特征的给定姿势一次或多次，以便***可以获取该特定特征的良好基准。上文所描述的用于主动地搜集信息的步骤可以由计算环境12自动地执行，或者用户可以向计算环境12指出他们希望进入其中他们记录用于包括在他们的PTP 68中的特征信息的模式。作为主动特征收集的替代方案，***可以在步骤402中被动地收集特征数据。即，***可以在用户参与与***10的正常交互时收集用户的PTP 68的特征数据。
尽管特定特征的数据被收集一次并存储在用户的PTP 68中是可能的，但是，***10可以随时间连续地细化PTP 68中的存储的特征数据。如此，例如，随着用户增肥或减肥，长了胡须或刮了胡须或改变他们的发型，将利用新数据来更新用户的PTP 68，以反映用户的当前特征。本领域技术人员将理解可以被用来以如下方式存储PTP 68的各种数据结构和字段：可以创建、访问和/或更新特定字段。
在图6的步骤404中，计算环境12可以将特征数据存储在PTP 68的、被存储在与计算环境12相关联的存储器本地的版本内。当与服务52的连接不可用而无法上传或下载PTP 68数据时，可以使用用户的PTP 68的这一高速缓存的版本。假设连接对服务52可用，如上文所描述的，可以在步骤406中将特征数据上传到服务52，并存储在服务数据库62中。当***10被联网到服务52时，可以由用户18从用户所在的任何***10创建和/或添加PTP 68。
现在参考图7的流程图，使用本发明技术，用户18可以具有从具有到服务52的网络连接的任何***访问他们的PTP 68的能力。当位于另一个***10中时，用户可以另选地或另外地从第一***10而不是服务52来访问PTP 68的一个版本。在步骤410中，用户可以启动他们所在的***10。在步骤414中，***使用所建立的认证协议来检查用户是否被正确地认证。如果没有通过认证，则在步骤420用户可以中继续使用***10，但是无法访问PTP 68。
假设用户被正确地认证，***接下来在步骤424中确定PTP 68是否可用。***可以向服务52进行核对以寻找所存储的PTP。另选地或另外地，***10可以检查其他***10是否具有用户的PTP的可用的版本。如果在步骤424中没有PTP 68可用，则***10可以在步骤428中检查它是否具有本地缓存的PTP。如果在步骤424中从服务52有PTP可用，或者在步骤428中有PTP的本地缓存的版本可用，则在步骤432中加载该PTP。如果在步骤424或428中没有可用的PTP，则***10可以在步骤420中继续，但是没有PTP。
将PTP 68数据存储在云中以便它可以被不同的***10中的用户18访问提供若干优点。首先，PTP 68的云存储增强了用户体验，因为用户的个性化的、非典型的和/或特质的姿势和与NUI***的交互可以在用户所处的任何联网的***上可用。如此，用户所在的每一个***都可以在用户的会话开始时被调整到该用户的交互风格和模式，而无需用户忍受失败的姿势识别和/或学习曲线（因为***熟悉了用户）。用户可以使用任何***，好像它是他们的家庭***一样。甚至在第一次使用某一***的情况下，该***也知道他们的PTP数据并被调整到该数据。PTP 68的使用还可以用于个性化用户的体验，不管用户正在使用哪一个***10。
除上文所描述的经改进的用户体验之外，基于云的PTP 68还可以被用来帮助用户标识和认证。具体而言，用户的PTP数据的总和，或者甚至其一部分，可以用于唯一地区别该用户与所有其他用户。如此，PTP数据可以作为各种认证协议中的任何一种的一部分和/或和它们一起使用，以便认证用户是否事实上是***认为该用户是谁的人。
图8示出了PTP 68如何可以被包括到用于认证***10上的用户的认证协议中。在步骤440中，用户可以启动该用户所在的***10。在步骤442中，***10可以接收诸如游戏者标记或其他标识之类的用户ID。在步骤446中，***10或服务52可以确定用户所在的***是否是该用户的可信的***。可信的***可包括用户经常从中进行连接的***（诸如家庭或工作单位的***）、用户的家庭或工作单位的***的预定义的半径内的***、和/或注册到用户的如由用户的朋友列表所指示的朋友的***。本领域技术人员将理解给定***可以被视为是或者不是用户的可信的***的其他准则。
如果在步骤336中***是可信的***，则该***可以接下来在步骤450中检查是否存在冲突。在例如该同一个用户被示为在另一个位置的另一个***中在线的情况下，可能存在冲突。如果服务52示出用户登录到另一个***中并且在消逝的时间内不能从该***到当前***，也可存在冲突。这样的冲突此处被称为地理-时间冲突。如果在步骤450中没有检测到冲突，则***可以在步骤452中允许访问。如果发现存在冲突，则可能需要额外的安全性检查，诸如，例如，提示用户执行某些姿势，如下面参考步骤454所说明的。
在上面的步骤中，如果***是可信的***并且没有冲突，则用户被给予对***资源的访问，而不查看用户的PTP 68。在其他实施例中，可以跳过步骤446。在这样的实施例中，***可以查看用户的PTP 68，并将它与从当前***接收到的实况数据进行比较（如下面所说明的），不管用户是否位于可信的***上。
返回到步骤446，如果***不是该用户的可信的***，则***可以访问所存储的PTP数据，并将该数据与由该***在步骤454中请求访问***资源所获取的实况数据进行比较。例如，***可以检查与用户的诸如身高、体重、脸部特征等等之类的身体外观有关的PTP数据，并将该数据与捕捉设备20获取的尝试获得该***的访问权的用户的实况数据进行比较。在其他实施例中，***可以提示用户执行其PTP数据存在的某些姿势。这些姿势可以例如是用户存储在他的或她的PTP 68中的快捷姿势或其他姿势。
如果在步骤458中在所存储的和实况数据之间存在匹配，则***可以在步骤452中允许用户访问。如果在步骤458中发现没有匹配，则***可以在步骤466中拒绝用户访问其资源。为了不封锁合法用户，***可以在步骤462中检查关于非匹配的置信度水平是否超出某一预定义的阈值。如果否，则***可以返回到454以获取额外的实况特征数据，并将其与所存储的PTP数据进行比较。另一方面，如果***清楚没有匹配，则***可以在步骤466中拒绝用户访问***资源。
在其他实施例中，***可以与PTP数据一起使用多个设备来确认用户的标识。在一个这样的示例中，移动电话或某种其他移动手持式设备可以是带有PTP 68数据的缓存的版本的***10。当用户将该设备带到第二***10的附近时，***可以相互进行通信，并且可以将移动设备上的PTP 68的缓存的版本与存储在第二***10本地或从服务52访问的PTP 68进行比较。如果存在匹配，则***10可以认为用户通过了认证并允许用户访问。
如上文所指出的，本发明技术的一个特征是创建并识别特殊化的姿势和姿势快捷方式。本领域技术人员将理解分析所获得的参数以确定这些参数是否符合预定义的姿势的各种方法。例如在上面所包括的申请号12/475,308以及标题为“Gesture-Controlled Interfaces For Self-ServiceMachines And Other Applications（用于自助服务机器和其他应用的姿势控制的界面）”的美国专利公开号2009/0074248中公开了这样的方法，其公开内容通过引用整体结合于此。然而，参考图9的框图和图10的流程图更详细地说明了根据本发明技术的各实施例的用于识别姿势的姿势识别引擎190。
姿势识别引擎190在步骤550中接收姿势信息500。姿势信息可包括大量的参数，包括由捕捉设备20检测到的各种关节的x、y和z最小和最大图像平面位置。参数也可以包括各种关节的各离散时间间隔内的速度和加速度的测量值。如此，在各实施例中，姿势识别引擎190可以接收用户的身体中的所有点的位置和动力学活动的完整图像。
预定义的姿势可以存储在姿势库540中，姿势库540可以是在计算环境12上运行的特定应用程序专用的或对计算环境12通用的。库540可以存储在计算环境12本地或远程存储在服务52上或存储在另一个***10上。库540包括所存储的规则542，这些规则542描述由姿势信息500所指出的特定位置和/或动力学运动何时将被解释为预定义的姿势。在各实施例中，每一个姿势都可以具有不同的唯一规则或规则集542。每一个规则都可以具有图5所示出的一个或多个身体部分的多个参数（关节位置矢量、最大/最小位置、位置变化等等）。对于每一个参数和对于图5所示出的每一个身体部分302到330，所存储的规则可以定义单个值、值范围、最大值、最小值或该身体部分的参数不与由该规则所涵盖的姿势的确定相关的指示。规则可以由游戏作者、由游戏平台的宿主或由用户本身创建。
如上文所描述的，用户18可能会以非典型的方式执行某些可能通常没有被库540中的规则542所标识的姿势。如此，用户的PTP 68可以存储该用户所特有的姿势的特殊定义70。上文所提及的一个这样的特殊姿势是正在玩棒球比赛的板球比赛玩家的回旋运动。有各种各样的其他特殊姿势和姿势快捷方式可能存在。这些特殊定义70可以涉及用户可能以不寻常的、非典型的和/或任意方式执行的可能没有被姿势库540中的规则542所标识的任何姿势。
姿势识别引擎190分析在步骤552和554中接收到的姿势信息500，以查看该姿势信息是否匹配用户的PTP 68中的任何规则定义70，或存储在姿势库540内的预定义的规则542。姿势识别引擎190可以输出所标识的姿势和与用户的位置/移动对应于该姿势的可能性相对应的置信度水平。具体而言，除定义姿势所需的参数之外，定义70和/或规则542还可以包括在姿势信息500将被解释为姿势之前所需的阈值置信度水平。某些姿势作为***命令或游戏指令可以具有更大的影响，并且因此，在一姿势被解释为该姿势之前需要较高的置信度水平。姿势信息与规则的所存储的参数的比较产生关于姿势信息是否表示一种姿势的累积置信度水平。
一旦确定了关于给定姿势或运动是否满足给定姿势定义或规则的置信度水平，姿势识别引擎190就在步骤556中确定该置信度水平是否高于考虑中的规则的预定阈值。阈值置信度水平可以与考虑中的规则相关联地存储。如果置信度水平在阈值之下，则未检测到姿势（步骤560）并且不采取动作。另一方面，如果置信度水平高于阈值，则确定用户的运动满足考虑中的姿势规则，并且姿势识别引擎190返回所标识的姿势。本领域技术人员将理解上文所描述的用于检测库540和/或用户的PTP 68中的预定义的姿势的各步骤上的变化。
前面的对本发明的***的详细描述只是为了说明和描述。它不是详尽的公开或将本发明的***限于所公开的准确的形式。根据上述原理，许多修改方案和变化也是可以的。所描述的实施方式只是为了最好地说明本发明的***的原理以及其实际应用，从而使精通本发明技术的其他人在各种实施方式中最佳地利用本发明的***，适合于特定用途的各种修改也是可以的。本发明的***的范围由所附的权利要求书进行定义。

Claims (15)

1.一种利用自然用户界面***来改进用户体验的方法，包括：
a)从与第一计算环境相关联的自然用户界面的传感器获取表示用户的特征的数据；
b)将在所述步骤a)中获取的所述特征数据存储在能由不同于所述第一计算环境的第二计算环境访问的位置；以及
c)将在所述步骤b)中存储的所述特征数据提供给所述第二计算环境。
2.如权利要求1所述的方法，其特征在于，所述步骤b)包括将所述特征数据存储在能由所述第一和第二计算环境访问的第三计算环境中的步骤。
3.如权利要求2所述的方法，其特征在于，将所述特征数据存储在第三计算环境中的所述步骤包括将所述特征数据存储在与服务器-客户端网络拓扑中的一个或多个服务器相关联的中心数据库中的步骤，所述第一和第二计算环境包括能够访问所述中心数据库的客户端。
4.如权利要求1所述的方法，其特征在于，获取表示用户的特征的数据的所述步骤a)包括获取所述用户的身体特征的步骤，包括获取用户的块头、体形、脸部特征、毛发和衣着中的至少一项的身体特征的步骤。
5.如权利要求1所述的方法，其特征在于，获取表示用户的特征的数据的所述步骤a)包括下列各项中的至少一项：获取表示用户如何执行姿势的移动数据，以及获取所述用户的习惯动作。
6.如权利要求1所述的方法，其特征在于，获取表示用户的特征的数据的所述步骤a)包括获取所述用户的语音特征的步骤。
7.一种在包括多个计算环境的***中的、利用所述多个计算设备来改进用户体验的方法，第一计算环境耦合到用于捕捉用户的特征的捕捉设备，所述方法包括：
a)根据从所述捕捉设备接收到的表示用户的一个或多个特征的数据，生成所述用户的个人特征简档；
b)将在所述步骤a)中生成的所述个人特征简档存储在能由不同于所述第一计算环境的第二计算环境访问的位置；以及
c)在所述用户访问所述第二计算环境时，将在所述步骤b)中存储的所述个人特征简档提供给所述第二计算环境。
8.如权利要求7所述的方法，其特征在于，所述捕捉设备包括第一捕捉设备，所述方法还包括将从与所述第二计算环境相关联的第二捕捉设备接收到的表示所述用户的特征的数据添加到所述用户的所述个人特征简档中的步骤。
9.如权利要求7所述的方法，其特征在于，还包括根据从与所述第一计算环境相关联的所述捕捉设备接收到的表示所述用户的一特征的数据来更新所述用户的所述个人特征简档中的该特征的数据的步骤。
10.如权利要求7所述的方法，其特征在于，根据表示所述用户的特征的数据来生成用户的个人特征简档的所述步骤a)包括根据表示所述用户的身体特征、所述用户的语音以及由所述用户执行的姿势中的至少一项的数据来生成个人特征简档的步骤。
11.如权利要求7所述的方法，其特征在于，将所述个人特征简档存储在能由第二计算环境访问的位置的所述步骤b)包括将所述个人特征简档存储在下列各项中的至少一项的步骤：(i)能通过客户端-服务器网络拓扑被所述第一和第二计算环境访问的中心数据库；以及(ii)能通过对等网络拓扑被所述第一和第二计算环境访问的第三计算环境。
12.一种在包括游戏应用的一个或多个计算环境以及用于提供自然用户界面的捕捉设备的***中的、利用所述自然用户界面来改进用户体验的方法，包括：
a)根据从与计算环境相关联的捕捉设备获取的表示用户的一个或多个特征的数据，生成所述用户的个人特征简档；
b)存储在所述步骤a)中获取的所述个人特征简档；
c)接收访问存储了在所述步骤b)中存储的所述特征数据的位置中的资源的请求；
d)在接收到访问资源的所述请求的所述步骤c)之后，获取表示存储在所述个人特征简档中的一个或多个特征的数据；
e)将在所述步骤d)中获取的数据与存储在所述个人特征简档中的数据进行比较；以及
f)如果所述步骤e)的比较示出了在所述步骤d)中获取的数据和存储在所述个人特征简档中的数据之间的匹配，则授权访问所述资源的所述请求。
13.如权利要求12所述的方法，其特征在于，还包括下列步骤：确定在其中接收到所述步骤c)的所述请求的***是否是所述用户的可信的***以及与在所述步骤b)中存储的所述个人特征简档相关联的用户是否是使用与在其中接收到所述步骤c)的所述请求的所述***不同的***登录的，其中如果在其中接收到所述步骤c)的所述请求的所述***不是可信的***，或者如果与在所述步骤b)中存储的所述个人特征简档相关联的用户是使用与在其中接收到所述步骤c)的所述请求的所述***不同的***登录的，则执行所述步骤d)、e)以及f）。
14.如权利要求15所述的方法，其特征在于，还包括以下步骤：确定是否存在地理-时间冲突，以及如果存在地理-时间冲突，则执行额外的安全性检查。
15.如权利要求12所述的方法，其特征在于，还包括如果所述步骤e)示出了没有匹配则重复所述步骤e)的步骤，除非没有匹配的置信度水平超出预定义的阈值。
CN201180026264.9A 2010-05-28 2011-05-24 基于云的个人特征简档数据 Active CN102918518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/789,768 US9274594B2 (en) 2010-05-28 2010-05-28 Cloud-based personal trait profile data
US12/789,768 2010-05-28
PCT/US2011/037747 WO2011149940A2 (en) 2010-05-28 2011-05-24 Cloud-based personal trait profile data

Publications (2)

Publication Number Publication Date
CN102918518A true CN102918518A (zh) 2013-02-06
CN102918518B CN102918518B (zh) 2016-11-23

Family

ID=45004712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026264.9A Active CN102918518B (zh) 2010-05-28 2011-05-24 基于云的个人特征简档数据

Country Status (6)

Country Link
US (1) US9274594B2 (zh)
EP (1) EP2577483B1 (zh)
JP (1) JP5815689B2 (zh)
CN (1) CN102918518B (zh)
CA (1) CA2798140C (zh)
WO (1) WO2011149940A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462876A (zh) * 2014-05-30 2017-02-22 微软技术许可有限责任公司 个人智能平台
CN113196789A (zh) * 2018-12-26 2021-07-30 辛纳普蒂克斯公司 免注册离线设备个性化

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066322A1 (en) * 2010-09-15 2012-03-15 Veragen, Inc. Computer-network-based system and methodology for enhancing personal-information storage and transfer control
US20130097565A1 (en) * 2011-10-17 2013-04-18 Microsoft Corporation Learning validation using gesture recognition
US9389681B2 (en) * 2011-12-19 2016-07-12 Microsoft Technology Licensing, Llc Sensor fusion interface for multiple sensor input
US9501140B2 (en) * 2012-11-05 2016-11-22 Onysus Software Ltd Method and apparatus for developing and playing natural user interface applications
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
JP6036551B2 (ja) * 2013-05-27 2016-11-30 富士ゼロックス株式会社 認証システム及びプログラム
US20150006385A1 (en) * 2013-06-28 2015-01-01 Tejas Arvindbhai Shah Express transactions on a mobile device
US10341458B2 (en) * 2014-06-30 2019-07-02 EMC IP Holding Company LLC Predicting a sub-set of resources to be migrated to a new location based on a mobile device's interactions with resources at a first location and a predicted period of time the mobile device is to be in the new location
CN104168446B (zh) * 2014-06-30 2017-09-29 国家电网公司 基于消息调度和硬解码的音视频信号数模切换***
US9690919B2 (en) * 2014-07-29 2017-06-27 Google Inc. Allowing access to applications based on user capacitance
US9684776B2 (en) 2014-07-29 2017-06-20 Google Inc. Allowing access to applications based on user authentication
KR20160040028A (ko) * 2014-10-02 2016-04-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2016118111A1 (en) * 2015-01-20 2016-07-28 General Electric Company System and method for associating device input to users via skeletal tracking
CN105261131B (zh) 2015-10-12 2018-07-31 小米科技有限责任公司 一种发送警报通知消息的方法和装置
JP6909986B2 (ja) * 2016-04-28 2021-07-28 パナソニックＩｐマネジメント株式会社 識別装置
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
US11928682B2 (en) * 2019-05-15 2024-03-12 Worldpay, Llc Methods and systems for generating a unique signature based on user movements in a three-dimensional space
US20220108031A1 (en) * 2019-12-03 2022-04-07 Acxiom Llc Cloud Core Architecture for Managing Data Privacy

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003053060A1 (en) * 2001-12-17 2003-06-26 Digeo, Inc. Remote control using a biometric scanner in an interactive television system
US20080120698A1 (en) * 2006-11-22 2008-05-22 Alexander Ramia Systems and methods for authenticating a device
US20090088142A1 (en) * 2007-09-28 2009-04-02 Microsoft Corporation Device migration
WO2009142624A1 (en) * 2008-05-20 2009-11-26 Hewlett-Packard Development Company, L.P. User interface modifier
KR20100032699A (ko) * 2008-09-18 2010-03-26 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600781A (en) * 1994-09-30 1997-02-04 Intel Corporation Method and apparatus for creating a portable personalized operating environment
US5710884A (en) * 1995-03-29 1998-01-20 Intel Corporation System for automatically updating personal profile server with updates to additional user information gathered from monitoring user's electronic consuming habits generated on computer during use
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6405318B1 (en) * 1999-03-12 2002-06-11 Psionic Software, Inc. Intrusion detection system
US7113918B1 (en) * 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US6505193B1 (en) * 1999-12-01 2003-01-07 Iridian Technologies, Inc. System and method of fast biometric database searching using digital certificates
US6944677B1 (en) 2000-05-09 2005-09-13 Aspect Communications Corporation Common user profile server and method
US7089499B2 (en) * 2001-02-28 2006-08-08 International Business Machines Corporation Personalizing user interfaces across operating systems
US7510474B2 (en) 2001-04-10 2009-03-31 Carter Sr Russell Location based mobile wagering system
US6887159B2 (en) 2001-07-13 2005-05-03 Gameaccount Limited System and method for matching users of a gaming application
JP2003051012A (ja) * 2001-08-03 2003-02-21 Nec Corp ユーザ認証方法及びユーザ認証装置
US7099825B1 (en) * 2002-03-15 2006-08-29 Sprint Communications Company L.P. User mobility in a voice recognition environment
US7079007B2 (en) * 2002-04-19 2006-07-18 Cross Match Technologies, Inc. Systems and methods utilizing biometric data
JP4157322B2 (ja) 2002-04-25 2008-10-01 株式会社東芝 人物認識システム
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7453355B2 (en) * 2002-08-15 2008-11-18 Trimble Navigation Limited Method and system for controlling an electronic device
US6948136B2 (en) * 2002-09-30 2005-09-20 International Business Machines Corporation System and method for automatic control device personalization
US20050004873A1 (en) * 2003-02-03 2005-01-06 Robin Pou Distribution and rights management of digital content
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7774842B2 (en) * 2003-05-15 2010-08-10 Verizon Business Global Llc Method and system for prioritizing cases for fraud detection
US7437457B1 (en) * 2003-09-08 2008-10-14 Aol Llc, A Delaware Limited Liability Company Regulating concurrent logins associated with a single account
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US7190356B2 (en) * 2004-02-12 2007-03-13 Sentelic Corporation Method and controller for identifying double tap gestures
US7534169B2 (en) 2005-07-08 2009-05-19 Cfph, Llc System and method for wireless gaming system with user profiles
US7373516B2 (en) * 2004-08-19 2008-05-13 International Business Machines Corporation Systems and methods of securing resources through passwords
US20060048236A1 (en) * 2004-09-01 2006-03-02 Microsoft Corporation Licensing the use of software to a particular user
CA2596592A1 (en) * 2005-02-01 2006-08-10 Source, Inc. Secure transaction system
US7487461B2 (en) * 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
KR100700690B1 (ko) * 2005-05-31 2007-03-27 엔에이치엔(주) 중복 로그인 검출 방법 및 시스템
US7664961B2 (en) * 2005-09-12 2010-02-16 Imation Corp. Wireless handheld device with local biometric authentication
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8118678B2 (en) 2006-01-20 2012-02-21 Microsoft Corporation Extended and editable gamer profile
US8353764B2 (en) * 2006-11-14 2013-01-15 Igt Behavioral biometrics for authentication in computing environments
US20080129694A1 (en) * 2006-11-30 2008-06-05 Liberty Reach Inc. Keyless user interface device
AU2008239570B2 (en) 2007-02-14 2013-11-21 Igt Methods and systems for anonymous player profile storage and retrieval
US8522019B2 (en) 2007-02-23 2013-08-27 Qualcomm Incorporated Method and apparatus to create trust domains based on proximity
US20090006846A1 (en) * 2007-06-27 2009-01-01 Apple Inc. Bluetooth device as security access key
US8565535B2 (en) * 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
WO2009067670A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US20090216775A1 (en) * 2008-02-22 2009-08-27 Marc Gregory Ratliff Platform for real-time tracking and analysis
CN102016877B (zh) * 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US8390579B2 (en) * 2008-03-14 2013-03-05 France Telecom System for classifying gestures
US8073847B2 (en) 2008-06-27 2011-12-06 Microsoft Corporation Extended user profile
US8771076B2 (en) * 2008-07-08 2014-07-08 International Business Machines Corporation System, method, and apparatus for portable gaming profiles
US20100095250A1 (en) * 2008-10-15 2010-04-15 Raytheon Company Facilitating Interaction With An Application
US8345866B2 (en) * 2009-02-27 2013-01-01 Research In Motion Limited Secure data transfer on a handheld communications device
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003053060A1 (en) * 2001-12-17 2003-06-26 Digeo, Inc. Remote control using a biometric scanner in an interactive television system
US20080120698A1 (en) * 2006-11-22 2008-05-22 Alexander Ramia Systems and methods for authenticating a device
US20090088142A1 (en) * 2007-09-28 2009-04-02 Microsoft Corporation Device migration
WO2009142624A1 (en) * 2008-05-20 2009-11-26 Hewlett-Packard Development Company, L.P. User interface modifier
KR20100032699A (ko) * 2008-09-18 2010-03-26 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
KR101017936B1 (ko) * 2008-09-18 2011-03-04 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462876A (zh) * 2014-05-30 2017-02-22 微软技术许可有限责任公司 个人智能平台
CN113196789A (zh) * 2018-12-26 2021-07-30 辛纳普蒂克斯公司 免注册离线设备个性化

Also Published As

Publication number Publication date
WO2011149940A2 (en) 2011-12-01
US9274594B2 (en) 2016-03-01
JP5815689B2 (ja) 2015-11-17
US20110296505A1 (en) 2011-12-01
WO2011149940A3 (en) 2012-05-24
EP2577483A2 (en) 2013-04-10
JP2013533997A (ja) 2013-08-29
EP2577483A4 (en) 2013-06-05
EP2577483B1 (en) 2020-04-29
CA2798140A1 (en) 2011-12-01
CA2798140C (en) 2019-02-19
CN102918518B (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN102918518B (zh) 基于云的个人特征简档数据
US10398972B2 (en) Assigning gesture dictionaries
US9244533B2 (en) Camera navigation for presentations
US9019201B2 (en) Evolving universal gesture sets
CN102473320B (zh) 通过学习到的来自用户的输入使视觉表示生动化的方法
CN102470273B (zh) 基于玩家表情的视觉表示表情
CN102947777B (zh) 用户跟踪反馈
US20110093820A1 (en) Gesture personalization and profile roaming
CN102129292A (zh) 在运动捕捉***中识别用户意图
CN102449576A (zh) 姿势快捷方式
CN102947774A (zh) 用于驱动交互式故事的自然用户输入
CN102129293A (zh) 在运动捕捉***中跟踪用户组
CN102207771A (zh) 推断参与运动捕捉***的用户意图
Cordeiro et al. ARZombie: A mobile augmented reality game with multimodal interaction
CN110507996B (zh) 使游戏网络中的用户体验个性化

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant