CN110178159A - 具有集成式投影仪的音频/视频可穿戴式计算机*** - Google Patents

Abstract

一种头戴式***可包括配置为提供图像数据的摄像机。无线接口电路可配置为接收来自远程服务器的增强数据。处理器电路可耦接至摄像机，其中，处理器电路可配置为将图像数据与增强数据配准并且将图像数据与增强数据结合以提供增强型图像数据。投影仪电路，其耦接至处理器电路，投影仪电路可配置为将增强型图像数据从头戴式***投影到表面上。

Description

具有集成式投影仪的音频/视频可穿戴式计算机***

相关申请的交叉引用和优先权要求

本申请与2017年6月7日在美国专利商标局提交的序列号为62/516,392的美国临时专利申请有关并且根据35 USC Section 119(e)要求其优先权；与2017年2月23日在美国专利商标局提交的序列号为62/462,827的美国临时专利申请有关；与2016年12月7日在美国专利商标局提交的序列号为62/431,288的美国临时专利申请有关；与2016年12月18日在美国专利商标局提交的序列号为62/424,134的美国临时专利申请有关；与2016年10月31日在美国专利商标局提交的序列号为62/415,455的美国临时专利申请有关；与2016年10月17日提交的序列号为62/409,177的美国临时专利申请和2016年6月20日在美国专利商标局提交的序列号为62/352,386的美国临时专利申请有关；根据35 USC Section 120，与2016年5月23日在美国专利商标局提交的序列号为15/162,152的美国专利申请有关，该案是2013年3月13日提交的序列号为13/802,217的美国专利申请的延续，序列号为13/802,217的美国专利申请要求2012年6月15日提交的序列号为1/660,662的美国临时专利申请的权益；与2015年6月26日在美国专利商标局提交的序列号为14/751,952的美国专利申请有关，该案是2013年6月14日提交的序列号为13/918,451的美国专利申请的延续，序列号为13/918,451的美国专利申请要求2012年6月15日提交的序列号为61/660,662的美国临时专利申请的权益并且要求2013年1月7日提交的序列号为61/749,710的美国临时专利申请的权益，并且要求2013年2月8日提交的序列号为61/762,605的美国非临时专利申请的权益，所有这些申请的内容以引用的方式并入本文。

背景技术

利用无线连接性提供音频耳机是已知的，这种无线连接性可支持将音频内容从移动装置(诸如智能手机)流传送到耳机。在这种方法中，将存储在移动装置上的音频内容无线地流传送到耳机以供收听。进一步地，这种耳机可无线地发送命令到移动装置，以便进行受控的流传送。例如，音频耳机可发送命令(诸如暂停、播放、跳过等)到移动装置，这些命令可被在移动装置上执行的应用利用。因此，这种音频耳机支持无线地接收要向用户播放的音频内容以及支持将命令无线发送给移动装置来控制在耳机上向用户进行音频播放。

附图说明

图1是图示在根据本发明构思的一些实施例中耳机的操作环境的框图。

图2是图示在根据本发明构思的一些实施例中用于呈现与耳机相关联的用户环境的视图的方法的流程图。

图3是图示在根据本发明构思的一些实施例中耳机中包括的处理***的框图。

图4和图5是图示在根据本发明构思的一些实施例中建立从耳机到端点的音频和/或视频实况流传送的方法的流程图。

图6是在根据本发明构思的一些实施例中的合成视图的示意性表示，该合成视图包括从电子装置(诸如移动电话)流传送的视频，组合有从电子装置上的耳机流传送的视频和/或音频。

图7是在根据本发明构思的一些实施例中提供合成视图的方法的流程图，该合成视图包括从电子装置(诸如移动电话)流传送的视频，组合有从电子装置上的耳机流传送的视频和/或音频。

图8是在根据本发明构思的一些实施例中在耳机上的耳罩上的照相机的图示。

图9是在根据本发明构思的一些实施例中的旋转式照相机设备的图示。

图10是图示在根据本发明构思的一些实施例中耳机中包括的处理***的框图。

图11是在根据本发明构思的一些实施例中耳机的触敏控制表面的图示。

图12图示在根据本发明构思的一些实施例中用于将音频和/或视频从耳机流传送到端点的环境。

图12是图示在根据本发明的一些实施例中通过本地移动装置将视频/音频实况流传送到远离耳机的服务器的配置的流程图。

图13是图示在根据本发明的一些实施例中通过本地WiFi连接将实况音频/视频从耳机流传送到远离耳机的服务器的配置的流程图。

图14是图示在根据本发明的一些实施例中由耳机提供的预览图像的生成的流程图。

图15是图示在根据本发明的一些实施例中为经由集成到耳机中的网页服务器进行内容共享而建立的端点的配置的流程图。

图16是图示在根据本发明的一些实施例中将存储在耳机上的图像下载到移动装置的流程图。

图17是图示在根据本发明的一些实施例中对由托管在耳机上的网页服务器支持的图像预览功能进行访问的流程图。

图18是图示在根据本发明的一些实施例中使用本地托管的网页服务器经由移动装置将视频/音频从耳机流传送到远程服务器处的端点的流程图。

图19是包括左听筒和右听筒的耳机的示意性表示，左听筒和右听筒配置为耦接至用户的耳朵。

图20是示出电子装置(诸如，如本文描述的耳机)的示例架构的框图。

图21图示在操作环境内根据本发明构思的耳机的实施例。

图22是在一些实施例中包括多个照相机的耳机的示意性表示，这些照相机用于利用六个DOF来确定包括特征的环境中的位置数据。

图23是耳机与分开的电子装置之间用于确定耳机的位置数据的操作的示意性表示，作为该分开的电子装置所提供的沉浸式体验的一部分。

图24图示根据本发明构思的耳机在操作环境内的实施例。

图25图示用于连接的音频装置(诸如在一些实施例中的耳机)的跨平台应用编程接口的实施例。

图26图示用于连接的音频装置(诸如在一些实施例中的耳机)的跨平台应用编程接口的另一实施例。

图27至图35图示了在根据本发明的一些实施例中用于控制装置(诸如耳机)的遥控器的各种实施例。

图36是在根据本发明的一些实施例中在运行应用的移动装置上呈现的一系列画面的示意性表示，该应用配置为将耳机连接至该应用以便进行同步。

图37是在根据本发明的一些实施例中远程医疗***中包括的耳机的示意性表示。

图38是在根据本发明的一些实施例中分布式***中包括的多个耳机的示意性表示，该分布式***配置为检测人群中的症状以便基于此发出警报。

图39是在根据本发明的一些实施例中包括至少一个投影仪的可穿戴式计算机***的框图。

图40是在根据本发明的一些实施例中特定类型的可穿戴式计算机***的耳罩的透视图，示出了集成到耳罩中的投影仪。

图41是图示在根据本发明的一些实施例中用于图39所示可穿戴式计算机***的增强数据的各种源的框图。

图42A是在根据本发明的一些实施例中的头戴式计算机***的示意性表示，该头戴式计算机***在任意物体或表面上生成投影图像。

图42B是在根据本发明的一些实施例中的特定类型的头戴式计算机***的示意性表示，该头戴式计算机***体现为具有两个集成式投影仪和照相机的音频/视频使能式耳机。

具体实施方式

描述了从耳机流传送用户环境体验的视频和/或音频的***、方法和装置。在一些示例实施例中，耳机可用于：利用用户所戴的耳机中包括的并且与电子装置(诸如移动电话)配对或相关联的且与无线网络配对的照相机捕捉用户视图的图像或视频，通过网络，来流传送用户的本地环境体验或本地环境。例如，戴着具有集成式照相机的耳机的用户可捕捉周围环境的图像和/或视频内容并且通过网络将这些捕捉的内容流传送到端点(诸如社交媒体服务器)。在一些实施例中，也可从耳机中包括的麦克风流传送音频内容。在一些实施例中，通过无线连接将捕捉的内容流传送至托管应用的移动装置。移动应用可渲染捕捉的内容并且向端点提供实况流。应理解，端点可以是可操作地耦合至网络并且可摄取流传送的内容的任何资源，诸如社交媒体服务器、媒体存储网站、教育网站、商业销售网站等。

在另一些示例实施例中，耳机可包括第一听筒(有时称为耳罩)和第二听筒，第一听筒具有蓝牙(BT)收发器电路(也包括BT低能量电路(BTE))，第二听筒具有WiFi收发器电路、控制处理器、至少一个照相机、至少一个麦克风、以及用于控制耳机上的功能的用户触摸板。在其它示例实施例中，耳机与移动装置配对，其中，用户触摸板可用于控制在与耳机相关联的移动装置上操作的应用的特征和操作。在另外的示例实施例中，耳机配对，使用无线网络进行通信。在另外的其它实施例中，耳机可同时使用BT电路和WiFi电路来操作，在这种情况下，使用WiFi电路进行一些操作，而使用BT电路进行其它操作。

应理解，虽然耳机在本文中有时被描述为具有位于耳机的特定部分中的特定电路，但在根据本发明的一些实施例中也可使用任何布置。进一步地，应理解，任何类型的无线通信网络都可用于进行耳机的操作，只要这种无线通信网络可提供耳机和操作地耦合至耳机的应用所需的性能即可，诸如针对这种操作和应用的最大延迟和最小带宽要求。再进一步地，应理解，在一些实施例中，耳机可包括电信网络接口，诸如LTE接口，使得移动装置或本地WiFi连接对于在耳机与端点之间的通信有可能是不必要的。要进一步理解，可以使用提供耳机和操作地耦合至耳机的应用所需的性能的任何电信网络接口。因此，当将特定操作或应用描述为使用移动装置(诸如移动电话)结合耳机进行时，应理解，在一些实施例中，可以通过使用电信网络接口在没有移动装置的情况下进行等效的操作和应用。

应理解，术语“/”(例如“和/或”)包括其中一个项或两个都包括。例如，流传送音频/视频包括：仅流传送音频、仅流传送视频、或者流传送音频和视频。

下文是对示例性实施例的详细描述，以图示本发明的原理。提供这些实施例是为了图示本发明的方面，但本发明不局限于任何实施例。本发明的范围涵盖众多替代、修改和等效物。

在以下描述中阐述了众多具体细节以便提供对本发明的透彻理解。然而，在没有一些或所有这些具体细节的情况下，也可以实践本发明。为了清楚起见，未详细描述与本发明有关的技术领域中已知的技术材料，使得不会不必要地模糊本发明。

如本文描述的，在一些示例实施例中，提供了用于捕捉和流传送用户环境的***和方法。图1描绘了示例性合适的环境100，该环境100包括与支持一个或多个移动应用程序135的移动装置130相关联的耳机110、无线网络125、电信网络132、和提供用户环境捕捉***150的应用服务器140。

在一些实施例中，耳机110直接地或通过网络125(诸如互联网)与移动装置130通信，以向应用服务器140提供由耳机110上的照相机和/或麦克风捕捉的信息或内容。该内容可包括来自在耳机110的用户周围的环境的图像、视频、或其它可视信息，虽然也可提供其它内容。耳机110也可经由Bluetooth图或其它近场通信接口与移动装置130通信，移动装置130经由无线网络135和/或电信网络132将捕捉的信息提供给应用服务器140。另外，移动装置130经由移动应用程序135可捕捉来自在耳机110周围的环境的信息，并且将捕捉的信息提供给应用服务器140。例如，在2016年6月20日提交的标题为“Dual Functionality AudioHeadphone”的第62/352,386号美国临时专利申请中描述了利用耳机和移动装置进行的组合式视频捕捉的实施方式，该申请的内容通过引用并入本文。

用户环境捕捉***150可在访问或接收到耳机110捕捉的音频和/或视频后使用所访问的或接收到的信息来执行各种动作。例如，用户环境捕捉***150可使显示装置160呈现捕捉的信息，诸如来自耳机110上的照相机的图像。例如，显示装置160可以是相关联的显示器、游戏***、电视机或监视器、移动装置130、和/或配置为呈现图像、视频、和/或其它多媒体表示的其它计算装置，诸如其它移动装置。

如本文描述的，在一些实施例中，用户环境捕捉***150使用耳机110的照相机捕捉的图像执行动作(例如，呈现环境的视图)。图2是图示用于使用捕捉的内容呈现周围环境的视图的方法200的流程图。方法200可由用户环境捕捉***150执行，并且因此在本文中仅以参考的方式对该方法进行描述。应理解，可在任何合适的***上执行方法200。

在操作205中，用户环境捕捉***150访问耳机110所捕捉的音频信息。例如，耳机110可使用耳机110上的一个或多个麦克风来捕捉环境噪声或者捕捉用户自己的评论。在一些实施例中，可使用减噪技术使用麦克风来减少环境噪声。

在操作210中，用户环境捕捉***150访问耳机110上的一个或多个照相机捕捉的图像/视频。例如，集成有耳机110的耳罩的照相机可捕捉环境的图像和/或视频剪辑，以提供环境的第一人称视图(例如，使用环境内用户的接近参考点看到的可视信息)。

在操作215中，用户环境捕捉***150基于捕捉的信息执行动作。例如，用户环境捕捉***150可使显示装置160渲染或呈现与耳机110捕捉的图像相关联的环境的视图。用户环境捕捉***150可执行另外的动作，这些动作包括在使显示装置160呈现捕捉的图像或声音之前引起延迟。用户环境捕捉***150可将数据添加到捕捉的内容，包括：位置数据、消费者数据或营销数据、有关耳机110的用户所消费的数据的信息，诸如在耳机110上播放的歌曲、或在用户环境中播放的歌曲的标识。用户环境捕捉***150还可将用户评论或用户语音数据与捕捉的视频一起同时流传送。

用户环境捕捉***150可使用捕捉的可视信息来执行其它动作。在一些实施例中，当捕捉到可视信息时，捕捉***可使社交网络平台或其它网站发布包括一些或所有捕捉的可视信息的信息以及向戴着耳机的用户播放的音频信息，和/或可与用户相关联的其它用户共享可视信息和音频信息。

例如，用户环境捕捉***可生成推特并且代表用户自动发布该推特，该推特包括用户当前播放的歌曲的链接、以及用户在经由用户所戴的音频耳机收听该歌曲时当前观看的内容的图像。

参考图3至图7描述了有关用户环境捕捉***150的操作和/或应用的另一些细节，图3-7图示了根据本发明构思的特定实施例。

在示例实施例中，耳机110(如图3所描绘)包括各种计算组件，并且可直接连接到WiFi网络。耳机110可包括与执行应用程序的移动装置的蓝牙连接，该应用程序允许用户对耳机进行配置以选择特定的WiFi网络并且输入安全的密码信息。在一些实施例中，用户利用移动装置创建WiFi热点，例如经由BT连接，以将耳机110配置成使用具有安全密码的期望WiFi网络。在一些实施例中，耳机直接连接到家中、办公室或其它场所中的WiFi网络，在这些场所中移动装置可经由BT连接将耳机110配置成使用具有安全密码的期望网络。

参照图4，当耳机110与用户的移动装置处于WiFi网络中时，对耳机110的互联网访问可作为IP照相机出现在网络中。诸如Periscope和Skype等应用程序可与这种IP照相机一起使用。用户可使用位于耳机上的可编程热键开启耳机IP照相机和WiFi，或者，可替代地，可使用语音识别命令来启动IP照相机(或者其它功能)。当不使用时，可关闭照相机和WiFi以节省电池寿命。

特别地，在操作405中，耳机110被启动，使得可经由蓝牙连接建立与该移动装置110的配对。在根据本发明的一些实施例中，可在通电后自动建立该配对。在根据本发明的其它实施例中，可利用单独的机构来发起该配对。

在操作410中，一旦建立该配对，耳机可响应于耳机110的输入而启动本地照相机和到接入点或本地移动装置的WiFi连接。在根据本发明的一些实施例中，该输入可以是可编程“热键”或其它输入，诸如启动照相机的语音命令或手势。也可使用其它输入。

在操作415中，移动装置上的应用程序可提供耳机110可访问并且可用于流传送音频/视频的WiFi网络的列表。在根据本发明的一些实施例中，在移动装置130上运行的应用程序可使用蓝牙低能量命令将选择的WiFi网络发动到耳机110。也可使用其它类型的网络协议来发送命令。再进一步地，用户可输入验证信息，诸如密码，该密码也通过蓝牙低能量接口从移动装置130上的应用程序发送到耳机110。

在操作420中，可响应于耳机110处的输入或者经由对移动装置130本身的输入而在移动装置130上启用配套应用程序。例如，在根据本发明的一些实施例中，可响应于按下耳机110上的热键并且发送给移动装置130而在移动装置130上启动配套应用程序。例如，在根据本发明的一些实施例中，配套应用程序可以是诸如Periscope等应用程序。

在操作425中，在移动装置130上操作的配套应用程序可访问耳机110用来发送流视频的WiFi连接。在根据本发明的一些实施例中，然后，用户可选择该WiFi连接以供配套应用程序使用。

在操作430中，配套应用程序可连接到所选择的WiFi连接，该WiFi连接携带来自耳机110的视频和/或音频，然后该视频和/或音频可以用于以配套应用程序所支持的任何形式从移动装置130流传送。还应理解是，如图4所示且如本文描述的操作可以由配套应用程序经由本文描述的SDK控制，该SDK允许控制由耳机110在移动装置130上的应用程序中或者在耳机自身上的应用程序中提供的功能性进行控制。

参照图5，用户可按下耳机上的热键来执行各种动作。用户可按下耳机上的其中一个热键来启动耳机上与IP照相机兼容的配套应用程序，诸如Periscope或Skype。用户可按下自动唤醒WiFi并且建立与已知的、先前配置的网络的连接的热键。用户可按下自动开启WiFi，建立连接，打开智能手机、平板或膝上型计算机上的配套应用程序(例如，Periscope)，并且开始实况流的热键。用户可按下捕捉静态图片的热键。用户可按下捕捉静态图片并且自动共享到社交网络(诸如Facebook和Twitter)的热键。耳机上的麦克风可包括用户语音数据以及视频数据。耳机上播放的音乐和/或音频可与视频数据一起发送。

特别地，在操作505中，耳机110可响应于耳机110处的输入(诸如热键、音频输入、手势等)与移动装置130配对，以经由例如蓝牙连接发起耳机110与移动装置130的配对。

在操作510中，可响应于耳机110处的另一输入来启动与耳机110相关联的摄像机，该另一输入还可从耳机110启动WiFi连接。还应理解，在根据本发明的一些实施例中，上面参照505和510描述的操作可集成到单个操作中或者可以相互组合，使得可重复使用仅一个输入就可进行本文描述的两个步骤。

在操作515中，可启动或利用移动装置130上的应用程序来选择在操作510中启动的特定WiFi连接。进一步应理解，在根据本发明的一些实施例中，可经由嵌入在移动装置130中的本机应用或能力来选择WiFi连接，诸如设置菜单等。当通过在移动装置130上运行的应用建立WiFi连接时，可经由应用将验证信息(诸如用户名字和密码)提供给耳机110，该验证信息可通过蓝牙连接或低能量蓝牙连接发送给耳机110。

在操作520中，可在耳机110上启动本机应用程序来通过WiFi连接流传送音频/视频，而不使其经过移动装置130。

参照图6和图7，用户可捕捉合成视图，该合成视图包括从移动装置130的前置照相机流传送的视频(即，自拍视图)和耳机110的照相机生成的第一人称视图。

根据图6，可使用移动装置130上的照相机来生成有时称为“自拍视图”的视图，该自拍视图作为预览图生成并且被提供在移动装置130的显示器上。应理解，当将移动装置130设置成特定模式(诸如，合成视频模式)时，可响应于定向或移动手动地或自动地启动移动装置130进行的记录动作。

如图6中进一步示出的，与耳机110相关联的至少一个照相机被启动并且生成第一人称视图。第一人称视图作为视频馈源被生成，该视频馈源被转发给移动装置130。移动装置130包括在移动装置130的显示器上生成合成视图的应用程序。如图6所示，合成视图可包括从移动装置130上的照相机提供的自拍视图的表示以及由来自耳机110的视频馈源提供的至少一个第一人称视图。还应理解，对图6中在移动装置130上示出的合成视图的描绘是代表性的并且不应被视为是对合成视图的严格结构的限制。换言之，在根据本发明的一些实施例中，图6中生成的合成图可以是提供在移动装置130的显示器上的任何视图并且包括自拍视图以及耳机110提供的至少一个第一人称视图。

根据图7，可按照在根据本发明的一些实施例中的在操作705-730中示出的那样进行图6中示出的操作。在操作705中，可启动耳机110，因此经由(例如)蓝牙连接在耳机110与移动装置130之间建立连接。

在操作710中，可响应于耳机110处的输入来启动位于耳机110上的摄像机。应理解，对用于启动摄像机的耳机110的输入可以是任何输入，诸如热键、按压、或其它输入(诸如，手势或语音命令)。再进一步地，响应于耳机110处的输入来建立WiFi连接。

在操作715中，利用在移动装置130上执行的应用程序来指示可用于对来自耳机110上的照相机的视频进行流传送的WiFi连接。具体地，可使用在移动装置130上执行的应用程序将可用的WiFi连接提供在移动装置130的显示器上，因此用户可选择要用于对来自耳机110的音频/视频进行流传送的WiFi连接。再进一步地，可提醒用户提供验证信息来访问来自耳机110的第一人称视频视图。

在操作720中，可利用耳机110处的输入来启动移动装置130上的配套应用程序。例如，可响应于耳机110处的输入(诸如热键或者音频或者手势输入)来启动配套应用程序。

在操作725中，在移动装置130上运行的配套应用程序访问所选择的WiFi连接以从耳机110接收流传送视频(以及耳机110提供的音频信息)，然后将该流传送视频引导到在移动装置130上运行的配套应用程序。配套应用程序连接到从耳机110提供的WiFi连接以访问流传送的视频/音频并且使用耳机110提供的第一人称视图以及位于移动装置130上的照相机提供的自拍视频馈源来生成合成图像。应理解，可通过将自拍视频馈源与耳机110提供的第一人称视图结合以提供合成视图。还应理解，可在移动装置130的显示器上使用任何格式。还应理解，可经由SDK来提供本文描述的操作，该SDK允许通过在移动装置130上执行的配套应用程序对耳机110进行控制。

因此，可将视频馈源发送给在智能手机、平板或膝上型计算机上运行的支持双流式视频馈源的现有和未来应用程序，诸如Periscope、Skype、Facebook等。通过使用麦克风，可将语音数据与视频流一起发送。可将音乐和/或音频数据与视频流一起发送。

图8是在根据本发明构思的一些实施例中耳机110的耳罩805上的摄像机810的图示。因为不同的用户可以以不同的定向戴耳机110，或者甚至同一个用户也可通过移动耳机110在头上的位置或者通过在戴耳机110的同时移动头来改变耳机110的定向，所以摄像机810可适应于不同的定向。在一些实施例中，摄像机810通过在约60度与约120度之间的圆弧绕着圆圈旋转。如图所示，耳罩805包括听筒807、照相机环809、触摸控制表面811、操作指示灯812。耳机110中还可以包括其它组件，诸如加速度计、控制处理器和用于维持照相机视图的水平定向的伺服电机。

图9是在根据本发明构思的一些实施例中的旋转式摄像机设备的图示，该旋转式摄像机设备示为重叠在定向轴上。在操作中，加速度计905安装在旋转的摄像机环809上。加速度计905相对于重力向量向处理器电路920提供定向。伺服电机910可由处理器910控制以使摄像机810绕着环809旋转，以便将照相机保持定向在水平向量的方向上。这样，可使照相机的视场保持大体上与用户的视线相同。在一些实施例中，可将图像稳定技术结合到视频数据的处理中。在一些实施例中，用户可启动隐私模式，该隐私模式可使摄像机远离水平向量旋转，使得不使摄像机保持与用户的视线相同。在一些实施例中，用户可启动手势模式，使得耳机110使摄像机810旋转到针对特定用户的定制定向。在这种实施例中，摄像机旋转到定制定向(诸如，在水平向量与重力向量之间的约45度)并且，一旦该旋转完成，便开始手势处理。这样，用户可选取满足其偏好的或适合特定情形(诸如，当用户平躺时)的定制定向。

图10图示了适合用于流传送诸如音频和视频等内容的耳机110的具体配置的示例实施例。根据图10，耳机110可经由蓝牙连接以及低能量蓝牙连接(即，BLE)耦接至移动装置130(诸如移动电话)。可利用蓝牙连接将音乐从移动装置130流传送到耳机110以供收听。可通过低能量蓝牙接口来控制移动装置130上的应用程序，该低能量蓝牙接口配置为向耳机110发送命令/从耳机110发送命令。例如，将提到一些实施例，耳机110可包括“热键”，该“热键”可编程为与预定义命令相关联，可响应于按下这些低能量蓝牙接口上的按钮来将这些预定义命令发送给移动装置130上的应用程序。作为响应，该应用程序可通过蓝牙连接将音乐发送给耳机110。应理解，蓝牙以及低能量蓝牙接口都可设置在耳机110的特定部分中，诸如设置在右侧耳罩中。然而，应理解，本文描述的接口可设置在耳机110的方便的任何部分处。

耳机110还可包括WiFi接口，该WiFi接口配置成进行耳机110提供的更大功率的功能。例如，在根据本发明的一些实施例中，可建立WiFi连接，使得可将视频流从耳机110上的摄像机提供给远程服务器或移动装置130上的应用程序。再进一步地，可利用WiFi接口来将媒体同步到耳机110/与来自耳机110的媒体同步以及存储音频文件以便进行播放。再进一步地，可通过WiFi连接将照片或其它媒体提供给远程服务器或移动装置。还应理解，可将WiFi接口与较高功率的处理器(即，相对于配置为提供上面描述的蓝牙和蓝牙低能量接口的电路***)操作地相关联。再进一步地，应理解，较高功率的处理器可提供：例如，与图像处理音频/视频流相关联的功能性以及通常与通常所谓的“智能手机”相关联的功能。

还应理解，可使用支持WiFi接口的较高功率的处理器来进行蓝牙和蓝牙低能量接口所提供的所有功能。然而，在本发明中包括的一些实施例中，可将与蓝牙和蓝牙低能量接口相关联的低功率操作同由与WiFi接口相关联的处理器进行的较高功率功能分开。在这种实施例中，可提供蓝牙/蓝牙低能力处理作为耳机110的默认操作模式，直到接收到作为更适合由与WiFi接口相关联的处理器进行的操作的命令为止。例如，在根据本发明的一些实施例中，蓝牙和蓝牙低能量电路可提供持续语音控制应用程序，该持续语音控制应用程序在耳机110通过低能量蓝牙接口将命令发送给移动装置130(或者发送给耳机110中的本机应用程序或服务器上的远程应用程序)时收听特定的短语(诸如“好的，Muzik”)。应用程序执行与耳机110发送的命令相关联的预定义操作，诸如将语音数据翻译成文本的应用程序。在根据本发明的另外其它实施例中，与WiFi接口相关联的处理器依然处于待机模式，而蓝牙/蓝牙低能量电路***仍然活跃。在这种实施例中，当与处理器相关联的特定操作被调用时，蓝牙/蓝牙低能量电路***可启用与WiFi相关联的处理器。例如，在根据本发明的一些实施例中，可由蓝牙/蓝牙低能量电路***接收命令，该命令被预先确定为在蓝牙/蓝牙低能量电路***使处理器退出待机模式并且变得活跃时(诸如，当启用视频流传送)由与WiFi接口相关联的处理器进行。

而且，耳机110的高功率处理器部分可支持保持在待机模式的嵌入式移动应用程序，而蓝牙/蓝牙低能量电路***针对特定功能调用较高功率的处理器。经请求，较高功率的处理器可将保持在待机模式下的移动应用程序加载到耳机110上，使得需要较高功率处理器的操作可开始，诸如当启动实况流传送时。

如图10所示，耳机110包括第一或左耳罩，该第一或左耳罩可被认为是包括WiFi处理。耳机110还包括第二或右耳罩，该第二或右耳罩包括蓝牙处理。更具体地，左耳罩1030包括WiFi处理器1012，诸如Qualcomm Snapdragon 410处理器，其具有连接至WiFi芯片组1014和WiFi收发器1015的WiFi堆栈1013。WiFi处理器1012还连接至另外的存储器，诸如闪存1016和DRAM 1017，摄像机1020容纳在左耳罩1010上并且连接至WiFi芯片组1014。各种LED指示器(诸如闪光LED1021和LED上的照相机1022)可与摄像机1020结合使用。还可将一个或多个传感器容纳在左耳罩1010中，包括加速度计1018。也可包含其它传感器，包括陀螺仪、磁力计、热传感器或IR传感器、心率监视器、分贝监视器等。针对与摄像机1020捕捉的视频相关联的音频，提供了麦克风1019。麦克风1019通过PMIC卡1022连接至WiFi处理器1012。USB适配器1024还通过PMIC卡1022连接。正负音频电缆1025+和1025-从PMIC卡1022延伸到容纳在右耳罩1030中的多路复用器(Audio Mux)1040。

右耳罩1030包括蓝牙处理器1032，诸如CSR8670处理器，其连接至蓝牙收发器1033。电池1031连接至蓝牙处理器1032并且还经由在左耳罩1010与右耳罩1030之间延伸的电力电缆1034连接至PMIC卡1020。多个麦克风可连接至蓝牙处理器1032，例如，语音麦克风1035和消风麦克风1036连接至蓝牙处理器1032并且向蓝牙处理器1032提供音频输入。音频信号从蓝牙处理器1032输出至差分放大器1037并且作为正负音频信号1038和1039进一步分别输出至左耳罩1010中的左扬声器1011和右耳罩1030中的右扬声器1031。

使用微控制器1050来实现耳机110的操作以及WiFi与蓝牙之间的协调，该微控制器1050经由I₂C总线1051连接至WiFi处理器1012和蓝牙处理器1032。另外，蓝牙处理器1032和WiFi处理器1012可经由UART协议直接通信。

用户可经由触控板、控制轮、热键或它们的组合来控制耳机110的各种功能，通过容纳在右耳罩1030的外表面上的电容式触摸传感器1052进行输入，并且连接至Ule微控制器1050。右耳罩1030可以包括另外的控制特征，诸如用于指示各种操作模式的LED 1055、一个或多个热键1056、开/关按钮1057、以及接近传感器1058。

由于耳机上所涉及的操作的相对复杂性，包括在WiFi模式、蓝牙模式、以及同时在WiFi和蓝牙这两种模式下操作的能力，所以在各种控制器、传感器、以及耳机110的组件之间建立了众多连接。在耳机的两侧之间延伸电缆或总线由于增加了重量会导致问题，并且限制了耳机的灵活性和耐用性。在一些实施例中，多达10根电缆在左耳罩与右耳罩之间延伸，并且可包括：电池+电缆；接地电缆(电池-)；Cortex ARM SDA电缆；Cortex ARM SCL电缆；CSR UART Tx电缆；CSR UART Rx电缆；左扬声器+电缆；左扬声器-电缆；右扬声器+电缆；以及右扬声器-电缆。

图11图示了结合上面描述的电容式触摸传感器1052使用的电容式触摸面板(传感器1110)的示例。如图所描绘的，耳罩1105包括电容式触摸面板1110，该电容式触摸面板1110具有电容式触摸环1112以及第一按钮1113和第二按钮1114。各种用户控制可被编程到耳机中。

下面提供的表1给出了编程的用户控制的示例。

下面的表2提供了与第一和第二按钮相关联的示例用户控制。

在2016年6月26日申请的标题为“Interactive Input Device”的第14/751,952号美国专利申请中公开了控制功能的另一些示例和阐释，该申请通过引用全部并入本文。

在另一示例实施例中，除了经由电容式触摸面板输入的用户控制之外，耳机还可使用与耳机的控制***集成在一起的语音识别协议通过语音分离来接受控制指令。下面的表3提供了用于控制耳机以及相关联的配对移动装置的各种语音命令的示例。

在示例操作中，用户耳机经由无线连接(蓝牙或WiFi或两者)配对到运行应用程序的移动装置，该应用程序用于与在互联网上运行的第三方应用程序共享耳机所捕捉的图像和音频。

图12和图13图示了共享由耳机110上的照相机和麦克风捕捉到的音频和视频的示例。当在耳机上发起视频捕捉时，耳机的左侧使用FFMPEG，同时使用Android MediaCodec，来创建适用于实况流传送平台的RTMP流。RTMP Server JNI绑定和Androi助手代码源自Kickflip.io's SDK。可按照两种方式来使用RTMP Server：首先，通过用户环境捕捉WIFIAP连接，该用户环境捕捉WIFI AP在移动装置上使用中继app，如图12所示。在该示例中，耳机录制视频/音频并且将其转换成RTMP格式。经由WiFi连接将转换后的音频/视频内容发送给正运行程序的移动装置以将转换后的内容共享到互联网。然后，移动装置经由蜂窝连接(诸如LTE连接)将转换后的内容共享到互联网或云上的RTMP端点，诸如Youtube、Facebook、Periscope等。

根据图12，耳机110可提供如上面在根据本发明的一些实施例中描述的低延迟视频馈源。根据图12，耳机110可包括实时消息协议(RTMP)服务器，该RTMP服务器配置为接受由与耳机110相关联的照相机生成的视频/音频流并且按照与RTMP协议相关联的分组格式产生视频/音频流的数据。应理解，虽然RTMP在本文中被描述为用于进行音频/视频的流传送，但可利用将足够低延迟的实时视频从耳机110提供给目的地端点的任何消息协议。再进一步地，消息协议可受到摄取视频以便进行发布或流传送的大量服务的支持。

如图12中进一步示出的，通过耳机110生成的接入点WiFi连接1210将以RTMP分组化格式提供的流传送的音频/视频提供给移动装置130。移动装置130包括应用程序，该应用程序配置为将用于音频/视频流的分组化RTMP数据中继给电信网络连接1220(即，诸如LTE网络连接)。还应理解，移动装置130可包括附加应用程序，该附加应用程序提供对与用于进行视频流传送的端点相关联的用户账户的验证。例如，在根据本发明的一些实施例中(其中，耳机110配置为生成用于Facebook实况直播的实况视频流)，可将Facebook应用程序包括在移动装置130上，使得可以对用户的账户进行验证，使得当将视频流转发到端点(即，用户的Facebook页面)时，服务器可摄取到与用户的账户相关联的RTMP格式化的音频/视频流。如图12进一步示出的，经由LTE网络连接将RTMP分组化格式的音频/视频馈源转发给针对实况流识别到的端点1225。在根据本发明的一些实施例中，直接将RTMP分组化的数据格式转发给电信网络1220(即，诸如LTE网络连接)，而不经过移动装置130。因此，耳机110可将分组化的音频/视频直接流传送到图12中示出的LTE网络连接，然后再被转发至识别到的端点1225，而不使用移动装置130。然而，应理解，上面参照与用户的账户相关联的端点所描述的验证仍然由例如耳机110上的应用程序提供。

在第二示例中，耳机直接连接至本地WiFi网络，如图13所示。利用直接WiFi连接直接将耳机上的用户环境捕捉特征连接至互联网，以允许使用基于云的端点，用户在耳机与本地WiFi网络之间设置期望的WiFi网络连接。在一些实施例中，这是利用托管在移动装置上以输入SSID和密钥的app来进行的。在其它实施例中，可在初始设置之后自动进行这种将耳机连接至本地WiFi网络。在连接至本地WiFi网络之后，移动装置设置期望的RTMP目的地并且将验证数据和服务器URL发送给耳机。耳机录制视频和音频内容并且将该内容转换成RTMP格式。然后，耳机经由本地WiFi网络将RTMP格式化的内容直接发送给RTMP端点。

根据图13，在根据本发明的一些实施例中，RTMP分组化的音频/视频流由连接至WiFi网络的耳机110生成，而不通过移动装置130。根据图13，在移动装置130上运行的应用程序可使用例如蓝牙连接建立用于流传送RTMP分组化数据的期望WiFi网络1305并且识别要使用的特定WiFi网络1305。再进一步地，移动装置130上的应用程序还可为耳机110生成的RTMP分组化数据设置目的地端点。另外，应用程序可通过WiFi网络向耳机110提供用户验证和识别，以便包括在RTMP分组化数据中。如图13中进一步示出的，在根据本发明的一些实施例中，经由WiFi将RTMP分组化音频/视频数据直接提供给RTMP端点，而不通过移动装置130。

在一些示例实施方式中，用户可能希望预览通过互联网发送给RTMP端点的视频馈源。提供了一种预览方法，用于将实况馈源从照相机传输到移动装置以用作照相机的取景器。预览功能利用MotionJPEG对视频进行编码。MotionJPEG是一种允许网络服务器按照低延迟的方式提供移动图像的标准。Motion JPEG利用来自开源SKIA图像库的方法。

图14图示了一种预览记录在耳机照相机1405上的图像的过程。对来自照相机的预览帧进行捕捉/编码并且耳机110上的处理器利用SKIA 1415将存储器中的预览帧1410转换成MotionJPEG。然后，创建套接字1420并且将其配置为通过互联网HTTP连接传输MotionJPEG。该套接字可通过WiFi网络1425使用移动装置130上的专门构建的app或者使用现成的app(诸如Shared Home Ap)连接。因此，可在移动装置上观看作为标准网络视图的预览流。

应理解，在一些示例实施例中，本公开的耳机托管HTTP服务器。该服务器配置为用作一种经由HTTP POST结合JSON来控制和配置支持照相机的耳机的用户环境捕捉和共享特征的方法。

由于耳机上的轻量级网络服务器本质上创建了嵌入在耳机110中的网络服务器，所以针对该技术有许多应用，包括但不限于：待由一个或多个朋友经由社交媒体消费的个性化实况流传送；针对电视网络的电子新闻采集；演唱会、运动会或其它活动中的虚拟化观众。这基本上允许人们通过实况直播用户的眼睛、用于产品用户的个性化分散网站、用于产品用户的个性化分散社交媒体档案、以及用于产品用户的个性化分散博客平台看到该事件。事实上，利用耳机上的网络服务器功能性，用户能够捕捉产品的图像并且能够访问基于网络的服务以进行产品识别和/或购买。用户可使用许多不同的基于网络或云的应用程序，诸如CQR代码扫描应用程序、群聊功能等。由于集成有用户控制特征，在一些应用程序和实施例中，用户在没有图形接口的情况下可利用基于云的应用程序和基于网络的特征来充分地操作。耳机网络服务器还有助于在本发明的内容共享应用程序中配置RTMP目的地。

根据图15，网络服务器1505托管在耳机110上并且可由移动装置130上的应用程序访问。具体地，耳机110上的网络服务器1505可建立WiFi接入点模式网络1510，通过该WiFi接入点模式网络1510可联系到移动装置130上的应用程序。移动装置130上的应用程序可转发将在实况视频馈源(诸如，要摄取实况视频的端点1225)中使用的信息。该通信还可包括移动装置130(应用程序正在该移动装置130上执行)的地址。通过WiFi接入点模式网络1510将信息发送给网络服务器1505，然后将其转发至位于耳机110上的RTMP服务器1515。RTMP服务器1515使用转发至网络服务器1505的信息生成转发至移动装置130的实况视频流。通过使用移动装置130的地址并且还包括与实时视频馈源相关联的端点1225信息，将RTMP分组化数据中继至移动装置130上的应用程序。在根据本发明的一些实施例中，移动装置130上的应用程序可将实况视频馈源重新格式化，然后可通过通信网络1220(诸如LTE网络连接)将其转发至端点1225。

图15图示了该过程的示例。利用托管在耳机上的网络服务器，将用户环境共享应用程序托管在耳机上。用户的移动装置经由WiFi网络连接至耳机服务器。然后，移动装置将包含URL和电话IP地址的帖子发送给耳机上的服务器。然后，服务器将接收到的移动装置配置发送给RTMP服务器。RTMP服务器经由托管在耳机上的app将转换后的RMP数据发送给移动装置。然后，移动装置可经由蜂窝连接(诸如LTE连接)将RTMP数据发送给RTMP端点。

耳机服务器还有助于将图像从耳机下载到移动装置。图16图示了这种过程的示例。移动装置经由WiFi连接向耳机服务器发送对存储在存储介质上的图像列表中的图像的请求。服务器用JSON阵列形式的图像列表进行响应。移动装置向JSON请求具有路径的特定图像，该响应使用Via getMedia Request。服务器用图像进行响应，以供在移动装置上查看或者下载。

如图17所示，耳机服务器1505还可实现启用和/或禁用用户环境捕捉***的图像预览功能。移动装置可将来自移动装置的打开/关闭预览功能命令发送给耳机服务器，服务器利用本文描述的相关联的内容配置启用或禁用预览功能。然后，服务器经由预览功能开始/停止帧的传输。

在根据本发明的一些实施例中，在没有上述初步请求的情况下，可建立与实况预览的连接。在这种实施例中，移动装置130上的应用程序向服务器1505发送信号以访问耳机110上的照相机1405生成的实况预览。然后通过照相机1405将预览转发至移动装置130上的应用程序。移动装置130又可重新格式化、接收媒体并且经由LTE网络连接将其转发至识别到的端点。然而，应理解，可使用其它类型的电信网络。

对音频和视频进行实况流传送的潜在问题是不良行为者有可能会干扰捕捉的活动。在与本公开相关联的流传送功能的一些应用中，可将时间延迟添加到传出流，并且基于经由实时内容预览流看到的情况来暂停或取消该流。该延迟的添加与专业电视网络用来检查潜在干扰内容的手段相似。在内容流传送中使用该延迟会允许内容创建者确保其实况内容到达其观众的屏幕之前的质量。图18图示了用于在流传送的内容中提供延迟的示例使用实例。用户请求启用流传送预览功能。将瓦片请求从瓦片移动装置发送给耳机服务器。耳机服务器启用预览功能。耳机服务器实时地开始以适合瓦片的格式传输预览帧。然后，移动装置将RTMP端点目的地和延迟设置发送给耳机服务器。耳机服务器对MotionJPEG服务器和RTMP服务器进行配置以当实时消费预览时按照规定的延迟将RTMP数据中继至移动装置。可在延迟的时间内停止RTMP流，并且可在其被瓦片RTMP端点消费之前丢弃该流。移动装置经由蜂窝连接(诸如LTE连接)将延迟的RTMP内容流传送至RTMP端点。在一些实施例中，一旦干扰内容不在图片内，则可重新开始被阻断的RTMP流。

除了视频流传送之外，当前的配置(包括具有轻量级网络服务器的耳机)允许耳机将彼此识别为RTMP端点。以此方式，耳机可将音频数据流传送至彼此。例如，如果两个或多个耳机经由本地WiFi网络连接，则各个耳机可被识别为RTMP端点。这在连接的耳机之间实现了语音通信。示例场景包括处于呼叫中心的联网耳机、与团队成员通信的教练、与雇员连接的管理者、或者在连接的耳机之间需要语音通信的任何情形。

在另一示例实施方式中，耳机可不具有照相机，但却具有所有上述相同的功能性。这对于入耳式应用或对于运动应用可能是有利的。可将音频内容以及从用户收集到的其它数据(例如，加速度计数据、心率、活动等级等)流传送至RTMP端点(诸如教练或社交成员)。

在根据本发明的一些替代实施例中，可从照相机1405提供原始流，作为RTMP数据，而无规定的延迟。原始流被移动装置130上的应用程序接收并且被处理以生成原始流的延迟版本，该延迟版本与上面描述的按照规定的延迟提供的中继RTMP数据相似。因此，可在应用程序产生的延迟流中提供相同的功能性，使得可在延迟的时间内在其被端点消费之前停止流。然而，如图18中进一步示出的，应用程序可产生替代的原始视频流，该替代的原始视频流的内容未经过编辑。因此，在根据本发明的一些实施例中，消费者可在原始的或延迟的流传送内容之间进行选取。

如本发明实体所进一步了解的，耳机110可提供转换耳机通常所利用的电子“不动产”更多的电子“不动产”，这些“不动产”未被使用。此外，耳机与用户的其它电子装置进行通信的能力以及耳机与用户的其它电子装置的典型接近度可通过使用与耳机110相关联的硬件/软件提供增强这些其它电子装置的操作的可能性，从而提供了完成或加强其它电子装置的操作的方式。在一些实施例中，耳机110可配置为通过分摊对与耳机相关联的位置数据的确定来协助独立便携式电子装置，该位置数据又可用于确定用户的位置数据，这可提高在该独立便携式电子装置所支持的沉浸式应用中的用户体验。也可提供其它类型的分摊和/或增强。应理解，电子装置可以是本文描述的移动装置130，并且耳机110可在不具有电子装置的情况下如本文描述那样操作。

图19是包括左右听筒10A和10B的耳机110的示意性表示，左右听筒10A和10B分别配置为耦接至用户的耳朵。耳机110还包括多个传感器5A-5D，包括本文描述的摄像机和麦克风。在一些实施例中，传感器5A-5D可配置为协助确定位置数据。位置数据可用于利用六个自由度(DOF)确定耳机110在环境中的位置。

传感器5A-5D可以是用于确定有时称为由内而外追踪***中的位置的任何类型的传感器，在该***中，例如，传感器5A-5D接收来自周围环境的电磁能量和/或其它物理能量(诸如，无线电信号、光学信号、和/或超声信号等)以提供信号，该信号可用于利用六个DOF确定耳机的位置。例如，这多个传感器可用于基于耳机110的确定位置来确定用户的头部位置。

如图19A所示，多个传感器5A-5D可位于耳机的任何部分上或位于靠近耳机。例如，传感器5A在左听筒10A上，传感器5B在头带上，传感器5C在右听筒10B上，并且传感器5D与耳机110分开但足够靠近以便与耳机110中的增强功能进行无线或有线通信。在一些实施例中，传感器5D可位于用户可以佩戴的独立电子装置内并且可以用作由该独立电子装置提供的沉浸式体验的一部分，该独立电子装置诸如是手镯、项链、手杖等。应进一步理解，可选择传感器5A-5D在耳机上的位置，使得传感器可作为由内而外追踪***的一部分充分地接收电磁能量和/或其它物理以便利用六个DOF来确定耳机的位置数据。虽然图19A图示了传感器5A-5D的特定配置和位置，但本领域的技术人员应理解，在不背离本发明构思的情况下，传感器的其它配置也是可能的。

图19B是位于例如耳机110的第一听筒10A中的增强功能(包括传感器接口660，如图20进一步图示的)的示意性表示。应理解，该传感器接口可提供为本文中的附图中示出的处理器的一部分。根据图19B，传感器5A-5D连接至传感器接口660，传感器接口660可操作传感器5A-5D利用六个DOF来确定耳机110的位置数据。如图19B所示，传感器5A-5D可与传感器接口660位于耳机110的听筒中的相同位置、可位于耳机110的电气地/通信地耦接至传感器接口660的一些其它部分上(例如，位于头带或其它听筒10B中)、或者可远离耳机110并且与传感器接口660通信地耦接。在一些实施例中，传感器接口660控制传感器5A-5D来检测可用于确定耳机的位置数据的电磁和/或物理信号。例如，如果传感器5A-5D是摄像机或照相机，则传感器接口660可控制照相机捕捉环境的图像，这些图像可用于基于在图像内检测到的环境特征的位置来确定耳机的位置。相反，如果传感器5A-5D是RFID传感器，则传感器接口660可控制RFID传感器来基于无线电信号的三角测量确定耳机的位置。如果传感器5A-5D是加速度计，则传感器接口660可控制加速度计传感器来基于检测到的加速度计的移动确定耳机的定向和/或移动。如本领域的技术人员可理解的，其它传感器也是可能的，包括用于确定耳机110和周围环境的位置和/或其它特点的多种类型的传感器的组合。

如图19B中进一步图示的，耳机110的第一听筒10A可能包含增强功能。该增强功能可执行配置成增强耳机110的操作的操作。在一些实施例中，如本文所讨论的，增强功能可响应于提供给耳机110的请求和/或数据来执行操作并且向请求者提供该请求/数据的结果。例如，在一些实施例中，可向增强功能提供来自独立电子装置的请求/数据。响应于该请求/数据，耳机110可执行与该请求/数据有关的计算和/或其它操作，并且将响应提供给该独立电子装置。在一些实施例中，独立电子装置可使用耳机110的增强功能来代表独立电子装置30执行计算和/或操作。

参照图19C，耳机110的第二听筒10B可包含在耳机110的操作中使用的其它电子装置。如图19C所示，耳机110的第二听筒10B还可包含与第一听筒10A中的增强功能相似的增强功能。换言之，耳机110可在听筒10A、10B中的一个或两个中包含增强功能。当在耳机110中设置有多种增强功能时，这些增强功能可单独地或彼此协作地基于独立电子装置所提供的请求/数据来操作。在一些实施例中，该一种或多种增强功能可用于处理独立电子装置所提供的请求以及耳机110所要求的操作。换言之，增强功能不仅限于处理外部请求，还可处理耳机110所要求的操作。

图19C还图示了耳机110的第二听筒10B还可包含一个或多个传感器5C。这些传感器5C可耦接至耳机110的第一听筒10A中的传感器接口660。如本领域的技术人员应理解的，这种耦接可经由多个机构来进行，包括但不限于通过耳机110的头带实现的电子耦接。

本领域的技术人员会认识到图19A、19B和19C中图示的听筒的配置仅仅是代表性的，并且在不背离本发明构思的情况下，可以进行各种电路的其它配置。

图20图示了高级框图，示出了电子装置(诸如本文描述的耳机110)的示例架构，该电子装置可实施上述操作。耳机110包括都耦接至互连630的一个或多个处理器610以及存储器620。互连630可以是一种抽象概念，其代表任何一条或多条分开的物理总线、点到点连接、或者通过恰当的桥、适配器或控制器连接在一起的物理总线和点到点连接。因此，互连630可包括：例如，***总线、***组件互连(PCI)总线或PCI-Express总线、超传输或工业标准架构(ISA)总线、小型计算机***接口(SCSI)总线、通用串行总线(USB)、IIC(12C)总线、或者电气与电子工程师协会(IEEE)标准1394总线(也称为“火线”)。

处理器610是耳机110的中央处理单元(CPU)，并且因此，控制耳机110的总体操作。如本文讨论的，一个或多个处理器610可配置为执行增强功能，诸如在图19B和图19C中图示的增强功能。在某些实施例中，处理器610通过执行存储在存储器620中的软件或固件来实现此。处理器610可以是，或者可以包括，一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、可信平台模块(TPM)、或者这种或相似装置的组合。

存储器620是或者包括耳机110的主存储器。存储器620表示任何形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等、或者这种装置的组合。使用时，存储器620可以包含代码670，该代码670包含根据本文公开的技术的指令。

还通过互连630连接至处理器610的是网络适配器640和海量存储装置650。网络适配器640向耳机110提供通过网络与远程装置通信的能力并且可以是，例如，以太网适配器、蓝牙适配器等。网络适配器640还可以向耳机110提供与其它计算机通信的能力。存储在存储器620中的代码670可作为软件和/或固件实施，以对处理器610进行编程来进行上文描述的动作。在某些实施例中，通过耳机110(例如，经由网络适配器640)从远程***下载这种软件或固件，可首先将这种软件或固件提供给耳机110。

一个或多个传感器接口660也通过互连630连接至处理器610。传感器接口660可接收来自一个或多个传感器(诸如，图1的传感器5A-5D)的输入。虽然图示为单个元件，但耳机110可包括多个传感器接口660。在一些实施例中，传感器接口660可处理不同类型的传感器。传感器接口660可经由互连630与存储器620、处理器610、网络适配器540和/或海量存储装置650通信以存储、分析和/或将传感器接口660接收到的输入传送到耳机110或独立电子装置。如图所示，可经由接口660访问照相机和麦克风。

图21图示了在操作环境内根据本发明构思的耳机110的实施例。如图21所示，耳机110可通过一个或多个通信路径20A-n通信地耦接至电子装置30。通信路径20A-n可包括：例如，WiFi、USB、IEEE 1394、无线电，然而本发明构思不限于此。可同时使用通信路径20A-n，并且，在一些实施例中，可彼此协作地使用通信路径20A-n。耳机110可与独立电子装置30交换数据和/或请求。

如图20所示并且如本文讨论的，耳机110可通信地耦接至一个或多个传感器5A-5D。传感器5A-5D可与耳机110一体形成、附接到耳机110、或者与耳机110分开。相似地，独立电子装置30可通信地耦接至独立电子装置30，诸如图20中示出的传感器30A-B。传感器30A-30B可与电子装置30一体形成、附接至电子装置30、或者与电子装置30分开。如本文讨论的，电子装置30和耳机110可共享从传感器5A-5D和30A-30B接收到的输入来确定电子装置30和耳机110的用户的位置。

电子装置30可通过网络125进一步与外部服务器40通信。在一些实施例中，网络125可以是大型网络，诸如更常称为互联网的全球网络。电子装置30可通过中间网关(诸如网络网关35)连接至网络125。电子装置可通过各种方式连接至网络网关。例如，网络网关35可以是基于无线电的电信网关，诸如基站，并且电子装置30可经由无线电通信(诸如，在蜂窝电话网络中常用的无线电通信)与网络网关35通信。在一些实施例中，网络网关35可以是网络接入点，并且电子装置30可经由无线网络(“WiFi”)与网络网关35通信。网络网关35还可经由与在电子装置30与网络网关35之间使用的通信方法相似或不同的通信方法来与网络125通信。本文描述的通信路径不旨在是限制性的。本领域的技术人员会认识到，在不背离本发明构思的情况下，存在可用于实现在电子装置30与服务器40之间的连接性的多种技术。在一些实施例中，耳机110可直接访问网络网关35。

电子装置30可与服务器通信以交换信息、数据和/或请求。在一些实施例中，电子装置30可与服务器40共享耳机110所提供的数据。在一些实施例中，如本文进一步讨论的，电子装置30可从服务器40检索可被发送至耳机110以便进行分摊和/或增强的指令和/或数据。在一些实施例中，电子装置30可向耳机110提供请求/数据以便在其上进行操作，并且可进一步将耳机110响应于该请求/数据所提供的结果数据从电子装置30发送给服务器40。在一些实施例中，可在将耳机110提供给电子装置30的数据提供给服务器40之前，将其与电子装置30所确定的数据(诸如，来自传感器30A-30B的传感器输入)结合。

图22是在一些实施例中包括多个照相机5A-5B的耳机110的示意性表示，这些照相机5A-5B用于利用六个DOF来确定在包括特征80的环境中的位置数据。根据图22，特征80可以处于环境中的固定和/或已知位置，一些或各个传感器5A-5B可看见该位置。传感器接口660可控制传感器5A-5B从作为照相机的传感器捕捉数据，例如图像(或者视频)，该传感器描绘特征80的不同于各个传感器5A-5B的视角87A-87B。这些不同的视角可由传感器接口660用来确定耳机110的位置数据。例如，三个传感器(诸如传感器5A)可通过分析来自特征80的三个视角87A的数据来对特征80的位置进行三角测量。如图22中进一步示出的，特征80还可包括标记器85，该标记器85还可协助传感器接口660对特征80进行定位以及确定位置数据。

图23是在耳机110与独立电子装置30之间的用于确定耳机的位置数据的操作的示意性表示，作为该独立电子装置30所提供的沉浸式体验的一部分。如图23所示，耳机110可通过一个或多个通信信道20A-n连接至独立电子装置30。例如，耳机110可通过蓝牙、WiFi、NFC、和/或USB连接至独立电子装置30，但本发明构思不限于此。在一些实施例中，可同时使用多个通信信道20A-n。根据图23，独立电子装置30可经由通信信道20A-n通过例如用于耳机110的应用程序编程接口(API)向耳机110发送利用六个DOF来确定在环境内的位置数据的请求。该请求可包括用于协助执行该请求的附加数据。请求可被增强功能接收，该增强功能可操作传感器以生成所请求的位置数据或其它请求的服务。然后可将生成的位置数据发送给独立电子装置30，以便用于例如在独立电子装置30上生成显示，作为提供给用户的沉浸式应用程序的一部分。因此，独立电子装置30可利用耳机110中的增强功能和传感器5A-5D来确定用户头部的位置，例如，使得该显示可更能满足用户。此外，可在提供此的同时使独立电子装置30不必确定位置数据。

在另外的实施例中，独立电子装置30可具有自己的传感器并且可提供位置数据的一部分(诸如，经由相关联的加速度计提供的装置的GPS数据和定向数据)，并且因此可向耳机110请求补充位置数据。在这种实施例中，独立电子装置30可发送对补充位置数据的请求，当耳机110返回该补充位置数据时，可将该补充位置数据与独立电子装置30的附加传感器所提供的这部分位置数据结合。0因此，独立电子装置3可提供改进的沉浸式体验(诸如VR或AR沉浸式体验)。

在一些实施例中，独立电子装置30可将这部分位置数据(诸如，经由相关联的加速度计提供的装置的GPS数据和定向数据)从独立电子装置30的传感器提供到耳机110。在这种实施例中，独立电子装置30可向耳机110发送请求以基于独立电子装置30所提供的这部分位置数据和耳机110所确定的位置数据来确定位置。然后，耳机110可以将绝对和/或相对位置提供回独立电子装置30。因此，独立电子装置30可提供性能得以改进的体验，这是因为某些计算被分摊到耳机110。

这些方法可允许在电子装置30与耳机110之间分配计算任务。这种方法的范围可以是：从简单地将所选任务分摊到耳机110，到将应用程序托管在耳机110上(经由电子装置30中的用户界面来访问该应用程序)。

在另一些实施例中，独立电子装置30可使用耳机110的增强功能来执行文本到音频的翻译(即，生成与所提供的文本对应的口头音频)。在这种实施例中，除了请求之外，独立电子装置30还可将文本数据发送给增强功能(作为电子书阅读器应用程序的一部分)。在操作中，文本数据可由增强功能接收，以便转换成供用户通过耳机110的听筒收听的音频。例如，用户可选择电子书阅读器应用程序中的选项来播放与电子书的书面文本对应的音频输出。将文本数据发送给增强功能以便转换成音频，因此，这使得电子书阅读器应用程序不必将文本转换成音频。再进一步地，发送给耳机110的数据可指定音频播放的特点，诸如口音、性别、或音频的标识(诸如与名人相关联的语音特点)。在一些实施例中，可将这些特点存储在耳机110中，使得耳机110的用户可按照持久的方式定制他们的体验，而不用考虑提供文本的装置。

在根据本发明的另一些实施例中，可使用设置在移动装置130上的或经由SDK嵌入在耳机110自身中的应用程序来控制耳机110。图24图示了在操作环境内根据本发明构思的耳机110的实施例。如图24所示，耳机110可通过一个或多个通信路径20A-n通信地耦接至电子装置30(有时称为移动装置130)。通信路径20A-n可包括：例如，WiFi、USB、IEEE 1394、无线电，虽然本发明构思不限于此。可同时使用通信路径20A-n，并且，在一些实施例中，可彼此协作地使用通信路径20A-n。耳机110可与独立电子装置30交换数据和/或请求。

如图24所示并且如本文讨论的，耳机110可通信地耦接至一个或多个传感器5A-5D。传感器5A-5D可与耳机110一体形成、附接到耳机110、或者与耳机110分开。相似地，独立电子装置30可通信地耦接至独立电子装置30，诸如图24中示出的传感器30A-B。传感器30A-30B可与电子装置30一体形成、附接至电子装置30、或者与电子装置30分开。

电子装置30可通过网络125进一步与外部服务器40通信。在一些实施例中，网络125可以是大型网络，诸如更常称为互联网的全球网络。电子装置30可通过中间网关(诸如网络网关35)连接至网络123。电子装置可通过各种方式连接至网络网关。例如，网络网关35可以是基于无线电的电信网关，诸如基站，并且电子装置30可经由无线电通信(诸如，在蜂窝电话网络中常用的无线电通信)与网络网关35通信。在一些实施例中，网络网关35可以是网络接入点，并且电子装置30可经由无线网络(“WiFi”)与网络网关35通信。网络网关35还可经由与在电子装置30与网络网关35之间使用的通信方法相似或不同的通信方法来与网络125通信。本文描述的通信路径不旨在是限制性的。本领域的技术人员会认识到，在不背离本发明构思的情况下，存在可用于实现在电子装置30与服务器40之间的连接性的多种技术。

电子装置30可与服务器通信以交换信息、数据和/或请求。在一些实施例中，电子装置30可与服务器40共享耳机110所提供的数据。在一些实施例中，如本文进一步讨论的，电子装置30可从服务器40检索可被发送至耳机110以便进行分摊和/或增强的指令和/或数据。在一些实施例中，电子装置30可向耳机110提供请求/数据以便在其上进行操作，并且可进一步将耳机110响应于该请求/数据所提供的结果数据从电子装置30发送给服务器40。在一些实施例中，可在将耳机110提供给电子装置30的数据提供给服务器40之前，将其与电子装置30所确定的数据(诸如，来自传感器30A-30B的传感器输入)结合。

在一些实施例中，传感器5A-5D和30A-30B可以是照相机、摄像机、麦克风、和/或位置检测器。耳机110还可具有操作控制7，这些操作控制7可被发送给电子装置30。操作控制7可与在电子装置30上运行的应用程序交互以便控制耳机110的操作。

在一些实施例中，电子装置30可通信地耦接至连接的装置34。连接的装置可以是支持在电子装置30的操作环境中运行的相关联的app的任何连接的装置。在一些实施例中，传感器5A-5D和/或30A-30B中的一个或多个可与连接的装置34相关联。

图25图示了用于连接的音频装置的跨平台应用程序编程接口的实施例。如图25所示，电子装置30可允许装置操作***。在一些实施例中，该装置操作***可以是便携式装置操作***，诸如iOS或Android。

在装置操作***内，可执行耳机应用程序。耳机应用程序可经由电子装置30通信地连接至耳机110。虽然在图中图示为耳机110和耳机应用程序，但应理解，本发明构思可适用于任何连接的可穿戴装置。

在耳机应用程序的操作环境内，可能存在传感器数据处理器。传感器数据处理器可与耳机110和/或连接的装置34上的传感器通信。传感器数据处理器可操作以将来自传感器的数据提供给第三方应用程序。例如，传感器数据处理器可将来自耦接至耳机110的照相机的视频流提供给第三方应用程序(例如Facebook Live)，以便该第三方应用程序进行进一步的处理。

如图25所示，在本发明构思的实施例中，与第三方应用程序的集成可经由耦接至传感器数据处理器的API框架来实现。第三方应用程序可提供相应的第三方小程序，这些第三方小程序配置为在耳机应用程序内执行。第三方小程序可静态地或动态地链接至耳机应用程序。

第三方小程序可配置为经由API框架发送和/或接收来自传感器数据处理器的数据。API框架可以是可通过其在第三方小程序与传感器数据处理器之间交换数据的所有功能的完整实现。第三方小程序中的单个第三方小程序可实施在API框架内定义的一些或所有功能。

API框架的部分可支持具体类别的装置和/或装置实施方式。例如，API框架可限定类别，诸如AUDIO装置和/或VIDEO装置。第三方小程序可实施提供给通用装置的命令和/或可实施专用于其实施的定制命令。

如图25所示，第三方小程序又可直接与它们各自的第三方应用程序通信。第三方应用程序还可在装置操作***内执行。在一些实施例中，第三方应用程序可与另外的外部连接的装置通信。

通过与第三方应用程序集成，耳机应用程序可在耳机110与其它外部装置和/或功能之间提供连接式功能性。例如，视觉障碍者在过马路时可使用耳机110上的摄像机来接收辅助视觉。可将来自耳机110上的摄像机的视频提供给电子装置30上的第三方应用程序以分析视频流。摄像机可用作眼睛并且然后可听得到地向耳机110的佩戴者给出安全的命令。

在另一示例中，用户可观看商店中的产品，并且耳机110上的摄像机会捕捉用户看到的事物的视频并且将该视频提供给第三方应用程序。第三方应用程序可基于用户偏好提供针对性的销售信息，共享产品信息、最优价格、评价，并且提供现在购买的能力。

在另一示例中，团队在观看其计算机屏幕、施工现场、时装秀、医疗展、演唱会等时，可经由耳机110上的照相机针对其正在进行的工作进行共享和合作。耳机110可能已经从技术上增强有第三方应用程序以帮助团队更高效地在群聊、联网音频对话、实况音频和视频流传送或者云等方面进行合作。

耳机110可包括跨平台SDK，该跨平台SDK允许用户与第三方应用程序交互，这种第三方应用程序包括人工智能平台，诸如，例如，Siri、Cortana、Google Voice、Watson等。

在一些实施例中，耳机110可以是可远程更新的，并且可学习用户行为并且可利用机器学习和机器人集成来继续提高用户体验。

当耳机110包括照相机和/或摄像机时，用户可拍摄他们看到的任何事物的图片或视频，不仅仅是他们在电子装置30的屏幕上看到的事物。耳机110可将内容直接发送给电子装置30、云、或通过流传送音频和视频到外部平台和/或应用程序，诸如Facebook Live、Youtube Live、Periscope、Snapchat等。

图26图示了用于连接的音频装置的跨平台应用程序编程接口的另一实施例。

图26的实施例与图25所示的实施例的相似之处在于它们在电子装置30上的装置操作***中执行的耳机应用程序内都包括传感器数据处理器和API框架。

然而，在图26所示的实施例中，第三方应用程序可直接与API框架通信，而不要求耳机应用程序内存在第三方小程序。换言之，在无预先存在的第三方小程序的情况下，第三方应用程序可动态地访问API框架的功能性。例如，API框架可作为处理从第三方应用程序发送来的请求的客户端-服务器框架提供。

如图26所示，耳机应用程序可识别装置操作***内的第三方应用程序的存在，该第三方应用程序不具有与耳机应用程序的当前连接。在一些实施例中，未连接的第三方应用程序可表示新添加的连接装置。响应于该检测，耳机应用程序可发起与第三方应用程序的通信和/或提醒用户执行动作来集成第三方应用程序。与第三方应用程序的通信可通过API框架进行。

应理解，在耳机应用程序与第三方应用程序中的相应第三方应用程序之间的通信可以是单向的或双向的，并且可由耳机应用程序或第三方应用程序发起。

本领域的技术人员应理解，图25和图26中的实施例可组合成利用相对于图26描述的客户端-服务器框架以及图25中的静态/动态链接的第三方小程序的实施例。

图27图示了在操作环境内根据本发明构思的智能遥控器100的实施例，该智能遥控器100可与本文描述的耳机110一起使用。应理解，本文描述的耳机110提供的输入还可提供智能遥控器的功能，使得在不具有智能遥控器110的情况下，仅仅通过使用耳机110，也能进行本文描述的***和操作。如图27所示，智能遥控器100可通过一个或多个通信路径200A-n通信地耦接至电子装置30。在一些实施例中，智能遥控器100可在物理上与电子装置30分开。通信路径200A-n可包括：例如，WiFi、USB、IEEE 1394、蓝牙、蓝牙低能量、电气布线、和/或各种形式的无线电，然而本发明构思不限于此。可同时使用通信路径200A-n，并且，在一些实施例中，可彼此协作地使用通信路径200A-n。智能遥控器100可与电子装置30交换数据和/或请求。

如图1所示，电子装置30另外可经由通信路径20A-n连接至耳机10。通信路径20A-n可包括：例如，WiFi、USB、IEEE 1394、蓝牙、蓝牙低能量、电气布线、和/或各种形式的无线电，虽然本发明构思不限于此。可同时使用通信路径20A-n，并且，在一些实施例中，可彼此协作地使用通信路径20A-n。耳机10可与电子装置30交换数据和/或请求。

电子装置30可通过网络125与外部服务器40进一步通信。在一些实施例中，网络125可以是大型网络，诸如更常称为互联网的全球网络。电子装置30可通过中间网关(诸如网络网关35)连接至网络125。电子装置30可通过各种方式连接至网络网关35。例如，网络网关35可以是基于无线电的电信网关，诸如基站，并且电子装置30可经由无线电通信(诸如，在移动电话网络中常用的无线电通信)与网络网关35通信。在一些实施例中，网络网关35可以是网络接入点，并且电子装置30可经由无线网络(“WiFi”)与网络网关35通信。网络网关35还可经由与在电子装置30与网络网关35之间使用的通信方法相似或不同的通信方法来与网络125通信。本文描述的通信路径不旨在是限制性的。本领域的技术人员会认识到，在不背离本发明构思的情况下，存在可用于实现在电子装置30与服务器40之间的连接性的多种技术。

电子装置30可与服务器通信以交换信息、数据和/或请求。在一些实施例中，电子装置30可与服务器40共享智能遥控器100和/或耳机10所提供的数据。在一些实施例中，如本文进一步讨论的，电子装置30可响应于从智能遥控器100接收到的输入从服务器40检索指令和/或数据。

在一些实施例中，电子装置30可通信地耦接至连接的装置34。连接的装置34可以是支持在电子装置30的操作环境中运行的相关联应用程序的任何连接的装置。在一些实施例中，如本文进一步描述的，电子装置30可响应于从智能遥控器100接收到的输入来交换数据和/或控制连接的装置34。虽然图示为通过网络网关35连接至连接的装置34，但该图示不旨在是限制性的。在一些实施例中，电子装置30可经由如相对于通信路径200A-n和20A-n描述的相似通信路径直接连接至连接的装置34。例如，在电子装置30与连接的装置34之间的路径可包括：例如，WiFi、USB、IEEE 1394、蓝牙、蓝牙低能量、电气布线、和/或各种形式的无线电，然而本发明构思不限于此。

通信路径20A-n可以是与通信路径200A-n不同的通信路径。换言之，在一些实施例中，电子装置30可经由与耳机10、连接的装置34、和/或服务器40不同的通信路径与智能遥控器100通信。在一些实施例中，电子装置30可经由与耳机10、连接的装置34、和/或服务器40基本上相似的通信路径与智能遥控器100通信。

在一些实施例中，可将从智能遥控器100接收到的输入发送给电子装置30。智能遥控器100所提供的输入可用于与在电子装置30上运行的应用程序交互，以便控制耳机10、服务器40和/或连接的装置34的操作。

通过改变在电子装置30的操作环境内运行的应用程序的操作，可利用智能遥控器100来控制连接至电子装置30的装置，如本文所描述。

图28A图示了高级框图，示出了控制装置(诸如本文描述的智能遥控器100)的示例架构，该控制装置可实施本文描述的操作。应理解，在一些实施例中，耳机110可提供智能遥控器100的功能。智能遥控器100可包括都耦接至互连630的一个或多个处理器610以及存储器620。互连630可以是一种抽象概念，其代表任何一条或多条分开的物理总线、点到点连接、或者通过恰当的桥、适配器或控制器连接在一起的物理总线和点到点连接。因此，互连630可包括：例如，***总线、***组件互连(PCI)总线或PCI-Express总线、超传输或工业标准架构(ISA)总线、小型计算机***接口(SCSI)总线、通用串行总线(USB)、IIC(12C)总线、或者电气与电子工程师协会(IEEE)标准1394总线(也称为“火线”)。

处理器610可控制智能遥控器100的总体操作。如本文描述的，一个或多个处理器610可配置为对提供给智能遥控器100的输入进行响应并且将该输入传输至电子装置30。在某些实施例中，处理器610通过执行存储在存储器620中的软件或固件来实现这一点。处理器610可以是，或者可以包括，一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、可信平台模块(TPM)、或者这种或相似装置的组合。

存储器620是或者包括智能遥控器100的主存储器。存储器620表示任何形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等、或者这种装置的组合。使用时，存储器620可以包含代码670，该代码670包含根据本文公开的技术的指令。

同样，网络适配器640可通过互连630连接至处理器610。网络适配器640可向智能遥控器110提供通过网络与远程装置通信(包括电子装置30)的能力并且可以是，例如，以太网适配器、蓝牙适配器等。网络适配器640还可以向智能遥控器110提供与其它计算机通信的能力。

存储在存储器620中的代码670可作为软件和/或固件实施，以对处理器610进行编程来进行上文描述的动作。在某些实施例中，通过智能遥控器100(例如，经由网络适配器640)从远程***下载这种软件或固件，可首先将这种软件或固件提供给智能遥控器100。虽然被引用为单个网络适配器640，但应理解，智能遥控器100可包含多个网络适配器640，这些网络适配器640可用于通过多种类型的网络进行通信。

还可通过互连630将一个或多个输入装置660连接至处理器610。输入装置660可接收来自耦接至智能遥控器100的一个或多个传感器的输入。例如，输入装置660可包括触摸传感器和/或按钮。虽然被图示为单个元件，但智能遥控器100可包括多个输入装置660。输入装置660可经由互连630与存储器620、处理器610、和/或网络适配器640通信以存储、分析和/或将输入装置660接收到的输入传送到智能遥控器100、电子装置30、和/或另一装置。

图28B图示了高级框图，示出了电子装置(诸如本文描述的电子装置30)的示例架构，该电子装置可实施上本文描述的操作。电子装置30可包括都耦接至互连730的一个或多个处理器710以及存储器720。互连730可以是一种抽象概念，其代表任何一条或多条分开的物理总线、点到点连接、或者通过恰当的桥、适配器或控制器连接在一起的物理总线和点到点连接。因此，互连730可包括：例如，***总线、***组件互连(PCI)总线或PCI-Express总线、超传输或工业标准架构(ISA)总线、小型计算机***接口(SCSI)总线、通用串行总线(USB)、IIC(12C)总线、或者电气与电子工程师协会(IEEE)标准1394总线(也称为“火线”)。

处理器710可控制电子装置30的总体操作。如本文描述的，一个或多个处理器710可配置为接收从智能遥控器100提供的输入并且响应于该输入执行普通应用程序编程接口(API)框架的操作。在某些实施例中，处理器710通过执行存储在存储器720中的软件或固件来实现这一点。处理器710可以是，或者可以包括，一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、可信平台模块(TPM)、或者这种或相似装置的组合。

存储器720是或者包括电子装置30的主存储器。存储器720表示任何形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等、或者这种装置的组合。使用时，存储器720可以包含代码770，该代码770包含根据本文公开的技术的指令。

还通过互连730连接至处理器710的是网络适配器740。网络适配器740可向电子装置30提供通过网络与远程装置(包括智能遥控器100、连接的装置34(见图1)和/或服务器40(见图1))通信的能力并且可以包括：例如，以太网适配器、蓝牙适配器等。网络适配器740还可以向电子装置30提供与其它计算机通信的能力。

存储在存储器720中的代码770可作为软件和/或固件实施，以对处理器710进行编程来进行上文描述的动作。在某些实施例中，通过(例如，经由网络适配器740)从远程***下载这种软件或固件，可首先将这种软件或固件提供给电子装置30。

一个或多个海量存储装置750同样可选地经由互连730连接至处理器710。海量存储装置750可包含用于加载到存储器720中的代码770。海量存储装置750还可包含用于存储与电子装置30和/或智能遥控器100的操作有关的配置信息的数据储存库。换言之，海量存储装置750可保持用于配置和/或操作智能遥控器100的数据。可经由，例如，网络适配器740将该数据存储在电子装置30的海量存储装置750中并且传送给智能遥控器100。

还应理解，耳机110可接收来自智能遥控器100的输入，以便使用上面描述的跨平台SDK与连接的装置交互。

远程控制应用程序可包括跨平台SDK，该跨平台SDK允许用户与第三方应用程序交互，这种第三方应用程序包括人工智能平台，诸如，例如，Siri、Cortana、Google Voice、Watson等。在一些实施例中，远程控制应用程序可包括软件开发包(SDK)来促进开发和/或与远程控制应用程序的API的交互。

图29图示了能够从智能遥控器100接收电子装置30处的输入以便与连接的装置交互的跨平台API的另一实施例。

在一些实施例中，第三方应用程序可与API框架直接通信，而不要求远程控制应用程序内存在第三方小程序。换言之，在无预先存在的第三方小程序的情况下，第三方应用程序可动态地访问API框架的功能性。例如，API框架可作为处理从第三方应用程序发送来的请求的客户端-服务器框架提供。

远程控制应用程序可识别在装置操作***内的第三方应用程序的存在，该第三方应用程序不具有与远程控制应用程序的当前连接。在一些实施例中，未连接的第三方应用程序可表示新添加的连接装置。响应于该检测，远程控制应用程序可发起与第三方应用程序的通信和/或提醒用户执行动作来集成第三方应用程序。与第三方应用程序的通信可通过API框架进行。

应理解，在远程控制应用程序与第三方应用程序中的相应第三方应用程序之间的通信可以是单向的或双向的，并且可由远程控制应用程序或第三方应用程序发起。

图29图示了将在智能遥控器100处提供的输入提供给电子装置30以便操作与电子装置30通信的另一些装置(诸如，耳机10、连接的装置34、和/或服务器40)的实施例。

如图29所示，智能遥控器100可具有输入传感器107。在一些实施例中，输入传感器107可以是触敏控制，诸如电容式和/或电阻式传感器。在一些实施例中，输入传感器107可检测用户在输入传感器107上的触摸。在一些实施例中，输入传感器107可以是能够感测接近(但不一定是触摸)触摸传感器107提供的输入的接近传感器。在一些实施例中，输入传感器107可以是一个或多个按钮。在一些实施例中，当耳机110用作遥控器时，输入传感器107可以是摄像机或麦克风。

在一些实施例中，输入传感器107可配置为检测用户在输入传感器107上或附近的单次触摸。在一些实施例中，输入传感器107可配置为检测“滑动”，包括跨越或在输入传感器107附近的一系列连续的接触。在一些实施例中，输入传感器107可配置为检测一系列触摸和/或移动(包括手势)。在标题为“Interactive Input Device”的美国专利申请14/751,952中描述了用于检测包括触摸和手势的用户输入的***和方法，其全部内容通过引用包括在本文中。

如图29中进一步图示的，可将从输入传感器107接收的输入提供给电子装置30。在接收到输入时，电子装置30可确定该输入会用于控制另外的装置。在一些实施例中，该另外的装置可以是连接的装置34、外部服务器40、和/或耳机10，然而本发明构思不限于此。应理解，虽然在图4中仅图示了连接的装置34、外部服务器40、和耳机10的单个示例，但电子装置30能够访问的装置的数量不限于此。例如，在一些实施例中，电子装置可能能够响应于输入数据同时控制多个连接的装置34。

如本文使用的，电子装置30可以以多种方式控制另外的装置，诸如连接的装置34、外部服务器40、和/或耳机10。在一些实施例中，控制装置30可处理来自输入传感器107的输入数据并且作为响应，操作第三方应用程序的部分。在一些实施例中，电子装置30可将来自输入传感器107的输入数据传递至第三方应用程序，以供第三方应用程序处理。在一些实施例中，电子装置30可将输入数据直接传递至另外的装置，诸如连接的装置34、外部服务器40、和/或耳机10。

在一些实施例中，电子装置30可基于数据存储库的内容确定哪个另外的装置和/或第三方应用程序提供该输入。在一些实施例中，数据存储库可包含配置数据和偏好数据。电子装置30首先可分析输入并且然后，基于配置数据和/或偏好数据，将输入提供给第三方应用程序和/或另外的装置，诸如连接的装置34、外部服务器40、和/或耳机10。

虽然第三方应用程序可与另外的装置通信，诸如连接的装置34、外部服务器40、和/或耳机10，但应理解，并非所有的输入数据都必须传送至另外的装置。在一些实施例中，可将从输入传感器107提供的输入数据传送至控制电子装置30的操作的第三方应用程序。例如，第三方应用程序可控制电子装置30的音量。

配置数据可指示：基于提供的输入的类型，应该将某些输入提供给特定第三方应用程序和/或另外的装置。例如，配置数据可指示：如果接收到特定输入，则应该将该输入提供给特定第三方应用程序。例如，配置数据可指示：输入传感器107的垂直滑动是要将当前播放的音乐曲目提前。在接收到来自输入传感器107的这种输入时，电子装置30可向第三方应用程序指示播放已经接收到曲目提前命令的音乐。用于播放音乐的第三方应用程序可前进到不同的音乐曲目并且将新的音乐曲目发送给耳机10。

作为另一示例，配置数据可指示：在输入传感器107处接收到的复杂s形手势是要与外部服务器40共享一条特定的数据。在接收到来自输入传感器107的这种输入时，电子装置30可向第三方应用程序指示共享要向外部服务器40发送消息的数据。用于共享数据的第三方应用程序可将该消息发送给外部服务器40并且外部服务器40可处理该消息。该手势也可由耳机110上的摄像机识别。

作为另一示例，配置数据可指示：在输入传感器107处接收到的形状像向上箭头的手势是要提高连接的装置34(包括联网的恒温器)的温度。在接收到来自输入传感器107的这种输入时，电子装置30可以向控制所连接的装置34的第三方应用指示需要温度改变。控制所连接的装置34的第三方可发送恰当的通信(可专用于连接的装置34)，来提高当前的温度。

配置数据还可指示电子装置30可确定哪个第三方应用程序和/或另外的装置要响应于来自输入传感器107的输入数据而接收通信的另外方式。

例如，在一些实施例中，将响应于来自输入传感器107的输入数据而接收通信的第三方应用程序和/或装置取决于哪个外部装置与电子装置30通信。例如，如果检测到耳机10连接至电子装置30，则可将特定的向上箭头手势与噪声消除的发起相关联。如果连接的装置34与电子装置30通信，那么，如果未检测到耳机10，则可将向上箭头手势与连接的装置34(诸如联网的恒温器)的温升相关联。如果耳机10和连接的装置34都不与电子装置30通信，那么可将向上箭头手势与增加电子装置30的音量相关联。电子装置30可动态地改变响应于来自输入传感器107的输入数据、响应于电子装置30上变化的条件要执行哪些操作。

在一些实施例中，响应于来自输入传感器107的输入数据接收通信的第三方应用程序和/或装置可取决于哪个第三方应用程序当前正在电子装置30上操作，而与任何连接的装置无关。例如，如果第三方音乐应用程序正在运行，则可将作为来自输入传感器的输入接收到的向前滑动手势提供给音乐应用程序以提前音乐曲目，并且，如果通话当前正在电子装置30上进行，则将其提供给电话应用程序以终止当前通话。

在一些实施例中，响应于来自输入传感器107的输入数据接收通信的第三方应用程序和/或装置可取决于电子装置30的位置。在一些实施例中，电子装置30可包括配置用于确定电子装置30的位置的功能性。例如，电子装置30可具有能够确定当前位置的GPS传感器或其它电路。电子装置30可使用该当前位置来进一步区分哪个第三方应用程序可接收与从输入传感器107提供的输入对应的数据。例如，如果电子装置30确定电子装置30当前位于电子装置30的用户的家中，则电子装置30可确定要将从输入传感器107接收到的特定手势提供给与连接的装置34(包括恒温器)相关联的第三方应用程序。如果电子装置30确定电子装置30当前离电子装置30的用户的家较远，则电子装置30可确定要丢弃从输入传感器107接收到的特定手势，或者，在一些实施例中，要将从输入传感器107接收到的特定手势提供给与外部服务器40相关联的第三方应用程序。外部服务器40可配置为远程连接至在电子装置30的用户的房子中的恒温器。

在一些实施例中，响应于来自输入传感器107的输入数据接收通信的第三方应用程序和/或装置可取决于确定的电子装置30的速度。在一些实施例中，电子装置30可包括配置用于确定电子装置30的运动和/或速度的功能性。例如，电子装置30可具有能够确定电子装置30的运动的加速度计传感器或其它电路。电子装置30可使用该确定的速度来进一步区分哪个第三方应用程序可接收与从输入传感器107提供的输入对应的数据。在一些实施例中，如果电子装置30确定电子装置30当前正以大于特定阈值的速度移动，则电子装置30可确定要优先将从输入传感器107接收到的特定手势提供给与车辆的操作相关联的第三方应用程序。例如，如果在快速移动，则可优先将被解释为向上箭头的手势提供给与增加汽车声音***的音量相关联的第三方应用程序。如果电子装置30确定电子装置30当前正以低于特定阈值的速度移动，则电子装置30可确定要优先将从输入传感器107接收到的特定手势提供给与电子装置30和/或其它连接的装置的操作相关联的第三方应用程序。例如，如果未移动或缓慢移动，则可优先将被解释为向上箭头的手势提供给与增加电子装置30和/或连接至电子装置30的耳机10的音量相关联的第三方应用程序。

电子装置30上的偏好数据可指示：基于用户和/或***偏好，应该将某些输入提供给特定第三方应用程序和/或另外的装置。例如，偏好数据可指示：如果电子装置30具有可供发送与来自输入传感器107的输入数据相关联的数据的多个另外的装置和/或第三方应用程序，那么某些目的地具有优先权。偏好数据还可指示手势与电子装置30进行的特定操作的特定映射。在一些实施例中，偏好数据可重写配置数据。

在一些实施例中，偏好数据可被提供为输入数据的一部分。例如，用户在智能遥控器100处提供的输入数据可包括两个部分：识别特定装置和/或第三方应用程序的第一部分、以及识别要转发至该应用程序的附加输入的第二部分。例如，在智能遥控器100的输入传感器107上的第一运动可指示要将下一个输入提供给发文本的第三方应用程序，并且在智能遥控器100的输入传感器107上的第二运动可输入特定命令，诸如发送预先格式化的文本消息，该特定命令被发送给该发文本的第三方应用程序。

在一些实施例中，可为特定用户保持偏好数据。偏好数据可由电子装置30响应于特定智能遥控器100和/或使用智能遥控器100的特定用户的标识来访问。

在一些实施例中，电子装置30可能能够管理多个智能遥控器100，并且可为各个智能遥控器100维持偏好数据。偏好数据可基于与相应智能遥控器100相关联的特定唯一值，在与智能遥控器100的通信期间将该特定唯一值传递给电子装置30。例如，该唯一值可包括智能遥控器100的序列号、和/或智能遥控器100在其中一条通信路径200A-n(见图1)上的地址。在一些实施例中，电子装置30可能能够访问与智能遥控器100相关联的RFID以确定智能遥控器100的唯一标识。

在一些实施例中，智能遥控器100可具有其它输入，这些输入允许将具体的用户标识出来。例如，在一些实施例中，智能遥控器100可具有指纹传感器。指纹传感器可允许智能遥控器100的用户向电子装置100标识他们自己并且访问智能遥控器100的特征。在一些实施例中，电子装置30可使用经由智能遥控器100检索到的指纹来标识智能遥控器100的用户，以便为该用户加载一组特定的偏好数据。在一些实施例中，智能遥控器100的指纹传感器可用作电子装置30的附加标识和/或安全装置。

图30至图34图示了根据本发明构思的智能遥控器100的示例实施例。

如图30所示，智能遥控器100可体现为分开的独立装置。在一些实施例中，输入传感器107可位于智能遥控器100的一侧或两侧。输入传感器107的配置可以不同，这取决于其容纳在智能遥控器100的哪一侧。例如，相对于在智能遥控器100的第二侧上的第二手势，可单独地和/或不同地解释在智能遥控器100的第一侧上的特定手势。

如图30所示的智能遥控器100可包括电池。可经由与智能遥控器100的有线连接和/或无线地对电池充电。

图31图示了智能遥控器100的示例实施例，在该示例实施例中，可包含智能遥控器100作为电话外壳的一部分。在这种实施例中，电子装置30可以是包含在在电话外壳内的电话，但本发明构思不限于此。智能遥控器100可耦接至电话，以便从电话接收电力和/或可具有单独的电池。在一些实施例中，用于为智能遥控器100供电的电池可对电话额外充电。

图32图示了智能遥控器100的示例实施例，在该示例实施例中，包含了智能遥控器100作为一组耳塞。在这种实施例中，智能遥控器100可以与耳塞的线内联或与耳塞的线连接。在一些实施例中，智能遥控器100可以集成到耳塞自身中。在这种实施例中，智能遥控器100可具有单独的电池和/或可通过耳塞的线接收电力。在一些实施例中，智能遥控器100可自动地与耳塞所连接的电子装置30通信，但本发明构思不限于此。耳塞还可具有与耳机100相关联的所有功能，包括热键、生物传感器、和本文描述的所有其它传感器。

图33图示了智能遥控器100的示例实施例，在该示例实施例中，智能遥控器100包含音频插孔。在这种实施例中，智能遥控器100可配置为被***到标准音频插孔中，诸如一些电话上常用的3.5mm耳机插孔，然而本发明构思不限于此。在这种实施例中，智能遥控器100可具有单独的电池和/或可通过音频插孔接收电力。在一些实施例中，智能遥控器100可通过音频插孔自动地与耳塞所连接的电子装置30通信，但本发明构思不限于此。

图34图示了智能遥控器100的示例实施例，在该示例实施例中，智能遥控器100包含DC电连接器。在一些实施例中，DC电连接器可配置为***汽车中的香烟打火机插座中。在这种实施例中，智能遥控器100可具有单独的电池和/或可从DC电连接器接收电力。在一些实施例中，当用在汽车中时，智能遥控器100可自动与附近的电子装置30通信，诸如汽车驾驶者的个人电话，以控制汽车的声音***，但本发明构思不限于此。如图34所示，智能遥控器100可包括枢轴点910以使智能遥控器100的一面倾斜，以方便触及。

图35图示了电子装置30可基于来自智能遥控器100的输入向外部装置提供输入的实施例。

开始于操作1010，电子装置30可接收来自智能遥控器100的输入传感器107的输入。如本文描述的，可通过智能遥控器100与电子装置30之间的通信路径200A-n来传送该输入。

操作可在操作1020中继续，在操作1020中，电子装置30访问数据储存库以标识与从输入传感器107接收到的输入相关联的用户输入模式。如本文描述的，用户输入模式可以是用户在智能遥控器100处执行的手势。

操作可在操作1030中继续，在操作1030中，电子装置30标识第三方应用程序、外部装置、和/或同与用户输入模式对应的外部装置相关联的第三方应用程序。外部装置可以是，例如，连接的装置34、外部服务器40、和/或耳机10，如本文描述的。

操作可在操作1040中继续，在操作1040中，电子装置30将与从智能遥控器100接收到的输入相关联的数据提供给第三方应用程序、外部装置、和/或与外部装置相关联的第三方应用程序。

在根据本发明构思的一些实施例中，本文描述的耳机、方法和***可用于提供配置成例如提供特定解决方案的应用。因此，在本文的图中示出的***、装置和方法可为这些解决方案提供基础的框架。例如，在根据本发明构思的一些实施例中，例如图4所示的使用配套app来流传送实况音频/视频的方法可为特定应用提供基础框架，下文更详细地描述了该基础框架的一些。

然而，应理解，许多***和装置可由图中示出的实施例中的多个实施例支持。例如，在本文描述的***方法和装置使能的特定应用中提供的相同基础操作可由这些图中的多个图的支持。此外，一些流程图可为跨网络发生的特定操作提供支持，而其它图可为所采用的特定装置或网络提供支持。

在根据本发明构思的一些实施例中，本文描述的操作由驻留在耳机110上的本机应用程序进行，该本机应用程序例如在Snap Dragon微处理器上运行，例如如图3和图10所示。在根据本发明构思的另一些实施例中，操作可由驻留在移动装置(诸如智能电话)上的应用程序进行。在根据本发明的又一些实施例中，操作可由跨网络操作多个平台的应用程序的组合进行。在根据本发明的又一些实施例中，应理解，提供给耳机110的输入可经由耳机110上包括的麦克风通过音频命令来提供。因此，可利用耳机110内的本机应用程序或驻留在其它地方的应用程序来翻译音频命令，然后可执行音频命令，作为本文描述的实施例的一部分。

在根据本发明构思的一些实施例中，耳机110可为用户提供实施个人助理的基础平台。在这种实施例中，个人助理可响应有关用户的日历、天气、事件等有关的查询。例如，在根据本发明的一些实施例中，由耳机110(或者与耳机110一起操作的移动装置)实施的个人助理可确定用户安排了即将到来的旅行，包括长途飞行。作为响应，个人助理可下载建议的音频选择播放列表，以便在该飞行期间收听。此外，个人助理可从用户接收有关选择能力或用户对播放列表的反应的反馈。在根据本发明构思的另一些实施例中，个人助理可用于安排所请求的事件，诸如预约医生、自动维修预约等。因此，在这种实施方式中，耳机110可与同时提供用户安排、个人信息、或用于预测需求和期望的其它信息的远程服务器以及用于获取与要支持的事件相关联的信息(诸如，航班时刻表、酒店预订等)的远程服务器一起操作。

在根据本发明构思的一些实施例中，耳机110可支持为特定应用启用呼叫设置或消息设置的应用程序(诸如，为VOIP呼叫或消息设置配置的预加载型本机应用程序)。例如，在根据本发明构思的一些实施例中，用户可说出在一组收件人之间发起电话通话的命令。作为响应，在耳机110或遥控器内操作的应用程序可通过访问用户的联系人列表以确定个人(包括，或者在根据本发明构思的一些实施例中，用特定组(即，诸如工程组)标识的个人)的联系号码来设置与该组的通话。因此，当用户说出命令“呼叫工程组”时，耳机110可利用在其上操作的应用程序来设置与工程团队中通过使用与队员相关联的号码在用户的联系人列表中识别到的队员的通话。在根据本发明构思的一些实施例中，除了语音之外，还可通过发消息来提供相同的基本功能性。再进一步地，可将这些通话形成日志、记录下来、以及在内容上编入索引。在一些实施例中，可将通话翻译成特定组员所偏好的其它语言。

在根据本发明构思的一些实施例中，可将利用本机应用程序或远程支持的应用传感器的耳机110包括在耳机110中以监测用户的生物功能(诸如心率、血压、氧水平、移动等)。再进一步地，除了经由戴在耳朵上方或者戴在耳朵上的耳机之外，还可经由入耳式耳机来提供相同的基本操作。在这种实施例中，入耳式耳机可支持相同的基本功能(诸如热键、电容式表面、上面描述的生物传感器等)。也可利用其它传感器。在根据本发明构思的一些实施例中，耳塞/耳机110可包括本机应用程序，该本机应用程序向用户提供冥想训练或记录用户的身体部分的移动或活动的分析，然后该分析被反馈给用户以备后续使用。

在根据本发明构思的一些实施例中，耳机110可支持教育环境，在该教育环境中，用户/学生可访问远程应用程序或嵌入式应用程序，诸如Rosetta Stone，其中，用户可通过耳机110和远程服务器进行语音交互来学习外语。因此，当用户正在学习外语时，可经由耳机110从远程服务器向用户提供外语提示或课程，因此，用户可在课程期间提供音频响应，然后这些音频响应被转发至嵌入耳机110中的本机应用程序或支持该应用程序的远程服务器。在一些实施例中，可使用照相机来实况流传送用户正在进行的阅读指导，在该阅读指导中，远程服务器使用流传送的视频来监测学生的进度并且在需要的时候纠正学生。

在根据本发明构思的一些实施例中，可利用这些相同的布置来支持协作学习的一组学生。在这种实施例中，单个用户可能能够与所选择的其它单个用户交互以针对课程中的特定兴趣点进行协作。再进一步地，教师和指导者可能能够选择性地仅与需要特定协助的一组学生交互，而剩余的学生可继续该课程。因此，可跨多个耳机提供这种实施方式，这些耳机与服务器通信并且分别进行去往/来自耳机110的传送以提供作为教育环境的一部分的音频指令以及来自学生的音频响应。进一步地，还可经由耳机110的触敏表面以及经由语音输入来提供输入。在根据本发明构思的一些实施例中，教育环境还可包括实现对来自学生的视频的实况流传送(诸如，在实验室或实验期间)，使得指导者可在课程期间监测他们的进度或纠正错误。在根据本发明构思的一些实施例中，可将实况流传送存储下来，以供指导者或希望在该事实之后回顾课程的学生将来参考。

在根据本发明构思的一些实施例中，耳机110可用于提供远程存在，通过该远程存在，用户能充当远程行动者的本地观察员，远程行动者能为本地用户提供佩戴耳机110的指导(经由音频)。例如，在根据本发明构思的一些实施例中，可将实况视频流传送提供给远程行动者，因此可将音频指令提供给本地用户，然后本地用户可根据远程行动者给出的指令行动。例如，在远程医疗应用程序中，本地用户可在远程医师的指导下行动，以检查患者的生理的某些方面或症状。还应理解，可使用本机应用程序来处理图像(包括有症状的区域)并且访问相关的数据库或储存库来将该图像与已知状况匹配。再进一步地，可使用语音来缩放流传送的视频或使用电容式触摸表面来触摸输入流传送的视频。

因此，在根据本发明的一些实施例中，可将耳机110链接至人工智能，该人工智能配置为将特定可视症状与可远程地向佩戴者建议的特定状况相关联。在听到特定状况的建议后，可指导用户将照相机对准身体的不同部分以收集另外的信息或者向用户播放指示有可能出现的状况(例如，水痘)的音频信号，该音频信号又可生成从耳机110到专攻该特定状况的远程医疗注册医生的消息。

在根据本发明构思的一些实施例中，远程专家可指导需要进行某一过程或组装的本地用户，如果没有远程行动者的指导，该过程或组装会容易出错或太漫长。例如，在根据本发明构思的一些实施例中，远程技术人员可协助本地用户设置计算机***或解决软件问题。

图37是包括本文描述的耳机110的远程医疗***3700的示意性表示。图37还图示了：在根据本发明的一些实施例中，耳机110无线耦接至***3715，该***3715可提供人工智能服务，该人工智能服务配置为处理耳机110提供的图像和/或音频以基于图像数据和/或音频数据确定对象3750的可能诊断。应理解，耳机110可包括多个摄像机，各个摄像机可采样并且生成实况视频流，可经由无线连接3720将该实况视频流提供给***3715。还应理解，耳机110可包括多个麦克风，这些麦克风配置为接收音频信号3705，然后可经由无线连接3720将这些音频信号3705流传送至***3715。无线连接3720可以是本文描述的任何类型的无线接口。

耳机110还可包括为佩戴者生成音频3725的内部扬声器。在根据本发明的一些实施例中，在操作中，耳机110可由本地用户佩戴以支持在远程医疗***3700中的操作。例如，本地用户可以是协助进行对象3750的检查并且在远程用户3735(诸如医生或其它医学人士)的指导下行动的第三方。在根据本发明的其它实施例中，本地用户可以是正在检查对象3750或执行手术的医生。例如，在执行对象3750的检查时，医生可利用耳机110来采样实况视频(或静态图像)和音频3705以便存储在远程***3740(诸如，可存储医学记录或保险数据的***)上。在根据本发明的另一些实施例中，医生可利用耳机110记录由医生做出的诊断，该诊断又被发送给***3740以便存储在***3740上。在一些实施例中，可在手术过程期间生成实况视频(或静态图像)和音频3705，该手术过程可被存储。

在根据本发明的其它实施例中，本地用户可以是通过收听由远程用户3735提供的音频信号3725而在远程用户3735的指导下采用耳机110的第三方。例如，在根据本发明的一些实施例中，远程用户3735可指导本地用户在某个方向上平移，使得解剖结构的特定部分被视频3710记录下来。在根据本发明的另一些实施例中，远程用户3735可将问题中继至本地用户，这些问题可向对象3750重复。可经由音频信号3705将来自对象3750的响应中继至远程用户3735或经由麦克风直接提供。再进一步地，本地用户可在远程用户3735的控制下操作的同时提供对对象3750的附加评论。在根据本发明的这种实施例中，经由耳机110提供的所有数据都可记录在***3740上。再进一步地，还可将数据提供给由远程用户3735访问的***3730。远程用户3735可利用***3730以基于耳机110提供的数据来协助诊断。在根据本发明的另一些实施例中，图37中示出的各个***可经由本文描述的SDK或API接口连接至耳机110。还应理解，***3740可包括将音频数据翻译成文本以由***3740存储的一部分或前端。

在根据本发明的又一些实施例中，本地用户可以是可使用耳机110执行自我检查的对象3750。在根据本发明的这种实施例中，对象3750可充当上面描述的第三方以向远程用户3735提供信息并且可经由音频3725在远程用户3735的指导下操作以便，例如，将视频3710引导至感兴趣的区域并且将音频反馈3705提供给远程用户3735或***3715。

在根据本发明的一些实施例中，***3715可基于从耳机110提供的音频和/或视频提供对象3750的诊断。例如，***3715可访问存储与特定状况相关联的图像和症状的储存库的多个中间数据库和/或医疗专家***。***3715可利用这些远程***来确定通过耳机110观察到的状况的可能诊断。在根据本发明的又一些实施例中，***3715可在自主模式下操作以向本地用户提供反馈，诸如与视频和/或音频呈现的症状相关联的可能诊断。例如，在根据本发明的一些实施例中，***3715可从耳机110接收指示对象3750的状况的音频和/或视频，因此***3715访问远程***以确定针对所呈现的症状最可能的诊断。

一旦***3715确定了最可能的诊断，则可将音频反馈提供给耳机110，使得本地用户能基于***3715提供的反馈确定最佳的行动方案。例如，如果来自***3715的反馈是特定状况，则***3715可向本地用户呈现有关如何进行的多种选项，诸如拨打专攻与该很可能的诊断最密切关联的领域的医生、采取另外的步骤来调查该状况、呼叫本地急救服务、或者请求有关对象3750的另一些信息。

还应理解，***3715可包括提供对去往/来自耳机110的音频进行翻译的组件，使得现有的3715可支持本地用户，而部考虑该本地用户所说的母语。因此，当本地用户对着***3715说话时，***识别本地用户的母语并且将输入耳机110的音频信息翻译成本地用户的母语。

在根据本发明的一些实施例中，视频3710可用于识别可能与对象3750相关联的特定处方药3755。当通过视频3710对处方药3755采样时，可将视频图像(或静态图像)提供给***3715，因此可访问远程***以可能与对象3750的状况相关联的处方药3755的可能的副作用。再进一步地，如果多种处方药3755与对象3750相关联，***3715可(例如，基于实况视频)确定在处方药3755之间是否已经发生了潜在的相互作用。可通过音频3725将该确定提供给本地用户。再进一步地，***3715可向本地用户提供附加指令以采集有关处方药3755的信息或者询问对象3750有关处方药3755的使用的附加信息。

在根据本发明的又一些实施例中，远程用户3735可包括多个远程用户3735，在这些远程用户3735之中存在具有与对象3750可能呈现出来的特定状况相关联的特定背景知识的专家。因此，当特定远程用户3735确定对象3750的状况可能与特定状况相关联时，远程用户3735可向专攻与对象3750的状况最有可能相关联的领域的其它远程用户3735中的一个远程用户提起对象3750的治疗。再进一步地，本地用户3735可向另一远程用户3735征求第二种意见。

在根据本发明的又一些实施例中，视觉障碍者可以结合提供人工智能服务的***3715，使用耳机110在提供自我检查/诊断方面提供协助。例如，在根据本发明的一些实施例中，有视觉障碍的用户可佩戴耳机110并且在镜子中检查他们自己以采样与特定状况相关联的视频。再进一步地，***3715可提供音频信号3725以提醒本地用户(即，有视觉障碍的本地用户)在***3715希望采样的受影响区域的方向上平移视频3710。因此，可将音频信号3725紧密地耦合以向本地用户110提供反馈，使得视频3710充分地对受影响区域采样。在根据本发明的又一些实施例中，耳机110可包括本地传感器，该本地传感器配置为确定戴着耳机110的本地用户的状态(诸如心率、SP02等)。

在根据本发明的又一些实施例中，耳机110可本地地或在远程***3715的控制下产生音频3725以在自主模式下在远程用户3735或***3715的监控下为本地用户110提供定制的听力测试。作为响应，本地用户可向***3715或远程用户3735提供音频反馈以确定听力测试的结果。

在根据本发明的又一些实施例中，充当本地用户的医生可使用视频3710和/或音频3705记录手术过程，然后将该手术过程存储在远程***3740中。在根据本发明的又一些实施例中，可对视频、图像数据、和/或音频数据进行规则地采样并且将其存储在远程***3740上以便在更长一段时间内将它们彼此相比较。因此，本地用户110可周期性地进行自我检查以记录身体的相同区域，然后将它们存储在远程***3740上以便后续访问。在已经采样到足够数据一定时间段之后，***3715可基于所存储的数据所展示出来的渐进变化来提供诊断。在根据本发明的又一些实施例中，***3740可被远程操作者访问以转录由充当本地用户的医生记录的音频数据。例如，在对象3750的检查期间，医生可规定从检查导出的印象，这些印象被存储在***3740上并且随后被远程操作者转录。

图38是在根据本发明的一些实施例中操作地耦接至症状聚集***3805的多个耳机110的示意性表示。如图38所示，***3805可接收和发送信息至可分布在广阔地理区域中的多个耳机110中的每个耳机。例如，在根据本发明的一些实施例中，耳机110通过互联网操作地耦接至***3805并且分别可驻留在不同的地理区域中，包括世界上的不同国家或部分。应进一步理解还应理解，各个耳机110可配置为向***3805提供实况视频和/或音频流传送。再进一步地，在根据本发明的一些实施例中，***3805可远程地实现耳机的实况流传送。换言之，***3805可基于从耳机接收到的数据来确定要启动对耳机中所选择的耳机的实况流传送。

在操作中，***3805可监测来自耳机110的视频/音频流，监控广阔地理区域内普通人群中症状的出现。例如，在根据本发明的一些实施例中，远程用户可在日常活动中戴着耳机110，在这种情况下，***3805接收来自耳机的实况视频和/或音频并且分析该视频和/或音频来检测可能与特定状况(尤其是可交流的状况)相关联的症状。例如，在根据本发明的一些实施例中，***3800可用于监测广阔地理区域内传染病的出现和扩散。此外，来自耳机的实况流传送可用于提早检测到可能受地理限制的某些状况的爆发。例如，如果耳机110A和110B彼此在地理上非常靠近，则***3805可分析来自耳机110A和110B的相应实况流以检测在该区域中的人口是否表现出特定状况的症状。一旦识别到状况，***3805可通知操作者或监控***3735采取补救行动。例如，在根据本发明的一些实施例中，监控***3735可启动耳机110A和110B以提供来自该区域的耳机(即，不限于仅仅是耳机110A和110B)的更恒定的实况流传送。再进一步地，监控***3735可控制***3805更频繁地启用来自该区域中的耳机的实况流传送。

一旦监控***3735或***3805确定在特定区域中可能已经发生了爆发，则可将警告指示符提供给各个地理区域中的耳机110。例如，一旦***3805确定在使用耳机110A和110B的区域中可能已经发生了爆发，***3805可向耳机110A和110B以及地理区域中的任何其它耳机发送音频警告以便采取特定步骤来避免接触或以便接受治疗。

再进一步地，在根据本发明的一些实施例中，耳机110A可包括监测佩戴者的物理参数的传感器，诸如心率传感器、SP02传感器、温度传感器等，然后可将这些物理参数转发给***3805和监控***3735以便响应于可疑的爆发进行进一步处理。还应理解，***3805可耦接至图37所示的***3715、3730和3740，使得可将从图38中的耳机收集到的视频和/或音频归档并且通过人工智能***3715进行处理。并且，在根据本发明的另一些实施例中，人工智能***3715和***3805的功能性可被组合成单个***。

再进一步地，***3805可具有对上面描述且参考了图37的远程***访问的权限以提供对医学数据库的访问，来协助诊断通过耳机110的实况流传送捕捉到的特定状况。进一步应理解的，监控***3735可由能介入控制***3805向耳机110发布特定指令或控制的医生或其它医学专业人士来监测。

在根据本发明构思的一些实施例中，使用本地或远程应用程序的耳机110可支持增强型购物，在该增强型购物中，用户戴着耳机110进入商业零售部同时购买特定产品或仅仅是浏览所有产品。在这种操作中，位于耳机110上的摄像机可用于将实况视频流传送至远程服务器，该远程服务器可用于识别用户看到的特定产品。作为响应，远程应用程序可识别产品，提供与竞争性产品有关的信息(包括价格、性能、物理尺寸、以及这些产品的视图)，使得用户可就哪个产品可能更符合他们的需要做出更明智决定。在根据本发明构思的又一些实施例中，商业零售部或零售店可利用视频流来确定用户更感兴趣的是哪些产品。

在根据本发明构思的一些实施例中，耳机110连同本机或远程应用程序可支持用于视觉障碍者或听觉障碍者的服务。例如，在协助视觉障碍者的实施方式中的环境中，耳机110可将位于其上的照相机用作用户的“一组眼睛”并且可将来自照相机的视频流传送至远程服务器以便进行图像处理，其中，被警告了物体存在的用户可识别到特定物体。例如，在根据本发明构思的一些实施例中，照相机可流传送视频以定位街道上的人行横道并且照相机可进一步用于在提醒佩戴者穿越人行横道之前确定交通是否停止。

在根据本发明构思的又一些实施例中，诸如在音频障碍环境中，耳机110可用于使用上面参照视觉障碍环境描述的相同技术中的一些技术向用户提供触觉反馈。例如，耳机110可让用户使用其上的麦克风提供流传送的音频，以识别物体的存在，这些物体对于用户而言不是显而易见的。再进一步地，耳机110可针对这些物体的存在向用户提供触觉反馈，并且此外，可提供定向格式的触觉反馈，使得用户不仅知晓该存在还知晓物体相对于用户的位置。

在根据本发明构思的一些实施例中，耳机110连同本机或远程应用程序可提供无线支付***。例如，在根据本发明构思的一些实施例中，耳机110可包括NFC和蓝牙接口，该NFC和蓝牙接口可用于响应于例如在电容式触摸表面上的语音命令或触摸命令进行无线支付。

在根据本发明构思的一些实施例中，耳机110连同本机应用程序和/或远程应用程序可用于提供运动受控制的游戏环境，在该环境中，例如，耳机照相机用于追踪位于游戏环境中的装置，诸如由耳机的佩戴者操纵的鼓棒或其它运动控制器。因此，摄像机在确定游戏环境中的这些物体的位置、移动、定向方面可提供额外的准确度，者可提供更真实的体验。视频还可用于对用户进行运动追踪，该运动追踪可用于提高在游戏期间使用的其它装置(诸如运动控制器)的准确度。视频还可用于提供有关玩家所采取的行动的附加信息，其中，例如，玩家使用具有加速度计的鼓棒来准确地追踪鼓棒的移动，而耳机110中的照相机可用于追踪玩家头部的移动。在一些实施例中，可在鼓棒与耳机110之间发送数据。

还可将流传送的视频渲染在游戏动作的显示器上以便获得更真实的体验。还可将游戏动作的视频流传送至视频服务器，诸如Twitch。在根据本发明构思的一些实施例中，可将来自用户操纵的物体的反馈提供给耳机110，耳机110又可将音频反馈信号提供给用户。再进一步地，摄像机可用于确定有关用户操纵的物体的移动的另外的信息，诸如物体相对于环境中的其它事物的位置。

根据本发明构思的一些实施例，耳机110连同本机或远程应用程序可用于提供语音启动式搜索，因此用户可说出特定命令，诸如“好的，Muzik，搜索”，应用程序将音频转换成基于文本的搜索，然后提交给远程服务器。在根据本发明构思的一些实施例中，将音频信息从耳机发送至移动装置或服务器，该移动装置或服务器将音频信息翻译成文本，然后该文本被转发以便进行搜索。

根据本发明构思的一些实施例中，与本机或远程应用程序一起操作的耳机110可用于操作连接的装置，诸如灯、门锁等。在这种实施例中，用户可说出特定命令(诸如，好的，音乐)，然后发出语音命令，该语音命令配置为进行与特定装置相关联的特定功能。可通过本机应用程序将音频信息翻译成文本数据，或者可替代地，可将音频信息发送至远程应用程序或服务器以便翻译成文本。然后将翻译出来的文本转发至服务器，服务器配置为确定预期的命令的性质(诸如开灯)。将该特定命令串或指令返回到与耳机110或用户相关联的位置，因此将命令引导至由远程服务器标识的特定装置。

在根据本发明构思的一些实施例中，耳机110可提供实施有时所谓的“聊天机器人”的应用程序。因此，可将聊天机器人实施成支持呼叫或消息发送环境，在该环境中，用户使用本地聊天机器人与远程呼叫或消息发送***交互，该本地聊天机器人预期用于模拟与智能实体的对话并且可响应于用户的查询而实时操作。在根据本发明构思的一些实施例中，聊天机器人可由自动化在线助理支持，诸如用于消费者接触、消费者支持、呼叫指引等的自动化在线助理。应进一步理解还应理解，在本文描述的各种实施方式中，可将耳机110上的本机应用程序以及与耳机相关联的传感器可以本文描述的任何形式因素来实施，诸如戴在耳朵上的耳机、戴在耳朵上方的耳机、或者入耳式耳机。

在根据本发明构思的一些实施例中，通过在购物的时候使用例如摄像机来标识产品并且向佩戴者提供音频反馈(诸如成本、产品特点、相对于其它产品的成本、保修信息、其它有关项目的位置等)，耳机110和本机应用程序以及远程应用程序可设置成支持有视觉障碍的用户。在根据本发明构思的一些实施例中，摄像机可用于标识用户所检查的产品的优惠券。在一些实施例中，照相机可用于读取盲文或用于解释用户比划的手语。例如，用户可使用照相机来比划，其中，本机或远程应用程序将手语翻译成文本、邮件或音频。

在根据本发明构思的一些实施例中，包括本机和/或远程应用程序的耳机110可支持消费者服务环境，其中，用户可请求有关已经购买的或考虑购买的特定产品的信息。在这种应用程序中，用户可接触消费者服务环境，作为探索特定产品的适用性的初始步骤，该步骤之后可以是远程行动者使用与耳机110的音频通信来进行直接接触。

在根据本发明构思的另一些实施例中，可在用户用肉眼观察可能是虚拟的事物或关系的空间关系环境(诸如内部设计、施工等)中使用摄像机。作为响应，本机应用程序或远程应用程序可通过将虚拟化的物体重叠到从耳机110流传送的场景中来做出响应。

在根据本发明构思的一些实施例中，可利用耳机110安排与特定人和特定一组人的会议。例如，用户可指示将在特定时间和日期为一组人安排会议，因此驻留在耳机110上或远离耳机110的应用程序可通过将邀请转发至该组的各个组员来做出响应，这之后可以是在临近实际安排的时间/日期时将提示转发至这些组员中的每一个。

在根据本发明的一些实施例中，耳机110和本机和远程应用程序可用于使用耳机110中包括的摄像机和麦克风来提供增强型感官察觉(诸如增强型视觉或听觉)。例如，在根据本发明的一些实施例中，可对耳机100流传送的视频进行处理以标识特定物体，其中，用户可能对视频中物体的移动特别感兴趣。例如，用户可能有一定的障碍，因此对视频流进行处理以标识出在用户附近的移动物体，这可能会产生安全问题。而且，在根据本发明的其它实施例中，用户可能有视觉障碍，因此通过麦克风提供增强型听觉以类似地向用户警示有关环境中的物体。而且，在根据本发明的另一些实施例中，照相机和麦克风都可用于标识出环境中用户特别感兴趣的物体。应进一步理解还应理解，用于识别物体的该处理可在耳机110本机中进行或者在远程服务器上进行，因此在完成后将处理后的信息返回到耳机110。

而且，在根据本发明的另一些实施例中，耳机110连同本机应用程序或远程应用程序可被流传送至于特定端点服务器相关联的组，诸如Facebook，使得一组查看者可观察到流传送的视频。而且，在根据本发明的另一些实施例中，端点服务器可能未包括针对可提供的内容的过滤器。

而且，在根据本发明的另一些实施例中，可将本机基于IP的语音(VoIP)呼叫应用程序预加载在耳机110上，这可使用户进行低成本的或免费的通话以及使用户响应于语音命令而向个人或群组发送低成本的或免费的消息。

在根据本发明的一些实施例中，本机应用程序可提供外语翻译，使得可将外语实时翻译成用户的本机语言。在根据本发明的这种实施例中，用户可将耳机110戴在脖子上，其中，将耳罩旋转成指向外语说话者的方向。在操作中，外语音频由耳机110上的麦克风接收，然后被转换成用户的母语。

在根据本发明的一些实施例中，耳机110可连接至云后台，该云后台预加载有认知服务，这些认知服务用于进行语音文本、文本转换成语音、图像识别、面部识别、语言翻译、搜索、机器人、以及其它类型的人工智能服务。

在根据本发明的一些实施例中，用户可作为生成播放列表的“DJ”来操作，其它用户可订阅或收听该播放列表。在操作中，DJ用户可生成播放列表并且向其它用户或跟随者发布邀请，使得这些用户可收听在该播放列表中包括的音乐。此外，可将数据发送给用户的耳机，使得可将音频内容直接索引到DJ用户正在收听的位置，使得DJ用户和用户可基本上同时听到音乐。

在根据本发明的一些实施例中，耳机110的耳罩可移除并且可包括唯一的标识符，使得可通过耳机110确定缓冲垫的类型。因此，当将戴在耳朵上的缓冲垫放在耳机110上时，可将音乐均衡设置成预定配置，而当将置于耳朵上方的缓冲垫耦接至耳机110时，可将该均衡改变成更优化的设置。

在根据本发明的一些实施例中，可在模拟模式下使用耳机110，使得可使用音频电缆来将耳机110连接至移动装置130，同时还流传送自耳机110的实况视频。因此，视频和模拟可基本上从彼此提供，但基本上是同时的。

在根据本发明的一些实施例中，耳机10可基于用户的请求或基于当前配置所不支持的特定功能的请求自动从远程服务器下载特征。因此，当用户请求不受支持的特定功能时，耳机110可提醒用户进行授权，以下载支持所请求的特征的应用程序版本。

在根据本发明的一些实施例中，耳机10可监测和学***相关联的活动(诸如，电话通话的频率、日历预约的频率、用户的不移动等)。

在根据本发明的一些实施例中，可以包含耳机110作为***的一部分，在该***中，用户订阅付费的或支持广告的模型，在该模型中，耳机110可连同所有软件一起提供，进行月付。例如，用户可提供首期付款，这可使用户能按月支付所有服务和硬件。可替代地，用户可选择支持广告的模型，其中，耳机110上的摄像机用于捕捉本地信息，该本地信息又可用于提供基于耳机110所收集的数据为用户定制的广告。在根据本发明的另一些实施例中，在支持广告的模型下操作的用户可每天在商业零售部中查看产品或从广告商收听实况广告来抵消该订阅的成本。例如，在根据本发明的一些实施例中，用户可使用耳机110来看特定产品，因此对物体进行扫描并且将其上传到云以便由认知软件处理，因此远程服务器使用例如音频反馈向用户指示哪一个标识出了该产品，因此用户确认所提供的反馈是否正确地标识出了该产品，并且向用户播放实况广告。

图36是在根据本发明的一些实施例中在移动装置130上呈现的运行应用程序的一系列画面的示意性表示，这些画面配置为将耳机连接至该应用程序以便进行同步。根据图36，用户可选择将他们的运行所示应用程序的移动装置同步到耳机110。进一步应理解的是，可将耳机110同步到与屏幕相关联的任何装置，诸如TV、平板、AR/VR***、智能电视等。

一旦将耳机110同步到应用程序，用户便可从他们希望链接到耳机110的服务中选择app。用户可输入密码或选择其他设置，因此用户可使用语音命令与所选的app交互。例如，用户可说出“Facebook实况，打开”来打开Facebook实况应用程序，或者说出“Spotify播放Drake”来开始将音乐从Spotify播放到耳机110，或者说出“信使，Fred‘我会在30分钟内到家’”以使用信使向Fred发送消息，或者说出“Instagram，拍照”以使用链接至应用程序的Instagram应用程序来拍照。

在根据本发明的一些实施例中，可响应于语音命令启用在后台在耳机110上运行的应用程序来执行本文参照图1至图36所描述的特征和动作、以及基于耦接至耳机的传感器输入来监测用户的行为。此外，可将在后台运行的特定应用程序配置为周期性地问用户问题，使得可将响应转发至远程服务器(或被本机应用程序处理)以监测用户的行为和习惯，以便确定用户可能对特定产品感兴趣的可能性。再进一步地，应用程序可基于生物传感器输入或与耳机110相关联的监测传感器询问与轮询相关联的问题或提出有关健康或保健的建议。例如，耳机110可与远程服务器通信指出用户在特定时间进行了冥想，诸如在工作之前，并且提醒进一步注意应该监测用户在工作时的表现以确定：与未冥想或进行了一些其它行为(诸如听音乐)的用户相比，该冥想是否提供了任何客观效益，诸如更警觉的行为、更多协作等。在另外的环境中，耳机110所累积的习得行为可标识与用户相关联的某些癖好并且针对用户利益建议特定应用或者，可替代地，可建议具有被确定为用户有可能感兴趣的特定特征的新应用。

在根据本发明的一些实施例中，本文描述的***方法和装置可采取头戴式计算机的形式因素，该头戴式计算机包括如本文描述的且例如在图10中描绘的操作***。在这种实施例中，可通过头戴式计算机***来提供常规移动装置(诸如智能电话)及其配套应用程序的所有功能性。再进一步地，头戴式计算机可作为基于订阅的服务的一部分操作，其中，用户按月付费来交换本文描述的功能性，诸如打电话、实况视频流传送、音乐流传送、远程医疗能力、访问教育课程、对听觉和视觉障碍者提供可访问性支持、运动受控制的游戏等。

在根据本发明的另一些实施例中，头戴式计算机(或耳机110)可提供用于移动通信***的平台，该移动通信***提供无限的呼叫和消息传送以及其它增强型服务，诸如针对青少年的群呼、针对青少年的消息群发、对流传送服务的群组收听等。进一步应理解的是，可通过配置为支持具体的应用程序(诸如Facebook Messenger和Watsapp)的SDK来提供对移动计划的支持。

应理解，在根据本发明的一些实施例中，可将视频的实况流传送配置成由社交媒体服务(诸如Facebook、Twitter、Snapchat、YouTube、Instagram和Twitch)摄取。还可使用其它服务。

进一步应理解的，可结合诸如Spotify、YouTube Music、Title、iHeartRadio、Pandora、Sound Cloud、Apple Music和Shazam等服务从耳机110或头戴式计算机***提供音频的实况流传送。还可使用其它音频服务。

在根据本发明的一些实施例中，应理解，可将本文描述的且由耳机110或头戴式计算机提供的呼叫应用程序配置为与诸如Skype、Slack、Facebook workplace、Twilio、WatsApp、G Talk、Twitch、Line和WeChat等应用程序一起操作。还可支持其它呼叫应用。

此外，在根据本发明的另一些实施例中，应理解，可将耳机110或头戴式计算机配置为与诸如Facebook Messenger、WatsApp、Skype、Wechat、Line、Google和FacebookMessenger等应用程序一起操作。还可支持其它消息传送应用。

在根据本发明的一些实施例中，应理解，可将耳机110或头戴式计算机配置为支持健康和保健应用，诸如品牌Jordan或Puma、运动追踪、睡眠追踪、冥想、压力管理、远程医疗、WebMD(用于标识潜在的疾病)、Sharecare和MD live。还可支持其它健康和保健应用。

还应理解，在根据本发明的一些实施例中，可将耳机110或头戴式计算机配置为支持教育应用程序使得可将课程记录下来并且使其可从网上获得，可针对远程位置的需要而提供实况流传送或离线流传送，还可提供语言翻译，支持对历史或艺术物体的照相机识别、普通图像识别、语音控制、盲文读取、以及文本到语音的转换。还可支持其它教育类应用程序。

还应理解，在根据本发明的一些实施例中，可将耳机110或头戴式计算机配置为支持可访问类型的应用程序，诸如手语控制，其中，摄像机可用于标识出特定手势作为手语的一部分(这然后可为控制耳机110或头戴式计算机提供基础)，可提供功能性以代替通常称为导盲犬的事物来协助视觉障碍者安全穿过环境，利用工具定制听觉测试来诊断听觉问题，进行预测性噪音消除，访问紧急服务，检测能自动启动与耳机110或头戴式计算机***相关联的照相机和GPS的诱因。还可支持其它关联应用程序。

并且，在根据本发明的另一些实施例中，可将耳机110或头戴式计算机配置为提供企业对企业型应用程序，例如，这种企业对企业型应用程序可使用实况视频连接团队、群呼(包括记录通话、做笔记、链接到日历、联系人、共享通话笔记或语音记录)、消息群发、消费者服务迁移(其中，其可访问用于通过摄像机看到的特定产品或用于耳机或头戴式计算机自身的消费者服务)、施工、内部设计、映射应用程序、访问新闻、个人日历、个人助理，其中，例如，可使用摄像机查看产品来得到最优价格。

图39是在根据本发明的一些实施例中包括至少一个集成式投影仪3901的可穿戴式计算机***3900的框图。根据图39，在根据本发明的一些实施例中，可穿戴式计算机***3900可以是能够利用至少一个集成式投影仪3901将视频实况流传送至远程服务器的支持音频/视频的耳机，该集成式投影仪3901用于为计算机***3900的佩戴者提供沉浸式增强现实体验。应理解，图39中示出的许多元件可以与上面在图3中示出的且在本说明书中结合图3描述的元件相似。因此，例如参照图3描述的各种功能也可由图39中示出的计算机***3900提供。另外，计算机***3900包括操作地耦接至微处理器的至少一个投影仪3901，该微处理器可用于将投影的视频输出提供到任意表面上。

在操作中，计算机***3900可用于为用户提供沉浸式增强现实体验，如例如参照图20至图23所描述的。因此，计算机***3900可配备有传感器5，这些传感器5可用于提供当计算机***3900移动穿过环境时计算机***3900的位置数据。在沉浸式体验期间，可使用传感器5来追踪可穿戴计算机3900的移动，使得可通过例如确定在环境内的头部移动或用户身体的移动来向用户提供更真实的体验，该头部移动或用户身体的移动可用于更改经由投影仪3901示出的视频的视角。

如图39进一步示出的，特征80可被计算机***3900运作参考来确定环境内的位置数据，如上面参照例如图22所描述的环境。再进一步地，计算机***3900可操作地耦接至GPS***(如图39所示)以在计算机***3900移出可能在特征80的范围之外的本地环境时向计算机***3900提供地理位置信息。进一步应理解的，虽然图39中示出了一个特征80，但另外的特征也可被计算机***3900用作参考。进一步应理解的，传感器5还可包括发射装置，诸如声纳或激光雷达、雷达、或可被计算机***3900用来确定(至少部分地或递增地)可穿戴计算机***3900的位置数据的其它传感器。

再进一步地，如图39所示，计算机***3900可接收来自多个源的增强数据以便与由计算机***3900提供的或向计算机***3900提供的且经由投影仪3901投影以供计算机***3900的佩戴者查看的其它信息结合。例如，在根据本发明的一些实施例中，增强数据可由游戏应用程序提供并且与计算机***3900确定的位置数据结合，该位置数据可由计算机***3900渲染并且由投影仪3901投影以在玩游戏期间供用户查看。再进一步地，在可穿戴计算机3900移动穿过环境时，可对组合的数据的渲染进行修改，使得投影仪3901提供比提供给用户的视角的更真实的视图。

如图39中进一步示出的，计算机***3900还可接收来自移动装置(或在移动装置上执行的应用程序)的数据以便由投影仪3901显示。例如，在根据本发明的一些实施例中，移动装置可提供视频输出的表示，该视频输出通常可提供在移动装置的显示器上。在操作中，计算机***3900可将从移动装置接收的显示信息中继至投影仪3901以便显示在任意表面上。在这种实施例中，可穿戴计算机***3900可用于从集成有移动装置的较小格式显示生成大格式虚拟显示器。因此，可通过将移动装置的显示投影成较大格式，来改善与由移动装置提供的较小屏幕相关联的限制性，使得计算机***3900的用户可更清楚地看到显示，而不需要大格式电子装置(诸如监视器)。因此，计算机***3900可用于提供方便的大格式显示，不考虑移动装置提供的格式如何。换言之，移动装置可以是提供视频输出以经由投影仪3901再现的任何装置。在根据本发明的另一些实施例中，多个移动装置可与计算机***3900通信，这些移动装置然后可被组合成单个合成显示，该单个合成显示由投影仪3901提供到任意表面上。在根据本发明的一些实施例中，任意表面可以是适合在其上显示图像的任何表面并且可以是进行显示所需的任何大小。例如，在根据本发明的一些实施例中，表面可以是飞机座椅的背面或一张纸或用户的手。进一步应理解的，表面可具有相对于用户的任意定向。然而，投影仪3901可能是可调节的，以补偿表面相对于用户的定向，使得被投影到表面上的图像可以是基本上矩形的。在一些实施例中，移动装置可以是电子表或其它配件包括小格式显示器。在一些实施例中，移动装置可以是不包括显示器的电子装置。

如图39中进一步示出的，计算机***3900可包括至少一个照相机(其可提供静态图像和/或视频图像)，其可与要投影到表面上的数据结合。例如，在根据本发明的一些实施例中，照相机可用于对周围环境进行采样并且可基于利用图39中示出的增强数据的重叠增强的捕捉图像来生成投影图像。照相机可能是可独立调节的，以对恰当的场景进行采样，不考虑计算机***3900相对于图像所要投影的表面的定向如何。

再进一步地，图39示出了各种配件可无线地耦接至计算机***3900。在根据本发明的一些实施例中，配件可以是与游戏***相关联的电子装置(诸如权杖、鼓棒)或可用于参与电子游戏的通用装置。例如，在根据本发明的一些实施例中，配件可以是配置用于提供在2016年4月4日提交的标题为“Interactive Instruments and Other StrikingObjects”的第15/090,175(□75)号美国专利申请中描述的功能性的鼓组或鼓棒，该申请的全部内容通过引用并入本文。在这种实施例中，可生成虚拟鼓组并且经由投影仪3901投影到表面上。用户然后可利用鼓棒来敲虚拟鼓组，如在'XXX申请中描述的。还可使用其它配件。再进一步地，可提供API来访问计算机***3900。

图40是在根据本发明的一些实施例中作为配备有照相机和投影仪3901的一组耳机的计算机***3900的耳罩的示意性表示。根据图40，投影仪镜头409可位于可移动的边框809上，该边框809旋转使得可相对于用户将可穿戴计算机***防止在头上将投影仪3901向上或向下定向。因此，通过使照相机镜头409旋转以补偿耳罩相对于表面的定向，可更方便地定位图像所要投影的表面。

图41是图示了可与要投影的图像重叠或组合的增强数据的各种源的示意图。在根据本发明的一些实施例中，增强数据可以是游戏***提供的数据，诸如作为第一人称射击应用程序的一部分渲染的场景，该第一人称射击应用程序可包括游戏中与计算机***3900的用户竞争的远程参与者。

在根据本发明的另一些实施例中，增强数据可由远程服务器提供，该远程服务器可提供各种类型的数据以便与可穿戴计算机***3900中包括的照相机可生成的图像重叠。例如，在根据本发明的一些实施例中，远程服务器可提供解剖数据，该解剖数据可被投影到患者的身体上，使得用户在查看患者时可查看内部器官的相对位置。因此，在操作中，照相机可对患者的图像进行采样，因此远程服务器提供解剖数据进行增强，使得可穿戴计算机***3900中的处理器相对于增强数据登记图像数据，从而正确地将内部解剖图像重叠到患者的图像上，所以器官出现在恰当的位置中。应理解，本实施例可与本文描述的远程医疗实施例相结合。

在根据本发明的另一些实施例中，用户可站在镜子前并且使用照相机对他们自己的图像进行采样。远程服务器可提供表示服装的增强数据，该增强数据可与来自镜子的采样图像重叠和渲染，使得投影图像将服装数据与采样的图像结合，使用户可查看他们自己，仿佛已经穿上了衣服一样。在一些实施例中，用户图像的登记可由可穿戴计算机来提供，使得可恰当地将重叠的服装渲染到用户的图像上。在一些实施例中，颜色、大小、风格、剪裁等可由用户改变，因此可对表示服装的增强数据进行修改以提供所选的变化。在一些实施例中，可将服装与用户在选择服装进行查看时能参考的电子目录相关联。在一些实施例中，可将服装与用户在选择服装进行查看时能参考的纸质目录相关联，其中，照相机可用于对可用于向远程服务器请求对应增强数据的图像或产品代码进行采样。

在根据本发明的另一些实施例中，增强数据可包括施工信息，使得可通过对建筑的视频进行采样并且将图像与施工图纸重叠来提供对建筑的检查，使得检查者能查看内部组件，而不需要在墙壁上开口。再次，在包括建筑内部的图纸和采样图像的增强数据之间会发生恰当的配准，从而相对于采样图像将图纸中包括的组件示出在恰当的位置中。

图42A是作为在相对于***3900的任意定向上将投影4205生成到任意表面4201上的一对耳机的计算机***3900的示意性表示。如上面参照图39和图40所讨论的，投影仪镜头可相对于耳机上的耳罩移动，使得可利用恰当的纵横比来查看该投影，不考虑表面相对于耳机的任意定向。

图42B是图42A中示出的耳机的替代图，包括多个投影仪：其中一个投影仪位于其中一个耳罩上并且另一个投影仪位于头带的中心处。再进一步地，图42B示出了照相机可位于与第一投影仪相对的耳罩上。如图42B中进一步示出的，可将投影场1定向到表面上以便与投影场2所提供的图像一起查看，使得这两个投影场在表面上彼此完全对齐。因此，第一和第二投影仪可用于提供相同图像的不同组件使得，例如，可通过***3900生成三维图像。再进一步地，由在相对的耳罩上示出的照相机采样的照相机场可对由重叠的第一和第二投影场生成的图像进行采样以便发送至远程服务器。

如本领域的技术人员了解的，本文描述的各个实施例可体现为方法、数据处理***、和/或计算机程序产品。此外，实施例可采用在有形计算机可读存储介质上的计算机程序产品的形式，该有形计算机可读存储介质具有计算机程序代码，该计算机程序代码被包含在可由计算机执行的解释中。

可以利用一个或者多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是，例如，但不限于，电子的、磁性的、光学的、电磁的、红外的、或者半导体的***、设备或者装置、或者上述的任何合适的组合。计算机可读存储介质的更具体的示例(非穷尽性的列表)可包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或者闪存)、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置、或者上述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是可以包含或者存储供指令执行***、设备或者装置使用或者与指令执行***、设备或者装置结合使用的程序的任何有形介质。

计算机可读信号介质可包括传播数据信号，该传播数据信号中包含有计算机可读程序代码，该计算机可读程序代码被包含在头带中或作为载波的一部分。这种传播信号可采用多种形式中的任何形式，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，该计算机可读介质不是计算机可读存储介质并且能传送、传播或传输供指令执行***、设备或装置使用的或与指令执行***、设备或装置一起使用的程序。可使用任何恰当的介质，包括但不限于无线的、有线的、光纤、RF等或上述的任何合适的组合，来发送在计算机可读信号介质上的程序代码。

可用一种或多种编程语言的任何组合来编写用于进行本公开的各个方面的操作的计算机程序代码，包括诸如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等面向对象的编程语言、诸如“C”编程语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP等常规程序化编程语言、诸如Python、Ruby和Groovy等动态编程语言、或其它编程语言。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上执行且部分地在远程计算机上执行、或者完全在远程计算机或者服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接至用户的计算机，包括局域网(LAN)或者广域网(WAN)，或者可以与外部计算机进行该连接(例如，通过使用互联网服务提供商的互联网)或者可在云计算机环境中进行该连接或者可将连接提供为服务(诸如，软件即服务(SaaS))。

本文参照根据实施例的方法、***和计算机程序产品的流程图图示和/或框图描述了一些实施例。应理解，这些流程图图示和/或框图中的各个框以及在这些流程图图示和/或框图中的框的组合可由计算机程序指令来实施。可以将这些计算机程序指令提供给通用计算机、专用计算机、或者其它可编程数据处理设备的处理器来产生机器，从而使得，当指令经由计算机或者其它可编程数据处理设备的处理器执行时，指令创建用于实施在流程图和/或框图中的框或者多个框中规定的功能/行动的机构。

这些计算机程序指令也可存储在计算机可读介质中，计算机程序指令在被执行时可使计算机、其它可编程数据处理设备或其它装置按照特定方式发挥功能，使得存储在计算机可读介质中的指令产生制品，该制品包括指令，该指令在被执行时使计算机实施在流程图和/或框图中的框或者多个框中规定的功能/行动。也可以将计算机程序指令加载到计算机、其它可编程数据处理设备或者其它装置上以使得能够在计算机、其它可编程数据处理设备或者其它装置上执行一系列操作步骤来产生计算机实施的进程，从而使在计算机或者其它可编程设备上执行的指令提供用于实施在流程图和/或框图中的框或者多个框中规定的功能/行动的进程。

应理解，在框中提到的功能/行动可不按照操作图示中提到的顺序进行。例如，连续示出的两个框事实上可以基本上并行地被执行，或者这些框有时可以按照相反的顺序被执行，取决于所涉及的功能性/行动。虽然一些图在通信路径上包括箭头来表示主要的通信方向，但应理解，通信也可发生在与所描绘的箭头相反的方向上。

本文结合上面的描述和附图已经公开了许多不同的实施例。应理解，从字面上描述和图示这些实施例的每个组合和子组合会过度重复，且容易混淆。因此，可按照任何方式和/或组合来组合所有实施例，并且本说明书(包括附图)应该支持对任何这种组合或子组合的保护。

虽然在单个实施例的上下文中可能描述了本发明的各种特征，但也可单独地或按照任何合适的组合来提供特征。相反，虽然出于清楚起见在分开的实施例的上下文中可能描述了本发明，但本发明也可被实施在单个实施例中。

Claims (41)

1.一种头戴式***，包括：

摄像机，其配置为提供图像数据；

无线接口电路，其配置为接收来自远程服务器的增强数据；

处理器电路，其耦接至所述摄像机，所述处理器电路配置为将所述图像数据与所述增强数据配准并且将所述图像数据与所述增强数据结合以提供增强型图像数据；以及

投影仪电路，其耦接至所述处理器电路，所述投影仪电路配置为将所述增强型图像数据从所述头戴式***投影到表面上。

2.根据权利要求1所述的头戴式***，其中，所述处理器电路配置为使用所述摄像机从所述表面对所述增强型图像数据进行采样以提供反馈增强型图像数据；以及

所述处理器电路配置为将所述图像数据与所述增强数据再配准并且配置为将所述图像数据与所述增强数据结合以将校正后的增强型图像数据提供给所述投影仪电路。

3.根据权利要求1所述的头戴式***，其中，所述摄像机和所述投影仪电路位于所述***的相对侧。

4.根据权利要求1所述的头戴式***，其中，所述增强数据包括服装信息，所述服装信息配置为供所述处理器用来将所述***的用户的图像与所述服装信息结合以将所述增强型图像数据投影到所述表面上来表示穿着所述服装信息所表示的服装的所述用户。

5.根据权利要求1所述的头戴式***，其中，所述增强数据包括解剖信息，所述解剖信息配置为供所述处理器用来将所述***的用户的图像与所述解剖信息结合以将所述增强型图像数据投影到所述表面上来表示覆盖有所述解剖信息所表示的解剖特征的所述用户。

6.一种头戴式***，包括：

无线接口电路，其配置为接收来自具有第一大小的远程装置的显示数据；

处理器电路，其耦接至无线接口，所述处理器电路配置为渲染所述显示数据以进行显示；以及

投影仪电路，其嵌入在所述***的一部分中，所述投影仪电路耦接至所述处理器电路，所述投影仪电路配置为将来自所述头戴式***的所述显示数据投影到表面上以便按照第二大小进行显示，所述第二大小大于所述第一大小。

7.根据权利要求6所述的头戴式***，其中，所述远程装置包括移动装置。

8.根据权利要求1所述的头戴式***，还包括：

耳机设备，包括两个音频输出组件，所述两个音频输出组件中的相应音频输出组件包括音频驱动器并且分别被配置为耦接至所述头戴式***的用户的耳朵的一部分，并且还包括配置为提供图像数据的摄像机；

网络通信接口，其配置为在所述耳机设备与便携式电子装置之间通信；

触摸输入传感器，其耦接至所述耳机设备；以及

输入识别电路，其通信地耦接至所述触摸输入传感器，其中，所述输入识别电路配置为：

接收在触摸输入与要在所述便携式电子装置上执行的第一命令之间的第一关联，

其中，所述第一命令指示所述便携式电子装置向在所述便携式电子装置和所述头戴式***外部的服务器发送消息，以及

其中，发送给所述服务器的所述消息包括与在所述头戴式***处接收到的音频信息和当接收到所述触摸输入时的视频数据有关的信息；

在接收到所述第一关联后，接收所述用户提供给所述触摸输入传感器的所述触摸输入的第一实例；

确定所述触摸输入的所述第一实例与在所述触摸输入与要在所述便携式电子装置上执行的所述第一命令之间的所述第一关联匹配；

响应于所述触摸输入的所述第一实例与所述第一关联匹配，将所述第一命令提供给所述便携式电子装置用于执行；

接收在触摸输入与要在所述便携式电子装置上执行的第二命令之间的第二关联；

在接收到所述第二关联后，接收所述用户提供给所述触摸输入传感器的所述触摸输入的第二实例；

确定所述触摸输入的所述第二实例与在所述触摸输入与要在所述便携式电子装置上执行的所述第二命令之间的所述第二关联匹配；以及

响应于所述触摸输入的所述第二实例与所述第二关联匹配，将所述第二命令提供给所述便携式电子装置用于执行。

9.根据权利要求8所述的头戴式***，其中，所述输入识别电路是所述便携式电子装置的一部分，以及其中，所述耳机设备配置为经由所述网络通信接口将所述触摸输入发送给所述输入识别电路。

10.根据权利要求8所述的头戴式***，其中，所述输入识别电路包括在所述便携式电子装置上执行的应用程序编程接口(API)。

11.一种头戴式***，包括：

耳机设备，包括两个音频输出组件，所述两个音频输出组件中的相应音频输出组件包括音频驱动器并且分别被配置为耦接至所述头戴式***的用户的耳朵的一部分，并且还包括配置为提供图像数据的摄像机；

网络通信接口，其配置为在所述耳机设备与便携式电子装置之间通信；

触摸输入传感器，其耦接至所述耳机设备；以及

输入识别电路，其通信地耦接至所述触摸输入传感器，其中，所述输入识别电路配置为：

接收在触摸输入与要在所述便携式电子装置上执行的第一命令之间的第一关联，

其中，所述第一命令指示所述便携式电子装置向在所述便携式电子装置和所述头戴式***外部的服务器发送消息，以及

其中，发送给所述服务器的所述消息包括与在所述头戴式***处接收到的音频信息和当接收到所述触摸输入时的视频数据有关的信息；

在接收到所述第一关联后，接收所述用户提供给所述触摸输入传感器的所述触摸输入的第一实例；

确定所述触摸输入的所述第一实例与在所述触摸输入与要在所述便携式电子装置上执行的所述第一命令之间的所述第一关联匹配；

响应于所述触摸输入的所述第一实例与所述第一关联匹配，将所述第一命令提供给所述便携式电子装置用于执行；

接收在触摸输入与要在所述便携式电子装置上执行的第二命令之间的第二关联；

在接收到所述第二关联后，接收所述用户提供给所述触摸输入传感器的所述触摸输入的第二实例；

确定所述触摸输入的所述第二实例与在所述触摸输入与要在所述便携式电子装置上执行的所述第二命令之间的所述第二关联匹配；以及

响应于所述触摸输入的所述第二实例与所述第二关联匹配，将所述第二命令提供给所述便携式电子装置用于执行。

12.根据权利要求11所述的头戴式***，还包括：

无线接口电路，其配置为接收来自远程服务器的增强数据；

处理器电路，其耦接至所述摄像机，其中，所述处理器电路配置为将所述图像数据与所述增强数据配准并且将所述图像数据与所述增强数据结合以提供增强型图像数据；以及

投影仪电路，其耦接至所述处理器电路，所述投影仪电路配置为将所述增强型图像数据从所述头戴式***投影到表面上。

13.根据权利要求12所述的头戴式***，其中，所述处理器电路配置为使用所述摄像机从所述表面对所述增强型图像数据进行采样以提供反馈增强型图像数据；以及

所述处理器电路配置为将所述图像数据与所述增强数据再配准并且配置为将所述图像数据与所述增强数据结合以将校正后的增强型图像数据提供给所述投影仪电路。

14.根据权利要求12所述的头戴式***，其中，所述摄像机和所述投影仪电路位于所述***的相对侧。

15.根据权利要求11所述的头戴式***，其中，所述输入识别电路是所述便携式电子装置的一部分，以及其中，所述耳机设备配置为经由所述网络通信接口将所述触摸输入发送给所述输入识别电路。

16.根据权利要求22所述的头戴式***，其中，所述输入识别电路包括在所述便携式电子装置上执行的应用程序编程接口(API)。

17.根据权利要求11所述的头戴式***，其中，所述输入识别电路是所述耳机设备的一部分，以及其中，所述耳机设备配置为经由所述网络通信接口将所述第一命令和所述第二命令发送给所述便携式电子装置。

18.根据权利要求11所述的头戴式***，其中，所述耳机设备是第一耳机设备，以及其中，所述第一命令向第二耳机设备发送指示，所述指示包括与当接收到所述触摸输入时在所述第一耳机设备上播放的音频有关的信息。

19.根据权利要求18所述的头戴式***，其中，发送给所述第二耳机设备的所述指示配置为允许所述第二耳机设备输出当接收到所述触摸输入时在所述第一耳机设备上播放的所述音频。

20.根据权利要求19所述的头戴式***，其中，发送给所述第二耳机设备的所述指示不含有当接收到所述触摸输入时在所述第一耳机设备上播放的所述音频的音频内容。

21.根据权利要求18所述的头戴式***，还包括音频识别电路，以及其中，发送给所述第二耳机设备的所述指示是响应于所述音频识别电路确定当接收到所述触摸输入时在所述第一耳机设备上播放的所述音频的音频内容的标识而生成的。

22.根据权利要求11所述的头戴式***，其中，在所述两个音频输出组件中的一个音频输出组件上的所述触摸输入传感器包括多个触敏板。

23.根据权利要求22所述的头戴式***，其中，所述多个触敏板中的至少一个触敏板是电容式触摸传感器。

24.根据权利要求11所述的头戴式***，其中，所述输入识别电路还配置为：

接收在所述触摸输入与要在所述便携式电子装置上执行的第三命令之间的第三关联，

其中，所述耳机设备是第一耳机设备，以及

其中，所述第三命令直接向第二耳机设备发送指示，所述指示包括与当接收到所述触摸输入时在所述第一耳机设备上播放的音频有关的信息。

25.根据权利要求11所述的头戴式***，其中，所述头戴式***还包括数据储存库，以及其中，所述第一关联存储在所述数据储存库。

26.根据权利要求25所述的头戴式***，其中，所述输入识别电路还配置为：

用所述第二关联的保存副本代替所述数据储存库内的所述第一关联的保存副本。

27.根据权利要求11所述的头戴式***，其中，所述触摸输入传感器与所述便携式电子装置和所述耳机设备分离，以及其中，所述触摸输入传感器配置为经由所述网络通信接口将所述触摸输入发送给所述输入识别电路。

28.根据权利要求11所述的头戴式***，还包括音频输入传感器，其中，所述输入识别电路还通信地耦接至所述音频输入传感器并且还配置为：

接收在音频输入与要在所述便携式电子装置上执行的第四命令之间的第四关联；

在接收到所述第四关联后，接收所述用户提供给所述音频输入传感器的所述音频输入的第一实例；

确定所述音频输入的所述第一实例与在所述音频输入与要在所述便携式电子装置上执行的所述第四命令之间的所述第四关联匹配；

响应于所述音频输入的所述第一实例与所述第四关联匹配，将所述第四命令提供给所述便携式电子装置用于执行；

接收在音频输入与要在所述便携式电子装置上执行的第五命令之间的第五关联；

在接收到所述第五关联后，接收所述用户提供给所述音频输入传感器的所述音频输入的第二实例；

确定所述音频输入的所述第二实例与在所述音频输入与要在所述便携式电子装置上执行的所述第五命令之间的所述第五关联匹配；以及

响应于所述音频输入的所述第二实例与所述第五关联匹配，将所述第五命令提供给所述便携式电子装置用于执行。

29.根据权利要求28所述的头戴式***，其中，所述两个音频输出组件配置为播放定制音频流，所述定制音频流包括从所述用户接收到的所述音频输入和音乐。

30.根据权利要求29所述的头戴式***，其中，所述头戴式***配置为将所述定制音频流从所述耳机设备发送给所述便携式电子装置。

31.根据权利要求11所述的头戴式***，还包括旋转边框，所述旋转边框由伺服电机响应于加速度计驱动。

32.一种合成显示***，包括：

摄像机，其配置为提供图像数据；

无线接口电路，其配置为将所述图像数据发送给远离头戴式***的便携式电子装置；

处理器电路，其耦接至所述摄像机、处理器电路和所述无线接口电路，所述处理器电路配置为经由所述无线接口电路将所述图像数据传送至所述便携式电子装置以向所述便携式电子装置提供第一人称视图，其中，所述便携式电子装置配置为将所述第一人称视图与所述便携式电子装置所生成的自拍视图结合并且将包括所述第一人称视图和所述自拍视图的合成图像显示在所述便携式电子装置的显示器上。

33.根据权利要求32所述的合成显示***，还包括：

音频电路，其耦接至所述处理器电路，所述音频电路配置为提供与图像数据相关联的音频数据，其中，所述处理器电路还配置为将所述音频数据传送至所述便携式电子装置。

34.一种头戴式***，包括：

摄像机，其配置为提供图像数据；

无线接口电路，其配置为将所述图像数据发送给远离所述头戴式***的便携式电子装置；

处理器电路，其耦接至所述摄像机、处理器电路和所述无线接口电路，所述处理器电路配置为经由所述无线接口电路将所述图像数据传送至所述便携式电子装置；

多个位置传感器，其耦接至所述处理器电路，其中，所述多个位置传感器配置为使用六个自由度提供所述头戴式***的位置。

35.根据权利要求34所述的头戴式***，其中，所述多个位置传感器配置为检测用来确定所述***的位置数据的电磁和/或物理信号。

36.根据权利要求35所述的头戴式***，其中，所述多个位置传感器包括摄像机或照相机，所述摄像机或照相机配置为捕捉所述***所在的环境的图像，其中，所述处理器配置为基于所述图像确定所述位置数据。

37.根据权利要求35所述的头戴式***，其中，所述多个位置传感器包括RFID传感器，所述RFID传感器配置为基于无线电信号的三角测量确定所述***的位置。

38.根据权利要求35所述的头戴式***，其中，所述多个位置传感器包括加速度计，所述加速度计配置为基于检测到的所述加速度计的移动确定所述***的定向和/或移动。

39.根据权利要求35所述的头戴式***，还包括：

增强处理器，所述增强处理器配置为响应于提供给所述***的请求和/或数据增强所述***的操作并且配置为返回所述请求/数据的结果。

40.根据权利要求39所述的头戴式***，其中，所述增强处理器配置为响应于来自在所述***外面的独立电子装置的请求/数据进行操作。

41.根据权利要求40所述的头戴式***，其中，所述增强处理器配置为执行与所述请求/数据有关的计算和/或其它操作并且向所述独立电子装置提供响应。