CN103890836B - 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口 - Google Patents

用于头戴式显示器的具有电源管理的蓝牙或其他无线接口 Download PDF

Info

Publication number
CN103890836B
CN103890836B CN201180050791.3A CN201180050791A CN103890836B CN 103890836 B CN103890836 B CN 103890836B CN 201180050791 A CN201180050791 A CN 201180050791A CN 103890836 B CN103890836 B CN 103890836B
Authority
CN
China
Prior art keywords
user input
processor
state
user
peripheral hardwares
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180050791.3A
Other languages
English (en)
Other versions
CN103890836A (zh
Inventor
J·J·雅各布森
C·帕金森
S·A·波姆博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kopin Corp filed Critical Kopin Corp
Publication of CN103890836A publication Critical patent/CN103890836A/zh
Application granted granted Critical
Publication of CN103890836B publication Critical patent/CN103890836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式显示器(HMD)***，该***包括无线前端，该无线前端解释口头命令和/或手部动作和/或身体姿势，以选择性地仅根据需要激活子***组件以执行特定的命令。

Description

用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
相关申请的交叉引用
本申请要求于2010年9月20日提交的美国临时申请号61/384,419以及于2010年9月20日提交的美国临时申请号61/384,543的权益。通过引用将以上一项或多项申请的全部教导结合在此。
技术领域
本公开内容涉及一种头戴式显示器(HMD)***或其他视频眼镜装置，其具有控制其他***组件的激活的无线前端。
背景技术
近期研发的微型显示器可以在非常小的形状因素中提供大幅面、高分辨率的彩色图片和视频流。此类显示器的一个用途是戴在用户脸部或头部的头戴式显示器(HMD)装置，类似一副眼镜或耳机。附装在此类装置中的电子元件已经变得非常复杂，并且现在可以包括集成数据处理器、无线接口及其他输入设备，如头部跟踪加速计、摄像机、语音识别电路和软件及其他组件。
发明内容
在优选的环境中，头戴式显示器(HMD)***包括高分辨率微型显示器、(多个)麦克风和(多个)扬声器、多个辅助接口(如无线接口)、多个无线网络接口、多个摄像机(可见光、红外线等)、多个音频设备、多个键盘、多个游戏控制器设备及其他外设。
无线接口(如蓝牙、WiFi、蜂窝或其他无线接口)成为该***的前端并控制其他***组件何时被激活。当该HMD***第一次接通电源时，它可以例如类似于蓝牙耳机以最小功能起作用，从而只提供扬声器和麦克风的功能。成对的装置(如蓝牙兼容的移动电话(即Apple iPhone或Google Android智能电话))可以在免提模式下用于馈送音频对话并且被馈送音频对话。在此模式下，该HMD***的其他功能保持在休眠模式，直到耳机识别出唤醒其他***组件及功能的口头命令。
例如，当该蓝牙前端用特定的音频组件检测到传入的数据流时，该音频组件被传到体现为电路或软件的语音识别功能。如果该语音识别功能确定该音频组件是向需要视频输出的该***的口头命令，该前端将导致该嵌入式数据处理器开启任何其他***设备，如视频显示器。当不再需要该视频显示器时，该处理器及视频驱动电路被放回睡眠模式。
在另一个示例中，该用户可以说出需要该板载处理器的更复杂功能的命令。例如，该用户可以请求读取今天的“待办”任务清单。该清单可以由如在主计算机上运行的Microsoft Outlook的应用程序生成。执行此命令不仅需要唤醒该嵌入式处理器以访问本地大容量存储设备从而取得该待办清单信息，还需要生成与该口头语言相对应的音频信号的文字至语音电路。
在另一个示例中，该用户可以请求查看作为Microsoft Word文件附在网页邮件消息中的议程文件。这可能需要唤醒该嵌入式处理器，激活该本地微型显示器，并且与外部网络建立连接，例如通过蓝牙、无线局域网(WLAN)电路和/或蜂窝调制解调器电路。然后，这些电路将仅在那时被通电。然后，该嵌入式处理器与主机(如个人计算机)联系，从而检索和显示网络信息。
为了支持此功能，该无线前端其中已包含了表格或其他逻辑，使它不仅能够执行语音至文字的功能，或将姿势转换成文字，然后还能够解释这些语音或姿势命令并咨询一列需要通电的组件以执行这些口头或姿势命令。
附图说明
根据本发明的示例实施例的以下更具体的说明，上述内容将是清楚的，如在这些附图中展示的，其中贯穿这些不同的视图，相同的附图标记是指相同的部分。这些图不一定是按比例绘出，而是着重展示本发明的实施例。
图1是包括微型显示器以及其他***接口的头戴式显示器(HMD)***。
图2是另一个透视图，示出了戴在用户头部的安装了摄像机外设的HMD***。
图3是高层次功能图，示出了该HMD及其作为如个人计算机的主机处理器的控制器的用途。
图4是该HMD组件内部的组件的高层次方框图。
图5是更详细的图，示出了在特定的实施例中使用的电子组件。
图6是高层次流程图，示出了该蓝牙前端如何作为***控制器起作用从而控制其他各种HMD***组件何时变得有效的一个示例。
图7是口头命令、姿势命令或头部动作命令的列表以及该子***的那些被激活的部分。
具体实施方式
下面是对示例实施例的说明。
图1示出了头戴式显示器(HMD)***100，该***通常包括框架1000、条带1002、背部1004、扬声器1006、悬臂或臂1008和微型显示器子组件1010。
HMD 100可以是基于从Massachusetts的Taunton的Kopin Corporation可得的Golden-iTM免提通讯及控制装置。该装置的一侧(特别是与微型显示器子组件1010相对的一侧)可包括“热靴”***端口1020，其如下面进一步解释的可以向配件提供相应的连接，以便用户可以删除各种附装到HMD 100的组件。
图2是戴在用户头部的HMD 100的视图，其中摄像机配件1060已经放置在端口1020中。摄像机1060可以包括音频和视频传感和记录两个能力，并且可以是例如在类似“子弹凸轮”的小外形因素中。如将在下面进一步解释的，该用户提供了用户命令(可以是头部动作或语音命令)来控制显示器1010、摄像机1020的设置并执行其他功能。
该HMD***可以主要作为或者独立个人计算机或者“智能电话”装置和/或作为主机个人计算机或其他装置的远程控制发挥作用。为此目的，包括在该壳体中的是各种电子电路，包括如将要很快理解的微型计算机、一个或多个无线接口、相关联的存储器或其他存储装置、位置、动作和/或姿势传感器。这些摄像机位置、动作和/或姿势传感器被用来跟踪该用户的头部或手部的位置、动作和/或姿势，并且该麦克风接收音频输入命令。
该无线接口使HMD***100能够被用作智能电话本身或用作主机计算装置200(参见图3)的远程控制。例如，主机200可以是膝上计算机、手机、RIM Blackberry、AppleiPhone、Google Android或其他智能电话设备，具有与远程控制HMD***100本身类似或更高的计算复杂性和类似或更大的网络连通性。主机200可以进一步连接到其他网络，如通过广域网(WAN)连接210连接到因特网。HMD***100和主机200通过如由蓝牙链路或无线局域网(WLAN)150所提供的适当的无线连接彼此连接。
如图3所示，HMD***100接收来自该用户的输入，如经由麦克风的语音输入、经由摄像机或其他光学传感器的手部运动和/或经由加速计或其他头部动作跟踪电路的头部动作输入。由***100中的软件(和/或与主机200中的软件合作)把这些内容翻译成装置100和/或主机200***能够识别的命令。如果这些内容是针对HMD***100的命令，它会携带着它们，并且如果它们是针对主机200的命令，它们被通过蓝牙和/或WiFi接口150发送到主机200。然后，主机200按照其自己的操作***/应用软件解释这些已翻译的命令从而执行各种功能。
在这些命令中可能有获取和显示文件的命令。
这些命令可能是接听电话呼叫。
其他的命令可能是检索来自互联网的信息并将其显示，如电子邮件或网页。
其他的命令可能是在虚拟显示器内选择视野，然后向该远程设备返回所选择的屏幕。还应当理解的是，虚拟显示区域的非常大的幅面可能与在主机200上运行的操作***上或内运行的应用软件相关联，因为提供给HMD 100上的显示器1010的各种语音命令和/或头部动作只选择了该视野内该大型虚拟显示区域的一部分。
关于HMD 100响应于检测到语音输入、动作和/或姿势而能够执行的功能的更多信息，在于2010年5月5日提交的标题为“使用动作与语音命令的主机应用程序的远程控制(Remote Control of Host Application Using Motion and Voice Commands)”(序列号12/774,179，代理人案卷号0717.2098-001)以及于2011年2月1日提交的标题为“由动作、身体姿势或声音命令控制的具有可拆卸配件的无线免持式计算耳机(Wireless Hands-FreeComputing Headset with Detachable Accessories Controlled by Motion，BodyGesture，or Vocal Commands)”(序列号13/018,999，代理人案卷号0717.2102-001)的共同未决的美国专利申请中做出了解释，其中每个文件的全部内容通过引用结合在此。
HMD***100可以向摄像机以外的其他配件提供其他功能，如额外的扬声器、额外的摄像机、光源及能够放进热靴1020或自供电电池中的任何其他电子组件。
图4是HMD***100的非限制性示例实施例的简化的高层次方框图。这些组件被集成到如图1中所示的HMD外壳的各种地方中。HMD***100可以包括眼容器(eye pod)组件4000，该组件包括上述微型显示器4010及一个或多个麦克风4020。一个或多个扬声器4030被放置在靠近用户耳朵的壳体听筒中(参见图1中的项1006)。***电子元件可以放在该框架上或该框架中的适当位置(如背部1004)，并且包括开放式媒体应用平台(OMAP)处理器4110、电源/音频同伴芯片4102、显示器驱动器4104、头部***4105、电路板4106及无线LAN/蓝牙接口4108。该壳体中还设置有电源，例如锂离子电池4200。
头部***电路4106可以包括使用霍尔效应传感器、MIM二极管、加速计、陀螺仪和/或变频器检测头部动作和姿势的电路，如沿着或绕着X轴、Y轴和Z轴的横向运动及旋转姿势。
HMD***100还可以从外部输入设备(如无线鼠标、轨迹球或可以通过蓝牙接口4108无线连接的键盘)接收输入。WLAN/BT前端4108、OMAP 4100和/或主机中的软件可以用于解释该摄像机检测到的手势。摄像机板4060可以任选地提供视频输入。
OMAP处理器可包括中央处理单元，以及可能包括非易失性存储器和/或只读存储器(ROM)的片上存储器，诸如随机存取存储器(RAM)。该OMAP可以是由Texas Instruments，Inc.销售并使用了多媒体处理器的Texas Instruments型号OMAP 3530的处理器或更新版本。该OMAP通常是比WLAN/BT接口4108更强大、更耗电的处理器。
在此示例中，也是从Texas Instruments可得的TPS 65950电源/音频同伴芯片向该***提供了音频、USB、键盘控制和电池充电功能。
WLAN/BT接口4108可以是型号LBEE 1W8NEC接口的电路或具有类似或更强能力的更新的无线模块。
该显示器驱动器可以是从Massachusetts的Westborough的Kopin Corporation可得的型号KCD-A 910的显示器驱动器。
也是从Kopin可得的微型显示器4010可以包括型号113LV、152LV、230LV、WQVGA或其他制造商可接受的微型显示器。
NCS模块4400处理所接收的麦克风信号，以提供语音识别功能并向音频同伴芯片4102产生音频信号。
图5是更详细的方框图，示出了图4的各种组件之间的连通性。
从此图中可以更容易地看到，WLAN/BT前端4108可以用作UART接口。它被编程来控制OMAP处理器4100和相应地音频和电源同伴芯片4102的通电或断电状态，以及施加到其他***功能(如摄像机、显示器、WLAN调制解调器等)的电力。
图6是图示了几个示例功能的流程图，其中WLAN/蓝牙前端4108可以控制向其他***组件的通电。图7是示例表，该表可以由前端4108保持以确定何时开启/关闭各种装置的电源，并且应当在下面图6的讨论中进行参考。
在第一示例中，在状态6000下，***组件最初可能是在休眠模式，只启用了蓝牙耳机的功能(例如麦克风4020和扬声器4030)。当HMD***100第一次接通电源时可以进入此状态6000。因此，例如在状态6100，如果发生来电电话呼叫，这些音频输入和输出功能在状态6110保持活跃(例如使麦克风4020处于开启状态并启用扬声器4030)。但在状态6120，OMAP4100、显示器4010、摄像机4060及其他组件保持在休眠模式。呼叫结束时，处理返回到状态6000。
在另一个示例中，从休眠状态6000，该音频电路可检测到特定的用户语音命令，如“读取我的待办清单”。从此状态6200，该OMAP在状态6210下被启用。然后，该OMAP在状态6220可以访问本地存储区域(如SDRAM存储器)来访问与用户的本地任务清单相关联的文件，从而获得当日待办的详细任务清单。该待办清单数据在状态6240(此时该待办清单文字转换成了语音)从OMAP 4100返回该音频接口，并且然后被从耳机100的扬声器中听到。一旦完成此功能便进入状态6500，然后此时该***返回休眠状态6000，此时该***再次只作为蓝牙耳机发挥作用，等待另一个用户命令。
在另一个示例中，在状态6300，用户说出命令指示她希望查看www.NYTimes.com上的New York Times主页。在收到这条命令时，该OMAP在状态6310被启用。WLAN接口被激活，使该OMAP能够向该主处理器发出命令(如结合图3中所描述的)从而获得New York Times主页的HTML内容。在进入状态6330的某一时刻还启用了微型显示器1010，预期该用户希望显示网页。可以用其他方式获取New York Times.com的该HTML网页，例如如果该耳机本身有能力通过板载蓝牙、WLAN电路(WiFi)或通过辅助蜂窝调制解调器访问互联网。无论如何，一旦获得了该内容，然后就在状态6350对其进行格式化并在该微型显示器上显示。在某一时刻，该用户可以发出另一个命令以禁用该显示器(或者该命令可能超时)，在这一时刻再次进入休眠功能6000。
因此，当该蓝牙和/或WiFi前端用用户语音命令检测到传入的音频流时，该蓝牙和/或WiFi电路自动唤醒该OMAP及其他***设备，但只是执行该命令实际必须的那些设备。因此，该蓝牙和/或WiFi前端如以表格或数据库条目的形式保留信息，指示哪些***设备和/或OMAP(如果有的话)需要通电以执行许多不同用户命令中的每一个。
在又一个示例中(参见图7)，该摄像机可以检测用户的手势，并提供输入以控制对***100的特定组件的通电。在此状态下，首先启用了这些音频组件，但检测到口头命令以通过激活至少摄像机4060和OMAP 4100来读取和解释手势。
在另一个示例中，该用户可以把头部运动用作输入。在此模式下，例如当该用户正在使用头部运动平移、缩放或以其他方式导航大幅面虚拟显示区域时，可能只有头部动作跟踪4106及显示器是被启用的相关组件。
这样，该HMD***的功能是通过适当口头命令、姿势命令或来自主计算机的命令控制的，并且是由该蓝牙和/或WiFi接口解释的，仅根据需要唤醒子***电子元件的该部分。当完成该活动后，另一个口头命令或超时可以将该HMD***返回到睡眠模式。此时，该蓝牙和/或WiFi电路回到休眠状态等待外部接触信号，如电话呼叫、另一个语音命令或通过WLAN的计算机接口命令。
在此引用的所有专利、公开申请以及参考文献的教导都通过引用以其全部内容结合在此。
虽然已经参考其示例实施例具体地展示和描述了本发明，但是本领域普通技术人员应当理解的是，在不偏离由所附权利要求所包括的本发明的范围的情况下，其中可以在形式和细节方面进行各种改变。

Claims (17)

1.一种用于控制头戴式显示器(HMD)***的方法，所述***包括微型显示器、用户输入设备、第一处理器以及两个或更多个其他外设，所述方法包括：
通过仅启用所述第一处理器以及所述用户输入设备而进入第一状态；
检测用户输入；
使用所述第一处理器将所述用户输入解释为口头命令或姿势命令；以及
基于所述口头命令或所述姿势命令，通过所述第一处理器发出启用所述两个或更多个其他外设中的所选外设的命令并且所述第一处理器发出禁用其他外设的命令而进入第二状态；
其中所述两个或更多个其他外设包括第二处理器，所述第二处理器被配置为相对于所述第一处理器更耗电。
2.根据权利要求1所述的方法，其中所述两个或更多个其他外设选自下组，所述组由广域网接口、所述第二处理器、显示器、摄像机和头部动作***构成。
3.根据权利要求1所述的方法，其中所述用户输入是用于访问文件的所述口头命令，并且在所述第二状态中向所述第二处理器和所述微型显示器施加电力，然后显示所述文件。
4.根据权利要求3所述的方法，其中所述用户输入是用于访问网页的所述口头命令，并且所述第二状态进一步使无线接口能够连接到网络以获取所述网页。
5.根据权利要求1所述的方法，其中所述两个或更多个其他外设包括在所述第一状态被启用的摄像机和所述第二处理器，所述用户输入是手势，并且所述第二处理器在进入所述第二状态前解释所述手势。
6.根据权利要求1所述的方法，其中所述两个或更多个其他外设包括无线接口，并且所述第二状态通过所述无线接口将所述用户输入发送到主机。
7.根据权利要求1所述的方法，其中所述用户输入是用于操纵所述显示器的一个方面的请求，并且所述第二状态修改所述显示器上的信息呈现。
8.一种便携式耳机装置，包括：
微型显示器，用于显示视觉信息；
用户输入设备，提供用户输入；
两个或更多个其他外设，提供一个或多个外设输入信号，所述一个或多个外设输入信号指示传感器输入或者来自用户的用户动作和/或来自所述用户的声音输入中的至少一个，其中所述两个或更多个其他外设在第一状态被禁用；
第一处理器，被配置为将所述用户输入翻译成一个或多个检测到的命令，仅所述第一处理器以及所述用户输入设备在所述第一状态被启用；以及
处理器控制器，用于基于所述一个或多个检测到的命令选择性地启用和/或禁用所述微型显示器以及所述两个或更多个其他外设中的一个或多个外设；
其中所述两个或更多个其他外设包括第二处理器，所述第二处理器被配置为相对于所述第一处理器更耗电。
9.根据权利要求8所述的装置，其中所述一个或多个外设包括：
一个或多个麦克风，用于从所述用户接收音频信号，并且
其中所述第一处理器进一步包括：
语音识别器，用于处理音频信号以检测声音命令。
10.根据权利要求8所述的装置，其中所述一个或多个外设是动作检测器，并且所述动作检测器提供两个或更多个动作输入，所述两个或更多个动作输入指示沿两个或更多个轴的所述用户动作。
11.根据权利要求10所述的装置，其中所述动作检测器是用于检测所述用户的手部和/或身体姿势运动的摄像机。
12.根据权利要求10所述的装置，其中所述动作检测是用于检测所述用户的头部运动的头部运动跟踪设备。
13.根据权利要求8所述的装置，其中所述两个或更多个其他外设进一步包括通信接口，所述通信接口在所述便携式耳机装置与另一个数据处理设备之间提供一个或多个无线链路。
14.根据权利要求8所述的装置，其中所述用户输入由所述第一处理器处理以控制所述微型显示器上视觉信息的呈现的多个方面。
15.根据权利要求14所述的装置，其中所述用户输入控制视野。
16.根据权利要求15所述的装置，其中所述用户输入控制缩放因子、平移因子或比例因子。
17.根据权利要求14所述的装置，其中所述用户输入在网页显示中选择超链接项。
CN201180050791.3A 2010-09-20 2011-09-15 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口 Active CN103890836B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38441910P 2010-09-20 2010-09-20
US38454310P 2010-09-20 2010-09-20
US61/384,419 2010-09-20
US61/384,543 2010-09-20
PCT/US2011/051760 WO2012040030A2 (en) 2010-09-20 2011-09-15 Bluetooth or other wireless interface with power management for head mounted display

Publications (2)

Publication Number Publication Date
CN103890836A CN103890836A (zh) 2014-06-25
CN103890836B true CN103890836B (zh) 2017-03-15

Family

ID=45874290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180050791.3A Active CN103890836B (zh) 2010-09-20 2011-09-15 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口

Country Status (4)

Country Link
EP (1) EP2617202A4 (zh)
JP (1) JP5974008B2 (zh)
CN (1) CN103890836B (zh)
WO (1) WO2012040030A2 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9851787B2 (en) 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
WO2015179877A2 (en) * 2014-05-19 2015-11-26 Osterhout Group, Inc. External user interface for head worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
CN104615243A (zh) * 2015-01-15 2015-05-13 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互***及多通道交互方法
US9933995B2 (en) * 2015-01-25 2018-04-03 Harman International Industries, Incorporated Headphones with integral image display
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3104252B1 (en) * 2015-06-09 2020-11-11 Nokia Technologies Oy Transition of a head mounted display from operation in a first power mode to operation in a second power mode
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
CN105797366A (zh) * 2016-03-25 2016-07-27 中国传媒大学 一种基于声源定位的头戴式交互音频游戏终端
DE102016207009A1 (de) * 2016-04-26 2017-10-26 Krones Aktiengesellschaft Bediensystem für eine Maschine der Lebensmittelindustrie, insbesondere der Getränkemittelindustrie
TWI599966B (zh) * 2016-05-10 2017-09-21 H P B Optoelectronic Co Ltd 手勢控制模組化系統
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10312631A (ja) * 1997-05-14 1998-11-24 Nec Niigata Ltd 音声再生装置と情報処理装置
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
JP2003514261A (ja) * 1999-11-09 2003-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターネットページのハイパーリンクを作動させる音声認識方法
US7899915B2 (en) * 2002-05-10 2011-03-01 Richard Reisman Method and apparatus for browsing using multiple coordinated device sets
JP3988632B2 (ja) 2002-11-28 2007-10-10 日本電気株式会社 眼鏡型ディスプレイの制御方法
JP2004349915A (ja) * 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP4364861B2 (ja) * 2005-11-01 2009-11-18 株式会社ソニー・コンピュータエンタテインメント 情報表示装置
JP2008054085A (ja) * 2006-08-25 2008-03-06 Hitachi Ltd 放送受信装置及びその起動方法
US8386259B2 (en) * 2006-12-28 2013-02-26 Intel Corporation Voice interface to NFC applications
KR101441873B1 (ko) * 2007-01-12 2014-11-04 코핀 코포레이션 헤드 장착 단안식 디스플레이 장치
CA2685947A1 (en) * 2007-05-14 2008-11-27 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
US8150699B2 (en) * 2007-05-17 2012-04-03 Redstart Systems, Inc. Systems and methods of a structured grammar for a speech recognition command system
IL183637A (en) * 2007-06-04 2013-06-27 Zvi Lapidot Head display system
WO2009054619A2 (en) * 2007-10-22 2009-04-30 Moon Key Lee Augmented reality computer device
JP5217386B2 (ja) * 2007-11-21 2013-06-19 株式会社ニコン 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US8416152B2 (en) * 2008-06-11 2013-04-09 Honeywell International Inc. Method and system for operating a near-to-eye display
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法

Also Published As

Publication number Publication date
EP2617202A2 (en) 2013-07-24
JP2014503085A (ja) 2014-02-06
JP5974008B2 (ja) 2016-08-23
CN103890836A (zh) 2014-06-25
EP2617202A4 (en) 2015-01-21
WO2012040030A3 (en) 2014-03-27
WO2012040030A2 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
CN103890836B (zh) 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
US8736516B2 (en) Bluetooth or other wireless interface with power management for head mounted display
KR102411124B1 (ko) 전자 장치 및 전자 장치에서 외부 장치를 이용한 태스크 수행 방법
US10229565B2 (en) Method for producing haptic signal and electronic device supporting the same
CN103180800B (zh) 使用动作及语音命令的主机应用程序的高级远程控制
CN109154858B (zh) 智能电子设备及其操作方法
US8862186B2 (en) Lapel microphone micro-display system incorporating mobile information access system
CN107643921A (zh) 用于激活语音助手的设备、方法和计算机可读存储介质
CN110058777A (zh) 快捷功能启动的方法及电子设备
US9329661B2 (en) Information processing method and electronic device
CN111524501B (zh) 语音播放方法、装置、计算机设备及计算机可读存储介质
CN110827820B (zh) 语音唤醒方法、装置、设备、计算机存储介质及车辆
CN105940371A (zh) 用户可配置的话音命令
KR102391298B1 (ko) 음성 인식 서비스를 제공하는 전자 장치 및 그 방법
KR102546510B1 (ko) 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치
KR20190032026A (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
US20200075008A1 (en) Voice data processing method and electronic device for supporting same
CN108694032A (zh) 使用外部设备的画面输出方法和用于支持其的电子设备
CN111341317B (zh) 唤醒音频数据的评价方法、装置、电子设备及介质
KR101727900B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR20110133295A (ko) 휴대 단말기 및 그 동작방법
CN110989963B (zh) 唤醒词推荐方法及装置、存储介质
CN109478131A (zh) 音频输入输出方法和终端设备
CN114360538A (zh) 语音数据的采集方法、装置、设备及计算机可读存储介质
CN114299945A (zh) 语音信号的识别方法、装置、电子设备、存储介质及产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant