JP2013541092A - 動きおよび音声コマンドを用いたホストアプリケーションの高度なリモートコントロール - Google Patents

Abstract

【課題】手、身体、頭部動作またはジェスチャおよび音声コマンドを使用して、ローカルのプロセッサまたはホストコンピュータとの相互作用を制御するヘッドマウントマイクロディスプレイデバイスを提供する。
【解決手段】ローカルのプロセッサから受信した視覚情報を表示するマイクロディスプレイと、ユーザの身体部分の物理的動きを検出する動き検出器であって、動きまたはジェスチャの入力を提供する、動き検出器とを備え、ローカルのプロセッサは当該手持ち式のデバイス内に位置し、さらに、動きまたはジェスチャの入力を受信するトランシーバと、動きまたはジェスチャの入力をユーザコマンドに変換する変換器と、可能な動きまたはジェスチャの入力に応じた情報オーバーレイを生成するオーバーレイと、情報オーバーレイを含む、前記マイクロディスプレイ上に表示される情報を転送するディスプレイコントローラとを備える。
【選択図】図６

Description

関連出願の相互参照
本願は、２０１０年９月２０日に出願された米国仮特許出願第６１／３８４，５８６号の利益を主張する。上記出願の全教示は、参照により本明細書に組み込まれる。

本願は、人間／コンピュータインターフェースに関し、より具体的には、音声コマンドを受け入れ、手のジェスチャおよび／または頭部動作を追跡し、ローカルでまたはリモートホストコンピュータ上で実行するものなどのソフトウェアに入力を提供するデバイスに関する。

大量の高解像度のコンピュータグラフィック情報、さらには映像コンテンツの格納および表示が可能な小型の携帯電子デバイスは、ますます人気が高まりつつある。Ａｐｐｌｅ ｉＰｈｏｎｅ（商標）およびＧｏｏｇｌｅ Ａｎｄｒｏｉｄ（商標）フォンなどのこれらのスマートフォンデバイスは、携帯電話、携帯コンピュータおよびデジタルメディアプレーヤ同士の集合へ向かう著しい傾向を表す（ｉＰｈｏｎｅは、カリフォルニア州クパチーノ（Ｃｕｐｅｒｔｉｎｏ）に所在するＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ，Ｉｎｃ．の商標であり、Ａｎｄｒｏｉｄは、カリフォルニア州マウンテン・ビュー（Ｍｏｕｎｔａｉｎ Ｖｉｅｗ）に所在するＧｏｏｇｌｅ，Ｉｎｃ．の商標である）。これらのデバイスは通常表示画面を含むが、高解像度の大フォーマットのディスプレイの視覚経験は、それらの物理的なサイズ制限のため、そのようなデバイスでの再現が容易ではない。

その結果、消費者は、現在、それらのハンドヘルドのデバイスを増強するための高品質の携帯用のカラーディスプレイを求めている。そのようなデバイスの１つは、眼鏡またはヘッドホンと同様にユーザの顔または頭の近くに着用するヘッドマウント眼鏡型デバイスである。これらのデバイスは、小型の高解像度のマイクロディスプレイと、画像を拡大するためのレンズとを含む。ワイヤレスインターフェースは、そのようなデバイスに優れた利便性および移動性を提供する。マイクロディスプレイは、スーパービデオグラフィックスアレイ（ＳＶＧＡ）（８００×６００）解像度、さらには、拡張グラフィックスアレイ（ＸＧＡ）（１０２４×７６８）またはそれ以上の解像度を提供することができる。そのようなディスプレイに関する詳しい情報については、それぞれの全内容が参照により本明細書に組み込まれる、２００９年１月５日に出願された「Ｍｏｂｉｌｅ Ｗｉｒｅｌｅｓｓ Ｄｉｓｐｌａｙ Ｓｏｆｔｗａｒｅ Ｐｌａｔｆｏｒｍ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｏｔｈｅｒ Ｓｙｓｔｅｍｓ ａｎｄ Ｄｅｖｉｃｅｓ」と称する同時係属中の米国特許出願第１２／３４８，６４８号および２００９年３月２７日に出願された「Ｈａｎｄｈｅｌｄ Ｗｉｒｅｌｅｓｓ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅｓ Ｈａｖｉｎｇ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｄｉｓｐｌａｙ Ｓｕｉｔａｂｌｅ ｆｏｒ Ｕｓｅ ａｓ Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ」と称するＰＣＴ国際出願第ＰＣＴ／ＵＳ０９／３８６０１号を参照されたい。

携帯パーソナルコンピュータは、マイクロディスプレイと、頭部動作、手の動きおよび／またはジェスチャなどの動作を検出するための頭部追跡加速度計、ジャイロまたはカメラなどの入力デバイスと、音声コマンドを検出するための音声処理回路とを有する。これらの組み合わされた入力は、デバイス自体でおよび／またはリモートホストプロセッサ上で実行しているオペレーティングシステムおよび／またはアプリケーションの制御を提供する。

ヘッドマウントディスプレイ（ＨＭＤ）デバイスは、マイクロディスプレイを含む。一実施形態では、ローカルのプロセッサから受信した視覚情報を表示するための動き検出器は、ユーザの頭部および／または身体部分の物理的動作を検出し、動きまたはジェスチャの入力を提供する。マイクロホンは、ローカルのプロセッサによって音声コマンドとして解釈される音声信号を提供する。ローカルのプロセッサは、単語、グラフィックスまたは他のユーザプロンプトをマイクロディスプレイ上にオーバーレイし、あるコマンドを起動する動き／ジェスチャ／音声入力を示す。

プロセッサは、音声、動き、ジェスチャの入力またはそれらの組合せをユーザコマンドに変換する。次いで、ユーザコマンドをオペレーティングシステムまたはアプリケーションプログラムによって解釈し、マイクロディスプレイ上に表示された情報のアスペクトを変化させる。これには、ユーザコマンドを処理したローカルのプロセッサの視覚または音声の確認が含まれてもよい。

前述は、異なる図面を通して同様の参照符号は同じ部分を示す添付の図面に示されるとおり、例示的な実施形態の以下のより具体的な説明から明らかになるであろう。図面は必ずしも原寸に比例するとは限らず、その代わり、実施形態の例示に重点を置く。

ヘッドマウントディスプレイ（ＨＭＤ）デバイスと、手のジェスチャおよび／または頭部動作を使用してローカルまたはリモートコンピュータの動作を制御する人物とを示す高レベルの図である。 頭部ストラップを使用する一実施形態の図である。 任意選択のカメラ要素を示す図である。 デバイスと、ホストへの随意的な接続とを示す高レベルのブロック図であり、どのように音声、手のジェスチャおよび頭部運動追跡コマンドを変換するかを示す図である。 ＨＭＤデバイスのコンポーネントのより詳細な図である。 Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）デスクトップ上などの例示的なソフトウェアオーバーレイであり、利用可能な頭部動作および音声コマンドをユーザに示す図である。 １つまたは複数のオペレーティングシステムサービスによって実行される一連の機能である。 サービスによって維持される例示的なテーブルである。 例示的なスクロールリストである。 ユーザが頭部運動および音声入力を用いて複数のデスクトップから選択している場面を示す。

例示的な実施形態の説明を以下に示す。

図１は、以下で説明される高解像度（ＶＧＡまたはそれより優れた）マイクロディスプレイ要素および他の特徴を組み込むワイヤレスコンピューティングのヘッドセットマウントデバイス（ＨＭＤ）１００（眼鏡型映像表示デバイス１００とも呼ばれる）を示す。ＨＭＤデバイス１００は、通常、マイクロコンピュータ（シングルまたはマルチコア）を含む多くの異なるタイプの集積回路、１つもしくは複数のワイヤレスインターフェース、関連メモリもしくは他の記憶装置、１つもしくは複数のカメラ（光センサ）および／またはさまざまなセンサを含む。これらのセンサは、１つまたは複数のマイクロホン入力およびスピーカ出力などの音声入力および／または出力デバイスを含んでもよい。センサは、地理的位置を検出する３軸〜９軸の自由度の方向センサ（デジタル磁力計など）、大気センサ、健康状態センサ、ＧＰＳ、デジタルコンパス、圧力センサ、環境センサ、エネルギーセンサ、加速、位置、姿勢、運動、速度もしくは光のセンサ、カメラ（可視光、赤外線など）を含んでもよい。さらに、追加のワイヤレス無線機、補助照明、距離計もしくは同様のものおよび／またはセンサアレイなどの回路をデバイスに組み込むか、および／または、デバイスに取り付けることができる。また、ＨＭＤ １００内には、通常、カメラまたは追加のセンサなどの付随的なアクセサリを装着するための「ホットシュー」（図１では図示せず）などの１つまたは複数の周辺機器装着具が位置する。カメラ、動きセンサおよび／またはセンサは、少なくとも第１の軸１１１（水平）における、しかし好ましくは、第２の軸（垂直）１１２、第３の軸（深さ）１１３、第４の軸（ピッチ）１１４、第５の軸（ロール）１１５および第６の軸（ヨーイング）１１６における、ユーザの頭部、手および／または身体の動きおよび／または位置の追跡に使用される。

デバイス１００は、さまざまな方法で使用することができる。デバイス１００は、ブルートゥース（登録商標）、ＷｉＦｉ、セルラ、ＬＴＥ、ＷｉＭａｘまたは他のワイヤレス無線などの短距離および／または長距離ワイヤレスリンク１５０を通じて外部のコンピュータおよびネットワークへの完全な接続性を有する、完全に含まれた頭部装着用の完全に機能する携帯パーソナルコンピュータ／スマートフォンとして使用することができる。

また、デバイス１００は、リモートホストコンピュータ２００によって提供されるストリーミング映像信号用のリモートディスプレイとして使用することもできる。ホスト２００は、例えば、眼鏡型映像表示デバイス１００自体に比べて、より小さいまたはより大きい演算複雑性を有するラップトップ、携帯電話、Ｂｌａｃｋｂｅｒｒｙ、ｉＰｈｏｎｅ（商標）または他のコンピューティングデバイスであってもよい。ホスト２００は、次に、表示すべき情報をデバイス１００に提供する。デバイス１００とホスト２００は、ブルートゥース（登録商標）、ＷｉＦｉ、セルラ、ＬＴＥ、ＷｉＭａｘまたは他のワイヤレス無線リンク１５０によって提供されるような１つまたは複数の好適なワイヤレス接続を介して接続される。ホスト２００自体は、インターネット２１０への有線または無線接続を通じてなど、他のネットワークにさらに接続されてもよい。

また、デバイス１００は、ホスト２００用のリモートコントロールとして使用することもできる。

ＨＭＤ １００に組み込まれるさまざまな音声入力デバイスおよび動きセンサおよび／またはカメラにより、ユーザは、デバイス１００内に限定されたプロセッサによっておよび／またはホスト２００内のプロセッによって提供される、仮想ディスプレイ４００によって定義されるはるかに大きなエリア内で視野３００を選択することができる。例えば、ユーザは、通常、頭部動作、手の動作もしくは身体ジェスチャ、または、音声入力などの方法を使用して、はるかに大きな仮想ディスプレイエリア４００の視野３００の位置、範囲（例えば、Ｘ−Ｙまたは３Ｄ範囲）および／または倍率を制御することができる。したがって、ワイヤレスコンピューティングヘッドセットデバイス１００は、これらの周辺機器からの入力に応答し、それらを処理して、例えば、視野３００のパン（移動）、ズーム変更を行ったり、視野３００の位置、範囲（例えば、Ｘ−Ｙまたは３Ｄ範囲）および／または倍率などの仮想ディスプレイ４００の他のアスペクトを制御したりすることができる。

以下でより完全に説明されるように、音声、動きおよびジェスチャの入力は、マイクロディスプレイ上の情報のプレゼンテーションのさらなるアスペクト、さらにはどの情報を表示するかを制御することもできる。

図１に示されるのは、ユーザの顔面上に片持ちブームで支持される単一の固定ディスプレイ要素を提示する単眼マイクロディスプレイであるが、さまざまな眼鏡型映像表示デバイス１００用の他の機械的な構成が可能であることを理解されたい。

図２は、より詳細なＨＭＤデバイス１００を示す斜視図である。デバイス１００は、一般に、フレーム１０００、ストラップ１００２、後部１００４、スピーカ１００６、カンチレバまたはアーム１００８およびマイクロディスプレイサブアセンブリ１０１０を含む。デバイス１００の片側、すなわち、片持ちアーム１００８の反対側は、周辺ポート１０２０である。周辺ポート１０２０は、対応する接続を１つまたは複数の周辺デバイスに提供し、その結果、ユーザは、さまざまなアクセサリをデバイス１００に着脱可能に取り付けることができる。例示的なポート１０２０は、ホットシューなどの機械および電気アクセサリ装着具を提供する。配線は、ポート１０２０から、例えば、後部１００４を通じて、その中に配置される回路へ電気信号を搬送する。ホットシュー１０２０は、カメラ上のホットシューによく似た方法で動作することができ、アクセサリに給電するため、ならびに、デバイス１００の残りの部分の周辺スピーカ１０３１と信号搬送をやりとりするための接続を自動的に提供する。したがって、さまざまなタイプのアクセサリをポート１０２０で使用し、マイクロホン、位置、方向または以前に説明された他のセンサ、カメラおよび同様のものなどであるがこれらに限定されないシステムに、手の動作、頭部動作およびまたは音声入力を提供することができる。

図２Ｂは、ユーザの頭部に着用されたＨＭＤデバイス１００の図であり、アクセサリ１０６０がホットシューポート１０２０に設置されている。このアクセサリ１０６０は、埋め込み型のカメラ（または、他の動きセンサ）アセンブリである。カメラ１０６０は、「弾丸カム」と同様の音声および映像の検知および記録機能の両方をパッケージ内に含むことができる。カメラ１０６０は、デバイス１００の残りのコンポーネントと、後部１００４の内蔵配線を介して接続することも（以前に説明されたスピーカの場合のように）、ブルートゥース（登録商標）（商標）またはＷｉＦｉ（商標）接続を介して無線接続することもできる。カメラ１０６０は、必ずしも映像カメラでなければならないわけではなく、赤外線、紫外線または他の波長も検出することができる。また、カメラ１０６０は、ユーザが調整可能な補助光源も含むことができる。光源を用いることで、カメラ１０６０は、カメラ部分を起動することなく、所望に応じて懐中電灯としても使用することができる。

カメラ、動き追跡およびデバイス１００への音声入力は、さまざまな方法でユーザコマンドとして解釈され、ローカルのプロセッサ、マイクロディスプレイまたは外部のホスト２００の動作を制御する。

また、頭部動作追跡および／またはボーカルコマンド（音声コマンド）は、ユーザ１０５０が提供し、カメラ１０６０の設定を操作することも可能である。例えば、「ズーム」または「パン」などのユーザボーカルコマンドは、ローカルのプロセッサで認識することができ、カメラ１０６０のズームインまたは望遠を行うことができる。

また、カメラ１０６０は、３軸〜９軸の自由度の位置センサの活用による内蔵画像安定化システムおよび／または動作追跡ソリューションを有してもよく、その結果、デバイス１００または付属の周辺デバイス内のソフトウェアは、検出動作を介して受信映像の小さな振動、頭部動作または小さなカメラ動作（特に、カメラ画像を拡大する際）を修正することができる。この構成では、デバイス１００は、カメラ１０６０単独で実際に捕捉されたものよりも高いフレームレートで動作することもできる。そのようなカメラ１０６０周辺機器には、多くの応用が存在する。例えば、カメラ１０６０を老人の頭部に設置することができ、デバイス１００は、年齢とともに通常増加する自然な人間の持続性の震えに起因するそれらの頭部動作の振動を認識して修正することができる。これにより、ユーザがデバイス１００上のマイクロディスプレイを閲覧する場合のカーソル動作の精度、または、舗装されていない道路などの粗い表面上、悪天候の中もしくは厳しい環境で移動車両もしくは乗り物に乗る際にデバイス１００を使用する場合の修正動作をし易くすることができ、振動に対するディスプレイ１０１０上の表示を修正することができ、この場合もやはり、カーソル動作のより十分な制御を提供することができる。

図３は、より詳細なＨＭＤ １００と、随意的なホスト２００と、それらの間を移動するデータとを示すブロック図である。ＨＭＤ １００は、マイクロホンを介しての音声信号入力、位置および方向センサ、カメラもしくは光センサを介しての手の動作もしくは身体ジェスチャ、ならびに、３軸〜９軸の自由度の方向センサなどの頭部追跡回路を介しての頭部動作入力を受信する。これらは、デバイス１００に限定されたプロセッサ（ローカルプロセッサ）内のソフトウェアによって、キーボードおよび／またはマウスコマンドに変換される。次いで、これらのコマンドは、ＨＭＤ １００の内部のプロセッサによって解釈され、マイクロディスプレイ上の情報のプレゼンテーション（表示）のアスペクトを制御することができる。また、コマンドは、ブルートゥース（登録商標）または他の無線インターフェース１５０上でホスト２００に送信することもできる。次いで、ホスト２００は、それ自体のオペレーティングシステム／アプリケーションソフトウェアに従って、これらの変換されたコマンドを解釈し、さまざまな機能を実行するか、かつ／または、デバイス１００に情報を返信する。

ローカルのプロセッサおよび／またはリモートホスト２００上で実行することができるコマンドのうちの１つは、仮想ディスプレイ内で視野３００を選択するものである。したがって、極大フォーマットである仮想ディスプレイエリアは、ＨＭＤ １００上またはホスト２００上で実行しているオペレーティングシステムまたはアプリケーションソフトウェアに関連付けられてもよいことを理解されたい。しかし、音声、手のジェスチャまたは頭部運動コマンドによって選択されると、視野３００内の、その大きな仮想ディスプレイエリアの一部のみが、リモートコントロールディスプレイデバイス１００に返信され、リモートコントロールディスプレイデバイス１００によって実際に表示される。

例えば、仮想ディスプレイエリアは、米国の詳細な地図を含んでもよい。ユーザは、初めは、解像度は低いが、マイクロディスプレイ上で米国の全地域を閲覧することができる。視野は、初めは、ＫａｎｓａｓのＬａｗｒｅｎｃｅなどの中心の位置に低倍率で配置される可能性がある。次いで、ユーザは、頭部を動かすかまたは手のジェスチャを行い、ＷａｓｈｉｎｇｔｏｎのＳｅａｔｔｌｅなどの特定の関心を有する地域をいくらか詳細に閲覧する。手のジェスチャは、対角状に線を引くような動きであってもよい。頭部動作は、左方、次いで上方への動作であってもよく、または、関心を有する新しい地域への対角状の直線動作であってもよい。「ズームイン」などの対応するボーカルコマンドを用いると、マイクロディスプレイ上でＳｅａｔｔｌｅ周辺の地域をより詳細に閲覧できるように、提示された仮想ディスプレイエリアがズームインされる。

図４は、ＨＭＤシステム１００の非限定的で例示的な実施形態の簡略化された高レベルのブロック図である。システムの電子機器は、フレーム上またはフレーム内の適切な位置（後部１００４など）に設置することができ、ローカルのプロセッサとしてのＯｐｅｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｐｌａｔｆｏｒｍ（ＯＭＡＰ）４１１０、出力／音声コンパニオンチップ４１０２、ディスプレイドライバ４１０４、頭部追跡回路基板４１０６およびワイヤレスＬＡＮ／ブルートゥース（登録商標）インターフェース４１０８を含む。また、ハウジング内には、リチウムイオン電池４２００などの電源も位置する。

また、ＨＭＤデバイス１００は、アイポッド（登録商標）アセンブリ４０００を含んでもよく、アイポッド（登録商標）アセンブリ４０００は、前述のマイクロディスプレイ４０１０（例えば、図２Ａのマイクロディスプレイ１０１０およびブーム１００８）と、１つまたは複数のマイクロホン４０２０とを含む。１つまたは複数のスピーカ４０３０は、ユーザの耳の近くのＨＭＤハウジングイヤホン内に配置される（図２Ａのアイテム１００６）。頭部追跡回路４１０６は、ホール効果センサ、ＭＩＭダイオード、加速度計、ジャイロおよび／もしくはトランスデューサまたは上述の他のセンサを使用して、Ｘ、ＹおよびＺ軸に沿った横方向の動作およびＸ、ＹおよびＺ軸の周りの回転ジェスチャなどの、デバイス１００内のセンサによって検出された頭部動作およびジェスチャを判断する回路を含んでもよい。

また、ＨＭＤシステム１００は、ブルートゥース（登録商標）インターフェース４１０８を通じて無線接続することができるワイヤレスマウス、トラックボールまたはキーボードなどの外部の入力デバイスから入力を受信することができる。

ＷＬＡＮ／ＢＴフロントエンド４１０８、ＯＭＡＰ ４１００および／またはホスト２００内のソフトウェアを使用して、カメラまたは他のセンサによって検出された手のジェスチャを解釈することができる。カメラ基板４０６０は、随意的に映像入力も提供してもよい。

ＯＭＡＰプロセッサ４１００は、中央演算処理装置と、不揮発性メモリを含むことができるランダムアクセスメモリ（ＲＡＭ）および／または読み取り専用メモリ（ＲＯＭ）などのオンチップメモリとを含んでもよい。ＯＭＡＰは、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓモデルのＯＭＡＰ３５３０プロセッサまたはＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ，Ｉｎｃ．が販売するマルチメディアプロセッサを使用したより新しいバージョンであってもよい。ＯＭＡＰ ４１００は、通常、特定のバージョンのＭｉｃｒｏＳｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）の動作など、組み込まれたシステムを実行することができる。一般に、ＯＭＡＰ ４１００は、ＷＬＡＮ／ＢＴインターフェース４１０８より強力で、より多くの電力を消費するプロセッサである。

この例では、ＴＰＳ６５９５０出力／音声コンパニオンチップもまた、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能であり、音声、ＵＳＢ、キーパッド制御およびバッテリ充電機能をシステムに提供する。

ＷＬＡＮ／ＢＴインターフェース４１０８は、モデルＬＢＥＥ １Ｗ８ ＮＥＣインターフェース回路、英国ケンブリッジ（Ｃａｍｂｒｉｄｇｅ）に所在するＣＤＲ Ｌｔｄ．から入手可能なブルートゥース（登録商標）回路または同様のもしくはそれ以上の能力を備えた他の無線モジュールであってもよい。

ディスプレイドライバは、マサチューセッツ州ウェストボロー（Ｗｅｓｔｂｏｒｏｕｇｈ）に所在するＫｏｐｉｎ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なモデルＫＣＤ−Ａ９１０ディスプレイドライバであってもよい。

マイクロディスプレイ４０１０もまた、Ｋｏｐｉｎから入手可能であり、モデル１１３ＬＶ、１５２ＬＶ、２３０ＬＶ、ＷＱＶＧＡ、または、他の製造業者が容認可能なマイクロディスプレイを含んでもよい。

ＮＣＳモジュール４４００は、受信したマイクロホン信号を処理し、音声認識機能を提供し、音声コンパニオンチップ４１０２に音声信号を生成し、そこから、ＯＭＡＰプロセッサ４１００に音声信号を生成する。

一実施形態では、ＯＭＡＰプロセッサ４１００は、「左目」または「右目」の方向のいずれかで実行するように設計される。標準構成が「右目」での実行であれば、左目を使用して実行している場合、ソフトウェアは、ここで表示画面が物理的に１８０度回転されることを考慮に入れなければならない。これは、ソフトウェアが「上下逆」でも実行できなければならないことを意味する。画面は、口頭でのコマンドまたはマウスクリックで、上下逆に手動で「反転」できる場合がある。あるいは、ハードウェア信号を生成して、プロセッサが画面反転を検出できるようにすることができ、それにより、ソフトウェアでも同じことを引き起こすことができる（すなわち、ハードウェアジャイロスコープ、加速度計またはスイッチなど）。

図５は、ＨＭＤ １００の一部として実装された特徴の１つを示す。ここで、ＨＭＤデバイスは、ユーザへの情報のプレゼンテーション（表示）にソフトウェアオーバーレイを設ける。画面上のアイコン、ボタン、スライダ、ドロップダウンリストまたは他のオブジェクトで示された動作の開始に必要な口頭でのコマンド、手のジェスチャまたは頭部動作に関連するグラフィック像および／またはテキストを、オーバーレイは追加する。

これらのオーバーレイは、ユーザのＷｉｎｄｏｗｓ（登録商標）デスクトップ上のアイコンの隣の四角いブロック内にテキストで示される。したがって、この例では、オーバーレイは、「Ｅｘｃｅｌ」または「Ｗｏｒｄ」などの口頭でのコマンドが、対応するＭｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ（登録商標）プログラムを起動することをユーザに示す。手を振るジェスチャは、Ａｄｏｂｅ Ａｃｒｏｂａｔ（登録商標）プログラムを起動する。頭部を上方へ傾けるジェスチャと手を振るジェスチャの組合せは、「新しい」ドキュメントフォルダを開く。図５は、ほんの一例であり、さまざまなアプリケーションプログラム、メニュー、ダイアログボックス、スクロールリスト、オペレーションシステムデスクトップ／コマンド、または、システムがユーザキーボードまたはマウスジェスチャもしくはコマンドを捕捉する他の場所にオーバーレイを適用できることを理解されたい。

成功したコマンド認識に対し、ＨＭＤデバイス１００は、音声サンプル（ビープ音）を再生して、成功した認識をユーザに示すことができる。また、デバイス１００は、短時間の間（１秒）、認識された単語を画面の中央に表示することもでき、この場合もやはり、述べられたものをＨＭＤデバイス１００が適正に認識したというフィードバックをユーザに提供することができる。

ここで、図６および図７に関連して、これらのオーバーレイ特徴の例示的な実装形態を説明する。ソフトウェアオーバーレイは、例えば、ＯＭＡＰプロセッサ４１００上で実行しているＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）の組み込みオペレーティングシステム下で実行する１つまたは複数のユーザインターフェースサービスとして実装することができる。サービスは、図６に示されるとおり、多くの機能を提供する。第１の工程６１００は、ユーザのデスクトップの状態についての問い合わせを行い、表示されているいかなるアイコンも特定する工程である。次に、６１０２では、表示されているアイコンに関連するオーバーレイテキストを特定する。この状態６１０２の一部として、図７に示されるものなどのテーブルを参照することができる。テーブルは、最も左の列に示されるようなアイコンをオーバーレイテキストと関連付ける。配置されているいかなるオーバーレイテキストに対しても、状態６１０４では、デスクトップ上に関連アイコンのそれぞれに隣接してアイコンオーバーレイを生成する。

状態６１０６では、サービスは、次いで、任意の、音声、ジェスチャまたは動きの入力の検出を待つ。次いで、さらにまた６１０８では、これらの検出された入力が、テーブルで見分けられる。次に、６１１０では、検出された入力に関連する動作（アクション）を起動するか、または、他の動作を行う。

例えば、デスクトップ上で「新しいフォルダ」とラベル付けされたフォルダを検出する場合、そのようなアイコンの隣にオーバーレイテキスト「傾ける＋手を振る」が表示される。次いで、サービスは、頭部追跡器による運動およびジェスチャ検出器によって検出される手を振る運動の組合せの検出を待つ。この検出が生じた時点で、新しいフォルダを開く、すなわち、デスクトップ上のアイコンを起動する動作が行われる。

オーバーレイテキストおよび／またはアイコンがデスクトップに関連付けられているか（デスクトップ上に表示されているか）どうかにかかわらず、動作を行えることを理解されたい。図７のテーブルに示されるように、一例として、口頭での「ウィンドウを閉じる」コマンドを検出し、それにより、アクティブウィンドウを閉じる動作を起こすことができる。

別の例では、頭部追跡器によって検出された上方への頭部動きは、スクロールバーを上方方向にスクロールさせることができる。

ハンドスワイプなどの別の動作は、一連のデスクトップにおいて次のデスクトップを選択させることができる。

同様の動作を行い、図７のテーブルをプログラムすることで、他の特徴を実装することができる。一特徴は、メニューコマンドが完了した後に、ユーザを支援することである。ユーザが頭部動き、手のジェスチャおよび／または話し言葉を介してメニューコマンドを入力した後、オーバーレイのメニューは消え、前と同じように、下層の情報の閲覧が可能になる。あるいは、これらの「ポップアップ」ウィンドウ要素は、自動で閉じる特徴を有することができる。これは、ユーザがウィンドウのいかなるコマンドも選択しなければ、そのようなすべてのウィンドウはある一定の時間（すなわち、１０秒など）後にそれら自体を閉じることを意味する。このように、本来ならばユーザがマウスでダイアログボックス上の「閉じる」、「ＯＫ」または「キャンセル」をクリックするであろう場合に、さらなる入力を行う必要がなくなる。手動でウィンドウを閉じることは、マウスまたは「閉じる」、「ＯＫ」などと言う音声入力を使用することで、依然として可能である。いくつかの実施形態では、ユーザを支援するために、自動でウィンドウを閉じる際に、タイマカウントダウンを示して、自動でウィンドウが閉じるのに要する時間を表示することができる。

頭部動き追跡および手のジェスチャの入力は、また、スクロールリストなどの他の特徴を制御することができる。多くのユーザインターフェース要素は、スクロールリストの概念、すなわち、画面またはユーザインターフェース要素自体よりも大きな選択可能なアイテムのリストであることを利用する。そのようなスクロールリストの一例を図８に示す。ここで、データベースアプリケーションから、ユーザは、編集対象のフィールドを選択するように求められる。しかし、この特徴が役に立つ他の多くの例が存在し、それらは、ドロップダウンメニュー、メディアプレイリスト（Ａｐｐｌｅ（登録商標）ｉＴｕｎｅｓ（登録商標）など）および同様のものなどである。これらのアイテムリストは、通常、典型的なラップトップコンピュータにおいて、スクロールバー、マウス動作、または、タッチパッドもしくはタッチスクリーンの「スワイプ」ジェスチャを使用して、上方および下方（または左方／右方）にスクロールされる。しかし、ここでは、ＨＭＤデバイス１００の頭部追跡入力を使用して、これらのユーザインターフェース要素を動作させることができ、例えば、頭部を左方／右方または上方／下方に動かすことでリストを通じてスクロールすることも、他のリストを選択することもできる。これらの動作は、次の口頭でのコマンドと組み合わせて、リスト内のアイテムを選択することができる（例えば、「クリック」または「選択」）。

図９は、複数のデスクトップおよび／または実行中のアプリケーションを操作するためにどのように頭部追跡および／または音声入力を使用できるかについての別の実装形態を示す。ここでは、複数のデスクトップ画面は、ＯＭＡＰ ４１００またはホスト２００上で実行しているオペレーティングシステム内に構成することができ、頭部動きおよび／または音声コマンドを使用してナビゲートすることができる。各デスクトップは、異なるアプリケーションを同時に実行するように構成することができる。例えば、第１のデスクトップは、全画面を使い果たす写真閲覧アプリケーションの実行に使用することができる。動画を閲覧するには、ユーザは、口頭でのコマンド「新しいデスクトップ」を発行して、次いで、新しいデスクトップから動画閲覧アプリケーションを選択することができる。これにより、現ウィンドウで動画閲覧を行うことができる。ただし、写真閲覧アプリケーションは依然として実行しているが、目には見えない。ユーザは、視認可能なデスクトップに切り替えるための適切なコマンド（「デスクトップ１に進む」）を発行することによって写真閲覧アプリケーションに切り替えることも、左方、右方、上方または下方に頭部を動かすことによって開かれたデスクトップ中を移動することもできる。したがって、ユーザは、開かれたすべてのデスクトップおよびそれらの実行中のアプリケーションを素早く一瞥することができる。

ＨＭＤデバイス１００によって実行される機能の１つまたは複数は、他のタイプの手持ち式のハウジングなどの他のフォームファクタでも実装できることを理解されたい。

すべての特許、公開出願および本明細書で引用される参考文献の教示は、それらの全体が参照により組み込まれる。

その例示的な実施形態を参照して本発明を具体的に示し、説明してきたが、当業者であれば、添付の特許請求の範囲によって包含される本発明の範囲から逸脱することなく、その中で形態および詳細のさまざまな変更を行い得ることが理解されよう。

Claims (4)

1. 手持ち式のデバイスであって、
   ローカルのプロセッサから受信した視覚情報を表示するマイクロディスプレイと、
   ユーザの身体部分の物理的動きを検出する動き検出器であって、動きまたはジェスチャの入力を提供する、動き検出器とを備え、
   前記ローカルのプロセッサは当該手持ち式のデバイス内に位置し、さらに、
   前記動きまたはジェスチャの入力を受信するトランシーバと、
   前記動きまたはジェスチャの入力をユーザコマンドに変換する変換器と、
   １つまたは複数の可能な動きまたはジェスチャの入力に応じた情報オーバーレイを生成するオーバーレイと、
   前記情報オーバーレイを含む、前記マイクロディスプレイ上に表示される情報を転送するディスプレイコントローラと
   を備える手持ち式のデバイス。
2. ヘッドマウントディスプレイ（ＨＭＤ）装置である、請求項１に記載の装置。
3. 前記表示される情報は、さらに、前記ユーザコマンドを処理した前記ローカルのプロセッサの視覚確認または音声確認を含む、請求項１に記載の装置。
4. ユーザコマンドをホストプロセッサに転送し、かつ、前記ホストプロセッサから応答を受信する、ワイヤレス通信インターフェース
   をさらに備える、請求項１に記載の装置。

Images