JP2008293501A - 改良型のワイヤレス式制御デバイス - Google Patents

Abstract

【課題】ポインティングを快適、精細に制御できるワイヤレスデバイスを提供する。
【解決手段】ワイヤレス式制御デバイスは、自分の手首に装着する小型で軽量のハウジングと、PCなどの制御式デバイスとを含む。このハウジングには、幾つかの光放出体と幾つかの光学検出器とを設ける。少なくとも１つのx軸放出体-検出器対はポインティング動作又は身振りのx方向を検出するように動作しており、また少なくとも1つのy軸放出体−検出器対はポインティング動作又は身振りのy方向を検出するように動作する。次いで、この動きを用いて制御式デバイス内に応答を生じさせる。例えば、コンピュータディスプレイ上でカーソルの動きを誘導するように手首位置におけるオペレータの手の角度を解釈する。このデバイスは更に、動きセンサ、環境状態センサ、又は音声認識センサを含むことがあり、また身振り認識及び画像スキャン用途向けに適応させることも可能である。
【選択図】図１

Description

本発明は、一般的には、ユーザと制御式デバイスの間のインタフェースを提供するような可搬式の選択的データ取り込みおよび選択的制御デバイスに関し、さらに詳細には、データ処理装置、楽器、コミュニケーションデバイスなどのデバイスにデータまたは制御入力を提供する一方で、ユーザのその他の挙動に伴う動きに影響されずかつ干渉を最小にできるような機構（arrangement)に関する。

本出願は、米国特許仮出願第６０／０４０，５０２号の優先権を主張する１９９８年３月６日に提出の米国特許出願第０９／０３５，９８３号（現在の米国特許第６，０９７，３７４号）、ならびに米国特許仮出願第６０／１５９，６１１号の優先権を主張する２０００年１０月１３日に提出の米国特許出願第０９／６８９，６５９号に関連しており、これらはすべて参照によってその全体を本明細書に組み込むものとする。

複数の機能が可能な大部分の機械的かつ電気的なデバイスでは、これらの機能の間での選択ならびに選択した機能の開始および終了に関するユーザ制御が必要であり、こうした制御を提供している。一般に、ユーザの選択および／または制御をデバイスに伝達するためには、任意の広がりをもつキーパッドまたはキーボードに類似した複数のボタンを選択機構としている。近年では、ポインティングデバイスや音声応答システムなど別の機構が比較的広範に使用されるようになっている。さらに、そのユーザに関する生理学的情報などの収集データによる制御および／または選択を可能にするような幾つかのシステムも提供されている。選択や制御のためのキーストロークと同様の方式で使用可能な信号を発生させるために、たとえば眼の動きや神経系の活動（たとえば、ＥＥＧ、ＥＫＧ、血圧、電気神経的な筋肉活動、その他）を監視することができる。しかし、代替的な入力機構は一般に、単独で使用可能なスタンドアロン型システムとして、あるいはキーボードに対する捕捉として、互いに排他性の方式で実現させている。

しかし、キーボードは一般に、人間のユーザが長時間にわたって動作するのに十分適しておらず、また上で言及したような代替的機構では一般にある程度の不便さ、応答の遅さ、ユーザのかなりの訓練および適応、および／または十分なデータ処理リソースが不可欠である。いわゆる人間工学的設計の特徴によっても、人間の使用に適応させる際の改良は極くわずかである。さらに、幾つかの可搬式デバイスや装着可能なデバイスが知られているが、これらのデバイスは一般に、パーソナルコンピュータの単独のキーボードやマウス、または別のポインティング機構などの単一の装置に対する単一タイプの入力に対する専用である。たとえば、マウス内で使用されているような転動部材をキーボードの下面に取り付け、このキーボード全体を１つの面に沿ってスライドさせることによってポインティングを制御し、これによってポインティングとデータ入力機能の両者に関する利便性を折衷させているような機構が知られている。

注目すべき特例の１つは本発明の発明者に対して許可されている上で援用した米国特許第６，０９７，３７４号に開示されている。該特許に開示されているように、小型かつ軽量のハウジングを手首に装着することが好ましく、またこのハウジングは指向性をもつ複数の発光デバイスを含んでいる。このハウジングは、光の放出方向と概して平行に延びるような指向性の受光体からなる実質的に直線状のアレイを支持すると共に、これと実質的に直角に光を受け取っており、したがって、監視可能であると共に、指または別の付属部が指向性の光放出体および受光体によって画定されるマトリックス内の任意の箇所まで移動したときに互いに区別が可能な位置からなるマトリックスが提供される。

この機構はさらに、ポインティング機構を制御するための手の動き（たとえば、向き、速度その他）に応答してポインティングデバイスを制御するため、あるいは楽器用ディジタルインタフェース（ＭＩＤＩ）に対して音量またはテンポなどのその他の入力パラメータを提供するために少なくとも２つの方向に対する動きセンサ、ならびに所望であれば、音声または別の音響信号入力を受け取るためのマイクロフォンおよび付属の回路を含んでいる。これらの機構が発生させたすべての情報は、テレビジョンやその他の電気器具用のリモート制御機構に類似した変調式の光または電波通信リンクによって、パーソナルコンピュータや楽器などの別のデバイスまたはベースステーションに伝達される。

しかし、この関連したデバイスであっても、他の既存のデバイスと同様に、本質的にその能力が制約される。たとえば、ポインティング指示で手の動きを追跡するために加速度計やジャイロスコープなどの動きセンサを使用するには、カーソルを制御するために幅広く大げさな手の動きが必要となる。したがって、ポインティング指示で必要となる動きの範囲を容易にするように手を腕で支持しなければならなくなる。このため、ユーザを極度に不快にさせまた疲労させることになりかねない。さらにこれでは、従来のコンピュータマウスを使用することによって達成されるようなカーソル制御の微細な検知を提供できない。さらに、既存のデバイスは一般にキャラクタレベルのデータエントリに制限されており、またこのデータエントリは手の向きに対して極度に影響を受けやすい。このためさらに、既存のデバイスの有用性が制約される。

したがって、本発明の目的は、その構造、情報取り込み、機能、および極めて大きな多様性をもつ用途に対する適応性に関して、上で援用した米国特許第６，０９７，３７９号に開示されかつ特許請求された発明の機能増強を提供することである。

本発明の別の目的は、米国特許第６，０９７，３７９号の発明の機能、ならびにユーザの別の動作に関する適応を高めた追加的な機能を提供することである。
本発明のまた別の目的は、ユーザがポインティング指示を快適かつ精細に制御できるようなワイヤレス式制御デバイスを提供することである。

本発明のさらに別の目的は、ユーザが行った身振りを検出しかつ解釈することが可能なワイヤレス式制御デバイスを提供することである。
本発明のさらに別の目的は、ユーザまたはユーザの身体の一部分の位置と独立に入力を受け取ることが可能なワイヤレス式制御デバイスを提供することである。

本発明のさらに別の目的は、本来的に無菌的かつ安全な操作が可能な入力デバイスを提供することである。
本発明のさらに別の目的は、追加的な自由度ならびに対応する追加的タイプの入力情報を検出することが可能な入力デバイスを提供することである。

本発明のこれらおよびその他の目的を達成するために、オペレータが装着する小型で軽量のハウジングと、たとえばパーソナルコンピュータなどの制御式デバイスと、を設けている。このハウジング上には、好ましくは赤外線領域で動作する発光ダイオードであるような幾つかの光放出体、ならびに幾つかの光学検出器を設けている。これら放出体および検出器は、デバイスのｇｏ／ｎｏ−ｇｏ動作のために単一面内に設けることができる。別法として、これら放出体および検出器はハウジングの２つの面内に配置させることができ、これによってデバイスは、デバイスのキーの閉鎖や動きまたは向きだけではなく、手の位置および方向を分析することができる。少なくとも１つのｘ軸放出体−検出器対はポインティング動作または身振りのｘ方向を検出するように動作し、また少なくとも１つのｙ軸放出体−検出器対はポインティング動作または身振りのｙ方向を検出するように動作している。本発明の好ましい実施形態では、そのハウジングをオペレータの手首に装着すると共に、その放出体−検出器対によってオペレータの手の手首位置での角度を検出している。次いで、この動きを用いて制御式デバイス内に応答を生じさせることができる。たとえば、オペレータがまるで従来のコンピュータマウスを用いているかの様にして、そのポインティング動作または身振りをコンピュータディスプレイ上のカーソルの動きに対応させることができる。この光学的ポインティングの実施形態は、ジョイスティック様の方式やマウス様のポインティングストローク方式のいずれの方式でも動作させることができる。このハウジングはさらに、任意選択では、加速度計またはジャイロスコープなどの動き検出器、環境状態センサ、または音声認識センサを含むことがある。

本発明はさらに、たとえば手の位置および向きに対する時間領域分析を画像認識機能と組み合わせることによって身振り認識のために使用することができる。手の動きは、手に関する時間の経過を追った一連なりの画像となるように分析させることができ、次いでこれらの画像は、ルックアップテーブルとして機能するようなコンテンツアドレス可能メモリ内に画像として格納してある身振りなど、身振りに関する事前プログラムしたライブラリと相関させることができる。身振りの認識によって、本発明をキャラクタレベルのデータエントリのためだけではなく、単語レベルおよびフレーズレベルのデータエントリのためにも利用できるようになる。さらに、この身振り認識は、異なるコンテキストで行われた同じ身振りが、同じ制御式デバイスによって異なる応答につながるように、あるいは全体的に異なる制御式デバイス内で同じ応答となるように、コンテキスト依存とさせることができる。身振り認識能力を使用するとさらに要求モードを実現させることができ、これによってそのデバイスをユーザの要求に応じてオンやオフに切り替えることができる。

画像を２次元または３次元でスキャンするために本発明を利用することも企図される。このオーバースキャン機能を用いると、ユーザに対してデバイスの物理的特性に合わせるように要求することなしに、そのデバイスにユーザの特定の生理学的幾何形状を学習させかつ該形状に適応させることができる。さらにこれは、リアルタイム式使用またはアーカイブ使用のためにユーザの身体の一部以外の関心対象物体をスキャンするために用いることができる。

このデバイスによれば物理的デバイスに全く接触することなくデータエントリおよびカーソル制御が可能となるため、本発明は無菌環境で使用するのによく適している。さらに、機械的相互作用がないため、スパークの可能性が排除されると共に、燃えやすい環境における本発明の使用を適切とさせている。さらに、このデバイスによって、手根管症候群（ｃａｒｐａｌ ｔｕｎｎｅｌ ｓｙｎｄｒｏｍｅ）や繰返し応力損傷などのある種の医学的状態の発現が回避されると共に、さまざまな身体的ハンディキャップを有する人々による使用に適応させることができる。

上述およびその他の目的、態様および利点は、本発明の好ましい実施形態に関する図面を参照した詳細な説明からより十分な理解が得られよう。

ここで図面、より具体的には図１および２を参照すると、改良型のワイヤレス式制御デバイス１０の例示的で一般化した応用を表している。オペレータ２０は少なくとも一方の手首または身体上の別の好都合な部位に小型で軽量のハウジング２２を装着している。通常キーボードの操作に使用されている指の近傍にあることから手首が好ましい。しかし本発明は、利便性、身体的ハンディキャップなどにオペレータを対応させるような希望に応じて、その基本的動作原理に従った自由な適応が可能である。制御式デバイス２４を設けており、この制御式デバイス２４は、符号化した信号の伝送に適した光あるいは別のエネルギー形態に対するセンサ２６を含んでいる。制御式デバイス２４（以下では、普遍的とするためにベースステーションと呼ぶ）はさらに、符号化した信号３０の受信やその内容の認識を確認するために、ディスプレイまたは電子ブザーや音声合成装置といったオーディオ信号表示器などのトランスジューサ２８を含むことが好ましい。別法として、その信号表示はハウジング２２内に入れることが可能であり、また信号ベースユニット２４からの光信号に応答することが可能である（たとえば、ハウジング２２は信号を受信するとビープ音を発生させることが可能である）。

全体として図２に示しており、また上で言及した関連する特許および出願でより詳細に説明しているように、赤外線領域で動作する発光ダイオード（「ＬＥＤ」）であることが好ましいようなハウジング２２上の光放出体３２は、オペレータの手のひらと概して平行に輪郭が鮮明なエネルギービーム３４をある限定された立体角にわたって放出している。このビームの立体角は、オペレータの指先と比べてより近くにあるハウジング２２からある距離においてこの照射領域が重複しないように限定させることが好ましい。したがって、キーボード上でキーを押すのと同様の動きで指を動かすなど、オペレータの手の動きによって、オペレータの指先をビーム３４によって照射させることになる。この照射は、オペレータの指先から反射され（３４ａ）、さらに検出器３６によりハウジング２２上で検出されている。したがって、反射した光ビーム３４ａを放出された光ビーム３４と相関させることによって、任意の指やその他の物体の配置は検出するのみならず、別の任意の位置と区別することができ、また符号化した適当な信号３０をハウジング２２からベースステーション２４に送信することができる。符号化した信号３０は光放出体３２のうちの１つによって送信することや、別の信号放出体３８によって送信することができる。

簡略とするためには、時間多重方式で継続して光放出体３２を付勢させることが好ましいが、当業者であれば、周波数変調やパルス幅コーディングなどの別の手段によって反射されたビーム３４ａを区別することができることを理解されよう。デバイス１０に対する意図した使用法に応じて、ハウジング２２は、任意選択において、加速度計またはジャイロスコープなどオペレータ２０の身体部分の空間的な動きを検出するための動きセンサ４０と、環境状態センサ４２と、を含むことがある。環境状態センサ４２は、デバイス１０の具体的な用途による要求に応じて血圧、湿度、温度および気圧（ただし、これらに限らない）を含め環境的や生理学的な多くの任意の状態を計測するように適合させることができる。さらに、音声認識センサ４３を設けることがある。

図３は、コンピュータ画面上でカーソルを動かすためなど、パーソナルコンピュータのユーザによく知られたマウスの方式とよく似た（すなわち、手首位置での手の角度に基づく）光学的ポインティングに適合させたデバイス１０の実施形態の１つを表している。しかし、当業者であれば本発明の光学的ポインティング指示は、カーソルポインティングに限定されないことが理解されよう。少なくとも１つのｘ軸放出体−検出器対４４および少なくとも１つのｙ軸放出体−検出器対４６はハウジング２２上に設けている。ｘ軸放出体−検出器対４４の放出体は、手のナイフエッジ（すなわち、手の小指と反対側のエッジ）を扇形状のｘ軸ビーム４８で照射するような向きとしている。同様に、ｙ軸放出体−検出器対４６の放出体は手掌基部を扇形状のｙ軸ビーム５０で照射するような向きとしている。扇形状ビーム４８および５０を使用しているため以下で記載するように手首角度の計測に対する手の表面の直交する動きの影響が軽減される。この照射は手から反射されて放出体−検出器対４４および４６の検出器の方向に戻される。したがって、手のナイフエッジから反射される光はｘ軸対４４内の検出器によって検出され、一方手掌基部によって反射される光はｙ軸対４６内の検出器によって検出される。次いで、デバイス１０は上述した方式で、反射されたビーム４８および５０の大きさを特定の手の位置として解釈すると共に、これに応じて対応するカーソルの動きを発生させることができる。

手首位置における手の角度によって対４４および４６の検出器のそれぞれによって検出したビーム４８および５０の反射の大きさが判定され、また一方、検出したこの大きさによって、応答するカーソルの動きの方向および持続時間が判定される。たとえば、オペレータ２０が自分の手を手首の位置で外向きの角度にする（すなわち、小指と前腕の間の角度を小さくするように矢印ａの方向に向ける）と、ｘ軸対４４によって検出される反射の大きさが増加すると共に、ｘ方向においてカーソルの対応する動きが起こる。同様に、オペレータ２０が自分の手を手首の位置で上向きの角度にする（すなわち、手の甲と前腕の間の角度を小さくするように紙面に向かう矢印ｂの方向に向ける）と、ｙ軸対４６によって検出される反射の大きさが減少し、これによってｙ方向においてカーソルの対応する動きが起こる。

デバイス１０を使用している間でのカーソルの意図しない動きを排除するために利用できる方法は多種多様にある。たとえば、不注意による手の微小な動きなどのバックグラウンドノイズを低下するために、反射されたビーム４８および５０の大きさを時間平均している。さらに、ｘ、ｙおよびｚ方向において、その値未満ではカーソルに対して動きを全く伝達しないようなしきい値を設定することができ、これによってカーソルが手の微小な動きに応答する確率をさらに低下させている。別法として、以下で検討するような要求モードを利用するために、音響式や音声式の作動、あるいはある特定の腕の動き（たとえば、マウスをつかもうとするかの様な動き）を利用することが可能であり、またはこれらを組み合わせて利用することが可能である。特定の動きまたは身振りに対する適正な応答は、当業者によく知られるような任意の適応性機構を使用することによって生成することができる。

環境による干渉およびシステムのノイズを拒絶する一方で振幅を計測する間での一貫した結果を得るためには相関技法を用いている。たとえば蛍光灯などの高調波性の干渉に対する影響の受けやすさは、たとえば、スキャンを受けるアクティブなＬＥＤ放出体を疑似ランダムなシーケンスを用いて駆動させかつ反射された光の大きさを解読し、これによって「オン」振幅対「オフ」振幅の平均値を判定することによって、低下させることができる。

腕の動きを検出するための加速度計またはジャイロスコープを利用するのではなく、手の動きを検出するための光放出体−検出器対４４および４６を利用することによって、本発明は、既存のデバイスに対して多くの利点を実現している。たとえば、コンピュータ画面上にカーソルの動きを誘導させるために、幅広で大げさな手の動きをもはや必要としておらず、一方、カーソルの動きを手首位置における手の角度に対して高感度にさせることによって光学的ポインティングはユーザに対してより精細な制御感覚を提供している。したがって、本発明を利用すると、前腕は手を空中で支持するために使用するのではなく、くつろいだ位置においた状態とすることができる。このため、ユーザにとって疲労がより少なくかつより好都合であるだけでなく、動きセンサ（含んでいる場合）によって所望の任意の目的のための追加的な入力データを提供できる一方で、カーソルに関して従来のコンピュータマウスを用いたとした場合と同様のさらに精密な制御をユーザに対して提供することができる。光放出体−検出器対４４および４６は、加速度計やジャイロスコープの場合のようには、地球の重力やこれによる仰角の影響を受けないことによって精密さがさらに向上する。さらに、本発明による光学的ポインティングの実施形態は、加速度計またはジャイロスコープを利用している既存のデバイスと比べてかなり廉価である。しかし、当業者であれば、単に手首位置における手の角度だけを追跡するのではなく手全体の動きを追跡することが望ましいような用途では、加速度計またはジャイロスコープを本発明による光学的ポインティングの実施形態と組み合わせて使用することによって、上で言及したようにさらに大きな融通性を達成することができることが理解されよう。

上述のように、本発明による光学的ポインティングの実施形態はジョイスティック様のモードで動作する。すなわち、手はホームポジションを有すると共に、ｘ方向またはｙ方向におけるこのホームポジションからの変位によってカーソルの対応する動きが開始され、この動きは手をホームポジションに戻すまで終わりとならない。手は元来快適なホームポジションを有しているが、このジョイスティック様の光学的ポインティング法では、そのマウスカーソルが確実にコンピュータ画面上の所望の点まで来て静止するような正確なタイミングおよび精細な動作が要求されるに連れて、本質的にユーザに対して過度の要求を強いることになる。

したがって、本発明はさらに、ポインティングストロークを発生させることによってマウス様の方式で動作するように適合させている。ポインティングストローク動作によって、手のランダムな任意の静止位置から手の所望の任意の終了位置まで変位させることによって発生させた運動ベクトルが、コンピュータ画面上でのカーソル動きの１つのストロークに変換される。たとえば、ユーザの手が時刻ｔ_１において図２に示す位置（この位置は上述したホームポジションに対応する場合も対応しない場合もあり得る）にあると仮定してみる。さらに、次いでユーザが自分の手を矢印ａの方向に変位させ、時刻ｔ_２において別のある位置にもって来たと考えてみる。デバイス１０は反射されたビーム４８の時刻ｔ_１およびｔ_２におけるそれぞれの大きさを、上述のように、時刻ｔ_１およびｔ_２における手の位置に、次いで手に関する時刻ｔ_１から時刻ｔ_２までの運動ベクトルに分析させている。次いで、この運動ベクトルは、手がホームポジションに戻るまで継続させるのではなく、最終位置においてゼロまで減衰させ、かつ時刻ｔ_１から時刻ｔ_２までの手の動きをなぞるようなコンピュータ画面上でのカーソル動きを生じさせるような動きの対応するストロークに分析させており、これはあたかも、手の指や針によって画面上のカーソルの動きを誘導しているかのようになる。すなわち、カーソルは手を変位させた方向に対応する方向に手を変位させた量に対応する量だけ移動し、次いで停止することになる。個々のユーザに合わせて較正した後は、ポインティングストローク動作によってカーソルの動きに関して一層直接的でありかつ快適な制御感覚が提供される。

以下に記載する「要求モード」を用いると、ポインティングストローク動作を一層実用的にすることができる。たとえば、上述したジョイスティック様のポインティングモードでは、単に自分の手を変位させた位置に保つことによってカーソルを任意の方向に無制約に動かすことが可能であるが、当業者であればポインティングストローク動作はユーザの手の動く範囲内に制約されることが理解されよう。要求モードによれば、ユーザはある特定の方向にポインティングストロークを生成させ、光学的ポインティングをオフに切り替え、自分の手をより快適な位置または中立的な位置まで戻し、光学的ポインティングをオンに戻し、さらに同じ方向に第２のストロークを生成させることができる。この操作は、コンピュータマウスを滑らせている面から持ち上げてマウスをより快適な位置または利用しやすい位置に来るように中央に戻し、滑らせる面の大きさを実質的に拡大させていることに相当する。

本発明はさらに、手および指の位置および向きに対する時間領域の分析を画像認識能力と組み合わせることによって身振り認識にも使用することができる。デバイス１０が身振りを認識する際に用いる方法は、マウス様のポインティングストローク動作に関して上述した方法と実質的に同様である。たとえば、ユーザの指が時刻ｔ_１において図４に図示する位置にあると仮定する。放出体３２はビーム３４を放出し、このビームは指先５２によって反射される。次いで、検出器３６が反射されたビーム３４ａを検出し、またデバイス１０は上述した方式によって時刻ｔ_１における指の位置および方向を判定する。次いで、ユーザが、時刻ｔ_２において指先５２が新たな位置に来るように自分の指を下向きに矢印ｃの方向に向けると仮定してみる。ここでもまた上述した方法を用いて、デバイス１０は時刻ｔ_２における指の位置および方向を分析している。次いで、ユーザは、デバイス１０によって分析させるなどのために時刻ｔ_３において指を元の位置および方向まで戻すことや、全く新たな位置および方向に来るように指を移動させることがある。

指の位置および方向に対する時間の経過を追ったこれらの分析は集計し、さらにルックアップテーブルとして機能するコンテンツアドレス可能なメモリ内に格納したライブラリなど、身振り画像の事前プログラムしたライブラリと相関させている。またデバイス１０は、行われた身振り（上記の例では、「指を揺さぶる」身振り）を認識することができる。この事前プログラムした身振りのライブラリには、標準化された身振り（たとえばＡｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅの身振り）、ならびに装置訓練段階で取り込みかつ記録しておいた個別ユーザ向けの身振り（たとえば、上述した指の揺さぶり）を含むことができる。装置訓練段階で取り込みかつ記録しておいた身振りは、本質的にユーザの特定の手の大きさ、形および動きの組に合わせてプログラムすることになる。

上述のような手の位置および向きの分析を手の動きの分析と結合させることによって、身振りの認識能力がより一層強力となる。手の動きは、上述した光学的ポインティングの実施形態を用いること、また手全体の動きの追跡が望ましい場合はジャイロスコープ、加速度計やその他の動きセンサ４０や環境センサ４２をデバイス１０内に含めること、によって分析することができる。手の位置および向きの時間領域分析を手の動きの時間領域分析と組み合わせることによって、身振りを解読する際に多くの画像認識処理法が利用可能となる。

上述した身振り認識方法によれば本発明を、キャラクタレベルのデータエントリ（キーボードの打ち込みや電話ダイアル操作など）に限らず、単語レベルやフレーズレベルの（Ａｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅに使用される）データエントリにも利用することが可能となる。たとえば、本発明による身振り認識の実施形態は、Ａｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅのコミュニケーションをリアルタイムで文字に起こしたり、音訳したりすることができる。さらに、この身振りに対する文字起こしや音訳には、身振りを実施するときの地面からの高さに基づいて抑揚（ｉｎｆｌｅｃｔｉｏｎ）を付加することができ、たとえば、位置を低くした場合にはより低い抑揚音調を意味させ、一方より高い位置とするとより大きな強調やより高い抑揚を示させることが可能である。

身振り認識方法はさらに、同じ身振りでもその身振りが行われたコンテキスト(context)に応じて多くの異なる作用を有するようにコンテキスト依存とさせることができる。たとえば、上述した指を揺さぶる身振りはあるコンテキストでは鳴動している電話に応答するために使用することができ、また別のコンテキストでは照明スイッチをトグル切り替えするために使用することができる。別の例として、腕を挙げたり下げたりすることは、あるコンテキストではラジオの音量を制御しており、また別のコンテキストでは室内の照明の輝度を制御していることがある。ユーザがコンテキスト間の選択をする方式はいくつもあり得る。たとえば、ハウジング２２が音声認識センサ４３を含む場合、ユーザは所望のコンテキストを（たとえば、その身振りがラジオの制御を意図している場合には「ラジオ」と、また身振りが照明の制御を意図している場合には「照明」と）発話することができる。しかし、コンテキストを選択するための別の方法も本発明の趣旨の域内にある。

身振り認識はさらに、マウス様の光学的ポインティングに関して上で言及した要求モードを実現するために使用することもできる。デバイス１０を起動させたり起動を終了させるように特定の身振り（または、複数の身振り）をプログラムすることによって、ユーザは所与の任意の動作モード、あるいはデバイス全体を必要に応じまたは希望に応じてオンやオフにすることができる。要求モードはさらに、組合せモードまたはコンテキストを起動させたり、起動を終了させるために利用することができる。

本発明に付加できる別の機能は図５に表した光学的トラッキング、すなわち「オーバースキャン」機能である。この機能によって、デバイス１０によって常に特定の指（ｄｉｇｉｔ）を正しく特定されることが保証される。たとえば、光学的トラッキングによれば、人差し指５４が手の向きや位置に関わらず常に人差し指５４として認識されることが保証されることになる。

手の変位の一方の最端部５６である方向にスキャンを開始し、反対側の最端部位置５８でスキャンを終了させることによって、オーバースキャンを達成させている。オーバースキャンは、離散的な多くの放出体３２および検出器３６を用いたりラスタスキャンによって実施することができる。離散的な多くの放出体３２および検出器３６を利用する場合、個々の指の分析に要するよりも多くの放出体３２および検出器３６を用いること、あるいは手の外周部の静止位置端部５６および５８の外側で連続スキャン源を開始および終了させることによってオーバースキャンを達成している。オーバースキャンはさらに、回転式またはピボット式のミラーなどの物理的に可動の光学部材あるいは電気的に操縦可能な光学部材をハウジング２２に組み込むことによって実現させることができる。この後者の実施形態では、放出体３２および検出器３６は当該領域をスキャンするようにタンデム式で移動させており、これによって所望の領域をスキャンするような単一の電子受信器回路が可能となる。当業者であれば、完全に有効な画像作成のために上記の方法を第３の次元方向まで容易に拡張させることが可能であることは明らかであろう。

オーバースキャンを完備していれば、上で記載し図３に示したように手の角度を手首に対して追跡することによって生成させた光学的ポインティングのベクトルを用いてそのスキャン対象領域内での手のオフセットを計算することができる。これによりデバイス１０は、どの指を放出された光ビームの経路内に移動させたのかを判定することができる。この機能によれば本発明はユーザの手の幾何形状の学習が可能であり、ユーザに対して本発明の特性に合わせた対応を要求することがないため、ユーザとデバイス１０とのやり取りが大幅に簡略化される。たとえば、光学的トラッキング機能によってマウス制御とキーボード打ち込みの両方に関してデバイス１０を同時に使用することが可能となり、一方、マウスカーソルを移動させるように手を変位させたとした場合では光学的トラッキング機能を伴わないデバイスのキーボード打ち込み機能が「混乱した状態」になり易くなる。

ユーザの手に対する３次元スキャンによってさらに、上述のように身振り認識に対する入力画像を提供することができる。別法として、放出体３２および検出器３６をユーザの手ではなく近くの任意の表面の方向に向けることは、ユーザの手以外の関心物体に対するリアルタイムの画像作成を提供するために使用することができる。たとえばデバイス１０を使用して、システムソフトウェアによるかまたは光学的キャラクタ認識を利用するかによる判読対象の物体の画像を有効に取り込み、視覚障害のユーザを支援するためにテキストを読み取りかつ発声することが可能である。別の例として、医師がリアルタイムの利用またはアーカイブ使用のために手術中に患者の画像を取り込むように放出体３２に指令し、デバイス１０を用いてコンピュータ化したログ内にメモを入力し、さらに手術を継続することが可能であり、この際、カメラを利用したり物理的なキーを押したりするとした場合に必要となるような再洗浄は不要となる。

ハウジング２２はさらに、２つの次元方向で手の位置を分析するために放出体３２および検出器３６の第２の面を含むことがある。指が放出体３２および検出器３６の第１の面を通過する際に第１の次元方向を分析しており、一方指が完全に第１の面を通過して第２の面内に入った後に第２の次元方向を分析している。これによって、装着可能の既存のコンピュータデバイスのｇｏ／ｎｏ−ｇｏ的特性を強調し、単にキーの閉鎖を検出するのではなく手位置および方向を分析することができる。別法として、デバイス１０は各指を幾つかの異なる角度から照射し、視差を用いて２つの次元方向で手の位置を分析することができる。ただし、前者の方法の方が後者の方法よりも好ましい。

本発明では、本来的に安全かつ無菌的な操作が可能である。上述のように、本発明によって、物理的なデバイスに全く接触せずにデータエントリおよびカーソル制御が可能となる。したがって、デバイス１０は手術室などの無菌環境での使用によく適合している。デバイス１０ではさらに、機械的やり取りがないため環境を着火させる可能性があるようなスパークのおそれがなくなるため、極めて燃えやすい環境で使用することが可能である。

上述のことから理解できるように、本発明は、任意の瞬間において多くの自由度を有すると共に、時間の経過を追ってサンプリング可能な一群の入力情報を生成させている。これによって本発明は、現行では利用できないような制御感覚を提供することができる。たとえば本デバイスは、ノブの回転、オペレータの指先と手首の間の距離、手首位置における手のｘおよびｙ方向での角度、腕のｘ、ｙおよびｚ方向での位置、腕のピッチング、ローリングおよびヨーイング、環境的および生理学的状態、音声入力、バーコード読み取りなどの２次元画像入力、３次元画像入力、ならびに別のタイプの多くの入力などを、個々に、組み合わせて、および互いの比較により指の位置および方向を検出することができる。こうした多くのタイプの入力データを用いると、追加的なデータによって、たとえば特定の身振りに関連する「サイン（ｓｉｇｎａｔｕｒｅ）」の識別がより容易になるため、上述した用途を有効に実現させるために必要な時間関連のデータ組はごくわずかだけで済む。さらに、ある結果を生成させるように集計したデータを念入りに選択することによって、コンピュータキーボードなどのキャラクタレベルの入力のため、速記用キーボードなどの組合せレベルの入力のため、Ａｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅなどの単語レベルまたはフレーズレベルの入力のため、ジョイスティック制御のため、マウス制御のため、ピッチまたは音調制御のため、環境設定（たとえば、サーモスタット、ディマースイッチ、テレビやステレオの音量制御）に対する制御のため、ならびにその他の多くの目的のために、このデバイスを利用することができる。

本発明を幾つかの好ましい実施形態に関して記載してきたが、当業者であれば、本発明を添付の特許請求の範囲の精神および趣旨の域内の修正を伴って実施できることが理解されよう。

このようにして本発明を記載しているが、新規のものとして特許請求する内容、および特許証によって確保する要求は、添付の特許請求の範囲に記載している。

本発明の例示的な応用の図である。 本発明の主要要素の幾つかの図である。 光学的ポインティング向けに使用される本発明の実施形態の図である。 身振り認識のために本発明を利用している図である。 本発明によるトラッキング用光学機器の実施形態の図である。

Claims (25)

1. センサを含んだベースステーションと、
   オペレータの身体上に装着する、複数の光放出体および複数の光学検出器を含むハウジングと、
   ポインティング動作または身振りのｘ方向を検出するために少なくとも１つのｘ軸放出体−検出器対を形成している少なくとも１つの光放出体および少なくとも１つの光学検出器と、
   ポインティング動作または身振りのｙ方向を検出するために少なくとも１つのｙ軸放出体−検出器対を形成している少なくとも１つの光放出体および少なくとも１つの光学検出器と、
   オペレータの身体部分または別の物体から反射されかつ前記光学検出器によって検出された際に、前記複数の光放出体から放出された光学ビーム同士を区別するための手段と、
   を備えるワイヤレス式制御デバイス。
2. 前記光放出体が発光ダイオードであり、かつ前記光学ビームが赤外光のビームである、請求項１に記載のワイヤレス式制御デバイス。
3. 前記ｘ軸およびｙ軸の放出体−検出器対が、前記ハウジングをその上に装着した身体部分に隣接する身体部分の動きを検出している、請求項１に記載のワイヤレス式制御デバイス。
4. 前記ハウジングがオペレータの手首に装着されており、かつ前記ｘ軸およびｙ軸の放出体−検出器対がオペレータの手の動きを検出している、請求項３に記載のワイヤレス式制御デバイス。
5. 前記少なくとも１つのｘ軸放出体−検出器対内の前記放出体がオペレータの手のナイフエッジを照射しており、前記少なくとも１つのｘ軸放出体−検出器対内の前記検出器がオペレータの手の前記ナイフエッジから反射されるビームを検出しており、前記少なくとも１つのｙ軸放出体−検出器対内の前記放出体が前記オペレータの手掌基部を照射しており、かつ前記少なくとも１つのｙ軸放出体−検出器対の前記検出器がオペレータの手の前記手掌基部から反射されるビームを検出している、請求項４に記載のワイヤレス式制御デバイス。
6. 前記放出体が前記オペレータの手のナイフエッジおよび手掌基部を扇形状ビームで照射している、請求項５に記載のワイヤレス式制御デバイス。
7. 前記ハウジングがさらに環境状態センサを備えている、請求項１に記載のワイヤレス式制御デバイス。
8. 前記ハウジングがさらに音声認識センサを備えている、請求項１に記載のワイヤレス式制御デバイス。
9. 前記ポインティング動作または身振りの前記ｘ方向およびｙ方向がディスプレイ上のカーソルのｘ軸およびｙ軸での動きに対応している、請求項１に記載のワイヤレス式制御デバイス。
10. 前記ｘ軸およびｙ軸放出体−検出器対が前記ポインティング動作または身振りの前記ｘ方向およびｙ方向をジョイスティック様の方式で検出している、請求項１に記載のワイヤレス式制御デバイス。
11. さらに、前記オペレータの身体部分の位置、向きおよび動きのうちの少なくとも１つを時間の経過を追って分析するための手段を備える請求項１に記載のワイヤレス式制御デバイス。
12. 前記ｘ軸およびｙ軸放出体−検出器対が前記ポインティング動作または身振りの前記ｘ方向およびｙ方向をマウス様の方式で検出している、請求項１１に記載のワイヤレス式制御デバイス。
13. オペレータの身体部分の動きを時間の経過を追って分析するための前記手段が加速度計またはジャイロスコープである、請求項１１に記載のワイヤレス式制御デバイス。
14. さらに、前記オペレータが行った複数の身振りを認識するための手段を備える請求項１１に記載のワイヤレス式制御デバイス。
15. 前記身振りがＡｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅの身振り、Ｎａｔｉｖｅ Ａｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅの身振り、または身振りベースのその他任意のコミュニケーション法を含む身振りを含んでいる、請求項１４に記載のワイヤレス式制御デバイス。
16. 複数の身振り認識するための前記手段がコンテキスト依存である、請求項１４に記載のワイヤレス式制御デバイス。
17. さらに、前記デバイスをオン状態とオフ状態の間でトグル切り替えするための要求手段を備える請求項１に記載のワイヤレス式制御デバイス。
18. さらに、物体を特定するためのスキャン手段を備える請求項１に記載のワイヤレス式制御デバイス。
19. 前記物体がオペレータの身体部分である、請求項１８に記載のワイヤレス式制御デバイス。
20. 前記スキャン手段が、オペレータの身体部分の動きの一方の末端でスキャンを開始し、かつオペレータの身体部分の動きの反対側の末端で前記スキャンを終了させている、請求項１９に記載のワイヤレス式制御デバイス。
21. 前記スキャン手段がさらに物理的に可動性の光学部材を備えている、請求項１８に記載のワイヤレス式制御デバイス。
22. 前記物理的に可動性の光学部材がさらに回転式またはピボット式部材を備えている、請求項２１に記載のワイヤレス式制御デバイス。
23. 前記物理的に可動性の光学部材がさらに電気的に操縦可能な少なくとも１つの放出体−検出器対を備えている、請求項２１に記載のワイヤレス式制御デバイス。
24. 前記スキャン手段が前記物体を３次元でスキャンしている、請求項１８に記載のワイヤレス式制御デバイス。
25. 前記光放出体および前記光学検出器が前記ハウジング上の２つの面に配置されている、請求項１に記載のワイヤレス式制御デバイス。

Images