以下、図面を参照しながら種々な実施形態を説明する。図1は、一実施の形態に係るメガネ型ウエアラブル端末100の概観を示す。この例では、右アイフレーム(右リム)101と左アイフレーム(左リム)102がブリッジ103連結されている。左右アイフレーム102、101およびブリッジ103は、導電性を持つ部材、例えば軽量金属(アルミ合金、チタンなど)で構成できる。左アイフレーム102の左外側は左ヒンジ104を介して左テンプルバー106に繋がり、左テンプルバー106の先端に左モダン(左イヤーパッド)108が設けられている。同様に、右アイフレーム101の右外側は右ヒンジ105を介して右テンプルバー107に繋がり、右テンプルバー107の先端に右モダン(右イヤーパッド)109が設けられている。
右ヒンジ105付近のアイフレーム101の一部(または右テンプルバー107内)には、情報処理部11(数ミリ角の集積回路)が埋め込まれている。この情報処理部11は、マイクロコンピュータ、メモリ、通信処理部などを集積したLSIにより構成される(情報処理部11の詳細については、図7を参照して後述する)。
図1では示していないが、リチウムイオン電池などの小型電池(図3のBAT相当)が、例えば左ヒンジ104付近の左テンプルバー106内(あるいはモダン108または109内)に埋め込まれ、メガネ型ウエアラブル端末100の動作に必要な電源となっている。
左ヒンジ104寄りの左アイフレーム102端部には、左カメラ13Lが取り付けられ、右ヒンジ105寄りの右アイフレーム101端部には、右カメラ13Rが取り付けられている。これらのカメラは、超小型のCCDイメージセンサを用いて構成できる。
これらのカメラ(13L、13R)は、ステレオカメラを構成するものでもよい。あるいはこれらのカメラの位置に赤外線カメラ(13R)とレーザー(13L)を配置し、赤外線カメラ+レーザーによる距離センサを構成してもよい。この距離センサは、超音波を集音する小型半導体マイク(13R)と超音波を放射する小型圧電スピーカー(13L)などで構成することもできる。
なお、左右カメラ13L/13Rの代わりに、あるいは左右カメラ13L/13Rに加えて、ブリッジ103部分に図示しない中央カメラを設ける実施形態も考えられる。逆に、カメラを全く装備しない実施形態もあり得る(これらのカメラは、図7ではカメラ13として示されている)。
左アイフレーム102には左ディスプレイ12Lがはめ込まれ、右アイフレーム101には右ディスプレイ12Rがはめ込まれている。このディスプレイは、左右のアイフレームの少なくとも一方に設けられ、フィルム液晶などを用いて構成できる。具体的には、偏光板を用いないポリマー分散型液晶(PDLC)を採用したフィルム液晶表示デバイスを用いて、左右のディスプレイ12L、12Rの一方または両方を構成できる(このディスプレイは、図7ではディスプレイ12として示されている)。なお、右アイフレーム101だけにディスプレイ12Rを設けるように構成した場合は、左アイフレーム102には透明プラスチック板をはめ込むだけでよい。
ブリッジ103は送信電極140に繋がっており、この送信電極140はアイフレーム101(および102)に電気的かつ機械的に繋がっている。右アイフレーム101の周囲には4つの受信電極141〜144が設けられている。具体的には、右アイフレーム101の上側に、図示しない誘電体層を介して(つまり送信電極から絶縁されて)、北側受信電極(上側電極)141が設けられる。同様に、右アイフレーム101の下側に南側受信電極(下側電極)142が設けられ、その右側に西側受信電極(右側電極)143が設けられ、その左側に東側受信電極(左側電極)144が設けられている。(概略的に言って、送信電極140に繋がる金属製ブリッジ103が金属製アイフレーム101全体と電気的に繋がっており、電極141〜144が誘電体絶縁層を介してアイフレーム101の4個所と向き合っている、という構造。)これらの電極140〜144は互いに電気的に分離され、絶縁された配線材(図示せず)を介して、情報処理部11に接続されている。電極140〜144は、静電容量センサとして用いられ、図7のジェスチャー検出部14の構成要素となっている。
なお、図1では分かりやすくするために電極141〜144が目立つような描き方となっている。しかし、実際の製品では、これらの電極は、アイフレーム内部に埋め込むなどの方策により、外観上は目立たないようにできる。
また、図1では静電容量センサの電極(141〜144)が右アイフレーム101側だけに設けられているが、同様な電極(141*〜144*)を、図3の実施形態のように、左アイフレーム102側に設けることもできる。別の言い方をすると、静電容量センサの電極(141〜144/141*〜144*)は、右アイフレーム101側および/または左アイフレーム102側に配置することができる。この電極配置に対応して、表示ディスプレイ(12Rおよび/または12L)を、右アイフレーム101側および/または左アイフレーム102側に配置することができる。
左右のアイフレーム102、101の間であって、ブリッジ103の下側には、ノーズパッド部が設けられる。このノーズパッド部は、左ノーズパッド150Lと右ノーズパッド150Rのペアで構成される。図1では図示していないが、右ノーズパッド150Rには右ノーズパッド電極151a,151bが設けられ、左ノーズパッド150Lには左ノーズパッド電極152a,152bが設けられている(図3〜図6参照)。
これらの電極151a,151b,152a,152bは互いに電気的に分離され、絶縁された配線材(図示せず)を介して、3つのADコンバータ(図6のADC1510、1520、1512)に接続される。これらのADCからの出力は、左右アイフレームに隣接するユーザの眼の動きに応じて異なる信号波形を持ち、ユーザの眼動に応じて内容が異なるデジタルデータとして、図7の情報処理部11に供給される。電極151a,151b,152a,152bは、視線検出センサとして用いられ、3つのADコンバータとともに図11の眼動検出部15の構成要素となっている。
図1のメガネ型ウエアラブル端末100は、左右のノーズパッド(150L、150R)と左右のテンプルバー(106、107)と左右のモダン(108、109)によって、図示しないユーザの頭部に固定される。図1の実施形態では、ユーザの頭部(または顔面)に直接触れるのは、左右のノーズパッド(150L、150R)と左右のテンプルバー(106、107)と左右のモダン(108、109)だけでよいが、ADC(図3、図4、図6)とユーザのボディとの間の電圧合わせなどのために、それら(ノーズパッド、テンプルバー、モダン)以外の部分がユーザに触れる実施形態があってもよい。
図2は、ジェスチャー(例えばユーザの手または指の動き)に応じた静電容量(Ch)の変化からどのようにして検出電圧信号(Vrxbuf)が得られるのかを説明する図である。ここでは、図1のメガネ型ウエアラブル端末100を装着したユーザのボディを接地電位(GND)とする。人体は電気的導体であるから、ユーザの手や指も接地電位(GND)にあるとみなす。(以下は、ジェスチャーに伴う検出信号がどのようにして得られるのかの概略説明とし、電極141〜144が左右のアイフレームの一方だけにあるシンプルな場合で説明する。)
いま、受信電極(141〜144の1つ;例えば141)が送信電極140とGND(例えばユーザの手あるいは指)の間に挟まれており、送信電極140と受信電極141との間の静電容量をCrxtxとする。また、送信電極140とGNDとの間の静電容量をCtxgとし、受信電極141とGNDとの間の静電容量をCrxgとし、検出しようとするジェスチャーを行うユーザの手や指(GND)と受信電極との間の静電容量をChとする(Chはユーザのジェスチャーに応じて変化する)。ユーザの手などによる静電容量Chを加味すると、受信電極141とGNDとの間の総合的な静電容量は、Crxg + Chとなる。ここで、送信電極140とGNDとの間に電圧Vtxの高周波電圧を加えると、受信電極141から得られる信号電圧は、
Vrxbuf = Vtx x {(Crxtx)/(Crxtx + Crxg + Ch)} …(1)
となる。
各受信電極141〜144で電極容量(Crxtx, Crxg)が異なり、かつ、ユーザのジェスチャーに対応して変化する容量(Ch)も各受信電極141〜144で異なる。そのため、受信電極141〜144から得られる個別の電圧信号(Vrxbuf1〜Vrxbuf4)の大きさは受信電極毎に異なる。しかし、それらの電圧信号(Vrxbuf1〜Vrxbuf4)を求める式は(1)で与えられる。
4つの受信電極141〜144からは、ユーザのジェスチャーに応じて個別に変化する4つの電圧信号(Vrxbuf1〜Vrxbuf4)が得られる。これらの電圧信号の変化の仕方は、ユーザのジェスチャー対応している(例えば4つの電圧信号をバーグラフで表すと、4つのバーの高さは、互いにばらばらに、しかしユーザのジェスチャーに応じたパターンで、変化する)。例えば手や指を、上下左右に振る、時計回りあるいは反時計回りに回す、受信電極に近づけたり受信電極から遠ざけたりするといったことに対応して、4つの電圧信号(Vrxbuf1〜Vrxbuf4)が変化する。このことから、ユーザのジェスチャーパターン(手や指の上下動、回転など)と4つの電圧信号(Vrxbuf1〜Vrxbuf4)の変化パターンとの対応関係を事前に調べておけば、ユーザのジェスチャーを識別して検出することができる。これにより、例えば指を下(南側)から上(北側)へ跳ね上げるジェスチャーを、画面を下から上へスクロールさせる、という命令に変換できる。
なお、式(1)の関係を利用した3Dジェスチャーセンサは、Microchip Technology Inc.のMGC3130(Single-Zone 3D Tracking and Gesture Controller)として製品化されている(MGC3130の詳細なデータシートはWebから得ることができる)。式(1)の関係を利用した3Dジェスチャーセンサは、原理的には公知技術である。しかし、3Dジェスチャーセンサと眼動センサを組合せ、さらには画像IM1/IM2(図3などを参照)によるAR表示を利用可能にした実施形態は、新規である。(ARは拡張現実:Augmented Realityの略で、例えばメガネ越しに見える現実の世界に情報を付加させるテクノロジーを指す。)
図3は、他の実施の形態に係るメガネ型ウエアラブル端末であって、ジェスチャー検出用静電容量センサの電極(140〜144、141*〜144*)の配置例と、ノーズパッド部に設けられた眼動検出電極(151a,151b,152a,152b)の配置例を示す。図3の例では、図1で大き目に図示した受信電極141〜144と同様な機能を持つ受信電極(141〜144、141*〜144*)が、アイフレーム101および102の周辺に目立たないように配置されている。(図3の受信電極141〜144と受信電極141*〜144*は、誇張すれば図1の電極141〜144のような位置関係で、左右対称に配置される。)
図3において、右側の受信電極141〜144は、互いに絶縁されており、図示しない電気的絶縁体(例えばプラスチック、または小型キャパシタでよく用いられるポリプロピレンフィルムなど)を介して、送信電極140に繋がるフレーム101の金属部分と、向き合うように配置されている。同様に、左側の受信電極141*〜144*は、互いに絶縁され、図示しない電気的絶縁体を介して、送信電極140に繋がるフレーム102の金属部分と、向き合うように配置される。
図3の右ノーズパッド150Rの上下には右ノーズパッド電極151a,151bが設けられ、左ノーズパッド150Lの上下には左ノーズパッド電極152a,152bが設けられている。右ノーズパッド電極151a,151bの出力はADC1510に与えられ、左ノーズパッド電極152a,152bの出力はADC1520に与えられ、左右ノーズパッドの下側電極151b,152b(または上側電極151a,152a)の出力はADC1512に与えられる。
ADC1510からは、ユーザの右側上下眼動に対応して変化するCh1信号が得られる。ADC1520からは、ユーザの左側上下眼動に対応して変化するCh2信号が得られる。ADC1512からは、ユーザの左右眼動に対応して変化するCh0信号が得られる。左右両眼の上下動については、ADC1510およびADC1520の出力の平均に対応するCh1+2信号で評価できる。(Ch0,Ch1,Ch2,Ch1+2の信号波形と眼動との関係については、図8〜図14を参照して後述する。)
図3の右ディスプレイ12Rのフィルム液晶には、例えばテンキー(数字、演算子、Enter、他)、アルファベットなどのアイコン群を含む右表示画像IM1を表示でき、左ディスプレイ12Lのフィルム液晶には、例えば任意の文字列やアイコンなどを含む左表示画像IM2を表示できる(ディスプレイ12L、12Rの表示内容は、何でも良い)。右ディスプレイ12R(または左ディスプレイ12L)に表示されるテンキーやアルファベットは、数字や文字を入力する際に利用できる。右ディスプレイ12R(または左ディスプレイ12L)に表示される文字列やアイコンは、特定の情報項目を探したり、目的の項目の選択/決定をする際に利用できる。
表示画像IM1、IM2は、メガネをとおして見える現実の世界に数字や文字などの情報を付加させる拡張現実(AR:Augmented Reality)を提供する手段として、利用できる。表示画像IM1の内容と表示画像IM2は、実施形態に応じて、同じ内容(IM1=IM2)としても、異なる内容(IM1≠IM2)としてもよい。また、表示画像IM1(またはIM2)の表示は、右ディスプレイ12Rおよび/または左ディスプレイ12で行うことができる。AR表示の内容を、メガネ越しに見える現実世界に重なる(奥行きを伴った)3D画像としたいときは、IM1とIM2を左右別々の3D用画像とすることができる。
また、ディスプレイ(12R、12L)が左右に存在する場合、例えば輻輳角を調整して、左右の表示画像(IM1、IM2)の映像を左右で逆方向にずらすこともできる。これにより、現実世界で見える対象物とAR表示を交互に見る場合の目の負担を減らすことが考えられる。しかし、通常は、左右のディスプレイ(12R、12L)で同じ内容の画像を表示する。
ディスプレイ12L、12Rでの表示制御は、右テンプルバー107に埋め込まれた情報処理部11で行うことができる。(ディスプレイで文字やアイコンなどを表示する技術は周知。)情報制御部11その他の動作に必要な電源は、左テンプルバー106に埋め込まれた電池BATから得ることができる。
なお、図3の実施形態に対応する試作品をデザイナーや設計者が装着してみて重量バランスが悪いと感じる可能性がある。その主因が左テンプルバー106内のBATにあるならば、右テンプルバー107内に左テンプルバー106内のBATに見合った「おもり」を入れておくことができる。
図3の例のように左右両方にセンサ電極(141〜144と141*〜144*)があるが情報処理部11は片側にしかない場合は、フレーム102,101の内側に極小の4芯フラットケーブル(図示せず)を目立たないように這わせて、左側電極141*〜144*を右側の情報処理部11に接続することが考えられる。同様に、フレーム101の内側に極小フラットケーブル(図示せず)を目立たないように這わせて、右側電極141〜144を右側の情報処理部11に接続することができる。ノーズパッド電極(151a,151b、152a,152b)を情報処理部11へ接続することにも、同様な極小フラットケーブルを利用できる。
左右両方に2組のジェスチャー検出用静電容量センサ電極(140〜144、141*〜144*)を設けると、静電容量センサの受信電極数は左右で合計8個となる。すると、左右の手(あるいは2本以上の指)の3Dジェスチャーに対応して個別に変化する8種類の検出信号(Vrxbuf)が得られる。これらの検出信号の変化の組合せで情報入力A(図7)を作り出すことができる。この情報入力Aを用いて、多種多様なジェスチャーの検出が可能になる(例えば幾つかの手話パターンを検出することが考えられる)。
また、左右両方に2組のジェスチャー検出用静電容量センサ電極(140〜144、141*〜144*)を設けることにより、検出可能なジェスチャー(特に水平方向のジェスチャー)の可動範囲が増える。例えば図3の実施形態において、ジェスチャーの区間を5つ(右アイフレーム101の右端、右アイフレーム101の中央、ブリッジ103の中央、左アイフレーム102の中央、左アイフレーム102の左端)に分けて考えて見る。この場合、例えば右手の指のジェスチャー可動範囲は、右アイフレーム右端〜右アイフレーム中央の範囲と、右アイフレーム右端〜ブリッジ中央の範囲と、右アイフレーム右端〜左アイフレーム中央の範囲と、右アイフレーム右端〜左アイフレーム左端(または左アイフレーム左端のさらに外側)の範囲のいずれでもよくなる。
上記5つの可動範囲の何処でジェスチャーが行われたかは、静電容量センサの8つの受信電極からの8つの信号レベルの変化状態から判定できる。(例えば右アイフレーム右端〜左アイフレーム左端の間で大きく指を左右に振れば、8つの電極信号レベルは全て個別に変化する。)このように可動範囲を判別可能に区切ると、同じようなパターンのジェスチャーでも、どの範囲で行われたジェスチャーなのかを区別できるようになる。すると、複数の可動範囲の何処でジェスチャーが行われたのかの判定結果を利用することができ、情報入力Aにより入力できるコマンドの種類を(可動範囲の判別をしない場合と比べて)、大幅に増やすことができる。
なお、図3(または図1)の実施形態は、右アイフレーム101側の電極141〜144により、右前方の3D空間(ユーザが表示画像IM1を見ている先の空間)で右利きのユーザが右手(右手の指先)による3Dジェスチャーをした場合を検出するように構成されている。さらに、図3の実施形態のように、左アイフレーム102側に(左表示画像IM2を取り囲むように)ジェスチャー検出用静電容量センサの電極141*〜144*を設けることで、右前方の3D空間における左手の3Dジェスチャーを検出することができ、左利きユーザに対する操作性を改善できる。
もし、左利きユーザ専用とするなら、ジェスチャー検出用静電容量センサは左アイフレーム102側の電極141*〜144*だけでもよく、ジェスチャー操作に係る表示画像はIM2だけとすることもできる。このように、右アイフレーム101側の電極141〜144および表示画像IM1を省略した実施形態も可能である。(表示画像IM2の表示内容は、表示画像IM1で表示しようとしていた表示内容と同じでも異なるものでもよい。)
図4は、さらに他の実施の形態に係るメガネ型ウエアラブル端末を示す。ここでは、ジェスチャー検出用静電容量センサ14の電極(140〜144)が、右テンプルバー107側に設けられ、ジェスチャー検出用静電容量センサ14*の左側電極(140*〜144*)が、左テンプルバー106側に設けられている。右テンプルバー107に接するユーザの右顔面、および左テンプルバー106に接するユーザの左顔面が、GNDとなる。このGNDから電気的に絶縁される形で静電容量センサ14の電極140〜144が形成されたプラスチックタブ14Tが、右テンプルバー107に取り付けられる。同様に、GNDから電気的に絶縁される形で、静電容量センサ14*の電極140*〜144*が形成されたプラスチックタブ14T*が左テンプルバー106に取り付けられる。
テンプルバーへのタブの取り付けには、次の方法が考えられる。すなわち、タブ14T(または14T*)をテンプルバー107(または106)に取り外しできないよう機械的に固定する方法と、スナップロックタイプの多接点コネクタなどを利用して、テンプルバー107(または106)に設けたコネクタ受け部分(図示せず)にタブ14T(または14T*)のコネクタを着脱自在に装着する方法が考えられる。タブとテンプルバーとを着脱自在に結合するコネクタ部分には、コネクト後の機械的強度を考慮した機構設計をした上で、マイクロUSBあるいはマイクロHDMI(登録商標)のような接点構造を利用できる。
図4の実施形態では、情報処理部11およびそれと同機能の情報処理部11*が、右テンプルバー107内および左テンプルバー106内に設けられている。さらに、電池BATが右モダン109の肉厚部内に取り付けられ、電池BAT*が左モダン108の肉厚部内に取り付けられるようになっている。
図4の実施形態では、左右のテンプルバー106、107の一部がユーザの左右耳たぶの裏側(図示せず)に乗る形でユーザの頭部に装着される。その場合、ユーザの耳たぶ裏側の上端を支点と考えると、BATおよびBAT*の重さにより、支点の前方(アイフレーム101、102のある側)とその後方(モダン109、108のある側)との重量バランスが改善される。さらに、BATおよびBAT*が左右に配置されるため、ユーザの左右両眼の中心からみて、メガネ型ウエアラブル端末100の左右重量バランスもよくなる。
なお、図4のように、2つの情報処理部11、11*を左右のテンプルバー107、106にそれぞれ設ける構造、および/または2つの電池BAT、BAT*を左右のモダン109、108にそれぞれ設ける構造は、図示しないが、図3の実施形態にも適用できる。
図4の実施形態では、プラスチックタブ14T(あるいは14T*)の付近で手や指を前後上下に動かしたり、横顔付近で手や指を回転させたり、手や指を顔に近づけたり離したりする動作が、代表的なユーザのジェスチャーとなる。
図5の(a)〜(e)は、ノーズパッド部(150L、150R)に設けられる眼動検出用のノーズパッド電極(151a,151b,152a,152b)の種々な例を示す。図5(a)は、左右のノーズパッドに設けられる4つのノーズパッド電極151a,151b,152a,152bが、左右上下で対象に配置された例を示す。
図5(b)は、左右のノーズパッドに設けられる4つのノーズパッド電極151a,151b,152a,152bが、左右は対象であるが上下で非対称となっている例を示す。ノーズパッド部(150L、150R)には、左右のアイフレームの自重で下に押し付けられる力が働く。すると下側ノーズパッド電極(151b,152b)については小さな面積でもユーザの鼻の皮膚面と十分に接触できるが、上側ノーズパッド電極(151a,152a)についてはユーザの鼻の皮膚面との接触が悪くなる可能性がある。左右アイフレームの自重でノーズパッド部(150L、150R)が下方へ押し付けられることにより上側ノーズパッド電極(151a,152a)の接触が悪くなろうとしても、図5(b)のように上側ノーズパッド電極(151a,152a)の面積を大きくしておけば、上側ノーズパッド電極(151a,152a)の接触悪化を抑えることができる。
図5(c)は、左右のノーズパッドに設けられる4つのノーズパッド電極151a,151b,152a,152bが、左右上下とも非対称となっている例を示す。図5(c)の配置は図5(b)のノーズパッドの一方(ここでは150R)を180°回転させることで得られる。ユーザの鼻の皮膚状態や姿勢、あるいはめがねの実装状態によっては、図5(b)よりも図5(c)の方が左右のノーズパッド電極の接触がよくなる可能性がある。そのような場合は、左右のノーズパッド部(150L、150R)を回転可能に軸支して、図5(b)の配置および図5(c)の配置のいずれもユーザが選択可能にしておくことができる。
図5(a)〜(c)の電極151a,151b,152a,152bは、例えば所定形状に成型された絶縁体/誘電体(セラミック、プラスチック、ゴムなど)のノーズパッド部材上に、所定の電極パターンを金属蒸着するか、導電性塗料を印刷するか、電極片を貼り付けることで、得られる。これらの電極151a,151b,152a,152bは、ノーズパッド部材の表面と面一でもよいし、ノーズパッド部材の表面から盛り上がっていてもよい。
図5(d)、(e)の例では、左右のノーズパッド150L、150Rの所定箇所に孔を開け、その孔に小さな金属リングを嵌め込んで、4つのノーズパッド電極151a,151b,152a,152bを取り付けている。ここではリング状のノーズパッド電極151a,151b,152a,152bを例示しているが、それはあくまで一例である。隅角を丸めた多角形電極でもよいし、文字Cのように一部が切り取られた形状でもよい。
図6は、ノーズパッド部に設けられる眼動検出電極(151a,151b,152a,152b)からどのように検出信号を取り出すのかの一例を説明する図である。右ノーズパッド150Rの上電極151aと下電極151bとの間の電位差は、ADC1510で高入力インピーダンス受けし、時間とともに変化し得る上下電極間のCh1電位差を、デジタルデータとして取り出す。左ノーズパッド150Lの上電極152aと下電極152bとの間の電位差は、ADC1520で高入力インピーダンス受けし、時間とともに変化し得る上下電極間のCh2電位差を、デジタルデータとして取り出す。
さらに、左ノーズパッド150Lの下電極152bと右ノーズパッド150Rの下電極151bとの間の電位差をADC1512で高入力インピーダンス受けし、時間とともに変化し得る左右電極間のCh0電位差をデジタルデータとして取り出す。(なお、左ノーズパッド150Lの上電極152aと右ノーズパッド150Rの上電極151aとの間の電位差をADC1512で高入力インピーダンス受けし、時間とともに変化し得る左右電極間のCh0電位差をデジタルデータとして取り出すようにしても良い。)
なお、図6のADC1510、1520、1512には、動作電圧Vdd=3.3Vで分解能24ビットのADCを用いることができる。その場合、検出信号レベルの重みは3.3V÷(2の24乗)≒200nVとなる。図8〜図14の検出信号レベルにおいて、Ch1、Ch2の振幅値が約1000のときには、ADCからの検出信号レベルは、電圧換算で約200μVとなる。
図6の眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある:
<眼球運動(眼動)の種類>
(01)補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。
(02)随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。
(03)衝撃性眼球運動(サッケード)
物を見ようとして注視点を変えるときに発生する眼球運動(検出し易い)。
(04)滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動(検出し難い)。
<眼球の移動範囲(一般的な成人の場合)>
(11)水平方向
左方向: 50°以下
右方向: 50°以下
(12)垂直方向
下方向: 50°以下
上方向: 30°以下
(自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。(閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。)
(13)その他
輻輳角: 20°以下
図7は、種々な実施の形態に係るメガネ型ウエアラブル端末に取り付け可能な情報処理部11と、その周辺デバイスとの関係を説明する図である。図7の例では、情報処理部11は、プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部11dなどで構成されている。プロセッサ11aは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ11bに格納しておくことができる。プログラムを実行する際のワークエリアはメインメモリ11cが提供する。
プロセッサ11aで何をするかは、通信処理部11dを介して、図示しない外部サーバ(またはパーソナルコンピュータ)から、指令することができる。通信処理部11dでは、ZigBee(登録商標)、Bluetooth(登録商標)、Wi-Fi(登録商標)などの既存通信方式を利用できる。プロセッサ11aでの処理結果は、通信処理部11dを介して、外部サーバなどへ送ることができる。
情報処理部11のシステムバスには、ディスプレイ12(図1、図3、図4では12Lと12R)、カメラ13(図1では13Lと13R)、ジェスチャー検出部14、眼動検出部15が接続されている。図7の各デバイス(11〜15)は、バッテリBATにより給電される。
図7のジェスチャー検出部14は、静電容量センサを構成する電極140〜144と、前述した4つの電圧信号(Vrxbuf1〜Vrxbuf4)の変化パターンに基づくデータをプロセッサ11a側に出力する回路を含んでいる。プロセッサ11aは、4つの電圧信号(Vrxbuf1〜Vrxbuf4)の変化パターン(例えば指先を下から上へ跳ね上げる動きに対応)から、ユーザのジェスチャーに対応する指令(例えば図3のディスプレイ12Lに表示された画像IM2内の文字列を下から上へスクロールさせる指令)を解釈し、ディスプレイ12において下から上へのスクロールを実行する。この指令は、ジェスチャー検出部14を用いた情報入力Aの一例である。
図7の眼動検出部15は、視線検出センサを構成する4つの眼動検出電極(151a,151b,152a,152b)と、これらの電極から眼動に対応したデジタル信号を取り出す3つのADC(1510、1520、1512)と、これらADCからの出力データ(図8〜図14の検出信号波形に対応したデータ)をプロセッサ11a側に出力する回路を含んでいる。プロセッサ11aは、ユーザの種々な眼動(上下動、左右動、瞬き、眼瞑りなど)から、その眼動の種類に対応する指令を解釈し、その指令を実行する。
眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し(コンピュータマウスのワンクリックに類似)、連続した複数回の瞬きあるいはウインクなら選択された情報項目に対する処理の実行を開始させる(コンピュータマウスのダブルクリックに類似)指令がある。この指令は、眼動検出部15を用いた情報入力Bの一例である。
次に、ユーザの視線方向の検出方法(推定方法)を説明する。図8は、正面から上方への眼動と、図6のADC(1510、1520、1512)から得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1とCh2の平均レベルCh1+2)との関係を例示する眼電図(Electro-oculogram:EOG)である。眼動検出は、図中の破線枠内の検出信号波形に基づいて行う。検出の基準は、ユーザが真正面を見ており眼動がない場合とする(この場合は図8の破線枠の左外側の状態に対応する。図6に示す3つのADCからの出力信号波形Ch0〜Ch2は、瞬きなしで真正面を見ている区間では、略平坦で時間経過に伴う変化は殆どない)。
ユーザの左右両眼の視線が正面を向いた状態で、両眼の視線を瞬時に上へ動かし、視線を上に向けた状態を1秒維持し、そのあと瞬時に視線を正面に戻す。これを5回繰り返したときの検出信号レベルの変化が、図8に例示されている。
図9は、図8と同様な眼動検出を、視線が正面から下向きに動く場合について、例示している。図8および図9の波形変化から、視線が正面を向いている場合を基準として、視線が上にあるのか下にあるのかを、検出できる。
図10は、左から右への眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1+2)との関係を例示する眼電図である。左から右への眼動があると、Ch0の検出信号波形の経時変化が、右肩上がりになる(図示しないが、右から左への眼動があると、Ch0の検出信号波形の経時変化は、右肩下がりになる)。このようなCh0の波形変化から、視線が正面を向いている場合を基準として、視線が右にあるのか左にあるのかを、検出できる。
図8〜図10の検出結果を総合すれば、視線が正面を向いている場合を基準として、視線が上下左右のどちらを向いているのかが分かる。
図11は、視線が正面を向いているときに、瞬き(両目)を5秒間隔で5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。両目の瞬きは、Ch1およびCh2に表れるパルスにより検出できる。ユーザが無意識に行う瞬きは周期性がないことが多い。そのため、図11に示すように一定間隔の複数パルスを検出することにより、ユーザの意図的な瞬きを検知できる。(一般論であるが、「まばたき」動作の時間は100msec〜150msec、「まばたき」で視界が遮られる時間は約300msec程度である。)
図12は、視線が正面を向いているときに、1秒の眼瞑り(両目)と4秒の眼開き(両目)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。両目の眼瞑りは、Ch1およびCh2に表れる幅広パルスにより検出できる(意図的に眼を瞑っている時間は瞬きで眼を閉じる時間よりも長いため、検出されるパルス幅が広くなる)。図12に例示されるようなCh1およびCh2の幅広パルスを検出することにより、ユーザの意図的な眼瞑りを検知できる。
なお、図示しないが、ユーザが右目だけ瞑ったときはCh1に振幅の大きな幅広パルスが表れ、ユーザが左目だけ瞑ったときはCh2に振幅の大きな幅広パルスが表れる。このことから、左右別々に眼瞑りを検出することもできる。
図13は、視線が正面を向いているときに、両目の瞬きを5回反復した直後に左目のウインク(左側片目の瞬き)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。
図6に例示されるように、Ch0のADC1512の位置は、左右両目の眼球中心線より下方にオフセットしている。このオフセットのため、両目同時の瞬きでは、図6のADC1512の+入力と−入力の双方に負方向の電位変化が現れる。その際、+入力と−入力の双方の電位変化(量と方向)が略同じとすれば、その変化は殆どキャンセルされ、Ch0のADC1512から出力される信号レベルの値は、略一定となる(図13の左側破線内のCh0レベル参照)。一方、片目(左目)の瞬きでは、ADC1512の−入力側は電位変化が殆どなく、ADC1512の+入力側に比較的大きめの負方向電位変化が現れる。そうすると、ADC1512の+入力と−入力の間における電位変化のキャンセル量は小さくなり、Ch0のADC1512から出力される信号レベルには、負方向に小さなパルス(信号レベルの小波)が表れる(図13の右側破線内のCh0レベル参照)。この信号レベルの小波(負方向のパルス)の極性から、左目のウインクがなされたことを検出できる(Ch0を利用した左ウインク検出の一例)。
なお、ユーザの顔の歪みや皮膚の状態等でADC1512の+入力と−入力の電位変化が均等にならない場合は、メガネ型ウエアラブル端末100をユーザが装着し両目同時に瞬きしたときのCh0ADCの出力が最小(+入力成分と−入力成分との間のキャンセル量が最大)となるようなキャリブレーションを、事前に行っておけばよい。
また、両目瞬きが行われた時の検出信号Ch1/Ch2のピーク比SL1a/SL2aを基準とすると、左眼ウインクが行われたときのピーク比SL1b/SL2bは変化する(SL1b/SL2bはSL1a/SL2aとイコールでない)。このことからも、左ウインクを検出できる。
図14は、視線が正面を向いているときに、両目の瞬きを5回反復した直後に右目のウインク(右側片目の瞬き)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。
前述したように、図6のADC1512の位置が左右両目の眼球中心線より下方にオフセットしているため、両目同時の瞬きではADC1512の+入力と−入力の双方に負方向の電位変化が現れる。しかし、+入力と−入力における同様な電位変化は殆どキャンセルされ、Ch0のADC1512から出力される信号レベルの値は、略一定となる(図14の左側破線内のCh0レベル参照)。一方、片目(右目)の瞬きでは、ADC1512の+入力側は電位変化が殆どなく、ADC1512の−入力側に比較的大きめの負方向電位変化が現れる。そうすると、ADC1512の−入力と+入力の間における電位変化のキャンセル量は小さくなり、Ch0のADC1512から出力される信号レベルには、正方向に小さなパルス(信号レベルの小波)が表れる(図14の右側破線内のCh0レベル参照)。この信号レベルの小波(正方向のパルス)の極性から、右目のウインクがなされたことを検出できる(Ch0を利用した右ウインク検出の一例)。
また、両目瞬きが行われた時の検出信号Ch1/Ch2のピーク比SR1a/SR2aを基準とすると、右眼ウインクが行われたときのピーク比SR1b/SR2bは変化する(SR1b/SR2bはSR1a/SR2aとイコールでない)。また、左ウインク時のピーク比SL1b/SL2bは右ウインク時のピーク比SR1b/SR2bと異なった値を持つ(どの程度異なるのかは実験で確認できる)。
このことから、右ウインクとは別に、左ウインクを検出できる(Ch1とCh2を利用した左右ウインク検出の一例)。
左右のウインク検出にCh0を利用するのかCh1/Ch2を利用するのかは、機器設計者が適宜決めればよい。Ch0〜Ch2を利用した左右のウインク検出結果は、操作コマンドとして利用できる。
図15は、例えば図3のメガネ型ウエアラブル端末を用いる場合において、ジェスチャーによる情報入力(情報入力A)と眼動による情報入力(情報入力B)との組合せによってどのような処理が行われるのかの一例を説明するフローチャートである。
例えば、図7の構成を持つ情報処理部11を備えた図3のメガネ型ウエアラブル端末100が、図示しないサーバに無線で繋がっているものとする。
サーバから端末100へ、例えばWi−Fiを介して複数の物品に関する物品リストが送られると、その物品リストの情報が図7のメモリ11cに記憶される。プロセッサ11aで走るプログラムは、記憶した物品リストに含まれる複数物品の情報のうち、少なくとも一部の物品情報の画像IM1(またはIM2)を、右ディスプレイ12R(または左ディスプレイ12L)に表示する(図15のST10)。この画像表示は、デフォルトでは右ディスプレイ12Rで行う。しかし、ジェスチャーを行う指が右ディスプレイ表示の先に動いて見えるのを嫌うユーザがいる可能性を考慮し、ユーザの好みにより(オプションで)、右手の指が見え難い左ディスプレイ12Lで画像表示を行うこともできる。
端末100を装着したユーザは、表示されたリストの中に現在必要とする物品情報(物品名称やそのIDコードなど)が表示されていないときは、ジェスチャー検出部14の電極(141〜144)が配置された右アイフレーム12Rの前で、例えば右手の人差し指を下から上へ跳ね上げるように動かす。すると、この動きの種類(ジェスチャーの1つ)が判定され(ST12)、その動きに対応した情報入力Aがジェスチャー検出部14で生成される(ST14)。この情報入力Aは、図7のシステムバスを介して、プロセッサ11aに送られる。すると、プロセッサ11aで走るプログラムは、右ディスプレイ12R(または左ディスプレイ12L)に表示された画像IM1(またはIM2)内の物品情報を、下から上へスクロールさせる(ST16)。指を下から上へ動かすジェスチャーを繰り返せば、画像IM1(またはIM2)内の物品情報を最後までスクロールアップできる。
最後までスクロールしても所望の物品情報が見つからないときは、例えば右手の人差し指を上から下へ振り下ろすように動かす。すると、この動きの種類 (ジェスチャーの別の1つ)が判定され(ST12)、その動きに対応した情報入力Aがジェスチャー検出部14で生成される(ST14)。この情報入力Aがプロセッサ11aに送られると、右ディスプレイ12R(または左ディスプレイ12L)に表示された画像IM1(またはIM2)内の物品情報は、上から下へスクロールする(ST16)。指を上から下へ動かすジェスチャーを繰り返せば、画像IM1(またはIM2)内の物品情報を最後までスクロールダウンできる。
画像IM1(またはIM2)内に複数の物品リストが同時に表示されている場合、どの物品リストをユーザが見ているかは、眼動検出部15の視線検出センサで検出できる。いま、説明を分かりやすくするため、画像IM1(またはIM2)内で、上、中、下の3行分の物品情報が表示されている場合を想定して説明する。
ユーザの視線が正面を向いたまま静止しているときは、図6の3つのADC出力(Ch0〜Ch2)の信号波形は全て横ばいで略平坦になっている。そのときは、画像IM1(またはIM2)内で中央に表示された物品情報に、ユーザの視線が向いていると判定する(あるいは、ユーザは中央列の物品情報を見ているものと推定する)。
ユーザの視線が正面から上向きに動いたときは、図6の2つのADC出力(Ch1〜Ch2)の信号波形に上向きのパルス(図8)が生じる。そのときは、画像IM1(またはIM2)内で中央より上に表示された物品情報に、ユーザの視線が向いていると判定する(あるいは、ユーザは上列の物品情報を見ているものと推定する)。
ユーザの視線が正面から下向きに動いたときは、図6の2つのADC出力(Ch1〜Ch2)の信号波形に下向きのパルス(図9)が生じる。そのときは、画像IM1(またはIM2)内で中央より下に表示された物品情報に、ユーザの視線が向いていると判定する(あるいは、ユーザは下列の物品情報を見ているものと推定する)。
例えばユーザの視線が正面を向いているときに、短時間(0.5〜1.0秒ほど)両目を瞑ると、図8とは異なる波形の上向きパルス(図12)が生じる。そのときは、画像IM1(またはIM2)内で中央に表示された物品情報を、ユーザが選択したと判定する(コンピュータマウスによるワンクリックに類似)。同様に、ユーザの視線が上を向いているときに両目を瞑ると上列の物品情報が選択されたものと判定し、ユーザの視線が下を向いているときに両目を瞑ると下列の物品情報が選択されたものと判定する。
物品情報の選択がなされたあと、例えばユーザの視線が正面を向いているときに、瞬間的(0.2〜0.3秒ほど)に両目で瞬きが複数回なされると、複数の鋭いパルス(図11)が生じる。そのときは、画像IM1(またはIM2)内で中央に表示された物品情報の選択を、ユーザが決定したと判定する(コンピュータマウスによるダブルクリックに類似)。同様に、ユーザの視線が上を向いているときに両目で複数回瞬きをすると上列の物品情報の選択が決定されたものと判定し、ユーザの視線が下を向いているときに両目で複数回瞬きをすると下列の物品情報の選択が決定されたものと判定する。
物品情報の選択がなされたあと、左眼でウインク(図13)がなされると、そのウインクに対応した動作を行うことができる。例えばユーザの視線が正面を向いているときに、左眼でウインクすることで、画像IM1(またはIM2)内で中央に表示された物品情報の文字列にあるカーソル(図示せず)を左に移動させることができる。逆に、右眼でウインクすることで、画像IM1(またはIM2)内で中央に表示された物品情報の文字列にあるカーソル(図示せず)を右に移動させることができる。
以上のように、眼動検出部15の視線検出センサから得られる種々な信号波形の組合せによって、ユーザの視線方向を含めて、ユーザの眼動(上下左右動、眼瞑り、瞬き、ウインクなど)を判定できる(ST22)。
ユーザの視線方向を含めてユーザの眼動が判定されると(ST22)、その判定結果に対応した情報入力Bが眼動検出部15で生成される(ST24)。この情報入力Bがプロセッサ11aに送られると、プロセッサ11aは、情報入力Bに対応した処理を実行する(ST26)。例えば、プロセッサ11aは、選択された物品情報に該当する物品(図示せず)をユーザが倉庫の格納棚から取り出したものと判断し、メモリ11cに記憶されている物品リストを修正する。そして、修正後のリストを、図示しないサーバへ、Wi−Fiを介して通知する(ST26)。あるいは、例えば図3の右ディスプレイ12R(または左ディスプレイ12L)に表示された画像IM1(またはIM2)内のテンキーを用いて、選択した物品情報に対して所望の数値コード等を付加できる(ST26)。
図15の処理は、情報入力Aに基づく処理および情報入力Bに基づく処理の一方が行われている間は、反復される(ST28ノー)。情報入力Aに基づく処理および情報入力Bに基づく処理が何れも終了すれば図15の処理は修了する(ST28イエス)。
図15の処理ST12〜ST16(情報入力Aの処理)はユーザのジェスチャー(例えば手や指の動き)により行われ、処理ST22〜ST26(情報入力Bの処理)はユーザの眼動により行われる。情報入力Aの処理と情報入力Bの処理は互いに協同関係にあっても、ユーザが行う操作としては独立している。そのため、眼動だけで情報入力する場合のように眼の疲労蓄積は少ない。その一方で、手が塞がっていてジェスチャー入力ができない場面では眼動を用いた情報入力ができる。
また、実施形態のメガネ型ウエアラブル端末100は手で触れずに操作できるため、手先が汚れている状態でも端末100を汚すことなく情報入力などを行うことができる。
なお、ユーザが電極141〜144のいずれかに(清潔な指先で)タッチできるような構成も可能である。その場合は、静電容量センサ14をタッチパッドのようなポインティングデバイスとして利用できる(図15のST12〜ST16の変形例)。例えば図3の構成において、ディスプレイ12Rにテンキーおよびカーソルを表示し、静電容量センサ14の電極141〜144のいずれかに指先でタッチしてカーソル移動を行うことができる。そして、視線検出センサ15で検出した「眼瞑り」、「瞬き」、あるいは「(左右の)ウインク」をコマンド化して、カーソル位置の数値(または文字)を選択しあるいはその入力を決定(Enter)することができる。このように、ジェスチャー以外の方法を利用しても、静電容量センサ14からの情報入力Aと視線検出センサ15からの情報入力Bを組み合わせることができ、種々な情報入力が可能になる。
上述した組合せ情報入力(情報入力Aと情報入力Bの組合せ)の操作では、カメラ撮影画像の画像処理やマイクで捉えた音声の認識処理が不要である。そのため周囲が暗くて正しい画像処理ができなくても、あるいは周囲の騒音が大きくて音声入力を正確に判別できなくても、特定の物体に触ることなく種々な情報入力ができる。換言すると、周囲の明暗に関係なく、また周囲の騒音にも関係なく、種々な情報入力ができる。
また、実施形態のメガネ型ウエアラブル端末では、ユーザに直接接触する複数の眼動検出電極(151a,151b,152a,152b)の設置場所を、ノーズパッド部分(150L、150R)のみにしている(ジェスチャー検出部の電極140〜144はユーザに直接接触しない構成としている)。ノーズパッドは普通のメガネにも存在するもので、普段メガネをかけている人にとって、実施形態のメガネ型ウエアラブル端末は違和感なく装着できる。(通常のメガネではユーザに接触しない部分、例えば左右のアイフレーム間のブリッジ部分にユーザの眉間に接するような検出電極を設けると、人によっては違和感を持ったり、うっとうしく感じたりする可能性がある。しかし、検出電極が通常メガネでもユーザに接触する部分(ノーズパッド部分あるいはテンプルバー部分)に絞られている実施形態のメガネ型ウエアラブル端末では、装着しても違和感を持ちにくい。)
<出願当初請求項の内容と実施形態との対応関係例>
[1]一実施の形態に係るメガネ型ウエアラブル端末(図1、図3、図4の100)は、左右両眼の位置に配置される左右アイフレーム部分(102、101)および鼻の位置に配置されるノーズパッド部分(150L、150R)を持つ。このメガネ型ウエアラブル端末は、左右アイフレーム部分の少なくとも一方に配置されるディスプレイ部(12L、12R)と、ユーザの動きを示すジェスチャーを検出するジェスチャー検出部(図7の14)と、ユーザの眼動を検出する眼動検出部(図7の15)を備えている。
このメガネ型ウエアラブル端末を用いた情報入力は、前記ジェスチャー検出部により検出される前記ジェスチャーに対応した第1の情報入力(情報入力A)と、前記眼動検出部により検出される前記眼動に対応した第2の情報入力(情報入力B)との組合せにより、行うことができる。
[2]前記ジェスチャー検出部(図3の14)は複数電極(141〜144、141*〜144*)からなる静電容量センサを具備し、前記複数電極が前記左右アイフレーム部分(102、101)の少なくとも一方に配置される。
[3]前記メガネ型ウエアラブル端末(図4の100)は前記左右アイフレーム部分(102、101)それぞれの側端部に繋がる左右テンプルバー(106、107)を持つ。前記ジェスチャー検出部(図4の14)は複数電極(図4の141〜144、141*〜144*)からなる静電容量センサが形成されたタブ(14、14T)を1以上具備し、前記タブが前記左右テンプルバー(106、107)の少なくとも一方に配置される。
[4]前記ジェスチャー検出部(14)は、複数の電極(送信電極140と上下左右の受信電極141〜144)からなる静電容量センサを備える。これらの電極により形成される複数の静電容量(図2のCrxtx、Crxg)および前記ユーザのジェスチャー(例えばユーザの指先の動き)に伴い変化する静電容量(Ch)の関数(Vtx*Crxtx/(Crxtx+Crxg+Ch))として、複数の電極信号(Vrxbuf;4つの受信電極それぞれからの電極信号Vrxbuf1〜Vrxbuf4)が、ジェスチャー検出部(14)から得られる。これらの複数の電極信号に基づいて、前記ジェスチャー(例えば指先を下から上へ動かす)に対応する前記第1の情報入力(情報入力A)を生成できる。
[5]前記眼動検出部(15)は、前記ノーズパッド部分(150L、150R)に複数の眼動検出電極(151a,151b,152a,152b)を備えることができる。これらの眼動検出電極により検出した前記ユーザの眼動の検出信号波形(例えば図11のCh1,Ch2のパルス)と、前記ユーザの眼動(例えば瞬き)との間の対応関係に基づいて、前記第2の情報入力(情報入力B)を生成できる。
[6]前記複数の眼動検出電極は、左右両側に上下電極(図6の151a,151bと152a,152b)を含む。少なくとも1組の前記上下電極(151a,151bおよび/または152a,152b)からの検出信号波形(Ch1および/またはCh2のADC出力)の変化から、上下方向の眼動(図8、図9)、瞬き(図11)、眼瞑り(図12)、または左右のウインク(図13、図14)をそれぞれ検出できる。また、前記左右両側の上下電極のうち、右側の上下電極の1つ(例えば151b)および左側の上下電極の1つ(例えば152b)からの検出信号波形(Ch0のADC出力)の変化から、左右方向の眼動(図10)を検出できる。
前記上下方向の眼動(図8、図9)および/または前記左右方向の眼動(図10)の検出結果に基づいて、ユーザの視線方向を判定できる。また、前記瞬き(図11)、眼瞑り(図12)、またはウインク(図13、図14)の検出結果に基づいて、ユーザの視線方向に関係した前記第2の情報入力(例えばユーザが見ている特定の文字列またはアイコンを選択する情報入力B)を生成できる。
[7]前記複数の眼動検出電極(151a,151b,152a,152b)は、前記ノーズパッド部分(150L、150R)に設けられておれば、それで事足りる。例えばメガネのブリッジ103の部分に、ユーザの眉間に接する別の電極を設ける必要はない。眼動検出電極は、通常のメガネにあるノーズパッドにのみに設ければよいので、普段メガネをかけている人には違和感がない。
[8]前記ノーズパッド部分(150L、150R)は、セラミック、プラスチック、ゴムなどの、電気的な絶縁体(誘電体)を用いて形成できる。前記複数の眼動検出電極(151a,151b,152a,152b)は、前記ノーズパッド部分(150L、150R)上で互いに離れて設けられる(図5に例示されるような、金属片貼り付け、金属蒸着、導体印刷、金属リング装着など)。
[9]前記ディスプレイ部(12)は、前記アイフレーム部分(102、101)に納まる表示デバイス(12L,12R)を備える。この表示デバイスは、アイフレームの形状に合わせてカッティングされた、透明板またはユーザに合わせた度付きレンズに、フィルム液晶を貼り付けるなどして、構成できる。
前記ジェスチャーに対応した前記第1の情報入力(情報入力A)により、前記表示デバイスに表示された情報項目に対してスクロールあるいはポインティングなどを行うことができる。
[10][9]に加えて、前記眼動に対応した前記第2の情報入力(情報入力B)により、前記表示デバイスに表示された情報項目に対する選択あるいは決定を行うことができる。
[11]一実施の形態に係る方法(図15)は、左右両眼の位置に配置される左右アイフレーム部分および鼻の位置に配置されるノーズパッド部分を持ち、前記左右アイフレーム部分の少なくとも一方に配置されるディスプレイ部と、ユーザの動きを示すジェスチャーを検出するジェスチャー検出部と、ユーザの眼動を検出する眼動検出部を備えたメガネ型ウエアラブル端末を用いる。
この方法において、前記ジェスチャー検出部により検出された動きに対応して第1の情報入力(情報入力A)を生成する(ST14)。また、前記眼動検出部により検出された眼動に対応して第2の情報入力(情報入力B)を生成する(ST24)。前記第1の情報入力(情報入力A)と前記第2の情報入力(情報入力B)の組合せにより、所定の処理が実行される(ST16,ST26)。
[12]他の実施形態に係る方法では、左右両眼の位置に配置される左右アイフレーム部分および鼻の位置に配置されるノーズパッド部分を持ち、前記左右アイフレーム部分の少なくとも一方に配置されるディスプレイ部と、ユーザの動きを検出する検出部(静電容量センサをタッチパッドとして利用)と、ユーザの眼動を検出する眼動検出部を備えたメガネ型ウエアラブル端末を用いる。
この方法において、前記検出部により検出された前記ユーザの動きに対応して第1の情報入力(情報入力A)を生成し、前記眼動検出部により検出された眼動に対応して第2の情報入力(情報入力B)を生成する。前記第1の情報入力(情報入力A)と前記第2の情報入力(情報入力B)の組合せにより、所定の処理が実行される。
この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
例えば、実施形態ではメガネ型ウエアラブル端末として一般的なメガネフレーム形状を持つ端末を例示した。しかし、一般的なメガネフレーム以外の形状・構造を持つものでも、本願発明を実施することも可能である。具体例を挙げれば、スキーやスノーボードのライダーが使用するゴーグルのような、有害な紫外線を防いだり、悪天候下でも視界を確保するための形状・構造を持つメガネ型ウエアラブル端末に、ジェスチャー検出部や眼動検出部を設けることができる。あるいは、例えば図3のようなメガネ型ウエアラブル端末を覆うような形で、ゴーグルを併用することもできる。また、メガネの任意の部分、例えばブリッジ部分に、何らかの部材または電極(ユーザの眉間に接するか接しないかは問わない)を設けても、本願の請求項に記載された構成を含む限り、それは本願発明の範囲内である。
これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、開示された複数の実施形態のうちのある実施形態の一部あるいは全部と、開示された複数の実施形態のうちの別の実施形態の一部あるいは全部を、組み合わせることも、発明の範囲や要旨に含まれる。