JPH0651901A - 視線認識によるコミュニケーション装置 - Google Patents

Abstract

(57)【要約】 【目的】 使用者の動作を拘束することがなく、あらゆ
る場所で使用することができる。 【構成】 使用者５の頭部に、頭部固定装置６を用い
て、超小型ディスプレイ装置２および眼球追跡装置３を
固定する。超小型ディスプレイ装置２の小型ディスプレ
イ８の画面を、可動レンズ９で拡大し、虚像スクリーン
１０を得る。眼球追跡装置３からの信号により、視線角
度検出部１７で視線角度を検出し、かつ注視時間測定部
１８で、視点１９を注視する継続時間を求める。視線角
度を用い、視点１９の虚像スクリーン１０上の座標を求
める。視点１９の座標および視点１９を注視する継続時
間をアイコン制御部２４に入力し、画面の表示を制御す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視線を検出することによ
って機械との情報通信を行なう視線認識によるコミュニ
ケーション装置に関する。

【０００２】

【従来の技術】従来、視線を検出することによって機械
との情報通信を行なう視線認識によるコミュニケーショ
ン装置としては、例えば特公昭６０−１７１２５号公報
に示されているように、眼球画像をカメラで撮影し、カ
メラの座標系における瞳孔の中心を計算により算出し、
ディスプレイの座標系への変換は、事前に行なったキャ
リブレーションデータに基づき計算し、ディスプレイ座
標上の視点を決定する方式のもの、あるいは特開平２−
１１０６２２号公報に示されているように使用者の頭部
に固定した照射部からの光を、ディスプレイ前面の受光
フィルタで受けて照射位置を決定するとともに、頭部と
ディスプレイとの間の距離を、距離測定部により測定
し、この距離データに基づき頭部の位置を決定する方式
のものが知られている。

【０００３】

【発明が解決しようとする課題】前記従来の視線認識に
よるコミュニケーション装置において、カメラを用いる
前者は、カメラと使用者の頭部との相対位置関係が一定
であることを前提としているため、頭部を動かすと、カ
メラ、ディスプレイおよび頭部の位置関係が変わってし
まい、座標系変換のためのキャリブレーションを再度行
なう必要があるという問題がある。

【０００４】一方、光の照射部を用いる後者は、照射部
が使用者の頭部に固定されているため、使用者がディス
プレイの正面に対座している限り、頭部を多少動かして
も問題はないが、使用者がディスプレイを斜めに見る位
置にいる場合には、頭部とディスプレイとの位置関係を
判別できず、誤差が大きくなるという問題がある。

【０００５】また、従来の視線認識によるコミュニケー
ション装置は、いずれの方式の場合にも、機械が設定さ
れている場所に赴いてシステムを利用しなければなら
ず、例えば携帯しての使用は不可能であるという問題が
ある。

【０００６】本発明は、このような点を考慮してなされ
たもので、システムの利用に際して、使用者の動作を拘
束することがなく、あらゆる場所で容易にシステムを利
用することができる視線認識によるコミュニケーション
装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、前記目的を達
成する手段として、使用者に提供すべき情報を表示する
小型の表示手段と；この表示手段の表示画面前方に設置
されて表示画面を拡大する可動レンズ系と；使用者の視
線の方向を検出する眼球追跡手段と；少なくとも前記表
示手段、可動レンズ系および眼球追跡手段を、使用者の
頭部に装着固定する固定手段と；前記眼球追跡手段から
の信号および事前に行なった校正データに基づき、使用
者の注視点を表示画面上の座標点に変換する変換手段
と；前記眼球追跡手段からの信号に基づき、所定の注視
範囲に対する注視の継続時間を検出する注視時間検出手
段と；前記変換手段および注視時間検出手段からの信号
に基づき、表示画面の表示内容を制御する表示制御手段
とをそれぞれ設けたことを特徴とする。

【０００８】

【作用】本発明に係る視線認識によるコミュニケーショ
ン装置においては、小型の表示手段の表示画面が、可動
レンズ系で拡大されるとともに、眼球追跡手段により使
用者の視線の方向が検出される。そして、変換手段によ
り、使用者の注視点が、可動レンズ系で拡大された虚像
のスクリーン上の座標点に変換される。また、注視時間
検出手段により注視の継続時間が検出され、所定の注視
点に対する注視継続時間を、制御信号として用いること
により、表示画面の表示内容が制御される。このため、
目の動きのみにより表示制御を行なうことが可能とな
り、また、表示手段、可動レンズ系および眼球追跡手段
は、固定手段により使用者の頭部に固定されるので、例
えば屋外に携帯しても使用することが可能となる。

【０００９】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。

【００１０】図１は、本発明に係る視線認識によるコミ
ュニケーション装置の一例を示すもので、このコミュニ
ケーション装置１は、超小型ディスプレイ装置２と、眼
球追跡装置３と、マイクロホン４と、これらを使用者５
の頭部に装着固定するための頭部固定装置６とを備えて
いる。

【００１１】超小型ディスプレイ装置２は、ケース７内
に小型ディスプレイ８と可動レンズ９とを組付けて構成
されており、可動レンズ９を、小型ディスプレイ８に対
し遠近移動させることにより、小型ディスプレイ８の表
示画面が、虚像スクリーン１０として拡大されて使用者
５に認識されるようになっている。

【００１２】図２は、この超小型ディスプレイ装置２の
一例を示すもので、この超小型ディスプレイ装置２は、
ケース１１と、このケース１１内に配置された赤色ＬＥ
Ｄアレイ１２と、この赤色ＬＥＤアレイ１２からの光を
スキャンする可動ミラー１３と、赤色ＬＥＤアレイ１２
と可動ミラー１３との間に配置されピント調節のために
位置調節可能な拡大レンズ１４とから構成されており、
使用者が前記可動ミラー１３を介し赤色ＬＥＤアレイ１
２からの光を見ることにより、１２インチ相当の虚像ス
クリーンとして認識できるようになっている。

【００１３】なお、超小型ディスプレイ装置２として
は、図２に示す構造のものに限らず、例えば液晶ディス
プレイとレンズ系とを組合わせて構成することもでき
る。

【００１４】前記眼球追跡装置３は、例えば「強膜反射
法」と呼ばれる原理に基づく方式のものが用いられてい
る。この方式は、使用者５の眼球１５に赤外線を照射す
るとともに、その反射光を受光し、黒目と白目の反射率
に差があることを利用して眼球１５の方向、すなわち視
線１６の方向を検出するものである。この眼球追跡装置
３からの検出信号は、図１に示すように、視線角度検出
部１７および注視時間測定部１８にそれぞれ入力され、
視線角度および特定の視点１９に対する注視継続時間が
それぞれ検出されるようになっている。

【００１５】視線角度検出部１７からの出力信号は、校
正制御部２０からの信号とともに視線角度・座標変換校
正値演算・保持部２１に入力されるようになっており、
視線角度・座標変換校正値演算・保持部２１からの信号
は、前記視線角度検出部１７からの出力信号とともに視
線角度・座標変換演算部２２に入力されるようになって
いる。そして、この視線角度・座標変換演算部２２によ
り、視点１９の虚像スクリーン１０上の座標点への変換
がなされるようになっている。

【００１６】次に、視点１９の虚像スクリーン１０上の
座標点への変換方法の一例を、図３を参照して説明す
る。

【００１７】まず、視線角度の検出を行なうが、視線角
度の検出は、Ｘ成分と、Ｘ成分に直交するＹ成分とに分
けて行なう。なお、Ｘ成分、Ｙ成分とも、その検出方法
は基本的には同一であるため、以下Ｘ成分についてのみ
説明する。

【００１８】視線角度の検出では、まず校正を行なう。
校正基準点を、虚像スクリーン１０左端のＡ点、中央の
Ｂ点、右端のＣ点にとる。これら各校正基準点Ａ，Ｂ，
Ｃを、虚像スクリーン１０上にアイマークポインタ等で
表示し、使用者５に各校正基準点Ａ，Ｂ，Ｃをそれぞれ
注視してもらう。そして、各校正基準点Ａ，Ｂ，Ｃにお
ける視線角度θ_A ，θ_B ，θ_C をそれぞれ検出する。

【００１９】ここで、校正基準点Ａ，Ｂ，ＣのＸ座標を
それぞれＸ_A ，Ｘ_B ，Ｘ_C 、虚像スクリーン１０から眼
球１５までの距離をＬ、距離とＸ座標単位との比例定数
をα（だだし、Ｌ，αは未知）とすると、次式が成立す
る。

【００２０】 （Ｌ×α×tan θ_C ）−（Ｌ×α×tan θ_B ）＝Ｘ_C −Ｘ_B …（１） （Ｌ×α×tan θ_B ）−（Ｌ×α×tan θ_A ）＝Ｘ_B −Ｘ_A …（２） これら両式より、

【００２１】 の式が得られ、未知であった距離Ｌと比例定数αとが
（Ｌ×α）の形で、実測の視線角度θ_A ，θ_B ，θ_C と
座標Ｘ_A ，Ｘ_B ，Ｘ_C とによって表現される。

【００２２】この校正値は、視線角度・座標変換校正値
演算・保持部２１において演算された後保持され、続い
て視線角度・座標変換演算部２２においての演算に用い
られる。

【００２３】一般の視点１９の位置をＸとし、そのとき
の視線角度をθ_x とすると、 （Ｌ×α×tan θ_x ）−（Ｌ×α×tan θ_B ）＝Ｘ−Ｘ_B …（５） の式が得られる。この（５）式は、前記（３）式を代入
することにより、 Ｘ＝Ｘ_B ＋（Ｘ_C −Ｘ_B ）×（tan θ_x −tan θ_B ）／ （tan θ_C −tan θ_B ） …（６） のように表わすことが可能となる。なお、測定誤差等を
考慮に入れて、θ_x ＞θ_B であれば（３）式を、θ_x ＜
θ_B であれば（４）式を適用することができる。

【００２４】すなわち、実測の視線角度θ_A ，θ_B ，θ
_C と校正基準点の座標Ｘ_A ，Ｘ_B ，Ｘ_C を用いることに
より、任意の視点１９の位置Ｘの視線角度θ_x から、位
置Ｘの虚像スクリーン１０上における座標を求めること
が可能となる。また、同様の方法により、Ｙ成分の座標
も求めることが可能となり、この両者の計算を行なうこ
とで、虚像スクリーン１０上の視点１９の座標（ｘ，
ｙ）を計算することができる。

【００２５】このようにして求められた虚像スクリーン
１０上の視点１９の座標は、図１に示すように、視線角
度・座標変換演算部２２から、注視時間測定部１８から
の信号とともにアイコン制御部２４に入力されるように
なっている。

【００２６】注視時間測定部１８は、前述のように、特
定の視点に対する注視継続時間を検出するようになって
おり、例えば予め、アイコンを選択状態にするために使
用者５が意識してアイコンを注視しなければならない最
少時間、選択状態のアイコンに定義している処理を起動
させるために使用者５が意識してアイコンを注視しなけ
ればならない最少時間、あるいは選択状態のアイコンに
定義している処理を起動させるために使用者５が意識し
て目を閉じていなければならない最少時間等を決めてお
くことにより、眼球１５の動きによって画面表示内容を
制御できるようになっている。注視中の視線のふらつき
を吸収するために、注視継続時間としては視点の近傍に
設けた注視範囲内に視点が入っている時間を検出する。

【００２７】なおここで、アイコンとは、使用者５に情
報を提示したり、あるいは使用者５が情報を入力するた
めに画面上に設けられた適当な閉領域をいい、視点１９
が特定のアイコン上に移動してきたならば、使用者５へ
の視標として、視点１９にアイマークポインタが表示さ
れるとともに、視点１９が設定時間以上特定のアイコン
に留まったならば、当該アイコンが反転表示等で強調表
示され、選択されたアイコンは、他のアイコンが選択さ
れるまで有効となるようになっている。そしてこれによ
り、アイコンの境界線上に近い所での視点１９のふらつ
きや、まばたき等による検出視線位置の一時的な誤認等
によるアイコンの誤認識を避けることができるようにな
っている。

【００２８】音声は必ずしも使用しなくてもよいが、音
声の併用がより効率的である場合には次のようにして併
用することができる。

【００２９】前記マイクロホン４は、図１に示すよう
に、使用者５の口２５の近傍位置に設置され、使用者５
の音声２６を捉えるようになっている。マイクロホン４
で捉えられた音声２６は、音声認識部２７においてデー
タとして認識され、アイコン制御部２４に入力される。
そして、このアイコン制御部２４からの出力信号は、前
記校正制御部２０からの出力信号とともに画面表示制御
部２８に入力され、この画面表示制御部２８からの出力
信号により、小型ディスプレイ８の表示画面が制御され
るようになっている。

【００３０】図４は音声によるアイコンの制御方法を示
すフロチャートを示すものである。まずマイクロホン４
を用いて入力された音声は、選択状態のアイコンがある
場合、音声認識部２７において入力された音声データに
対する処理が定義されているか判断される。音声データ
に対する処理が定義されているときは、アイコン制御部
２４によりそのアイコンに定義されている音声データ入
力に対する処理が行われ、その処理信号が画面表示制御
部２８に入力され、この画面表示制御部２８により小型
ディスプレイ８の表示画面が制御される。

【００３１】また、音声データに対する処理が定義され
ていないときは、未定義な音声データ入力に対する処理
が行われる。また、アイコンが未選択状態で、音声デー
タに対する処理が定義されている音声が入力された場合
には、アイコン未選択状態における入力音声データに対
し定義されている処理が行われる。

【００３２】音声によるデータ入力は、視線のように継
続的には行われないため、データ入力が発生するたびに
視線検出処理に優先して音声入力データ処理を行ない、
処理が終了した後、視線検出によるアイコン制御にデー
タ処理が引継がれる。

【００３３】図５は、視点１９の移動と注視時間による
アイコンの選択処理の手順を示すフローチャートを示す
もので、以下、図５を参照して本実施例の作用を説明す
る。

【００３４】なお、図５において、ｔ₁ は、アイコンを
選択状態にするために、使用者５が意識してアイコンを
注視しなければならない最少時間、ｔ₂ は、選択状態の
アイコンに定義している処理を起動させるために、使用
者５が意識して選択状態のアイコンを注視しなければな
らない最少時間、ｔ₃ は、選択状態のアイコンに定義し
ている処理を起動させるために、使用者が意識して目を
閉じなければならない最少時間である。

【００３５】ステップＳ１において、視点検出がなされ
ると、ステップＳ２において、目を開けているか否かの
判別がなされる。目を開けていると判断された場合に
は、ステップＳ３において、視点１９がアイコン内であ
るか否かが判別され、アイコン内である場合には、ステ
ップＳ４において、選択状態のアイコンであるか否かが
判別される。

【００３６】なお、目を開けているか否かの判断は、た
とえば眼球からの光の反射を見る眼球追跡装置を採用し
ている場合、目を閉じると眼球からではなく、閉じたま
ぶたからの反射光を検出するため、検出値が異常な値と
なり、これは、正常なレンジの値との比較手段を設け、
区別・判断することで解決可能である。

【００３７】ステップＳ４において、選択状態のアイコ
ンであると判断された場合には、ステップＳ５におい
て、継続時間がｔ₂ 以上であるか否かが判別される。そ
して、ｔ₂ を超えている場合には、ステップＳ６におい
て、選択状態にあるアイコンに定義された処理を起動
し、ステップＳ１に戻る。

【００３８】一方、ステップＳ４において、選択状態の
アイコンでないと判断されたならば、ステップＳ７にお
いて、継続時間がｔ₁ 以上か否かが判別され、ｔ₁ を超
えている場合には、ステップＳ８において、選択状態ア
イコンがあれば、そのアイコンを未選択状態に戻した
後、現在注視しているアイコンを選択状態にして、ステ
ップＳ１に戻る。

【００３９】また、ステップＳ２において、目を閉じて
いると判断されたならば、ステップＳ９において、選択
状態のアイコンがあるか否かが判別され、選択状態のア
イコンがある場合には、ステップＳ１０において、継続
時間がｔ₃ 以上であるか否かが判別される。

【００４０】ステップＳ１０において、ｔ₃ を超えてい
ると判断された場合には、ステップＳ１１において、選
択されているアイコンに定義された処理を起動した後、
ステップＳ１に戻る。

【００４１】このように、眼球１５の動きを追跡して、
虚像スクリーン１０上の視点１９の座標を求め、その視
点１９の注視継続時間と音声とを用いて、画面表示を制
御するようにしているので、操作に両手を必要としな
い。また、コミュニケーション装置１は、頭部固定装置
６により使用者５の頭部に固定されるので、頭部を動か
しても問題がなく、移動しながらでも、また全く身体を
動かさなくても、操作することができる。このため、コ
ンピュータに限らず、様々な入力装置、情報表示・検索
装置を、自由な姿勢で制御できる装置を実現することが
できる。また、データ入力に音声を併用することもでき
るので、小型ディスプレイ８の限られた面積を、より有
効に利用することができる。

【００４２】本実施例に係るコミュニケーション装置１
は例えば次のような場合にでも使用することができる。

【００４３】即ち、本実施例に係るコミュニケーション
装置１を新しい電子メディアとして用いることにより、
例えば満員電車の中などでも新聞や雑誌を読むことがで
き、時間の有効活用が可能となる。

【００４４】また、本実施例に係るコミュニケーション
装置１を健康モニタとして利用し、運動するときには各
種センサとともに身体に装置し、体調をリアルタイムで
モニタリングすることにより、運動の適正量を容易に把
握することができる。また、運動の記録計や運動のペー
スメーカーとしても利用できる。

【００４５】さらに、本実施例に係るコミュニケーショ
ン装置１を寝たきり老人や身障者、あるいは病院に入院
中の人などの生活補助具として用い、目で打つワープロ
やリモートコントローラとして使用することにより、他
人とのコミュニケーションの強化や、より利便性のある
生活を営むことができる。

【００４６】

【発明の効果】以上説明したように本発明は、少なくと
も表示手段、可動レンズ系、および眼球追跡手段が、固
定手段により使用者の頭部に装着固定されるので、シス
テムの利用に際して、使用者の動作を拘束することがな
く、あらゆる場所で容易にシステムを利用することがで
きる。また、所定の注視点に対する注視の継続時間によ
って、表示画面の表示内容を制御することができるの
で、歩行中等、両手が使えない場合であっても、システ
ムを利用することができる。また、必要であれば音声も
併用して表示画面の表示内容を制御することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る視線認識によるコミュ
ニケーション装置を示す構成図。

【図２】超小型ディスプレイ装置の一例を示す構成図。

【図３】視線角度から視点の虚像スクリーン上の座標を
求める方法を示す説明図。

【図４】音声入力によりアイコンを制御する方法を示す
フロチャート。

【図５】視点の移動と注視時間によるアイコンの選択処
理の手順を示すフローチャート。

【符号の説明】

１ コミュニケーション装置 ２ 超小型ディスプレイ装置 ３ 眼球追跡装置 ４ マイクロホン ５ 使用者 ６ 頭部固定装置 ８ 小型ディスプレイ ９ 可動レンズ １５ 眼球 １６ 視線 １７ 視線角度検出部 １８ 注視時間測定部 １９ 視点 ２０ 校正制御部 ２１ 視線角度・座標変換校正値保持部 ２２ 視線角度・座標変換演算部 ２４ アイコン制御部 ２６ 音声 ２７ 音声認識部 ２８ 画面表示制御部

Claims (1)

【特許請求の範囲】
1. 【請求項１】使用者に提供すべき情報を表示する小型の
   表示手段と；この表示手段の表示画面前方に設置されて
   表示画面を拡大する可動レンズ系と；使用者の視線の方
   向を検出する眼球追跡手段と；少なくとも前記表示手
   段、可動レンズ系および眼球追跡手段を、使用者の頭部
   に装着固定する固定手段と；前記眼球追跡手段からの信
   号および事前に行なった校正データに基づき、使用者の
   注視点を表示画面上の座標点に変換する変換手段と；前
   記眼球追跡手段からの信号に基づき、所定の注視範囲に
   対する注視の継続時間を検出する注視時間検出手段と；
   前記変換手段および注視時間検出手段からの信号に基づ
   き、表示画面の表示内容を制御する表示制御手段と；を
   具備することを特徴とする視線認識によるコミュニケー
   ション装置。