JPH11206713A - 視線検出用機器およびこれを用いた視線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 視線検出用機器において、眼球の上側に撮像
手段を配置し、眼球の下側に投光手段を配置すると、投
光手段に対する配線をミラーの縁に沿って這い回す必要
ある。 【解決手段】 眼球１に対して一方の側（例えば、上
側）に配置され、視線検出光を投光する投光手段３と、
上記一方の側に配置され、投光手段からの視線検出光に
より眼球に形成されるプルキンエ像を含む眼球像を撮像
するための撮像手段４と、眼球像を反射により撮像素子
に導く第１反射手段２と、眼球に対して他方の側（例え
ば、下側）に配置され、投光手段からの視線検出光を反
射により眼球に投光させる第２反射手段６とを設けて視
線検出用機器を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線検出を行うた
め視線検出用機器に関するものである。

【０００２】

【従来の技術】従来の視線検出用機器は、図１４〜図１
８に示すように、プルキンエ像形成用のＩＲＥＤ（投光
手段）１０３と、撮像素子１０４と、この撮像素子４に
眼球画像を反射により導くために眼球前部に略４５°の
角度で配置されたダイクロイックミラー（反射手段）１
０２とを有している。

【０００３】そして、このような視線検出用機器におい
ては、プルキンエ像を形成するためのＩＲＥＤ１０３の
取付け位置が重要である。例えば、配線を簡略化する場
合には、図１７，１８に示すように、ＩＲＥＤ１０３を
眼球１０１に対して撮像素子１０４と同じ側（上側）に
配置する。この場合、図８に示すように、プルキンエ像
１０８は角膜１０９の上部に形成される。

【０００４】但し、この場合、図９に示すように視線を
下に向けたときや、まぶた１１２が眼球１０１に大きく
掛かったときには、プルキンエ像１０８がまぶた１１２
やまつげによってケラれてしまいプルキンエ像１０８が
検出できなくなる。

【０００５】このため、図１５，１６に示すように、Ｉ
ＲＥＤ１０３を眼球１０１に対して下側に配置すること
によって、眼球下部にプルキンエ像を形成することがで
き（図６参照）、まぶたが下がってきても（図７参
照）、プルキンエ像の検出に問題が生じないようにして
いる。

【０００６】

【発明が解決しようとする課題】しかしながら、眼球に
対して下側にＩＲＥＤ１０３を配置する一方、撮像素子
１０４を上側に配置すると、ＩＲＥＤ１０３に対する配
線をダイクロイックミラー１０２の縁に沿って這い回す
必要ある。このため、ダイクロイックミラー１０２に
は、配線を隠すために縁部１１９が必要となる。このた
め、視野にケラれが生じてしまい問題となっている。

【０００７】また、広い視野を確保するためには、ＩＲ
ＥＤ１０３をできるだけ下に配置する必要があるが、機
器が顔面に当たらないようにするためにはダイクロイッ
クミラー１０２の傾きがあるため撮像素子１０４の取付
け位置が前方に出す必要があり、機器が大型化する要因
となっていた。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の視線検出用機器では、眼球に対して一方
の側（例えば、上側）に配置され、視線検出光を投光す
る投光手段と、上記一方の側に配置され、投光手段から
の視線検出光により眼球に形成されるプルキンエ像を含
む眼球像を撮像するための撮像手段と、眼球像を反射に
より撮像素子に導く第１反射手段と、眼球に対して他方
の側（例えば、下側）に配置され、投光手段からの視線
検出光を反射により眼球に投光させる第２反射手段とを
設けている。

【０００９】これによれば、眼球に対して投光手段を撮
像手段と同じ側（上側）に配置できるため、第１反射手
段に沿って配線をする必要がなくなる。このため、反射
手段に縁部を設ける必要もなくなる。しかも、視線検出
光の光軸を眼球の下部に導くことができるので、まぶた
等によって視線検出ができなくなることもない。

【００１０】なお、眼球周辺の明るさが不足するため投
光手段の出力を上げたためにプルキンエ像の検出が困難
になるような場合には、視線検出光投光用の投光手段と
は別に眼球周辺用照明手段を設けて、十分な眼球画像が
得られるようにするのが望ましい。そして、この場合
に、投光手段と眼球周辺用照明手段の数を異ならせて、
投光手段により形成されたプルキンエ像と眼球周辺用照
明手段により形成されたプルキンエ像とを簡単に区別で
きるようにするのが望ましい。

【００１１】

【発明の実施の形態】（第１実施形態）図１〜３には、
本発明の第１実施形態である視線検出用眼鏡（視線検出
用機器）を示す。これらの図において、１は眼球、１７
は眼鏡の本体を構成するベース部である。

【００１２】２は眼球画像を撮像素子４（ここではＹ−
ＢＡＳＩＳ）に導くための赤外線反射膜を蒸着したダイ
クロイックミラー（第１反射手段）、３は眼球を照射し
角膜上にプルキンエ像を形成するための１つ以上の発光
部を備えた投光手段であるＩＲＥＤ、４はダイクロイッ
クミラー２によって反射した眼球画像を取り込むための
撮像素子、５は撮像素子４に像を結像させるための結像
レンズ、６はＩＲＥＤ３より投光された光線によるプル
キンエ像を形成させる光束を反射させるためのＩＲＥＤ
反射ミラー（第２反射手段）である。また、１８はダイ
クロイックミラー２をベース部１７とを接続するアーム
部である。

【００１３】ここで、本視線検出用眼鏡１３では、投光
用ＩＲＥＤ３を撮像素子４および結像レンズ５が固定さ
れているベース部１７に取付け、さらにプルキンエ像形
成用にＩＲＥＤ３からの光線を反射して眼球１に照射す
るためにＩＲＥＤ反射ミラー６を、眼球を挟んでＩＲＥ
Ｄ３と反対側（本実施形態においては眼球１の下側）に
ダイクロイックミラー２とは異なる角度で配置してい
る。

【００１４】このため、ＩＲＥＤ３を発光させると、プ
ルキンエ像８を形成する光束はＩＲＥＤ反射ミラー６に
よって反射されて眼球１を下側から照射する。すなわ
ち、ＩＲＥＤ３が眼球上部に配置されているにもかかわ
らず、図６に示すような位置にプルキンエ像８を形成で
きる。したがって、ＩＲＥＤ３への配線をベース部１７
内にすべて収容することができ、従来のようにダイクロ
イックミラー２の周囲に縁部を設ける必要もなくなる。

【００１５】なお、眼球周辺部の照明はダイクロイック
ミラー２による反射光によって行われる。

【００１６】次に、本視線検出用眼鏡１３を用いた視線
検出の原理を図６を用いて説明する。ＩＲＥＤ３が眼球
１に照射されると、角膜９上にＩＲＥＤ３の虚像、すな
わちプルキンエ像８が形成される。本実施形態において
は、精度向上のため、ＩＲＥＤ３が２灯のもので示して
いる。

【００１７】さらに、ＩＲＥＤ３によって照明された眼
球の像が眼球光軸に対して４５°に配置されたダイクロ
イックミラー２によって上部に反射される。これを結像
レンズ５によって撮像素子４上に結像させることによっ
て眼球の画像を取り込む。そして、取り込まれた眼球画
像から略円形を成す瞳孔１０のエッジ部をポイント抽出
する。さらに、そのポイントから円近似を行い中心点を
算出する。この円の中心点とプルキンエ像８の相対変位
量が眼球回転量となり視線方向とする。

【００１８】図１１には、本視線検出用眼鏡１３と表示
機器１５，１６とを接続した視線検出システムを示して
いる。なお、１４は視線検出用眼鏡１３を制御するため
の視線コントロールボックスである。

【００１９】次に、図１２を用いて、ディスプレイ１６
に視線表示するための動作を説明する。ステップ＃１に
おいてスタートすると、ステップ＃２において、視線検
出用眼鏡１３によって視線検出を行う。このサブルーチ
ンに関しては後述する。

【００２０】次にステップ＃３では、ステップ＃２にお
いて得られた眼球回転角を視線コントロールボックス１
４から抽出し、パーソナルコンピュータ１５へ送り出
す。この値を用いてディスプレイ１６と被験者の位置関
係からディスプレイ１６上のどの位置に視線方向がある
かパーソナルコンピュータ１５によって計算する。

【００２１】そして、ステップ＃４では計算された視線
位置をディスプレイ１６上に表示する。そしてステップ
＃５において、視線動作を継続するか否かを判定し、継
続する場合はステップ＃２へ戻り、終了する場合はステ
ップ＃６で終了する。

【００２２】次に、図１３に示す視線検出のフローチャ
ートを用いて視線検出動作について説明する。まず、ス
テップ＃２０２では、ＩＲＥＤ３を点灯させ、眼球１を
照明すると同時に、撮像素子４のクリア信号を“Ｌ”に
して電荷の蓄積を始める。

【００２３】さらに、ステップ＃２０３では、撮像素子
４の蓄積状態を検知し、蓄積が終了したかどうかを調べ
る。蓄積開始と同時に蓄積状態信号を“Ｌ”にし、ＡＧ
Ｃ信号をモニターすることによって所定のレベルに達す
ると、蓄積状態信号を“Ｈ”にし、同時に電荷転送信号
を所定時間“Ｈ”にして、蓄積された電荷をＣＣＤ部に
転送させる。

【００２４】次に、ステップ＃２０３で、蓄積状態信号
が“Ｈ”ならば、蓄積が終了したということでステップ
＃２０４に移行し、“Ｌ”ならば蓄積未終了ということ
で、もう一度ステップ＃２０３を実行する。

【００２５】さらに、ステップ＃２０４では、撮像素子
４の像信号の増幅したＡ／Ｄ変換およびそのデジタル信
号のＲＡＭ格納を行う。

【００２６】次に、ステップ＃２０５では、ステップ＃
２０４において得られた眼球の情報に基づき、瞳孔のエ
ッジを検出する。これは虹彩部の出力平均の半値に近い
出力を生ずる画素を抽出することによって行われる。

【００２７】次に、ステップ＃２０６では、ステップ＃
２０５の処理中に得られた、像のコントラスト値、予測
瞳孔径と検出瞳孔径との差等によって、瞳孔径検出結果
の信頼性を判断する。予測瞳孔径とは、外界の明るさに
応じて収縮、拡大する瞳孔径の標準的な値である。すな
わち、眼球１の跳躍運動中に蓄積が行われて、瞳の像が
不鮮明であった場合や、まつげによる像出力の低下を瞳
孔９と取り違えた場合等を排除する。信頼性充分と判断
されたときは、ステップ＃２０７へ移行し、信頼性が不
十分と判断されたときは、ステップ＃２１２へ移行す
る。

【００２８】次にステップ＃２０７では、プルキンエ像
８の抽出を行う。これは角膜９上に現われた輝度ピーク
を検出することによって行われる。

【００２９】さらに、ステップ＃２０８では、ステップ
＃２０７において抽出したプルキンエ像８から必要なも
のの選択を行う。具体的には、抽出されたプルキンエ像
８のそれぞれの距離を算出し、その距離がある一定の領
域内に存在しているかを判定する。これが１対でない場
合はステップ＃２１２へ分岐し、１対の場合はステップ
＃２０９へ移行する。

【００３０】そして、ステップ＃２０９では、検出した
プルキンエ像のコントラストを所定値と比較することに
よって、メガネ等によるゴースト光がプルキンエ像８と
重なった場合あるいはまばたきによってプルキンエ像が
半分欠けた場合等を検出し、このときには信頼性不十分
としてステップ＃２１２へ分岐し、信頼性が充分なとき
はステップ＃２１０へ移行する。

【００３１】続くステップ＃２１０では、眼球の回転角
を演算し、ステップ＃２１１においてサブルーチンをリ
ターンする。

【００３２】ステップ＃２０９においてプルキンエ像と
瞳孔エッジの抽出が信頼性不十分と判定された場合、分
岐したステップ＃２１２では、視線検出不能を表すフラ
グ“１”をＮＧフラグにセットし、ステップ＃２１２に
おいてサブルーチンをリターンする。

【００３３】（第２の実施例）図４および図５には、本
発明の第２実施形態である視線検出用眼鏡を示す。な
お、本実施形態の基本構成は第１実施形態と同じである
ので、共通構成要素については第１実施形態と同符号を
付して説明に代える。

【００３４】本実施形態の視線検出用眼鏡は、ＩＲＥＤ
３とは異なる位置、具体的にはアーム部１８に眼球周辺
部の照明用ＩＲＥＤを有する点で第１実施形態と異な
る。

【００３５】第１実施形態のようにＩＲＥＤ３を取付け
ると、図１４から図１６に示す従来のものに比べて眼球
１までの距離が遠くなる。このため従来に比べてＩＲＥ
Ｄ３のパワーを上げなければならない。また、プルキン
エ像８を形成するための光束と眼球１の周辺を照明する
ための光束の経路が異なるため、プルキンエ像８を最適
に形成するためのパワーと眼球１周辺を最適に照明する
パワーとが大きく異なるようなことがＩＲＥＤ３の配置
によっては有り得る。

【００３６】このような場合、パワーをどちらかに合わ
せてしまうと測定に十分な精度が出なくなったり、測定
できなかったりすることがある。そこで、本実施形態で
は、ＩＲＥＤ３はプルキンエ像８を最適に形成するため
に使用し、さらに眼球周辺を照明するためにＩＲＥＤ７
を設けて各々の出力を調整することによって最適な画像
を得られるようにしている。

【００３７】但し、これらの図に示す位置近傍に眼球周
辺部の照明用ＩＲＥＤ７を設けると、場合によっては、
図１０に示すように、この照明によるプルキンエ像が発
生する場合がある。なお、図１０において、８ａはＩＲ
ＥＤ３によるプルキンエ像で、８ｂはＩＲＥＤ７による
プルキンエ像である。

【００３８】このような場合、間違ってプルキンエ像８
ｂを測定対象として選択しないようにすることが必要で
ある。このため、不必要なプルキンエ像８ｂが計測用の
プルキンエ像８ａから十分離れた位置に形成されるよう
にＩＲＥＤ７の位置を設定する。

【００３９】さらに、ＩＲＥＤ７の数をＩＲＥＤ３とは
異なる数（基本的には少ない数）にすることにより、簡
単に前述の視線検出サブルーチンの判定によりプルキン
エ像８ｂを選択しないようにすることができる。これに
より、プルキンエ像を分離して測定に必要とするプルキ
ンエ像８ａのみを選択することができる。

【００４０】なお、本実施形態では眼鏡タイプの視線検
出用機器について説明したが、本発明は各種タイプの視
線検出用機器に適用することができる。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
眼球に対して同じ側（例えば上側）に、投光手段と撮像
手段とを設けたので、第１反射手段に沿って配線をする
必要をなくすることができる。このため、反射手段に縁
部を設ける必要もなくすることができる。しかも、視線
検出光の光軸を眼球の下部に導くことができるので、ま
ぶた等によって視線検出ができなくなることも防止でき
る。

【００４２】なお、視線検出光投光用の投光手段とは別
に眼球周辺用照明手段を設ければ、投光手段の出力を上
げてプルキンエ像の検出を困難にすることなく、十分な
眼球画像を得ることができる。そして、この場合に、投
光手段と眼球周辺用照明手段の数を異ならせれば、投光
手段により形成されたプルキンエ像と眼球周辺用照明手
段により形成されたプルキンエ像とを簡単に区別でき
る。

【図面の簡単な説明】

【図１】本発明の第１実施形態である視線検出用眼鏡の
全体斜視図。

【図２】上記視線検出用眼鏡の検出系と眼球との関係を
表す断面図。

【図３】上記検出系を眼球側から見た正面図。

【図４】本発明の第２実施形態である視線検出用眼鏡の
検出系と眼球との関係を表す断面図。

【図５】上記第２実施形態の検出系を眼球側から見た正
面図。

【図６】ＩＲＥＤ投光時の眼球画像を示す図。

【図７】ＩＲＥＤ投光時のまぶたが下がった時の眼球画
像を示す図。

【図８】ＩＲＥＤを眼球上部から投光した時の眼球画像
を示す図。

【図９】ＩＲＥＤを眼球上部から投光した時のまぶたが
下がった時の眼球画像を示す図。

【図１０】上記第２実施形態の視線検出用眼鏡により得
られる眼球画像を示す図。

【図１１】上記各視線検出用眼鏡とパソコンとを接続し
たシステムの構成図。

【図１２】上記各視線検出用眼鏡により検出された視線
データをディスプレイ表示するためのフローチャート。

【図１３】上記システムによる視線検出のフローチャー
ト。

【図１４】従来の視線検出用眼鏡の全体斜視図。

【図１５】従来の視線検出用眼鏡の検出系と眼球との関
係を表す断面図。

【図１６】図１５の検出系を眼球側から見た正面図。

【図１７】ＩＲＥＤを眼球上部から投光した時の眼球と
従来の検出系の関係を表す断面図。

【図１８】図１７の検出系を眼球側から見た正面図。

【符号の説明】

１，１０１……眼球 ２，１０２……ダイクロイックミラー ３，１０３……ＩＲＥＤ群 ４，１０４……撮像素子 ５，１０５……結像レンズ ６……ＩＲＥＤ反射ミラー ７，１０７……眼球周辺照明用ＩＲＥＤ群 ８，１０８……プルキンエ像 ９，１０９……角膜 １０，１１０……瞳孔 １１，１１１……網膜 １２，１１２……まぶた １３，１００……視線検出用眼鏡 １４……視線コントロールボックス １５……パーソナルコンピュータ １６……ディスプレイ １７，１１７……ベース部 １８，１１８……アーム部 １１９……縁部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 眼球に対して一方の側に配置され、視線
   検出光を投光する投光手段と、 前記一方の側に配置され、前記投光手段からの視線検出
   光により眼球に形成されるプルキンエ像を含む眼球像を
   撮像するための撮像手段と、 前記眼球像を反射により前記撮像素子に導く第１反射手
   段と、 前記眼球に対して他方の側に配置され、前記投光手段か
   らの視線検出光を反射により前記眼球に投光させる第２
   反射手段とを有することを特徴とする視線検出用機器。
2. 【請求項２】 前記一方の側が上側で、前記他方の側が
   下側であり、 前記第２反射手段は、前記投光手段からの視線検出光の
   光軸を前記眼球の下部に導くことを特徴とする請求項１
   に記載の視線検出用機器。
3. 【請求項３】 前記第１反射手段と前記第２反射手段の
   配置角度が互いに異なることを特徴とする請求項１又は
   ２に記載の視線検出用機器。
4. 【請求項４】 前記投光手段とは別に、眼球周辺用照明
   手段を設けたことを特徴とする請求項１から３のいずれ
   かに記載の視線検出用機器。
5. 【請求項５】 前記投光手段の数と前記眼球周辺用照明
   手段の数とを異ならせたことを特徴とする請求項４に記
   載の視線検出用機器。
6. 【請求項６】 請求項１から５のいずれかに記載の視線
   検出用機器による眼球撮像結果に応じて視線を検出する
   視線検出装置。