JPH07229714A

JPH07229714A - 車両用視線方向計測装置

Info

Publication number: JPH07229714A
Application number: JP6040393A
Authority: JP
Inventors: Takuo Ishiwaka; 卓夫石若
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1994-02-15
Filing date: 1994-02-15
Publication date: 1995-08-29
Anticipated expiration: 2016-07-11
Also published as: JP3185522B2

Abstract

(57)【要約】【目的】運転者が眼鏡装着時にも、精度よく視線方向
を計測する。【構成】ＨＵＤ表示された視線スイッチエリア２６の
運転者の注視部位が視線停留判断部２３で判断され、注
視部位に応じてコントローラ切り替え部２７を介して各
種制御を行なう視線スイッチシステムにおいて、視線方
向を求めるため第１、第２の発散照明１、２による眼球
１３の画像がカラーカメラ４で撮像される。画像データ
はＲＧＢ別に出力され、網膜反射像抽出部７ではＲ（赤
色）の画像データから網膜反射像を得て瞳孔中心を求め
る。角膜反射像抽出部８では網膜反射像位置を基にその
他の色の画像データから角膜反射像を抽出して、視線方
向算出部１０で瞳孔中心と角膜反射像とから視線方向を
求める。網膜反射像に特有の赤色成分により網膜反射
像が確実容易に識別されるから、精度よく視線方向が求
められる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、車両運転者の視線方
向を遠隔から非接触で計測する車両用視線方向計測装置
に関する。

【０００２】

【従来の技術】この種の視線方向計測装置は、車両用の
非接触マンマシンインタフェイスとして、例えば車両運
転者の注目している方向に視覚情報を表示するとか、視
線方向に応じて特定のスイッチを動作させるなど、種々
の目的への利用が期待されている。このようなインタフ
ェイスを構成するために必要な、車両運転者の視線方向
の計測装置として、従来、眼球の角膜反射像の位置を画
像情報として取り入れて計測する装置が提案されてい
る。角膜反射像は、眼球への照射光が眼球を構成する光
学系の各面で反射、屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。

【０００３】しかしながら、車両運転者が眼鏡を装着し
ていると、図１５に示すように、照明光がレンズ表面や
裏面、あるいはフレームから反射する。さらにこれらの
反射像Ｗ１、Ｗ２、Ｗ３等がある大きさをもつと、網膜
反射像Ｍ、角膜反射像Ｋとの識別が困難となる。反射像
が大きさを持つ場合とは、例えば、光学系ではボケによ
る影響が原因となり、また、撮像系ではブルーミングに
よる影響が原因となって、反射像が大きさをもつように
なる。したがって、これらと眼球の反射像とを識別して
眼鏡装着者であっても精度よく視線方向を計測できるこ
とが必要である。

【０００４】そこで、従来、眼鏡装着者を対象としてそ
の視線方向を計測するものとしては、例えば特開平４−
１３８４３１号公報や、特開平４−１３８４３２号公報
に開示された装置がある。これらは、カメラのファイン
ダーを覗いている撮影者の視線方向を計測するものであ
り、２個の光源を用いて眼球に同時照射した時の反射像
の間隔が、図１６に示されるように、眼鏡レンズの反射
像Ｗ、Ｗでは大きくなり、角膜反射像Ｋ、Ｋでは小さく
なることを利用して、眼鏡による反射像を識別するよう
にしている。

【０００５】

【発明が解決しようとする課題】しかしながら、被験者
としては何ら拘束を受けず自由空間で任意に頭部を変位
させ得る車両運転者を対象とする場合、眼鏡レンズだけ
でなく眼鏡フレームからの反射光も画像情報として混入
することになり、上記のようにカメラのファインダーを
覗いている撮影者の視線だけを計測対象とする装置では
識別が困難である。すなわち、眼鏡レンズからの反射光
は、先の図１６に示されるように、２個の光源を結ぶ線
とほぼ平行の同一線上に観測されるが、眼鏡フレームか
らの反射光はランダムな位置に発生する。したがって、
とくに計測のためペアを組むべき角膜反射像の近傍に眼
鏡フレームによる反射像が現われると、どの反射像とど
の反射像がぺアとなるのか判別が困難となり、正確に角
膜反射像を判定することができない。このため、上記従
来のカメラ撮影者用の視線方向計測装置では、車両運転
者用として有効に適用できないという問題がある。

【０００６】また、図１５のように、眼鏡レンズからの
反射像Ｗ１がある面積を有し、網膜反射像Ｍ付近に現わ
れると、１つの角膜反射像を判定する拠り所となる網膜
反射像の特定も困難となる。したがって、本発明は上記
のような従来の問題点に鑑み、車両運転者が眼鏡を装着
していても、確実に角膜反射像を抽出でき、精度よく視
線方向を計測できる車両用視線方向計測装置を提供する
ことを目的とする。

【０００７】

【課題を解決するための手段】このため本発明は、図１
に示すように、運転者の眼球を異なる方向から照射する
複数の照明６２ａ、６２ｂと、該複数の照明による眼球
からの反射像を撮像する撮像装置６３を備えて各照明毎
の画像デ−タを得る画像入力手段６１と、画像デ−タか
ら網膜反射像を抽出して瞳孔中心を算出する網膜反射像
抽出手段６４と、画像デ−タから角膜反射像を抽出する
角膜反射像抽出手段６５と、抽出された角膜反射像と瞳
孔中心より運転者の視線方向を算出する視線方向算出手
段６６とを有し、画像入力手段６１は、前記の画像デ−
タとして網膜反射像に特有の色成分を有する画像デ−タ
とその他の色成分を有する画像デ−タとを得、網膜反射
像抽出手段６４は、網膜反射像に特有の色成分を有する
画像デ−タを用いて他の反射像から識別して網膜反射像
を抽出し、角膜反射像抽出手段６５は、前記網膜反射像
の位置を基に角膜反射像を抽出するように構成されたも
のとした。

【０００８】

【作用】複数照明により、照明毎に反射像の位置がずれ
た複数の画像データが得られる。網膜反射像抽出手段６
４、角膜反射像抽出手段６５では複数画像データの差分
演算その他の画像処理により得られた候補領域から網膜
反射像、角膜反射像を抽出する。ここで、網膜反射像の
場合には．とくに赤など眼鏡レンズ表面からの反射像に
は見られない特有の色成分が含まれている。画像入力手
段６１が網膜反射像に特有の色成分を有する画像デ−タ
ｄ１とその他の色成分を有する画像デ−タｄ２とを得る
ようになっており、網膜反射像抽出手段６４ではこのう
ち網膜反射像に特有の上記色成分を有する画像デ−タｄ
１を用いるので、車両運転者が眼鏡を装用している場合
でも、他の反射像から識別して網膜反射像が確実に特定
でき、高精度に網膜反射像が抽出される。そして、角膜
反射像抽出手段６５は、上記抽出された網膜反射像を参
照して角膜反射像を特定するから、容易に抽出される。

【０００９】

【実施例】以下、この発明を図面に基づいて説明する。
図２は、本発明を車両の視線スイッチシステムに適用し
た実施例の構成を示し、図３はその車載レイアウトを示
す。運転者の眼球１３を撮像するよう、計器盤上にＣＣ
Ｄ等を用いたカラーカメラ４が設置される。車両運転者
の眼球位置は、例えばＪＩＳ（日本工業規格）Ｄ００２
１に示されるように、自動車の運転者のアイレンジとし
て統計的に示された限定領域に存在するから、カラーカ
メラ４の撮像範囲はそこに限定でき、車両運転者に比較
的近接して設置できる。

【００１０】そして、カラーカメラ４のレンズの前面
に、カメラの光軸と照射方向が一致するように取り付け
られた共軸系の第１の発散照明１が運転者の眼球部に向
けて設けられる。また、カラーカメラ４から離れて相対
関係があらかじめ設定された所定の位置に、カラーカメ
ラの光軸と照射方向が一致しない非共軸系の第２の発散
照明２が同じく眼球部に向けて設けられている。第１お
よび第２の発散照明１、２は、同一仕様の白色光源をも
ち、ピラーやセンタコンソール等に設置され、運転中の
前景注視時には直接に運転者の視界内に入らないように
配置される。第１の発散照明１、第２の発散照明２には
それらの発光を制御する照明発光制御部１１が接続され
ている。

【００１１】カラーカメラ４からの撮像出力は、Ａ／Ｄ
変換器５でＲ、Ｇ、Ｂ各信号独立にデジタル画像データ
としてＡ／Ｄ変換され、画像メモリ６に格納される。画
像メモリ６には、網膜反射像抽出部７と、角膜反射像抽
出部８が接続され、これら両抽出部はさらに視線方向算
出部１０に接続されている。上述の照明発光制御部１
１、Ａ／Ｄ変換器５を含み、装置全体の動作を制御する
全体制御部１２が設けられている。

【００１２】網膜反射像抽出部７は、画像メモリ６に格
納された画像データの中のＲ（赤）成分から網膜反射像
を抽出し、さらに瞳孔中心を演算抽出する。また、角膜
反射像抽出部８では、画像デ−タから角膜反射像の位置
を特定する。そして視線方向算出部１０において、上記
角膜反射像抽出部８により抽出した角膜反射像および網
膜反射像抽出部７により抽出した瞳孔中心に基づいて、
瞳孔中心と角膜球中心を結ぶ直線方向として運転者の視
線方向が演算特定される。

【００１３】視線方向算出部１０には視線停留判断部２
３を介してコントロ−ラ切り替え部２７が接続されてい
る。コントロ−ラ切り替え部には、オーディオコントロ
ーラ２８、エアコンコントローラ２９、ラジオコントロ
ーラ３０、ＡＳＣＤ（定速走行装置）コントローラ３１
等が接続されているとともに、ＨＵＤ（ヘッドアップデ
ィスプレー）表示制御部２４と、ステアリングスイッチ
２２が接続されている。視線停留判断部２３は、ＨＵＤ
表示制御部２４によりフロントウインドシールド４１上
に表示される視線スイッチエリア２６内の視線停留位置
を判断し、コントローラ切り替え部２７へ制御情報を出
力する。

【００１４】いま、メインスイッチ２１が押されるとシ
ステムがＯＮして、視線方向算出部１０から運転者の視
線方向が出力される。視線停留判断部２３は、出力され
た運転者の視線方向がエアコン、オーディオなどの各操
作対象項目（エリア）を表示する視線スイッチエリア２
６のどのエリアを指しているかを判断する。

【００１５】視線スイッチエリア２６上の運転者が注視
しているエリアが決定されると、コントロ−ラ切り替え
部２７は上記決定されたエリアに対応するエアコンコン
トロ−ラ、オーディオコントローラ等を選択する項目切
り替えを行う。そして、ＨＵＤ表示制御部２４は、コン
トローラ切り替え部２７を通して出力される各コントロ
ーラの信号に基づき、その内容をＨＵＤ表示部２５に表
示する。続いて、ステアリングスイッチ２２からのユ−
ザ入力による所定の制御対象の制御が行われる。

【００１６】図３に示されるように、メインスイッチ２
１とステアリングスイッチ２２はステアリング４２に取
り付けられる。ウインドシ−ルド４１上にＨＵＤ表示部
２５と視線スイッチエリア２６が設定されている。視線
スイッチエリア２６はさらに、図４の（ａ）にその詳細
を示すように、各種コントローラの名称がＨＵＤ表示さ
れているものである。また、同図の（ｂ）にはステアリ
ングスイッチ２２の詳細が示されている。

【００１７】つぎに動作について説明する。図５は、上
記視線スイッチシステムにおける処理の流れを示す。ま
ずステップ１０１において、全体制御部１２から計測開
始信号が出力されると、これに基づきステップ１０２
で、照明発光制御部１１から卜リガ信号が発せられて、
第１の発散照明１が点灯され、車両運転者の顔面が照明
される。そしてステップ１０３において、この照明され
た顔面領域の画像がカラーカメラ４によって取り込ま
れ、画像情報がＡ／Ｄ変換器５によりＲ、Ｇ、Ｂ各成分
のそれぞれが独立にＡ／Ｄ変換され、それぞれデジタル
の画像データＤＲ１（ｘ，ｙ）、ＤＧ１（ｘ，ｙ）、Ｄ
Ｂ１（ｘ，ｙ）として画像メモリ６に格納される。

【００１８】続いてステップ１０４において、照明発光
制御部１１からトリガ信号によって第２の発散照明２が
点灯され、車両運転者の顔面が照明される。そしてス
テップ１０５で、この照明された顔面領域の画像がカラ
ーカメラ４によって取り込まれ、上述と同様に画像情報
がＡ／Ｄ変換器５によりＲ、Ｇ、Ｂ成分のそれぞれが独
立にＡ／Ｄ変換され、デジタルの画像データＤＲ２
（ｘ，ｙ）、ＤＧ２（ｘ，ｙ）、ＤＢ２（ｘ，ｙ）とし
て、画像メモリ６に格納される。上記ステップ１０２〜
１０５が、発明の画像入力手段を構成している。

【００１９】この後、ステップ１０６において、網膜反
射像抽出部７により、Ｒ（赤色）成分の画像データＤＲ
１（ｘ，ｙ）、ＤＲ２（ｘ，ｙ）から、車両運転者の網
膜反射像の位置が計測される。ここで、網膜反射像は、
眼球内に白色光を入射すると赤色の反射光として戻って
くる。これは、例えば写真撮影でストロボを使用したと
きの「赤目現象」として知られているように、網膜に通
る血液の反射によるものである。一方、眼鏡による反射
像については、一般に使用されている眼鏡はガラスまた
はプラスチックで作られていることが多く、可視光領域
では、反射光に波長選択性は少ない。したがって、白色
光を照射した時に赤色光として返ってくる反射像は網膜
反射像のみである。このため、画像中の反射像のＲ
（赤）成分の輝度レベルの高い領域を探索すれば、網膜
反射像をその他の像から分離して抽出することができ
る。

【００２０】図６は、ステップ１０６の網膜反射像の位
置計測の詳細を示す。まず、図７の（ａ）、（ｂ）に示
されるような第１および第２の発散照明１、２による入
力画像データのうち、Ｒ成分の画像データＤＲ１（ｘ，
ｙ）、ＤＲ２（ｘ，ｙ）のみが画像メモリ６から読み出
され、ステップ２０１において、これら赤色成分の画像
データＤＲｌ（ｘ，ｙ）とＤＲ２（ｘ，ｙ）の差分演算
を行なって、図７の（ｃ）のような画像データＤＲ３
（ｘ，ｙ）が求められる。ステップ２０２において、画
像データＤＲ３（ｘ，ｙ）が、予め設定した所定のしき
い値Ｔｈ１（Ｔｈ１＞０）で２値化され、図７の（ｄ）
のようにノイズが除去された画像データＲ４（ｘ，ｙ）
とされる。なお、照明点灯の有無にかかわらず画像中に
もともと存在する赤色領域は、ステップ２０１およびス
テップ２０２において除去される。

【００２１】続いて、ステップ２０３において、上記画
像データＤＲ４（ｘ，ｙ）内の各領域に番号付けを行う
ラベリング処理が施される。そして、ステップ２０４に
おいて、上記ラベリングされた各領域の中で、最大の面
積を持つものが網膜反射像として抽出される。このあ
と、ステップ２０５において、網膜反射像の重心位置
（Ｘｇｉ，Ｙｇｉ）が演算される。ステップ２０１〜２
０５からなるステップ１０６が発明の網膜反射像抽出手
段を構成している。

【００２２】図５に戻って、上に求めた網膜反射像重心
位置を基にして、角膜反射像位置を特定するため、ステ
ップ１０７において、網膜反射像の近傍領域に角膜反射
像を探索する探索領域Ｔが設定される。探索領域Ｔは、
図８に示されるように、網膜反射像の重心位置を中心
に、ｐ×ｑの範囲に設定される。これは、網膜反射像の
位置が特定できれば、第１の発散照明１による角膜反射
像の位置と、第２の発散照明２による角膜反射像の発生
位置は、網膜反射像の近傍に限定されることになるから
である。

【００２３】このあと、ステップ１０８において、角膜
反射像抽出部８で、角膜反射像が抽出される。ここで
は、照明に白色光を使用しているため、角膜反射像も白
色の輝点となる。観測される反射光の中から真の角膜反
射像を特定するに際しては、眼鏡レンズによる反射や透
過、および角膜表面の反射では、可視光領域において波
長選択性は少ないため、Ｒ、Ｇ、Ｂのどの色成分を用い
て処埋を行っても角膜反射像位置の演算には大差は生じ
ない。ただ、Ｒ成分をもちいて処埋を行うと、網膜反射
像が、抽出すべき角膜反射像と重なってしまう場合も考
えられるので、ＧまたはＢ成分を用いればよい。

【００２４】角膜反射像は眼球部光学系のどの面で生じ
た像であるかによって、第１〜第４のプルキンエ像に分
類できるが、ここでは、その中で最も明るい、角膜表面
で生じた第１プルキンエ像を対象とする。車両運転者が
眼鏡を装用していると、角膜反射像の他に眼鏡のレンズ
やフレームでの反射光が同時に観測される。これらは、
角膜反射像と同様に明るい領域として観測される。

【００２５】図９に、このような環境の中での角膜反射
像抽出の詳細フローを示す。ステップ３０１において、
まず図１０の（ａ）、（ｂ）に示されるような画像デー
タＤＧ１（ｘ，ｙ）、ＤＧ２（ｘ，ｙ）の差分演算を行
う。処埋後の画像データＤＧ３（ｘ，ｙ）は、（ｃ）の
ように、画像ＤＧ１（ｘ，ｙ）、ＤＧ２（ｘ，ｙ）間で
濃淡値がほぼ等しい眼鏡領域や頬領域、さらに白目領域
等が除去され、濃淡値が大きく異なる角膜反射像、眼鏡
レンズ反射像、眼鏡フレーム反射像などの領域が強調さ
れる。ここでは正値および負値がそのまま表わされ、図
の塗りつぶし部が負値を示している。

【００２６】ステップ３０２で、画像データＤＧ３
（ｘ，ｙ）のｐ×ｑ領域について予め設定したしきい値
Ｔｈ２（Ｔｈ２＞０）で２値化され、（ｄ）のような画
像データＤＧ４（ｘ，ｙ）が得られる。ステップ３０３
において、上記２値化して抽出された領域にラベリング
処埋が施されたあと、ステップ３０４において、面積し
きい値処埋が行われる。角膜反射像は、数ドット以下の
面積の小さい輝点であるから、この処埋では、ラベリン
グされた各領域の面積を算出し、一定面積Ｓth以上の領
域を除外することにより、小さな輝点領域の抽出が行わ
れる。

【００２７】こうして抽出された領域を、角膜反射像の
候補領域ｉとして、ステップ３０５において、候補領域
ｉの重心位置が演算される。次のステップ３０６では、
第２の発散照明２による反射像の探索領域Ｕの設定が行
われる。すなわち、第１の発散照明１による反射像の位
置が特定されれば、第２の発散照明２による反射像の発
生位置は、その近傍に限定されるからである。そこで前
ステップで算出された各重心位置を含んで、ｍ×ｎ画素
の小領域が設定される。

【００２８】この探索領域Ｕは、第１、第２の発散照明
１、２の設定状態に応じて決定される。例えば、図１１
の（ａ）に示されるように、運転者から見て第２の発散
照明２が第１の発散照明１よりも右側にある配置では、
同図の（ｂ）のように、第１の発散照明１による角膜反
射像Ａ１よりも、第２の発散照明２による角膜反射像Ａ
２の方が画像上で左方に位置することになる。また先の
図１６に示したように、対応する反射像は、第１の発散
照明１と第２の発散照明２を結ぶ線分と平行の線上に現
われる。したがって、探索領域Ｕとしては、図１１の
（ｃ）に示すように、候補領域ｉの重心位置Ｖから左方
へ延びる範囲を設定すればよい。

【００２９】つぎのステップ３０７において、候補領域
ｉ毎に上記のように探索領域において、第２の発散照明
２による反射像の探索が行なわれる。ここでは、各探索
領域の画像データＤＧ３（ｘ，ｙ）をしきい値Ｔｈ３
（Ｔｈ３＜０）で２値化処理して、ＤＧ３（ｘ，ｙ）＜Ｔｈ３を満足する画素があるかどうかが探索される。

【００３０】ステップ３０８では、上記２値化処埋の結
果に基づいて応じて、角膜反射像を特定する。（１）探索領域内にＤＧ３（ｘ，ｙ）＜Ｔｈ３を満足す
る画素が抽出されない場合。このときには、候補領域ｉに対応した第２の発散照明に
よる反射像に該当する輝点領域が探索領域内に存在しな
いのであるから、すなわち候補領域ｉは角膜反射像でな
いこととなる。（２）探索領域内にＤＧ３（ｘ，ｙ）＜Ｔｈ３を満足す
る画素で構成された領域が、唯１つ抽出された場合。このときには、発見された領域の重心座標（Ｘｇｉ，Ｙ
ｇｉ）を求め、これがメモリに記憶される。

【００３１】（３）探索領域内にＤＧ３（ｘ，ｙ）＜Ｔ
ｈ３を満足する画素で構成された領域が、２つ以上抽出
された場合。このときには、真の角膜反射像であるならば、第１の発
散照明１による角膜反射像と平行のため、候補領域ｉと
のｙ座標の差が最小になる。したがって、抽出された領
域のうち、ｙ座標の差が最少となるものを真の角膜反射
像としてその重心座標（Ｘｇｉ，Ｙｇｉ）を求める。以
上のステップ３０１〜３０８からなるステップ１０８
が、角膜反射像抽出手段を構成している。

【００３２】図５に戻って、このあとステツプ１０９
で、視線方向算出部１０において、これまでに求められ
た２つの角膜反射像の重心座標および瞳孔領域の重心座
標をもとに、運転者の視線方向が算出される。図１２は
視線方向算出部における視線方向の算出原理を示す説明
図である。照明とカメラの光軸が一致している共軸系の
とき、カメラ焦点Ｆ1 （＝照明光源Ｌ１位置）とカメラ
Ｃ（ＣＣＤ面上）上の角膜反射像βを結ぶ直線は角膜球
中心Ｏを通過する。したがって、角膜球中心Ｏは直線Ｆ
1 −β上にある。また実際上の瞳孔中心Ｑは、カメラ焦
点（照明位置）とＣＣＤ画像上の瞳孔中心αを結ぶ直線
Ｆ1 −α上にある。

【００３３】カメラ４の焦点距離をｆ、焦点位置をＦ1
（０，０，０）とし、Ｘ軸、Ｙ軸、Ｚ軸のワ−ルド座標
系Ｆ1 −ＸＹＺを考え、非共軸系照明の光源Ｌ２はＦ2
（ａ，ｂ，ｃ）にあって照明光が角膜表面で正反射する
ものとする。その正反射点Ｐは、ＣＣＤ面上の光源Ｌ１
による角膜反射像δとカメラ焦点Ｆ1 を結ぶ直線Ｆ1−
δ上にある。すると、直線Ｆ1 −δ上に仮正反射点Ｐを
置き、角膜球半径である７．８ｍｍの半径で球面Ｊを描
けば、球面Ｊと直線Ｆ1 −βの交点として角膜球中心Ｏ
の立***置が定まる。角膜球中心Ｏと瞳孔中心Ｑ間の距
離は約４．２ｍｍであり、上に決定された角膜球中心Ｏ
を中心とする半径４．２ｍｍの球面Ｋと、直線Ｆ1 −α
の交点として瞳孔中心Ｑの立***置が定まる。これによ
り、点ＯとＱを結ぶ線が視線方向として求められる。ス
テップ１０９が、視線方向算出手段を構成している。

【００３４】ステップ１１０においては、視線停留判断
部２３で、上述のようにして視線方向算出部１０で算出
された視線方向が視線スイッチエリア２６のどのエリア
（制御項目）を見ているかを判断し、その時間を算出す
る。そしてステップ１１１で、停留判断が行なわれる。
これは、運転者が処理サイクルの一定回数連続して同一
エリアを見ているか否かによって行なわれる。視線方向
算出の１サイクルに４００ｍｓｅｃを要するとすれば、
例えば連続して２回として約０．８ｓｅｃの注視時間を
もって、同一エリアを注視しているものと判断する。

【００３５】ここで運転者が図４の（ａ）に示す視線ス
イッチエリア２６の例えばエアコン・エリア（Ａ／Ｃ）
を注視していると判断されると、ステップ１１２に進ん
で、対象物すなわちエアコンの制御が行なわれ、一定時
間以上の停留がなければ、ステップ１０２へ戻って視線
方向の計測が繰り返される。ステップ１１２では、コン
トローラ切り替え部２７により例えばエアコン制御に切
り換えられ、ＨＵＤ表示制御部２４によりＨＵＤ表示部
２５に現在のエアコン設定温度が表示される。なお、ス
テップ１１２に移ると視線方向の計測は停止される。

【００３６】ＨＵＤ表示部２５にエアコン設定温度が表
示されると、ステアリング・スイッチ２２のアップダウ
ンボタンが設定温度の上下調整を行うように機能するよ
うになる。運転者はＨＵＤ表示部２５を見ながら、ステ
アリングスイッチ２２のアップダウンボタンを操作して
希望の設定温度にセットする。セツトした情報により、
エアコンコントローラ２９により所定の温度制御が行わ
れる。一定時間（例えば５秒間）アップダウンボタンが
操作されない場合は、操作が終了したものと判断してス
イッチ機能は全て停止する。再び運転者が何等かの操作
を必要とし、メインスイッチ２１を押すと再び上述の処
理が繰り返される。

【００３７】実施例は以上のように構成され、運転者の
視線方向計測にあたって、眼鏡反射像と角膜反射像を分
離する際、網膜反射像が赤色成分をもつことを利用し、
画像中の赤色成分に着目して網膜反射像を抽出し、この
網膜反射像位置を基に角膜反射像を特定するようにした
ため、システム操作者が眼鏡を装着していても、正確に
視線方向を求めることができる。なお、前述のようにカ
ラーカメラを車両運転者に比較的近接して設置でき、撮
像範困を限定できるので、運転者の眼球部を拡大撮影し
て比較的高精度で広範囲にわたる視線方向を計測可能で
ある。

【００３８】なおまた、実施例では光源に白色光を用い
ているが、これに限定されることなく、網膜反射により
重畳する赤色成分と識別可能であれば、青色や緑色など
の成分を有する光源を用いることもできる。さらに、上
記実施例では、各色成分の画像データとして、カラーカ
メラ４がＲ、Ｇ、Ｂの全３色を入力し、各色成分のデー
タを出力するものを示したが、このほか、図１３に示す
ように、眼球部から反射する入射光をダイクロイツクミ
ラー５１等に導き、網膜反射像の赤色成分を含む波長の
みを反射してこれをカメラまたは撮像素子５２に入力
し、それ以外の透過成分を他のカメラまたは撮像素子５
３に入力させるようにして、別々の系から画像データを
得るようにすることもできる。これにより、高価なカラ
ーカメラのかわりに通常の白黒カメラを用いることがで
きる。

【００３９】あるいはまた、図１４に示すように、入射
光の全光量を所定割合の反射と透過に配分するビ−ムス
プリッタ５５等を用いて、カメラまたは撮像素子５２、
５３に入力し、一方のカメラまたは撮像素子５２の前に
網膜反射像の赤色成分を含む波長のみを透過するフイル
タ５８を設置する。これによっても、安価な白黒カメラ
などを用いて他の色成分から分離された赤色成分の画像
データを得ることができる。

【００４０】

【発明の効果】以上のとおり、本発明は、眼球部の画像
デ−タから網膜反射像および角膜反射像を抽出し、瞳孔
中心と角膜反射像とから運転者の視線方向を算出する視
線方向計測装置において、網膜反射像が赤色の特有の色
成分をもつことを利用し、網膜反射像を抽出するにあた
りこの網膜反射像に特有の色成分を有する画像デ−タを
用いて抽出し、またこの抽出した網膜反射像位置を基に
角膜反射像を抽出するものとしたので、運転者が眼鏡を
装着していても、眼鏡レンズやフレームの反射像から網
膜反射像および角膜反射像を確実、容易に特定でき、精
度の高い視線方向計測が行なえるという効果を有する。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の実施例の構成を示す図である。

【図３】実施例の車載レイアウトを示す図である。

【図４】視線スイッチエリアとステアリングスイッチの
詳細を示す図である。

【図５】実施例における処理の流れを示すメインフロー
チャートである。

【図６】網膜反射像の位置計測の詳細を示すフローチャ
ートである。

【図７】画像データの処理の流れを示す説明図である。

【図８】探索領域を示す図である。

【図９】角膜反射像抽出の詳細を示すフローチャートで
ある。

【図１０】画像データの処理の流れを示す説明図であ
る。

【図１１】探索領域の設定要領を示す図である。

【図１２】視線方向の算出原理を示す説明図である。

【図１３】各色成分の画像データ入力の他の例を示す図
である。

【図１４】各色成分の画像データ入力の他の例を示す図
である。

【図１５】眼鏡装着時の反射像例を示す図である。

【図１６】２照明による眼鏡レンズの反射像と角膜反射
像の間隔を示す図である。

【符号の説明】

１第１の発散照明２第２の発散照明４カラーカメラ５Ａ／Ｄ変換器６画像メモリ７網膜反射像抽出部８角膜反射像抽出部１０視線方向算出部１１照明発光制御部１２全体制御部１３眼球２１メインスイッチ２２ステアリングスイッチ２３視線停留判断部２４ＨＵＤ表示制御部２５ＨＵＤ表示部２６視線スイッチエリア２７コントロ−ラ切り替え部２８オーディオコントローラ２９エアコンコントローラ３０ラジオコントローラ３１ＡＳＣＤコントローラ４１フロントウインドシールド４２ステアリング５１ダイクロイツクミラー５２、５３カメラまたは撮像素子５５ビ−ムスプリッタ５８フイルタＴ、Ｕ探索領域

Claims

【特許請求の範囲】

【請求項１】運転者の眼球を異なる方向から照射する
複数の照明と、該複数の照明による眼球からの反射像を
撮像する撮像装置を備えて各照明毎の画像デ−タを得る
画像入力手段と、前記画像デ−タから網膜反射像を抽出
して瞳孔中心を算出する網膜反射像抽出手段と、前記画
像デ−タから角膜反射像を抽出する角膜反射像抽出手段
と、前記抽出された角膜反射像と瞳孔中心より運転者の
視線方向を算出する視線方向算出手段とを有し、前記画像入力手段は、前記画像デ−タとして網膜反射像
に特有の色成分を有する画像デ−タとその他の色成分を
有する画像デ−タとを得、前記網膜反射像抽出手段は、
前記網膜反射像に特有の色成分を有する画像デ−タを用
いて他の反射像から識別して網膜反射像を抽出し、前記
角膜反射像抽出手段は、前記網膜反射像の位置を基に角
膜反射像を抽出するものであることを特徴とする車両用
視線方向計測装置。
【請求項２】前記網膜反射像に特有の色成分が赤色で
あることを特徴とする請求項１記載の車両用視線方向計
測装置。
【請求項３】前記角膜反射像抽出手段は、前記網膜反
射像の重心位置を中心に設定された所定の第１の探索領
域内を探索して角膜反射像を抽出するものであることを
特徴とする請求項１または２記載の車両用視線方向計測
装置。
【請求項４】前記角膜反射像抽出手段は、前記第１
の探索領域内の所定面積以下の輝点領域を前記複数の照
明のうちの第１の照明による第１の角膜反射像の候補領
域とし、該候補領域の重心位置から、第１の照明に対す
る第２の照明の位置に対応して決定される所定方向へ延
びて設定された第２の探索領域内に第２の照明による第
２の角膜反射像に該当する第２の輝点領域があるとき、
前記候補領域および第２の輝点領域を角膜反射像とする
ことを特徴とする請求項３記載の車両用視線方向計測装
置。
【請求項５】前記画像入力手段の撮像装置は、前記各
色成分別の画像データを出力するカラーカメラであるこ
とを特徴とする請求項１、２、３、または４記載の車両
用視線方向計測装置。
【請求項６】前記画像入力手段の撮像装置は、眼球か
ら反射した入射光をダイクロイツクミラーにより網膜反
射像の赤色成分を含む波長成分とその他の色成分に分離
し、それぞれの色成分を検出するカメラまたは撮像素子
に入力して前記各色成分別の画像データを出力するもの
であることを特徴とする請求項１、２、３、または４記
載の車両用視線方向計測装置。
【請求項７】前記画像入力手段の撮像装置は、眼球か
ら反射した入射光をビームスプリッタで２系統に分離
し、一方の系統は赤色透過フィルタを介したうえ、それ
ぞれの色成分を検出するカメラまたは撮像素子に入力し
て前記各色成分別の画像データを出力するものであるこ
とを特徴とする請求項１、２、３、または４記載の車両
用視線方向計測装置。