JP3185522B2 - 車両用視線方向計測装置 - Google Patents
車両用視線方向計測装置Info
- Publication number
- JP3185522B2 JP3185522B2 JP04039394A JP4039394A JP3185522B2 JP 3185522 B2 JP3185522 B2 JP 3185522B2 JP 04039394 A JP04039394 A JP 04039394A JP 4039394 A JP4039394 A JP 4039394A JP 3185522 B2 JP3185522 B2 JP 3185522B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reflection image
- gaze direction
- image data
- retinal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】この発明は、車両運転者の視線方
向を遠隔から非接触で計測する車両用視線方向計測装置
に関する。
向を遠隔から非接触で計測する車両用視線方向計測装置
に関する。
【0002】
【従来の技術】この種の視線方向計測装置は、車両用の
非接触マンマシンインタフェイスとして、例えば車両運
転者の注目している方向に視覚情報を表示するとか、視
線方向に応じて特定のスイッチを動作させるなど、種々
の目的への利用が期待されている。このようなインタフ
ェイスを構成するために必要な、車両運転者の視線方向
の計測装置として、従来、眼球の角膜反射像の位置を画
像情報として取り入れて計測する装置が提案されてい
る。角膜反射像は、眼球への照射光が眼球を構成する光
学系の各面で反射、屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。
非接触マンマシンインタフェイスとして、例えば車両運
転者の注目している方向に視覚情報を表示するとか、視
線方向に応じて特定のスイッチを動作させるなど、種々
の目的への利用が期待されている。このようなインタフ
ェイスを構成するために必要な、車両運転者の視線方向
の計測装置として、従来、眼球の角膜反射像の位置を画
像情報として取り入れて計測する装置が提案されてい
る。角膜反射像は、眼球への照射光が眼球を構成する光
学系の各面で反射、屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。
【0003】しかしながら、車両運転者が眼鏡を装着し
ていると、図15に示すように、照明光がレンズ表面や
裏面、あるいはフレームから反射する。さらにこれらの
反射像W1、W2、W3等がある大きさをもつと、網膜
反射像M、角膜反射像Kとの識別が困難となる。反射像
が大きさを持つ場合とは、例えば、光学系ではボケによ
る影響が原因となり、また、撮像系ではブルーミングに
よる影響が原因となって、反射像が大きさをもつように
なる。したがって、これらと眼球の反射像とを識別して
眼鏡装着者であっても精度よく視線方向を計測できるこ
とが必要である。
ていると、図15に示すように、照明光がレンズ表面や
裏面、あるいはフレームから反射する。さらにこれらの
反射像W1、W2、W3等がある大きさをもつと、網膜
反射像M、角膜反射像Kとの識別が困難となる。反射像
が大きさを持つ場合とは、例えば、光学系ではボケによ
る影響が原因となり、また、撮像系ではブルーミングに
よる影響が原因となって、反射像が大きさをもつように
なる。したがって、これらと眼球の反射像とを識別して
眼鏡装着者であっても精度よく視線方向を計測できるこ
とが必要である。
【0004】そこで、従来、眼鏡装着者を対象としてそ
の視線方向を計測するものとしては、例えば特開平4−
138431号公報や、特開平4−138432号公報
に開示された装置がある。これらは、カメラのファイン
ダーを覗いている撮影者の視線方向を計測するものであ
り、2個の光源を用いて眼球に同時照射した時の反射像
の間隔が、図16に示されるように、眼鏡レンズの反射
像W、Wでは大きくなり、角膜反射像K、Kでは小さく
なることを利用して、眼鏡による反射像を識別するよう
にしている。
の視線方向を計測するものとしては、例えば特開平4−
138431号公報や、特開平4−138432号公報
に開示された装置がある。これらは、カメラのファイン
ダーを覗いている撮影者の視線方向を計測するものであ
り、2個の光源を用いて眼球に同時照射した時の反射像
の間隔が、図16に示されるように、眼鏡レンズの反射
像W、Wでは大きくなり、角膜反射像K、Kでは小さく
なることを利用して、眼鏡による反射像を識別するよう
にしている。
【0005】
【発明が解決しようとする課題】しかしながら、被験者
としては何ら拘束を受けず自由空間で任意に頭部を変位
させ得る車両運転者を対象とする場合、眼鏡レンズだけ
でなく眼鏡フレームからの反射光も画像情報として混入
することになり、上記のようにカメラのファインダーを
覗いている撮影者の視線だけを計測対象とする装置では
識別が困難である。すなわち、眼鏡レンズからの反射光
は、先の図16に示されるように、2個の光源を結ぶ線
とほぼ平行の同一線上に観測されるが、眼鏡フレームか
らの反射光はランダムな位置に発生する。したがって、
とくに計測のためペアを組むべき角膜反射像の近傍に眼
鏡フレームによる反射像が現われると、どの反射像とど
の反射像がぺアとなるのか判別が困難となり、正確に角
膜反射像を判定することができない。このため、上記従
来のカメラ撮影者用の視線方向計測装置では、車両運転
者用として有効に適用できないという問題がある。
としては何ら拘束を受けず自由空間で任意に頭部を変位
させ得る車両運転者を対象とする場合、眼鏡レンズだけ
でなく眼鏡フレームからの反射光も画像情報として混入
することになり、上記のようにカメラのファインダーを
覗いている撮影者の視線だけを計測対象とする装置では
識別が困難である。すなわち、眼鏡レンズからの反射光
は、先の図16に示されるように、2個の光源を結ぶ線
とほぼ平行の同一線上に観測されるが、眼鏡フレームか
らの反射光はランダムな位置に発生する。したがって、
とくに計測のためペアを組むべき角膜反射像の近傍に眼
鏡フレームによる反射像が現われると、どの反射像とど
の反射像がぺアとなるのか判別が困難となり、正確に角
膜反射像を判定することができない。このため、上記従
来のカメラ撮影者用の視線方向計測装置では、車両運転
者用として有効に適用できないという問題がある。
【0006】また、図15のように、眼鏡レンズからの
反射像W1がある面積を有し、網膜反射像M付近に現わ
れると、1つの角膜反射像を判定する拠り所となる網膜
反射像の特定も困難となる。したがって、本発明は上記
のような従来の問題点に鑑み、車両運転者が眼鏡を装着
していても、確実に角膜反射像を抽出でき、精度よく視
線方向を計測できる車両用視線方向計測装置を提供する
ことを目的とする。
反射像W1がある面積を有し、網膜反射像M付近に現わ
れると、1つの角膜反射像を判定する拠り所となる網膜
反射像の特定も困難となる。したがって、本発明は上記
のような従来の問題点に鑑み、車両運転者が眼鏡を装着
していても、確実に角膜反射像を抽出でき、精度よく視
線方向を計測できる車両用視線方向計測装置を提供する
ことを目的とする。
【0007】
【課題を解決するための手段】このため本発明は、図1
に示すように、運転者の眼球を異なる方向から照射する
複数の照明62a、62bと、該複数の照明による眼球
からの反射像を撮像する撮像装置63を備えて各照明毎
の画像デ−タを得る画像入力手段61と、画像デ−タか
ら網膜反射像を抽出して瞳孔中心を算出する網膜反射像
抽出手段64と、画像デ−タから角膜反射像を抽出する
角膜反射像抽出手段65と、抽出された角膜反射像と瞳
孔中心より運転者の視線方向を算出する視線方向算出手
段66とを有し、画像入力手段61は、前記の画像デ−
タとして網膜反射像に特有の色成分を有する画像デ−タ
とその他の色成分を有する画像デ−タとを得、網膜反射
像抽出手段64は、網膜反射像に特有の色成分を有する
画像デ−タを用いて他の反射像から識別して網膜反射像
を抽出し、角膜反射像抽出手段65は、前記網膜反射像
の位置を基に角膜反射像を抽出するように構成されたも
のとした。
に示すように、運転者の眼球を異なる方向から照射する
複数の照明62a、62bと、該複数の照明による眼球
からの反射像を撮像する撮像装置63を備えて各照明毎
の画像デ−タを得る画像入力手段61と、画像デ−タか
ら網膜反射像を抽出して瞳孔中心を算出する網膜反射像
抽出手段64と、画像デ−タから角膜反射像を抽出する
角膜反射像抽出手段65と、抽出された角膜反射像と瞳
孔中心より運転者の視線方向を算出する視線方向算出手
段66とを有し、画像入力手段61は、前記の画像デ−
タとして網膜反射像に特有の色成分を有する画像デ−タ
とその他の色成分を有する画像デ−タとを得、網膜反射
像抽出手段64は、網膜反射像に特有の色成分を有する
画像デ−タを用いて他の反射像から識別して網膜反射像
を抽出し、角膜反射像抽出手段65は、前記網膜反射像
の位置を基に角膜反射像を抽出するように構成されたも
のとした。
【0008】
【作用】複数照明により、照明毎に反射像の位置がずれ
た複数の画像データが得られる。網膜反射像抽出手段6
4、角膜反射像抽出手段65では複数画像データの差分
演算その他の画像処理により得られた候補領域から網膜
反射像、角膜反射像を抽出する。ここで、網膜反射像の
場合には.とくに赤など眼鏡レンズ表面からの反射像に
は見られない特有の色成分が含まれている。画像入力手
段61が網膜反射像に特有の色成分を有する画像デ−タ
d1とその他の色成分を有する画像デ−タd2とを得る
ようになっており、網膜反射像抽出手段64ではこのう
ち網膜反射像に特有の上記色成分を有する画像デ−タd
1を用いるので、車両運転者が眼鏡を装用している場合
でも、他の反射像から識別して網膜反射像が確実に特定
でき、高精度に網膜反射像が抽出される。そして、角膜
反射像抽出手段65は、上記抽出された網膜反射像を参
照して角膜反射像を特定するから、容易に抽出される。
た複数の画像データが得られる。網膜反射像抽出手段6
4、角膜反射像抽出手段65では複数画像データの差分
演算その他の画像処理により得られた候補領域から網膜
反射像、角膜反射像を抽出する。ここで、網膜反射像の
場合には.とくに赤など眼鏡レンズ表面からの反射像に
は見られない特有の色成分が含まれている。画像入力手
段61が網膜反射像に特有の色成分を有する画像デ−タ
d1とその他の色成分を有する画像デ−タd2とを得る
ようになっており、網膜反射像抽出手段64ではこのう
ち網膜反射像に特有の上記色成分を有する画像デ−タd
1を用いるので、車両運転者が眼鏡を装用している場合
でも、他の反射像から識別して網膜反射像が確実に特定
でき、高精度に網膜反射像が抽出される。そして、角膜
反射像抽出手段65は、上記抽出された網膜反射像を参
照して角膜反射像を特定するから、容易に抽出される。
【0009】
【実施例】以下、この発明を図面に基づいて説明する。
図2は、本発明を車両の視線スイッチシステムに適用し
た実施例の構成を示し、図3はその車載レイアウトを示
す。運転者の眼球13を撮像するよう、計器盤上にCC
D等を用いたカラーカメラ4が設置される。車両運転者
の眼球位置は、例えばJIS(日本工業規格)D002
1に示されるように、自動車の運転者のアイレンジとし
て統計的に示された限定領域に存在するから、カラーカ
メラ4の撮像範囲はそこに限定でき、車両運転者に比較
的近接して設置できる。
図2は、本発明を車両の視線スイッチシステムに適用し
た実施例の構成を示し、図3はその車載レイアウトを示
す。運転者の眼球13を撮像するよう、計器盤上にCC
D等を用いたカラーカメラ4が設置される。車両運転者
の眼球位置は、例えばJIS(日本工業規格)D002
1に示されるように、自動車の運転者のアイレンジとし
て統計的に示された限定領域に存在するから、カラーカ
メラ4の撮像範囲はそこに限定でき、車両運転者に比較
的近接して設置できる。
【0010】そして、カラーカメラ4のレンズの前面
に、カメラの光軸と照射方向が一致するように取り付け
られた共軸系の第1の発散照明1が運転者の眼球部に向
けて設けられる。また、カラーカメラ4から離れて相対
関係があらかじめ設定された所定の位置に、カラーカメ
ラの光軸と照射方向が一致しない非共軸系の第2の発散
照明2が同じく眼球部に向けて設けられている。第1お
よび第2の発散照明1、2は、同一仕様の白色光源をも
ち、ピラーやセンタコンソール等に設置され、運転中の
前景注視時には直接に運転者の視界内に入らないように
配置される。第1の発散照明1、第2の発散照明2には
それらの発光を制御する照明発光制御部11が接続され
ている。
に、カメラの光軸と照射方向が一致するように取り付け
られた共軸系の第1の発散照明1が運転者の眼球部に向
けて設けられる。また、カラーカメラ4から離れて相対
関係があらかじめ設定された所定の位置に、カラーカメ
ラの光軸と照射方向が一致しない非共軸系の第2の発散
照明2が同じく眼球部に向けて設けられている。第1お
よび第2の発散照明1、2は、同一仕様の白色光源をも
ち、ピラーやセンタコンソール等に設置され、運転中の
前景注視時には直接に運転者の視界内に入らないように
配置される。第1の発散照明1、第2の発散照明2には
それらの発光を制御する照明発光制御部11が接続され
ている。
【0011】カラーカメラ4からの撮像出力は、A/D
変換器5でR、G、B各信号独立にデジタル画像データ
としてA/D変換され、画像メモリ6に格納される。画
像メモリ6には、網膜反射像抽出部7と、角膜反射像抽
出部8が接続され、これら両抽出部はさらに視線方向算
出部10に接続されている。上述の照明発光制御部1
1、A/D変換器5を含み、装置全体の動作を制御する
全体制御部12が設けられている。
変換器5でR、G、B各信号独立にデジタル画像データ
としてA/D変換され、画像メモリ6に格納される。画
像メモリ6には、網膜反射像抽出部7と、角膜反射像抽
出部8が接続され、これら両抽出部はさらに視線方向算
出部10に接続されている。上述の照明発光制御部1
1、A/D変換器5を含み、装置全体の動作を制御する
全体制御部12が設けられている。
【0012】網膜反射像抽出部7は、画像メモリ6に格
納された画像データの中のR(赤)成分から網膜反射像
を抽出し、さらに瞳孔中心を演算抽出する。また、角膜
反射像抽出部8では、画像デ−タから角膜反射像の位置
を特定する。そして視線方向算出部10において、上記
角膜反射像抽出部8により抽出した角膜反射像および網
膜反射像抽出部7により抽出した瞳孔中心に基づいて、
瞳孔中心と角膜球中心を結ぶ直線方向として運転者の視
線方向が演算特定される。
納された画像データの中のR(赤)成分から網膜反射像
を抽出し、さらに瞳孔中心を演算抽出する。また、角膜
反射像抽出部8では、画像デ−タから角膜反射像の位置
を特定する。そして視線方向算出部10において、上記
角膜反射像抽出部8により抽出した角膜反射像および網
膜反射像抽出部7により抽出した瞳孔中心に基づいて、
瞳孔中心と角膜球中心を結ぶ直線方向として運転者の視
線方向が演算特定される。
【0013】視線方向算出部10には視線停留判断部2
3を介してコントロ−ラ切り替え部27が接続されてい
る。コントロ−ラ切り替え部には、オーディオコントロ
ーラ28、エアコンコントローラ29、ラジオコントロ
ーラ30、ASCD(定速走行装置)コントローラ31
等が接続されているとともに、HUD(ヘッドアップデ
ィスプレー)表示制御部24と、ステアリングスイッチ
22が接続されている。視線停留判断部23は、HUD
表示制御部24によりフロントウインドシールド41上
に表示される視線スイッチエリア26内の視線停留位置
を判断し、コントローラ切り替え部27へ制御情報を出
力する。
3を介してコントロ−ラ切り替え部27が接続されてい
る。コントロ−ラ切り替え部には、オーディオコントロ
ーラ28、エアコンコントローラ29、ラジオコントロ
ーラ30、ASCD(定速走行装置)コントローラ31
等が接続されているとともに、HUD(ヘッドアップデ
ィスプレー)表示制御部24と、ステアリングスイッチ
22が接続されている。視線停留判断部23は、HUD
表示制御部24によりフロントウインドシールド41上
に表示される視線スイッチエリア26内の視線停留位置
を判断し、コントローラ切り替え部27へ制御情報を出
力する。
【0014】いま、メインスイッチ21が押されるとシ
ステムがONして、視線方向算出部10から運転者の視
線方向が出力される。視線停留判断部23は、出力され
た運転者の視線方向がエアコン、オーディオなどの各操
作対象項目(エリア)を表示する視線スイッチエリア2
6のどのエリアを指しているかを判断する。
ステムがONして、視線方向算出部10から運転者の視
線方向が出力される。視線停留判断部23は、出力され
た運転者の視線方向がエアコン、オーディオなどの各操
作対象項目(エリア)を表示する視線スイッチエリア2
6のどのエリアを指しているかを判断する。
【0015】視線スイッチエリア26上の運転者が注視
しているエリアが決定されると、コントロ−ラ切り替え
部27は上記決定されたエリアに対応するエアコンコン
トロ−ラ、オーディオコントローラ等を選択する項目切
り替えを行う。そして、HUD表示制御部24は、コン
トローラ切り替え部27を通して出力される各コントロ
ーラの信号に基づき、その内容をHUD表示部25に表
示する。続いて、ステアリングスイッチ22からのユ−
ザ入力による所定の制御対象の制御が行われる。
しているエリアが決定されると、コントロ−ラ切り替え
部27は上記決定されたエリアに対応するエアコンコン
トロ−ラ、オーディオコントローラ等を選択する項目切
り替えを行う。そして、HUD表示制御部24は、コン
トローラ切り替え部27を通して出力される各コントロ
ーラの信号に基づき、その内容をHUD表示部25に表
示する。続いて、ステアリングスイッチ22からのユ−
ザ入力による所定の制御対象の制御が行われる。
【0016】図3に示されるように、メインスイッチ2
1とステアリングスイッチ22はステアリング42に取
り付けられる。ウインドシ−ルド41上にHUD表示部
25と視線スイッチエリア26が設定されている。視線
スイッチエリア26はさらに、図4の(a)にその詳細
を示すように、各種コントローラの名称がHUD表示さ
れているものである。また、同図の(b)にはステアリ
ングスイッチ22の詳細が示されている。
1とステアリングスイッチ22はステアリング42に取
り付けられる。ウインドシ−ルド41上にHUD表示部
25と視線スイッチエリア26が設定されている。視線
スイッチエリア26はさらに、図4の(a)にその詳細
を示すように、各種コントローラの名称がHUD表示さ
れているものである。また、同図の(b)にはステアリ
ングスイッチ22の詳細が示されている。
【0017】つぎに動作について説明する。図5は、上
記視線スイッチシステムにおける処理の流れを示す。ま
ずステップ101において、全体制御部12から計測開
始信号が出力されると、これに基づきステップ102
で、照明発光制御部11から卜リガ信号が発せられて、
第1の発散照明1が点灯され、車両運転者の顔面が照明
される。そしてステップ103において、この照明され
た顔面領域の画像がカラーカメラ4によって取り込ま
れ、画像情報がA/D変換器5によりR、G、B各成分
のそれぞれが独立にA/D変換され、それぞれデジタル
の画像データDR1(x,y)、DG1(x,y)、D
B1(x,y)として画像メモリ6に格納される。
記視線スイッチシステムにおける処理の流れを示す。ま
ずステップ101において、全体制御部12から計測開
始信号が出力されると、これに基づきステップ102
で、照明発光制御部11から卜リガ信号が発せられて、
第1の発散照明1が点灯され、車両運転者の顔面が照明
される。そしてステップ103において、この照明され
た顔面領域の画像がカラーカメラ4によって取り込ま
れ、画像情報がA/D変換器5によりR、G、B各成分
のそれぞれが独立にA/D変換され、それぞれデジタル
の画像データDR1(x,y)、DG1(x,y)、D
B1(x,y)として画像メモリ6に格納される。
【0018】続いてステップ104において、照明発光
制御部11からトリガ信号によって第2の発散照明2が
点灯され、車両運転者の顔面が照明される。 そしてス
テップ105で、この照明された顔面領域の画像がカラ
ーカメラ4によって取り込まれ、上述と同様に画像情報
がA/D変換器5によりR、G、B成分のそれぞれが独
立にA/D変換され、デジタルの画像データDR2
(x,y)、DG2(x,y)、DB2(x,y)とし
て、画像メモリ6に格納される。上記ステップ102〜
105が、発明の画像入力手段を構成している。
制御部11からトリガ信号によって第2の発散照明2が
点灯され、車両運転者の顔面が照明される。 そしてス
テップ105で、この照明された顔面領域の画像がカラ
ーカメラ4によって取り込まれ、上述と同様に画像情報
がA/D変換器5によりR、G、B成分のそれぞれが独
立にA/D変換され、デジタルの画像データDR2
(x,y)、DG2(x,y)、DB2(x,y)とし
て、画像メモリ6に格納される。上記ステップ102〜
105が、発明の画像入力手段を構成している。
【0019】この後、ステップ106において、網膜反
射像抽出部7により、R(赤色)成分の画像データDR
1(x,y)、DR2(x,y)から、車両運転者の網
膜反射像の位置が計測される。ここで、網膜反射像は、
眼球内に白色光を入射すると赤色の反射光として戻って
くる。これは、例えば写真撮影でストロボを使用したと
きの「赤目現象」として知られているように、網膜に通
る血液の反射によるものである。一方、眼鏡による反射
像については、一般に使用されている眼鏡はガラスまた
はプラスチックで作られていることが多く、可視光領域
では、反射光に波長選択性は少ない。したがって、白色
光を照射した時に赤色光として返ってくる反射像は網膜
反射像のみである。このため、画像中の反射像のR
(赤)成分の輝度レベルの高い領域を探索すれば、網膜
反射像をその他の像から分離して抽出することができ
る。
射像抽出部7により、R(赤色)成分の画像データDR
1(x,y)、DR2(x,y)から、車両運転者の網
膜反射像の位置が計測される。ここで、網膜反射像は、
眼球内に白色光を入射すると赤色の反射光として戻って
くる。これは、例えば写真撮影でストロボを使用したと
きの「赤目現象」として知られているように、網膜に通
る血液の反射によるものである。一方、眼鏡による反射
像については、一般に使用されている眼鏡はガラスまた
はプラスチックで作られていることが多く、可視光領域
では、反射光に波長選択性は少ない。したがって、白色
光を照射した時に赤色光として返ってくる反射像は網膜
反射像のみである。このため、画像中の反射像のR
(赤)成分の輝度レベルの高い領域を探索すれば、網膜
反射像をその他の像から分離して抽出することができ
る。
【0020】図6は、ステップ106の網膜反射像の位
置計測の詳細を示す。まず、図7の(a)、(b)に示
されるような第1および第2の発散照明1、2による入
力画像データのうち、R成分の画像データDR1(x,
y)、DR2(x,y)のみが画像メモリ6から読み出
され、ステップ201において、これら赤色成分の画像
データDRl(x,y)とDR2(x,y)の差分演算
を行なって、図7の(c)のような画像データDR3
(x,y)が求められる。ステップ202において、画
像データDR3(x,y)が、予め設定した所定のしき
い値Th1(Th1>0)で2値化され、図7の(d)
のようにノイズが除去された画像データR4(x,y)
とされる。なお、照明点灯の有無にかかわらず画像中に
もともと存在する赤色領域は、ステップ201およびス
テップ202において除去される。
置計測の詳細を示す。まず、図7の(a)、(b)に示
されるような第1および第2の発散照明1、2による入
力画像データのうち、R成分の画像データDR1(x,
y)、DR2(x,y)のみが画像メモリ6から読み出
され、ステップ201において、これら赤色成分の画像
データDRl(x,y)とDR2(x,y)の差分演算
を行なって、図7の(c)のような画像データDR3
(x,y)が求められる。ステップ202において、画
像データDR3(x,y)が、予め設定した所定のしき
い値Th1(Th1>0)で2値化され、図7の(d)
のようにノイズが除去された画像データR4(x,y)
とされる。なお、照明点灯の有無にかかわらず画像中に
もともと存在する赤色領域は、ステップ201およびス
テップ202において除去される。
【0021】続いて、ステップ203において、上記画
像データDR4(x,y)内の各領域に番号付けを行う
ラベリング処理が施される。そして、ステップ204に
おいて、上記ラベリングされた各領域の中で、最大の面
積を持つものが網膜反射像として抽出される。このあ
と、ステップ205において、網膜反射像の重心位置
(Xgi,Ygi)が演算される。ステップ201〜2
05からなるステップ106が発明の網膜反射像抽出手
段を構成している。
像データDR4(x,y)内の各領域に番号付けを行う
ラベリング処理が施される。そして、ステップ204に
おいて、上記ラベリングされた各領域の中で、最大の面
積を持つものが網膜反射像として抽出される。このあ
と、ステップ205において、網膜反射像の重心位置
(Xgi,Ygi)が演算される。ステップ201〜2
05からなるステップ106が発明の網膜反射像抽出手
段を構成している。
【0022】図5に戻って、上に求めた網膜反射像重心
位置を基にして、角膜反射像位置を特定するため、ステ
ップ107において、網膜反射像の近傍領域に角膜反射
像を探索する探索領域Tが設定される。探索領域Tは、
図8に示されるように、網膜反射像の重心位置を中心
に、p×qの範囲に設定される。これは、網膜反射像の
位置が特定できれば、第1の発散照明1による角膜反射
像の位置と、第2の発散照明2による角膜反射像の発生
位置は、網膜反射像の近傍に限定されることになるから
である。
位置を基にして、角膜反射像位置を特定するため、ステ
ップ107において、網膜反射像の近傍領域に角膜反射
像を探索する探索領域Tが設定される。探索領域Tは、
図8に示されるように、網膜反射像の重心位置を中心
に、p×qの範囲に設定される。これは、網膜反射像の
位置が特定できれば、第1の発散照明1による角膜反射
像の位置と、第2の発散照明2による角膜反射像の発生
位置は、網膜反射像の近傍に限定されることになるから
である。
【0023】このあと、ステップ108において、角膜
反射像抽出部8で、角膜反射像が抽出される。ここで
は、照明に白色光を使用しているため、角膜反射像も白
色の輝点となる。観測される反射光の中から真の角膜反
射像を特定するに際しては、眼鏡レンズによる反射や透
過、および角膜表面の反射では、可視光領域において波
長選択性は少ないため、R、G、Bのどの色成分を用い
て処埋を行っても角膜反射像位置の演算には大差は生じ
ない。ただ、R成分をもちいて処埋を行うと、網膜反射
像が、抽出すべき角膜反射像と重なってしまう場合も考
えられるので、GまたはB成分を用いればよい。
反射像抽出部8で、角膜反射像が抽出される。ここで
は、照明に白色光を使用しているため、角膜反射像も白
色の輝点となる。観測される反射光の中から真の角膜反
射像を特定するに際しては、眼鏡レンズによる反射や透
過、および角膜表面の反射では、可視光領域において波
長選択性は少ないため、R、G、Bのどの色成分を用い
て処埋を行っても角膜反射像位置の演算には大差は生じ
ない。ただ、R成分をもちいて処埋を行うと、網膜反射
像が、抽出すべき角膜反射像と重なってしまう場合も考
えられるので、GまたはB成分を用いればよい。
【0024】角膜反射像は眼球部光学系のどの面で生じ
た像であるかによって、第1〜第4のプルキンエ像に分
類できるが、ここでは、その中で最も明るい、角膜表面
で生じた第1プルキンエ像を対象とする。車両運転者が
眼鏡を装用していると、角膜反射像の他に眼鏡のレンズ
やフレームでの反射光が同時に観測される。これらは、
角膜反射像と同様に明るい領域として観測される。
た像であるかによって、第1〜第4のプルキンエ像に分
類できるが、ここでは、その中で最も明るい、角膜表面
で生じた第1プルキンエ像を対象とする。車両運転者が
眼鏡を装用していると、角膜反射像の他に眼鏡のレンズ
やフレームでの反射光が同時に観測される。これらは、
角膜反射像と同様に明るい領域として観測される。
【0025】図9に、このような環境の中での角膜反射
像抽出の詳細フローを示す。ステップ301において、
まず図10の(a)、(b)に示されるような画像デー
タDG1(x,y)、DG2(x,y)の差分演算を行
う。処埋後の画像データDG3(x,y)は、(c)の
ように、画像DG1(x,y)、DG2(x,y)間で
濃淡値がほぼ等しい眼鏡領域や頬領域、さらに白目領域
等が除去され、濃淡値が大きく異なる角膜反射像、眼鏡
レンズ反射像、眼鏡フレーム反射像などの領域が強調さ
れる。ここでは正値および負値がそのまま表わされ、図
の塗りつぶし部が負値を示している。
像抽出の詳細フローを示す。ステップ301において、
まず図10の(a)、(b)に示されるような画像デー
タDG1(x,y)、DG2(x,y)の差分演算を行
う。処埋後の画像データDG3(x,y)は、(c)の
ように、画像DG1(x,y)、DG2(x,y)間で
濃淡値がほぼ等しい眼鏡領域や頬領域、さらに白目領域
等が除去され、濃淡値が大きく異なる角膜反射像、眼鏡
レンズ反射像、眼鏡フレーム反射像などの領域が強調さ
れる。ここでは正値および負値がそのまま表わされ、図
の塗りつぶし部が負値を示している。
【0026】ステップ302で、画像データDG3
(x,y)のp×q領域について予め設定したしきい値
Th2(Th2>0)で2値化され、(d)のような画
像データDG4(x,y)が得られる。ステップ303
において、上記2値化して抽出された領域にラベリング
処埋が施されたあと、ステップ304において、面積し
きい値処埋が行われる。角膜反射像は、数ドット以下の
面積の小さい輝点であるから、この処埋では、ラベリン
グされた各領域の面積を算出し、一定面積Sth以上の領
域を除外することにより、小さな輝点領域の抽出が行わ
れる。
(x,y)のp×q領域について予め設定したしきい値
Th2(Th2>0)で2値化され、(d)のような画
像データDG4(x,y)が得られる。ステップ303
において、上記2値化して抽出された領域にラベリング
処埋が施されたあと、ステップ304において、面積し
きい値処埋が行われる。角膜反射像は、数ドット以下の
面積の小さい輝点であるから、この処埋では、ラベリン
グされた各領域の面積を算出し、一定面積Sth以上の領
域を除外することにより、小さな輝点領域の抽出が行わ
れる。
【0027】こうして抽出された領域を、角膜反射像の
候補領域iとして、ステップ305において、候補領域
iの重心位置が演算される。次のステップ306では、
第2の発散照明2による反射像の探索領域Uの設定が行
われる。すなわち、第1の発散照明1による反射像の位
置が特定されれば、第2の発散照明2による反射像の発
生位置は、その近傍に限定されるからである。そこで前
ステップで算出された各重心位置を含んで、m×n画素
の小領域が設定される。
候補領域iとして、ステップ305において、候補領域
iの重心位置が演算される。次のステップ306では、
第2の発散照明2による反射像の探索領域Uの設定が行
われる。すなわち、第1の発散照明1による反射像の位
置が特定されれば、第2の発散照明2による反射像の発
生位置は、その近傍に限定されるからである。そこで前
ステップで算出された各重心位置を含んで、m×n画素
の小領域が設定される。
【0028】この探索領域Uは、第1、第2の発散照明
1、2の設定状態に応じて決定される。例えば、図11
の(a)に示されるように、運転者から見て第2の発散
照明2が第1の発散照明1よりも右側にある配置では、
同図の(b)のように、第1の発散照明1による角膜反
射像A1よりも、第2の発散照明2による角膜反射像A
2の方が画像上で左方に位置することになる。また先の
図16に示したように、対応する反射像は、第1の発散
照明1と第2の発散照明2を結ぶ線分と平行の線上に現
われる。したがって、探索領域Uとしては、図11の
(c)に示すように、候補領域iの重心位置Vから左方
へ延びる範囲を設定すればよい。
1、2の設定状態に応じて決定される。例えば、図11
の(a)に示されるように、運転者から見て第2の発散
照明2が第1の発散照明1よりも右側にある配置では、
同図の(b)のように、第1の発散照明1による角膜反
射像A1よりも、第2の発散照明2による角膜反射像A
2の方が画像上で左方に位置することになる。また先の
図16に示したように、対応する反射像は、第1の発散
照明1と第2の発散照明2を結ぶ線分と平行の線上に現
われる。したがって、探索領域Uとしては、図11の
(c)に示すように、候補領域iの重心位置Vから左方
へ延びる範囲を設定すればよい。
【0029】つぎのステップ307において、候補領域
i毎に上記のように探索領域において、第2の発散照明
2による反射像の探索が行なわれる。ここでは、各探索
領域の画像データDG3(x,y)をしきい値Th3
(Th3<0)で2値化処理して、 DG3(x,y)<Th3 を満足する画素があるかどうかが探索される。
i毎に上記のように探索領域において、第2の発散照明
2による反射像の探索が行なわれる。ここでは、各探索
領域の画像データDG3(x,y)をしきい値Th3
(Th3<0)で2値化処理して、 DG3(x,y)<Th3 を満足する画素があるかどうかが探索される。
【0030】ステップ308では、上記2値化処埋の結
果に基づいて応じて、角膜反射像を特定する。 (1)探索領域内にDG3(x,y)<Th3を満足す
る画素が抽出されない場合。 このときには、候補領域iに対応した第2の発散照明に
よる反射像に該当する輝点領域が探索領域内に存在しな
いのであるから、すなわち候補領域iは角膜反射像でな
いこととなる。 (2)探索領域内にDG3(x,y)<Th3を満足す
る画素で構成された領域が、唯1つ抽出された場合。 このときには、発見された領域の重心座標(Xgi,Y
gi)を求め、これがメモリに記憶される。
果に基づいて応じて、角膜反射像を特定する。 (1)探索領域内にDG3(x,y)<Th3を満足す
る画素が抽出されない場合。 このときには、候補領域iに対応した第2の発散照明に
よる反射像に該当する輝点領域が探索領域内に存在しな
いのであるから、すなわち候補領域iは角膜反射像でな
いこととなる。 (2)探索領域内にDG3(x,y)<Th3を満足す
る画素で構成された領域が、唯1つ抽出された場合。 このときには、発見された領域の重心座標(Xgi,Y
gi)を求め、これがメモリに記憶される。
【0031】(3)探索領域内にDG3(x,y)<T
h3を満足する画素で構成された領域が、2つ以上抽出
された場合。 このときには、真の角膜反射像であるならば、第1の発
散照明1による角膜反射像と平行のため、候補領域iと
のy座標の差が最小になる。したがって、抽出された領
域のうち、y座標の差が最少となるものを真の角膜反射
像としてその重心座標(Xgi,Ygi)を求める。以
上のステップ301〜308からなるステップ108
が、角膜反射像抽出手段を構成している。
h3を満足する画素で構成された領域が、2つ以上抽出
された場合。 このときには、真の角膜反射像であるならば、第1の発
散照明1による角膜反射像と平行のため、候補領域iと
のy座標の差が最小になる。したがって、抽出された領
域のうち、y座標の差が最少となるものを真の角膜反射
像としてその重心座標(Xgi,Ygi)を求める。以
上のステップ301〜308からなるステップ108
が、角膜反射像抽出手段を構成している。
【0032】図5に戻って、このあとステツプ109
で、視線方向算出部10において、これまでに求められ
た2つの角膜反射像の重心座標および瞳孔領域の重心座
標をもとに、運転者の視線方向が算出される。図12は
視線方向算出部における視線方向の算出原理を示す説明
図である。照明とカメラの光軸が一致している共軸系の
とき、カメラ焦点F1 (=照明光源L1位置)とカメラ
C(CCD面上)上の角膜反射像βを結ぶ直線は角膜球
中心Oを通過する。したがって、角膜球中心Oは直線F
1 −β上にある。また実際上の瞳孔中心Qは、カメラ焦
点(照明位置)とCCD画像上の瞳孔中心αを結ぶ直線
F1 −α上にある。
で、視線方向算出部10において、これまでに求められ
た2つの角膜反射像の重心座標および瞳孔領域の重心座
標をもとに、運転者の視線方向が算出される。図12は
視線方向算出部における視線方向の算出原理を示す説明
図である。照明とカメラの光軸が一致している共軸系の
とき、カメラ焦点F1 (=照明光源L1位置)とカメラ
C(CCD面上)上の角膜反射像βを結ぶ直線は角膜球
中心Oを通過する。したがって、角膜球中心Oは直線F
1 −β上にある。また実際上の瞳孔中心Qは、カメラ焦
点(照明位置)とCCD画像上の瞳孔中心αを結ぶ直線
F1 −α上にある。
【0033】カメラ4の焦点距離をf、焦点位置をF1
(0,0,0)とし、X軸、Y軸、Z軸のワ−ルド座標
系F1 −XYZを考え、非共軸系照明の光源L2はF2
(a,b,c)にあって照明光が角膜表面で正反射する
ものとする。その正反射点Pは、CCD面上の光源L1
による角膜反射像δとカメラ焦点F1 を結ぶ直線F1−
δ上にある。すると、直線F1 −δ上に仮正反射点Pを
置き、角膜球半径である7.8mmの半径で球面Jを描
けば、球面Jと直線F1 −βの交点として角膜球中心O
の立***置が定まる。角膜球中心Oと瞳孔中心Q間の距
離は約4.2mmであり、上に決定された角膜球中心O
を中心とする半径4.2mmの球面Kと、直線F1 −α
の交点として瞳孔中心Qの立***置が定まる。これによ
り、点OとQを結ぶ線が視線方向として求められる。ス
テップ109が、視線方向算出手段を構成している。
(0,0,0)とし、X軸、Y軸、Z軸のワ−ルド座標
系F1 −XYZを考え、非共軸系照明の光源L2はF2
(a,b,c)にあって照明光が角膜表面で正反射する
ものとする。その正反射点Pは、CCD面上の光源L1
による角膜反射像δとカメラ焦点F1 を結ぶ直線F1−
δ上にある。すると、直線F1 −δ上に仮正反射点Pを
置き、角膜球半径である7.8mmの半径で球面Jを描
けば、球面Jと直線F1 −βの交点として角膜球中心O
の立***置が定まる。角膜球中心Oと瞳孔中心Q間の距
離は約4.2mmであり、上に決定された角膜球中心O
を中心とする半径4.2mmの球面Kと、直線F1 −α
の交点として瞳孔中心Qの立***置が定まる。これによ
り、点OとQを結ぶ線が視線方向として求められる。ス
テップ109が、視線方向算出手段を構成している。
【0034】ステップ110においては、視線停留判断
部23で、上述のようにして視線方向算出部10で算出
された視線方向が視線スイッチエリア26のどのエリア
(制御項目)を見ているかを判断し、その時間を算出す
る。そしてステップ111で、停留判断が行なわれる。
これは、運転者が処理サイクルの一定回数連続して同一
エリアを見ているか否かによって行なわれる。視線方向
算出の1サイクルに400msecを要するとすれば、
例えば連続して2回として約0.8secの注視時間を
もって、同一エリアを注視しているものと判断する。
部23で、上述のようにして視線方向算出部10で算出
された視線方向が視線スイッチエリア26のどのエリア
(制御項目)を見ているかを判断し、その時間を算出す
る。そしてステップ111で、停留判断が行なわれる。
これは、運転者が処理サイクルの一定回数連続して同一
エリアを見ているか否かによって行なわれる。視線方向
算出の1サイクルに400msecを要するとすれば、
例えば連続して2回として約0.8secの注視時間を
もって、同一エリアを注視しているものと判断する。
【0035】ここで運転者が図4の(a)に示す視線ス
イッチエリア26の例えばエアコン・エリア(A/C)
を注視していると判断されると、ステップ112に進ん
で、対象物すなわちエアコンの制御が行なわれ、一定時
間以上の停留がなければ、ステップ102へ戻って視線
方向の計測が繰り返される。ステップ112では、コン
トローラ切り替え部27により例えばエアコン制御に切
り換えられ、HUD表示制御部24によりHUD表示部
25に現在のエアコン設定温度が表示される。なお、ス
テップ112に移ると視線方向の計測は停止される。
イッチエリア26の例えばエアコン・エリア(A/C)
を注視していると判断されると、ステップ112に進ん
で、対象物すなわちエアコンの制御が行なわれ、一定時
間以上の停留がなければ、ステップ102へ戻って視線
方向の計測が繰り返される。ステップ112では、コン
トローラ切り替え部27により例えばエアコン制御に切
り換えられ、HUD表示制御部24によりHUD表示部
25に現在のエアコン設定温度が表示される。なお、ス
テップ112に移ると視線方向の計測は停止される。
【0036】HUD表示部25にエアコン設定温度が表
示されると、ステアリング・スイッチ22のアップダウ
ンボタンが設定温度の上下調整を行うように機能するよ
うになる。運転者はHUD表示部25を見ながら、ステ
アリングスイッチ22のアップダウンボタンを操作して
希望の設定温度にセットする。セツトした情報により、
エアコンコントローラ29により所定の温度制御が行わ
れる。一定時間(例えば5秒間)アップダウンボタンが
操作されない場合は、操作が終了したものと判断してス
イッチ機能は全て停止する。再び運転者が何等かの操作
を必要とし、メインスイッチ21を押すと再び上述の処
理が繰り返される。
示されると、ステアリング・スイッチ22のアップダウ
ンボタンが設定温度の上下調整を行うように機能するよ
うになる。運転者はHUD表示部25を見ながら、ステ
アリングスイッチ22のアップダウンボタンを操作して
希望の設定温度にセットする。セツトした情報により、
エアコンコントローラ29により所定の温度制御が行わ
れる。一定時間(例えば5秒間)アップダウンボタンが
操作されない場合は、操作が終了したものと判断してス
イッチ機能は全て停止する。再び運転者が何等かの操作
を必要とし、メインスイッチ21を押すと再び上述の処
理が繰り返される。
【0037】実施例は以上のように構成され、運転者の
視線方向計測にあたって、眼鏡反射像と角膜反射像を分
離する際、網膜反射像が赤色成分をもつことを利用し、
画像中の赤色成分に着目して網膜反射像を抽出し、この
網膜反射像位置を基に角膜反射像を特定するようにした
ため、システム操作者が眼鏡を装着していても、正確に
視線方向を求めることができる。なお、前述のようにカ
ラーカメラを車両運転者に比較的近接して設置でき、撮
像範困を限定できるので、運転者の眼球部を拡大撮影し
て比較的高精度で広範囲にわたる視線方向を計測可能で
ある。
視線方向計測にあたって、眼鏡反射像と角膜反射像を分
離する際、網膜反射像が赤色成分をもつことを利用し、
画像中の赤色成分に着目して網膜反射像を抽出し、この
網膜反射像位置を基に角膜反射像を特定するようにした
ため、システム操作者が眼鏡を装着していても、正確に
視線方向を求めることができる。なお、前述のようにカ
ラーカメラを車両運転者に比較的近接して設置でき、撮
像範困を限定できるので、運転者の眼球部を拡大撮影し
て比較的高精度で広範囲にわたる視線方向を計測可能で
ある。
【0038】なおまた、実施例では光源に白色光を用い
ているが、これに限定されることなく、網膜反射により
重畳する赤色成分と識別可能であれば、青色や緑色など
の成分を有する光源を用いることもできる。さらに、上
記実施例では、各色成分の画像データとして、カラーカ
メラ4がR、G、Bの全3色を入力し、各色成分のデー
タを出力するものを示したが、このほか、図13に示す
ように、眼球部から反射する入射光をダイクロイツクミ
ラー51等に導き、網膜反射像の赤色成分を含む波長の
みを反射してこれをカメラまたは撮像素子52に入力
し、それ以外の透過成分を他のカメラまたは撮像素子5
3に入力させるようにして、別々の系から画像データを
得るようにすることもできる。これにより、高価なカラ
ーカメラのかわりに通常の白黒カメラを用いることがで
きる。
ているが、これに限定されることなく、網膜反射により
重畳する赤色成分と識別可能であれば、青色や緑色など
の成分を有する光源を用いることもできる。さらに、上
記実施例では、各色成分の画像データとして、カラーカ
メラ4がR、G、Bの全3色を入力し、各色成分のデー
タを出力するものを示したが、このほか、図13に示す
ように、眼球部から反射する入射光をダイクロイツクミ
ラー51等に導き、網膜反射像の赤色成分を含む波長の
みを反射してこれをカメラまたは撮像素子52に入力
し、それ以外の透過成分を他のカメラまたは撮像素子5
3に入力させるようにして、別々の系から画像データを
得るようにすることもできる。これにより、高価なカラ
ーカメラのかわりに通常の白黒カメラを用いることがで
きる。
【0039】あるいはまた、図14に示すように、入射
光の全光量を所定割合の反射と透過に配分するビ−ムス
プリッタ55等を用いて、カメラまたは撮像素子52、
53に入力し、一方のカメラまたは撮像素子52の前に
網膜反射像の赤色成分を含む波長のみを透過するフイル
タ58を設置する。これによっても、安価な白黒カメラ
などを用いて他の色成分から分離された赤色成分の画像
データを得ることができる。
光の全光量を所定割合の反射と透過に配分するビ−ムス
プリッタ55等を用いて、カメラまたは撮像素子52、
53に入力し、一方のカメラまたは撮像素子52の前に
網膜反射像の赤色成分を含む波長のみを透過するフイル
タ58を設置する。これによっても、安価な白黒カメラ
などを用いて他の色成分から分離された赤色成分の画像
データを得ることができる。
【0040】
【発明の効果】以上のとおり、本発明は、眼球部の画像
デ−タから網膜反射像および角膜反射像を抽出し、瞳孔
中心と角膜反射像とから運転者の視線方向を算出する視
線方向計測装置において、網膜反射像が赤色の特有の色
成分をもつことを利用し、網膜反射像を抽出するにあた
りこの網膜反射像に特有の色成分を有する画像デ−タを
用いて抽出し、またこの抽出した網膜反射像位置を基に
角膜反射像を抽出するものとしたので、運転者が眼鏡を
装着していても、眼鏡レンズやフレームの反射像から網
膜反射像および角膜反射像を確実、容易に特定でき、精
度の高い視線方向計測が行なえるという効果を有する。
デ−タから網膜反射像および角膜反射像を抽出し、瞳孔
中心と角膜反射像とから運転者の視線方向を算出する視
線方向計測装置において、網膜反射像が赤色の特有の色
成分をもつことを利用し、網膜反射像を抽出するにあた
りこの網膜反射像に特有の色成分を有する画像デ−タを
用いて抽出し、またこの抽出した網膜反射像位置を基に
角膜反射像を抽出するものとしたので、運転者が眼鏡を
装着していても、眼鏡レンズやフレームの反射像から網
膜反射像および角膜反射像を確実、容易に特定でき、精
度の高い視線方向計測が行なえるという効果を有する。
【図1】本発明の構成を示すブロック図である。
【図2】本発明の実施例の構成を示す図である。
【図3】実施例の車載レイアウトを示す図である。
【図4】視線スイッチエリアとステアリングスイッチの
詳細を示す図である。
詳細を示す図である。
【図5】実施例における処理の流れを示すメインフロー
チャートである。
チャートである。
【図6】網膜反射像の位置計測の詳細を示すフローチャ
ートである。
ートである。
【図7】画像データの処理の流れを示す説明図である。
【図8】探索領域を示す図である。
【図9】角膜反射像抽出の詳細を示すフローチャートで
ある。
ある。
【図10】画像データの処理の流れを示す説明図であ
る。
る。
【図11】探索領域の設定要領を示す図である。
【図12】視線方向の算出原理を示す説明図である。
【図13】各色成分の画像データ入力の他の例を示す図
である。
である。
【図14】各色成分の画像データ入力の他の例を示す図
である。
である。
【図15】眼鏡装着時の反射像例を示す図である。
【図16】2照明による眼鏡レンズの反射像と角膜反射
像の間隔を示す図である。
像の間隔を示す図である。
1 第1の発散照明 2 第2の発散照明 4 カラーカメラ 5 A/D変換器 6 画像メモリ 7 網膜反射像抽出部 8 角膜反射像抽出部 10 視線方向算出部 11 照明発光制御部 12 全体制御部 13 眼球 21 メインスイッチ 22 ステアリングスイッチ 23 視線停留判断部 24 HUD表示制御部 25 HUD表示部 26 視線スイッチエリア 27 コントロ−ラ切り替え部 28 オーディオコントローラ 29 エアコンコントローラ 30 ラジオコントローラ 31 ASCDコントローラ 41 フロントウインドシールド 42 ステアリング 51 ダイクロイツクミラー 52、53 カメラまたは撮像素子 55 ビ−ムスプリッタ 58 フイルタ T、U 探索領域
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 A61B 3/10 - 3/113
Claims (7)
- 【請求項1】 運転者の眼球を異なる方向から照射する
複数の照明と、該複数の照明による眼球からの反射像を
撮像する撮像装置を備えて各照明毎の画像デ−タを得る
画像入力手段と、前記画像デ−タから網膜反射像を抽出
して瞳孔中心を算出する網膜反射像抽出手段と、前記画
像デ−タから角膜反射像を抽出する角膜反射像抽出手段
と、前記抽出された角膜反射像と瞳孔中心より運転者の
視線方向を算出する視線方向算出手段とを有し、 前記画像入力手段は、前記画像デ−タとして網膜反射像
に特有の色成分を有する画像デ−タとその他の色成分を
有する画像デ−タとを得、前記網膜反射像抽出手段は、
前記網膜反射像に特有の色成分を有する画像デ−タを用
いて他の反射像から識別して網膜反射像を抽出し、前記
角膜反射像抽出手段は、前記網膜反射像の位置を基に角
膜反射像を抽出するものであることを特徴とする車両用
視線方向計測装置。 - 【請求項2】 前記網膜反射像に特有の色成分が赤色で
あることを特徴とする請求項1記載の車両用視線方向計
測装置。 - 【請求項3】 前記角膜反射像抽出手段は、前記網膜反
射像の重心位置を中心に設定された所定の第1の探索領
域内を探索して角膜反射像を抽出するものであることを
特徴とする請求項1または2記載の車両用視線方向計測
装置。 - 【請求項4】 前記角膜反射像抽出手段は、前記第1
の探索領域内の所定面積以下の輝点領域を前記複数の照
明のうちの第1の照明による第1の角膜反射像の候補領
域とし、該候補領域の重心位置から、第1の照明に対す
る第2の照明の位置に対応して決定される所定方向へ延
びて設定された第2の探索領域内に第2の照明による第
2の角膜反射像に該当する第2の輝点領域があるとき、
前記候補領域および第2の輝点領域を角膜反射像とする
ことを特徴とする請求項3記載の車両用視線方向計測装
置。 - 【請求項5】 前記画像入力手段の撮像装置は、前記各
色成分別の画像データを出力するカラーカメラであるこ
とを特徴とする請求項1、2、3、または4記載の車両
用視線方向計測装置。 - 【請求項6】 前記画像入力手段の撮像装置は、眼球か
ら反射した入射光をダイクロイツクミラーにより網膜反
射像の赤色成分を含む波長成分とその他の色成分に分離
し、それぞれの色成分を検出するカメラまたは撮像素子
に入力して前記各色成分別の画像データを出力するもの
であることを特徴とする請求項1、2、3、または4記
載の車両用視線方向計測装置。 - 【請求項7】 前記画像入力手段の撮像装置は、眼球か
ら反射した入射光をビームスプリッタで2系統に分離
し、一方の系統は赤色透過フィルタを介したうえ、それ
ぞれの色成分を検出するカメラまたは撮像素子に入力し
て前記各色成分別の画像データを出力するものであるこ
とを特徴とする請求項1、2、3、または4記載の車両
用視線方向計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04039394A JP3185522B2 (ja) | 1994-02-15 | 1994-02-15 | 車両用視線方向計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04039394A JP3185522B2 (ja) | 1994-02-15 | 1994-02-15 | 車両用視線方向計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07229714A JPH07229714A (ja) | 1995-08-29 |
JP3185522B2 true JP3185522B2 (ja) | 2001-07-11 |
Family
ID=12579428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04039394A Expired - Fee Related JP3185522B2 (ja) | 1994-02-15 | 1994-02-15 | 車両用視線方向計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3185522B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4134653B2 (ja) * | 2002-09-20 | 2008-08-20 | 松下電器産業株式会社 | 目位置検出装置及び方法 |
JP4491604B2 (ja) * | 2004-12-17 | 2010-06-30 | 国立大学法人静岡大学 | 瞳孔検出装置 |
JP5467527B2 (ja) * | 2010-09-06 | 2014-04-09 | 株式会社デンソー | 車載機器制御装置 |
JP5776323B2 (ja) * | 2011-05-17 | 2015-09-09 | 富士通株式会社 | 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法 |
CN102510480B (zh) * | 2011-11-04 | 2014-02-05 | 大连海事大学 | 驾驶员视线自动校准和跟踪*** |
JP5689850B2 (ja) * | 2012-05-25 | 2015-03-25 | 株式会社ソニー・コンピュータエンタテインメント | 映像解析装置、映像解析方法、および注視点表示システム |
JP2017030686A (ja) * | 2015-08-05 | 2017-02-09 | 株式会社デンソー | 注意喚起装置、注意喚起方法、および注意喚起システム |
-
1994
- 1994-02-15 JP JP04039394A patent/JP3185522B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07229714A (ja) | 1995-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3324295B2 (ja) | 車両用視線方向計測装置 | |
JP2988178B2 (ja) | 視線方向計測装置 | |
JP4783018B2 (ja) | 眼及びその凝視方向を検知し、追跡する方法と装置 | |
US6120461A (en) | Apparatus for tracking the human eye with a retinal scanning display, and method thereof | |
JP3855439B2 (ja) | 夜間運転視界支援装置 | |
JP6322986B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20090015788A1 (en) | Sight Line Detecting Method | |
JP3520618B2 (ja) | 車両用視線方向計測装置 | |
JP3185522B2 (ja) | 車両用視線方向計測装置 | |
JPH09167049A (ja) | コンソール用視線入力装置 | |
CN111417885B (zh) | 用于确定增强现实眼镜的姿态的***和方法 | |
JPH105178A (ja) | 視線入力装置 | |
JP3627468B2 (ja) | 動作検出装置 | |
JPH06323832A (ja) | 車両用インターフェイス | |
JP3296119B2 (ja) | 車両用視線方向計測装置 | |
US10928894B2 (en) | Eye tracking | |
JPH08297019A (ja) | 車両用視線方向計測装置 | |
JP2988235B2 (ja) | 車両用視線方向検出装置 | |
JP3342810B2 (ja) | 虹彩画像取得装置 | |
JPH0868630A (ja) | 車両用視線方向計測装置およびこれに用いる画像入力装置 | |
CN113781940A (zh) | 头戴式显示设备及其显示亮度调节方法 | |
JPH09251539A (ja) | 視線計測装置 | |
JP3232873B2 (ja) | 車両用視線方向検出装置 | |
JPH07248216A (ja) | 車両用視線方向計測装置 | |
JP6693149B2 (ja) | 瞳孔検出装置、および瞳孔検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010403 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090511 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |