JPH0953917A - 車両用視線方向計測装置 - Google Patents
車両用視線方向計測装置Info
- Publication number
- JPH0953917A JPH0953917A JP7230792A JP23079295A JPH0953917A JP H0953917 A JPH0953917 A JP H0953917A JP 7230792 A JP7230792 A JP 7230792A JP 23079295 A JP23079295 A JP 23079295A JP H0953917 A JPH0953917 A JP H0953917A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- illuminance
- image data
- illumination
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 環境により運転者の顔面照度が変化し、また
個人差があっても、容易に精度よく瞳孔中心を求める。 【解決手段】 画像入力手段1では、第1、第2の照明
2、3と撮像装置4で乗員の眼球部の画像デ−タを得
る。明るい瞳孔を対象として画像デ−タを処理する第1
の画像データ処理手段5aと、暗い瞳孔を対象とする第
2の画像データ処理手段5bが設けられ、それぞれで瞳
孔中心と角膜反射像を抽出する。処理切り替え手段7は
その顔面照度検出手段で顔面照度を検出し、顔面照度が
基準値より小さいとき上記第1の画像データ処理手段5
aを選択し、顔面照度が基準値より大きいとき第2の画
像データ処理手段5bを選択する。これにより、運転中
の顔面照度の変化に広いダイナミックレンジで対応で
き、精度よく瞳孔中心を求められるので、信頼性高くか
つ迅速に運転者の視線方向が計測される。
個人差があっても、容易に精度よく瞳孔中心を求める。 【解決手段】 画像入力手段1では、第1、第2の照明
2、3と撮像装置4で乗員の眼球部の画像デ−タを得
る。明るい瞳孔を対象として画像デ−タを処理する第1
の画像データ処理手段5aと、暗い瞳孔を対象とする第
2の画像データ処理手段5bが設けられ、それぞれで瞳
孔中心と角膜反射像を抽出する。処理切り替え手段7は
その顔面照度検出手段で顔面照度を検出し、顔面照度が
基準値より小さいとき上記第1の画像データ処理手段5
aを選択し、顔面照度が基準値より大きいとき第2の画
像データ処理手段5bを選択する。これにより、運転中
の顔面照度の変化に広いダイナミックレンジで対応で
き、精度よく瞳孔中心を求められるので、信頼性高くか
つ迅速に運転者の視線方向が計測される。
Description
【0001】
【発明の属する技術分野】本発明は、車両運転者の視線
方向を計測する車両用視線方向計測装置に関する。
方向を計測する車両用視線方向計測装置に関する。
【0002】
【従来の技術】車両運転者の視線方向を計測する装置
は、車両用の非接触ヒューマンマシンインタフェイスと
して、例えば車両運転者の注目している方向に視覚情報
を表示するとか、視線方向に応じて、例えばオーディオ
コントローラ、エアコンコントローラ、ラジオコントロ
ーラ、変速走行装置コントローラ等を選択して制御する
ための特定のスイッチを動作させるなど種々の利用が提
案されている。このような車両用非接触ヒューマンマシ
ンインタフェイスを構成するために必要な車両用視線方
向計測装置は、従来一般に、眼球の角膜反射像の位置を
画像情報として取り入れて計測する装置が提案されてい
る。この角膜反射像は眼球への照射光が眼球を構成する
光学系の各面で反射屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。
は、車両用の非接触ヒューマンマシンインタフェイスと
して、例えば車両運転者の注目している方向に視覚情報
を表示するとか、視線方向に応じて、例えばオーディオ
コントローラ、エアコンコントローラ、ラジオコントロ
ーラ、変速走行装置コントローラ等を選択して制御する
ための特定のスイッチを動作させるなど種々の利用が提
案されている。このような車両用非接触ヒューマンマシ
ンインタフェイスを構成するために必要な車両用視線方
向計測装置は、従来一般に、眼球の角膜反射像の位置を
画像情報として取り入れて計測する装置が提案されてい
る。この角膜反射像は眼球への照射光が眼球を構成する
光学系の各面で反射屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。
【0003】このような従来の視線方向計測装置として
は、例えば、特開平2−134130号公報に開示され
ているようなものがある。これは、光源と共軸系をなす
カメラによって人間の角膜反射像を撮影し、光源の反射
光の座標とカメラの座標を結んで角膜球の中心を通る直
線の式を求めるとともに、同時に瞳孔の中心座標を求め
るという作業を、互いに離隔して設けられた2台のカメ
ラによって行い、各々のカメラと光源によって得た2本
の直線の交点として角膜球の中心座標を求め、角膜球の
中心座標と瞳孔の中心座標とを結ぶ直線を視線方向とす
るものである。
は、例えば、特開平2−134130号公報に開示され
ているようなものがある。これは、光源と共軸系をなす
カメラによって人間の角膜反射像を撮影し、光源の反射
光の座標とカメラの座標を結んで角膜球の中心を通る直
線の式を求めるとともに、同時に瞳孔の中心座標を求め
るという作業を、互いに離隔して設けられた2台のカメ
ラによって行い、各々のカメラと光源によって得た2本
の直線の交点として角膜球の中心座標を求め、角膜球の
中心座標と瞳孔の中心座標とを結ぶ直線を視線方向とす
るものである。
【0004】しかし、上述の視線方向計測装置では、視
線方向を検出するために2台のカメラを必要とするた
め、装置が高くなるという問題点がある。そこで、本出
願人は、特開平6−261863号公報に示すような、
カメラを1台として低価格化を図ったものを先に提案し
た。この装置では、互いに離隔して設けられた2個の照
明を極めて短い時間間隔で交互に点灯し、それぞれの照
明の点灯に対して撮影した2枚の画像ペアより、網膜反
射像の座標値と角膜反射像の座標値を算出して視線方向
を得るようにしている。この処理によれば、撮影した前
記2枚の画像ペアの差分処理を行うことにより、簡単な
構成ながら容易に網膜反射像、角膜反射像の座標値が演
算できるという特徴がある。
線方向を検出するために2台のカメラを必要とするた
め、装置が高くなるという問題点がある。そこで、本出
願人は、特開平6−261863号公報に示すような、
カメラを1台として低価格化を図ったものを先に提案し
た。この装置では、互いに離隔して設けられた2個の照
明を極めて短い時間間隔で交互に点灯し、それぞれの照
明の点灯に対して撮影した2枚の画像ペアより、網膜反
射像の座標値と角膜反射像の座標値を算出して視線方向
を得るようにしている。この処理によれば、撮影した前
記2枚の画像ペアの差分処理を行うことにより、簡単な
構成ながら容易に網膜反射像、角膜反射像の座標値が演
算できるという特徴がある。
【0005】
【発明が解決しようとする課題】しかし、車両用の視線
方向計測装置は、その車両走行において、運転者の顔面
照度が夜間の0Lux程度から昼間の100,000L
ux程度まで変化するという環境におかれる。このうち
数万Lux以上の領域の場合、上述の特開平6−261
863号公報に示す装置の構成で網膜反射像を抽出する
とき、顔面照度が高くなると、顔面照度に対する網膜反
射像の反射輝度が相対的に低くなり、十分なS/N比が
得られない場合があることがわかった。
方向計測装置は、その車両走行において、運転者の顔面
照度が夜間の0Lux程度から昼間の100,000L
ux程度まで変化するという環境におかれる。このうち
数万Lux以上の領域の場合、上述の特開平6−261
863号公報に示す装置の構成で網膜反射像を抽出する
とき、顔面照度が高くなると、顔面照度に対する網膜反
射像の反射輝度が相対的に低くなり、十分なS/N比が
得られない場合があることがわかった。
【0006】図39は、実験により、顔面照度を変化さ
せて実験観測した画像の例を示す。照明光源はいずれも
中心波長を850nmとする不可視光領域のものを使用
した。また、環境照明としては、850nmの波長なら
びに可視光領域を含むハロゲンランプを使用した。図の
(a)は、環境照度が低い場合である。虹彩からの反射
輝度は網膜からの反射輝度と比較し相対的に低いため、
虹彩が黒く、網膜反射像が明るく観測されている。一方
(b)は、環境照度が高い場合である。虹彩からの反射
輝度が無視できなくなり、網膜反射像と同様に、虹彩も
明るく画像に観測される。さらに、実験に使用したハロ
ゲンランプは可視光を含んでいるため、縮瞳が起こって
おり、網膜からの反射輝度は(a)の場合よりも減少し
ていると考えられる。この結果、画像には相対的に虹彩
が明るく、瞳孔が黒く観測されている。
せて実験観測した画像の例を示す。照明光源はいずれも
中心波長を850nmとする不可視光領域のものを使用
した。また、環境照明としては、850nmの波長なら
びに可視光領域を含むハロゲンランプを使用した。図の
(a)は、環境照度が低い場合である。虹彩からの反射
輝度は網膜からの反射輝度と比較し相対的に低いため、
虹彩が黒く、網膜反射像が明るく観測されている。一方
(b)は、環境照度が高い場合である。虹彩からの反射
輝度が無視できなくなり、網膜反射像と同様に、虹彩も
明るく画像に観測される。さらに、実験に使用したハロ
ゲンランプは可視光を含んでいるため、縮瞳が起こって
おり、網膜からの反射輝度は(a)の場合よりも減少し
ていると考えられる。この結果、画像には相対的に虹彩
が明るく、瞳孔が黒く観測されている。
【0007】なお、網膜反射像輝度には個人差があり、
同一の環境照度であっても、網膜反射像輝度が高い運転
者では図39の(a)に示す画像のように観測され、反
対に網膜反射像輝度が低い運転者では(b)に示す画像
のように観測されるなど、切り替わりとなる顔面照度は
個人により異なることが実験により判明した。
同一の環境照度であっても、網膜反射像輝度が高い運転
者では図39の(a)に示す画像のように観測され、反
対に網膜反射像輝度が低い運転者では(b)に示す画像
のように観測されるなど、切り替わりとなる顔面照度は
個人により異なることが実験により判明した。
【0008】ところで、暗い瞳孔を抽出して瞳孔中心を
演算し、視線方向を演算する装置として、例えば特開平
2−65834号公報に開示された装置がある。この装
置は、眼球位置がカメラのファインダに近接した位置に
存在していることを前提として、暗い瞳孔を検出するも
のである。一方、車両用の視線方向計測装置では、カメ
ラから数十センチメートル以上の領域に撮影対象を想定
しているため、光源の光量が低い場合、瞳孔の部分を正
確に抽出することは簡単ではない。したがって本発明
は、上記の問題点に鑑み、走行環境により運転者の顔面
照度が大幅に変化しても、さらには、個人差があって
も、容易に精度よく瞳孔中心を算出できる改良された視
線方向計測装置を提供することを目的とする。
演算し、視線方向を演算する装置として、例えば特開平
2−65834号公報に開示された装置がある。この装
置は、眼球位置がカメラのファインダに近接した位置に
存在していることを前提として、暗い瞳孔を検出するも
のである。一方、車両用の視線方向計測装置では、カメ
ラから数十センチメートル以上の領域に撮影対象を想定
しているため、光源の光量が低い場合、瞳孔の部分を正
確に抽出することは簡単ではない。したがって本発明
は、上記の問題点に鑑み、走行環境により運転者の顔面
照度が大幅に変化しても、さらには、個人差があって
も、容易に精度よく瞳孔中心を算出できる改良された視
線方向計測装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記目的を達成するた
め、請求項1に記載の発明は、図1に示すように、空間
的に互いに異なる位置に配置され、乗員の顔面を不可視
光により照射する第1の照明2および第2の照明3と、
前記第1の照明の光源と共軸に設けられ、前記乗員の眼
球からの反射像を撮像する撮像装置4を備えて、第1の
照明と第2の照明を用いた互いに異なる第1、第2の照
射毎の画像デ−タを得る画像入力手段1と、前記画像デ
−タから瞳孔を抽出して瞳孔中心位置を算出するととも
に、角膜反射像位置を抽出する画像データ処理手段5
と、前記瞳孔中心および角膜反射像の位置に基づいて、
乗員の視線方向を算出する視線方向算出手段6とを備え
る車両用視線方向計測装置において、処理切り替え手段
7を有するとともに、前記画像データ処理手段5が、明
るい瞳孔を対象として処理を実行する第1の画像データ
処理手段5aと、暗い瞳孔を対象として処理を実行する
第2の画像データ処理手段5bとからなり、前記処理切
り替え手段7は乗員の顔面照度を検出する顔面照度検出
手段8を備え、該顔面照度が基準値より小さいとき、前
記第1の画像データ処理手段5aを選択し、顔面照度が
基準値より大きいとき、前記第2の画像データ処理手段
5bを選択するように構成されているものとした。
め、請求項1に記載の発明は、図1に示すように、空間
的に互いに異なる位置に配置され、乗員の顔面を不可視
光により照射する第1の照明2および第2の照明3と、
前記第1の照明の光源と共軸に設けられ、前記乗員の眼
球からの反射像を撮像する撮像装置4を備えて、第1の
照明と第2の照明を用いた互いに異なる第1、第2の照
射毎の画像デ−タを得る画像入力手段1と、前記画像デ
−タから瞳孔を抽出して瞳孔中心位置を算出するととも
に、角膜反射像位置を抽出する画像データ処理手段5
と、前記瞳孔中心および角膜反射像の位置に基づいて、
乗員の視線方向を算出する視線方向算出手段6とを備え
る車両用視線方向計測装置において、処理切り替え手段
7を有するとともに、前記画像データ処理手段5が、明
るい瞳孔を対象として処理を実行する第1の画像データ
処理手段5aと、暗い瞳孔を対象として処理を実行する
第2の画像データ処理手段5bとからなり、前記処理切
り替え手段7は乗員の顔面照度を検出する顔面照度検出
手段8を備え、該顔面照度が基準値より小さいとき、前
記第1の画像データ処理手段5aを選択し、顔面照度が
基準値より大きいとき、前記第2の画像データ処理手段
5bを選択するように構成されているものとした。
【0010】請求項2に記載の発明は、同じく図1に示
すように、さらに、乗員の眼球部を照射する補助照明1
0を備え、該補助照明の光量を順次変化させながら、前
記第1または第2の画像データ処理手段において明るい
瞳孔を対象とした処理と暗い瞳孔を対象とした処理によ
る瞳孔中心算出の可否の境界を求め、そのときの顔面照
度を処理切り替え手段の前記基準値とする基準値設定手
段9を有するものとした。
すように、さらに、乗員の眼球部を照射する補助照明1
0を備え、該補助照明の光量を順次変化させながら、前
記第1または第2の画像データ処理手段において明るい
瞳孔を対象とした処理と暗い瞳孔を対象とした処理によ
る瞳孔中心算出の可否の境界を求め、そのときの顔面照
度を処理切り替え手段の前記基準値とする基準値設定手
段9を有するものとした。
【0011】上記の基準値設定手段9は、任意の時期、
例えば視線方向計測の前に予備計測として作動させるこ
とができるほか、画像データ処理手段5に、第1または
第2の画像データ処理手段のいずれかにおいて連続して
瞳孔中心が算出されなかった処理回数をカウントする処
理回数算出手段11を設け、カウント値が所定数に達し
たとき作動させるようにすることもできる。
例えば視線方向計測の前に予備計測として作動させるこ
とができるほか、画像データ処理手段5に、第1または
第2の画像データ処理手段のいずれかにおいて連続して
瞳孔中心が算出されなかった処理回数をカウントする処
理回数算出手段11を設け、カウント値が所定数に達し
たとき作動させるようにすることもできる。
【0012】上記の補助照明の発光波長領域は、第1の
照明の発光波長、第2の照明の発光波長、ならびに可視
域の発光波長とを含むものとするのが好ましく、また、
補助照明の光量は、低輝度から高輝度へと変化させるの
が好ましい。
照明の発光波長、第2の照明の発光波長、ならびに可視
域の発光波長とを含むものとするのが好ましく、また、
補助照明の光量は、低輝度から高輝度へと変化させるの
が好ましい。
【0013】また、処理切り替え手段が検出する顔面照
度は、撮像装置で眼球領域を中心に拡大して撮影したと
きの画像データ全画素の平均値として求めることができ
る。
度は、撮像装置で眼球領域を中心に拡大して撮影したと
きの画像データ全画素の平均値として求めることができ
る。
【0014】請求項7に記載の発明は、図2に示すよう
に、請求項1記載の発明の構成における処理切り替え手
段7のかわりに、環境条件に基づいて乗員の顔面の照度
状態レベルを推定する照度判断手段12を備え、該照度
判断手段の出力が基準値より小さいとき、前記第1の画
像データ処理手段5aを選択し、照度判断手段12の出
力が基準値より大きいとき、前記第2の画像データ処理
手段5bを選択する処理切り替え手段7Aを設けたもの
とした。
に、請求項1記載の発明の構成における処理切り替え手
段7のかわりに、環境条件に基づいて乗員の顔面の照度
状態レベルを推定する照度判断手段12を備え、該照度
判断手段の出力が基準値より小さいとき、前記第1の画
像データ処理手段5aを選択し、照度判断手段12の出
力が基準値より大きいとき、前記第2の画像データ処理
手段5bを選択する処理切り替え手段7Aを設けたもの
とした。
【0015】上記の照度判断手段12は、環境照度を測
定して出力する照度センサとすることができる。あるい
は、照度判断手段12は、照度センサと車両のサンバイ
ザの操作検出部を有し、照度センサで測定した環境照度
と操作検出部で検出したサンバイザの操作との組み合わ
せに基づいて照度状態レベルを推定するものとしてもよ
い。また、上記の照度センサは、車両のライト自動点灯
装置の環境照度センサまたは、エアコンの日射量センサ
を共用することができる。
定して出力する照度センサとすることができる。あるい
は、照度判断手段12は、照度センサと車両のサンバイ
ザの操作検出部を有し、照度センサで測定した環境照度
と操作検出部で検出したサンバイザの操作との組み合わ
せに基づいて照度状態レベルを推定するものとしてもよ
い。また、上記の照度センサは、車両のライト自動点灯
装置の環境照度センサまたは、エアコンの日射量センサ
を共用することができる。
【0016】照度判断手段12は、さらに、車両のライ
トスイッチの操作に基づいて照度状態レベルを推定する
ライト操作検出部とすることができる。
トスイッチの操作に基づいて照度状態レベルを推定する
ライト操作検出部とすることができる。
【0017】あるいはまた、照度判断手段12は、環境
照度に対応付けられた現在時刻が属する時間帯に基づい
て照度状態レベルを推定する時間帯情報算出部とするこ
ともできる。より精度を向上するには、照度判断手段1
2は、時刻算出部と車両の進行方角を検出する方角算出
部を有し、現在時刻が属する時間帯と進行方角による太
陽との向きの組み合わせに基づいて照度状態レベルを推
定するものとするのが好ましく、さらには、上記に加え
て、走行地域の緯度を求める緯度算出部を有し、緯度に
応じた現在時刻が属する時間帯と進行方角による太陽と
の向きの組み合わせに基づいて顔面照度レベルを推定す
るものとするのが望ましい。
照度に対応付けられた現在時刻が属する時間帯に基づい
て照度状態レベルを推定する時間帯情報算出部とするこ
ともできる。より精度を向上するには、照度判断手段1
2は、時刻算出部と車両の進行方角を検出する方角算出
部を有し、現在時刻が属する時間帯と進行方角による太
陽との向きの組み合わせに基づいて照度状態レベルを推
定するものとするのが好ましく、さらには、上記に加え
て、走行地域の緯度を求める緯度算出部を有し、緯度に
応じた現在時刻が属する時間帯と進行方角による太陽と
の向きの組み合わせに基づいて顔面照度レベルを推定す
るものとするのが望ましい。
【0018】請求項15に記載の発明は、図3に示すよ
うに、請求項1記載の発明の構成における処理切り替え
手段7のかわりに、第1の画像データ処理手段または第
2の画像データ処理手段のいずれか一方における処理に
よって瞳孔中心が算出されないときに、他方の処理に切
り替える処理切り替え手段7Bを設けたものとした。
うに、請求項1記載の発明の構成における処理切り替え
手段7のかわりに、第1の画像データ処理手段または第
2の画像データ処理手段のいずれか一方における処理に
よって瞳孔中心が算出されないときに、他方の処理に切
り替える処理切り替え手段7Bを設けたものとした。
【0019】なお、請求項1、7または15記載の発明
において、第1、第2の画像データ処理手段は、それぞ
れ瞳孔中心を算出する瞳孔中心算出部と、第1の照明に
よる角膜反射像を抽出する共軸系角膜反射像抽出部と、
第2の照明による角膜反射像を抽出する非共軸系角膜反
射像抽出部とから構成されるのが好ましい。そして、第
1の画像データ処理手段の第1瞳孔中心算出部は、第1
の照射による画像データと第2の照射による画像データ
の差分を第1のしきい値で2値化して明るい瞳孔を抽出
し、第2の画像データ処理手段の第2瞳孔中心算出部
は、第1の照射による画像データを第2のしきい値で2
値化して暗い瞳孔を抽出して、それぞれその重心を瞳孔
中心とする。
において、第1、第2の画像データ処理手段は、それぞ
れ瞳孔中心を算出する瞳孔中心算出部と、第1の照明に
よる角膜反射像を抽出する共軸系角膜反射像抽出部と、
第2の照明による角膜反射像を抽出する非共軸系角膜反
射像抽出部とから構成されるのが好ましい。そして、第
1の画像データ処理手段の第1瞳孔中心算出部は、第1
の照射による画像データと第2の照射による画像データ
の差分を第1のしきい値で2値化して明るい瞳孔を抽出
し、第2の画像データ処理手段の第2瞳孔中心算出部
は、第1の照射による画像データを第2のしきい値で2
値化して暗い瞳孔を抽出して、それぞれその重心を瞳孔
中心とする。
【0020】あるいはまた、第1の照明と異なる位置に
設置され、乗員の顔面を不可視光により照射する第3の
照明を有し、第1の照射は第1および第2の照明を点灯
し、第2の照射は第2および第3の照明を点灯するもの
とし、第1瞳孔中心算出部は第1の照射による画像デー
タと第2の照射による画像データの差分を第1のしきい
値で2値化して明るい瞳孔を抽出し、その重心を瞳孔中
心とし、第2瞳孔中心算出部は第2の照射による画像デ
ータを第2のしきい値で2値化して暗い瞳孔を抽出し、
その重心を瞳孔中心とするものとすることもできる。
設置され、乗員の顔面を不可視光により照射する第3の
照明を有し、第1の照射は第1および第2の照明を点灯
し、第2の照射は第2および第3の照明を点灯するもの
とし、第1瞳孔中心算出部は第1の照射による画像デー
タと第2の照射による画像データの差分を第1のしきい
値で2値化して明るい瞳孔を抽出し、その重心を瞳孔中
心とし、第2瞳孔中心算出部は第2の照射による画像デ
ータを第2のしきい値で2値化して暗い瞳孔を抽出し、
その重心を瞳孔中心とするものとすることもできる。
【0021】
【作用】請求項1のものでは、画像入力手段1で第1の
照明と第2の照明の単独あるいは組み合わせによる互い
に異なる照射ごとに撮像装置4が乗員の顔面を撮影し、
画像デ−タを得る。画像データ処理手段5では、画像デ
−タを処理して瞳孔を抽出して瞳孔中心を算出するとと
もに、角膜反射像を抽出する。この際、処理切り替え手
段7は乗員の顔面照度を検出してその顔面照度が基準値
より小さいとき、画像データ処理手段5のなかの第1の
画像データ処理手段5aを選択し、基準値より大きいと
き、第2の画像データ処理手段5bを選択する。
照明と第2の照明の単独あるいは組み合わせによる互い
に異なる照射ごとに撮像装置4が乗員の顔面を撮影し、
画像デ−タを得る。画像データ処理手段5では、画像デ
−タを処理して瞳孔を抽出して瞳孔中心を算出するとと
もに、角膜反射像を抽出する。この際、処理切り替え手
段7は乗員の顔面照度を検出してその顔面照度が基準値
より小さいとき、画像データ処理手段5のなかの第1の
画像データ処理手段5aを選択し、基準値より大きいと
き、第2の画像データ処理手段5bを選択する。
【0022】第1の画像データ処理手段5aでは、画像
デ−タを処理して明るい瞳孔を抽出する。また第2の画
像データ処理手段5bでは、画像デ−タを処理して暗い
瞳孔を抽出する。視線方向算出手段6が上記瞳孔中心お
よび角膜反射像の位置に基づいて、乗員の視線方向を算
出する。これにより、運転中の顔面照度の変化に広いダ
イナミックレンジで対応でき、精度よく瞳孔中心が求め
られる。
デ−タを処理して明るい瞳孔を抽出する。また第2の画
像データ処理手段5bでは、画像デ−タを処理して暗い
瞳孔を抽出する。視線方向算出手段6が上記瞳孔中心お
よび角膜反射像の位置に基づいて、乗員の視線方向を算
出する。これにより、運転中の顔面照度の変化に広いダ
イナミックレンジで対応でき、精度よく瞳孔中心が求め
られる。
【0023】請求項2のものでは、補助照明10で乗員
の眼球部を照射する光量を順次変化させながら、第1の
画像データ処理手段において、明るい瞳孔を対象とする
処理では瞳孔を抽出することができなくなった時点を求
める。また第2の画像データ処理手段において、暗い瞳
孔を対象とする処理では瞳孔を抽出することができなく
なった時点を求める。基準値設定手段9は、そのときの
顔面照度を処理切り替え手段の新たな基準値として設定
する。これにより、個人差による処理切り替えの基準値
が簡単に修正決定でき、多数の乗員に対応できる。
の眼球部を照射する光量を順次変化させながら、第1の
画像データ処理手段において、明るい瞳孔を対象とする
処理では瞳孔を抽出することができなくなった時点を求
める。また第2の画像データ処理手段において、暗い瞳
孔を対象とする処理では瞳孔を抽出することができなく
なった時点を求める。基準値設定手段9は、そのときの
顔面照度を処理切り替え手段の新たな基準値として設定
する。これにより、個人差による処理切り替えの基準値
が簡単に修正決定でき、多数の乗員に対応できる。
【0024】画像データ処理手段5に処理回数算出部1
1を設け、カウント値が所定数に達したとき基準値設定
手段9を作動させるようにすることにより、基準値の設
定が運転者によって適切でない場合、これが自動的に判
断され、あらたな基準値により瞳孔中心算出の切り替え
が行なわれる。
1を設け、カウント値が所定数に達したとき基準値設定
手段9を作動させるようにすることにより、基準値の設
定が運転者によって適切でない場合、これが自動的に判
断され、あらたな基準値により瞳孔中心算出の切り替え
が行なわれる。
【0025】補助照明の発光波長領域を、第1、第2の
照明の発光波長、ならびに可視域の発光波長とを含むも
のとすることにより、網膜反射像の輝度との関係で、虹
彩の反射率が実際の照明にそくしたものとなって、正確
な基準値の決定が容易となり、また、可視光領域の波長
によって、縮瞳により網膜反射像そのものが暗くなる現
象も再現される。また、補助照明の光量変化を低輝度か
ら高輝度へ行なうことにより、乗員が感じる眩しさが軽
減され、負担も少なくなる。そして、瞳孔径の時間的変
化も早いので、測定時間も短かい。
照明の発光波長、ならびに可視域の発光波長とを含むも
のとすることにより、網膜反射像の輝度との関係で、虹
彩の反射率が実際の照明にそくしたものとなって、正確
な基準値の決定が容易となり、また、可視光領域の波長
によって、縮瞳により網膜反射像そのものが暗くなる現
象も再現される。また、補助照明の光量変化を低輝度か
ら高輝度へ行なうことにより、乗員が感じる眩しさが軽
減され、負担も少なくなる。そして、瞳孔径の時間的変
化も早いので、測定時間も短かい。
【0026】さらにまた、処理切り替え手段が検出する
顔面照度は、撮像装置で眼球領域を中心に拡大して撮影
したときの画像データ全画素の平均値として求めること
とすれば、顔面照度測定のための特別の装置が不要とな
る。
顔面照度は、撮像装置で眼球領域を中心に拡大して撮影
したときの画像データ全画素の平均値として求めること
とすれば、顔面照度測定のための特別の装置が不要とな
る。
【0027】請求項7のものでは、処理切り替え手段7
Aにおいて、直接顔面照度を検出するのでなく、照度判
断手段12が環境条件に基づいて乗員の顔面の照度状態
レベルを推定する。そしてその出力が基準値より小さい
とき、第1の画像データ処理手段5aが選択され、基準
値より大きいとき、第2の画像データ処理手段5bが選
択される。
Aにおいて、直接顔面照度を検出するのでなく、照度判
断手段12が環境条件に基づいて乗員の顔面の照度状態
レベルを推定する。そしてその出力が基準値より小さい
とき、第1の画像データ処理手段5aが選択され、基準
値より大きいとき、第2の画像データ処理手段5bが選
択される。
【0028】環境条件としては、照度センサで測定した
環境照度を用いることができ、さらにサンバイザの操作
との組み合わせに基づいて照度状態レベルを推定するこ
とにより、乗員の顔面の照度状態が的確に求められる。
そして、照度センサはライト自動点灯装置の環境照度セ
ンサやエアコンの日射量センサを共用することにより、
構成が簡単となる。また、環境条件として、ライトスイ
ッチの操作状態を用いても、簡単な構成で乗員の顔面の
照度状態レベルが求められる。
環境照度を用いることができ、さらにサンバイザの操作
との組み合わせに基づいて照度状態レベルを推定するこ
とにより、乗員の顔面の照度状態が的確に求められる。
そして、照度センサはライト自動点灯装置の環境照度セ
ンサやエアコンの日射量センサを共用することにより、
構成が簡単となる。また、環境条件として、ライトスイ
ッチの操作状態を用いても、簡単な構成で乗員の顔面の
照度状態レベルが求められる。
【0029】さらにまた、環境条件として、現在時刻が
属する時間帯を用いることにより、同じく簡単な構成で
乗員の顔面の照度状態レベルが求められる。そして、上
記時間帯にさらに進行方角による太陽との向きを組み合
わせることにより、顔面の照度状態レベルがより細かく
求められる。これにさらに走行地域の緯度を組み合わせ
れば、走行する地域に対応する時間帯の区分により、一
層高い精度で照度状態レベルが求められる。
属する時間帯を用いることにより、同じく簡単な構成で
乗員の顔面の照度状態レベルが求められる。そして、上
記時間帯にさらに進行方角による太陽との向きを組み合
わせることにより、顔面の照度状態レベルがより細かく
求められる。これにさらに走行地域の緯度を組み合わせ
れば、走行する地域に対応する時間帯の区分により、一
層高い精度で照度状態レベルが求められる。
【0030】請求項15のものでは、画像データの処理
が第1の画像データ処理手段または第2の画像データ処
理手段のいずれか一方で開始され、その処理によって瞳
孔中心が算出されないときに、処理切り替え手段7Bが
他方の画像データ処理手段へ切り替える。 顔面照度の
検出あるいは環境条件に基づく照度状態レベルの推定を
行なわずに処理の切り替えがなされるから、構成が簡単
となり、また個人差があっても自動的に対応する。
が第1の画像データ処理手段または第2の画像データ処
理手段のいずれか一方で開始され、その処理によって瞳
孔中心が算出されないときに、処理切り替え手段7Bが
他方の画像データ処理手段へ切り替える。 顔面照度の
検出あるいは環境条件に基づく照度状態レベルの推定を
行なわずに処理の切り替えがなされるから、構成が簡単
となり、また個人差があっても自動的に対応する。
【0031】なお、請求項1、7または15記載の発明
において、第1、第2の画像データ処理手段がそれぞれ
瞳孔中心を算出する第1、第2瞳孔中心算出部と、第1
の照明による角膜反射像を抽出する第1、第2共軸系角
膜反射像抽出部と、第2の照明による角膜反射像を抽出
する第1、第2非共軸系角膜反射像抽出部とを有するも
のにおいて、第1の照明と異なる位置に設置され、乗員
の顔面を不可視光により照射する第3の照明を有し、第
2の照射は第2および第3の照明を点灯するものとし、
とくに第2瞳孔中心算出部がこの第2の照射による画像
データを2値化して瞳孔を抽出するものとしたときに
は、網膜からの反射光がなく、その後の角膜反射像のS
/Nが向上する。
において、第1、第2の画像データ処理手段がそれぞれ
瞳孔中心を算出する第1、第2瞳孔中心算出部と、第1
の照明による角膜反射像を抽出する第1、第2共軸系角
膜反射像抽出部と、第2の照明による角膜反射像を抽出
する第1、第2非共軸系角膜反射像抽出部とを有するも
のにおいて、第1の照明と異なる位置に設置され、乗員
の顔面を不可視光により照射する第3の照明を有し、第
2の照射は第2および第3の照明を点灯するものとし、
とくに第2瞳孔中心算出部がこの第2の照射による画像
データを2値化して瞳孔を抽出するものとしたときに
は、網膜からの反射光がなく、その後の角膜反射像のS
/Nが向上する。
【0032】
【発明の実施の形態】以下、本発明の実施の形態を実施
例により説明する。図4は車両の視線スイッチに適用し
た本発明の第1の実施例の構成を示すブロック図であ
る。車両の運転者の顔面に向けてその眼球部を撮影する
撮像装置としてのカメラ24が設けられるとともに、第
1、第2の発散照明22、23が設けられる。カメラ2
4はその撮像素子としてCCDを備えている。第1の発
散照明22は、カメラ24と光軸を一致させて共軸系に
配置され、人間に不可視な近赤外光により運転者の顔面
を照明する。第2の発散照明23は、第1の発散照明2
2から離れた相対関係が既知の所定の位置に、カメラ2
4と非共軸系に配置され、同様に人間に不可視な近赤外
光により運転者の顔面を照明する。
例により説明する。図4は車両の視線スイッチに適用し
た本発明の第1の実施例の構成を示すブロック図であ
る。車両の運転者の顔面に向けてその眼球部を撮影する
撮像装置としてのカメラ24が設けられるとともに、第
1、第2の発散照明22、23が設けられる。カメラ2
4はその撮像素子としてCCDを備えている。第1の発
散照明22は、カメラ24と光軸を一致させて共軸系に
配置され、人間に不可視な近赤外光により運転者の顔面
を照明する。第2の発散照明23は、第1の発散照明2
2から離れた相対関係が既知の所定の位置に、カメラ2
4と非共軸系に配置され、同様に人間に不可視な近赤外
光により運転者の顔面を照明する。
【0033】第1の発散照明22および第2の発散照明
23は照明発光制御部25に接続されている。この照明
発光制御部25は、装置全体の動作を制御する全体制御
部26からの信号に基づいて制御動作を行うようになっ
ている。カメラ24は、撮影した画像データをディジタ
ルデータに変換するA/D変換器27を経て、画像デー
タを格納する画像メモリ28に接続されている。
23は照明発光制御部25に接続されている。この照明
発光制御部25は、装置全体の動作を制御する全体制御
部26からの信号に基づいて制御動作を行うようになっ
ている。カメラ24は、撮影した画像データをディジタ
ルデータに変換するA/D変換器27を経て、画像デー
タを格納する画像メモリ28に接続されている。
【0034】画像メモリ28には、顔面照度演算部30
を介して、第1瞳孔中心算出部31と第2瞳孔中心算出
部41とが並列に接続されている。顔面照度演算部30
は、入力画像データから運転者顔面照度Iを演算し、基
準値I0との比較結果により、第1瞳孔中心算出部31
または第2瞳孔中心算出部41のどちらかに切り替え接
続する。すなわち、I<I0の場合には、第1瞳孔中心
算出部31が顔面照度演算部30に接続され、明るい瞳
孔を用いて瞳孔中心候補を算出する。またI>I0の場
合には、第2瞳孔中心算出部41が顔面照度演算部30
に接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。
を介して、第1瞳孔中心算出部31と第2瞳孔中心算出
部41とが並列に接続されている。顔面照度演算部30
は、入力画像データから運転者顔面照度Iを演算し、基
準値I0との比較結果により、第1瞳孔中心算出部31
または第2瞳孔中心算出部41のどちらかに切り替え接
続する。すなわち、I<I0の場合には、第1瞳孔中心
算出部31が顔面照度演算部30に接続され、明るい瞳
孔を用いて瞳孔中心候補を算出する。またI>I0の場
合には、第2瞳孔中心算出部41が顔面照度演算部30
に接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。
【0035】第1瞳孔中心算出部31には、順次に第1
共軸系角膜反射像抽出部32、第1非共軸系角膜反射像
抽出部33、ならびに第1反射像確認部34が接続され
ている。第1共軸系角膜反射像抽出部32は、第1瞳孔
中心算出部31の出力をもとに、共軸系角膜反射像の位
置候補を抽出し、第1非共軸系角膜反射像抽出部33
は、非共軸系角膜反射像の位置候補を抽出する。そし
て、これら抽出された各反射像候補が正しいものである
かどうかが第1反射像確認部34により検証される。
共軸系角膜反射像抽出部32、第1非共軸系角膜反射像
抽出部33、ならびに第1反射像確認部34が接続され
ている。第1共軸系角膜反射像抽出部32は、第1瞳孔
中心算出部31の出力をもとに、共軸系角膜反射像の位
置候補を抽出し、第1非共軸系角膜反射像抽出部33
は、非共軸系角膜反射像の位置候補を抽出する。そし
て、これら抽出された各反射像候補が正しいものである
かどうかが第1反射像確認部34により検証される。
【0036】第2瞳孔中心算出部41にも同様に、順次
に第2共軸系角膜反射像抽出部42、第2非共軸系角膜
反射像抽出部43、ならびに第2反射像確認部44が接
続されている。そして、第2共軸系角膜反射像抽出部4
2は、第2瞳孔中心算出部41の出力をもとに、共軸系
角膜反射像の位置候補を抽出し、第2非共軸系角膜反射
像抽出部43は、非共軸系角膜反射像の位置候補を抽出
する。そして、これら抽出された各反射像候補が正しい
ものであるかどうかが第2反射像確認部44により検証
される。
に第2共軸系角膜反射像抽出部42、第2非共軸系角膜
反射像抽出部43、ならびに第2反射像確認部44が接
続されている。そして、第2共軸系角膜反射像抽出部4
2は、第2瞳孔中心算出部41の出力をもとに、共軸系
角膜反射像の位置候補を抽出し、第2非共軸系角膜反射
像抽出部43は、非共軸系角膜反射像の位置候補を抽出
する。そして、これら抽出された各反射像候補が正しい
ものであるかどうかが第2反射像確認部44により検証
される。
【0037】第1、第2反射像確認部34、44は、視
線方向算出部37に接続され、ここで瞳孔中心の位置と
各角膜反射像の位置から、運転者の視線方向を算出する
ようになっている。視線方向算出部37には、停留判断
部39が接続され、フロントウィンドシールド上に設定
された視線スイッチエリア38内での視線の停留位置を
判断して、コントローラ切り替え部40への制御情報を
出力する。コントローラ切り替え部40は、停留判断部
39の出力に基づき、オーディオコントローラ51、エ
アコンコントローラ52、ラジオコントローラ53およ
びASCD(定速走行装置)コントローラ54のいずれ
かを制御する信号を出力する。
線方向算出部37に接続され、ここで瞳孔中心の位置と
各角膜反射像の位置から、運転者の視線方向を算出する
ようになっている。視線方向算出部37には、停留判断
部39が接続され、フロントウィンドシールド上に設定
された視線スイッチエリア38内での視線の停留位置を
判断して、コントローラ切り替え部40への制御情報を
出力する。コントローラ切り替え部40は、停留判断部
39の出力に基づき、オーディオコントローラ51、エ
アコンコントローラ52、ラジオコントローラ53およ
びASCD(定速走行装置)コントローラ54のいずれ
かを制御する信号を出力する。
【0038】HUD(ヘッドアップディスプレイ)表示
制御部45は、コントローラ切り替え部40を通して出
力される各コントローラ51〜54の信号に基づき、H
UD表示部46にHUD表示を行なう。また、ステアリ
ングハンドルにはコントローラ切り替え部40と接続さ
れたステアリングスイッチ47が設置されている。メイ
ンスイッチ48が上述した装置全体のON・OFFを司
っている。
制御部45は、コントローラ切り替え部40を通して出
力される各コントローラ51〜54の信号に基づき、H
UD表示部46にHUD表示を行なう。また、ステアリ
ングハンドルにはコントローラ切り替え部40と接続さ
れたステアリングスイッチ47が設置されている。メイ
ンスイッチ48が上述した装置全体のON・OFFを司
っている。
【0039】図5の(a)は上記実施例装置のレイアウ
トを示す。 ステアリングハンドル49にメインスイッ
チ48およびステアリングスイッチ47が配置されてい
る。カメラ24が車室内計器盤上、ステアリングハンド
ルの一方の側に設置される。そして、このカメラ24の
光軸と照射方向を一致させた共軸系の第1の発散照明2
2が設けられ、ステアリングハンドルを挟んで反対側に
非共軸系の第2の発散照明23が配置されている。
トを示す。 ステアリングハンドル49にメインスイッ
チ48およびステアリングスイッチ47が配置されてい
る。カメラ24が車室内計器盤上、ステアリングハンド
ルの一方の側に設置される。そして、このカメラ24の
光軸と照射方向を一致させた共軸系の第1の発散照明2
2が設けられ、ステアリングハンドルを挟んで反対側に
非共軸系の第2の発散照明23が配置されている。
【0040】運転者正面のフロントウィンドシールド5
0には、視線スイッチエリア38およびHUD表示部4
6が設定されている。視線スイッチエリア38には、図
5の(b)に示すように、コントローラ切り替え部40
を介して制御される制御項目名が表示される。ステアリ
ングスイッチ47とメインスイッチ48は同図の(c)
に示すように、ステアリングパッド部に配置されてい
る。
0には、視線スイッチエリア38およびHUD表示部4
6が設定されている。視線スイッチエリア38には、図
5の(b)に示すように、コントローラ切り替え部40
を介して制御される制御項目名が表示される。ステアリ
ングスイッチ47とメインスイッチ48は同図の(c)
に示すように、ステアリングパッド部に配置されてい
る。
【0041】次に、本実施例装置の作用を、エアコンの
設定温度を変更する場合を例に制御動作を示す図6〜図
11のフローチャートに基づいて説明する。車両運転者
Dがエアコンを操作したいと考えたときには、視線スイ
ッチエリア38のエアコン領域(図5の(b)中のA/
C領域)を注視する。同時に運転者Dはステアリングハ
ンドル49のメインスイッチ48を押す。これにより、
装置が動作を開始し、車両の運転者Dの注目している方
向の計測が行われる。
設定温度を変更する場合を例に制御動作を示す図6〜図
11のフローチャートに基づいて説明する。車両運転者
Dがエアコンを操作したいと考えたときには、視線スイ
ッチエリア38のエアコン領域(図5の(b)中のA/
C領域)を注視する。同時に運転者Dはステアリングハ
ンドル49のメインスイッチ48を押す。これにより、
装置が動作を開始し、車両の運転者Dの注目している方
向の計測が行われる。
【0042】まずステップ201において、全体制御部
26から計測開始信号が出力されると、これに基づきス
テップ202で、照明発光制御部25からのトリガ信号
が発せられて、第1、第2の発散照明22、23が点灯
され、車両運転者Dの顔面が照明される。そして、ステ
ップ203において、この照明された顔面領域の画像が
カメラ24によって取り込まれ、画像情報がA/D変換
器27によりA/D変換されて、ディジタルの画像デー
タI1(x,y)として、画像メモリ28に格納され
る。ここでの画像は、運転者の眼球部分を主としてその
周囲顔面部分が拡大して撮影される。
26から計測開始信号が出力されると、これに基づきス
テップ202で、照明発光制御部25からのトリガ信号
が発せられて、第1、第2の発散照明22、23が点灯
され、車両運転者Dの顔面が照明される。そして、ステ
ップ203において、この照明された顔面領域の画像が
カメラ24によって取り込まれ、画像情報がA/D変換
器27によりA/D変換されて、ディジタルの画像デー
タI1(x,y)として、画像メモリ28に格納され
る。ここでの画像は、運転者の眼球部分を主としてその
周囲顔面部分が拡大して撮影される。
【0043】引き続きステップ204において、照明発
光制御部25からのトリガ信号によって、第2の発散照
明23のみが点灯され、車両運転者Dの顔面が照明され
る。なおこのときの第2の発散照明23の点灯光量は、
ステップ202において点灯したときの約2倍とする。
ステップ205でこの第2の発散照明23で照明された
顔面領域の画像がカメラ24によって取り込まれ、上述
と同様に画像情報がA/D変換器27によりA/D変換
されて、ディジタルの画像データI2(x,y)とし
て、画像メモリ28に格納される。
光制御部25からのトリガ信号によって、第2の発散照
明23のみが点灯され、車両運転者Dの顔面が照明され
る。なおこのときの第2の発散照明23の点灯光量は、
ステップ202において点灯したときの約2倍とする。
ステップ205でこの第2の発散照明23で照明された
顔面領域の画像がカメラ24によって取り込まれ、上述
と同様に画像情報がA/D変換器27によりA/D変換
されて、ディジタルの画像データI2(x,y)とし
て、画像メモリ28に格納される。
【0044】ステップ206では、顔面照度演算部30
により、顔面照度Iが演算される。上述のように、カメ
ラ24は眼球部分を主としてその周囲を拡大して撮影
し、眼球以外の部分はほとんど顔面部分を撮影している
とみなすことができる。したがってここでは、顔面照度
Iが画像データI1(x,y)の全画素の濃度値の平均
値で表わされる。なお眼球近傍部分を拡大して撮影する
ためには、運転者Dとカメラ24の距離を1mとして、
例えば焦点距離75mm以上の望遠レンズを使用すれば
よい。
により、顔面照度Iが演算される。上述のように、カメ
ラ24は眼球部分を主としてその周囲を拡大して撮影
し、眼球以外の部分はほとんど顔面部分を撮影している
とみなすことができる。したがってここでは、顔面照度
Iが画像データI1(x,y)の全画素の濃度値の平均
値で表わされる。なお眼球近傍部分を拡大して撮影する
ためには、運転者Dとカメラ24の距離を1mとして、
例えば焦点距離75mm以上の望遠レンズを使用すれば
よい。
【0045】次のステップ207において、上記の顔面
照度Iについて、予め設定されたI0との比較を行い、
条件判断を行う。まず、I<I0のときはステップ20
8に進み、第1瞳孔中心算出部31において、明るい瞳
孔を利用して、すなわち明るい瞳孔を抽出して瞳孔中心
を求める。ここでは、共軸系としてレイアウトされたカ
メラ24と第1の発散照明22によって、運転者Dの網
膜から反射光が戻って来ることを利用する。一方、I>
I0のときはステップ231に進み、第2瞳孔中心算出
部41において、暗い瞳孔を抽出して利用して瞳孔中心
を求める。ステップ202〜205が発明の画像入力手
段を構成し、また、ステップ206、207が処理切り
替え手段を構成し、とくにステップ206は顔面照度検
出手段に該当する。
照度Iについて、予め設定されたI0との比較を行い、
条件判断を行う。まず、I<I0のときはステップ20
8に進み、第1瞳孔中心算出部31において、明るい瞳
孔を利用して、すなわち明るい瞳孔を抽出して瞳孔中心
を求める。ここでは、共軸系としてレイアウトされたカ
メラ24と第1の発散照明22によって、運転者Dの網
膜から反射光が戻って来ることを利用する。一方、I>
I0のときはステップ231に進み、第2瞳孔中心算出
部41において、暗い瞳孔を抽出して利用して瞳孔中心
を求める。ステップ202〜205が発明の画像入力手
段を構成し、また、ステップ206、207が処理切り
替え手段を構成し、とくにステップ206は顔面照度検
出手段に該当する。
【0046】ステップ208では、画像データI1
(x,y)と画像データI2(x,y)の差分処理を行
い、画像データI3(x,y)を作成する。なお、差分
で負となったデータは0とする。また、画像データI1
(x,y)および画像データI2(x,y)は、後の処
理に使用するため、引き続き記憶される。
(x,y)と画像データI2(x,y)の差分処理を行
い、画像データI3(x,y)を作成する。なお、差分
で負となったデータは0とする。また、画像データI1
(x,y)および画像データI2(x,y)は、後の処
理に使用するため、引き続き記憶される。
【0047】このあとステップ211において、画像デ
ータI3(x,y)を予め設定したしきい値Th1(T
h1>0)を用いて2値化する。ここでは、メモリが8
ビットの場合、しきい値Th1以上をFF、Th1未満
を0とする。これにより、ノイズを除去した画像データ
I4(x,y)が求められる。ステップ212で、上記
抽出された各領域の画像データI4(x,y)に番号付
けを行うラベリング処理が施される。そして、ステップ
213において、ラベリング処理後の各領域の面積を計
算する。これにより、メモリ中の各領域毎の面積を記憶
したテーブルが作成される。
ータI3(x,y)を予め設定したしきい値Th1(T
h1>0)を用いて2値化する。ここでは、メモリが8
ビットの場合、しきい値Th1以上をFF、Th1未満
を0とする。これにより、ノイズを除去した画像データ
I4(x,y)が求められる。ステップ212で、上記
抽出された各領域の画像データI4(x,y)に番号付
けを行うラベリング処理が施される。そして、ステップ
213において、ラベリング処理後の各領域の面積を計
算する。これにより、メモリ中の各領域毎の面積を記憶
したテーブルが作成される。
【0048】ステップ214では、領域の面積のうち、
最大のものについて外接四角形を求め、その縦、横の辺
の長さを計算する。そして、ステップ215において、
その外接四角形が画素m×nの領域内に入っているかど
うかがチェックされる。これは、外接四角形が次の両式
を同時に満たすことを意味する。なお、m、nは予め設
定しておく。 (横の辺の長さ)<m (縦の辺の長さ)<n 外接四角形がm×n領域内にあれば、網膜反射像候補が
得られたものとしてステップ218へ進む。対象領域が
大きくm×n領域におさまらなければ、ステップ216
に進んで当該領域の面積を0としたうえ、ステップ21
7を経てステップ214に戻り、次に面積の大きい領域
について、再度外接四角形の比較を行う。
最大のものについて外接四角形を求め、その縦、横の辺
の長さを計算する。そして、ステップ215において、
その外接四角形が画素m×nの領域内に入っているかど
うかがチェックされる。これは、外接四角形が次の両式
を同時に満たすことを意味する。なお、m、nは予め設
定しておく。 (横の辺の長さ)<m (縦の辺の長さ)<n 外接四角形がm×n領域内にあれば、網膜反射像候補が
得られたものとしてステップ218へ進む。対象領域が
大きくm×n領域におさまらなければ、ステップ216
に進んで当該領域の面積を0としたうえ、ステップ21
7を経てステップ214に戻り、次に面積の大きい領域
について、再度外接四角形の比較を行う。
【0049】ステップ217では、次に処理の対象とす
る領域があるかチェックし、対象領域が無くなったら、
ステップ202へ戻り、再度画像取り込み以降の上記処
理を繰り返す。なお、すべての領域で面積が0となった
ときは、処理の対象とする領域がないものとする。
る領域があるかチェックし、対象領域が無くなったら、
ステップ202へ戻り、再度画像取り込み以降の上記処
理を繰り返す。なお、すべての領域で面積が0となった
ときは、処理の対象とする領域がないものとする。
【0050】ステップ218では、網膜反射像の重心位
置を演算する。ここでは、下記の式により各領域iの重
心座標(Xgi,Ygi)を求めて、瞳孔中心位置(=
網膜反射像の重心位置)の候補とする。
置を演算する。ここでは、下記の式により各領域iの重
心座標(Xgi,Ygi)を求めて、瞳孔中心位置(=
網膜反射像の重心位置)の候補とする。
【数1】
【0051】瞳孔中心位置が特定されると、この位置を
基にして共軸系角膜反射像位置を特定する。すなわち、
ステップ221において、第1共軸系角膜反射像抽出部
32で、瞳孔中心位置の候補の近傍に、輝点位置を探索
するための領域を設定する。探索領域は、瞳孔中心位置
を中心に設定し、図12に示すように、画素p×q領域
とされる。このp,qの値は予め設定される。つぎのス
テップ222では、このp×q領域内の最高輝度の点を
探索し、抽出した最高輝度の点の座標を(x1,y1)
とする。
基にして共軸系角膜反射像位置を特定する。すなわち、
ステップ221において、第1共軸系角膜反射像抽出部
32で、瞳孔中心位置の候補の近傍に、輝点位置を探索
するための領域を設定する。探索領域は、瞳孔中心位置
を中心に設定し、図12に示すように、画素p×q領域
とされる。このp,qの値は予め設定される。つぎのス
テップ222では、このp×q領域内の最高輝度の点を
探索し、抽出した最高輝度の点の座標を(x1,y1)
とする。
【0052】続いてステップ223では、第1非共軸系
角膜反射像抽出部33において、画像データI1(x,
y)から、上記最高輝度の点の座標(x1,y1)の近
傍領域を探索するための画素r×s領域を設定する。こ
こでは、対応する反射像が発散照明22と発散照明23
を結ぶ線分と平行位置になること、また発散照明23の
反射像は必ず発散照明22の反射像よりも左になること
を利用し、図13に示すようにr×s領域を設定する。
なお、このr,sの値も予め設定しておく。
角膜反射像抽出部33において、画像データI1(x,
y)から、上記最高輝度の点の座標(x1,y1)の近
傍領域を探索するための画素r×s領域を設定する。こ
こでは、対応する反射像が発散照明22と発散照明23
を結ぶ線分と平行位置になること、また発散照明23の
反射像は必ず発散照明22の反射像よりも左になること
を利用し、図13に示すようにr×s領域を設定する。
なお、このr,sの値も予め設定しておく。
【0053】このあとステップ224において、上記r
×s領域内の最高輝度の点を探索する。ここで抽出され
た最高輝度の点の座標を(x2,y2)とする。そして
ステップ225において、第1反射像確認部34では、
各最高輝度の点の座標(x1,y1)と(x2,y2)
が角膜反射像のペアであるかどうかを判定する。ここで
は、y座標の差が予め設定した値Th2(Th2>0)
よりも小さいものを平行位置にあるものとして判定す
る。ここで上記各最高輝度の点が角膜反射像のペアでな
いときには、ステップ216へ戻り、次に面積の大きい
領域を網膜反射像として処理を繰り返し、再度比較を行
う。上述のステップ208〜225が発明の第1の画像
データ処理手段を構成している。
×s領域内の最高輝度の点を探索する。ここで抽出され
た最高輝度の点の座標を(x2,y2)とする。そして
ステップ225において、第1反射像確認部34では、
各最高輝度の点の座標(x1,y1)と(x2,y2)
が角膜反射像のペアであるかどうかを判定する。ここで
は、y座標の差が予め設定した値Th2(Th2>0)
よりも小さいものを平行位置にあるものとして判定す
る。ここで上記各最高輝度の点が角膜反射像のペアでな
いときには、ステップ216へ戻り、次に面積の大きい
領域を網膜反射像として処理を繰り返し、再度比較を行
う。上述のステップ208〜225が発明の第1の画像
データ処理手段を構成している。
【0054】一方、ステップ207のチェックでI>I
0のときは、ステップ231に進み第2瞳孔中心算出部
41において、暗い瞳孔を利用して、すなわち暗い瞳孔
を抽出して瞳孔中心を求める、このステップでは予め設
定したしきい値Th3(Th3>0)を用いて画像デー
タI1(x,y)を2値化する。ここでは、メモリが8
ビットの場合、しきい値Th3以上を0、Th3未満を
FFとする。これにより、ノイズを除去した画像データ
I4(x,y)が求められる。画像データI1(x,
y)は引き続き記憶しておく。ステップ232〜234
では、ステップ212〜214と同様の処理を行なう。
0のときは、ステップ231に進み第2瞳孔中心算出部
41において、暗い瞳孔を利用して、すなわち暗い瞳孔
を抽出して瞳孔中心を求める、このステップでは予め設
定したしきい値Th3(Th3>0)を用いて画像デー
タI1(x,y)を2値化する。ここでは、メモリが8
ビットの場合、しきい値Th3以上を0、Th3未満を
FFとする。これにより、ノイズを除去した画像データ
I4(x,y)が求められる。画像データI1(x,
y)は引き続き記憶しておく。ステップ232〜234
では、ステップ212〜214と同様の処理を行なう。
【0055】そして、ステップ235において、ステッ
プ214で求めた外接四角形が画素t×u領域内に入っ
ているかどうかがチェックされる。これは、外接四角形
が次の両式を同時に満たすことを意味する。t、uは予
め設定しておく。 (横の辺の長さ)<t (縦の辺の長さ)<u 外接四角形がt×u領域内にあれば、ステップ238へ
進む。対象領域が大きくt×u領域におさまらなけれ
ば、ステップ236に進んで当該領域の面積を0とした
うえ、ステップ237を経てステップ234に戻り、次
に面積の大きい領域について、再度外接四角形の比較を
行う。
プ214で求めた外接四角形が画素t×u領域内に入っ
ているかどうかがチェックされる。これは、外接四角形
が次の両式を同時に満たすことを意味する。t、uは予
め設定しておく。 (横の辺の長さ)<t (縦の辺の長さ)<u 外接四角形がt×u領域内にあれば、ステップ238へ
進む。対象領域が大きくt×u領域におさまらなけれ
ば、ステップ236に進んで当該領域の面積を0とした
うえ、ステップ237を経てステップ234に戻り、次
に面積の大きい領域について、再度外接四角形の比較を
行う。
【0056】ステップ237では、次に処理の対象とす
る領域があるかチェックし、対象領域が無くなったら、
ステップ202へ戻り、再度画像取り込み以降の上記処
理を繰り返す。なお、すべての領域で面積が0となった
ときは、処理の対象とする領域がないものとする。ステ
ップ238では、ステップ218と同様の処理で網膜反
射像の重心位置を演算して、瞳孔中心位置の候補とす
る。
る領域があるかチェックし、対象領域が無くなったら、
ステップ202へ戻り、再度画像取り込み以降の上記処
理を繰り返す。なお、すべての領域で面積が0となった
ときは、処理の対象とする領域がないものとする。ステ
ップ238では、ステップ218と同様の処理で網膜反
射像の重心位置を演算して、瞳孔中心位置の候補とす
る。
【0057】つぎのステップ241においては、第2共
軸系角膜反射像抽出部42で、瞳孔中心位置の候補の近
傍に、輝点位置を探索するための領域を設定する。探索
領域は、図14に示すように、瞳孔領域内とする。そし
てステップ242において、探索領域内の最高輝度の点
を探索し、抽出した最高輝度の点の座標を(x1,y
1)とする。
軸系角膜反射像抽出部42で、瞳孔中心位置の候補の近
傍に、輝点位置を探索するための領域を設定する。探索
領域は、図14に示すように、瞳孔領域内とする。そし
てステップ242において、探索領域内の最高輝度の点
を探索し、抽出した最高輝度の点の座標を(x1,y
1)とする。
【0058】続いてステップ243においては、第2非
共軸系角膜反射像抽出部43で、ステップ241と同様
にして、瞳孔中心位置の候補の近傍に、輝点位置を探索
するための領域を設定する。ここでの探索領域とは、画
像データI1(x,y)の瞳孔領域から、ステップ24
2にて抽出された最高輝度の点の座標(x1,y1)の
近傍領域の値を0に設定したものである。この近傍領域
として、例えば5ドット×5ドット程度の領域を設定す
る。そして、ステップ244において、領域内の最高輝
度の点を探索し、抽出した最高輝度の点の座標を(x
2,y2)とする。
共軸系角膜反射像抽出部43で、ステップ241と同様
にして、瞳孔中心位置の候補の近傍に、輝点位置を探索
するための領域を設定する。ここでの探索領域とは、画
像データI1(x,y)の瞳孔領域から、ステップ24
2にて抽出された最高輝度の点の座標(x1,y1)の
近傍領域の値を0に設定したものである。この近傍領域
として、例えば5ドット×5ドット程度の領域を設定す
る。そして、ステップ244において、領域内の最高輝
度の点を探索し、抽出した最高輝度の点の座標を(x
2,y2)とする。
【0059】ステップ245では、第2反射像確認部4
4において、ステップ225と同様に、各最高輝度の点
の座標(x1,y1)と(x2,y2)が角膜反射像の
ペアであるかどうかを予め設定した値Th2を用いて判
定する。ここで上記各最高輝度の点が角膜反射像のペア
でないときには、ステップ236へ戻り、次に面積の大
きい領域を網膜反射像として処理を繰り返し、再度比較
を行う。上述のステップ231〜245が発明の第2の
画像データ処理手段を構成している。
4において、ステップ225と同様に、各最高輝度の点
の座標(x1,y1)と(x2,y2)が角膜反射像の
ペアであるかどうかを予め設定した値Th2を用いて判
定する。ここで上記各最高輝度の点が角膜反射像のペア
でないときには、ステップ236へ戻り、次に面積の大
きい領域を網膜反射像として処理を繰り返し、再度比較
を行う。上述のステップ231〜245が発明の第2の
画像データ処理手段を構成している。
【0060】ステップ225あるいはステップ245の
チェックで、各最高輝度の点が角膜反射像のペアである
と判定されたときには、ステップ251に進む。ステッ
プ251では、視線方向算出部35において、上に求め
られた2つの角膜反射像の重心座標および瞳孔領域の重
心座標を基に、車両運転者Dの視線方向が算出される。
視線方向の算出方法は、先の特開平6−261863号
公報に詳しい。
チェックで、各最高輝度の点が角膜反射像のペアである
と判定されたときには、ステップ251に進む。ステッ
プ251では、視線方向算出部35において、上に求め
られた2つの角膜反射像の重心座標および瞳孔領域の重
心座標を基に、車両運転者Dの視線方向が算出される。
視線方向の算出方法は、先の特開平6−261863号
公報に詳しい。
【0061】すなわち、図15に示すように、カメラの
焦点位置F1を原点とし、CCD面のx軸方向をX軸、
y軸方向をY軸、カメラ光軸方向をZ軸とするワールド
座標系において、第2の光源(第2の発散照明23)位
置をF2とすると、第1の光源(第1の発散照明22)
とカメラの光軸を一致させた共軸系では、カメラの焦点
位置F1とCCD面上の角膜反射像Bを結ぶ直線は角膜
球中心Oは1直線上にある。また、第2の光源による角
膜反射像Cは、その角膜表面での正反射点Pと点F1と
を結ぶ直線上にあり、CCD面上の瞳孔中心位置Aは点
F1と瞳孔中心Qを結ぶ直線上にある。
焦点位置F1を原点とし、CCD面のx軸方向をX軸、
y軸方向をY軸、カメラ光軸方向をZ軸とするワールド
座標系において、第2の光源(第2の発散照明23)位
置をF2とすると、第1の光源(第1の発散照明22)
とカメラの光軸を一致させた共軸系では、カメラの焦点
位置F1とCCD面上の角膜反射像Bを結ぶ直線は角膜
球中心Oは1直線上にある。また、第2の光源による角
膜反射像Cは、その角膜表面での正反射点Pと点F1と
を結ぶ直線上にあり、CCD面上の瞳孔中心位置Aは点
F1と瞳孔中心Qを結ぶ直線上にある。
【0062】ここで、人間の角膜球の半径は約7.8m
mであるから、角膜球中心Oは点Pを中心とする半径
7.8mmの球面と直線F1−Bの交点に求められる。
そして、角膜球中心と瞳孔中心の距離は約4.2mmで
あるので、角膜球中心Oを中心とする半径4.2mmの
球面と直線F1−Aの交点に求められる。こうして得ら
れる角膜球中心Oから瞳孔中心Qへのベクトルが視線方
向となる。ステップ251は、発明における視線方向算
出手段を構成する。
mであるから、角膜球中心Oは点Pを中心とする半径
7.8mmの球面と直線F1−Bの交点に求められる。
そして、角膜球中心と瞳孔中心の距離は約4.2mmで
あるので、角膜球中心Oを中心とする半径4.2mmの
球面と直線F1−Aの交点に求められる。こうして得ら
れる角膜球中心Oから瞳孔中心Qへのベクトルが視線方
向となる。ステップ251は、発明における視線方向算
出手段を構成する。
【0063】以上の視線方向の計測を繰り返し、ステッ
プ252において、視線方向の所定領域における停留時
間を、停留判断部39において判断する。停留時間は上
記視線方向計測処理の繰り返し回数として求めることが
できる。ステップ253において、視線方向が視線スイ
ッチエリア38の例えばエアコン領域に一定時間(例え
ば0.3秒相当の視線方向計測繰り返しの間)停留して
いることが認識されると、車両運転者Dがエアコンスイ
ッチを見ていると判断し、ステップ254へと進む。
プ252において、視線方向の所定領域における停留時
間を、停留判断部39において判断する。停留時間は上
記視線方向計測処理の繰り返し回数として求めることが
できる。ステップ253において、視線方向が視線スイ
ッチエリア38の例えばエアコン領域に一定時間(例え
ば0.3秒相当の視線方向計測繰り返しの間)停留して
いることが認識されると、車両運転者Dがエアコンスイ
ッチを見ていると判断し、ステップ254へと進む。
【0064】ステップ254では、コントローラ切り替
え部40により、制御対象がエアコンコントローラ52
に切り替えられ、HUD表示部46に現在のエアコン設
定温度が表示される。HUD表示部にエアコン表示がな
されると、ステアリングスイッチ47のアップ・ダウン
ボタンがエアコン設定温度の上下を行なうように機能す
るようになる。運転者Dは、ステアリングスイッチ47
のアップ・ダウンボタンを操作して、HUD表示を見な
がら、所定の設定温度にセットする。エアコンコントロ
ーラ52は、このセットした情報にしたがって所定の温
度制御を実行する。なお、この対象物制御のステップに
入ると、視線方向計測の動作が停止される。
え部40により、制御対象がエアコンコントローラ52
に切り替えられ、HUD表示部46に現在のエアコン設
定温度が表示される。HUD表示部にエアコン表示がな
されると、ステアリングスイッチ47のアップ・ダウン
ボタンがエアコン設定温度の上下を行なうように機能す
るようになる。運転者Dは、ステアリングスイッチ47
のアップ・ダウンボタンを操作して、HUD表示を見な
がら、所定の設定温度にセットする。エアコンコントロ
ーラ52は、このセットした情報にしたがって所定の温
度制御を実行する。なお、この対象物制御のステップに
入ると、視線方向計測の動作が停止される。
【0065】また、コントローラ切り替え部40は、一
定時間(例えば5秒間)、ステアリングスイッチ47が
操作されないと、操作が終了したものと判断して、一連
の処理を終了する。またステップ253において、視線
方向が所定領域に停留していると認識されない場合は、
再びステップ202に戻り、視線方向の計測を繰り返
す。
定時間(例えば5秒間)、ステアリングスイッチ47が
操作されないと、操作が終了したものと判断して、一連
の処理を終了する。またステップ253において、視線
方向が所定領域に停留していると認識されない場合は、
再びステップ202に戻り、視線方向の計測を繰り返
す。
【0066】本実施例は以上のように構成され、視線方
向計測のための要素である眼球の瞳孔中心位置を算出す
るにあたって、顔面照度演算部を備えて、顔面照度の高
低に応じて第1瞳孔中心算出部または第2瞳孔中心算出
部のどちらかに切り替え接続する。そして顔面照度が低
い場合には、第1瞳孔中心算出部により明るい瞳孔を抽
出して瞳孔中心位置を算出し、顔面照度が高い場合に
は、第2瞳孔中心算出部により暗い瞳孔を抽出して瞳孔
中心位置を算出するものとした。これにより、運転中の
顔面照度の変化に広いダイナミックレンジで対応でき、
精度よく瞳孔中心を求められるので、信頼性高くかつ迅
速に運転者の視線方向が計測される。
向計測のための要素である眼球の瞳孔中心位置を算出す
るにあたって、顔面照度演算部を備えて、顔面照度の高
低に応じて第1瞳孔中心算出部または第2瞳孔中心算出
部のどちらかに切り替え接続する。そして顔面照度が低
い場合には、第1瞳孔中心算出部により明るい瞳孔を抽
出して瞳孔中心位置を算出し、顔面照度が高い場合に
は、第2瞳孔中心算出部により暗い瞳孔を抽出して瞳孔
中心位置を算出するものとした。これにより、運転中の
顔面照度の変化に広いダイナミックレンジで対応でき、
精度よく瞳孔中心を求められるので、信頼性高くかつ迅
速に運転者の視線方向が計測される。
【0067】次に、図16は本発明の第2の実施例の構
成を示す図である。これは、環境照度を用いて瞳孔中心
算出の切り替えを行なうようにしたもので、図4に示し
た第1の実施例における顔面照度演算部30のかわり
に、に示すように、Sとして処理選択部60を設け、
これに、照度判断装置Hとして環境照度を測定して出力
する照度センサ61が接続されている。照度センサ61
は、車室内計器盤上あるいは室外のフロントウインドウ
ワイパ付近に設置され、車室外の環境照度IK を測定す
る。処理選択部60では、照度センサ61の出力IK と
基準値IGとの比較結果により、第1瞳孔中心算出部3
1または第2瞳孔中心算出部41のどちらかに切り替え
接続する。
成を示す図である。これは、環境照度を用いて瞳孔中心
算出の切り替えを行なうようにしたもので、図4に示し
た第1の実施例における顔面照度演算部30のかわり
に、に示すように、Sとして処理選択部60を設け、
これに、照度判断装置Hとして環境照度を測定して出力
する照度センサ61が接続されている。照度センサ61
は、車室内計器盤上あるいは室外のフロントウインドウ
ワイパ付近に設置され、車室外の環境照度IK を測定す
る。処理選択部60では、照度センサ61の出力IK と
基準値IGとの比較結果により、第1瞳孔中心算出部3
1または第2瞳孔中心算出部41のどちらかに切り替え
接続する。
【0068】すなわち、IK <IGの場合には、第1瞳
孔中心算出部31が処理選択部60に接続され、明るい
瞳孔を用いて瞳孔中心候補を算出する。またIK >IG
の場合には、第2瞳孔中心算出部41が処理選択部60
に接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。その他の構成は第1の実施例と同じであり、制御動
作においても、第1の実施例における図6〜図11に示
したフローチャートのステップ206、207における
顔面照度の算出、比較が、照度センサ61による車室外
環境照度IK の測定、およびその比較にかわるほかは同
一であるから、図示および説明は省略する。
孔中心算出部31が処理選択部60に接続され、明るい
瞳孔を用いて瞳孔中心候補を算出する。またIK >IG
の場合には、第2瞳孔中心算出部41が処理選択部60
に接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。その他の構成は第1の実施例と同じであり、制御動
作においても、第1の実施例における図6〜図11に示
したフローチャートのステップ206、207における
顔面照度の算出、比較が、照度センサ61による車室外
環境照度IK の測定、およびその比較にかわるほかは同
一であるから、図示および説明は省略する。
【0069】なお、環境照度により前照灯を自動的に点
灯させるライト自動点灯装置を備える車両では、その環
境照度のセンサを、本実施例の環境照度測定部61の照
度センサとして共用することができ、新たなセンサを付
加する必要がないので安価な構成で実現することができ
る。また、エアコンの制御に日射量センサを装備してい
る車両では、日射量と環境照度はほぼ比例すると考える
ことができるから、その日射量センサを本実施例の照度
センサ61として代用することができる。これによって
も新たなセンサを付加する必要がなく、安価な構成で実
現することができる。
灯させるライト自動点灯装置を備える車両では、その環
境照度のセンサを、本実施例の環境照度測定部61の照
度センサとして共用することができ、新たなセンサを付
加する必要がないので安価な構成で実現することができ
る。また、エアコンの制御に日射量センサを装備してい
る車両では、日射量と環境照度はほぼ比例すると考える
ことができるから、その日射量センサを本実施例の照度
センサ61として代用することができる。これによって
も新たなセンサを付加する必要がなく、安価な構成で実
現することができる。
【0070】以上のように、環境照度と顔面照度はおお
よそ比例関係にあるため、顔面照度Iは環境照度IK で
置き換えることができる。したがって顔面照度でなくて
も、環境照度を測定できるセンサを用いて処理を切り替
えることができ、また他の車両制御装置のセンサを共用
することができるというメリットがある。
よそ比例関係にあるため、顔面照度Iは環境照度IK で
置き換えることができる。したがって顔面照度でなくて
も、環境照度を測定できるセンサを用いて処理を切り替
えることができ、また他の車両制御装置のセンサを共用
することができるというメリットがある。
【0071】次に、第3の実施例について説明する。こ
れは、環境照度に加え、さらにサンバイザ操作状態を考
慮に入れて瞳孔中心算出の切り替えを行なうようにする
ものである。図16のに示すように、Sとして処理選
択部60Aを設け、これに、照度判断装置Hとして環境
照度測定部62とサンバイザ操作検出部63が接続され
る。サンバイザ操作検出部63は、スイッチ操作により
格納位置と使用位置の間を昇降あるいは回動するように
構成された電動サンバイザのスイッチ信号を検出して、
操作信号を出力する。
れは、環境照度に加え、さらにサンバイザ操作状態を考
慮に入れて瞳孔中心算出の切り替えを行なうようにする
ものである。図16のに示すように、Sとして処理選
択部60Aを設け、これに、照度判断装置Hとして環境
照度測定部62とサンバイザ操作検出部63が接続され
る。サンバイザ操作検出部63は、スイッチ操作により
格納位置と使用位置の間を昇降あるいは回動するように
構成された電動サンバイザのスイッチ信号を検出して、
操作信号を出力する。
【0072】環境照度測定部62は、前実施例における
と同じく照度センサを用いて車室外環境照度IK を測定
したうえ、さらに、その測定した照度が1000Lux
未満のときは照度状態レベルIKS=0、照度10000
Lux以上であればIKS=1に置き換えて出力する。サ
ンバイザ操作検出部63は、サンバイザの操作状態を示
す信号として、サンバイザが使用位置へ操作されていれ
ば照度状態レベルIKS=1、格納位置にあればIKS=0
を出力する。
と同じく照度センサを用いて車室外環境照度IK を測定
したうえ、さらに、その測定した照度が1000Lux
未満のときは照度状態レベルIKS=0、照度10000
Lux以上であればIKS=1に置き換えて出力する。サ
ンバイザ操作検出部63は、サンバイザの操作状態を示
す信号として、サンバイザが使用位置へ操作されていれ
ば照度状態レベルIKS=1、格納位置にあればIKS=0
を出力する。
【0073】処理選択部60Aは、環境照度1000L
ux未満または10000Lux以上で環境照度測定部
62から照度状態レベルIKS信号を受けている間はこれ
らを用い、環境照度1000Lux以上10000Lu
x未満のときには、サンバイザ操作検出部63からのI
KS信号を選択する。すなわち、通常、環境照度が高く直
射日光が運転者顔面に差し込んでいる場合は運転者の顔
面照度も高い状態にあるが、サンバイザを操作して日光
の直射を遮ると環境照度は高くても顔面照度が低下し、
その変化が大きいので、この変動に対応付けしようとす
るものである。
ux未満または10000Lux以上で環境照度測定部
62から照度状態レベルIKS信号を受けている間はこれ
らを用い、環境照度1000Lux以上10000Lu
x未満のときには、サンバイザ操作検出部63からのI
KS信号を選択する。すなわち、通常、環境照度が高く直
射日光が運転者顔面に差し込んでいる場合は運転者の顔
面照度も高い状態にあるが、サンバイザを操作して日光
の直射を遮ると環境照度は高くても顔面照度が低下し、
その変化が大きいので、この変動に対応付けしようとす
るものである。
【0074】そして、これら照度状態レベルIKSと基準
値IBとの比較結果により、第1瞳孔中心算出部31ま
たは第2瞳孔中心算出部41のどちらかに切り替え接続
する。すなわち、例えばIB=0.5に予め定められた
基準値と比較して、IKS<IBのときには第1瞳孔中心
算出部31が処理選択部60Aに接続され、明るい瞳孔
を用いて瞳孔中心候補を算出する。またIKS>IBの場
合には、第2瞳孔中心算出部41が処理選択部60Aに
接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。その他の構成は、第1の実施例と同じである。
値IBとの比較結果により、第1瞳孔中心算出部31ま
たは第2瞳孔中心算出部41のどちらかに切り替え接続
する。すなわち、例えばIB=0.5に予め定められた
基準値と比較して、IKS<IBのときには第1瞳孔中心
算出部31が処理選択部60Aに接続され、明るい瞳孔
を用いて瞳孔中心候補を算出する。またIKS>IBの場
合には、第2瞳孔中心算出部41が処理選択部60Aに
接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。その他の構成は、第1の実施例と同じである。
【0075】図17は、この実施例における制御動作の
フローの一部を示し、第1の実施例における図6〜図1
1のフローのステップ206、207のかわりに、ステ
ップ1101〜1110が実行される。すなわち、ステ
ップ205の画像データ取り込みの後、ステップ110
1において、環境照度測定部62により環境照度IK の
測定が行なわれる。ステップ1102では、引き続き環
境照度測定部62において、まず環境照度IK が100
0Lux未満であるかどうかがチェックされる。環境照
度IK が1000Lux未満であれば、ステップ110
3においてIKS=0が設定されて、ステップ1110に
進む。
フローの一部を示し、第1の実施例における図6〜図1
1のフローのステップ206、207のかわりに、ステ
ップ1101〜1110が実行される。すなわち、ステ
ップ205の画像データ取り込みの後、ステップ110
1において、環境照度測定部62により環境照度IK の
測定が行なわれる。ステップ1102では、引き続き環
境照度測定部62において、まず環境照度IK が100
0Lux未満であるかどうかがチェックされる。環境照
度IK が1000Lux未満であれば、ステップ110
3においてIKS=0が設定されて、ステップ1110に
進む。
【0076】環境照度IK が1000Lux以上のとき
には、ステップ1104に進んで、IK が10000L
uxより大きいかどうかがチェックされる。環境照度I
K が10000Luxより大きければ、ステップ110
5でIKS=1が設定されて、ステップ1110に進む。
環境照度IK が10000Lux以下のときには、ステ
ップ1106に進んで、サンバイザ操作検出部63でサ
ンバイザ信号が読み込まれ、ステップ1107で、サン
バイザが使用位置へ操作されているかどうかがチェック
される。
には、ステップ1104に進んで、IK が10000L
uxより大きいかどうかがチェックされる。環境照度I
K が10000Luxより大きければ、ステップ110
5でIKS=1が設定されて、ステップ1110に進む。
環境照度IK が10000Lux以下のときには、ステ
ップ1106に進んで、サンバイザ操作検出部63でサ
ンバイザ信号が読み込まれ、ステップ1107で、サン
バイザが使用位置へ操作されているかどうかがチェック
される。
【0077】そしてサンバイザが使用位置にあれば、ス
テップ1108でIKS=1が設定され、使用されていな
いときには、ステップ1109でIKS=0が設定され
て、ステップ1110に進む。ステップ1110では、
IKSが基準値IBと比較され、IBより小さければステ
ップ208に進み、大きければステップ231に進む。
その他のステップは図6〜図11に示されたものと同じ
である。この実施例では、ステップ1101〜1110
が発明の処理切り替え手段を構成している。
テップ1108でIKS=1が設定され、使用されていな
いときには、ステップ1109でIKS=0が設定され
て、ステップ1110に進む。ステップ1110では、
IKSが基準値IBと比較され、IBより小さければステ
ップ208に進み、大きければステップ231に進む。
その他のステップは図6〜図11に示されたものと同じ
である。この実施例では、ステップ1101〜1110
が発明の処理切り替え手段を構成している。
【0078】本実施例によれば、処理選択部60Aが環
境照度測定部62とサンバイザ操作検出部63からの信
号を受けて、環境照度に加えてさらにサンバイザ操作状
態も考慮して切り替え判断をするので、眼球付近の顔面
照度と瞳孔中心の算出法との適正な対応関係が確保され
るという効果がある。
境照度測定部62とサンバイザ操作検出部63からの信
号を受けて、環境照度に加えてさらにサンバイザ操作状
態も考慮して切り替え判断をするので、眼球付近の顔面
照度と瞳孔中心の算出法との適正な対応関係が確保され
るという効果がある。
【0079】つぎに、第4の実施例について説明する。
これは、ライトの操作状態に基づいて瞳孔中心算出の切
り替えを行なうようにするもので、図16のに示すよ
うに、Sとして処理選択部60Aを設け、これに、これ
に、照度判断装置Hとしてライト操作信号検出部64を
接続するものである。ライト操作信号検出部64では、
車両のライトスイッチの操作状態を検出し、照度状態レ
ベルIL として、ライトが点灯されていればIL =0、
点灯されていなければIL =1を出力する。ライトスイ
ッチとしては、薄暮に近い状態で点灯されるスモールラ
イトやフォグランプのスイッチについてその操作状態が
検出される。
これは、ライトの操作状態に基づいて瞳孔中心算出の切
り替えを行なうようにするもので、図16のに示すよ
うに、Sとして処理選択部60Aを設け、これに、これ
に、照度判断装置Hとしてライト操作信号検出部64を
接続するものである。ライト操作信号検出部64では、
車両のライトスイッチの操作状態を検出し、照度状態レ
ベルIL として、ライトが点灯されていればIL =0、
点灯されていなければIL =1を出力する。ライトスイ
ッチとしては、薄暮に近い状態で点灯されるスモールラ
イトやフォグランプのスイッチについてその操作状態が
検出される。
【0080】処理選択部60Aでは、ライト操作信号検
出部64の出力に応じて、第1瞳孔中心算出部31また
は第2瞳孔中心算出部41のどちらかに切り替え接続す
る。すなわち、ライト操作信号検出部64の出力である
照度状態レベルIL を、例えばIB=0.5に予め定め
られた基準値と比較して、IL <IBのときには第1瞳
孔中心算出部31が処理選択部60Aに接続され、明る
い瞳孔を用いて瞳孔中心候補を算出する。またIL >I
Bの場合には、第2瞳孔中心算出部41が処理選択部6
0Aに接続され、暗い瞳孔を利用して瞳孔中心候補を算
出する。
出部64の出力に応じて、第1瞳孔中心算出部31また
は第2瞳孔中心算出部41のどちらかに切り替え接続す
る。すなわち、ライト操作信号検出部64の出力である
照度状態レベルIL を、例えばIB=0.5に予め定め
られた基準値と比較して、IL <IBのときには第1瞳
孔中心算出部31が処理選択部60Aに接続され、明る
い瞳孔を用いて瞳孔中心候補を算出する。またIL >I
Bの場合には、第2瞳孔中心算出部41が処理選択部6
0Aに接続され、暗い瞳孔を利用して瞳孔中心候補を算
出する。
【0081】その他の構成は第1の実施例と同じであ
り、制御動作においても、図6〜図11に示したフロー
チャートのステップ206、207における顔面照度の
算出、比較が、ライト操作信号検出部64による操作信
号に基づく照度状態レベルILの出力、およびその比較
にかわるほかは同一であるから、図示および説明は省略
する。顔面照度の変化はライトが点灯される薄暮に近い
状態を境に切り替わるから、ライトスイッチの操作信号
で対応付けられる。したがって、車両に常設のライトス
イッチから操作信号を受けることによって、第2の実施
例と同様に、新たに高価なセンサを付加しないで安価な
構成で実現することができる。
り、制御動作においても、図6〜図11に示したフロー
チャートのステップ206、207における顔面照度の
算出、比較が、ライト操作信号検出部64による操作信
号に基づく照度状態レベルILの出力、およびその比較
にかわるほかは同一であるから、図示および説明は省略
する。顔面照度の変化はライトが点灯される薄暮に近い
状態を境に切り替わるから、ライトスイッチの操作信号
で対応付けられる。したがって、車両に常設のライトス
イッチから操作信号を受けることによって、第2の実施
例と同様に、新たに高価なセンサを付加しないで安価な
構成で実現することができる。
【0082】次に第5の実施例について説明する。これ
は、時刻情報に基づいて瞳孔中心算出の切り替えを行な
うようにするもので、図16のに示すように、Sとし
て処理選択部60Aを設け、これに、照度判断装置Hと
して時間帯情報算出部65が接続される。時間帯情報算
出部65は、予め設定した時刻、例えば午前7時と午後
4時を境界として、現在時刻が午後4時〜午前7時の時
間帯にある間は照度状態レベルIT =0、午前7時〜午
後4時の時間帯にある間はIT =1を出力する。
は、時刻情報に基づいて瞳孔中心算出の切り替えを行な
うようにするもので、図16のに示すように、Sとし
て処理選択部60Aを設け、これに、照度判断装置Hと
して時間帯情報算出部65が接続される。時間帯情報算
出部65は、予め設定した時刻、例えば午前7時と午後
4時を境界として、現在時刻が午後4時〜午前7時の時
間帯にある間は照度状態レベルIT =0、午前7時〜午
後4時の時間帯にある間はIT =1を出力する。
【0083】処理選択部60Aでは、時間帯情報算出部
65の出力である照度状態レベルIT をもとに、例えば
IB=0.5に予め定められた基準値と比較する。そし
て、IT <IBのときには第1瞳孔中心算出部31が処
理選択部60Aに接続され、明るい瞳孔を用いて瞳孔中
心候補を算出する。またIT >IBの場合には、第2瞳
孔中心算出部41が処理選択部60Aに接続され、暗い
瞳孔を利用して瞳孔中心候補を算出する。上記の時刻
は、第1、第2瞳孔中心算出部を切り替える環境照度を
2000Luxとすると、一般に太陽直射下でこの環境
照度になるのが、季節等により変動するが、午前であれ
ば朝の7時頃、午後であれば夕方の4時頃にあたること
による。
65の出力である照度状態レベルIT をもとに、例えば
IB=0.5に予め定められた基準値と比較する。そし
て、IT <IBのときには第1瞳孔中心算出部31が処
理選択部60Aに接続され、明るい瞳孔を用いて瞳孔中
心候補を算出する。またIT >IBの場合には、第2瞳
孔中心算出部41が処理選択部60Aに接続され、暗い
瞳孔を利用して瞳孔中心候補を算出する。上記の時刻
は、第1、第2瞳孔中心算出部を切り替える環境照度を
2000Luxとすると、一般に太陽直射下でこの環境
照度になるのが、季節等により変動するが、午前であれ
ば朝の7時頃、午後であれば夕方の4時頃にあたること
による。
【0084】その他の構成は第1の実施例と同じであ
り、制御動作においても、図6〜図11に示したフロー
チャートのステップ206、207における顔面照度の
算出、比較が、時間帯情報算出部65による照度状態レ
ベルIT の算出、およびその比較にかわるほかは同一で
あるから、図示および説明は省略する。この実施例によ
っても、顔面照度の変化が時間帯情報で対応付けられ、
高価なセンサを付加しないで安価な構成で、瞳孔中心の
算出法を適正に切り替え、精度よく瞳孔中心を求められ
る。
り、制御動作においても、図6〜図11に示したフロー
チャートのステップ206、207における顔面照度の
算出、比較が、時間帯情報算出部65による照度状態レ
ベルIT の算出、およびその比較にかわるほかは同一で
あるから、図示および説明は省略する。この実施例によ
っても、顔面照度の変化が時間帯情報で対応付けられ、
高価なセンサを付加しないで安価な構成で、瞳孔中心の
算出法を適正に切り替え、精度よく瞳孔中心を求められ
る。
【0085】次に図18は本発明の第6の実施例を示
す。これは、時間帯情報に加え、さらに太陽との向きを
考慮に入れて瞳孔中心算出の切り替えを行なうようにす
るものである。図4に示した第1の実施例における顔面
照度演算部30のかわりに、処理選択部60Aを設け、
これに、に示すように、H2、H3、H1として時刻
算出部67および方角算出部68の出力に基づき照度状
態を判断する照度判断部66からなる照度判断装置Hが
接続されている。時刻算出部67は現在時刻を出力し、
方角算出部68は車両の進行する方角を算出して出力す
る。
す。これは、時間帯情報に加え、さらに太陽との向きを
考慮に入れて瞳孔中心算出の切り替えを行なうようにす
るものである。図4に示した第1の実施例における顔面
照度演算部30のかわりに、処理選択部60Aを設け、
これに、に示すように、H2、H3、H1として時刻
算出部67および方角算出部68の出力に基づき照度状
態を判断する照度判断部66からなる照度判断装置Hが
接続されている。時刻算出部67は現在時刻を出力し、
方角算出部68は車両の進行する方角を算出して出力す
る。
【0086】照度判断部66は、時刻算出部67と方角
算出部68の出力をもとに、例えば、算出された方角が
東であるときには、予め設定した時刻、例えば午前6時
30分と午後3時30分を境界にして、午後3時30分
〜午前6時30分の間は照度状態レベルIH =0、午前
6時30分〜午後3時30分の間はIH =1を出力す
る。同様に、算出された方角が西であるときには、予め
設定した時刻、午前7時30分と午後4時30分を境界
にして、午後4時30分〜午前7時30分の間はIH =
0、午前7時30分〜午後4時30分の間はIH =1を
出力する。ここで、上記の時刻は、顔面照度800Lu
xを瞳孔中心算出の切り替え点とする場合である。
算出部68の出力をもとに、例えば、算出された方角が
東であるときには、予め設定した時刻、例えば午前6時
30分と午後3時30分を境界にして、午後3時30分
〜午前6時30分の間は照度状態レベルIH =0、午前
6時30分〜午後3時30分の間はIH =1を出力す
る。同様に、算出された方角が西であるときには、予め
設定した時刻、午前7時30分と午後4時30分を境界
にして、午後4時30分〜午前7時30分の間はIH =
0、午前7時30分〜午後4時30分の間はIH =1を
出力する。ここで、上記の時刻は、顔面照度800Lu
xを瞳孔中心算出の切り替え点とする場合である。
【0087】処理選択部60Aでは、予め定められた基
準値IB=0.5と比較を行なう。そして、IH <IB
のときには第1瞳孔中心算出部31が処理選択部60A
に接続され、明るい瞳孔を用いて瞳孔中心候補を算出す
る。またIH >IBの場合には、第2瞳孔中心算出部4
1が処理選択部60Aに接続され、暗い瞳孔を利用して
瞳孔中心候補を算出する。その他の構成は第1の実施例
と同じである。
準値IB=0.5と比較を行なう。そして、IH <IB
のときには第1瞳孔中心算出部31が処理選択部60A
に接続され、明るい瞳孔を用いて瞳孔中心候補を算出す
る。またIH >IBの場合には、第2瞳孔中心算出部4
1が処理選択部60Aに接続され、暗い瞳孔を利用して
瞳孔中心候補を算出する。その他の構成は第1の実施例
と同じである。
【0088】図19は、この実施例における制御動作の
フローの一部を示し、第1の実施例における図6〜図1
1のフローのステップ206、207のかわりに、ステ
ップ1201〜1204が実行される。すなわち、ステ
ップ205の画像データ取り込みの後、ステップ120
1において、方角算出部68により車両の進行する方向
を算出する。そして、ステップ1202では、時刻算出
部67において、現在時刻が求められる。このあと、ス
テップ1203において、照度判断部66で、現在時刻
と車両の進行方角に基づいて、上述のように顔面に対す
る照度状態レベル信号としてIHを算出する。
フローの一部を示し、第1の実施例における図6〜図1
1のフローのステップ206、207のかわりに、ステ
ップ1201〜1204が実行される。すなわち、ステ
ップ205の画像データ取り込みの後、ステップ120
1において、方角算出部68により車両の進行する方向
を算出する。そして、ステップ1202では、時刻算出
部67において、現在時刻が求められる。このあと、ス
テップ1203において、照度判断部66で、現在時刻
と車両の進行方角に基づいて、上述のように顔面に対す
る照度状態レベル信号としてIHを算出する。
【0089】ステップ1204では、IH が基準値IB
と比較され、IH <IBのときにはステップ208へ進
み、IH >IBの場合には、ステップ231へ進む。そ
の他のステップは図6〜図11に示されたものと同じで
ある。この実施例では、ステップ1201〜1204が
発明の処理切り替え手段を構成している。
と比較され、IH <IBのときにはステップ208へ進
み、IH >IBの場合には、ステップ231へ進む。そ
の他のステップは図6〜図11に示されたものと同じで
ある。この実施例では、ステップ1201〜1204が
発明の処理切り替え手段を構成している。
【0090】太陽の角度が低い場合には、車両が太陽を
前にして走行している場合と、太陽を背に走行している
場合では、顔面に照射する光量が異なる。本実施例によ
れば、時刻情報に加え、さらに太陽との向きを考慮に入
れて瞳孔中心算出の切り替えを行なうから、より一層精
度よく瞳孔中心を求めることができる。
前にして走行している場合と、太陽を背に走行している
場合では、顔面に照射する光量が異なる。本実施例によ
れば、時刻情報に加え、さらに太陽との向きを考慮に入
れて瞳孔中心算出の切り替えを行なうから、より一層精
度よく瞳孔中心を求めることができる。
【0091】次に第7の実施例について説明する。これ
は時刻情報と太陽との向きに加え、さらに地域情報を考
慮に入れて瞳孔中心算出の切り替えを行なうようにする
ものである。図18のに示すように、前実施例と同じ
く処理選択部60Aを設け、これに、H2、H3、H
4、H1として時刻算出部67、方角算出部68および
緯度算出部69の出力に基づき照度状態を判断する照度
判断部66Aからなる照度判断装置Hが接続されてい
る。
は時刻情報と太陽との向きに加え、さらに地域情報を考
慮に入れて瞳孔中心算出の切り替えを行なうようにする
ものである。図18のに示すように、前実施例と同じ
く処理選択部60Aを設け、これに、H2、H3、H
4、H1として時刻算出部67、方角算出部68および
緯度算出部69の出力に基づき照度状態を判断する照度
判断部66Aからなる照度判断装置Hが接続されてい
る。
【0092】緯度算出部69では、自車の存在する緯度
を算出する。そして、顔面に対する太陽の直射光の有無
を含めて所定の顔面照度になる時刻を、上記緯度におけ
る日の出の時間をもとに、午前で東に向いているとき、
西に向いているとき、また日没の時間をもとに、午後で
東に向いているとき、西に向いているときの各別にα、
β、γ、δとして推定する。上記所定の顔面照度として
は、前実施例と同様に、例えば800Luxに設定され
る。
を算出する。そして、顔面に対する太陽の直射光の有無
を含めて所定の顔面照度になる時刻を、上記緯度におけ
る日の出の時間をもとに、午前で東に向いているとき、
西に向いているとき、また日没の時間をもとに、午後で
東に向いているとき、西に向いているときの各別にα、
β、γ、δとして推定する。上記所定の顔面照度として
は、前実施例と同様に、例えば800Luxに設定され
る。
【0093】照度判断部66Aは、時刻算出部67、方
角算出部68および緯度算出部69の出力をもとに、現
在時刻と車両の進行方角と上記のα、β、γ、δの各時
刻から顔面に対する環境照度状態を出力する。例えば、
車両の進行方角が東であるときには、上記時刻α、β、
γ、δを境界として、午後γ時〜午前α時の間は照度状
態レベルIHC=0、午前α時〜午後γ時の間はIHC=1
を出力する。同様に、進行方角が西であるときには、午
後δ時〜午前β時の間はIHC=0、午前β時〜午後δ時
の間はIHC=1を出力する。
角算出部68および緯度算出部69の出力をもとに、現
在時刻と車両の進行方角と上記のα、β、γ、δの各時
刻から顔面に対する環境照度状態を出力する。例えば、
車両の進行方角が東であるときには、上記時刻α、β、
γ、δを境界として、午後γ時〜午前α時の間は照度状
態レベルIHC=0、午前α時〜午後γ時の間はIHC=1
を出力する。同様に、進行方角が西であるときには、午
後δ時〜午前β時の間はIHC=0、午前β時〜午後δ時
の間はIHC=1を出力する。
【0094】処理選択部60Aでは、予め定められた基
準値IB=0.5と比較を行なう。そして、IHC<IB
のときには第1瞳孔中心算出部31が処理選択部60A
に接続され、明るい瞳孔を用いて瞳孔中心候補を算出す
る。またIHC>IBの場合には、第2瞳孔中心算出部4
1が処理選択部60Aに接続され、暗い瞳孔を利用して
瞳孔中心候補を算出する。その他の構成は第1の実施例
と同じである。
準値IB=0.5と比較を行なう。そして、IHC<IB
のときには第1瞳孔中心算出部31が処理選択部60A
に接続され、明るい瞳孔を用いて瞳孔中心候補を算出す
る。またIHC>IBの場合には、第2瞳孔中心算出部4
1が処理選択部60Aに接続され、暗い瞳孔を利用して
瞳孔中心候補を算出する。その他の構成は第1の実施例
と同じである。
【0095】図20は、この実施例における制御動作の
フローの一部を示し、第1の実施例における図6〜図1
1のフローのステップ206、207のかわりに、ステ
ップ1301〜1306が実行される。すなわち、ステ
ップ205の画像データ取り込みの後、ステップ130
1で、緯度算出部69において、自車の存在する緯度を
算出する。そして、ステップ1302において、当該緯
度における日の出の時刻と日没の時刻から、α、β、
γ、δの各時刻を推定する。ステップ1303および1
304は前実施例における図19のステップ1201、
1202と同じで、車両の進行方角と現在時刻が求めら
れる。
フローの一部を示し、第1の実施例における図6〜図1
1のフローのステップ206、207のかわりに、ステ
ップ1301〜1306が実行される。すなわち、ステ
ップ205の画像データ取り込みの後、ステップ130
1で、緯度算出部69において、自車の存在する緯度を
算出する。そして、ステップ1302において、当該緯
度における日の出の時刻と日没の時刻から、α、β、
γ、δの各時刻を推定する。ステップ1303および1
304は前実施例における図19のステップ1201、
1202と同じで、車両の進行方角と現在時刻が求めら
れる。
【0096】このあと、ステップ1305では、照度判
断部66Aにおいて、現在時刻と車両の進行方角と上記
のα、β、γ、δの各時刻から、上述のように、顔面に
対する照度状態レベル信号として、IHCを算出する。ス
テップ1306では、IHCが基準値IBと比較され、I
HC<IBのときにはステップ208へ進み、IHC>IB
の場合には、ステップ231へ進む。その他のステップ
は図6〜図11に示されたものと同じである。この実施
例では、ステップ1301〜1306が発明の処理切り
替え手段を構成している。
断部66Aにおいて、現在時刻と車両の進行方角と上記
のα、β、γ、δの各時刻から、上述のように、顔面に
対する照度状態レベル信号として、IHCを算出する。ス
テップ1306では、IHCが基準値IBと比較され、I
HC<IBのときにはステップ208へ進み、IHC>IB
の場合には、ステップ231へ進む。その他のステップ
は図6〜図11に示されたものと同じである。この実施
例では、ステップ1301〜1306が発明の処理切り
替え手段を構成している。
【0097】本実施例は以上のように構成され、時間と
方角に加え、緯度を考慮して瞳孔中心算出の切り替えを
行なうから、車両の現在地における太陽光の直射の有無
を含めてとくに精度よく顔面照度の状態を推定でき、よ
り正確に瞳孔中心算出の切り替えができる。例えば北海
道と九州では、日の出時刻と日没時刻の間で2時間程度
の差が存在するが、緯度算出部により車両現在地での日
の出、日没の時刻が正確に求められ、照度状態の把握に
有効に生かされる。
方角に加え、緯度を考慮して瞳孔中心算出の切り替えを
行なうから、車両の現在地における太陽光の直射の有無
を含めてとくに精度よく顔面照度の状態を推定でき、よ
り正確に瞳孔中心算出の切り替えができる。例えば北海
道と九州では、日の出時刻と日没時刻の間で2時間程度
の差が存在するが、緯度算出部により車両現在地での日
の出、日没の時刻が正確に求められ、照度状態の把握に
有効に生かされる。
【0098】そして、近時普及しつつあるナビゲーショ
ン機能を持つ車両では、自車の存在する地域を知ること
ができるため、緯度算出のための追加装置も簡単で安価
に構成される。なお上述の第5〜第7の実施例において
は、時刻情報算出部H5、H7にさらにカレンダ機能を
もたせることにより、日付や季節による日の出や日没の
時刻の違いに応じて一層精度よく瞳孔中心算出の切り替
えができる。なお、上述の第2〜第7の各実施例におい
て、その照度判断装置Hが、それぞれ発明の照度判断手
段を構成している。
ン機能を持つ車両では、自車の存在する地域を知ること
ができるため、緯度算出のための追加装置も簡単で安価
に構成される。なお上述の第5〜第7の実施例において
は、時刻情報算出部H5、H7にさらにカレンダ機能を
もたせることにより、日付や季節による日の出や日没の
時刻の違いに応じて一層精度よく瞳孔中心算出の切り替
えができる。なお、上述の第2〜第7の各実施例におい
て、その照度判断装置Hが、それぞれ発明の照度判断手
段を構成している。
【0099】つぎに本発明の第8の実施例について説明
する。これは、第1の実施例に対して、個人差に対応し
た顔面照度の基準値設定を行なうようにしたものであ
る。運転者が車両に乗り込むのは、必ずしも顔面照度が
低い場合とは限らず、日中のすでに顔面照度が高いとき
に乗り込む場合もある。このような場合、予め設定した
固定の基準値I0を用いて処理を進めると、暗い瞳孔を
利用しての処理に入る。その後、環境照度が低くなって
くると、個人差によりI>I0であっても暗い瞳孔が抽
出できない場合や、また瞳孔の反射率が低い運転者では
I<I0となり暗い瞳孔の抽出処理から明るい瞳孔の抽
出処理に切り替っても明るい瞳孔を抽出できない場合が
発生することがある。
する。これは、第1の実施例に対して、個人差に対応し
た顔面照度の基準値設定を行なうようにしたものであ
る。運転者が車両に乗り込むのは、必ずしも顔面照度が
低い場合とは限らず、日中のすでに顔面照度が高いとき
に乗り込む場合もある。このような場合、予め設定した
固定の基準値I0を用いて処理を進めると、暗い瞳孔を
利用しての処理に入る。その後、環境照度が低くなって
くると、個人差によりI>I0であっても暗い瞳孔が抽
出できない場合や、また瞳孔の反射率が低い運転者では
I<I0となり暗い瞳孔の抽出処理から明るい瞳孔の抽
出処理に切り替っても明るい瞳孔を抽出できない場合が
発生することがある。
【0100】また、車両に乗り込んだ際の顔面照度Iが
低く、I<I0の場合には明るい瞳孔を利用しての処理
で計測が開始されるが、環境照度が高くなってくると、
個人差によりI<I0であっても明るい瞳孔が抽出でき
ない場合や、瞳孔の反射率が高い運転者ではI>I0と
なって明るい瞳孔の抽出処理から暗い瞳孔の抽出処理に
切り替っても暗い瞳孔では抽出できない場合が発生し得
る。そこで、この実施例では、所定回数の観測の間瞳孔
領域が抽出できない状態となったとき、新たな基準値設
定を行なう。
低く、I<I0の場合には明るい瞳孔を利用しての処理
で計測が開始されるが、環境照度が高くなってくると、
個人差によりI<I0であっても明るい瞳孔が抽出でき
ない場合や、瞳孔の反射率が高い運転者ではI>I0と
なって明るい瞳孔の抽出処理から暗い瞳孔の抽出処理に
切り替っても暗い瞳孔では抽出できない場合が発生し得
る。そこで、この実施例では、所定回数の観測の間瞳孔
領域が抽出できない状態となったとき、新たな基準値設
定を行なう。
【0101】この実施例は、図21に示すように、図4
に示した第1の実施例における照明発光制御部25に、
第1、第2の発散照明22、23に加えて、同じく運転
者顔面を照射する補助照明70が接続される。また、第
1瞳孔中心算出部31と全体制御部26の間に基準値設
定部72が設けられ、同じく第1、第2瞳孔中心算出部
31、41と全体制御部26の間に処理回数算出部74
が設けられているものである。補助照明70は、図22
に示すように、第1の発散照明22から離間して、第2
の発散照明23の近傍に位置して設置されている。その
他の構成は第1の実施例と同じである。
に示した第1の実施例における照明発光制御部25に、
第1、第2の発散照明22、23に加えて、同じく運転
者顔面を照射する補助照明70が接続される。また、第
1瞳孔中心算出部31と全体制御部26の間に基準値設
定部72が設けられ、同じく第1、第2瞳孔中心算出部
31、41と全体制御部26の間に処理回数算出部74
が設けられているものである。補助照明70は、図22
に示すように、第1の発散照明22から離間して、第2
の発散照明23の近傍に位置して設置されている。その
他の構成は第1の実施例と同じである。
【0102】新たな基準値の設定にあたっては、補助照
明70をその光量を変化させながら点灯させ、瞳孔中心
算出の基礎としての網膜反射像の識別抽出の可否をチェ
ックして基準値を求める。処理回数算出部74は、明る
い瞳孔の抽出処理すなわち第1瞳孔中心算出部31への
処理と、暗い瞳孔の抽出処理すなわち第2瞳孔中心算出
部41への処理のいずれかにおいて、連続して網膜反射
像候補が抽出されなかった回数をカウントする。網膜反
射像候補が抽出されずに複数回、例えば100回程度の
処理を繰り返し、カウント値が所定数に達した場合に
は、基準値I0の設定が適切でない可能性があるため、
全体制御部26は処理回数算出部74の出力を受けて、
新たな基準値設定の予備計測を開始させる。
明70をその光量を変化させながら点灯させ、瞳孔中心
算出の基礎としての網膜反射像の識別抽出の可否をチェ
ックして基準値を求める。処理回数算出部74は、明る
い瞳孔の抽出処理すなわち第1瞳孔中心算出部31への
処理と、暗い瞳孔の抽出処理すなわち第2瞳孔中心算出
部41への処理のいずれかにおいて、連続して網膜反射
像候補が抽出されなかった回数をカウントする。網膜反
射像候補が抽出されずに複数回、例えば100回程度の
処理を繰り返し、カウント値が所定数に達した場合に
は、基準値I0の設定が適切でない可能性があるため、
全体制御部26は処理回数算出部74の出力を受けて、
新たな基準値設定の予備計測を開始させる。
【0103】この動作の流れを、図23〜図30のフロ
ーチャートをもとに説明する。まず、第1の実施例にお
ける図6〜図11のフローのステップ201の前に、ス
テップ1401が設けられ、ここで、処理回数算出部7
4のカウント値を0にリセットしたあと、通常の計測処
理が開始される。ステップ201から216までは第1
の実施例と同じである。第1瞳孔中心算出部31の処理
におけるステップ217のチェックで、ラベリングされ
た領域のすべてがm×n領域内に入らない結果となった
ときには、ステップ1402に進んで、処理回数算出部
74のカウント値をインクリメントする。そして、ステ
ップ1403でカウント数を確認した後ステップ202
に戻る。ステップ218から236までも第1の実施例
と同じである。
ーチャートをもとに説明する。まず、第1の実施例にお
ける図6〜図11のフローのステップ201の前に、ス
テップ1401が設けられ、ここで、処理回数算出部7
4のカウント値を0にリセットしたあと、通常の計測処
理が開始される。ステップ201から216までは第1
の実施例と同じである。第1瞳孔中心算出部31の処理
におけるステップ217のチェックで、ラベリングされ
た領域のすべてがm×n領域内に入らない結果となった
ときには、ステップ1402に進んで、処理回数算出部
74のカウント値をインクリメントする。そして、ステ
ップ1403でカウント数を確認した後ステップ202
に戻る。ステップ218から236までも第1の実施例
と同じである。
【0104】第2瞳孔中心算出部41の処理におけるス
テップ237のチェックで、ラベリングされた領域のす
べてがt×u領域内に入らない結果となったときにも、
ステップ1402に進んで、処理回数算出部のカウント
値をインクリメントする。そして、ステップ1403で
カウント数を確認した後ステップ202に戻る。第1瞳
孔中心算出部31または第2瞳孔中心算出部41での網
膜反射像候補の抽出処理が繰り返され、ステップ140
3でのチェックで処理回数算出部74のカウント値が1
00を越えると、ステップ1501以降の基準値設定の
予備計測に移る。
テップ237のチェックで、ラベリングされた領域のす
べてがt×u領域内に入らない結果となったときにも、
ステップ1402に進んで、処理回数算出部のカウント
値をインクリメントする。そして、ステップ1403で
カウント数を確認した後ステップ202に戻る。第1瞳
孔中心算出部31または第2瞳孔中心算出部41での網
膜反射像候補の抽出処理が繰り返され、ステップ140
3でのチェックで処理回数算出部74のカウント値が1
00を越えると、ステップ1501以降の基準値設定の
予備計測に移る。
【0105】ステップ1501では、全体制御部26か
ら予備計測開始信号が出力されるとともに、変数nが初
期値0にリセットされる。予備計測開始信号に基づき、
ステップ1502で照明発光制御部25が補助照明70
を光量Lnで点灯させるとともに、ステップ1503で
第1の発散照明22および第2の発散照明23を点灯さ
せ、車両運転者Dの顔面が照明される。なお、第1、第
2の発散照明22、23の光量は実際の計測時に発光さ
せる光量と等しくしておく。そして、ステップ1504
において、この照明された顔面領域の画像がカメラ24
によって取り込まれ、画像情報がA/D変換器27によ
りA/D変換されて、ディジタルの画像データJn1
(x,y)として、画像メモリ28に格納される。
ら予備計測開始信号が出力されるとともに、変数nが初
期値0にリセットされる。予備計測開始信号に基づき、
ステップ1502で照明発光制御部25が補助照明70
を光量Lnで点灯させるとともに、ステップ1503で
第1の発散照明22および第2の発散照明23を点灯さ
せ、車両運転者Dの顔面が照明される。なお、第1、第
2の発散照明22、23の光量は実際の計測時に発光さ
せる光量と等しくしておく。そして、ステップ1504
において、この照明された顔面領域の画像がカメラ24
によって取り込まれ、画像情報がA/D変換器27によ
りA/D変換されて、ディジタルの画像データJn1
(x,y)として、画像メモリ28に格納される。
【0106】引き続きステップ1505において、照明
発光制御部25からのトリガ信号によって、第2の発散
照明23のみが点灯され、車両運転者Dの顔面が照明さ
れる。なおこのときの第2の発散照明23の点灯光量
は、実際の計測時に発光させる光量と等しくしておく。
すなわちここでは、ステップ1503において点灯した
ときの約2倍とする。ステップ1506でこの第2の発
散照明23で照明された顔面領域の画像がカメラ24に
よって取り込まれ、上述と同様に画像情報がA/D変換
器27によりA/D変換されて、ディジタルの画像デー
タJn2(x,y)として、画像メモリ28に格納され
る。
発光制御部25からのトリガ信号によって、第2の発散
照明23のみが点灯され、車両運転者Dの顔面が照明さ
れる。なおこのときの第2の発散照明23の点灯光量
は、実際の計測時に発光させる光量と等しくしておく。
すなわちここでは、ステップ1503において点灯した
ときの約2倍とする。ステップ1506でこの第2の発
散照明23で照明された顔面領域の画像がカメラ24に
よって取り込まれ、上述と同様に画像情報がA/D変換
器27によりA/D変換されて、ディジタルの画像デー
タJn2(x,y)として、画像メモリ28に格納され
る。
【0107】次のステップ1507では、顔面照度演算
部30において、下式により差分の画像データJn3
(x,y)が求められる。 Jn3(x,y)=Jn1(x,y)−Jn2(x,
y) そして、ステップ1508で、Jn3(x,y)を、予
め定めておいてしきい値Th4(Th4>0)で2値化
して、画像データI5を得る。このあと、ステップ15
09のラベリングからステップ1512は、ステップ2
12〜215と同様の処理を行なう。
部30において、下式により差分の画像データJn3
(x,y)が求められる。 Jn3(x,y)=Jn1(x,y)−Jn2(x,
y) そして、ステップ1508で、Jn3(x,y)を、予
め定めておいてしきい値Th4(Th4>0)で2値化
して、画像データI5を得る。このあと、ステップ15
09のラベリングからステップ1512は、ステップ2
12〜215と同様の処理を行なう。
【0108】続いてステップ1513では、ステップ1
509でラベリングした全領域について演算処理が終わ
ったかどうかをチェックする。演算処理が終わっていな
ければステップ1514で対象領域の面積を0としなが
らステップ1511以降を繰り返し、演算処理が終わる
と、ステップ1515に進む。ステップ1515では、
基準値設定部72において、このときの顔面照度Iを用
いて、基準値を I0=I とする。
509でラベリングした全領域について演算処理が終わ
ったかどうかをチェックする。演算処理が終わっていな
ければステップ1514で対象領域の面積を0としなが
らステップ1511以降を繰り返し、演算処理が終わる
と、ステップ1515に進む。ステップ1515では、
基準値設定部72において、このときの顔面照度Iを用
いて、基準値を I0=I とする。
【0109】なお、ステップ1512のチェックで、外
接四角形がm×n内に入る領域が存在した場合には、ス
テップ1516でn=n+1として、ステップ1502
に戻り、所定量だけ高くした光量(Ln+1>Ln)で
次回の補助照明70の点灯を行なう。このようにして、
補助照明70の光量を低輝度から高輝度まで順次変化さ
せながら、明るい瞳孔と暗い瞳孔の反転により、ステッ
プ1512でのチェックで、ラベリングされたいずれの
領域もその外接四角形がm×n内に入らず、網膜反射像
候補が抽出できなくなったときの顔面照度Iにより、個
人差に対応した基準値I0が求められる。
接四角形がm×n内に入る領域が存在した場合には、ス
テップ1516でn=n+1として、ステップ1502
に戻り、所定量だけ高くした光量(Ln+1>Ln)で
次回の補助照明70の点灯を行なう。このようにして、
補助照明70の光量を低輝度から高輝度まで順次変化さ
せながら、明るい瞳孔と暗い瞳孔の反転により、ステッ
プ1512でのチェックで、ラベリングされたいずれの
領域もその外接四角形がm×n内に入らず、網膜反射像
候補が抽出できなくなったときの顔面照度Iにより、個
人差に対応した基準値I0が求められる。
【0110】このようにして基準値I0を求めた後は、
ステップ1404で処理回数算出部74のカウント値を
リセットして、あらためてステップ202に始まる視線
方向算出のメインフローに戻る。そして、上記の新たな
基準値I0がステップ207において顔面照度演算部3
0による顔面照度Iの比較基準値として用いられる。ス
テップ1401〜1404が発明の処理回数算出手段を
構成し、ステップ1501〜1516が基準値設定手段
を構成している。
ステップ1404で処理回数算出部74のカウント値を
リセットして、あらためてステップ202に始まる視線
方向算出のメインフローに戻る。そして、上記の新たな
基準値I0がステップ207において顔面照度演算部3
0による顔面照度Iの比較基準値として用いられる。ス
テップ1401〜1404が発明の処理回数算出手段を
構成し、ステップ1501〜1516が基準値設定手段
を構成している。
【0111】なお、補助照明70の光源としては、以下
の点を考慮してその分光スペクトルが選定される。すな
わち、車両のウインドシールドのガラスが全てのスペク
トルを透過するものであるときは、運転者の顔面部に注
がれる光も太陽光のスペクトルに近いものとなる。一
方、車両のガラスが特定の透過スペクトルを有している
ときには、太陽光が車両のガラスを透過した際のスペク
トルに近いものとなる。したがって、運転中に外部から
運転者顔面に照射されるスペクトルに近い分光スペクト
ルをもった光源で運転者顔面を照明すれば、より正確に
基準値設定が行なえる。そこで、運転中の運転者顔面へ
の照射が主として太陽光である場合には、ウインドシー
ルドガラスを透過した太陽のスペクトルに近い分光スペ
クトルを持たせればよい。なお、太陽のスペクトルは、
地球上の場所や時間帯により少しずつ異なるが、この分
光スペクトルは厳密に同じであることを要しない。
の点を考慮してその分光スペクトルが選定される。すな
わち、車両のウインドシールドのガラスが全てのスペク
トルを透過するものであるときは、運転者の顔面部に注
がれる光も太陽光のスペクトルに近いものとなる。一
方、車両のガラスが特定の透過スペクトルを有している
ときには、太陽光が車両のガラスを透過した際のスペク
トルに近いものとなる。したがって、運転中に外部から
運転者顔面に照射されるスペクトルに近い分光スペクト
ルをもった光源で運転者顔面を照明すれば、より正確に
基準値設定が行なえる。そこで、運転中の運転者顔面へ
の照射が主として太陽光である場合には、ウインドシー
ルドガラスを透過した太陽のスペクトルに近い分光スペ
クトルを持たせればよい。なお、太陽のスペクトルは、
地球上の場所や時間帯により少しずつ異なるが、この分
光スペクトルは厳密に同じであることを要しない。
【0112】一方、外部環境からの光が入射しても、第
1、第2の発散照明の波長域のみに感度を持って、各発
散照明の反射光を効率良く観測するため、カメラの分光
感度が、第1、第2の発散照明の光源の発光波長域に限
定されたものであるときや、例えばレンズ前面に帯域通
過フィルタを備えてCCD撮像素子面に上記発光波長域
のみが到達するような構造を持つものであるときは、補
助照明には第1および第2の発散照明の発光波長と可視
域の発光波長とを有する光源を用いるのがよい。
1、第2の発散照明の波長域のみに感度を持って、各発
散照明の反射光を効率良く観測するため、カメラの分光
感度が、第1、第2の発散照明の光源の発光波長域に限
定されたものであるときや、例えばレンズ前面に帯域通
過フィルタを備えてCCD撮像素子面に上記発光波長域
のみが到達するような構造を持つものであるときは、補
助照明には第1および第2の発散照明の発光波長と可視
域の発光波長とを有する光源を用いるのがよい。
【0113】第1、第2の発散照明の波長域をもたせる
ことにより、網膜反射像の輝度との関係で、虹彩の反射
率が実際の照明にそくしたものとなって、正確な基準値
I0の決定が容易となる。また、可視光領域の発光波長
を持たせることにより、縮瞳により網膜反射像そのもの
が暗くなる現象も再現することができる。とくに、補助
光源のスペクトルに可視光領域を含むときには、その光
量の変化は低輝度から高輝度方向へと行なうのが、高輝
度から低輝度への場合と比較して、運転者が感じる眩し
さが軽減され、負担も少なくなるので好ましい。さら
に、人間の視覚は暗順応よりも明順応の方が早いため、
瞳孔径の時間的変化も早く、測定時間も短くなるメリッ
トがある。
ことにより、網膜反射像の輝度との関係で、虹彩の反射
率が実際の照明にそくしたものとなって、正確な基準値
I0の決定が容易となる。また、可視光領域の発光波長
を持たせることにより、縮瞳により網膜反射像そのもの
が暗くなる現象も再現することができる。とくに、補助
光源のスペクトルに可視光領域を含むときには、その光
量の変化は低輝度から高輝度方向へと行なうのが、高輝
度から低輝度への場合と比較して、運転者が感じる眩し
さが軽減され、負担も少なくなるので好ましい。さら
に、人間の視覚は暗順応よりも明順応の方が早いため、
瞳孔径の時間的変化も早く、測定時間も短くなるメリッ
トがある。
【0114】補助光源としては、例えば、ハロゲンラン
プや白熱球等が、電圧で制御して光量を可変できるか
ら、比較的安価に、しかも簡単な構成で実現できる。な
お、補助光源に可視光領域を含む場合、基準値設定のた
めの予備計測処理は例えば5km/h以下などの低車速
時がよく、とくに運転者に対しては停止時に限定して動
作させるのが好ましい。
プや白熱球等が、電圧で制御して光量を可変できるか
ら、比較的安価に、しかも簡単な構成で実現できる。な
お、補助光源に可視光領域を含む場合、基準値設定のた
めの予備計測処理は例えば5km/h以下などの低車速
時がよく、とくに運転者に対しては停止時に限定して動
作させるのが好ましい。
【0115】本実施例は以上のように構成され、基準値
I0の設定が運転者によって適切でない場合、これを自
動的に判断する。そして、補助照明の光量を変化させな
がら網膜反射像の識別抽出の可否をチェックすることに
より基準値を求め、この基準値に基づいて瞳孔中心算出
の切り替えを行なうものとしたので、個人差に対応した
適確な顔面照度で算出処理が切り替えられ、高精度で迅
速に視線方向計測が行なわれる。また、新たな基準値I
0が決定できた段階で予備計測が終了し、視線方向計測
に移るから、処理時間も短く、運転者にかかる負担も少
ない。
I0の設定が運転者によって適切でない場合、これを自
動的に判断する。そして、補助照明の光量を変化させな
がら網膜反射像の識別抽出の可否をチェックすることに
より基準値を求め、この基準値に基づいて瞳孔中心算出
の切り替えを行なうものとしたので、個人差に対応した
適確な顔面照度で算出処理が切り替えられ、高精度で迅
速に視線方向計測が行なわれる。また、新たな基準値I
0が決定できた段階で予備計測が終了し、視線方向計測
に移るから、処理時間も短く、運転者にかかる負担も少
ない。
【0116】なお、実施例では、基準値が不適な場合、
網膜反射像の抽出の段階で瞳孔中心算出ができないもの
との判断を行ない、第1または第2瞳孔中心算出部から
処理回数算出部74へ判断出力を行なっているが、瞳孔
中心の算出ができなければその後の角膜反射像の抽出も
できないから、瞳孔中心算出の可否判断出力は、第1、
第2反射像確認部34、44までの画像データ処理の適
宜の部位から処理回数算出部74へ送出することができ
る。
網膜反射像の抽出の段階で瞳孔中心算出ができないもの
との判断を行ない、第1または第2瞳孔中心算出部から
処理回数算出部74へ判断出力を行なっているが、瞳孔
中心の算出ができなければその後の角膜反射像の抽出も
できないから、瞳孔中心算出の可否判断出力は、第1、
第2反射像確認部34、44までの画像データ処理の適
宜の部位から処理回数算出部74へ送出することができ
る。
【0117】なおまた、環境照度が高く、眼球付近の顔
面照度が非常に高い一方で、第1、第2の発散照明の光
量が十分に大きくないような動作環境では、基準値設定
時に暗い瞳孔しか抽出できず、外部から補助照明を照射
しても、暗い瞳孔から明るい瞳孔へと反転する基準値と
なる顔面照度が求められない場合がある。このようなと
きには、眼球付近に透過率が連続的あるいは複数階段に
透過率可変の透過材を設置し、眼球付近の照度を制御す
ることにより、外部の照明環境に影響を受けないで基準
値設定処理を行なうことができる。この場合の透過材と
しては、電圧の印加等によってアクティブに透過率を制
御できるエレクトロミックガラスや液晶などが好適であ
る。
面照度が非常に高い一方で、第1、第2の発散照明の光
量が十分に大きくないような動作環境では、基準値設定
時に暗い瞳孔しか抽出できず、外部から補助照明を照射
しても、暗い瞳孔から明るい瞳孔へと反転する基準値と
なる顔面照度が求められない場合がある。このようなと
きには、眼球付近に透過率が連続的あるいは複数階段に
透過率可変の透過材を設置し、眼球付近の照度を制御す
ることにより、外部の照明環境に影響を受けないで基準
値設定処理を行なうことができる。この場合の透過材と
しては、電圧の印加等によってアクティブに透過率を制
御できるエレクトロミックガラスや液晶などが好適であ
る。
【0118】なお、上記第8の実施例では、視線方向計
測の間に連続して網膜反射像候補が抽出できない状態が
継続したときに新たな基準値設定処理に移行するが、こ
のほか、ステップ201の計測開始の前にステップ15
01〜1516で示される新たな基準値設定のための予
備計測処理を実行するようにしてもよい。これによれ
ば、ステップ1401〜1404が省かれ、処理回数算
出部74が不要となるので、全体構成が簡単になる。
測の間に連続して網膜反射像候補が抽出できない状態が
継続したときに新たな基準値設定処理に移行するが、こ
のほか、ステップ201の計測開始の前にステップ15
01〜1516で示される新たな基準値設定のための予
備計測処理を実行するようにしてもよい。これによれ
ば、ステップ1401〜1404が省かれ、処理回数算
出部74が不要となるので、全体構成が簡単になる。
【0119】つぎに、図31は第9の実施例の全体構成
を示す図である。これは、基準値を用いないで明るい瞳
孔の抽出処理と暗い瞳孔の抽出処理を選択するようにし
たものである。第1の実施例の構成に対して、顔面照度
演算部30のかわりに処理選択部60Bが画像メモリ2
8と第1、第2瞳孔中心算出部31、41の間に設けら
れている。処理選択部60Bは、第1瞳孔中心算出部3
1と第2瞳孔中心算出部41の処理結果に応じて、各々
との接続を切り替える。その他の構成は図4の第1の実
施例と同じである。
を示す図である。これは、基準値を用いないで明るい瞳
孔の抽出処理と暗い瞳孔の抽出処理を選択するようにし
たものである。第1の実施例の構成に対して、顔面照度
演算部30のかわりに処理選択部60Bが画像メモリ2
8と第1、第2瞳孔中心算出部31、41の間に設けら
れている。処理選択部60Bは、第1瞳孔中心算出部3
1と第2瞳孔中心算出部41の処理結果に応じて、各々
との接続を切り替える。その他の構成は図4の第1の実
施例と同じである。
【0120】図32〜図37は、この実施例における動
作の流れを示すフローチャートである。まず、第1の実
施例における図6〜図11のステップ201のつぎにス
テップ1601が設けられ、ここで、処理選択部60B
内でフラグをクリアする。フラグは第1のフラグ(fl
ag1)と第2のフラグ(flag2)の2つを設定す
る。第1のフラグは、0のとき明るい瞳孔を抽出する処
理を示し、1のとき暗い瞳孔を抽出する処理を示す。第
2のフラグは、始めに明るい瞳孔を抽出する処理、ある
いは暗い瞳孔を抽出する処理のどちらかを行うと1とな
り、次に他方を行うと2となる。ステップ202から2
05までは第1の実施例と同じである。
作の流れを示すフローチャートである。まず、第1の実
施例における図6〜図11のステップ201のつぎにス
テップ1601が設けられ、ここで、処理選択部60B
内でフラグをクリアする。フラグは第1のフラグ(fl
ag1)と第2のフラグ(flag2)の2つを設定す
る。第1のフラグは、0のとき明るい瞳孔を抽出する処
理を示し、1のとき暗い瞳孔を抽出する処理を示す。第
2のフラグは、始めに明るい瞳孔を抽出する処理、ある
いは暗い瞳孔を抽出する処理のどちらかを行うと1とな
り、次に他方を行うと2となる。ステップ202から2
05までは第1の実施例と同じである。
【0121】ステップ205のあと、ステップ206、
207のかわりに、ステップ1602、1603でフラ
グ状態がチェックされる。ステップ1602では、第2
のフラグにより、明るい瞳孔を抽出する処理と暗い瞳孔
を抽出する処理の両方の処理が行なわれたかどうかをチ
ェックする。ここで、第2のフラグが2でなければ、ま
だいずれか一方の処理しか行なわれていないことを示し
ている。
207のかわりに、ステップ1602、1603でフラ
グ状態がチェックされる。ステップ1602では、第2
のフラグにより、明るい瞳孔を抽出する処理と暗い瞳孔
を抽出する処理の両方の処理が行なわれたかどうかをチ
ェックする。ここで、第2のフラグが2でなければ、ま
だいずれか一方の処理しか行なわれていないことを示し
ている。
【0122】第2のフラグが2でなければ、ステップ1
603に進んで、第1のフラグのチェックにより、処理
の選択を行う。ここで、第1のフラグが0であるとき
は、計測開始直後であるか、前回視線方向を計測した際
に、明るい瞳孔を抽出する処理で成功した可能性が高い
ため、今回も第1瞳孔中心算出部31を選択し、ステッ
プ208へ進んで、明るい瞳孔を抽出する処理とする。
逆に第1のフラグが1であるときは、前回視線方向を計
測した際に、暗い瞳孔を抽出する処理で成功した可能性
が高いため、第2瞳孔中心算出部41を選択し、ステッ
プ231に進んで、今回も暗い瞳孔を抽出する処理とす
る。
603に進んで、第1のフラグのチェックにより、処理
の選択を行う。ここで、第1のフラグが0であるとき
は、計測開始直後であるか、前回視線方向を計測した際
に、明るい瞳孔を抽出する処理で成功した可能性が高い
ため、今回も第1瞳孔中心算出部31を選択し、ステッ
プ208へ進んで、明るい瞳孔を抽出する処理とする。
逆に第1のフラグが1であるときは、前回視線方向を計
測した際に、暗い瞳孔を抽出する処理で成功した可能性
が高いため、第2瞳孔中心算出部41を選択し、ステッ
プ231に進んで、今回も暗い瞳孔を抽出する処理とす
る。
【0123】ステップ1602のチェックで第2のフラ
グが2になっているときには、ステップ1604で第2
のフラグをクリアして、ステップ202に戻り、次回の
撮像に移る。ステップ208〜217の明るい瞳孔を抽
出する処理、ステップ231〜237の暗い瞳孔を抽出
する処理は、第1の実施例におけると同じである。
グが2になっているときには、ステップ1604で第2
のフラグをクリアして、ステップ202に戻り、次回の
撮像に移る。ステップ208〜217の明るい瞳孔を抽
出する処理、ステップ231〜237の暗い瞳孔を抽出
する処理は、第1の実施例におけると同じである。
【0124】ステップ217でのチェックで、ラベリン
グされたいずれの領域もその外接四角形がm×n内に入
らず、網膜反射像候補が抽出できない結果となったとき
は、ステップ1605で第1のフラグを1に変更し、ま
た、第2のフラグをインクリメントする。これにより、
明るい瞳孔を抽出する処理による眼球の瞳孔中心位置算
出が失敗し、次回は暗い瞳孔を抽出する処理を行うべき
こと、および、すでに明るい瞳孔を抽出する処理を試み
た履歴が残る。このあとは、ステップ202に戻る。
グされたいずれの領域もその外接四角形がm×n内に入
らず、網膜反射像候補が抽出できない結果となったとき
は、ステップ1605で第1のフラグを1に変更し、ま
た、第2のフラグをインクリメントする。これにより、
明るい瞳孔を抽出する処理による眼球の瞳孔中心位置算
出が失敗し、次回は暗い瞳孔を抽出する処理を行うべき
こと、および、すでに明るい瞳孔を抽出する処理を試み
た履歴が残る。このあとは、ステップ202に戻る。
【0125】また、ステップ237でのチェックで、ラ
ベリングされたいずれの領域もその外接四角形がt×u
内に入らず、網膜反射像候補が抽出できない結果となっ
たときは、ステップ1606で第1のフラグを0に変更
し、また、第2のフラグをインクリメントする。これに
より、暗い瞳孔を抽出する処理による眼球の瞳孔中心位
置算出が失敗し、次回は明るい瞳孔を抽出する処理を行
うべきこと、および、すでに暗い瞳孔を抽出する処理を
試みた履歴が残る。このあとは、ステップ202に戻
る。
ベリングされたいずれの領域もその外接四角形がt×u
内に入らず、網膜反射像候補が抽出できない結果となっ
たときは、ステップ1606で第1のフラグを0に変更
し、また、第2のフラグをインクリメントする。これに
より、暗い瞳孔を抽出する処理による眼球の瞳孔中心位
置算出が失敗し、次回は明るい瞳孔を抽出する処理を行
うべきこと、および、すでに暗い瞳孔を抽出する処理を
試みた履歴が残る。このあとは、ステップ202に戻
る。
【0126】ステップ218から225、またステップ
238から245、そしてステップ251、252まで
は第1の実施例と同じである。そして、ステップ253
の停留判断で、視線方向が所定領域に停留していると認
識されない場合は、ステップ1607で処理選択部60
B内の第2のフラグをクリアしてから、再びステップ2
02に戻り、新たな視線方向の計測に移る。この実施例
では、ステップ1601、1602、1603、160
4、1605、1606および1607が発明の処理切
り替え手段を構成している。
238から245、そしてステップ251、252まで
は第1の実施例と同じである。そして、ステップ253
の停留判断で、視線方向が所定領域に停留していると認
識されない場合は、ステップ1607で処理選択部60
B内の第2のフラグをクリアしてから、再びステップ2
02に戻り、新たな視線方向の計測に移る。この実施例
では、ステップ1601、1602、1603、160
4、1605、1606および1607が発明の処理切
り替え手段を構成している。
【0127】以上のように、本実施例によれば、処理選
択部60Bにおいて、始めに第1瞳孔中心算出部31を
選択して明るい瞳孔を抽出する処理を進めたにも関わら
ず、照度状態と個人差によって、第1瞳孔中心算出部で
網膜反射像候補を抽出できない場合には、次に第2瞳孔
中心算出部41を選択して暗い瞳孔を抽出する処理に切
り替える。 逆に、第2瞳孔中心算出部41を先に選択
して処理を進めたにも関わらず網膜反射像候補を抽出で
きない場合には、次に第1瞳孔中心算出部31に切り替
わる。このようにして、眼球の瞳孔中心位置を算出する
際に、明るい瞳孔を抽出する処理と暗い瞳孔を抽出する
処理のいずれか一方の処理により網膜反射像(瞳孔)が
求められないとき、他方の処理に切り替わることにより
眼球の瞳孔中心位置が確実に検出できる。
択部60Bにおいて、始めに第1瞳孔中心算出部31を
選択して明るい瞳孔を抽出する処理を進めたにも関わら
ず、照度状態と個人差によって、第1瞳孔中心算出部で
網膜反射像候補を抽出できない場合には、次に第2瞳孔
中心算出部41を選択して暗い瞳孔を抽出する処理に切
り替える。 逆に、第2瞳孔中心算出部41を先に選択
して処理を進めたにも関わらず網膜反射像候補を抽出で
きない場合には、次に第1瞳孔中心算出部31に切り替
わる。このようにして、眼球の瞳孔中心位置を算出する
際に、明るい瞳孔を抽出する処理と暗い瞳孔を抽出する
処理のいずれか一方の処理により網膜反射像(瞳孔)が
求められないとき、他方の処理に切り替わることにより
眼球の瞳孔中心位置が確実に検出できる。
【0128】また、前回の処理で抽出に成功した処理を
優先して選択するため、計算に要する負担が減少し、視
線の検出速度が向上する。さらに、この実施例によれ
ば、基準値の設定、顔面照度の測定、比較等が不要とな
る。
優先して選択するため、計算に要する負担が減少し、視
線の検出速度が向上する。さらに、この実施例によれ
ば、基準値の設定、顔面照度の測定、比較等が不要とな
る。
【0129】つぎに、図38は、第10の実施例の全体
構成を示す図である。これは、前実施例の構成にさらに
第3の発散照明を設け、暗い瞳孔を抽出する際のS/N
を向上させるようにしたものである。第3の発散照明8
0は、近赤外の発光波長を有し、第1の発散照明22の
近傍にカメラ24の光軸と非共軸に、運転者Dの顔面に
向けて設置される。
構成を示す図である。これは、前実施例の構成にさらに
第3の発散照明を設け、暗い瞳孔を抽出する際のS/N
を向上させるようにしたものである。第3の発散照明8
0は、近赤外の発光波長を有し、第1の発散照明22の
近傍にカメラ24の光軸と非共軸に、運転者Dの顔面に
向けて設置される。
【0130】この実施例においては、とくに図示しない
が、前実施例における図6〜図11のステップ204
で、第2の発散照明23のみの点灯のかわりに、第2の
発散照明23と第3の発散照明80が同時に点灯されて
運転者Dの顔面を照明する。そして、ステップ205で
はこの第2および第3の発散照明による画像データをI
2(x,y)として取り込む。また、ステップ231
で、画像データI1(x,y)を2値化するかわりに、
上記画像データI2(x,y)を2値化して、画像デー
タI4(x,y)とする。すなわち、しきい値Th3を
用いて、該しきい値以上を0、しきい値未満をFF(メ
モリが8ビットの場合)として2値化し、ノイズを除去
する。その他のステップは前実施例と同じである。
が、前実施例における図6〜図11のステップ204
で、第2の発散照明23のみの点灯のかわりに、第2の
発散照明23と第3の発散照明80が同時に点灯されて
運転者Dの顔面を照明する。そして、ステップ205で
はこの第2および第3の発散照明による画像データをI
2(x,y)として取り込む。また、ステップ231
で、画像データI1(x,y)を2値化するかわりに、
上記画像データI2(x,y)を2値化して、画像デー
タI4(x,y)とする。すなわち、しきい値Th3を
用いて、該しきい値以上を0、しきい値未満をFF(メ
モリが8ビットの場合)として2値化し、ノイズを除去
する。その他のステップは前実施例と同じである。
【0131】第1の発散照明22を点灯した場合には、
網膜から反射光が返ってくるため、瞳孔付近が若干明る
くなるので、角膜の反射像を抽出しようとする際のS/
Nの低下をもたらすおそれがある。 しかし本実施例で
は、上述のように、暗い瞳孔を抽出する処理において、
第1の発散照明22を除く第2の発散照明23と第3の
発散照明80による画像データI2を用いるので、網膜
からの反射光がなく、瞳孔付近が暗く、したがって角膜
反射像のS/Nが向上する。これにより、視線方向計測
の精度が向上する。
網膜から反射光が返ってくるため、瞳孔付近が若干明る
くなるので、角膜の反射像を抽出しようとする際のS/
Nの低下をもたらすおそれがある。 しかし本実施例で
は、上述のように、暗い瞳孔を抽出する処理において、
第1の発散照明22を除く第2の発散照明23と第3の
発散照明80による画像データI2を用いるので、網膜
からの反射光がなく、瞳孔付近が暗く、したがって角膜
反射像のS/Nが向上する。これにより、視線方向計測
の精度が向上する。
【0132】
【発明の効果】以上のとおり、本発明は、不可視光の第
1、第2の照明により第1の照明と共軸の撮像装置によ
り得た乗員の眼球部の画像デ−タを処理して、瞳孔中心
を算出するとともに角膜反射像を抽出して、これらの位
置に基づいてその視線方向を求める車両用視線方向計測
装置において、第1、第2の画像データ処理手段を設
け、これを処理切り替え手段により切り替えて、顔面の
照度が低いときは明るい瞳孔を利用してその瞳孔中心を
算出し、顔面の照度が高いときには暗い瞳孔を利用して
その瞳孔中心を求めるものとしたので、運転中の顔面照
度の変化に広いダイナミックレンジで対応でき、精度よ
く瞳孔中心を求められるので、信頼性高くかつ迅速に運
転者の視線方向が計測されるという効果を有する。
1、第2の照明により第1の照明と共軸の撮像装置によ
り得た乗員の眼球部の画像デ−タを処理して、瞳孔中心
を算出するとともに角膜反射像を抽出して、これらの位
置に基づいてその視線方向を求める車両用視線方向計測
装置において、第1、第2の画像データ処理手段を設
け、これを処理切り替え手段により切り替えて、顔面の
照度が低いときは明るい瞳孔を利用してその瞳孔中心を
算出し、顔面の照度が高いときには暗い瞳孔を利用して
その瞳孔中心を求めるものとしたので、運転中の顔面照
度の変化に広いダイナミックレンジで対応でき、精度よ
く瞳孔中心を求められるので、信頼性高くかつ迅速に運
転者の視線方向が計測されるという効果を有する。
【0133】上記の顔面の照度は、顔面照度それ自体を
検出してもよく、あるいは環境条件に基づいて推定され
る照度状態レベルを用いることもできる。環境条件とし
ては、照度センサで検出する環境照度、あるいはこれと
サンバイザの操作との組み合わせ、さらには車両のライ
トスイッチの操作状態等から顔面の照度状態レベルを推
定することができる。なお、照度センサとして車両のラ
イト自動点灯装置の環境照度センサやエアコンの日射量
センサを共用することにより構成を簡単なものとするこ
とができる。
検出してもよく、あるいは環境条件に基づいて推定され
る照度状態レベルを用いることもできる。環境条件とし
ては、照度センサで検出する環境照度、あるいはこれと
サンバイザの操作との組み合わせ、さらには車両のライ
トスイッチの操作状態等から顔面の照度状態レベルを推
定することができる。なお、照度センサとして車両のラ
イト自動点灯装置の環境照度センサやエアコンの日射量
センサを共用することにより構成を簡単なものとするこ
とができる。
【0134】環境条件としてはさらに、走行時の現在時
刻が属する時間帯でも顔面の照度状態レベルを推定で
き、また、これに進行方角による太陽との向きを組み合
わせ、、さらには時間帯を走行地域の緯度に応じた区分
とすることにより、一層精度が向上する。
刻が属する時間帯でも顔面の照度状態レベルを推定で
き、また、これに進行方角による太陽との向きを組み合
わせ、、さらには時間帯を走行地域の緯度に応じた区分
とすることにより、一層精度が向上する。
【0135】また、第1の画像データ処理手段または第
2の画像データ処理手段のいずれか一方における処理に
よって瞳孔中心が算出されないときに、他方の処理に切
り替えるように構成することにより、スタートした画像
データ処理手段が照度状態と個人差によって不適な場合
でも自動的に適切な方に切り替わる。そして、顔面照度
検出やその切り替えの基準値との比較が省かれるという
利点がある。
2の画像データ処理手段のいずれか一方における処理に
よって瞳孔中心が算出されないときに、他方の処理に切
り替えるように構成することにより、スタートした画像
データ処理手段が照度状態と個人差によって不適な場合
でも自動的に適切な方に切り替わる。そして、顔面照度
検出やその切り替えの基準値との比較が省かれるという
利点がある。
【0136】さらに、画像データ処理手段を顔面照度で
切り替える場合、補助照明の光量を順次変化させなが
ら、いずれかの画像データ処理手段において明るい瞳孔
と暗い瞳孔の反転による瞳孔中心算出の可否の境界を求
め、そのときの顔面照度を処理切り替えの基準値とする
基準値設定手段を設けることにより、個人差による処理
切り替えの基準値が簡単に修正決定でき、多数の乗員に
対応できる。この基準値設定手段は視線方向計測の前に
予備計測として作動させることができるほか、視線方向
計測の間に瞳孔中心を求めることができなくなったとき
に作動させることにより、視線方向計測が迅速化され
る。
切り替える場合、補助照明の光量を順次変化させなが
ら、いずれかの画像データ処理手段において明るい瞳孔
と暗い瞳孔の反転による瞳孔中心算出の可否の境界を求
め、そのときの顔面照度を処理切り替えの基準値とする
基準値設定手段を設けることにより、個人差による処理
切り替えの基準値が簡単に修正決定でき、多数の乗員に
対応できる。この基準値設定手段は視線方向計測の前に
予備計測として作動させることができるほか、視線方向
計測の間に瞳孔中心を求めることができなくなったとき
に作動させることにより、視線方向計測が迅速化され
る。
【0137】また、補助照明の発光波長領域に、第1、
第2の照明の発光波長と可視域の発光波長とを含むこと
により、虹彩の反射率が実際の照明にそくしたものとな
って、正確な基準値の決定が容易となる。そして、補助
照明を低輝度から高輝度へ光量変化させることにより、
眩しさが軽減され乗員の負担が少なくなるとともに、瞳
孔径の時間的変化も早いので、測定時間も短かくなる。
第2の照明の発光波長と可視域の発光波長とを含むこと
により、虹彩の反射率が実際の照明にそくしたものとな
って、正確な基準値の決定が容易となる。そして、補助
照明を低輝度から高輝度へ光量変化させることにより、
眩しさが軽減され乗員の負担が少なくなるとともに、瞳
孔径の時間的変化も早いので、測定時間も短かくなる。
【図1】本発明の構成を示すブロック図である。
【図2】本発明の他の構成を示すブロック図である。
【図3】本発明の他の構成を示すブロック図である。
【図4】本発明の第1の実施例の構成を示すブロック図
である。
である。
【図5】実施例装置のレイアウトを示す図である。
【図6】第1の実施例の制御動作を示すフローチャート
である。
である。
【図7】第1の実施例の制御動作を示すフローチャート
である。
である。
【図8】第1の実施例の制御動作を示すフローチャート
である。
である。
【図9】第1の実施例の制御動作を示すフローチャート
である。
である。
【図10】第1の実施例の制御動作を示すフローチャー
トである。
トである。
【図11】第1の実施例の制御動作を示すフローチャー
トである。
トである。
【図12】明るい瞳孔を利用した処理における共軸系角
膜反射像の探索領域を示す図である。
膜反射像の探索領域を示す図である。
【図13】非共軸系角膜反射像の探索領域を示す図であ
る。
る。
【図14】暗い瞳孔を利用した処理における共軸系角膜
反射像の探索領域を示す図である。
反射像の探索領域を示す図である。
【図15】視線方向算出の原理を示す説明図である。
【図16】本発明の第2の実施例の構成を示すブロック
図である。
図である。
【図17】本発明の第3の実施例の制御動作を示すフロ
ーチャートである。
ーチャートである。
【図18】本発明の第6の実施例の構成を示すブロック
図である。
図である。
【図19】第6の実施例の制御動作を示すフローチャー
トである。
トである。
【図20】本発明の第7の実施例の制御動作を示すフロ
ーチャートである。
ーチャートである。
【図21】本発明の第8の実施例の構成を示すブロック
図である。
図である。
【図22】第8の実施例のレイアウトを示す図である。
【図23】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図24】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図25】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図26】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図27】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図28】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図29】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図30】第8の実施例の制御動作を示すフローチャー
トである。
トである。
【図31】本発明の第9の実施例の構成を示すブロック
図である。
図である。
【図32】第9の実施例の制御動作を示すフローチャー
トである。
トである。
【図33】第9の実施例の制御動作を示すフローチャー
トである。
トである。
【図34】第9の実施例の制御動作を示すフローチャー
トである。
トである。
【図35】第9の実施例の制御動作を示すフローチャー
トである。
トである。
【図36】第9の実施例の制御動作を示すフローチャー
トである。
トである。
【図37】第9の実施例の制御動作を示すフローチャー
トである。
トである。
【図38】本発明の第10の実施例の構成を示すブロッ
ク図である。
ク図である。
【図39】顔面照度を変化させて観測した眼球部画像を
示す図である。
示す図である。
1 画像入力手段 2 第1の照明 3 第2の照明 4 撮像装置 5 画像データ処理手段 5a 第1の画像データ処理手段 5b 第2の画像データ処理手段 6 視線方向算出手段 7 処理切り替え手段 8 顔面照度検出手段 9 基準値設定手段 10 補助照明 11 処理回数算出手段 12 照度判断手段 22 第1の発散照明 23 第2の発散照明 24 カメラ 25 照明発光制御部 26 全体制御部 27 A/D変換器 28 画像メモリ 30 顔面照度演算部 31 第1瞳孔中心算出部 32 第1共軸系角膜反射像抽出部 33 第1非共軸系角膜反射像抽出部 34 第1反射像確認部 37 視線方向算出部 38 視線スイッチエリア 39 停留判断部 40 コントローラ切り替え部 41 第2瞳孔中心算出部 42 第2共軸系角膜反射像抽出部 43 第2非共軸系角膜反射像抽出部 44 第2反射像確認部 45 HUD表示制御部 46 HUD表示部 47 ステアリングスイッチ 48 メインスイッチ 50 フロントウィンドシールド 51 オーディオコントローラ 52 エアコンコントローラ 53 ラジオコントローラ 54 ASCDコントローラ 60B 処理選択部 70 補助照明 72 基準値設定部 74 処理回数算出部 80 第3の発散照明 D 運転者 S 処理選択部 H 照度判断装置 I 顔面照度 IK 環境照度 IKS、IH 、IHC 照度状態レベル I0、IB 基準値
Claims (18)
- 【請求項1】 空間的に互いに異なる位置に配置され、
乗員の顔面を不可視光により照射する第1の照明および
第2の照明と、前記第1の照明の光源と共軸に設けら
れ、前記乗員の眼球からの反射像を撮像する撮像装置を
備えて、第1の照明と第2の照明を用いた互いに異なる
第1、第2の照射毎の画像デ−タを得る画像入力手段
と、前記画像デ−タから瞳孔を抽出して瞳孔中心位置を
算出するとともに、角膜反射像位置を抽出する画像デー
タ処理手段と、前記瞳孔中心および角膜反射像の位置に
基づいて、乗員の視線方向を算出する視線方向算出手段
とを備える車両用視線方向計測装置において、処理切り
替え手段を有するとともに、前記画像データ処理手段
が、明るい瞳孔を対象として処理を実行する第1の画像
データ処理手段と、暗い瞳孔を対象として処理を実行す
る第2の画像データ処理手段とからなり、前記処理切り
替え手段は乗員の顔面照度を検出する顔面照度検出手段
を備え、該顔面照度が基準値より小さいとき、前記第1
の画像データ処理手段を選択し、顔面照度が基準値より
大きいとき、前記第2の画像データ処理手段を選択する
ように構成されていることを特徴とする車両用視線方向
計測装置。 - 【請求項2】 乗員の眼球部を照射する補助照明を備
え、該補助照明の光量を順次変化させながら、前記第1
または第2の画像データ処理手段において明るい瞳孔を
対象とした処理と暗い瞳孔を対象とした処理による瞳孔
中心算出の可否の境界を求め、そのときの顔面照度を処
理切り替え手段の前記基準値とする基準値設定手段を有
することを特徴とする請求項1記載の車両用視線方向計
測装置。 - 【請求項3】 前記画像データ処理手段が、前記第1ま
たは第2の画像データ処理手段のいずれかにおいて連続
して瞳孔中心が算出されなかった処理回数をカウントす
る処理回数算出手段を備え、カウント値が所定数に達し
たとき前記基準値設定手段を作動させることを特徴とす
る請求項2記載の車両用視線方向計測装置。 - 【請求項4】 前記補助照明の発光波長領域が、第1の
照明の発光波長、第2の照明の発光波長、ならびに可視
域の発光波長とを含むものであることを特徴とする請求
項2または3記載の車両用視線方向計測装置。 - 【請求項5】 前記補助照明の光量は、低輝度から高輝
度へと変化させるものであることを特徴とする請求項
2、3または4記載の車両用視線方向計測装置。 - 【請求項6】 前記処理切り替え手段は、前記撮像装置
で眼球領域を中心に拡大して撮影したときの画像データ
全画素の平均値を前記顔面照度として求めることを特徴
とする請求項1、2、3、4または5記載の車両用視線
方向計測装置。 - 【請求項7】 空間的に互いに異なる位置に配置され、
乗員の顔面を不可視光により照射する第1の照明および
第2の照明と、前記第1の照明の光源と共軸に設けら
れ、前記乗員の眼球からの反射像を撮像する撮像装置を
備えて、第1の照明と第2の照明を用いた互いに異なる
第1、第2の照射毎の画像デ−タを得る画像入力手段
と、前記画像デ−タから瞳孔を抽出して瞳孔中心位置を
算出するとともに、角膜反射像位置を抽出する画像デー
タ処理手段と、前記瞳孔中心および角膜反射像の位置に
基づいて、乗員の視線方向を算出する視線方向算出手段
とを備える車両用視線方向計測装置において、処理切り
替え手段を有するとともに、前記画像データ処理手段
が、明るい瞳孔を対象として処理を実行する第1の画像
データ処理手段と、暗い瞳孔を対象として処理を実行す
る第2の画像データ処理手段とからなり、前記処理切り
替え手段は、環境条件に基づいて乗員の顔面の照度状態
レベルを推定する照度判断手段を備え、該照度判断手段
の出力が基準値より小さいとき、前記第1の画像データ
処理手段を選択し、照度判断手段の出力が基準値より大
きいとき、前記第2の画像データ処理手段を選択するよ
うに構成されていることを特徴とする車両用視線方向計
測装置。 - 【請求項8】 前記照度判断手段が、環境照度を測定し
て出力する照度センサであることを特徴とする請求項7
記載の車両用視線方向計測装置。 - 【請求項9】 前記照度判断手段が、照度センサと車両
のサンバイザの操作検出部を有し、前記照度センサで測
定した環境照度と操作検出部で検出したサンバイザの操
作との組み合わせに基づいて照度状態レベルを推定する
ものであることを特徴とする請求項7記載の車両用視線
方向計測装置。 - 【請求項10】 前記照度センサは、車両のライト自動
点灯装置の環境照度センサまたは、エアコンの日射量セ
ンサを共用するものであることを特徴とする請求項8ま
たは9記載の車両用視線方向計測装置。 - 【請求項11】 前記照度判断手段が、車両のライトス
イッチの操作に基づいて照度状態レベルを推定するライ
ト操作検出部であることを特徴とする請求項7記載の車
両用視線方向計測装置。 - 【請求項12】 前記照度判断手段が、環境照度に対応
付けられた現在時刻が属する時間帯に基づいて照度状態
レベルを推定する時間帯情報算出部であることを特徴と
する請求項7記載の車両用視線方向計測装置。 - 【請求項13】 前記照度判断手段が、時刻算出部と車
両の進行方角を検出する方角算出部を有し、現在時刻が
属する時間帯と進行方角による太陽との向きの組み合わ
せに基づいて照度状態レベルを推定するものであること
を特徴とする請求項7記載の車両用視線方向計測装置。 - 【請求項14】 前記照度判断手段が、時刻算出部、車
両の進行方角を検出する方角算出部および走行地域の緯
度を求める緯度算出部を有し、緯度に応じた現在時刻が
属する時間帯と進行方角による太陽との向きの組み合わ
せに基づいて照度状態レベルを推定するものであること
を特徴とする請求項7記載の車両用視線方向計測装置。 - 【請求項15】 空間的に互いに異なる位置に配置さ
れ、乗員の顔面を不可視光により照射する第1の照明お
よび第2の照明と、前記第1の照明の光源と共軸に設け
られ、前記乗員の眼球からの反射像を撮像する撮像装置
を備えて、第1の照明と第2の照明を用いた互いに異な
る第1、第2の照射毎の画像デ−タを得る画像入力手段
と、前記画像デ−タから瞳孔を抽出して瞳孔中心位置を
算出するとともに、角膜反射像位置を抽出する画像デー
タ処理手段と、前記瞳孔中心および角膜反射像の位置に
基づいて、乗員の視線方向を算出する視線方向算出手段
とを備える車両用視線方向計測装置において、処理切り
替え手段を有するとともに、前記画像データ処理手段
が、明るい瞳孔を対象として処理を実行する第1の画像
データ処理手段と、暗い瞳孔を対象として処理を実行す
る第2の画像データ処理手段とからなり、前記処理切り
替え手段は、前記第1の画像データ処理手段または第2
の画像データ処理手段のいずれか一方における処理によ
って瞳孔中心が算出されないときに、他方の処理に切り
替えるように構成されていることを特徴とする車両用視
線方向計測装置。 - 【請求項16】 前記第1の画像データ処理手段は、瞳
孔中心を算出する第1瞳孔中心算出部と、第1の照明に
よる角膜反射像を抽出する第1共軸系角膜反射像抽出部
と、第2の照明による角膜反射像を抽出する第1非共軸
系角膜反射像抽出部とを有し、前記第2の画像データ処
理手段は、瞳孔中心を算出する第2瞳孔中心算出部と、
第1の照明による角膜反射像を抽出する第2共軸系角膜
反射像抽出部と、第2の照明による角膜反射像を抽出す
る第2非共軸系角膜反射像抽出部とを有するものである
ことを特徴とする請求項1、7または15記載の車両用
視線方向計測装置。 - 【請求項17】 前記第1瞳孔中心算出部は、前記第1
の照射による画像データと第2の照射による画像データ
の差分を第1のしきい値で2値化して明るい瞳孔を抽出
し、その重心を瞳孔中心とし、第2瞳孔中心算出部は、
前記第1の照射による画像データを第2のしきい値で2
値化して暗い瞳孔を抽出し、その重心を瞳孔中心とする
ものであることを特徴とする請求項16記載の車両用視
線方向計測装置。 - 【請求項18】 前記第1の照明と異なる位置に設置さ
れ、乗員の顔面を不可視光により照射する第3の照明を
有し、前記第1の照射は前記第1および第2の照明を点
灯し、第2の照射は第2および第3の照明を点灯するも
のであり、前記第1瞳孔中心算出部は、前記第1の照射
による画像データと第2の照射による画像データの差分
を第1のしきい値で2値化して明るい瞳孔を抽出し、そ
の重心を瞳孔中心とし、第2瞳孔中心算出部は、前記第
2の照射による画像データを第2のしきい値で2値化し
て暗い瞳孔を抽出し、その重心を瞳孔中心とするもので
あることを特徴とする請求項16記載の車両用視線方向
計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23079295A JP3520618B2 (ja) | 1995-08-16 | 1995-08-16 | 車両用視線方向計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23079295A JP3520618B2 (ja) | 1995-08-16 | 1995-08-16 | 車両用視線方向計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0953917A true JPH0953917A (ja) | 1997-02-25 |
JP3520618B2 JP3520618B2 (ja) | 2004-04-19 |
Family
ID=16913347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23079295A Expired - Fee Related JP3520618B2 (ja) | 1995-08-16 | 1995-08-16 | 車両用視線方向計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3520618B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229499A (ja) * | 2000-02-15 | 2001-08-24 | Niles Parts Co Ltd | 眼の状態検出装置 |
WO2002032299A1 (fr) * | 2000-10-18 | 2002-04-25 | Kabushiki Kaisha Topcon | Dispositif de mesure de caracteristiques optiques |
JP2002352229A (ja) * | 2001-05-30 | 2002-12-06 | Mitsubishi Electric Corp | 顔部位検出装置 |
JP2010008162A (ja) * | 2008-06-25 | 2010-01-14 | Denso It Laboratory Inc | 周辺情報表示装置および周辺情報表示方法 |
JP2010215000A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 情報処理装置及び方法、並びにプログラム |
JP2012024154A (ja) * | 2010-07-20 | 2012-02-09 | Panasonic Corp | 瞳孔検出装置及び瞳孔検出方法 |
KR101469978B1 (ko) * | 2008-03-06 | 2014-12-05 | 현대자동차주식회사 | 차량용 표시기기의 자동 휘도 조정 장치 |
JP2015224979A (ja) * | 2014-05-28 | 2015-12-14 | 澁谷工業株式会社 | 物品検査装置 |
JP2016093253A (ja) * | 2014-11-12 | 2016-05-26 | 国立大学法人静岡大学 | 瞳孔検出用光源装置の制御方法 |
JP2017068615A (ja) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 視線検出システム、視線検出方法および視線検出プログラム |
JP2017063995A (ja) * | 2015-09-29 | 2017-04-06 | 株式会社トプコン | 眼科装置 |
JP2017528793A (ja) * | 2014-07-14 | 2017-09-28 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ディスプレイ拡張のためのシステム及び方法 |
WO2019159683A1 (ja) * | 2018-02-14 | 2019-08-22 | いすゞ自動車株式会社 | 運転支援システム及び運転支援方法 |
WO2020059076A1 (ja) * | 2018-09-20 | 2020-03-26 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
-
1995
- 1995-08-16 JP JP23079295A patent/JP3520618B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229499A (ja) * | 2000-02-15 | 2001-08-24 | Niles Parts Co Ltd | 眼の状態検出装置 |
WO2002032299A1 (fr) * | 2000-10-18 | 2002-04-25 | Kabushiki Kaisha Topcon | Dispositif de mesure de caracteristiques optiques |
US6905209B2 (en) | 2000-10-18 | 2005-06-14 | Kabushiki Kaisha Topcon | Optical characteristics measuring device |
JP2002352229A (ja) * | 2001-05-30 | 2002-12-06 | Mitsubishi Electric Corp | 顔部位検出装置 |
KR101469978B1 (ko) * | 2008-03-06 | 2014-12-05 | 현대자동차주식회사 | 차량용 표시기기의 자동 휘도 조정 장치 |
JP2010008162A (ja) * | 2008-06-25 | 2010-01-14 | Denso It Laboratory Inc | 周辺情報表示装置および周辺情報表示方法 |
JP2010215000A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 情報処理装置及び方法、並びにプログラム |
JP2012024154A (ja) * | 2010-07-20 | 2012-02-09 | Panasonic Corp | 瞳孔検出装置及び瞳孔検出方法 |
JP2015224979A (ja) * | 2014-05-28 | 2015-12-14 | 澁谷工業株式会社 | 物品検査装置 |
JP2017528793A (ja) * | 2014-07-14 | 2017-09-28 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ディスプレイ拡張のためのシステム及び方法 |
JP2016093253A (ja) * | 2014-11-12 | 2016-05-26 | 国立大学法人静岡大学 | 瞳孔検出用光源装置の制御方法 |
JP2017063995A (ja) * | 2015-09-29 | 2017-04-06 | 株式会社トプコン | 眼科装置 |
JP2017068615A (ja) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 視線検出システム、視線検出方法および視線検出プログラム |
WO2019159683A1 (ja) * | 2018-02-14 | 2019-08-22 | いすゞ自動車株式会社 | 運転支援システム及び運転支援方法 |
WO2020059076A1 (ja) * | 2018-09-20 | 2020-03-26 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
JPWO2020059076A1 (ja) * | 2018-09-20 | 2021-04-30 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3520618B2 (ja) | 2004-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3520618B2 (ja) | 車両用視線方向計測装置 | |
JP3855439B2 (ja) | 夜間運転視界支援装置 | |
JP4797752B2 (ja) | 移動体用操作物体抽出装置 | |
WO2020029444A1 (zh) | 一种驾驶员驾驶时注意力检测方法和*** | |
JP3324295B2 (ja) | 車両用視線方向計測装置 | |
JP2988178B2 (ja) | 視線方向計測装置 | |
JP2937030B2 (ja) | 画像処理装置及び人物状態判定装置 | |
US10648825B2 (en) | Pulse wave measuring apparatus, control method, and non-transitory computer-readable recording medium | |
WO2019184837A1 (zh) | 车载显示设备的控制方法及控制设备 | |
JP2016049260A (ja) | 車載用撮像装置 | |
WO2021253953A1 (zh) | 一种车窗调节方法、装置、电子设备及可读存储介质 | |
CN109501807B (zh) | 自动驾驶注意力检测***及方法 | |
WO2011105004A1 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
WO2007092512A2 (en) | Driver drowsiness and distraction monitor | |
CN107945284B (zh) | 一种用于自动驾驶车辆的场景显示方法及智能眼镜 | |
JP2007331545A (ja) | 車両用運転支援装置 | |
WO2017203769A1 (ja) | 視線検出方法 | |
JP3296119B2 (ja) | 車両用視線方向計測装置 | |
JP3185522B2 (ja) | 車両用視線方向計測装置 | |
JPH06323832A (ja) | 車両用インターフェイス | |
JPH08297019A (ja) | 車両用視線方向計測装置 | |
JPH0868630A (ja) | 車両用視線方向計測装置およびこれに用いる画像入力装置 | |
JP2008191784A (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
JP3342810B2 (ja) | 虹彩画像取得装置 | |
JP2016051312A (ja) | 視線検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090213 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |