JPH0796768A

JPH0796768A - 前方注視度検知装置

Info

Publication number: JPH0796768A
Application number: JP26291993A
Authority: JP
Inventors: Junichi Fukano; 純一深野; Shigeru Okabayashi; 繁岡林; Masao Sakata; 雅男坂田; Hiroshi Saito; 浩斎藤; Kazuo Arai; 和夫荒井
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-09-27
Filing date: 1993-09-27
Publication date: 1995-04-11

Abstract

(57)【要約】【目的】前方注視度低下の検知を安定かつ確実に行
う。【構成】視線計測装置２は、常時運転者５の眼球部の
画像を入力し、画像処理により、角膜反射像位置と網膜
反射像位置を求め、これらを基に視線方向Ｌを求める。
脇見判断装置３では、視線方向Ｌが予めフロントガラス
１位置に設定した注視領域３０にあるかどうかをチェッ
クして、この注視領域から逸脱している時間が所定の基
準時間以上のときには前方注視度が低下していると判断
して、警報発生装置４に信号を送り、前方注視度低下の
警報を出力させる。眼球の角膜反射像位置と網膜反射像
位置から視線方向を求めるから、顔面領域全体の画像か
ら特徴を抽出するのに比べ、横方向からの直射光の入射
その他の光線状態によって影響を受けず、視線方向が容
易に求められる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、車両運転者の覚醒度
の低下や脇見等の前方注視度を検知する車両用前方注視
度検知装置に関する。

【０００２】

【従来の技術】運転中前方注視度が低下したり覚醒度が
低下すると、先行車との車間距離が短くなり、先行車に
異常接近してしまうことがある。従来のこの種装置とし
ては、例えば、特開昭６０−１７８５９６号公報に開示
されるように、運転者の前方から、その上***置の周期
的変動を検出して運転者の覚醒度の低下を判定するよう
になっている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の装置にあっては、運転者の上***置の周期的
変動を検出するために計測用のカメラを２台使用してい
たため、装置構成が複雑であり、かつ処理に時間を要す
るという問題があった。また、抽出する特徴を顔面領域
としているため、例えば横方向からの直射光の入射その
他、光線状態の悪い場合などが頻繁に発生するなど不安
定状況にさらされ、その結果特徴抽出に誤差を生じる可
能性が高いという問題があった。そのため、従来の装置
では、迅速かつ安定した検知を行うことは困難であっ
た。本発明は、このような従来の問題点に着目してなさ
れたものであり、前方注視度の低下を安定かつ確実に検
知することのできる車両用の前方不注意検知装置を提供
することを目的とする。

【０００４】

【課題を解決するための手段】このため請求項１に記載
の本発明は、運転者の眼球領域に向けて設けられた画像
入力手段と、該画像入力手段により得た眼球部の画像デ
ータを基に運転者の視線方向を検出する視線方向検出手
段と、視線方向が所定の注視領域内にあるか否かを判別
する領域判別手段と、視線方向が前記注視領域外にある
時間を計測し、所定の基準時間と比較する時間計測手段
とを有するものとした。

【０００５】請求項３に記載の発明は、前記領域判別手
段および時間計測手段のかわりに視線方向の移動パター
ンを検出するパターン検出手段と、移動パターンを所定
の基準パターンと比較するパターン比較手段を有するも
のとした。また請求項２、請求項４に記載の発明は、そ
れぞれ、さらに走行速度、走行開始からの経過時間、ス
テアリングの操舵角、障害物情報および道路形状の少な
くも１以上からなる環境情報を取得する環境検出手段を
有し、前記の所定の注視領域または基準時間、あるいは
基準パターンが上記環境情報に基づいて設定されるもの
とした。

【０００６】

【作用】請求項１のものでは、視線方向検出手段で眼球
部の画像データが処理されて運転者の視線方向が求めら
れ、その視線方向が、あらかじめ設定された通常運転時
に運転者の視線方向が向く注視領域に実際に向いている
かどうかが領域判別手段で判別される。向いていない時
間が所定の基準時間以上継続したときは前方注視度低下
状態と判断される。

【０００７】請求項３のものでは、視線方向の移動パタ
ーンが、例えば視界下部領域に暫時停留の後、跳躍的な
方向変化を行うなど、通常運転時の基準パターンと異な
る異常状態のときに、覚醒度が低下した状態にあると判
断される。これにより、運転者の前方注視度の低下を安
定かつ確実に検知することができる。

【０００８】また、請求項２、請求項４のように、環境
検出手段を有して、注視領域または基準時間、あるいは
基準パターンを環境情報に基づいて設定するようにした
ときには、走行環境により検出レベルが制御されるか
ら、環境の緊急度合などに応じてより迅速な警報等が可
能となる。

【０００９】

【実施例】以下、本発明を図面に基づいて説明する。図
１は、本発明の第１の実施例としての前方注視度警報装
置の全体構成を示す図である。この装置は、視線計測装
置２、注視度判断装置３および警報発生装置４で構成さ
れている。視線計測装置２は、常時運転者５の視線方向
Ｌを計測している。注視度判断装置３は、視線計測装置
２で求められた視線方向に基づいて前方注視度が低下し
ているかどうかを判断し、警報発生装置４に指令信号を
送る。警報発生装置４は、運転者５に注意のための音
声、振動などによる警報を発生する。

【００１０】図２に、上記視線計測装置２の構成を示
す。撮像部であるカメラ２１の前面にカメラ２１の光軸
と照射方向が一致するように、不可視な近赤外光を発す
るＬＥＤ等の第１光源２２が設置され、同様に不可視な
近赤外光を発するＬＥＤ等の第２光源２３がカメラ２１
の光軸外の第１光源２２との相対関係が既知の所定位置
に設置されている。

【００１１】また、カメラ２１より取り込まれた、眼球
３１の画像データをデジタルデータに変換するＡ／Ｄ変
換器２４、入力された画像データから、視線方向を示す
特徴である角膜反射像および網膜反射像を抽出する特徴
抽出部２５、抽出された各特徴の存在位置から視線方向
を算出する視線方向算出部２６、第１光源２２および第
２光源２３の発光を制御する照明発光制御部２７、装置
全体の動作を制御する全体制御部２８およびＡ／Ｄ変換
された画像データを保持するメモリ３２が設けられてい
る。なお、３０は後述する注視領域を示す。

【００１２】視線計測装置２の原理を図３により説明す
る。図３は眼球３１を外部から照明したときの様子を
示したものである。眼球３１を外部から照明すると、中
心をＯとする角膜球５０の角膜球表面５１の正反射位置
Ｐでの正反射像がカメラ２１に捕捉され、点Ｒに輝点と
して観測される。これを角膜反射像という。とくに、カ
メラ２１と第１光源２２を共軸に配したとき、角膜球中
心Ｏ、正反射位置Ｐおよび角膜反射像の位置Ｒの３点
は、同一直線上にのる。

【００１３】すなわち、カメラ２１の前面に、カメラ２
１の光軸と照射方向が一致するように、第１光源２２を
設置した共軸系センサで眼球３１を観測すると、カメラ
２１上の角膜反射像位置Ｒと、第１光源２２の位置（カ
メラ焦点位置）を結ぶ線上に角膜中心Ｏが存在すること
になる。

【００１４】また、共軸系センサで眼球３１を観測する
と、瞳孔を通過した光束が網膜上で反射して入射方向に
戻り、瞳孔から出射してカメラ２１に達し、瞳孔領域が
明るく観測される。これは、カメラで人間の顔をストロ
ボ撮影したとき、瞳孔が赤く光る赤目現象として知られ
るものであり、こうして生じる像を網膜反射像と呼んで
いる。網膜反射像は、一般に楕円形状で観測され、カメ
ラ２１上の網膜反射像の重心位置と、カメラ焦点を結ぶ
直線上に瞳孔中心Ｑが存在する。

【００１５】視線計測装置２では、以上説明したような
原理によって、角膜中心Ｏ、瞳孔中心Ｑの３次元位置を
抽出して、Ｏ、Ｑを通過する視線方向Ｌを求める。次に
これら角膜球中心Ｏおよび瞳孔中心Ｑの求め方を説明す
る。先ず、抽出した角膜反射像領域の重心位置および抽
出した網膜反射像領域の重心位置の計測を、図６の角膜
反射像位置抽出処理図および図７の網膜反射像位置抽出
処理図を参照して、図４および図５のフローチャートに
従って説明する。

【００１６】全体制御部２８からの計測開始信号により
計測がスタートする。ステップ１０１では、照明発光制
御部２７から第１光源２２にトリガ信号を送り、第１光
源２２を点灯してステップ１０２に進む。なお、第２光
源２３は消灯している。ステップ１０２では、カメラ２
１から画像を取り込む。画像はステップ１０３におい
て、Ａ／Ｄ変換器２４でＡ／Ｄ変換され、生成したディ
ジタルの画像データＩ１（ｘ，ｙ）は、ステップ１０４
でメモリ３２に格納保持される。

【００１７】ステップ１０５では、照明発光制御部２７
から第２光源２３にトリガ信号を送り、第２光源２３を
点灯し、また第１光源２２を消灯する。ステップ１０６
では、カメラ２１から画像を取り込み、ステップ１０７
で、画像をＡ／Ｄ変換器２４でＡ／Ｄ変換して、ディジ
タルの画像データＩ２（ｘ，ｙ）を生成し、該画像デー
タをステップ１０８でメモリ３２に格納する。そして画
像入力が完了したら、ステップ１０９で、第２光源２３
を消灯する。以上の異なる照明による２フレームの画像
入力は、極く短時間に実行され、ほぼ同一時刻に入力さ
れたペアの画像となる。

【００１８】次にステップ１１０〜１１１において、上
記メモリ３２に格納された画像データＩ１（ｘ，ｙ）お
よびＩ２（ｘ，ｙ）を基に、角膜反射像位置を図６に示
すような処理を行って求める。

【００１９】すなわち、ステップ１１０では、特徴抽出
部２５において、画像データＩ１（ｘ，ｙ）から視線計
測に必要に必要な角膜反射像領域６２の抽出を行う。角
膜反射像は非常に明るい輝点として観測されるため、図
６の（ａ）に示される画像データＩ１（ｘ，ｙ）を、あ
るしきい値Ｔｈ１で２値化することによって、（ｂ）の
ように容易に抽出することができる。画像Ｉ２（ｘ，
ｙ）についても同様である。すなわち、Ｉ１（ｘ，ｙ）≧Ｔｈ１Ｉ２（ｘ，ｙ）≧Ｔｈ１の領域がそれぞれ角膜反射像領域と判断される。ステッ
プ１１１では、抽出された角膜反射像領域６２の重心位
置が演算され、角膜反射像位置Ｂ（ｘ１，ｙ１）、Ｃ
（ｘ２，ｙ２）が求められる。

【００２０】続いてステップ１１２〜ステップ１１８で
は、画像データＩ１（ｘ，ｙ）を基に、図７に示すよう
な処理を行って網膜反射像位置を求める。まずステップ
１１２では、２値化による網膜反射像候補領域の抽出が
行なわれる。共軸系の第１光源２２およびカメラ２１を
用いることによって、明るい網膜反射像が観測されるこ
とは、前述したが、この像の明るさは角膜反射像よりも
暗くなる。従って、図７の（ａ）に示す画像データＩ１
（ｘ，ｙ）を、あるしきい値Ｔｈ２（但し、Ｔｈ２＜Ｔ
ｈ１）で２値化することによって、網膜反射像候補領域
を抽出することができる。すなわち、Ｉ１（ｘ，ｙ）≧Ｔｈ２の領域が網膜反射像候補とされる。

【００２１】こうして抽出された候補領域には一般に瞳
孔以外のノイズが混入しているため、次のステップでさ
らに瞳孔のみを抽出する処理が行なわれる。すなわち、
ステップ１１３で、ステップ１１２で得られた網膜反射
像候補領域に対し、濃淡にしきい値を設定してラベリン
グ処理を行って、図７の（ｂ）の処理画像を求め、ステ
ップ１１４において、各領域の面積を求める。ステップ
１１５では、図７の（ｃ）のように、予想される瞳孔面
積Ｓに対して、（Ｓ−ａ）から（Ｓ＋ａ）の所定面積
（ａはしきい値、ａ＞０）を有する領域６３A 、６３B
のみを選び出してステップ１１６へ進む。

【００２２】ステップ１１６では、抽出された所定面積
領域が唯一つに確定したかどうかをチェックし、確定し
ていればステップ１１８へ進む。また、図７の（ｃ）の
ように複数抽出されているときは、ステップ１１７で各
領域の円形度を求め、同図（ｄ）のように最も円に近い
領域６３A （＝６３）を抽出してステップ１１８へ進
む。ステップ１１８では、抽出された網膜反射像の領域
６３の重心を算出して、網膜反射像位置Ａ（ｘｐ，ｙ
ｐ）を求める。この網膜反射像位置Ａ上に瞳孔中心があ
る。以上のようにして抽出した結果が図８に示される。
図８の（ａ）は、画像データＩ１（ｘ，ｙ）より抽出し
た角膜反射像位置Ｂ（ｘ１，ｙ１）と網膜反射像位置Ａ
（ｘｐ，ｙｐ）を示し、（ｂ）は画像データＩ２（ｘ，
ｙ）より抽出した角膜反射像位置Ｃ（ｘ２，ｙ２）を示
す。

【００２３】次に、図９は、視線方向算出部２６におけ
る視線方向の算出要領を示す。ここで、カメラ２１の焦
点距離をｆ、その焦点位置を原点Ｆ1 （０，０，０）と
し、カメラ２１のＣＣＤ面のｘ軸（水平軸）方向をＸ
軸、ｙ軸（垂直軸）方向をＹ軸、光軸方向をＺ軸とする
ワールド座標Ｆ1 −ＸＹＺを考える。先に述べたよう
に、照明光源とカメラの光軸を一致させれば、光源位
置、角膜反射像、角膜球中心は一直線上にある。従っ
て、カメラ２１の焦点Ｆ1 （０，０，０）とカメラ２１
のＣＣＤ面上の角膜反射像位置Ｂとを結ぶ直線は、角膜
球中心Ｏを通過すると考えられる。すなわち、角膜球
中心Ｏは直線Ｆ1 −Ｂ上にある。同様にして、瞳孔中心
Ｑは、カメラ２１の焦点Ｆ1 （０，０，０）と網膜反射
像位置Ａを結ぶ直線Ｆ1 −Ａ上にある。

【００２４】第２光源２３は、カメラ２１の光軸外の所
定位置Ｆ2 （ａ，ｂ，ｃ）にあるものとする。第２光源
２３の照明光は、角膜球表面で正反射して、カメラ２１
に観測される。従って、その正反射点Ｐは、カメラ２１
の焦点Ｆ1 （０，０，０）と角膜反射像位置Ｃとを結ぶ
直線Ｆ1 −Ｃ上にある。ここで人間の角膜球５０の半径
は、人によらずほぼ一定で、約７．８ｍｍである。従っ
て、直線Ｆ1 −Ｃ上に正反射点Ｐを仮置きし、半径７．
８ｍｍの球面を描けば、球面と直線Ｆ1 −Ｂの交点とし
て、角膜球中心の候補点Ｏが一意に定まる。ここで、点
Ｐでの正反射条件

【数１】（但し、Ｔは半直線ＯＰの延長上の点）が満足されてい
ることが確認されれば、角膜球中心Ｏが決定される。

【００２５】また、角膜球中心Ｏと瞳孔中心（水晶体前
面）Ｑの距離は４．２ｍｍであるので、決定した点Ｏを
中心とする半径４．２ｍｍの球面と直線Ｆ1 −Ａの交点
を求めれば、瞳孔中心Ｑが決定される。このようにし
て、角膜球中心Ｏと瞳孔中心Ｑとが定まるので、視線ベ
クトル（視線方向）ＯＱが決定する。なお、ここで用い
た眼球の光学定数はＧｕｌｌｓｔｒａｎｄの模型眼によ
る。

【００２６】注視度判断装置３では、視線方向Ｌが予め
定められた通常運転時に運転者５の見ているフロントガ
ラス１の注視領域にあるかどうかを判断する。この判断
は、フロントガラス１の３次元座標データを予め登録し
ておき、視線方向Ｌの延長線がその注視領域３０と交差
するかどうかをチェックして行なう。そして、運転者５
の視線方向Ｌがフロントガラス１の予め定められた注視
領域と交差していない時間が所定時間例えば１秒以上継
続したとき、前方注視度が低下しているものと判断し、
警報発生装置４へ指令信号を送出する。

【００２７】この実施例は以上のように構成され、不可
視光を発する第１光源と第２光源で運転者の眼球部を照
明し、第１光源と共軸のカメラで撮像した画像データか
ら角膜反射像および網膜反射像を求め、これに基づいて
運転者の視線方向を求めるものとした。そしてその視線
方向が、あらかじめ設定された通常運転時に運転者の視
線方向が向く注視領域に実際に向いているかどうかを判
別して、向いていない時間が所定の基準時間以上継続し
たとき前方注視度が低下しているとして警報を発するよ
うにしたので、顔面領域全体を特徴抽出対象としたもの
に比べて横方向からの直射光の入射その他の光線状態に
よって影響を受けることなく、安定確実に前方注視度の
低下状態を検知することができる。また、従来のように
カメラを２台使用する必要もなく、装置構成が簡単であ
り、迅速に検知が行なえ、かつコストも安価であるとい
う効果を有する。

【００２８】なお、注視度判断装置３における判断態様
としては、上述のほか例えば運転者のアイレンジ中心か
らフロントガラス１の端部を見たときの角度を予め記録
しておき、これと視線方向の角度とを比較して行なうよ
うにすることもできる。またさらには、前方注視度が低
下していると判断するための基準時間を運転者５が調節
できるようにしてもよい。

【００２９】図１０〜図１２には、本発明の第２の実施
例を示す。この実施例は、車両の走行環境に応じて前
方注視度低下の判断基準が制御されるようにしたもので
ある。まず、構成を図１０により説明する。第１の
実施例の視線計測装置と同様の構成により運転者の視線
方向を計測する視線計測部２０１が設けられるととも
に、車両走行の環境情報として各種パラメータを計測す
る環境計測部２０３と、時間を計測する時間計測部２０
４が設置される。そしてこれらの計測部２０１、２０
３、２０４からの信号を処理し、運転者の前方注視度低
下または覚醒度低下を検出する情報処理部２０２と、こ
の情報処理部２０２からの信号により警報を出力する警
報出力部２０５で構成されている。

【００３０】環境計測部２０３には、自車の走行速度ｖ
を計測する車速センサ２０６、ステアリングの操舵角θ
を計測する操舵角センサ２０７、レーダあるいはカメラ
を用いた障害物センサ２０８、自車位置検出装置２０
９、車載のデータベース２１０、ならびに車外データベ
ース２１２と情報授受する路車間通信装置２１１が設け
られている。また警報出力部２０５は、前方注視度低下
警報を出力する第１警報出力部２０５ａと、覚醒度低下
警報を出力する第２警報出力部２０５ｂを備えている。

【００３１】本実施例の制御動作を図１１のフローチャ
ートに従って説明する。まずステップ３０１において、
視線計測部２０１で、前述の第１実施例と同様の流れで
運転者の視線方向を計測する。このとき、計測された視
線方向は、図１２に示すように、仮想平面３５２と視線
３５１の交点（Ｘｉ，Ｙｉ）で表わされる。また、所定
回数のサンプリングにおける、Ｘｉ、Ｙｉの分散ＳＸ、ＳＹおよびＳｒ＝（ＳＸ²＋ＳＹ²）^1/2 を計算する。

【００３２】つぎにステップ３０２で、環境計測部２０
３において、車両の走行環境が求められる。ここでは、
車速センサ２０６による走行速度ｖの計測、操舵角セン
サ２０７による操舵角θｓの計測、そして障害物センサ
２０８による車両前方の障害物までの距離Ｕ、障害物の
上下、左右の方位（ψ、φ）および障害物との相対速度
などの障害物情報の計測が行なわれる。さらに、自車位
置検出装置２１０と車載データベース２１１により、自
車両前方の道路の曲率ＲＮおよび勾配の変化率ＮＴを求
める。この際、路車間通信装置２１１を介して参照され
る車外データベース２１２により、より詳細な曲率、勾
配変化率などの道路情報を得ることもできる。障害物の
方位（ψ、φ）は、図１２の仮想平面３５２上の座標
（Ｘｆ、Ｙｆ）に変換される。

【００３３】このあと情報処理部２０２では、ステップ
３０３において、時間計測部２０４から車両の走行開始
からの経過時間ＬＴの値を求める。そしてステップ３０
４において、運転者が前景領域探索、すなわち前方を見
て運転しているかどうかをチェックする。ここでは、視
線計測部２０１で計測された視線方向（Ｘｉ、Ｙｉ）が
図１２の仮想平面３５２上の注視領域３５０外に所定の
基準時間Ｔ１以上留まっているとき、前方注視度が低下
していると判断してステップ３０６へ進む。それ以外の
ときはステップ３０５へ進む。

【００３４】図１２に示すように、上記の注視領域３５
０は、（Ｘｃ、Ｙｃ）の点を中心とする縦２Ｖａ、横２
Ｈａの長方形で定義される。以下に、これら注視領域
３５０を決めるパラメータについて説明する。注視領域
中心のＸｃは式（１）を用いて算出される。Ｘｃ＝Ａ1 ・ｖ／ＲＮ＋Ａ2 ・θｓ（１）（但し、Ａ1 、Ａ2 は定数）正常な運転者が注視する領域は曲線道路走行時には左右
に移動する。この移動量は、道路の曲率と運転者がどれ
ほど遠くの路面を見ようとしているかに依存しており、
後者は車両の速度に比例しているものと近似することが
できる。式（１）の第１項は、これを表わしており、第
２項は道路幅内での車線変更時の操舵に対応している。

【００３５】注視領域中心のＹｃは式（２）を用いて算
出される。Ｙｃ＝Ｙ0 ＋Ａ3 ・ｖ＋Ａ4 ・ＮＴ（２）（但しＹ0 、Ａ3 、Ａ4 は定数）正常な運転者が注視する領域は、高速走行時には略水平
を中心とするが、低速走行時には、その中心はより低く
（すなわち近く）なり、第２項はこれを表わしている。
また、注視領域は道路の勾配により、登り坂に差しかか
ると上方に、下り坂では下方に移動する。したがって第
３項のように、勾配による注視領域の上下移動は勾配の
変化率ＮＴに比例していると考えられる。

【００３６】注視領域の幅Ｈａは式（３）を用いて算出
される。Ｈａ＝Ｈ0 ＋Ａ5 ・｜ｖ／ＲＮ｜＋Ａ6 ・｜θｓ｜＋Ａ7 ・Ｓｒ（３）（但しＨ0 、Ａ5 、Ａ6 は定数）曲線路を走行中は、自車直前の道路端から右又は左に曲
がった前方の道路まで視認する必要があるため、正常な
運転者が注視する領域の左右幅は広くなる。道路幅内で
の車線変更時も同様であり、第２項および第３項はこれ
に対応する。また、混雑した道路、複雑な道路では左右
上下に車両や種々の物標が分布しているため、視線方向
の分散Ｓｒが大きな値となることが知られている。これ
に対応して第４項により領域幅Ｈａを調整するようにな
っている。

【００３７】注視領域高さＶａは、混雑道路の影響を考
慮して式（４）により算出される。Ｖａ＝Ｖ0 ＋Ａ8 ・Ｓｒ（４）（但しＶ0 、Ａ8 は定数）そして、脇見判断基準時間Ｔ１は、式（５）による。Ｔ１＝Ｔ１0 −Ｂ1 ・ｖ −Ｂ2 ・｛（Ｘｉ−Ｘｃ）²＋（Ｙｉ−Ｙｃ）²｝^1/2−Ｂ3 ・Ｓｒ（５）（但し、Ｔ１0 、Ｂ1 、Ｂ2 、Ｂ3 は定数）

【００３８】すなわち、高速走行中は短時間の脇見運転
でも重大な危険に陥る可能性が高いため、第２項により
基準時間Ｔ１を短くする。また、脇見時に視線方向が本
来の注視領域から大きく外れているほど周辺視による情
報取得が困難であるから、第３項により、より短時間で
警報する。また、混雑道路等では瞬時の状況変化が頻発
すると考えられるため、第４項で基準時間Ｔ１を短くす
る。

【００３９】情報処理部２０２では、上に説明したパラ
メータを用いて、｜Ｘｉ−Ｘｃ｜＞Ｈａまたは｜Ｙｉ−Ｙｃ｜＞Ｖａの状態がＴ１以上継続したときに脇見と判断する。

【００４０】ステップ３０５では、運転者が障害物を注
視しているか否かがチェックされる。障害物の方向
（Ｘｆ、Ｙｆ）近傍に運転者の視線方向（Ｘｉ、Ｙｉ）
が存在しない状態が一定時間Ｔ２以上継続した場合は、
障害物注視度低下と判断してステップ３０６へ進み、そ
うでなければステップ３０７へ進む。ここで、障害物の
方向（Ｘｆ、Ｙｆ）近傍の領域は式（６）で設定され、
障害物注視度低下判断の基準時間Ｔ２は式（７）によ
る。（Ｘｉ−Ｘｆ）²＋（Ｙｉ−Ｙｆ）²＞Ｃ1 （６）（但し、Ｃ１は定数）Ｔ２＝Ｔ２0 −Ｃ2 ・｛（Ｘｉ−Ｘｆ）²＋（Ｙｉ−Ｙｆ）²｝^1/2 −Ｃ3 ・ｖ＋Ｃ4 ・Ｕ−Ｃ5 ・ｄｖ（７）（但し、Ｔ２0 、Ｃ2 、Ｃ3 、Ｃ4 、Ｃ5 は定数）

【００４１】式（７）の第２項は、障害物の方向と視線
方向が大きく異なっているほど周辺視による情報取得が
困難であるから、より短時間で警報することを示す。ま
た自車の速度ｖが大きい場合や、障害物までの距離Ｕが
短い場合、および障害物との相対速度ｄｖが大きい場合
にも短時間で警報するようＴ２を調整するものとし、第
３〜５項がこれに対応する。

【００４２】ステップ３０６では、前方注視度低下また
は障害物注視度低下の状態にあるので、警報出力部２０
５の第１警報出力部２０５ａから警報ブザー等の音、警
告灯等の光、あるいはステアリングやシートバックを振
動させることによる前方注視度低下警報を発するための
信号を出力した後、ステップ３０７へ進む。

【００４３】ステップ３０７以下では、運転者の覚醒度
低下がチェックされる。すなわち、まずステップ３０７
で、視線方向が視界下部領域に一定時間以上停留してい
るか否か、すなわち、Ｙｃ−Ｙｉ＞Ｖｓが一定時間Ｔ３
以上継続しているか否かがチェックされる。ここで、視
界下部領域を表すＶｓは、道路の混雑状況等に応じて変
化する視線方向の分散Ｓｒに応じて、式（８）を用いて
算出され、時間Ｔ３は式（９）により算出される。Ｖｓ＝Ｖ0 ＋Ｄ1 ・Ｓｒ（８）Ｔ３＝Ｔ３0 −Ｄ2 ・ｖ−Ｄ3 ・ＬＴ（９）（但し、Ｖ0 、Ｄ1 、Ｔ３0 、Ｄ2 、Ｄ3 は定数）

【００４４】式（９）の第２、第３項は、時間Ｔ３が、
自車両の走行速度ｖが大きい場合に短縮され、また、長
時間走行時には覚醒度低下の可能性が高くなるため、走
行開始からの経過時間ＬＴに応じて調整されることを示
す。こうして設定された視界下部領域に視線方向が一定
時間Ｔ３以上停留していれば、覚醒度低下状態としてス
テップ３１０に進み、そうでなければステップ３０８へ
進む。

【００４５】ステップ３０８では、視線停留がチェック
される。これは覚醒度低下により視線の動きが小さくな
るのを検出するもので、Ｓｒ＜Ｅ１が所定時間Ｔ４以上
継続しているか否かをチェックする。ここで、一定時間
Ｔ４は走行速度ｖと走行開始からの経過時間ＬＴを用い
た式（１０）により算出される。Ｔ４＝Ｔ４0 −Ｅ2 ・ｖ−Ｅ3 ・ＬＴ（１０）（但し、Ｔ４0 、Ｅ2 、Ｅ3 は定数）上記Ｔ４以上継続していれば覚醒度低下状態としてステ
ップ３１０へ進み、そうでなければステップ３０９へ進
む。

【００４６】ステップ３０９では、暫時の視線停留の後
に飛躍的な視線方向の変化を繰り返すような特異な視線
移動パターンの有無がチェックされる。具体的には、Ｓ
ｒ＜Ｇ1 （但し、Ｇ1 は定数）が一定時間Ｔ５以上継続
したあと、（Ｘｉ−Ｘｉ-1）²＋（Ｙｉ−Ｙｉ-1）²＞
Ｇ２の飛躍がＧ３回／分以上発生することを検出するも
のとし、この検出があったときは覚醒度低下と判断す
る。ここで、一定時間Ｔ５は、走行速度ｖと走行開始か
らの経過時間ＬＴを含む式（１１）により算出される。Ｔ５＝Ｔ５0 −Ｇ4 ・ｖ−Ｇ5 ・ＬＴ（１１）（但し、Ｔ５0 、Ｇ４、Ｇ5 は定数）

【００４７】また、視線の飛躍量Ｇ２は、注視領域中心
からのずれ、または前方障害物からのずれに応じて決定
され、式（１２）による。Ｇ２＝ＭＩＮ［Ｇ２0 ＋Ｇ6 ・｛（Ｘｉ−Ｘｃ）²＋（Ｙｉ−Ｙｃ）²｝^1/2，Ｇ２0 ＋Ｇ７・｛（Ｘｉ−Ｘｆ）²＋（Ｙｉ−Ｙｆ）²｝^1/2］（１２）（但し、Ｇ２0 、Ｇ6 、Ｇ7 は定数）そして停留／飛躍の頻度Ｇ３は、走行速度ｖと走行開始
からの経過時間ＬＴにより決定するものとし、式（１
３）により算出される。Ｇ３＝Ｇ３0 −Ｇ8 ・ｖ−Ｇ9 ・ＬＴ（１３）（但し、Ｇ３0 、Ｇ8 、Ｇ9 は定数）

【００４８】上記により、運転者の覚醒度低下がチェッ
クされ、覚醒度低下による特異な視線移動パターンがな
い場合には、ステップ３０１へ戻り、次のサイクルに移
る。特異な視線移動パターンにより覚醒度低下と判断さ
れたときは、ステップ３１０において、警報出力部２０
５へ信号が出力され、第２警報出力部２０５ｂにより
音、光、振動等の覚醒度低下警報出力が発せられる。こ
のあと、ステップ３０１へ戻る。上記覚醒度低下警報
は、ステップ３０６での前方注視度低下警報よりもより
大きな注意を喚起するようその出力態様が設定される。

【００４９】なお、ステップ３０４では、前景領域とし
ての注視領域が長方形と規定されているが、これに限定
されず、同等の長軸、短軸からなる楕円形とすることも
可能である。また、各パラメータを設定する各式につい
ては、その一部または全部を運転者の技量、心身の状
態、周囲の交通状況等に応じて調整可能としてもよい。
さらに、本実施例では、各式を１次の関数としたが、自
車両の走行速度、ステアリング操舵角、基準位置と視線
方向のずれ、走行経過時間などに関して高次の式で表す
ことにより、より精度の高い判定を行うことができる。

【００５０】

【発明の効果】以上のとおり、本発明は運転者の視線方
向を検出する視線方向検出手段と、視線方向が所定の注
視領域を向いていない時間を計測し所定の基準時間と比
較する時間計測手段を有するものとしたから、その基準
時間以上継続することにより前方注視度の低下が容易に
検知される。そして、視線方向検出手段は眼球部の画像
データを用いてその視線方向を求めるので、顔面領域全
体を特徴抽出対象としたものに比べて横方向からの直射
光の入射その他の光線状態によって影響を受けることな
く、視線方向が容易に求められ、安定かつ確実に注視度
低下状態が検知されるという効果を有する。

【００５１】また、上記注視領域からの逸脱のかわりに
視線方向の移動パターンを検出し、これを基準パターン
と比較するパターン比較手段を有するものとしたときに
は、通常運転と異なる異常パターンから覚醒度が低下し
た状態を検知することができる。さらに、走行速度、走
行開始からの経過時間、ステアリングの操舵角、障害物
情報および道路形状の少なくも１以上からなる環境情報
を取得する環境検出手段を有して、注視領域または基準
時間あるいは基準パターンを上記環境情報に基づいて設
定するものとしたものでは、走行環境が検出レベルに反
映され、一層精度の高い、そして緊急度合などに応じて
より迅速な検知が行なわれるから、前方注視度低下警報
などに用いてとくに大きな効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す図である。

【図２】視線計測装置の構成を示すブロック図である。

【図３】角膜反射像の生成を示す説明図である。

【図４】角膜反射像位置および網膜反射像位置の抽出の
流れを示すフローチャートである。

【図５】角膜反射像位置および網膜反射像位置の抽出の
流れを示すフローチャートである。

【図６】角膜反射像位置の抽出処理を示す説明図であ
る。

【図７】網膜反射像位置の抽出処理を示す説明図であ
る。

【図８】画像データから抽出した角膜反射像位置および
網膜反射像位置を示す図である。

【図９】視線方向の算出要領を示す説明図である。

【図１０】本発明の第２の実施例を示す図である。

【図１１】第２の実施例における制御の流れを示すフロ
ーチャートである。

【図１２】注視領域を示す説明図である。

【符号の説明】

１フロントガラス２視線計測装置３注視度判断装置４警報発生装置５運転者２１カメラ２２第１光源２３第２光源２４Ａ／Ｄ変換器２５特徴抽出部２６視線方向算出部２７照明発光制御部２８全体制御部３０注視領域３１眼球３２メモリ５０角膜球５１角膜球表面５２角膜反射像２０１視線計測部２０２情報処理部２０３環境計測部２０４時間計測部２０５警報出力部２０６車速センサ２０７操舵角センサ２０８障害物センサ２０９自車位置検出装置２１０車載データベース２１１路車間通信装置２１２車外データベースＡ網膜反射像位置Ｂ、Ｃ角膜反射像位置Ｌ視線方向Ｏ角膜球中心Ｑ瞳孔中心Ｐ照明光正反射点

───────────────────────────────────────────────────── フロントページの続き (72)発明者斎藤浩神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内 (72)発明者荒井和夫神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内

Claims

【特許請求の範囲】

【請求項１】運転者の眼球領域に向けて設けられた画
像入力手段と、該画像入力手段により得た眼球部の画像
データを基に運転者の視線方向を検出する視線方向検出
手段と、前記視線方向が所定の注視領域内にあるか否か
を判別する領域判別手段と、前記視線方向が前記注視領
域外にある時間を計測し、所定の基準時間と比較する時
間計測手段とを有することを特徴とする前方注視度検知
装置。
【請求項２】運転者の眼球領域に向けて設けられた画
像入力手段と、該画像入力手段により得た眼球部の画像
データを基に運転者の視線方向を検出する視線方向検出
手段と、走行速度、走行開始からの経過時間、ステアリ
ングの操舵角、障害物情報および道路形状の少なくも１
以上からなる環境情報を取得する環境検出手段と、前記
視線方向が所定の注視領域内にあるか否かを判別する領
域判別手段と、前記視線方向が前記注視領域外にある時
間を計測し、所定の基準時間と比較する時間計測手段と
を有し、前記所定の注視領域または基準時間が前記環境
情報に基づいて設定されることを特徴とする前方注視度
検知装置。
【請求項３】運転者の眼球領域に向けて設けられた画
像入力手段と、該画像入力手段により得た眼球部の画像
データを基に運転者の視線方向を検出する視線方向検出
手段と、前記視線方向の移動パターンを検出するパター
ン検出手段と、前記移動パターンを所定の基準パターン
と比較するパターン比較手段とを有することを特徴とす
る前方注視度検知装置。
【請求項４】運転者の眼球領域に向けて設けられた画
像入力手段と、該画像入力手段により得た眼球部の画像
データを基に運転者の視線方向を検出する視線方向検出
手段と、走行速度、走行開始からの経過時間、ステアリ
ングの操舵角、障害物情報および道路形状の少なくも１
以上からなる環境情報を取得する環境検出手段と、前記
視線方向の移動パターンを検出するパターン検出手段
と、前記移動パターンを所定の基準パターンと比較する
パターン比較手段とを有し、前記基準パターンが前記環
境情報に基づいて設定されることを特徴とする前方注視
度検知装置。