JP3127760B2

JP3127760B2 - 運転者の覚醒度検出装置

Info

Publication number: JP3127760B2
Application number: JP07031208A
Authority: JP
Inventors: 守倫水野; 和彦杉山; 利員石原; 倫明中野; 新山本
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1995-02-20
Filing date: 1995-02-20
Publication date: 2001-01-29
Anticipated expiration: 2016-01-29
Also published as: JPH08225028A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、運転者の覚醒度検出装
置に係り、特に、まばたきパラメータと車両の横偏位量
とから、居眠り運転状態を検出することができる運転者
の覚醒度を検出する運転者の覚醒度検出装置に関する。

【０００２】

【従来の技術】従来より、まばたきパラメータ（閉眼時
間、閉眼頻度、閉眼間隔等）が平常時の値からどの程度
変化したかを判断して、覚醒度を推定し、居眠り状態を
検出する技術が提案されている。しかしながら、平常時
の値に対するまばたきパラメータの変化の大きさは、被
験者の個人差が大きいため、正確に居眠り状態を検出す
ることができない、という問題がある。この個人差を補
正する方法として、まばたきパラメータの変化の大きさ
を判定するしきい値を可変にする方法が提案されている
が、初期値をどの程度の値に設定すべきかの基準がな
く、個人差を補正する方法としては不十分である。

【０００３】また、平常時のまばたきパラメータの平均
値と分散値とから統計的な仮定に基づいて、（平均値）
＋（分散値）〜（平均値）＋２×（分散値）の値をしき
い値として決定する方法（特開昭６０−５９２号公報）
が提案されているが、統計的な仮定に基づいて決定した
しきい値を個人の覚醒度の低下と見なせる根拠はなにも
ない。

【０００４】また、作業成績に基づいて個人の特徴を推
測して、個人差に対応した覚醒レベルを演算する方法
（特開平５−９２０３９号公報）が提案されている。こ
の方法においては、映像、音、振動等の刺激に対してボ
タンを押す等の作業を行わせ、この作業に対する反応時
間と生理量（脳波、心拍、まばたき頻度）との相関関係
（回帰直線）を事前に求める。そして、生理量と反応時
間との相関関係に基づいて、検出された生理量に対する
反応時間を求め、求めた反応時間の大小から覚醒度を推
定し、覚醒度推定値から覚醒低下を判断している。この
ため、個人の特徴に応じた覚醒度の推定ができるが、事
前に刺激に対する反応時間と生理量との相関関係という
個人の特徴を学習しておく必要があり、また刺激に対す
る反応時間という実際の運転状態とは異なる作業によっ
て得られた個人の特徴を用いているので、実際の運転状
態には則さない、という問題があり、自動車運転者の居
眠り検出には適していない。

【０００５】

【発明が解決しようとする課題】本発明は上記問題点を
解消するために成されたもので、事前に個人の特徴を学
習させることなく、また、自動車の運転作業を行うだけ
で居眠り運転等を適切に検出できる運転者の覚醒度検出
装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に請求項１の発明は、運転者のまぶたの動きから閉眼時
間、まぶたの開度、まぶたの動きの振幅、まばたきの頻
度、まばたきの発生間隔時間、及びこれらの平均値のい
ずれか１つで表されるまばたきパラメータを抽出する抽
出手段と、目標走行軌跡からの車両の横偏位量を検出す
る横偏位量検出手段と、まばたきパラメータと車両の横
偏位量とに基づいて、まばたきパラメータと車両の横偏
位量との相関関係を表す回帰式を演算する回帰式演算手
段と、前記回帰式が有意か否かを検定する有意性検定手
段と、有意と検定された回帰式に基づいて運転者の覚醒
度を検出する覚醒度検出手段と、を含んで構成したもの
である。

【０００７】

【０００８】

【作用】本発明者等の実験によると、運転者のまぶたの
動きから抽出されるまばたきパラメータと目標走行軌跡
からの車両の横偏位量との間には、高い相関関係がある
ことが確認されている。まばたきパラメータとしては、
閉眼時間、まぶたの開度、まぶたの動きの振幅、まばた
きの頻度、まばたきの発生間隔時間、またはこれらの平
均値を採用することができる。

【０００９】

【００１０】従って、本発明では、まばたきパラメータ
と車両の横偏位量とに基づいて、まばたきパラメータと
車両の横偏位量との相関関係を表す回帰式を演算し、演
算した回帰式が有意か否かを検定し、有意と検定された
回帰式に基づいて運転者の覚醒度を検出している。この
場合、回帰式から得られ、かつ予め定められた横偏位量
の基準値に対するまばたきパラメータの値と、現在のま
ばたきパラメータの値とを比較することによって覚醒度
を検出することができる。

【００１１】なお、相関関係として回帰直線（一次回帰
式）を求めた場合には、回帰直線から得られ、かつ予め
定められた横偏位量の基準値に対するまばたきパラメー
タの値と、現在のまばたきパラメータの値とを比較する
ことによって覚醒度を検出することができる。また、回
帰直線の傾きの大きさから覚醒度を検出することもでき
る。

【００１２】また、上記まばたきパラメータ検出手段
は、目を含む領域の濃淡画像を入力し、該領域において
まばたき方向の基準線上の画素の濃淡変化を表す１次元
画像を抽出すると共に、前記１次元画像に基づいて前記
基準線上の画素毎の濃淡変化の大きさを表す１次元エッ
ジ画像を算出するエッジ画像算出手段と、前記１次元エ
ッジ画像における濃淡変化の極値に基づいて上まぶたと
眼球との境界を示す第１の境界点及び下まぶたと眼球と
の境界を示す第２の境界点を検出するまぶた検出手段
と、検出した第１の境界点と第２の境界点とに基づいて
まばたきパラメータを演算するパラメータ演算手段と、
を含んで構成することができる。

【００１３】上記の構成において、エッジ画像算出手段
は、目を含む領域の濃淡画像を入力し、この領域におい
てまばたき方向の基準線上の画素の濃淡変化を表す１次
元画像を抽出する。カラー画像ではなく、濃淡画像を用
いているため、十分な光量の白色光源を必要とすること
なく、広い環境下において利用することができる。

【００１４】また、エッジ画像算出手段は、１次元画像
に基づいて基準線上の濃淡変化の大きさを画素毎に算出
して画素毎の濃淡変化の大きさを表す１次元エッジ画像
を算出し、まぶた検出手段は１次元エッジ画像における
濃淡変化の極値に基づいて上まぶたと眼球との境界を示
す第１の境界点及び下まぶたと眼球との境界を示す第２
の境界点を検出する。１次元エッジ画像を２値化するこ
となく濃淡変化の極値を用いて処理しているため、照明
条件や対象となる人の顔の造り等の個人差の影響を受け
難くなる。

【００１５】そして、パラメータ演算手段は、抽出した
第１の境界点と第２の境界点とに基づいてまばたきパラ
メータを演算する。このとき、抽出した第１の境界点と
第２の境界点との間の距離をまぶたの開度として検出し
たり、まぶたの開度が最小になっている時間を閉眼時間
として検出したり、まぶたの開度が最小になっている期
間の間隔をまばたきの発生間隔として検出することがで
きる。

【００１６】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。本実施例は、まばたきパラメータとしての
平均閉眼時間と車両の横偏位量の平均値（平均横偏位
量）との相関関係を用いて覚醒度を判定するようにした
ものである。

【００１７】図７は、実験で得られた被験者の単位計測
時間Ｔ毎のまばたきの平均閉眼時間ｃｎと車両の平均横
偏位量ｄｎとの時間推移をグラフに示したものの一例で
ある。眼が閉じられている時間を示す平均閉眼時間ｃｎ
の増加は覚醒度の低下を意味し、車両が蛇行した走行状
態を示す平均横偏位量ｄｎの増大は安全に走行できてい
ないことを意味する。

【００１８】また、図８はこの実験結果の平均閉眼時間
ｃｎと平均横偏位量ｄｎとの相関図を示し、図８中の直
線は、平均閉眼時間ｃｎと平均横偏位量ｄｎとの２変量
の一次回帰直線を示す。図８から理解されるように、こ
の２変量には、高い相関関係がある。本発明者等の実験
によると、５人の被験者における２変量の相関係数は
０．７２〜０．９５であった。このことから一方の値か
ら他方の値を予測できることが分かる。つまり平均横偏
位量ｄｎという安全に走行できるかどうかを示す車両の
状態量を用いて、まばたきという運転者の生理量が示す
覚醒度合いを評価することが可能である。

【００１９】図１に本実施例の基本的な構成を示す。本
実施例は、まぶたの閉眼状態を検出して閉眼情報を出力
するまばたき検出部１０、まばたき検出部１０から出力
されたまぶたの閉眼情報からまばたきパラメータである
閉眼時間を抽出するまばたきパラメータ抽出部２０、自
動車の現在位置が目標走行軌跡に対して、どの程度ずれ
ているかを示す横偏位量Ｙを検出する車両状態検出部３
０、自動車の運転作業中に得られたデータから個人の特
徴を時々刻々と把握するＣＰＵ等で構成された覚醒度検
出部４０から構成されている。

【００２０】次に各部の構成を詳細に説明する。まばた
き検出部１０は、画像処理により運転者のまぶたの閉眼
状態を検出するもので、図２に示すように、運転者１１
の顔画像を撮影するように車室内に設置されたＴＶカメ
ラ１２、ＴＶカメラ１２からの映像信号をディジタル信
号に変換するＡ／Ｄ変換器１３、Ａ／Ｄ変換器１３で変
換された画像データを格納するフレームメモリ１４、及
び画像データの演算処理によりまぶたが開いているか閉
じているかを判断し、まぶたが閉じていることを示すま
ぶたの閉眼情報を出力するＣＰＵ１５から構成されてい
る。

【００２１】まばたきパラメータ抽出部２０は、まばた
き検出部１０から出力されたまぶたの閉眼情報からまば
たきの閉眼時間の平均値である平均閉眼時間ｃｎを単位
計測時間Ｔ毎に算出するもので、図３に示すように、ま
ばたき検出部１０で得られたまぶたの閉眼情報から、ま
ぶたが閉じ始める時刻から連続してまぶたが閉じて再度
開くまでの時間（まぶたの閉眼時間）を計算する閉眼時
間計算手段２１、単位計測時間Ｔを計時する計時手段２
２、単位計測時間Ｔ毎のまぶたの閉眼時間の平均値（平
均閉眼時間）を計算するＣＰＵ等で構成された平均閉眼
時間計算手段２３から構成されている。

【００２２】ところで、一般的に、運転開始（データ取
得開始）時には、運転者の覚醒度は高く、運転者は覚醒
度が低い状態では運転を開始しない。そして、運転の継
続に伴い、覚醒度が高い状態（ａ）から、覚醒度が低下
傾向にある状態（ｂ）を経て、覚醒度が低下し運転に危
険な状態（ｃ）へと移行する。この（ａ）〜（ｂ）〜
（ｃ）の状態推移の状況（経過時間や覚醒度の低下度合
い等）は、運転者毎に、あるいは同一運転者であっても
運転者の体調その他の条件により異なる。

【００２３】さらに、本発明者等の実験によれば、覚醒
度の高い状態から運転不能への移行は、所定時間の間、
例えば、数分〜１０分以上の間に起っており、覚醒度の
高い状態から急激に運転不能の状態に陥ってはいない。
従って、本実施例では、上記のように、この所定時間よ
り短い時間を単位計測時間Ｔ（例えば、１分間）とし計
測している。

【００２４】車両状態検出部３０は、運転者のハンドル
操舵情報と車速情報とに基づいて走行すべき車両位置で
ある目標走行軌跡と実際の現在位置との差である横偏位
量Ｙを検出し、さらに単位計測時間Ｔ毎の横偏位量Ｙの
平均値である平均横偏位量ｄｎを検出するものでる。こ
の横偏位量Ｙは、例えば、特開平５−８５２２１号公報
に記載されているように、ドライバのハンドル操舵量と
車速に関連した物理量である車速情報（車速、車の加速
度等）とに基づいて検出することができる。この車両状
態検出部３０は、図４に示すように、ハンドルの操舵量
を検出する操舵量検出手段３１、自動車の速度（車速）
を検出する車速検出手段３２、操舵量検出手段３１で検
出された操舵量と車速検出手段３２で検出された車速と
に基づいて、後述するように車両が走行すべき目標走行
軌跡からの車両現在位置の横偏位を演算する横偏位量演
算手段３３、単位計測時間Ｔ毎の横偏位量Ｙの平均値を
計算する平均横偏位量計算手段３４、単位計測時間Ｔを
計時する計時手段３５から構成されている。

【００２５】なお、まばたきパラメータ抽出部２０にお
ける計時手段２２が計時する単位計測時間Ｔと、車両状
態検出部３０における計時手段３５が計時する単位計測
時間Ｔとは、互いに同一時間間隔（例えば、１分間）
で、かつ、同時刻に開始、終了するよう設定されている
ことが、後述する統計的処理を行う上で望ましい。した
がって、計時手段２２と計時手段３５とは１つで兼用す
ることができる。

【００２６】以下本実施例の作用を説明する。まばたき
検出部１０においては、まず、運転者１１の顔画像をＴ
Ｖカメラ１２で撮影する。この際に、ＴＶカメラ１２の
みで撮影してもよいが、周囲の外乱光の影響を低減させ
るために、運転者に影響しないように可視光線以外の光
を照射する、例えば、図示しない赤外ストロボからなる
照明部を、ＴＶカメラ１２の撮影と同期して発光させる
ことにより、運転者の顔部を照明すると効果的である。
この照明部としては、赤外ストロボの他に、赤外線を発
光する赤外ＬＥＤでもよい。また、照明部から連続光を
発光させれば、ＴＶカメラ１２との同期は不要となり、
構成が簡単になる。

【００２７】また、ＴＶカメラ１２を、例えば、１／１
０００秒程度で高速シャッター動作させるのに同期し
て、赤外ＬＥＤをパルス発光させれば、屋外等の外乱光
の多い環境下でも安定した画像を得ることができる。

【００２８】このようにして撮影された顔画像は、ビデ
オ信号としてＡ／Ｄ変換器１３に取り込まれ、Ａ／Ｄ変
換して、２次元ディジタル画像がフレームメモリ１４に
格納される。図１２の（１）にフレームメモリ１４に格
納された顔の２次元ディジタル画像を示す。

【００２９】次に、ＣＰＵ１５による画像処理を図５を
参照して説明する。ステップ１０２では、フレームメモ
リ１４に格納されているディジタル画像を取り込み、ス
テップ１０４において例えば、テンプレートマッチング
法による画像処理により顔画像の中から目が存在する小
領域を検索し、ステップ１０６で目を含む小領域を目画
像として抽出する。図６（ａ）に目画像の例を示す。

【００３０】図６（ａ）に示すような原画像としての目
画像が得られると、中心線Ｌ上の原画像の輝度変化は図
６（ｂ）のようになる。ステップ１０８では、この図６
（ｂ）のような１次元原画像を抽出して入力し、エッジ
処理を行い、ステップ１１０で図６（ｃ）に示すよう
に、基準線上の画素毎の濃淡変化の大きさを表す１次元
エッジ画像を算出する。

【００３１】エッジ処理を行うオペレータとしては、例
えば、次表の（１）に示すような単純な差分を求めるオ
ペレータでよい。また、（２）に示すような平滑化の機
能を持つオペレータであれば、ノイズの影響を低減でき
る。

【００３２】なお、エッジ処理を行うオペレータとして、ソーベルオ
ペレータ、ペレウィットオペレータ、またはロバーツオ
ペレータを用いてもよい。

【００３３】ここで、まぶたの開度を図６（ａ）の中心
線Ｌ上で、上まぶたと眼球との境界点Ａと、下まぶたと
眼球との境界点Ｂとの距離ｈとして定義すれば、開度を
測定するためには、境界点Ａ、Ｂを各々検出すればよい
ことになる。一般に、眼球部分は皮膚部分であるまぶた
に比べて、反射率が小さくかつ暗く撮影されるので、先
の境界点Ａでは、上から下に向かって明から暗へ、後の
境界点Ｂでは、上から下に向かって逆に暗から明に輝度
が急変する。このような輝度急変点では、エッジ画像の
値は極値点を持つことになるので、図６（ｃ）のような
１次元のエッジ画像上で極値を持つ点を検出すれば、ま
ぶたの開度の測定が可能となる。

【００３４】しかしながら、このような輝度急変点はま
ぶたと眼球との境界のみでなく、瞳孔と虹彩との境界
や、目のまわりのしわや影によっても生ずる。従って、
本実施例では目のまわりのしわや影によって誤検出しな
いように、次に述べる方法により、エッジ画像上で極値
を持つ点を選択しまぶたの開度の測定を行っている。

【００３５】まず、ステップ１１２では、図６（ｃ）の
１次元エッジ画像上で、エッジ値が正方向の極大値を持
つ点Ｐi(i=0,1)と、エッジ値が負方向の極小値（絶対値
は大）を持つ点Ｍi(i=0,1)とを算出する。以後、極大値
と極小値の両者をあわせて、エッジ極値点と呼ぶ。

【００３６】また、ステップ１１４では、検索の初期位
置として、これらのエッジ極値点Ｐi 、Ｍi のうち図６
（ｂ）の中点線Ｌ上の１次元画像のうち、最も暗い点Ｃ
に隣接し、最も内側のエッジ極値点の組合せを点Ｐｉと
点Ｍｉとから一つずつ選択する。図５の場合には、点Ｐ
０と点Ｍ０との組合せが検索の初期位置となるエッジ極
値点に相当する。

【００３７】次に、ステップ１１６では、ステップ１１
２で検索されたエッジ極値点と検索の初期位置となるエ
ッジ極値点に基づいて、最初の検索区間を決定する。す
なわち、各々の検索の初期位置からより外側のエッジ極
値点を検索するように、正の極値点は上方へ、負の極値
点は下方へ検索するように検索区間を決定する。図６で
は、点Ｐ１と点Ｍ１とが次のエッジ極値点であるので、
点Ｐ０と点Ｐ１との間が次の上方への検索区間になり、
点Ｍ０と点Ｍ１との間が次の下方への検索区間となる。
このように定められた検索区間内で、エッジ値の符号が
反転しているか否かをステップ１１８で判定し、反転し
ていない場合はステップ１２０で新たなエッジ極値点が
存在するか否か、すなわち新たな検索区間が見つかった
か否かを判定する。そして、新たな検索区間が見つから
なくなるか、あるいは、検索区間内でエッジ値の符号が
反転するまで、上方と下方へそれぞれ検索を繰り返す
（ステップ１１６、１１８、１２０）。図６では、点Ｐ
０と点Ｐ１との間でエッジ値は常に正であり、また、点
Ｍ０と点Ｍ１との間でエッジ値は常に負であるので、点
Ｐ１と点Ｍ１とを新たな出発点とし、検索を繰り返すこ
とになる。上記の検索結果を基に、同様に上方と下方へ
それぞれ検索区間を決定することになるが、図６（ｃ）
では、Ｐ１より上方に、また、Ｍ１より下方には、新た
なエッジ極値点が存在しない。そこで、検索終了と判断
し、ステップ１２２で点Ｐ１と点Ｍ１をまぶたと眼球と
の境界点Ａ、Ｂとする。

【００３８】そして、ステップ１２４では、境界点Ａ、
Ｂ間の距離を計数してまぶたの開度を演算し、まぶたの
開度が最小になったか否かを判断することによって、ま
ぶたが閉じているか開いているかを判定する。そして、
まぶたが閉じていることを示す閉眼情報を出力する。

【００３９】このような処理により、本実施例では、個
人の顔の造り等の個人差にかかわらず、まぶたと眼球と
の境界点の抽出が可能になり、正確なまぶたの閉眼状態
の判定が可能になる。

【００４０】なお、次の方法によってまぶたが閉じてい
るか否かを判断するようにしてもよい。

【００４１】まず、フレームメモリに記憶されている顔
画像を取り込み、図１２（１）に示すように顔画像を２
値化し、顔の２値画像から、顔の左右対称性、頭髪、眉
毛、まぶたの位置関係等に基づいてまぶたの存在領域を
抽出する。次に、顔画像からこのまぶたの領域に対応す
る領域からまぶた画像のエッジ（輪郭）を示す濃淡画像
（図１２（３））を求める。次に、まぶたの輪郭線が最
適に検出できる濃度のしきい値を決定し、このしきい値
と濃淡画像の濃度とを比較してまぶたの輪郭線の２値画
像（図１２（４））を得る。そして、得られたまぶたの
輪郭２値画像から上まぶたと下まぶたの距離を計測し、
この距離が最小になったか否かを判断してまぶたが開い
ているか閉じているか判定する。

【００４２】まばたきパラメータ抽出部２０において
は、まぶたの開閉情報に基づいて、連続してまぶたが閉
じている時間を閉眼時間計算手段２１で算出し、まばた
きの閉眼時間とする。また、計時手段２２によって計測
される計測開始時刻からの単位計測時間Ｔ毎に発生した
各まばたきの閉眼時間の平均値を平均閉眼時間計算手段
２３で計算し、これを平均閉眼時間ｃｎとする。ここで
ｎは変数の添え字であり、計測開始からの単位計測時間
Ｔ毎の通し番号を表す。すなわち、計測開始時刻からの
経過時間をｔとするとｎ＝ｔ／Ｔ・・・（１）である。

【００４３】車両状態検出部３０の操舵量検出手段３１
においては、運転者のハンドル操舵量を検出し、検出し
た操舵量からカーブ等における車線内の走行を維持する
ために必要な操舵量を除いた修正操舵量δｃを抽出し、
修正操舵量δｃ情報を出力する。

【００４４】修正操舵量の抽出は、図１３に示すよう
に、道路形状にかかわらず、短時間（例えば、１０秒）
の間に走行する道路区間を直線路と仮定し、この直線路
を道路区間の始点と終点とを結ぶ直線で近似し、この直
線における操舵量を基準（０レベル、図１３中点線で示
す）とする。これによって決められた操舵量の基準と検
出された操舵量との差を修正操舵量δｃとする。

【００４５】車両状態検出部３０の車速検出手段３２で
は車速Ｕを検出する。横偏位量演算手段３３では、次の
（２）式で示すように、修正操舵量δｃと車速Ｕの関数
で表される横加速度ゲインＧｙとの積の２階積分を演算
することによって横偏位量Ｙを求める。

【００４６】Ｙ＝（δｃ・Ｇｙ）／Ｓ² ・・・（２）ただし、Ｓはラプラス演算子である。

【００４７】計算された横偏位量Ｙは、平均横偏位量演
算手段３４に入力され、まばたきパラメータ抽出部２０
における単位計測時間Ｔと同期して単位計測時間Ｔ毎
に、横偏位量Ｙの平均値である平均横偏位量ｄｎが演算
される。

【００４８】以上述べたように単位計測時間Ｔ毎に、運
転者のまばたきの平均閉眼時間ｃｎと車両の目標走行軌
跡からの平均横偏位量ｄｎとが計測される。

【００４９】次に覚醒度検出部４０のＣＰＵによる検出
処理ルーチンを図９を参照して説明する。まず、ステッ
プＳ４０１において計測開始からの経過時間ｔを０に、
カウンタｎを１に、平均閉眼時間ｃｎの平均値を求める
ために用いる変数ｓｕｍを０に設定する、すなわち、各
種変数等を初期値に設定する。

【００５０】ステップＳ４０２では、まばたきパラメー
タ抽出部２０の出力である平均閉眼時間ｃｎと車両状態
検出部３０の出力である平均横偏位量ｄｎとを読み込
む。

【００５１】運転開始時には乗り込む動作、エンジンを
かける動作、車両を発進させる動作等を伴うため、運転
者の覚醒度は高い。このため、ステップＳ４０３では、
計測開始時間からの経過時間ｔが運転者の覚醒度が高い
と判断される所定時間ｔｄ（例えば、３分）以内かどう
かを判定する。

【００５２】ステップＳ４０３において、経過時間ｔが
所定時間ｔｄ以内の場合は、ステップＳ４０４で、平均
閉眼時間ｃｎを変数ｓｕｍに加える。

【００５３】次のステップＳ４０５で経過時間ｔが所定
時間ｔｄに等しいかどうかを判断し、ｔ＝ｔｄの場合、
すなわち計測開始時間から運転者の覚醒度が高いと判断
される所定時間ｔｄ経過した場合には、ステップＳ４０
６において所定時間ｔｄ内の平均閉眼時間ｃｎの平均値
を求め、この平均値を現在計測されている運転者の覚醒
時の平均閉眼時間の平常値ｃｏとする。

【００５４】ステップＳ４０３において、経過時間ｔが
所定時間ｔｄを越えている場合は、覚醒度が低下する可
能性があるので、ステップＳ４０７において計測開始時
間から時間ｔ経過した時点までにおける、単位計測時間
Ｔ毎の平均閉眼時間ｃｎを平常値ｃｏで除算し、この比
ｃｎ／ｃｏを平均閉眼時間比ｃｒｎとする。これによっ
て、平均閉眼時間ｃｎの平常値ｃｏに対する変化の大き
さを評価することができる。

【００５５】ステップＳ４０８では、経過時間ｔまでに
得られた単位計測時間Ｔ毎の平均閉眼時間比ｃｒｎと平
均横偏位量ｄｎとを用いて、回帰直線を計算する。以
下、図１０（ａ）〜（ｃ）を用い、上述した運転の継続
と覚醒度との関係に基づき説明する。なお、上述の状態
（ａ）〜（ｃ）は、それぞれ図１０（ａ）〜（ｃ）に対
応している。

【００５６】図１０（ａ）に示すように、この時点で覚
醒度に変化がなく、平均閉眼時間比ｃｒｎ及び平均横偏
位量ｄｎがそれぞれの平常値に対して変化していない状
態では、散布図上で左下にデータが集中することにな
る。そのため、平均閉眼時間比ｃｒｎと平均横偏位量ｄ
ｎとの間に明確な関係は得られない。また、後に述べる
回帰直線の統計的検定結果も有意にはならない（統計的
に無意味になる）。

【００５７】一方、覚醒度が低下傾向にあれば、平均閉
眼時間比ｃｒｎ及び平均横偏位量ｄｎが増加するように
変化し、図１０（ｂ）に示すように、平均閉眼時間比ｃ
ｒｎと平均横偏位量ｄｎとは散布図上で右上がりの直線
関係を示す。すなわち、図１０（ａ）の状態から図１０
（ｂ）の状態に移る過程では、回帰直線の傾きが時間の
経過に伴って増加するが、覚醒度が低下傾向にある状態
でのデータが増えるにつれ傾きはほぼ一定となる。そし
て、さらに運転を続け、覚醒度が低下し運転に危険な状
態になるにつれ、図１０（ｃ）に示すように、この散布
図上での点はさらに左下から右上に推移することにな
る。このとき、回帰直線の傾きは、図１０（ｂ）の状態
からほとんど変化がない。すなわち、図１０（ｂ）に示
す覚醒度が低下傾向にある状態において、運転開始時か
らその時点までのデータを用いて得られる有意な回帰直
線は、さらにそのまま運転を続けて覚醒度が低下し、運
転に危険な状態になるまでのデータを用いて得られる図
１０（ｃ）の（有意な）回帰直線とほぼ同じである。し
たがって、そのような危険な状態に陥るまでのデータを
用いることなく、すなわち、運転に危険な状態に至る以
前に、覚醒度が高い状態から低下傾向にある状態までの
データのみを用いて、個人毎の特徴を正しく反映した回
帰直線を得ることができる。また、上記状態（ａ）から
（ｂ）、（ｃ）へ推移する状況が、運転者毎にあるいは
同一運転者であっても運転者の体調その他の条件が異な
る場合でも、正しく回帰直線を得ることができる。

【００５８】ステップＳ４０９では、以下で説明するよ
うに、得られた回帰直線が統計的に有意か否かの検定を
行う。回帰直線が有意であれば、覚醒度が低下傾向にあ
る状態（ｂ）になったとして、覚醒度の推定を行うこと
ができる。

【００５９】すなわち、２変量（ｘｋ，ｙｋ）（ただ
し、ｋ＝１，２，・・・ｎ）の組で表せる次の（３）式
で示される回帰直線において、次のような零仮説の検定
を行う。

【００６０】帰無仮説Ｈ０： β１＝０対立仮説Ｈ１： β１≠０ｙ＝α１＋β１ｘ・・・（３）ここで、直線の傾きβ１が０のときは、全てのｘについ
てｙ＝α１であるので、ｙとｘには直線関係がないこと
を意味する。

【００６１】帰無仮説Ｈ０のもとでは、β１＝０である
からβ１の予測値をβｈ１で表すと、次の（４）式で示
されるｔｏが、自由度ｎ−２のｔ分布に従うことにな
る。

【００６２】ｔｏ＝βｈ１／（√（Ｖｅ／Ｓｘｘ））・・・（４）ただし、Ｖｅ、Ｓｘｘ等は次のように表される。

【００６３】Ｖｅ＝Ｓｅ／（ｎ−２）・・・（５）Ｓｅ＝Ｓｙｙ−Ｓｘｙ²/Ｓｘｘ・・・（６）

【００６４】

【数１】

【００６５】従って、次の（１２）式の条件を満たすと
き、有意水準αで仮説Ｈ０を棄却する。

【００６６】｜ｔｏ｜≧ｔ（ｎ−２，α）・・・（１２）すなわち、有意水準αを、例えば５％としたとき、ｔ分
布表の値がｔ（ｎ−２，０．０５）であるとすると、ｔｏ≧（ｎ−２，０．０５）・・・（１３）が成立するということは、回帰直線の傾きβ１が０であ
るという仮説が成立しない。従って、回帰直線は有意で
ある、すなわち統計的に意味のあることが確認できる。

【００６７】なお、統計的検定は上記に述べた方法と数
学的に同値な次の方法によってもよい。

【００６８】仮説Ｈ０のもとでは、次の式で示される分
散比Ｆｏが、自由度（１，ｎ−２）のＦ分布に従う。

【００６９】Ｆｏ＝ＶＲ／Ｖｅ・・・（１４）ただし、ＶＲ，Ｖｅは次の式で表される。

【００７０】ＶＲ＝ＳＲ・・・（１５）Ｖｅ＝Ｓｅ／（ｎ−２）・・・（１６）ＳＲ＝Ｓｘｙ²／Ｓｘｘ・・・（１７）Ｓｅ＝Ｓｙｙ−ＳＲ・・・（１８）なお、Ｓｘｘ，Ｓｙｙ，Ｓｘｙは上記の式（７）〜
（９）と同様である。

【００７１】従って、次の（１９）式を満たすとき、有
意水準αで仮説Ｈ０を棄却する。Ｆｏ≧Ｆ（１，ｎ−２，α）・・・（１９）検定の結果、計算した回帰直線が有意であればステップ
Ｓ４１０に進み、有意でなければステップＳ４１１に進
む。ステップＳ４１１では、得られた回帰直線は用い
ず、事前に得ている平均的な値の傾き及び切片を持つ回
帰直線を用いる。

【００７２】ステップＳ４１０において、図１１に示す
ように、得られた回帰直線から危険な走行状態を意味す
る予め定められた平均横偏位量の基準値Ｄ（例えば１
ｍ）に対する平均閉眼時間比Ｒを求め、平均閉眼時間比
Ｒを運転に危険な平均閉眼時間比として、計測開始から
の経過時間ｔ、すなわち現在時刻における平均閉眼時間
比ｃｒｎの危険な平均閉眼時間比Ｒに対する比率ｃｒｎ
／Ｒを求め、この比率ｃｒｎ／Ｒを覚醒レベルとする。
この比率ｃｒｎ／Ｒが１以上のときは覚醒レベルは危険
なレベルである。

【００７３】なお、上記では危険な走行状態を意味する
平均横偏位量の基準値Ｄとして隣接車線にはみ出すこと
に相当する量である１ｍに設定したが、走行環境に応じ
て、この値を変更することも可能である。

【００７４】ステップＳ４１１では、事前に蓄えられて
いる複数の運転者の特徴から得た平均的な値の傾き、及
び平均的な切片を持つ回帰直線を用いて、ステップＳ４
１０と同様の処理を行う。

【００７５】ステップＳ４１２では、覚醒レベルを出力
する。ただし、ｔ≦ｔｄのときは、平常値を計測中であ
るので、覚醒レベルは出力しない。ｔ＞ｔｄのときステ
ップＳ４１０またはステップＳ４１１で推定された覚醒
レベルの値を運転者の覚醒状態として、数値表示や、ラ
ンプの点滅速度等によって運転者に報知する。また、出
力された覚醒レベルを、音、振動、香り等によって運転
者を刺激する運転者の覚醒維持装置の入力として用いる
ことも可能である。

【００７６】ステップＳ４１３では、カウンタｎを１増
加し、次の単位測定時間における覚醒度推定処理に移行
する。

【００７７】なお、ステップＳ４０８において、回帰直
線を求める際、計測時間から一定時間以上経ても、計測
された平均閉眼時間ｃｎが平常値ｃｏに対して変化する
ことがなく、覚醒度の低下が見られない場合は、単位計
測時間Ｔ毎に得られる平均閉眼時間ｃｎと平均横偏位量
ｄｎとを間引きして、回帰直線を求める演算に使用しな
いようにすることも可能である。この方法によって、さ
らに時間を経て、覚醒度に変化が現れた際に、回帰直線
を的確に求めることができる。

【００７８】上記実施例で説明した画像処理によるまば
たき検出は運転者に装着しなくても良いため、運転者に
負担をかけないという点で望ましいが、運転者のまぶた
に電極を貼着して眼電位を測定し、眼電位波形から、ま
ぶたの開閉を検出する方法を用いることもできる。

【００７９】上記実施例では、まばたきパラメータ抽出
部において、まばたきパラメータとして閉眼時間を用い
た例を説明したが、本発明はこれに限定されることはな
く、まぶたが動いたときの振幅、まばたきの発生間隔時
間等を用いて覚醒度を推定することも可能である。

【００８０】また，上記実施例の車両状態検出部におい
て、車両の状態量である横偏位量Ｙは、車速とハンドル
操舵量とに基づいて求めたが、車両に横加速度センサを
取付け、その出力値を２階積分しても求めてもよい。

【００８１】

【発明の効果】以上説明したように、請求項１、２の発
明によれば、計測開始時から個人の特徴を把握している
ので、事前に個人の特徴を学習させることなく、また、
その状況における個人差に応じた状態を自動車の運転作
業からそのまま得られたデータに基づいて得ているの
で、適切な覚醒度を検出することができる、という効果
がえられる。

【図面の簡単な説明】

【図１】本実施例の基本的な構成を示すブロック図であ
る。

【図２】図１のまばたき検出部の詳細を示すブロック図
である。

【図３】図１のまばたきパラメータ抽出部の詳細を示す
ブロック図である。

【図４】図１の車両状態抽出部の詳細を示すブロック図
である。

【図５】まばたき検出部の処理ルーチンを示す流図であ
る。

【図６】（ａ）は目画像の原画像、（ｂ）は原画像から
得られる１次元原画像、（ｃ）は１次元原画像から得ら
れる１次元エッジ画像を各々示す線図である。

【図７】平均閉眼時間と平均横偏位量との時間推移を示
す線図である。

【図８】平均閉眼時間と平均横偏位量との相関および一
次回帰直線を示す線図である。

【図９】覚醒度検出部の処理ルーチンを示す流図であ
る。

【図１０】（ａ）は運転開始から数分経過後（覚醒度が
高い状態）の平均閉眼時間の平常値に対する比と平均横
偏位量との相関を示す線図、（ｂ）は覚醒度が低下傾向
にある状態の平均閉眼時間の平常値に対する比と平均横
偏位量との相関を示す線図、（ｃ）は覚醒度が低下した
状態の平均閉眼時間の平常値に対する比と平均横偏位量
との相関を示す線図である。

【図１１】平均閉眼時間と平均横偏位との相関から得ら
れた一次回帰直線を示す線図である。

【図１２】（１）はフレームメモリに格納された顔画
像、（２）は顔の２値画像、（３）は目の輪郭の濃淡画
像、（４）は目の輪郭の２値画像を各々示す図である。

【図１３】修正操舵量の抽出方法を説明するための線図
である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者中野倫明愛知県愛知郡長久手町大字長湫字横道41 番地の１株式会社豊田中央研究所内 (72)発明者山本新愛知県愛知郡長久手町大字長湫字横道41 番地の１株式会社豊田中央研究所内 (56)参考文献特開平６−144071（ＪＰ，Ａ) 特開平５−85221（ＪＰ，Ａ) 特開昭56−21920（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) B60K 28/06 G08G 1/16 A61B 5/18

Claims

(57)【特許請求の範囲】

【請求項１】運転者のまぶたの動きから閉眼時間、ま
ぶたの開度、まぶたの動きの振幅、まばたきの頻度、ま
ばたきの発生間隔時間、及びこれらの平均値のいずれか
１つで表されるまばたきパラメータを抽出する抽出手段
と、目標走行軌跡からの車両の横偏位量を検出する横偏位量
検出手段と、まばたきパラメータと車両の横偏位量とに基づいて、ま
ばたきパラメータと車両の横偏位量との相関関係を表す
回帰式を演算する回帰式演算手段と、前記回帰式が統計的に有意か否かを検定する有意性検定
手段と、有意と検定された回帰式に基づいて運転者の覚醒度を検
出する覚醒度検出手段と、を含む運転者の覚醒度検出装置。
【請求項２】前記まばたきパラメータ検出手段は、目
を含む領域の濃淡画像を入力し、該領域においてまばた
き方向の基準線上の画素の濃淡変化を表す１次元画像を
抽出すると共に、前記１次元画像に基づいて前記基準線
上の画素毎の濃淡変化の大きさを表す１次元エッジ画像
を算出するエッジ画像算出手段と、前記１次元エッジ画
像における濃淡変化の極値に基づいて上まぶたと眼球と
の境界を示す第１の境界点及び下まぶたと眼球との境界
を示す第２の境界点を検出するまぶた検出手段と、検出
した第１の境界点と第２の境界点とに基づいてまばたき
パラメータを演算するパラメータ演算手段と、を含む請
求項１記載の運転者の覚醒度検出装置。