JP4727688B2

JP4727688B2 - 覚醒度推定装置

Info

Publication number: JP4727688B2
Application number: JP2008112860A
Authority: JP
Inventors: 拓寛大見
Original assignee: Denso Corp; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2008-04-23
Filing date: 2008-04-23
Publication date: 2011-07-20
Anticipated expiration: 2028-04-23
Also published as: JP2009261516A; US8823792B2; US20090268022A1

Description

本発明は、人の覚醒度を推定する覚醒度推定装置に関する。

運転者の支援などに利用するために、運転者の覚醒状態を推定する装置が各種提案されている。例えば、特許文献１に記載の装置では、運転者の開眼度を検出し、その検出した開眼度と開眼度の基準値との偏差に基づいて覚醒度を判定する。この開眼度の基準値は、運転者が発話しているときや運転者自らの意志で運転操作を行っているときなどの運転者が起きていると判断できるときの開眼度データに基づいて設定される。
特開２００６−１０９９８０号公報特開平１１−３３９２００号公報特許第３６３８９８０号公報特開２００７−１１７６０８号公報

しかし、発話や自らの意志で運転操作を行っている場合でも、運転者の覚醒度が低下している場合も十分に有り得る。そのような場合のデータを用いて開眼度の基準値を設定した場合、適正な基準値となっていなので、覚醒度を高精度に推定することはできない。また、このような覚醒度相関値の基準値や覚醒度推定関数などを統計的な手法で設定した場合には個人差によって覚醒度の推定結果にバラツキが生じる。同じ個人であってもその日のコンディションなどによって覚醒度の推定結果に個人内差が生じる。さらに、このような推定結果に基づいて覚醒を促すためのアクチュエーションを行う場合、アクチュエーションが遅れたりあるいは無用なアクチュエーションであったりする。

そこで、本発明は、人の覚醒度を高精度に推定する覚醒度推定装置を提供することを課題とする。

本発明に係る覚醒度推定装置は、車両の運転者の覚醒度相関値と覚醒度相関値の基準値との偏差又は運転者の覚醒度相関値を変数とした覚醒度推定関数によって運転者の覚醒度を推定する覚醒度推定装置であって、運転者が走行中に車両位置が路面上に覚醒目的で設置された溝のある道路区間、覚醒を意図して設置された明るいトンネルのいずれかを含む覚醒路区間か否か、車両位置がＥＴＣゲート、交通規制、速度監視装置、電光掲示板、近接車両、緊急車両のいずれかが存在する緊張路区間か否か、車両位置が車線維持支援装置、車線逸脱警報装置、衝突軽減装置、運転者に対して覚醒を促すための冷風出力、シート振動、シートベルト引き込み、ステアリング振動、警報出力、画面表示、音声出力のいずれかを含むアクチュエーション装置のいずれかの装置のアクチュエーションが作動している覚醒促進アクチュエータ作動区間か否かのいずれかの判断により、覚醒度が向上するような刺激を付与されたことを検知する刺激付与検知手段と、刺激付与検知手段で車両位置が覚醒路区間、緊張路区間、覚醒促進アクチュエータ作動区間のいずれかの区間と判定した場合に判定された区間又は該区間の直後の区間における覚醒度相関値の基準値又は覚醒度推定関数によって推定された運転者の覚醒度と判定された区間の直前の区間における覚醒度相関値の基準値又は覚醒度推定関数によって推定された運転者の覚醒度とを比較し、該比較結果に基づいて判定された区間又は該区間の直後の区間における覚醒度相関値の基準値又は覚醒度推定関数によって推定された運転者の覚醒度が覚醒効果を示す値でない場合に運転者の覚醒度を推定する際に用いる覚醒度相関値の基準値又は覚醒度推定関数を判定された区間又は該区間の直後の区間で運転者の覚醒度が覚醒効果を示す値になるように補正する補正手段とを備えることを特徴とする。

この覚醒度推定装置では、刺激付与検知手段により人が外部から刺激が付与されたか否かを検知する。人は、外部から刺激を付与された場合、覚醒度が向上し、それに応じて覚醒度相関値も変化する。そこで、刺激付与検知手段で刺激が付与されたことを検知した場合、覚醒度推定装置では、補正手段により覚醒度相関値の基準値又は覚醒度推定関数を補正する。そして、覚醒度推定装置は、人の覚醒度相関値と覚醒度相関値の基準値との偏差又は人の覚醒度相関値を変数とした覚醒度推定関数によって覚醒度を推定する。このように、覚醒度推定装置では、人が外部から刺激を受けた場合（つまり、覚醒度が確実に向上しているとき）に覚醒度を推定する際の覚醒度相対値の基準値又は覚醒度推定関数を補正するので、この基準値又は関数を用いることにより覚醒度を高精度に推定することができる。

なお、覚醒度相関値は、人の覚醒度に応じて変化する値であり、例えば、生理情報があり、瞬目情報、視線情報、心拍情報、呼吸情報、脳波情報、皮膚電気活動情報がある。外部からの刺激は、人の覚醒度が向上するような外部からの刺激であり、例えば、音、光、振動などによる刺激、特に、運転者が対象の場合にはＥＣＴゲートや交通規制などの道路環境による刺激がある。

本発明の上記覚醒度推定装置では、運転者が外部から付与される刺激は、運転者が緊張するＥＴＣゲート、交通規制、速度監視装置、電光掲示板、近接車両、緊急車両のいずれかを含む道路環境又は周辺環境を視認したときに受ける緊張刺激を含む複数の刺激であり、覚醒度相関値は、開眼度、開眼時間、瞬目時間、瞬目回数のいずれかを含む複数の瞬目特徴量であり、補正手段は、刺激付与検知手段で検知した刺激が緊張刺激の場合、緊張刺激でない場合と補正の仕方を異ならせる構成としてもよい。

この覚醒度推定装置では、刺激付与検知手段で緊張刺激が付与されたことを検知した場合、瞬目回数を含む瞬目特徴量の基準値又は瞬目特徴量を変数とする覚醒度推定関数の補正の仕方を緊張刺激でない場合と異ならせる。人が緊張する刺激を受けた場合には視線が停留し、瞬きをしなくなるかあるいは通常より極端に瞬きの回数が少なくなる場合があるので、緊張刺激を受けて覚醒状態になったときと他の刺激を受けて覚醒状態になったときとでは瞬目特徴量が異なる。そこで、緊張刺激の場合には補正の仕方を変えることにより、覚醒度相関値の基準値又は覚醒度推定関数に対してより適切な補正を行うことができる。

本発明は、人が外部から刺激を受けた場合に覚醒度を推定する際の覚醒度相対値の基準値又は覚醒度推定関数を補正することにより、覚醒度を高精度に推定することができる。

以下、図面を参照して、本発明に係る覚醒度推定装置の実施の形態を説明する。

本実施の形態では、本発明に係る覚醒度推定装置を、車両に搭載され、運転者の眠気度（覚醒度に相当）を推定する眠気度推定装置に適用する。本実施の形態に係る眠気度推定装置では、運転者の複数個の瞬目特徴量（覚醒度相関値に相当）を一定時間毎に検出し、この複数個の瞬目特徴量を変数とした眠気度推定関数（覚醒度推定関数に相当）を用いて眠気度を推定する。そして、本実施の形態に係る眠気度推定装置では、眠気度が運転に支障をきたすレベルの場合（覚醒度が低下した場合）には運転者に対して覚醒を促す刺激を与える。

図１〜図５を参照して、本実施の形態に係る眠気度推定装置１について説明する。図１は、本実施の形態に係る眠気度推定装置の構成図である。図２は、図１の画像処理部で検出した開眼度の時系列データの一例である。図３は、一回の瞬目における瞬目時間の頻度分布の一例である。図４は、眠気度の推定結果の一例である。図５は、眠気度の特徴を示す表である。

眠気度推定装置１は、眠気度を高精度に検出するために、運転者が外部から刺激を受ける区間（覚醒区間）を走行したときに眠気度推定関数で推定した眠気度が覚醒効果を示す値でない場合に眠気度推定関数を補正する。眠気度推定装置１は、カメラ１０、近赤外線投光器１１、車両位置検出手段１２、アクチュエーション手段２０及びＥＣＵ[Electronic Control Unit]３０を備えている。

カメラ１０は、運転者の顔を含む領域を撮像するカメラであり、近赤外線を含む波長の光の輝度に応じた画像を生成する。カメラ１０は、夜間においても安定した撮像を行うために、近赤外線投光器１１の発光波長に対して十分な感度を有することが望ましい。カメラ１０は、インストルメントパネルあるいはステアリングコラムなどに運転者の顔の方向に向けて取り付けられている。カメラ１０では、一定時間毎（例えば、１／３０秒）毎に撮像し、各フレームの画像情報をＥＣＵ３０に送信する。

近赤外線投光器１１は、カメラ１０により鮮明な画像を得るために、運転者の顔周辺に近赤外線を照射する投光器である。近赤外線投光器１１は、カメラ１０の近傍に配置され、運転者の顔の方向に向けて取り付けられる。近赤外線投光器１１は、カメラ１０が作動中に運転者の顔周辺に近赤外線を照射する。カメラ１０と近赤外線投光器１１は、眠気度推定装置１が起動すると起動し、眠気度推定装置１が停止すると停止する。

このように、近赤外線の撮像手段を用いる理由としては、投光によって運転者に眩しく感じさせないこと及び夜間でも安定して撮像するためである。

車両位置検出手段１２は、自車両の位置を検出する手段であり、例えば、ＧＰＳ受信機、ナビゲーション装置である。車両位置検出手段１２では、一定時間毎に、車両位置を検出し、その車両位置情報をＥＣＵ３０に送信する。

アクチュエーション手段２０は、運転者に対して覚醒を促すためのアクチュエーションを行う各種手段であり、例えば、エアコン（冷風など）、シートを振動させる手段、シートベルトを引き込む手段、ステアリングを振動させる手段、警報手段、運転者に覚醒度が低下している現状を知らせる手段（ディスプレイ、スピーカなど）がある。アクチュエーション手段２０では、ＥＣＵ３０からアクチュエーション制御信号を受信すると、アクチュエーション制御信号に応じて作動する。また、運転者が眠くなっていることを自覚し、運転者自らが覚醒度を向上させたいときに押すボタンが設けられている場合、アクチュエーション手段２０では、そのボタンからのＯＮ信号を受信し、ＯＮ信号に応じて作動する。

ＥＣＵ３０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]及び画像処理装置、時間計測手段３３（タイマ）などからなり、眠気度推定装置１を統括制御する。ＥＣＵ３０は、一定時間毎に、カメラ１０からの画像及び車両位置検出手段１２からの車両位置を受信する。そして、ＥＣＵ３０は、一定時間毎に、この受信した情報を用いて画像処理部３１、状態推定部３２で各処理を行い、眠気度を推定する。さらに、ＥＣＵ３０では、眠気度が運転に支障をきたすレベルの場合、アクチュエーション手段２０にアクチュエーション制御信号を送信する。

本実施の形態では、車両位置検出手段１２及びＥＣＵ３０の状態推定部３２での処理が特許請求の範囲に記載する刺激付与検知手段に相当し、ＥＣＵ３０の状態推定部３２での処理が特許請求の範囲に記載する補正手段に相当する。

画像処理部３１について説明する。画像処理部３１では、撮像画像から運転者の目を認識し、その目領域の画像を抽出する。目の認識方法は、どのような方法でもよく、従来の方法を利用する。そして、画像処理部３１では、目領域画像から開眼度を検出する。図２には、開眼度の時系列データを示しており、開眼度が小さくなり下に凸になっている部分が瞬目である。

状態推定部３２について説明する。状態推定部３２では、一定時間毎に、画像処理部３１から開眼度を入力する。状態推定部３２では、一定時間毎の開眼度の時系列データを現時点から過去の所定時間分を順次バッファリングしている。そして、状態推定部３２では、設定される時間分の開眼度の時系列データを解析し、複数個の瞬目特徴量を抽出する。瞬目特徴量としては、開眼時の開眼度、一回の平均瞬目時間、瞬目時間の偏差、単位時間当たりの総閉眼時間、瞬目回数などがある。

図３には、一回の瞬目時間を横軸とし、各瞬目時間での瞬目頻度を縦軸とした頻度分布を示しており、実線で示す分布Ｄａが眠気時であり、破線で示す分布Ｄｂが覚醒時である。眠気時の分布Ｄａは、一回の瞬目時間が長く、分布の標準偏差が大きい。逆に、覚醒時の分布Ｄｂは、一回の瞬目時間が短く、分布の標準偏差も小さい。ここに一例を示したように、眠気時と覚醒時において、瞬目の特徴量が明らかに異なっており、瞬目特徴量から眠気度を判別できる。

そこで、これらの複数個の瞬目特徴量を変数として、眠気度推定関数によって眠気度を推定する。眠気度推定関数は、複数個の瞬目特徴量を変数として眠気度を推定するための関数であり、眠気度Ｄ＝ｆ_１（開眼時の開眼度）＋ｆ_２（一回の平均瞬目時間）＋ｆ_３（瞬目時間の偏差）＋ｆ_４（単位時間当たりの総閉眼時間）＋ｆ_５（瞬目回数）＋・・・である。各項のｆ_１（）、・・・にはそれぞれ係数があり、係数は運転開始時にはデフォルト値が設定され、それ以降では必要に応じて補正される。この係数のデフォルト値は、多数の被験者の瞬目特徴量データと官能評価値から統計的に求めた値である。

眠気度Ｄは、決まったレベル分類があるわけではないが、ここでは以下のように定義して説明する０〜５の値である。図５に示すように、眠気度Ｄが０は、全く眠くなさそうな状態であり、視線移動が速く頻繁であり、瞬きの周期は安定しており、瞬きは動きが活発で身体の動きを伴う。眠気度Ｄが１は、やや眠そうな状態であり、視線移動が遅くなり、唇が開く。眠気度Ｄが２は、眠そうな状態であり、瞬きはゆっくりと頻繁であり、口の動きがあり、あくびも出始め、座り直しや顔に手をやるなどの動きがある。眠気度Ｄが３は、かなり眠そうな状態であり、意識的と思われる瞬きがあり、瞬きも視線の動きも遅く、あくびが頻発し、深呼吸もみられ、頭を振るなどの動き、肩の上下道などの無用な体全体の動きがある。眠気度Ｄが４は、非常に眠そうな状態であり、瞼を閉じ、頭が前に傾いたりあるいは後ろに倒れたりする。眠気度Ｄが５は、眠っている状態である。

状態推定部３２では、運転開始直後か否かを判定し、運転開始直後の初回処理時にデフォルト値の各係数からなる眠気度推定関数を生成する。

デフォルトの眠気度推定関数を生成した以降、状態推定部３２では、覚醒区間か否かを判定する。覚醒区間は、運転者が外部からの各種刺激を受けて覚醒していると推測できる区間であり、覚醒路区間、緊張路区間、覚醒促進アクチュエータ作動区間がある。したがって、覚醒区間と判断された場合、覚醒度が向上するような刺激を運転者が外部から受ける区間を走行していることが検知されたことに相当する。

覚醒路区間は、運転者に対して覚醒を促すための設備が道路側に設けられた区間であり、運転者は道路上の設備に応じて発生する刺激を受ける区間である。そのような設備のある道路としては、例えば、路面上に覚醒目的で設置された溝のある道路、覚醒を意図して設置された明るいトンネルがある。覚醒路区間か否かの判断は、車両位置検出手段１２で検出される車両位置と地図データベースに格納される覚醒路区間の位置情報とを比較することにより判断する。また、車両に設置された外界カメラや振動センサから覚醒路区間を認識してもよい。

緊張路区間は、運転者が緊張し、運転にかかる心理的負荷が高くなるような道路環境や周辺環境を運転者が視認できる区間であり、運転者はそのような道路環境や周辺環境による緊張刺激を受ける区間である。そのような環境としては、例えば、ＥＴＣゲート、交通規制、速度監視装置、電光掲示板、近接車両、緊急車両がある。緊張路区間か否かの判断は、位置が予め判っているものの場合（ＥＴＣゲート、速度監視装置、電光掲示板など）、車両位置検出手段１２で検出される車両位置と地図データベースに格納されるその位置情報とを比較することにより判断する。また、位置が予め判っていないものの場合（交通規制など）、車両位置検出手段１２で検出される車両位置とＶＩＣＳなどで取得した位置情報とを比較することにより判断する。また、車両周辺の移動体が対象の場合（近接車両、緊急車両など）、車両検知手段や警報音検知手段や緊急車両が発する電波の受信手段などの情報を利用して判断する。

覚醒促進アクチュエータ作動区間は、運転者に対して覚醒を促すために車両側からのアクチュエーションが作動しているときの区間であり、運転者は各アクチュエーションの作動による刺激を受ける区間である。そのようなアクチュエーションの作動としては、例えば、ＬＫＡ[Lane Keeping Assist system]の作動（操舵支援など）、ＬＤＷ[Lane Departure Warning]の作動（警報出力など）、ＰＣＳ[Pre-Crash Safety]の作動（ブレーキ支援、シートベルト支援など）、アクチュエーション手段２０の作動がある。覚醒促進アクチュエータ作動区間か否かの判断は、ＬＫＡ、ＬＤＷ、ＰＣＳの場合、これらのシステムからの作動情報に基づいて判断する。また、アクチュエーション手段２０の場合、アクチュエーション手段２０の作動情報に基づいて判断する。

覚醒区間と判定した場合、状態推定部３２では、覚醒区間＋所定時間における開眼度の時系列データから求めた複数の瞬目特徴量から推定した眠気度Ｄと覚醒区間直前における開眼度の時系列データから求めた複数の瞬目特徴量から推定した眠気度Ｄとを比較して覚醒効果が出ているか否か（具体的には、（覚醒区間直前における眠気度Ｄ）−（覚醒区間＋所定時間における眠気度Ｄ）が０．５以下か否か）を判定するとともに覚醒区間＋所定時間における開眼度の時系列データから求めた瞬目特徴量から推定した眠気度Ｄが１以下になっているか否かを判定する。つまり、覚醒区間を通過することによって、その区間で受ける刺激で運転者に覚醒効果が出るため、推定される眠気度Ｄが覚醒区間を通過する前に比べて小さくなりかつ１以下になっていると考えられる。このような覚醒効果が出ていない眠気度Ｄが推定された場合、その眠気度Ｄを推定した眠気度推定関数が適切なものでないと判断する。そこで、状態推定部３２では、（覚醒区間直前における眠気度Ｄ）−（覚醒区間＋所定時間における眠気度Ｄ）が０．５以下でありかつ（覚醒区間＋所定時間における眠気度Ｄ）が１より大きい場合には眠気度推定関数が適切でないと判断し、眠気度推定関数を補正する。

覚醒路区間の場合、覚醒効果が表れるタイミングが異なるので、覚醒路区間に応じて以下のようなタイミングで判定する。道路面上に溝が設置されている場合、最初の溝を通過してから数秒経過してから２０秒〜３０秒の開眼度の時系列データから眠気度を推定し、その眠気度と最初の溝を通過する直前の開眼度の時系列データから推定した眠気度とを比較して判断する。明るいトンネルの場合、夜間暗い状態でトンネルに入ったときには比較的早く覚醒効果が出るが、長いトンネルの場合にはその明るい環境に慣れて覚醒効果が薄れてくるので、トンネル突入後の数秒経過してから２０秒〜３０秒の開眼度の時系列データから眠気度を推定し、その眠気度とトンネル突入直前の開眼度の時系列データから推定した眠気度とを比較して判断する。昼間明るい状態でトンネルに入ったときには暗い状態よりも覚醒効果が表れ難くいが、トンネル環境に慣れるまでは覚醒効果があると考えられるので、同様とする。

緊張路区間の場合、緊張対象物を確実に視界に捉える場所（例えば、約１００ｍ手前）から緊張による一時的な覚醒が起きると考え、その時点から緊張対象物を通過するまでの区間の開眼度の時系列データから眠気度を推定し、その眠気度と緊張路区間になる直前の開眼度の時系列データから推定した眠気度とを比較して判断する。

覚醒促進アクチュエータ作動区間の場合、アクチュエーションが作動した直後には瞬間的に運転者の顔の表情や体動に変化が起こるものと考え、アクチュエーションの作動直後から２０〜３０秒間の開眼度の時系列データから眠気度を推定し、その眠気度とアクチュエーションが作動直前の開眼度の時系列データから推定した眠気度とを比較して判断する。

眠気度推定関数の補正が必要と判断した場合、状態推定部３２では、覚醒区間＋所定時間における開眼度の時系列データから求めた複数の瞬目特徴量から推定した眠気度Ｄから０．５を減算し、この減算した眠気値となるように眠気度推定関数の各項の係数をそれぞれ算出し、新たな眠気度推定関数を生成する。なお、眠気度Ｄが１となるように眠気度推定関数の各項の係数をそれぞれ算出してもよいが、運転者が覚醒区間を通過して覚醒しているという前提が誤っている可能性もあるので、この程度の補正に留めている。

係数の再設定は、基本的には、眠気度推定関数に含まれる全ての項の係数を対象とする。しかし、瞬目特徴量の中には受けた刺激によっては他の刺激と異なる変化をする場合があるので、そのような刺激の場合にはその瞬目特徴量の項の係数の再設定は行わないようにしてもよい。例えば、緊張路区間での刺激を受けた場合、視線が停留し、瞬きをしなくなるかあるいは通常より極端に瞬きの回数が少なくなる（したがって、他の刺激を受けた場合と瞬目回数が明らかに異なる）。そこで、係数の再設定する際に、瞬目回数の項の係数は変更しないようにする。

例えば、開眼時の開眼度、一回の平均瞬目時間、瞬目時間の偏差、単位時間当たりの総閉眼時間、瞬目回数の５つの瞬目特徴量を変数とした眠気度推定関数とし、デフォルトの係数としてｆ_１（開眼時の開眼度）については０．４、ｆ_２（一回の平均瞬目時間）については０．２、ｆ_３（瞬目時間の偏差）については０．３、ｆ_４（単位時間当たりの総閉眼時間）については０．１、ｆ_５（瞬目回数）については０．５だったとする。そして、このデフォルトの眠気度推定関数により覚醒区間＋所定時間における各瞬目特徴量で算出すると、眠気度Ｄが１．５だったとする。この場合、眠気度Ｄの１．５から０．５を減算して、眠気度Ｄが１．０になるように眠気度推定関数の各項の係数を算出する。デフォルトの係数の合計が１．５なので、この１．５が１．０になるようにするためには、各項の相対比率を変えないように算出すると各係数が２／３になるので、係数はｆ_１（開眼時の開眼度）については０．２７、ｆ_２（一回の平均瞬目時間）については０．１３、ｆ_３（瞬目時間の偏差）については０．２、ｆ_４（単位時間当たりの総閉眼時間）については０．０７、ｆ_５（瞬目回数）については０．３３になる。特に、緊張路区間の場合、瞬目回数を変更しないので、瞬目回数の項のデフォルトの係数が０．５であり、瞬目回数以外の各項の係数の合計が１．０なので、この１．０が０．５になるようにするためには、各項の相対比率を変えないように算出すると各係数が１／２になるので、係数はｆ_１（開眼時の開眼度）については０．２、ｆ_２（一回の平均瞬目時間）については０．１、ｆ_３（瞬目時間の偏差）については０．１５、ｆ_４（単位時間当たりの総閉眼時間）については０．０５になり、ｆ_５（瞬目回数）については０．５のままである。

眠気度Ｄを求める毎に、状態推定部３２では、その眠気度Ｄが覚醒刺激付与レベル以上か否かを判定する。覚醒刺激付与レベルは、運転者が運転に少しでも支障をきたすほど覚醒状態が低いレベル（眠気が強くなっているレベル）であるか否かを判定するための閾値であり、例えば、眠気度Ｄが２程度の値が設定される。状態推定部３２では、今回の眠気度が覚醒刺激付与レベル以上と判定した場合、運転者に覚醒刺激を与えるためあるいは運転者に現状の眠気状態を知らせるためのアクチュエーション制御信号を生成し、そのアクチュエーション制御信号をアクチュエーション手段２０に送信する。このアクチュエーションによる刺激の度合いとしては、一定でもよいし、あるいは、眠気度Ｄが大きいほど大きな刺激を与えるようにしてもよい。また、眠気度Ｄが小さいときには音声などで運転者に現状の眠気状態を知らせ、眠気度Ｄが大きくなると運転者に振動などを与えるようにしてもよい。

図４には、三三七拍子の振動が車両に伝わるような溝がある覚醒路区間を走行したときに、眠気度推定関数を補正した場合の眠気度推定結果の時系列データＥ１と眠気度推定関数を補正しない場合の眠気度推定結果の時系列データＥ２を示している。このような路面に掘られた溝をタイヤが通過する際に発生する音と振動が運転者に伝わり、運転者に覚醒を促すが、特に、三三七拍子のリズムが効果的とされている。このような覚醒路区間を通過中や通過後の暫くの間は覚醒状態となるので、このときに眠気度推定関数を補正すると、運転者個々のそのときの状態に応じた眠気度推定関数となる。したがって、眠気度推定関数を補正した以降、補正した場合の時系列データＥ１は、補正しない場合の時系列データＥ２と比較すると、運転者の眠気度（覚醒度）をより正確に表している。

図１を参照して、眠気度推定装置１の動作について説明する。特に、ＥＣＵ３０の状態推定部３２での処理について図６のフローチャートに沿って説明する。図６は、図１のＥＣＵの状態推定部における処理の流れを示すフローチャートである。ＥＣＵ３０では、以下で説明する処理を一定時間毎に繰り返し行う。

眠気度推定装置１が起動されると、カメラ１０、近赤外線投光器１１も起動する。近赤外線投光器１１では、運転者の顔周辺に近赤外線を照射する。カメラ１０では、一定時間毎に、運転者の顔を含む周辺領域を撮像し、画像をＥＣＵ３０に送信する。また、車両位置検出手段１２では、一定時間毎に、車両位置を検出し、その車両位置情報をＥＣＵ３０に送信する。

ＥＣＵ３０では、カメラ１０からの画像を取得する。ＥＣＵ３０の画像処理部３１では、画像から運転者の顔位置を検出し、その中から顔部品である目、鼻、口などを抽出し、目領域をさらに画像探索することにより瞼形状を検出し、その結果から開眼度を求める。ＥＣＵ３０の状態推定部３２では、画像処理部３１から求めた開眼度を入力とし、開眼度の時系列データを所定時間分バッファリングする（Ｓ１）。

そして、状態推定部３２では、開眼度の時系列データを解析し、複数個の瞬目特徴量を抽出する（Ｓ２）。

状態推定部３２では、時間計測手段３３によって運転開始からの運転経過時間を計測しており、運転経過時間がＴより小さいか否かを判定する（Ｓ３）。Ｓ３にて運転経過時間がＴより小さいと判定した場合、状態推定部３２では、各瞬目特徴量についての項の係数を統計的に求めて設定したデフォルト値とした眠気度推定関数を生成する（Ｓ４）。そして、状態推定部３２では、そのデフォルトの眠気度推定関数により、抽出されている各瞬目特徴量を用いて眠気度Ｄを推定する（Ｓ５）。

Ｓ３にて運転経過時間がＴ以上と判定した場合、状態推定部３２では、前回の処理までで設定されている眠気度推定関数（デフォルトの場合と補正されている場合がある）により、抽出されている各瞬目特徴量を用いて今回の眠気度Ｄを推定する（Ｓ６）。また、ＥＣＵ３０では車両位置を受信し、その車両位置が状態推定部３２に入力される（Ｓ７）。

状態推定部３２では、車両位置などに基づいて覚醒区間か否かを判定する（Ｓ８）。Ｓ８にて覚醒区間でないと判定した場合、眠気度推定関数の補正は行わない。

Ｓ８にて覚醒区間と判定した場合、状態推定部３２では、今回処理で推定した眠気度Ｄが１以下か否かを判定する（Ｓ９）。Ｓ９にて今回の眠気度Ｄが１以下と判定した場合、現在設定されている眠気度推定関数によって眠気度Ｄを適切に推定できているので、眠気度推定関数の補正は行わない。なお、ここで判定に用いる値の「１」は一例であって、この数値に限定するものではない。

Ｓ９にて眠気度Ｄが１より大きいと判定した場合、状態推定部３２では、（前回処理で推定した眠気度Ｄ−今回処理で推定した眠気度Ｄ）が０．５以下か否かを判定する（Ｓ１０）。Ｓ１０にて（前回処理で推定した眠気度Ｄ−今回処理で推定した眠気度Ｄ）が０．５より大きいと判定した場合、現在設定されている眠気度推定関数によって覚醒状態での推定が正しく追従性良く行えていると判断できるので、眠気度推定関数の補正は行わない。

Ｓ１０にて（前回処理で推定した眠気度Ｄ−今回処理で推定した眠気度Ｄ）が０．５以下と判定した場合、現在設定されている眠気度推定関数によって眠気度Ｄを適切に推定できていないと考え、状態推定部３２では、今回処理で推定した眠気度Ｄから０．５を減算し、その減算値を今回の眠気度Ｄとして再設定する（Ｓ１１）。そして、状態推定部３２では、その再設定した今回の眠気度Ｄになるように眠気度推定関数の各項の係数をそれぞれ算出し、眠気度推定関数を補正する（Ｓ１２）。なお、ここで判定や減算に用いる値の「０．５」は一例であって、この数値に限定するものではない。また、減算する値は０．５のような一律の値ではなく、眠気度Ｄのレベルによって異なる値を設定してもよい。なぜなら、眠気度Ｄのレベルによって、同じ覚醒路区間、緊張路区間等であっても、運転者の感受性が異なり、覚醒効果が生じにくい場合があるからである。極端な例では、居眠りしている運転者に対して弱い警報を与えても全く気付かない場合があるが、その時に強制的に眠気度Ｄのレベルを減算補正するのは適切ではない。この眠気度Ｄのレベルによって異なる減算値を設定する方法は、段階的でもよいし、ある閾値を設けて変更してもよいし、覚醒作用の内容と前記の組合せでもよい。

状態推定部３２では、今回の眠気度Ｄが覚醒刺激付与レベル以上か否かを判定する。そして、今回の眠気度Ｄが覚醒刺激付与レベル以上と判定した場合（運転に少しでも支障をきたす程度に覚醒状態が低い場合）、運転者に覚醒を促すために、状態推定部３２では、アクチュエーション制御信号を設定し、そのアクチュエーション制御信号をアクチュエーション手段２０に送信する。

このアクチュエーション制御信号を受信すると、アクチュエーション手段２０では、そのアクチュエーション制御信号に応じて作動する。このアクチュエーション手段２０の作動による覚醒刺激によって、運転者は、覚醒状態が高まり、運転に対する注意力が増す。

この眠気度推定装置１によれば、運転者が外部から刺激を受けている覚醒区間を検知し、その覚醒区間での刺激によって運転者が覚醒状態になっているときに眠気度推定関数を補正することにより、運転者のそのときの状態に応じた眠気度推定関数を生成でき、この眠気度推定関数により運転者の眠気度を高精度に推定することができる。この高精度な眠気度推定により、運転者の覚醒度が低下しているか否かを高精度に判定でき、運転者に覚醒を促すアクチュエーションを適切なタイミングで行うことができる。さらに、不適切なタイミングでのアクチュエーションを減らすことができ、運転者の不快感や不信感を低減させる効果がある。

さらに、眠気度推定装置１では、覚醒区間の場合でも、眠気度推定関数で推定された眠気度を判定し、覚醒効果が出ていないと判断したときだけ眠気度推定関数を補正することにより、眠気度推定関数に対してより適切な補正を行うことができる。

特に、眠気度推定装置１では、緊張路区間については瞬目回数が他の覚醒区間より極端に少なくなることを考慮し、眠気度推定関数の瞬目回数の項の係数を変更しないので、眠気度推定関数に対してより適切な補正を行うことができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載され、車両の運転者の眠気度（覚醒度）を推定する装置に適用したが、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの様々な人の覚醒度を推定するために利用してもよい。

また、本実施の形態では覚醒度相関値として開眼度、瞬目回数などの瞬目特徴量を適用したが、視線方向、心拍状態、呼吸状態、脳波状態、皮膚電気活動などの他の生理情報でもよいし、複数の生理情報を組み合わせてもよい。

また、本実施の形態では運転者が受ける外部刺激として覚醒路区間、緊張路区間、覚醒促進アクチュエーション作動区間で受ける各刺激としたが、これら以外の運転者が外部から受ける刺激としてもよい。対象の人が運転者以外の場合にはその対象の人が受ける外部刺激が適用される。

また、本実施の形態では自車両の位置と地図データから覚醒路区間や緊張路区間か否かを判定する構成としたが、他の方法で覚醒路区間や緊張路区間を判定してもよく、例えば、覚醒を意図して設置された明るいトンネルの場合には車外の明るさの検知によって判定してもよいし、路面上に覚醒目的で設置された溝の場合には車両振動の検知によって判定してもよい。

また、本実施の形態では開眼度などの瞬目特徴量（覚醒度相関値）を変数とした眠気度推定関数によって眠気度を推定し、覚醒区間の場合に眠気度推定関数の係数を補正する構成としたが、覚醒度相関値と覚醒度相関値の基準値との偏差によって覚醒度を推定し、覚醒区間の場合に覚醒度相関値の基準値を補正するようにしてもよい。

また、本実施の形態では覚醒区間を通過中又は通過後の覚醒度が向上したときのデータに基づいて眠気度推定関数を補正する構成としたが、覚醒促進アクチュエータ作動区間において運転者の覚醒度が確実に低下していると判断されるときにはその覚醒度が確実に低下しているときのデータに基づいて眠気度推定関数を補正してもよい。例えば、ＬＫＡやＬＤＷによるアクチュエーションが作動したり、携帯電話や無線電話による呼び出し音など、運転者がびっくりしてヒヤリハット状態の場合、その作動直前では運転者の覚醒度はかなり低下していたと判断できる。そこで、その作動直前に推定された眠気度が３以下であれば（つまり、推定結果が間違っていると判断できる場合には）、眠気度が３以上になるように過去にさかのぼって眠気度推定関数を補正するようにしてもよい。

また、本実施の形態では運転開始時には統計的に求めたデフォルトの眠気度推定関数を生成する構成としたが、運転開始時にカメラの撮像画像などを利用して運転者を個人認証したりあるいは運転者による入力によって運転者個人を特定し、その運転者に対して過去に学習（補正）した眠気度推定関数がある場合には、その眠気度推定関数を読み出し、その運転者個々の眠気度推定関数を設定するようにしてもよい。

本実施の形態に係る眠気度推定装置の構成図である。図１の画像処理部で検出した開眼度の時系列データの一例である。一回の瞬目における瞬目時間の頻度分布の一例である。眠気度の推定結果の一例である。眠気度の特徴を示す表である。図１のＥＣＵの状態推定部における処理の流れを示すフローチャートである。

符号の説明

１…眠気度推定装置、１０…カメラ、１１…近赤外線投光器、１２…車両位置検出手段、２０…アクチュエーション手段、３０…ＥＣＵ、３１…画像処理部、３２…状態推定部、３３…時間計測手段

Claims

車両の運転者の覚醒度相関値と覚醒度相関値の基準値との偏差又は運転者の覚醒度相関値を変数とした覚醒度推定関数によって運転者の覚醒度を推定する覚醒度推定装置であって、
運転者が走行中に車両位置が路面上に覚醒目的で設置された溝のある道路区間、覚醒を意図して設置された明るいトンネルのいずれかを含む覚醒路区間か否か、車両位置がＥＴＣゲート、交通規制、速度監視装置、電光掲示板、近接車両、緊急車両のいずれかが存在する緊張路区間か否か、車両位置が車線維持支援装置、車線逸脱警報装置、衝突軽減装置、運転者に対して覚醒を促すための冷風出力、シート振動、シートベルト引き込み、ステアリング振動、警報出力、画面表示、音声出力のいずれかを含むアクチュエーション装置のいずれかの装置のアクチュエーションが作動している覚醒促進アクチュエータ作動区間か否かのいずれかの判断により、覚醒度が向上するような刺激を付与されたことを検知する刺激付与検知手段と、
前記刺激付与検知手段で車両位置が覚醒路区間、緊張路区間、覚醒促進アクチュエータ作動区間のいずれかの区間と判定した場合に前記判定された区間又は該区間の直後の区間における覚醒度相関値の基準値又は覚醒度推定関数によって推定された運転者の覚醒度と前記判定された区間の直前の区間における覚醒度相関値の基準値又は覚醒度推定関数によって推定された運転者の覚醒度とを比較し、該比較結果に基づいて前記判定された区間又は該区間の直後の区間における覚醒度相関値の基準値又は覚醒度推定関数によって推定された運転者の覚醒度が覚醒効果を示す値でない場合に運転者の覚醒度を推定する際に用いる覚醒度相関値の基準値又は覚醒度推定関数を前記判定された区間又は該区間の直後の区間で運転者の覚醒度が覚醒効果を示す値になるように補正する補正手段と
を備えることを特徴とする覚醒度推定装置。
運転者が外部から付与される刺激は、運転者が緊張するＥＴＣゲート、交通規制、速度監視装置、電光掲示板、近接車両、緊急車両のいずれかを含む道路環境又は周辺環境を視認したときに受ける緊張刺激を含む複数の刺激であり、
覚醒度相関値は、開眼度、開眼時間、瞬目時間、瞬目回数のいずれかを含む複数の瞬目特徴量であり、
前記補正手段は、前記刺激付与検知手段で検知した刺激が緊張刺激の場合、緊張刺激でない場合と補正の仕方を異ならせる請求項１に記載する覚醒度推定装置。