JP2018127112A - 覚醒度推定装置及び覚醒度推定方法 - Google Patents

Abstract

【課題】自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置を提供する。【解決手段】車両では、自動運転モードと手動運転モードとが切替え可能であり、車両の運転情報を検出する車両挙動検出部１１と、検出された運転情報からドライバの第１の覚醒度を認識する第１の覚醒度認識部１２と、ドライバの１以上の生体情報を検出する生体情報検出部１６と、検出された１以上の生体情報からドライバの第２の覚醒度を認識する第２の覚醒度認識部１７と、認識された第１の覚醒度及び第２の覚醒度の少なくとも一方から、ドライバの第３の覚醒度を推定する覚醒度推定部１５とを備える。覚醒度推定部１５は、手動運転モードでは、第１の覚醒度と第２の覚醒度とから、第３の覚醒度を推定し、自動運転モードでは、第２の覚醒度から第３の覚醒度を推定する。【選択図】図１

Description

本開示は、覚醒度推定装置及び覚醒度推定方法に関し、特に車両のドライバの覚醒度を推定する覚醒度推定装置及び覚醒度推定方法に関する。

近年、車両の加速、操舵及び制動などの車両の走行制御を自動的に行う自動運転システムの研究開発が盛んに行われている。

例えば、特許文献１には、アダプティブクルーズコントロール（ＡＣＣ）を利用した自動運転中に、ドライバの運転操作を監視している運転操作検出センサにより検出された運転操作に基づいて、ドライバの覚醒度を推定する覚醒度推定装置が開示されている。なお、覚醒度は、目が醒めている度合いを示す尺度を示す。例えば、ドライバに眠気が生じている場合、覚醒度は低下する。

特許文献１に開示されている覚醒度推定装置は、ドライバのステアリング操作に対応する操舵角の変動パターンを用いてドライバの覚醒度の推定を行い、ドライバの覚醒度が低いと推定した場合、ドライバが眠気を催しているとして、アラーム等を作動させてドライバを覚醒させる。また、アラームの作動が所定回数以上になった場合には、車両のブレーキ装置を作動させて減速させたり、更には強制停止させたりする。このように、特許文献１に開示されている覚醒度推定装置によれば、確実な安全走行を実現することができる。

特開平６−１７１３９１号公報 特開２０１４−１８１０２０号公報 特開２０１６−３８７６８号公報 特開２０１５−２１９７７１号公報

北島、沼田、山本、五井：自動車運転時の眠気の予測手法についての研究（第１報、眠気表情の評定法と眠気変動の予測に有効な指標について）、日本機械学会論文集Ｃ、６３巻６１３号、ｐｐ.３０５９−３０６６、１９９７年９月

しかしながら、上記従来の覚醒度推定装置は、ドライバのステアリング操作に対応する操舵角の変動パターンを用いて覚醒度の推定を行う必要があるという課題がある。つまり、上記従来の覚醒度推定装置は、ドライバがステアリング操作等の運転操作を行う手動運転モードでは、覚醒度の推定を行えるものの、ドライバがステアリング操作等の運転操作をほとんど行わない自動運転モードにおいては覚醒度の推定が行えないという課題がある。

本開示は、上述の事情を鑑みてなされたもので、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置及び覚醒度推定方法を提供することを目的とする。

本開示の一態様に係る覚醒度推定装置は、車両のドライバの覚醒度を推定する覚醒度推定装置であって、前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切り替え可能であり、前記車両の運転情報を検出する車両挙動検出部と、前記車両挙動検出部により検出された前記運転情報から前記ドライバの第１の覚醒度を認識する第１の覚醒度認識部と、前記ドライバの１以上の生体情報を検出する生体情報検出部と、前記生体情報検出部により検出された前記１以上の生体情報から前記ドライバの第２の覚醒度を認識する第２の覚醒度認識部と、前記第１の覚醒度認識部が認識する前記第１の覚醒度、及び、前記第２の覚醒度認識部が認識する前記第２の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第３の覚醒度を推定する覚醒度推定部とを備え、前記覚醒度推定部は、前記手動運転モードでは、前記第１の覚醒度と前記第２の覚醒度とから、第３の覚醒度を推定し、前記自動運転モードでは、前記第２の覚醒度から第３の覚醒度を推定する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示に係る覚醒度推定装置等によれば、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる。

実施の形態における運転支援装置の構成の一例を示すブロック図 図１に示す運転操作部の詳細構成の一例を示すブロック図 図１に示す周辺環境認識部の詳細構成の一例を示すブロック図 図１に示す自車両位置検出部の詳細構成の一例を示すブロック図 図１に示す車両挙動検出部及び第１の覚醒度認識部の詳細構成の一例を示すブロック図 図１に示す生体情報検出部及び第２の覚醒度認識部の詳細構成の一例を示すブロック図 実施の形態における覚醒度推定装置が行う処理の概要を示すフローチャート 実施の形態における覚醒度推定装置が行う動作を説明するためのフローチャート 変形例における運転支援装置の構成の一例を示すブロック図

（本開示の基礎となった知見）
以下、本開示の基礎となった知見について説明する。

上述したように、近年、車両の加速、操舵及び制動などの車両の走行制御を自動的に行う自動運転システムの研究開発が盛んに行われている。自動運転システムには、自動化レベルがあり、広く用いられる自動化レベルはドライバとシステムとの運転に関する役割分担の観点から定義されている。例えば、米国運輸省道路交通***により定義される自動化レベルは、５つのレベルに分類され、手動運転がレベル０に完全自動運転がレベル４に分類される。

現在、多くの車両に搭載されている自動運転システムの自動化レベルは、レベル１である。レベル１は、自動運転ではなく、安全運転支援であるとして定義される。レベル１では、アダプティブクルーズコントロール（ＡＣＣ）またはレーンキープアシスト（ＬＫＡ）等が独立で車両に使用されている状態を示す。したがって、レベル１では、自動運転システムが車両の前後方向または左右方向のどちらか一方の車両制御を行い、ドライバがそれ以外の車両制御と交通状況の監視を行うことになる。また、レベル１では、安全運転の責任は、ドライバに課せられる。

例えば、ＡＣＣを装備した車両の自動運転システムは、先行車がいなければ、予め設定した車速で車両を走行させ、前方に先行車を検出した場合には、予め設定した車間距離を維持するように車速を調整する走行制御を自動的に行う。自動運転システムにより自動的に走行制御されている間、ドライバは、ペダル操作を行う必要がなくなるので、ドライバの運転操作はステアリングの操作のみになり、かなり単調なものになる。そのため、ドライバは、心の余裕が生じ、運転以外の作業を行ったり、覚醒度が低下したりする（眠気が発生する）可能性がある。つまり、ＡＣＣを装備した車両の自動運転システムはドライバに安全運転の責任があるにも関わらず、ドライバはＡＣＣを過信し、周辺環境への注意または監視が疎かになる可能性がある。

このように、ドライバの運転への意識が低下している時に、自動運転システムが突発的に機能限界に陥った場合には、ドライバは、運転において注意すべき対象への反応が遅れたり、対象を見逃したりする可能性が高くなると考えられる。そして、最悪の場合、交通事故に繋がる可能性がある。

そこで、ＡＣＣ利用による快適性とドライバの安全走行とを同時に満たすために、ＡＣＣ等の自動運転の機能利用時に、ドライバの状態、特に覚醒度を監視し、覚醒度が許容値より低下したら、ドライバに注意喚起する技術が提案されている（例えば特許文献１）。

特許文献１には、上述したように、ＡＣＣを利用した自動運転中に、運転操作検出センサにより検出された運転操作に基づいて、ドライバの覚醒度を推定する覚醒度推定装置が開示されている。具体的には、特許文献１に開示されている覚醒度推定装置は、ドライバのステアリングの操舵角の変動パターンを監視し、そのパターンの周波数特徴に基づいて、ドライバの覚醒度の推定を行う。ドライバの覚醒度が低いと推定した場合には、アラーム等を作動させて、ドライバを覚醒させる。そして、アラームの作動が所定回数以上になった場合には、ブレーキ装置を作動させて減速させたり、更には強制停止させたりする。このようにして、特許文献１に開示されている覚醒度推定装置は、確実な安全走行を実現することができる。

現在、次世代の自動運転システムとして、自動化レベルがレベル２である自動運転システムが一部実用化されつつある。レベル２の自動運転システムは、ＡＣＣ及びＬＫＡ等を駆使して、車両の前後方向及び左右方向の車両制御を行うので、ドライバはペダル操作及びステアリング操作を行う必要がない。一方で、レベル２の安全運転の責任は、レベル１と同様にドライバにあるので、ドライバは、自動運転システムの機能限界に備えて、自動運転システム及び周辺環境の監視を常に行う必要がある。

しかしながら、レベル２では、自動運転システムが安定動作している限り、ドライバは運転操作をほとんど行う必要がないため、レベル１以上に、運転への意識または覚醒度が低下する可能性が高くなる。例えば自動運転システムが機能限界に陥った場合または故障した場合には、ドライバは、自動運転システムから運転操作を引き継ぐ必要がある。しかし、ドライバの覚醒度が低下している時に手動運転に切り替わると、ドライバは、車両の運転において注意すべき対象への反応が遅れたり、対象を見逃したりする可能性があり、最悪の場合、交通事故に繋がる可能性もある。

したがって、レベル２以上の自動運転システムを実現するためには、自動運転中のドライバの状態、特に、覚醒度を監視し、覚醒度が許容値より低下した時には、ドライバに注意喚起することで、覚醒度低下に伴う事故を未然に防ぐことが必要である。特に、自動運転中のドライバの覚醒度を精度よく推定する方法が重要な課題である。

一方、特許文献１に開示されている覚醒度推定装置には、上述したように、ＡＣＣを利用したレベル１の自動運転中のドライバの運転操作すなわちドライバのステアリング操作に対応する操舵角の変動パターンに基づいて、ドライバの覚醒度を推定する方法が開示されている。通常、ドライバは、覚醒度が低下すると、ステアリング操作を正確に行えなくなり、急激な操舵角の修正を頻繁に行うようになる。したがって、単位時間における操舵角の変動パターンの周波数特徴を用いてドライバのステアリング操作における操舵角の急激な修正を検出することができるので、その検出結果に基づいて、ドライバの覚醒度の推定を行うことができる。

しかしながら、上述したように、特許文献１に開示されている覚醒度推定装置では、ドライバがステアリング操作等の運転操作をほとんど行わない、レベル２以上の自動運転システムでは、覚醒度の推定が行えないという課題がある。

それに対して、例えば特許文献２または特許文献３では、運転操作以外の情報以外であるドライバの生体情報を用いて、ドライバの覚醒度を推定する方法について開示されている。より具体的には、特許文献２には、車載カメラを用いて取得した自動運転中のドライバの顔画像から、例えばドライバの眼の開き具合である開眼度などのドライバの状態を検出し、ドライバの覚醒度を推定する方法が開示されている。特許文献３には、ウェアラブルな生体センサを用いて検出した、例えば心拍情報や脳波情報などの自動運転中のドライバの生体情報に基づいて、ドライバの覚醒度を推定する方法が開示されている。特許文献２または特許文献３に開示されている方法を用いれば、ドライバの運転操作を用いずに、ドライバの覚醒度を推定することができる。つまり、ドライバが運転操作をほとんど行わない、レベル２以上の自動運転システムにおいても、ドライバの覚醒度を推定することが可能である。

しかしながら、一般的に、生体情報は個人差によるばらつきが大きく、十分な精度が得られないという課題がある。例えば特許文献２に開示されている方法では、ドライバの眼の開き具合である開眼度が小さくなればなるほど、ドライバの眠気が強くなっている、即ち覚醒度が低くなっていると推定する。しかし、普段から眼を大きく開けているドライバと、そうでないドライバが存在するので、同じ基準を用いた開眼度から全てのドライバに対する覚醒度を精度良く推定することはできない。同様に、特許文献３に開示されている方法では、ドライバの心拍情報や脳波を用いて覚醒度を推定しているが、自律神経系及び中枢神経系に関連するこれらの生体情報は、開眼度以上に個人差による精度のばらつきが大きい。したがって、ドライバの生体情報を用いて覚醒度を精度良く推定するためには、生体情報の個人差によるばらつきを吸収する推定方法が必要となる。

それに対して、ドライバの個人差によるばらつきを吸収する方法として、覚醒度を推定する覚醒度推定モデルに学習機能を持たせ、ドライバ個人の覚醒度推定モデルを生成する方法が考えられている。具体的には、ドライバ共通の覚醒度推定モデルに対して、ドライバ個人の教師データを用いて、モデルの学習を逐次的に行うことで、最終的にドライバ個人の覚醒度推定モデルを生成する方法が考えられている。

しかしながら、運転中のドライバに対し、ドライバ個人の教師データをどのように生成すればよいかわからないという課題がある。現在、覚醒度推定モデルの教師データとして、例えばドライバ本人の申告による主観評価値、または、ドライバの顔表情ビデオを第３者により主観的に推定された顔表情評定値が最もよく使われている。しかし、運転中のドライバからリアルタイムにこのようなデータを取得することは非常に困難である。

ところで、現在、通常の市街地において、ドライバが乗車して運転を開始してから、目的地に到着して運転を終了するまで、レベル２以上の自動運転モードで常に走行することは、技術的に非常に困難であると考えられる。車両周辺の交通状況を自動運転システムが完全に認識する必要があるが、車両周辺の交通状況を完全に認識するためのインフラの構築が実現されていないからである。よって、当面は、市街地では、レベル０の手動運転モード、または、レベル１の安全運転支援モードを使用し、郊外または高速道路では、レベル２以上の自動運転モードを使用して車両の走行制御を行うことになると考えられる。つまり、当面、ドライバは、周辺環境に応じて、手動運転モードと自動運転モードとを適宜切り替えて、運転することになると考えられる。

そこで、本願発明者は、鋭意検討の結果、手動運転時に、ドライバの生体情報を用いた覚醒度推定モデルを、ドライバの運転操作や車両挙動等の運転情報を用いた覚醒度推定モデルの推定結果を教師データとして学習することによって、生体情報を用いた覚醒度推定モデルの個人差によるばらつきを吸収することができることを見出した。

本開示の一態様に係る覚醒度推定装置は、車両のドライバの覚醒度を推定する覚醒度推定装置であって、前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切り替え可能であり、前記車両の運転情報を検出する車両挙動検出部と、前記車両挙動検出部により検出された前記運転情報から前記ドライバの第１の覚醒度を認識する第１の覚醒度認識部と、前記ドライバの１以上の生体情報を検出する生体情報検出部と、前記生体情報検出部により検出された前記１以上の生体情報から前記ドライバの第２の覚醒度を認識する第２の覚醒度認識部と、前記第１の覚醒度認識部が認識する前記第１の覚醒度、及び、前記第２の覚醒度認識部が認識する前記第２の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第３の覚醒度を推定する覚醒度推定部とを備え、前記覚醒度推定部は、前記手動運転モードでは、前記第１の覚醒度と前記第２の覚醒度とから、第３の覚醒度を推定し、前記自動運転モードでは、前記第２の覚醒度から第３の覚醒度を推定する。

これにより、手動運転モード時と自動運転モード時とで、ドライバの覚醒度を認識する認識部を選択的に用いることができるので、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる。

また、前記覚醒度推定部は、前記自動運転モードでは、前記第２の覚醒度を前記第３の覚醒度とすることにより、前記第２の覚醒度から前記第３の覚醒度を推定するとしてもよい。

また、前記覚醒度推定部は、前記手動運転モードでは、前記第１の覚醒度及び前記第２の覚醒度の信頼度が閾値以上か否かを判定し、前記信頼度が前記閾値以上である前記第１の覚醒度及び前記第２の覚醒度の一方を第３の覚醒度とすることにより、前記第３の覚醒度を推定するとしてもよい。

また、前記覚醒度推定部は、前記手動運転モードでは、前記第１の覚醒度及び前記第２の覚醒度それぞれの信頼度が閾値以上であり、かつ、前記第１の覚醒度及び前記第２の覚醒度が異なる場合、前記第１の覚醒度を前記第３の覚醒度とすることにより、前記第３の覚醒度を推定するとしてもよい。

また、前記覚醒度推定部は、前記手動運転モードにおいて、前記第１の覚醒度と前記第２の覚醒度とが異なる場合、前記第１の覚醒度に基づいて生成した教師データを用いて前記第２の覚醒度認識部が前記第１の覚醒度を認識結果として出力するように、前記第２の覚醒度認識部に学習処理を行わせるとしてもよい。

これにより、手動運転モード時において、第２の覚醒度の推定モデルを、第１の覚醒度から生成した教師データを用いて学習することで、生体情報の個人差による精度のばらつきを吸収することができる。したがって、ドライバの運転情報が利用できないレベル２以上の自動運転システムにおいても、ドライバの覚醒度を精度よく推定することが可能になる。

また、前記学習処理では、前記ドライバの１以上の生体情報と前記ドライバの覚醒度との関係を示している、前記第２の覚醒度認識の覚醒度識別モデルが、前記第１の覚醒度を識別結果として出力されるように更新されるとしてもよい。

また、前記第２の覚醒度認識部は、前記生体情報検出部により検出された複数の生体情報それぞれから、前記ドライバの生理状態に関する生体情報特徴を抽出する生体特徴抽出部と、前記生体特徴抽出部により抽出された複数の生体情報特徴の中から、前記第１の覚醒度から生成された前記教師データと相関の高い生体情報特徴を選択する生体特徴選択部とを備え、前記覚醒度推定部は、前記第２の覚醒度認識部が、前記生体特徴選択部により選択された生体情報特徴を教師データとして用いて、前記第１の覚醒度を認識結果として出力されるように、前記第２の覚醒度認識部に学習処理を行わせるとしてもよい。

また、前記生体情報は、前記ドライバの心拍変動を示す情報であるとしてもよい。

また、前記生体情報は、前記ドライバの顔が映った顔画像であるとしてもよい。

また、前記生体情報は、前記ドライバの体動を示す情報であるとしてもよい。

また、前記運転情報は、前記車両の操舵角を示す情報であるとしてもよい。

また、前記運転情報は、前記車両のアクセルペダル及びブレーキペダルの位置を示す情報であるとしてもよい。

また、前記運転情報は、前記車両の加速度を示す情報であるとしてもよい。

また、上記目的を達成するために、本開示の一態様に係る覚醒度推定方法は、車両のドライバの覚醒度を推定する覚醒度推定方法であって、前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切替え可能であり、前記車両の運転情報を検出する車両挙動検出ステップと、前記車両挙動検出ステップにおいて検出された前記運転情報から前記ドライバの第１の覚醒度を認識する第１の覚醒度認識ステップと、前記ドライバの生体情報を検出する生体情報検出ステップと、前記生体情報検出ステップにおいて検出された前記生体情報から前記ドライバの第２の覚醒度を認識する第２の覚醒度認識ステップと、前記第１の覚醒度認識ステップにおいて認識される前記第１の覚醒度、及び、前記第２の覚醒度認識ステップにおいて認識される前記第２の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第３の覚醒度を推定する覚醒度推定ステップとを含み、前記覚醒度推定ステップにおいて、前記手動運転モードでは、前記第１の覚醒度と前記第２の覚醒度とに基づいて、第３の覚醒度を推定し、前記自動運転モードでは、前記第２の覚醒度に基づいて第３の覚醒度を推定する。

なお、本開示は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

以下、本開示の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
以下、実施の形態に係る運転支援装置について説明する。

［１．運転支援装置１の構成］
図１は、本実施の形態における運転支援装置１の構成の一例を示すブロック図である。

運転支援装置１は、車両に搭載され、運転中のドライバの覚醒度を推定して、推定された覚醒度が所定値より低ければ、ドライバに注意喚起を行うことによって、ドライバの居眠り運転を防止する装置である。本実施の形態では、車両は、車両の走行制御を自動的に行う自動運転モードと、車両の走行制御をドライバの運転操作が行う手動運転とが切り替え可能であるとして以下説明する。

運転支援装置１は、図１に示すように、運転操作部２と、周辺環境認識部３と、自車両位置検出部４と、目標走行状態決定部５と、運転モード選択部６と、車両制御部７と、通知部８と、覚醒度推定装置１０とを備える。

＜運転操作部２＞
図２Ａは、図１に示す運転操作部２の詳細構成の一例を示すブロック図である。

運転操作部２は、ドライバが車両を運転するために操作される。運転操作部２は、例えば図２Ａに示すように、ステアリングホイール２１と、アクセルペダル２２と、ブレーキペダル２３と、シフトレバー等の操舵レバー２４と、運転モードを選択するための運転モード選択スイッチ２５とを備える。なお、運転操作部２が備えるペダルは、アクセルペダル２２と、ブレーキペダル２３とに限らない。また、運転操作部２は、上記以外のものを備えるとしてもよい。

＜周辺環境認識部３＞
図２Ｂは、図１に示す周辺環境認識部３の詳細構成の一例を示すブロック図である。

周辺環境認識部３は、複数のセンサと、複数の認識部とを備え、自車両の周辺環境を認識する。

複数のセンサは、自車両の外部の状況をモニタリングするための各種情報を検出する。複数のセンサは、例えば図２Ｂに示すように、カメラ３１及びレーダ３２を含む。カメラ３１は、例えば車両の外面に少なくとも一つ以上配置され、車線、路面、周囲の障害物等車両の外部の環境を撮像する。レーダ３２は、例えば、車両の前部や後部に配置されたミリ波レーダやレーザーレーダであり、自車両の周囲に存在する車両或いは障害物までの距離及び位置などを測定する。

複数の認識部は、各センサから検出した情報に基づいて、自車両の周辺環境を認識する。複数の認識部は、例えば図２Ｂに示すように、道路形状認識部３３、路面状態認識部３４、及び、周辺物体認識部３５を含む。道路形状認識部３３は、自車両周辺の道路形状を認識する。道路形状認識部３３は、カメラ３１の撮影画像から道路の白線等の車線を認識し、車線の幅、曲率等を検出する。路面状態認識部３４は、自車両前方の路面状態を認識する。路面状態認識部３４は、カメラ３１の撮影画像から、積雪または凍結等の路面の状態を認識する。周辺物体認識部３５は、自車両の周囲に存在する物体を認識する。周辺物体認識部３５は、カメラ３１の撮影画像及びレーダ３２のレーダ情報を用いて、歩行者、自転車、自動二輪車または周囲の他の車両を認識し、認識した物体の大きさ、位置、速度または移動方向等を検出する。

＜自車両位置検出部４＞
図２Ｃは、図１に示す自車両位置検出部４の詳細構成の一例を示すブロック図である。

自車両位置検出部４は、図２Ｃに示すように、ＧＰＳ（Global Positioning System）４１、車両走行位置算出部４２及び地図データ記憶部４３を備え、地図上での自車両の位置を検出する。ＧＰＳ４１は、ＧＰＳ衛星から自車両の位置を示すＧＰＳ情報を受信する。地図データ記憶部４３は、予め地図データを記憶している。車両走行位置算出部４２は、受信したＧＰＳ情報に基づき、地図データ記憶部４３に記憶された地図データにおける自車両の走行位置を算出する。

＜目標走行状態決定部５＞
目標走行状態決定部５は、目標とすべき自車両の走行状態である目標走行状態を決定する。図１に示す例では、目標走行状態決定部５は、周辺環境認識部３から得られる現在の周辺環境情報と、自車両位置検出部４から得られる現在の自車両の位置と、車両挙動検出部１１から得られる現在の自車両の挙動とに基づいて、目標走行状態の情報を算出する。なお、走行状態の情報は、車両の位置、その位置での車両の速度または向き等の車両の走行に関連する情報を含む。目標走行状態は、既知の方法により算出できるのでここでの説明は省略する。

＜運転モード選択部６＞
運転モード選択部６は、車両の運転モードを自動運転モード及び手動運転モードのいずれかに切り替える。図１に示す例では、運転モード選択部６は、運転操作部２の運転モード選択スイッチ２５のドライバによる操作に応じて、運転モードを自動運転モード及び手動運転モードのいずれかに切り替える。

＜車両制御部７＞
車両制御部７は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ等で構成され、現在選択されている運転モードに基づいて、車両の走行制御を行う。例えば、車両制御部７は、自動運転モードでは、目標走行状態決定部５から得られる目標走行状態に基づいて、自車両の加速、操舵及び制動用の各種アクチュエータ並びにＥＣＵ等を制御する。また、例えば、車両制御部７は、手動運転モードでは、運転操作部２に対するドライバのの操作に応じて、自車両の加速、操舵及び制動用の各種アクチュエータ並びにＥＣＵ等を制御する。

＜通知部８＞
通知部８は、例えば、カーナビなどの各種車載ディスプレイ、スピーカまたは振動アクチュエータを内蔵したドライバシート等で構成される。通知部８は、ドライバが選択した運転モードの通知または現在の車両の位置を示す情報を通知する。また、通知部８は、覚醒度推定部１５により推定された覚醒度に応じて、ドライバに予め定められた情報を通知する。例えば、通知部８は、ドライバの覚醒度が所定値より低くなったとき、すなわち、ドライバに所定値以上の眠気が生じていると判断されるときには、ドライバの眠気を覚ますような注意喚起または警告を通知する。

＜覚醒度推定装置１０＞
覚醒度推定装置１０は、本開示における覚醒度推定装置の一例であり、車両走行中のドライバの覚醒度を推定する。以下、図を参照しながら、覚醒度推定装置１０の具体的な構成等について説明する。

［覚醒度推定装置１０の構成］
図３は、図１に示す車両挙動検出部１１及び第１の覚醒度認識部１２の詳細構成の一例を示すブロック図である。図４は、図１に示す生体情報検出部１６及び第２の覚醒度認識部１７の詳細構成の一例を示すブロック図である。

覚醒度推定装置１０は、図１に示すように、車両挙動検出部１１と、第１の覚醒度認識部１２と、覚醒度推定部１５と、生体情報検出部１６と、第２の覚醒度認識部１７とを備える。なお、覚醒度推定装置１０が推定するドライバの覚醒度（眠気）は、例えば、非特許文献１に記述されている定義に従って、レベル１からレベル５までの５つのレベルのいずれかに決定される。例えば、レベル１は「全く眠くなさそうな状態」を示し、レベル２は「やや眠そうな状態」を示す。レベル３は「眠そうな状態」を示し、レベル４は「かなり眠そうな状態」を示す。レベル５は「非常に眠そうな状態」を示す。

＜車両挙動検出部１１＞
車両挙動検出部１１は、運転情報を検出する。本実施の形態では、車両挙動検出部１１は、ドライバの運転操作及び車両の挙動を示す運転情報を検出するためのセンサ群で構成される。このセンサ群は、ドライバの運転操作を検出するセンサと車両の挙動を検出するセンサとを有する。

ドライバの運転操作を検出するセンサは、例えば図３に示すように、操舵角センサ１１１と、アクセルペダル位置センサ１１２と、ブレーキペダル位置センサ１１３とを含む。操舵角センサ１１１は、運転操作部２におけるステアリングホイール２１の回転角度すなわち操舵角を検出する。アクセルペダル位置センサ１１２は、アクセルペダル２２またはブレーキペダル２３の位置を検出する。ブレーキペダル位置センサ１１３は、ブレーキペダル２３の位置を検出する。

また、車両の挙動を検出するセンサは、車速センサ１１４と加速度センサ１１５とヨーレートセンサ１１６とを含む。車速センサ１１４は、車両の速度を検出する。加速度センサ１１５は、車両の前後方向の加速度及び車両の左右方向の加速度を検出する。ヨーレートセンサ１１６は、車両の鉛直方向に対する回転角度（ヨーレート）を検出する。

＜第１の覚醒度認識部１２＞
第１の覚醒度認識部１２は、車両挙動検出部１１により検出された運転情報からドライバの第１の覚醒度を認識する。ここで、例えば当該運転情報は、車両の操舵角を示す情報でもよいし、車両のアクセルペダル２２およびブレーキペダル２３の位置を示す情報でもよいし、車両の加速度を示す情報でもよい。また、例えば当該運転情報は、車両の速度を示す情報でもよいし、ヨーレートを示す情報でもよい。本実施の形態では、第１の覚醒度認識部１２は、図３に示すように、運転情報特徴抽出部１２１と、第１の覚醒度識別部１２２とを備え、周辺環境認識部３で認識された自車両の周辺環境と、車両挙動検出部１１で検出された運転情報を用いて、ドライバの第１の覚醒度を認識する。

≪運転情報特徴抽出部１２１≫
運転情報特徴抽出部１２１は、周辺環境認識部３で認識された自車両の周辺環境と車両挙動検出部１１で検出された運転情報とから運転情報特徴を抽出する。

ここで、自車両の周辺環境は、例えば、先行車両と自車両との車間距離または自車両と道路の白線などの車線との距離を示す情報である。また、運転情報は、上述したように、車両挙動検出部１１に含まれるセンサ群によって検出され、例えばステアリングホイール２１の操舵角等のドライバの運転操作または車両の速度等の自車両の挙動を示す情報である。また、運転情報特徴は、ドライバの第１の覚醒度を識別するための特徴量であり、ドライバの運転行動に関連する特徴量である。具体的には、運転情報特徴は、例えば、１分間等の所定の単位時間におけるドライバが行うステアリングホイール２１の操舵角、アクセルペダル２２及びブレーキペダル２３の位置の変動パターン、並びに、先行車両との車間距離、車両の横変位量、車速、車両の前後左右方向の加速度及びヨーレート等の変動パターンから得られる平均値、標準偏差等の統計的特徴量である。

本実施の形態では、運転情報特徴抽出部１２１は、１以上の特徴抽出部を備えており、ドライバの運転行動に関連する少なくとも一つ以上の特徴量を運転情報特徴として抽出する。運転情報特徴抽出部１２１は、例えば図３に示す例では、車間距離特徴抽出部１３１、車両横変位量特徴抽出部１３２、操舵角特徴抽出部１３３、アクセルペダル位置特徴抽出部１３４、ブレーキペダル位置特徴抽出部１３５、車速特徴抽出部１３６、車両前後方向加速度特徴抽出部１３７、車両左右方向加速度特徴抽出部１３８、及び、ヨーレート特徴抽出部１３９を有している。

車間距離特徴抽出部１３１は、周辺環境認識部３から得られた先行車両と自車両との車間距離を用いて、所定の単位時間における車間距離の平均値または標準偏差等である車間距離特徴量を運転情報特徴として抽出する。

車両横変位量特徴抽出部１３２は、周辺環境認識部３から車線の幅や曲率等の道路形状の情報と、道路の白線との距離など車両と車線との距離を示す情報を取得する。車両横変位量特徴抽出部１３２は、周辺環境認識部３から得られた道路形状と距離の情報とに基づいて、車両の道路のセンターラインからの変位量（以下車両横変位量と称する）を算出する。そして、車両横変位量特徴抽出部１３２は、これらを用いて算出した所定の単位時間における車両横変位量の平均値または標準偏差等である車両横変位量特徴量を運転情報特徴として抽出する。なお、車両横変位量は、単純なセンターラインからの変位量ではなく、所定の単位時間後にドライバが目標とした走行位置との変位量であってもよい。また、ドライバの目標走行位置は、例えば特許文献４に開示されているように、車両挙動検出部１１から得られるステアリングホイール２１の操舵角、車両の速度またはヨーレートに基づいて算出することができる。

操舵角特徴抽出部１３３は、操舵角センサ１１１から得られるステアリングホイール２１の操舵角を用いて、所定の単位時間における操舵角の変位量の平均値または標準偏差である操舵角特徴量を運転情報特徴として抽出する。なお、操舵角特徴抽出部１３３は、操舵角の変位量の周波数特徴等である操舵角特徴量を運転情報特徴として抽出してもよい。

アクセルペダル位置特徴抽出部１３４は、アクセルペダル位置センサ１１２から得られるアクセルペダル２２の位置を用いて、所定の単位時間におけるアクセルペダルの位置の変位量の平均値または標準偏差等であるアクセルペダル位置特徴量を運転情報特徴として抽出する。

ブレーキペダル位置特徴抽出部１３５は、ブレーキペダル位置センサ１１３から得られるブレーキペダル２３の位置を用いて算出したブレーキペダル位置特徴量を運転情報特徴として抽出する。ここで、ブレーキペダル位置特徴量は、所定の単位時間におけるブレーキペダルの位置の変位量の平均値または標準偏差、及び、ブレーキ操作の回数等である。

車速特徴抽出部１３６は、車速センサ１１４から得られる車両速度を用いて、所定の単位時間における車速の変位量の平均値または標準偏差等である車速特徴量を運転情報特徴として抽出する。

車両前後方向加速度特徴抽出部１３７は、加速度センサ１１５から得られる車両加速度のうち、車両の前後方向の加速度を算出する。そして、車両前後方向加速度特徴抽出部１３７は、算出した車両の前後方向の加速度を用いて、所定の単位時間における車両の前後方向の加速度の変位量の平均値または標準偏差等である車両前後方向加速度特徴量を運転情報特徴として抽出する。

車両左右方向加速度特徴抽出部１３８は、加速度センサ１１５から得られる車両加速度のうち、車両の左右方向の加速度を算出する。そして、車両左右方向加速度特徴抽出部１３８は、算出した車両の左右方向の加速度を用いて、所定の単位時間における車両の左右方向の加速度の変位量の平均値または標準偏差等である車両左右方向加速度特徴量を運転情報特徴として抽出する。

ヨーレート特徴抽出部１３９は、ヨーレートセンサ１１６から得られるヨーレートを用いて、所定の単位時間におけるヨーレートの変位量の平均値または標準偏差等であるヨーレート特徴量を運転情報特徴として抽出する。

≪第１の覚醒度識別部１２２≫
第１の覚醒度識別部１２２は、運転情報特徴抽出部１２１により抽出された運転情報特徴を用いて、ドライバの第１の覚醒度を識別する。

本実施の形態では、第１の覚醒度識別部１２２は、運転情報特徴抽出部１２１の１以上の特徴抽出部から得られた特徴量を少なくとも一つ以上を用いて、ドライバの覚醒度を識別し、識別結果を第１の覚醒度として出力する。識別結果には、例えばレベル１〜レベル５のいずれかを示す覚醒度のレベルとその信頼度を含んでいる。

ここで、第１の覚醒度識別部１２２が行う第１の覚醒度の識別方法について具体的に説明する。

運転中に、ドライバの覚醒度が低下する（眠気が強くなる）と、ドライバの車両に対する運転操作が単調になることが知られている。例えば、ステアリングホイール２１、アクセルペダル２２またはブレーキペダル２３のドライバによる操作は、眠気が強くなると、眠気が強くなる前に比べて少なくなる。また、ドライバの眠気が強くなると、運転中の車両がふらついて、車両の横変位量または車間距離等の変動が大きくなる傾向がある。例えば、ドライバの眠気が一時的に強くなると、ステアリングホイール２１の操作が減り、車両が大きくふらつく場合が発生する。しかし、ドライバは、車両が大きくふらついた瞬間に、一時的に覚醒して、車両をあるべき走行状態に修正するためにステアリングホイール２１を急激に操作するという行動を取ることが多い。そして、このような場合、ステアリングホイール２１の操舵角の変位量または車両の横変位量の変動パターンは、例えば一定時間変位量が比較的小さくなった後、急な修正のために、変位量が急に大きく変化するという特徴的なパターンを示す。

したがって、眠気による各運転情報特徴の特異的な変動パターンを検出することで、ドライバの眠気を検出（識別）することができる。より具体的には、このような眠気による各運動特徴の特異的な変動パターンと、そのときの覚醒度のレベルとを対応付けることができる覚醒度識別モデルを生成し、生成した覚醒度識別モデルを用いれば、ドライバの眠気を識別することができる。

本実施の形態では、第１の覚醒度識別部１２２は、このように生成される覚醒度識別モデルを用いて、運転情報特徴量から第１の覚醒度を識別し、識別結果として、覚醒度推定部１５に出力する。なお、上述したように、識別結果には、例えばレベル１〜レベル５のいずれかを示す覚醒度に加え、その覚醒度の確からしさを示す信頼度が含まれる。例えば、識別結果として、覚醒度：３、信頼度：０．８等が出力される。また、生成される覚醒度識別モデルは、運転情報特徴抽出部１２１から得られた各運転情報特徴量のうち少なくとも一つ以上が選択された運転情報特徴量を入力データとして、ドライバの覚醒度のレベルを出力するものである。覚醒度識別モデルは、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト等の従来の機械学習アルゴリズムを用いて生成することができる。

＜生体情報検出部１６＞
生体情報検出部１６は、ドライバの１以上の生体情報を検出する。本実施の形態では、生体情報検出部１６は、ドライバの生体情報を検出するためのセンサ群で構成される。このセンサ群は、例えば図４に示すように、車内カメラ１６１と、マイク１６２と、心拍センサ１６３と、血圧センサ１６４と、体動センサ１６５とを有する。なお、このセンサ群は、さらに、ドライバの呼吸変動を検出する呼吸センサ（不図示）、ドライバの皮膚温度を検出する皮膚温検出センサ（不図示）などを有するとしてもよい。

車内カメラ１６１は、車両内に配置され、車両の内部を撮像する。そして、車内カメラ１６１は、撮影画像を示す画像データを生成する。例えば、車内カメラ１６１は、運転中のドライバを撮影する。より具体的には、車内カメラ１６１は、車両内で運転席近傍を撮影可能に配置され、運転席に居るドライバを撮影する。

マイク１６２は、車内の音を収音する。より具体的には、マイク１６２は、車両内に配置され、周囲の音を収音する。そして、マイク１６２は、収音した音を示すデータ（オーディオデータ）を生成する。

心拍センサ１６３は、ドライバの心拍変動を検出する。より具体的には、心拍センサ１６３は、ドライバの心拍を測定し、測定結果のセンサ信号を生成する。なお、心拍センサ１６３は、耳たぶ等の身体に取り付ける接触型のセンサデバイスであってもよいし、脈波に対応した顔色の変化を抽出するカメラなどの非接触型のセンサデバイスであってもよい。また、心拍センサ１６３は、脈波センサに置き換えられ、ドライバの心拍変動を検出するとしてもよい。

血圧センサ１６４は、ドライバの血圧を測定し、測定結果のセンサ信号を生成する。ここで、血圧センサ１６４は、例えばウェアラブルデバイスで構成され、手動運転モード時に運転を行うべき責任者すなわちドライバに予め取り付けられる。

体動センサ１６５は、ドライバの姿勢の変化等の体動を検出する。より具体的には、体動センサ１６５は、例えば運転席の背もたれ或いは座面の内部に配置された荷重センサで構成される。体動センサ１６５は、運転席に居る者の姿勢の変化を感知し、感知した結果のセンサ信号を生成する。なお、体動センサ１６５は加速度センサまたは角速度センサなどで構成されてもよい。

＜第２の覚醒度認識部１７＞
第２の覚醒度認識部１７は、生体情報検出部１６により検出された１以上の生体情報からドライバの第２の覚醒度を認識する。ここで、当該生体情報は、例えばドライバの心拍変動を示す情報でもよいし、ドライバの顔が映った顔画像でもよいし、ドライバの体動を示す情報でもよい。また、当該生体情報は、例えばドライバの呼吸を示す情報でもよいし、ドライバの血圧を示す情報でもよい。本実施の形態では、第２の覚醒度認識部１７は、図４に示すように、生体特徴抽出部１７１と、第２の覚醒度識別部１７２とを備える。なお、第２の覚醒度認識部１７は、後述する教師データ生成部１５２から教師データを受信した場合、その教師データに基づいて、第２の覚醒度識別部１７２の学習を行う。

≪生体特徴抽出部１７１≫
生体特徴抽出部１７１は、生体情報検出部１６により検出された複数の生体情報それぞれから、ドライバの生理状態に関する生体情報特徴を抽出する。

ここで、生体情報特徴は、ドライバの覚醒度を識別するための特徴量であり、ドライバの生理情報に関連する特徴量である。生理情報は、眠気または疲労等の人間の生理的な状態を示す指標のことであり、例えば、視覚系生理情報、自律神経系生理情報または骨格系生理情報等がある。視覚系生理情報は、例えば１分間等の所定の単位時間におけるドライバの眼の開き度合いを示すドライバの開眼度、ドライバの瞬目の回数若しくは時間、またはドライバの頭部の位置等の変動パターンから得られる平均値、標準偏差等の統計的特徴量である。また、自律系生理情報は、所定の単位時間における呼吸数、呼吸の深さ、心拍または血圧等の変動パターンから得られる統計的特徴量である。また、骨格系生理情報は、所定の単位時間における身体の重心位置の変動パターンから得られる統計的特徴量である。

本実施の形態では、生体特徴抽出部１７１は、１以上の特徴抽出部を備えており、ドライバの生理状態を示す少なくとも一つ以上の特徴量を抽出する。生体特徴抽出部１７１は、例えば図４に示すように、顔画像抽出部１８１と、開眼度検出部１８２と、開眼度特徴抽出部１８３と、瞬目検出部１８４と、瞬目特徴抽出部１８５と、頭部位置検出部１８６と、頭部位置特徴抽出部１８７と、呼吸音検出部１８８と、呼吸特徴抽出部１８９と、心拍変動検出部１９０と、心拍変動特徴抽出部１９１と、血圧変動検出部１９２と、血圧変動特徴抽出部１９３と、体動検出部１９４と、体動特徴抽出部１９５とを有する。

例えば、生体特徴抽出部１７１は、顔画像抽出部１８１〜頭部位置特徴抽出部１８７を用いて、車内カメラ１６１によって撮影したドライバが含まれる画像からドライバの視覚系生理情報に関する開眼度特徴量、瞬目特徴量または頭部位置特徴量を生体情報特徴として抽出することができる。具体的には、顔画像抽出部１８１は、車内カメラ１６１からの画像データを随時取得し、画像データからドライバの顔画像領域を抽出する。開眼度検出部１８２は、顔画像抽出部１８１により抽出された顔画像領域から眼の画像領域を抽出した後に、上下まぶたを検出し、まぶた形状から、まぶたすなわち眼の開き具合を示す開眼度を検出する。開眼度特徴抽出部１８３は、開眼度検出部１８２が検出した開眼度の変動パターンから、所定の単位時間における開眼度の平均値、標準偏差、最大値または最小値等である開眼度特徴量を算出する。また、瞬目検出部１８４は、顔画像抽出部１８１により抽出された顔画像領域から眼の画像領域を抽出した後に、上下まぶたを検出し、上下まぶたの動きから瞬き（瞬目）を検出する。瞬目特徴抽出部１８５は、所定の単位時間における瞬目回数若しくは瞬目時間の平均値または標準偏差等である瞬目特徴量を算出する。さらに、頭部位置検出部１８６は、顔画像抽出部１８１により抽出された顔画像領域の画像中の位置に基づき、ドライバの頭部位置の変動パターンを検出する。頭部位置特徴抽出部１８７は、頭部位置の変動パターンから、所定の単位時間における頭部位置の平均値、標準偏差、最大値または最小値等である頭部位置特徴量を算出する。

また、例えば、生体特徴抽出部１７１は、呼吸音検出部１８８及び呼吸特徴抽出部１８９を用いて、車両内のマイク１６２から収音したデータから、ドライバの自律神経系生理情報の一つである呼吸特徴を生体情報特徴として抽出することができる。具体的には、呼吸音検出部１８８は、マイク１６２から収音したデータからドライバの呼吸音パターンを検出する。呼吸特徴抽出部１８９は、呼吸音検出部１８８が検出した呼吸音パターンから、所定の単位時間における呼吸数若しくは呼吸の深さの平均値、標準偏差または最大値等である呼吸特徴量を算出する。

また、例えば、生体特徴抽出部１７１は、心拍変動検出部１９０及び心拍変動特徴抽出部１９１を用いて、心拍センサ１６３から、ドライバの自律神経系生理情報の一つである心拍変動特徴を生体情報特徴として抽出することができる。具体的には、心拍変動検出部１９０は、心拍センサ１６３から得られる心電図波形から最も高いピークであるＲ波を検出した後、このＲ波の間隔である心拍間隔（ＲＲ間隔：ＲＲＩ）の変動を心拍変動パターンとして検出する。心拍変動特徴抽出部１９１は、検出された心拍変動パターンから、所定の単位時間における心拍間隔（ＲＲＩ）の平均値または標準偏差等である心拍変動特徴量を算出する。なお、心拍変動特徴量としては、所定の単位時間における心拍変動パターンの周波数スペクトルを求めた後、低周波成分（ＬＦ成分）と高周波成分（ＨＦ成分）とのパワーの比、または、ＬＦ成分とＨＦ成分との比（ＬＦ／ＨＦ比）を用いてもよい。

また、例えば、生体特徴抽出部１７１は、血圧変動検出部１９２及び血圧変動特徴抽出部１９３を用いて、血圧センサ１６４から、ドライバの自律神経系生理情報の一つである血圧変動特徴を生体情報特徴として抽出することができる。具体的には、血圧変動検出部１９２は、血圧センサ１６４から得られるデータからドライバの血圧変動パターンを検出する。血圧変動特徴抽出部１９３は、検出された血圧変動パターンから、所定の単位時間における血圧の平均値、標準偏差、最大値または最小値等である血圧変動特徴量を算出する。

また、例えば、生体特徴抽出部１７１は、体動検出部１９４及び体動特徴抽出部１９５を用いて、体動センサ１６５から、ドライバの骨格系生理情報の一つである体動特徴を生体情報特徴として抽出することができる。具体的には、体動検出部１９４は、体動センサ１６５から得られるデータから、ドライバの体動を示す体動パターンを検出する。体動特徴抽出部１９５は、検出された体動パターンから、所定の単位時間における体動回数若しくは体の重心位置の変動量（体動変動量）等の平均値、標準偏差、最大値または最小値等である体動特徴量を算出する。

≪第２の覚醒度識別部１７２≫
第２の覚醒度識別部１７２は、生体特徴抽出部１７１により抽出された生体情報特徴を用いて、ドライバの第２の覚醒度を識別する。

本実施の形態では、第２の覚醒度識別部１７２は、生体特徴抽出部１７１の１以上の特徴抽出部から得られた特徴量を少なくとも一つ以上用いて、ドライバの覚醒度を識別し、識別結果を第２の覚醒度として出力する。なお、識別結果には、例えばレベル１〜レベル５のいずれかを示す覚醒度のレベルとその信頼度を含んでいる。

ここで、第２の覚醒度識別部１７２が行う第２の覚醒度の識別方法について具体的に説明する。

運転中に、ドライバの覚醒度が低下する（眠気が強くなる）と、ドライバの開眼度及び瞬目等の視覚系生理情報、心拍及び脈波等の自律神経系生理情報、並びに、体動等の骨格系生理情報等が特定の傾向を示すことが知られている。まず、視覚系生理情報に関して眠気による特定の傾向について説明する。ドライバは眠気が強くなると、まぶたが閉じ気味になるので、まぶたの開き度合いを示す開眼度は小さくなるという傾向を示す。また、ドライバは眠気が強くなると、瞬目１回あたりのまぶたが閉じる瞬目時間が長くなり、所定の単位時間における瞬目回数は減少するという傾向を示す。また、ドライバは眠気が強くなると、頭の動きも不安定になるので、頭部位置が不安定に変動するようになるという傾向を示す。

次に、自律神経系生理情報に関して眠気による特定の傾向について説明する。ドライバは眠気が強くなると、１回あたりの呼吸が深くなり、呼吸間隔が長くなるので、所定の単位時間における呼吸回数は減少するという傾向を示す。また、ドライバは眠気が強くなると、心拍数が低下するので、所定の単位時間における心拍間隔（ＲＲＩ）は大きくなるという傾向を示す。また、心拍変動パターン（ＲＲＩ）の周波数スペクトルは、活動時には、ＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｅ：０．１５Ｈｚ〜０．４Ｈｚ）成分が小さく、リラックス時には、ＨＦ成分が大きくなることが知られている。そのため、ＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｅ：０．０４Ｈｚ〜０．１５Ｈｚ）成分とＨＦ成分の比（ＬＦ／ＨＦ）が、眠気の指標としてよく用いられる。つまり、ドライバの眠気が強くなると、ドライバのＬＦ／ＨＦ比は、小さくなるという傾向を示す。また、血圧は、ドライバが眠気を感じはじめたときには、その眠気に対抗するために、一旦上昇するものの、更に、ドライバの眠気が強くなると、血圧は徐々に下がるという傾向を示す。

最後に、骨格系生理情報に関して眠気による特定の傾向について説明する。ドライバが眠気を感じはじめたときには、その眠気に対抗するために、体動回数は多くなり、体動変動量も増えるという傾向を示す。そして、さらに、ドライバの眠気が強くなると、ドライバは眠気に対抗できなくなり、体動回数及び体動変動量は減少するという傾向を示す。

このように、眠気による各生体情報特徴は、特定の傾向すなわち特異的な変動パターンを示す。したがって、眠気による各生体情報特徴の特異的な変動パターンを検出することで、ドライバの眠気（識別）を検出することができる。より具体的には、このような眠気による各生体情報特徴の特異的な変動パターンと、そのときの覚醒度のレベルとを対応付けることができる覚醒度識別モデルを生成し、生成した覚醒度識別モデルを用いれば、ドライバの眠気を識別することができる。

本実施の形態では、第２の覚醒度識別部１７２は、このように生成される覚醒度識別モデルを用いて、生体情報特徴量から第２の覚醒度を識別し、識別結果として、覚醒度推定部１５に出力する。なお、上述したように、識別結果には、例えばレベル１〜レベル５のいずれかを示す覚醒度に加え、その覚醒度の確からしさを示す信頼度が含まれる。例えば、識別結果として、覚醒度：３、信頼度：０．８等が出力される。また、生成される覚醒度識別モデルは、生体特徴抽出部１７１から得られた各生体情報特徴量のうち少なくとも一つ以上が選択された生体情報特徴量を入力データとして、ドライバの覚醒度のレベルを出力するものである。覚醒度識別モデルは、ニューラルネットワーク、サポートベクターマシンやランダムフォレスト等の従来の機械学習アルゴリズムを用いて生成することができる。

なお、第２の覚醒度識別部１７２は、後述する教師データ生成部１５２が生成した教師データに基づいて学習が行われる。より具体的には、第２の覚醒度識別部１７２では、手動運転モードにおいて第１の覚醒度と第２の覚醒度とが異なる場合には、教師データ生成部１５２が第１の覚醒度に基づいて生成した教師データを用いて、学習処理が行われる。つまり、当該学習では、ドライバの１以上の生体情報とドライバの覚醒度との関係を示している、第２の覚醒度識別部１７２の覚醒度識別モデルが、当該教師データから第１の覚醒度を識別結果として出力されるようにモデルの更新が行われる。

本実施の形態では、第２の覚醒度識別部１７２は、教師データ生成部１５２から教師データを取得した場合に、その教師データを用いて、第２の覚醒度を識別するために用いている覚醒度識別モデルの学習を行う。なお、具体的な学習方法としては、例えば、覚醒度識別モデルが階層ニューラルネットワークであるならば、バックプロパゲーション法等を用いればよい。

＜覚醒度推定部１５＞
覚醒度推定部１５は、第１の覚醒度認識部１２が認識する第１の覚醒度、及び、第２の覚醒度認識部１７が認識する第２の覚醒度の少なくとも一方から、車両走行中におけるドライバの第３の覚醒度を推定する。

ここで、覚醒度推定部１５は、手動運転モードでは、第１の覚醒度と第２の覚醒度とから、第３の覚醒度を推定し、自動運転モードでは、第２の覚醒度から第３の覚醒度を推定してもよい。より具体的には、覚醒度推定部１５は、自動運転モードでは、第２の覚醒度を第３の覚醒度とすることにより、第２の覚醒度から第３の覚醒度を推定してもよい。また、覚醒度推定部１５は、手動運転モードでは、第１の覚醒度及び前記第２の覚醒度の信頼度が閾値以上か否かを判定し、信頼度が閾値以上である第１の覚醒度及び第２の覚醒度の一方を第３の覚醒度とすることにより、第３の覚醒度を推定してもよい。より詳細には、覚醒度推定部１５は、手動運転モードにおいて、第１の覚醒度及び第２の覚醒度それぞれの信頼度が閾値以上であり、かつ、第１の覚醒度及び第２の覚醒度が異なる場合、第１の覚醒度を第３の覚醒度とすることにより、第３の覚醒度を推定すればよい。

なお、覚醒度推定部１５は、手動運転モードにおいて、第１の覚醒度と第２の覚醒度とが異なる場合、第１の覚醒度に基づいて生成した教師データを用いて学習処理が行われる。

本実施の形態では、覚醒度推定部１５は、図１に示すように、覚醒度検証部１５１と教師データ生成部１５２とを備える。覚醒度推定部１５は、第１の覚醒度認識部１２から得られる第１の覚醒度または第２の覚醒度認識部１７から得られる第２の覚醒度に基づいて、ドライバの最終的な覚醒度である第３の覚醒度を推定する。

≪覚醒度検証部１５１≫
覚醒度検証部１５１は、第１の覚醒度認識部１２から得られる第１の覚醒度、または、第２の覚醒度認識部１７から得られる第２の覚醒度の有効性を検証する。ここで、第１の覚醒度の有効性の検証方法は、第１の覚醒度識別部１２２から得られる識別結果に含まれる覚醒度レベルの信頼度が、予め定められたしきい値以上なら、有効であると判定すればよい。また、第２の覚醒度の有効性の検証方法は、上述した第１の覚醒度と同じ方法を用いればよい。

覚醒度検証部１５１は、検証結果と、運転モード選択部６で選択されている運転モードとに基づいて、第１の覚醒度及び第２の覚醒度のいずれかをドライバの最終的な覚醒度すなわち第３の覚醒度として出力する。例えば、覚醒度検証部１５１は、運転モードが手動運転モードである場合には、第１の覚醒度の有効性の確認後に、第１の覚醒度を第３の覚醒度として出力すればよい。また、例えば、覚醒度検証部１５１は、運転モードが自動運転モードである場合には、第２の覚醒度の有効性の確認後に、第２の覚醒度を第３の覚醒度として出力すればよい。

また、覚醒度検証部１５１は、運転モードが手動運転モードである場合、第１の覚醒度の値と第２の覚醒度の値とが異なるかどうか比較し、異なる場合には、学習トリガ信号を教師データ生成部１５２に出力する。

≪教師データ生成部１５２≫
教師データ生成部１５２は、手動運転モード時に、教師データを第１の覚醒度から生成し、第２の覚醒度認識部１７に出力することで、第２の覚醒度識別部１７２に学習処理を行わせる。より具体的には、教師データ生成部１５２は、覚醒度検証部１５１から学習トリガ信号を受信したときには、第１の覚醒度を用いて、教師データを生成して、第２の覚醒度識別部１７２に出力する。なお、教師データ生成部１５２は、教師データを、第２の覚醒度識別部１７２で用いる覚醒度識別モデルに合わせて生成する。

これにより、教師データ生成部１５２は、第２の覚醒度識別部１７２に、第１の覚醒度に基づいて生成した教師データを用いて、学習処理を行わせることができる。なお、この学習処理は、上述したように、第２の覚醒度認識部１７が教師データ生成部１５２から教師データを取得（受信）したとき、その教師データに基づいて、第２の覚醒度認識部１７により行われる。

［覚醒度推定装置１０の動作］
次に、以上のように構成された覚醒度推定装置１０の動作について説明する。

図５は、本実施の形態における覚醒度推定装置１０が行う処理の概要を示すフローチャートである。

図５に示すように、覚醒度推定装置１０は、まず、運転情報を検出する（Ｓ１）。なお、詳細は上述したのでここでの説明は省略する。次に、覚醒度推定装置１０は、Ｓ１において検出された運転情報からドライバの第１の覚醒度を認識する（Ｓ３）。次に、覚醒度推定装置１０は、ドライバの生体情報を検出する（Ｓ５）。次に、覚醒度推定装置１０は、Ｓ５において検出された生体情報からドライバの第２の覚醒度を認識する（Ｓ７）。最後に、覚醒度推定装置１０は、Ｓ３において認識される第１の覚醒度、及び、Ｓ７において認識される第２の覚醒度の少なくとも一方から、車両走行中におけるドライバの第３の覚醒度を推定する（Ｓ９）。Ｓ９では、覚醒度推定装置１０は、上述したように、手動運転モードでは、第１の覚醒度と第２の覚醒度とに基づいて、第３の覚醒度を推定し、自動運転モードでは、第２の覚醒度に基づいて第３の覚醒度を推定する。

なお、Ｓ５の処理は、Ｓ１の処理及びＳ３の処理の後に行ってもよいが、Ｓ１の処理若しくはＳ３の処理と同時、または、Ｓ１の処理と並列に行うとしてもよい。また、Ｓ７の処理は、Ｓ５の処理の後に行えば、Ｓ３の処理と並列に行われてもよい。

［運転支援装置１の動作］
図６は、本実施の形態における運転支援装置１が行う動作を説明するためのフローチャートである。なお、上述したように、運転支援装置１は、運転モード選択部６において、車両の走行制御を自動的に行う自動運転モードと、ドライバによる手動運転モードとを切り替えることが可能である。また、運転支援装置１は、運転モードに関わらず、周辺環境認識部３または自車両位置検出部４によって、先行車両との車間距離等、走行車両の周囲の周辺環境に関する情報を常にモニタリングしている。

図６を参照しながら、まず、手動運転モード時に運転支援装置１が行う動作について覚醒度推定装置１０の動作を中心として説明する。

Ｓ１０１において、覚醒度推定装置１０は、手動運転モードであるか否かを判定し、手動運転モードであると判定したとする（Ｓ１０１でＹ）。より具体的には、運転モード選択部６で手動運転モードが選択されている場合に、覚醒度推定部１５は手動運転モードであると判定する。この場合、ドライバは、運転操作部２を用いて、車両の運転すなわち車両の走行制御を行う。

次に、覚醒度推定装置１０は、ドライバの運転情報及び生体情報を検出する（Ｓ１０２）。具体的には、手動運転モードにおいてドライバが運転をしている間、車両挙動検出部１１はドライバの運転操作による運転情報を検出し、生体情報検出部１６はドライバの生体情報を検出する。

次に、覚醒度推定装置１０は、周辺環境及び運転情報から運転情報特徴を抽出し、第１の覚醒度を認識する（Ｓ１０３）。具体的には、第１の覚醒度認識部１２は、周辺環境認識部３から得られる自車両の周辺環境と、車両挙動検出部１１から得られる運転情報とを用いて、ドライバの第１の覚醒度を認識する。より詳細には、上述したように、運転情報特徴抽出部１２１が、自車両の周辺環境と運転情報に基づいて、運転情報特徴を抽出し、第１の覚醒度識別部１２２が運転情報特徴抽出部１２１により抽出された運転情報特徴を用いて、第１の覚醒度を識別する。

次に、覚醒度推定装置１０は、生体情報から生体情報特徴を抽出し、第２の覚醒度を認識する（Ｓ１０４）。具体的には、第２の覚醒度認識部１７は、生体情報検出部１６から得られる生体情報を用いて、第２の覚醒度を認識する。より詳細には、上述したように、生体特徴抽出部１７１が生体情報に基づいて、生体情報特徴を抽出し、第２の覚醒度識別部１７２が生体特徴抽出部１７１により抽出された生体情報特徴を用いて、第２の覚醒度を識別する。

次に、覚醒度推定部１５は、第１の覚醒度と第２の覚醒度とに基づいて、ドライバの最終的な覚醒度である第３の覚醒度を推定する（Ｓ１０５〜Ｓ１０６）。具体的には、まず、覚醒度推定部１５の覚醒度検証部１５１は、Ｓ１０３で認識された第１の覚醒度の有効性を検証する（Ｓ１０５）。なお、第１の覚醒度の有効性の検証方法は、第１の覚醒度識別部１２２から得られる識別結果に含まれる覚醒度レベルの信頼度が、予め定められたしきい値以上なら、有効であると判定すればよい。Ｓ１０５において、第１の覚醒度が有効であると判定された場合（Ｓ１０５でＹ）、第１の覚醒度を推定結果すなわち第３の覚醒度として出力する（Ｓ１０６）。

次に、覚醒度検証部１５１は、Ｓ１０４で認識された第２の覚醒度の有効性を検証する（Ｓ１０７）。なお、第２の覚醒度の有効性の検証方法は、上述した第１の覚醒度と同じ方法を用いればよい。

Ｓ１０７において、第２の覚醒度が有効であると判定された場合（Ｓ１０７でＹ）、第１の覚醒度と第２の覚醒度とを比較して、異なるか否かを判定する（Ｓ１０８）。

Ｓ１０８において、覚醒度検証部は、第１の覚醒度と第２の覚醒度とが異なる場合（Ｓ１０８でＹ）、その結果を教師データ生成部１５２に出力する。本実施の形態では、覚醒度検証部１５１は、第１の覚醒度と第２の覚醒度とを比較して異なる場合、学習トリガ信号を教師データ生成部１５２に出力する。

次に、教師データ生成部１５２は、第１の覚醒度から教師データを生成し（Ｓ１０９）、生成した教師データを第２の覚醒度認識部１７に出力する。本実施の形態では、教師データ生成部１５２は、覚醒度検証部１５１から学習トリガ信号を受信したときには、第１の覚醒度を用いて、教師データを生成し、第２の覚醒度識別部１７２に出力する。なお、教師データ生成部１５２は、第２の覚醒度識別部１７２で用いる覚醒度識別モデルに合わせて教師データを生成する。

次に、第２の覚醒度認識部１７は、教師データ生成部１５２から得られた教師データに基づき、学習処理を行う（Ｓ１１０）。そして、Ｓ１０１の処理に戻って処理を繰り返す。本実施の形態では、第２の覚醒度識別部１７２は、教師データ生成部１５２から教師データを取得した場合に、その教師データを用いて、第２の覚醒度を識別するために用いている覚醒度識別モデルの学習を行う。その後、Ｓ１０１の処理に戻る。

なお、Ｓ１０７において第２の覚醒度が有効でなかった場合（Ｓ１０７でＮ）、Ｓ１０８において第１の覚醒度と第２の覚醒度が一致していた場合（Ｓ１０８でＮ）には、第２の覚醒度認識部１７の学習処理を行わせず、Ｓ１０１の処理に戻って処理を繰り返す。

また、Ｓ１０５において、Ｓ１０３で認識された第１の覚醒度が有効と判定されなかった場合には（Ｓ１０５でＮ）、覚醒度検証部１５１は、Ｓ１０４で認識された第２の覚醒度の有効性を検証する（Ｓ１１１）。Ｓ１１１において、Ｓ１０４で認識された第２の覚醒度が有効であると判定された場合（Ｓ１１１でＹ）、覚醒度検証部１５１は、Ｓ１０４で認識された第２の覚醒度を推定結果すなわち第３の覚醒度として出力する（Ｓ１１２）。一方、Ｓ１１１において、Ｓ１０４で認識された第２の覚醒度が有効でなかった場合には（Ｓ１１１でＮ）、覚醒度検証部１５１は、第３の覚醒度が推定できないというエラーを出力し（Ｓ１１３）、Ｓ１０１の処理に戻る。

次に、図６を参照しながら、自動運転モード時に運転支援装置１が行う動作について覚醒度推定装置１０の動作を中心として説明する。

Ｓ１０１において、覚醒度推定装置１０は、手動運転モードであるか否かを判定し、手動運転モードではないと判定したとする（Ｓ１０１でＮ）。より具体的には、運転モード選択部６で自動運転モードが選択されている場合に、覚醒度推定部１５は自動運転モードであると判定する。この場合、ドライバは運転操作を行う必要がなく車両制御部７が周辺環境に基づいて自動運転すなわち車両の走行制御を自動的に行う。

次に、覚醒度推定装置１０は、ドライバの生体情報を検出する（Ｓ１２１）。具体的には、自動運転モードにおいて、生体情報検出部１６は、ドライバの生体情報を検出する。ここで、自動運転モードにおいては、ドライバは自ら運転操作を行わないため、車両挙動検出部１１は、ステアリングの操舵角等のドライバの運転操作による有効な運転情報は得られない。一方、生体情報検出部１６は、自動運転中でも、ドライバの有効な生体情報を得られる。

次に、覚醒度推定装置１０は、生体情報から生体情報特徴を抽出し、第２の覚醒度を認識する（Ｓ１２２）。具体的には、第２の覚醒度認識部１７は、生体情報検出部１６から得られる生体情報を用いて、第２の覚醒度を認識する。より詳細には、上述したように、生体特徴抽出部１７１が、生体情報に基づいて、生体情報特徴を抽出し、第２の覚醒度識別部１７２が生体特徴抽出部１７１により抽出された生体情報特徴を用いて、第２の覚醒度を識別する。このように、覚醒度推定装置１０は、第１の覚醒度認識部１２を利用せず、第２の覚醒度認識部１７を用いて、ドライバの生体情報からドライバの覚醒度を認識する。

次に、覚醒度推定部１５は、第２の覚醒度に基づいて、ドライバの最終的な覚醒度である第３の覚醒度を推定する（Ｓ１２３〜Ｓ１２４）。具体的には、まず、覚醒度推定部１５の覚醒度検証部１５１は、Ｓ１２２で認識された第２の覚醒度の有効性を検証する（Ｓ１２３）。なお、第２の覚醒度の有効性の検証方法は、上述した第１の覚醒度と同じ方法を用いればよい。Ｓ１２３において、第２の覚醒度が有効であると判定された場合（Ｓ１２３でＹ）、第２の覚醒度を推定結果すなわち第３の覚醒度として出力する（Ｓ１２４）。なお、Ｓ１２３において第２の覚醒度が有効でなかった場合には（Ｓ１２３でＮ）、覚醒度検証部１５１は、第３の覚醒度が推定できないというエラーを出力し（Ｓ１２５）、Ｓ１０１の処理に戻る。

［効果等］
以上のように、本実施の形態によれば、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置を実現できる。

より具体的には、本実施の形態における覚醒度推定装置１０は、手動運転モード時には、ドライバの運転情報を用いて認識した第１の覚醒度と、ドライバの生体情報を用いて認識した第２の覚醒度とを用いて、最終的な推定結果すなわち第３の覚醒度を推定する。一方、覚醒度推定装置１０は、自動運転モード時には、ドライバの生体情報を用いて認識した第２の覚醒度を最終的な推定結果すなわち第３の覚醒度とする。つまり、本実施の形態における覚醒度推定装置１０では、手動運転モード時と自動運転モード時とにおいて、ドライバの第３の覚醒度の推定を、第１の覚醒度認識部１２が認識した第１の覚醒度と第２の覚醒度認識部１７が認識した第２の覚醒度とで適宜切り替えて用いる。

さらに、本実施の形態における覚醒度推定装置１０は、手動運転モード時において、第２の覚醒度認識部１７に、第１の覚醒度認識部１２の認識結果を教師データとして用いて学習処理させる。これにより、生体情報の個人差による第２の覚醒度を認識する精度のばらつきを吸収することができる。これにより、本実施の形態における覚醒度推定装置１０自動運転モード時においてドライバの生体情報に基づいて、ドライバの覚醒度を精度よく推定することができる。すなわち、ドライバの運転操作または車両挙動等の運転情報が利用できないレベル２以上の自動運転時においても、ドライバの覚醒度を精度よく推定することが可能になる。

以上、本実施の形態における覚醒度推定装置１０によれば、ドライバの生体情報に基づいてドライバの覚醒度を精度良く推定することができるので、レベル２以上の自動運転モードを備えた自動運転システムでも、精度良く、ドライバの覚醒度を検出することができる。

（変形例）
上記実施の形態では、教師データ生成部１５２が生成した教師データを用いて、第２の覚醒度識別部１７２が用いる覚醒度識別モデルそのものを学習する方法について説明したが、これに限らない。教師データである第１の覚醒度を用いて、生体特徴抽出部１７１から得られた複数の生体情報特徴から、第２の覚醒度の識別に有効な生体情報特徴を選択して学習処理を行ってもよい。この場合を変形例として以下に説明する。

図７は、変形例における運転支援装置の構成の一例を示すブロック図である。なお、図１と同様の内容には同一の文言が記載されており、詳細な説明は省略する。図７に示す変形例における運転支援装置１は、上記実施の形態における運転支援装置１に対して、覚醒度推定装置１０Ａの第２の覚醒度認識部１７Ａの構成が異なる。具体的には、変形例における覚醒度推定装置１０Ａは、上記実施の形態における第２の覚醒度認識部１７Ａに対して、生体情報特徴記憶部１７３と生体特徴選択部１７４とが追加され、生体特徴抽出部１７１Ａと第２の覚醒度識別部１７２Ａとの構成が異なる。

＜生体特徴抽出部１７１Ａ＞
生体特徴抽出部１７１Ａは、生体情報検出部１６により検出された複数の生体情報それぞれから生体情報特徴を抽出する。生体特徴抽出部１７１Ａは、抽出した生体情報特徴を生体特徴選択部１７４に出力する。なお、生体特徴抽出部１７１Ａは、自動運転モードにおいては抽出した生体情報特徴を第２の覚醒度識別部１７２Ａに出力するとしてもよい。

＜生体情報特徴記憶部１７３＞
生体情報特徴記憶部１７３は、生体特徴抽出部１７１から得られる生体情報特徴が記憶される。生体情報特徴記憶部１７３は、教師データ生成部１５２から得られる教師データが記憶されてもよい。

＜生体特徴選択部１７４＞
生体特徴選択部１７４は、手動運転モードにおいて、生体特徴抽出部１７１により抽出された複数の生体情報特徴の中から、教師データ生成部１５２で第１の覚醒度から生成された教師データと相関の高い生体情報特徴を選択する。

より具体的には、生体特徴選択部１７４は、手動運転モードにおいて、教師データ生成部１５２から得られる教師データＤ（ｔ）（ｔは時刻を示す）を、所定の記憶部に、予め定められた時間（ｍ個）、教師データ系列Ｄ（１）、Ｄ（２）、・・・、Ｄ（ｍ）として記憶する。本変形例では、教師データＤ（ｔ）は生体情報特徴記憶部１７３に記憶されるとして以下説明する。また、生体特徴選択部１７４は、手動運転モードにおいて、生体特徴抽出部１７１から得られるｎ種類の生体情報特徴Ｂｉ（ｔ）（ｉ＝１〜ｎ）を、予め定められた時間（ｍ個）、生体情報特徴データ系列Ｂｉ（１）Ｂｉ（２）、・・・、Ｂｉ（ｍ）として生体情報特徴記憶部１７３に記憶する。

生体特徴選択部１７４は、手動運転モードにおいて、例えば、予め定められた個数のデータ系列が生体情報特徴記憶部１７３に記憶したとき、生体情報特徴記憶部１７３に記憶された教師データ系列Ｄ（ｔ）（ｔ＝１，２．・・・ｍ）と、生体情報特徴記憶部１７３に記憶されたｎ種類の生体情報特徴データ系列Ｂｉ（ｔ）（ｔ＝１，２．・・・ｍ）との相関係数を算出する。なお、相関係数は、例えば、Ｄ（ｔ）とＢｉ（ｔ）との共分散を、Ｄ（ｔ）の標準偏差とＢｉ（ｔ）の標準偏差の乗算値で割ることで算出するなど既知の方法で算出することができる。

生体特徴選択部１７４は、手動運転モードにおいて、算出した相関係数と、予め定められたしきい値とを比較し、相関係数がしきい値以上である生体情報特徴を選択し、第２の覚醒度識別部１７２Ａに出力する。なお、自動運転モードでは、生体特徴選択部１７４は、手動運転モードにおいて選択された生体情報特徴を、第２の覚醒度識別部１７２Ａに出力すればよい。

＜第２の覚醒度識別部１７２Ａ＞
第２の覚醒度識別部１７２Ａは、自動運転モード及び手動運転モードにおいて、生体特徴選択部１７４で選択された生体情報特徴を用いて、第２の覚醒度を識別する。

第２の覚醒度識別部１７２Ａは、手動運転モードにおいて、教師データ生成部１５２が生成した教師データに基づいて学習処理を行う。本変形例では、第２の覚醒度認識部１７Ａが教師データ生成部１５２から教師データを受信した場合、第２の覚醒度識別部１７２Ａは、生体特徴選択部１７４により選択された生体情報特徴を教師データとして用いて学習処理を行う。なお、第２の覚醒度識別部１７２Ａは、生体特徴選択部１７４で選択された生体情報特徴であって第２の覚醒度の識別に用いる生体情報特徴の種類が変更になった場合には、覚醒度識別モデルを、選択された生体情報特徴だけを用いて、生成（学習）する必要がある。

［効果等］
以上のように、本変形例によれば、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置を実現できる。

より具体的には、本変形例における覚醒度推定装置１０Ａは、手動運転モード時において生体特徴選択部１７４において、生体特徴抽出部１７１から得られる複数種類の生体情報特徴のうち、教師データである第１の覚醒度と相関の高い生体情報特徴を選択する。そして、選択した生体情報特徴を教師データとして学習処理した覚醒度識別モデルを用いて第２の覚醒度を識別することができる。

このように、本変形例における覚醒度推定装置１０Ａによれば、覚醒度の識別に有効な生体情報特徴を選択して覚醒度識別モデルを生成（学習）することができるので、生体情報の個人差によるばらつきをより吸収することができる。

さらに、本変形例によれば、第２の覚醒度識別部１７２Ａは、生体特徴抽出部１７１から得られる全ての生体情報特徴を用いて第２の覚醒度を識別する場合に比べて、処理量を削減することができるので、第２の覚醒度識別部１７２Ａの処理速度を高速化することができる。

（他の実施形態）
本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、特許請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。

例えば、上述した運転支援装置１において、周辺環境認識部３、自車両位置検出部４、目標走行状態決定部５、運転モード選択部６、車両制御部７、通知部８、並びに、覚醒度推定装置１０に含まれる車両挙動検出部１１、第１の覚醒度認識部１２、生体情報検出部１６、第２の覚醒度認識部１７及び覚醒度推定部１５などの各部の各構成要素は、専用のハードウェアで構成されてもよい。また、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。また、各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、さらに、以下のような場合も含まれる。

（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）さらに、上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）また、本開示の一態様は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

（５）また、本開示の一態様は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

（６）また、本開示の一態様は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

（７）また、本開示の一態様は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

（８）また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（９）また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

（１０）また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

（１１）また、上記覚醒度推定方法に含まれる複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示は、覚醒度推定装置及び覚醒度推定方法に利用でき、特に、運転中のドライバの覚醒度を推定し、所定値より覚醒度が低下したときに、ドライバに注意喚起する運転支援システムなどに搭載される覚醒度推定装置及び覚醒度推定方法に利用可能である。

１ 運転支援装置
２ 運転操作部
３ 周辺環境認識部
４ 自車両位置検出部
５ 目標走行状態決定部
６ 運転モード選択部
７ 車両制御部
８ 通知部
１０、１０Ａ 覚醒度推定装置
１１ 車両挙動検出部
１２ 第１の覚醒度認識部
１５ 覚醒度推定部
１６ 生体情報検出部
１７、１７Ａ 第２の覚醒度認識部
２１ ステアリングホイール
２２ アクセルペダル
２３ ブレーキペダル
２４ 操舵レバー
２５ 運転モード選択スイッチ
３１ カメラ
３２ レーダ
３３ 道路形状認識部
３４ 路面状態認識部
３５ 周辺物体認識部
４１ ＧＰＳ
４２ 車両走行位置算出部
４３ 地図データ記憶部
１１１ 操舵角センサ
１１２ アクセルペダル位置センサ
１１３ ブレーキペダル位置センサ
１１４ 車速センサ
１１５ 加速度センサ
１１６ ヨーレートセンサ
１２１ 運転情報特徴抽出部
１２２ 第１の覚醒度識別部
１３１ 車間距離特徴抽出部
１３２ 車両横変位量特徴抽出部
１３３ 操舵角特徴抽出部
１３４ アクセルペダル位置特徴抽出部
１３５ ブレーキペダル位置特徴抽出部
１３６ 車速特徴抽出部
１３７ 車両前後方向加速度特徴抽出部
１３８ 車両左右方向加速度特徴抽出部
１３９ ヨーレート特徴抽出部
１５１ 覚醒度検証部
１５２ 教師データ生成部
１６１ 車内カメラ
１６２ マイク
１６３ 心拍センサ
１６４ 血圧センサ
１６５ 体動センサ
１７１、１７１Ａ 生体特徴抽出部
１７２、１７２Ａ 第２の覚醒度識別部
１７３ 生体情報特徴記憶部
１７４ 生体特徴選択部
１８１ 顔画像抽出部
１８２ 開眼度検出部
１８３ 開眼度特徴抽出部
１８４ 瞬目検出部
１８５ 瞬目特徴抽出部
１８６ 頭部位置検出部
１８７ 頭部位置特徴抽出部
１８８ 呼吸音検出部
１８９ 呼吸特徴抽出部
１９０ 心拍変動検出部
１９１ 心拍変動特徴抽出部
１９２ 血圧変動検出部
１９３ 血圧変動特徴抽出部
１９４ 体動検出部
１９５ 体動特徴抽出部

Claims (14)

1. 車両のドライバの覚醒度を推定する覚醒度推定装置であって、
   前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切り替え可能であり、
   前記車両の運転情報を検出する車両挙動検出部と、
   前記車両挙動検出部により検出された前記運転情報から前記ドライバの第１の覚醒度を認識する第１の覚醒度認識部と、
   前記ドライバの１以上の生体情報を検出する生体情報検出部と、
   前記生体情報検出部により検出された前記１以上の生体情報から前記ドライバの第２の覚醒度を認識する第２の覚醒度認識部と、
   前記第１の覚醒度認識部が認識する前記第１の覚醒度、及び、前記第２の覚醒度認識部が認識する前記第２の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第３の覚醒度を推定する覚醒度推定部とを備え、
   前記覚醒度推定部は、
   前記手動運転モードでは、前記第１の覚醒度と前記第２の覚醒度とから、第３の覚醒度を推定し、
   前記自動運転モードでは、前記第２の覚醒度から第３の覚醒度を推定する、
   覚醒度推定装置。
2. 前記覚醒度推定部は、
   前記自動運転モードでは、前記第２の覚醒度を前記第３の覚醒度とすることにより、前記第２の覚醒度から前記第３の覚醒度を推定する、
   請求項１に記載の覚醒度推定装置。
3. 前記覚醒度推定部は、
   前記手動運転モードでは、前記第１の覚醒度及び前記第２の覚醒度の信頼度が閾値以上か否かを判定し、前記信頼度が前記閾値以上である前記第１の覚醒度及び前記第２の覚醒度の一方を第３の覚醒度とすることにより、前記第３の覚醒度を推定する、
   請求項１または２に記載の覚醒度推定装置。
4. 前記覚醒度推定部は、
   前記手動運転モードでは、前記第１の覚醒度及び前記第２の覚醒度それぞれの信頼度が閾値以上であり、かつ、前記第１の覚醒度及び前記第２の覚醒度が異なる場合、前記第１の覚醒度を前記第３の覚醒度とすることにより、前記第３の覚醒度を推定する、
   請求項３に記載の覚醒度推定装置。
5. 前記覚醒度推定部は、
   前記手動運転モードにおいて、前記第１の覚醒度と前記第２の覚醒度とが異なる場合、前記第１の覚醒度に基づいて生成した教師データを用いて前記第２の覚醒度認識部が前記第１の覚醒度を認識結果として出力するように、前記第２の覚醒度認識部に学習処理を行わせる、
   請求項４に記載の覚醒度推定装置。
6. 前記学習処理では、
   前記ドライバの１以上の生体情報と前記ドライバの覚醒度との関係を示している、前記第２の覚醒度認識の覚醒度識別モデルが、前記第１の覚醒度を識別結果として出力されるように更新される、
   請求項５に記載の覚醒度推定装置。
   
7. 前記第２の覚醒度認識部は、
   前記生体情報検出部により検出された複数の生体情報それぞれから、前記ドライバの生理状態に関する生体情報特徴を抽出する生体特徴抽出部と、
   前記生体特徴抽出部により抽出された複数の生体情報特徴の中から、前記第１の覚醒度から生成された前記教師データと相関の高い生体情報特徴を選択する生体特徴選択部とを備え、
   前記覚醒度推定部は、前記第２の覚醒度認識部が、前記生体特徴選択部により選択された生体情報特徴を教師データとして用いて、前記第１の覚醒度を認識結果として出力されるように、前記第２の覚醒度認識部に学習処理を行わせる、
   請求項５に記載の覚醒度推定装置。
8. 前記生体情報は、前記ドライバの心拍変動を示す情報である、
   請求項１〜７のいずれか１項に記載の覚醒度推定装置。
9. 前記生体情報は、前記ドライバの顔が映った顔画像である、
   請求項１〜７のいずれか１項に記載の覚醒度推定装置。
10. 前記生体情報は、前記ドライバの体動を示す情報である、
    請求項１〜７のいずれか１項に記載の覚醒度推定装置。
11. 前記運転情報は、前記車両の操舵角を示す情報である、
    請求項１〜１０のいずれか１項に記載の覚醒度推定装置。
12. 前記運転情報は、前記車両のアクセルペダル及びブレーキペダルの位置を示す情報である、
    請求項１〜１０のいずれか１項に記載の覚醒度推定装置。
13. 前記運転情報は、前記車両の加速度を示す情報である、
    請求項１〜１０のいずれか１項に記載の覚醒度推定装置。
14. 車両のドライバの覚醒度を推定する覚醒度推定方法であって、
    前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切替え可能であり、
    前記車両の運転情報を検出する車両挙動検出ステップと、
    前記車両挙動検出ステップにおいて検出された前記運転情報から前記ドライバの第１の覚醒度を認識する第１の覚醒度認識ステップと、
    前記ドライバの生体情報を検出する生体情報検出ステップと、
    前記生体情報検出ステップにおいて検出された前記生体情報から前記ドライバの第２の覚醒度を認識する第２の覚醒度認識ステップと、
    前記第１の覚醒度認識ステップにおいて認識される前記第１の覚醒度、及び、前記第２の覚醒度認識ステップにおいて認識される前記第２の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第３の覚醒度を推定する覚醒度推定ステップとを含み、
    前記覚醒度推定ステップにおいて、
    前記手動運転モードでは、前記第１の覚醒度と前記第２の覚醒度とに基づいて、第３の覚醒度を推定し、
    前記自動運転モードでは、前記第２の覚醒度に基づいて第３の覚醒度を推定する、
    覚醒度推定方法。

Images