JP6727465B1 - 運転者状態判断装置および運転者状態判断方法 - Google Patents

Abstract

運転者状態判断装置（１００）は、車両（１０）の運転者の生体信号から運転者の状態の推定に用いる特徴量を算出する生体信号解析部（１３０）と、生体信号の特徴量に基づいて、運転者の状態の推定値を算出する運転者状態算出部（１４０）と、運転者の状態の推定値を予め定められた閾値と比較することで、運転者の状態を分類する運転者状態分類部（１５０）と、運転者の状態の分類結果に応じて、運転者に情報提示を行う情報提示部（１６０）とを備える。記録部（１４１）には、運転者の閉眼度、車両（１０）の経路情報、車両（１０）の車内環境情報、および、情報提示の内容に合致した車両（１０）の操作が行われたか否かの情報のうちの少なくとも１つと、運転者の状態の推定値とが、互いに同期して記録されており、閾値更新部（１４２）は、記録部（１４１）に記録された情報に基づいて、運転者の状態を分類するための閾値を更新する。

Description

本発明は、車両に搭載されたセンサの出力データから、運転者の状態を判断する運転者状態判断装置に関するものである。

車両の漫然運転が原因となった交通事故は依然として多い。そのため、センサで取得した運転者の生体信号に基づいて、例えば、運転者の疲労が蓄積した状態や運転に集中できていない状態といった通常とは異なる状態を検出して、漫然運転の回避に役立てる研究がなされている。また、運転者の状態（例えば眠気、疲労、不安度、集中力など）の本人の感じ方には個人性（個人差）があるため、運転者の状態の判断基準となる閾値を、個々の運転者ごとに異なる値に設定する方法が検討されている（例えば下記の特許文献１）。

国際公開第２００６／０５４５４２号

特許文献１に開示された技術では、運転者が姿勢を変える頻度およびその変動量、運転者の血流量といった運転者の状態を表す情報に、運転者ごとに異なる閾値を設定することで、個人性への対応を図っている。しかし、姿勢を変える頻度およびその変動量、血流量といった情報は、その値の変化の要因となる事象が多いこと、また、運転者の状態変化が姿勢や血流として発現するまでに時間を要することなどから、それらの情報から運転者の個人性を判断することは難しい。また、特許文献１には、閾値を更新する具体的な方法については説明されていない。

本発明は以上のような課題を解決するためになされたものであり、運転者の状態の推定を、その運転者の個人性を考慮して行うことが可能な運転者状態判断装置を提供することを目的とする。

本発明に係る運転者状態判断装置は、車両の運転者の生体信号を取得する生体センサ部と、前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出する生体信号解析部と、前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出する運転者状態算出部と、前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類する運転者状態分類部と、前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行う情報提示部と、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値とを、互いに同期させて記録する記録部と、前記記録部に記録された、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと前記運転者の状態の推定値との相関による回帰直線の回帰係数および切片の大きさに基づいて、前記閾値を更新する閾値更新部と、を備え、前記生体センサ部は、それぞれの測定圏が互いに重ならない部分を持つ複数の生体センサと、前記運転者の姿勢を表す姿勢情報を取得する姿勢センサと、前記姿勢情報に基づいて、前記複数の生体センサのうちから測定圏内に前記運転者が存在する生体センサを選択し、選択された生体センサが取得した生体信号を出力する生体センサ選択部と、を備えるものである。

本発明に係る運転者状態判断装置によれば、過去の運転者の状態および閉眼度の情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者の状態を分類するための閾値が更新される。運転者の状態の分類を、その運転者の個人性を考慮して行うことができ、運転者の状態の判断精度を向上させることができる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る運転者状態判断装置の構成を示す図である。 生体センサ部の構成を示す図である。 車両挙動センサ部の構成を示す図である。 生体信号解析部の構成を示す図である。 フィルタバンク生成部が生成するフィルタバンクの例を示す図である。 フィルタバンクが適用される前の振幅スペクトルの例を示す図である。 フィルタバンクが適用された後の振幅スペクトルの例を示す図である。 モデル学習のためのデータ収集における主観評価の例を示す図である。 学習したモデルを用いた運転者状態の算出結果の例を示す図である。 運転者の状態のクラス分類の例を示す図である。 運転者の状態を分類する閾値の初期値の決定方法の例を説明するための図である。 眠気の推定値と閉眼度と関係を示す回帰直線の例を示す図である。 閾値更新部における、閾値更新基準の例を示す図である。 実施の形態２に係る運転者状態判断装置の構成を示す図である。 実施の形態３に係る運転者状態判断装置の構成を示す図である。 実施の形態４に係る運転者状態判断装置の構成を示す図である。 実施の形態５に係る運転者状態判断装置の構成を示す図である。 実施の形態５の閾値更新部における更新基準とするデータ選択の手順の例を示すフローチャートである。 運転者状態判断装置のハードウェア構成例を示す図である。 運転者状態判断装置のハードウェア構成例を示す図である。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る運転者状態判断装置１００の構成を示す図である。図１のように、運転者状態判断装置１００は、車両１０に搭載されており、生体センサ部１１０、車両挙動センサ部１２０、生体信号解析部１３０、運転者状態算出部１４０、記録部１４１、閾値更新部１４２、運転者状態分類部１５０、情報提示部１６０および閉眼度算出部１７１を備えている。

生体センサ部１１０は、車両１０の運転者の生体信号を取得して出力する。生体センサ部１１０が取得する生体信号は、例えば心拍や脈波などの時系列信号である。生体センサ部１１０としては、例えば、心臓の収縮を電気的に捉える心電図センサや、脈動に伴うヘモグロビンの変化から血管の容積変化を検出することで心臓の収縮を捉える光電脈波センサなどがある。これらは、一般的に運転者の皮膚に接触あるいは近接させて使用されるセンサであるが、例えば、電波を用いて胸部変異を測定するセンサなど、運転者の皮膚に接触させずに使用されるセンサでもよい。このように、生体センサ部１１０には様々な種類が考えられるが、運転者の生体信号を出力可能であればどのようなものが用いられてもよい。

生体センサ部１１０は単一のセンサでもよいが、本実施の形態では、図２のような構成の生体センサ部１１０が用いられている。図２のように、当該生体センサ部１１０は、第１生体センサ１１１、第２生体センサ１１２、姿勢センサ１１３、生体センサ選択部１１４を備えている。

第１生体センサ１１１および第２生体センサ１１２は、いずれも運転者の生体信号を取得して出力するセンサである。ただし、第１生体センサ１１１と第２生体センサ１１２とでは、測定圏が互いに異なっている。

姿勢センサ１１３は、運転者の姿勢を表す姿勢情報を取得する。姿勢センサ１１３が姿勢情報を取得する方法としては、例えば、運転席の座面または背面に配置された圧力センサを用いる方法や、カメラを用いたモーションキャプチャなどがあるが、運転者の姿勢情報を取得可能であればその方法は問わない。

生体センサ選択部１１４は、姿勢センサ１１３が取得した運転者の姿勢情報に基づいて、運転者が第１生体センサ１１１および第２生体センサ１１２のどちらの測定圏内に存在するかを判定する。そして、生体センサ選択部１１４は、第１生体センサ１１１および第２生体センサ１１２のうち、測定圏内に運転者が存在する方が出力する生体信号を選択して出力する。

このように、図２の生体センサ部１１０は、測定圏の異なる第１生体センサ１１１および第２生体センサ１１２を、運転者の姿勢に応じて選択的に使用することで、広い測定圏を実現している。それにより、生体センサ部１１０は、高い精度で運転者の生体信号を取得することができる。ここでは、生体センサ部１１０が２つの生体センサを有する例を示したが、生体センサの数は３つ以上でもよい。

車両挙動センサ部１２０は、車両１０の挙動を観測し、車両１０の動きを表す車両挙動信号を出力する。車両挙動センサ部１２０としては、車両１０の加速度を測定する加速度センサや、車両１０の方位を測定するジャイロセンサ、あるいはその両方を組み合わせたものなどを用いることができる。

本実施の形態では、図３のような構成の車両挙動センサ部１２０が用いられている。図３のように、当該車両挙動センサ部１２０は、車両１０の加速度に応じた加速度信号を出力する加速度センサ１２１と、加速度センサ１２１が出力する加速度信号のデータを解析する加速度信号解析部１２２とを備えている。本実施の形態では、加速度信号が、車両１０の挙動を表す車両挙動信号として使用される。なお、加速度センサ１２１としては、１軸、２軸あるいは３軸のセンサがあるが、そのいずれが用いられてもよい。加速度センサ１２１が複数軸のセンサである場合、加速度センサ１２１は、各軸の加速度信号をそれぞれ独立に出力する。

生体信号解析部１３０は、生体センサ部１１０が出力する運転者の生体信号を解析することで、生体信号から、運転者の状態を推定するために必要な特徴量を算出する。本実施の形態では、図４のような構成の生体信号解析部１３０が用いられている。図４のように、本実施の形態の生体信号解析部１３０は、信号整形部１３１、スペクトル算出部１３２、フィルタバンク生成部１３３、フィルタバンク適用部１３４およびケプストラム算出部１３５を備えている。

信号整形部１３１は、生体センサ部１１０から取得した生体信号を解析するための前処理を行う。具体的には、信号整形部１３１は、決められたフレームサイズで生体信号を切り出して、窓関数をかける。本実施の形態では、信号整形部１３１は、車両挙動センサ部１２０から取得した車両挙動信号（加速度信号）のデータに基づいて、車両１０の動きに起因する生体信号のノイズ成分を除去する。生体センサ部１１０の系統誤差が自明であれば、信号整形部１３１は、バンドパスフィルタによって生体信号のノイズ成分も除去してもよい。

スペクトル算出部１３２は、高速フーリエ変換などの周波数解析によって、生体信号の対数振幅スペクトルを算出する。

フィルタバンク生成部１３３は、周波数領域において、生体信号の帯域に相当する部分とノイズの帯域に相当する部分とで異なる解像度のバンドパスフィルタを生成する。生体信号から運転者の疲労や眠気、不安度といった状態を推定する手法として、運転者の心臓の収縮の情報に基づく手法がある。心臓の収縮を示す生体信号は、時系列信号として観測可能であるため、周波数解析によってその特徴を捉えることを考える。センサの分解能を上げるためにはサンプリング周波数を大きくする必要があるが、そうすると、取得されたデータの周波数領域において、生体信号が占める領域が小さくなる。したがって、生体信号に相当する情報を鋭敏に知覚する必要がある。そこで、フィルタバンク生成部１３３は、図５に示すような通過帯域の異なる三角フィルタ群を生成する。

フィルタバンク適用部１３４は、スペクトル算出部１３２で算出された対数振幅スペクトルに、フィルタバンク生成部１３３で生成されたフィルタバンクを適用する。このとき、対数振幅スペクトルの長さと各フィルタバンクの長さとが同一である必要がある。例えば、図６のグラフの振幅スペクトルにフィルタバンクを適用すると、フィルタバンク適用後の振幅スペクトルは図７のグラフのようになる。これにより、周波数領域において生体信号の特徴を高密度に抽出しながら、ノイズに相当する特徴は低密度に抽出されるようにすることができる。

ケプストラム算出部１３５は、フィルタバンク適用部１３４で得られた対数振幅スペクトルを離散コサイン変換などによって、ケプストラム領域に変換することで、運転者の状態推定に必要な特徴量を算出する。このとき、対数振幅スペクトルのうち、低周波に相当する情報をケプストラム領域に変換する。抽出するサンプル数は任意の数でよい。ここでは、ケプストラム算出部１３５の動作は、生体信号スケールのケプストラムを算出して終了するものとする。ただし、ケプストラム算出部１３５の動作はこれに限られず、例えば、ケプストラムを１階微分して得られる速度情報、または、ケプストラムを２階微分して得られる加速度情報を、特徴量の付加情報としてもよい。さらに、ケプストラム算出部１３５は、特徴量を必ずしも単一フレームの生体信号から算出しなくてもよく、連結された複数フレームの生体信号から算出してもよい。

運転者状態算出部１４０は、生体信号の解析の結果得られた特徴量のデータに基づいて、運転者の状態の推定値を算出する。このとき、運転者状態算出部１４０は、車両挙動センサ部１２０において加速度センサ１２１が出力するデータを加速度信号解析部１２２が加速度信号を解析して得た車両１０の挙動のデータを、特徴量のデータに加えてもよい。運転者の状態の推定値は、運転者の状態を目的変数、特徴量を説明変数とする回帰分析などの手法により算出できる。

本実施の形態では、運転者状態算出部１４０は、運転者の眠気の推定値を算出する。図８は、回帰解析のモデル学習のためのデータ収集における主観評価の一例である。運転者状態算出部１４０は、例えば図８のように、全く眠気を感じない状態を０、眠気の限界で今にも眠りそうな状態を１００として、０から１００までのスケールで眠気について回帰分析を行うことで、生体信号から運転者の眠気を推定する。学習したモデルを用いた運転者状態の算出結果の一例を図９に示す。運転者状態算出部１４０は、図９のように一定の周期で運転者の眠気の推定値を出力する。

ここでは運転者状態算出部１４０が推定する運転者の状態を眠気としたが、これに限られず、例えば、運転者状態算出部１４０が運転者の疲労を推定してもよい。また、推定の手法も回帰分析に限られず、公知のパターン認識や機械学習手法などでもよい。

閉眼度算出部１７１は、車両１０に設置されたカメラで撮影した運転者の顔の画像を取得し、その画像を解析することで運転者の閉眼度を算出して出力する。閉眼度は、目が完全に開いているときの上まぶたと下まぶたとの間の距離とある時刻での上まぶたと下まぶたとの間の距離との比の逆数をもって表される時系列信号である。例えば、目が完全に閉じているときの閉眼度を１００％、目が完全に開いているときの閉眼度を０％とすると、閉眼度の時系列信号に１００％になる瞬時的なピークが現れれば、それは瞬目したことを示す。この閉眼度の時系列信号を解析することで、眠気などの運転者の状態を判断することができる。なお、閉眼度算出部１７１が取得する画像は、静止画に限られず、動画でもよい。

記録部１４１は、運転者状態算出部１４０が算出した運転者の状態（ここでは眠気）の推定値のデータと、閉眼度算出部１７１が出力した運転者の閉眼度のデータとを、互いに同期させて記録する。

運転者状態分類部１５０は、予め定められた閾値と、運転者状態算出部１４０が算出した運転者の状態の推定値とを比較することで、運転者の状態を分類する。ここでは、運転者状態分類部１５０は、現在の運転者の状態を、眠気の度合いに応じたクラスに分類する。図１０は、運転者の状態のクラス分類の一例であり、運転者の眠気が、「Ｃ１：通常」、「Ｃ２：眠気を感じる」、「Ｃ３：強い眠気を感じる」という３つのクラスに分類されている。図１０において、各クラス間の閾値は、運転者状態算出部１４０で用いられるモデルを構築するための学習データを収集する際に、クラスＣ１とクラスＣ２との境界（Ｃ１−Ｃ２間閾値）およびクラスＣ２とクラスＣ３との境界（Ｃ２−Ｃ３間閾値）について、被験者が主観評価にて回答した結果の平均値である。図１１に各被験者の回答結果を示す。ここでは、運転者の状態（眠気）を３クラスに分類した例を示したが、目的に応じて、さらに多くのクラスに分類してもよいし、２クラスに分類してもよい。

このように、各クラス間の閾値が設定されることで運転者の状態の分類が可能となるが、図１１に示した被験者の回答結果からも分かるように、状態の感じ方には個人性（個人差）がある。この個人性に対応するためには、各クラス間の閾値を、運転者ごとに修正して更新することが有効である。

閾値更新部１４２は、記録部１４１に記録されている過去の運転者の状態および閉眼度の情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。以下、閾値更新部１４２の動作の例として、上述した眠気の３クラス分類の閾値を更新する方法について説明する。

閾値更新部１４２は、記録部１４１に記録されているデータからサンプルを取り出し、眠気の推定値と閉眼度と関係を示す回帰直線を求める。図１２は、直近の２０サンプルから求めた回帰直線の例である。図１２のグラフにおいて、横軸は、運転者状態算出部１４０が算出した眠気の推定値であり、縦軸は、閉眼度算出部１７１が算出した運転者の閉眼度である。

閉眼度と眠気との間には強い相関があるため、閾値更新部１４２は、その相関を利用して、閾値を運転者に適応させる。例えば、図１２の回帰直線は、回帰係数（回帰直線の傾き）が小さく切片も小さいが、これは、運転者が、閉眼度が低い状態すなわち眠気をあまり感じていない状態でも、運転者状態算出部１４０が算出する眠気の推定値が大きくなりやすい、という個人性を持つことを意味している。運転者がこのような個人性を持つ場合、例えば、クラスＣ２の状態になると警報を発するシステムにおいて、運転者が実際には眠気を感じていないにもかかわらず警報が発せられることになり、運転者に不快感を与える。そこで、閾値更新部１４２は、図１２のような回帰直線が得られた場合は、Ｃ２−Ｃ３間閾値を現在の値よりも大きい値に更新することで、誤った警告が発せられることを防止する。

これと同様の考え方に基づき、閾値更新部１４２は、回帰係数が大きく切片も大きいときはＣ２−Ｃ３間閾値を現在よりも小さい値に更新し、回帰係数が大きく切片が小さいときはＣ１−Ｃ２間閾値を現在よりも大きい値に更新し、回帰係数が小さく切片が大きいときはＣ１−Ｃ２間閾値を現在よりも小さい値に更新する。以上の閾値更新部１４２の動作をまとめると図１３のようになる。

なお、回帰係数が負の値となるときは、運転者の状態の推定値が不安定であるため、運転者状態分類部１５０の処理を停止させてもよい。また、図１２は、直近の２０サンプルを用いて回帰直線を求める例を示したが、サンプルの数および間隔はそれぞれ任意の値でよい。

情報提示部１６０は、運転者状態分類部１５０による現在の運転者の状態の分類結果に応じて、運転者に情報提示を行う。情報提示の方法は、車両１０のインストゥルメンタルパネルやセンターディスプレイに運転者の状態に応じたアイコンなどの画像を表示する視覚的なものでもよいし、車両１０が備えるスピーカーから運転者の状態に応じた音声メッセージや警報を出力する聴覚的なものでもよい。

上述した眠気の３クラス分類の例であれば、情報提示部１６０は、運転者の眠気がクラスＣ２になると、スピーカーから音声メッセージを出力するとともに、インストゥルメンタルパネルにアイコンを表示し、運転者の眠気がクラスＣ３になると、スピーカーから警報を発するとともに、センターディスプレイに最寄りの休憩地点の外観画像やその休憩地点までの経路をセンターディスプレイに表示することなどが考えられる。

以上のように、実施の形態１に係る運転者状態判断装置１００では、閾値更新部１４２が、過去の運転者の状態および閉眼度の情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。よって、運転者状態分類部１５０は、運転者の状態を分類する際に、運転者の個人性が考慮されたきめ細かな判断をすることができる。よって、運転者の状態の判断精度を向上させることができる。

なお、図１においては、生体センサ部１１０および車両挙動センサ部１２０が、運転者状態判断装置１００内に配置されているが、生体センサ部１１０および車両挙動センサ部１２０は、運転者状態判断装置１００に外付けされるものでもよい。また、生体信号解析部１３０および運転者状態算出部１４０が行う演算に、車両の挙動（動き）を加味しない場合は、車両挙動センサ部１２０は省略されてもよい。

＜実施の形態２＞
図１４は、実施の形態２に係る運転者状態判断装置１００の構成を示す図である。図１４の運転者状態判断装置１００の構成は、図１の構成に対し、閉眼度算出部１７１を経路情報取得部１７２に置き換えたものである。経路情報取得部１７２は、車両１０のナビゲーションシステムから、車両１０の位置情報および経路情報、交通情報などを取得する。

実施の形態２では、記録部１４１は、運転者状態算出部１４０が算出した運転者の状態の推定値のデータと、経路情報取得部１７２が取得した車両１０の経路情報のデータとを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。

例えば、運転者状態算出部１４０が、運転者の状態の推定値として、不安度の推定値を算出するものと仮定する。この場合、運転者状態分類部１５０は、閾値更新部１４２により更新される閾値に基づいて運転者の不安度を分類し、情報提示部１６０は、運転者の不安度の分類結果に応じて、運転者への情報提示を行う。

閾値更新部１４２は、記録部１４１に記録されたデータを参照して、現在走行中の経路を過去に走行したときの、運転者の不安度の推定値を確認する。現在走行中の経路を過去に走行したときに運転者が不安度の推定値が大きくなっていれば、閾値更新部１４２は、不安度を分類するための閾値を小さくするといった処理を行う。

なお、現在走行中の経路が初めて走行する経路であり、当該経路に関する過去のデータが記録部１４１に存在しない場合、その代替として、過去に走行した他の経路のうち現在走行中の経路に走行条件が類似した経路のデータを用いてもよい。

また、例えば、運転者状態算出部１４０が、運転者の状態の推定値として不注意度の推定値を算出し、運転者状態分類部１５０が運転者の不注意度を分類するものと仮定する。この場合、経路情報取得部１７２が現在走行中の経路の渋滞発生情報を取得すると、閾値更新部１４２が、運転者の不注意による追突事故を防止するために、不注意度の分類の閾値を小さくするといった処理を行ってもよい。

実施の形態２に係る運転者状態判断装置１００によれば、運転者状態分類部１５０が運転者の状態を分類する際に、運転者の走行履歴から分かる運転者の個人性が考慮されたきめ細かな判断が行われるようになる。

＜実施の形態３＞
図１５は、実施の形態３に係る運転者状態判断装置１００の構成を示す図である。図１５の運転者状態判断装置１００の構成は、図１の構成に対し、閉眼度算出部１７１を車内環境情報取得部１７３に置き換えたものである。車内環境情報取得部１７３は、車両１０の空調システムから、空調の設定値、車内の気温、湿度、二酸化炭素濃度など、車内環境の情報を取得する。

実施の形態３では、記録部１４１は、運転者状態算出部１４０が算出した運転者の状態の推定値のデータと、経路情報取得部１７２が取得した車内環境の情報のデータとを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。

例えば、運転者状態算出部１４０が、運転者の状態の推定値として、眠気や体調不良度の推定値を算出するものと仮定する。この場合、運転者状態分類部１５０は、閾値更新部１４２により更新される閾値に基づいて、運転者の眠気や体調不良度を分類する。また、情報提示部１６０は、運転者の眠気や体調不良度の分類結果に応じて、運転者への情報提示を行う。

一般に、二酸化炭素濃度が高くなると、倦怠感や頭痛、眠気など人体に悪影響を及ぼすことが知られている。そこで、閾値更新部１４２は、記録部１４１に記録されたデータからサンプルを取り出して回帰直線を求め、その回帰直線の回帰係数および切片の大きさに応じて、図１３と同様に、運転者の状態を分類するための閾値を更新する。

また、閾値更新部１４２は、車内環境情報取得部１７３が取得した現在の気温および湿度のデータに基づいて、運転者の眠気や熱中症といった状態を分類するための閾値を更新してもよい。

実施の形態３に係る運転者状態判断装置１００によれば、運転者状態分類部１５０が運転者の状態を分類する際に、車両１０の車内環境が考慮されたきめ細かな判断が行われるようになる。

＜実施の形態４＞
図１６は、実施の形態４に係る運転者状態判断装置１００の構成を示す図である。図１６の運転者状態判断装置１００の構成は、図１の構成に対し、閉眼度算出部１７１を運転者反応判定部１７４に置き換えたものである。運転者反応判定部１７４は、情報提示部１６０が運転者に情報提示を行った後（つまり、運転者の状態の推定値が閾値を超えた後）に運転者が行った車両１０の操作の情報を取得して、情報提示の内容に合致した車両１０の操作が行われたか否か、つまり、運転者が情報提示部１６０による情報提示の内容を受け入れたか否かを判定する。

例えば、運転者状態算出部１４０が、運転者の状態の推定値として、集中力の推定値を算出するものと仮定する。このとき、運転者状態分類部１５０により運転者の集中力が低下した状態にあると判断され、情報提示部１６０が運転者に休憩地点への案内を提示した場合、閉眼度算出部１７１は、その後に運転者が行った車両１０の操作の情報を取得する。そして、閉眼度算出部１７１は、運転者がその情報提示の内容に従って車両１０を操作したかどうか、つまり、運転者が車両１０を提示された休憩地点へ移動させたかどうかを判定する。

実施の形態４では、記録部１４１は、運転者状態算出部１４０が算出した運転者の状態の推定値のデータと、運転者反応判定部１７４の判定結果（運転者が情報提示の内容を受け入れたか否か）のデータとを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。

例えば、運転者状態分類部１５０により運転者の集中力が低下したと判断され、情報提示部１６０による情報提示が行われたにもかかわらず、運転者がそれに従って車両１０を操作しなかった場合、実際には、運転者は集中力の低下を感じていなかったと考えることができる。そこで、閾値更新部１４２は、記録部１４１に記録されているデータを参照して、過去に運転者が集中力低下に関する情報提示を受け入れなかったことを確認すると、過度な情報提示を抑制するために、運転者の集中力を分類するための閾値を大きくするといった処理を行う。

実施の形態４に係る運転者状態判断装置１００によれば、情報提示の内容を運転者が受け入れたかどうかに基づいて、運転者の状態を分類するための閾値の更新が行われる。よって、運転者状態分類部１５０が運転者の状態を分類する際に、運転者の好みに応じたきめ細かな判断が行われるようになる。

＜実施の形態５＞
図１７は、実施の形態５に係る運転者状態判断装置１００の構成を示す図である。図１７の運転者状態判断装置１００の構成は、図１の構成に対し、実施の形態２で説明した経路情報取得部１７２、実施の形態３で説明した車内環境情報取得部１７３および実施の形態４で説明した運転者反応判定部１７４を追加したものである。

実施の形態４では、記録部１４１は、運転者反応判定部１７４の出力データ（運転者の状態の推定値）と、閉眼度算出部１７１の出力データ（運転者の閉眼度）と、経路情報取得部１７２の出力データ（車両１０の位置情報および経路情報、交通情報など）と、車内環境情報取得部１７３の出力データ（車内環境の情報）と、運転者反応判定部１７４の出力データ（運転者が情報提示の内容を受け入れたか否かの判定結果）とを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。

運転者状態分類部１５０が行う運転者の状態の分類に、運転者の個人性を的確に反映させるためには、閾値更新部１４２が、運転者反応判定部１７４の判定結果に基づいて、運転者の状態を分類するための閾値を更新することが好ましい。しかし、そもそも閾値の設定が不適切であったことなどが原因で、情報提示部１６０による情報提示が一度もなされていない場合には、運転者反応判定部１７４による判定も一度も成されていないため、運転者反応判定部１７４の判定結果に基づく当該閾値の更新は不可能である。

そこで、実施の形態５では、閾値更新部１４２は、運転者反応判定部１７４の出力データが記録部１４１に記録されていない場合に、閉眼度算出部１７１、経路情報取得部１７２、車内環境情報取得部１７３のいずれかの出力データに基づいて、運転者の状態を分類するための閾値を更新する。このとき、閉眼度算出部１７１、経路情報取得部１７２および車内環境情報取得部１７３の出力データそれぞれの長所を活かした閾値の更新が行われることが望ましい。

閾値更新部１４２の動作の一例を示す。本実施の形態では、閾値更新部１４２は、運転者の状態を分類するための閾値を更新する際、図１８のフローに従って、閉眼度算出部１７１、経路情報取得部１７２、車内環境情報取得部１７３、運転者反応判定部１７４の出力データのいずれかを選択して、閾値の更新を行う。

上述したように、運転者の状態の分類に、運転者の個人性を的確に反映させるためには、閾値の更新が、運転者反応判定部１７４の出力データに基づいて行われることが好ましい。そこで、閾値更新部１４２は、まず、記録部１４１に運転者反応判定部１７４の出力データが記録されているか否かを確認する（ステップＳＴ１０１）。しかし、運転者反応判定部１７４の出力データが記録されていれば（ステップＳＴ１０１でＹＥＳ）、そのデータに基づく閾値の更新を行う（ステップＳＴ１０２）。しかし、記録部１４１に運転者反応判定部１７４の出力データが記録されていなければ（ステップＳＴ１０１でＮＯ）、以下の処理が行われる。

例えば、車両１０が、運転者が走行した経験のある経路を走行中であれば、その経路に関する経路情報取得部１７２の出力データが記録部１４１に記録されているため、そのデータに基づいて閾値を更新することにより、閾値に運転者の個人性を反映させることができる。しかし、車両１０が、運転者が走行した経験のない経路を走行中であれば、その経路に関する経路情報取得部１７２の出力データは記録部１４１に記録されていないため、閉眼度算出部１７１あるいは車内環境情報取得部１７３の出力データを使用する必要がある。

そこで、閾値更新部１４２は、現在走行中の経路が運転者の走行経験のある経路か否か、すなわち、現在走行中の経路に関する経路情報取得部１７２の出力データが記録部１４１に記録されているか否かを確認する（ステップＳＴ１０３）。現在走行中の経路が運転者の走行経験のある経路であれば（ステップＳＴ１０３でＹＥＳ）、経路情報取得部１７２の出力データに基づいて閾値の更新を行う（ステップＳＴ１０４）。

車両１０が現在走行中の経路が運転者の走行経験のない経路であれば（ステップＳＴ１０３でＮＯ）、閾値更新部１４２は、現在時刻が夜間であるかどうか、また、車両１０がトンネルを走行中かどうかを確認する（ステップＳＴ１０５）。

閉眼度算出部１７１は、カメラで撮影された運転者の顔の画像から閉眼度を算出するため、カメラの性能や仕様にもよるが、一般的には夜間やトンネル内など鮮明な画像の撮影が困難な状況では、閉眼度の算出精度は低下する。そこで、閾値更新部１４２は、夜間またはトンネル走行中のときは（ステップＳＴ１０５でＹＥＳ）、記録部１４１に記録された車内環境情報取得部１７３の出力データに基づいて閾値の更新を行う（ステップＳＴ１０６）。また、夜間でもトンネル走行中でもないときは（ステップＳＴ１０５でＮＯ）、閾値更新部１４２は、記録部１４１に記録された閉眼度算出部１７１の出力データに基づいて閾値の更新を行う（ステップＳＴ１０７）。

本実施の形態によれば、実施の形態１〜４それぞれの長所を生かして、運転者の状態を分類するための閾値の更新が行われる。よって、運転者状態分類部１５０が運転者の状態を分類する際に、さらにきめ細かな判断が行われるようになる。

＜ハードウェア構成例＞
図１９および図２０は、それぞれ運転者状態判断装置１００のハードウェア構成の例を示す図である。運転者状態判断装置１００の構成要素の各機能は、例えば図１９に示す処理回路５０により実現される。すなわち、運転者状態判断装置１００は、車両の運転者の生体信号を取得し、生体信号を解析することで、生体信号から運転者の状態の推定に用いる特徴量を算出し、生体信号の特徴量に基づいて、運転者の状態の推定値を算出し、運転者の状態の推定値を予め定められた閾値と比較することで、運転者の状態を分類し、運転者の状態の分類結果に応じて、運転者に情報提示を行い、運転者の閉眼度、車両の経路情報、車両の車内環境情報、および、情報提示の内容に合致した車両の操作が行われたか否かの情報のうちの少なくとも１つと、運転者の状態の推定値との、過去の情報に基づいて、閾値を更新する、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。運転者状態判断装置１００の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図２０は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における運転者状態判断装置１００のハードウェア構成の例を示している。この場合、運転者状態判断装置１００の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転者状態判断装置１００は、プロセッサ５１により実行されるときに、車両の運転者の生体信号を取得する処理と、生体信号を解析することで、生体信号から運転者の状態の推定に用いる特徴量を算出する処理と、生体信号の特徴量に基づいて、運転者の状態の推定値を算出する処理と、運転者の状態の推定値を予め定められた閾値と比較することで、運転者の状態を分類し、運転者の状態の分類結果に応じて、運転者に情報提示を行う処理と、運転者の閉眼度、車両の経路情報、車両の車内環境情報、および、情報提示の内容に合致した車両の操作が行われたか否かの情報のうちの少なくとも１つと、運転者の状態の推定値との、過去の情報に基づいて、閾値を更新する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、運転者状態判断装置１００の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、運転者状態判断装置１００の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、運転者状態判断装置１００の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、運転者状態判断装置１００は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１１３ 姿勢センサ、１１４ 生体センサ選択部、１２０ 車両挙動センサ部、１２１ 加速度センサ、１２２ 加速度信号解析部、１３０ 生体信号解析部、１３１ 信号整形部、１３２ スペクトル算出部、１３３ フィルタバンク生成部、１３４ フィルタバンク適用部、１３５ ケプストラム算出部、１４０ 運転者状態算出部、１４１ 記録部、１４２ 閾値更新部、１５０ 運転者状態分類部、１６０ 情報提示部、１７１ 閉眼度算出部、１７２ 経路情報取得部、１７３ 車内環境情報取得部、１７４ 運転者反応判定部、５０ 処理回路、５１ プロセッサ、５２ メモリ。

Claims (7)

1. 車両の運転者の生体信号を取得する生体センサ部と、
   前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出する生体信号解析部と、
   前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出する運転者状態算出部と、
   前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類する運転者状態分類部と、
   前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行う情報提示部と、
   前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値とを、互いに同期させて記録する記録部と、
   前記記録部に記録された、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと前記運転者の状態の推定値との相関による回帰直線の回帰係数および切片の大きさに基づいて、前記閾値を更新する閾値更新部と、
   を備え、
   前記生体センサ部は、
   それぞれの測定圏が互いに重ならない部分を持つ複数の生体センサと、
   前記運転者の姿勢を表す姿勢情報を取得する姿勢センサと、
   前記姿勢情報に基づいて、前記複数の生体センサのうちから測定圏内に前記運転者が存在する生体センサを選択し、選択された生体センサが取得した生体信号を出力する生体センサ選択部と、
   を備える、
   運転者状態判断装置。
2. 車両の運転者の生体信号を取得する生体センサ部と、
   前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出する生体信号解析部と、
   前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出する運転者状態算出部と、
   前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類する運転者状態分類部と、
   前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行う情報提示部と、
   前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値とを、互いに同期させて記録する記録部と、
   前記記録部に記録された、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと前記運転者の状態の推定値との相関による回帰直線の回帰係数および切片の大きさに基づき、前記運転者の状態の感じ方の個人差を考慮して、前記閾値を更新する閾値更新部と、
   を備える運転者状態判断装置。
3. 前記車両の動きを表す車両挙動信号を出力する車両挙動センサ部をさらに備え、
   前記生体信号解析部は、前記車両挙動信号を考慮に加えて、前記生体信号を解析する、
   請求項１または請求項２に記載の運転者状態判断装置。
4. 前記車両挙動信号は、前記車両の加速度信号である、
   請求項３に記載の運転者状態判断装置。
5. 前記生体信号解析部は、前記生体信号の周波数解析を行い、前記周波数解析の過程で、前記生体信号の対数振幅スペクトルに対し、前記生体信号が含まれる周波数帯域とそれ以外の周波数帯域とで解像度の異なるフィルタバンクを適用する、
   請求項１から請求項４のいずれか一項に記載の運転者状態判断装置。
6. 運転者状態判断装置の生体センサ部が、車両の運転者の生体信号を取得し、
   前記運転者状態判断装置の生体信号解析部が、前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出し、
   前記運転者状態判断装置の運転者状態算出部が、前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出し、
   前記運転者状態判断装置の運転者状態分類部が、前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類し、
   前記運転者状態判断装置の情報提示部が、前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行い、
   前記運転者状態判断装置の閾値更新部が、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値との、過去の情報から得られる、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと前記運転者の状態の推定値との相関による回帰直線の回帰係数および切片の大きさに基づいて、前記閾値を更新し、
   前記生体センサ部は、
   前記運転者の姿勢を表す姿勢情報に基づいて、それぞれの測定圏が互いに異なる部分を持つ複数の生体センサのうちから測定圏内に前記運転者が存在する生体センサを選択し、選択された生体センサが出力する前記運転者の生体信号を取得する、
   運転者状態判断方法。
7. 運転者状態判断装置の生体センサ部が、車両の運転者の生体信号を取得し、
   前記運転者状態判断装置の生体信号解析部が、前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出し、
   前記運転者状態判断装置の運転者状態算出部が、前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出し、
   前記運転者状態判断装置の運転者状態分類部が、前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類し、
   前記運転者状態判断装置の情報提示部が、前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行い、
   前記運転者状態判断装置の閾値更新部が、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値との、過去の情報から得られる、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと前記運転者の状態の推定値との相関による回帰直線の回帰係数および切片の大きさに基づき、前記運転者の状態の感じ方の個人差を考慮して、前記閾値を更新する、
   運転者状態判断方法。

Images