JP4500369B2 - 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム - Google Patents

Description

本発明は、脳波を用いて運転者の状態を計測し安全運転支援を行う機器に関する。

近年、自動車運転に関連した事故防止装置の中で、運転者の状態を計測し、その計測結果に基づいて運転支援を行う方法が検討されている。

運転者の状態を推定する方法としては、間接的には自動車の操作状況を反映するハンドル操舵角や走行速度の変化などを取得する方法がある。この方法は、機器側からは取得が容易な情報で、例えば、白線検出と組み合わせて運転の安定性の評価等の支援が可能になった。

一方、自動車状態ではなく運転者状態を直接計測する方法もある。例えばドライバーに向けられたカメラによって、視線の向きや瞬きの状況を検出し、ドライバーのよそ見や眠気の検出等が試みられてきた。

さらに運転者状態を直接計測する方法としては、運転者の脳波を計測する方法が想定される。脳波は、頭部で計測可能な頭皮上の電位変化であり、脳活動を反映しているとされ、運転者の状態を最もよく現している可能性がある。

本発明においては、運転者の運転に対する注意散漫検出装置の提供を目的としている。運転者の運転時の注意状況は、ハンドル操舵角等の自動車状況や、カメラ等の外部計測ではわかりにくい状況のひとつであり、注意散漫状況の検出は、安全運転支援に対して効果的な情報になると考えられる。

これまでの注意検出を目的とした出願は、例えば特許文献１に開示される発明がある。これは車両状況と運転者の視線や顔の動きから、運転者の注意配分を検出する発明である。

また特許文献２に開示される発明では、脳の活動状況と運転者の車両操作との関係を予め記憶したデータベースを備えることで、車両の挙動から、脳内活動を推定する方法を取っている。

特開２００４−１７８３６７号公報（視線や顔の動きから注意配分を検出） 特開２００５−２２８００３号公報（車の操作情報からの脳活動推定）

しかしながら、上述の特許文献１によれば、注意が散漫になっている場合には、視線が向いていても注意が向けられていない場合等に対応が困難である。

また特許文献２によれば、車両の挙動は脳内活動とは１対１には対応しないため、推定結果にはあいまいさが残ると考えられる。例えば、ブレーキ操作が比較的遅かった場合に、十分な余裕があると運転者が判断していたか、漫然と運転していたかは、そのときの運転者の計測をしない限りは、区別ができない。

このように注意散漫検出においては、より正確な計測方法が求められてきた。

本発明は、上記課題を解決するためになされたものであって、その目的は、運転者の注意が散漫しているか否かを正確に検出し、運転者に対して適切な安全運転支援を提供することにある。

本発明による注意散漫検出装置は、運転者の脳波信号を検出する脳波検出部と、脳波信号と覚醒度とを対応付ける第１規則を保持し、検出された前記脳波信号および前記第１規則に基づいて、覚醒度を推定する覚醒度推定部と、脳波信号と注意配分の程度とを関連付ける第２規則を保持し、検出された前記脳波信号および前記第２規則に基づいて、注意配分の程度を推定する注意配分推定部と、覚醒度および注意配分から注意量を導出するための第３規則を保持し、推定された前記覚醒度、前記注意配分および前記第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類する運転者状態推定部と、前記運転者状態分類部の分類結果に基づいて、前記運転者に対する働きかけを行う出力部とを備えている。

前記第１規則は、脳波信号の周波数強度と覚醒度とを対応付けており、前記覚醒度推定部は、検出された前記脳波信号の周波数強度を算出し、算出結果および前記第１規則に基づいて前記覚醒度を推定してもよい。

前記覚醒度推定部には、脳波信号の周波数強度に応じて定まる複数のグループが予め設けられており、前記覚醒度推定部は、複数の時刻において算出した前記脳波信号の各周波数強度を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの周波数強度および前記第１規則に基づいて前記覚醒度を推定してもよい。

前記第２規則は、脳波信号の事象関連電位の振幅と注意配分とを対応付けており、前記注意配分推定部は、検出された前記脳波信号の事象関連電位の振幅を算出し、算出結果および前記第２規則に基づいて前記注意配分の程度を推定してもよい。

前記注意配分推定部は、前記事象関連電位の振幅に応じて定まる複数のグループが予め設けられており、前記注意配分推定部は、複数の時刻において算出した前記脳波信号の事象関連電位の各振幅を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの事象関連電位の振幅および前記第２規則に基づいて前記注意配分の程度を推定してもよい。

前記注意散漫検出装置は、外部環境を検出する外部環境検出部をさらに備え、前記運転者状態推定部は、検出された外部環境に基づいて必要注意量を導出する規則を有しており、前記外部環境検出部にて検出された外部環境に対して前記規則を適用することによって導出される必要注意量と、前記運転手状態推定部にて推定された運転に対する注意量とを比較し、運転者が外部環境の複雑さに対して注意が払われているか否かを判定してもよい。

前記運転者状態推定部は、前記覚醒度推定部によって推定された覚醒度と、前記注意配分推定部によって推定された運転に対する注意配分を掛け合わせることによって、運転者の運転に対する注意量を算出してもよい。

前記注意配分推定部は、運転以外に対する注意配分と、運転に対する注意配分との関係を対応付ける規則を有しており、前記運転以外に対する注意配分および前記規則に基づいて、前記運転に対する注意配分を推定することが可能であり、前記運転者状態推定部は、前記運転以外に対する注意配分および前記規則に基づいて推定された前記運転に対する注意配分と、前記覚醒度推定部によって推定された覚醒度とを掛け合わせることによって、前記運転者の運転に対する注意量を算出してもよい。

本発明による注意散漫検出方法は、脳波信号と覚醒度とを対応付ける第１規則を用意するステップと、脳波信号と注意配分の程度とを関連付ける第２規則を用意するステップと、覚醒度および注意配分から注意量を導出するための第３規則を用意するステップと、運転者の脳波信号を検出するステップと、検出された前記脳波信号および前記第１規則に基づいて覚醒度を推定するステップと、検出された前記脳波信号および前記第２規則に基づいて注意配分の程度を推定するステップと、推定された前記覚醒度、前記注意配分および前記第３規則に基づいて前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップとを包含する。

コンピュータによって実行される本発明によるコンピュータプログラムは、前記コンピュータに対し、運転者の脳波信号を受け取るステップと、検出された運転者の脳波信号、および、脳波信号と覚醒度とを対応付ける第１規則に基づいて覚醒度を推定するステップと、検出された前記脳波信号、および、脳波信号と注意配分の程度とを関連付ける第２規則に基づいて注意配分の程度を推定するステップと、推定された前記覚醒度、前記注意配分、および、覚醒度および注意配分から注意量を導出する第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップとを実行させる。

本発明の注意散漫検出装置によれば、運転者の状態が脳波センサのみで、より正確に判定できるので、状態に応じた適切な支援が実施できる。また、機器が運転者を適切に支援することでユーザの信頼が増し、運転者側でも機器の情報に対して適切に対応でき、安全運転が実現できる。

（ａ）は判定方法の一例を示す図であり、（ｂ）は覚醒度判定と注意配分判定とを組み合わせた判定方法の一例を示す図である。 課題に対する難易度の設定を示す図である。 覚醒度に関する実験結果を示す図である。 注意配分に関する実験結果を示す図である。 図４の実験結果の一部を波形で示す図である。 先行車に対する追従という運転に対する課題において、先行車のブレーキランプを起点とした事象関連電位を平均したグラフの一例を示す図である。 注意判定結果を示す図である。 実施形態１における注意散漫検出装置１００の構成図である。 注意量の配分を説明する図である。 注意散漫検出装置１００の処理の全体のフローチャートである。 覚醒度推定部３の処理手順を示すフローチャートである。 注意配分推定部４の処理手順を説明するフローチャートである。 脳波信号から事象関連電位の振幅を得るための処理を説明する図である。 運転者状態推定部５の処理手順を示すフローチャートである。 実施形態２における注意散漫検出装置２００の構成図である。 注意散漫検出装置２００の処理の全体のフローチャートである。 外部状況を左右するいくつかの要因と、それに対応する必要注意量を格納したテーブルを示す図である。 実施形態２における運転者状態推定のフローチャートである。

本発明の実施形態の説明に先だって、本願発明者らが行った実験を説明し、その実験の結果から得られた本願発明者らの知見を説明する。

本願発明者らは、脳活動を反応時間良く、時間分解能が高く計測可能な脳波に着目し、注意散漫の検出に利用可能か否かを検討した。

脳波の研究分野の一つに注意研究がある。例えば、「映像に対する注意を測る−事象関連電位を用いたプローブ刺激法の応用例−」（入戸野、生理心理学と精神心理学、２００６、２４（１）、５−１８）には、プローブ刺激法を用いて、映像提示のタイミングを起点にして計測された事象関連電位から注意配分を計測する方法が記載されている。

ここで、「プローブ刺激法」とは、主課題と二次課題の２つの課題を設定し、主課題の注意配分を二次課題の注意配分によって推定する方法をいう。また「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。この文献では、映像提示のタイミングを起点にして３００ｍｓ前後の脳波を切り出し、その脳波の波形形状（振幅）から情報を読み取っている。この脳波成分は、事象関連電位のＰ３００成分と呼ばれている。

本願発明者らは上記の知見を運転場面に応用すれば、脳波により注意配分が計測可能であると考えた。そして、運転に対する注意量は運転以外のタスクに対する注意配分により推定可能であるという仮説をたて、ドライビングシミュレータを用いた実験を実施し、その有効性を確認した。

しかしながら、注意配分のみでは次のような点で不十分であることがわかった。すなわち、運転時の注意が足りないと判定される局面では、運転以外のタスクに注意が取られて注意散漫になっている場合と、全体的に眠気が強いために注意が不足している場合の２つが考えられ、これを分離しなければ適切な運転支援を行うことできない。

また、注意配分の研究においては前提条件がある。それは被験者の覚醒度が最大になっていることである。この前提が成り立つ場合には二次課題の注意配分から主課題の注意が推定できる。しかしながら、運転場面では覚醒度最大は常には成り立たない。

これらの課題を事例に基づき説明する。注意検出と類似の概念に覚醒度検出がある。これは眠気の検出とほぼ同義で使われ、覚醒度の低下は眠気が強い状態であるとされる。例えば特開２００７−０００２８０号公報では脳波で覚醒度の低下を判定する方法が開示されている。これらの覚醒度の低下の検出と、注意量の低下の検出は、独立に判定がされると運転者に対して、誤った情報提示を行うことになってしまう。

図１（ａ）は、判定方法の一例を示す。この場合には、プローブ刺激に想到する運転以外の課題に対する振幅の大小に対して、注意が十分かが判定される。

しかしこの判定のみでは、注意配分が多くても覚醒度が低くてまだ注意量が不十分である場合や、注意配分が少なくても全体の覚醒度が高くて特に問題はない場合がカバーできない。

このように、覚醒度判定や注意判定をそれぞれ独立して動作させる場合には、運転者の状態を正しく反映しない判定がなされる可能性が高まる。これらの判定装置を搭載した安全運転支援システムは適切に動作しないことになり、運転者の信頼が低下してしまう。運転者の安全運転支援システムへの信頼は、本当に警告を運転者に発したい時に運転者が適切に対応できるかどうかを左右する重要な属性である。

これに関して、特開２００７−２６５３７７号公報では、覚醒度と注意集中度と運転能力を反映する運転者情報を用いた運転者状態判定装置が開示されている。覚醒度は、脳波、心拍状態、閉眼時間割合、顔表情眠気値等から検出される。また注意集中度は、頭部加速度、頭部画像、頚部筋電図等により判定を行う。この文献では、これらの組み合わせで運転者の複数の状態判定が可能であるとされている。しかしながら、それぞれ検出したい複数の情報に対応した複数のセンサを導入する必要があること、また、心拍計やカメラによる顔表情検出や加速度センサによる動きの検出は、運転者の注意の状態を間接的に反映するものである。例えば、カメラや加速度センサのみでは、眠気や注意を正確に検出するのは現時点では困難である。

そこで本願発明者らは、運転者の現在の覚醒度のもとで、運転者が運転にどれだけ注意を配分しているかを統合的に判定し、運転者の状態をより正確に推定するための方法を検討した。具体的には、本願発明者らは、運転者の状態をもっとも直接的に反映すると考えられる脳波センサのみを用いて、覚醒度と注意集中度の両方をそれぞれ異なる解析方法を用いて統合的に判定し、運転者の状態をより正確に簡易に推定できるか否かを検討した。

図１（ｂ）は、覚醒度判定と注意配分判定とを組み合わせた判定方法の一例を示す。ここでは注意配分が多くても覚醒度が低い状態（セル１１）や注意配分が少なくても全体の覚醒度が高くて問題がない場合（セル１２）が、脳波のみにて判定可能という特徴を有する。

本願発明者らは、ドライビングシミュレータを用いた実験を行った。実験は、上述の文献に記載されるプローブ刺激法の考え方をベースに、運転時の状況に次のような二重の課題を適用して行った。

まず運転に関する課題として、ドライビングシミュレータに搭乗した運転者が、画面に表示される先行車を、車間距離を２０〜３０ｍの一定に保ちながら追跡するという課題を設定した。先行車を追従する作業では、先行車のブレーキ操作や加速に反応して運転する必要がある。

また、運転以外のタスクに関する課題（プローブ刺激法での二次課題に対応する。以後「非運転課題」と記述する。）として、ドライビングシミュレータのダッシュボードに設置したディスプレイに表示される上下左右の矢印のうち、特定の方向（今回の実験では右矢印）に対してハンドルに設置されたボタンを押すというディスプレイ視認課題を設定した。これは、カーナビが方向指示をし、またレストランやガソリンスタンドの情報を提示した場合に運転者がボタンを操作する作業を想定して設定しており、これらの運転以外のタスクに対する注意が大きすぎる場合には、運転への注意配分が足りないと対応付けをする。

このような二重課題のそれぞれに対して、運転時の注意配分を実験的に変化させるために、難易度をそれぞれ３段階に変化させた。すなわち、運転課題に対しては、先行車のスピードを変化させ、非運転課題としては、方向指示の矢印の表示間隔を変化させることにした。

この設定において、プローブ刺激法の考えに則り、非運転課題を遂行しているときの事象関連電位を取得し、その振幅を用いることで、まず非運転課題に対する注意配分量を求め、その後に、運転に対する注意配分量を求めることにした。

実験には、３０代〜４０代の被験者８名に対して計測実験を行い、前方車の追従課題がうまく行えなかった２名を除外した６名の脳波データに対して、解析を行った。

脳波計測は、ポリメイトＡＰ−１１２（デジテックス製）を使用し、測定電極はＰｚ（国際１０−２０法の場所表記による、以下同様）、基準電極はＡ１（右耳朶）、設置電極はＦＰｚ（前額部）に装着した。サンプリング周波数は２００Ｈｚ、時定数は３秒、フィルタは３０Ｈｚのローパスフィルタをかけた。

図２は、実験課題の難易度に関して、課題に対する難易度の設定を示す。主課題である運転課題と、二次課題である非運転課題（ディスプレイ視認課題）は、それぞれ独立に難易度が三段階に設定され、各３通りの状況の組み合わせを全て実施することで９通りの異なる注意配分状況での実験を実施した。

ドライビングシミュレータのコースは、高速道路のコースに先行車が走っている状況を設定し、先行車は加速やブレーキをしながら走るため、その先行車の動きに反応しながら追従する運転が求められた。１回あたりの試行は約５分程度であった。

まず図３は、覚醒度に関する実験結果を示す。縦軸は、α波帯（８〜１３Ｈｚの周波数）の強度の合計値を示し、横軸はＮＡＳＡ−ＴＬＸの精神的負担の主観的負担の評価値を示す。「ＮＡＳＡ−ＴＬＸ」とは、ＮＡＳＡのエイムズ研究所で開発されたＴａｓｋ Ｌｏａｄ Ｉｎｄｅｘで心的な負荷が評価できる指標とされている。この指標との相関を見ることで、脳波で覚醒度がどの程度推定可能かの指標とした。

各プロットに付与された記号は２文字のアルファベットからなり、それぞれ実験条件を示している。１文字目は、運転課題に対する難易度を示す。２文字目は、非運転課題（ディスプレイ視認課題）の難易度を示す。いずれも、Ｌ／Ｍ／Ｈによって、それぞれの難易度の低、中、高を示している。この２文字の組み合わせによって、どの状況でどのような強度が見られたかを確認することができる。

図３より、α波の強度は、ＮＡＳＡ−ＴＬＸの主観的負担と相関係数０．７８で相関が取れており、脳波の周波数解析によって、覚醒度に相当する値が推定可能であることがわかる。

次に、図４は注意配分に関する実験結果を示す。縦軸は２００−５００ｍｓの区間でのＰ３の最大振幅をプロットしたものである。こちらも参考のため、ボタンの反応時間との相関を示す。相関係数は−０．７７である。注意配分についても事象関連電位の振幅に現れているといえる。ボタンの反応時間が短いときは、注意が十分に向けられていると判断される。よって、反応時間と振幅との間には相関が見られるため、振幅も注意配分の指標として有効であることがわかる。

次に、図５に図４の実験結果の一部を波形で示す。実験条件は、（ａ）条件ＭＬ、（ｂ）条件ＭＭ、（ｃ）条件ＭＨである。運転課題の難易度は中程度（Ｍ）で固定し、非運転課題（ディスプレイ視認課題）を、難易度Ｌ、Ｍ、Ｈと変化させた。各グラフの横軸はディスプレイに提示された刺激（矢印）が点灯したタイミングからの経過時間で単位はｍｓ、縦軸は脳波の電位で単位はμＶである。各グラフには２本線が描かれており、ディスプレイ視認課題においてボタン押しが要求される特定方向（実験では右矢印）の刺激提示に対する反応は実線で、ボタン押しを要求されない刺激提示に対する反応は破線で示す。図５では、ディスプレイの視認に対応して、４００〜５００ｍｓに陽性のピークを持つＰ３００の一種と思われる電位変化が見られており、その振幅の大きさはディスプレイ視認課題が難しくなればなるほど（図５では（ａ）から（ｃ）に変化するにしたがって）大きくなることがわかる。この振幅は非運転課題（ディスプレイ視認課題）に対する注意配分の量に関連して変化したと考えられる。

続いて図４の結果とは別に、運転に対する注意配分量を計測結果を説明する。図６は、先行車に対する追従という運転に対する課題において、先行車のブレーキランプを起点とした事象関連電位を平均したグラフの一例を示す。実験条件は、図５と同じである。すなわち、（ａ）条件ＭＬ、（ｂ）条件ＭＭ、（ｃ）条件ＭＨで、運転課題の難易度は中程度（Ｍ）で固定し、非運転課題（ディスプレイ視認課題）を、難易度Ｌ、Ｍ、Ｈと変化させた。各グラフの横軸は先行車のブレーキランプが点灯したタイミングからの経過時間で単位はｍｓ、縦軸は脳波の電位で単位はμＶである。図６においては非運転課題が難しくなると、運転にかけられる注意量がより減少するので、例えば条件ＭＬよりは条件ＭＨの方が運転にかけられる注意量は少なく、振幅も減少することが想定される。しかしながら傾向としては振幅減少が見られるものの図５におけるＰ３００ほど明確な陽性の電位変化が見られない。

このように、運転以外のタスクに対する事象関連電位（図５）と、運転作業に対する事象関連電位（図６）とでは、Ｐ３００の現れやすさに違いがあることが示された。この原因は、運転以外のタスクに対する事象関連電位では、ディスプレイ視認課題という、車内の設定されたディスプレイに統制された刺激が提示される条件で計測されたのに対し、運転作業に対する事象関連電位では先行車のブレーキランプという起点自体は明確であるが視認の条件としては必ずしも安定的ではなかった。

それは、参加者には先行車との距離をなるべく一定にして運転するように指示がされていたが、先行車が減速や加速を繰り返すためにこの条件は満たされない時間帯も多かった。このため、ブレーキランプの点灯に伴う視覚刺激は先行車との距離に応じて、遠くで光ったり、近くで光ったりして一定ではなかった。また、運転課題以外にもディスプレイ視認課題を実行し、また運転画面においても先行車以外に、路面状況に反応してハンドル操作を行う必要がある実験条件であり、必ずしもブレーキランプ点灯のタイミングに、先行車を注視できていたとは限らなかった。このように刺激が一定ではなかったこと、刺激の視認タイミングも一定ではなかったことから、安定した陽性成分が見られなかったと考えられる。

運転に対する事象関連電位は、車外で発生する様々な事象に対して計測可能であると考えられる。しかし、今回の先行車のブレーキランプの事例以外でも車外事象は刺激の大きさやタイミングがばらつきやすいことが想定され、運転に対する事象関連電位を直接、安定的に計測することは困難であると考えられる。このような知見から、少なくとも車内の機器が生成する視覚刺激や音声刺激は安定しており、それに伴う事象関連電位も安定することが想定できるため、運転者の状態検出装置においては、車内の機器が発する運転以外のタスクの事象を起点にする方が安定動作が確保しやすいと言える。

以上の実験結果を元に、注意判定を行った結果を説明する。図７は、注意判定結果を示す。図７では左から順に実験条件、覚醒度の推定値、非運転課題への注意配分の推定値、判定結果が示されている。

図７によれば、運転以外のタスクへの注意配分のみならず、脳波から算出される覚醒度をも考慮して数値的データをグループ分けをすることで、細かな数値的な違いに影響されることなく、安定的な注意判定が可能であるという結論が得られる。以下、詳細に説明する。

図７において実験条件は運転に対する必要注意量２０と運転以外のタスクに対する必要注意量２１で示されている。ここでは図２における課題の難しさと必要な注意量を高、中、低の３種類で対応させた。この運転に対する必要注意量２０と運転以外のタスクに対する必要注意量２１の様々な組み合わせにより、注意散漫状態や眠い状態に対応した状態を想定している。

次に列２２に各実験条件に対応した覚醒度（α波の強度）を示す。数値はα波の強度を図７に示した分析結果から抽出したもので、列２３はそれらの数値をＬ、Ｍ、Ｈの３つのグループに分類した結果である。グループへの分類方法は適当なα波の強度を３つに分配したものであり、０．５以下をＬ、０．９以上をＨ、その間をＭとすることにより、分類可能である。

列２４、２５には覚醒度とは別のもう一つの情報である運転以外のタスクに対する注意配分に関する結果を示している。列２４は各条件に対応する事象関連電位の振幅を図４から抽出したものである。こちらも列２５には、列２４の数値をＬ、Ｍ、Ｈの３つのグループに分類した結果を示す。こちらもグループ分けの閾値は図４より設定可能である。列２２には図７を各条件に対応した数値的な強度から分類したもので、例えば２．０以下をＬ、５．０以上をＨ、その間をＭとすることができる。

列２６，２７には運転以外のタスクへの注意配分のみを用いた場合の、運転に対する注意判定結果を示す。運転に対する注意配分は、運転以外のタスクへ配分された注意への残り、という考え方で求めるものとする。例えば、運転以外のタスクへの注意配分が、順にＬ、Ｍ、Ｈの場合には、運転に対する注意配分は、それぞれＨ、Ｍ、Ｌであると対応付けることができる。列２６は、注意配分の対応付けを示している。運転に対する注意がＬやＭになっているものを注意散漫とすることで、一定の基準での注意散漫の判定が可能になる。

これに対して、列２８および２９は、覚醒度も加味して注意配分を判定した結果を示す。この判定結果は、以下の式に基づいて算出された。
運転への注意量＝α波の強度＊（１−運転以外へのタスクに関する事象関連電位の振幅）

上述の式では、α波の強度は、グループ分けＬ、Ｍ、Ｈ（列２３）に対応して「１」、「２」、「３」の各値を充てた。また、運転以外のタスクへの事象関連電位（Ｅｖｅｎｔ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ；ＥＲＰ）の振幅もグループ分けＬ、Ｍ、Ｈ（列２５）に対応させて、「０．３」、「０．６」、「０．９」の各値を充てた。このように、グループ分けという離散化のプロセスを入れることで、判定結果が安定して得られるという効果がある。

列２８は、上述の式に基づいて算出された値を示す。これが覚醒度も加味した判定結果となる。したがって、数値の大きさに応じて、小さい順に「眠い」「注意散漫」「正常」に分類できる。その閾値は、実際のデータに応じて修正されればよいが、例えば０．５以下であれば「眠い」、０．５〜１．０までは「注意散漫」、１．０以上は「正常」と分類できる。

例えば、行３１においては注意配分のみの判定によれば運転に十分に注意が払われていると判定される。しかしながら、実際には、運転にも運転以外のタスクにも注意が払われていない状況である。このような状況に対しては、覚醒度と組み合わせることで注意散漫と判定できている（列２９）。また、行３２、３３の事例においては、覚醒度自体の低さが影響して最終的な数値は小さくなり、「注意散漫」ではなく、「眠い」状況であると判定される。

以上のように脳波計測の数値を複数の離散化の処理を加えることで、脳波の信号処理から得られた特徴から運転者の状態を推定できるようになる。また図７からわかるように、注意配分のみで判定した場合には、注意散漫かどうかのみの判定だったものが、覚醒度と組み合わせることで注意散漫と眠気が強い状態を分離できる可能性がある。

このように、ドライビングシミュレータを運転する状況において、脳波の周波数解析により覚醒度を推定し、脳波の事象関連電位解析により注意配分を推定し、それらを統合して判断することで、眠気と注意散漫の判別が可能になることが示された。

なお、α波の強度や事象関連電位の振幅は、計測／算出された値がそのまま覚醒度や注意配分量に対応するわけではなく、ある程度のクラス分けが必要になる。それは例えばこの９通りの実験データをグループ分けすることで、測定結果の不安定さを取り除き、安定した結果を得ることができる。

例えば、今回のデータ分布からは、グループを想定しながら境界線を設定すると、覚醒度の強度に関してはＬ＜０．５＜Ｍ＜１．０＜Ｈなど、注意配分に関しては、Ｌ＜２．０＜Ｍ＜５．０＜Ｈなどと設定可能である。

以上の知見に基づき、運転者が運転に十分な注意を払っているか否かを脳波により識別し、十分に注意が払われていない状態を、眠気が強いか注意散漫かに分類して状態に応じた支援を行うための構成および処理を説明する。

以下、添付の図面を参照しながら、本発明の実施形態を説明する。

（実施形態１）
図８は、本発明の実施形態１における注意散漫検出装置１００の構成図である。注意散漫検出装置１００は、生体信号検出部２と、覚醒度推定部３と、注意配分推定部４と、運転者状態推定部５と、出力部６とを有している。

生体信号検出部２は、運転者１の脳波を計測する。生体信号検出部２は、たとえば脳波計である。

覚醒度推定部３は、計測された脳波信号を解析して運転者の覚醒度を推定する。「覚醒度」とは、運転者がどれぐらい意識が明確であるかを示す指標であり、眠たくなると覚醒度が低下する。この覚醒度を推定することは運転者がどれぐらい眠たいかと関連性の高い指標になる。

注意配分推定部４は、計測された脳波信号を別の方法で解析して注意配分量を推定する。ここで「注意配分」とは、運転者が持つ注意の向けることのできる総量のうち、運転以外のタスクに対してどれだけ注意配分がされているかを示す指標である。注意配分推定部４が注意配分量を推定する方法は、後に説明する。

また、運転者状態推定部５は、覚醒度推定部３および注意量推定部４からの推定結果を受けて現在の運転者の状態を分類する。「運転者の状態」とは、運転者の様々な状態のうち、注意に関連する状態を表す。本明細書では以下の３つの状態に区分している。運転者の状態は以下の３状態のいずれかに分類される。
状態Ａ：運転に十分な注意が払われている。
状態Ｂ：覚醒度は十分にあるが、運転には十分な注意が払われていない。
状態Ｃ：覚醒度が低いので運転にも注意が不足している。

覚醒度推定部３、注意配分推定部４および運転者状態推定部５は、たとえば各機能を実現する専用の半導体チップ回路として実現される。

出力部６は、運転者状態推定部５の分類結果に基づき、運転者への注意喚起情報等を出力する。出力部６は、たとえば音声による運転者への呼びかけ、動作音や警告音の提示を行うスピーカである。または、出力部６は、カーナビやヘッドアップディスプレイ上へのテキストや画像の提示であってもよい。そのほかにも、注意を向けて欲しい対象物に重ね合わせて表示するＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等も含まれる。

以下では、本実施形態で扱う概念のうち、注意配分推定部４等で使われる「注意配分」の概念と、「注意散漫状態」と「眠気」との区別を説明する。

「注意配分」とは、運転者が自動車運転時に行う様々な作業のうち、どの作業にどれぐらいの注意を配分しているかを示している。「注意」とは、ある対象物の状態の確認や作業の執行に意識的に向けられる心理的な量のことで、安全運転を遂行するためには注意深い運転が求められる。

運転者は自動車運転時に様々な作業を行っている。例えば、前方の安全確認、信号の確認、歩行者や自転車の移動に注意を払うこと、などの運転に関わる作業もあるし、音楽を聴いたり、カーナビやカーステレオの操作、ラジオ等からの情報の取得、同乗者との会話等の、直接には運転には関わらない作業もある。これらの作業に対して運転者は、その時の状況等に応じて、様々に注意の配分を変えながら、複数の作業を並行的に行っていると考えられる。

このうち運転に対する注意が十分でない場合には、十分な安全運転ができないという意味で、機器からの運転に対する注意喚起が有効な場面が発生する。例えば、同乗者とのおしゃべりに夢中になって、車両前方の状況把握に注意配分が少ない場合には、とっさの状況変化に対応しにくくなるし、眠気が強い場合にも、状況変化の対応が遅れると考えられる。ここで前者の会話の事例のように十分な覚醒度があるにも関わらず運転への注意が減少している場合と、後者の眠気が強いために注意が減少している場合は、安全運転ではない点は同じでも、対応方法は異なるため、この両者を区別して扱うことが本発明の着眼点である。

この注意量の配分について、さらに図９を用いて説明する。本願発明は注意に対し、「量」という概念を利用している。より具体的には、図９（ａ）のように、現在の注意量というのは、円筒に蓄えられた水のように、量として考える。このとき、円筒の大きさが、その運転者が持ちうる注意量の最大値になり、そのときに蓄えられた水が注意に相当すると考える。この量は、集中度合いや覚醒度によって上下するものと考えられる。例えば図９（ａ）の場合には、７０％の注意量があるとする。この数値は注意配分の概念説明のために、便宜的に付与したものである。この注意量が、その時の運転者が行う作業に配分されると考える。図９（ｂ）においては、音楽を聴きながら運転をしている場合には、例えば、運転に全体の５０％の注意が配分され、音楽に２０％の注意が配分されていると考えられる。この配分であれば、運転者は、音楽を楽しみながら安全運転が遂行できているとする。

この考え方において、安全運転が遂行できない状況には、２通りある。眠さによって注意量が減少したとき、および、注意が散漫になり、注意配分にミスが生じるときである。図９（ｃ）は眠気が強くなった場合の注意量を示す。眠気のために覚醒度が低下して、注意量自体が低下したために、安全運転に必要な注意量（５０％）が確保されないために、注意喚起が必要になる。一方、図９（ｄ）は、注意量は十分にあるが、電話応対等に注意が多く（５０％）取られてしまい、運転への配分が十分でなくなった場合である。この場合を本願明細書においては、注意散漫状態と呼ぶ。この場合、眠気はないので図９（ｃ）とは別の注意喚起方法が必要になる。

以下、順に注意散漫検出装置１００の処理の詳細について、フローチャート等を用いて説明する。処理の詳細の説明の後に、発明者らが行ったドライビングシミュレータを用いた実験結果によって、本実施形態の実現可能性を示す。

図１０は、注意散漫検出装置１００の処理の全体のフローチャートを示す。

ステップＳ１０では、生体信号検出部２は、運転者の脳波を取得する。脳波は頭部の時間的な電位変化のことで、一般的には頭部に装着された脳波計により計測可能である。

ステップＳ２０では、覚醒度推定部３は、ステップＳ１０で計測された脳波信号を処理することで覚醒度を推定する。

ステップＳ３０では、注意配分推定部４は、ステップＳ１０で計測された脳波信号をステップＳ２０とは異なる方法で処理し、注意配分の推定を行う。

ステップＳ４０では、ステップＳ２０およびステップＳ３０にて算出された覚醒度と注意配分の両方の数値に基づいて、運転者状態推定部５にて運転者の状態の推定を行う。運転者の状態を上述の３状態のいずれかに分類するのがこのステップの役割である。

ステップＳ５０では、出力部６は、ステップＳ４０にて推定された運転者の状態に基づき、運転者へ働きかけを行う。例えば、状態Ａ（運転に十分な注意が払われている）と判定された場合には、特に問題はなく特段の出力はされない。状態Ｂ（覚醒度は十分にあるが、運転には十分な注意が払われていない）と判定された場合には運転への注意配分の向上を促す出力がなされる。また状態Ｃ（覚醒度が低いので運転にも注意が不足している）では運転者の覚醒度を向上させる出力がなされる。出力例については後述する。

以上のような流れにより注意散漫検出が行われる。以下、順に各ステップの処理の詳細を説明する。

生体信号検出部２では運転者の脳波を計測する。脳波計は運転者が装着する必要があるが、脳波計のデバイスは小型化や簡易装着化が進み、容易に装着が可能になりつつある。計測された運転者の脳波の信号は、有線または無線で、覚醒度推定部３および注意配分推定部４に送信される。

次に、図１１のフローチャートを参照しながら、覚醒度推定部３の処理を説明する。図１１は、覚醒度推定部３の処理手順を示すフローチャートである。

ステップＳ２１では、覚醒度推定部３は生体信号計測部２にて取得された脳波の信号を受け取る。どの範囲の脳波を受け取るかは、運転者の状況等によって異なるが、例えば所定の時間前から現在までの一定時間、例えば５分前から現在までの５分間の脳波データが取得される。

ステップＳ２２では、各周波数に対する信号強度が算出される。算出にはＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）解析等が用いられる。

ステップＳ２３では、覚醒度推定部３は特定周波数の強度を抽出する。周波数強度は覚醒度と関連があるとされている。例えば、特開２００７−０００２８０号公報においては、α波とβ波の比を用いる方法などが示されている。また、複雑な課題を遂行するときには、周波数強度が全体的に増加するので、後述するように周波数全域や特定の周波数帯域の強度を用いても良い。

なお、覚醒度推定部３は、複数の時刻においてそのときの脳波信号から周波数強度を求めてもよい。ただし、複数の時刻における脳波信号の周波数強度を利用するときは、脳波信号の周波数強度に応じて定まる複数のグループが予め用意されていることが好ましい。たとえば、上述のように閾値に応じて周波数強度が高い（Ｈ）、低い（Ｌ）、その中間（Ｍ）のグループを設けることが好ましい。覚醒度推定部３は、算出した脳波信号の各周波数強度とグループを定める閾値との大小関係に基づいて、各周波数強度を複数のグループのいずれかに分類する。そして、最も多くの周波数強度が分類されたグループの平均周波数強度を、次のステップＳ２４で利用する周波数強度として利用してもよい。または、脳波信号の周波数強度そのものを利用するのではなく、各グループの属性（Ｌ、Ｍ、Ｈ）として予め定められた周波数強度を、次のステップＳ２４で利用する周波数強度として利用してもよい。

ステップＳ２４では、覚醒度推定部３はステップＳ２３で算出された周波数強度と覚醒度を対応付ける。覚醒度は心理的な量であり、周波数強度と、何らかの対応付けが必要になる。覚醒度推定部３は、周波数強度と覚醒度とを対応付けた規則を保持している。その対応付けの規則（方法）は様々考えられる。たとえば、周波数強度の値をそのまま覚醒度に割り当てるという規則であっても良いし、覚醒度に関する主観評価の値と、そのときの周波数強度とを事前にデータとして取得しておいて、その関係性を規定したテーブルや数式を保持してもよい。そのようなテーブルや数式が、対応付けの規則となる。ここでは、覚醒度が推定される方法であれば良い。

次に、図１２のフローチャートを参照しながら、注意配分推定部４の処理を説明する。また、同時に図１３の処理の例を平行して説明する。なお、図１３の波形は説明のための一例である。

図１２は、注意配分推定部４の処理手順を説明するフローチャートである。

図１２のステップＳ３１では、注意配分推定部４は、生体信号計測部２にて取得された脳波を受け取る（図１３の脳波１３）。どの範囲の脳波１３を受け取るかは運転者の状況等によって異なる。例えば所定の時間前からその時点までの一定時間、例えば５分前から現在までの５分間の脳波データが取得される。

また、このとき脳波データとともにトリガ１４も同時に脳波データに付随しているものとする。ここでトリガとは、運転者に対して何らかの刺激が提示されたタイミングを信号として抽出したものである。解析前の脳波データは、一連の電位変化を記録したものであるが、トリガを起点にした区間を分析することで、初めて運転者に対する刺激に対する事象関連電位が解析でき、注意の程度が把握できるようになる。この注意検出の起点となり得る、運転以外に運転者に提示される刺激としては、カーナビからの音声や効果音の提示や、車内のメータ類や情報ディスプレイに情報が提示されたとき、などが利用可能である。これらの運転以外の刺激に対する事象関連電位の振幅の大小によって、同時にこなしている運転作業への注意量が判定可能になる。

またトリガ１４は、脳波計測の時の脳波以外のチャンネルに記録してもよいし、時間的な同期を取って別の記録手段に記録されていてもよい。

ステップＳ３２では、注意配分推定部４は、ステップＳ３１で取得したデータからトリガ１４を抽出する。注意配分の推定には、例えば事象関連電位のＰ３００成分の頂点の振幅などが用いられ、その事象関連電位を取得するための起点を示すトリガ情報１４が必要になる。トリガ情報１４は、どの時間にどのイベントが発生したかの情報を含む。ステップＳ３１で取得した脳波には、複数のイベントに対する複数のトリガ１４が含まれている。

ステップＳ３３では、注意配分推定部４は波形を切り出す。ステップＳ３２で抽出されたトリガ情報１４のタイミングを用いて、そのタイミングから例えば−２００ミリ秒〜６００ミリ秒などの範囲で脳波データが事象関連電位１５として切り出される。この切り出し範囲は、使用したい事象関連電位の性質等に応じて変更すればよい。

ステップＳ３４では、ステップＳ３３で切り出された脳波データ（事象関連電位）の振幅１７を算出する。イベントに対するＰ３００信号を使用する場合では、例えば２００−５００ミリ秒の範囲の中で陽性に最も大きな値をとった場合の電位の値を用いる方法などが考えられる。ある事象に対する注意の量と、振幅の大きさは関係があるとされ、注意の量が大きいほど、振幅も大きくなるとされる（上述の「映像に対する注意を測る−事象関連電位を用いたプローブ刺激法の応用例−」参照）。ここで算出された振幅は、ステップＳ３６での処理のために、いったんメモリ（図示せず）に記録される。なお振幅の算出は、波形の加算平均を行った後に求める方法も考えられる。

ステップＳ３５では、注意配分推定部４は、すべてのトリガに対する処理が完了したかを判断する。もしもすべてのトリガに対する処理が完了していれば、ＹＥＳとしてステップＳ３６に進み、まだ完了していない場合にはＮＯとしてステップＳ３２に進む。

ステップＳ３６では、注意配分推定部４は、ステップＳ３４にて複数の波形に対する複数の振幅データがそろった時点で、その値の平均１７を算出する。脳波は、各単独試行でのばらつきが大きいので、加算平均をすることで、その安定した波形１６と振幅１７を算出できる。

なお、注意配分推定部４は、複数の時刻においてそのときの脳波信号から事象関連電位の振幅を複数算出してもよい。ただし、複数の時刻における事象関連電位の振幅を利用するときは、覚醒度推定部３と同様、振幅に応じて定まる複数のグループが予め用意されていることが好ましい。たとえば、上述のように閾値に応じて振幅が大きい（Ｈ）、小さい（Ｌ）、その中間（Ｍ）のグループを設けることが好ましい。注意配分推定部４は、算出した事象関連電位の各振幅とグループを定める閾値との大小関係に基づいて、各振幅を複数のグループのいずれかに分類する。そして、最も多くの振幅が分類されたグループの平均振幅を、次のステップＳ２４で利用する振幅としてもよい。または、脳波信号の事象関連電位の振幅そのものを利用するのではなく、各グループの属性（Ｌ、Ｍ、Ｈ）として予め定められた振幅を、次のステップＳ３７で利用する振幅としてもよい。

ステップＳ３７では、注意配分推定部４は、ステップＳ３６で算出された振幅の平均値と注意配分量との対応付けを行う。注意配分推定部４は、振幅の平均値と注意配分量とを対応付けた規則を保持している。その対応付けの規則（方法）は様々考えられる。たとえば、振幅の平均値と注意配分量とを事前にデータとして取得しておいて、それらを対応付けたテーブルや数式を保持してもよい。そのようなテーブルや数式が、対応付けの規則となる。

次に、図１４のフローチャートを参照しながら、運転者状態推定部５の処理を説明する。 ステップＳ４１では、運転者状態推定部５は、覚醒度推定部３から覚醒度の推定結果を取得する。

ステップＳ４２では、運転者状態推定部５は、注意配分推定部４から注意配分の推定結果を取得する。

ステップＳ４３では、運転者状態推定部５は運転注意量を算出する。運転注意量は以下の式によって算出する。
運転注意量＝覚醒度＊（１−注意配分）
ここで運転注意量は、０から１の範囲の値を取り、最終的に運転に対してどれだけの注意が向けられているかを示す。また、注意配分も０から１の範囲の値をとり、運転と運転以外のタスクに向けられた注意配分のうち、運転以外のタスクに向けられた注意配分の割合を０から１の範囲で示す。したがって（１−注意配分）は、運転に向けられた注意の割合に該当する。このように、本願発明者らは、運転注意量は、覚醒度と運転に向けられた注意の割合の積で求められると定義した。

この式での定義により、運転に向けられる注意の割合が多くても、覚醒度が低くて運転に対する注意量が不足する場合や、運転に向けられる注意の割合は少なくても十分な覚醒度によって安全に運転可能な注意量が確保されている状況等が表現可能になる。

ステップＳ４４では、運転注意量が十分な値があったかが判定される。もしも十分な運転注意量があった場合にはＹＥＳとなり、ステップＳ４６で特に問題はない（状態Ａ）と判定される。反対に十分でない場合にはＮＯとなり、ステップＳ４５に進む。

ステップＳ４５では、運転者状態推定部５は覚醒度が十分であったかを再度確認する。ここで覚醒度が高い場合にはＹＥＳとなり、ステップＳ４８で、運転以外のタスクに注意が向けられていた注意散漫状態（状態Ｂ）であったと判定され、覚醒度が低い場合には、ステップＳ４７で全般的に注意が低下している（状態Ｃ）と判定される。

ステップＳ４６〜ステップＳ４８では、上記の各条件に対応した運転者状態の判断がなされ、次の出力部に判定結果が送られる。

次に、出力部６の動作を説明する。出力部６は、運転者状態推定部５で判定された運転者状態に基づいて、必要に応じて装置１００側から運転者に出力する。

出力部６から運転者への出力方法の例は、音声による運転者への呼びかけ、動作音や警告音の提示、カーナビやヘッドアップディスプレイ上へのテキストや画像の提示、注意を向けて欲しい対象物に重ね合わせて画像等をヘッドアップディスプレイ上に表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等、様々なものが含まれる。

出力部６から運転者への働きかけが必要な状態は、上述した状態Ｂと状態Ｃである。ただしこれは一例であり、運転者への働きかけを状態Ｃのときのみ行ってもよい。

状態Ｂは、覚醒度は十分にあるが、運転には十分な注意が払われていない状態である。よって、すでに十分な覚醒度を持つ運転者には目を覚ますための働きかけは不要である。状態Ｂに対する働きかけ方としては、「運転に対する注意が不足しています。運転に集中してください。」等の運転に注意を向けるような音声指示や、外部の状況を説明して、「混雑した道路です。運転に集中してください。」等の音声指示が可能である。

状態Ｃは、覚醒度が低く運転にも注意が不足している状態である。よって、状態Ｃにおいては基本的には覚醒度を高くするための働きかけを行えばよい。具体的には、自動車がスピーカを利用して「眠気が強いようです。休憩をお薦めします。」等の休憩を促したり、窓を開けたり、エアコンの風を強くする等、覚醒度を高くするための制御をすることが有効になる。

以上のような処理によって、脳波信号から運転者の状態が分類され、運転に対する注意量が不足していると判定された場合には、運転者状態に支援が実施される。これによって、従来よりもさらに運転者の状態に対応した支援が可能になる。また運転者に適切な支援がされることで運転者の機器に対する信頼度が向上し、機器からの出力に対する運転者の反応も良くなり、安全運転支援の実現に近づけられる。

なお、今回解析に使用した運転作業以外に対応する事象関連電位のトリガとしては、ディスプレイ上の特定の情報に対する反応を利用したが、カーナビ等が発生する音声や効果音の発生タイミング、や文字提示タイミング等も利用可能である。また、同乗者との会話における発話に対する反応等も利用可能である。

なお、本実施形態１において、覚醒度推定部２および注意配分推定部３では、５分間の脳波を用いて処理を行うと設定したが、これは処理精度の向上や、試行時間に含まれるトリガの個数によって、もっと短くすることも可能である。もっと短い時間の脳波で判定するには、今回の実験のような単独のディスプレイ上に表示された情報に対する反応だけではなく、様々な反応に対する事象関連電位を集計することも有効である。これにより、単位時間に発生するトリガが増え、解析できる脳波データが増やすことができる。

またノイズ対策や高精度の事象関連電位抽出手法の開発によっても、必要な脳波時間を減少させることができる。試行回数の少ない事象関連電位の処理方法については、脳波インタフェースの研究分野で盛んに研究がなされており、これらの技術を組み合わせることで、必要な事象関連電位の個数が減らせる。

また、脳波の解析時間は一定である必要はなく、含まれるトリガの個数を一定にすることもできる。

（実施形態２）
実施形態１においては、運転者の状態のみによって注意散漫状態の判定がなされていた。しかしながら、実際の運転場面においては、安全運転に必要な注意量は、運転時の外部環境、例えば道路の状況や天候、時間帯、混雑度等、様々な要因によって変動することが想定される。このため、運転者により正確に、注意散漫等を知らせるためには、外部環境との関係を考慮した判定が必要になる。

例えば見通しのよい、通行量の少ない高速道路を走行している場合と、混雑した商店街を走行している場合では、必要な注意量は異なることが想定される。また、天候や路面状況によっても運転に必要な注意量は異なることが想定される。これらの状況に応じて出力部６からの運転者への働きかけを調整することが可能になり、より適切な運転者への働きかけが実現できる。

本実施形態による注意散漫検出装置は、外部環境との比較を行った上で、運転者状態を判定する。

本実施形態では、運転に対して同じ注意配分がされていても十分な安全運転ができている場合と、十分な安全運転ではなくさらに注意配分が必要な場合があることを検出して、その必要注意配分量との比較により、より運転状況に適した支援を行える実施形態について説明する。

図１５は、本発明の実施形態２における注意散漫検出装置２００の構成図である。実施形態１と同じ構成要素には同じ番号を付与し、説明を省略する。構成要素として実施形態１と異なるのは、外部環境検出部７を備えている点である。外部環境検出部７は、運転者が直面している車外の状況を検出する。なお、図面上は外部環境検出部７が存在するか否かが、実施形態１および２との差異として捉えられる。しかしながら、外部環境検出部７の信号を受ける運転者状態推定部５内部の処理も異なる。よって、実施形態２の全体のフローチャートを説明した後に、外部環境検出部７および運転者状態推定部５の詳細処理を説明する。

図１６は注意散漫検出装置２００の処理の全体のフローチャートを示す。実施形態１と同じ処理を行うステップに関しては、説明を簡易にとどめる。

ステップＳ１０では、生体信号検出部２は、運転者の脳波を取得する。

ステップＳ２０では、ステップＳ１０で計測された脳波信号を処理する。これにより、覚醒度推定部３にて、覚醒度が推定される。

ステップＳ３０は、注意配分推定部４は、ステップＳ１０で計測された脳波信号を利用して注意配分を推定する。

ステップＳ６０では、外部環境検出部７が車外の状況を認識する。車外の状況の例については、後述する。

ステップＳ４０では、運転者状態推定部５は、ステップＳ２０およびステップＳ３０にて算出された覚醒度と注意配分の両方の数値に基づいて、運転者の運転についての注意量を算出する。そして、ステップＳ６０にて得られた車外の状況から算出された安全な運転に必要な注意量と比較することで、運転者の状態を分類する。

ここで運転者の状態とは、実施形態１において説明した運転者の３つの状態である。すなわち、注意に関連して、
状態Ａ：運転に十分な注意が払われている、
状態Ｂ：覚醒度は十分にあるが、運転には十分な注意が払われていない、
状態Ｃ：覚醒度が低いので運転にも注意が不足している、の３状態のことである。

運転者の状態をこの３状態のいずれかに分類するのがステップ４０の役割である。

ステップＳ５０では、出力部６は、ステップＳ４０にて推定された運転者の状態に基づき、運転者へ働きかけを行う。例えば状態Ａであると判定された場合には、特に問題はないので、特に出力はされないが、状態Ｂでは、運転への注意配分が向上できるような出力がなされ、状態Ｃでは、運転者の覚醒度が向上できるような出力がなされる。出力例については、実施形態１で説明した通りである。

次に、図１７の例を用いて外部環境検出部７で検出される外部環境の例を示す。

図１７は、外部状況を左右するいくつかの要因と、それに対応する必要注意量を格納したテーブルを示している。このテーブルは、たとえば運転者状態推定部５に保持されている。

外部状況を左右する要因としては、通勤や買い物等の日常の活動と相関の高い時間帯や運転者にとっての外部環境の認識のしやすさに関係する照度の列４０、運転操作に対する車の挙動を左右する路面状況の列４１、外部の視認のしやすさや対向車からの視認のされやすさに関連する天候の列４２、注意すべき対象物の個数の列４３などが、リストになっている。これらのいくつかの要因は、各状況で組み合わせとして発生し、その組み合わせによって必要注意量も変動する。

これらのデータは、図１７のように表形式でいくつかの状況では、どれだけの注意量が必要かをデータベースとしてあらかじめ列４４のように算出して保持しておいても良いし、各状況のパラメータから算出することも可能であると考えられる。すなわち、外部（車外）環境から必要注意量を導出するための何らかの規則を有していればよい。例えば、周囲の照度などは認識のしやすさとして、注意すべき物体の個数なども注意量にそのまま関係するので、ある係数をかけて必要注意量に反映させることもできる。

図１８は、実施形態２における運転者状態推定のフローチャートを示す。実施形態１と同じ処理を行うステップに関しては、説明を簡易にとどめる。

ステップＳ４１では、運転者状態推定部５は、覚醒度推定部３から覚醒度の推定結果を取得する。

ステップＳ４２では、運転者状態推定部５は、注意配分推定部４から注意配分の推定結果を取得する。

ステップＳ７１では、運転者状態推定部５は、外部環境検出部７から、外部環境の状況を取得する。

ステップＳ４３では、運転者状態推定部５は、運転注意量を算出する。運転注意量は運転注意量＝覚醒度＊（１−注意配分）の式によって算出される。

ステップＳ７２では、運転者状態推定部５は、必要注意量の算出を行う。これは、図１７に示したように、表形式で対応する必要注意量を参照しても良いし、事前に設定したルール等から決めることもできる。

ステップＳ７３では、運転者状態推定部５は、ステップＳ４３で算出された現在の運転者の運転注意量と、ステップＳ７２で算出された必要注意量の比較を行う。もしも、運転注意量が必要注意量より大きい場合にはＹＥＳとなり、ステップＳ４６で運転には十分な注意が払われていると分類される。判定に運転注意量が必要注意量より小さい場合にはＮＯとなりステップＳ４５に進む。

ステップＳ４５では、運転者状態推定部５は、覚醒度が十分であったかを再度確認する。ここで覚醒度が高い場合にはＹＥＳとなり、ステップＳ４８で、運転以外のタスクに注意が向けられていた注意散漫状態であったと分類され、覚醒度が低い場合には、ステップＳ４７で全般的に注意が低下していると分類される。

ステップＳ４６〜ステップＳ４８では、運転者状態推定部５は、上記の各条件に対応した運転者状態の判断を行い、次の出力部に判定結果の情報を送信する。

このような運転者状態の推定により、事前に設定された固定的な注意量に基づく判定ではなく、道路状況に適した運転者状態の分類ができ、必要な場合にのみ運転者に注意喚起を行えるようになり、必要以上な警告や、警告不足の状況を減らすことができる。

なお、実施の形態における運転以外のタスクに対する事象関連電位の起点としては、本願発明者らが実施したようなディスプレイ視認課題に相当する車内のカーナビ等にメッセージを表示したときの提示タイミングが使用できる。その他の視覚刺激としては、車内に事象関連電位計測用の視覚刺激提示装置を設置する。例えば両サイドミラーやカーナビ、スピードメータ部等にＬＥＤを設置する。その視覚刺激提示装置を点滅させたタイミングを用いることも可能である。

また、聴覚刺激としては、カーナビが発する注意喚起音とメッセージの組み合わせ「ポーン、次右方向です」における注意喚起音の発生タイミングを用いたり、ラジオや音楽を聴取しているときに音が急に変化するタイミングを用いることも可能である。

また、視覚や音声刺激以外にも体性感覚に対する刺激の提示も有効である。例えば、ハンドルやドライバのシートが時折振動し、その振動に対する事象関連電位の計測によっても、運転以外のタスクに対する注意を反映する情報として利用可能である。

また、車の運転に対する車外の事象については明確な刺激であることが望ましいと考えられるが、明確な刺激の例としては、例えば交通信号の切り替わりのタイミング等がある。信号が赤に変ることはブレーキ操作や、ブレーキの準備が必要になり、注意変化を捉えやすいタイミングと言える。同様に、聴覚刺激では救急車両の発する警告音が、また体性感覚刺激としては、白線をタイヤが踏んだときの振動が使用可能である。

上述の各実施形態に関する注意散漫検出装置の処理は、コンピュータに実行されるプログラムによって実現され得る。たとえば、フローチャートを用いて説明した処理は、その処理の手順を規定したコンピュータプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

上述の注意散漫検出装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。たとえば実施形態１の注意散漫検出装置には汎用のプロセッサが設けられており、そのプロセッサがコンピュータプログラムを実行することにより、覚醒度推定部３、注意配分推定部４および運転者状態推定部５の一部または全てとして機能する。

なお、図示された注意散漫検出装置は１つの筐体内に収められていなくてもよい。たとえば生体信号検出部として脳波計を利用する際には、脳波計は注意散漫検出装置の他の構成要素と有線または無線で接続されてもよい。また、通信ネットワークを介して離れた位置に設けられたコンピュータが、覚醒度推定部３、注意配分推定部４および運転者状態推定部５の一部または全てとして機能してもよい.。

本発明にかかる注意散漫検出装置による運転者状態の推定は幅広い産業で利用可能である。たとえば、一般車両の運転者だけでなく、業務用車両を運転する運転者（たとえばトラックやタクシーやバスの運転者）、車以外の乗物（電車や飛行機や船舶）の操縦者、工場等のプラントの監視者等に対して運転や操作等の注意が必要とされる産業に利用可能である。

１ 運転者
２ 生体信号検出部
３ 覚醒度推定部
４ 注意量推定部
５ 運転者状態推定部
６ 出力部
７ 外部環境検出部

Claims (10)

1. 運転者の脳波信号を検出する脳波検出部と、
   脳波信号と覚醒度とを対応付ける第１規則を保持し、検出された前記脳波信号および前記第１規則に基づいて、覚醒度を推定する覚醒度推定部と、
   脳波信号と注意配分の程度とを関連付ける第２規則を保持し、検出された前記脳波信号および前記第２規則に基づいて、注意配分の程度を推定する注意配分推定部と、
   覚醒度および注意配分から注意量を導出するための第３規則を保持し、推定された前記覚醒度、前記注意配分および前記第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類する運転者状態推定部と、
   前記運転者状態分類部の分類結果に基づいて、前記運転者に対する働きかけを行う出力部と
   を備えた注意散漫検出装置。
2. 前記第１規則は、脳波信号の周波数強度と覚醒度とを対応付けており、
   前記覚醒度推定部は、検出された前記脳波信号の周波数強度を算出し、算出結果および前記第１規則に基づいて前記覚醒度を推定する、請求項１に記載の注意散漫検出装置。
3. 前記覚醒度推定部には、脳波信号の周波数強度に応じて定まる複数のグループが予め設けられており、
   前記覚醒度推定部は、複数の時刻において算出した前記脳波信号の各周波数強度を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの周波数強度および前記第１規則に基づいて前記覚醒度を推定する、請求項２に記載の注意散漫検出装置。
4. 前記第２規則は、脳波信号の事象関連電位の振幅と注意配分とを対応付けており、
   前記注意配分推定部は、検出された前記脳波信号の事象関連電位の振幅を算出し、算出結果および前記第２規則に基づいて前記注意配分の程度を推定する、請求項１に記載の注意散漫検出装置。
5. 前記注意配分推定部は、前記事象関連電位の振幅に応じて定まる複数のグループが予め設けられており、
   前記注意配分推定部は、複数の時刻において算出した前記脳波信号の事象関連電位の各振幅を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの事象関連電位の振幅および前記第２規則に基づいて前記注意配分の程度を推定する、請求項４に記載の注意散漫検出装置。
6. 外部環境を検出する外部環境検出部をさらに備え、
   前記運転者状態推定部は、検出された外部環境に基づいて必要注意量を導出する規則を有しており、前記外部環境検出部にて検出された外部環境に対して前記規則を適用することによって導出される必要注意量と、前記運転手状態推定部にて推定された運転に対する注意量とを比較し、運転者が外部環境の複雑さに対して注意が払われているか否かを判定する、請求項１に記載の注意散漫検出装置。
7. 前記運転者状態推定部は、前記覚醒度推定部によって推定された覚醒度と、前記注意配分推定部によって推定された運転に対する注意配分を掛け合わせることによって、運転者の運転に対する注意量を算出する、請求項１に記載の注意散漫検出装置。
8. 前記注意配分推定部は、運転以外に対する注意配分と、運転に対する注意配分との関係を対応付ける規則を有しており、前記運転以外に対する注意配分および前記規則に基づいて、前記運転に対する注意配分を推定することが可能であり、
   前記運転者状態推定部は、前記運転以外に対する注意配分および前記規則に基づいて推定された前記運転に対する注意配分と、前記覚醒度推定部によって推定された覚醒度とを掛け合わせることによって、前記運転者の運転に対する注意量を算出する、請求項１に記載の注意散漫検出装置。
9. 脳波信号と覚醒度とを対応付ける第１規則を用意するステップと、
   脳波信号と注意配分の程度とを関連付ける第２規則を用意するステップと、
   覚醒度および注意配分から注意量を導出するための第３規則を用意するステップと、
   運転者の脳波信号を検出するステップと、
   検出された前記脳波信号および前記第１規則に基づいて覚醒度を推定するステップと、
   検出された前記脳波信号および前記第２規則に基づいて注意配分の程度を推定するステップと、
   推定された前記覚醒度、前記注意配分および前記第３規則に基づいて前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、
   分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップと
   を包含する注意散漫検出方法。
10. コンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    運転者の脳波信号を受け取るステップと、
    検出された運転者の脳波信号、および、脳波信号と覚醒度とを対応付ける第１規則に基づいて覚醒度を推定するステップと、
    検出された前記脳波信号、および、脳波信号と注意配分の程度とを関連付ける第２規則に基づいて注意配分の程度を推定するステップと、
    推定された前記覚醒度、前記注意配分、および、覚醒度および注意配分から注意量を導出する第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、
    分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップと
    を実行させる、コンピュータプログラム。

Images