本発明は、自動車の運転などの車両の操作を行う操作者の注意状態(たとえば、運転に集中している状態か、注意が散漫している状態か)を、脳波に基づいて判定し安全運転を支援する技術に関する。
近年、安全運転支援技術の開発において、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援を行う技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。例えば特許文献1には、脳波の入眠波形パターンやα波成分から運転者の覚醒度を推定する技術が開示されている。
しかしながら本願発明者らは、運転中の運転者の状態を単に覚醒度によって捉えるのでは不十分であると考えている。その理由は、覚醒度だけでは、覚醒しているにも関わらず運転に対して注意が向いていない状態(いわゆる注意散漫状態)を捉えきれないためである。したがって、従来の覚醒度による居眠り検出だけではなく、運転に対するある特定の注意状態(例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などの「意識の脇見状態」)を計測・評価する手法が必要である。
近年、脳波の眼球停留関連電位(Eye Fixation Related Potential:EFRP)を用いて、視対象にどのくらい注意を向けているかを調べる研究が行われている。この方法によれば、意識の脇見状態を含めた運転に対する注意状態を調べることが可能になる。ここで「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動(サッケード)の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、近に、前頭部よりも後頭部で優位に出現する正の成分を「ラムダ反応」という。ラムダ反応は、視対象に対する注意集中度によって変動することが知られている。
例えば特許文献2では、大小様々なサッケードが発生する環境下において、サッケードサイズや視線移動パターンごとにサッケードを分類して眼球停留関連電位を算出している。そして、算出された眼球停留関連電位の特定成分(例えばラムダ反応に対応する眼球停留関連電位の成分の振幅値)から注意集中度を評価している。
特開平7−108848公報
特開2007−125184公報
特開2005−34620公報
しかしながら、脳波の波形の出方は運転者ごとの個人差に大きく左右されるため、特許文献2に記載の従来技術では、運転に対する注意状態を正確に判定することができない。
図1を参照しながら具体的に説明する。図1(a)〜(c)には、眼球停留関連電位について本願発明者らが実施した実験結果を示す。図1(a)は後頭部で計測された全被験者12名分の各波形を加算平均した波形であり、図1(b)は複数回計測された被験者Aの各波形を加算平均した波形であり、図1(c)は複数回計測された被験者Bの各波形を加算平均した波形である。図1(a)〜(c)の各々のグラフにおいて、横軸は眼球停留の開始時刻を0ミリ秒とした時間(潜時)を示しており、単位はミリ秒である。また、縦軸は電位(EERPの振幅)を示しており、単位はμV、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態(すなわち注意散漫状態)の眼球停留関連電位を示している。
図1(a)のグラフによれば、眼球停留開始時刻を起点として約100ミリ秒付近に出現する正の成分(ラムダ反応)の振幅は、運転集中時に3.4μVと大きく、注意散漫時に1.2μVと小さくなっている。従来の知見通り、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。ラムダ反応の振幅値を用いて運転に対する注意状態を被験者ごとに判定しようとした場合、ある閾値を設定して、ラムダ反応の振幅値がその閾値以上であれば運転集中状態と判定し、閾値より小さければ注意散漫状態と判定することが望ましい。被験者Aでは、図1(b)のグラフから読み取ることにより、0.9μV付近を閾値にすればよい。個人差が生じ得るグラフに基づいて注意状態を判定するための最適な閾値を決定すると、その値は被験者ごとに大きく異なる。よって、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。
このような個人差を調整する方法として、事前に各被験者に対する判定基準の調整を行っておくこと、いわゆるキャリブレーションが考えられる。例えば特許文献3では、複数の選択肢の中から被験者が選択したいと思っている選択肢を、脳波の事象関連電位を用いて識別する脳波インタフェース利用時の個人差を調整する方法が提案されている。この方法では、事前に複数の選択肢の中から被験者が脳波インタフェースを用いて1つの選択肢を選択する作業を、1被験者あたり100回程度行わせている。そして、各作業で得られた脳波データから個人ごとの脳波の特徴をシステムに学習させている。
脳波を用いた運転注意状態の判定においても同様の方法が考えられる。しかしながら、運転する前に煩雑なキャリブレーション作業を必須とするのは、手間がかかり、運転者にとって大きな負担である。更に、事前のキャリブレーション作業のために、注意散漫状態で実際に公道を運転してもらうことは現実的には不可能であるため、十分な量の学習データを事前に取得することは困難である。
本発明は上記課題を解決するためになされたものであって、その目的は、運転者ごとの個人差が大きい脳波を用いて運転注意状態を判定する装置において、事前に明示的なキャリブレーション作業を運転者に行わせることなく、かつ各運転者の注意状態を精度良く判定することにある。
本発明による注意状態判定装置は、操作者の脳波信号を計測する脳波計測部と、前記操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部と、前記操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。
前記判定基準調整部は、さらに、前記時区間において計測された前記脳波信号の周波数のパワースペクトル値に基づいて、前記判定基準を調整してもよい。
前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、前記判定基準である判定閾値とを比較することにより、前記操作者の注意状態を判定してもよい。
前記判定基準調整部は、算出した前記眼球停留関連電位のラムダ反応振幅値が大きくなるに従って前記判定基準である判定閾値を高く設定し、前記ラムダ反応振幅値が小さくなるに従って前記判定閾値を低く設定してもよい。
前記判定基準調整部は、前記時区間において計測された前記脳波信号に含まれるα波のパワースペクトル値が大きくなるに従って前記判定基準を高く設定し、前記時区間において計測された前記脳波信号に含まれるβ波のパワースペクトル値が大きくなるに従って、前記判定基準を低く設定してもよい。
前記注意状態判定装置が、車両の運転操作を行っている操作者の注意状態を判定し、前記操作者に対して注意を喚起するために利用されるときにおいて、前記準備状態検知部は、前記車両のエンジンの始動時、前記車両に設けられたカーナビゲーションシステムの設定操作の開始時、前記車両のブレーキ解除時、前記車両の車速が所定値以下であることを検知した時の少なくとも一つの時刻を開始時刻として、前記時区間を検知してもよい。
前記準備状態検知部は、前記カーナビゲーションシステムの設定操作の完了時、前記車両の車速が所定値以上であることを検知した時、前記開始時刻から所定時間後の少なくとも一つの時刻を終了時刻として、前記時区間を検知してもよい。
前記判定基準調整部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留関連電位の開始時刻として検出してもよい。
前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の50±100ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用してもよい。
本発明による他の注意状態判定装置は、操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部によって計測された前記眼球運動信号を利用して、前記操作者の脳波信号を計測する脳波計測部によって少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。
本発明による注意状態判定方法は、操作者の脳波信号を計測するステップと、前記操作者の眼球運動を示す眼球運動信号を計測するステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを包含する。
本発明によるコンピュータプログラムは、注意状態判定装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、操作者の脳波信号のデータを受け取るステップと、前記操作者の眼球運動を示す眼球運動信号のデータを受け取るステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを実行させる。
本発明によれば、操作者に事前の明示的なキャリブレーション作業を行わせることなく、各操作者の注意状態(たとえば運転に集中している状態か、注意が散漫な状態か)の判定精度を高く維持することができる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。
(a)〜(c)は、眼球停留関連電位について本願発明者らが実施した実験結果を示す図である。
国際10−20法の電極位置を示す図である。
(a)および(b)はラムダ反応振幅値の時間変化を示す図である。
操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す図である。
被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値(L)およびα波、β波、θ波のパワースペクトル値(α、β、θ)を説明変数として線形重回帰分析を行った結果を示す図である。
本実施形態による注意状態判定装置1のブロック構成図である。
ヘッドマウント式脳波計として実現された脳波計測部11の構成例を示す図である。
EOG法によって眼球運動を計測する眼球運動計測部12のハードウェア構成例を示す図である。
第1眼球角度情報のデータ構造の例を示す図である。
角膜反射法によって眼球運動を計測する眼球運動計測部12のハードウェア構成例を示す図である。
判定処理部20のハードウェア構成例を示す図である。
判定基準調整部14の処理の手順を示すフローチャートである。
判定基準調整部14の処理に関連する波形のデータを示す図である。
注意状態判定部15の処理の手順を示すフローチャートである。
判定対象時区間83(a)〜(d)の例を示す図である。
出力部16の具体例を示す図である。
(a)〜(d)は、4つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者12名の平均値を示す図である。
以下、添付の図面を参照しながら、本発明による注意状態判定装置、方法およびプログラムの実施形態を説明する。
本実施形態では、注意状態判定装置は、運転者が車両(自動車)を運転操作する局面において利用されるとする。以下では、まず本願発明者らが行った実験、および、当該実験に基づく結果から本願発明者らが得た知見を説明する。
本願発明者らは、以下に説明する実験により、運転注意状態を判定するための運転者ごとの最適な閾値を、運転操作準備状態における眼球停留関連電位のラムダ反応振幅値、および、脳波の成分のうちのα波、β波、θ波のパワースペクトル値に基づいて推定できることを見出した。
自動車などの車両を運転する例における「運転操作準備状態」とは、走行(運転操作)を開始する前の準備(たとえばエンジン始動、カーナビゲーションシステムの操作、サイドブレーキの解除)を行っている状態、または一般に徐行とされる車速10km/時未満の状態を指す。後述のように、本願発明では特に運転という操作に限定される必要はないため、「操作準備状態」という包括的な語を用いてもよい。なお、「眼球停留関連電位」および「ラムダ反応」は、背景技術の欄において既に説明したとおりである。
以下に本願発明者らが行った実験の詳細を説明する。
被験者は男性7名、女性5名の合計12名で、平均年齢は21.3±1.2歳である。本願発明者らは被験者に2つの課題を並行して実施してもらう二重課題法による実験を行った。
第1の課題は、運転課題である。被験者に対して、ドライビングシミュレータ(三菱プレシジョン製。以降「DS」と省略する。)で約6分の市街地コースを運転する課題を課した。市街地コースの道路の混雑状況は、制限速度内で自由に走行できる程度に設定し、前方車両、対向車両、後続車両、および歩行者を配置した。被験者はカーナビゲーションシステムの画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は被験者自身による画面の目視のみで行い、音声案内によるナビゲーションは行わなかった。
第2の課題は、認知負荷課題である。被験者の注意資源を実験的に運転から逸らすことを目的として、n−Backテストと呼ばれる課題を課した。「n−Backテスト」とは、例えば3秒ごとに1桁の数字が音声で提示され、提示後にn個前(例:0個前、2個前)に提示された数字を発声で回答するという課題である。具体的に説明する。例えば、“3、5、9、1、6、…”という音声提示が3秒ごとにあり、0個前(0−Back)の数字を回答する場合は、被験者は“3、5、9、1、6、…”と提示された数字をそのまま回答することになる。一方、2個前(2−Back)の数字を回答する場合は、被験者は“−(無回答)、−(無回答)、3、5、9、…”にように常に2個前の数字を回答する。nの値が大きいほど、被験者は多くの数値を一時的に記憶および更新しなければならなくなり、被験者の認知負荷は大きくなる。そのため、運転中の考え事や記憶に関連する会話などを実験的に模擬できると考えられる。
続いて実験条件を説明する。本実験では表1に示す2つの条件で運転中の脳波を計測した。第1の条件は運転集中条件である。運転集中条件では、DS操作(運転)と0−Backテストを並行して実施する。0−Backテストはそれほど認知負荷が大きくないため運転に集中できる状態と考えられる。
第2の条件は注意散漫条件である。注意散漫条件では、DS操作(運転)と2−Backテストとを並行して実施する。2−Backテストは認知負荷が大きいため、被験者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。
また、被験者には脳波計(ティアック製、ポリメイトAP−1124)を装着させた。脳波計の電極の配置は以下のとおりである。導出電極を国際10−20法におけるOz(後頭部)に配置し、基準電極をA1およびA2(左右両耳朶の平均)に配置し、接地電極を前額部に配置した。図2は、国際10−20法の電極位置を示す。図2には、導出電極Ozおよび左右両耳朶の基準電極A1およびA2が示されている。
サンプリング周波数200Hz、時定数3秒で計測した脳波データに対して1〜15Hzのバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−300ミリ秒から600ミリ秒の脳波データを切り出し、0ミリ秒の時刻における電位値でベースライン補正を行った。
先に説明した通り、図1(a)〜(c)は、上記の処理を行った後の眼球停留関連電位(EFRP)の加算平均波形を示す。(a)は全被験者12名分の加算平均波形を示し、(b)はある被験者Aの加算平均波形を示し、(c)は別の被験者Bの加算平均波形を示す。図1の各々のグラフにおいて、実線は運転集中条件時、点線は注意散漫条件時の波形を示している。また、横軸は眼球停留の開始時刻を0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。
(a)のグラフにおいて、約100ミリ秒の時刻に出現する正の成分(この成分がラムダ反応である。)は、運転時(すなわち被験者の集中時)のラムダ反応の振幅は3.4μVと大きく、注意散漫時には1.2μVと小さくなっている。このグラフにより、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。
ここで、被験者ごとに運転に対して注意を集中していたか、または、注意が散漫であったかの注意状態を推定することを考える。本実施形態においては、ラムダ反応の振幅値と閾値とを用いて、振幅値が閾値より大きければ運転集中状態であり、それ以下であれば注意散漫状態であると判定(推定)することとする。
ラムダ反応の振幅値から判断すると、(b)の被験者Aに関しては、閾値を0.9μV付近に設定し、それ以上であれば運転集中状態、それより小さければ注意散漫状態であると判定することが望ましい。一方、(c)の被験者Bに関しては、閾値を8.4μV付近に設定して運転集中状態および注意散漫状態を判定することが望ましい。すなわち、注意状態を推定するための最適な閾値は被験者ごとに大きく異なり、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。
図3(a)および(b)はそれぞれ、被験者AおよびBのラムダ反応振幅値の時間変化を示す。横軸は経過時間で、単位は秒である。縦軸は電位で単位はμVであり、上向きに正である。実線は運転集中条件時、点線は注意散漫条件時を示す。
図3(a)および(b)の各グラフの左端に存在する、最初のプロット91〜94は運転操作準備状態のEFRP加算平均波形から算出されたラムダ反応振幅値を示している。「運転操作準備状態」の時間的な幅の一例を挙げると、エンジン始動から所定時間(45秒間)経過後までである。図3(a)に示す被験者Aの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ2.2μV(プロット91)および1.2μV(プロット92)である。図3(b)に示す被験者Bの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ6.9μV(プロット93)と7.8μV(プロット94)である。
一方、各グラフの2番目以降のプロットは、運転操作準備状態後において時間幅TWを180秒、時間シフトTSを30秒としたときの各判定対象時区間に対するEFRP加算平均波形から算出されたラムダ反応振幅値を示している。
図3のプロット91〜94によれば、運転操作準備状態のラムダ反応振幅値は、注意状態の違いによる影響が小さく、一方で被験者Aおよび被験者Bの個人差が大きく反映されている。また、運転操作準備状態後のラムダ反応振幅値は、個人差に加えて、注意状態の影響が反映されていることが分かる。具体的には図3(a)および(b)のグラフにおいて、運転集中時はラムダ反応振幅値が維持または増加傾向にあるのに対して、注意散漫時は減少傾向になっている。
ここで、このような特性を受けて、本願発明者らは以下のような考察を行った。
運転操作準備状態では、細かな確認作業に伴う眼球運動が発生する。例えば、エンジン始動から始まり、カーナビゲーションシステムの操作、サイドブレーキ解除、発車前および徐行期間中での左右確認などに伴う眼球運動が発生する。同時に運転操作準備状態では、それらの確認作業の各々に対して、ある程度一定の注意資源が都度割り当てられていると考えられる。なぜなら、カーナビゲーションシステムに所望の目的地を設定するための操作や、駐車場等の比較的狭い場所から前後左右をぶつけないように注意しながら車両を出すための操作は、その後の運転時の比較的単調な作業と比べて、一定の注意を払わなければ遂行できない一連の作業だからである。さらに、いずれの操作も目視による確認を必要とするため、必然的に眼球運動が発生する作業だと考えられる。
したがって、「運転操作準備状態」とは、単に走行前や徐行期間の時間的範囲を指すだけではなく、上述の一連の作業を実際に遂行している状態と捉えることもできる。そのため、運転操作準備状態におけるラムダ反応振幅値は注意状態(実験条件)の違いによる影響(図3のプロット91および92の差、あるいはプロット93および94の差)が小さく、一方で個人差(図3(a)のプロット91および92と、図3(b)のプロット93および94の差)が大きく反映された結果になったと考えられる。
各運転者に対応する判定基準の調整(いわゆるキャリブレーション)は、通常であれば、実際の運転中の眼球停留関連電位を利用して行うことが好ましいといえる。なぜなら、運転中の運転者の注意状態を判定する必要がある以上、個人差が生じている運転中の時区間の眼球停留関連電位を取得することが当然に適切であると考えられるためである。
しかしながら本願発明者らは、運転者の注意状態のばらつきが少なく一定であり、かつ、眼球停留関連電位に個人差の影響のみが出現しやすいのは運転中よりもむしろ運転を行う前(運転の準備期間中)の運転操作準備状態である、ということを実験によって認識するに至った。この知見によれば、運転操作準備状態の時区間は運転者の眼球停留関連電位を取得するのに適した時間帯であり、各運転者に対する判定基準の調整(いわゆるキャリブレーション)は、その運転操作準備状態における眼球停留関連電位を利用して行うことが好ましいといえる。
この方針によれば、個人差のみが強く反映されている操作準備状態のラムダ反応振幅値を用いれば、被験者ごとの特性を考慮した最適な閾値を算出することができると考えられる。最も簡潔な方法の一例としては、以下のように最適な閾値を算出しても良い。
ここで、Lは操作準備状態のラムダ反応振幅値であり、Thは被験者ごとの最適な判定閾値である。
さらに、上式以外の具体的な算出方法を以下詳しく説明する。
図4は、操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す。横軸は被験者ごとの操作準備状態のラムダ反応振幅値(L)で単位はμV、縦軸は実験結果から得られた被験者ごとの最適な判定閾値(Th)で単位はμVである。ここで「最適な判定閾値」とは、被験者ごとに前述の運転集中条件と注意散漫条件の両方の実験を実施した結果から得られた値である。具体的には、時間幅TW=180秒、時間シフトTS=30秒とした場合の各々のラムダ反応振幅値を、ある閾値に基づいて運転集中または注意散漫のどちらかの注意状態に判別しようとした際に、最も判別率が高くなった閾値を「最適な判定閾値」としている。図1(b)および(c)に示す通り、例えば被験者Aの場合は0.9μVであり、被験者Bの場合は8.4μVである。
図4にプロットされたデータに関して線形回帰分析を行った結果、最適な判定閾値(Th)は下記の式で近似することができる。
上記近似式における相関係数Rは0.96であり、操作準備状態のラムダ反応振幅値と最適な閾値との間には極めて強い相関関係があることが分かった。「相関関数」とは、2つの変数の間の相関(類似性の度合い)を示す統計的指標であり、一般的に絶対値が0.7以上の場合に強い相関があると見なされている。この関係を利用することにより、操作準備状態のラムダ反応振幅値から最適な閾値を推定することが可能となる。
上述のとおり、ラムダ反応振幅値のみによっても閾値を推定することが可能である。ここで本願発明者らは、さらにα波、β波、θ波のパワースペクトル値を利用して閾値を求め、その評価を行った。
図5は、更に被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値(L)およびα波、β波、θ波のパワースペクトル値(α、β、θ)を説明変数として線形重回帰分析を行った結果を示す。縦軸は被験者ごとの最適な閾値(Th)で単位はμVである。横軸は下記の近似式で表される評価値(E)である。評価値(E)と最適な閾値とは、傾きが1で切片が0の線形の関係を有している。
上記近似式における相関係数Rは0.99であり、図4の例と比べて更に強い相関関係が存在することが分かる。
以上の通り、本願発明者らの実験および実験結果から、操作準備状態におけるラムダ反応振幅値のみによって、または、ラムダ反応振幅値に加えて、α波、β波、θ波のパワースペクトル値を用いることによって、被験者ごとの最適な閾値を更に正確に推定できることが分かった。
なお、「運転操作準備状態」とは、車両の操作を、目的地に向けて運転する操作(運転操作)と、その運転操作を開始するまでの準備をする操作とに分けて考えたときの、後者のことをいう。運転操作準備状態の検出は、たとえばエンジン始動などのある時刻を起点とした所定時間内であるか否かで行ってもよいし、および/または、操作準備の内容に応じて変化させてもよい。たとえばシフトレバーの操作やアクセルの踏み込みが検出されたときは、「運転操作準備状態」が終了して「運転操作状態」に遷移したと判断してもよい。
以下、上述の知見に基づいて本願発明者らがなした、本発明にかかる注意状態判定装置の実施形態を説明する。先の説明と同様、自動車などを運転する状況を想定しているが、これは一例である。
図6は、本実施形態による注意状態判定装置1のブロック構成図を示す。注意状態判定装置1は、運転者10の脳波信号、より具体的には脳波信号の一成分である眼球停留関連電位を利用して、運転に対する注意状態を判定する。先に説明したように、運転に対する注意状態とは、運転に対して注意を集中していたか、または、注意が散漫であったかである。そしてその注意状態に応じて、注意状態判定装置1は、操作者へ対して注意喚起を促す支援を行う。注意状態の判定を的確に行うため、注意状態判定装置1では運転者ごとに、判定基準が調整される。この結果、個人ごとに大きく異なる脳波を的確に解析することが可能になる。
注意状態判定装置1は、脳波計測部11と、眼球運動計測部12と、出力部16と、判定処理部20とを備えている。判定処理部20は、準備状態検知部13と、判定基準調整部14と、注意状態判定部15とを有している。なお、運転者10のブロックは説明の便宜のために示されている。
以下では、各構成要素を概略的に説明し、その後順次詳細に説明する。
脳波計測部11は、運転者10の脳波信号を計測する。
眼球運動計測部12は、運転者10の眼球運動を計測し、眼球運動を示す眼球運動信号を出力する。
判定処理部20の準備状態検知部13は、運転操作準備状態の時区間、言い換えると運転操作準備状態が継続している期間を検知する。判定処理部20の判定基準調整部14は、時区間の脳波データおよび眼球運動データから算出した特定成分(後述)の値に基づいて、運転注意状態を判定するための判定基準を調整する。また、判定処理部20の注意状態判定部15は、眼球運動計測部12で計測した眼球運動データを利用して、脳波計測部11で計測した脳波データから眼球停留関連電位を算出し、算出された眼球停留関連電位の特定成分の振幅値と判定基準調整部14で調整した判定基準に基づいて、運転に対する注意状態を判定する。
出力部16は、判定結果に基づき運転者10へ対して注意喚起を促す支援を行う。
以下、各機能ブロックを詳しく説明する。
脳波計測部11は、運転者10の頭部に装着された電極を利用して電位を測定し、その電位変化を計測することによって脳波信号を出力する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。
図7は、ヘッドマウント式脳波計として実現された脳波計測部11の構成例を示す。運転者10の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部11には電極11a〜11eが配置されている。例えば電極11aおよび11cは、国際10−20法による、後頭部の電極位置O1およびO2に接触することを想定している。同様に、電極11bは後頭部の電極位置Oz、電極11dは、耳朶A1、電極11eは前額部に接触する。従来文献(宮田洋ら、新生理心理学1、1998、p262、北大路書房)によれば、認知や注意を反映し、眼球停留開始時刻を起点として約100ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。
但し、後頭部周辺のPz(頭頂中央)でも計測は可能であり、当該位置に接触するよう電極が配置されたヘッドマウント式脳波計を採用しても良い。電極位置は、信号測定の信頼性および装着の容易さ等から決定すればよい。
また、電極は最低2個あればよい。例えば電極位置OzとA1に対応する電極11bと11dのみでも電位計測は可能である。
このような電極配置を採用することにより、脳波計測部11は運転者10の脳波を測定することができる。測定された脳波信号は、コンピュータで処理できるようにサンプリングされ、脳波計測部11内に保持する一次記憶装置(たとえば半導体メモリ)に記憶される。なお、注意状態判定装置1にハードディスクドライブなどの補助記憶装置(図示せず)を設け、その補助記憶装置にサンプリングされた脳波信号を記憶させてもよい。例えば、予め決められた一定時間分のデータは上述の一次記憶装置に一時的に記憶され、かつ随時更新される。あるいは一時的ではなく、上述の補助記憶装置に全て記憶されても良い。
なお、脳波信号に混入する商用電源ノイズの影響を低減するため、脳波計測部11において計測される脳波信号には、予めローパスフィルタ処理を施すことが好ましい。たとえば50Hzまたは60Hzの商用電源を利用するときには、脳波信号に30Hzのローパスフィルタ処理を施せばよい。
運転者10は予め上述のような脳波計を装着しているとする。
眼球運動計測部12は、EOG(Electrooculogram)法に基づいて眼球運動を計測する。「EOG法」とは、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。EOG法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。眼球運動計測部12は、眼球運動を示す信号(眼球運動信号)を出力する。
図8は、EOG法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部12のハードウェア構成例を示す。眼球運動計測部12は、電極(H1、H2およびV1、V2)と、水平方向電位検出器21と、垂直方向電位検出器22と、眼球角度情報メモリ23と、変換器24と、一次メモリ25とを備えている。
水平方向電位検出器21は、運転者10の左右こめかみに装着された電極(H1、H2)における電位差から、眼球の水平方向の動きを表す水平眼球運動信号を検出する。垂直方向電位検出器22は、眼球の上下に装着された電極(V1、V2)における電位差から眼球の垂直方向の動きを表す垂直眼球運動信号を検出する。なお、眼球運動方向を示す信号は、水平および垂直眼球運動信号を合成して得られたベクトル信号を用いても良い。眼球角度情報メモリ23は、水平および垂直眼球運動信号の振幅値と眼球の角度との対応関係を示す情報(第1眼球角度情報)を予め記憶している。変換器24は、当該眼球角度情報に基づいて、各振幅値から眼球の角度を計測する。一次メモリ25は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図8に示した眼球運動計測部12は、脳波計と同様にヘッドマウント式の計測器であっても良い。
図9は、第1眼球角度情報のデータ構造の例を示す。第1眼球角度情報は、水平方向および垂直方向における振幅値(電位)と眼球の角度とが対応付けられて構成されている。例えば、振幅値(電位)が1秒間で水平方向に+50μV、垂直方向に+30μVの変化をした場合、眼球の角度は右方向に5度(degrees)、上方向に5度(degrees)と特定することができる。このときの眼球の角速度は、(52+52)1/2≒7.07度(degrees)/秒と算出することができる。
また、眼球運動計測部12は、EOG法の代わりに角膜反射法に基づいて計測しても良い。
図10は、角膜反射法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部12のハードウェア構成例を示す。「角膜反射法」とは、近赤外線光源(点光源)が近赤外線を眼球に照射し、カメラで眼球の映像を撮影し、撮影した映像を用いて瞳孔および角膜表面における光源の角膜反射像の位置を検出する方法である。
眼球運動計測部12は、近赤外線光源31と、CCDカメラ32と、反射像位置検出器33と、眼球角度情報メモリ34と、変換器35と、一次メモリ36とを備えている。
近赤外線光源31は、近赤外線の点光源であり、近赤外線を眼球37に照射する。CCDカメラ32は、近赤外線が照射された眼球37を撮影する。このとき、被験者はディスプレイ40に表示された画像等を注視している。注視する位置は注視点41として示されている。反射像位置検出器33は、撮影した眼球の映像に基づいて瞳孔38および角膜表面を認識し、更に瞳孔38および角膜表面における光源の反射像(角膜反射像39)の位置を検出する。眼球角度情報メモリ34は、角膜反射像39の位置と眼球37の角度との関係(第2眼球角度情報)を予め記憶している。第2眼球角度情報のデータ構造は、図9に示すデータ構造に類似するためその具体的な例示は省略する。
変換器35は、当該眼球角度情報に基づいて、反射像の位置から眼球の角度を計測する。一次メモリ36は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図10に示した眼球運動計測部12は、脳波計と同様にヘッドマウント式計測器であっても良く、あるいは車両前方(ダッシュボードの上やバックミラーの後ろなど)に設置される据置型の機器であっても良い。
次に、判定処理部20(図6)の具体的な構成を説明する。
図11は、判定処理部20のハードウェア構成例を示す。判定処理部20との関係を示すため、図11には、バス19を介して判定処理部20と接続された脳波計測部11および眼球運動計測部12も併せて記載されている。
判定処理部20は、CPU5aと、RAM5bと、ROM5cと、プログラム5dと、画像処理回路5eと、音声処理回路5fとを有している。
CPU5aは、ROM5cに格納されているコンピュータプログラム5dをRAM5bに読み出し、RAM5b上に展開して実行する。CPU5aは、このコンピュータプログラム5dを実行することにより、図6に関連して説明した準備状態検知部13、判定基準調整部14および注意状態判定部15として機能する。コンピュータプログラム5dはCPU5aが実行する命令の集合である。CPU5aがコンピュータプログラム5dを実行することにより、CPU5aまたはCPU5aから指示を受けた構成要素は後述する図12および図14に規定される処理を行う。なお、ROM5cは書き換え可能なROM(たとえばEEPROM)であってもよい。
判定処理部20は、さらに、画像処理回路5eおよび音声処理回路5fを有している。画像処理回路5eは、CPU5aの指示に従って、後述するヘッドアップディスプレイ(HUD)16a上に表示するための画像のデータを生成する。また音声処理回路5fは、CPU5aの指示に従って、車内のスピーカ16bから出力するための音声のデータを生成する。
上述のコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、判定処理部20は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
次に、判定処理部20のCPU5aがプログラム5dを実行することにより、準備状態検知部13、判定基準調整部14および注意状態判定部15として動作するときのその動作(機能)をそれぞれ説明する。
準備状態検知部13は、運転操作準備状態の時区間を検知する。
当該時区間の開始タイミングの具体例は、エンジン始動時、カーナビゲーションシステムの操作開始時、サイドブレーキ解除時、車速が10km/時未満の状態を検知したタイミングが挙げられる。
そして、当該時区間の終了タイミングとしては、例えば車速が10km/時以上の状態を検知したタイミング、カーナビゲーションシステムへの設定完了時、前記開始タイミングから所定時間後(例えば45秒後)などが挙げられる。
準備状態検知部13は、上記開始タイミングのうちの少なくとも1つを検知し、上記終了タイミングのうちの少なくとも1つを検知する。さらに準備状態検知部13は、運転操作準備状態の時区間である上記開始および終了タイミングをそれぞれ検知すると、その結果を判定基準調整部14へ通知する。
判定基準調整部14は、上記時区間の脳波データおよび眼球運動データから算出した特定成分に基づいて、具体的には判定基準調整部14は、眼球停留関連電位のラムダ反応振幅値と、α波、β波、θ波などのパワースペクトル値とに基づいて、運転注意状態を判定するための判定基準を調整する。ここで、図12および図13を参照しながら、判定基準調整部14の処理の手順を説明する。
図12は判定基準調整部14の処理の手順を示すフローチャートであり、図13は判定基準調整部14の処理に関連する波形のデータを示す。
図12のステップS51では、判定基準調整部14は、運転準備検知部13で検知した運転操作準備状態の開始および終了タイミングを受信する。
ステップS52では、判定基準調整部14は、上記時区間において眼球運動計測部12が計測した眼球運動データを眼球運動計測部12から取得する。図13には、読み出された眼球運動データ61の波形例が示されている。
ステップS53では、上記眼球運動データにおけるサッケードを検出し、検出した各サッケードの終了時刻、すなわち眼球停留開始時刻を抽出または特定する。
従来文献(宮田洋ら、新生理心理学1、1998、p256、北大路書房)によれば、サッケードに要する時間は通常20〜70ミリ秒で、サッケードの速度は視角で表すと300〜500度(degrees)/秒であるとされている。したがって、眼球の運動方向が所定時間(例えば、20〜70ミリ秒)連続して同じであり、かつ当該所定時間の平均角速度が300度(degrees)/秒以上である眼球運動をサッケードとして検出することができる。
サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを1つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算し、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
判定基準調整部14は、検出した各々のサッケード終了時刻を眼球停留開始時刻として抽出する。図13には、抽出した眼球停留開始時刻t1、t2、・・・、t8の例が示されている。
ステップS54では、判定基準調整部14は、ステップS51で受信した運転操作準備状態の時区間に該当する脳波データを脳波計測部11から取得する。図13には、読み出される脳波データ62の波形例が示されている。
ステップS55では、判定基準調整部14は、ステップS54で読み出した脳波データのうち、ステップS53で抽出した各眼球停留開始時刻を起点として、−300ミリ秒から600ミリ秒までの脳波データを切り出す。図13には、眼球停留開始時刻毎に切り出された脳波データ(眼球停留関連電位)64の波形例が示されている。
ステップS56では、判定基準調整部14は、切り出した各脳波データからラムダ反応の振幅値を算出する。以下にその手順を詳しく説明する。
判定基準調整部14は、まず、切り出した各脳波データを眼球停留開始時刻(0ミリ秒)の電位が0μVになるようにベースライン補正を行う。
次に、判定基準調整部14は、切り出した全ての脳波データの加算平均処理を行う。図13の例では眼球停留開始時刻63(t1、t2、…、t8)に示した合計8個の起点に対応する脳波データの加算平均処理を行う。図13には、加算平均処理後の脳波データ(眼球停留関連電位)65の波形例を示す。
最後に、判定基準調整部14は、加算平均後の眼球停留関連電位において、約100ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測する。図13にはラムダ反応振幅66の一例が示されている。
なお、本願明細書においては、眼球停留関連電位の成分を定義するために、眼球停留開始時刻から起算した所定時間経過後の時刻を、たとえば「約100ms」と表現している。これは、100msという特定の時刻を中心とした範囲を包含し得ることを意味している。眼球停留関連電位と同じく脳波信号を構成する成分の一つである事象関連電位に関し、「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)が知られている。本文献の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる、とされている。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、100ms±50ms)に存在し得ることを意味している。眼球停留関連電位にも、個人毎の差異(ずれ)が事象関連電位と同程度存在し得ると考えられる。そこで本願明細書では、眼球停留関連電位に関しても、「約100ミリ秒付近」は、例えば50ミリ秒から150ミリ秒の期間を意味するものとする。
なお、眼球停留関連電位の研究では一般的に、脳波データの加算平均を求めてから解析が行われる。これにより、眼球停留に関係しないランダムな脳の活動電位は相殺され、一定の潜時と極性を持つ成分が検出できる。但し、本発明における判定基準調整部14は、前述の加算平均処理に限定されるものではなく、例えば非加算脳波(1個の脳波データ)からラムダ反応振幅値を計測してもよい。
ステップS57では、判定基準調整部14は、ステップS54で読み出した脳波データの各周波数帯域に対するパワースペクトル値を算出する。
一般に、脳波の8Hz以上13Hz未満の周波数成分はα波、13Hz以上の周波数成分はβ波、4Hz以上8Hz未満の周波数成分はθ波と呼ばれる。したがって、判定基準調整部14は、まず時系列の脳波データからフーリエ変換によって周波数成分データを求め、周波数成分データとその複素共役との積によって脳波データのパワースペクトルを算出する。さらに算出したパワースペクトルにおいて前述したそれぞれの周波数成分を算出することによって、α波、β波、θ波のそれぞれのパワースペクトル値を求める。
ステップS58では、ステップS56およびステップS57で算出したラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、運転注意状態を判定するための判定基準を調整する。より具体的には、判定基準調整部14は運転者ごとの最適な閾値を算出する。
上述の数1、数2および数3によれば、推定すべき閾値(Th)は、運転操作準備状態のラムダ反応振幅値(L)と正の相関になっていることが分かる。すなわち、判定基準調整部14は、運転操作準備状態のラムダ反応振幅値(L)が大きくなるに従って閾値(Th)を高く設定し、運転操作準備状態のラムダ反応振幅値(L)が小さくなるに従って閾値(Th)を低く設定すれば良い。
本実施形態ではラムダ反応振幅値およびパワースペクトル値を利用する例を説明したが、上述の数2および数3に関連して説明したように、ラムダ反応振幅値のみで閾値を設定することも可能である。
パワースペクトル値を利用する場合には、判定基準調整部14は、運転操作準備状態のα波のパワースペクトル値が大きくなるに従って閾値(Th)を高く設定し、運転操作準備状態のβ波のパワースペクトル値が大きくなるに従って閾値(Th)を低く設定すれば良い。
本願発明者らは、以下のようにパワースペクトル値を用いることの利点を見出した。
一般に、精神活動を行っているときの脳波にはβ波が現れ、ぼんやりした状態ではα波が現れるとされている。よって、α波が大きくβ波が小さいとき、すなわち、ぼんやりした状態のときは、上述の数3によると閾値(Th)は大きくなる。
後述する注意状態判定部15は、運転中のラムダ反応振幅値が閾値(Th)より小さい場合に“低”注意状態であると判定する。そのため、閾値(Th)が大きく調整されることによって、注意散漫な状態を取りこぼさずに検出できるようになると考えられる。
一方、α波が小さくβ波が大きいとき、すなわち、精神活動を行っているときは、数3によると閾値(Th)は小さくなる。その結果、運転に集中している状態を“低”注意状態であると誤って判定する可能性が減少できるようになると考えられる。
算出された閾値は、注意状態判定部15にて時々刻々と変化する運転に対する注意状態を、その時々のラムダ反応振幅値を用いて判定する際に用いられる。
ステップS59では、判定基準調整部14は、ステップS58で調整した判定基準の調整結果を注意状態判定部15へ通知する。
上述のステップS53では、抽出した各眼球停留開始時刻を起点として、−300ミリ秒から600ミリ秒までの脳波データを切り出すとして説明した。しかしながら、切り出す脳波データの時間幅は一例である。たとえば眼球停留開始時刻を起点として0〜200ミリ秒までの脳波データを切り出してもよい。または、ラムダ反応が取得できればよいとの観点からすると、たとえば眼球停留開始時刻を起点として100ミリ秒付近の最も大きい値を加算平均してもよい。
次に、注意状態判定部15の処理を説明する。
注意状態判定部15は、脳波計測部11および眼球運動計測部12で計測した脳波データおよび眼球運動データから眼球停留関連電位を算出し、算出された眼球停留関連電位のラムダ反応振幅値と判定基準調整部14で調整した判定基準に基づいて、運転に対する注意状態を判定する。以下、図14および図15を参照しながら、注意状態判定部15の処理の手順を説明する。
図14は注意状態判定部15の処理の手順を示すフローチャートである。
図14のステップS71では、注意状態判定部15は、判定基準調整部14で調整された判定基準、より具体的には運転者ごとの最適な閾値、を取得する。
ステップS72では、注意状態判定部15は、運転注意状態を判定する時区間を決定する。注意状態判定部15は予め判定対象時区間の時間幅TW(秒)および時間シフトTS(秒)のデータを保持している。時間幅TWはどれぐらいの区間に含まれる眼球停留関連電位を使うかを決め、時間シフトTSは何秒おきに注意状態を算出するかを決定するパラメータである。例えば時間幅TW=20秒、時間シフトTS=5秒のように設定しておく。
但し、上述の設定値は一例である。時間幅は解析精度が保てる範囲で短く設定すればよいし、時間シフト量は想定用途に応じて決められる。例えば、運転に対する注意状態が低いと判定された際にできるだけ速く運転者に警告を与える等の即時的な反応が求められる場合には、時間幅TW=20秒/10秒/5秒、時間シフトTS=5秒となるように短く設定すればよい。一方、即時的な反応ではなく、運転終了後に運転者の注意状態を検証する際に正確な状態評価が求められる場合には、時間幅TW=2分や3分となるように比較的長く設定すればよい。
図15は、判定対象時区間83(a)〜(d)の例を示す。判定対象時区間は現在時刻Taから過去TW(秒)遡った範囲とし、更にTS(秒)後に再度このステップS72が実行される場合には現在時刻Tb(=Ta+TS)から過去TW(秒)遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。
ステップS73からステップS77までの処理は、図12および図13を用いて説明したステップS52からステップS56と同じであるため、具体的な説明は省略する。
ステップS78では、注意状態判定部15は、ステップS77で算出したラムダ反応振幅値(L)とステップS71で受信した運転者ごとの閾値に基づいて、運転に対する運転者の注意状態を判定する。
例えば運転者の注意状態が高/低のいずれに該当するかを判別する場合は、閾値Thに対して、L<Thであれば“低”注意状態(すなわち注意散漫状態)、Th≦Lであれば“高”注意状態(すなわち運転集中状態)と判別する。また、運転者の注意状態が高/中/低のいずれに該当するかを判別する場合は、2つの閾値Th1、Th2(Th1<Th2)を判定基準調整部14から受信し、L<Th1であれば“低”注意状態、Th1≦L<Th2であれば“中”注意状態、Th2≦Lであれば“高”注意状態と判別する。
ステップS79では、注意状態判定部15は、ステップS78で判定した結果を出力部16へ送信する。
また、注意状態判定部15は、上述した一連の処理を時間シフトTS(秒)ごとに繰り返し実施される。
出力部16は、注意状態判定部15で判定された結果を画像や音声によって提示する。注意状態判定部15によって“低”注意状態であると判定されたときは、出力部16は、運転者の注意を喚起するための作用を運転者に対して及ぼす。言い換えると、出力部16からの作用により、運転者は状態変化を促す支援を受けることができる。
出力部16の運転者への出力方法としては、音声による運転者への呼びかけ、動作音や警告音の提示、またはカーナビゲーションシステムやヘッドアップディスプレイ(HUD)上へのテキストや画像の提示が挙げられる。
図16は、出力部16の構成例を示す。自動車のヘッドアップディスプレイ16aには、運転者の注意を喚起するための画像17が点滅している。また、車内のスピーカ16bからは、運転者への呼びかけのための音声が出力される。運転者への注意喚起は、画像および音声の両方を同時に利用してもよいし、画像または音声のいずれか一方のみでもよい。
そのほかにも、注意を向けて欲しい対象物に重ね合わせて画像を表示するAR(Augmented Reality)技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等の、運転者の知覚へ作用する種々の方法を採用することが可能である。
注意状態判定装置1の各構成要素が上述した動作を行うことにより、注意状態判定装置1は、図12および図14に示す処理を実行する。これにより、各操作者は事前の明示的なキャリブレーション作業を行わなくても、注意状態判定装置1は各操作者の注意状態(たとえば運転に集中している状態か、注意が散漫な状態か)を高い精度で判定することが可能になる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。
さらに、本実施形態によって得られる利点を、運転注意状態の判別率の試算結果に基づいて具体的に説明する。
判別率の試算は前述の実験結果を利用した。ここで「判別率」とは運転集中状態か注意散漫状態かの2状態の判別率を表す。時間幅TW=180秒、時間シフトTS=30秒とした場合に、運転集中条件(0−Backテスト時)のラムダ反応振幅値から正しく運転集中と判別できた確率、および注意散漫条件(2−Backテスト時)のラムダ反応振幅値から正しく注意散漫と判別できた確率の平均値を上記判別率としている。
図17(a)〜(d)は、4つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者12名の平均値を示す。4つの条件とは、判別率の計算を、4つの異なる値を用いて行うことを意味している。すなわち、(a)全被験者共通の閾値、(b)本発明による、運転操作準備状態のラムダ反応振幅値から被験者ごとに求めた最適な閾値(推定値)、(c)本発明による、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波の平均パワースペクトル値から被験者ごとに求めた最適な閾値(推定値)、および、(d)運転集中および注意散漫の両実験結果(事前の明示的なキャリブレーション作業に相当)から得られた被験者ごとの最適な閾値である。条件(a)の全被験者共通の閾値は、図1(a)に示す全被験者の加算平均波形における各条件のラムダ反応振幅の平均値とした。条件(d)は、事前に明示的なキャリブレーション作業を運転者に行わせた条件を意味している。
図17に示す通り、(a)の全被験者共通の閾値を用いた場合の判別率が最も低く(69.2%)、(d)の事前の明示的なキャリブレーション作業によって得られた被験者ごとの最適な閾値を用いた場合の判別率が最も高くなっている(92.2%)。一方、(b)および(c)の本発明を用いた場合の判別率はそれぞれ82.7%と87.6%であり、事前のキャリブレーション作業をしていないにも関わらず、(d)の場合に近い精度で判別できていることが分かる。
図17に示す結果によれば、本実施形態の構成によれば運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持できるといえる。
本実施形態にかかる構成および処理の手順によれば、運転者の注意状態を判定する注意状態判定装置において、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、各運転者の注意状態を判定するための最適な閾値を算出する。これにより、運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持することができ、当該判別結果に基づいて、運転者に適切に注意喚起等の状態変化を促す支援を行うことができる。
本実施形態による注意状態判定装置は、複数の構成要素が一体的に構成されていることを想定して説明した。しかしながら、たとえば判定処理部20の一部または全部の機能が、脳波計測部11、眼球運動計測部12および出力部16と別の位置に設けられてもよい。たとえば判定処理部20が、脳波計測部11等と無線ネットワークで接続された遠隔地のコンピュータによって実現されてもよい。このときは、判定処理部20自体が注意状態判定装置として機能することになる。脳波計測部11、眼球運動計測部12および出力部16は、それぞれ注意状態判定装置とは別体の脳波計、図8に示すような眼球運動計測装置、および、図16に示すようなスピーカ、ヘッドアップディスプレイとして実現される。
なお、本明細書においては、注意状態判定装置1は出力部16を含むとして説明した。しかしながら、出力部16を設けることは必須ではない。たとえば出力部を省略して判定結果を出力させず、注意状態判定部15に内部メモリ(図示せず)に格納してもよい。または、注意状態の判定結果や判定閾値を蓄積する記録装置(たとえばハードディスクドライブ)を注意状態判定装置1内部に設けてもよい。
本実施形態による注意状態判定装置は、ラムダ反応の振幅値が閾値以上の場合には運転集中状態であると判定し、閾値より小さい場合には注意散漫状態であると判定するとした。しかしながら、ラムダ反応の振幅値と閾値とが等しい場合には、注意散漫状態であると判定してもよい。
なお、本実施形態による注意状態判定装置は、自動車運転中の注意状態の判定に利用されるとして説明した。しかしながら、このような利用態様は一例であり、自動車の運転に限られることはない。注意状態判定装置は、操作者が機器等の操作を行う種々の局面で利用され得る。たとえば、管制塔やプラント設備、道路監視などの監視システムにおけるオペレータの注意状態判定にも適用することが可能である。例えば、オペレータが監視作業を行う前の準備状態を、オペレータが監視ルームに入室したタイミングまたは監視システムにログインしたタイミングから所定時間後までと定義することによって、オペレータの注意状態を精度良く判定し、適切な監視業務を行うことができる。
本発明では、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラック、タクシー、バスの運転者や、車ではない電車、飛行機、船舶の操縦者、工場等のプラントの監視者など、運転や操作等の本来業務にどれくらい注意が配分されているかを推定する必要がある場合に適用可能である。
1 注意状態判定装置
11 脳波計測部
12 眼球運動計測部
13 準備状態検知部
14 判定基準調整部
15 注意状態判定部
16 出力部
20 判定処理部
本発明は、自動車の運転などの車両の操作を行う操作者の注意状態(たとえば、運転に集中している状態か、注意が散漫している状態か)を、脳波に基づいて判定し安全運転を支援する技術に関する。
近年、安全運転支援技術の開発において、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援を行う技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。例えば特許文献1には、脳波の入眠波形パターンやα波成分から運転者の覚醒度を推定する技術が開示されている。
しかしながら本願発明者らは、運転中の運転者の状態を単に覚醒度によって捉えるのでは不十分であると考えている。その理由は、覚醒度だけでは、覚醒しているにも関わらず運転に対して注意が向いていない状態(いわゆる注意散漫状態)を捉えきれないためである。したがって、従来の覚醒度による居眠り検出だけではなく、運転に対するある特定の注意状態(例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などの「意識の脇見状態」)を計測・評価する手法が必要である。
近年、脳波の眼球停留関連電位(Eye Fixation Related Potential:EFRP)を用いて、視対象にどのくらい注意を向けているかを調べる研究が行われている。この方法によれば、意識の脇見状態を含めた運転に対する注意状態を調べることが可能になる。ここで「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動(サッケード)の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、近に、前頭部よりも後頭部で優位に出現する正の成分を「ラムダ反応」という。ラムダ反応は、視対象に対する注意集中度によって変動することが知られている。
例えば特許文献2では、大小様々なサッケードが発生する環境下において、サッケードサイズや視線移動パターンごとにサッケードを分類して眼球停留関連電位を算出している。そして、算出された眼球停留関連電位の特定成分(例えばラムダ反応に対応する眼球停留関連電位の成分の振幅値)から注意集中度を評価している。
特開平7−108848公報
特開2007−125184公報
特開2005−34620公報
しかしながら、脳波の波形の出方は運転者ごとの個人差に大きく左右されるため、特許文献2に記載の従来技術では、運転に対する注意状態を正確に判定することができない。
図1を参照しながら具体的に説明する。図1(a)〜(c)には、眼球停留関連電位について本願発明者らが実施した実験結果を示す。図1(a)は後頭部で計測された全被験者12名分の各波形を加算平均した波形であり、図1(b)は複数回計測された被験者Aの各波形を加算平均した波形であり、図1(c)は複数回計測された被験者Bの各波形を加算平均した波形である。図1(a)〜(c)の各々のグラフにおいて、横軸は眼球停留の開始時刻を0ミリ秒とした時間(潜時)を示しており、単位はミリ秒である。また、縦軸は電位(EERPの振幅)を示しており、単位はμV、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態(すなわち注意散漫状態)の眼球停留関連電位を示している。
図1(a)のグラフによれば、眼球停留開始時刻を起点として約100ミリ秒付近に出現する正の成分(ラムダ反応)の振幅は、運転集中時に3.4μVと大きく、注意散漫時に1.2μVと小さくなっている。従来の知見通り、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。ラムダ反応の振幅値を用いて運転に対する注意状態を被験者ごとに判定しようとした場合、ある閾値を設定して、ラムダ反応の振幅値がその閾値以上であれば運転集中状態と判定し、閾値より小さければ注意散漫状態と判定することが望ましい。被験者Aでは、図1(b)のグラフから読み取ることにより、0.9μV付近を閾値にすればよい。個人差が生じ得るグラフに基づいて注意状態を判定するための最適な閾値を決定すると、その値は被験者ごとに大きく異なる。よって、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。
このような個人差を調整する方法として、事前に各被験者に対する判定基準の調整を行っておくこと、いわゆるキャリブレーションが考えられる。例えば特許文献3では、複数の選択肢の中から被験者が選択したいと思っている選択肢を、脳波の事象関連電位を用いて識別する脳波インタフェース利用時の個人差を調整する方法が提案されている。この方法では、事前に複数の選択肢の中から被験者が脳波インタフェースを用いて1つの選択肢を選択する作業を、1被験者あたり100回程度行わせている。そして、各作業で得られた脳波データから個人ごとの脳波の特徴をシステムに学習させている。
脳波を用いた運転注意状態の判定においても同様の方法が考えられる。しかしながら、運転する前に煩雑なキャリブレーション作業を必須とするのは、手間がかかり、運転者にとって大きな負担である。更に、事前のキャリブレーション作業のために、注意散漫状態で実際に公道を運転してもらうことは現実的には不可能であるため、十分な量の学習データを事前に取得することは困難である。
本発明は上記課題を解決するためになされたものであって、その目的は、運転者ごとの個人差が大きい脳波を用いて運転注意状態を判定する装置において、事前に明示的なキャリブレーション作業を運転者に行わせることなく、かつ各運転者の注意状態を精度良く判定することにある。
本発明による注意状態判定装置は、操作者の脳波信号を計測する脳波計測部と、前記操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部と、前記操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。
前記判定基準調整部は、さらに、前記時区間において計測された前記脳波信号の周波数のパワースペクトル値に基づいて、前記判定基準を調整してもよい。
前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、前記判定基準である判定閾値とを比較することにより、前記操作者の注意状態を判定してもよい。
前記判定基準調整部は、算出した前記眼球停留関連電位のラムダ反応振幅値が大きくなるに従って前記判定基準である判定閾値を高く設定し、前記ラムダ反応振幅値が小さくなるに従って前記判定閾値を低く設定してもよい。
前記判定基準調整部は、前記時区間において計測された前記脳波信号に含まれるα波のパワースペクトル値が大きくなるに従って前記判定基準を高く設定し、前記時区間において計測された前記脳波信号に含まれるβ波のパワースペクトル値が大きくなるに従って、前記判定基準を低く設定してもよい。
前記注意状態判定装置が、車両の運転操作を行っている操作者の注意状態を判定し、前記操作者に対して注意を喚起するために利用されるときにおいて、前記準備状態検知部は、前記車両のエンジンの始動時、前記車両に設けられたカーナビゲーションシステムの設定操作の開始時、前記車両のブレーキ解除時、前記車両の車速が所定値以下であることを検知した時の少なくとも一つの時刻を開始時刻として、前記時区間を検知してもよい。
前記準備状態検知部は、前記カーナビゲーションシステムの設定操作の完了時、前記車両の車速が所定値以上であることを検知した時、前記開始時刻から所定時間後の少なくとも一つの時刻を終了時刻として、前記時区間を検知してもよい。
前記判定基準調整部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留関連電位の開始時刻として検出してもよい。
前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の50±100ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用してもよい。
本発明による他の注意状態判定装置は、操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部によって計測された前記眼球運動信号を利用して、前記操作者の脳波信号を計測する脳波計測部によって少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。
本発明による注意状態判定方法は、操作者の脳波信号を計測するステップと、前記操作者の眼球運動を示す眼球運動信号を計測するステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを包含する。
本発明によるコンピュータプログラムは、注意状態判定装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、操作者の脳波信号のデータを受け取るステップと、前記操作者の眼球運動を示す眼球運動信号のデータを受け取るステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを実行させる。
本発明によれば、操作者に事前の明示的なキャリブレーション作業を行わせることなく、各操作者の注意状態(たとえば運転に集中している状態か、注意が散漫な状態か)の判定精度を高く維持することができる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。
(a)〜(c)は、眼球停留関連電位について本願発明者らが実施した実験結果を示す図である。
国際10−20法の電極位置を示す図である。
(a)および(b)はラムダ反応振幅値の時間変化を示す図である。
操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す図である。
被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値(L)およびα波、β波、θ波のパワースペクトル値(α、β、θ)を説明変数として線形重回帰分析を行った結果を示す図である。
本実施形態による注意状態判定装置1のブロック構成図である。
ヘッドマウント式脳波計として実現された脳波計測部11の構成例を示す図である。
EOG法によって眼球運動を計測する眼球運動計測部12のハードウェア構成例を示す図である。
第1眼球角度情報のデータ構造の例を示す図である。
角膜反射法によって眼球運動を計測する眼球運動計測部12のハードウェア構成例を示す図である。
判定処理部20のハードウェア構成例を示す図である。
判定基準調整部14の処理の手順を示すフローチャートである。
判定基準調整部14の処理に関連する波形のデータを示す図である。
注意状態判定部15の処理の手順を示すフローチャートである。
判定対象時区間83(a)〜(d)の例を示す図である。
出力部16の具体例を示す図である。
(a)〜(d)は、4つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者12名の平均値を示す図である。
以下、添付の図面を参照しながら、本発明による注意状態判定装置、方法およびプログラムの実施形態を説明する。
本実施形態では、注意状態判定装置は、運転者が車両(自動車)を運転操作する局面において利用されるとする。以下では、まず本願発明者らが行った実験、および、当該実験に基づく結果から本願発明者らが得た知見を説明する。
本願発明者らは、以下に説明する実験により、運転注意状態を判定するための運転者ごとの最適な閾値を、運転操作準備状態における眼球停留関連電位のラムダ反応振幅値、および、脳波の成分のうちのα波、β波、θ波のパワースペクトル値に基づいて推定できることを見出した。
自動車などの車両を運転する例における「運転操作準備状態」とは、走行(運転操作)を開始する前の準備(たとえばエンジン始動、カーナビゲーションシステムの操作、サイドブレーキの解除)を行っている状態、または一般に徐行とされる車速10km/時未満の状態を指す。後述のように、本願発明では特に運転という操作に限定される必要はないため、「操作準備状態」という包括的な語を用いてもよい。なお、「眼球停留関連電位」および「ラムダ反応」は、背景技術の欄において既に説明したとおりである。
以下に本願発明者らが行った実験の詳細を説明する。
被験者は男性7名、女性5名の合計12名で、平均年齢は21.3±1.2歳である。本願発明者らは被験者に2つの課題を並行して実施してもらう二重課題法による実験を行った。
第1の課題は、運転課題である。被験者に対して、ドライビングシミュレータ(三菱プレシジョン製。以降「DS」と省略する。)で約6分の市街地コースを運転する課題を課した。市街地コースの道路の混雑状況は、制限速度内で自由に走行できる程度に設定し、前方車両、対向車両、後続車両、および歩行者を配置した。被験者はカーナビゲーションシステムの画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は被験者自身による画面の目視のみで行い、音声案内によるナビゲーションは行わなかった。
第2の課題は、認知負荷課題である。被験者の注意資源を実験的に運転から逸らすことを目的として、n−Backテストと呼ばれる課題を課した。「n−Backテスト」とは、例えば3秒ごとに1桁の数字が音声で提示され、提示後にn個前(例:0個前、2個前)に提示された数字を発声で回答するという課題である。具体的に説明する。例えば、“3、5、9、1、6、…”という音声提示が3秒ごとにあり、0個前(0−Back)の数字を回答する場合は、被験者は“3、5、9、1、6、…”と提示された数字をそのまま回答することになる。一方、2個前(2−Back)の数字を回答する場合は、被験者は“−(無回答)、−(無回答)、3、5、9、…”にように常に2個前の数字を回答する。nの値が大きいほど、被験者は多くの数値を一時的に記憶および更新しなければならなくなり、被験者の認知負荷は大きくなる。そのため、運転中の考え事や記憶に関連する会話などを実験的に模擬できると考えられる。
続いて実験条件を説明する。本実験では表1に示す2つの条件で運転中の脳波を計測した。第1の条件は運転集中条件である。運転集中条件では、DS操作(運転)と0−Backテストを並行して実施する。0−Backテストはそれほど認知負荷が大きくないため運転に集中できる状態と考えられる。
第2の条件は注意散漫条件である。注意散漫条件では、DS操作(運転)と2−Backテストとを並行して実施する。2−Backテストは認知負荷が大きいため、被験者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。
また、被験者には脳波計(ティアック製、ポリメイトAP−1124)を装着させた。脳波計の電極の配置は以下のとおりである。導出電極を国際10−20法におけるOz(後頭部)に配置し、基準電極をA1およびA2(左右両耳朶の平均)に配置し、接地電極を前額部に配置した。図2は、国際10−20法の電極位置を示す。図2には、導出電極Ozおよび左右両耳朶の基準電極A1およびA2が示されている。
サンプリング周波数200Hz、時定数3秒で計測した脳波データに対して1〜15Hzのバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−300ミリ秒から600ミリ秒の脳波データを切り出し、0ミリ秒の時刻における電位値でベースライン補正を行った。
先に説明した通り、図1(a)〜(c)は、上記の処理を行った後の眼球停留関連電位(EFRP)の加算平均波形を示す。(a)は全被験者12名分の加算平均波形を示し、(b)はある被験者Aの加算平均波形を示し、(c)は別の被験者Bの加算平均波形を示す。図1の各々のグラフにおいて、実線は運転集中条件時、点線は注意散漫条件時の波形を示している。また、横軸は眼球停留の開始時刻を0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。
(a)のグラフにおいて、約100ミリ秒の時刻に出現する正の成分(この成分がラムダ反応である。)は、運転時(すなわち被験者の集中時)のラムダ反応の振幅は3.4μVと大きく、注意散漫時には1.2μVと小さくなっている。このグラフにより、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。
ここで、被験者ごとに運転に対して注意を集中していたか、または、注意が散漫であったかの注意状態を推定することを考える。本実施形態においては、ラムダ反応の振幅値と閾値とを用いて、振幅値が閾値より大きければ運転集中状態であり、それ以下であれば注意散漫状態であると判定(推定)することとする。
ラムダ反応の振幅値から判断すると、(b)の被験者Aに関しては、閾値を0.9μV付近に設定し、それ以上であれば運転集中状態、それより小さければ注意散漫状態であると判定することが望ましい。一方、(c)の被験者Bに関しては、閾値を8.4μV付近に設定して運転集中状態および注意散漫状態を判定することが望ましい。すなわち、注意状態を推定するための最適な閾値は被験者ごとに大きく異なり、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。
図3(a)および(b)はそれぞれ、被験者AおよびBのラムダ反応振幅値の時間変化を示す。横軸は経過時間で、単位は秒である。縦軸は電位で単位はμVであり、上向きに正である。実線は運転集中条件時、点線は注意散漫条件時を示す。
図3(a)および(b)の各グラフの左端に存在する、最初のプロット91〜94は運転操作準備状態のEFRP加算平均波形から算出されたラムダ反応振幅値を示している。「運転操作準備状態」の時間的な幅の一例を挙げると、エンジン始動から所定時間(45秒間)経過後までである。図3(a)に示す被験者Aの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ2.2μV(プロット91)および1.2μV(プロット92)である。図3(b)に示す被験者Bの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ6.9μV(プロット93)と7.8μV(プロット94)である。
一方、各グラフの2番目以降のプロットは、運転操作準備状態後において時間幅TWを180秒、時間シフトTSを30秒としたときの各判定対象時区間に対するEFRP加算平均波形から算出されたラムダ反応振幅値を示している。
図3のプロット91〜94によれば、運転操作準備状態のラムダ反応振幅値は、注意状態の違いによる影響が小さく、一方で被験者Aおよび被験者Bの個人差が大きく反映されている。また、運転操作準備状態後のラムダ反応振幅値は、個人差に加えて、注意状態の影響が反映されていることが分かる。具体的には図3(a)および(b)のグラフにおいて、運転集中時はラムダ反応振幅値が維持または増加傾向にあるのに対して、注意散漫時は減少傾向になっている。
ここで、このような特性を受けて、本願発明者らは以下のような考察を行った。
運転操作準備状態では、細かな確認作業に伴う眼球運動が発生する。例えば、エンジン始動から始まり、カーナビゲーションシステムの操作、サイドブレーキ解除、発車前および徐行期間中での左右確認などに伴う眼球運動が発生する。同時に運転操作準備状態では、それらの確認作業の各々に対して、ある程度一定の注意資源が都度割り当てられていると考えられる。なぜなら、カーナビゲーションシステムに所望の目的地を設定するための操作や、駐車場等の比較的狭い場所から前後左右をぶつけないように注意しながら車両を出すための操作は、その後の運転時の比較的単調な作業と比べて、一定の注意を払わなければ遂行できない一連の作業だからである。さらに、いずれの操作も目視による確認を必要とするため、必然的に眼球運動が発生する作業だと考えられる。
したがって、「運転操作準備状態」とは、単に走行前や徐行期間の時間的範囲を指すだけではなく、上述の一連の作業を実際に遂行している状態と捉えることもできる。そのため、運転操作準備状態におけるラムダ反応振幅値は注意状態(実験条件)の違いによる影響(図3のプロット91および92の差、あるいはプロット93および94の差)が小さく、一方で個人差(図3(a)のプロット91および92と、図3(b)のプロット93および94の差)が大きく反映された結果になったと考えられる。
各運転者に対応する判定基準の調整(いわゆるキャリブレーション)は、通常であれば、実際の運転中の眼球停留関連電位を利用して行うことが好ましいといえる。なぜなら、運転中の運転者の注意状態を判定する必要がある以上、個人差が生じている運転中の時区間の眼球停留関連電位を取得することが当然に適切であると考えられるためである。
しかしながら本願発明者らは、運転者の注意状態のばらつきが少なく一定であり、かつ、眼球停留関連電位に個人差の影響のみが出現しやすいのは運転中よりもむしろ運転を行う前(運転の準備期間中)の運転操作準備状態である、ということを実験によって認識するに至った。この知見によれば、運転操作準備状態の時区間は運転者の眼球停留関連電位を取得するのに適した時間帯であり、各運転者に対する判定基準の調整(いわゆるキャリブレーション)は、その運転操作準備状態における眼球停留関連電位を利用して行うことが好ましいといえる。
この方針によれば、個人差のみが強く反映されている操作準備状態のラムダ反応振幅値を用いれば、被験者ごとの特性を考慮した最適な閾値を算出することができると考えられる。最も簡潔な方法の一例としては、以下のように最適な閾値を算出しても良い。
ここで、Lは操作準備状態のラムダ反応振幅値であり、Thは被験者ごとの最適な判定閾値である。
さらに、上式以外の具体的な算出方法を以下詳しく説明する。
図4は、操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す。横軸は被験者ごとの操作準備状態のラムダ反応振幅値(L)で単位はμV、縦軸は実験結果から得られた被験者ごとの最適な判定閾値(Th)で単位はμVである。ここで「最適な判定閾値」とは、被験者ごとに前述の運転集中条件と注意散漫条件の両方の実験を実施した結果から得られた値である。具体的には、時間幅TW=180秒、時間シフトTS=30秒とした場合の各々のラムダ反応振幅値を、ある閾値に基づいて運転集中または注意散漫のどちらかの注意状態に判別しようとした際に、最も判別率が高くなった閾値を「最適な判定閾値」としている。図1(b)および(c)に示す通り、例えば被験者Aの場合は0.9μVであり、被験者Bの場合は8.4μVである。
図4にプロットされたデータに関して線形回帰分析を行った結果、最適な判定閾値(Th)は下記の式で近似することができる。
上記近似式における相関係数Rは0.96であり、操作準備状態のラムダ反応振幅値と最適な閾値との間には極めて強い相関関係があることが分かった。「相関関数」とは、2つの変数の間の相関(類似性の度合い)を示す統計的指標であり、一般的に絶対値が0.7以上の場合に強い相関があると見なされている。この関係を利用することにより、操作準備状態のラムダ反応振幅値から最適な閾値を推定することが可能となる。
上述のとおり、ラムダ反応振幅値のみによっても閾値を推定することが可能である。ここで本願発明者らは、さらにα波、β波、θ波のパワースペクトル値を利用して閾値を求め、その評価を行った。
図5は、更に被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値(L)およびα波、β波、θ波のパワースペクトル値(α、β、θ)を説明変数として線形重回帰分析を行った結果を示す。縦軸は被験者ごとの最適な閾値(Th)で単位はμVである。横軸は下記の近似式で表される評価値(E)である。評価値(E)と最適な閾値とは、傾きが1で切片が0の線形の関係を有している。
上記近似式における相関係数Rは0.99であり、図4の例と比べて更に強い相関関係が存在することが分かる。
以上の通り、本願発明者らの実験および実験結果から、操作準備状態におけるラムダ反応振幅値のみによって、または、ラムダ反応振幅値に加えて、α波、β波、θ波のパワースペクトル値を用いることによって、被験者ごとの最適な閾値を更に正確に推定できることが分かった。
なお、「運転操作準備状態」とは、車両の操作を、目的地に向けて運転する操作(運転操作)と、その運転操作を開始するまでの準備をする操作とに分けて考えたときの、後者のことをいう。運転操作準備状態の検出は、たとえばエンジン始動などのある時刻を起点とした所定時間内であるか否かで行ってもよいし、および/または、操作準備の内容に応じて変化させてもよい。たとえばシフトレバーの操作やアクセルの踏み込みが検出されたときは、「運転操作準備状態」が終了して「運転操作状態」に遷移したと判断してもよい。
以下、上述の知見に基づいて本願発明者らがなした、本発明にかかる注意状態判定装置の実施形態を説明する。先の説明と同様、自動車などを運転する状況を想定しているが、これは一例である。
図6は、本実施形態による注意状態判定装置1のブロック構成図を示す。注意状態判定装置1は、運転者10の脳波信号、より具体的には脳波信号の一成分である眼球停留関連電位を利用して、運転に対する注意状態を判定する。先に説明したように、運転に対する注意状態とは、運転に対して注意を集中していたか、または、注意が散漫であったかである。そしてその注意状態に応じて、注意状態判定装置1は、操作者へ対して注意喚起を促す支援を行う。注意状態の判定を的確に行うため、注意状態判定装置1では運転者ごとに、判定基準が調整される。この結果、個人ごとに大きく異なる脳波を的確に解析することが可能になる。
注意状態判定装置1は、脳波計測部11と、眼球運動計測部12と、出力部16と、判定処理部20とを備えている。判定処理部20は、準備状態検知部13と、判定基準調整部14と、注意状態判定部15とを有している。なお、運転者10のブロックは説明の便宜のために示されている。
以下では、各構成要素を概略的に説明し、その後順次詳細に説明する。
脳波計測部11は、運転者10の脳波信号を計測する。
眼球運動計測部12は、運転者10の眼球運動を計測し、眼球運動を示す眼球運動信号を出力する。
判定処理部20の準備状態検知部13は、運転操作準備状態の時区間、言い換えると運転操作準備状態が継続している期間を検知する。判定処理部20の判定基準調整部14は、時区間の脳波データおよび眼球運動データから算出した特定成分(後述)の値に基づいて、運転注意状態を判定するための判定基準を調整する。また、判定処理部20の注意状態判定部15は、眼球運動計測部12で計測した眼球運動データを利用して、脳波計測部11で計測した脳波データから眼球停留関連電位を算出し、算出された眼球停留関連電位の特定成分の振幅値と判定基準調整部14で調整した判定基準に基づいて、運転に対する注意状態を判定する。
出力部16は、判定結果に基づき運転者10へ対して注意喚起を促す支援を行う。
以下、各機能ブロックを詳しく説明する。
脳波計測部11は、運転者10の頭部に装着された電極を利用して電位を測定し、その電位変化を計測することによって脳波信号を出力する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。
図7は、ヘッドマウント式脳波計として実現された脳波計測部11の構成例を示す。運転者10の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部11には電極11a〜11eが配置されている。例えば電極11aおよび11cは、国際10−20法による、後頭部の電極位置O1およびO2に接触することを想定している。同様に、電極11bは後頭部の電極位置Oz、電極11dは、耳朶A1、電極11eは前額部に接触する。従来文献(宮田洋ら、新生理心理学1、1998、p262、北大路書房)によれば、認知や注意を反映し、眼球停留開始時刻を起点として約100ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。
但し、後頭部周辺のPz(頭頂中央)でも計測は可能であり、当該位置に接触するよう電極が配置されたヘッドマウント式脳波計を採用しても良い。電極位置は、信号測定の信頼性および装着の容易さ等から決定すればよい。
また、電極は最低2個あればよい。例えば電極位置OzとA1に対応する電極11bと11dのみでも電位計測は可能である。
このような電極配置を採用することにより、脳波計測部11は運転者10の脳波を測定することができる。測定された脳波信号は、コンピュータで処理できるようにサンプリングされ、脳波計測部11内に保持する一次記憶装置(たとえば半導体メモリ)に記憶される。なお、注意状態判定装置1にハードディスクドライブなどの補助記憶装置(図示せず)を設け、その補助記憶装置にサンプリングされた脳波信号を記憶させてもよい。例えば、予め決められた一定時間分のデータは上述の一次記憶装置に一時的に記憶され、かつ随時更新される。あるいは一時的ではなく、上述の補助記憶装置に全て記憶されても良い。
なお、脳波信号に混入する商用電源ノイズの影響を低減するため、脳波計測部11において計測される脳波信号には、予めローパスフィルタ処理を施すことが好ましい。たとえば50Hzまたは60Hzの商用電源を利用するときには、脳波信号に30Hzのローパスフィルタ処理を施せばよい。
運転者10は予め上述のような脳波計を装着しているとする。
眼球運動計測部12は、EOG(Electrooculogram)法に基づいて眼球運動を計測する。「EOG法」とは、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。EOG法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。眼球運動計測部12は、眼球運動を示す信号(眼球運動信号)を出力する。
図8は、EOG法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部12のハードウェア構成例を示す。眼球運動計測部12は、電極(H1、H2およびV1、V2)と、水平方向電位検出器21と、垂直方向電位検出器22と、眼球角度情報メモリ23と、変換器24と、一次メモリ25とを備えている。
水平方向電位検出器21は、運転者10の左右こめかみに装着された電極(H1、H2)における電位差から、眼球の水平方向の動きを表す水平眼球運動信号を検出する。垂直方向電位検出器22は、眼球の上下に装着された電極(V1、V2)における電位差から眼球の垂直方向の動きを表す垂直眼球運動信号を検出する。なお、眼球運動方向を示す信号は、水平および垂直眼球運動信号を合成して得られたベクトル信号を用いても良い。眼球角度情報メモリ23は、水平および垂直眼球運動信号の振幅値と眼球の角度との対応関係を示す情報(第1眼球角度情報)を予め記憶している。変換器24は、当該眼球角度情報に基づいて、各振幅値から眼球の角度を計測する。一次メモリ25は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図8に示した眼球運動計測部12は、脳波計と同様にヘッドマウント式の計測器であっても良い。
図9は、第1眼球角度情報のデータ構造の例を示す。第1眼球角度情報は、水平方向および垂直方向における振幅値(電位)と眼球の角度とが対応付けられて構成されている。例えば、振幅値(電位)が1秒間で水平方向に+50μV、垂直方向に+30μVの変化をした場合、眼球の角度は右方向に5度(degrees)、上方向に5度(degrees)と特定することができる。このときの眼球の角速度は、(52+52)1/2≒7.07度(degrees)/秒と算出することができる。
また、眼球運動計測部12は、EOG法の代わりに角膜反射法に基づいて計測しても良い。
図10は、角膜反射法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部12のハードウェア構成例を示す。「角膜反射法」とは、近赤外線光源(点光源)が近赤外線を眼球に照射し、カメラで眼球の映像を撮影し、撮影した映像を用いて瞳孔および角膜表面における光源の角膜反射像の位置を検出する方法である。
眼球運動計測部12は、近赤外線光源31と、CCDカメラ32と、反射像位置検出器33と、眼球角度情報メモリ34と、変換器35と、一次メモリ36とを備えている。
近赤外線光源31は、近赤外線の点光源であり、近赤外線を眼球37に照射する。CCDカメラ32は、近赤外線が照射された眼球37を撮影する。このとき、被験者はディスプレイ40に表示された画像等を注視している。注視する位置は注視点41として示されている。反射像位置検出器33は、撮影した眼球の映像に基づいて瞳孔38および角膜表面を認識し、更に瞳孔38および角膜表面における光源の反射像(角膜反射像39)の位置を検出する。眼球角度情報メモリ34は、角膜反射像39の位置と眼球37の角度との関係(第2眼球角度情報)を予め記憶している。第2眼球角度情報のデータ構造は、図9に示すデータ構造に類似するためその具体的な例示は省略する。
変換器35は、当該眼球角度情報に基づいて、反射像の位置から眼球の角度を計測する。一次メモリ36は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図10に示した眼球運動計測部12は、脳波計と同様にヘッドマウント式計測器であっても良く、あるいは車両前方(ダッシュボードの上やバックミラーの後ろなど)に設置される据置型の機器であっても良い。
次に、判定処理部20(図6)の具体的な構成を説明する。
図11は、判定処理部20のハードウェア構成例を示す。判定処理部20との関係を示すため、図11には、バス19を介して判定処理部20と接続された脳波計測部11および眼球運動計測部12も併せて記載されている。
判定処理部20は、CPU5aと、RAM5bと、ROM5cと、プログラム5dと、画像処理回路5eと、音声処理回路5fとを有している。
CPU5aは、ROM5cに格納されているコンピュータプログラム5dをRAM5bに読み出し、RAM5b上に展開して実行する。CPU5aは、このコンピュータプログラム5dを実行することにより、図6に関連して説明した準備状態検知部13、判定基準調整部14および注意状態判定部15として機能する。コンピュータプログラム5dはCPU5aが実行する命令の集合である。CPU5aがコンピュータプログラム5dを実行することにより、CPU5aまたはCPU5aから指示を受けた構成要素は後述する図12および図14に規定される処理を行う。なお、ROM5cは書き換え可能なROM(たとえばEEPROM)であってもよい。
判定処理部20は、さらに、画像処理回路5eおよび音声処理回路5fを有している。画像処理回路5eは、CPU5aの指示に従って、後述するヘッドアップディスプレイ(HUD)16a上に表示するための画像のデータを生成する。また音声処理回路5fは、CPU5aの指示に従って、車内のスピーカ16bから出力するための音声のデータを生成する。
上述のコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、判定処理部20は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
次に、判定処理部20のCPU5aがプログラム5dを実行することにより、準備状態検知部13、判定基準調整部14および注意状態判定部15として動作するときのその動作(機能)をそれぞれ説明する。
準備状態検知部13は、運転操作準備状態の時区間を検知する。
当該時区間の開始タイミングの具体例は、エンジン始動時、カーナビゲーションシステムの操作開始時、サイドブレーキ解除時、車速が10km/時未満の状態を検知したタイミングが挙げられる。
そして、当該時区間の終了タイミングとしては、例えば車速が10km/時以上の状態を検知したタイミング、カーナビゲーションシステムへの設定完了時、前記開始タイミングから所定時間後(例えば45秒後)などが挙げられる。
準備状態検知部13は、上記開始タイミングのうちの少なくとも1つを検知し、上記終了タイミングのうちの少なくとも1つを検知する。さらに準備状態検知部13は、運転操作準備状態の時区間である上記開始および終了タイミングをそれぞれ検知すると、その結果を判定基準調整部14へ通知する。
判定基準調整部14は、上記時区間の脳波データおよび眼球運動データから算出した特定成分に基づいて、具体的には判定基準調整部14は、眼球停留関連電位のラムダ反応振幅値と、α波、β波、θ波などのパワースペクトル値とに基づいて、運転注意状態を判定するための判定基準を調整する。ここで、図12および図13を参照しながら、判定基準調整部14の処理の手順を説明する。
図12は判定基準調整部14の処理の手順を示すフローチャートであり、図13は判定基準調整部14の処理に関連する波形のデータを示す。
図12のステップS51では、判定基準調整部14は、運転準備検知部13で検知した運転操作準備状態の開始および終了タイミングを受信する。
ステップS52では、判定基準調整部14は、上記時区間において眼球運動計測部12が計測した眼球運動データを眼球運動計測部12から取得する。図13には、読み出された眼球運動データ61の波形例が示されている。
ステップS53では、上記眼球運動データにおけるサッケードを検出し、検出した各サッケードの終了時刻、すなわち眼球停留開始時刻を抽出または特定する。
従来文献(宮田洋ら、新生理心理学1、1998、p256、北大路書房)によれば、サッケードに要する時間は通常20〜70ミリ秒で、サッケードの速度は視角で表すと300〜500度(degrees)/秒であるとされている。したがって、眼球の運動方向が所定時間(例えば、20〜70ミリ秒)連続して同じであり、かつ当該所定時間の平均角速度が300度(degrees)/秒以上である眼球運動をサッケードとして検出することができる。
サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを1つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算し、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
判定基準調整部14は、検出した各々のサッケード終了時刻を眼球停留開始時刻として抽出する。図13には、抽出した眼球停留開始時刻t1、t2、・・・、t8の例が示されている。
ステップS54では、判定基準調整部14は、ステップS51で受信した運転操作準備状態の時区間に該当する脳波データを脳波計測部11から取得する。図13には、読み出される脳波データ62の波形例が示されている。
ステップS55では、判定基準調整部14は、ステップS54で読み出した脳波データのうち、ステップS53で抽出した各眼球停留開始時刻を起点として、−300ミリ秒から600ミリ秒までの脳波データを切り出す。図13には、眼球停留開始時刻毎に切り出された脳波データ(眼球停留関連電位)64の波形例が示されている。
ステップS56では、判定基準調整部14は、切り出した各脳波データからラムダ反応の振幅値を算出する。以下にその手順を詳しく説明する。
判定基準調整部14は、まず、切り出した各脳波データを眼球停留開始時刻(0ミリ秒)の電位が0μVになるようにベースライン補正を行う。
次に、判定基準調整部14は、切り出した全ての脳波データの加算平均処理を行う。図13の例では眼球停留開始時刻63(t1、t2、…、t8)に示した合計8個の起点に対応する脳波データの加算平均処理を行う。図13には、加算平均処理後の脳波データ(眼球停留関連電位)65の波形例を示す。
最後に、判定基準調整部14は、加算平均後の眼球停留関連電位において、約100ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測する。図13にはラムダ反応振幅66の一例が示されている。
なお、本願明細書においては、眼球停留関連電位の成分を定義するために、眼球停留開始時刻から起算した所定時間経過後の時刻を、たとえば「約100ms」と表現している。これは、100msという特定の時刻を中心とした範囲を包含し得ることを意味している。眼球停留関連電位と同じく脳波信号を構成する成分の一つである事象関連電位に関し、「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)が知られている。本文献の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる、とされている。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、100ms±50ms)に存在し得ることを意味している。眼球停留関連電位にも、個人毎の差異(ずれ)が事象関連電位と同程度存在し得ると考えられる。そこで本願明細書では、眼球停留関連電位に関しても、「約100ミリ秒付近」は、例えば50ミリ秒から150ミリ秒の期間を意味するものとする。
なお、眼球停留関連電位の研究では一般的に、脳波データの加算平均を求めてから解析が行われる。これにより、眼球停留に関係しないランダムな脳の活動電位は相殺され、一定の潜時と極性を持つ成分が検出できる。但し、本発明における判定基準調整部14は、前述の加算平均処理に限定されるものではなく、例えば非加算脳波(1個の脳波データ)からラムダ反応振幅値を計測してもよい。
ステップS57では、判定基準調整部14は、ステップS54で読み出した脳波データの各周波数帯域に対するパワースペクトル値を算出する。
一般に、脳波の8Hz以上13Hz未満の周波数成分はα波、13Hz以上の周波数成分はβ波、4Hz以上8Hz未満の周波数成分はθ波と呼ばれる。したがって、判定基準調整部14は、まず時系列の脳波データからフーリエ変換によって周波数成分データを求め、周波数成分データとその複素共役との積によって脳波データのパワースペクトルを算出する。さらに算出したパワースペクトルにおいて前述したそれぞれの周波数成分を算出することによって、α波、β波、θ波のそれぞれのパワースペクトル値を求める。
ステップS58では、ステップS56およびステップS57で算出したラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、運転注意状態を判定するための判定基準を調整する。より具体的には、判定基準調整部14は運転者ごとの最適な閾値を算出する。
上述の数1、数2および数3によれば、推定すべき閾値(Th)は、運転操作準備状態のラムダ反応振幅値(L)と正の相関になっていることが分かる。すなわち、判定基準調整部14は、運転操作準備状態のラムダ反応振幅値(L)が大きくなるに従って閾値(Th)を高く設定し、運転操作準備状態のラムダ反応振幅値(L)が小さくなるに従って閾値(Th)を低く設定すれば良い。
本実施形態ではラムダ反応振幅値およびパワースペクトル値を利用する例を説明したが、上述の数2および数3に関連して説明したように、ラムダ反応振幅値のみで閾値を設定することも可能である。
パワースペクトル値を利用する場合には、判定基準調整部14は、運転操作準備状態のα波のパワースペクトル値が大きくなるに従って閾値(Th)を高く設定し、運転操作準備状態のβ波のパワースペクトル値が大きくなるに従って閾値(Th)を低く設定すれば良い。
本願発明者らは、以下のようにパワースペクトル値を用いることの利点を見出した。
一般に、精神活動を行っているときの脳波にはβ波が現れ、ぼんやりした状態ではα波が現れるとされている。よって、α波が大きくβ波が小さいとき、すなわち、ぼんやりした状態のときは、上述の数3によると閾値(Th)は大きくなる。
後述する注意状態判定部15は、運転中のラムダ反応振幅値が閾値(Th)より小さい場合に“低”注意状態であると判定する。そのため、閾値(Th)が大きく調整されることによって、注意散漫な状態を取りこぼさずに検出できるようになると考えられる。
一方、α波が小さくβ波が大きいとき、すなわち、精神活動を行っているときは、数3によると閾値(Th)は小さくなる。その結果、運転に集中している状態を“低”注意状態であると誤って判定する可能性が減少できるようになると考えられる。
算出された閾値は、注意状態判定部15にて時々刻々と変化する運転に対する注意状態を、その時々のラムダ反応振幅値を用いて判定する際に用いられる。
ステップS59では、判定基準調整部14は、ステップS58で調整した判定基準の調整結果を注意状態判定部15へ通知する。
上述のステップS53では、抽出した各眼球停留開始時刻を起点として、−300ミリ秒から600ミリ秒までの脳波データを切り出すとして説明した。しかしながら、切り出す脳波データの時間幅は一例である。たとえば眼球停留開始時刻を起点として0〜200ミリ秒までの脳波データを切り出してもよい。または、ラムダ反応が取得できればよいとの観点からすると、たとえば眼球停留開始時刻を起点として100ミリ秒付近の最も大きい値を加算平均してもよい。
次に、注意状態判定部15の処理を説明する。
注意状態判定部15は、脳波計測部11および眼球運動計測部12で計測した脳波データおよび眼球運動データから眼球停留関連電位を算出し、算出された眼球停留関連電位のラムダ反応振幅値と判定基準調整部14で調整した判定基準に基づいて、運転に対する注意状態を判定する。以下、図14および図15を参照しながら、注意状態判定部15の処理の手順を説明する。
図14は注意状態判定部15の処理の手順を示すフローチャートである。
図14のステップS71では、注意状態判定部15は、判定基準調整部14で調整された判定基準、より具体的には運転者ごとの最適な閾値、を取得する。
ステップS72では、注意状態判定部15は、運転注意状態を判定する時区間を決定する。注意状態判定部15は予め判定対象時区間の時間幅TW(秒)および時間シフトTS(秒)のデータを保持している。時間幅TWはどれぐらいの区間に含まれる眼球停留関連電位を使うかを決め、時間シフトTSは何秒おきに注意状態を算出するかを決定するパラメータである。例えば時間幅TW=20秒、時間シフトTS=5秒のように設定しておく。
但し、上述の設定値は一例である。時間幅は解析精度が保てる範囲で短く設定すればよいし、時間シフト量は想定用途に応じて決められる。例えば、運転に対する注意状態が低いと判定された際にできるだけ速く運転者に警告を与える等の即時的な反応が求められる場合には、時間幅TW=20秒/10秒/5秒、時間シフトTS=5秒となるように短く設定すればよい。一方、即時的な反応ではなく、運転終了後に運転者の注意状態を検証する際に正確な状態評価が求められる場合には、時間幅TW=2分や3分となるように比較的長く設定すればよい。
図15は、判定対象時区間83(a)〜(d)の例を示す。判定対象時区間は現在時刻Taから過去TW(秒)遡った範囲とし、更にTS(秒)後に再度このステップS72が実行される場合には現在時刻Tb(=Ta+TS)から過去TW(秒)遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。
ステップS73からステップS77までの処理は、図12および図13を用いて説明したステップS52からステップS56と同じであるため、具体的な説明は省略する。
ステップS78では、注意状態判定部15は、ステップS77で算出したラムダ反応振幅値(L)とステップS71で受信した運転者ごとの閾値に基づいて、運転に対する運転者の注意状態を判定する。
例えば運転者の注意状態が高/低のいずれに該当するかを判別する場合は、閾値Thに対して、L<Thであれば“低”注意状態(すなわち注意散漫状態)、Th≦Lであれば“高”注意状態(すなわち運転集中状態)と判別する。また、運転者の注意状態が高/中/低のいずれに該当するかを判別する場合は、2つの閾値Th1、Th2(Th1<Th2)を判定基準調整部14から受信し、L<Th1であれば“低”注意状態、Th1≦L<Th2であれば“中”注意状態、Th2≦Lであれば“高”注意状態と判別する。
ステップS79では、注意状態判定部15は、ステップS78で判定した結果を出力部16へ送信する。
また、注意状態判定部15は、上述した一連の処理を時間シフトTS(秒)ごとに繰り返し実施される。
出力部16は、注意状態判定部15で判定された結果を画像や音声によって提示する。注意状態判定部15によって“低”注意状態であると判定されたときは、出力部16は、運転者の注意を喚起するための作用を運転者に対して及ぼす。言い換えると、出力部16からの作用により、運転者は状態変化を促す支援を受けることができる。
出力部16の運転者への出力方法としては、音声による運転者への呼びかけ、動作音や警告音の提示、またはカーナビゲーションシステムやヘッドアップディスプレイ(HUD)上へのテキストや画像の提示が挙げられる。
図16は、出力部16の構成例を示す。自動車のヘッドアップディスプレイ16aには、運転者の注意を喚起するための画像17が点滅している。また、車内のスピーカ16bからは、運転者への呼びかけのための音声が出力される。運転者への注意喚起は、画像および音声の両方を同時に利用してもよいし、画像または音声のいずれか一方のみでもよい。
そのほかにも、注意を向けて欲しい対象物に重ね合わせて画像を表示するAR(Augmented Reality)技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等の、運転者の知覚へ作用する種々の方法を採用することが可能である。
注意状態判定装置1の各構成要素が上述した動作を行うことにより、注意状態判定装置1は、図12および図14に示す処理を実行する。これにより、各操作者は事前の明示的なキャリブレーション作業を行わなくても、注意状態判定装置1は各操作者の注意状態(たとえば運転に集中している状態か、注意が散漫な状態か)を高い精度で判定することが可能になる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。
さらに、本実施形態によって得られる利点を、運転注意状態の判別率の試算結果に基づいて具体的に説明する。
判別率の試算は前述の実験結果を利用した。ここで「判別率」とは運転集中状態か注意散漫状態かの2状態の判別率を表す。時間幅TW=180秒、時間シフトTS=30秒とした場合に、運転集中条件(0−Backテスト時)のラムダ反応振幅値から正しく運転集中と判別できた確率、および注意散漫条件(2−Backテスト時)のラムダ反応振幅値から正しく注意散漫と判別できた確率の平均値を上記判別率としている。
図17(a)〜(d)は、4つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者12名の平均値を示す。4つの条件とは、判別率の計算を、4つの異なる値を用いて行うことを意味している。すなわち、(a)全被験者共通の閾値、(b)本発明による、運転操作準備状態のラムダ反応振幅値から被験者ごとに求めた最適な閾値(推定値)、(c)本発明による、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波の平均パワースペクトル値から被験者ごとに求めた最適な閾値(推定値)、および、(d)運転集中および注意散漫の両実験結果(事前の明示的なキャリブレーション作業に相当)から得られた被験者ごとの最適な閾値である。条件(a)の全被験者共通の閾値は、図1(a)に示す全被験者の加算平均波形における各条件のラムダ反応振幅の平均値とした。条件(d)は、事前に明示的なキャリブレーション作業を運転者に行わせた条件を意味している。
図17に示す通り、(a)の全被験者共通の閾値を用いた場合の判別率が最も低く(69.2%)、(d)の事前の明示的なキャリブレーション作業によって得られた被験者ごとの最適な閾値を用いた場合の判別率が最も高くなっている(92.2%)。一方、(b)および(c)の本発明を用いた場合の判別率はそれぞれ82.7%と87.6%であり、事前のキャリブレーション作業をしていないにも関わらず、(d)の場合に近い精度で判別できていることが分かる。
図17に示す結果によれば、本実施形態の構成によれば運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持できるといえる。
本実施形態にかかる構成および処理の手順によれば、運転者の注意状態を判定する注意状態判定装置において、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、各運転者の注意状態を判定するための最適な閾値を算出する。これにより、運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持することができ、当該判別結果に基づいて、運転者に適切に注意喚起等の状態変化を促す支援を行うことができる。
本実施形態による注意状態判定装置は、複数の構成要素が一体的に構成されていることを想定して説明した。しかしながら、たとえば判定処理部20の一部または全部の機能が、脳波計測部11、眼球運動計測部12および出力部16と別の位置に設けられてもよい。たとえば判定処理部20が、脳波計測部11等と無線ネットワークで接続された遠隔地のコンピュータによって実現されてもよい。このときは、判定処理部20自体が注意状態判定装置として機能することになる。脳波計測部11、眼球運動計測部12および出力部16は、それぞれ注意状態判定装置とは別体の脳波計、図8に示すような眼球運動計測装置、および、図16に示すようなスピーカ、ヘッドアップディスプレイとして実現される。
なお、本明細書においては、注意状態判定装置1は出力部16を含むとして説明した。しかしながら、出力部16を設けることは必須ではない。たとえば出力部を省略して判定結果を出力させず、注意状態判定部15に内部メモリ(図示せず)に格納してもよい。または、注意状態の判定結果や判定閾値を蓄積する記録装置(たとえばハードディスクドライブ)を注意状態判定装置1内部に設けてもよい。
本実施形態による注意状態判定装置は、ラムダ反応の振幅値が閾値以上の場合には運転集中状態であると判定し、閾値より小さい場合には注意散漫状態であると判定するとした。しかしながら、ラムダ反応の振幅値と閾値とが等しい場合には、注意散漫状態であると判定してもよい。
なお、本実施形態による注意状態判定装置は、自動車運転中の注意状態の判定に利用されるとして説明した。しかしながら、このような利用態様は一例であり、自動車の運転に限られることはない。注意状態判定装置は、操作者が機器等の操作を行う種々の局面で利用され得る。たとえば、管制塔やプラント設備、道路監視などの監視システムにおけるオペレータの注意状態判定にも適用することが可能である。例えば、オペレータが監視作業を行う前の準備状態を、オペレータが監視ルームに入室したタイミングまたは監視システムにログインしたタイミングから所定時間後までと定義することによって、オペレータの注意状態を精度良く判定し、適切な監視業務を行うことができる。
本発明では、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラック、タクシー、バスの運転者や、車ではない電車、飛行機、船舶の操縦者、工場等のプラントの監視者など、運転や操作等の本来業務にどれくらい注意が配分されているかを推定する必要がある場合に適用可能である。
1 注意状態判定装置
11 脳波計測部
12 眼球運動計測部
13 準備状態検知部
14 判定基準調整部
15 注意状態判定部
16 出力部
20 判定処理部