JP2009073465A

JP2009073465A - 安全運転支援システム

Info

Publication number: JP2009073465A
Application number: JP2008007228A
Authority: JP
Inventors: Shunsuke Tezuka; 俊介手塚
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2007-08-28
Filing date: 2008-01-16
Publication date: 2009-04-09

Abstract

【課題】ドライバの運転操作と外部環境との関連性を随時学習し、ドライバの普段の内部状態からの逸脱を認識して安全な運転を支援する。
【解決手段】車外環境認識部２で認識した走行環境のリスクと、操作特徴量量子化部３で量子化した運転操作データの特徴量との対応関係をモデル学習部４で学習し、モデルパラメータを取得する。状態推定部５は、学習済みのモデルパラメータを用いて操作特徴量と走行環境リスクレベルとの関連性からドライバの内部状態を推定する。そして、警報・支援部６で、ドライバの内部状態と走行環境リスクレベルとを比較し、車両が本質的に安全か危険な状態にあるかを評価して警報や操作支援等を行う。
【選択図】図１

Description

本発明は、移動体を運転するドライバの状態を推定して安全運転のための支援を行う安全運転支援システムに関する。

近年、自動車等の移動体の安全な移動を可能とすることを目的として、運転中のドライバの状態を監視して覚醒度の低下や居眠りを検知し、安全を確保する技術が開発されている。ドライバ状態の推定は、主として、生体状態を計測して行うものと、運転操作データから推定するものとがあり、これらの技術に関して従来から各種提案がなされている。

生体状態の計測によるドライバ状態の推定に関する技術としては、特許文献１〜５に開示の技術がある。特許文献１の技術は、ドライバの顔面に取り付けた電極や眼球を撮影するカメラ等を用いて眼球運動を計測することでドライバの状態を推定するものであり、特許文献２の技術は、ドライバの瞼の開度を元に覚醒度を推定するものである。

また、特許文献３や特許文献４の技術は、ドライバの心拍信号を計測することでドライバの状態の推定を行うものであり、特許文献５の技術は、脳内電流信号を検知するものである。

一方、運転操作データによるドライバ状態の推定に関する技術としては、特許文献６，７に開示の技術がある。特許文献６の技術は、ドライバの運転操作データを予め決められた条件で判別し、車両制御特性の変更に反映させるものであり、特許文献７の技術は、車両状態データからのファジー推論によってドライバの意図や心理状態の推定を行うものである。
特開２００３−２３０５５２号公報特開２００４−８９２７２号公報特許第３５９６１９８号公報特開平７−１００２４号公報特表２００６−５２４１５７号公報特許第３０５８９６６号公報特許第３０３６１８３号公報

前述したように、自動車の安全な運転を実現するためには、ドライバの状態を推定する技術を用いて警報や制御特性の変更・操作補助などを行うことが有効であり、これまでに各種提案がなされている。

しかしながら、文献１〜５に開示されているような、ドライバ状態推定のために生体計測を行う技術では、一般的に、ノイズや個人差の大きい測定量を扱わなくてはならず，自動車の使用される環境、使用する人間の多様性に対応しきれないという問題がある。

すなわち、特許文献１では、眼球運動の計測のため顔面に電極を配置する例を挙げているが、実際の自動車運転時にドライバに身体的拘束を伴う測定装置を装着しなければならないことは、煩わしいばかりでなく現実性に欠ける。

特許文献２では、ドライバの目を撮影するカメラからの情報を基にデータを計測しているが、車両に付加的な装置を付けるコストや、ドライバの姿勢の変化や西日等の外部環境からの光の影響によって撮影が正常に行えない虞がある。

特許文献３ではシートならびにステアリングに設置した電極その他の装置、また特許文献４では心理状態検出手段とされるだけの記載であるが、共に心拍を計測する例が挙げられている。しかし、これらの技術も、心電という比較的ノイズに攪乱されやすいデータを計測していることや、車両に付加的な装置が必要であること、さらに各個人によって差異のある心拍の特徴をもって判定を行わなくてはならない点等、自動車の実環境で使用されることを鑑みるに問題があると言わざるを得ない。

特許文献５では、ＭＲＩ等の装置を車載することによる非侵襲での計測が説明されているが、文献内で述べられている装置は、直接的或いは間接的にドライバの姿勢その他の条件を拘束するものであり、そのコスト等も含めて、同様に現時点での工業的応用は現実的ではないと言わざるを得ない。

また、特許文献１〜５に共通する事項として、事前のキャリブレーションがあるにせよ、一般的な人間に共通と思われる兆候をもって覚醒度や疲労度を測ろうとしており、各個人の違いや外部環境との関連性については積極的に扱わず、むしろ個人的差異を前処理で平滑化させることに注力しているものも見受けられる。このような手法では、ある程度の効果は見込めるものの、その先のより高い精度でドライバ状態を推定する場合には、個人差や外部環境を積極的に扱う仕組みを持たないために。その性能に一定の限界がある。

一方、ドライバ状態推定のために操作あるいは車両データを用いる特許文献６，７では、ドライバの操作が予め決められた条件を満たす場合に、その意図に対応すると思われる予め決められた方向へ車両特性を変化させている。この方法では、一般的な人間に共通と考えられる操作の特徴をもって車両特性を変えているため、真の意味でドライバ一人ひとりの個性に合わせた状態推定がなされるわけでなく、人によっては誤った状態に推定されてしまう虞がある。

以上のように、従来の技術は、ノイズや付加コストについて考慮すべき課題があるばかりでなく、ドライバ状態の推定に関して画一的指標・条件による能力不足があり、自動車の安全な運転を実現するためには不十分である。

本発明は上記事情に鑑みてなされたもので、ドライバの運転操作と外部環境との関連性を随時学習し、ドライバの普段の内部状態からの逸脱を認識して安全な運転を支援することのできる安全運転支援システムを提供することを目的としている。

上記目的を達成するため、本発明による安全運転支援システムは、移動体を運転するドライバの状態を推定して安全運転のための支援を行う安全運転支援システムであって、上記移動体の外部環境をセンシングして外部環境に含まれる走行環境リスクを認識する環境リスク認識部と、上記走行環境リスクとドライバの運転操作との対応を学習し、学習モデルを構築するモデル学習部と、上記学習モデルに基づいて、走行中のドライバの運転操作の反映としての車両挙動データを含む運転操作データからドライバのリスク認識状態を内部状態として推定する内部状態推定部と、上記走行環境リスクと上記内部状態とを比較し、上記移動体の安全運転に係る支援情報を取得する運転支援部とを備えることを特徴とする。

本発明によれば、ドライバの運転操作と車外環境との関連性を運転中に随時学習することができ、ドライバの普段の内部状態からの逸脱を認識して安全な運転を支援することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜図８は本発明の実施の第１形態に係り、図１は安全運転支援システムの基本構成図、図２は安全運転支援システムの学習フェーズ及び推定フェーズを示す説明図、図３は操作特徴量と自己組織化マップのネットワークを示す説明図、図４は確率的状態遷移を示す説明図、図５は学習後の状態遷移確率を示すグラフ、図６は学習後の出力確率を示すグラフ、図７はオンライン状態推定とオフライン状態推定のアルゴリズムを示す説明図、図８は推定試験結果を示す説明図である。

本発明による安全運転支援システムは、自動車等の移動体を運転する際に、外部環境に含まれるリスクとドライバが意識しているリスクとを比較してドライバの普段の内部状態からの逸脱を認識し、不必要な介入をすることなく適切な運転支援を可能とするものであり、「システムとドライバの不協和」を解消しつつ、自動車を運転する際の安全性を向上することができる。

以下、本実施の形態においては、自動車の走行支援について説明する。本実施の形態の安全運転支援システムは、ドライバの状態を推定するための主たるデータとして、ドライバの運転操作の反映としての車両挙動データを含めてハンドル・アクセル・ブレーキ等の操作データを用い、また、ドライバ状態推定の指標として、画一的な条件を用いることなく、ドライバの普段の運転における「車両周囲環境と操作との関連性」を確率的規範モデルとして用いている。この規範モデルは、継続的に車両を運転することによって逐次更新し、個人個人に合わせて状態推定精度を向上させていく。

具体的には、図１に示すように、本実施の形態における安全運転支援システム１は、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成され、カメラやレーダー等のセンシングデバイスによる外界情報から車両周囲の外部環境に含まれるリスク（走行環境リスク）を認識する車外環境認識部２、ドライバの運転操作データの特徴量を量子化する操作特徴量量子化部３、運転操作（操作特徴量）と認識環境（リスクレベル）との対応をモデル学習するモデル学習部４、学習されたモデルと現在の操作データ・車外環境との関連性からドライバ状態を推定する状態推定部５、推定されたドライバ状態に応じて車両を安全に運転するための支援情報を取得し、警報や操作支援などを行う警報・支援部６を備えて構成されている。本実施の形態においては、外部環境のセンシングデバイスとして車載カメラを用いている。

この安全運転支援システム１のシステム動作は、便宜上、図２に示すように、ドライバの内部状態のモデルを学習する「学習フェーズ」と、得られたモデルを元にドライバの内部状態を推定する「推定フェーズ」とに分けられる。

学習フェーズでは、車両前方を車載カメラで撮像し、学習によって走行環境のリスクレベルを認識すると、この走行環境リスクレベルと、ドライバの運転操作データの特徴量を量子化した操作特徴量データとの対応関係を学習し、学習済みパラメータを取得して学習モデルを構築する。

また、推定フェーズでは、学習済みのモデルパラメータを用いて操作特徴量と走行環境リスクレベルとの関連性を獲得し、現在のドライバの内部状態を推定する。推定されたドライバの現在の内部状態は、現在の走行環境リスクレベルと比較され、車両が本質的に安全か危険な状態にあるかが評価される。

この学習フェーズと推定フェーズとは、実際には互いに分離して進行するものではなく、双方が同時に進行する。それにより、ドライバが走行する環境の変化やドライバ自身の特性変化に適応する機能を実現することができ、車両のユーザに対して、走行すればするほど高性能になっていくシステムを提供することができる。また、学習フェーズにおけるモデルパラメータの取得は、走行中のオンライン学習によって全てを取得することも可能であるが、一部、シミュレータ等を用いたオフライン学習を併用することにより、学習速度の向上と認識精度の向上とを期待することができる。

次に、安全運転支援システム１の各部の機能について説明する。車外環境認識部２は、車載カメラから得られる画像の特徴量と、そのときのリスクレベルとの関連性を学習することにより、車外環境の状態を単一のスカラ値（若しくはベクトル）へ縮退変換し、モデル学習部４へ伝達する。

画像特徴量からのリスクレベルの認識は、例えば、本出願人による特願２００７−７７６２５号において提案されたオンラインリスク学習システムの技術を採用することができる。この技術は、特願２００７−７７６２５号に詳述されているように、アクセルの急激な戻し操作やブレーキ踏込みといったイベントにより、Ｎ次元ベクトルの画像特徴量（エッジ情報、動き情報、色情報等）を１次元の状態に変換し、この状態と車両情報（ドライバの操作情報）から作成された教師情報との相関関係から環境に含まれるリスクを学習・認識するものである。

尚、本実施の形態では、画像特徴量から抽出したリスクレベルを用いる例について説明するが、リスクレベルとしては、これに限定されるものではなく、例えば、車間距離等からリスクレベルを抽出するようにしても良い。

操作特徴量量子化部３は、センサからのデータ或いは車内ネットワーク（図示せず）を介して取得したアクセル・ブレーキ・ステアリング等のドライバの操作データを、その測定頻度の特徴に応じて量子化し、モデル学習部４へ伝達する。すなわち、運転操作データは、そのままでは情報量が非常に多く、リスクとの関連を学習するには扱いが困難である。このため、観測されるデータの分布（出現傾向）を考慮して適切に量子化を行うことで、データに含まれる情報量が失われることを防止しつつ、特徴を学習するための統計的処理を可能とする。

観測データの量子化は、閾値を用いたデータ分割やデータ縮退によって行うことができ、本実施の形態では、自己組織化マップ（SOM;Self-Organizing Maps）を用いて運転操作データを量子化する。ＳＯＭは、生物の大脳皮質のうち視覚野等をモデル化したニューラルネットワークの一種であり、Ｍ次元に並べられたユニットが、それぞれベクトル値（通常入力との結線の重みと呼ばれる）を持ち、入力に対して勝者ユニットをベクトルの距離を基準として決定する。

そして、勝者ユニット及びその周辺のユニットの参照ベクトル値を、入力ベクトルに近づくように更新してゆく。これを繰り返すことで、全体が入力データの分布を最適に表現できるように競合学習し、この競合学習に基づいて入力情報の次元を圧縮すると共に、データの特徴に応じてクラスタリングや可視化を行うことができる。

尚、本実施の形態では、Ｓ０Ｍを用いた教師無し競合学習により入力データを縮退する例について説明するが、教師有り競合学習であるベクトル量子化（LVQ;Learning Vector Quantization）モデルを用いることも可能である。

以下に、ＳＯＭパラメータの例を示す。採用した特徴量は、舵角速度、アクセル開度・ブレーキ圧・アクセル開度変化量・ブレーキ圧変化量・車両速度である。但し、舵角速度については絶対値を用い、また、アクセル開度とブレーキ圧は、それぞれ正規化し、-100（ブレーキ圧最大）から+100（アクセル全開）までの無次元量としている。アクセル並びにブレーキの変化量も、この正規化値の変化量として表している。結果として入力特徴量の次元は４とし、これをＳＯＭによって１次元に圧縮し、ユニット数２５６に量子化している。

［ＳＯＭパラメータ］
ＳＯＭ次元数１
ユニット数２５６
入力特徴量ＡＤＳＴＲ（舵角速度絶対値）
ＰＥＤＡＬ（アクセル・ブレーキ操作正規化量）
ＤＰＥＤＡＬ（ＰＥＤＡＬ値変化量）
ＳＰＥＥＤ（車両速度）

図３は、ＳＯＭで学習されたデータを示しており（但し、入力４次元のうち３次元のみ）、市街地を走行したデータ（５時間走行相当）をＳＯＭで学習したものである。雲のようにプロットされているのが測定データで、ひも状に配置されているのが１次元ＳＯＭのネットワークである。図３から測定データの密度と分布に応じて学習が行なわれ、適宜、ユニットが配置されていることが分かる。測定されたデータは、最近傍のＳＯＭのユニットで近似されることで、量子化されると共に、ユニット番号で表される１次元のデータに縮退される。

尚、このＳＯＭのユニット配置は、計測される運転データを学習することで決まり、個人による差や、同一人物でも時間の推移による運転特徴の変化に適応していくことが期待できる。

モデル学習部４は、操作特徴量とリスクレベルとの関連性を学習によって獲得し、ドライバの内部状態を推定するための確率的計算を可能とする。人間の行動は、図４（ａ）に示すように、安心、緊張、不安、焦り、怒りといった心的状態と、その遷移に応じて変化し、必ずしも確定的ではなく、確率的な行動として表現することができる。同様に、ドライバの運転行動は、図４（ｂ）に示すように、先行車への追従、追越、駐車、車線変更、合流といったシーンと、その遷移に対して、確率的な操作出力となって現れる。

従って、モデル学習部４では、人間行動の確率的振る舞いを表すための規範モデルとして、確率的状態遷移モデルの一種である隠れマルコフモデル（HMM;Hidden Markov Model）を用いてドライバの内部状態をモデル化する。ＨＭＭは、対象の内部状態（ステート）が確率的な条件分岐によって遷移することと、遷移したステートによって異なる確率で外部に信号が出力されることを想定したモデルである。

ＨＭＭを用いたモデルでは、ドライバが意識しているリスクレベルを推定するタスクにおいては、図４（ｃ）に示すように、現在意識しているリスクレベルがＨＭＭのステートに相当し、そのときに観測される運転操作データが外部に出力される信号に相当する。図４（ｃ）においては、リスクレベルを５段階として各ステートに１〜５の番号を付与した場合を例示しており、番号１は、ドライバが外部環境のリスクが最も低いと認識している状態、番号５は、ドライバが外部環境のリスクが最も高いと認識している状態を示している。尚、実際に扱うリスクレベルは、０，１，…，９の１０段階である。

このように、運転操作データを離散化してデータの出現傾向を求め、ドライバの内部状態を確率的モデルとして近似することで、実際の運転における操作データのように、外部環境から確定的に導出することのできない情報の扱いを適切に行うことが可能となる。但し、推定時に観測される操作データがどのステートから出力されたのかを推定するためには、状態遷移確率と操作出力確率の２つの確率計算を行う必要がある。

このため、モデル学習部４では、先ず車外環境認識部２から伝達されたスカラ値を基に、統計的手法によって状態遷移確率を学習し、次に、操作特徴量量子化部３からのデータを基に、ステート毎の操作特徴量の観測確率分布（操作出力確率）を学習する。例えば、舵角・アクセル開度・ブレーキ圧力、さらに、操作の反映である速度・ヨーレート・加速度等をそれぞれ適宜離散化し、各離散値毎の観測回数をカウントして統計的に確率を計算する。

以下、ＨＭＭを用いた状態遷移確率及び操作出力確率の計算処理について説明する。

［ＨＭＭの仕様例］
駆動周波数３Ｈｚ
ステート数１０
出力信号ＳＯＭユニット番号（０〜２５５）
ネットワーク構造全ステート相互接続型

［状態遷移確率の計算］
一般に、自動車の運転を想定する場合、車を運転する度に故意ではないにも拘わらず必ず事故を起こしてしまうドライバが存在するとは考えにくい。言い換えれば、巨視的にはドライバは適宜走行環境のリスクレベルに対応した運転操作を行っていると見なすことができる。このような前提の元に、ある程度長い時間範囲のデータを集めて統計的に処理した場合、ＨＭＭにおけるドライバの内部状態の遷移は、走行環境のリスクレベルの遷移に依存していると仮定することができる。

従って、遷移確率の計算は、以下の（１）〜（５）の手順に従って実施し、学習時のリスクレベルの遷移確率を求めることで、ドライバ内部状態の遷移確率を算出する。
（１）状態遷移モデルの駆動周波数を定義（例えば、３Ｈｚ）
（２）内部状態のステート数を定義（例えば、１０ステート）
（３）リスクレベルをステート数分に離散化
（４）各ステート間の遷移回数をカウント
（５）各ステート間の統計的な遷移確率を計算

尚、単純な例では、ステート遷移の時間ステップを一定値に固定し、ドライバの内部状態は環境状態の遷移に同期して遷移するとすれば、計算が簡便になる。或いは、特定のスカラ値範囲に停留する時間長に応じてステートを別途定義することも可能である。

図５に、市街地での計測データから学習で獲得したＨＭＭの状態遷移確率のグラフを示す。ステート番号は大きいほど高いリスクレベルであることを示している。このグラフから３ＨｚとしたＨＭＭ駆動周波数の枠組みでは、自己遷移（同じ番号のステートにとどまる遷移）と、上下１ステート分の遷移確率が大きいこと、高リスクステートでは急激にリスクレベルが下がる遷移確率も比較的大きいこと等が見て取れる。これは、一般的に、中低程度のリスクは連続的に上下することや、高いリスク要因は車両の通過と共に急激に解消すること等に相当し、一般的な運転状況の感覚との乖離は無いものと判断することができる。

［出力信号確率の計算］
あるステートに遷移した状態における、操作データ特徴の出力確率の学習には、前述したＳＯＭを用いる。計測された操作データをＳＯＭユニット番号に次元圧縮並びに量子化し、各ユニット番号が観測される回数をカウントすることで、統計的な出力信号確率を算出する。ステート毎に得られる各ユニットの出力確率が異なることで、リスクレベルによって操作傾向が変わることをモデル化することができ、図６に示すようなステート別の出力確率を得ることができる。

以上の状態遷移確率と出力確率が学習によって獲得されると、次に、状態推定部５では、両者の情報を用いて、現在観測されている操作データがどのステートから出力されているとするのが最も尤もらしいかを推定（最尤推定）する。そして、計測された操作データの時系列データからドライバの内部状態の遷移系列を計算し、得られたステート遷移系列に沿ってドライバの内部状態が遷移していると推定する。

遷移系列を計算する際の最も尤もらしい系列とは、発生する確率が最大となる系列を特定することに相当し、「最尤系列推定」と呼ばれる手法を用いて遷移系列を計算する。ここでは、ＨＭＭに対する最尤系列推定手法の一つであるビタビ・アルゴリズム（Viterbi algorithm）を用いた例について説明する。

ビタビ・アルゴリズムは、状態遷移確率と出力信号確率を元に、時系列観測データの先頭から、順次、各時間ステップにおいてそれぞれのステートに存在する最大確率を計算する手法である。このアルゴリズムは、動的計画法に類似した計算手法を用いるために計算量が少ないという特徴を持っている。

ビタビ・アルゴリズムでは、観測データの最後まで計算を行った結果、最終ステップでの最大確率を持つステートを、そのステップでの推定内部状態として確定する。次に、そこから１ステップずつ過去にさかのぼるバックトラックという操作を行い、最大の状態遷移確率を持つステートを確定していく。最終的には，すべての時間ステップにおいて存在する確率が最も高いステートを特定することで、最尤系列を推定する。尚、確率計算の始めのステップでは、ＨＭＭの状態遷移確率から求められる事前確率を、各ステートへの存在確率として用いる。

詳細には、以下の（１）〜（４）のステップに従って逐次計算を行うことで、最尤系列を推定する。但し、π：事前確率、δ：状態存在確率、φ：バックトラック、ａ：状態遷移確率、ｂ：出力信号確率、Ｐ：推定確率、ｑ：推定状態系列、ｏ：零ベクトルとし、各変数の添字1は、初期値であることを示す。

（１）各状態ｉ＝１，…，Ｎに対して、変数の初期化を行う。
δ₁(i)＝π₁ｂ₁(ｏ₁)
φ₁(i)＝０

（２）各時刻ｔ＝１，…,Ｔ−１、各状態ｊ＝１，…，Ｎについて、以下の再帰計算を実行する。
δ_t+1(j)＝ｍａｘ_i［δ_t(i)ａ_ij］ｂ_j(ｏ_t+1)
φ_t+1(j)＝ａｒｇｍａｘ_i［δ_t(i)ａ_ij］

（３）再帰計算の終了
Ｐ＝ｍａｘ_iδ_T(i)
ｑ_T＝ａｒｇｍａｘ_iδ_T(i)

（４）バックトラックによる最適状態遷移系列の復元（Ｔ＝Ｔ−１，…，１に対して以下を実行）
ｑ_T＝φ_t+1(ｑ_t+1)

以上の計算では、ビタビ・アルゴリズムはバックトラックを用いる特性上、時間的に後の事象を確定してから過去方向にステートを確定させることになり、そのままではオンラインでのリアルタイム状態推定に適用することには難がある。そこで、オンライン状態推定を行う場合には、全ての時間ステップをビタビ・アルゴリズムにおける最終ステップとして扱い、各ステップにおける最大存在確率を持つステートを推定ステートとして出力する。

例えば、図７（ａ）に示すように、オンライン状態推定では、時刻ｔ＝０における状態推定を、これまでの学習結果から決定される事前確率を用いて行い、時刻ｔ＝０で事前確率×出力確率が最大となるステートを出力し、以降の時間ステップでは、遷移確率×出力確率が最大となるステートを遷移系列として出力する。すなわち、各時間ステップにおいては、各ステートは、図７（ａ）に太線で示すような遷移の確率が高いが、これらの確率のうち、最大確率を持つステートを、オンライン状態推定での遷移ステートとする。その結果、図７（ａ）に示すオンライン状態推定では、最大存在確率を持つステート１，１，３，２，４が状態遷移系列として出力される。

このオンライン状態推定に対して、オフライン状態推定では、時刻ｔ４からトラックバックすると、時刻ｔ４で最大存在確率を持つステート４は、図７（ａ）に太線で示すように、１ステップ前の時刻ｔ３のステップ３からの遷移であり、時刻ｔ３のステップ３は、時刻ｔ２のステート２からの遷移、時刻ｔ２のステート２は時刻ｔ１のステート１からの遷移、時刻ｔ２のステート２は時刻ｔ１のステート１からの遷移であることが分かる。従って、オフライン状態推定では、図７（ｂ）に示すように、オンライン状態推定で求めた系列のうち、時刻ｔ２，ｔ３のステートがトラックバックにより変更され、１→１→２→３→４の最尤系列が推定状態として出力される。

［ドライバの意識しているリスクレベルの出力］
推定されたステート番号は、各ステートに対応して、離散化されたリスクレベルに変換すると共に一次ローパスフィルタ（例えば、カットオフ周波数０．３Ｈｚ）でフィルタリングされた後、状態推定部５から警報・支援部６に出力される。この出力値がドライバの意識しているリスクレベルに相当し、ドライバが対処するリスクレベルと見做せるものであり、出力値と走行環境リスクレベル値とを比較することにより、車両が本質的に安全或いは危険な状態にあるかを評価することが可能となる。

すなわち、警報・支援部６での比較結果、状態推定部５で推定されたステートが車外環境認識部２から現在得られているスカラ値の属するステートと同じであれば、ドライバは環境を正常に認識した上で正常な操作を行っていると判定される。一方、状態推定部５で推定されたステートが、車外環境認識部２から現在得られているスカラ値の属するステートと異なる場合には、ドライバの状態が環境の要求するレベルと食い違っていると判定される。

例えば、推定されるステートのリスクレベルの方が車外環境認識部２から得られるリスクレベルより低い場合には、ドライバの危険認識度が低く、安全性が損なわれる可能性が高いとして、警報・支援部６から警報・支援を行う。逆に、推定されるステートのリスクレベルの方が車外環境認識部２から得られるリスクレベルより高い場合にも、ドライバが過度に緊張状態にあることが推定され、同様に安全性が損なわれる可能性が高いとして警報を行う。

図８に状態推定の走行試験で計測されたデータの一部を示す。Ｓ１通り（片側一車線）からＡ，Ｂ，Ｃの記号で示す間の狭路（センターライン無し）を通ってＳ２通り（片側一車線）に至り、更に、記号Ｄで示す位置からＳ３通り（片側一車線）までを走行したときの環境リスクレベル及び内部状態リスクレベルの変化が操作特徴量の変化と共に示されている。

図８に示す試験結果では、操作特徴量とリスクレベルとの関係から、ドライバは正常な覚醒度と緊張感を保って運転しており、交差点や狭い路といったリスクレベルの高い状況に対応している様子が、推定された内部状態すなわちドライバが意識しているリスクレベルが高くなっていることから確認できる。特に、グラフ中に示した記号Ａ，Ｂ，Ｃ，Ｄの時点は、特徴的な高リスクイベントであり、主として交差点と狭路である。そのほかのリスクレベルが高くなっている時点は、主として歩行者や自転車・対向車等と遭遇した部分であり、この部分でも、同様の推定結果が得られていることが分かる。

以上のように、本実施の形態における安全運転支援システムは、車両に搭載されているアクセル開度・ブレーキ圧・舵角等のデータを入力として、走行環境のリスクレベルとの対応関係を確率的状態遷移モデルで近似してドライバの運転操作の特徴を学習し、走行環境のリスクレベルとドライバの内部状態との対応関係を評価する。このシステムは、外部環境のリスクレベルだけで警報や操作アシストその他の介入の要否を判断するのではなく、ドライバが外部環境を正しく把握しているか否かを評価指標とするものであり、これにより、安全システムの介入の要否を走行環境の危険度のみで判断するために起こる不必要な介入による違和感・煩わしさを解消し、必要なときに適切な支援を提供することができ、個々のドライバに適応した高度な安全システムを構築することが可能となる。

しかも、本システムでは、状態推定のための主たるデータとして運転操作データを用いるため、各種車両制御用に既に取り付けられているハンドルやアクセル・ブレーキの操作を観測するセンサを流用することができ、生体計測装置のように追加コストの必要が無くなる。これらのセンサは、ノイズに対して比較的頑強であることで、状態推定を安定して行なうことができ、さらには、ドライバの通常の運転操作を妨げたり姿勢を拘束することが無いため、状態推定に悪影響を与える不必要な干渉を排除することができる。

また、本システムでは、車外環境と運転操作との対応関係を規範モデルとしているため、予め条件やテンプレートを決める必要が無くなり、学習によってモデルを更新することで、ドライバ毎の個人差や、ドライバ毎の走行環境の差に対応することができ、走行を重ねることで状態推定精度を向上させていくことができる。

この場合、規範となる学習モデルを確率的状態遷移モデルとして、バラツキのある操作データを統計的に処理することで、ノイズや外乱に大きく影響されることが無く、環境とドライバとの本質的な関連性を学習することができる。また、学習時に確率的状態遷移モデルのステート遷移を、外部環境から認識されるリスクレベルの遷移と対応させることで、推定された内部状態がどのリスクレベルに対応するのかを推定することができる。

すなわち、推定された内部状態の対応するリスクレベルが認識された外部環境のリスクレベルより低いときには、たとえ外部環境のリスクレベルが高い場合でなくとも、ドライバが安全に運転できる状態に無いとして、警報・操作支援を行うことができる。一方、推定された内部状態の対応するリスクレベルが認識された外部環境のリスクレベルと同じかより高いときには、たとえ外部環境のリスクレベルが高いとしても、ドライバはその環境に対応できる状態にあると推定できるので、無駄な警報や不必要な操作支援を抑制することができる。

さらに、学習後のモデルパラメータを用いて、ドライバの内部状態の推移を表す状態遷移系列を最尤系列推定手法によって求めることで、走行しながらオンラインでドライバが意識しているリスクレベルを推定することができ、時々刻々と変化する走行環境にリアルタイムに対処することのできる高度なシステムを構築することが可能となる。

次に、本発明の実施の第２形態について説明する。図９〜図１２は本発明の実施の第２形態に係り、図９は安全運転支援システムの構成図、図１０は勝者ユニット距離による信頼度の相違を示す説明図、図１１はユニット距離比合計の説明図、図１２は信頼度指標の計算例を示すグラフである。

第２形態は、状態推定部５におけるドライバの内部状態の推定結果に対する信頼度を評価し、不確かな推定出力を抑止するものである。推定の信頼度は、状態遷移モデルにおけるステート存在確率の分布状態等を調べることで評価可能であるが、前述の第１形態では、状態遷移モデルから推定値を算出するアルゴリズムとしてビタビアルゴリズムを採用しており、直接的には、ステート存在確率から信頼度を評価することは困難である。

前述したように、ビタビアルゴリズムは、学習された確率的状態遷移モデルと観測される操作データとを元に、それぞれのステート（状態）に最も高い確率で遷移したと計算される状態遷移経路をステップ毎に求めるものであり、通常、オフラインで使用することを前提としてバックトラックによる最尤系列推定を行っている。

しかしながら、ビタビアルゴリズムをオンラインで使用する場合には、バックトラックを行うことは困難であるため、毎ステップを全て最終ステップと見なし、再帰計算後の推定状態系列を出力として状態推定を行っている。すなわち、ビタビアルゴリズムをオンラインで使用する場合には、ステップ毎に最大の確率を持つ状態遷移のみに着目し、それ以外の遷移を切捨てる操作を行っており、これにより、全ての演算を加算と最大値抽出のみで行うことができ、演算コストを低く抑えることができるという大きな利点がある反面、ステート存在確率から信頼度を直接的に評価することは困難となる。

このため、第２形態においては、推定結果の信頼度を、状態推定のアルゴリズムに依存することなく評価できるようにしている。具体的には、第１形態に対して、図９に示すように、状態推定部５における状態推定の信頼度を、操作特徴量量子化部３で量子化されたデータの信頼性の観点から評価する信頼度評価部１０を追加的に設け、信頼性の低い推定結果の後段への出力を抑止する状態推定システム１Ａを形成している。尚、この信頼度評価部１０は、操作特徴量量子化部３の一部として構成するようにしても良い。

操作特徴量量子化部３は、入力される操作データの分布をＳＯＭを用いて学習し、その分布形状に沿ってユニットを配置することで、データの圧縮・量子化を行っており、多様な運転操作の組合せを、内部状態推定を行う上で扱いやすいレベルまで圧縮する役割を担っている。ＳＯＭによる量子化は、観測された操作データ入力と最も近いＳＯＭのユニットで操作データを代表させることで行われ、このとき、代表となるユニットが「勝者ユニット」である。

従って、勝者ユニットと入力操作データまでの特徴量空間内での距離を「勝者ユニット距離」と定義し、この勝者ユニット距離を、状態推定部５における推定結果の信頼度を評価する指標の一つとして用いる。勝者ユニット距離は、入力データを量子化した際の量子化誤差に相当し、距離が小さい場合は誤差が小さく、距離が大きい場合は誤差が大きいといえる。誤差が大きい出力を後段の状態推定部５に入力した場合、必然的にその推定結果の信頼性は、誤差の小さい入力の場合と比較して低いということができる。従って、この勝者ユニット距離は、信頼性評価指標の一つとして用いることが可能である。

例えば、同じユニットが勝者であるが勝者ユニット距離が異なる場合について考えると、図１０（ａ）に示すように、入力データから勝者ユニットまでの距離ｄが小さい場合は、学習時の近似・圧縮が良好に行われており、量子化の誤差は小さいといえる。一方、図１０（ｂ）に示すように、入力データから勝者ユニットまでの距離ｄが大きい場合には、学習時の操作データの分布とは異なったデータが入力され、量子化誤差が大きいことを意味している。従って、このような状態でのドライバ内部状態推定の信頼性は低いと考えることができる。

また、この「勝者ユニット距離」を信頼度評価指標として用いる他、「勝者ユニット距離と他のユニットとの距離の比」の合計を、信頼度評価指標として用いることもできる。このため、図１１に示すように、入力データから勝者ユニットまでの距離をｄw、それ以外のユニットまでの距離をｄiとし、次のように、ユニット距離比ｄi／ｄwの総和で指標Ｓを定義する。
Ｓ＝Σ(ｄi／ｄw)
但し、Σ：ｉ＝１〜Ｎ−１の総和
Ｎ：ユニットの総数

図１１（ａ）に示すように、特徴量空間中で入力を適切に量子化するユニットがある場合、指標Ｓは大きな値をとり、図１１（ｂ）に示すように、ＳＯＭのユニット分布と離れた空間に入力が観測された場合は、指標Ｓは小さな値となる。従って、指標Ｓの値が大きい場合は信頼度が高く、小さい場合には信頼度が低いと見なすことができる。

この指標Ｓを用いる手法は、勝者ユニット距離を直接用いる手法と比較して、ＳＯＭユニット全体の特徴量空間での配置を考慮しているため、ＳＯＭのユニットから距離の遠い入力の他、距離は小さくとも多数のユニットとの距離がほぼ同等で、量子化が不安定である場合等も検出することできる。つまり、量子化の安定性評価の面から、後段の状態推定部５での推定結果の信頼性を算定することが可能となる。

図１２に状態推定に対する信頼度指標の計算例を示す。図１２においては、外部環境のリスクレベルとドライバが認識していると推定されるドライバ認識リスクレベルと共に、その推定の信頼性指標として、ＳＯＭ勝者ユニット距離が示されており、ＳＯＭ勝者ユニット距離が小さく、信頼度が比較的高いときには、隣接ステート合計確率が大きく、逆に、ＳＯＭ勝者ユニット距離が大きく、信頼度が比較的低いときには、隣接ステート合計確率が小さいことがわかる。

ドライバの内部状態すなわちドライバが認識しているリスクレベルは、走行環境リスクレベル値と比較することにより、車両が本質的に安全或いは危険な状態にあるかを評価することが可能となる。すなわち、警報・支援部６において走行環境リスクレベル値との比較結果、車外環境認識部２から現在得られているスカラ値の属するステートに近ければ、ドライバは環境を正常に認識した上で正常な操作を行っていると判定される。一方、状態推定部５からのステートが車外環境認識部２から現在得られているスカラ値の属するステートと離れている場合には、ドライバの内部状態が環境の要求するレベルと食い違っていると判定される。

このように、第２形態においては、ドライバの内部状態の推定結果の信頼性を評価することができるため、信頼度が低下した場合には推定結果を破棄するなどの対応が可能となり、よりドライバに対して的確な安全運転支援を提供することが可能になる。更には、信頼度によって警報や支援の質を変えることも可能になり、ドライバからの過信や誤解を防ぐことも可能になる。

本発明の実施の第１形態に係り、安全運転支援システムの基本構成図同上、安全運転支援システムの学習フェーズ及び推定フェーズを示す説明図同上、操作特徴量と自己組織化マップのネットワークを示す説明図同上、確率的状態遷移を示す説明図同上、学習後の状態遷移確率を示すグラフ同上、学習後の出力確率を示すグラフ同上、オンライン状態推定とオフライン状態推定のアルゴリズムを示す説明図同上、推定試験結果を示す説明図本発明の実施の第２形態に係り、安全運転支援システムの構成図同上、勝者ユニット距離による信頼度の相違を示す説明図同上、ユニット距離比合計の説明図同上、信頼度指標の計算例を示すグラフ

符号の説明

１安全運転支援システム
２車外環境認識部
３操作特徴量量子化部
４モデル学習部
５状態推定部
６警報・支援部
１０信頼度評価部

Claims

移動体を運転するドライバの状態を推定して安全運転のための支援を行う安全運転支援システムであって、
上記移動体の外部環境をセンシングして外部環境に含まれる走行環境リスクを認識する環境リスク認識部と、
上記走行環境リスクとドライバの運転操作との対応を学習し、学習モデルを構築するモデル学習部と、
上記学習モデルに基づいて、走行中のドライバの運転操作の反映としての車両挙動データを含む運転操作データからドライバのリスク認識状態を内部状態として推定する内部状態推定部と、
上記走行環境リスクと上記内部状態とを比較し、上記移動体の安全運転に係る支援情報を取得する運転支援部と
を備えることを特徴とする安全運転支援システム。
上記学習モデルとして確率的状態遷移モデルを用い、上記ドライバの内部状態を学習的に獲得することを特徴とする請求項１記載の安全運転支援システム。
上記走行環境リスクを、走行環境の特徴量を用いて認識することを特徴とする請求項１又は２記載の安全運転支援システム。
上記運転操作データの最尤状態遷移系列を求め、求めた最尤状態遷移系列をドライバの状態遷移系列と見做して上記ドライバの内部状態を推定することを特徴とする請求項２記載の安全運転支援システム。
上記運転操作データを離散化してデータの出現傾向を求め、上記確率的状態遷移モデルを学習することを特徴とする請求項２記載の安全運転支援システム。
上記確率的状態遷移モデルの遷移確率を、上記走行環境リスクのデータを用いて学習することを特徴とする請求項２記載の安全運転支援システム。
上記確率的状態遷移モデルを学習する際に、上記走行環境リスクのレベルを離散化し、各離散値に対応した状態を定義することを特徴とする請求項２記載の安全運転支援システム。
上記確率的状態遷移モデルを学習する際に、上記走行環境リスクの特定のレベルに停留する時間に応じて状態を定義することを特徴とする請求項２記載の安全運転支援システム。
上記ドライバの内部状態の推定時に、上記確率的状態遷移モデルの状態に対応するリスクレベルをドライバが対処するリスクレベルであると見做し、上記走行環境リスクとの比較を行なうことを特徴とする請求項２記載の安全運転支援システム。
上記ドライバが対処するリスクレベルをローパスフィルタでフィルタリングした後に、上記走行環境リスクとの比較を行なうことを特徴とする請求項９記載の安全運転支援システム。
上記学習モデルの少なくとも一部を、車両走行中に記録されたデータに基づいてオフライン処理で構築することを特徴とする請求項１記載の安全運転支援システム。
上記学習モデルの少なくとも一部を、車両走行中に逐次オンライン処理で構築することを特徴とする請求項１記載の安全運転支援システム。
上記確率的状態遷移モデルとして、隠れマルコフモデルを用いることを特徴とする請求項２記載の安全運転支援システム。
上記運転操作データを、閾値による分割又は競合学習によるデータ縮退で離散化することを特徴とする請求項５記載の安全運転支援システム。
上記競合学習の少なくとも一部を、走行しながら逐次行なうことを特徴とする請求項１４記載の安全運転支援システム。
更に、上記内部状態の推定の信頼度を評価する信頼度評価部を備えたことを特徴とする請求項１記載の安全運転支援システム。
上記信頼度の評価結果に基づいて、上記支援情報に基づく運転支援を適応的に変化させることを特徴とする請求項１６記載の安全運転支援システム。
上記信頼度を、上記運転操作データの量子化誤差に相当する指標を用いて評価することを特徴とする請求項１６記載の安全運転支援システム。
上記信頼度を、上記運転操作データの量子化の安定性に相当する指標を用いて評価することを特徴とする請求項１６記載の安全運転支援システム。
上記運転操作データを自己組織化マップを用いて量子化し、上記量子化誤差に相当する指標として、入力データの勝者ユニットまでの距離を用いることを特徴とする請求項１８記載の安全運転支援システム。
上記運転操作データを自己組織化マップを用いて量子化し、上記量子化の安定性に相当する指標として、入力データの勝者ユニットまでの距離と他のユニットまでの距離との比の総和を用いることを特徴とする請求項１９記載の安全運転支援システム。