JP4277081B2 - 運転支援装置 - Google Patents

Description

本発明は、運転者の運転操作を支援する運転支援装置に関する。

近年、様々な運転支援装置が開発され利用されつつある。例えば、特許文献１に記載の運転支援装置は、運転者の視線等から運転行動の危険度を演算するものである。
特許文献１に記載の具体的な運転支援装置の一つは、運転行動危険度演算部が、操舵角センサで検出された操舵角に基づいて自車の進行方向を判断する。そしてさらに、視線フィルタで分類された運転者の視線行動を用い、現在から所定時間前までにおいて、どの程度の頻度で自車の進行方向を見たかを考慮して運転行動危険度を演算する。例えば、進行方向を所定の閾値時間以上見たり進行方向を所定の閾値回数以上見たときは、運転行動危険度は低くなる。一方、進行方向を所定の閾値時間以上見ていなかったり進行方向を所定の閾値回数以上見ていなかったときは、運転行動危険度は高くなる。

また、特許文献１に記載の他の具体的な運転支援装置の一つは、運転行動危険度演算部が、車外撮像画像から得られた運転者が認識すべき対象物に対し、運転者の視線があるか否かを判断し、様々なパラーメータを加えて運転行動危険度を演算する。例えば、自転車が自車両に向かって進んでいる場合において、運転者の視線がその自転車にあれば運転行動危険度は低くなり、運転者の視線がその自転車になければ運転行動危険度は高くなる。
特開２００３−９９８９９号公報

ところで、上述した前者の運転支援装置は、運転者が車両の進行方向を見ていたか否かについて今現在の視線状態だけでなく過去の視行動も考慮して運転行動危険度を判定しているが、上述した後者の運転支援装置は、対象物に対して過去の視行動を考慮せずに運転行動危険度を判定している。一般的に、人の視覚的記憶は一定時間維持されるため、運転行動危険度を判定する瞬間にその対象物を見ていなくとも、直前にその対象物を見て認識しているのであれば危険ではない場合も多い。逆に、運転支援装置の指示に従ってその対象物を見続けることによる二次的な危険を生じるおそれもある。

本発明は、このような問題を解決するためになされたものであり、運転者が視認すべき対象物を見る必要があるか否かを、現在の運転者の視行動だけでなく過去の視行動も用いて判断し、適切な運転支援を行う運転支援装置を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載の運転支援装置は、視線分布検知手段と、理想視線確率分布算出手段と、危険判定手段と、出力手段とを備える。視線分布検知手段は、運転者の視線分布を検知し、理想視線確率分布算出手段は、自車両及び自車両の周囲の情報と、過去の運転者の視線分布とから運転者の理想視線確率分布を算出する。そして、危険判定手段は、視線分布検知手段が検知した視線分布と、理想視線確率分布算出手段が算出した理想視線確率分布とを比較し、両分布の間に一定以上の差が生じた場合に危険であると判定し、出力手段が危険判定手段の判定結果を出力する。なお、ここで言う視線分布というのは、ある一定間隔毎に運転者の視線の位置を求め、一定時間内の視線位置を全てプロットしたものを意味する。また、理想視線確率分布というのは、安全運転を行うために必要な運転者の理想的な視線の位置についての確率分布である。

このように、運転者の実際の視線分布と運転者の理想視線確率分布とを算出して比較するようになっていれば、次のような効果が得られる。例えば、道路に落下物がある場合その落下物を避けるため運転者がその落下物を見て認識する必要があるが、それにもかかわらず運転者がその落下物を見ない場合、危険であるとして運転者にその旨を報知することができる。他にも、進行方向の先に急カーブがあるにもかかわらずその急カーブの箇所を運転者が見ない場合、危険であるとして運転者にその旨を報知することができる。また、理想視線確率分布算出手段は過去の運転者の視線分布を考慮して運転者の理想視線確率分布を算出するため、判定手段は、運転者が落下物や急カーブの箇所を一度視認すれば、その後一定時間はその落下物や急カーブの箇所を見続けなくても危険であると判定しない。したがって、運転者が運転支援装置の指示に従って特定の対象物を見続けることによる二次的な危険を生じるおそれを低減することができる。

また、理想視線確率分布算出手段は、撮影手段と、視野画像蓄積手段と、第１の視線確率分布算出手段と、第２の視線確率分算出手段と、加算手段とを備えるようになっているとよい。具体的には、撮影手段が車両の前方の画像情報を得、視野画像蓄積手段が、視線分布検知手段が検知した視線分布の情報を用い、撮影手段によって得られた画像情報の中から運転者の視野に相当する画像情報を蓄積する。また、第１の視線確率分布算出手段が、視野画像蓄積手段が蓄積した画像情報から道路形状を求め、その道路をトレースするためのステアリング操作に必要な運転者の視線確率分布を算出し、第２の視線確率分算出手段が、視野画像蓄積手段が蓄積した画像情報の視覚的特徴量から、運転者が自然と見てしまうと予想される視線確率分布を算出する。そして、加算手段が、第１の視線確率分布算出手段及び第２の視線確率分布算出手段の各出力を加算し理想視線確率分布を出力する。

なお、求める道路形状というのは道路の幅、道路の曲がり具合等であり、これらは、道路の端に引かれた白線や、中央分離帯や、中央線等から求める。そして、この求めた道路の幅や曲がり具合から、ステアリング操作を行うために道路のどの部分に視線を移動させれば良いかを示す視線確率分布を算出する。道路の曲がり具合と視線移動との関係については、例えば小池等がモデルを提案しており、この提案されたモデルを適用することにより、ステアリング操作に必要な視線確率分布を求めることが可能となる（小池、銅谷：マルチステップ状態予測を用いた強化学習によるドライバモデル、電子通信学会論文誌D-II
、Vol.84-D-II、No.2,pp.370-379,2001）。

ところで、視野画像蓄積手段は特に、請求項２に記載のようになっているとよい。つまり、視線の場所毎に、画像情報が更新されてから経過した時間を保持するようになっているとよい。そして、第１の視線確率分布算出手段が、視野画像蓄積手段の保持する時間を用い、視野画像蓄積手段の画像情報が古い視線の場所ほど大きな値が得られるよう視線確率分布を算出するようになっているとよい。

このようになっていると、運転者の視覚記憶の薄れを考慮した理想視線確率分布を算出することができる。そもそも、長い時間、視線を移動させなかった場所ほど実際の前方の様子と異なっている可能性が高いため、このようになっていれば、実際の前方の様子と異なっている可能性が高い場所に対して、運転者に高い視線移動の要求を発することができる。

また、第１の視線確率分布算出手段は、視野画像蓄積手段の蓄積した画像情報を用いるようになっていてもよいが、請求項３に記載のように、撮影手段によって得られた車両の前方の画像情報全てを用い、ステアリング操作に必要な運転者の視線確率分布を算出するようになっていてもよい。

このようになっていると、より正確に運転者の行うべきステアリング操作に必要な視線確率分布を算出することができる。
また、第１の視線確率分布算出手段は、撮影手段から得られる画像情報だけでは車両周辺の環境等により、正確な道路形状を算出することが難しい場合も考えられる。このため、請求項４に記載のように、第１の視線確率分布算出手段は、さらに地図情報を取得することができ、当該地図情報も利用して運転者の行うべきステアリング操作に必要な視線確率分布を算出するようになっていてもよい。この地図情報の取得元としては、例えばナビゲーション装置が考えられる。また、地図情報の具体的な内容として、道路の幅や、曲がり具合や、車線数や、中央分離帯の有無等である。

このようになっていれば、より正確な道路の幅等を得ることができ、その結果、より正確な視線確率分布を算出することができる。
また、第２の視線確率分布算出手段が視線確率分布を算出する際に用いる視覚的特徴量というのは、請求項５に記載のように、画像情報から得られる輝度、彩度、エッジの強さ又はオプティカルフロー、の少なくとも一つであるとよい。つまり、第２の視線確率分布算出手段は、対象物の視覚的特徴（例えば明るさ）から運転者が自然と見てしまう位置の確率分布を求めるようになっているとよい。具体的な視線確率分布の算出方法としては、S.Park等が考えた、視覚的特徴としてエッジ、輝度、色差などを取り上げ、計算によって視覚入力に基づく視線移動を推定することにより視線確率分布を求める方法が考えられる（S.Park,S.Ban,J Shin,Minho Lee : Implementation of Visual Attention System Using Bottom-up Saliency Map Model, Artificial Neural Networks and Neural Information Processing - ICANN/ICONIP 2003,p,678-685,2003/11/20）。

ところで、危険判定手段及び出力手段については、請求項６に記載のように、危険判定手段は、前記判定を所定の領域毎に行い、視線分布と理想視線確率分布との間に一定以上の差が生じた領域を不注意領域として算出し、出力手段は、危険判定手段が算出した不注意領域を識別するための情報を出力するようになっているとよい。

このようになっていれば、運転者は出力された情報に基づいて不注意領域に視線を移せば、危険状態を回避することができる。
なお、出力手段の具体的な構成としては、請求項７に記載のように、マーカーを表示可能なウィンドウシールドディスプレイを備えるように構成し、運転者の視点を基準としてマーカーの先に危険判定手段が算出した不注意領域に対応する場所があるようにマーカーを表示するようになっているとよい。マーカーの具体例としては、例えば当該不注意領域を囲うものや、当該不注意領域を透過可能に塗りつぶしたものや、当該不注意領域の位置を示す矢印等が考えられる。

このようになっていれば、運転者がそのマーカーを見さえすれば、運転者の視線が見るべき視線の位置に合致するため、運転者は直感的に見るべき対象物を認識することができる。

また、さらに、請求項８に記載のように、出力手段は、マーカーを表示するに際し、危険判定手段が算出した、視線分布と理想視線確率分布との間の差に応じてマーカーの視覚的特徴を変えてウィンドウシールドディスプレイにマーカーを表示するようになっているとよい。ここで言う「視覚的特徴」というのは、輝度、彩度、形状、動き（例えば点滅）等を意味する。

このようになっていれば、そのマーカーの先にある対象物の重要度を運転者は瞬時に知ることができる。また、マーカーが複数あるような場合、最も見るべき対象物を運転者は瞬時に知ることができる。

出力手段の他の構成としては、請求項９に記載のように、出力手段は、スピーカーを備え、運転者に対して不注意領域の存在方向から警告音が聞こえるようにスピーカーに警告音を出力させるようになっているとよい。

人は無意識に音のする方向を向く習性があるため、このようになっていても運転者に見るべき視線の位置を認識させることができる。
また、さらに、請求項１０に記載のように、出力手段は、警告音を出力するに際し、危険判定手段が算出した、視線分布と理想視線確率分布との間の差に応じて警告音の聴覚的特徴を変えてスピーカーに警告音を出力させるようになっているとよい。ここで言う「聴覚的特徴」というのは、音程、音量、長さ、これらの複合的な変化等を意味する。

このようになっていれば、運転者はその警告音がした先にある対象物の重要度を聴覚だけで把握することができる。
また、警告音の代わりに、請求項１１に記載のように、出力手段は、スピーカーを備え、不注意領域の場所を運転者に認識させるための音声をスピーカーに出力させるようになっていてもよい。具体的な音声案内としては例えば、「前方左方の信号機を確認して下さい」といったものや、「前方の右カーブの外側を確認して下さい」といったものが考えられる。

このようになっていても運転者は視線を移すべき対象物を認識することができる。

以下、本発明が適用された実施例について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

図１は、本実施例の運転支援装置１１の概略構成を示すブロック図である。運転支援装置１１は、運転者用カメラ１３と前方カメラ１５とウィンドウシールドディスプレイ１７とスピーカー１９と操作部２１と制御部２３とから構成される。

運転者用カメラ１３は、運転者の視線を検出するために運転者の顔部を撮影するカメラであり、暗闇でも撮影可能なよう、例えば赤外光を投射してその反射光を撮影するものであるとよい。

前方カメラ１５は、車両の前端（例えばバンパー部）又は車室内の前方（例えばバックミラー裏）に設置されたカメラであり、車両の進行方向のうち運転者の視野に相当する範囲を撮影するカメラである。

ウィンドウシールドディスプレイ１７は、車両のフロントウィンドウに各種情報を表示するためのものであり、フロントウィンドウに対して光を投射することにより運転者に情報を伝達させるタイプのものや、フロントウィンドウに内蔵又は貼り付けられた発光体が発光することにより運転者に情報を伝達させるタイプのものがある。

スピーカー１９は、各種の案内音声や、警告音等を出力するものである。
操作部２１は、運転者からの各種指示を入力するためのものであり、メカニカルなキースイッチや、図示しない液晶ディスプレイの表示面と一体に構成されたタッチパネ等である。

制御部２３は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びそれらを結ぶバス等から構成され、運転者用カメラ１３，前方カメラ１５，操作部２１からの信号を入力して各種処理を実行し、その実行結果に応じてウィンドウシールドディスプレイ１７，スピーカー１９を制御するものである。

次に、制御部２３について図２の機能ブロック図を用い、より詳細に説明する。図２に示すように、制御部２３は主に、理想視線確率分布算出手段３１と視線分布検知手段４１と危険判定手段４３と出力制御部４５とを備える。

視線分布検知手段４１は、運転者用カメラ１３からの映像信号を入力して運転者の視線の分布を検知し、その検知結果を危険判定手段４３と理想視線確率分布算出手段３１とに出力する。

理想視線確率分布算出手段３１は、前方カメラ１５と視線分布検知手段４１とからの信号を入力し、理想視線確率分布を算出して危険判定手段４３に出力する。
危険判定手段４３は、視線分布検知手段４１と理想視線確率分布算出手段３１とからの信号を入力し、危険判定を行ってその判定結果を出力制御部４５に出力する。

出力制御部４５は、危険判定手段４３からの信号を入力し、ウィンドウシールドディスプレイ１７及びスピーカー１９を制御するための信号を算出して送信し、ウィンドウシールドディスプレイ１７及びスピーカー１９の動作を制御する。

次に、視線分布検知手段４１、理想視線確率分布算出手段３１、危険判定手段４３、出力制御部４５について、それぞれをさらに詳細に説明する。
１．視線分布検知手段４１、
視線分布検知手段４１は、運転者用カメラ１３から入力された画像に対し、パターンマッチング等の処理を行い運転者の目の位置を割り出す。そして、割り出した目の領域画像から楕円近似を利用した虹彩中心を検出し、その虹彩中心に基づいて視線ベクトルを求める。また、視線ベクトルを求める他の方法としては、瞳孔の中心座標から視線ベクトルを求める方法を用いてもよい。このようにして求めた視線ベクトルから、例えば過去２秒間の視線分布を求め、理想視線確率分布算出手段３１と危険判定手段４３とに出力する。

２．理想視線確率分布算出手段３１
理想視線確率分布算出手段３１は、大きく分け、視野画像蓄積手段３３と、第１の視線確率分布算出手段３５と、第２の視線確率分算出手段３７と、加算部３９とから構成される。

（１）視野画像蓄積手段３３
視野画像蓄積手段３３では、まず、視野中心画像抽出部３３ａが、前方カメラ１５から入力した撮影画像の中から、視線分布検知手段４１の検知した同一時刻の運転者の視線分布の情報を用いて、視線位置を中心とする視野に相当する画像（視野画像）を抽出する。この視野画像Ｉｍｇは、視線位置（視野中心）をＸｅｙｅ（ｔ）、視線位置からの距離をｒ、視野の半径をＲとしたとき、数１に示す式であらわされる。

続いて、エッジ抽出部３３ｂが、視野中心画像抽出部３３ａの抽出した視野画像Ｉｍｇからエッジ部分を抽出し、その画像の解像度をｒに反比例させる処理（つまり、視野中心から周辺部に向かうほど画像の解像度を落とす処理）を行い、エッジ画像Ｅｄｇｅを生成する。このエッジ画像Ｅｄｇｅは、数２に示す式で表される。

続いて、エッジ抽出部３３ｂは、エッジ画像Ｅｄｇｅをエッジバッファ３３ｄに蓄積させる。なお、このエッジバッファ３３ｄは、前方カメラ１５が入力する撮影画像と同じ大きさの領域の画像を蓄積することができるバッファであり、視線位置を画像内の位置に対応させて上書きが行われる。また、エッジバッファ３３ｄには時間減衰があり、一定時間、入力がない位置の情報は消滅する。時定数をτとし、この関係を式に表すと、数３に示す式となる。

また、エッジバッファ３３ｄには時刻インデックスが付属し、各位置の情報が入力された時間を保持している。ここで、図３に視野画像Ｉｍｇとエッジバッファ３３ｄの領域との関係を示す。上述した通り、このエッジバッファ３３ｄの大きさは、前方カメラ１５が入力する撮影画像と同じ大きさの領域の画像を蓄積することができる大きさであり、この領域に対して部分画像である視野画像Ｉｍｇをエッジバッファ３３ｄは順次上書きして蓄積する。

一方、輝度抽出部３３ｃは、視野中心画像抽出部３３ａの抽出した視野画像Ｉｍｇから輝度の高い部分を抽出し、その画像の解像度をｒに反比例させる処理（つまり、視野中心から周辺部に向かうほど画像の解像度を落とす処理）を行い、輝度画像Ｉｎｔを生成する。この輝度画像Ｉｎｔは、数４に示す式で表される。

続いて、輝度抽出部３３ｃは、輝度画像Ｉｎｔを輝度バッファ３３ｅに蓄積させる。なお、この輝度バッファ３３ｅは、前方カメラ１５が入力する撮影画像と同じ大きさの領域の画像を蓄積することができるバッファであり、視線位置を画像内の位置に対応させて上書きが行われる。また、輝度バッファ３３ｅには時間減衰があり、一定時間、入力がない位置の情報は消滅する。時定数をτとし、この関係を式に表すと、数５に示す式となる。

また、輝度バッファ３３ｅには時刻インデックスが付属し、各位置の情報が入力された時間を保持している。
（２）第１の視線確率分布算出手段３５
第１の視線確率分布算出手段３５は、ステアリング操作のための視線移動の要求度合いを示す視線確率分布（トップダウン視線確率分布）を算出する。本願発明者等は、上述した小池等が提案した強化学習に基づく自動車運転モデルを採用し、この自動車運転モデルを運転者のステアリング操作モデルとした。このモデルには、現在位置、１秒後の位置、２秒後の位置、３秒後の位置を予測してステアリング操作量を出力するモジュール（予測モジュール）があり、それぞれの位置での道路の両端から車両までの距離を入力とし、車両を安定して操作するために必要なステアリングの操作量を計算して出力する。そして、強化学習モジュールが、道路の状況に応じて何れかの予測モジュールの出力を最終的なステアリング操作量として採用するかを決定する。本実施例では、１秒後の予測モジュール（ステアリングモジュール（Near）３５ａ）と３秒後の位置の予測モジュール（ステアリングモジュール（Far）３５ｂ）を用い、それぞれの予測モジュールが入力として必要とする視覚入力に対する情報要求（トップダウン視線要求）をそれぞれのモジュールが出力し、その出力された位置に対する視線の移動要求を確率分布として算出する。

第１の視線確率分布算出手段３５では、まず各々のステアリングモジュールが、注視要求位置をそれぞれ出力する。そして、トップダウン視線確率分布算出部３５ｃが、出力されたそれぞれの注視要求と、上述したエッジバッファ３３ｄ及び輝度バッファ３３ｅの時刻インデックスを足し合わせたもの（時刻インデックス）とを用い、数６に示すようにトップダウン注視要求を算出する。

このように各点の注視要求と、対応する位置の時刻インデックスとの積により、各バッファの更新時刻が古い位置ほど大きい注視要求が算出される。そして、さらにトップダウン視線確率分布算出部３５ｃは、このように算出された注視要求に対して、全視覚範囲で正規化を行い、トップダウン視線確率分布を算出して出力する（数７参照）。

ここで、トップダウン視線確率分布の一例を紹介する。図４（ａ）は、ワイヤーフレームによって道路が表された撮影イメージ図であり、図４（ｂ）は、その撮影イメージから求めたトップダウン視線確率分布を示す図である。図４（ａ）の横線は、それぞれ１秒後、２秒後、３秒後の車両の予測位置を示し（２秒後の予測位置は本実施例では算出しない）、その横線の両端の丸は視線要求の大きさを示す。図４（ｂ）は、明度によって視線要求の確率が示され、白い部分ほど視線要求が強い。

（３）第２の視線確率分算出手段３７
第２の視線確率分算出手段３７は、視覚入力の特徴に基づく人の受動的な視線移動の強さを示す視線確率分布（ボトムアップ視線確率分布）を算出する。一般的に、網膜、外側膝状体などの初期視覚系の受容細胞では、受容野中心部の狭い領域に対しては高い解像度の感度を持つのに対し、受容野周辺部の入力に対しては抑制性の反応を示すことが知られている。このような仕組みは、空間的な微分処理を実現し、視野内画像の部分的な不連続性や目立った部分を検出するのに適している。本実施例では、この初期視覚系の構造に基づくモデルをサレンシーマップ（Visual Saliency Map）の生成に用い、視覚入力の特徴に基づく人の受動的な視線移動の強さを示す視線確率分布を算出した。

具体的にはフィルタ部３７ａが、例えばガウスフィルタ（Gaussian filter）を用いてエッジバッファ３３ｄの画像を４段階にぼかし、サレンシーマップ生成部３７ｂが、ぼかされた画像を擬似的な周辺画像として、それぞれ前段階の画像との差分を計算した画像を加算、正規化することにより、サレンシーマップ（Saliency Map）を生成する。

次に、ボトムアップ視線確率分布算出部３７ｃが、生成されたサレンシーマップを用い、全視覚範囲で正規化することにより、ボトムアップ視線確率分布を算出する（数８参照）。

なお、一度視線が向けられた領域に対しては、同じ位置に視線が固定されるのを防止するため、視線確率分布を減衰させ、他の領域に視線が移動するようにするとよい（数９参照）。

ここで、ボトムアップ視線確率分布の一例を紹介する。図５（ａ）は、ワイヤーフレームで表される撮影イメージ図であり、図５（ｂ）は、その撮影イメージ図から求めたボトムアップ視線確率分布を示す図である。図５（ａ）の左方には標識があり、右方にはビルが存在する。図５（ｂ）は、明度によって視線確率が示され、白い部分ほど視線確率が高いことを意味する。

（４）加算部３９
第１の視線確率分布算出手段３５によって算出されたトップダウン視線確率分布と、第２の視線確率分算出手段３７によって算出されたボトムアップ視線確率分布とを足し合わせて、理想視線確率分布を算出する（数１０参照）。

３．危険判定手段４３
危険判定手段４３は、前方カメラ１５の撮影画像と同じ大きさの領域を、ｎ行Ｘｍ列のメッシュ状の領域に分け（図６に示すイメージ図を参照：本イメージ図では７行Ｘ６列に分けられている。）、ある一定時間内の、各領域内の視線分布Ｐｍｄ（ｎ，ｍ）を視線分布検知手段４１から出力された視線分布に基づいて求める。また、理想視線確率分布Ｐｍｉ（ｎ，ｍ）についても、理想視線確率分布算出手段３１から出力された理想視線確率分布に基づいて求める。そして、これらの分布の差ｄｉｆｆ（ｎ，ｍ）を領域毎に算出する（数１１参照）。

次に、求めた分布の差ｄｉｆｆ（ｎ，ｍ）を用いて数１２に示す判定式により、各領域の危険度ｄｎｇ（ｎ，ｍ）を求め、出力制御部に出力する。

この判定式は、分布の差ｄｉｆｆ（ｎ，ｍ）のｎ及びｍを変化させ、分布の差ｄｉｆｆ（ｎ，ｍ）が所定の値よりも大きい場合、危険度ｄｎｇ（ｎ，ｍ）に分布の差ｄｉｆｆ（ｎ，ｍ）を代入し、分布の差ｄｉｆｆ（ｎ，ｍ）が所定の値よりも小さい場合、危険度ｄｎｇ（ｎ，ｍ）に０を代入するものである。

４．出力制御部４５
出力制御部４５は、危険判定手段４３から入力した危険度ｄｎｇ（ｎ，ｍ）に基づき、ウィンドウシールドディスプレイ１７及びスピーカー１９を制御するための信号を送信する。ウィンドウシールドディスプレイ１７の具体的な動作は、例えば図７（ａ）に示す車内の前部を表すイメージ図のように、フロントウィンドウに重ねて危険度ｄｎｇ（ｎ，ｍ）の高い領域を縁取った四角状のマーカー１０１を表示させる。なお、この際、運転者の視点位置が基準となり、フロントウィンドウを通してマーカー１０１に囲まれた外界の先が、運転者が見るべき対象物があるようにしてマーカー１０１を表示させる。また、マーカー１０１は、危険度ｄｎｇ（ｎ，ｍ）の値に応じて色を変えて表示させる。実際には運転者は図７（ｂ）に示すイメージ図のように外界を見ることができる。

また、スピーカー１９の具体的な動作は、上述した運転者が見るべき対象物の方向から警告音が聞こえるように警告音を発生させる。なお、その際に、最も高い危険度ｄｎｇ（ｎ，ｍ）に応じて警告音の音量や音程や音質等を変えて警告音を発生させるようになっている。

ここまでで本実施例の運転支援装置１１について説明したが、運転支援装置１１は、運転者の実際の視線分布と運転者の理想視線確率分布とを算出して比較するようになっている。このため、例えば、進行方向の先に急カーブがあるにもかかわらずその急カーブの箇所を運転者が見ない場合、危険であるとして運転者にその旨を報知することができる。また、第１の視線確率分布算出手段３５と第２の視線確率分算出手段３７は、現時点だけの画像情報ではなく、視野画像蓄積手段３３が蓄積した画像情報を利用して運転者の理想視線確率分布を算出するため、運転者が例えば急カーブの箇所を一度視認すれば、その後一定時間はその急カーブを見続けなくても危険である旨を報知しない。したがって、運転者が特定の対象物を見続けることによる二次的な危険を生じるおそれを低減することができる。

以下、他の実施例について述べる。
（イ）上記実施例では第１の視線確率分布算出手段３５は、視野画像蓄積手段３３の蓄積した画像情報に基づき、ステアリング操作のための視線移動の要求度合いを示す視線確率分布（トップダウン視線確率分布）を算出するようになっていたが、第２の視線確率分算出手段３７が算出する、視覚入力の特徴に基づく人の受動的な視線移動の強さを示す視線確率分布（ボトムアップ視線確率分布）との整合が取れるのであれば、前方カメラ１５が撮影した画像をそのまま用いてトップダウン視線確率分布を算出するようになっていてもよい。

このようになっていれば、上記効果を維持しながら、より精度の良いトップダウン視線確率分布を算出することができる。
（ロ）上記実施例では視野画像蓄積手段３３は、エッジ抽出部３３ｂが視野中心画像抽出部３３ａの抽出した視野画像からエッジ部分を抽出し、輝度抽出部３３ｃが視野中心画像抽出部３３ａの抽出した視野画像から輝度の高い部分を抽出するようになっていたが、他にも彩度やオプティカルフローに基づいて特徴を抽出する抽出部を設けてもよい。そして、抽出された情報をそれぞれ専用のバッファに蓄積し、第１の視線確率分布算出手段３５や第２の視線確率分算出手段３７がその情報を利用するようになっているとよい。

（ハ）上記実施例では第１の視線確率分布算出手段３５は、視野画像蓄積手段３３が蓄積した画像情報に基づいてトップダウン視線確率分布を算出するようになっていたが、さらに、運転支援装置１１にナビゲーション装置を接続させ、そのナビゲーション装置から道路形状に関する情報等を取得してトップダウン視線確率分布を算出するようになっていてもよい。

このようになっていれば、より正確な道路の曲がり具合等を得ることができ、その結果、より正確なトップダウン視線確率分布を算出することができる。
（ニ）上記実施例では出力制御部４５は、スピーカー１９を制御して警告音を発生させるようになっていたが、音声によって運転者が見るべき対象物の方向や対象物そのものを報知するようになっていてもよい。具体的には例えば、「前方左方の信号機を確認して下さい」といったものや、「前方の右カーブの外側を確認して下さい」といったものが考えられる。このようになっていても運転者は見るべき対象物を認識することができる。

運転支援装置の概略構成を示すブロック図である。 制御部の機能を示すブロック図である。 視野画像とエッジバッファの領域との関係を示す説明図である。 （ａ）はワイヤーフレームによって道路が表された撮影イメージ図であり、（ｂ）は撮影イメージから求めたトップダウン視線確率分布を示す図である。 （ａ）は、ワイヤーフレームで表される撮影イメージ図であり、（ｂ）は、その撮影イメージ図から求めたボトムアップ視線確率分布を示す図である。 ｎ行Ｘｍ列に領域分割したイメージ図である。 （ａ）は車内の前部を表すイメージ図であり、（ｂ）は運転者から見える景色のイメージ図である。

符号の説明

１１…運転支援装置、１３…運転者用カメラ、１５…前方カメラ、１７…ウィンドウシールドディスプレイ、１９…スピーカー、２１…操作部、２３…制御部、３１…理想視線確率分布算出手段、３３…視野画像蓄積手段、３３ａ…視野中心画像抽出部、３３ｂ…エッジ抽出部、３３ｃ…輝度抽出部、３３ｄ…エッジバッファ、３３ｅ…輝度バッファ、３５…第１の視線確率分布算出手段、３５ａ…ステアリングモジュール（Near）、３５ｂ…ステアリングモジュール（Far）、３５ｃ…トップダウン視線確率分布算出部、３７…第２の視線確率分算出手段、３７ａ…フィルタ部、３７ｂ…サレンシーマップ生成部、３７ｃ…ボトムアップ視線確率分布算出部、３９…加算部、４１…視線分布検知手段、４３…危険判定手段、４５…出力制御部。

Claims (11)

1. 車両に搭載されて用いられる運転支援装置であって、
   運転者の視線分布を検知する視線分布検知手段と、
   自車両及び自車両の周囲の情報と、過去の運転者の視線分布とから運転者の理想視線確率分布を算出する理想視線確率分布算出手段と、
   前記視線分布検知手段が検知した前記視線分布と、前記理想視線確率分布算出手段が算出した理想視線確率分布とを比較し、両分布の間に一定以上の差が生じた場合に危険であると判定する危険判定手段と、
   前記危険判定手段の判定結果を出力する出力手段と、
   を備え、
   前記理想視線確率分布算出手段は、
   前記車両の前方の画像情報を得る撮影手段と、
   前記視線分布検知手段が検知した視線分布の情報を用い、前記撮影手段によって得られた前記画像情報の中から運転者の視野に相当する画像情報を蓄積する視野画像蓄積手段と、
   前記視野画像蓄積手段が蓄積した前記画像情報から道路形状を求め、その道路をトレースするためのステアリング操作に必要な運転者の視線確率分布を算出する第１の視線確率分布算出手段と、
   前記視野画像蓄積手段が蓄積した前記画像情報の視覚的特徴量から、運転者が自然と見てしまうと予想される視線確率分布を算出する第２の視線確率分布算出手段と、
   前記第１の視線確率分布算出手段及び前記第２の視線確率分布算出手段の各出力を加算し理想視線確率分布を出力する加算手段と、
   を備えていることを特徴とする運転支援装置。
2. 前記視野画像蓄積手段は、視線の場所毎に、画像情報が更新されてから経過した時間を保持し、
   前記第１の視線確率分布算出手段は、前記視野画像蓄積手段の保持する前記時間を用い、前記視野画像蓄積手段の前記画像情報が古い視線の場所ほど大きな値が得られるよう前記視線確率分布を算出することを特徴とする請求項１に記載の運転支援装置
3. 前記第１の視線確率分布算出手段は、前記視野画像蓄積手段の蓄積した前記画像情報の代わりに、撮影手段によって得られた前記車両の前方の画像情報全てを用い、前記ステアリング操作に必要な運転者の視線確率分布を算出することを特徴とする請求項１に記載の運転支援装置。
4. 前記第１の視線確率分布算出手段は、さらに地図情報を取得することができ、当該地図情報も利用して運転者の行うべきステアリング操作に必要な視線確率分布を算出することを特徴とする請求項１〜請求項３の何れかに記載の運転支援装置。
5. 前記第２の視線確率分布算出手段が前記視線確率分布を算出する際に用いる前記視覚的特徴量というのは、前記画像情報から得られる輝度、彩度、エッジの強さ又はオプティカルフローの少なくとも一つであることを特徴とする請求項１〜請求項４の何れかに記載の運転支援装置。
6. 前記危険判定手段は、前記判定を所定の領域毎に行い、前記視線分布と前記理想視線確率分布との間に一定以上の差が生じた領域を不注意領域として算出し、
   前記出力手段は、前記危険判定手段が算出した前記不注意領域を識別するための情報を出力することを特徴とする請求項１〜請求項５の何れかに記載の運転支援装置。
7. 前記出力手段は、マーカーを表示可能なウィンドウシールドディスプレイを備え、運転者の視点を基準として前記マーカーの先に前記危険判定手段が算出した前記不注意領域に対応する場所があるように前記マーカーを表示することを特徴とする請求項６に記載の運転支援装置。
8. 前記出力手段は、前記マーカーを表示するに際し、前記危険判定手段が算出した、前記視線分布と前記理想視線確率分布との間の差に応じて前記マーカーの視覚的特徴を変えて前記ウィンドウシールドディスプレイに前記マーカーを表示することを特徴とする請求項７に記載の運転支援装置。
9. 前記出力手段は、スピーカーを備え、運転者に対して前記不注意領域の存在方向から警告音が聞こえるように前記スピーカーに警告音を出力させることを特徴とする請求項６〜請求項８の何れかに記載の運転支援装置。
10. 前記出力手段は、前記警告音を出力するに際し、前記危険判定手段が算出した、前記視線分布と前記理想視線確率分布との間の差に応じて前記警告音の聴覚的特徴を変えて前記スピーカーに前記警告音を出力させることを特徴とする請求項９に記載の運転支援装置。
11. 前記出力手段は、スピーカーを備え、前記不注意領域の場所を運転者に認識させるための音声を前記スピーカーに出力させることを特徴とする請求項６〜請求項８の何れかに記載の運転支援装置。