JP6914827B2 - 見落し検知装置、見落し検知方法、およびプログラム - Google Patents

Description

本発明は、運転者が車両の周辺にあるリスクを見落していないかを検知する技術に関する。

従来から、車両の周辺に運転者が注意すべき対象がある場合に、運転者の注意を喚起する装置が知られている。特許文献１に記載された装置は、運転者が注視すべきリスク対象が複数ある場合に、個々のリスクレベルを算出し、複数のリスク対象の中からリスクレベルが最大のリスク対象を選択する。そして、リスクレベルが最大のリスク対象の方向を示す表示を行う。

特許文献２に記載された装置は、運転者に安全確認を習慣づけるために、運転者の視線を誘導する誘目表示を行った後に、誘目表示に対する運転者の反応度合いを判定し、反応度合いに応じたフィードバックを行う。

特許文献３は、周辺状況検出部で検出した周辺状況に基づいて運転者が注視すべき方向を求め、その方向へ運転者の視線を誘導する装置において、運転者の目の負担を軽減する装置を開示している。この装置では、所定の方向に、新規の物体を検出してから一定時間にわたって、運転者がその方向を目視しなかった場合に、検出した物体を強調表示する。

特開２０１６−１９７４０７号公報 特開２０１７−１４２６２１号公報 特開２０１５−１２５６８６号公報

上記した特許文献１，２は、車両周辺で発見されたリスクの対象の方向に運転者の視線を誘導するものであるが、運転者の運転行動については関知していない。特許文献３は、運転者がすでにリスクの対象を見ている場合には、視線誘導の表示を行わないという点で、運転者の行動に基づく制御を行っている。しかし、特許文献３に記載された発明は、新規の物体を検出してから一定時間その方向を見ていないことに応じて、視線誘導の表示を行っているにすぎない。

実際の道路には、速度の異なる様々な交通参加者がおり、状況が時々刻々と変化するので、運転者が注意を払うべき対象は、交通参加者との位置関係等によって変わっていく。特許文献３のような画一化された処理を行うと、運転者への注意喚起が遅れたり、逆に、すでに運転者がリスクを認識しているにもかかわらず、注意喚起をしてしまう可能性がある。

本発明は、上記背景に鑑み、周辺状況に応じて、運転者のリスクの見落しを適切に検知する見落し検知装置を提供することを目的とする。

本発明の見落し検知装置は、車両の周辺状況を監視する周辺監視センサと、運転者を撮影するカメラと、前記周辺監視センサにて監視して得られた周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを求めるリスクレベル計算部と、前記カメラにて撮影した映像に基づいて所定時間内に運転者が注視した対象を検出すると共にその注視時間を計算し、前記運転者が注視した対象の存在する方向を特定することで前記方向別の注視割合を検出する注視割合計算部と、前記方向別のリスクレベルと前記注視割合計算部にて求めた前記注視割合とに基づいてリスク見落しの可能性を計算し、いずれかの方向においてリスク見落しの可能性が所定の閾値以上である場合にリスクの見落しを検知する見落し検知部とを備える。

この構成により、リスクレベルと運転者の所定時間における注視割合に基づいて計算したリスク見落しの可能性に基づいて見落しを検知するので、周辺の状況と運転者の注視の状況に基づいて、リスクの見落としを適切に検知できる。ここで、「見落しの可能性」とは、方向別のリスクレベル（リスクの大きさといってもよい）と、運転者がその方向を注視している割合によって求まる指標であり、重大なリスクの存在する方向を見ていない場合に大きな値となるように規定される。例えば、リスク見落しの可能性＝リスクレベル／注視割合によって規定することができる。

本発明の見落し検知装置において、前記リスクレベル計算部は、前記方向別のリスクレベルとして、自車線、及び自車線の左右にある車線または歩道のそれぞれのリスクレベルを計算してもよい。左右にある車線は、例えば、対向車線、追越車線、走行車線等であり、片側一車線の場合には自車線の左側は歩道である。自車線を走行するのは先行車両、追越車線又は走行車線を走行するのは並走車両、対向車線を走行するのは対向車両、歩道にいるのは自転車や歩行者というように、リスクの対象の移動速度や方向が異なるので、自車線、及び自車線の左右にある車線または歩道のそれぞれについてリスクレベルを計算することが一つの望ましい方法である。

本発明の見落し検知装置において、前記注視割合計算部は、運転者が注視している対象を特定できないときは、運転者の顔向き及び視線の一方又は両方に基づいて、自車線、及び自車線の左右にある車線または歩道のいずれを注視しているかを検出すると共にその注視時間を計算し、前記注視割合を検出してもよい。これにより、運転者が注視している対象を特定できなくても、見落し検知の処理を続行することができる。

本発明の見落し検知装置において、前記リスクレベル計算部は、前記周辺監視センサにより得られた周辺状況のデータに基づいてリスクレベルを評価できないときは、その方向のリスクレベルを最大に設定してもよい。最大リスクを見積もって安全サイドで判定を行うことにより、運転者のリスク見落しを看過するおそれを低減できる。

本発明の見落し検知装置は、前記見落し検知部にてリスクの見落しが検知された場合に、リスク見落しの可能性が所定の閾値以上となった方向へ運転者の視線を誘導する視線誘導部を備えてもよい。この構成により、リスクの存在する方向に運転者の視線を誘導し、事故を未然に防止できる。

本発明の見落し検知装置は、前記見落し検知部にて、リスクの見落しが検知された場合に、車両に対して減速の指示を出力する減速指示部を備えてもよい。この構成により、リスクに対処しやすくなる。

本発明の見落し検知方法は、周辺監視センサによって車両の周辺状況を監視するステップと、カメラによって運転者を撮影するステップと、前記周辺監視センサにて監視して得られた周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを求めるステップと、前記カメラにて撮影された映像に基づいて所定時間内に運転者が注視した対象を検出すると共に注視時間を計算し、前記運転者が注視した対象の存在する方向を特定することで前記方向別の注視割合として検出するステップと、前記方向別のリスクレベルと前記注視割合とに基づいてリスク見落しの可能性を計算し、いずれかの方向においてリスク見落しの可能性が所定の閾値以上である場合にリスクの見落しを検知するステップとを備える。

本発明のプログラムは、運転者が車両周辺のリスクを見落としていないか検知するためのプログラムであって、コンピュータに、周辺監視センサにて監視して得られた車両の周辺状況のデータを受信するステップと、カメラにて運転者を撮影した映像データを受信するステップと、前記周辺監視センサにて監視して得られた周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを求めるステップと、前記カメラから受信した映像データに基づいて所定時間内に運転者が注視した対象を検出すると共に注視時間を計算し、前記運転者が注視した対象の存在する方向を特定することで前記方向別の注視割合として検出するステップと、前記方向別のリスクレベルと前記注視割合とに基づいてリスク見落しの可能性を計算し、いずれかの方向においてリスク見落しの可能性が所定の閾値以上である場合にリスクの見落しを検知するステップとを実行させる。

本発明によれば、周辺の状況と運転者の注視の状況に基づいて、リスクの見落としを適切に検知できるという効果がある。

実施の形態の見落し検知装置の構成を示す図である。 本実施の形態の見落し検知装置が用いられる運転シーンの例を示す図である。 （ａ）自車線のリスクレベルを計算するモデルを示す図である。（ｂ）対向車線のリスクレベルを計算するモデルを示す図である。（ｃ）歩道のリスクレベルを計算するモデルを示す図である。 注視割合計算部の処理を示す図である。 注視割合について説明するための図である。 （ａ）リスクレベル計算部にて計算した方向別のリスクレベルの例を示す図である。（ｂ）注視割合計算部にて求めた注視割合の例を示す図である。 見落しの可能性を計算した例を示す図である。 視線誘導部の構成の例を示す図である。 実施の形態の見落し検知装置の動作を示す図である。 変形例に係る見落し検知装置の動作を示す図である。

以下、本発明の実施の形態の見落し検知装置について図面を参照して説明する。実施の形態の見落し検知装置は車両に搭載され、車両を運転する運転者がリスクを見落としていないかどうかを検知する。なお、見落し検知装置は、完全な手動運転の車両のみならず、自動運転レベル１（加速・操舵・制動のいずれか単一をシステムが支援的に行う状態）、自動運転レベル２（システムがドライビング環境を観測しながら、加速・操舵・制動のうち同時に複数の操作をシステムが行う状態）の車両にも適用することができる。

図１は、実施の形態の見落し検知装置１の構成を示す図である。見落し検知装置１は、車両の周辺状況を監視する周辺監視センサ１０と、運転者を撮影する車内カメラ１３と、車両から見た方向別のリスクレベルを求めるリスクレベル計算部１４と、所定時間における運転者の方向別の注視割合を求める注視割合計算部１５と、リスクレベルと注視割合からリスクの見落しを検知する見落し検知部１６とを有している。

周辺監視センサ１０は、車両周辺にある他車両、歩行者及び障害物等の物体（以下、単に「周辺物体」ともいう）を識別すると共に、それらの周辺物体の位置情報を周辺状況として検出する。本実施の形態では、周辺監視センサ１０として、車外カメラ１１およびレーダー１２を用いているが、これら以外のセンサを用いることも可能である。

車内カメラ１３は、近赤外線カメラであり、車室内が暗くなっても安定して運転者を撮影することができる。車内カメラ１３は、運転者を正面から撮影する位置、例えば、メーターバイザーの下に搭載される。株式会社デンソーが開発した「ドライバーステータスモニタ」のカメラを用いることとしてもよい。

リスクレベル計算部１４は、周辺監視センサ１０にて監視して得られた周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを計算する。

図２は、本実施の形態の見落し検知装置１が用いられる運転シーンの例を示す図である。図２に示す例では、見落し検知装置１が搭載された車両が走行する自車線の右側は、対向車線であり、左側が歩道である。この場合、見落し検知装置１は、リスクレベルを自車線、対向車線、歩道の方向別に計算する。なお、本実施の形態の見落し検知装置１は、片側複数車線のような図２とは異なる運転シーンにも用いることができる。

図３（ａ）〜図３（ｃ）は、リスクレベル計算部１４によるリスクレベルの計算方法の例を示す図である。図３（ａ）は、自車線のリスクレベルを計算するモデルの例を示している。自車線のリスクレベルは「先行車との関係」「左右車線からの割込み可能性」を原因、「先行車との追突リスク」を結果とするモデルである。原因に対して結果が起こる確率は、予め学習によって求めておくことができる。「先行車との関係」としては、例えば、先行車の車速（自車の車速との差分）、先行車の車速の変化（急減速等）、先行車との車間距離等がある。「左右車線からの割込み可能性」としては、左右車線を走行する車両のウィンカーや前後の動きがある。なお、図２に示すような運転シーンでは、「左右車線からの割込み可能性」のノードへの入力はない。

図３（ｂ）は、対向車線のリスクレベルを計算するモデルの例を示している。対向車線のリスクレベルは、「対向車等の動き」を原因、「対向車との正面衝突リスク」を結果とするモデルである。「対向車等の動き」としては、対向車の自車線への割込み可能性（対向車のウィンカーや速度等）、対向車が動いていないときに、対向車の陰から人が飛び出してくる可能性がある。

図３（ｃ）は、歩道のリスクレベルを計算するモデルの例を示している。歩道のリスクレベルは、「歩道と車線との境界」「歩行者の動き」を原因、「歩行者の飛び出しリスク」を結果とするモデルである。「歩道と車線との境界」としては、ガードレール等の歩道と車道を遮るモノの有無、横断歩道等の歩行者の横断を促すモノの有無がある。「歩行者の動き」としては、歩行者の向きや動き（車道に向かって動いているか）がある。

図６（ａ）は、リスクレベル計算部１４にて計算した方向別のリスクレベルの例を示す図である。自車線、対向車線、歩道のそれぞれについてリスクレベルが計算されている。この例では、自車線のリスクレベルが最も高く、歩道、対向車線と続いている。

なお、本実施の形態では、方向別のリスクレベルを計算するためにモデルを用いる例を挙げたが、リスクレベルの計算は、例えば、リスクファクターに点数を付与して、積み上げていく方式で計算する等、本実施の形態で説明した方法とは異なる方法を採用してもよい。

図１に戻って説明を行う。注視割合計算部１５は、車内カメラ１３にて撮影した映像に基づいて所定時間内に運転者が注視した対象を検出すると共にその注視時間を計算し、運転者が注視している対象の存在する方向を特定することで方向別の注視割合を検出する。

図４は、注視割合計算部１５の処理を示す図である。図４に示すように、注視割合計算部１５は、車外に存在する物標（先行車、対向車、歩行者等）とその位置を特定する。車外にある物標の特定は、リスクレベル計算部１４にてリスクレベルを計算する際に検出した物標のデータを用いればよい。また、注視割合計算部１５は、車内カメラ１３にて得られた映像から運転者の顔向きと視線方向を検知する（Ｓ１１）。注視割合計算部１５は、運転者の黒目の向いている方向を検知することで運転者の顔に対する視線の方向に、運転者の顔の向きを加味して、運転者の視線がどの方向を向いているかを検知する。

注視割合計算部１５は、運転者が見ている方向に存在する車外の物標を「注視対象」として検出する（Ｓ１２）。続いて、注視割合計算部１５は、注視対象に基づいて運転者が注視している方向を特定し（Ｓ１３）、特定した注視方向を記憶する（Ｓ１４）。例えば、注視対象が先行車であれば、運転者が注視しているのは自車線であるし、例えば、注視対象が歩行者であれば、運転者が注視しているのは歩道である。注視割合計算部１５は、以上の処理を繰り返し行うことにより、注視割合を求めることができる。

図５は、注視割合について説明するための図である。図５では、歩行者のいるところを通過するときを０秒とし、１２秒間前にさかのぼって、４秒ごとに求めた注視割合のデータを示している。例えば、４秒〜０秒の区間Ｃにおいては、４秒〜２．４秒くらいまでは先行車を注視しており、２．４秒〜０秒において歩行者を注視していたことが分かる。この場合、先行車の注視割合が４０％（１．６秒）、歩行者の注視割合が６０％（２．４秒）であると求められる。注視割合計算部１５は、注視対象が先行車である場合には、注視方向を自車線と特定し、注視対象が歩行者である場合には注視方向を歩道と特定する。

なお、本実施の形態で注視対象から注視方向を求めているのは、注視方向を精度良く特定できるからである。例えば、運転者が左斜め前を見ている場合、その方向に歩行者がいれば歩道を見ていると判断でき、歩行者がおらず先行車が存在する場合には自車線を見ていると判断できるからである。しかし、注視対象を特定できなかった場合には、注視割合計算部１５は、運転者の見ている方向から注視方向を推定してもよい。

見落し検知部１６は、リスクレベル計算部１４にて求めた方向別のリスクレベルと注視割合計算部１５にて求めた注視割合とに基づいてリスク見落しの可能性を計算する。本実施の形態では、方向別のリスクレベルを方向別の注視割合で割った値を、見落しの可能性を示す指標とする。

図６（ｂ）は、図６（ａ）に対応する区間において、注視割合計算部１５にて求めた注視割合の例を示す図である。図６（ｂ）に示すように、この区間では自車線への注視割合が大半を占め、対向車線、歩道への注視割合が小さい。

図７は、図６（ａ）に示すリスクレベルと図６（ｂ）に示す注視割合に基づいて、見落しの可能性を計算した例を示す図である。図７に示す例では、歩道の方向のリスク見落しの可能性が最大で、自車線についてはリスクレベルが高かったにもかかわらず（図６（ａ））、リスク見落しの可能性が小さい。これは、運転者が自車線を注視していた割合が高かったためである。見落し検知部１６は、自車線、対向車線、歩道のいずれかの方向において、リスク見落しの可能性が所定の閾値以上である場合に、リスクを見落としていることを検知する。図７に示す例では、歩道のリスク見落しの可能性が閾値以上なので、リスクの見落しがあることを検知する。

本実施の形態の見落し検知装置１は、上述した見落し検知の機能に加え、リスクの見落しを検知した場合に、運転者の視線を見落としていたリスクの対象の存在する方向へ誘導する視線誘導部１７と、運転制御部２０に対して減速を指示する減速指示部１８とを有している。

図８は、視線誘導部１７の構成の例を示す図である。視線誘導部１７は、車両のインスツルメントパネル３０に配置された線状発光領域３１によって構成されている。線状発光領域３１は、車両の幅方向ＷＤに沿って線状に延伸し、線状に並んだ多数の発光素子を有している。線状発光領域３１の多数の発光素子のうちの少なくとも一部を発光させることにより、発光スポット３２を表示することができる。視線誘導部１７は、運転者の視線を誘導したい方向に対応する位置に発光スポット３２を表示する。また、視線誘導部１７は、運転者の視線を誘導させたい方向に向けて（例えば、運転者の視線を左に誘導したい場合には、右から左へ）、発光スポット３２を移動させてもよい。

以上、本実施の形態の見落し検知装置１の構成について説明したが、上記した見落し検知装置１のハードウェアの例は、ＥＣＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記したリスクレベル計算部１４、注視割合計算部１５、見落し検知部１６を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＥＣＵによって当該プログラムを実行することによって、上記した見落し検知装置１の機能が実現される。このようなプログラムも本発明の範囲に含まれる。

図９は、実施の形態の見落し検知装置１の動作を示す図である。実施の形態の見落し検知装置１は、周辺監視センサ１０によって、車両の周辺を監視して周辺状況のデータを取得し（Ｓ２０）、取得した周辺状況のデータに基づいて、方向別のリスクレベルを計算する（Ｓ２１）。また、見落とし検知装置１は、車内カメラ１３で運転者を撮影し（Ｓ２２）、撮影された運転者の映像に基づいて所定時間における各方向の注視割合を計算する（Ｓ２３）。

続いて、見落し検知装置１は、方向別にリスクレベルを注視割合で割って、方向別に見落しの可能性を計算し、見落しの可能性に基づいてリスクの見落しを検知する（Ｓ２４）。リスクの見落しがなければ（いずれの方向についてもリスク見落しの可能性が閾値以上でなければ）（Ｓ２５でＮＯ）、最初（ＳＴＡＲＴ）に戻って、上記の動作を繰り返す。見落しがあった場合には（Ｓ２５でＹＥＳ）、見落し検知装置１の視線誘導部１７は、見落としたリスクの対象の方向へ運転者の視線を誘導する（Ｓ２６）。そして、最初（ＳＴＡＲＴ）に戻って、上記の動作を繰り返し行う。

以上、本実施の形態の見落し検知装置１の構成および動作について説明した。本実施の形態の見落し検知装置１は、リスクレベルと所定時間における運転者の注視割合に基づいて計算したリスク見落しの可能性に基づいて見落しを検知するので、周辺の状況と運転者の注視の状況に基づいて、リスク見落としを適切に検知できる。

例えば、図６（ａ）、図６（ｂ）及び図７に示したように、自車線のリスクレベルが高い場合であっても、運転者が自車線をしっかりと注視している場合には、リスクを見落とす可能性は低い。この場合には、注意喚起をするのは、すでに十分注意を払っている運転者にとっては煩わしいだけなので、リスク見落しの可能性が低いとして、必要以上に注意喚起を行わないようにしている。逆に、歩道のようにリスクレベルが中程度であっても、運転者による歩道の注視割合が小さい場合には、リスクを見落とす可能性があるので、見落し検知を行い、運転者に注意喚起を行う。

このように本実施の形態の見落し検知装置１は、リスクの対象となる物体あるいはその方向を単に見たかどうかによって運転者への注意喚起を行うか否かを決定する従来技術とは異なり、リスクの大きさと運転者の運転行動を踏まえて適切に見落しを検知できる。

以上、本発明の見落し検知装置について実施の形態を挙げて詳細に説明したが、本発明の見落し検知装置は、上記した実施の形態に限定されるものではない。

上記した実施の形態では、リスクレベル計算部１４が、周辺監視センサ１０にて取得した周辺状況データに基づいてリスクレベルを計算することができない場合については説明しなかった。例えば、大雨や霧、あるいは大型車の影響で大きな死角がある場合など、周辺監視センサ１０で十分な周辺状況データが得られない場合には、周辺状況データに基づいてリスクレベルを計算することができないことがあるが、このような場合には、リスクレベル計算部１４は、その方向のリスクレベルを最大に設定する。これにより、安全サイドでリスクの見落しを検知することができる。

上記した実施の形態では、見落し検知部１６がリスク見落しを検知すると、そのリスク対象の方向へ運転者の視線を誘導する例を説明したが、見落し検知部１６が見落しを検知したときには、車両の速度を減速するように、運転制御部２０に指示をしてもよい。

また、見落し検知部１６にて検知した見落しの可能性に応じて、視線誘導と減速とを選択してもよい。図１０は、変形例に係る見落し検知装置の動作を示す図である。図１０に示す見落し検知装置の基本的な動作は、図９に示すフローと同じであるが、見落しを検知した（Ｓ２５でＹＥＳ）後の動作が異なる。変形例に係る見落し検知装置では、見落し検知部１６にて見落しを検知する際に、見落しの可能性が閾値以上だったのが２つ以上の方向であるか否かを判定する（Ｓ２７）。見落しの可能性が閾値以上だったのが１方向だけの場合（Ｓ２７でＮＯ）、見落し検知装置はその方向へ運転者の視線誘導を行う（Ｓ２８）。例えば、歩道と対向車線というように、２方向以上においてリスク見落しの可能性が閾値以上だった場合には（Ｓ２７でＹＥＳ）、見落し検知装置は、運転制御部２０に車両を減速させるように指示する（Ｓ２９）。

上記した実施の形態では、注視割合計算部１５は、所定の時間区間において各方向を注視していた時間の長さによって注視割合を計算したが、現時点に近い方の時間区間の注視に重みをもたせてもよい。例えば、上記した図５の４秒〜０秒の区間Ｃにおいて、近い方の２秒間（２秒〜０秒）に遠い方の２秒間（４秒〜２秒）の２倍の重みを与えてもよい。図５の例では、２秒〜０秒間は歩行者を見ており、４秒〜２秒間は、先行車を見ている時間が１．６秒、歩行者を見ている時間が０．４秒である。この場合、歩行者の注視は２秒×２（重み）＋０．４秒×１（重み）＝４．４であり、先行車の注視は１．６秒×１（重
み）＝１．６と求められる。従って、歩行者の注視割合は４．４／（４．４＋１．６）×１００＝７３．３％、先行車の注視割合は１．６／（４．４＋１．６）×１００＝２６．７％となる。

また、注視割合計算部１５は、瞬き等で視線計測ができなかった時間は、計算時間から省いてもよい。

また、注視割合計算部１５は、所定の時間区間において各方向を注視した時間ではなく、回数によって注視割合を決定してもよい。例えば、図５に示す４秒〜０秒の区間Ｃにおいては、歩行者と先行車を１回ずつ見ているので、歩行者と先行車との注視割合をともに５０％としてもよい。また、このときに、歩行者や先行車の注視に対して、予め定められた時間（例えば０．１秒）以上見た時だけ回数に数えてもよい。

１ 見落し検知装置
１０ 周辺監視センサ
１１ 車外カメラ
１２ レーダー
１３ 車内カメラ
１４ リスクレベル計算部
１５ 注視割合計算部
１６ 見落し検知部
１７ 視線誘導部
１８ 減速指示部
２０ 運転制御部
３０ インスツルメントパネル
３１ 線状発光領域
３２ 発光ポイント

Claims (8)

1. 車両の周辺状況を監視する周辺監視センサと、
   運転者を撮影するカメラと、
   前記周辺監視センサにて監視して得られた周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを求めるリスクレベル計算部と、
   前記カメラにて撮影した映像に基づいて所定時間内に運転者が注視した対象を検出すると共にその注視時間を計算し、前記運転者が注視した対象の存在する方向を特定することで前記方向別の注視割合を検出する注視割合計算部と、
   前記方向別のリスクレベルと前記注視割合計算部にて求めた前記注視割合とに基づいてリスク見落しの可能性を計算し、いずれかの方向においてリスク見落しの可能性が所定の閾値以上である場合にリスクの見落しを検知する見落し検知部と、
   を備える見落し検知装置。
2. 前記リスクレベル計算部は、前記方向別のリスクレベルとして、自車線、及び自車線の左右にある車線または歩道のそれぞれのリスクレベルを計算する請求項１に記載の見落し検知装置。
3. 前記注視割合計算部は、運転者が注視している対象を特定できないときは、運転者の顔向き及び視線の一方又は両方に基づいて、自車線、及び自車線の左右にある車線または歩道のいずれを注視しているかを検出すると共にその注視時間を計算し、前記注視割合を検出する請求項２に記載の見落し検知装置。
4. 前記リスクレベル計算部は、前記周辺監視センサにより得られた周辺状況のデータに基づいてリスクレベルを評価できないときは、その方向のリスクレベルを最大に設定する請求項１乃至３のいずれかに記載の見落し検知装置。
5. 前記見落し検知部にてリスクの見落しが検知された場合に、リスク見落しの可能性が所定の閾値以上となった方向へ運転者の視線を誘導する視線誘導部を備える請求項１乃至４のいずれかに記載の見落し検知装置。
6. 前記見落し検知部にて、リスクの見落しが検知された場合に、車両に対して減速の指示を出力する減速指示部を備える請求項１乃至４のいずれかに記載の見落し検知装置。
7. 周辺監視センサによって車両の周辺状況を監視するステップと、
   カメラによって運転者を撮影するステップと、
   前記周辺監視センサにて監視して得られた周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを求めるステップと、
   前記カメラにて撮影された映像に基づいて、所定時間内に運転者が注視した対象を検出すると共にその注視時間を計算し、前記運転者が注視した対象の存在する方向を特定することで前記方向別の注視割合を検出するステップと、
   前記方向別のリスクレベルと前記注視割合とに基づいてリスク見落しの可能性を計算し、いずれかの方向においてリスク見落しの可能性が所定の閾値以上である場合にリスクの見落しを検知するステップと、
   を備える見落し検知方法。
8. 運転者が車両周辺のリスクを見落としていないか検知するためのプログラムであって、コンピュータに、
   周辺監視センサにて監視して得られた車両の周辺状況のデータを受信するステップと、
   カメラにて運転者を撮影した映像データを受信するステップと、
   前記周辺監視センサから受信した周辺状況のデータに基づいて、車両から見た方向別のリスクレベルを求めるステップと、
   前記カメラから受信した映像データに基づいて、所定時間内に運転者が注視した対象を検出すると共にその注視時間を計算し、前記運転者が注視した対象の存在する方向を特定することで前記方向別の注視割合を検出するステップと、
   前記方向別のリスクレベルと前記注視割合とに基づいてリスク見落しの可能性を計算し、いずれかの方向においてリスク見落しの可能性が所定の閾値以上である場合にリスクの見落しを検知するステップと、
   を実行させるプログラム。

Images