JP2014154125A - 走行支援システム、走行支援方法及びコンピュータプログラム - Google Patents

Abstract

【課題】車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することを可能にした走行支援システム、走行支援方法及びコンピュータプログラムを提供する。
【解決手段】特徴物の位置が撮像画像内において、車両の走行する道路の路面内又は路面外のいずれに位置するか判定し、特徴物が路面外にあると判定された場合には、特徴物の位置と運転者の視線位置が一致し、且つ両者の変位が同一である場合に、運転者がフロントガラスを視認していると特定し、一方、特徴物が路面内にあると判定された場合には、特徴物の位置と運転者の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、運転者がフロントガラスを視認していると特定し、その後に特定された運転者の視認態様に基づく案内を行うように構成する。
【選択図】図９

Description

本発明は、車両の乗員の視線に基づく案内を行うことによって走行の支援を行う走行支援システム、走行支援方法及びコンピュータプログラムに関する。

従来、車両において乗員に提供する情報は、車速やエンジン回転数等のごく限られた情報であった。しかしながら、近年、車載器の機能の向上に伴い車両において乗員に提供する情報が増加しており、例えば、目的地までの案内経路、渋滞情報、店舗等の施設情報等の提供が行われる。その結果、乗員が脇見運転を行う虞が向上することとなっていた。そこで、例えば特開２０１０−３９９３３号公報には、車内に設置されたカメラによって乗員の視線方向を検出するとともに風景のオプティカルフローを算出し、検出した乗員の視線方向の移動ベクトルとオプティカルフローが所定時間一致した場合に乗員が脇見運転していると判定し、警告を行う技術について提案されている。

特開２０１０−３９９３３号公報（第４−６頁、図３、４）

しかしながら、乗員の視線方向からでは乗員が見ている方向を特定することは可能であるが、実際に乗員が視線方向の先にある何を見ているのかまでは特定することができない。即ち、乗員の視線方向が仮に同じ進行方向前方にあったとしても、図１０に示すように乗員が車内に位置する物を見ている場合もあるし、フロントガラス上に位置する物を見ている場合もあるし、車外に位置する物を見ている場合もある。

ここで、上記特許文献１に記載の技術では、車両の乗員の視線方向については特定しているが、車両の乗員が視認する領域については特定していない。従って、車外を視認する必要がある状況にも関わらず、同一方向の車内やフロントガラスを視認している場合について、脇見運転と判定することができなかった。

また、乗員が視認する領域を特定する手段の１つとして、乗員が視線方向にある特徴物への視認態様から特定する方法がある。しかしながら、車両が走行中に環境変化の多い路面外に該特徴物が検出された場合と、車両が走行中に環境変化の少ない路面内に該特徴物が検出された場合とで、それぞれ同様の処理により視認態様の特定を行うこととすると、処理に時間がかかったり正確に判定できない虞があった。

本発明は前記従来における問題点を解消するためになされたものであり、特徴物の位置によって処理内容を変化させて車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確且つ迅速に判定することを可能にした走行支援システム、走行支援方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る走行支援システム（１）は、車両の車内に設置された第１撮像装置（１９）により、前記車両（５５）の車内からフロントガラス（５２）方向を撮像した第１撮像画像を取得する第１撮像画像取得手段（１３）と、前記車両のフロントガラス前方の車外に設置された第２撮像装置（２０）により、前記第１撮像装置と同一方向を撮像した第２撮像画像を取得する第２撮像画像取得手段（１３）と、前記車両の乗員（５６）の視線が位置する視線位置を検出する視線位置検出手段（１３）と、前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域（７３）であって、前記第１撮像画像のみに前記乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が前記第１撮像画像内において、前記車両の走行する道路の路面（８４）内又は路面外のいずれに位置するか判定する特徴物位置判定手段（１３）と、前記特徴物位置判定手段によって前記特徴物の位置が前記車両の走行する道路の路面外にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員がフロントガラスを視認していると特定する第１視認領域特定手段（１３）と、前記特徴物位置判定手段によって前記特徴物の位置が前記車両の走行する道路の路面内にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、前記乗員がフロントガラスを視認していると特定する第２視認領域特定手段（１３）と、前記第１視認領域特定手段及び前記第２視認領域特定手段により特定された前記乗員の視認態様に基づく案内を行う案内手段（１３）と、を有することを特徴とする。
尚、「特徴物」とは、乗員によって視認する対象となるものであり、例えば人、他車両、フロントガラスへの投影画像、メータ類、車載器等が該当する。

また、請求項２に係る走行支援システム（１）は、請求項１に記載の走行支援システムにおいて、前記所定時間は、前記車両（５５）の車速又は前記車両と前方車両との車間距離によって決定されることを特徴とする。

また、請求項３に係る走行支援システム（１）は、請求項２に記載の走行支援システムにおいて、前記所定時間は、前記車両（５５）の車速が速い程、より短い期間に決定され、前記車両と前方車両との車間距離が長い程、より短い期間に決定されることを特徴とする。

また、請求項４に係る走行支援システム（１）は、請求項１乃至請求項３のいずれかに記載の走行支援システムにおいて、前記第１撮像装置（１９）と前記第２撮像装置（２０）の撮像範囲の共通領域（７３）であって、前記第１撮像画像及び前記第２撮像画像の両方に前記特徴物と異なる他の特徴物を含む場合において、該他の特徴物の位置と前記乗員（５６）の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員が車外を視認していると特定する第３視認領域特定手段（１３）を有し、前記案内手段（１３）は、前記第３視認領域特定手段により特定された前記乗員の視認態様に基づく案内を行うことを特徴とする。

また、請求項５に係る走行支援方法は、車両（５５）の車内に設置された第１撮像装置（１９）により、前記車両の車内からフロントガラス（５２）方向を撮像した第１撮像画像を取得する第１撮像画像取得ステップと、前記車両のフロントガラス前方の車外に設置された第２撮像装置（２０）により、前記第１撮像装置と同一方向を撮像した第２撮像画像を取得する第２撮像画像取得ステップと、前記車両の乗員（５６）の視線が位置する視線位置を検出する視線位置検出ステップと、前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域（７３）であって、前記第１撮像画像のみに前記乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が前記第１撮像画像内において、前記車両の走行する道路の路面（８４）内又は路面外のいずれに位置するか判定する特徴物位置判定ステップと、前記特徴物位置判定ステップによって前記特徴物の位置が前記車両の走行する道路の路面外にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員がフロントガラスを視認していると特定する第１視認領域特定ステップと、前記特徴物位置判定ステップによって前記特徴物の位置が前記車両の走行する道路の路面内にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、前記乗員がフロントガラスを視認していると特定する第２視認領域特定ステップと、前記第１視認領域特定ステップ及び前記第２視認領域特定ステップにより特定された前記乗員の視認態様に基づく案内を行う案内ステップと、を有することを特徴とする。

更に、請求項６に係るコンピュータプログラムは、コンピュータに、車両（５５）の車内に設置された第１撮像装置（１９）により、前記車両の車内からフロントガラス（５２）方向を撮像した第１撮像画像を取得する第１撮像画像取得機能と、前記車両のフロントガラス前方の車外に設置された第２撮像装置（２０）により、前記第１撮像装置と同一方向を撮像した第２撮像画像を取得する第２撮像画像取得機能と、前記車両の乗員（５６）の視線が位置する視線位置を検出する視線位置検出機能と、前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域（７３）であって、前記第１撮像画像のみに前記乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が前記第１撮像画像内において、前記車両の走行する道路の路面（８４）内又は路面外のいずれに位置するか判定する特徴物位置判定機能と、前記特徴物位置判定機能によって前記特徴物の位置が前記車両の走行する道路の路面外にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員がフロントガラスを視認していると特定する第１視認領域特定機能と、前記特徴物位置判定機能によって前記特徴物の位置が前記車両の走行する道路の路面内にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、前記乗員がフロントガラスを視認していると特定する第２視認領域特定機能と、前記第１視認領域特定機能及び前記第２視認領域特定機能により特定された前記乗員の視認態様に基づく案内を行う案内機能と、を実行させることを特徴とする。

前記構成を有する請求項１に記載の走行支援システムによれば、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することが可能となる。特に、第１撮像装置と第２撮像装置とをそれぞれ車内と車外に設置することによって、フロントガラスにある特徴物を検出することが可能となり、検出された特徴物に対する乗員の視線の追従態様によって、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。そして、例えば車外を視認する必要がある状況にも関わらず、乗員がフロントガラスを視認している場合等について脇見運転と判定し、是正することが可能となる。
更に、フロントガラスに特徴物があって、且つ撮像画像内において車両が走行中に画像の変化の多い路面外に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を短くすることによって、乗員の視認判定が容易な状況において迅速に正確な判定を行うことが可能となる。一方、撮像画像内において車両が走行中に画像の変化の少ない路面内に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を長くすることによって、乗員の視認判定が困難な状況においても正確な判定を行うことが可能となる。

また、請求項２に記載の走行支援システムによれば、路面内に特徴物が位置する場合の判定期間は、車両の車速又は車両と前方車両との車間距離によって決定されるので、乗員の視認判定の難易度に基づいて判定に最適な期間を決定することが可能となる。

また、請求項３に記載の走行支援システムによれば、路面内に特徴物が位置する場合の判定期間は、車両の車速が速い程、より短い期間に決定され、車両と前方車両との車間距離が長い程、より短い期間に決定されるので、乗員の視認判定がより容易な状況において、より短い期間を設定することが可能となる。

また、請求項４に記載の走行支援システムによれば、車外に検出された特徴物に対する乗員の視線の追従態様によって、乗員の視認領域が車外にあることを検出することが可能となる。その結果、脇見運転が行われているか否かを正確に判定することが可能となる。

また、請求項５に記載の走行支援方法によれば、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することが可能となる。特に、第１撮像装置と第２撮像装置とをそれぞれ車内と車外に設置することによって、フロントガラスにある特徴物を検出することが可能となり、検出された特徴物に対する乗員の視線の追従態様によって、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。そして、例えば車外を視認する必要がある状況にも関わらず、乗員がフロントガラスを視認している場合等について脇見運転と判定し、是正することが可能となる。
更に、フロントガラスに特徴物があって、且つ撮像画像内において車両が走行中に画像の変化の多い路面外に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を短くすることによって、乗員の視認判定が容易な状況において迅速に正確な判定を行うことが可能となる。一方、撮像画像内において車両が走行中に画像の変化の少ない路面内に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を長くすることによって、乗員の視認判定が困難な状況においても正確な判定を行うことが可能となる。

更に、請求項６に記載のコンピュータプログラムによれば、車両の乗員が視認する領域を特定させることによって、脇見運転が行われているか否かを正確に判定させることが可能となる。特に、第１撮像装置と第２撮像装置とをそれぞれ車内と車外に設置することによって、フロントガラスにある特徴物を検出することが可能となり、検出された特徴物に対する乗員の視線の追従態様によって、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。そして、例えば車外を視認する必要がある状況にも関わらず、乗員がフロントガラスを視認している場合等について脇見運転と判定し、是正することが可能となる。
更に、フロントガラスに特徴物があって、且つ撮像画像内において車両が走行中に画像の変化の多い路面外に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を短くすることによって、乗員の視認判定が容易な状況において迅速に正確な判定を行うことが可能となる。一方、撮像画像内において車両が走行中に画像の変化の少ない路面内に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を長くすることによって、乗員の視認判定が困難な状況においても正確な判定を行うことが可能となる。

本実施形態に係るナビゲーション装置を示したブロック図である。 車両のフロントガラス周辺を示した図である。 車両に設置された第１フロントカメラ、第２フロントカメラ及びドライバカメラを示した図である。 第１フロントカメラによる撮像範囲と第２フロントカメラによる撮像範囲とを比較した図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 本実施形態に係る走行支援処理プログラムのフローチャートである。 共通領域と非共通領域を説明した図である。 視線位置の検出方法について説明した図である。 検出された特徴物と車両が走行する路面との位置関係を示した図である。 従来技術の問題点について説明した図である。

以下、本発明に係る走行支援システムについてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ダッシュボード上に設置され車両のフロントガラスに車両周辺の地図等の各種映像を投影するヘッドアップディスプレイ（ＨＵＤ）１５と、経路案内に関する音声ガイダンスや脇見運転に関する案内等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、から構成される。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１が接続されている。

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２２、車速センサ２３、ステアリングセンサ２４、ジャイロセンサ２５等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２３は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２をハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクにより構成しても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等が記憶された記憶手段である。

また、撮像画像ＤＢ３２は、第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１によって撮像された撮像画像が格納される記憶手段である。
そして、ナビゲーションＥＣＵ１３は、撮像画像ＤＢ３２に格納された撮像画像に基づいて、車内、フロントガラス又は車外にあって運転者の視認対象となる特徴物や運転者の視線位置等を検出する。更に、検出された前方特徴物や運転者の視線位置に基づいて運転者が視認する領域（以下、視認領域という）についても特定する。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図５、図６参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を構成する。例えば、第１撮像画像取得手段は、車両の車内に設置された第１フロントカメラ１９により、車両の車内からフロントガラス方向を撮像した第１撮像画像を取得する。第２撮像画像取得手段は、車両のフロントガラス前方の車外に設置された第２フロントカメラ２０により、第１フロントカメラ１９と同一方向を撮像した第２撮像画像を取得する。視線位置検出手段は、車両の乗員の視線が位置する視線位置を検出する。特徴物位置判定手段は、第１フロントカメラ１９と第２フロントカメラ２０の撮像範囲の共通領域であって、第１撮像画像のみに乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が第１撮像画像内において、車両の走行する道路の路面内又は路面外のいずれに位置するか判定する。第１視認領域特定手段は、特徴物位置判定手段によって特徴物の位置が車両の走行する道路の路面内にあると判定された場合であって、特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合に、乗員がフロントガラスを視認していると特定する。第２視認領域特定手段は、特徴物位置判定手段によって特徴物の位置が車両の走行する道路の路面外にあると判定された場合であって、特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、乗員がフロントガラスを視認していると特定する。案内手段は、第１視認領域特定手段及び第２視認領域特定手段により特定された乗員の視認態様に基づく案内を行う。第３視認領域特定手段は、第１フロントカメラ１９と第２フロントカメラ２０の撮像範囲の共通領域であって、第１撮像画像及び第２撮像画像の両方に特徴物と異なる他の特徴物を含む場合において、該他の特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合に、乗員が車外を視認していると特定する。

操作部１４は、走行開始地点としての出発地、走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４はハンドルに設けたタッチパッドによって構成することもできる。また、マイクと音声認識装置によって構成することもできる。

また、ＨＵＤ１５は、図２に示すようにダッシュボード５１上に設置されており、映像の投射方向が運転席の前方のフロントガラス５２の下縁付近となるように設定されている。そして、フロントガラス５２の所定領域に対して各種投影画像５３を表示する。尚、投影画像５３としては、メニュー画面、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等がある。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に脇見運転に関する案内についても出力する。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、第１フロントカメラ１９は、図３に示すようにナビゲーション装置１が搭載された車両５５の天井に、車両５５の車内からフロントガラス５２方向を撮像するように設置される。一方、第２フロントカメラ２０は、図３に示すようにナビゲーション装置１が搭載された車両５５の車外のフロントノズル周辺に、第１フロントカメラ１９と同一方向を撮像するように設置される。

そして、第１フロントカメラ１９は車両５５の進行方向前方の周辺環境を、車両５５のフロントガラス５２を介して撮影する。また、フロントガラス５２周辺の車内についても第１フロントカメラ１９の撮像範囲に含まれる。一方、第２フロントカメラ２０は車両５５の進行方向方の周辺環境を、車両５５のフロントガラス５２を介さずに撮影する。また、第１フロントカメラ１９の設置位置は運転者５６の目の位置（視線開始点）と略同一となるように調整される。更に、第１フロントカメラ１９の画角は運転者５６の視野角よりも広くなるように設定する。その結果、正面を向く運転者５６が視認できる範囲（視野領域）を少なくとも含む範囲が撮像可能に構成されている。一方、第２フロントカメラ２０は、正面を向く運転者５６がフロントガラスを介して視認できる車両５５の進行方向前方の周辺環境の範囲を少なくとも含む範囲が撮像可能に構成されている。

ここで、図４は第１フロントカメラ１９による撮像範囲と第２フロントカメラ２０による撮像範囲とを比較した図である。図４に示すように第１フロントカメラ１９による撮像範囲６１は、フロントガラス５２を介して運転者から視認できる周辺環境６２、フロントガラス５２に投影された投影画像５３及び車両内に配置されたメータ類６３、車載器６４等を含む範囲となる。一方、第２フロントカメラ２０による撮像範囲６５は、投影画像５３等を含まず、フロントガラス５２を介して運転者から視認できる周辺環境６２のみとなる。また、図４では、第２フロントカメラ２０の撮像範囲６５の全体が第１フロントカメラ１９の撮像範囲６１に含まれることとなっているが、一部のみを含む構成としても良い。但し、第２フロントカメラ２０の撮像範囲６５には、第１フロントカメラ１９の撮像範囲６１中のフロントガラス５２を介して視認できる周辺環境６２については少なくとも含むようにする。
そして、ナビゲーションＥＣＵ１３は、後述のように第１フロントカメラ１９や第２フロントカメラ２０により撮像した撮像画像に基づいて、運転者に視認対象となる特徴物（人、他車両、投影画像５３、メータ類６３、車載器６４等）を検出する。

また、ドライバカメラ２１は、例えばＣＣＤ等の固体撮像素子を用いたものであり、図３に示すように車両５５のダッシュボード５１の上面に取り付けられ、撮像方向を運転席に向けて設置される。そして、運転席に座った運転者５６の顔を撮像する。また、ナビゲーションＥＣＵ１３は、後述のようにドライバカメラ２１により撮像した撮像画像から運転者５６の目の位置（視線開始点）や視線方向を検出する。

続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する走行支援処理プログラムについて図５及び図６に基づき説明する。図５及び図６は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは、車両のＡＣＣがＯＮされた後に実行され、第１フロントカメラ１９や第２フロントカメラ２０によって撮像された画像から運転者によって視認対象となる特徴物を検出するとともに、検出された特徴物や運転者の視線位置から運転者の視認領域を特定し、脇見運転に関する警告を行うプログラムである。尚、以下の図５及び図６にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、直近に第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１で撮像された撮像画像を撮像画像ＤＢ３２からそれぞれ取得する。

次に、Ｓ２においてＣＰＵ４１は、第１フロントカメラ１９の撮像画像の内、第２フロントカメラ２０と撮像範囲が共通する領域（以下、共通領域という）を特定する。例えば、図７に示す第１フロントカメラ１９により撮像された撮像画像７１と第２フロントカメラ２０により撮像された撮像画像７２とが前記Ｓ１で取得された場合には、撮像画像７１の内、撮像画像７２と撮像内容が重複する範囲（具体的にはフロントガラスを介して前方環境が撮像されている領域）に共通領域７３が設定される。

続いて、Ｓ３においてＣＰＵ４１は、ドライバカメラ２１の撮像画像に基づいて、運転者の視線が位置する視線位置を特定する。以下に、Ｓ３の処理の詳細について説明する。

先ずＣＰＵ４１は、前記Ｓ１で取得したドライバカメラ２１の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。ドライバカメラ２１は前記したように車両のインストルメントパネルに設置され、撮像方向を運転席に向けて設置されており（図３）、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。次に、ＣＰＵ４１は、図８に示すように、視線開始点Ｐから視線方向αへと延長した直線と検出面７５との交点を視線位置Ｑとする。そして、視線位置Ｑは検出面７５上を座標系としたＸ座標及びＹ座標によって特定される。尚、特に本実施形態では、検出面７５は第１フロントカメラ１９の撮像面とする。即ち、前記Ｓ３で特定された視線位置は、第１フロントカメラ１９で撮像された撮像画像中において特定された視線位置に相当する。尚、前記Ｓ３で特定された運転者の視線位置はフラッシュメモリ４４等の記憶媒体に累積的に記憶される。

その後、Ｓ４においてＣＰＵ４１は、前記Ｓ１で取得された第１フロントカメラ１９及び第２フロントカメラ２０の各撮像画像に対して画像処理を行うことによって、撮像画像に含まれる特徴物について検出する。尚、“特徴物”は道路を走行する車両の運転者が認視する対象となる物であり、例えば車外にある他車両、人、信号機、道路標識、案内板、ランドマークの他、フロントガラス５２にある投影画像５３（図２）、車内にあるメータ類、車載器等がある。また、特徴物の検出には、例えば公知のテンプレートマッチング処理や特徴点検出処理等が用いられる。尚、撮像画像に含まれる特徴物が複数ある場合には、複数の特徴物についてそれぞれ検出する。

その後、Ｓ５においてＣＰＵ４１は、前記Ｓ４の特徴物検出結果に基づいて、第１フロントカメラ１９で撮像された撮像画像において、前記Ｓ２で設定された共通領域に少なくとも一以上の特徴物が検出されたか否か判定する。

そして、共通領域に特徴物が検出されたと判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、共通領域に特徴物が検出されなかったと判定された場合（Ｓ５：ＮＯ）には、案内を行うことなく当該走行支援処理プログラムを終了する。

Ｓ６においてＣＰＵ４１は、共通領域に検出された特徴物の内、第１フロントカメラ１９により撮像された撮像画像のみに検出され、第２フロントカメラ２０により撮像された撮像画像では検出されなかった特徴物があるか否か判定される。

そして、第１フロントカメラ１９により撮像された撮像画像のみに検出された特徴物があると判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行する。その場合には、特徴物は共通領域にあるにも関わらず車外に設置された第２フロントカメラ２０では撮像できていないこととから、検出された該特徴物はフロントガラスにあると推定できる。それに対して、第１フロントカメラ１９により撮像された撮像画像のみに検出された特徴物が無いと判定された場合（Ｓ６：ＮＯ）には、案内を行うことなく当該走行支援処理プログラムを終了する。

Ｓ７においてＣＰＵ４１は、第１フロントカメラ１９により撮像された撮像画像のみに検出された特徴物が、その撮像画像内において、車両の走行する道路の路面内に位置するか否かを判定する。例えば、図９に示す第１フロントカメラ１９により撮像された撮像画像７１が前記Ｓ１で取得された場合には、共通領域において信号機８１、歩行者８２、ＨＵＤ１５により投影された投影画像８３等が特徴物としてそれぞれ検出される。この内、第１フロントカメラ１９により撮像された撮像画像のみに検出されるのは、フロントガラスにある投影画像８３となる。従って、上記Ｓ７では投影画像８３が車両の走行する道路の路面８４内にあるか否かが判定されることとなる。

そして、特徴物が撮像画像内において車両の走行する道路の路面内に位置すると判定された場合（Ｓ７：ＹＥＳ）には、Ｓ１４へと移行する。それに対して、特徴物が撮像画像内において車両の走行する道路の路面外に位置すると判定された場合（Ｓ７：ＮＯ）には、Ｓ８へと移行する。

Ｓ８においてＣＰＵ４１は、前記Ｓ３で取得した運転者の視線位置と前記Ｓ４の特徴物検出結果に基づいて、路面外にあると判定された特徴物に運転者の視線が追従しているか否か判定する。具体的には、以下の処理によって特徴物に運転者の視線が追従しているか否か判定する。

先ず、ＣＰＵ４１は、前記Ｓ４で特徴物を検出した撮像画像の撮像タイミングであるＴ_ｎの次の撮像タイミング（例えば１フレーム後）のＴ_ｎ＋１において、第１フロントカメラ１９や第２フロントカメラ２０によって撮像された撮像画像を改めて取得する。そして、取得された撮像画像に対して前記Ｓ４と同様に特徴物の検出処理を行い、前記Ｓ７で路面外にあると判定された特徴物の位置を検出する。同様に、ドライバカメラ２１の撮像画像からＴ_ｎ＋１における運転者の視線位置について取得する。その後、時刻Ｔ_ｎのタイミングにおいて特徴物の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎからＴ_ｎ＋１の間における両者の位置変位が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。そして、時刻Ｔ_ｎのタイミングにおいて特徴物の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎからＴ_ｎ＋１の間における両者の位置変位が一致していると判定された場合に、特徴物を運転者の視線が追従していると推定する。尚、特徴物の周囲の映像が変化している（即ち車両の走行中）であることを前記Ｓ８の条件に追加しても良い。また、Ｔ_ｎからＴ_ｎ＋１の間において特徴物が車両の走行する道路の路面外から路面内へと移動した場合には、後述のＳ１４へと移行するのではなくＳ８の判定処理を行う。

そして、路面外にあると判定された特徴物に運転者の視線が追従していると判定された場合（Ｓ８：ＹＥＳ）には、Ｓ９へと移行する。それに対して、路面外にあると判定された特徴物に運転者の視線が追従していないと判定された場合（Ｓ８：ＮＯ）には、Ｓ１１へと移行する。

Ｓ９においてＣＰＵ４１は、フロントガラスにある特徴物を運転者の視線が追従していることから、運転者はフロントガラスを視認しており、進行方向前方の車外を視認していない、即ち脇見運転を行っていると判定する。

その後、Ｓ１０においてＣＰＵ４１は、視認領域を車外とする（即ち、車外を見る）ことを促す案内を行う。例えば、「前方に注意して下さい。」等の音声をスピーカ１６から出力する。

一方、Ｓ１１においてＣＰＵ４１は、共通領域に検出された特徴物の内、第１フロントカメラ１９で撮像された撮像画像と第２フロントカメラ２０で撮像された撮像画像の両方から検出された他の特徴物があるか否か判定される。

そして、第１フロントカメラ１９で撮像された撮像画像と第２フロントカメラ２０で撮像された撮像画像の両方から検出された他の特徴物があると判定された場合（Ｓ１１：ＹＥＳ）には、Ｓ１２へと移行する。その場合には、フロントガラス以外に車外にも特徴物があると推定できる。それに対して、第１フロントカメラ１９で撮像された撮像画像と第２フロントカメラ２０で撮像された撮像画像の両方から検出された他の特徴物が無いと判定された場合（Ｓ１１：ＮＯ）には、運転者は唯一の特徴物があるフロントガラスを視認している可能性が高いと推定し、脇見運転を行っていると判定する（Ｓ９）。

Ｓ１２においてＣＰＵ４１は、前記Ｓ３で取得した運転者の視線位置と前記Ｓ４の特徴物検出結果に基づいて、車外にあると判定された他の特徴物に運転者の視線が追従しているか否か判定する。尚、具体的な判定方法については、前記Ｓ８と同様であるので説明は省略する。

そして、車外にあると判定された他の特徴物に運転者の視線が追従していると判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、車外にあると判定された特徴物にも運転者の視線が追従していないと判定された場合（Ｓ８：ＮＯ）には、運転者がフロントガラスを視認していると断定できないが、少なくともフロントガラスを視認している可能性があることから、脇見運転を行っていると判定する（Ｓ９）。

Ｓ１３においてＣＰＵ４１は、車外にある特徴物を運転者の視線が追従していることから、運転者が進行方向前方の車外を視認している、即ち脇見運転を行っていないと判定する。従って、案内を行うことなく当該走行支援処理プログラムを終了する。

一方、Ｓ１４においてＣＰＵ４１は、車両の現在の車速及び前方車両との車間距離を取得する。尚、車両の現在の車速は車速センサ２３の検出結果に基づいて取得する。また、前方車両との車間距離は、第２フロントカメラ２０の撮像画像に対して画像処理を行うことや車両の前面に配置された測距センサ等によって検出される。

次に、Ｓ１５においてＣＰＵ４１は、前記Ｓ１３で取得された車両の現在の車速及び前方車両との車間距離に基づいて、判定時間Ｔ_ｘを設定する。ここで、判定時間Ｔ_ｘは、後述のように車両の走行する道路の路面内にあると判定された特徴物の運転者の視認判定に用いられる時間であり、判定時間Ｔ_ｘ以上継続して特徴物を運転者の視線が追従していれば、運転者が特徴物を視認している（即ち、フロントガラスを視認している）と推定される。尚、判定時間Ｔ_ｘの値は、車速と車間距離との組み合わせと判定時間Ｔ_ｘが対応付けられたテーブルによって決定される。尚、該テーブルでは、車両の車速が速い程、判定時間Ｔ_ｘがより短い期間となり、前方車両との車間距離が長い程、判定時間Ｔ_ｘがより短い期間となるように規定されている。

次に、Ｓ１６においてＣＰＵ４１は、前記Ｓ３で取得した運転者の視線位置と前記Ｓ４の特徴物検出結果に基づいて、前記Ｓ４で特徴物を検出した撮像画像の撮像タイミングであるＴ_ｎにおいて特徴物の位置と運転者の視線位置が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。

そして、Ｔ_ｎにおいて特徴物の位置と運転者の視線位置が一致していると判定された場合（Ｓ１６：ＹＥＳ）には、Ｓ１７へと移行する。それに対して、Ｔ_ｎにおいて特徴物の位置と運転者の視線位置が一致していないと判定された場合（Ｓ８：ＮＯ）には、フロントガラスにある特徴物を運転者が明らかに視認していないことから、車外を視認している可能性が高いと推定し、Ｓ２５へと移行する。

Ｓ１７においてＣＰＵ４１は、経過時間Ｔのカウントを開始する。

続いて、Ｓ１８においてＣＰＵ４１は、第１フロントカメラ１９や第２フロントカメラ２０で撮像された撮像画像に基づいて、前記Ｓ７で車両の走行する道路の路面内にあると判定された特徴物が、路面内から路面外へと移動したか否かを判定する。

そして、特徴物が路面内から路面外へと移動したと判定された場合（Ｓ１８：ＹＥＳ）には、Ｓ１９へと移行する。それに対して、特徴物が路面内に継続して位置すると判定された場合（Ｓ１８：ＮＯ）には、Ｓ２０へと移行する。

Ｓ１９においてＣＰＵ４１は、前記Ｓ１７でカウントを開始した経過時間Ｔを初期化する。その後、Ｓ８へと移行し、路面外に位置する特徴物を運転者の視線が追従しているか否かの判定を行う。

一方、Ｓ２０においてＣＰＵ４１は、前記Ｓ１７でカウントを開始した経過時間Ｔが、前記Ｓ１５で設定された判定時間Ｔ_ｘ以上となったか否かを判定する。

そして、経過時間Ｔが判定時間Ｔ_ｘ以上となったと判定された場合（Ｓ２０：ＹＥＳ）には、Ｓ２１へと移行する。それに対して、経過時間Ｔが判定時間Ｔ_ｘ未満であると判定された場合（Ｓ２０：ＮＯ）には、Ｓ１８へと戻る。

Ｓ２１においてＣＰＵ４１は、時刻Ｔ_ｎからＴ_ｎ＋Ｔ_ｘの間（即ち、Ｔ_ｘが経過するまでの間）における特徴物の位置と運転者の視線位置の位置変位が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。

そして、時刻Ｔ_ｎからＴ_ｎ＋Ｔ_ｘの間における特徴物の位置と運転者の視線位置の位置変位が一致していると判定された場合（Ｓ２１：ＹＥＳ）には、Ｓ２２へと移行する。それに対して、時刻Ｔ_ｎからＴ_ｎ＋Ｔ_ｘの間における特徴物の位置と運転者の視線位置の位置変位が一致しないと判定された場合（Ｓ２１：ＮＯ）には、Ｓ２４へと移行する。

Ｓ２２においてＣＰＵ４１は、フロントガラスにある特徴物を運転者の視線が追従していることから、運転者はフロントガラスを視認しており、進行方向前方の車外を視認していない、即ち脇見運転を行っていると判定する。

その後、Ｓ２３においてＣＰＵ４１は、視認領域を車外とする（即ち、車外を見る）ことを促す案内を行う。例えば、「前方に注意して下さい。」等の音声をスピーカ１６から出力する。

一方、Ｓ２４においてＣＰＵ４１は、前記Ｓ７で車両の走行する道路の路面内にあると判定された特徴物の周辺に運転者の視線位置があるか否か判定する。

そして、特徴物の周辺に運転者の視線位置があると判定された場合（Ｓ２４：ＹＥＳ）には、Ｓ１７へと移行する。その後、経過時間Ｔのカウントを改めて開始し、Ｔ_ｘが経過するまでの間における特徴物の位置と運転者の視線位置の位置変位が一致しているか否かを再度判定する。

それに対して、特徴物の周辺に運転者の視線位置がないと判定された場合（Ｓ２４：ＮＯ）、即ち、運転者が特徴物と明らかに異なる場所を視認していると判定された場合には、Ｓ２５へと移行する。

Ｓ２５においてＣＰＵ４１は、フロントガラスにある特徴物の位置と運転者の視線位置が一旦は一致したものの、その後、運転者の視線は特徴物を追従していない又は途中で追従を中止したことから、フロントガラスにある特徴物を運転者が視認している可能性は低いと推定する。即ち、ＣＰＵ４１は運転者が進行方向前方の車外を視認している、即ち脇見運転を行っていないと判定する。従って、案内を行うことなく当該走行支援処理プログラムを終了する。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１、ナビゲーション装置１による走行支援方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の車内に設置された第１フロントカメラ１９と車外に設置された第２フロントカメラ２０により夫々同一方向を撮像するとともに、車両の乗員の視線位置を検出し（Ｓ１〜Ｓ３）、第１フロントカメラ１９と第２フロントカメラ２０の撮像範囲の共通領域に特徴物が位置するとともに、第１フロントカメラ１９のみに特徴物の画像を含む場合において、該特徴物の位置が撮像画像内において、車両の走行する道路の路面内又は路面外のいずれに位置するか判定し（Ｓ７）、特徴物が路面外にあると判定された場合には、特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合に、乗員がフロントガラスを視認していると特定し（Ｓ９）、一方、特徴物が路面内にあると判定された場合には、特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、乗員がフロントガラスを視認していると特定し（Ｓ２２）、その後に特定された乗員の視認態様に基づく案内を行う（Ｓ１０、Ｓ２３）ので、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することが可能となる。特に、第１フロントカメラ１９と第２フロントカメラ２０とをそれぞれ車内と車外に設置することによって、フロントガラス５２にある特徴物を検出することが可能となり、検出された特徴物に対する乗員の視線の追従態様によって、乗員の視認領域がフロントガラス５２にあることについても検出することが可能となる。そして、例えば車外を視認する必要がある状況にも関わらず、乗員がフロントガラス５２を視認している場合等について脇見運転と判定し、是正することが可能となる。
更に、フロントガラス５２に特徴物があって、且つ撮像画像内において車両が走行中に画像の変化の多い路面外に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を短くすることによって、乗員の視認判定が容易な状況において迅速に正確な判定を行うことが可能となる。一方、撮像画像内において車両が走行中に画像の変化の少ない路面内に該特徴物が位置する場合には、乗員の視線判定を行う為の判定期間を長くすることによって、乗員の視認判定が困難な状況においても正確な判定を行うことが可能となる。
また、路面内に特徴物が位置する場合の判定時間Ｔ_ｘは、車両の車速又は車両と前方車両との車間距離によって決定されるので、乗員の視認判定の難易度に基づいて判定に最適な期間を決定することが可能となる。
また、路面内に特徴物が位置する場合の判定時間Ｔ_ｘは、車両の車速が速い程、より短い期間に決定され、車両と前方車両との車間距離が長い程、より短い期間に決定されるので、乗員の視認判定がより容易な状況において、より短い期間を設定することが可能となる。
また、車外に検出された特徴物に対して乗員の視線が追従している場合には乗員の視認領域は車外にあると判定される（Ｓ１３）ので、車外に検出された特徴物に対する乗員の視線の追従態様によって、乗員の視認領域が車外にあることを検出することが可能となる。その結果、脇見運転が行われているか否かを正確に判定することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、判定時間Ｔ_ｘは、車両の現在の車速及び前方車両との車間距離の両方に基づいて設定されることとしているが、車両の現在の車速及び前方車両との車間距離のいずれか一方のみに基づいて判定時間Ｔ_ｘを設定しても良い。

また、本発明はナビゲーション装置以外に、他の車載器や端末装置に対して適用することが可能である。例えば、端末装置としては携帯電話機やスマートフォン等の携帯端末、パーソナルコンピュータ、タブレット型端末等がある。但し、端末装置に適用する場合には第１フロントカメラ１９や第２フロントカメラ２０の撮像画像が取得できるように車載器に接続する構成とする。また、サーバと端末装置等から構成されるシステムに対しても適用することが可能となる。その場合には、上述した走行支援処理プログラム（図５、図６）の各ステップは、サーバと端末装置のいずれが実施する構成としても良い。

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
１９ 第１フロントカメラ
２０ 第２フロントカメラ
２１ ドライバカメラ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５２ フロントガラス
５３ 投影画像
５５ 車両
５６ 運転者

Claims (6)

1. 車両の車内に設置された第１撮像装置により、前記車両の車内からフロントガラス方向を撮像した第１撮像画像を取得する第１撮像画像取得手段と、
   前記車両のフロントガラス前方の車外に設置された第２撮像装置により、前記第１撮像装置と同一方向を撮像した第２撮像画像を取得する第２撮像画像取得手段と、
   前記車両の乗員の視線が位置する視線位置を検出する視線位置検出手段と、
   前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域であって、前記第１撮像画像のみに前記乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が前記第１撮像画像内において、前記車両の走行する道路の路面内又は路面外のいずれに位置するか判定する特徴物位置判定手段と、
   前記特徴物位置判定手段によって前記特徴物の位置が前記車両の走行する道路の路面外にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員がフロントガラスを視認していると特定する第１視認領域特定手段と、
   前記特徴物位置判定手段によって前記特徴物の位置が前記車両の走行する道路の路面内にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、前記乗員がフロントガラスを視認していると特定する第２視認領域特定手段と、
   前記第１視認領域特定手段及び前記第２視認領域特定手段により特定された前記乗員の視認態様に基づく案内を行う案内手段と、を有することを特徴とする走行支援システム。
2. 前記所定時間は、前記車両の車速又は前記車両と前方車両との車間距離によって決定されることを特徴とする請求項１に記載の走行支援システム。
3. 前記所定時間は、
   前記車両の車速が速い程、より短い期間に決定され、
   前記車両と前方車両との車間距離が長い程、より短い期間に決定されることを特徴とする請求項２に記載の走行支援システム。
4. 前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域であって、前記第１撮像画像及び前記第２撮像画像の両方に前記特徴物と異なる他の特徴物を含む場合において、該他の特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員が車外を視認していると特定する第３視認領域特定手段を有し、
   前記案内手段は、前記第３視認領域特定手段により特定された前記乗員の視認態様に基づく案内を行うことを特徴とする請求項１乃至請求項３のいずれかに記載の走行支援システム。
5. 車両の車内に設置された第１撮像装置により、前記車両の車内からフロントガラス方向を撮像した第１撮像画像を取得する第１撮像画像取得ステップと、
   前記車両のフロントガラス前方の車外に設置された第２撮像装置により、前記第１撮像装置と同一方向を撮像した第２撮像画像を取得する第２撮像画像取得ステップと、
   前記車両の乗員の視線が位置する視線位置を検出する視線位置検出ステップと、
   前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域であって、前記第１撮像画像のみに前記乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が前記第１撮像画像内において、前記車両の走行する道路の路面内又は路面外のいずれに位置するか判定する特徴物位置判定ステップと、
   前記特徴物位置判定ステップによって前記特徴物の位置が前記車両の走行する道路の路面外にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員がフロントガラスを視認していると特定する第１視認領域特定ステップと、
   前記特徴物位置判定ステップによって前記特徴物の位置が前記車両の走行する道路の路面内にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、前記乗員がフロントガラスを視認していると特定する第２視認領域特定ステップと、
   前記第１視認領域特定ステップ及び前記第２視認領域特定ステップにより特定された前記乗員の視認態様に基づく案内を行う案内ステップと、を有することを特徴とする走行支援方法。
6. コンピュータに、
   車両の車内に設置された第１撮像装置により、前記車両の車内からフロントガラス方向を撮像した第１撮像画像を取得する第１撮像画像取得機能と、
   前記車両のフロントガラス前方の車外に設置された第２撮像装置により、前記第１撮像装置と同一方向を撮像した第２撮像画像を取得する第２撮像画像取得機能と、
   前記車両の乗員の視線が位置する視線位置を検出する視線位置検出機能と、
   前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域であって、前記第１撮像画像のみに前記乗員によって視認する対象となる特徴物の画像を含む場合において、該特徴物の位置が前記第１撮像画像内において、前記車両の走行する道路の路面内又は路面外のいずれに位置するか判定する特徴物位置判定機能と、
   前記特徴物位置判定機能によって前記特徴物の位置が前記車両の走行する道路の路面外にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合に、前記乗員がフロントガラスを視認していると特定する第１視認領域特定機能と、
   前記特徴物位置判定機能によって前記特徴物の位置が前記車両の走行する道路の路面内にあると判定された場合であって、前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が所定時間以上継続した場合に、前記乗員がフロントガラスを視認していると特定する第２視認領域特定機能と、
   前記第１視認領域特定機能及び前記第２視認領域特定機能により特定された前記乗員の視認態様に基づく案内を行う案内機能と、
   を実行させることを特徴とするコンピュータプログラム。

Images