JP2009031065A - 車両用情報案内装置、車両用情報案内方法及びコンピュータプログラム - Google Patents

Abstract

【課題】運転者にとって有益な施設情報のみを確実に案内する車両用情報案内装置、車両用情報案内方法及びコンピュータプログラムを提供する。
【解決手段】車両５１を運転する運転者５３の視線方向Ｅを車内カメラ２２の撮像画像から検出し、特に注視中の運転者５３の視線方向Ｅに有る施設を案内対象候補として検出するとともに、検出された案内対象候補の施設の内から運転者５３によって予め選択されたジャンルに該当する施設のみを案内するように構成する。
【選択図】図５

Description

本発明は、車両の乗員に施設を案内する車両用情報案内装置、車両用情報案内方法及びコンピュータプログラムに関する。

従来より、車載用のナビゲーション装置、ＰＤＡ（Personal Digital Assistant）や携帯電話機などの携帯情報機器、パーソナルコンピュータ等では、地図情報として一般道路及び高速道路等の道路や施設名称等を各種記憶デバイスに記憶するか、又はサーバ等からダウンロードすることにより、利用者に対して所望のエリアの地図を表示することが可能となっている。

更に、従来のナビゲーション装置等では地図を表示するのみでなく、利用者の利便性をより向上させる為に、表示された道路の近辺に存在する施設（ショッピングセンタ、レストラン等）に関する情報（施設名称、提供する料理の種類、営業時間等）を案内することについても行われていた。しかし、車両周辺に施設が多数ある場合に、その全ての施設についての案内を行うことは乗員にとって煩わしく、運転者の集中力を低下させる原因ともなっていた。

そこで、乗員が必要とする施設の案内のみを行う技術として、例えば特開平１１−２８８３４１号公報には、乗員の視線方向を検出し、その視線方向から乗員の注視する施設を特定してその施設の案内を行うナビゲーション装置について記載されている。
特開平１１−２８８３４１号公報（第４頁〜第６頁、図８、図９）

前記した特許文献１に記載されたナビゲーション装置では、乗員の視線方向のみに基づいて乗員の注視する施設を特定する。しかし、乗員が対象物を注視する際には、先ず、乗員の視線が前方から徐々に対象物へと向けられ、その後、再び前方へと徐々に移動するものであるので、どのタイミングの視線方向にある施設が本来乗員が注視し、案内を希望する施設であるのかを判定することは難しい。
そして、前記した特許文献１に記載されたナビゲーション装置では、乗員の視線方向に対して複数の施設がある場合には、その複数の施設の内、いずれの施設の案内を乗員が希望しているのかを特定することができなかった。特に、一つの建物内で複数の施設が営業を行っている商業ビルが視線方向にある場合や、商店街などの複数の施設が隣接して営業を行っている施設群が視線方向にある場合には、いずれの施設の案内を乗員が希望しているのかを特定することが非常に困難である。従って、依然として乗員が必要としない施設についても案内が行われる結果となっていた。

本発明は前記従来における問題点を解消するためになされたものであり、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性を向上させた車両用情報案内装置、車両用情報案内方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る車両用情報案内装置（１）は、施設のジャンルを選択するジャンル選択手段（１４）と、車両の乗員の視線方向を検出する視線方向検出手段（１３）と、所定期間内の前記視線方向検出手段により検出された乗員の視線方向にある施設を検出する施設検出手段（１３）と、前記施設検出手段によって検出された施設の内、前記ジャンル選択手段で選択されたジャンルに対応する施設を特定する施設特定手段（１３）と、前記施設特定手段によって特定された施設を案内する施設案内手段（１３）と、を有することを特徴とする。
ここで、「施設のジャンル」とは、施設において販売する商品の種類、提供するサービスの種類、営業形態、経営会社等によって区別される。

また、請求項２に係る車両用情報案内装置（１）は、請求項１に記載の車両用情報案内装置であって、車両の現在位置及び方位を検出する車両情報検出手段（１３）と、地図上における施設の位置を取得する施設位置取得手段（１３）と、を有し、前記施設検出手段（１３）は、前記車両の現在位置及び方位と前記乗員の視線方向と前記地図上における施設の位置とに基づいて乗員の視線方向にある施設を検出することを特徴とする。

また、請求項３に係る車両用情報案内装置（１）は、請求項１又は請求項２に記載の車両用情報案内装置であって、乗員の音声を認識する音声認識手段（１３）と、前記視線方向検出手段により検出された視線方向を記憶する記憶手段（３７）と、を有し、前記施設検出手段（１３）は前記音声認識手段によって乗員の音声を認識した場合に、前記記憶手段に記憶されている音声認識前の所定期間の視線方向にある施設を検出することを特徴とする。

また、請求項４に係る車両用情報案内装置（１）は、請求項１又は請求項２に記載の車両用情報案内装置であって、乗員の音声を認識する音声認識手段（１３）を有し、前記施設検出手段（１３）は前記音声認識手段によって乗員の音声を認識している間の乗員の視線方向にある施設を検出することを特徴とする。

また、請求項５に係る車両用情報案内方法は、施設のジャンルを選択するジャンル選択ステップ（Ｓ１２）と、車両の乗員の視線方向を検出する視線方向検出ステップ（Ｓ３）と、所定期間内の前記視線方向検出ステップにより検出された乗員の視線方向にある施設を検出する施設検出ステップ（Ｓ１０）と、前記施設検出ステップによって検出された施設の内、前記ジャンル選択ステップで選択されたジャンルに対応する施設を特定する施設特定ステップ（Ｓ１２）と、前記施設特定ステップによって特定された施設を案内する施設案内ステップ（Ｓ１４）と、を有することを特徴とする。

更に、請求項６に係るコンピュータプログラムは、コンピュータに搭載され、施設のジャンルを選択するジャンル選択機能（Ｓ１２）と、車両の乗員の視線方向を検出する視線方向検出機能（Ｓ３）と、所定期間内の前記視線方向検出機能により検出された乗員の視線方向にある施設を検出する施設検出機能（Ｓ１０）と、前記施設検出機能によって検出された施設の内、前記ジャンル選択機能で選択されたジャンルに対応する施設を特定する施設特定機能（Ｓ１２）と、前記施設特定機能によって特定された施設を案内する施設案内機能（Ｓ１４）と、を実行させることを特徴とする。

前記構成を有する請求項１に記載の車両用情報案内装置によれば、乗員の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから乗員が案内を希望する施設を特定することが可能となる。従って、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。

また、請求項２に記載の車両用情報案内装置によれば、車両の現在位置や方位や地図上の施設の位置情報を用いることによって、車両に対する相対的な乗員の視線方向から絶対的な乗員の視線方向の検出が可能となり、乗員の視線方向にある施設を地図上で正確に特定することができる。

また、請求項３に記載の車両用情報案内装置によれば、音声認識前の所定期間における乗員の視線方向にある施設を検出するので、乗員が注視した施設の案内を希望する際に、乗員の所望するタイミングで複雑な操作を必要とせずに施設の情報を取得することが可能となる。

また、請求項４に記載の車両用情報案内装置によれば、乗員の音声が認識されている間において乗員の視線方向にある施設を検出して案内対象の施設候補とするので、乗員が注視して案内を必要とする施設をより正確に特定することが可能となる。

また、請求項５に記載の車両用情報案内方法によれば、乗員の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから乗員が案内を希望する施設を特定することが可能となる。従って、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。

更に、請求項６に記載のコンピュータプログラムによれば、乗員の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから乗員が案内を希望する施設を特定させるようにコンピュータを制御することが可能となる。従って、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。

以下、本発明に係る車両用情報案内装置についてナビゲーション装置に具体化した第１及び第２実施形態に基づき図面を参照しつつ詳細に説明する。

〔第１実施形態〕
先ず、第１実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係るナビゲーション装置１の概略構成図である。
図１に示すように第１実施形態に係るナビゲーション装置１は、自車の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ（視線方向検出手段、施設検出手段、施設特定手段、施設案内手段、車両位置検出手段、施設位置取得手段）１３と、操作者からの操作を受け付ける操作部（ジャンル選択手段）１４と、操作者に対して自車周辺の地図や施設に関する施設情報を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや施設に関する案内音声を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、交通情報センタ等の情報センタとの間で通信を行う通信モジュール１８と、運転者の発話音声を解析する音声認識部（音声認識手段）１９とから構成されている。また、ナビゲーションＥＣＵ１３には、自車の走行速度を検出する車速センサ２０と、運転者の発話音声を録取するマイク２１と、車内で運転者の顔を撮像する車内カメラ２２が接続される。

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ３１、地磁気センサ３２、距離センサ３３、ステアリングセンサ３４、方位検出部としてのジャイロセンサ３５、高度計（図示せず）等からなり、現在の自車の位置、方位等を検出することが可能となっている。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３６、後述のナビゲーションＥＣＵ１３により検出された運転者の視線方向を累積的に記憶する視線方向ＤＢ（記憶手段）３７、所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。

ここで、地図情報ＤＢ３６は、経路案内、交通情報案内及び地図表示に必要なデータが記録されている。具体的には、道路（リンク）形状に関するリンクデータ３８、ノード点に関するノードデータ、各交差点に関する交差点データ、経路を探索するための探索データ、施設に関する施設データ３９、地点を検索するための検索データ、地図、道路、交通情報等の画像を液晶ディスプレイ１５に描画するための画像描画データ等から構成されている。

ここで、特に、第１実施形態に係るナビゲーション装置１に記憶される施設データ３９について図２を用いて説明する。
図２に示すように施設データ３９は、地図上に位置する各種施設について、識別情報としての施設ＩＤと、施設のジャンル（飲食店、イタリア料理、中華料理、書店、コンビニ等）と、施設が位置する位置座標（ｘ、ｙ）と、施設を案内する案内文とが記憶される。
そして、後述するようにナビゲーションＥＣＵ１３は施設データ３９の特に施設のジャンルと位置座標とに基づいて、運転者が注視し、案内を希望する施設を特定する。また、運転者が案内を希望する施設に特定された場合には、その施設の案内文を液晶ディスプレイ１５に表示したり、音声でスピーカ１６から出力することにより運転者に施設の案内を行う。

また、視線方向ＤＢ３７は、運転者の視線方向の検出結果が検出時刻とともに記憶されるＤＢである。具体的には、車内カメラ２２で撮像した撮像画像に基づいてナビゲーションＥＣＵ１３により検出された運転者の視線方向が、車両方位に対する相対角度（視線角度）によって相対的に特定され、ＧＰＳ３１やジャイロセンサ３５等によって検出された現在時刻、車両の現在位置、方位とともに視線方向データとして記憶される。尚、運転者の視線方向は絶対方位によって特定しても良い。

ここで、特に、第１実施形態に係るナビゲーション装置１の視線方向ＤＢ３７に記憶される視線方向データについて図３の具体例を用いて説明する。
図３では、車両５１が道路５２を走行中の場合において、所定のタイミングでの車両５１を運転する運転者５３の視線方向Ｅを特定する視線方向データを示す。そして、視線方向データは、現在の時刻（視線方向Ｅを検出した時刻）と、車両の現在位置（Ｘ，Ｙ）と、車両の絶対方位φと、車両方位に対する運転者５３の視線方向Ｅの相対角度（視線角度）θとから構成される。そして、上記視線方向データに基づいて運転者５３の絶対的な視線方向Ｅが特定可能となる。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、目的地が選択された場合に現在位置から目的地までの誘導経路を設定する誘導経路設定処理や運転者の注視する施設に関する施設情報の案内を行う施設情報案内処理（図４参照）等のナビゲーション装置１の全体の制御を行う電子制御ユニットである。そして、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、施設情報案内プログラム（図４参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記録するフラッシュメモリ４４等の内部記憶装置を備えている。

操作部１４は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。また、ナビゲーション装置１で音声認識を開始する際に操作されるトークスイッチも操作部１４に含まれる。更に、第１実施形態では特にユーザによって案内を希望する施設のジャンルを選択する際にも操作部１４が用いられる。
そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、現在位置から目的地までの誘導経路、誘導経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、第１実施形態では特に運転者の注視する施設を案内する際にも用いられる。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。尚、第１実施形態では特に運転者の注視する施設を案内する際にも用いられる。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて地図情報ＤＢ３６の更新等が行われる。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタやプローブセンタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、音声認識部１９は、操作部１４のトークスイッチがＯＮされている間にマイク２１によって録取された音声を解析する装置である。そして、第１実施形態に係るナビゲーション装置１では、音声認識部１９によって運転者の発声した音声が認識されたことをトリガとして、運転者の注視する施設の検出や、注視する施設の案内が行われる。

一方、車速センサ２０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。

また、マイク２１は、音を電気信号に変換する機器であり、電気信号に変換された音は音声認識部１９へと送信される。ここで、マイク２１はインストルメントパネルの上面に取り付けられ、集音方向が運転席方向となるように設置される。

また、車内カメラ２２は、例えばＣＣＤ等の固体撮像素子を用いたものであり、インストルメントパネルの上面に取り付けられ、視線方向を運転席に向けて設置される。そして、運転席に座った運転者の顔を撮像する。また、ナビゲーションＥＣＵ１３は後述するように撮像された撮像画像から運転者の視線方向を検出し、検出した運転者の視線方向から運転者が注視する施設を特定する。

続いて、前記構成を有する第１実施形態に係るナビゲーション装置１においてナビゲーションＥＣＵ１３が実行する施設情報案内プログラムについて図４に基づき説明する。図４は第１実施形態に係る施設情報案内プログラムのフローチャートである。ここで、施設情報案内プログラムは車両のイグニションがＯＮされた後に所定間隔（例えば２００ｍｓ毎）で実行され、運転者が注視する施設に関する施設情報の案内を行うプログラムである。尚、以下の図４にフローチャートで示されるプログラムは、ナビゲーション装置１が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

先ず、施設情報案内プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１はメモリの初期化などの初期化処理を実行する。

次に、Ｓ２でＣＰＵ４１は自車の現在位置と方位を検出する。具体的にはＧＰＳ３１により自車の現在位置を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位を検出する。更に、マップマッチング処理を行うことによって地図上における車両の現在位置についても検出する。尚、上記Ｓ２が車両情報検出手段の処理に相当する。

続いて、Ｓ３でＣＰＵ４１は運転者の視線方向Ｅを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向Ｅを検出する。尚、視線方向Ｅは図３に示すように自車方位に対する相対角度θによって相対的に特定される。また、上記Ｓ３が視線方向検出手段の処理に相当する。

そして、Ｓ４でＣＰＵ４１は、前記Ｓ３で検出された乗員の視線方向Ｅを含む視線方向データを視線方向ＤＢ３７に記憶する。尚、視線方向ＤＢ３７には、前記Ｓ３で検出された視線方向ＥとともにＧＰＳ３１によって検出された現在時刻、前記Ｓ２で検出された自車の現在位置、方位についても併せて視線方向データとして記憶される。

その後、Ｓ５でＣＰＵ４１は起動トリガが入力されたか否かを判定する。ここで、第１実施形態では、操作部１４にあるトークスイッチがＯＮされた場合に起動トリガが入力されたと判定する。

その結果、起動トリガが入力されたと判定された場合（Ｓ５：ＹＥＳ）にはＳ６へと移行する。一方、起動トリガが入力されていないと判定された場合（Ｓ５：ＮＯ）にはＳ２へと戻り、再度自車の現在位置や方位の検出が行われる。

次に、Ｓ６でＣＰＵ４１はトリガの入力が終了したか否かを判定する。ここで、第１実施形態では、音声認識部１９による運転者の発話の認識が終了した場合にトリガの入力が終了したと判定する。

その結果、トリガが継続して入力されていると判定された場合（Ｓ６：ＮＯ）、即ち、トークスイッチがＯＮされた状態で運転者の発話が認識できていない場合、又は運転者の発話の認識が継続して行われている場合には、Ｓ７へと移行する。

そして、Ｓ７では起動トリガの入力が行われてから所定時間（例えば、３０ｓｅｃ）経過したか否か判定され、起動トリガの入力が行われてから所定時間経過したと判定された場合（Ｓ７：ＹＥＳ）には、当該施設情報案内プログラムを終了する。それに対して、起動トリガの入力が行われてから所定時間経過していないと判定された場合（Ｓ７：ＮＯ）にはＳ６へと戻り、トリガの入力が終了したか否かを再度判定する。

一方、トリガの入力が終了したと判定された場合（Ｓ６：ＹＥＳ）、即ち、トークスイッチがＯＮされた状態で運転者の発話の認識が完了した場合には、更に、Ｓ８でＣＰＵ４１は有効なトリガが入力されたか否かを判定する。ここで、第１実施形態では、音声認識部１９によって特定の発話内容（例えば、「あの店のおすすめは？」）を認識したことを有効なトリガが入力された条件とする。

そして、有効なトリガが入力されたと判定された場合（Ｓ８：ＹＥＳ）にはＳ９へと移行する。一方、入力されたトリガが有効なトリガではないと判定された場合（Ｓ８：ＮＯ）、即ち、認識した運転者の発話が何ら関係のない発話内容であった場合には、施設の案内をすることなく当該施設情報案内プログラムを終了する。

Ｓ９においてＣＰＵ４１は、前記Ｓ４で視線方向ＤＢ３７に記憶された視線方向データの内、起動トリガの入力があった時点以前の所定時間以内（例えば、過去３０秒以内）における注視中の運転者の視線方向データを取得する。後からの注視中の運転者の視線方向データを取得する。ここで、運転者が注視中とは、運転者が運転席から自車の周囲にあるいずれかの施設を注視している状態であり、第１実施形態では自車方位に対する運転者の視線方向Ｅの相対角度θ（図３参照）の絶対値が所定角度（例えば３０度）以上となった状態を注視中とみなす。

次に、Ｓ１０でＣＰＵ４１は、前記Ｓ９で取得した注視中の視線方向データと地図情報ＤＢ３６から取得した施設データ３９に基づいて、注視中の運転者の視線方向にある施設を案内対象とする施設候補として検出する。

ここで、前記Ｓ１０における注視中の運転者の視線方向にある施設の検出処理の具体例について図５を用いて説明する。
図５では、特に車両５１が道路５２を走行中であって、道路５２に隣接して建物Ａ〜建物Ｄを含む多数の建物５４が配置されている場合を説明する。尚、建物Ａには施設として『コンビニ』が位置し、建物Ｂには施設として『書店』が位置し、建物Ｃ（商業ビル）には施設として１階に『中華料理店』、２階に『韓国料理店』が位置し、３階に『ベトナム料理店』、４階に『インド料理店』がそれぞれ位置し、建物Ｄには施設として『イタリア料理店』が位置するものとする。

また、図５に示す例では、特に車両５１を運転する運転者５３は時刻Ｔ_０で車両前方から建物Ｄ方向へと視線を向けて、その後Ｔ_１秒間、車両５１の右側環境を注視し続ける。そして、建物Ａを注視した直後に視線を車両前方へと戻し、時刻Ｔ_２で発声による起動トリガの入力をしたとする。
その結果、ナビゲーションＥＣＵ１３は、先ず時刻Ｔ_０〜Ｔ_０＋Ｔ_１の間の視線方向データを注視中の運転者の視線方向データとして抽出する（Ｓ９）。その後、道路５２に隣接して配置された各施設の位置座標を地図情報ＤＢ３６から取得し、時刻Ｔ_０〜Ｔ_０＋Ｔ_１の間の車両５１の位置座標と運転者５３の視線方向Ｅと道路５２に隣接して配置された各施設の位置座標とに基づいて、視線方向Ｅ上に位置座標が重なる施設を注視中の視線方向にある施設として検出する。尚、図５に示す例では建物Ａ〜Ｄに位置する施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）が検出される。尚、上記Ｓ１０が施設検出手段及び施設位置取得手段の処理に相当する。

次に、Ｓ１１でＣＰＵ４１は前記Ｓ１０で検出された注視中の運転者の視線方向Eにある案内対象候補の施設をＲＡＭ４２に一旦記憶する。

続いて、Ｓ１２でＣＰＵ４１は、前記Ｓ１１で記憶された施設について、予め運転者によって選択された施設のジャンルに該当する施設の絞込みを行い、対応する施設を特定する。ここで、第１実施形態に係るナビゲーション装置１では、運転者により操作部１４を用いて施設のジャンルの選択が行われる。尚、ジャンルの選択はナビゲーション装置１の起動中においては基本的にいつでも行うことが可能であり、選択可能なジャンルとしては『飲食店』、『スーパーマーケット』、『中華料理』等がある。また、ジャンルとしては複数種類のジャンルを同時に選択することも可能である。尚、上記Ｓ１２が施設特定手段の処理に相当する。

その後、Ｓ１３でＣＰＵ４１は、前記Ｓ１１で記憶された施設の内、予め運転者によって選択されたジャンルに該当する施設が少なくとも１以上あるか否か判定する。その結果、該当する施設が少なくとも１以上あると判定された場合（Ｓ１３：ＹＥＳ）には、Ｓ１４へと移行する。一方、該当する施設が無いと判定された場合（Ｓ１３：ＮＯ）には、Ｓ１５へと移行する。

Ｓ１４でＣＰＵ４１は、運転者によって選択された施設のジャンルに該当する施設について施設の案内を行う。具体的には、液晶ディスプレイ１５に表示されたナビゲーション画面上における該当施設の位置を特定色（例えば赤色）でマーキングするとともに、案内文（図２参照）を音声によりスピーカ１６から出力する。

ここで、図６は例えば図５に示す状況で『イタリア料理』が施設のジャンルとして選択されていた場合の前記Ｓ１４の施設の案内例を示した図である。
『イタリア料理』が施設のジャンルとして選択されていた場合には、運転者の注視中の視線方向にある施設として特定された施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）の内、建物Ｄにある『イタリア料理店』が該ジャンルに該当する施設となる。
従って、図６に示すように、ナビゲーション装置１の液晶ディスプレイ１５に表示されたナビゲーション画面６１上に表示された建物Ｄを示すマーク６２が赤色でマーキングされる。そして、『イタリア料理店』を案内する案内文「そこにはイタリア料理店○○があります。お勧め料理は□□です。」がスピーカ１６から出力される。

また、図７は例えば図５に示す状況で『中華料理』が施設のジャンルとして選択されていた場合の前記Ｓ１４の施設の案内例を示した図である。
『中華料理』が施設のジャンルとして選択されていた場合には、運転者の注視中の視線方向にある施設として特定された施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）の内、建物Ｃの１階にある『中華料理店』が該ジャンルに該当する施設となる。
従って、図７に示すように、ナビゲーション装置１の液晶ディスプレイ１５に表示されたナビゲーション画面６１上に表示された建物Ｃの１階を示すマーク６３が赤色でマーキングされる。そして、『中華料理店』を案内する案内文「ビルのテナントの１階には○○飯店があります。お勧め料理は△△です。」がスピーカ１６から出力される。

また、図８は例えば図５に示す状況で『飲食店』が施設のジャンルとして選択されていた場合の前記Ｓ１４の施設の案内例を示した図である。
『飲食店』が施設のジャンルとして選択されていた場合には、運転者の注視中の視線方向にある施設として特定された施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）の内、建物Ｃの１階〜４階にある『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』と建物Ｄにある『イタリア料理店』が該ジャンルに該当する施設となる。尚、該当施設が複数ある場合には、運転者が注視した順に各施設の案内を連続して行う。
従って、図８に示すように、先ず、ナビゲーション装置１の液晶ディスプレイ１５に表示されたナビゲーション画面６１上に表示された建物Ｄを示すマーク６２が赤色でマーキングされる。そして、『イタリア料理店』を案内する案内文「そこにはイタリア料理店○○があります。お勧め料理は□□です。」がスピーカ１６から出力される。
その後、ナビゲーション画面６１上に表示された建物Ｃの１階を示すマーク６３が赤色でマーキングされる。そして、『中華料理店』を案内する案内文「ビルのテナントの１階には○○飯店があります。お勧め料理は△△です。」がスピーカ１６から出力される。
以下同様にして、『韓国料理店』、『ベトナム料理店』、『インド料理店』についても案内される。尚、上記Ｓ１４が施設案内手段の処理に相当する。

一方、Ｓ１５においてＣＰＵ４１は、選択された施設のジャンルに該当する施設が無いことを案内する。具体的には、「選択したジャンルの建物はありません。」との音声をスピーカ１６から出力する。そして、施設の案内をすることなく当該施設情報案内プログラムを終了する。

以上詳細に説明した通り、第１実施形態に係るナビゲーション装置１及びナビゲーション装置１による車両用情報案内方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両を運転する運転者の視線方向を車内カメラ２２の撮像画像から検出し（Ｓ３）、特に注視中の運転者の視線方向に有る施設を案内対象候補として検出する（Ｓ４）とともに、検出された案内対象候補の施設の内から運転者によって予め選択されたジャンルに該当する施設を案内する（Ｓ１４）ので、運転者の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから運転者が案内を希望する施設を特定することが可能となる。従って、運転者にとって不要な施設情報については案内を行わないことにより運転の集中力の低下を招かず、また、運転者が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。
また、車両の現在位置や方位や地図上の施設の位置座標を用いることによって、車両に対する相対的な運転者の視線方向から絶対的な運転者の視線方向の検出が可能となり、運転者の視線方向にある施設を地図上で正確に特定することができる。
また、運転者の音声が認識されたことを開始トリガとして運転者の視線方向にある施設を検出するので、運転者が注視した施設の案内を希望する際に、運転者の所望するタイミングで複雑な操作を必要とせずに施設の情報を取得することが可能となる。

〔第２実施形態〕
次に、第２実施形態に係るナビゲーション装置について説明する。尚、以下の説明において上記図１乃至図８の第１実施形態に係るナビゲーション装置１の構成と同一符号は、前記第１実施形態に係るナビゲーション装置１等の構成と同一あるいは相当部分を示すものである。

この第２実施形態に係るナビゲーション装置の概略構成は、第１実施形態に係るナビゲーション装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係るナビゲーション装置１とほぼ同じ制御処理である。

但し、第２実施形態に係るナビゲーション装置では、音声認識部１９により運転者による発声を認識している間を、運転者が施設を注視している時間とみなし、その間の運転者の視線方向にある施設を案内対象とする施設候補として検出する点で第１実施形態に係るナビゲーション装置１と異なっている。

以下に、第２実施形態に係るナビゲーション装置においてナビゲーションＥＣＵ１３が実行する施設情報案内プログラムについて図９に基づき説明する。図９は第１実施形態に係る施設情報案内プログラムのフローチャートである。

先ず、施設情報案内プログラムではＳ１０１において、ＣＰＵ４１はメモリの初期化などの初期化処理を実行する。

次に、Ｓ１０２でＣＰＵ４１は起動トリガが入力されたか否かを判定する。ここで、第２実施形態では、トークスイッチがＯＮされて運転者による発話を音声認識部１９で認識した場合に起動トリガが入力されたと判定する。尚、トークスイッチがＯＮされたことのみを起動トリガの入力の条件としても良い。

その結果、起動トリガが入力されたと判定された場合（Ｓ１０２：ＹＥＳ）にはＳ１０３へと移行する。一方、起動トリガが入力されていないと判定された場合（Ｓ１０２：ＮＯ）には、起動トリガが入力されるまで待機する。

そして、Ｓ１０３でＣＰＵ４１は自車の現在位置と方位を検出する。具体的にはＧＰＳ３１により自車の現在位置を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位を検出する。更に、マップマッチング処理を行うことによって地図上における車両の現在位置についても検出する。尚、上記Ｓ１０３が車両情報検出手段の処理に相当する。

続いて、Ｓ１０４でＣＰＵ４１は運転者の視線方向Ｅを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向Ｅを検出する。尚、上記Ｓ１０４が視線方向検出手段の処理に相当する。

その後、Ｓ１０５でＣＰＵ４１は、前記Ｓ１０４で検出された乗員の視線方向Ｅを含む視線方向データを視線方向ＤＢ３７に記憶する。尚、視線方向ＤＢ３７には、前記Ｓ１０４で検出された視線方向ＥとともにＧＰＳ３１によって検出された現在時刻、前記Ｓ１０３で検出された自車の現在位置、方位についても併せて視線方向データとして記憶される。

次に、Ｓ１０６でＣＰＵ４１はトリガの入力が終了したか否かを判定する。ここで、第２実施形態では、音声認識部１９による運転者の発話の認識が終了した場合にトリガの入力が終了したと判定する。

その結果、トリガが継続して入力されていると判定された場合（Ｓ１０６：ＮＯ）、即ち、トークスイッチがＯＮされた状態で運転者の発話が認識できていない場合、又は運転者の発話の認識が継続して行われている場合には、Ｓ１０７へと移行する。

そして、Ｓ１０７では起動トリガの入力が行われてから所定時間（例えば、３０ｓｅｃ）経過したか否か判定され、起動トリガの入力が行われてから所定時間経過したと判定された場合（Ｓ１０７：ＹＥＳ）には、当該施設情報案内プログラムを終了する。それに対して、起動トリガの入力が行われてから所定時間経過していないと判定された場合（Ｓ１０７：ＮＯ）にはＳ１０３へと戻り、再度自車の現在位置や方位の検出が行われる。

また、Ｓ１０８でＣＰＵ４１は有効なトリガが入力されたか否かを判定する。ここで、第２実施形態では、音声認識部１９によって特定の発話内容（例えば、「あの店のおすすめは？」）を認識したことを有効なトリガが入力された条件とする。

そして、有効なトリガが入力されたと判定された場合（Ｓ１０８：ＹＥＳ）にはＳ１０９へと移行する。一方、入力されたトリガが有効なトリガではないと判定された場合（Ｓ１０８：ＮＯ）、即ち、認識した運転者の発話が何ら関係のない発話内容であった場合には、施設の案内をすることなく当該施設情報案内プログラムを終了する。

Ｓ１０９においてＣＰＵ４１は、前記Ｓ１０５で視線方向ＤＢ３７に記憶された注視中の運転者の視線方向データを取得する。ここで、運転者が注視中とは、運転者が運転席から自車の周囲にあるいずれかの施設を注視している状態であり、第２実施形態では起動トリガが入力されてから、トリガ入力が終了するまでの状態（即ち、運転者が特定内容の発話をしている間の状態）を注視中とみなす。

次に、Ｓ１１０でＣＰＵ４１は、前記Ｓ１０９で取得した注視中の視線方向データと地図情報ＤＢ３６から取得した施設データ３９に基づいて、注視中の運転者の視線方向にある施設を案内対象とする施設候補として検出する。

ここで、前記Ｓ１１０における注視中の運転者の視線方向にある施設の検出処理の具体例について図１０を用いて説明する。
図１０では、特に車両１０１が道路１０２を走行中であって、道路１０２に隣接して建物Ａ〜建物Ｄを含む多数の建物１０４が配置されている場合を説明する。尚、建物Ａには施設として『コンビニ』が位置し、建物Ｂには施設として『書店』が位置し、建物Ｃ（商業ビル）には施設として１階に『中華料理店』、２階に『韓国料理店』が位置し、３階に『ベトナム料理店』、４階に『インド料理店』がそれぞれ位置し、建物Ｄには施設として『イタリア料理店』が位置するものとする。

また、図１０に示す例では、特に車両１０１を運転する運転者１０３は車両前方から建物Ｄ方向へと視線を向けた状態にある時刻Ｔ_３で発話を開始し、その後「あの店のおすすめは？」との特定内容の発話を終了する時刻Ｔ_４まで車両５１の右側環境を注視し続ける。そして、発話を終了した後に視線を車両前方へと戻したとする。
その結果、ナビゲーションＥＣＵ１３は、先ず時刻Ｔ_３〜Ｔ_４の間の視線方向データを注視中の運転者の視線方向データとして抽出する（Ｓ１０９）。その後、道路１０２に隣接して配置された各施設の位置座標を地図情報ＤＢ３６から取得し、時刻Ｔ_３〜Ｔ_４の間の車両１０１の位置座標と運転者１０３の視線方向Ｅと道路１０２に隣接して配置された各施設の位置座標とに基づいて、視線方向Ｅ上に位置座標が重なる施設を注視中の視線方向にある施設として検出する。尚、図１０に示す例では建物Ａ〜Ｄに位置する施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）が検出される。尚、上記Ｓ１１０が施設検出手段及び施設位置取得手段の処理に相当する。

次に、Ｓ１１１でＣＰＵ４１は前記Ｓ１１０で検出された注視中の運転者の視線方向にある案内対象候補の施設をＲＡＭ４２に一旦記憶する。

続いて、Ｓ１１２でＣＰＵ４１は、前記Ｓ１１１で記憶された施設について、予め運転者によって選択された施設のジャンルに該当する施設の絞込みを行い、対応する施設を特定する。ここで、第２実施形態に係るナビゲーション装置では、第１実施形態と同様に運転者により操作部１４を用いて施設のジャンルの選択が行われる。尚、上記Ｓ１１２が施設特定手段の処理に相当する。

その後、Ｓ１１３でＣＰＵ４１は、前記Ｓ１１１で記憶された施設の内、予め運転者によって選択されたジャンルに該当する施設が少なくとも１以上あるか否か判定する。その結果、該当する施設が少なくとも１以上あると判定された場合（Ｓ１１３：ＹＥＳ）には、Ｓ１１４へと移行する。一方、該当する施設が無いと判定された場合（Ｓ１１３：ＮＯ）には、Ｓ１１５へと移行する。

Ｓ１１４でＣＰＵ４１は、運転者によって選択された施設のジャンルに該当する施設について施設の案内を行う。具体的には、液晶ディスプレイ１５に表示されたナビゲーション画面上における該当施設の位置を特定色（例えば赤色）でマーキングするとともに、案内文（図２参照）を音声によりスピーカ１６から出力する。
尚、前記Ｓ１１４で実行される施設の案内処理については、既に図６〜図９を用いて説明した第１実施形態のＳ１４と同様の処理であるので説明は省略する。また、上記Ｓ１１４が施設案内手段の処理に相当する。

一方、Ｓ１１５においてＣＰＵ４１は、選択された施設のジャンルに該当する施設が無いことを案内する。具体的には、「選択したジャンルの建物はありません。」との音声をスピーカ１６から出力する。そして、施設の案内をすることなく当該施設情報案内プログラムを終了する。

以上詳細に説明した通り、第２実施形態に係るナビゲーション装置及びナビゲーション装置による車両用情報案内方法及びナビゲーション装置で実行されるコンピュータプログラムでは、車両を運転する運転者により特定内容の発話が行われている間の視線方向を車内カメラ２２の撮像画像から検出し（Ｓ１０４）、特に注視中の運転者の視線方向に有る施設を案内対象候補として検出する（Ｓ１１０）とともに、検出された案内対象候補の施設の内から運転者によって予め選択されたジャンルに該当する施設を案内する（Ｓ１１４）ので、運転者の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから運転者が案内を希望する施設を特定することが可能となる。従って、運転者にとって不要な施設情報については案内を行わないことにより運転の集中力の低下を招かず、また、運転者が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。
また、車両の現在位置や方位や地図上の施設の位置座標を用いることによって、車両に対する相対的な運転者の視線方向から絶対的な運転者の視線方向の検出が可能となり、運転者の視線方向にある施設を地図上で正確に特定することができる。
また、運転者の音声が認識されている間において運転者の視線方向にある施設を検出して案内対象の施設候補とするので、運転者が注視して案内を必要とする施設をより正確に特定することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第１実施形態及び第２実施形態では運転者の注視した施設を検出することとしているが、運転者以外でも助手席や後部座席に着座する乗員の注視した施設を検出することとしても良い。

また、第１実施形態では複数の施設が案内対象として選択された場合には、運転者が注視した順に各施設の案内を連続して行うこととしているが（図８参照）、運転者の過去の走行履歴を参照し、運転者がよく訪れる施設やよく訪れるジャンルの施設から順に案内するようにしても良い。

また、第２実施形態では運転者の発話を認識している間を、運転者が車両周囲の施設を注視している間とみなしているが、固定期間（例えば、フラグの入力が終了する５秒前〜現時点まで）を運転者が車両周囲の施設を注視している間とみなしても良い。

第１実施形態に係るナビゲーション装置の概略構成図である。 地図情報ＤＢに記憶される施設データの一例を示した図である。 視線方向ＤＢに記憶される視線方向データの一例を示した図である。 第１実施形態に係る施設情報案内プログラムのフローチャートである。 ステップ１１における注視中の運転者の視線方向にある施設の検出処理の具体例について説明した説明図である。 ステップ１４における施設の案内処理の具体例について説明した説明図である。 ステップ１４における施設の案内処理の具体例について説明した説明図である。 ステップ１４における施設の案内処理の具体例について説明した説明図である。 第２実施形態に係る施設情報案内プログラムのフローチャートである。 ステップ１１０における注視中の運転者の視線方向にある施設の検出処理の具体例について説明した説明図である。

符号の説明

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
１４ 操作部
１５ 液晶ディスプレイ
１６ スピーカ
１９ 音声認識部
３６ 地図情報ＤＢ
３７ 視線方向ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ

Claims (6)

1. 施設のジャンルを選択するジャンル選択手段と、
   車両の乗員の視線方向を検出する視線方向検出手段と、
   所定期間内の前記視線方向検出手段により検出された乗員の視線方向にある施設を検出する施設検出手段と、
   前記施設検出手段によって検出された施設の内、前記ジャンル選択手段で選択されたジャンルに対応する施設を特定する施設特定手段と、
   前記施設特定手段によって特定された施設を案内する施設案内手段と、を有することを特徴とする車両用情報案内装置。
2. 車両の現在位置及び方位を検出する車両情報検出手段と、
   地図上における施設の位置を取得する施設位置取得手段と、を有し、
   前記施設検出手段は、前記車両の現在位置及び方位と前記乗員の視線方向と前記地図上における施設の位置とに基づいて乗員の視線方向にある施設を検出することを特徴とする請求項１に記載の車両用情報案内装置。
3. 乗員の音声を認識する音声認識手段と、
   前記視線方向検出手段により検出された視線方向を記憶する記憶手段と、を有し、
   前記施設検出手段は前記音声認識手段によって乗員の音声を認識した場合に、前記記憶手段に記憶されている音声認識前の所定期間の視線方向にある施設を検出することを特徴とする請求項１又は請求項２に記載の車両用情報案内装置。
4. 乗員の音声を認識する音声認識手段を有し、
   前記施設検出手段は前記音声認識手段によって乗員の音声を認識している間の乗員の視線方向にある施設を検出することを特徴とする請求項１又は請求項２に記載の車両用情報案内装置。
5. 施設のジャンルを選択するジャンル選択ステップと、
   車両の乗員の視線方向を検出する視線方向検出ステップと、
   所定期間内の前記視線方向検出ステップにより検出された乗員の視線方向にある施設を検出する施設検出ステップと、
   前記施設検出ステップによって検出された施設の内、前記ジャンル選択ステップで選択されたジャンルに対応する施設を特定する施設特定ステップと、
   前記施設特定ステップによって特定された施設を案内する施設案内ステップと、を有することを特徴とする車両用情報案内方法。
6. コンピュータに搭載され、
   施設のジャンルを選択するジャンル選択機能と、
   車両の乗員の視線方向を検出する視線方向検出機能と、
   所定期間内の前記視線方向検出機能により検出された乗員の視線方向にある施設を検出する施設検出機能と、
   前記施設検出機能によって検出された施設の内、前記ジャンル選択機能で選択されたジャンルに対応する施設を特定する施設特定機能と、
   前記施設特定機能によって特定された施設を案内する施設案内機能と、
   を実行させることを特徴とするコンピュータプログラム。

Images