以下、図を参照しながら、この発明のシステム、装置、方法の一実施の形態について説明する。
[ナビゲーションシステムの全体構成]
図1は、この実施形態のナビゲーションシステムの全体構成を説明するための図である。この実施形態のナビゲーションシステムは、図1に示すように、ナビゲーション装置1とグラス型スマートデバイス(以下、グラス型デバイスと記載する。)2により構成される。この実施形態において、ナビゲーション装置1とグラス型デバイス2とは近距離無線通信により相互に通信を行うことができる。
ナビゲーション装置1は、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末やタブレットPC(Personal Computer)などと呼ばれる情報処理装置にナビゲーション用のアプリケーションソフトウェア、地図データ、ネットワークデータなどが搭載されて実現される。ナビゲーション装置1は、歩行者用のナビゲーション装置としても、自転車用のナビゲーション装置としても、また、バイクや自動車などの車両用のナビゲーション装置としても用いることができるものである。
ナビゲーション装置1は、一般的なナビゲーション装置の場合と同様に、GPS部、表示部、操作部、音声処理部等を備える。そして、ナビゲーション装置1は、使用者からの指示入力に応じてルート探索を行って使用者に提示し、使用者の指示に応じて選択されたルートを設定して、地図表示と音声メッセージとによりルート案内を行う機能を実現する。
グラス型デバイス2は、外観はグラス(眼鏡)であるが、耳かけ部(テンプル部)には制御部、スイッチ204A、カメラ部209、表示処理部や投影部206、骨伝導振動部208などからなる制御機構部21が構成されている。グラス型デバイス2は、制御部を備えることにより、当該制御部でアプリケーションソフトウェアを実行し、ナビゲーション装置1と連携動作することができるようになっている。
なお、この実施形態においてスイッチ204Aは、グラス型デバイス2からナビゲーション装置1に対して要求を送信する場合に操作される。具体的に、スイッチ204Aは、ナビゲーション装置1においてナビゲーション処理が実行されている場合に、ルート確認を要求したり、詳しくは後述する情報共有処理や情報更新処理などを実行したりする場合などに操作される。投影部206は、例えば特殊コーティングされたレンズ部分に種々の表示情報を投影することにより表示する。これにより、当該グラス型デバイス2を装着している使用者が、レンズ部に表示された当該表示情報を視認できる。
また、この実施形態のグラス型デバイス2においては、説明を簡単するため、制御機構部21は、向かって左側(使用者が装着した場合には使用者の右側)の耳かけ部(テンプル部)に設けた構成になっている。しかし、これに限るものではない。例えば、投影部206を左右両方の耳かけ部に設け、左右両方のレンズに表示情報を表示させることにより、使用者が両目で視認可能な範囲に表示情報を表示させることも可能である。
同様に、カメラ部209を左右両方の耳かけ部に設け、左右両方のカメラ部で撮影した撮影映像から使用者が両目で視認している映像と同等の映像を形成することもできる。また、骨伝導振動部208を左右両方の耳かけ部に設け、左右両方の骨伝導振動部を作用させて使用者に情報を伝達するように構成することも可能である。もちろん、スイッチ204Aを左右両方の耳かけ部に設け、いずれのスイッチ204Aを操作してもよい構成とすることもできる。
そして、ナビゲーション装置1とグラス型デバイス2とは連携(協働)して協調動作し、従来にない機能を実現する。なお、連携パターンには、以下の3つがある。(1)ナビゲーション装置1からグラス型デバイス2に情報などを提供して協調動作するパターン、(2)グラス型デバイス2からナビゲーション装置1に情報などを提供して協調動作するパターン、(3)ナビゲーション装置1とグラス型デバイス2とで双方向に情報などを提供し合い協調動作をするパターンである。
このため、ナビゲーション装置1とグラス型デバイス2とのそれぞれは、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成される制御部を備えることにより、それぞれにおいてアプリケーションソフトウェアを実行し、相互に連携することができるようになっている。以下においては、この実施形態のナビゲーションシステムを構成するナビゲーション装置1とグラス型デバイス2の構成例を説明した後に、それぞれで行われる動作(処理)について具体的に説明する。
[ナビゲーション装置1の構成例]
図2は、この実施形態のナビゲーションシステムで用いられるナビゲーション装置1の構成例を説明するためのブロック図である。図1において、近距離送受信アンテナ101A及び近距離通信部101は、グラス型デバイス2と相互に通信を行うためのものである。このため、近距離通信部101では、後述するグラス型デバイス2側に設けられる近距離通信部と同じ通信方式が用いられる。例えば、ブルートゥース(登録商標)規格など、少なくとも数メートル程度の通信距離が維持できる種々の通信方式を用いることができる。
制御部102はナビゲーション装置1の各部を制御する機能を実現する。また、制御部102は、提供制御部102A、処理制御部102B、連携制御部102Cとしても機能する。提供制御部102Aは、上述した(1)ナビゲーション装置1からグラス型デバイス2に情報などを提供して協調動作する場合に機能する。また、処理制御部102Bは、上述した(2)グラス型デバイス2からナビゲーション装置1に情報などを提供して協調動作する場合に機能する。また、連携制御部102Cは、上述した(3)ナビゲーション装置1とグラス型デバイス2とで双方向に情報などを提供し合い協調動作をする場合に機能する。
記憶装置103は情報記憶保持機能を実現する。記憶装置103には、種々のプログラム、処理に必要になる種々のデータ、出力メッセージなどが記憶される。また、記憶装置103は、各種の処理の途中結果を一時記憶する作業領域としても用いられる。図4は、記憶装置103の所定の記憶領域に記憶保持される出力メッセージの一例を説明するための図である。図4に示すように、記憶装置103には、ナビゲーション処理において使用される種々の案内メッセージや後述もするがグラス型デバイス2からの撮影映像の解析結果を通知するためのメッセージなどの種々のメッセージが記憶保持されている。操作部104は、電源のオン/オフスイッチや幾つかのファンクションボタンなどからなる。
ナビゲーション装置1は、図2に示すように、地図DB105、ネットワークDB106、3D画像DB107、時刻表DB108、POI(point of interest)DBを備える。なお、「DB」はデータベース(Data Base)の略称である。地図DB105は、ナビゲーション処理に用いられる地図を表示するための地図データを記憶保持する。ネットワークDB106は、ノードID、緯度・経度、ノード種別からなるノードデータと、リンクID、リンク両端のノードID、リンクコスト、リンク種別などからなるリンクデータとを記憶保持する。当該ネットワークデータは経路探索処理において用いられる。なお、地図DB105、ネットワークDB106には、歩行者用、自転車用、自動車用など、用途(目的)に応じた地図データ、ネットワークデータが格納されている。
3D画像DB107は、実世界の状態を3次元画像として描画するための3次元(three-dimensional)画像データと実世界における位置(緯度、経度)とを対応付けて記憶保持する。図5は、実世界に存在する交差点の3次元画像の例を示す図である。3D画像DB107には、図5に示すような3次元画像を描画するための3次元画像データが、実世界における位置(緯度、経度)に対応して記憶保持されている。3D画像DB107の記憶データは、ナビゲーション処理時に分かり難い交差点などにおいてルートを分かりやすく示すなどのために用いられる。
また、3D画像DB107の記憶データは、使用者の移動ルート上に存在する交差点の撮影映像と、3D画像DB107に記憶保持されている交差点の3D画像データとのマッチングを行うことにより、移動ルートが適切か否かを判別する場合にも用いられる。また、3D画像DB107の記憶データは、グラス型デバイス2からの撮影映像と比較することによって、道路標識、交差点、信号設置状況、街並み、ランドマークなどについての変化を検知する場合にも用いられる。
時刻表DB108は、鉄道、路線バス、航空路線、定期航路など公共交通機関の運転時刻をまとめた情報を記憶保持する。これにより、例えば、鉄道の場合には、乗車駅と乗車時刻が分ければ、目的とする降車駅(目的駅)への到着時刻が分かる。また、乗り換えが必要な場合には、乗換駅、乗換ホーム、乗り換える電車の発車時刻なども把握できる。
POIDB109は、緯度・経度により特定される種々の店舗や種々の施設、あるいは、地形上の特徴点などである種々の拠点についての情報である拠点情報を記憶保持する。例えば、地図上にランドマークとなる建物や種々の施設等の拠点が存在する場合、その拠点は、どのような拠点なのか、どのような特徴を有しているかなどの詳細情報が整えられている。
センサ部110は、自律航法機能を実現するため、例えば、6軸センサ、地磁気センサ(方位センサ)などの種々のセンサなどを備える。時刻情報提供部111は、現在年月日、現在曜日、現在時刻などの時刻に関する情報を提供する。GPS部112及びGPSアンテナ112Aは、複数の人工衛星からの送信信号(測位情報)を受信して解析することにより、自機の現在位置を正確に取得(測位)する機能を実現する部分である。
タッチパネル115は、LCD(Liquid Crystal Display)などの表示部113とタッチセンサ114とからなり、情報表示手段としての機能と、情報入力手段としての機能を実現する。なお、ナビゲーション機能の実行時には、表示部113には案内用の地図が表示され、当該地図上にルート探索の結果得られたルートと、自機の現在位置とが表示されて経路案内(ナビゲーション)が行われる。
音声処理部116とスピーカ117若しくは音声出力端子118は、制御部202の制御に応じて、アラーム音や音声メッセージなどを放音する機能を実現する。音声出力端子118には、イヤホンが接続される。例えば、ナビゲーション機能の実行時には、制御部102を通じて音声処理部116に音声メッセージデータが供給され、ここでアナログ音声信号に変換されて、スピーカ117あるいは音声出力端子118に接続されたイヤホンから音声メッセージが放音される。
なお、音声出力端子118にイヤホンが接続されている場合、音声処理部116は、スピーカ117に音声信号は供給せず、音声出力端子118を介してイヤホンのみに音声信号を供給する。このため、音声処理部116は、音声出力端子にイヤホンが接続されたか否かを検知できるようになっており、検知結果を制御部102にも通知する。
ルート探索部119は、ナビゲーション機能が実行された場合に、ルート探索を行って、その結果を地図DB105の地図データを用いて表示部113に表示する処理を行う。具体的にルート探索部119は、出発地、経由地、目的地等のルート探索に必要な情報を受け付けるための画面表示を表示部113に表示する。そして、ルート探索部119は、タッチパネル115を通じて、出発地、経由地、目的地等の必要情報を受け付け、これらの情報に基づいて、ネットワークDB106の格納データを参照し、ルート探索を行い、その結果を地図DB105の地図データを用いて表示部113に表示する。
使用者は、当該表示を確認し、探索されたルートを変更したい場合には、再度のルート探索を行う操作を、タッチパネル115を通じて行う。この場合には、ルート探索部119が機能し、再度のルート探索処理が行われる。また、使用者は、当該表示を確認し、探索されたルートを辿る場合には、当該ルートを辿るようにするナビゲーションを開始する操作を、タッチパネル115を通じて行う。
この後、制御部102は、ルート案内部120を機能させ、現在位置を含むエリアの地図を表示部113に表示し、当該地図上にルート探索により得られたルートと、自機の現在位置を表示してナビゲーションを行う。この場合、ルート案内部120は、自機の現在位置を含むエリアの地図を、地図DB105から読み出す地図データにより表示部113に表示する。そして、ルート案内部120は、ネットワークDB106のネットワークデータに応じたネットワーク上の設定されたルートを自機が辿れるように、ナビゲーションを行う。
3D画像比較部121は、グラス型デバイス2から提供される使用者の移動ルート上に存在する交差点の撮影映像と、3D画像DB107に記憶保持されている交差点の3D画像データとのマッチング処理を行い、マッチング処理の結果を制御部102に通知する。これにより制御部102においては、処理制御部102Bが機能し、設定したルートから外れていないか否かを判別したり、外れている場合には、ルート探索部119を制御して、ルート探索を行い、ルートを補正したりすることができる。
画像認識部122は、グラス型デバイス2のカメラ部を通じて撮影した撮影映像の提供を受けて、これを解析し、解析結果を制御部102に通知する。画像認識部122は、例えば、撮影映像に含まれる地名、駅名、ビル名などの情報を認識し、これを制御部102に通知したり、移動中のルート(道路)の混雑、天候、事故、工事状況などを認識し、これを制御部102に通知したりする。これにより、制御部102においては、処理制御部102Bが機能し、歩行者ナビや自動車ナビの実行時にルートから外れたか否かを判定し、必要に応じてリルート処理を行ったり、電車ナビの実行時に到着時刻の補正や乗り越し防止処理を行ったりできる。また、移動中のルートの状況を所定のサーバに投稿して、他の運転者と情報を共有することもできる。
また、POI比較部123は、グラス型デバイス2のカメラ部を通じて撮影した撮影映像の提供を受けて、当該撮影映像と、3D画像DB107の当該撮影映像に対応する部分の3D画像とを自動比較する。そして、POI比較部123は、異なっている箇所が存在する場合には、異なっている箇所を示す位置情報(緯度、経度)とその箇所の画像認識結果を示す情報とを対応付けた更新情報を形成して、記憶装置103に記録する。当該更新情報は、例えば、所定のサーバ装置に送信し、3D画像データの更新処理に利用することができる。
なお、POI比較部123は、グラス型デバイス2からの撮影映像と、3D画像DB107の3D画像データとを比較するものとして説明したが、これに限るものではない。POI比較部123では、グラス型デバイス2からの撮影映像を解析することにより、撮影映像中に存在する各種のPOIとその所在位置(緯度、経度)とを認識(特定)するようにし、その特定結果とPOIDB109の格納データとの突き合せを行ってもよい。このようにしても、新たに存在するようになったPOIや既に存在しなくなったPOIを特定でき、その特定結果を両者の差分を示すデータとして利用することが可能である。
また、送受信アンテナ124A及び無線通信部124は、携帯電話網やインターネットを通じての通信機能を実現する。これにより、制御部202は、例えば、使用者からの指示に応じて、インターネット上の所定の地図サーバにアクセスし、最新の地図データ、最新のネットワークデータ、最新の3D画像データなどの提供を受けられる。そして、制御部202は、提供を受けた最新の地図データや最新のネットワークデータを、地図DB105、ネットワークDB106、3D画像DB107に格納し、利用することができる。また、ナビゲーション装置1は、無線通信部124及び送受信アンテナ124Aを通じて、ナビゲーション装置1が取得した種々の情報を目的とするサーバなどに送信することもできる。
[グラス型デバイス2の制御機構部21の構成例]
図3は、図1に示した外観を有するグラス型デバイス2の耳かけ部(テンプル部)に設けられる制御機構部21の構成例を説明するためのブロック図である。図3において、近距離送受信アンテナ201A及び近距離通信部201は、ナビゲーション装置1と相互に通信を行うためのものである。このため、近距離通信部201では、上述したナビゲーション装置1の近距離通信部101と同じ通信方式のものとなる。
制御部202はグラス型デバイス2の各部を制御する機能を実現する。また、制御部202は、処理制御部202A、提供制御部202B、連携制御部202Cとしても機能する。処理制御部202Aは、上述した(1)ナビゲーション装置1からグラス型デバイス2に情報などを提供して協調動作する場合に機能する。また、提供制御部202Bは、上述した(2)グラス型デバイス2からナビゲーション装置1に情報などを提供して協調動作する場合に機能する。また、連携制御部202Cは、上述した(3)ナビゲーション装置1とグラス型デバイス2とで双方向に情報などを提供し合い協調動作をする場合に機能する。
記憶装置203は情報記憶保持機能を実現する。記憶装置203には、種々のプログラムや処理に必要になる種々のデータが記憶される。また、記憶装置203は、各種の処理の途中結果を一時記憶する作業領域としても用いられる。操作部204は、電源のオン/オフスイッチや上述したスイッチ204Aや幾つかのファンクションボタンなどからなる。
表示処理部205は、制御部202の制御の下、これに提供される表示用データから、投影部206に供給する表示用信号を形成し、これを投影部206に供給する。投影部206は、表示処理部205からの表示用信号に応じた表示情報を、グラス型デバイス2のレンズ部分に投影する処理を行う。これにより、グラス型デバイス2のレンズ部分には、表示情報が表示され、グラス型デバイス2をそのレンズ部分が目の前方に位置するように頭部に装着した使用者が見ることができる。
骨伝導駆動部207及び骨伝導振動部208は、骨伝導機能を実現する。骨伝導は、空気を伝って鼓膜(中耳)を振動させ聴覚神経(内耳)に伝わる(気導音)に対して、例えば声帯などの振動が頭蓋骨を伝わり直接聴覚神経に伝わる(骨導音)ものである。このため、骨伝導駆動部207は、制御部202の制御の下、これに供給される出力用データである表示用データや音声データから骨伝導振動部208に供給する駆動信号を形成し、これを骨伝導振動部208に供給する。骨伝導振動部208は、骨伝導駆動部207からの駆動信号に応じて振動する。これにより、表示用データや音声データである出力用データに応じた振動が頭蓋骨を介して直接聴覚神経に伝わり、放音された音声を聴取する場合と同様に、出力用データに応じた内容が骨導音として使用者に認識される。
カメラ部209は、図1にも示したように、グラス型デバイス2の耳かけ部(テンプル部)の前方端部(レンズ部側の端部)に設けられている。そして、カメラ部209は、使用者がグラス型デバイス2をそのレンズ部分が目の前方に位置するように頭部に装着した場合に、使用者の視線方向の映像を撮影し、映像データとして取り込む機能を実現する。そして、カメラ部209を通じて撮影された撮影映像(映像データ)は、近距離通信部201及び近距離送受信アンテナ201Aを通じて、ナビゲーション装置1に送信できる。
GPS部210及びGPSアンテナ210Aは、複数の人工衛星からの送信信号(測位情報)を受信して解析することにより、自機の現在位置を正確に検出(測位)する機能を実現する部分である。センサ部211は、少なくともカメラ部209の向きを特定するための地磁気センサ(方位センサ)を備える。地磁気センサの他にも、例えば、6軸センサなどを備える場合もある。
[ナビゲーションシステムで行われる処理の詳細]
次に、上述した構成を有するナビゲーション装置1とグラス型デバイス2とからなるこの実施形態のナビゲーションシステムで実行される処理について説明する。ここでは、ナビゲーション装置1で実行されるナビゲーション処理と、ナビゲーション装置1においてナビゲーション処理が実行されているときにグラス型デバイス2で実行されるナビゲーション連携処理とのそれぞれについて説明する。
[ナビゲーション装置1で実行されるナビゲーション処理]
図6は、ナビゲーション装置1で実行されるナビゲーション処理を説明するためのフローチャートである。図6に示す処理は、ナビゲーション装置1に電源が投入された後、ルート探索を行うようにする操作がされた場合に、ナビゲーション装置1の制御部102により実行される。まず、制御部102は、ルート探索部119を制御し、ルート探索条件の入力画面を表示部113に表示し、タッチパネル115を通じて、ナビゲーションモード(ナビモード)の選択入力とルート探索情報の入力を受け付ける(ステップS101)。ナビモードは、徒歩ナビ、自転車ナビ、自動車ナビ、電車ナビといった、実行すべきナビゲーション処理のモードを示すものである。また、ルート探索情報は、出発地、経由地、目的地などのルート探索処理に必要となる情報である。
次に、ルート探索部119は、制御部102の制御の下、ステップS101で受け付けたナビモードとルート探索情報に基づいて、ネットワークDB106の選択されたナビモードに対応するネットワークデータを参照し、ルート探索を実行する(ステップS102)。そして、ルート探索部119は、ステップS102のルート探索の結果を表示部113に表示し、ルートの選択及び設定の操作を受け付ける(ステップS103)。
なお、図6には示さなかったが、ステップS103において表示部113に表示したルート探索の結果が満足するものでなかった場合には、ステップS101からの処理を繰り返し、ナビモードやルート探索情報を変えて、再度のルート探索処理を行うこともできるようになっている。
ステップS103の処理の後、制御部102を近距離通信部101及び近距離送受信アンテナ101Aを通じて、グラス型デバイス2と近距離通信を行い、相互に通信が可能な状態を形成する(ステップS104)。この後、制御部102はルート案内部120を制御し、グラス型デバイス2と連携したナビゲーション処理を開始する(ステップS105)。ステップS105において、ルート案内部120は、地図DB105から該当エリアの地図データを抽出して、抽出した地図データに応じて地図を表示部113に表示する。また、ルート案内部120は、表示した地図上に設定されたルートとGPS部112を通じて取得する自機の現在位置を表示する。
さらに、ステップS105において、ルート案内部120は、提供制御部102Aの制御の下、必要に応じた案内メッセージを、記憶装置103から読み出して、これをグラス型デバイス2に供給して、グラス型デバイス2を通じて出力する。また、後述もするように、ステップS105においては、処理制御部102Bの制御の下、画像認識部122がグラス型デバイス2からの撮影映像を解析し、例えば、信号の状態や道路標識を認識し、この認識結果をグラス型デバイス2に供給して、グラス型デバイス2を通じて出力する処理も行う。このようにして、ナビゲーション処理が開始される。
そして、制御部102は、詳しくは後述するルート確認処理、情報共有処理、情報更新処理といったユーザーの指示やグラス型デバイス2からの指示があった場合に実行する、いわゆるイベントドリブン型の処理についての実行処理を行う(ステップS106)。ステップS106においては、主に連携制御部102Cの制御の下に各部が機能し、ルート確認処理、情報共有処理、情報更新処理などが行われる。この後、目的地に到着したり、ナビゲーション処理を終了する所定の処理が行われたりするなどのナビゲーション処理を終了させる所定の事象が発生したか否かを判別する(ステップS107)。
ステップS107の判別処理において、ナビゲーション処理を終了させる所定の事象は発生していないと判別したときには、制御部102は、ステップS106からの処理を繰り返す。また、ステップS107の判別処理において、ナビゲーション処理を終了させる所定の事象が発生したと判別したときには、制御部102は、ナビゲーション処理を終了させ、ナビゲーション装置1をナビゲーション処理実行前の状態に戻す所定のナビゲーション終了処理を実行して(ステップS108)、この図6に示すナビゲーション処理を終了させる。
そして、図6に示したステップS105においては、制御部102の提供制御部102Aと処理制御部102Bとが機能する。そして、ステップS105においては、(1)ナビゲーション装置1からグラス型デバイス2に情報などを提供して協調動作する。また、ステップS105においては、(2)グラス型デバイス2からナビゲーション装置1に情報などを提供して協調動作する。また、ステップS106においては、連携制御部202Cが機能し、(3)ナビゲーション装置1とグラス型デバイス2とで双方向に情報などを提供し合い協調動作する。
[グラス型デバイス2で実行されるナビゲーション連携処理]
図7は、ナビゲーション装置1において図6に示したナビゲーション処理が実行されている場合に、グラス型デバイス2で実行されるナビゲーション連携処理を説明するためのフローチャートである。グラス型デバイス2に電源が投入されると、グラス型デバイス2の制御部202は、図7に示すナビゲーション連携処理を実行する。
まず、制御部202は、近距離通信部201及び近距離送受信アンテナ201Aを通じて、ナビゲーション装置1からの要求に応じて通信を行い、相互に通信が可能な状態を形成する(ステップS201)。このステップS201の処理は、図6に示したナビゲーション装置1において実行されるナビゲーション処理のステップS104において実行される処理に対応している。
そして、制御部202は、提供制御部202Bの制御の下、カメラ部209を機能させ、カメラ部209を通じて撮影した映像(撮影映像)を、近距離通信部201及び近距離送受信アンテナ201Aを通じて、ナビゲーション装置1に送信する処理を開始させる(ステップS202)。
この後、制御部202は、ナビゲーション装置1からの指示等を受信するようにし(ステップS203)、ナビゲーション装置1からの指示等を受信したか否かを判別する(ステップS204)。ステップS204の判別処理において、ナビゲーション装置1からの指示等を受信したと判別したときには、制御部102は、ナビゲーション装置1からの指示等に応じた処理を実行する(ステップS205)。
ステップS205においては、処理制御部202Aの制御の下、ナビゲーション装置1からの指示に応じてメッセージを表示出力したり、骨伝導出力したりする。また、ステップS205においては、連携制御部202Cの制御の下、GPS部210を通じて取得した現在位置を示す情報を提供するなどの処理も行われる。
ステップS205の処理の後においては、例えば、電源をオフにする操作が行われたか否かを判別し(ステップS206)、電源をオフにする操作が行われたと判別したときには、所定の終了処理を行って(ステップS207)、この図7に示す処理を終了する。また、ステップS206の判別処理において、電源をオフにする操作は行われていないと判別したときには、ステップS203からの処理を繰り返す。
一方、ステップS204の判別処理において、ナビゲーション装置1からの指示等を受信していないと判別したとする。この場合、制御部202は、スイッチ204Aに対する操作入力を受け付けるようにし(ステップS208)、スイッチ204Aに対する操作を受け付けたか否かを判別する(ステップS209)。
ステップS209の判別処理において、スイッチ204Aに対する操作を受け付けたと判別したときには、連携制御部202Cの制御の下、操作に応じた要求を形成し、ナビゲーション装置1に送信する(ステップS210)。例えば、スイッチ204Aが1回操作された場合には、ルート確認要求を形成し、スイッチ204Aが2回連続して操作された場合には、情報共有要求を形成し、スイッチ204Aが3回連続して操作された場合には、情報更新要求を形成して、ナビゲーション装置1に送信する。
ステップS210の処理の後と、ステップS209の判別処理において、スイッチ204Aに対する操作を受け付けていないと判別したときには、ステップS206の処理に進む。そして、上述もしたように、電源をオフにする操作が行われたか否かを判別し(ステップS206)、電源をオフにする操作が行われたと判別したときには、所定の終了処理を行って(ステップS207)、この図7に示す処理を終了する。また、ステップS206の判別処理において、電源をオフにする操作は行われていないと判別したときには、ステップS203からの処理を繰り返す。
このようにして、グラス型デバイス2において、ナビゲーション装置1で実行されるナビゲーション処理と連携するナビゲーション連携処理が行われる。そして、メッセージ情報の出力処理、現在位置などの情報の提供処理、さらには、ナビゲーション装置1に対して種々の要求を形成して送信する処理が行われる。
[(1)ナビゲーション装置1からグラス型デバイス2に情報を提供して協調動作]
次に、ナビゲーション装置1からグラス型デバイス2に情報を提供して協調動作する場合の処理について説明する。ここでは、ナビゲーション装置1で発生した音声案内を、グラス型デバイス2で文字として表示したり、骨伝導で伝えたりする場合について説明する。
[ナビゲーション装置1の処理]
この実施形態のナビゲーション装置1は、歩行者用ナビゲーション処理を実行している場合に、周囲への影響を考慮して、音声出力端子118に接続されたイヤホンを通じてのみ音声案内を出力する。しかし、イヤホンが使用者の耳から外れていた場合には、使用者は音声案内を聴取できない。そこで、この実施形態のナビゲーション装置1においては、グラス型デバイス2を通じても、音声案内に応じた情報を使用者に提供する。
歩行者用ナビモードが選択され、歩行者用の地図データやネットワークデータが用いられて歩行者用のナビゲーション処理が実行されている場合に、何らかの音声案内が発生したとする。この場合、図6に示したステップS105の処理において、提供制御部102Aは、音声処理部116のイヤホンの接続の有無の検知結果に基づいて、音声出力端子118にイヤホンが接続されているか否かを判別する。
そして、イヤホンが接続されていると判別した場合には、提供制御部102Aは、音声案内に応じた案内情報の表示のみを行うことを指示する指示情報と、当該音声案内の音声データとを、グラス型デバイス2に送信する。イヤホンは接続されていないと判別したとする。この場合、提供制御部102Aは、音声案内に応じた案内情報の表示と骨伝導出力との両方を行うことを指示する指示情報と、当該音声案内の音声データとを、グラス型デバイス2に送信する。
[グラス型デバイス2の処理]
グラス型デバイス2においては、図7に示したステップS205の処理において、ナビゲーション装置1から受信した指示が案内情報の表示のみを指示するものである場合には、音声案内に応じた案内情報の表示出力処理を実行する。この場合、処理制御部202Aが機能し、一緒に送信されてきている音声案内に応じた音声データを、表示用データに変換し、これを表示処理部205に供給する。表示処理部205は、これに供給された表示用データから投影部206に供給する表示用信号を形成し、これを投影部206に供給する。これにより、投影部206は供給された表示用信号に応じた案内情報がグラス型デバイス2のレンズ部に表示される。
図8は、表示処理部205及び投影部206が機能して、グラス型デバイス2のレンズ部に表示された案内情報の例を示す図である。図8に示すように、本来、音声案内として音声出力される「次の交差点を右折して下さい」という案内情報が、表示メッセージとしてグラス型デバイス2のレンズ部に表示(投影)される。また、この実施形態において、処理制御部202Aは、案内情報の「右折して下さい」とのメッセージに応じて、右折を指示する矢印マークをも付加して表示する表示用データを形成し、表示処理部205に供給している。これにより、たとえ音声出力端子118に接続されたイヤホンが使用者の耳から外れていても、使用者は、徒歩ナビゲーション処理において発生した案内情報を確実に認識できる。
また、図7に示したステップS205の処理において、ナビゲーション装置1から受信した指示が音声案内に応じた案内情報の表示出力処理と骨伝導出力処理とを実行することを指示するものであったとする。この場合、処理制御部202Aは、上述もしたように、表示処理部205及び投影部206を機能させ、グラス型デバイス2のレンズ部に例えば図8に示した態様で案内情報を表示する。
さらに、処理制御部202Aは、一緒に送信されてきている音声案内に応じた音声データを、骨伝導駆動部207に供給する。骨伝導駆動部207は、これに供給された音声データから骨伝導振動部208に供給する駆動信号を形成し、これを骨伝導振動部208に供給する。骨伝導振動部208は、骨伝導駆動部207からの駆動信号に応じて振動する。これにより、音声案内用の音声データに応じた振動が頭蓋骨を介して直接聴覚神経に伝わり、放音された音声を聴取する場合と同様に、発生した音声案内に応じた内容が骨導音として使用者に認識される。
このように、ナビゲーション装置1とグラス型デバイス2とが協調動作することにより、歩行者用ナビゲーション処理の実行時においてナビゲーション装置1において発生した音声案内に応じた案内情報を、グラス型デバイス2を通じて確実に使用者に提供できる。しかも、グラス型デバイス2は、単に案内情報を出力するだけでなく、ナビゲーション装置1からの要求に応じて、表示により、あるいは、表示と骨導音とにより、案内情報を出力できると共に、必要な情報を付加するなどのこともできる。
[(2)グラス型デバイス2からナビゲーション装置1に情報を提供して協調動作]
次に、グラス型デバイス2からナビゲーション装置1に情報を提供して協調動作する場合の処理について説明する。ここでは、上述もしたように、グラス型デバイス2から順次に提供される撮影映像について画像認識を行い、認識結果を報知する場合について説明する。
[ナビゲーション装置1の処理]
この実施形態のナビゲーション装置1は、ナビゲーション処理を実行している場合には、図6、図7のフローチャートを用いて説明したように、グラス型デバイス2と連携できるようになり、グラス型デバイス2から順次に撮影映像が提供されるようになっている。この場合、ナビゲーション装置1の処理制御部102Bの制御の下、画像認識部122が機能し、グラス型デバイス2からの撮影映像を解析して画像認識を行い、この画像認識の結果を制御部102に通知できるようになっている。
例えば、グラス型デバイス2からの撮影映像の中に、信号機が存在しており、その信号機の点灯状態を認識したところ赤信号の状態であることが認識できたとする。この場合、処理制御部102Bが機能し、前方の信号機の状態が赤信号であることを、表示部113に表示された地図上に表示したり、音声情報として音声処理部116及びスピーカ117、或いは、音声出力端子118に接続されたイヤホンから放音したりできる。
なお、画像認識の結果を、グラス型デバイス2に通知して、グラス型デバイス2を通じて出力することもできる。この場合には、上述もしたように、表示だけを用いたり、表示と骨伝導とを用いたりすることができる。図9は、画像認識の結果を、グラス型デバイス2を通じて表示出力した場合の例を示す図である。グラス型デバイス2からの撮影映像を解析することによりルート上の状況を認識した結果、進行方向の交差点の信号が赤信号であることを認識したとする。
この場合には、図9(A)に示すように、「赤信号です」との認識結果を表示させたり、また、骨伝導出力させたりできる。また、グラス型デバイス2からの撮影映像を解析することによりルート上の状況を認識した結果、進行方向の交差点の道路が侵入禁止であることを認識したとする。この場合には、図9(B)に示すように、「侵入禁止です」との認識結果を表示させたり、また、骨伝導出力させたりできる。
[(3)ナビゲーション装置1とグラス型デバイス2とで情報を提供し合い協調動作]
次に、ナビゲーション装置1とグラス型デバイス2とで情報を提供し合い協調動作する場合の処理について説明する。ここでは、ナビゲーション処理中に行われるルート確認処理、情報共有処理、情報更新処理について説明する。また、ナビゲーション装置1のGPS部112を通じて現在位置を示す情報が取得できなくなった場合に、ナビゲーション装置1とグラス型デバイス2とが協働することによって、ナビゲーション処理を継続させる場合の協調動作についても説明する。
[ルート確認処理]
図10は、図6に示したナビゲーション処理のステップS106において制御部102により実行されるルート確認処理について説明するためのフローチャートである。図6のステップS106において、図10に示したルート確認処理が実行されると、ルート確認処理を実行するための指示入力を受け付けるようにする(ステップS301)。ここで、ルート確認処理を実行するための指示入力は、例えば、表示部113に表示されているルート確認処理を実行するための表示ボタンに対する指示入力やナビゲーション装置1に設けられた所定のハードウェアキーに対する指示入力などである。
次に、制御部102は、ルート確認処理を実行するための指示入力を受け付けたか否かを判別し(ステップS302)、受け付けたと判別したときには、グラス型デバイス2に対して注目対象の指示を形成して送信する(ステップS303)。ステップS303では、現在位置、実行されているナビモード、現在位置において対比可能な対象物などを総合的に考慮し、どのような撮影映像が必要かを判別して、目的とする撮影映像の提供を受けられるようにグラス型デバイス2を装着した使用者に要求する処理となる。
図11は、ナビゲーション装置1からグラス型デバイス2に提供される注目対象の指示とルート判定結果等の例とを説明するための図である。ナビモードが電車ナビモードであるとする。この場合に、図11の左列に示したように、例えば、現在位置が出発駅や到着駅である場合には、「駅名に注目して下さい」といった注目指示を、現在位置が乗換駅である場合には、「番線表示に注目して下さい」といった注目指示をグラス型デバイス2に送信する。
また、ナビモードが電車ナビモード以外であるとする。この場合に、図11の左列に示したように、現在位置と存在する比較対象に応じて、「交差点名に注目して下さい」、「建物名に注目して下さい」、「道路名に注目して下さい」といった注目指示をグラス型デバイス2に送信する。また、いずれのナビモードであっても、現在位置に応じた比較対象の位置に応じて、「右を見て下さい」、「左を見て下さい」といったカメラ部209の対物レンズを向ける方向を注目指示としてグラス型デバイス2に送信できる。当該注目指示は、グラス型デバイス2のレンズ部に表示されたり、骨伝導出力されたりして、グラス型デバイス2を装着した使用者に提供され、ルート確認に必要な映像を、カメラ部209を通じて撮影できるようにする。なお、図11に示した注目対象の指示の例はあくまでも例であり、この他にも種々の指示が存在する。
ステップS303の処理の後、処理制御部102Bは画像認識部122を制御し、注目指示をグラス型デバイス2に送信した後に、ルート確認のために利用可能な撮影映像が送信されてきているか否かを確認する(ステップS304)。当該確認は、連携制御部102Cの制御の下、グラス型デバイス2から送信されてきた撮影映像を、画像認識部122で画像認識して、目的とする対象物が含まれているか否かを確認する処理である。
そして、制御部102は、ステップS304の確認処理において、グラス型デバイス2からの撮影映像に目的とする対象物が含まれているか否か(OKか否か)を判別する(ステップS305)。ステップS305の判別処理において、グラス型デバイス2からの撮影映像に目的とする対象物が含まれていない(OKでない)と判別した場合には、ステップS303からの処理を繰り返す。
ステップS305の判別処理において、グラス型デバイス2からの撮影映像に目的とする対象物が含まれている(OKである)と判別したとする。この場合には、連携制御部102Cの制御の下、画像認識部122が機能して、認識対象の撮影映像を抽出し(ステップS306)、抽出した撮影映像の認識処理と移動ルートの特定処理を実行する(ステップS307)。ステップS307では、ナビゲーション装置1及びグラス型デバイス2の使用者は、どこをどの方向に移動しているのかが正確に特定される。
そして、連携制御部102Cは、ナビゲーション装置1及びグラス型デバイス2の使用者の現在位置及び移動方向と、ルート探索されて設定されたルートとを比較し、誘導内容を特定して誘導メッセージを形成するなどの処理を行う(ステップS308)。このステップS308においては、例えば、図11の右列に示したように、「右方向、南改札に進む」、「隣のホームに移動」、「一つ前の交差点に戻る」、[入口は反対側です]といった特定した誘導内容に合致する誘導メッセージを形成する。
この後、ステップS308で形成した誘導メッセージ等をグラス型デバイス2に通知し(ステップS309)、この図10に示すルート確認処理ルーチンを終了し、次の実行タイミングを待つことになる。また、ステップS302の判別処理において、ルート確認処理を実行するための指示入力を受け付けていないと判別したとする。この場合、制御部102は、グラス型デバイス2からの要求を受信するようにし(ステップS310)、グラス型デバイス2からのルート確認要求を受信したか否かを判別する(ステップS311)。
図12は、グラス型デバイス2からルート確認要求が送信される動作とルート判定結果等の例とを説明するための図である。グラス型デバイス2においては、スイッチ204Aを1回だけ押す操作がなされると、ルート探索要求を形成し、これをナビゲーション装置1に送信する。このため、図12の左列に示したように、「駅名を見てスイッチ204Aを押す」、「交差点名を見てスイッチ204Aを押す」というように、注目対象に注目した後に、スイッチ204Aを1回だけ押す操作を行うと、注目対象を含む撮影映像とルート探索要求とをナビゲーション装置1に送信できる。
このため、ステップS311の判別処理において、グラス型デバイス2からルート探索要求を受信したと判別したとする。この場合、連携制御部102Cの制御の下、画像認識部122が機能して認識対象の撮影映像を特定する処理を行う(ステップS312)。このステップS312の特定処理は、実行されているナビモード、現在位置において対比可能な対象物などを総合的に考慮し、どのような撮影映像が必要かを判別して、その判別した撮影映像を画像認識部122において特定する。
すなわち、ステップS312の処理において画像認識部122は、グラス型デバイス2からの撮影映像を一時記憶する所定容量のバッファメモリを備えており、そのバッファメモリに一時記憶されている撮影映像から必要な撮影映像を特定する。なお、ステップS312においては、撮影映像に付加されている撮影方向を示す情報も考慮され、例えば、連続して右を見たときの撮影映像と左を見たときの撮影映像が存在する場合には、その両方が認識対象の撮影映像として特定される。また、前後を連続して見た場合や前後左右を連続して見た場合も同様である。
ステップS312の処理の後においては、ステップS306からの処理が行われる。すなわち、上述した撮影映像の抽出(ステップS306)、撮影映像の認識処理及び移動ルートの特定処理(ステップS307)、メッセージ形成等の処理(ステップS308)、形成したメッセージのグラス型デバイス2への通知処理(ステップS309)が行われる。これらの処理は、上述したように、連携制御部102Cの制御の下、画像認識部122が機能して実行される。
このように、ルート確認処理は、ナビゲーション装置1に対する操作に応じて、ナビゲーション装置1からグラス型デバイス2に働きかけて行うことができる。また、ルート確認処理は、グラス型デバイス2に対する操作に応じて、グラス型デバイス2からナビゲーション装置1に働きかけて行うことができる。すなわち、ナビゲーション装置1とグラス型デバイス2との間で双方向に情報などを提供し合い協調動作することができる。
[交差点判別処理]
なお、この実施形態のナビゲーション装置1は、3D画像DB107に、交差点の3次元画像データを記憶保持している。この交差点の3次元データを用いて、ルート確認を行うこともできる。
図10に示したステップS306において抽出した撮影映像に交差点の映像が含まれていたとする。また、当該撮影映像には、グラス型デバイス2のセンサ部211で検出された撮影方向(カメラ部209の対物レンズが向けられた方向)を示す情報やグラス型デバイス2のGPS部210を通じて取得した現在位置を示す情報が付加されているものとする。
この場合、ナビゲーション装置1の連携制御部102Cは、ステップS307において、グラス型デバイス2からの当該撮影映像を3D画像比較部121に供給し、撮影映像に含まれる交差点の特徴を抽出する処理を開始するように制御する。さらに、連携制御部102Cは、抽出した交差点の特徴と3D画像DB107の交差点の3D画像データとのマッチング処理を開始するように3D画像比較部121を制御する。
ここでは、GPS部112で取得された現在位置の近傍に存在する交差点であって、グラス型デバイス2からの撮影映像に付加されている撮影方向から見た場合の交差点の3D画像データとのマッチングが行われる。この場合、グラス型デバイス2からの撮影映像に現在位置を示す情報が付加されている場合には、ナビゲーション装置1のGPS部112で取得された現在位置に替えて、グラス型デバイス2からの現在位置を示す情報を用いてもよい。
これにより、使用者が通る(通過しようとしている)交差点を特定することができ、使用者が移動している場所を特定できる。そして、連携制御部102Cは、ステップS307において、当該マッチング結果に基づいて、ルート設定されたルートを辿れているか否かを判別する処理を開始し、ルート設定されたルートから外れている場合には、ルートを補正する処理を行う。ルートを補正する処理は、連携制御部102Cが、ルート探索部119を制御して、GPS部112を通じて取得した現在位置から設定されたルートに戻る経路を探索する処理となる。
この後、連携制御部102Cは、ステップS309において、処理結果の通知を形成し、これをグラス型デバイス2に送信する処理を行う。これにより、グラス型デバイス2のレンズ部には、例えば、「設定ルートから外れました。次の交差点を右折してください」などと言った、設定ルートに戻るための案内メッセージを形成して、これをグラス型デバイス2を通じて使用者に提供することができる。
[電車ナビ協調処理]
また、この実施形態のナビゲーション装置1は、電車ナビモード時には、遅延状況を把握して、目的地への到着時間を変更したり、乗り越し防止機能を調整したりすることもできるようになっている。
例えば、ステップS306において抽出した撮影映像に駅名看板の画像が含まれていたとする。当該撮影映像もまた、グラス型デバイス2のセンサ部211で検出された撮影方向(カメラ部209の対物レンズが向けられた方向)を示す情報やグラス型デバイス2のGPS部210を通じて取得した現在位置を示す情報が付加されている。そして、ステップS307の処理において、ナビゲーション装置の連携制御部102Cの制御の下、画像認識部122において、駅名が抽出されたとする。この場合、連携制御部102Cは、抽出した駅名と時刻情報提供部111が提供する現在時刻とに基づいて、目的駅への到着時刻の補正処理を当該ステップS307の処理において行う。
すなわち、連携制御部102Cは、設定されたルートにおいて、使用者が乗車しているであろう電車が抽出された駅名により特定される駅に到着する時刻を時刻表DB108の情報に基づいて特定する。この特定した到着する時刻と、時刻情報提供部111が提供する現在時刻と比較することにより、乗車している電車が遅延しているか否が判別できる。そして、遅延している場合には、連携制御部102Cは、駅名を認識した駅から目的駅までの所要時間を考慮し、目的駅への到着時刻を補正する処理を行う。また、乗り換えがある場合には、乗換駅への到着時刻も補正する。
そして、連携制御部102Cは、当該補正結果に基づいて、乗り越し防止設定を修正する処理をステップS307において行う。当該乗り越し防止設定は、乗換駅や目的駅への到着時刻の所定時間分前(例えば、5分前)にナビゲーション装置1を図示しないバイブレータを振動させるなどして通知したり、グラス型デバイス2を通じて表示メッセージや骨伝導出力により通知したりするための到着時刻の設定を修正する。
この後、連携制御部102Cは、ステップS308において、到着時間の補正処理や乗り越し防止設定の修正処理についての結果通知を形成し、これをステップS309においてグラス型デバイス2に通知する。このようにして、電車ナビモード時における到着時間の補正処理や乗り越し防止設定の修正処理についても、グラス型デバイス2からの駅名看板を含む撮影映像を利用することによって複雑な操作を一切行うことなく、簡単に行える。
[情報共有処理]
図13は、図6に示したナビゲーション処理のステップS106において制御部102により実行される情報共有処理について説明するためのフローチャートである。図6のステップS106において、図13に示した情報共有処理が実行されると、情報共有処理を実行するための指示入力を受け付けるようにする(ステップS401)。ここで、情報共有処理を実行するための指示入力は、例えば、表示部113に表示されている情報共有処理を実行するための表示ボタンに対する指示入力やナビゲーション装置1に設けられた所定のハードウェアキーに対する指示入力などである。
次に、制御部102は、情報共有処理を実行するための指示入力を受け付けたか否かを判別し(ステップS402)、受け付けたと判別したときには、グラス型デバイス2に対して投稿対象への注目指示を形成して送信する(ステップS403)。図14は、この情報共有処理において用いられる出力メッセージの一例を示す図である。ステップS403においては、図14(B)に示すように、「投稿したい状況に注目して下さい」といった指示メッセージが形成され、これがグラス型デバイス2に通知され、表示出力されたり、骨伝導出力されたりすることになる。
そして、グラス型デバイス2から順次に送信されてくる撮影映像を受信し、連携制御部102Cの下、受信したグラス型デバイス2からの撮影映像を画像認識部122において画像認識を行う(ステップS404)。そして、連携制御部102Cは、混雑、天候、事故、工事状況などルート上の状態(状況)の検出を行う(ステップS405)。なお、上述もしたように、グラス型デバイス2から送信されてくる撮影映像には、グラス型デバイス2のセンサ部211で検出された撮影方向(カメラ部209の対物レンズが向けられた方向)を示す情報やグラス型デバイス2のGPS部210を通じて取得した現在位置を示す情報が付加されている。
ここで、混雑状況は、進行方向に存在する自動車の変化の状況などによって検出できる。また、天候状況は、画像の明るさ、空の色、水溜りや傘の有無などにより検出できる。また、事故状況は、道路上の自動車の停止位置、自動車の形状、警察車両や救急車の有無などにより検出できる。また、工事状況は、工事看板や工事車両(トラック、ブルドーザ、ショベルカーなどを含む)の有無などにより検知できる。
この後、連携制御部102Cは、検出したルート上の状態を、無線通信部124及び送受信アンテナ124Aを通じてインターネット上の所定のサーバに投稿する処理を実行する(ステップS406)。ルート上の状態の投稿は、検出した状態とGPS部112を通じて取得した現在位置とを対にして行われる。これにより、例えば、渋滞が発生している場合、どこで渋滞が発生しているのかを通知できるし、事故が発生している場合に、どこで事故が発生しているのかを通知できる。
なお、例えば、渋滞が発生している場合、時刻情報提供部111の提供する現在時刻を用い、処理制御部102Bが、単位距離当たりの移動時間を計測し、どの位の速さで移動しているのかを示す情報を通知することもできる。ステップS406の処理により、所定のサーバに投稿された情報は、当該サーバの利用が可能な他の自動車の運転者と共有できる。
この後、連携制御部102Cは、ルート上の状態の通知に関する結果通知を形成し、これをグラス型デバイス2に通知する(ステップS407)。これにより、グラス型デバイス2のレンズ部には、図14(B)に示すように、「渋滞の発生を投稿しまた」というように、投稿した事実と投稿内容が表示され、使用者に通知できる。そして、この図13に示す処理を終了し、次の実行タイミングを待つ。
また、ステップS402の判別処理において、情報共有処理を実行するための指示入力を受け付けていないと判別したとする。この場合、制御部102は、グラス型デバイス2からの要求を受信するようにし(ステップS408)、グラス型デバイス2からの情報共有要求を受信したか否かを判別する(ステップS409)。
ステップS409の判別処理において、情報共有要求を受信したと判別したときには、ステップS404からの処理を行う。これにより、グラス型デバイス2からの情報共有要求に応じても、ナビゲーション装置1において情報共有処理を実行できる。また、ステップS409の判別処理において、情報共有要求を受信していないと判別したときには、この図13に示す処理を終了し、次の実行タイミングを待つ。
なお、グラス型デバイス2からの情報共有要求は、例えば、スイッチ204Aが2回連続して操作されたり、操作部204の所定のファンクションキーが操作されたりした場合に形成してナビゲーション装置1に送信できるようにされている。
このように、情報共有処理は、ナビゲーション装置1に対する操作に応じて、ナビゲーション装置1からグラス型デバイス2に働きかけて行うことができる。また、情報共有処理は、グラス型デバイス2に対する操作に応じて、グラス型デバイス2からナビゲーション装置1に働きかけて行うことができる。すなわち、ナビゲーション装置1とグラス型デバイス2との間で双方向に情報などを提供し合い協調動作することができる。
[情報更新処理]
図15は、図6に示したナビゲーション処理のステップS106において制御部102により実行される情報更新処理について説明するためのフローチャートである。図6のステップS106において、図15に示した情報更新処理が実行されると、情報更新処理を実行するための指示入力を受け付けるようにする(ステップS501)。ここで、情報更新処理を実行するための指示入力は、例えば、表示部113に表示されている情報更新処理を実行するための表示ボタンに対する指示入力やナビゲーション装置1に設けられた所定のハードウェアキーに対する指示入力などである。
次に、制御部102は、情報更新処理を実行するための指示入力を受け付けたか否かを判別し(ステップS502)、受け付けたと判別したときには、グラス型デバイス2に対して変化を検知したい場所への注目指示を形成して送信する(ステップS503)。図16は、この情報更新処理において用いられる出力メッセージの一例を示す図である。ステップS503においては、図16(A)に示すように、「変化を検知したい方向に注目して下さい」といった指示メッセージが形成され、これがグラス型デバイス2に通知され、表示出力されたり、骨伝導出力されたりすることになる。
そして、グラス型デバイス2から順次に送信されてくる撮影映像を受信し、連携制御部102Cの下、グラス型デバイス2からの撮影映像をPOI比較部123に供給し、3D画像DB107の位置的に対応する3D画像データとの比較処理を開始させる(ステップS504)。なお、上述もしたように、グラス型デバイス2から送信されてくる撮影映像には、グラス型デバイス2のセンサ部211で検出された撮影方向(カメラ部209の対物レンズが向けられた方向)を示す情報やグラス型デバイス2のGPS部210を通じて取得した現在位置を示す情報が付加されている。
このため、ステップS504での比較処理では、GPS部112からの現在位置、あるいは、グラス型デバイス2からの撮影映像に付加されている現在位置を示す情報が考慮されると共に、グラス型デバイス2からの撮影映像に付加されている撮影方向も考慮される。すなわち、ステップS504では、同じ位置から同じ方向を見た場合の撮影映像と3D画像との比較が行われる。
そして、連携制御部102Cは、POI比較部123を制御して、撮影映像と3D画像との差分を特定する(ステップS505)。すなわち、撮影映像にあって3D画像にないもの、撮影映像になくて、3D画像にあるものを特定する。そして、POI比較部123は、特定した差分を記憶装置の所定の記録エリアに記録する(ステップS506)。このステップS506の記録処理では、「どの位置の」、「どの方向に見える」、「何が」、撮影映像にあって3D画像にないか、「どの位置の」、「どの方向に見える」、「何が」、撮影映像になくて3D画像にあるかを示す情報が記録される。
「どの位置の」が示す情報は、GPS部112やグラス型デバイス2から提供された現在位置を示す情報に応じた緯度、経度である。「どの方向に見える」が示す情報は、東西南北を基準とした方位である。したがって、南東方向や北北東方向などの特定可能な種々の方位が含まれる。「何が」が示す情報は、例えば、「ビルディング」、「信号機」、「道路標識」などといった、差分そのものの対象を示す情報であり、撮影映像を画像認識することにより、あるいは、3D画像データを解析等することにより特定可能な対象物を示す情報である。
この後、処理制御部102Bは、情報更新処理に関する結果通知を形成し、これをグラス型デバイス2に通知する(ステップS507)。これにより、図16(B)に示すように、例えば、「どの位置の」、「どの方向に見える」、「何が」、撮影映像にあって3D画像にないかが、グラス型デバイス2を通じて使用者に通知できる。もちろん、「どの位置の」、「どの方向に見える」、「何が」、撮影映像になくて3D画像にあるかを示す情報も通知できる。そして、この図15に示す処理を終了し、次の実行タイミングを待つ。
また、ステップS502の判別処理において、情報更新処理を実行するための指示入力を受け付けていないと判別したとする。この場合、制御部102は、グラス型デバイス2からの要求を受信するようにし(ステップS508)、グラス型デバイス2からの情報更新要求を受信したか否かを判別する(ステップS509)。
ステップS509の判別処理において、情報更新要求を受信したと判別したときには、ステップS504からの処理を行う。これにより、グラス型デバイス2からの情報更新要求に応じても、ナビゲーション装置1において情報更新処理を実行できる。また、ステップS509の判別処理において、情報更新要求を受信していないと判別したときには、この図15に示す処理を終了し、次の実行タイミングを待つ。
なお、グラス型デバイス2からの情報更新要求は、例えば、スイッチ204Aが3回連続して操作されたり、操作部204の所定のファンクションキーが操作されたりした場合に形成してナビゲーション装置1に送信できるようにされている。
このように、情報更新処理は、ナビゲーション装置1に対する操作に応じて、ナビゲーション装置1からグラス型デバイス2に働きかけて行うことができる。また、情報更新処理は、グラス型デバイス2に対する操作に応じて、グラス型デバイス2からナビゲーション装置1に働きかけて行うことができる。すなわち、ナビゲーション装置1とグラス型デバイス2との間で双方向に情報などを提供し合い協調動作することができる。
すなわち、この実施形態のナビゲーションシステムにおいては、ナビゲーション装置1が、グラス型デバイス2からの撮影映像の提供を受けて、これを処理することにより、情報更新処理を行える。情報更新処理を行った場合には、既に把握している種々のPOI等について情報(既存情報)についての変化を検知し、変化分の情報を形成して蓄積することにより、既存情報の更新に役立てることができる。
[ナビゲーション装置1で現在位置が測位できなくなった場合の協調処理]
次に、ナビゲーション装置1のGPS部112を通じて現在位置を示す情報が取得できなくなった場合に、ナビゲーション装置1とグラス型デバイス2とが協働することによって、ナビゲーション処理を継続させる場合の協調動作について説明する。
[ナビゲーション装置1の処理]
図17、図18は、ナビゲーション処理の実行時において、ナビゲーション装置1のGPS部112を通じて現在位置を示す情報が取得できなくなった場合に(GPSロストとなった場合に)、連携制御部102Cによって実行される処理を説明するためのフローチャートである。
GPSロストとなると、連携制御部102Cは、GPSデータの提供要求を形成し、これをグラス型デバイス2に送信する処理を行う(ステップS601)。そして、連携制御部102Cは、グラス型デバイス2からの応答を受信する処理を行う(ステップS602)。なお、ステップS602の処理では、グラス型デバイス2からの応答を受信するまで待ち状態となる。
ステップS602の応答の受信処理を通じてグラス型デバイス2からの応答を受信すると、連携制御部102Cは、グラス型デバイス2からの応答は、グラス型デバイス2のGPS部210を通じて取得する現在位置を示す情報(GPSデータ)を有するものか否かを判別する(ステップS603)。ステップS603の判別処理において、グラス型デバイス2からの応答がGPSデータを含むものであると判別したとする。この場合、連携制御部102Cは、ルート案内部120を制御し、グラス型デバイス2からのGPSデータを自機の現在位置として用いてナビゲーション処理を継続させる(ステップS604)。
そして、連携制御部102Cは、自機のGPS部112を通じて現在位置を示す情報の取得が可能になったか否かを判別する(ステップS605)。ステップS605の判別処理において、GPS部112を通じて現在位置を示す情報の取得が可能になっていないと判別したときには、ステップS604からの処理を繰り返し、グラス型デバイス2から供給されるGPSデータを用いたナビゲーション処理を継続する。
ステップS605の判別処理において、GPS部112を通じて現在位置を示す情報の取得が可能になったと判別したときには、連携制御部102Cは、GPSデータの送信停止要求を形成し、これをグラス型デバイス2に送信する(ステップS606)。この後、連携制御部102Cは、ルート案内部120を制御し、自機のGPS部112からの現在位置を示す情報(GPSデータ)を用いてナビゲーション処理を行うようにする(ステップS607)。そして、この図17、図18に示す処理を終了し、通常のナビゲーション処理に戻る。
また、ステップS603の判別処理において、グラス型デバイス2からの応答がGPSデータを含むものではないと判別したとする。この場合、連携制御部102Cは、ルート案内部120の動作状態を確認し、位置確認が必要か否かを判別する(ステップS608)。具体的に、このステップS608の判別処理は、ルート案内部120において、自機の現在位置を把握しており、センサ部110からのセンサ出力に応じて自律航法によるナビゲーションが可能か否かを判別する処理である。
ステップS608の判別処理において、位置確認が必要である(自機の現在位置を把握していない)と判断したときには、連携制御部102Cは、看板、住所表示等の映像の提供要求を形成し、これをグラス型デバイス2に送信する(ステップS609)。そして、連携制御部102Cは、グラス型デバイス2から送信されてくる撮影映像の受信処理を行う(ステップS610)。なお、ステップS610の処理では、グラス型デバイス2からの撮影映像を受信するまで待ち状態となる。
ステップS610において、グラス型デバイス2からの撮影映像を受信すると、連携制御部102Cは、撮影画像に基づいて、現在位置を特定する処理を行う(ステップS611)。ステップS611において、連携制御部102Cは、グラス型デバイス2から撮影映像を画像認識部122に供給して画像認識処理を実行させ、撮影映像に含まれる看板等に記載されている会社名、住所表示等の注目情報(文字情報)を抽出する。注目情報が住所表示である場合には、その住所表示が示す位置がナビゲーション装置1の現在位置となる。
また、注目情報が会社の看板などである場合には、連携制御部102Cは、取得不能になる前に取得した最新のGPSデータが示す位置を基準にして、地図DB105の地図データにより形成される地図上において、認識した注目情報により示される会社等の位置を特定する。次に、連携制御部102Cは、注目情報により示される位置と、グラス型デバイス2のカメラ部209の性能に応じて、撮影位置から注目情報が表示(記載)された被写体までの距離を算定する。さらに、グラス型デバイス2からの撮影映像に付加された撮影方向を示す情報をも考慮して、撮影位置を特定する。この特定した撮影位置が、ナビゲーション装置1の現在位置となる。
ステップS608の判別処理において、位置確認は必要ない(自機の現在位置を把握している)と判断したときと、ステップS611の処理の後においては、連携制御部102Cは、図18の処理に進む。この場合、連携制御部102Cは、ステップS611で特定したナビゲーション装置1の現在位置、あるいは、把握しているナビゲーション装置1の現在位置を基準にして、センサ部110からのセンサ出力を利用した自立航法によるナビゲーション処理を実行する(ステップS612)。そして、連携制御部102Cは、自機のGPS部112を通じて現在位置を示す情報の取得が可能になったか否かを判別する(ステップS613)。
ステップS613の判別処理において、自機のGPS部112を通じて現在位置を示す情報の取得は可能になっていないと判別したときには、図17に示したステップS608からの処理を繰り返す。また、ステップS613の判別処理において、自機のGPS部112を通じて現在位置を示す情報の取得が可能になったと判別したとする。この場合、連携制御部102Cは、ルート案内部120を制御し、自機のGPS部112を通じて取得する現在位置を示す情報(GPSデータ)を用いた通常のナビゲーション処理に戻るようにする(ステップS614)。そして、この図17、図18に示した処理を終了する。
[グラス型デバイス2の処理]
一方、グラス型デバイス2では、図7のフローチャートを用いて説明したように、ナビゲーション装置1からの指示等を受信するようにしている。そして、図7のステップS205の処理において、ナビゲーション装置1からの要求に応じた処理が行われる。すなわち、図7のステップS205においては、GPS210を通じて取得した現在位置を示す情報のナビゲーション装置1への提供を開始や終了、注目対象を示すメッセージの表示などの処理が行われる。
図19は、ナビゲーション装置1でGPSロストとなった場合であって、ナビゲーション装置1において現在位置が不明である場合に、ナビゲーション装置1からの指示に応じてグラス型デバイス2のレンズ部に表示される表示メッセージ(図19(A))と、グラス型デバイス2のレンズ部を介して見える景色(図19(B))の例を示す図である。
ナビゲーション装置1でGPSロストとなった場合であって、ナビゲーション装置1において現在位置が不明である場合には、上述したようにナビゲーション装置1からは、看板や住所表示への注目を指示してくる。このため、連携制御部202Cは、まず、看板、住所表示に注目することの指示メッセージを表示処理部205に供給する。これにより、表示処理部205と投影部206とが機能し、グラス型デバイス2のレンズ部に図19(A)に示すような、看板や住所表示に注目することの指示メッセージを表示する。
この場合、図19(A)に示した態様で表示される指示メッセージに応じて、グラス型デバイス2を頭部に装着している使用者は、例えば、図19(B)に示すように、自分の所在位置を特定するために用いることができる看板などを注目(見る)ようにする。これにより、使用者の場所の特定に利用可能な映像が撮影され、ナビゲーション装置1に送信される。これにより、ナビゲーション装置1では、グラス型デバイス2からの映像を解析することによい、現在位置の特定に資する情報を抽出し、その抽出した情報をももちいて、上述したように現在位置を特定し、自律航法機能を適切に機能させることができる。
このように、ナビゲーション装置1とグラス型デバイス2とで情報を提供し合い協調動作することで、ナビゲーション装置1において現在位置が測位できない状態となっても、ナビゲーション処理を適切に続行させることができる。
[実施の形態の効果]
上述した実施の形態のナビゲーションシステムによれば、(1)ナビゲーション装置1からグラス型デバイス2に情報などを提供して協調動作を行わせることができる。具体的には、ナビゲーション装置1において、音声案内が発生した場合に、当該音声案内に応じた案内情報を、グラス型デバイス2のレンズ部に表示して通知したり、骨伝導により通知したりすることができる。
また、(2)グラス型デバイス2からナビゲーション装置1に情報などを提供して協調動作を行わせることができる。具体的には、上述もしたように、グラス型デバイス2からの撮影映像を利用することによって、例えば、進行方向の信号の状態、進入禁止の道路か否かなど、種々の状態を判別して使用者に通知できる。
また、(3)ナビゲーション装置1とグラス型デバイス2とで双方向に情報などを提供し合い協調動作を行わせることができる。具体的には、ルート確認機能、情報共有機能、情報更新機能を実現できる。また、ナビゲーション装置1において、GPS部112で現在位置の測位が不能になった場合に、グラス型デバイス2からのGPSデータを利用したり、グラス型デバイス2からの撮影映像を利用したりして、ナビゲーション処理を継続させることができる。この場合に、相互に指示等を提供し、適切な処理を行うことができる。
[変形例等]
なお、上述した実施の形態では、グラス型デバイス2のカメラ部209からの撮影映像を用いた現在位置の特定処理では、看板や住所表示を撮影し、これを利用する場合を説明したが、これに限るものではない。例えば、地図上に存在する2つのランドマークを同じ場所から見て撮影することにより、そのように2つのランドマークが見える位置を地図上で特定することにより、現在位置を特定することもできる。もちろん、2つともランドマークに限らず、1つは太陽や月で、もう一つはランドマークを用いるといったことも可能である。
また、2つ以上の適宜の数のランドマークを同じ場所から見て撮影することにより、そのように2以上のランドマークが見える位置を地図上で特定することにより、現在位置を特定することもできる。この場合に、グラス型デバイス2のセンサ部211に6軸センサを搭載しておくことにとり、異なるランドマークを見るようにした場合の使用者の回転角度を考慮し、現在位置を正確に特定することも可能である。
また、ナビゲーション装置1から目的とする被写体への注目指示を、グラス型デバイス2を通じて表示出力したり骨伝導出力したりすることにより通知する。これに応じて、グラス型デバイス2を装着した使用者が、目的とする被写体に注目し、グラス型デバイス2の耳かけ部などに設けられている操作部のシャッターを操作することにより、目的とする被写体の静止画像を撮影し、これをナビゲーション装置1に送信する構成とすることもできる。この場合、ナビゲーション装置1では、グラス型デバイス2からの静止画像を解析し、文字認識や目的とする対象物などを認識する処理を行うようにすればよい。すなわち、グラス型デバイス2からナビゲーション装置1に送信する撮影映像は、動画像、静止画像のいずれの構成とすることができ、その処理方式はナビゲーション装置1側で決めておけばよい。
また、例えば、ナビゲーション装置1に騒音センサを設けておき、周囲の騒音が所定レベル以上になった場合であって、音声案内が発生した場合に、グラス型デバイス2を通じて骨伝導による案内通知を行うようにしてもよい。
[その他]
上述した実施の形態からも分かるように、ナビゲーション装置のナビ側通信手段の機能は、ナビゲーション装置1の近距離送受信アンテナ101A及び近距離通信部101が実現し、ナビゲーション装置のナビ側指示制御手段の機能は、ナビゲーション装置1の提供制御部102Aが実現している。また、ナビゲーション装置の映像処理手段の機能は、ナビゲーション装置1の3D画像比較部121、画像認識部122、POI比較部123が実現し、ナビゲーション装置の処理制御手段の機能は、ナビゲーション装置1の処理制御部102Bが実現している。ナビゲーション装置の現在位置取得手段の機能は、ナビゲーション装置1のGPS部112及びGPSアンテナ112Aが実現している。また、ナビゲーション装置の第1、第2の連携制御手段の機能は、ナビゲーション装置1の連携制御部102Cが実現している。また、ナビゲーション装置の抽出手段の機能は、ナビゲーション装置1の画像認識部122が実現している。
また、グラス型デバイスのグラス側通信手段の機能は、グラス型デバイス2の近距離送受信アンテナ201A及び近距離通信部201が実現し、グラス型デバイスのグラス側指示制御手段の機能は、グラス型デバイス2の処理制御部202Aが実現している。また、グラス型デバイスの表示手段の機能は、グラス型デバイス2の表示処理部205及び投影部206が実現し、グラス型デバイスの骨伝導手段の機能は、グラス型デバイス2の骨伝導駆動部207及び骨伝導振動部208が実現している。また、グラス型デバイスの撮像手段の機能は、グラス型デバイス2のカメラ部209が実現し、グラス型デバイスの提供制御手段の機能は、グラス型デバイス2の提供制御部202Bが実現している。また、グラス型デバイスの第1、第2の連携制御手段の機能は、グラス型デバイス2の連携制御部202Cが実現している。
また、上述した実施の形態のナビゲーションシステムを構成するナビゲーション装置1が、この発明のナビゲーション装置の一実施の形態が適用されたものである。また、上述した実施の形態のナビゲーションシステムを構成するグラス型デバイス2が、この発明のグラス型デバイスの一実施の形態が適用されたものである。
また、図6〜図7、図10、図13、図15、図17〜図18のフローチャートに示した処理を行う方法が、この発明による装置間連携方法の一実施の形態が適用されたものである。