JP5829154B2

JP5829154B2 - 拡張現実システム

Info

Publication number: JP5829154B2
Application number: JP2012055381A
Authority: JP
Inventors: 瀧沢　昭彦; 昭彦瀧沢
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2012-03-13
Filing date: 2012-03-13
Publication date: 2015-12-09
Anticipated expiration: 2032-03-13
Also published as: JP2013190255A

Description

本発明は、拡張現実の技術に関するものである。

拡張現実（AR：Augmented Reality）の技術としては、通信を介してサーバから取得した周辺の施設の情報を、カメラが撮影している実空間の周辺の風景を表す映像上の当該施設に対応する位置に重畳表示する通信端末が知られている（たとえば、特許文献１）。

特開２０１０-２３９５６８号公報

上述した拡張現実の技術によれば、ユーザが、道路上を進行しているときに、カメラの撮影画像上に情報が重畳表示される施設と、走行中との道路との位置関係を誤認してしまうことがある。
すなわち、たとえば、走行中の道路の左側にある、現在位置から少し離れている施設の位置が、当該道路が前方で右に大きくカーブしているために、現在位置から見て右側に位置する場合に、カメラの撮影画像上の当該施設が移り込む位置付近に当該施設の情報を表示すると、当該情報はカメラ撮影映像の右側に表示されることとなる。そして、この場合において、道路の見通しが悪いときには、ユーザは、当該施設の情報がカメラ撮影映像の右側に表示されていることより、当該施設が走行中の道路の右側に位置すると誤認してしまうことがある。

そこで、本発明は、施設の情報を、カメラが撮影している実空間の周辺の風景を表す映像上の施設に対応する位置に当該施設の情報を表示する仮想現実システムにおいて、施設と走行中の道路との位置関係のユーザの誤認を抑制することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される拡張現実システムに、前記自動車前方の風景を撮影するカメラと、前記自動車の現在位置と現在の進行方向とを現在状態として算出する現在状態算出手段と、施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、地図データと前記現在状態とより求まる前記カメラの撮影範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像上に、当該撮影画像中の当該拡張現実情報が関係づけられた施設が写り込む位置に関連づけた形態で配置した拡張現実画像を表示する拡張現実画像表示手段と、前記現在状態と前記地図データとに基づいて、前記自動車が走行中の道路である走行中道路と、当該道路の起点に向かう方向と終点に向かう方向とのうちの前記自動車が進行している方向である走行方向とを検出する検出手段と、前記地図データに基づいて、前記走行中道路を前記走行方向に進む場合に、前記カメラの撮影範囲に含まれる各施設が、前記走行中道路の右側と左側のいずれに位置するかを判定する施設左右位置算出手段と設け、前記拡張現実画像表示手段において、前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報と、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報との区別をユーザが視認可能な形態で、前記カメラの撮影範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像上に配置するようにしたものである。

このような拡張現実システムによれば、各施設の情報を、走行中の道路の右側にある施設の情報と左側にある施設の情報との区別をユーザが視認可能な形態で、カメラの撮影画像上に表示するので、ユーザの施設と走行中の道路との左右の位置関係のユーザの誤認を抑制することができる。

ここで、このような拡張現実システムは、前記拡張現実画像表示手段において、前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像の右半分の領域内に配置し、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像の左半分の領域内に配置するように構成してもよい。

また、このような拡張現実システムは、前記拡張現実画像表示手段において、前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報と、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報とを、相互に異なる装飾を施した形態で、前記カメラで撮影した撮影映像上に配置するように構成してもよい。また、この場合には、前記拡張現実画像表示手段において、前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を示すテキストと、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を示すテキストとを、相互に異なる文字色で、前記カメラで撮影した撮影映像上に配置するようにしてもよい。

また、このような拡張現実システムは、前記拡張現実画像表示手段において、前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、右を表す記号もしくは文字を付した形態で、前記カメラで撮影した撮影映像上に配置し、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、左を表す記号もしくは文字を付した形態で、前記カメラで撮影した撮影映像上に配置するように構成してもよい。

このようにすることより、ユーザは、より容易にカメラで撮影した撮影映像上に表示された情報に対応する施設が走行中道路の左右いずれ側に位置するかを把握することができるようになる。
また、以上のような拡張現実システムでは、前記拡張現実画像表示手段において、前記拡張現実情報が表す情報を、当該拡張現実情報が関係づけられた施設が写り込む位置からの吹き出しの形態で、前記カメラで撮影した撮影映像上に配置するように構成してもよい。

このようにすることより、ユーザは、より直感的に、カメラで撮影した撮影映像上に表示された情報に対応する施設が実風景中のいずれが当該施設であるかを把握することができるようになる。
また、以上のような拡張現実システムに、目的地までのルートを設定するルート設定手段を設け、前記拡張現実画像表示手段において、前記拡張現実画像に、前記カメラで撮影した撮影映像上で前記ルートを表すルート図形を含めるようにしてもよい。

以上のように、本発明によれば、カメラが撮影している実空間の周辺の風景を表す映像上の施設に対応する位置に当該施設の情報を表示する仮想現実システムにおいて、施設と走行中の道路との位置関係のユーザの誤認を抑制することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。本発明の実施形態に係る車載システムの記憶装置の記憶内容を示す図である。本発明の実施形態に係るＡＲタグ表示処理を示すフローチャートである。本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。本発明の実施形態に係るＡＲタグ表示処理の他の処理例を示す図である。

以下、本発明の実施形態について説明する。
図１ａに本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、車載システム１は、表示装置１０１、操作部１０２、自動車の前方の風景を撮影するカメラ１０３、ＧＰＳ受信機１０４、自動車の車速や角速度を計測する車両状態センサ１０５、制御部１０６、ナビゲーション部１０７、ＡＲ表示部１０８、記憶装置１０９、外部装置を無線または有線で接続するための外部インタフェース１１０とを備えている。

ただし、車載システム１は、ハードウエア的には、マイクロプロセッサや、メモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータを用いて構成してよく、この場合、以上に示した車載システム１の各部、または、その一部は、マイクロプロセッサが予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。また、この場合、このようなプログラムは、記録媒体や適当な通信路を介して、車載システム１に提供されるものであって良い。

ここで、このような車載システム１のカメラ１０３は、図１ｂに示すように、自動車前部に搭載され、自動車前方の風景を撮影する。
また、このような車載システム１には、外部インタフェース１１０を用いてスマートフォン２などを接続することができる。
次に、車載システム１の記憶装置１０９の記憶内容について説明する。
図２に示すように、記憶装置１０９には、地図データ、ＡＲデータベースが格納される。
ここで、地図データは、道路地図を表すデータであり予め記憶装置１０９に記憶される。
また、ＡＲデータベースは、施設の情報を表すＡＲデータを蓄積したものであり、各ＡＲデータは、ＡＲデータが情報を表す施設の種別を示す情報種別、ＡＲデータが情報を表す施設の位置を表す座標、拡張現実のためにカメラ１０３が撮影した映像上に表すＡＲタグを表すＡＲタグデータ、ＡＲデータが情報を表す施設についての詳細な情報である詳細情報とを有する。ここで、本実施形態では、ＡＲタグとしてＡＲデータが情報を表す施設の施設名を用いる。ただし、ＡＲタグとしては、施設の種別を示す図形であるアイコンなどを用いるようにすることもできる。

ここで、ＡＲデータベースの各ＡＲデータは、予め記憶装置１０９に記憶されたものであってもよいが、ＡＲ表示部１０８が、車載システム１に接続されたスマートフォン２を介して、移動体通信網を含むＷＡＮ３上のＡＲサーバ４より取得して記憶装置１０９に格納したものであってもよい。

さて、このような構成において、車載システム１のナビゲーション部１０７は、記憶装置１０９に記録されている地図データを用いて、ＧＰＳ受信機１０４や車両状態センサ１０５を利用した、自車の現在位置や自車の現在の前方方向の算出や、ユーザからの目的地の設定の受け付けや、設定された目的地までのルートの探索を行う。また、ナビゲーション部１０７は、現在位置周辺の地図上に現在位置を表すマークや目的地を表すマークや目的地までのルートを表したナビゲーション画像の生成などを行う。

一方、ＡＲ表示部１０８は、ＡＲ画像の生成を行う。ＡＲ画像の生成動作の詳細については後述する。
そして、制御部１０６は、操作部１０２を用いたユーザのモード選択操作に応じて、ナビゲーションモード、ＡＲモードのいずれかを選択的に設定する。そして、ナビゲーションモードの設定期間中は、表示装置１０１に上述したナビゲーション画像を表示し、ＡＲモードの設定期間中は、表示装置１０１に上述したＡＲ画像を表示する。

以下、上述のようにＡＲ表示部１０８が行うＡＲ画像の生成動作について説明する。
図３に、ＡＲ表示部１０８が行うＡＲ画像生成処理の手順を示す。
図示するように、この処理では、まず、カメラ１０３が撮影した映像を仮ＡＲ画像として取得する（ステップ３０２）。
そして、次に、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向とよりカメラ１０３の実空間上の撮影範囲を算出する（ステップ３０４）。そして、算出したカメラ１０３の撮影範囲内の座標が登録されているＡＲデータをＡＲデータベースから抽出する（ステップ３０６）。

また、地図データを参照して、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向より、現在自動車が走行している道路と、自車が進行している当該道路の走行方向（上り方向：道路の終点に向かう方向/下り方向：道路の起点に向かう方向）を識別する（ステップ３０８）。

そして、ステップ３０６で抽出した各ＡＲデータについて（ステップ３１０、３１８、３２０）、ステップ３１２-３１６の処理を行う。
すなわち、抽出したＡＲデータに登録されている座標が、ステップ３０８で識別した走行中の道路の、走行方向に見て左側の座標であるかどうかを調べる（ステップ３１２）。ＡＲデータに登録されている座標が、走行中の道路の走行方向に見て左側の座標であるかどうかは、より具体的には、たとえば、次のようにして求めることができる。すなわち、走行中の道路上の当該座標に最寄りの地点を求める。そして、求めた地点における識別した道路の走行方向（上り方向/下り方向）の道路の方向を観察方向として、求めた地点から観察方向を向いた状態で、当該座標が求めた地点より左側にある場合に、当該座標が、走行中の道路の走行方向に見て左側の座標であると判定し、他の場合に、当該座標が、走行中の道路の走行方向に見て右側の座標であると判定する。

そして、ステップ３１２で、抽出したＡＲデータに登録されている座標が、走行中の道路の走行方向に見て左側の座標であると判定された場合は、抽出したＡＲデータに対応する施設は走行中道路の左側に位置する施設であると見なし、抽出したＡＲデータのＡＲタグデータが表すＡＲタグを、仮ＡＲ画像の左半分の領域内の位置に、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向とより算出される当該ＡＲタグのＡＲタグデータに登録されている座標が写り込む、カメラ１０３の撮影映像中の位置からの吹き出しの形態で描画する（ステップ３１４）。

ここで、各ＡＲタグは、できるだけ他のＡＲタグと重ならないように、仮ＡＲ画像の左半分の領域内の、当該ＡＲタグのＡＲタグデータの座標が写り込むカメラ１０３の撮影映像中の位置のできるだけ近くの位置に配置する。
一方、ステップ３１２で、抽出したＡＲデータに登録されている座標が、走行中の道路の走行方向に見て左側の座標であると判定されなかった場合、すなわち、抽出したＡＲデータに登録されている座標が、走行中の道路の走行方向に見て右側の座標である場合には、抽出したＡＲデータに対応する施設は走行中道路の右側に位置する施設であると見なし、抽出したＡＲデータのＡＲタグデータが表すＡＲタグを、仮ＡＲ画像の右半分の領域内の位置に、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向とより算出される当該ＡＲタグのＡＲタグデータに登録されている座標が写り込む、カメラ１０３の撮影映像中の位置からの吹き出しの形態で描画する（ステップ３１６）。

ここで、各ＡＲタグは、できるだけ他のＡＲタグと重ならないように、仮ＡＲ画像の右半分の領域内の、当該ＡＲタグのＡＲタグデータの座標が写り込むカメラ１０３の撮影映像中の位置のできるだけ近くの位置に配置する。
この結果、図４ａに示すように、マーク４０１が自動車の現在位置と現在の進行方向とを表すものとして、自動車が現在走行している道路４０２の左側に「Ａビル」、「Ｂビル」が位置し、道路４０２の右側に「Ｃビル」が位置する場合、図４ｂに示すように、仮ＡＲ画像は、カメラ１０３が撮影した画像４１０上の左半分の領域内に、道路４０２の左側に位置する「Ａビル」のＡＲタグ４２１と、「Ｂビル」のＡＲタグ４２２が配置され、カメラ１０３が撮影した画像４１０上の右半分の領域内に、道路４０２の左側に位置する「Ｃビル」のＡＲタグ４２３が配置されたものとなる。ここで、いずれのＡＲタグ４２１-４２３も、カメラ１０３が撮影した画像４１０中に当該ＡＲタグ対応する施設が写り込んでいる位置からの吹き出しの形態で描画される。

さて、図３に戻り、以上のようにして、ステップ３０６で抽出した各ＡＲデータについてステップ３１２-３１６の処理を行ったならば（ステップ３１８）、ナビゲーション部１０７によって目的地までのルートが設定されているかどうかを調べ（ステップ３２２）、設定されていなければ仮ＡＲ画像を、そのままＡＲ画像として出力し（ステップ３２６）、ステップ３０２からの処理に踊る。

一方、目的地までのルートが設定されている場合には（ステップ３２２）、各ＡＲ画像に含まれるカメラ１０３が撮影した映像上で当該ルートを案内するルート案内図形を仮ＡＲ画像上に描画した上で、（ステップ３２４）、仮ＡＲ画像をＡＲ画像として出力し（ステップ３２６）、ステップ３０２からの処理に踊る。

ここで、図４ｂの仮ＡＲ画像中の矢印図形４３１が、ステップ３２４で描画されるルート案内図形であり、当該ルート案内図形は、設定されたルートに従った自動車の進行方向を表している。
以上、ＡＲ表示部１０８が行うＡＲ画像生成処理について説明した。
このようなＡＲ画像生成処理によれば、前方風景からだけでは、走行中の道路の左右どちら側にあるか判別し難い施設であっても、そのＡＲタグが、施設と走行中の道路との左右の位置関係に従って、ＡＲ画像の左側/右側に表示されることになるので、ユーザはＡＲタグの左右の配置より、当該施設と走行中の道路との左右の位置関係を容易に認識することができる。また、ＡＲタグの吹き出し元より、当該ＡＲタグが情報を表す実風景中の施設も容易に認識することができる。

すなわち、たとえば、自動車が現在走行している道路が前方でカーブしているために前方風景からだけでは、遠くの施設が走行中の道路の左右どちら側にあるか判別し難い場合において、図５ａ１に示すように、走行中の道路４０２の右側に位置しておりカメラ１０３が撮影した画像４１０で右側に写り込むこととなる施設「Ｙビル」と、走行中の道路４０２の左側に位置しているにもかかわらずに、カメラ１０３が撮影した画像４１０では右側に写り込むこととなる施設「Ｘマンション」とが存在する場合を考える。

この場合、走行中道路４０２の右側にある施設「Ｙビル」については、図５ｂ１に示すように、施設「Ｙビル」と道路４０２との左右の位置関係に従って、カメラ１０３が撮影した画像４１０上の右半分の領域内に、「Ｙビル」のＡＲタグ５０１が、画像４１０の右側に含まれる「Ｙビル」の像の位置からの吹き出しの形態で、「Ｙビル」の像近傍の位置に配置される。

一方、走行中道路４０２の左側にある施設「Ｘマンション」については、施設「Ｘマンション」と道路４０２との左右の位置関係に従って、カメラ１０３が撮影した画像４１０上の左半分の領域内に、「Ｘマンション」のＡＲタグ５０２が、画像４１０の右側に含まれる「Ｘマンション」の像の位置からの吹き出しの形態で配置されることとなる。

よって、「Ｙビル」のＡＲタグ５０１よりカメラ１０３が撮影した画像４１０で右側に写り込んでいる「Ｙビル」が走行中の道路４０２の右側に位置していることと、当該「Ｙビル」の実風景上の位置とを直接的に認識することができる。
また、ユーザは、「Ｘマンション」のＡＲタグ５０２がＡＲ画像の左側に配置されていることより、カメラ１０３が撮影した画像４１０では右側に写り込んでいる「Ｘマンション」が、実際には走行中の道路４０２の左側に位置していることを容易に認識することができると共に、ＡＲタグ５０２の吹き出し元より、「Ｘマンション」実風景上の位置を容易に認識することができる。

次に、自動車が現在走行している道路が前方でカーブしているために前方風景からだけでは、遠くの施設が走行中の道路の左右どちら側にあるか判別し難い場合において、図５ａ２に示すように、走行中の道路４０２の右側に位置しておりカメラ１０３が撮影した画像４１０で右側に写り込むこととなる施設「Ｚビル」と、走行中の道路４０２の左側に位置しているにもかかわらずに、カメラ１０３が撮影した画像４１０では右側に写り込むこととなる施設「ＸＸビル」が存在する場合を考える。

この場合、施設「Ｚビル」については、図５ｂ２に示すように、施設「Ｚビル」と道路４０２との左右の位置関係に従って、カメラ１０３が撮影した画像４１０上の右半分の領域内に、「Ｚビル」のＡＲタグ５１１が、画像４１０の右側に含まれる「Ｚビル」の像の位置からの吹き出しの形態で、「Ｚビル」の像近傍の位置に配置される。

一方、図５ｂ２に示すように、施設「ＸＸビル」については、施設「ＸＸビル」と道路４０２との左右の位置関係に従って、カメラ１０３が撮影した画像４１０上の左半分の領域内に、「ＸＸビル」のＡＲタグ５１２が、画像４１０の右側に含まれる「ＸＸビル」の像の位置からの吹き出しの形態で配置されることとなる。

よって、ユーザは、「Ｚビル」のＡＲタグ５１１よりカメラ１０３が撮影した画像４１０で右側に写り込んでいる「Ｚビル」が走行中の道路４０２の右側に位置していることと、当該「Ｚビル」の実風景上の位置とを直接的に認識することができる。
また、ユーザは、「ＸＸビル」のＡＲタグ５１２がＡＲ画像の左側に配置されていることより、施設「ＸＸビル」が実際には走行中の道路４０２の左側に位置していることを容易に認識することができると共に、ＡＲタグ５１２の吹き出し元より、「ＸＸビル」実風景上の位置を容易に認識することができる。

また、たとえば、自動車が現在走行している前方に高架が存在しているために前方風景からだけでは、遠くの施設が走行中の道路の左右どちら側にあるか判別し難い場合において、図６ａ１に示すように、道路４０２が前方でカーブしているために、走行中の道路４０２の右側に位置しているにもかかわらずに、カメラ１０３が撮影した画像４１０では正面に写り込むこととなる施設「Ｒビル」が存在する場合、図６ｂ１に示すように、当該施設「Ｒビル」と道路４０２との左右の位置関係に従って、カメラ１０３が撮影した画像４１０上の右半分の領域内に、「Ｒビル」のＡＲタグ６０１が、画像４１０の中央部分に含まれる「Ｒビル」の像の位置からの吹き出しの形態で配置されることとなる。

よって、ユーザは、「Ｒビル」のＡＲタグ６０１のＡＲ画像の右側に配置されていることより、「Ｒビル」が走行中の道路４０２の右側に位置していることを、ＡＲタグ６０１の吹き出し元より、「Ｒビル」実風景上の位置を容易に認識することができる。
また、同様に、自動車が現在走行している前方に高架が存在しているために前方風景からだけでは、遠くの施設が走行中の道路の左右どちら側にあるか判別し難い場合において、図６ａ２に示すように、道路４０２が前方でカーブしているために、走行中の道路４０２の左側に位置しているにもかかわらずに、カメラ１０３が撮影した画像４１０では正面から右側に写り込むこととなる施設「Ｑビル」が存在する場合、図６ｂ２に示すように、当該施設「Ｑビル」と道路４０２との左右の位置関係に従って、カメラ１０３が撮影した画像４１０上の左半分の領域内に、「Ｑビル」のＡＲタグ６０２が、画像４１０の中央から右部分にかけて含まれる「Ｑビル」の像の位置からの吹き出しの形態で配置されることとなる。

よって、ユーザは、「Ｑビル」のＡＲタグ６０２のＡＲ画像の左側に配置されていることより、「Ｑビル」が走行中の道路４０２の左側に位置していることを、ＡＲタグ６０２の吹き出し元より、「Ｑビル」実風景上の位置を容易に認識することができる。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、ＡＲタグのＡＲ画像の左右の配置位置によって、当該ＡＲタグが情報を表す施設と、走行中の道路との左右の位置関係を示すようにしたが、ＡＲタグが情報を表す施設と走行中の道路との左右の位置関係は、ユーザがＡＲタグとの区別を視認可能な他の形態によって表すようにしてもよい。

すなわち、たとえば、ＡＲタグを、当該ＡＲタグが情報を表す移設が、走行中道路の左右のいずれに位置するかを表す文字や記号を付して表示することにより、各ＡＲタグが情報を表す施設と、走行中の道路との左右の位置関係を示すようにしてもよい。すなわち、この場合には、たとえば、図７ａに示すように、走行中の道路４０２の左側に施設「ＸＸビル」が存在し、走行中の道路４０２の右側に施設「Ｚビル」が存在する場合には、図７ｂ１に示すように、走行中道路４０２の左側に位置する「ＸＸビル」のＡＲタグ７０１を左を表す「Ｌ」の文字を付して表示し、走行中道路４０２の右側に位置する「Ｚビル」のＡＲタグ７０２を右を表す「Ｒ」の文字を付して表示するようにする。

または、ＡＲタグが情報を表す施設が、走行中道路の左右のいずれに位置するかに応じて、ＡＲタグを異なる修飾を施して表示することにより、各ＡＲタグが情報を表す施設と、走行中の道路との左右の位置関係を示すようにしてもよい。すなわち、この場合には、たとえば、図７ａに示すように、走行中の道路４０２の左側に施設「ＸＸビル」が存在し、走行中の道路４０２の右側に施設「Ｚビル」が存在する場合には、図７ｂ２に示すように、走行中道路４０２の左側に位置する「ＸＸビル」のＡＲタグ７１１と、走行中道路４０２の右側に位置する「Ｚビル」のＡＲタグ７１２とを異なる修飾を施して表示するようにする。なお、図７ｂ２では、ＡＲタグが情報を表す移設が、走行中道路４０２の左右のいずれに位置するかに応じて、ＡＲタグの文字色と背景色とを異ならせた場合を示している。

なお、以上の実施形態においてＡＲ表示部１０８は、表示されたＡＲ画像上でＡＲタグのユーザの選択が発生したならば、選択されたＡＲタグのＡＲデータに登録されている詳細情報を表示する処理なども行うようにしてよい。

１…車載システム、２…スマートフォン、３…ＷＡＮ、４…ＡＲサーバ、１０１…表示装置、１０２…操作部、１０３…カメラ、１０４…ＧＰＳ受信機、１０５…車両状態センサ、１０６…制御部、１０７…ナビゲーション部、１０８…ＡＲ表示部、１０９…記憶装置、１１０…外部インタフェース。

Claims

自動車に搭載される拡張現実システムであって、
前記自動車前方の風景を撮影するカメラと、
前記自動車の現在位置と現在の進行方向とを現在状態として算出する現在状態算出手段と、
施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、地図データと前記現在状態とより求まる前記カメラの撮影範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像上に、当該撮影画像中の当該拡張現実情報が関係づけられた施設が写り込む位置に関連づけた形態で配置した拡張現実画像を表示する拡張現実画像表示手段と、
前記現在状態と前記地図データとに基づいて、前記自動車が走行中の道路である走行中道路と、当該道路の起点に向かう方向と終点に向かう方向とのうちの前記自動車が進行している方向である走行方向とを検出する検出手段と、
前記地図データに基づいて、前記走行中道路を前記走行方向に進む場合に、前記カメラの撮影範囲に含まれる各施設が、前記走行中道路の右側と左側のいずれに位置するかを判定する施設左右位置算出手段とを有し、
前記拡張現実画像表示手段は、
前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像の右半分の領域内に、当該拡張現実情報が関係づけられた施設が写り込む位置からの吹き出しの形態で配置し、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像の左半分の領域内に、当該拡張現実情報が関係づけられた施設が写り込む位置からの吹き出しの形態で配置することを特徴とする拡張現実システム。
請求項１記載の拡張現実システムであって、
目的地までのルートを設定するルート設定手段を有し、
前記拡張現実画像表示手段は、前記拡張現実画像に、前記カメラで撮影した撮影映像上で前記ルートを表すルート図形を含めることを特徴とする拡張現実システム。
カメラを備えた自動車に搭載されたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、
前記自動車の現在位置と現在の進行方向とを現在状態として算出する現在状態算出手段と、
施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、地図データと前記現在状態とより求まる前記カメラの撮影範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像上に、当該撮影画像中の当該拡張現実情報が関係づけられた施設が写り込む位置に関連づけた形態で配置した拡張現実画像を表示する拡張現実画像表示手段と、
前記現在状態と前記地図データとに基づいて、前記自動車が走行中の道路である走行中道路と、当該道路の起点に向かう方向と終点に向かう方向とのうちの前記自動車が進行している方向である走行方向とを検出する検出手段と、
前記地図データに基づいて、前記走行中道路を前記走行方向に進む場合に、前記カメラの撮影範囲に含まれる各施設が、前記走行中道路の右側と左側のいずれに位置するかを判定する施設左右位置算出手段として機能させ、
前記拡張現実画像表示手段は、
前記施設左右位置算出手段が前記走行中道路の右側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像の右半分の領域内に、当該拡張現実情報が関係づけられた施設が写り込む位置からの吹き出しの形態で配置し、前記施設左右位置算出手段が前記走行中道路の左側に位置すると判定した施設に関係づけられた拡張現実情報が表す情報を、前記カメラで撮影した撮影映像の左半分の領域内に、当該拡張現実情報が関係づけられた施設が写り込む位置からの吹き出しの形態で配置することを特徴とするコンピュータプログラム。
請求項３記載のコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、さらに、目的地までのルートを設定するルート設定手段として機能させ、
前記拡張現実画像表示手段は、前記拡張現実画像に、前記カメラで撮影した撮影映像上で前記ルートを表すルート図形を含めることを特徴とするコンピュータプログラム。