JP5705793B2 - 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム - Google Patents

Description

本発明は、拡張現実を表示させる拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラムに関する。

従来、ユーザーが知覚する現実空間（現実環境）に対して情報を付加して表示させる拡張現実技術（ＡＲ（Augmented Reality）技術）が知られている（例えば、特許文献１参照）。
この特許文献１に記載の端末装置は、カメラ部による撮影により得られた映像データを表示部にライブビューとして表示し、続いて位置情報取得部により端末装置の現在位置における位置情報を取得する。そして、取得した位置情報をサーバに送信し、サーバによりレスポンスされた端末装置周辺の拡張現実感情報のリストを受信して、記憶部に記憶する。この後、方位センサーにより検出されたカメラの姿勢や角度と、位置情報とに基づいて、映像データ内の拡張現実感情報をライブビューに重畳させて表示させる。

特開２０１０−２３８０９６号公報

ところで、上記特許文献１に記載の装置では、カメラで撮影された範囲内の情報を表示部に表示させることはできるが、遠隔地における情報を表示させることはできない。また、遠隔地の情報のみを表示させると、拡張現実感が損なわれるという課題がある。

本発明は、拡張現実感を損なうことなく、遠隔地の情報を表示可能な拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラムを提供することを目的とする。

本発明の拡張現実表示装置は、カメラにより撮像される撮像画像を取得する撮像画像取得手段と、前記カメラが向けられた方向を撮像方向として検出する撮像方向検出手段と、ユーザーの入力操作に基づいて、所定の指定地点を特定する地点特定手段と、地点に関連した内容を示す地点内容情報を記憶する地点情報記憶手段から、前記指定地点を含む所定範囲内にある地点に対応した地点内容情報を取得する地点内容情報取得手段と、画像を表示する表示部に、複数の地点を含み、かつ、前記撮像画像が取得された現在位置が含まれる領域とは異なる遠隔領域に対応したアイコンを重畳して表示させた前記撮像画像を表示させる表示手段と、を備え、前記地点内容情報取得手段は、ユーザーの入力操作により前記アイコンが選択されると、当該アイコンに対応する遠隔領域に含まれる地点に対応した前記地点内容情報を取得し、前記表示手段は、前記表示部に前記アイコンが重畳して表示された前記撮像画像を表示させ、前記地点内容情報取得手段により前記地点内容情報が取得されると、前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である前記地点内容情報を、前記撮像画像に重畳させて表示させることを特徴とする。
なお、本発明で述べる「前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である」とは、撮像方向と、指定地点から地点内容情報に対応する地点に向かう方向とが、厳密に一致している場合に限定されるものではない。すなわち、本発明における撮像方向とは、カメラのレンズ光軸方向を中心として、カメラの性能に応じた所定の画角（視野角）範囲を示すものであり、本発明では、指定地点から地点内容情報に対応する地点に向かう方向が、この画角範囲内である地点内容情報が、撮像画像に重畳されて表示される。

本発明では、現実空間の撮像画像に対して遠隔地の情報を表示させるため、拡張現実感を損なうことなく、遠隔地の情報を表示させることができる。

本発明に係る一実施形態の拡張現実表示システムの概略構成を示すブロック図。 本実施形態の拡張現実表示方法を示すフローチャート。 地点情報に対応した地点を含む地域、及び端末装置の現在位置を示す図。 端末装置のディスプレイに表示される拡張現実表示画面の一例を示す図。 拡張現実表示画面において、アイコンが選択された際のフローチャート。 アイコンが選択さた際の画像処理を示す図。 選択地点の地点情報を表示させた拡張現実表示画面（選択地点情報表示画面）の一例を示す図。 投稿情報の投稿処理を示すフローチャート。

以下、本発明に係る一実施形態について、図面に基づいて詳細に説明する。
［拡張現実表示システムの全体構成］
図１は、本実施形態における拡張現実表示システムの概略構成を示すブロック図である。
図１に示すように、拡張現実表示システム１は、端末装置１０（拡張現実表示装置）と、サーバ装置２０と、を備え、これらの端末装置１０及びサーバ装置２０は、ネットワーク２を介して通信可能に接続されている。ネットワーク２としては、例えばＴＣＰ／ＩＰなどの汎用のプロトコルに基づくインターネットを用いることができるが、その他のネットワークを用いてもよい。例えば、ＬＡＮ（Local Area Network）等の無線媒体により情報の送受信が可能な複数の基地局によりネットワークを構成する通信回線網など、データを送受信させるいずれの構成も利用できる。
この拡張現実表示システム１は、カメラ１１により撮像された撮像画像を端末装置１０のディスプレイ１２に表示させるとともに、当該撮像画像に所定の情報を重畳させて表示させる。すなわち、端末装置１０のディスプレイ１２に、拡張現実（ＡＲ：Augmented Reality）表示を行うシステムである。また、本実施形態の拡張現実表示システム１では、端末装置１０は、カメラ１１により撮像された撮像画像の拡張現実表示処理中に、ユーザーの操作により遠隔地点の情報を表示させる旨の要求を受け付けた際に、サーバ装置２０から当該遠隔地点の情報を受信して、撮像画像に重畳させて表示させる。

［サーバ装置の構成］
サーバ装置２０は、図１に示すように、ハードウェア構成として、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されるサーバ記憶手段２１と、ＣＰＵ（Central Processing Unit）等により構成されるサーバ制御手段２２と、を備えている。また、サーバ装置２０として、ディスプレイや、例えばキーボード、マウス等により構成される操作部が設けられる構成としてもよい。また、サーバ装置２０は、ネットワーク２を介して端末装置１０と通信するためのサーバ通信手段（図示略）を備えている。

サーバ記憶手段２１には、サーバ装置２０の全体動作を制御するためのＯＳ（Operating System）や、各種プログラム、各種データが記憶される。
また、サーバ記憶手段２１は、本発明の地点情報記憶手段、及び対象物情報記憶手段として機能する。つまり、サーバ記憶手段２１には、端末装置１０のディスプレイ１２に、拡張現実情報を表示するための地点情報や、対象物情報等の各種情報が記録されている。

地点情報は、地点に関連する情報であり、例えば下記表１に示すように、地域ＩＤ、地域情報、地点名称、地点位置、表示領域サイズ、地点内容情報、地点内容情報に対応した表示位置等が記憶されている。
地点ＩＤは、地点情報を識別するための情報であり、地点情報毎に異なるＩＤが割り振られる。
地域情報は、地点が含まれる地域を示す情報である。この地域は、地図を所定の境界で区分した領域であり、この境界としては、例えば東北地方、関東地方等のように、地図を地方単位で区切る境界を用いてもよく、都道府県レベルや市町村区レベル等の行政区分単位で区切る境界を用いてもよい。また、所定の代表地点を中心とした、所定径範囲内の領域としてもよい。さらに、ユーザーの操作に基づいて、地域が設定される構成などとしてもよい。
そして、地域情報には、その地域の名称や、地域の代表地点（例えば中心（重心）地点や、県庁所在地点、ユーザーにより指定された地点等）が記録されている。
地点名称は、例えば「東京」「大阪」「名古屋」等の地点名が記憶される。
地点位置は、地図上の地点の位置である。地点の位置としては、例えば緯度や経度、標高等が記憶されていてもよく、所定の地図情報における座標位置が記録されていてもよい。
地点内容情報は、地点に関連した内容を示す情報である。この地点内容情報としては、例えば、ユーザーにより投稿されたコメントや掲示板発言等の投稿情報、地点を含む所定範囲内の店舗や観光地等の案内情報等、その地点に関連する情報が記録される。

表示領域サイズは、表示位置として設定可能な座標範囲を規定する情報である。
詳細な説明は後述するが、本実施形態では、ディスプレイ１２上に、例えば球体状のアイコンを撮像画像に重畳させることで、地点情報の存在をユーザーに通知し、ユーザーによりアイコンが選択されると、球体内部から撮像画像を見た状態に画像を変化させる。この際、球体のアイコン内面のうちディスプレイ１２上に表示される領域内を特定し、その領域内に表示位置を有する地点内容情報が、ディスプレイ１２上に表示される。表示領域サイズは、この球体内面の座標系と規定する情報となる。本実施形態では、表示領域サイズは、球体であり、例えば、球中心点を原点、中心点からの距離ｒ、東方向をＸ軸、北方向をＹ軸、鉛直方向をＺ軸とした球体方程式（ｒ^２＝ｘ^２＋ｙ^２＋ｚ^２）により表すことができる。この場合、表示位置（ｘ，ｙ，ｚ）は、球体方程式を満たす整数値ｘ，ｙ，ｚとして記録される。
なお、表示領域サイズとしては、地点によって予め設定されていてもよく、端末装置１０から送信された投稿情報の数等に応じて、表示領域サイズを変更可能としてもよい。

表示位置は、地点内容情報を表示する表示位置座標が記録される。表示位置は、表示領域サイズにより規定される座標範囲内の座標に設定される。端末装置１０のディスプレイ１２により地点内容情報を表示させる際には、端末装置１０は、この表示位置に基づいて地点内容情報を表示する。
なお、表示位置としては、例えば地域の代表地点に対する地点が位置する方向に基づいて設定されていてもよく、後述のように、ユーザーにより投稿情報が投稿された方向に基づいて設定された位置であってもよい。代表地点としては、その地域の中心地点（例えば地図における地域メッシュの重心位置等）を用いてもよく、人口が最も多い都市の県庁所在地点等を用いてもよい。例えば、下記表１において、「Ｇ地点」の代表地点が地点ｇである場合、地点ＩＤが「ＩＤ１」の地点情報の表示位置は、地点ｇから地点Ａに向かう方向の直線と、表示領域サイズにより規定される球体（アイコン）の内面との交点の座標が設定される。
また、表示領域内に地点内容情報を表示させる際に、均一な表示間隔で情報が表示されるように、適宜表示位置が最適化されていてもよい。

また、サーバ記憶手段２１に記憶される対象物情報は、撮像画像内に含まれる対象物の拡張現実情報であり、例えば施設の情報等が記録される。
対象物情報は、例えば表２に示すように、対象物ＩＤ、対象物名、対象物タイプ、対象物位置、及び対象物案内情報等が記録される。なお、対象物情報としては、例えば、対象物が位置する高さ情報等が記録されていてもよい。また、対象物に対するユーザーのコメント（投稿情報）等が記録されていてもよい。
対象物ＩＤは、対象物情報を識別するための情報であり、対象物情報毎に異なるＩＤが割り振られる。
対象物名は、例えば施設名等、対象物の名称である。
対象物タイプは、対象物の種別であり、例えば施設である場合、バス停、駅、学校、ホテル等、施設のジャンルが記録される。
対象物位置は、対象物の詳細な位置情報であり、例えば緯度、経度等が記録される。なお、所定の地図情報における座標位置が記録されていてもよく、住所等が記録されていてもよい。
対象物案内情報は、対象物（施設）の案内文や案内画像等、対象物に関する詳細な内容が記録されている。

なお、本実施形態では、端末装置１０による拡張現実表示情報として、撮像画像上に、その撮像画像内に存在する施設に対する対象物情報を表示させる例を示すが、これに限定されない。例えば、撮像画像内の物体に関する情報を拡張現実情報として表示させてもよい。例えば、撮像画像内に、新商品の画像が映し出された場合に、サーバ装置２０は、端末装置１０からその撮像画像を受信して、画像検索を行い、該当する新商品の情報を端末装置１０に送信して、端末装置１０のディスプレイ１２に拡張現実情報として表示させてもよい。このような場合、サーバ記憶手段２１には、対象物情報として、例えば、対象となる物体の画像例が複数記憶されていればよい。

サーバ制御手段２２は、サーバ記憶手段２１に記憶される各種プログラムを読み込んで実行することにより、図１に示すように、地点情報検索手段２２１、地点情報送信手段２２２、対象物情報送信手段２２３、及び投稿情報取得手段２２４として機能する。
地点情報検索手段２２１は、端末装置１０から送信された所定の地点に対する地点情報の送信を要求する旨の地点情報要求を取得すると、要求された地点に対する地点情報をサーバ記憶手段２１から検索する。
地点情報送信手段２２２は、検索された地点情報を端末装置１０に送信する。
対象物情報送信手段２２３は、端末装置から送信された対象物情報要求に基づいて、対象物情報のリストを送信する。
投稿情報取得手段２２４は、端末装置１０から送信された投稿情報を取得して、サーバ記憶手段２１に記憶する。

［端末装置の構成］
端末装置１０は、図１に示すように、ハードウェア構成として、カメラ１１と、ディスプレイ１２（表示部）と、撮像方向検出手段１３と、現在位置を測定する現在位置取得手段１４と、例えばタッチパネル、キーボード、マウス、操作ボタン等により構成される操作手段１５と、メモリー等により構成される端末記憶手段１６と、ＣＰＵ（Central Processing Unit）等により構成される端末制御手段１７と、を備えている。また、端末装置１０は、ネットワーク２を介してサーバ装置２０と通信するための端末通信手段（図示略）を備えている。
このような端末装置１０としては、例えば携帯電話機器やスマートフォン、タブレット型端末装置、ノート型パーソナルコンピューター等の携帯型端末装置を用いることが好ましい。なお、本実施形態では、端末装置１０として携帯型端末装置を例示するが、これに限定されない。例えばデスクトップ型のパーソナルコンピューターなどの固定側の端末装置を用いてもよい。この場合、カメラ１１を有線、又は無線により端末装置に接続することで、カメラ１１により撮像された撮像画像に対して情報を付加する拡張表示を行うことができる。

撮像方向検出手段１３は、カメラ１１が向けられている撮像方向（撮像方位及び撮像角度）を検出する。この撮像方向検出手段１３は、例えば３軸方向に対する地磁気を検出して方位を検出する電子コンパスと、３軸方向に対する端末装置１０の傾き角を検知する３軸加速度センサーとを備えている。そして、電子コンパスにより検出される方位と、３軸加速度センサーにより検出される端末装置１０の傾き角度に基づいて、カメラ１１が向けられている撮像方向を検出する。
また、デスクトップ型のパーソナルコンピューター等、固定側の端末装置に対してカメラ１１が接続される構成では、例えばカメラ１１に撮像方向検出手段１３が設けられる構成とすることで、カメラ１１の撮像方向を取得することができる。

現在位置取得手段１４は、例えば３つの位置測定衛星（例えばＧＰＳ衛星等）から送信される時刻情報を有する衛星信号を受信して、これらの衛星信号に基づいて、測定対象地点となる現在位置の座標（緯度、経度）を算出する。なお、現在位置取得手段１４は、更に現在位置の標高を算出してもよい。
また、デスクトップ型のパーソナルコンピューター等、固定側の端末装置に対してカメラ１１が接続される構成では、例えばカメラ１１に現在位置取得手段１４が設けられる構成とすることで、撮像画像の撮像位置（現在位置）を取得することができる。

端末記憶手段１６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されている。この端末記憶手段１６は、ＯＳ（Operating System）や各種プログラム、各種アプリケーション、各種データ記憶する。また、端末記憶手段１６は、例えばサーバ装置２０から送信された各種データを一時的に記憶可能な一時領域を備える。

端末制御手段１７は、端末記憶手段１６に記憶される各種プログラムを読み込んで実行することにより、図２に示すように、撮像画像取得手段１７１、対象物情報取得手段１７２、地点方向判定手段１７３、地点特定手段１７４、地点情報取得手段１７５（地点内容情報取得手段）、表示領域設定手段１７６、投稿情報受付手段１７７、及び表示手段１７８として機能する。

撮像画像取得手段１７１は、カメラ１１により撮像された撮像画像を取得する。
対象物情報取得手段１７２は、サーバ装置２０から撮像画像に対する対象物情報のリストを取得し、端末記憶手段１６に記憶する。

地点方向判定手段１７３は、サーバ装置２０から遠隔地の地点のリスト（地域リスト）を取得し、撮像方向に地点内容情報を表示可能な地点（地域）が位置するか否かを判定する。
地点特定手段１７４は、ユーザーの操作手段１５の操作に基づいて、所定の指定地点を選択地点として特定する。
地点情報取得手段１７５は、選択地点と同一の地域情報の地点情報をサーバ装置２０から取得する。すなわち、地点情報取得手段１７５は、選択地点を含む所定範囲（地域）内の地点に対応した地点情報（地点内容情報を含む）を取得する。

表示領域設定手段１７６は、地点情報を表示するための表示領域を設定する。上述のように、本実施形態では、ディスプレイ１２上に、球体状のアイコンを撮像画像に重畳させることで、地点情報の存在をユーザーに通知する。そして、ユーザーによりアイコンが選択されると、球体内部から撮像画像を見た状態に画像を変化させる。この際、表示領域設定手段１７６は、球体内面のうち、ディスプレイ１２上に表示される表示領域（座標範囲）を設定する。
投稿情報受付手段１７７は、ユーザーの操作手段１５の操作により投稿情報が入力されると、当該投稿情報を受け付け、表示位置とともにサーバ装置２０に送信する。
表示手段１７８は、ディスプレイ１２に撮像画像取得手段１７１により取得された撮像画像を表示させ、当該撮像画像に対象物情報取得手段１７２により取得した対象物情報を重畳させて表示させる。また、表示手段１７８は、地点方向判定手段１７３により、撮像方向に地点情報を有する地点が存在すると判定された場合に、撮像画像上の球体状のアイコンを表示させる。更に、表示手段１７８は、ユーザーの操作手段１５の操作によりアイコンが選択され、サーバ装置２０から地点情報を受信すると、当該地点情報の地点内容情報を表示位置に従って撮像画像上に重畳させて表示させる。

［拡張現実表示処理］
次に、上記のような拡張現実表示システム１による拡張現実表示処理（拡張現実表示方法）について、図面に基づいて説明する。
図２は、本実施形態の拡張現実表示方法を示すフローチャートである。
この拡張現実表示処理は、ユーザーの操作手段１５の操作により、拡張現実表示プログラムが起動されることで開始される。
拡張現実表示処理が開始されると、まず、カメラ１１、撮像方向検出手段１３、及び現在位置取得手段１４が起動され、撮像画像取得手段１７１により、カメラ１１により撮像された撮像画像が取得される。すなわち、撮像画像取得ステップ、撮像方向検出ステップ、及び現在位置取得ステップが実施される。また、この際、表示手段１７８は、取得した撮像画像をディスプレイ１２上に表示させる（Ｓ１１）。
そして、対象物情報取得手段１７２は、対象物情報を要求する旨の対象物情報要求をサーバ装置２０に送信する（Ｓ１２）。この際、対象物情報取得手段１７２は、撮像方向検出手段１３により検出された撮像方向、及び現在位置取得手段１４により算出された現在位置とともに、対象物情報要求をサーバ装置２０に送信する。

サーバ装置２０は、端末装置１０から対象物情報要求を受信する（Ｓ２１）と、対象物情報送信手段２２３は、対象物情報のリストを取得する（Ｓ２２）。具体的には、対象物情報送信手段２２３は、サーバ記憶手段２１から現在位置を中心とした所定範囲内の位置座標を対象物位置として有する対象物情報を抽出し、さらに、現在位置から撮像方向に位置する対象物に対応した対象物情報を抽出して、対象物情報のリストを生成する。
そして、対象物情報送信手段２２３は、Ｓ２２で取得した対象物情報のリストを端末装置１０に送信する（Ｓ２３）。

端末装置１０の対象物情報取得手段１７２は、サーバ装置２０から対象物情報のリストを受信すると（Ｓ１３）、これらの対象物情報のリストを端末記憶手段１６に記憶する。
この後、表示手段１７８は、各対象物情報の対象物位置と、現在位置取得手段１４により算出された現在位置に基づいて、例えば対象物名等の対象物情報をディスプレイ１２に表示されている撮像画像に重畳させて表示させる（Ｓ１４）。
これにより、現実空間の撮像画像に対する拡張現実情報がディスプレイ１２上に表示されることになる。

また、端末装置１０の地点方向判定手段１７３は、サーバ装置２０に遠隔地の地域リストの送信を要求する旨の地域リスト要求を送信する（Ｓ１５）。
サーバ装置２０は、端末装置１０から地域リスト要求を受信すると（Ｓ２４）、サーバ記憶手段２１に記憶された各地点情報に基づいて、地域情報を抽出して、地域リストを生成し、端末装置１０に送信する（Ｓ２５）。なお、地域リストには、地域情報の他、その地域に含まれる各地点の地点ＩＤ等、地点を特定するための情報が含まれてもよい。

端末装置１０は、サーバ装置２０から地域リストを受信すると（Ｓ１６）、地点方向判定手段１７３は、現在位置から撮像方向に地域の少なくとも一部が位置しているか否かを判定する（Ｓ１７）。
図３は、地点情報に対応した地点を含む地域、及び端末装置１０の現在位置を示す図である。図４は、端末装置１０のディスプレイ１２に表示される拡張現実表示画面３０の一例である。
図３において、点Ａは、現在位置を示し、矢印は撮像方向を示している。図３に示すように、点Ａに位置する端末装置１０において、矢印Ａ−１の方向にカメラ１１が向けられている場合、地域Ｂ−１が撮像方向に位置することになり、矢印Ａ−２の方向にカメラ１１が向けられている場合、地域Ｂ−２、Ｂ−３が撮像方向に位置することになる。
一方、点Ａに位置する端末装置１０において、矢印Ａ−３の方向にカメラ１１が向けられている場合、地点情報に対応した地域（地点内容情報が登録された地点を含む地域）が撮像方向に位置していない。

Ｓ１７において、「Ｎｏ」と判定された場合、例えば図３において、撮像方向が矢印Ａ−３の方向である場合等では、アイコン３３の表示は行わず、後述のＳ１９の処理を実施する。
一方、このＳ１７において、「Ｙｅｓ」と判定された場合、すなわち、地点方向判定手段１７３により、少なくとも１つ以上の地域が撮像方向にあると判定されると、表示手段１７８は、図４に示すように、地点情報を有する地域があることを示すアイコン３３（アイコン）を撮像画像上に重畳させて表示させる（Ｓ１８）。
すなわち、表示手段１７８は、Ｓ１１により取得された撮像画像３１をディスプレイ１２上に表示させるとともに、Ｓ１４の処理により、当該撮像画像３１上に、撮像画像内の対象物（施設）に関する対象物情報３２を重畳させて表示させる。更に、表示手段１７８は、Ｓ１７により撮像方向に地点情報を有する地域がある場合に、Ｓ１８において、現在位置における撮像方向と、当該地域の位置とに基づいた画面位置に、アイコン３３を表示させる。言い換えると、表示手段１７８は、撮像画像上に、複数の地点を含む領域に対応したアイコン３３を表示させる。
なお、図３において、撮像方向が矢印Ａ−２の方向である場合、撮像方向に地点情報を有する地域Ｂ−２，Ｂ−３が存在することになる。この場合、撮像画像３１に対して、それぞれの地点に対応したアイコン３３が重畳されて表示される。
また、表示手段１７８は、アイコン３３とともに、地域情報に関連付けられた地域名称を表示させてもよい。この場合、複数のアイコン３３が撮像画像３１上に重畳された際に、ユーザーは、アイコン３３を容易に判別することができる。

そして、Ｓ１７において、「Ｎｏ」と判定された場合、又は、Ｓ１８の処理の後、端末制御手段１７は、拡張現実表示処理を継続するか否かを判定する（Ｓ１９）。Ｓ１９において、ユーザーの操作手段１５の操作により処理を終了させる旨が入力されると（「Ｎｏ」と判定されると）、拡張現実表示処理を終了させる。また、Ｓ１９において、処理を終了する旨の入力がない場合は、「Ｙｅｓ」と判定し、Ｓ１１の処理に戻る。すなわち、端末装置１０は、撮像方向に変化がない場合は、一定間隔で対象物情報や地点位置情報の取得を行って、情報の更新を行い、撮像方向に変化がある場合は、撮像方向の変化に伴って新たに取得された撮像画像に基づいて、対象物情報や地点位置情報の取得を新たに行う。

（アイコンが選択された際の処理）
次に、Ｓ１８において表示される拡張現実表示画面３０において、ユーザーの操作手段１５の操作により、アイコン３３が選択された際の処理について、以下に説明する。
図５は、拡張現実表示画面３０において、アイコン３３が選択された際に実施される選択地点情報表示画面の表示処理を示すフローチャートである。
拡張現実表示画面３０において、ユーザーの操作手段１５の操作により、アイコン３３が選択されると、地点特定手段１７４は、選択されたアイコン３３に対応した地域を特定し、その地域の代表地点を選択地点として特定する（Ｓ１０１）。
次に、地点情報取得手段１７５は、選択地点に対応する地域の地点情報を要求する旨の地点情報要求を生成し、サーバ装置２０に送信する（Ｓ１０２）。なお、地域リストとともに、地点ＩＤが送信されている場合、選択地点を含む地域に含まれる地点の地点ＩＤを送信してもよい。

サーバ装置２０の地点情報検索手段２２１は、地点情報要求を受信すると（Ｓ２０１）、サーバ記憶手段２１に記憶された地点情報から、選択地点に対応した地点情報を検索する（Ｓ２０２）。
そして、地点情報送信手段２２２は、Ｓ２０２で検索された地点情報を端末装置１０に送信する（Ｓ２０３）。

端末装置１０の地点情報取得手段１７５は、サーバ装置２０から送信された選択地点に対応した地点情報を受信すると（Ｓ１０３）、その地点情報を端末記憶手段１６に記憶する。

この後、表示手段１７８は、選択地点に対応した地点情報を撮像画像３１上に重畳させて表示させる地点情報表示処理を実施する。
図６は、アイコン３３が選択された際の画像処理を示す図である。図７は、選択地点の地点情報を表示させた拡張現実表示画面（選択地点情報表示画面）の一例である。
この地点情報表示処理では、まず、表示手段１７８は、図６に示すように、ユーザーの操作手段１５の操作により選択されたアイコン３３の球体画像を、徐々に拡大させて、アイコン３３が画面手前側に近接するようなアニメーション処理を実施する。この時、表示手段１７８は、対象物情報３２を非表示にする。
そして、表示手段１７８は、図７に示すように、球体状のアイコン３３の内部から撮像画像を変化させた撮像画像３１を表示させる（Ｓ１０４）。この際、表示手段１７８は、アイコンの球形状に応じて、撮像画像を湾曲させる画像編集を行い、編集された撮像画像をディスプレイ１２上に表示させてもよい。

そして、表示領域設定手段１７６は、アイコン３３の内面のうち、ディスプレイ１２で表示する表示領域を設定する（Ｓ１０５）。
ここで、アイコン３３の内面の座標系は、上述したように、表示領域サイズによって異なる。例えば、地点に対する地点情報が多い場合、全ての地点情報を表示するために表示領域サイズは大きくなる。したがって、表示領域設定手段１７６は、例えば、１画面内（選択地点情報表示画面３４内）に表示される地点内容情報が予め設定された所定数となるように、アイコン３３の内面（アイコン画像内面）のうち、ディスプレイ１２上に表示させる表示領域を設定する。
この後、表示手段１７８は、Ｓ１０３により受信した地点情報から、表示位置がＳ１０５により設定された表示領域内となる地点情報を抽出し（Ｓ１０６）、図７に示すように、表示位置に従って、撮像画像３１上に地点内容情報３５を表示させる（Ｓ１０７）。

また、選択地点情報表示画面３４において、表示領域設定手段１７６は、カメラ１１の撮像方向により、アイコン画像内面のうち、ディスプレイ１２に表示させる領域を変化させる。例えば、撮像方向が東向きから西向きに変化された場合、表示領域設定手段１７６は、ディスプレイ１２に表示されるアイコン画像内面の表示領域のｘ座標の符号を反転させる。これにより、表示手段１７８も、ディスプレイ１２上に表示させる地点内容情報３５を切り替える。
さらに、表示領域設定手段１７６は、例えばカメラ１１のズーム機能により拡大、縮小処理が実施されると、アイコン画像内面のうちディスプレイ１２に表示させる表示領域も変化させる。そして、表示手段１７８は、変化した表示領域に対応して地点内容情報の表示、非表示の切り替え、表示サイズの変更を行う。
例えば、カメラ１１により、撮像画像がズームされた場合、表示領域設定手段１７６は、ディスプレイ１２に表示されるアイコン画像内面の表示領域を小さくする。これにより、表示手段１７８は、表示領域から外れた地点内容情報を非表示とし、表示領域内の地点内容情報を拡大表示させる。
なお、表示領域設定手段１７６は、カメラ１１の撮像方向や、ズーム機能に限られず、ユーザーの操作手段１５の操作に応じて表示領域を変化させてもよい。

この選択地点情報表示画面３４において、表示される地点内容情報としては、図７に示すように、コメント情報や、アイコン等が含まれる。このアイコンには、例えば、選択地点を中心とした所定範囲内に位置する施設の情報や、掲示板等が含まれ、ユーザーの操作手段１５の操作により、例えばアイコンが選択された場合、当該アイコンに対応した情報が更に表示される。

この後、端末装置１０は、選択地点情報表示画面３４の表示を継続するか否かを判定する（Ｓ１０８）。Ｓ１０８において、ユーザーの操作手段１５の操作により選択地点情報表示画面３４の表示処理を終了させる旨が入力されると（「Ｎｏ」と判定されると）、図２におけるＳ１１の処理に戻る。
また、Ｓ１０８において、処理を終了する旨の入力がない場合は、「Ｙｅｓ」と判定し、引き続き、Ｓ１０７の地点内容情報の表示を継続する。

（投稿情報の投稿処理）
次に、図７に示すような選択地点情報表示画面３４において、投稿情報が投稿された際の投稿処理について、以下に説明する。
図８は、投稿処理のフローチャートである。
図８に示すように、ディスプレイ１２に選択地点情報表示画面３４が表示されている際に、ユーザーの操作手段１５の操作により、投稿情報が入力されると、投稿情報受付手段１７７は、当該投稿情報を受け付ける（Ｓ１１１）。
そして、投稿情報受付手段１７７は、撮像方向検出手段１３により検出される撮像方向と、アイコン画像内面との交点座標を取得する（Ｓ１１２）。
この後、投稿情報受付手段１７７は、投稿情報と、交点座標とを関連付けてサーバ装置２０に送信する（Ｓ１１３）。

サーバ装置２０の投稿情報取得手段２２４は、投稿情報及び交点座標を受信すると（Ｓ２１１）、投稿情報を地点内容情報とし、交点座標を表示位置とした地点情報を生成し、サーバ記憶手段２１に記憶する（Ｓ２１２）。また、サーバ装置２０は、投稿情報を受け付けた旨の応答信号を端末装置１０に送信する（Ｓ２１３）。
これにより、サーバ記憶手段２１には、ユーザーにより投稿された投稿情報が蓄積されることになり、サーバ記憶手段２１に記憶される地点情報が更新される。

端末装置１０は、サーバ装置２０から応答信号を受信すると（Ｓ１１４）、Ｓ１０２の処理に戻る。すなわち、更新された地点情報を受信してディスプレイ１２に表示させる。これにより、投稿情報を反映した選択地点情報表示画面３４が表示されることになる。

［実施形態の作用効果］
本実施形態の拡張現実表示システム１における端末装置１０は、撮像画像取得手段１７１により、カメラ１１で撮像された撮像画像を取得し、撮像方向検出手段１３により撮像方向を検出し、さらに、対象物情報取得手段１７２により撮像画像内の対象物に対応した対象物情報を取得する。そして、表示手段１７８は、ディスプレイ１２上に撮像画像３１を表示させるとともに、撮像画像３１内の対象物に対して対象物名等の対象物情報３２を表示させた、拡張現実表示画面３０を表示させる。
また、地点特定手段１７４は、ユーザーの操作手段１５の操作によりアイコン３３が選択されることで、現在位置から離れた所定の指定地点を選択地点として特定し、地点情報取得手段１７５は、その選択地点に対応した地域の地点情報を取得する。そして、表示手段１７８は、取得した地点情報の表示位置と、表示領域設定手段１７６により設定される表示領域とに基づいて、所定の地点内容情報を、ディスプレイ１２の撮像画像３１上に重畳させて表示させる。つまり、本実施形態では、表示手段１７８は、指定地点（所定地域の代表地点）から地点内容情報に対応した地点に向かう方向が、撮像方向の画角内となる地点内情報を、撮像画像上を表示させる。
このため、端末装置１０は、撮像画像３１上に対象物情報３２を重畳させて表示した拡張現実表示画面３０に加え、現実空間である撮像画像３１上に仮想情報である遠隔地の地点内容情報３５を重畳させて表示した選択地点情報表示画面３４を表示させることができる。すなわち、現実空間に対する撮像画像３１を表示したまま、他の地域の情報をディスプレイ１２上に表示させることができるので、現実空間と仮想情報との共有及び連携といった拡張現実技術の特質を失うことなく、他の地域の情報の表示を行うことができる。

本実施形態では、撮像方向検出手段１３によりカメラの撮像方向を検出し、現在位置取得手段１４により撮像画像が撮像された現在位置を算出する。また、地点方向判定手段１７３は、サーバ装置２０から取得した地点位置情報のリスト、撮像方向、及び現在位置に基づいて、撮像方向に地点情報を有する地域が存在するか否かを判定する。そして、表示手段１７８は、撮像方向に地点情報を有する地域が存在する場合に、撮像画像３１上に地点情報を有する地点がある旨を示すアイコン３３を重畳させて表示させる。つまり、撮像方向に、地点情報を有する地点が複数集まる領域（地域）がある場合に、その領域に対応するアイコン３３を撮像画像上に表示させる。
このように撮像画像３１上にアイコン３３が表示されることで、選択可能な指定地点の存在を容易にユーザーに通知することができる。また、撮像方向を変えることで、他の地点に対応したアイコン３３を表示させることも可能であり、ユーザーは、現在位置から遠隔地点の方向を容易に確認することができる。
また、本実施形態では、ユーザーの入力操作により、ディスプレイ１２に表示されたアイコン３３が選択されることで、地点特定手段１７４は、当該アイコン３３に対応する地域に含まれた地点を選択地点として特定する。
このため、例えばメニュー画面等を呼び出して、所望の地点を選択するような処理に対して、容易に遠隔地点を選択することができ、選択地点情報表示画面３４を表示させることができる。

本実施形態では、アイコン３３は、球体状の画像であり、アイコン３３が選択されると、表示手段１７８は、撮像画像をアイコン３３の内部から見た状態に変化させ、そのアイコン３３の球体内面（アイコン画像内面）に地点内容情報３５を表示させる。
これにより、ユーザーは、現実空間に対する拡張現実情報（対象物情報）が表示されているものであるか、現実空間に対して他の地点の拡張現実情報（地点内容情報）が表示されているものであるかを容易に判別することができる。

本実施形態では、地点内容情報には、アイコン画像内面の座標系における表示位置が関連付けられている。そして、端末装置１０は、ディスプレイ１２上に表示させるアイコン画像内面の表示領域を設定する表示領域設定手段１７６を備え、表示手段１７８は、設定された表示領域内に対応した表示位置の地点内容情報３５をディスプレイ１２に表示させる。
これにより、複数の地点内容情報を１画面で表示しきれない場合でも、撮像方向を変化させてアイコン画像内面の表示領域を変化させることで、他の地点内容情報を表示させることができる。また、表示領域サイズを地点情報の数に応じて変更してもよく、この場合、より多くの地点内容情報３５をユーザーが視認しやすい適切なサイズで表示することができる。
また、表示領域設定手段１７６は、カメラ１１のズーム機能に基づいて、アイコン画像内面の表示領域を拡大又は縮小する。これにより、例えば地点内容情報３５の表示サイズが小さい場合には、カメラ１１の拡大機能を用いることで、ユーザーにより視認しやすい大きいサイズで地点内容情報３５を表示させることができる。

本実施形態では、ユーザーの操作手段１５の操作に基づいて入力された投稿情報を受け付ける投稿情報受付手段１７７を備える。そして、投稿情報受付手段１７７は、投稿情報を受け付けると、撮像方向検出手段１３により検出されたカメラ１１の撮像方向とアイコン画像内面の座標との交点座標を算出する。そして、サーバ装置２０の投稿情報取得手段２２４は、投稿情報を地点内容情報として、交点座標を表示位置とした地点情報を生成して、サーバ記憶手段２１に記憶する。
これにより、ユーザーは、アイコン画像内面の所望の位置に投稿情報を投稿することができ、例えば関連した地点内容情報の近傍に、投稿情報を表示させることができる。

本実施形態では、表示手段１７８は、ディスプレイ１２に拡張現実表示画面３０から選択地点情報表示画面３４に切り替える際、拡張現実表示画面３０の対象物情報３２を非表示にする。これにより、現実空間の撮像画像内の対象物に対する対象物情報３２と、現在位置から離れた遠隔地における地点内容情報とが混ざり合うことがなく、情報の視認性を良好にできる。

［他の実施形態］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上記実施形態では、拡張現実表示装置である端末装置１０と、サーバ装置２０とにより、本発明の拡張現実表示システム１を構成する例を示したが、端末装置単体でも本発明の拡張現実表示装置として機能させることができる。この場合、サーバ装置２０のサーバ記憶手段２１に記憶された地点情報、対象物情報を端末記憶手段１６に記憶する。また、端末装置１０の端末制御手段１７は、更に、端末記憶手段１６に記憶されたプログラムを実行することで、地点情報検索手段２２１として機能する。この場合でも、上記実施形態と同様に、現実空間に対応した撮像画像の対象物情報の表示と、遠隔地点に対応した地点内容情報の表示とを、撮像画像上で行うことができる。また、他の端末装置から送信された投稿情報を、サーバ装置を介して取得することで、投稿情報の逐次更新をも行うことができる。

上記実施形態では、表示手段１７８は、予め設定された地域に対応したアイコン３３を、現在位置及び撮像方向に基づいてディスプレイ１２上の撮像画像に表示させる例を示したが、これに限定されない。例えば、地点情報を有する地点の分布状態に基づいて、地点情報を有する地点が、所定範囲内に複数存在する場合に、その領域に対応するアイコン３３を撮像画像上に表示させる処理をしてもよい。

また、地点特定手段１７４により特定される指定地点として、予め設定された地域の代表地点に限定されず、ユーザーが任意に指定した指定地点であってもよい。この場合、サーバ装置２０は、例えば、指定地点を中心とした所定の距離範囲内の地点（地点情報を有する地点）を検索し、検索された地点に対応した地点情報を端末装置１０に送信すればよい。

上記実施形態では、アイコンとして球体状のアイコン３３を例示したが、例えば立方体等の他の立体画像のアイコンを用いてもよい。
さらに、アイコンとして立体画像を用いず、撮像画像を変形させずに、地点内容情報を表示させる構成としてもよい。この場合でも、例えば対象物情報を非表示にした上で地点内容情報を表示させることで、対象物情報と地点内容情報との混同を回避できる。
また、現在位置と撮像方向に基づいて、撮像方向に地点情報を有する地点が含まれる地域が存在する場合にアイコン３３を撮像画像上に表示させる例を示したが、例えば、選択可能な地域（選択可能な指定地点）を別画面で表示させる構成としてもよく、撮像画像上に一覧表示させる構成としてもよい。

上記実施形態において、Ｓ２５の処理で、サーバ装置２０は、地点位置情報のリストを端末装置１０に送信するとしたが、例えば、地点情報のリストを端末装置１０に送信してもよい。但し、全ての地点情報を送信すると送信データサイズが大きくなり、通信時間が長くなることが考えられる。この場合、例えば、端末装置１０において、ユーザーの操作により、地点情報を取得する範囲（例えば、現在位置からの距離）を設定可能とし、設定された範囲のみの地点情報を取得する処理をしてもよい。

また、表示手段１７８は、拡張現実表示画面３０において、撮像方向に複数の地点情報を有する地点が存在する場合に、ユーザーにより設定された距離範囲内の地点に対応したアイコン３３のみを撮像画像３１に重畳させて表示させてもよい。この場合、例えば表示手段１７８は、撮像画像３１上に、アイコン３３として表示する地点の距離を切り替えるためのアイコンを表示させ、ユーザーにより当該アイコンが選択されることで、表示するアイコン３３を切り替える構成等が例示できる。

また、投稿情報の表示位置として、撮像方向とアイコン画像内面との交点座標を取得する例を示したが、これに限定されない。例えば、現在位置と、選択地点の地点座標に基づいて、投稿情報（地点内容情報）の表示位置を設定してもよい。例えば、選択地点の座標位置を中心地点とし、この中心地点から現在位置に向かう方向とアイコン画像内面との交点を表示位置としてもよい。

表示手段１７８が、地点情報が有する表示位置と、アイコン画像内面における座標系に基づいて、地点内容情報が表示される例を示したが、これに限定されない。例えば、アイコン画像内面の座標系とは関係なく、地点内容情報を表示させてもよい。この場合でも、地点特定手段１７４により特定された指定地点から地点情報に対応した地点に向かう方向が、撮像方向と同方向となる地点内容情報を、撮像画像上に重畳させて表示することがで、上記実施形態と同様の効果が得られる。
また、一画面で表示できない多数の地点内容情報が存在する場合、例えば、表示を切り替える旨のアイコン等を表示させ、ユーザーの操作手段１５の操作によりアイコンが選択されることで、ディスプレイ１２に表示させる地点内容情報を切り替えてもよい。

また、端末制御手段１７が、端末記憶手段１６に記憶されたプログラムを読み込んで実行することで、撮像画像取得手段１７１、対象物情報取得手段１７２、地点方向判定手段１７３、地点特定手段１７４、地点情報取得手段１７５、表示領域設定手段１７６、投稿情報受付手段１７７、及び表示手段１７８として機能する例を示したが、これに限定されない。例えば、上記のような各種機能を有するＩＣチップ等を配置し、ハードウェアとして各構成を有するものであってもよい。地点情報検索手段２２１、地点情報送信手段２２２、対象物情報送信手段２２３、及び投稿情報取得手段２２４においても同様である。

その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。

１…拡張現実表示システム、２…ネットワーク、１０…端末装置、１１…カメラ、１２…ディスプレイ（表示部）、１３…撮像方向検出手段、１４…現在位置取得手段、１５…操作手段、１６…端末記憶手段、１７…端末制御手段、２０…サーバ装置、２１…サーバ記憶手段（地点情報記憶手段、対象物情報記憶手段）、３０…拡張現実表示画面、３１…撮像画像、３２…対象物情報、３３…アイコン、３４…選択地点情報表示画面、３５…地点内容情報、１７１…撮像画像取得手段、１７２…対象物情報取得手段、１７３…地点方向判定手段、１７４…地点特定手段、１７５…地点情報取得手段、１７６…表示領域設定手段、１７７…投稿情報受付手段、１７８…表示手段、２２１…地点情報検索手段、２２４…投稿情報取得手段。

Claims (10)

1. カメラにより撮像される撮像画像を取得する撮像画像取得手段と、
   前記カメラが向けられた方向を撮像方向として検出する撮像方向検出手段と、
   ユーザーの入力操作に基づいて、所定の指定地点を特定する地点特定手段と、
   地点に関連した内容を示す地点内容情報を記憶する地点情報記憶手段から、前記指定地点を含む所定範囲内にある地点に対応した地点内容情報を取得する地点内容情報取得手段と、
   画像を表示する表示部に、複数の地点を含み、かつ、前記撮像画像が取得された現在位置が含まれる領域とは異なる遠隔領域に対応したアイコンを重畳して表示させた前記撮像画像を表示させる表示手段と、を備え、
   前記地点内容情報取得手段は、ユーザーの入力操作により前記アイコンが選択されると、当該アイコンに対応する遠隔領域に含まれる地点に対応した前記地点内容情報を取得し、
   前記表示手段は、前記表示部に前記アイコンが重畳して表示された前記撮像画像を表示させ、前記地点内容情報取得手段により前記地点内容情報が取得されると、前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である前記地点内容情報を、前記撮像画像に重畳させて表示させる
   ことを特徴とする拡張現実表示装置。
2. 請求項１に記載の拡張現実表示装置において、
   前記表示手段は、前記撮像方向に前記遠隔領域の少なくとも一部が位置する場合、前記撮像画像に当該遠隔領域に対応した前記アイコンを表示させる
   ことを特徴とする拡張現実表示装置。
3. 請求項１または請求項２に記載の拡張現実表示装置において、
   前記アイコンは立体物の画像であり、
   前記表示手段は、ユーザーの入力操作により前記アイコンが選択されると、前記立体物の内部から前記撮像画像を見た状態で前記撮像画像を表示させ、かつ、前記立体物の内面に前記地点内容情報を表示させる
   ことを特徴とする拡張現実表示装置。
4. 請求項３に記載の拡張現実表示装置において、
   前記地点内容情報には、前記立体物の内面における当該地点内容情報の表示位置が関連付けられており、
   前記拡張現実表示装置は、
   前記撮像方向に基づいて、前記立体物の内面のうち前記表示部に表示させる表示領域を設定する表示領域設定手段を備え、
   前記表示手段は、前記地点内容情報の表示位置が前記表示領域設定手段により設定された領域内に対応した前記表示位置の前記地点内容情報を、前記表示位置に基づいて表示させる
   ことを特徴とする拡張現実表示装置。
5. 請求項４に記載の拡張現実表示装置において、
   ユーザーの入力操作により入力された前記地点に対する投稿情報を受け付ける投稿情報受付手段と、
   前記投稿情報受付手段により受け付けた前記投稿情報を前記地点内容情報とし、前記撮像画像取得手段の撮像方向と前記立体物の内面との交差位置を前記表示位置として前記地点内容情報に関連付けて前記地点情報記憶手段に記憶する投稿情報取得手段と、
   を備える
   ことを特徴とする拡張現実表示装置。
6. 請求項１から請求項５のいずれか１項に記載の拡張現実表示装置において、
   対象物に関する対象物情報を複数記憶する対象物情報記憶手段から、前記撮像画像内に存在する対象物に対応した前記対象物情報を取得する対象物情報取得手段を備え、
   前記表示手段は、前記地点特定手段により前記地点が特定されていない場合に、前記撮像画像に前記対象物情報を重畳させて表示させ、前記地点特定手段により前記地点が特定され、前記地点内容情報が取得されると、前記対象物情報を非表示にして、取得された前記地点内容情報を前記撮像画像に重畳させて表示させる
   ことを特徴とする拡張現実表示装置。
7. 請求項１から請求項６のいずれか１項に記載の拡張現実表示装置と、前記拡張現実表示装置と通信可能なサーバ装置とを備えた拡張現実表示システムであって、
   前記サーバ装置は、
   地点に関する地点内容情報を複数記憶する地点情報記憶手段と、
   前記地点特定手段により特定された前記地点に対応した地点内容情報を検索する地点情報検索手段と、
   検索された前記地点内容情報を前記拡張現実表示装置に送信する地点情報送信手段と、を備え、
   前記地点内容情報取得手段は、前記地点情報送信手段により送信された前記地点内容情報を取得する
   ことを特徴とする拡張現実表示システム。
8. 請求項７に記載の拡張現実表示システムにおいて、
   前記拡張現実表示装置は、
   ユーザーの入力操作により入力された前記地点に対する投稿情報を受け付ける投稿情報受付手段と、
   前記投稿情報を前記サーバ装置に送信する投稿情報送信手段と、を備え、
   前記サーバ装置は、
   前記投稿情報送信手段により送信された前記投稿情報に基づいて前記地点内容情報を生成し、前記地点情報記憶手段に記憶する地点情報更新手段を備える
   ことを特徴とする拡張現実表示システム。
9. コンピューターにより、拡張現実表示を実施する拡張現実表示方法であって、
   前記コンピューターは、
   カメラにより撮像される撮像画像を取得する撮像画像取得ステップと、
   前記カメラが向けられた方向を撮像方向として検出する撮像方向検出ステップと、
   ユーザーの入力操作に基づいて、所定の指定地点を特定する地点特定ステップと、
   地点に関連した内容を示す地点内容情報を記憶する地点情報記憶手段から、前記指定地点を含む所定範囲内にある地点に対応した地点内容情報を取得する地点内容情報取得ステップと、
   画像を表示する表示部に、複数の地点を含み、かつ、前記撮像画像が取得された現在位置が含まれる領域とは異なる遠隔領域に対応したアイコンを重畳して表示させた前記撮像画像を表示させる表示ステップと、を実施し、
   前記地点内容情報取得ステップは、ユーザーの入力操作により前記アイコンが選択されると、当該アイコンに対応する遠隔領域に含まれる地点に対応した前記地点内容情報を取得し、
   前記表示ステップは、前記表示部に前記アイコンが重畳して表示された前記撮像画像を表示させ、前記地点内容情報取得ステップにより前記地点内容情報が取得されると、前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である前記地点内容情報を、前記撮像画像に重畳させて表示させる
   ことを特徴とする拡張現実表示方法。
10. コンピューターを、請求項１から請求項６のいずれか１項に記載の拡張現実表示装置として機能させることを特徴とする拡張現実表示プログラム。