JP2022110509A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】情報の存在を検知すると同時にその情報の内容が拡張現実の画像として視界前方に表示される場合に比して、その時々のユーザの希望を反映した表示を可能にする。【解決手段】情報処理装置は、プロセッサを有し、プロセッサは、予め定めた情報の存在が検出された場合、拡張現実の画像として、情報の内容をユーザの視界前方に表示する前に、情報の内容の表示の可否をユーザに問い合わせ、問い合わせに対するユーザの指示に従って、拡張現実の画像による情報の内容の表示を制御する。【選択図】図７

Description

本発明は、情報処理装置及びプログラムに関する。

現在、データ処理により作成した情報を現実世界に重ね合わせて表示することで、視覚的に現実を拡張する技術が実用化されている。この技術は、拡張現実（Augmented Reality＝AR）と呼ばれる。

特開２０１７－１７４０１８号公報

拡張現実の画像（以下「ＡＲ画像」ともいう）の表示が可能なデバイスには、メガネ型のデバイスがある。メガネ型のデバイスは、ＡＲ画像を表示しない場合、メガネと同様の使い方が可能である。
ＡＲ画像の表示が可能なデバイスの普及に伴い、デバイスを装着しているユーザの視界前方に情報の内容を表すＡＲ画像が表示される機会も増加すると予測される。

一方で、ユーザの周囲の環境やユーザの動作状態は同じでも、その時々により、存在を検出した情報の内容の表示を望む場合と情報の内容の表示までは望まない場合があると予想される。例えばその時点では、情報の内容を確認する余裕はないが、後で情報の内容を確認したい場合がある。

本発明は、情報の存在を検知すると同時にその情報の内容が拡張現実の画像として視界前方に表示される場合に比して、その時々のユーザの希望を反映した表示を可能にすることを目的とする。

請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、予め定めた情報の存在が検出された場合、拡張現実の画像として、前記情報の内容をユーザの視界前方に表示する前に、当該情報の内容の表示の可否をユーザに問い合わせ、問い合わせに対するユーザの指示に従って、拡張現実の画像による前記情報の内容の表示を制御する、情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記問い合わせに視覚以外の方法を使用する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記問い合わせに音を使用する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記問い合わせに振動を使用する、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記問い合わせに、前記情報の検出を示す第２の拡張現実の画像を使用する、請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記第２の拡張現実の画像としてマークを表示する、請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、検出した情報の内容に応じて前記マークを選択する、請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、ユーザから前記情報の内容の表示が指示された場合、当該情報の内容の表示を許可する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、ユーザから前記情報の内容の不表示が指示された場合、当該情報の内容の表示を許可しない、請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、ユーザから前記情報の内容の音声による出力が指示された場合、当該情報の内容を音声により出力させる、請求項８又は９に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、ユーザからの指示が予め定めた時間内にない場合、前記情報の内容に対応する前記画像の表示を許可しない、請求項８に記載の情報処理装置である。
請求項１２に記載の発明は、前記プロセッサは、ユーザのジェスチャを撮像した画像によりユーザの指示を検知する、請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記プロセッサは、ユーザの手を撮像した画像によりユーザの指示を検知する、請求項１２に記載の情報処理装置である。
請求項１４に記載の発明は、前記プロセッサは、前記指示に関連付けて、前記情報の内容を表示する条件を受け付けた場合、当該条件を満たす時点に、当該情報の内容に対応する前記画像の表示を許可する、請求項１又は８に記載の情報処理装置である。
請求項１５に記載の発明は、前記条件は、前記指示の度にユーザから受け付ける、請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、前記プロセッサは、前記条件がユーザにより事前に設定されている場合、当該条件を前記情報の内容に対応する前記画像の表示に適用する、請求項１４に記載の情報処理装置である。
請求項１７に記載の発明は、前記プロセッサは、ユーザの周囲を撮像した画像内に、前記情報の内容が含まれる場合、当該情報の内容の表示の可否をユーザに問い合わせる、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、拡張現実の画像をユーザの視界前方に表示するデバイスは、当該デバイスを装着したユーザの視界前方を撮像する撮像部を有し、前記情報は、当該撮像部で撮像された画像内から検出される、請求項１７に記載の情報処理装置である。
請求項１９に記載の発明は、前記撮像部が撮像する範囲は、ユーザの視野よりも広く設定される請求項１８に記載の情報処理装置である。
請求項２０に記載の発明は、前記プロセッサは、外部の装置から前記情報の受信を検出した場合、当該情報の内容の表示の可否をユーザに問い合わせる、請求項１に記載の情報処理装置である。
請求項２１に記載の発明は、前記情報は、ユーザが特定の場所を通過した場合に、通過した場所にある外部の装置から与えられる、請求項２０に記載の情報処理装置である。
請求項２２に記載の発明は、コンピュータに、予め定めた情報の存在が検出された場合、拡張現実の画像として、前記情報の内容をユーザの視界前方に表示する前に、当該情報の内容の表示の可否をユーザに問い合わせる機能と、問い合わせに対するユーザの指示に従って、拡張現実の画像による前記情報の内容の表示を制御する機能とを実現させるためのプログラムである。

請求項１記載の発明によれば、表示の対象とする情報の検知と同時に拡張現実の画像による表示が実行される場合に比して、その時々のユーザの希望を反映した表示を可能にできる。
請求項２記載の発明によれば、視覚情報を用いずに、検出された情報の拡張現実による表示の可否を問い合わせることができる。
請求項３記載の発明によれば、問い合わせの段階でのユーザの視界を確保できる。
請求項４記載の発明によれば、問い合わせの段階でのユーザの視界を確保できる。
請求項５記載の発明によれば、情報の内容を拡張現実の画像として表示する場合に比して、表示を簡易化できる。
請求項６記載の発明によれば、情報の内容を拡張現実の画像として表示する場合に比して、表示を簡易化できる。
請求項７記載の発明によれば、検出された情報の内容のユーザによる予測を支援できる。
請求項８記載の発明によれば、ユーザによる表示の指示があった場合に限り、情報の内容をユーザの視界前方に表示できる。
請求項９記載の発明によれば、ユーザが望まない情報により視界が妨げずに済む。
請求項１０記載の発明によれば、検出された情報の内容を音声によりユーザに伝達できる。
請求項１１記載の発明によれば、ユーザからの指示が無くても拡張現実の画像の表示を停止できる。
請求項１２記載の発明によれば、問い合わせに対する指示の手法を多様化できる。
請求項１３記載の発明によれば、ユーザの手を指示に使用できる。
請求項１４記載の発明によれば、ユーザが望むタイミングに情報を表示できる。
請求項１５記載の発明によれば、その時時のユーザの状況に応じて表示のタイミングを指示できる。
請求項１６記載の発明によれば、表示の条件については毎回の指示を省略できる。
請求項１７記載の発明によれば、ユーザに問い合わせる情報をユーザの身の回りに関連する情報に限定できる。
請求項１８記載の発明によれば、表示の可否を問い合わせる情報を、ユーザの視界前方で検出される情報に限定できる。
請求項１９記載の発明によれば、ユーザの視野に含まれない位置にある情報の存在をユーザに通知できる。
請求項２０記載の発明によれば、表示の可否を問い合わせる情報をユーザの身の回り以外まで拡張できる。
請求項２１記載の発明によれば、特定の場所に紐付けられた情報の表示の可否をユーザに問い合わせできる。
請求項２２記載の発明によれば、表示の対象とする情報の検知と同時に拡張現実の画像による表示が実行される場合に比して、その時々のユーザの希望を反映した表示を可能にできる。

実施の形態１で使用する情報処理システムの使用例を説明する図である。 実施の形態１で使用するサーバのハードウェア構成の一例を説明する図である。 問い合わせ対象テーブルの一例を説明する図である。 提供タイミングテーブルの一例を説明する図である。 実施の形態１で使用するｘＲデバイスのハードウェア構成の一例を説明する図である。 ＡＲモジュールの概念的な構成例を説明する図である。 実施の形態１における処理動作の一部分を説明するフローチャートである。 実施の形態１における処理動作の残りを説明するフローチャートである。 ｘＲデバイスを装着したユーザが駅に向かう場面を説明する図である。（Ａ）は改札機へ向かうユーザを示し、（Ｂ）はｘＲデバイスからの問い合わせの例を示す。 問い合わせに対するユーザの指示の例を説明する図である。（Ａ）と（Ｂ）はタイミングの指定付きで表示を許可する場合であり、（Ｃ）と（Ｄ）は表示を許可しない場合である。 ＡＲ画像による運行情報の内容の提供例を説明する図である。（Ａ）はユーザがホーム上で立ち止まり、横浜方面の電車を見ている様子を示し、（Ｂ）はユーザが視認している拡張現実の風景を示している。 ＡＲ画像による運行情報の内容の他の提供例を説明する図である。（Ａ）はユーザがホーム上で立ち止まり、品川方面の電車を見ている様子を示し、（Ｂ）はユーザが視認している拡張現実の風景を示している。 ＡＲ画像による運行情報の内容の他の提供例を説明する図である。（Ａ）はユーザがホームの中央で立ち止まり、ホームの奥方向を見ている様子を示し、（Ｂ）はユーザが視認している拡張現実の風景を示している。 ｘＲデバイスを装着したユーザが商業ビルに向かう場面を説明する図である。（Ａ）は商業ビルに向かうユーザを示し、（Ｂ）はｘＲデバイスからの問い合わせの例を示し、（Ｃ）はユーザからの指示の例を示す。 ＡＲ画像による広告の内容の提供例を説明する図である。 情報の内容の表示は許可されているが、ユーザの周囲が混雑しているためにＡＲ画像が表示されない場合を説明する図である。 情報の提供の例を説明する図である。（Ａ）は問い合わせに対するユーザの指示の例であり、（Ｂ）は情報の内容を音声により提供する例である。 問い合わせと指示の他の例を説明する図である。（Ａ）はｘＲデバイスからの問い合わせの例を示し、（Ｂ）はユーザからの指示の例を示す。 買い物に向かう途中で情報の存在が検出された場合を説明する図である。（Ａ）は商業ビルに向かう途中で駅の方向に顔を向けた様子を示し、（Ｂ）はカメラが撮像する範囲とユーザが認識している範囲との違いを示す。 ｘＲデバイスからの問い合わせの出力とユーザからの指示の様子を説明する図である。（Ａ）はｘＲデバイスからの問い合わせの例を示し、（Ｂ）はタイミングの指定付きで表示を許可する場合の例を示す。 ユーザが目的地に近づいた場合の情報の提示の例を説明する図である。（Ａ）は目的地である商業ビルの入口に向かって歩くユーザを示し、（Ｂ）は情報の内容の提示の例を示す。 手の指の本数により情報の内容の表示を指示する例を説明する図である。（Ａ）はｘＲデバイスからの問い合わせの例を示し、（Ｂ）はジェスチャにより「すぐ表示」を指示する例を示し、（Ｃ）は情報の内容がＡＲ画像により表示される例を示す。 手の指の本数により情報の内容の表示を指示する他の例を説明する図である。（Ａ）はｘＲデバイスからの問い合わせの例を示し、（Ｂ）はジェスチャにより「後で表示」を指示する例を示し、（Ｃ）は情報の内容がＡＲ画像により表示される例を示す。 手の指の本数により情報の内容の表示を指示する他の例を説明する図である。（Ａ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｂ）はジェスチャにより「不要」を指示する例を示し、（Ｃ）は情報の内容が表示されない例を示す。 ｘＲデバイスに設けられたボタンの操作と指示の関係を説明する図である。（Ａ）はボタン付きのｘＲデバイスを示し、（Ｂ）は「すぐ表示」を指示する例を示し、（Ｃ）は「後で表示」を指示する例を示す。 ＡＲ画像を用いた問い合わせの例を説明する図である。（Ａ）は問い合わせにテキストを用いる例であり、（Ｂ）は問い合わせにマークを用いる例である。 問い合わせに振動を使用する例を説明する図である。 実施の形態６で使用するｘＲデバイスの外観例を説明する図である。 実施の形態６で使用するｘＲデバイスのハードウェア構成の一例を説明する図である。 実施の形態７で使用する情報処理システムの使用例を説明する図である。 実施の形態８で使用する情報処理システムの使用例を説明する図である。 実施の形態９における処理動作の一部分を説明するフローチャートである。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システムの全体構成＞
図１は、実施の形態１で使用する情報処理システム１の使用例を説明する図である。
図１に示す情報処理システム１は、通信網３０経由で相互に接続されたサーバ１０とｘＲデバイス２０とで構成されている。
ここで「接続された」とは、通信が可能な状態をいう。

図１の場合、サーバ１０には、１台のｘＲデバイス２０が接続されているが、複数台のｘＲデバイス２０が接続されていてもよい。
また、複数台のサーバ１０に１台のｘＲデバイス２０が接続されてもよいし、複数台のサーバ１０と複数台のｘＲデバイス２０が接続されてもよい。
図１における通信網３０には、例えば無線ＬＡＮ（＝Local Area Network）、インターネット、４Ｇ、５Ｇ等の移動通信システム、ブルートゥースを使用する。

本実施の形態で使用するサーバ１０は、ｘＲデバイス２０との連携を通じて、情報提供サービスを実現する情報処理装置として機能する。
本実施の形態で使用するｘＲデバイス２０は、ユーザが頭部に装着するメガネ型のデバイスである。本実施の形態で使用するｘＲデバイス２０には、フレームの中央部分にカメラ２１が取り付けられている。
カメラ２１は、ユーザの視界前方を撮像する「撮像部」として用いられる。カメラ２１の視野角は人の視野角とほぼ同じ又は人の視野角以上とする。
もっとも、カメラ２１は、パノラマ画像その他の広角画像の撮像が可能なデバイスでもよく、全天球や半天球の画像の撮像が可能なデバイスでもよい。パノラマ画像は、水平方向について３６０°を撮像する画像でもよい。

カメラ２１付きのｘＲデバイス２０は、ＡＲグラスやＭＲ（＝Mixed Reality）グラスとも呼ばれる。本実施の形態では、メガネ型のデバイスを総称して「ｘＲデバイス」という。もっとも、ｘＲデバイス２０の外観は、図１に示すメガネ型に限らず、帽子のように頭部に被るヘッドマウント型でもよい。
本実施の形態では、ＡＲ画像として２次元の画像を想定するが、３次元の画像でもよい。３次元の画像とは、画素毎に距離の情報が記録された画像をいい、「距離画像」とも呼ばれる。なお、３次元の画像の取得には、カメラ２１としてステレオカメラを用いてもよく、ＬｉＤＡＲ（＝Light Detection and Ranging）を用いてもよい。

＜サーバの構成＞
図２は、実施の形態１で使用するサーバ１０のハードウェア構成の一例を説明する図である。
図２に示すサーバ１０は、データ処理部１００と、ハードディスクドライブ（すなわち「ＨＤＤ」）１１０と、通信モジュール１２０とを有している。
ここでの通信モジュール１２０には、通信網３０を介した通信に使用するプロトコルに準拠したデバイスが使用される。
サーバ１０には、ディスプレイ、キーボード、マウス等を追加で設けることも可能である。

データ処理部１００は、プロセッサ１０１と、ＲＯＭ（＝Read Only Memory）１０２と、ＲＡＭ（＝Random Access Memory）１０３とを有している。
ＲＯＭ１０２とＲＡＭ１０３は、いずれも半導体メモリである。ＲＯＭ１０２には、ＢＩＯＳ（＝Basic Input Output System）等が記憶されている。ＲＡＭ１０３は、プログラムの実行に使用される主記憶装置として用いられる。ＲＡＭ１０３には、例えばＤＲＡＭ（＝Dynamic RAM）を使用する。

プロセッサ１０１は、例えばＣＰＵ（＝Central Processing Unit）で構成される。プロセッサ１０１は、プログラムの実行を通じて各種の機能を実現する。
図２に示すプロセッサ１０１には、プログラムの実行により実現される機能の一部として、画像解析部１０１Ａと、問い合わせ制御部１０１Ｂと、出力制御部１０１Ｃとを表している。
画像解析部１０１Ａは、ユーザの視線の方向（以下「視界前方」ともいう）を撮像した画像を解析する機能に対応する。
画像解析部１０１Ａには、予め定めた情報の存在を検出する第１の解析機能と、ユーザに情報を出力するタイミングを検出する第２の解析機能とを有している。

第１の解析機能は、例えばユーザの視線の方向を撮像した画像に含まれる様々な情報の中から、提供の対象として予め定められた情報の存在を検出するために用いられる。
本実施の形態の場合、提供の対象とする情報は、問い合わせ対象テーブル１１２に登録されている。
第２の解析機能は、例えばユーザの視線の方向を撮像した画像の風景や環境が、情報を提供するタイミングに該当することを検出するために用いられる。本実施の形態の場合、情報を提供するタイミングは、提供タイミングテーブル１１３に登録されている。

問い合わせ制御部１０１Ｂは、提供の対象とする情報の存在が検出された場合に、検出された情報の内容をユーザの視界前方に表示する前に、ユーザに対して表示の可否を問い合わせる処理と、問い合わせに対するユーザからの応答を受け付ける処理とを制御する機能に対応する。
問い合わせ制御部１０１Ｂは、提供の対象とする情報の存在を、画像解析部１０１Ａの解析の結果を通じて知る場合とｘＲデバイス２０からの通知により知る場合がある。
本実施の形態の場合、画像中に含まれる文字を認識した結果は、ｘＲデバイス２０から与えられる。もっとも、サーバ１０による画像の解析により、画像中に含まれる文字を認識してもよい。

出力制御部１０１Ｃは、第２の解析機能により出力のタイミングに該当する場面が検出された場合に、対応する情報の内容の出力を制御する機能に対応する。
本実施の形態の場合、情報の内容の出力は、ＡＲ画像の表示と音声による出力のいずれかによる。
ＡＲ画像による出力の場合、本実施の形態における出力制御部１０１Ｃは、情報の内容に応じたＡＲ画像の生成や出力する位置の制御等を実行する。なお、音声による出力の場合、本実施の形態における出力制御部１０１Ｃは、情報の内容に対応する音声ファイルを生成する。

ハードディスクドライブ１１０は、磁気ディスクを記録媒体とする補助記憶装置である。本実施の形態では、補助記憶装置としてハードディスクドライブ１１０を使用するが、不揮発性の書き換えが可能な半導体メモリを使用してもよい。ハードディスクドライブ１１０には、オペレーションシステムやアプリケーションプログラムがインストールされる。
以下では、オペレーションシステムやアプリケーションプログラムを区別せず「プログラム」という。

図２に示すハードディスクドライブ１１０には、画像データ１１１と、問い合わせ対象テーブル１１２と、提供タイミングテーブル１１３とが記録されている。
本実施の形態の場合、画像データ１１１は、カメラ２１（図１参照）により撮像され、撮像と同時にｘＲデバイス２０（図１参照）からアップロードされる。
本実施の形態の場合、画像データ１１１として動画像を使用する。もっとも、予め定めた周期で撮像された静止画像でもよい。撮像の周期は、例えば５秒とする。また、画像データ１１１は、頭の向きの変化が検知された場合に撮像してもよい。頭の向きの変化は、例えば加速度の変化により検出が可能である。

図３は、問い合わせ対象テーブル１１２の一例を説明する図である。図３に示す問い合わせ対象テーブル１１２は、「対象」と、「内容」と、「ユーザの設定」で構成されている。
図３では、「対象」の例として、「場所」、「ジャンル」、「掲示板・案内」、「看板」を例示している。また、「場所」の例として、「ＡＢ店」、「駅」、「図書館」を例示している。また、「ジャンル」の例として、「服」と「車」を例示している。

各内容には「ユーザの設定」の有無が記録されている。
ここでの「ユーザの設定」は、情報提供サービスを利用するユーザ毎に紐付けられている。従って、ある情報が検出された場合でも、ユーザにより、提供の対象となる場合と提供の対象にならない場合がある。
図３の場合、「ＡＢ店」、「駅」、「服」、「交通機関」、「規制情報」、「広告」に関する情報は、提供の対象である。一方、「図書館」、「車」、「案内地図」、「店名」に関する情報は、提供の対象から除外されている。
この設定は、いつでも変更が可能である。

図４は、提供タイミングテーブル１１３の一例を説明する図である。図４に示す提供タイミングテーブル１１３は、「タイミング」と、「設定」と、「出力の形態」と、「備考」で構成されている。
図４では、「タイミング」の例として、「すぐ」、「立ち止まったとき」、「周囲が混雑していないとき」、「周囲に走行中の車がいないとき」、「目的地」、「登録地」、「自宅」、「時刻指定」、「経過時間指定」、「特定のホームページを端末で閲覧しているとき」を例示している。

図４の場合、「すぐ」と「立ち止まったとき」は、出力のタイミングから除外されている。これらのタイミングでの出力を希望する場合には、ユーザが個別に指定する必要がある。他のタイミングは、出力のタイミングとして設定されている。
なお、図４の場合、「目的地」として「ＡＢ店」が具体的に指定されている。ユーザにより目的地が指定されていない場合、目的地の欄は空である。
また、図４の場合、「登録地」として「駅」、「ＡＢ店」、「公共施設」が設定されている。

図４では、「出力の形態」として「音声」と「ＡＲ画像」が用意され、個々のタイミング毎に設定されている。例えば「すぐ」と「時刻指定」と「経過時間指定」には「音声」が設定され、他のタイミングには「ＡＲ画像」が設定されている。
これらの設定は、情報の内容の提供がユーザから許可された場合に、出力の形態について何らの指示がなかった場合に用いられる。なお、ユーザの指示した出力の形態と設定されている出力の形態が異なる場合には、ユーザの指示を優先する。

図４の場合、「備考」の欄には、出力のタイミングを検知する方法が記載されている。例えば「目的地」に到着したことは「店舗の情報と比較」により検出される。店舗の情報として、対象とする店舗の外観を用いる場合には、画像データ１１１（図２参照）との比較により目的地への到着が判定される。また、店舗の情報として、店舗の座標値を用いる場合、ＧＰＳ信号等を用いて測位された現在地との比較により目的地への到着が判定される。「自宅」への到着も同様である。図４では、ＧＰＳ情報を用いることが記載されている。

また、「時刻指定」については「１９時」がユーザにより指定されている。同様に、「経過時間指定」については「３０分後」がユーザにより指定されている。
各時刻や時間は、問い合わせに対する応答として登録することも可能であるが、事前に登録しておくことも可能である。
また、「特定のホームページを端末で閲覧しているとき」については、特定のホームページとして「ＡＢ店」、「ＣＤ店」等が登録されている。特定のホームページの閲覧は、カメラ２１（図１参照）で撮像された画像データ１１１（図２参照）の解析により検出される。

＜ｘＲデバイスの構成＞
図５は、実施の形態１で使用するｘＲデバイス２０のハードウェア構成の一例を説明する図である。
図５に示すｘＲデバイス２０は、データ処理部２００と、カメラ２１と、ＡＲモジュール２２０と、マイク２３０と、スピーカ２４０と、慣性センサ２５０と、測位センサ２６０と、振動子２７０と、通信モジュール２８０とを有している。

データ処理部２００は、プロセッサ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、フラッシュメモリ２０４とを有している。
ＲＯＭ２０２とＲＡＭ２０３とフラッシュメモリ２０４は、いずれも半導体メモリである。ＲＯＭ２０２には、ＢＩＯＳ等が記憶される。ＲＡＭ２０３は、プログラムの実行に使用される主記憶装置である。ＲＡＭ２０３には、例えばＤＲＡＭを使用する。
フラッシュメモリ２０４は、ファームウェア、プログラムやデータファイルの記録に用いられる。フラッシュメモリ２０４は、補助記憶装置として用いられる。

プロセッサ２０１は、例えばＣＰＵで構成される。プロセッサ２０１は、プログラムの実行を通じて各種の機能を実現する。
図２に示すプロセッサ１０１には、プログラムの実行により実現される機能の一部として、文字認識部２０１Ａを表している。
文字認識部２０１Ａは、ユーザの視線の方向を撮像した画像に含まれる文字を認識する機能に対応する。

本実施の形態における文字認識部２０１Ａは、認識した文字列をテキスト列に変換して出力する。本実施の形態の場合、文字認識は、プロセッサ２０１により完結的に実行されるが、文字認識の機能を有する他の装置との連携によりテキスト列を出力してもよい。文字の認識には人工知能の技術を応用してもよい。
因みに、他の装置には、サーバ１０（図１参照）を用いてもよい。その場合、サーバ１０に、文字認識部２０１Ａも設けてもよい。
また、他の装置として、文字の認識に特化したサーバを用いてもよい。

カメラ２１には、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用される。カメラ２１の個数は単数でも複数でもよい。図５の例では、カメラ２１は１つである。
例えば２つのカメラ２１を使用する場合、２つのカメラ２１は、フレームのフロント部分の両端に配置する。２つのカメラ２１を用いることでステレオ撮像が可能になり、被写体までの距離の測定や被写体間の前後関係の推定が可能になる。

ＡＲモジュール２２０は、現実の風景にＡＲ画像を合成した拡張現実の視認を実現するモジュールであり、光学部品と電子部品で構成される。
ＡＲモジュール２２０の代表的な方式には、ユーザの眼の前方にハーフミラーを配置する方式、ユーザの眼の前方に体積ホログラムを配置する方式、ユーザの眼の前方にブレーズド回折格子を配置する方式がある。

マイク２３０は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。
スピーカ２４０は、電気信号を音に変換して出力するデバイスである。なお、スピーカ２４０は、骨伝導スピーカや軟骨伝導スピーカでもよい。
なお、スピーカ２４０は、ワイヤレスイヤホンのように、ｘＲデバイス２０とは独立のデバイスでもよい。この場合、スピーカ２４０は、ｘＲデバイス２０とブルートゥース等により接続する。
慣性センサ２５０は、例えば６軸センサで構成される。６軸センサは、３軸の加速度センサと３軸の角速度センサで構成される。慣性センサ２５の出力により、ｘＲデバイス２０を装着しているユーザの動きが推定される。本実施の形態では、慣性センサ２５０の出力により、ユーザが立ち止まったことを検出する。

測位センサ２６０は、例えば３つ以上のＧＰＳ（＝Global Positioning System）衛星から発信されたＧＰＳ信号の受信により、自端末の位置を測位するＧＰＳモジュールである。ＧＰＳ衛生から発信されたＧＰＳ信号の受信による測位は屋外に限られる。
また、測位センサ２６０として、屋内用の測位モジュールを別途用意してもよい。屋内用の測位モジュールには、例えばＢＬＥ（＝Bluetooth Low Energy）ビーコンを受信して自端末の位置を測位するモジュール、ＷｉＦｉ（登録商標）信号を受信して自端末の位置を測位するモジュール、自律航法により自端末の位置を測位するモジュール、ＩＭＥＳ（＝Indoor Messaging System）信号を受信して自端末の位置を測位するモジュールがある。

振動子２７０は、連続した振動又は断続した振動を発生するデバイスである。本実施の形態の場合、振動子２７０の振動は、例えば提供が可能な情報の存在の検出をユーザに通知する目的で使用される。
通信モジュール２８０は、通信網３０のプロトコルに準拠したデバイスを使用する他、外部の機器との通信にも使用する。外部の機器との通信には、例えばＷｉｆｉ（登録商標）やブルートゥース（登録商標）を使用する。

図６は、ＡＲモジュール２２０の概念的な構成例を説明する図である。図６に示すＡＲモジュール２２０は、ユーザの眼の前方にブレーズド回折格子を配置する方式に対応する。
図６に示すＡＲモジュール２２０は、導光板２２１と、マイクロディスプレイ２２２と、映像光Ｌ２が入力される回折格子２２３Ａと、映像光Ｌ２が出力される回折格子２２３Ｂとを有している。

導光板２２１は、メガネのレンズに相当する。導光板２２１は、例えば８５％以上の透過率を有する。このため、ユーザは、導光板２２１を透過して前方の景色を直接視認することが可能である。外光Ｌ１は、導光板２２１及び回折格子２２３Ｂを透過するように直進し、ユーザの眼Ｅに入射する。

マイクロディスプレイ２２２は、ユーザに視認させるＡＲ画像が表示される表示デバイスである。マイクロディスプレイ２２２に表示されたＡＲ画像の光は、映像光Ｌ２として導光板２２１に投影される。映像光Ｌ２は、回折格子２２３Ａにより屈折され、導光板２２１の内部を反射しながら回折格子２２３Ｂに達する。回折格子２２３Ｂは、映像光Ｌ２をユーザの眼Ｅの方向に屈折する。
これにより、ユーザの眼Ｅには、外光Ｌ１と映像光Ｌ２が同時に入射される。その結果、ユーザは、視線の前方にＡＲ画像の存在を認識する。

＜処理動作＞
以下では、図７及び図８を使用して、サーバ１０とｘＲデバイス２０との連携により実行される処理動作について説明する。
図７は、実施の形態１における処理動作の一部分を説明するフローチャートである。また、図８は、実施の形態１における処理動作の残りを説明するフローチャートである。
図７及び図８に示す処理動作は一例である。また、各図における記号のＳはステップを意味する。
本実施の形態の場合、図７及び図８に示す処理動作は、サーバ１０（図２参照）のプロセッサ１０１（図２参照）によるプログラムの実行を通じて実現されるものとする。

プロセッサ１０１は、ユーザの前方を撮像しているカメラ２１（図１参照）の画像データを即時に取得する（ステップ１）。本実施の形態の場合、カメラ２１から出力される画像データは、撮像とほぼ同時に、サーバ１０にアップロードされる。また、カメラ２１が撮像する画角によっては、ユーザの前方以外の風景も含まれる。
次に、プロセッサ１０１は、画像データを解析して予め定めた情報を検出する（ステップ２）。予め定めた情報は、問い合わせ対象テーブル１１２（図３参照）との照合により検出される。このため、問い合わせの対象として設定されていない情報は、ステップ２における検出とはみなさない。

プロセッサ１０１は、予め定めた情報が検出された場合、情報の内容の表示の可否をユーザに問い合わせる（ステップ３）。本実施の形態の場合、問い合わせには、視覚を用いない手法、例えば音や音声を使用する。音や音声は、ｘＲデバイス２０（図５参照）のスピーカ２４０（図５参照）から出力される。
次に、プロセッサ１０１は、予め定めた時間内に指示を検知したか否かを判定する（ステップ４）。

本実施の形態の場合、ユーザからの指示として音声を想定する。予め定めた時間は、好ましくはユーザ毎に設定される。もっとも、ユーザの設定が無い場合には、初期値を使用する。予め定めた時間には、例えば１０秒を使用する。
なお、ユーザが問い合わせに気づかない場合も考慮して、１回目の時間の経過時には、ステップ３の問い合わせを再度実行してもよい。

予め定めた時間が経過してもユーザの指示が検知されない場合、プロセッサ１０１は、ステップ４で否定結果を得る。この場合には、表示を希望しないユーザによる消極的な否定が含まれる。いわゆる無視である。
ステップ４で否定結果が得られた場合、プロセッサ１０１は、検出された情報の内容をユーザに提供することなく、処理を終了する。

これに対し、予め定めた時間内にユーザの指示が検知された場合、プロセッサ１０１は、ステップ４で肯定結果を得る。
ステップ４で肯定結果が得られた場合、プロセッサ１０１は、ＡＲ画像による表示の指示があったか否かを判定する（ステップ５）。
ステップ５で肯定結果が得られた場合、プロセッサ１０１は、「すぐに表示」が指示されたか否かを判定する（ステップ６）。ここでの指示は、ユーザから、その都度、与えられる場合もあれば、提供タイミングテーブル１１３に設定されている場合もある。

ステップ６で肯定結果が得られた場合、プロセッサ１０１は、ＡＲ画像を表示する（ステップ７）。このＡＲ画像には、検出された情報の内容が含まれる。
これに対し、ステップ６で否定結果が得られた場合、プロセッサ１０１は、ユーザの停止が表示の条件か否かを判定する（ステップ８）。この場合も、ユーザの停止、すなわち立ち止まったら表示するとの指示が、その都度、ユーザから与えられる場合もあれば、提供タイミングテーブル１１３に設定されている場合もある。

ステップ８で肯定結果が得られた場合、プロセッサ１０１は、ユーザが停止したか否かを判定する（ステップ９）。
本実施の形態の場合、ステップ９で否定結果が得られている間、プロセッサ１０１は、ステップ９の判定を繰り返す。
やがて、ユーザが立ち止まり、ステップ９で肯定結果が得られると、プロセッサ１０１は、ＡＲ画像を表示する（ステップ１０）。なお、ステップ９の判定が繰り返されている間に出力の条件が変更された場合には、変更後の条件の到来が判定される。例えばステップ９の判定が繰り返されている間に、ユーザから「すぐに表示」の指示があった場合には、即座にＡＲ画像を表示する。

ステップ８でも否定結果が得られた場合、すなわちユーザの指示の内容が「すぐに表示」でもなく、「ユーザの停止が表示の条件」でもない場合、プロセッサ１０１は、ユーザが指定したタイミングが到来したか否かを判定する（ステップ１１）。
このタイミングは、ユーザから、その都度、具体的に指示される場合と、提供タイミングテーブル１１３に設定されている場合がある。
いずれにしても、ステップ１１で否定結果が得られている間、プロセッサ１０１は、ステップ１１の判定を繰り返す。
やがて、提供のタイミングが到来すると、プロセッサ１０１は、ＡＲ画像を表示する（ステップ１２）。なお、ステップ１１の判定が繰り返されている間に出力の条件が変更された場合には、変更後の条件の到来が判定される。例えばステップ１１の判定が繰り返されている間に、ユーザから「すぐに表示」の指示があった場合には、即座にＡＲ画像を表示する。

続いて、ステップ５で否定結果が得られた場合を説明する。この場合の処理動作を図８に示す。
ステップ５で否定結果が得られた場合、プロセッサ１０１は、音声による提供の指示があったか否かを判定する（ステップ２１）。
ユーザが明示的に「不要」等の音声を発した場合、プロセッサ１０１は、ステップ２１で否定結果を得る。この場合、プロセッサ１０１は、検出された情報の内容をユーザに提供することなく、処理を終了する。

これに対し、ステップ２１で肯定結果が得られた場合、プロセッサ１０１は、情報の内容を音声ファイルに変換する（ステップ２２）。
続いて、プロセッサ１０１は、「すぐに再生」が指示されたか否かを判定する（ステップ２３）。ここでの指示は、その都度、ユーザから与えられる場合もあれば、提供タイミングテーブル１１３に設定されている場合もある。

ステップ２３で肯定結果が得られた場合、プロセッサ１０１は、音声ファイルを再生する（ステップ２４）。この場合、ｘＲデバイス２０（図５参照）のスピーカ２４０（図５参照）から音声が出力される。
これに対し、ステップ２３で否定結果が得られた場合、プロセッサ１０１は、ユーザの停止が再生の条件か否かを判定する（ステップ２５）。この場合も、ユーザの停止、すなわち立ち止まったら再生するとの指示が、その都度、ユーザから与えられる場合もあれば、提供タイミングテーブル１１３に設定されている場合もある。

ステップ２５で肯定結果が得られた場合、プロセッサ１０１は、ユーザが停止したか否かを判定する（ステップ２６）。
本実施の形態の場合、ステップ２６で否定結果が得られている間、プロセッサ１０１は、ステップ２６の判定を繰り返す。なお、ステップ２６の判定が繰り返されている間に出力の条件が変更された場合には、変更後の条件の到来が判定される。例えばステップ２６の判定が繰り返されている間に、ユーザから「すぐに再生」の指示があった場合には、即座に音声が再生される。
やがて、ユーザが立ち止まり、ステップ２６で肯定結果が得られると、プロセッサ１０１は、音声ファイルを再生する（ステップ２７）。

ステップ２５でも否定結果が得られた場合、すなわちユーザの指示の内容が「すぐに再生」でもなく、「ユーザの停止が再生の条件」でもない場合、プロセッサ１０１は、ユーザが指定したタイミングが到来したか否かを判定する（ステップ２８）。このタイミングは、その都度、ユーザから具体的に指示される場合と、提供タイミングテーブル１１３に設定されている場合がある。

いずれにしても、ステップ２８で否定結果が得られている間、プロセッサ１０１は、ステップ２８の判定を繰り返す。
やがて、提供のタイミングが到来すると、プロセッサ１０１は、音声ファイルを再生する（ステップ２９）。なお、ステップ２８の判定が繰り返されている間に再生の条件が変更された場合には、変更後の条件の到来が判定される。例えばステップ２８の判定が繰り返されている間に、ユーザから「すぐに再生」の指示があった場合には、即座に音声を再生する。

＜情報の内容の提示例＞
以下では、図９～図２１を使用して、本実施の形態による情報の内容の提示例を説明する。

＜例１＞
ここでは、駅構内の電光掲示板に掲載されている運行情報の内容を、ＡＲ画像としてユーザに提供する場面を想定する。
図９は、ｘＲデバイス２０を装着したユーザが駅に向かう場面を説明する図である。（Ａ）は改札機４１へ向かうユーザを示し、（Ｂ）はｘＲデバイス２０からの問い合わせの例を示す。

図９の場合、改札機４１の奥にはホームにつながる階段４２があり、階段４２と改札機４１との間に電光掲示板４３が配置されている。電光掲示板４３は天井からぶら下がっている。
ｘＲデバイス２０のカメラ２１は、ユーザの前方を撮像している。このため、ユーザが改札機４１に向かう途中で、カメラ２１が電光掲示板４３を撮像する。この例の場合、カメラ２１で撮像された画像は、撮像と同時にサーバ１０（図１参照）にアップロードされ、画像解析される。

画像解析の結果、電車の遅延を知らせる運行情報の存在が検出されると、図９（Ｂ）に示すように、ｘＲデバイス２０からユーザに対し、情報の内容の表示の可否を問い合わせる音声が出力される。なお、運行情報の存在を知らせることは、問い合わせ対象テーブル１１２（図３参照）に登録されている。因みに、問い合わせの対象に登録されていない情報は、カメラ２１（図１参照）により撮像された画像内に含まれていても、問い合わせは実行されない。

図９（Ｂ）の例では、「情報を表示しますか？」との音声が出力されている。本実施の形態の場合、問い合わせの段階では、情報の内容については何ら提供されず、単に、ＡＲ画像として表示が可能な情報が検出された事実だけが示される。
このように、本実施の形態では、情報が検出されるたびに、検出された情報の内容を全てユーザに提供するのではなく、その表示の可否を問合わせる。

情報の内容を表示する前に問い合わせを行う理由には、例えば人混みの中を歩いている場合や周囲の安全を確かめる必要がある場合のように、ＡＲ画像の即座の表示をユーザが望まない場合があるためである。もっとも、本実施の形態の場合、一律にＡＲ画像の表示を禁止するのではなく、ユーザが望む場合には、即座のＡＲ画像の表示も可能である。
すなわち、本実施の形態の手法は、カメラ２１により取得される周囲の環境やユーザの動作だけでは判断がつかないユーザの都合の確認により、ＡＲ画像の表示、非表示、表示のタイミング等を決定する。

図１０は、問い合わせに対するユーザの指示の例を説明する図である。（Ａ）と（Ｂ）はタイミングの指定付きで表示を許可する場合であり、（Ｃ）と（Ｄ）は表示を許可しない場合である。
図１０（Ａ）の場合、ユーザは「立ち止まったら」と指示している。この指示は、ユーザの行動や動作の特定を通じ、ＡＲ画像を出力するタイミングを指定する。

因みに、ユーザが立ち止まったことは、ｘＲデバイス２０に設けられている慣性センサ２５０（図５参照）の出力波形から判定が可能である。また、ＧＰＳ信号等による測位センサ２６０（図５参照）の出力から判定することも可能である。また、カメラ２１で撮像された画像から立ち止まったことを判定することも可能である。
この指示は、ステップ９（図７参照）で肯定結果が得られる場合に当たる。

図１０（Ｂ）の場合、ユーザは「ホームに上ったら」と指示している。この指示は、ユーザの周囲の環境の特定を通じ、ＡＲ画像を出力するタイミングを指定する。
これらの指示の場合、条件を満たすまで、運行情報の内容がＡＲ画像により提供されることはない。この指示は、ステップ１１（図７参照）で否定結果が得られる場合に当たる。
図１０（Ｃ）の場合、ユーザは「不要です」と指示している。この指示は、言葉による積極的な否定の例である。

図１０（Ｄ）の場合、ユーザは無言のまま、又は、許可や不許可に関連する言葉を発しない。問い合わせに対する明示的な指示が無いまま予め定めた時間が経過すると、ステップ４（図７参照）で否定結果が得られる。この状態は、消極的な否定の例である。
いずれにしても、ユーザがホームに到着するまで停止せずに移動する場合、ユーザが改札機４１に近づく間も、ユーザが改札機４１を通過する場合も、ユーザが階段を上がってホームに向かう間も、ＡＲ画像がユーザの視界前方に表示されることはない。

図１１は、ＡＲ画像による運行情報の内容の提供例を説明する図である。（Ａ）はユーザがホーム５１上で立ち止まり、横浜方面の電車５２を見ている様子を示し、（Ｂ）はユーザが視認している拡張現実の風景を示している。
図１１の場合、ユーザがホーム５１上で立ち止まっている。このため、「立ち止まったら」の条件も「ホームに上がったら」の条件も満たしている。
一般には、「ホームに上ったら」の条件が先に満たされるので、カメラ２１で撮像された画像の解析によりユーザがホーム上にいることが判明した時点で、検出された情報の内容がＡＲ画像として表示される。

図１１の例では、ユーザの視線方向が横浜方面に向かう電車５２であることが画像より認識が可能であるので、ユーザの視線方向に停車している電車に関連する運行情報だけが表示されている。具体的には、「横浜方面 大雨の影響により３０分遅延」という具合に運行情報の具体的な内容がテキストにより提示される。

なお、運行情報の存在を検出してから条件を満たすまでの間に情報が更新されている可能性がある。そこで、ｘＲデバイス２０のプロセッサ２０１（図５参照）には、運行情報を表示する前に最新の情報をインターネット上から取得し、ホーム上では最新の運行情報をＡＲ画像として表示してもよい。最新の運行情報は、利用する路線の鉄道事業者のホームページから取得してもよいし、運行情報をサービスとして提供する事業者のホームページ等から取得してもよい。

なお、ネットワーク環境が悪く、前述したホームページ等へのアクセスが困難な場合には、サーバ１０（図１参照）で生成されたＡＲ画像をそのまま出力してもよい。その場合には、情報の内容を取得した時刻や取得からの経過時間などを一緒にＡＲ画像として表示してもよい。
また、ｘＲデバイス２０の文字認識部２０１Ａ（図５参照）において、ホーム上に設置されている電光掲示板から最新の運行情報の内容を認識し得た場合には、電光掲示板から認識された文字情報をＡＲ画像として表示してもよい。
以上の機能により、運行情報の内容を、ユーザが指定したタイミングで眼の前に表示することが可能になる。

図１２は、ＡＲ画像による運行情報の内容の他の提供例を説明する図である。（Ａ）はユーザがホーム５１上で立ち止まり、品川方面の電車５２を見ている様子を示し、（Ｂ）はユーザが視認している拡張現実の風景を示している。
図１２には、図１１との対応部分に対応する符号を付して示している。
図１２の場合、ユーザは、図１１とは反対方向に向かう電車５２を見ている。このため、ＡＲ画像として表示される運行情報の内容も視線の先にある電車５２の行き先に関する内容となっている。具体的には「品川方面 混雑の影響により５０分遅延」なる内容が示されている。

このように、情報の内容が特定の方向、場所、領域等に関連し、かつ、画像の解析により特定されたユーザの視線の方向がこれらの方向、場所、領域等に関連する場合、ユーザには、視線の方向に関連付けられている情報の内容がＡＲ画像として表示される。
この機能をサーバ１０やｘＲデバイス２０に設けることにより、表示される内容とユーザの視線の方向とのミスマッチが少なくなる。
勿論、カメラ２１で撮像された画像を解析しても情報の内容との関連性が分からない場合もある。このような場合には、横浜方面の電車を見ている場合でも品川方面の電車を見ている場合でも、横浜方面と品川方面の両方に関する遅延情報がＡＲ画像として表示される。

図１３は、ＡＲ画像による運行情報の内容の他の提供例を説明する図である。（Ａ）はユーザがホーム５１の中央で立ち止まり、ホームの奥方向を見ている様子を示し、（Ｂ）はユーザが視認している拡張現実の風景を示している。
図１３の場合、視線の方向はホームと平行であり、画像の解析だけでは、どちらの方面に向かう電車に乗るかも不明である。
そこで、図１３の例では、電光掲示板が設置される高さに合わせて、より目立つように、横浜方面に向かう電車に関する運行情報と、品川方面に向かう電車に関する運行情報との両方がＡＲ画像として表示されている。

＜例２＞
ここでは、商業ビルの入口付近に掲載されている広告の内容を、ＡＲ画像としてユーザに提供する場面を想定する。
図１４は、ｘＲデバイス２０を装着したユーザが商業ビル６１に向かう場面を説明する図である。（Ａ）は商業ビル６１に向かうユーザを示し、（Ｂ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｃ）はユーザからの指示の例を示す。
図１４の場合、商業ビル６１の入口６２は、建物の右側に位置し、看板６３は建物の左側に並んで配置されている。

ユーザは入口６２を目指して歩いているので、看板６３の存在に気づきにくい状況である。
ｘＲデバイス２０のカメラ２１は、ユーザの前方を撮像している。このため、商業ビル６１の入口６２に向かう途中で、カメラ２１には看板６３が映り込む。この例の場合も、カメラ２１で撮像される画像は、撮像と同時にサーバ１０（図１参照）にアップロードされ、画像解析される。

画像解析の結果、看板６３の存在が検出されると、図１４（Ｂ）に示すように、ｘＲデバイス２０からユーザに対し、情報の内容の表示の可否を問い合わせる音声が出力される。
図１４（Ｂ）の例では、「情報を表示しますか？」との音声が出力される。
なお、情報の内容や音声の出力回数に応じて表現を変更することも可能である。前者の方法では、表現の違いで情報の内容を予測することが可能になる。もっとも、表現が多すぎると、情報の内容の予測は難しくなる。後者の例では、問い合わせの内容が単調になるのを避けることが可能になる。
図１４（Ｃ）の例では、前述した例１とは異なり、ユーザは「今すぐ」と指示している。

図１５は、ＡＲ画像による広告の内容の提供例を説明する図である。図１５には、図１４との対応部分に対応する符号を付して示している。
「今すぐ」との指示を受け付けたｘＲデバイス２０は、画像の解析により生成されたＡＲ画像をサーバ１０（図１参照）から取得し、ユーザの前方に表示する。
この例では、ユーザと看板６３との距離が遠く、看板６３に記載されている内容が分からない段階でも、広告の内容をユーザに気づかせることが可能になる。

図１６は、情報の内容の表示は許可されているが、ユーザの周囲が混雑しているためにＡＲ画像が表示されない場合を説明する図である。図１６には、図１５との対応部分に対応する符号を付して示している。
図１５の例の場合、ユーザの視線の方向には商業ビル６１だけがあり、他の通行人などはいない例であった。しかし、図１６の例では、他の通行人がユーザの視線の先にいる。
例えばＡＲ画像の表示の条件として「周囲が混雑していないとき」がユーザにより設定されている場合（図４参照）、ｘＲデバイス２０は、看板６３の内容をＡＲ画像として表示せず、ステップ１１（図７参照）により、ユーザが設定している他のタイミングが到来した時点でＡＲ画像を表示する。

＜例３＞
ここでは、例１や例２に対する変形例について説明する。
図１７は、情報の提供の例を説明する図である。（Ａ）は問い合わせに対するユーザの指示の例であり、（Ｂ）は情報の内容を音声により提供する例である。
図１７（Ａ）の場合もユーザの指示は音声により行われている。この例のユーザは、ｘＲデバイス２０からの問い合わせに対して「音声で、すぐに」と指示している。
その結果、図１７（Ｂ）の例では、ユーザからの指示を受け付けた直後に、ｘＲデバイス２０から「○○ビルの限定エリアのご紹介」との音声がスピーカ２４０（図５参照）から出力されている。

この指示は、ステップ２３（図８参照）で肯定結果が得られた場合に当たる。
この例では、情報の内容を音声によりユーザに提供する方法が採用されるので、ユーザの視界がＡＲ画像により妨げられることもない。このため、ユーザの周囲に他の通行人がいる場合でも、ユーザは、視線の先にある商業ビル６１について掲載されている看板６３の内容を知ることが可能になる。

図１８は、問い合わせと指示の他の例を説明する図である。（Ａ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｂ）はユーザからの指示の例を示す。
図１８（Ａ）の例では、前述した他の例とは異なり、問い合わせ内に情報の対象を含めている。すなわち「店の情報を表示しますか？」のように、「情報を表示しますか？」の前に「店の」を追加している。これにより、ユーザは、情報の内容までは分からないが、情報の対象については見当を付けることが可能になる。

また、「店の」の他に、駅その他の場所を追加してもよいし、「交通に関する」や「規制に関する」等のように情報の種類を示唆する内容としてもよい。
いずれにしても、問い合わせの段階では、可能な限り内容を単純化することで、ユーザの負担を少なくする。
問い合わせの内容を詳しくすると、情報の内容を提供するのと変わりがなくなるためである。問い合わせの段階では、提供が可能な情報の存在が伝わればよい。その意味では、問い合わせは「情報を表示する？」や「表示する？」でもよい。
図１８（Ｂ）のユーザは、「店についたら表示して」と指示を与えている。なお、指示の他の例には、「３時になったら」や「３０分後に」や「自宅に戻ったら」等もある。

＜例４＞
ここでは、カメラ２１（図１参照）が撮像する画像内に複数の情報が存在する場合について説明する。
図１９は、買い物に向かう途中で情報の存在が検出された場合を説明する図である。（Ａ）は商業ビルに向かう途中で駅の方向に顔を向けた様子を示し、（Ｂ）はカメラ２１が撮像する範囲とユーザが認識している範囲との違いを示す。
図１９（Ａ）の場合、ユーザは左側から右側に移動している。移動の方向である右側には商業ビルがあり、そこがユーザの目的地である。目的地であることは事前に、問い合わせ対象テーブル１１２に登録されていている場合もあれば、登録されていない場合もある。

図１９（Ａ）におけるユーザは、駅前を通り過ぎながら駅の改札の方向に顔を向けている。
図１９（Ｂ）には、カメラ２１が撮像した範囲を太い破線で示し、ユーザが認識している範囲を細い破線で示している。ユーザの視野は左右それぞれ１００°と言われるが、明瞭に認識が可能な範囲（すなわち有効視野）は４°～２０°と呼ばれている。その意味で、カメラ２１が撮像する範囲は、有効視野より広ければよく、必ずしも人の視野角以上でなくてもよい。
歩きながら横を向いて駅の方向を見る場合、視野内に電光掲示板４３と看板６３が含まれていても注視しない限り、文字等を読み取ることはない。このため、運行情報や広告の内容には気づかない。

一方、カメラ２１が撮像した範囲には、電光掲示板４３と看板６３が含まれており、文字も画像として撮像される。撮像された画像は、ｘＲデバイス２０からサーバ１０（図１参照）にアップロードされ、画像解析される。
画像解析の結果、運行情報の存在と広告の存在とが検出される。その後、ｘＲデバイス２０からユーザに対し、情報の内容の表示の可否の問い合わせが出力される。
図２０は、ｘＲデバイス２０からの問い合わせの出力とユーザからの指示の様子を説明する図である。（Ａ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｂ）はタイミングの指定付きで表示を許可する場合の例を示す。

図２０（Ａ）の場合も、問い合わせ内に情報の対象を含めている。図２０（Ａ）の例では、「駅と店の情報を表示しますか？」が出力されている。
このため、ユーザは、駅と店の情報の存在に気づくことになる。
図２０(Ｂ)の場合、ユーザは歩行中であるので、「店についたら表示して」と指示している。
図２１は、ユーザが目的地に近づいた場合の情報の提示の例を説明する図である。（Ａ）は目的地である商業ビル６１の入口６２に向かって歩くユーザを示し、（Ｂ）は情報の内容の提示の例を示す。

図２１（Ａ）に示すように、駅前を通過したユーザは、目的地である商業ビル６１の入口６２に向かって歩いている。このとき、ユーザの視線の前方には、図２１（Ｂ）に示すように、検出された情報の内容である広告文がＡＲ画像として表示されている。この表示を見たユーザは、これから入って行く商業ビル６１に関する広告を事前に知ることになる。

＜実施の形態２＞
本実施の形態では、指示にジェスチャを用いる例を説明する。
図２２は、手の指の本数により情報の内容の表示を指示する例を説明する図である。（Ａ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｂ）はジェスチャにより「すぐ表示」を指示する例を示し、（Ｃ）は情報の内容がＡＲ画像により表示される例を示す。
図２２（Ａ）では、ｘＲデバイス２０から音声による問い合わせが出力されている。図２２（Ｂ）では、ユーザが人差し指を上に向けている。この例の場合、指の本数は１本である。

「すぐ表示」の指示には、１本の指が割り当てられている。なお、本数が１本であればよいので、使用する指は人差し指である必要はない。例えば親指でもよいし、小指でもよい。
また、この例の場合、指の向きには意味はなく、指先の方向は左方向でも下向きでも構わない。なお、指の本数は、カメラ２１で撮像された画像の解析により検出される。
図２２（Ｃ）では、運行情報である「横浜方面 大雨の影響により３０分遅延」と「品川方面 混雑の影響により５０分遅延」が表示されている。

図２３は、手の指の本数により情報の内容の表示を指示する他の例を説明する図である。（Ａ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｂ）はジェスチャにより「後で表示」を指示する例を示し、（Ｃ）は情報の内容がＡＲ画像により表示される例を示す。
図２３（Ａ）の場合も、ｘＲデバイス２０から音声により問い合わせが出力されている。図２３（Ｂ）では、ユーザが人差し指と中指でＶ字を作っている。この場合、指の本数は２本である。なお、２本の指の表示に用いる指の組み合わせは、人差し指と中指に限らない。例えば親指と人差し指でもよい。

図２３（Ｂ）の例では、「後で」の指示に、２本の指が割り当てられている。このため、２本の指をカメラ２１の前にかざすことで、時間差での表示の指示を与えている。
図２３（Ｃ）の場合、提供タイミングテーブル１１３（図４参照）に登録されているタイミングで情報の内容が表示される。例えば目的に到着したタイミングに、運行情報である「横浜方面 大雨の影響により３０分遅延」と「品川方面 混雑の影響により５０分遅延」が表示される。

図２４は、手の指の本数により情報の内容の表示を指示する他の例を説明する図である。（Ａ）はｘＲデバイス２０からの問い合わせの例を示し、（Ｂ）はジェスチャにより「不要」を指示する例を示し、（Ｃ）は情報の内容が表示されない例を示す。
図２４（Ａ）の場合も、ｘＲデバイス２０から音声により問い合わせが出力されている。図２４（Ｂ）では、ユーザが拳を作っている。この場合、指の本数は０本である。図２４（Ｂ）の場合、「不要」の指示に、０本の指が割り当てられている。なお、ジェスチャの無い状態が予め定めた時間以上続いた場合も「不要」とみなされる。
不要であるので、図２４（Ｃ）のユーザの視線の前方にはＡＲ画像が表示されていない。

なお、問い合わせに対する指示は、指の本数に限らない。
例えば指の向きを指示に用いてもよい。例えば指先を左に向けると「今すぐ表示」、上に向けると「後で表示」、下に向けると「不要」とする。
この他、指や手の動きを指示に用いてもよい。例えば指や手を上に上げると「今すぐ表示」、前方に突き出すと「後で表示」、左右に手を動かすと「不要」とする。また、手を握る動作や手を広げる動作を指示に用いてもよいし、手を握る動作と手を広げる動作の繰り返しの回数を指示に用いてもよい。

また、指や手の動きの速さを組み合わせてもよい。例えば指や手を速く上げると「今すぐ表示」、ゆっくり上げると「後で表示」としてもよい。
また、指で作る形を指示に用いてもよい。例えばリングの形には「今すぐ表示」、Ｃ字の形には「後で表示」を割り当ててもよい。
また、右手を用いると「今すぐ表示」とし、左手を用いると「後で表示」としてもよい。勿論、指示の割当を左右反対としてもよい。
また、右手と左手の両方を指示に用いてもよい。例えば両手で円の形状を作ると「今すぐ表示」、ハートの形状を作ると「後で表示」としてもよい。

＜実施の形態３＞
本実施の形態では、ｘＲデバイス２０に設けられたボタンを指示に用いる例を説明する。
図２５は、ｘＲデバイス２０に設けられたボタンの操作と指示の関係を説明する図である。（Ａ）はボタン付きのｘＲデバイス２０を示し、（Ｂ）は「すぐ表示」を指示する例を示し、（Ｃ）は「後で表示」を指示する例を示す。
図２５（Ａ）に示すｘＲデバイス２０には、つるの部分にボタン２２が配置されている。ボタン２２は、機械式のボタンでもよいし、接触を検知するセンサでもよい。

図２５（Ｂ）に示すボタン２２の１回タップには「今すぐ表示」が割り当てられ、図２５（Ｃ）に示すボタン２２の２回タップには「後で表示」が割り当てられている。
勿論、タップの回数と指示の内容の割当は一例である。また、接触を検知するセンサを用いる場合には、指が接触している時間の長さを指示の内容に割り当ててもよい。例えば接触の時間が１秒未満であれば「今すぐ表示」とみなし、接触の時間が１秒以上であれば「後で表示」とみなす。
ボタン２２を用いた指示は、周囲に人が多く、声による指示やジェスチャによる指示が適さない場合に好適である。

＜実施の形態４＞
本実施の形態では、問い合わせにＡＲ画像を使用する例を説明する。
図２６は、ＡＲ画像を用いた問い合わせの例を説明する図である。（Ａ）は問い合わせにテキストを用いる例であり、（Ｂ）は問い合わせにマークを用いる例である。
図２６（Ａ）の場合、問い合わせに短い文がＡＲ画像として表示される。この場合、ユーザの視線の前方にテキストが表示されることになるが、問い合わせに用いるテキストの長さは、情報の内容を表示する場合に比して短くなるように用意される。短文による問い合わせは、ユーザの視界を邪魔しない。このテキストを表示するＡＲ画像は、第２の拡張現実の画像の一例である。

図２６（Ｂ）の場合、問い合わせにマークが用いられるので、ユーザの視界の邪魔になり難い。
図２６（Ｂ）の例では、マークの色や形状により情報の内容が示唆されている。例えば赤色の丸型のマークは、重要度が高い交通機関の情報を意味し、青色の丸型のマークは、交通機関の広告を意味する。また、赤色の正方形のマークは広告を意味する。
図２６（Ｂ）では、マークとしてアイコンを用いる場合も例示している。図２６（Ｂ）の例は、電車型のアイコンであり、交通機関の情報が存在することを表している。
これらのマークを確認したユーザは、表示を許可するか否かの指示を与える。ここでのマークを表示するＡＲ画像も、第２の拡張現実の画像の一例である。

なお、図２６（Ｂ）の例では、情報の内容に応じたマークを用いているが、単純に表示の許可を求める情報の存在を伝えるだけのマークでもよい。
また、図２６（Ｂ）では、マークの例として、形状やアイコンを例示しているが、記号、符号、印を用いてもよい。
また、問い合わせをＡＲ画像として表示する場合には、視界の真ん中を避けて表示してもよい。問い合わせの段階では、ユーザの関心も不明であるので、ユーザの視界を邪魔しないように、視野の周辺に表示する。もっとも、視野の周辺に近いほど気づきにくくもなるので、視野の中央に配置することも可能である。問い合わせにＡＲ画像を使用する場合には、ＡＲ画像を表示する位置を事前にユーザが指定することが望ましい。

＜実施の形態５＞
図２７は、問い合わせに振動を使用する例を説明する図である。
本実施の形態で使用するｘＲデバイス２０は、情報の内容の表示について問い合わせる場合、振動子２７０（図５参照）を振動させる。
本実施の形態で使用するｘＲデバイス２０は、問い合わせ対象テーブル１１２（図３参照）に登録した情報の検出を振動でユーザに通知する。

なお、振動の種類を情報の内容に応じて変更してもよい。例えば交通機関の運行情報であれば振動を１回とし、広告であれば振動を２回としてもよい。また、振動の強弱や長さ等で規定される振動のパターンを変えてもよい。
図２７では、ｘＲデバイス２０に設けられている振動子２７０を振動させることで、情報の内容の表示の可否をユーザに問い合わせているが、振動子２７０は、ｘＲデバイス２０とは独立したデバイスでもよい。例えばポケットに入れて使用するデバイスでもよい。この場合、振動子２７０とｘＲデバイス２０は、ブルートゥース等により接続されている。

＜実施の形態６＞
図２８は、実施の形態６で使用するｘＲデバイス２０Ａの外観例を説明する図である。図２８には、図１との対応部分に対応する符号を付して示している。
本実施の形態で使用するｘＲデバイス２０Ａには、サーバ１０（図１参照）の機能が設けられている。すなわち、ｘＲデバイス２０Ａは、単独で、前述した実施の形態の機能を実行する。

図２９は、実施の形態６で使用するｘＲデバイス２０Ａのハードウェア構成の一例を説明する図である。図２９には、図２と図５の対応部分に対応する符号を付して示している。
図２９に示すプロセッサ２０１は、画像解析部１０１Ａ、問い合わせ制御部１０１Ｂ、出力制御部１０１Ｃ、文字認識部２０１Ａとして機能する。
フラッシュメモリ２０４には、画像データ１１１、問い合わせ対象テーブル１１２、提供タイミングテーブル１１３が記憶されている。

本実施の形態で使用するｘＲデバイス２０Ａは、単独でＡＲ画像として表示する情報の検出、問い合わせ、出力のタイミングの制御を実行する。このため、ｘＲデバイス２０Ａは、サーバ１０との通信が途絶えた状況でも、サービスの提供が可能である。
本実施の形態におけるｘＲデバイス２０Ａは、情報処理装置の一例である。

＜実施の形態７＞
図３０は、実施の形態７で使用する情報処理システム１Ａの使用例を説明する図である。図３０には、図１との対応部分に対応する符号を付している。
図３０で使用するｘＲデバイス２０Ｃには、カメラ２１が一体的に取り付けられていない点で、実施の形態１のｘＲデバイス２０（図１参照）と相違する。
本実施の形態の場合、カメラ２１は例えば着脱式であり、ユーザの衣類や帽子に取り付けられている。ただし、カメラ２１が撮像する方向は、ユーザの視線の方向に揃えられている。
なお、カメラ２１は、ｘＲデバイス２０Ｃと無線により接続されている。例えばブルートゥースにより接続されている。
ここでのｘＲデバイス２０Ｃは、スマートグラスとも呼ばれる。

＜実施の形態８＞
図３１は、実施の形態８で使用する情報処理システム１Ｂの使用例を説明する図である。図３１には、図１との対応部分に対応する符号を付している。
図３１に示す情報処理システム１Ｂでは、サーバ１０（図１参照）に設けていた機能を、ｘＲデバイス２０と連携する携帯型の端末４０に搭載する。

図３１の場合、端末４０としてスマートフォンを例示している。端末４０は、図２９に示すハードウェア構成を有している。少なくとも、端末４０のプロセッサ２０１には、画像解析部１０１Ａ、問い合わせ制御部１０１Ｂ、出力制御部１０１Ｃ、文字認識部２０１Ａを設ける。また、フラッシュメモリ２０４には、画像データ１１１、問い合わせ対象テーブル１１２、提供タイミングテーブル１１３を記憶する。

図３１の例では、端末４０としてスマートフォンを例示したが、端末４０は、時計型やブレスレッド型等のウェアラブル端末でもよく、ノート型のコンピュータやタブレット型のコンピュータでもよい。
端末４０は、情報処理装置の一例である。

＜実施の形態９＞
本実施の形態では、ｘＲデバイス２０の位置情報を用いて情報の提供を受ける場合について説明する。
本実施の形態の場合、ｘＲデバイス２０の測位センサ２６０（図５参照）で測位された位置の情報に紐付けられている情報が存在する場合、ユーザに対して問い合わせが実行される。このため、本実施の形態で使用するｘＲデバイス２０では、カメラ２１（図１参照）を必要としない。

図３２は、実施の形態９における処理動作の一部分を説明するフローチャートである。図３２には、図７との対応部分に対応する符号を付して示す。
図３２に示す処理動作も、サーバ１０（図１参照）が実行する。
サーバ１０のプロセッサ１０１（図２参照）は、ユーザの現在の位置を取得する（ステップ３１）。前述したように、本実施の形態では、測位センサ２６０で測位された位置の情報がサーバ１０にアップロードされる。

次に、プロセッサ１０１は、ユーザの現在の位置に紐付けられている情報を検出する（ステップ３２）。なお、ハードディスクドライブ１１０（図２参照）には、事前に登録された店、施設、交通機関、看板、広告等の情報に位置の情報が対応付けられて記憶されている。
ユーザの位置に対応する情報が存在する場合、プロセッサ１０１は、情報の内容の表示の可否をユーザに問い合わせる（ステップ３３）。

以後の処理動作は、実施の形態１におけるステップ４（図７参照）以下と同じである。因みに、ステップ５（図７参照）で否定結果が得られた場合、ステップ２１（図８参照）以降が実行される。
本実施の形態の場合、ユーザの視線の方向をカメラ２１（図１参照）で撮像する必要がない。このため、ｘＲデバイス２０（図１参照）にはカメラ２１が不要となる。

＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（２）前述の実施の形態では、カメラ２１（図１参照）がユーザの視線の方向を撮像することを前提としたが、カメラ２１が撮像する範囲はユーザの周囲であればよい。ユーザの周囲を撮像することで、ユーザの視線の方向とは異なる場所に存在する情報の内容をＡＲ画像や音声で提供することが可能になる。

（３）前述の実施の形態では、ユーザの周囲を撮像した画像に含まれる情報やユーザの位置に紐付けられている情報が予め定めた条件を満たす場合にユーザに表示の可否を問い合わせているが、受信したメールやアラーム等の内容の表示の可否を問い合わせてもよい。ここでのメールやアラーム等を送信するサーバは、外部の装置の一例である。メールやアラーム等の通知は、ユーザの位置や周囲の環境とは独立に発生する。
この他、外部の装置には、例えば改札機、街中に配置されたデジタルサイネージ、ゲームの登場人物等をＡＲ画像としてユーザの端末に表示させるサーバがある。ここでの通知は、ユーザの位置に紐付けられた情報の内容の通知である。ここでの改札機が設けられている場所、デジタルサイネージの端末が設けられている場所、ゲームの登場人物等を出現する場所は、特定の場所の一例である。

（４）前述の実施の形態１では、文字認識部２０１Ａ（図５参照）をｘＲデバイス２０（図１参照）に設けているが、サーバ１０（図１参照）に設けてもよい。また、画像解析部１０１Ａ、問い合わせ制御部１０１Ｂ、出力制御部１０１Ｃの全てをサーバ１０に設けているが、これらの一部又は全部をｘＲデバイス２０に設けてもよい。他の実施の形態についても同様である。

（５）前述の実施の形態では、情報の内容をＡＲ画像又は音声により出力しているが、ＡＲ画像と音声の両方を用いて出力してもよい。

（６）前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。

１、１Ａ、１Ｂ…情報処理システム、１０…サーバ、２０、２０Ａ、２０Ｂ、２０Ｃ…ｘＲデバイス、２１…カメラ、２２…ボタン、３０…通信網、４０…端末、４１…改札機、４２…階段、４３…電光掲示板、５１…ホーム、５２…電車、６１…商業ビル、６２…入口、６３…看板、１０１Ａ…画像解析部、１０１Ｂ…問い合わせ制御部、１０１Ｃ…出力制御部、１１２…問い合わせ対象テーブル、１１３…提供タイミングテーブル、２０１Ａ…文字認識部

Claims (22)

1. プロセッサを有し、
   前記プロセッサは、
   予め定めた情報の存在が検出された場合、拡張現実の画像として、前記情報の内容をユーザの視界前方に表示する前に、当該情報の内容の表示の可否をユーザに問い合わせ、
   問い合わせに対するユーザの指示に従って、拡張現実の画像による前記情報の内容の表示を制御する、
   情報処理装置。
2. 前記プロセッサは、前記問い合わせに視覚以外の方法を使用する、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、前記問い合わせに音を使用する、
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、前記問い合わせに振動を使用する、
   請求項２に記載の情報処理装置。
5. 前記プロセッサは、前記問い合わせに、前記情報の検出を示す第２の拡張現実の画像を使用する、
   請求項１に記載の情報処理装置。
6. 前記プロセッサは、前記第２の拡張現実の画像としてマークを表示する、
   請求項５に記載の情報処理装置。
7. 前記プロセッサは、検出した情報の内容に応じて前記マークを選択する、
   請求項６に記載の情報処理装置。
8. 前記プロセッサは、ユーザから前記情報の内容の表示が指示された場合、当該情報の内容の表示を許可する、
   請求項１に記載の情報処理装置。
9. 前記プロセッサは、ユーザから前記情報の内容の不表示が指示された場合、当該情報の内容の表示を許可しない、
   請求項８に記載の情報処理装置。
10. 前記プロセッサは、ユーザから前記情報の内容の音声による出力が指示された場合、当該情報の内容を音声により出力させる、
    請求項８又は９に記載の情報処理装置。
11. 前記プロセッサは、ユーザからの指示が予め定めた時間内にない場合、前記情報の内容に対応する前記画像の表示を許可しない、
    請求項８に記載の情報処理装置。
12. 前記プロセッサは、ユーザのジェスチャを撮像した画像によりユーザの指示を検知する、
    請求項１に記載の情報処理装置。
13. 前記プロセッサは、ユーザの手を撮像した画像によりユーザの指示を検知する、
    請求項１２に記載の情報処理装置。
14. 前記プロセッサは、前記指示に関連付けて、前記情報の内容を表示する条件を受け付けた場合、当該条件を満たす時点に、当該情報の内容に対応する前記画像の表示を許可する、
    請求項１又は８に記載の情報処理装置。
15. 前記条件は、前記指示の度にユーザから受け付ける、
    請求項１４に記載の情報処理装置。
16. 前記プロセッサは、前記条件がユーザにより事前に設定されている場合、当該条件を前記情報の内容に対応する前記画像の表示に適用する、
    請求項１４に記載の情報処理装置。
17. 前記プロセッサは、ユーザの周囲を撮像した画像内に、前記情報の内容が含まれる場合、当該情報の内容の表示の可否をユーザに問い合わせる、
    請求項１に記載の情報処理装置。
18. 拡張現実の画像をユーザの視界前方に表示するデバイスは、当該デバイスを装着したユーザの視界前方を撮像する撮像部を有し、前記情報は、当該撮像部で撮像された画像内から検出される、
    請求項１７に記載の情報処理装置。
19. 前記撮像部が撮像する範囲は、ユーザの視野よりも広く設定される
    請求項１８に記載の情報処理装置。
20. 前記プロセッサは、外部の装置から前記情報の受信を検出した場合、当該情報の内容の表示の可否をユーザに問い合わせる、
    請求項１に記載の情報処理装置。
21. 前記情報は、ユーザが特定の場所を通過した場合に、通過した場所にある外部の装置から与えられる、
    請求項２０に記載の情報処理装置。
22. コンピュータに、
    予め定めた情報の存在が検出された場合、拡張現実の画像として、前記情報の内容をユーザの視界前方に表示する前に、当該情報の内容の表示の可否をユーザに問い合わせる機能と、
    問い合わせに対するユーザの指示に従って、拡張現実の画像による前記情報の内容の表示を制御する機能と
    を実現させるためのプログラム。

Images