JP7355840B2 - Ａｒシステム及び端末 - Google Patents

Description

本発明の一態様は、ＡＲシステム及び端末に関する。

文献１には、ユーザ端末が現実空間で移動することに応じて、仮想空間上の特定の画像であるＡＲ（Augmented Reality）コンテンツを移動させて（ユーザ端末の位置に応じて）表示する技術が記載されている。

特開２０１８－１５８１２０号公報

ここで、上述したようなＡＲコンテンツの表示においては、例えば、ユーザ端末において撮像された画像からカメラの位置／方向を推定する自己位置認識技術が用いられる。このような技術では、具体的には、例えばサーバ側でユーザ端末において撮像された画像とマップデータとから実世界座標の自己位置認識（グローバル測位）が行われ、ユーザ端末側でサーバにおけるグローバル測位の結果とローカルトラッキング結果とに基づきユーザ端末の自己位置認識が行われる。このように、ユーザ端末において保持しているローカルトラッキングの結果をグローバル座標系に変換（補正）する処理を行う場合においては、例えばグローバル測位結果（カメラ位置の推定結果）の誤差の影響によって、グローバル測位の前後でユーザ端末の位置が変化していないにもかかわらず、描画されているＡＲコンテンツの位置がズレて表示（カクついて表示）されてしまうことがある。このことにより、ＡＲのユーザ体験が悪化することが考えられる。

本発明の一態様は上記実情に鑑みてなされたものであり、ＡＲのユーザ体験を向上させることを目的とする。

本発明の一態様に係るＡＲシステムは、端末の位置に応じてＡＲコンテンツを表示するＡＲシステムであって、予め取得された画像データに含まれる特徴点の特徴量と該特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられたマップデータを記憶する記憶部と、端末において撮像された画像データと、記憶部に記憶されているマップデータとに基づいて、端末における撮像時の端末のグローバル位置情報を推定するグローバル位置推定部と、ある地点を基準とした端末の相対的な位置情報であるローカル位置情報を継続的に取得し、グローバル位置情報及びローカル位置情報に基づき端末の位置情報を導出する位置導出部と、端末の位置情報に応じたＡＲコンテンツについて、端末の位置情報に応じて表示態様を決定する表示態様決定部と、表示態様決定部によって決定された表示態様でＡＲコンテンツを表示する表示部と、を備え、表示態様決定部は、表示中のＡＲコンテンツについて、端末の位置情報に応じてその表示位置を変化させる場合、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように表示態様を決定する。

本発明の一態様に係るＡＲシステムでは、端末の位置情報に応じてＡＲコンテンツを表示するに際して、その表示位置を変化させる場合に、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化させられる。グローバル位置情報及びローカル位置情報に基づいて端末の位置情報を導出する場合においては、例えば新たにグローバル位置情報を取得した際に、実際にはグローバル位置情報の再取得前後では端末の位置が変化していない（或いは微小な変化しかしていない）にも関わらず、グローバル位置情報の誤差（端末のカメラ位置の推定結果の誤差）の影響によって、描画されているＡＲコンテンツの位置がズレて表示（カクついて表示）されてしまうことがある。すなわち、グローバル位置情報の再取得のタイミングで、ＡＲコンテンツが不自然に表示されてしまう問題がある。この点、本発明の一態様に係るＡＲシステムでは、グローバル位置情報を考慮してＡＲコンテンツの表示位置を変化させる場合に、即座に表示位置を変化させない遅変化モードで表示位置が変化させられるため、グローバル位置情報が変化する度にＡＲコンテンツが即座に移動してカクついて表示されることを抑制することができ、ＡＲコンテンツをより自然な態様で表示することができる。以上のように、本発明の一態様に係るＡＲシステムによれば、ＡＲのユーザ体験を向上させることができる。

本発明の一態様に係る端末は、撮像した画像データをサーバに送信し、該サーバと連携して位置に応じたＡＲコンテンツを表示する端末であって、ある地点を基準とした端末の相対的な位置情報であるローカル位置情報を継続的に取得し、画像データに基づきサーバにおいて推定されたグローバル位置情報及びローカル位置情報に基づき端末の位置情報を導出する位置導出部と、端末の位置情報に応じたＡＲコンテンツについて、端末の位置情報に応じて表示態様を決定する表示態様決定部と、表示態様決定部によって決定された表示態様でＡＲコンテンツを表示する表示部と、を備え、表示態様決定部は、表示中のＡＲコンテンツについて、端末の位置情報に応じてその表示位置を変化させる場合、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように表示態様を決定する。

本発明の一態様によれば、ＡＲのユーザ体験を向上させることができる。

本実施形態に係るＡＲシステムの概要を説明する図である。 本実施形態に係るＡＲシステムの機能構成を示すブロック図である。 ＡＲコンテンツの表示位置移動について説明する図である。 ＡＲコンテンツの移動態様の例について示す図である。 表示中及び非表示のＡＲコンテンツの移動態様について説明する図である。 ＡＲシステムが行う処理を示すフローチャートである。 ＡＲシステムに含まれる位置測位サーバ、通信端末、コンテンツサーバのハードウェア構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

図１は、本実施形態に係るＡＲ（Augmented Reality）システム１の概要を説明する図である。図１に示されるＡＲシステム１は、通信端末５０（端末）の位置に応じてＡＲコンテンツを表示するシステムである。ＡＲシステム１は、位置測位サーバ１０と、コンテンツサーバ３０と、通信端末５０とを備えている。

図１に示されるように、ＡＲシステム１では、通信端末５０が撮像した画像データを位置測位サーバ１０に送信する。図１中では、建物の画像が、通信端末５０において撮像された画像データとして例示されている。位置測位サーバ１０は、通信端末５０において撮像された画像データに基づいてグローバル位置情報を取得し（詳細は後述）、該グローバル位置情報を通信端末５０に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報（絶対的な位置情報）であり、位置・方向・傾きの情報が含まれていてもよい。通信端末５０は、位置測位サーバ１０からグローバル位置情報を取得することにより、自身（詳細には画像データを撮像する自身のカメラ）の位置等を取得する。そして、通信端末５０は、取得したグローバル位置情報をコンテンツサーバ３０に送信する。コンテンツサーバ３０は、グローバル位置情報に応じたＡＲコンテンツを取得し（詳細は後述）、グローバル位置情報に応じたＡＲコンテンツを通信端末５０に送信する。図１中では、女の子の画像が、グローバル位置情報に応じたＡＲコンテンツとして例示されている。以上の処理を行うことにより、ＡＲシステム１では、通信端末５０の位置に応じたＡＲコンテンツが表示される。

図２は、ＡＲシステム１の機能構成を示すブロック図である。上述したように、ＡＲシステム１は、位置測位サーバ１０と、コンテンツサーバ３０と、通信端末５０とを備えている。なお、図１においては通信端末５０が１台のみ示されているが、実際には通信端末５０は複数台含まれていてもよい。

位置測位サーバ１０は、通信端末５０において撮像された画像データに基づき、撮像時における通信端末５０の絶対的な位置情報であるグローバル位置情報を推定する。位置測位サーバ１０は、記憶部１１と、測位部１２（グローバル位置推定部）とを有する。

記憶部１１は、予め取得された画像データに含まれる特徴点の特徴量（例えば輝度方向ベクトル）と該特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられたマップデータ１００を記憶する。このようなマップデータ１００は、例えば、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ（不図示）等によって予め撮像された大量の画像データに基づき生成されるもの（３Ｄポイントクラウド）である。特徴点とは、画像中において際立って検出される点であり、例えば他の領域と比べて輝度（強度）が大きい（又は小さい）点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であり、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。

記憶部１１は、マップデータ１００の特徴点のグローバル位置情報として３次元の位置情報を記憶している。記憶部１１は、特徴点の３次元のグローバル位置情報として、例えば、特徴点の緯度・経度・高さを記憶している。記憶部１１は、マップデータ１００についてグローバル位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。

測位部１２は、通信端末５０において撮像された画像データと、記憶部１１に記憶されているマップデータ１００とに基づいて、通信端末５０における撮像時の通信端末５０のグローバル位置情報（３次元の位置情報）を推定する。具体的には、測位部１２は、マップデータ１００の特徴点と、通信端末５０において撮像された画像データの特徴点とのマッチングを行い、撮像された画像データに対応するマップデータ１００の領域を特定する。そして、測位部１２は、特定した領域に係るマップデータ１００の特徴点に関連付けられたグローバル位置情報に基づいて、画像データの撮像位置（すなわち、撮像時における通信端末５０のグローバル位置情報）を推定する。測位部１２は、測位結果を通信端末５０に送信する。なお、測位結果には、グローバル位置情報に加えて画像データから推定される方向（ロール、ピッチ、ヨーの３次元座標中の方向）に関する情報が含まれていてもよい。測位部１２は、所定の時間間隔で定期的に、通信端末５０において新たに撮像された画像データに基づきグローバル位置情報を取得してもよいし、通信端末５０からの指示を受けたタイミングで新たに撮像された画像データに基づきグローバル位置情報を取得してもよい。

コンテンツサーバ３０は、通信端末５０から送信されたグローバル位置情報に基づき、該グローバル位置情報に応じたＡＲコンテンツを導出し、該ＡＲコンテンツを通信端末５０に送信する。コンテンツサーバ３０は、記憶部３１と、コンテンツ出力部３２とを有する。記憶部３１は、グローバル位置情報とＡＲコンテンツとを対応付けられたコンテンツデータ３００（３Ｄコンテンツ空間）を記憶する。コンテンツ出力部３２は、通信端末５０から送信されたグローバル位置情報と、記憶部３１に記憶されているコンテンツデータ３００とに基づいて、通信端末５０のグローバル位置情報に応じたＡＲコンテンツを特定する。そして、コンテンツ出力部３２は、特定したＡＲコンテンツを通信端末５０に送信（出力）する。コンテンツサーバ３０は、所定の時間間隔で定期的に、通信端末５０のグローバル位置情報に基づきＡＲコンテンツを特定してもよいし、通信端末５０からの指示を受けたタイミングで通信端末５０のグローバル位置情報に基づきＡＲコンテンツを特定してもよい。

通信端末５０は、例えば無線通信が可能な端末であり、例えばスマートフォン、タブレット型端末、ＰＣ等である。通信端末５０は、例えば実装されたアプリケーションをユーザが利用することによって、コンテンツサーバ３０からＡＲコンテンツの提供を受ける。通信端末５０は、撮像した画像データを位置測位サーバ１０に送信し、該位置測位サーバ１０及びコンテンツサーバ３０と連携して、位置に応じたＡＲコンテンツを表示する。通信端末５０では、例えばアプリケーションが実行されると、実装されたカメラによる撮像（継続的な撮像）が開始される。そして、通信端末５０は、撮像された画像データに応じて位置測位サーバ１０からグローバル位置情報を取得し、該グローバル位置情報に基づいて、コンテンツサーバ３０からＡＲコンテンツを含むコンテンツの提供を受ける。通信端末５０は、撮像部５１と、記憶部５２と、位置導出部５３と、表示態様決定部５４と、表示部５５とを備える。

撮像部５１は、カメラによる画像データの撮像を制御する機能である。撮像部５１は、例えば、ＡＲコンテンツの提供を受けるアプリケーションの実行が開始されたタイミングで、カメラによる画像データの撮像を開始する。撮像部５１は、撮像を開始すると、アプリケーションの実行が終了するまで、継続的にカメラによる撮像を行う。撮像された画像データは、記憶部５２に格納され、位置測位サーバ１０によるグローバル位置情報の推定、位置導出部５３による通信端末５０の位置情報の導出に用いられる。

記憶部５２は、撮像部５１による撮像結果、位置測位サーバ１０によるグローバル位置情報の推定結果、位置導出部５３によって導出される通信端末５０の位置情報、コンテンツサーバ３０から受信したＡＲコンテンツ、及び、表示態様決定部５４により決定された表示態様に係る情報を記憶するデータベースである。

位置導出部５３は、ある地点を基準とした通信端末５０の相対的な位置情報であるローカル位置情報を継続的に取得し、グローバル位置情報及びローカル位置情報に基づき通信端末５０の位置情報を導出する。ある地点とは、例えば通信端末５０においてアプリケーション（ＡＲコンテンツの提供を受けるアプリケーション）の実行が開始された地点である。位置導出部５３は、例えばアプリケーションの実行が開始された地点の３次元の緯度・経度・高さを基準（座標（ｘ，ｙ，ｚ）が（０，０，０））とし、当該地点からの３次元の緯度・経度・高さの変化量を継続的に取得することにより、当該地点を基準とした通信端末５０の相対的な位置情報であるローカル位置情報をトラッキングする（ローカルトラッキングする）。

そして、位置導出部５３は、グローバル位置情報と、ローカル位置情報とに基づき通信端末５０の位置情報を導出する。位置導出部５３は、グローバル位置情報を起点として、そこからの移動量（ローカル位置情報に示される移動量）を考慮して、通信端末５０の位置情報を導出する。具体的には、位置導出部５３は、グローバル位置情報と、該グローバル位置情報の導出に係る画像データが撮像された時点のローカル位置情報と、現在のローカル位置情報とから、グローバル位置情報を起点とした移動量を導出し、通信端末５０の位置情報を導出する。

位置導出部５３は、例えば撮像部５１によって連続的に撮像される画像データ間で画像データに含まれる特徴点の位置を比較し、特徴点の変位（画像データ間で同じ特徴点がどれだけ動いたかを示す情報）に基づいて、ローカル位置情報を取得してもよい。このようなローカルトラッキングは、例えば通信端末５０のＳＬＡＭ（Simultaneous Localization and Mapping）エンジンにより行われる。すなわち、位置導出部５３は、ＳＬＡＭエンジンの機能により、ある時点において撮像された画像データの特徴点を１フレーム前の画像データの特徴点と比較し、特徴点の位置・数・密度の変化を計測することで、通信端末５０の位置・角度の変化を計測している。ＳＬＡＭエンジンでは、連続的に撮像される画像データに基づき、リアルタイムで、特徴点の特徴量（例えば輝度方向ベクトル）と該特徴点に関連付けられた位置情報とがマッピングされたマップデータが生成される。位置導出部５３は、このようなマッピングとローカルトラッキングとを繰り返し実行する。

なお、以下では位置導出部５３が上述した画像データを用いたローカルトラッキングを行うとして説明するが、位置導出部５３は通信端末５０が実装するセンサから３次元のローカル位置情報を継続的に取得するものであってもよい。この場合、通信端末５０が実装するセンサは限定されないが、例えば慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いたＶｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）や、カメラセンサ、一般的な加速度センサ又はジャイロセンサ等を用いることができる。

表示態様決定部５４は、通信端末５０の位置情報に応じたＡＲコンテンツ（詳細には、位置情報の導出に用いられたグローバル位置情報に応じたＡＲコンテンツ）について、通信端末５０の位置情報に応じて表示態様を決定する。表示態様決定部５４は新たに取得されたグローバル位置情報に基づいて表示態様を決定する場合の処理（第１処理）、または、既に表示態様の決定に用いられたことがあるグローバル位置情報に基づいて表示態様を決定する場合の処理（第２処理）のいずれかを実行する。

第２処理では、表示態様決定部５４は、通信端末５０の位置情報に応じたＡＲコンテンツが、位置導出部５３によって導出された通信端末５０の位置情報（グローバル位置情報及びローカル位置情報が考慮された位置情報）に係る位置に表示されるように、表示態様を決定する。この場合、表示態様決定部５４は、ローカル位置情報が変化してＡＲコンテンツの表示位置が変化する際においても、ＡＲコンテンツの表示位置の変化（移動）が即座に完了するように表示態様を決定する。ＡＲコンテンツの表示位置の変化が即座に完了するとは、例えば、図４（ｃ）に示されるように、変化開始後すぐにステップ関数に応じてＡＲコンテンツの表示位置が変化することをいう。

第１処理では、表示態様決定部５４は、通信端末５０の位置情報に応じたＡＲコンテンツが、位置導出部５３によって導出された通信端末５０の位置情報（新たに取得されたグローバル位置情報）に係る位置に表示されるように、表示態様を決定する。この場合、表示態様決定部５４は、表示中のＡＲコンテンツについて、通信端末５０の位置情報（新たに取得されたグローバル位置情報）に応じてその表示位置を変化させる場合、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように表示態様を決定する。

第１処理において遅変化モードでＡＲコンテンツの表示位置を変化させる理由について、図３を参照して説明する。図３において、上図は新たなグローバル位置情報の取得前後の通信端末５０の位置情報（左上図が取得前、右上図が取得後）を示しており、下図は上図に対応する状態における通信端末５０の表示イメージを示している。なお、ここでの上下・左右とは、図３中の符号を適切に読むことができる方向からみた場合の上下・左右である。上図に示されるようにカメラ５００の位置において表示され得るＡＲコンテンツとしてコンテンツＣＸ，ＣＹがあり、下図に示されるようにカメラ５００の表示範囲ＩＡにはコンテンツＣＸのみが表示されているとする。いま、実際には通信端末５０のカメラ５００の位置が変化していない（或いは微小な変化しかしていない）にもかかわらず、グローバル位置情報の誤差（カメラ５００の位置の推定結果の誤差）により、図３の上図に示されるように、グローバル位置情報が新たに取得されたタイミングでカメラ５００の位置が変化したと認識されたとする。具体的には、図３の右上図に示されるように、カメラ５００の位置が破線で示す位置から実線で示す位置に変化したと認識されたとする。この場合、図３の右下図に示されるように、カメラの表示範囲ＩＡにおいて、コンテンツＣＸの表示位置が破線で示す位置から実線で示す位置に急に変化する。この場合には実際にはグローバル位置情報の再取得前後では通信端末５０の位置が変化していない（或いは微小な変化しかしていない）にも関わらず、グローバル位置情報の誤差（通信端末５０のカメラ５００の位置の推定結果の誤差）の影響によって、描画されているＡＲコンテンツの位置が、ズレて表示（カクついて表示）されてしまう。このことにより、ＡＲコンテンツの表示が不自然になりユーザに違和感を与えるおそれがある。本実施形態に係るＡＲシステムでは、表示態様決定部５４が上述した遅変化モードでＡＲコンテンツの表示位置が変化するように表示態様を決定することによって、上述したＡＲコンテンツのカクつき等を抑制している。

具体的には、表示態様決定部５４は、例えば、所定の時間の経過に伴って徐々にＡＲコンテンツの表示位置が変化するように、表示態様を決定する。このような表示位置の変化は、上述した第１処理のように変化開始後すぐにステップ関数に応じてＡＲコンテンツが変化する態様（図４（ｃ）参照）と比べて、ＡＲコンテンツの表示位置の変化が即座に完了しない遅変化モードの表示位置変化である。遅変化モードの表示位置変化では、カメラ位置の座標がステップ関数ではなく滑らかに入力されるため、ＡＲコンテンツのカクつきを軽減することができる。

表示態様決定部５４は、図４（ａ）に示されるように、ＡＲコンテンツが定速で移動してＡＲコンテンツの表示位置が徐々に変化するように表示態様を決定してもよい。或いは、表示態様決定部５４は、図４（ｂ）に示されるように、ＡＲコンテンツの移動が開始される移動開始期間及び移動が終了する移動終了期間において、移動開始期間及び移動終了期間の間の期間よりもＡＲコンテンツの移動速さが遅くなるように表示態様を決定してもよい。移動開始期間とは、例えば移動を開始する時点を含む所定または任意の期間である。移動終了期間とは、例えば移動を終了する時点を含む所定または任意の期間である。具体的には、表示態様決定部５４は、図４（ｂ）に示されるように、二次関数で近似される関数に応じてＡＲコンテンツが滑らかに移動するように表示態様を決定する。

また、表示態様決定部５４は、例えば、表示中のＡＲコンテンツについて、表示中は表示位置を変化させずに、通信端末５０の位置情報に応じてＡＲコンテンツが非表示となった後に再度表示される際に表示位置が変化するように、表示態様を決定する。このような表示位置の変化は、上述した第１処理のように変化開始後すぐにステップ関数に応じてＡＲコンテンツが変化する態様（図４（ｃ）参照）と比べて、ＡＲコンテンツの表示位置の変化が即座に完了しない（再度表示されるまで表示位置が変化しない）遅変化モードの表示位置変化である。図５は、表示中及び非表示のＡＲコンテンツの移動態様を示す図である。図５に示されるように、いま、コンテンツＣＸはカメラ５００の表示範囲ＩＡに描画されており、コンテンツＣＹは表示範囲ＩＡ外であるとする。この場合において、表示態様決定部５４は、表示範囲ＩＡ外である（表示中でない）コンテンツＣＸについて、再取得された通信端末５０のグローバル位置情報に基づき位置が変化する場合には、即座に位置補正を実施し、コンテンツＣＹが表示範囲ＩＡに描画された場合に位置補正後の位置で表示されるように、表示態様を決定する。一方で、表示態様決定部５４は、表示範囲ＩＡに描画されている（表示中の）コンテンツＣＸについては、再取得された通信端末５０のグローバル位置情報に基づき位置が変化する場合、具体的には図５中の実線で示す位置から破線で示す位置に変化する場合において、表示中には位置補正を実施せずに表示位置を変化させず、コンテンツＣＸが表示範囲ＩＡ外となった際に位置補正（座標変換）を実施して、その後、コンテンツＣＸが再度表示範囲ＩＡに描画される際に表示位置を変化させるように、表示態様を決定する。

表示部５５は、表示態様決定部５４によって決定された表示態様でＡＲコンテンツを表示する。表示部５５は、上述した第２処理によって表示態様決定部５４に表示態様が決定された場合には、ＡＲコンテンツの表示位置の変化（移動）を即座に完了させる。表示部５５は、上述した第１処理によって表示態様決定部５４に表示態様が決定された場合には、表示位置の変化を即座に完了させない所定の遅変化モードでＡＲコンテンツの表示位置の変化（移動）を完了させる。

次に、本実施形態に係るＡＲシステム１が行う処理、具体的にはＡＲコンテンツの表示に係る処理について図６を参照して説明する。図６は、ＡＲシステム１が行う処理を示すフローチャートである。

図６に示されるように、ＡＲシステム１では、最初に、通信端末５０において、新たにグローバル位置情報が取得された状態か（新たに取得されたグローバル位置情報に基づいて表示態様を決定する状態か）否かが判定される（ステップＳ１）。ステップＳ１において、新たに取得されたグローバル位置情報に基づいて表示態様を決定する状態ではなく、既に表示態様の決定に用いられたことがあるグローバル位置情報に基づいて表示態様を決定する状態であると判定された場合には、通信端末５０では、上述した第２処理が行われる（ステップＳ２）。すなわち、通信端末５０は、ＡＲコンテンツが、通信端末５０の位置情報（グローバル位置情報及びローカル位置情報が考慮された位置情報）に係る位置に表示されるように、表示態様を決定する。この場合、通信端末５０は、ローカル位置情報が変化してＡＲコンテンツの表示位置が変化する際においても、ＡＲコンテンツの表示位置の変化（移動）が即座に完了するように表示態様を決定し、ＡＲコンテンツの表示が行われる。

一方で、ステップＳ１において新たにグローバル位置情報が取得された状態であると判定された場合には、通信端末５０において、グローバル位置情報の取得前後で通信端末５０の位置情報が変化しているか否かが判定される（ステップＳ３）。ステップＳ３において位置情報が変化していないと判定された場合には再度ステップＳ１の処理から実行される。

一方で、ステップＳ３の処理において、位置情報が変化していると判定された場合には、通信端末５０において、表示中のＡＲコンテンツについて、その表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように表示態様が決定され、遅変化モードでＡＲコンテンツの表示位置が変化させられる（ステップＳ４）。具体的には、通信端末５０は、例えば、所定の時間の経過に伴って徐々にＡＲコンテンツの表示位置を変化させる（図４（ａ）及び図４（ｂ）参照）。或いは、通信端末５０は、例えば、表示中のＡＲコンテンツについて、表示中は表示位置を変化させずに、通信端末５０の位置情報に応じてＡＲコンテンツが非表示となった後に再度表示される際に表示位置を変化させる。

最後に、通信端末５０において、ＡＲコンテンツの提供を受けるアプリケーションの実行が終了するか否かが判定され（ステップＳ５）、アプリケーションの実行が終了する場合には処理が終了し、終了しない場合には再度ステップＳ１の処理から実行される。

次に、本実施形態に係るＡＲシステム１の作用効果について説明する。

本実施形態に係るＡＲシステム１は、通信端末５０の位置に応じてＡＲコンテンツを表示するシステムであって、予め取得された画像データに含まれる特徴点の特徴量と該特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられたマップデータ１００を記憶する記憶部１１と、通信端末５０において撮像された画像データと、記憶部１１に記憶されているマップデータ１００とに基づいて、通信端末５０における撮像時の通信端末５０のグローバル位置情報を推定する測位部１２と、ある地点を基準とした通信端末５０の相対的な位置情報であるローカル位置情報を継続的に取得し、グローバル位置情報及びローカル位置情報に基づき通信端末５０の位置情報を導出する位置導出部５３と、通信端末５０の位置情報に応じたＡＲコンテンツについて、通信端末５０の位置情報に応じて表示態様を決定する表示態様決定部５４と、表示態様決定部５４によって決定された表示態様でＡＲコンテンツを表示する表示部５５と、を備え、表示態様決定部５４は、表示中のＡＲコンテンツについて、通信端末５０の位置情報に応じてその表示位置を変化させる場合、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように表示態様を決定する。

本実施形態に係るＡＲシステム１では、通信端末５０の位置情報に応じてＡＲコンテンツを表示するに際して、その表示位置を変化させる場合に、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化させられる。グローバル位置情報及びローカル位置情報に基づいて通信端末５０の位置情報を導出する場合においては、例えば新たにグローバル位置情報を取得した際に、実際にはグローバル位置情報の再取得前後では通信端末５０の位置が変化していない（或いは微小な変化しかしていない）にも関わらず、グローバル位置情報の誤差（端末のカメラ位置の推定結果の誤差）の影響によって、描画されているＡＲコンテンツの位置がズレて表示（カクついて表示）されてしまうことがある。すなわち、グローバル位置情報の再取得のタイミングで、ＡＲコンテンツが不自然に表示されてしまう問題がある。この点、本実施形態に係るＡＲシステム１では、グローバル位置情報を考慮してＡＲコンテンツの表示位置を変化させる場合に、即座に表示位置を変化させない遅変化モードで表示位置が変化させられるため、グローバル位置情報が変化する度にＡＲコンテンツが即座に移動してカクついて表示されることを抑制することができ、ＡＲコンテンツをより自然な態様で表示することができる。以上のように、本実施形態に係るＡＲシステム１によれば、ＡＲのユーザ体験を向上させることができる。また、不必要に表示位置を変化させないことによって、処理負荷を軽減することができるという技術的効果も併せて奏する。

表示態様決定部５４は、所定の時間の経過に伴って徐々にＡＲコンテンツの表示位置が変化するように表示態様を決定する。このような構成によれば、ＡＲコンテンツの表示位置を変化させる際に、ステップ関数に応じて即座にＡＲコンテンツの移動が完了するのではなく、時間をかけて徐々にＡＲコンテンツの移動を完了させることができる。このことで、グローバル位置情報が変化する度にＡＲコンテンツが即座に移動してカクついて表示されることを抑制することができ、ＡＲコンテンツをより自然な態様で表示することができる。

表示態様決定部５４は、ＡＲコンテンツが定速で移動してＡＲコンテンツの表示位置が変化するように表示態様を決定する。ＡＲコンテンツを定速で移動させることにより、ユーザにとって不自然とならない態様でＡＲコンテンツを移動させることができる。

表示態様決定部５４は、ＡＲコンテンツの移動が開始される移動開始期間及び移動が終了する移動終了期間において、移動開始期間及び移動終了期間の間の期間よりもＡＲコンテンツの移動速さが遅くなるように、表示態様を決定する。移動開始時及び移動終了時の移動速さを移動途中の移動速さよりも遅くすることにより、ユーザにＡＲコンテンツの移動を意識させにくくなり、ユーザにとってより不自然とならない態様でＡＲコンテンツを移動させることができる。

表示態様決定部５４は、表示中のＡＲコンテンツについて、表示中は表示位置を変化させずに、通信端末５０の位置情報に応じて該ＡＲコンテンツが非表示となった後に再度表示される際に表示位置が変化するように、表示態様を決定する。このように、表示中にはＡＲコンテンツの移動を行わない（表示位置の変化を行わない）ことによって、ユーザにＡＲコンテンツの移動を意識させることがなく、ＡＲコンテンツをより自然な態様で表示することができる。

最後に、ＡＲシステム１に含まれた位置測位サーバ１０、コンテンツサーバ３０、及び通信端末５０のハードウェア構成について、図７を参照して説明する。上述の位置測位サーバ１０、コンテンツサーバ３０、及び通信端末５０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置測位サーバ１０、コンテンツサーバ３０、及び通信端末５０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

位置測位サーバ１０、コンテンツサーバ３０、及び通信端末５０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、位置測位サーバ１０の測位部１２等の制御機能はプロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、位置測位サーバ１０の測位部１２等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、位置測位サーバ１０、コンテンツサーバ３０、及び通信端末５０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

例えば、ＡＲシステム１は通信端末５０、位置測位サーバ１０、及びコンテンツサーバ３０を含んで構成されているとして説明したがこれに限定されず、ＡＲシステム１の各機能が、通信端末のみによって実現されてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１０…位置測位サーバ（サーバ）、１１…記憶部、１２…測位部（グローバル位置推定部）、５０…通信端末（端末）、５３…位置導出部、５４…表示態様決定部、５５…表示部、１００…マップデータ。

Claims (5)

1. 端末の位置に応じてＡＲコンテンツを表示するＡＲシステムであって、
   予め取得された画像データに含まれる特徴点の特徴量と該特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられたマップデータを記憶する記憶部と、
   前記端末において撮像された画像データと、前記記憶部に記憶されているマップデータとに基づいて、前記端末における撮像時の前記端末のグローバル位置情報を推定するグローバル位置推定部と、
   ある地点を基準とした前記端末の相対的な位置情報であるローカル位置情報を継続的に取得し、前記グローバル位置情報及び前記ローカル位置情報に基づき前記端末の位置情報を導出する位置導出部と、
   前記端末のグローバル位置情報に応じたＡＲコンテンツについて、前記端末のグローバル位置情報に応じて表示態様を決定する表示態様決定部と、
   前記表示態様決定部によって決定された表示態様で前記ＡＲコンテンツを表示する表示部と、を備え、
   前記表示態様決定部は、表示中のＡＲコンテンツについて、新たに取得された前記端末のグローバル位置情報に応じてその表示位置を変化させる場合、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように前記表示態様を決定し、
   前記表示態様決定部は、前記ＡＲコンテンツの移動が開始される移動開始期間及び移動が終了する移動終了期間において、前記移動開始期間及び前記移動終了期間の間の期間よりも前記ＡＲコンテンツの移動速さが遅くなるように、前記表示態様を決定する、ＡＲシステム。
2. 前記表示態様決定部は、所定の時間の経過に伴って徐々に前記ＡＲコンテンツの表示位置が変化するように前記表示態様を決定する、請求項１記載のＡＲシステム。
3. 前記表示態様決定部は、前記ＡＲコンテンツが定速で移動して前記ＡＲコンテンツの表示位置が変化するように前記表示態様を決定する、請求項２記載のＡＲシステム。
4. 前記表示態様決定部は、表示中のＡＲコンテンツについて、表示中は表示位置を変化させずに、前記端末の位置情報に応じて該ＡＲコンテンツが非表示となった後に再度表示される際に表示位置が変化するように、前記表示態様を決定する、請求項１～３のいずれか一項記載のＡＲシステム。
5. 撮像した画像データをサーバに送信し、該サーバと連携して位置に応じたＡＲコンテンツを表示する端末であって、
   ある地点を基準とした前記端末の相対的な位置情報であるローカル位置情報を継続的に取得し、前記画像データに基づき前記サーバにおいて推定されたグローバル位置情報及び前記ローカル位置情報に基づき前記端末の位置情報を導出する位置導出部と、
   前記端末のグローバル位置情報に応じたＡＲコンテンツについて、前記端末のグローバル位置情報に応じて表示態様を決定する表示態様決定部と、
   前記表示態様決定部によって決定された表示態様で前記ＡＲコンテンツを表示する表示部と、を備え、
   前記表示態様決定部は、表示中のＡＲコンテンツについて、新たに取得された前記端末のグローバル位置情報に応じてその表示位置を変化させる場合、表示位置の変化を即座に完了させない所定の遅変化モードで表示位置が変化するように前記表示態様を決定し、
   前記表示態様決定部は、前記ＡＲコンテンツの移動が開始される移動開始期間及び移動が終了する移動終了期間において、前記移動開始期間及び前記移動終了期間の間の期間よりも前記ＡＲコンテンツの移動速さが遅くなるように、前記表示態様を決定する、端末。

Images