JP5383930B2 - 端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体に関し、より詳しくは、端末装置に入力されている入力映像及び前記入力映像に関する情報を用いて拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）映像を生成するにおいて端末装置の視野に含まれている客体に対応するグラフィック要素を入力映像と共に表示することにより、ユーザに端末装置の視野に含まれている客体を興味深く認知させ、該当客体に関する情報をより効果的に獲得できるようにする方法、端末装置及びコンピュータ読み取り可能な記録媒体に関する。

近年、インターネット利用が広がるにつれ、従来は冊子のような印刷物の形態で提供されてきた地理情報がデジタルデータに変換されて提供されるのが一般的になった。デジタル化した代表的な地理情報の形態として、オンライン上で提供される電子マップサービス、車に設置されるナビゲーションシステムなどがその例として挙げられる。このようにデジタル化した地理情報は、検索機能のようなユーザインターフェースと結合されることで、各種便宜機能をユーザに提供できるという長所があり、地理情報に変動が発生する場合、遠隔アップデートなどを通じて容易に更新可能なことから、地理情報の最新性の側面からも従来の印刷物に比べて優位性を有するのが現状である。

特に、近年は端末装置によってリアルタイムで撮影される入力映像にコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：ＣＧ）、文字メールなどの付加情報を合成して表示する拡張現実（ＡＲ）の形態で地理情報を提供する技術が紹介されているが、このような拡張現実技術によれば、ユーザが実際に見ている現実世界を含んでいる画面に付加情報（例えば、関心地点（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ：ＰＯＩ）を示す表示点など）を視覚的に重複して提供できるので、より直観的な方法でユーザに地理情報を提供できるようになる。

ところが、従来の拡張現実技術を利用して端末装置の視野に含まれている客体に対する付加情報を提供するにおいては、該当客体の名称を文字列のような形態でシンプルに表示するのが一般的であった。

しかしながら、前記のような従来の拡張現実技術によれば、ユーザが探そうとする客体を文字列などによってのみ判別しなければならないところ、各客体の区別が視覚的に明示的に付かず、モバイル端末装置に備えられた表示装置（例えば、液晶表示装置など）の大きさが多量の情報を表示できる程度に十分に大きくないことが通常であるため、端末装置の視野に客体が多数含まれている場合には文字列の大きさが小さくなって視認性が低下し、誤読率が増加するという問題が発生した。

従って、本出願人は、ユーザの立場でより識別力が高くなるように端末装置の視野に含まれている客体のブランド、ロゴなどのようなグラフィック要素を入力映像と共に表示することにより、ユーザに端末装置の視野に含まれている客体を迅速に認知させ、該当客体に関する情報をより正確に獲得できるように支援する技術を開発するのに至った。

本発明は、前述した問題を何れも解決することをその目的とする。
また、本発明の他の目的は、端末装置の位置、姿勢及び視野角に関する情報を参照して端末装置に入力される入力映像に対応する端末装置の視野を特定し、端末装置の視野に含まれている客体に対応するグラフィック要素を拡張現実の形態で端末装置の画面上にディスプレイされる客体の該当位置に提供することにある。

前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、端末装置に入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれている客体に関する情報を提供するための方法であって、（ａ）前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する段階、及び（ｂ）建築物イメージマッチング技法を用いて前記端末装置の視野に含まれている客体を認識した後、前記認識された客体に対応するグラフィック要素を獲得し、前記獲得されたグラフィック要素を前記端末装置の画面上にディスプレイされる前記客体の該当位置に提供して前記入力映像と共に拡張現実の形態で表示する段階を含む方法が提供される。

本発明の他の態様によれば、端末装置に入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれている客体に関する情報を提供するための方法であって、（ａ）前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する段階、及び（ｂ）前記視野に含まれながら前記端末装置の画面上にディスプレイされる第１客体に対応するグラフィック要素及び前記視野に含まれながら前記端末装置の画面上にディスプレイされない第２客体に対応するグラフィック要素を差別的に前記第１客体の該当位置を中心に提供して前記入力映像と共に拡張現実の形態で表示する段階を含み、前記第２客体は、前記第１客体により遮蔽されて前記画面上にディスプレイされないことを特徴とする方法が提供される。

本発明のまた他の態様によれば、端末装置に入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれている客体に関する情報を提供するための端末装置であって、前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する位置及び姿勢算出部、前記端末装置の視野に含まれている客体がクエリーとして入力されれば、建築物イメージマッチング技法を用いて前記客体を認識し、前記認識された客体に対応するグラフィック要素を獲得する情報検索部、及び前記獲得されたグラフィック要素を前記端末装置の画面上にディスプレイされる前記客体の該当位置に提供して前記入力映像と共に拡張現実の形態で表示するユーザインターフェース部を含む端末装置が提供される。

本発明のまた他の態様によれば、端末装置に入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれている客体に関する情報を提供するための端末装置であって、前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する位置及び姿勢算出部、及び前記視野に含まれながら前記端末装置の画面上にディスプレイされる第１客体に対応するグラフィック要素及び前記視野に含まれながら前記端末装置の画面上にディスプレイされない第２客体に対応するグラフィック要素を差別的に前記第１客体の該当位置を中心に提供して前記入力映像と共に拡張現実の形態で表示するユーザインターフェース部を含み、前記第２客体は、前記第１客体により遮蔽されて前記画面上にディスプレイされないことを特徴とする端末装置が提供される。
この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。

本発明によれば、端末装置の視野に含まれている客体に対応するグラフィック要素を端末装置の画面上にディスプレイされる客体の該当位置に提供して入力映像と共に表示できるようになるので、ユーザに端末装置の視野に含まれている客体を効果的に認知できるようにさせ、該当客体に関する情報をより正確に獲得できるようにすることができるという効果を奏する。

本発明の一実施形態によって端末装置の視野に含まれている客体に関する情報を提供するための全体システムの構成を概略的に示す図である。 本発明の一実施形態に係る端末装置２００の内部構成を例示的に示す図である。 本発明の一実施形態によって端末装置の視野に含まれている客体に対応するグラフィック要素を提供する場合を例示的に示す図である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明されれば、それらの請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一又は類似する機能を示す。

以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。

全体システムの構成
図１は、本発明の一実施形態によって端末装置の視野に含まれている客体に関する情報を提供するための全体システムの構成を概略的に示す図である。

図１に示すように、本発明の一実施形態に係る全体システムは、通信網１００、端末装置２００、情報提供サーバ３００で構成されることができる。
まず、本発明の一実施形態によれば、通信網１００は、有線及び無線のようなその通信形態を問わず構成されることができ、移動通信網、近距離通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ：Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、人工衛星通信網など多様な通信網で構成されることができる。より具体的に、本発明でいう通信網１００は、公知のワールドワイドウェブ（ＷＷＷ；Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌe Ａｃｃｅｓｓ）又はＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）通信網などを何れも含む概念であることが理解されるべきである。

次に、本発明の一実施形態によれば、端末装置２００は、カメラ（カメラ付き携帯用機器を含む概念として理解されるべきである）などの撮影手段を通じて入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）映像を生成するにおいて端末装置２００の視野に含まれている客体に対応するグラフィック要素を端末装置の画面上にディスプレイされる前記客体の該当位置に提供する機能を実行することができる。本発明でいう端末装置２００は、通信網１００に接続した後に通信できるようにする機能を含むデジタル機器を意味するものであって、個人用コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータなど）、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えたデジタル機器であれば、いくらでも本発明に係る端末装置２００として採択され得る。端末装置２００の詳細な内部構成については後述する。

一方、本発明の一実施形態によれば、情報提供サーバ３００は、通信網１００を通じて端末装置２００及び他の情報提供サーバ（図示せず）と通信することにより、端末装置２００の要請に応じて多様なタイプの情報を提供する機能を行える。より具体的に、情報提供サーバ３００は、ウェブコンテンツ検索エンジン（図示せず）を含んで端末装置２００の要請に対応する情報を検索し、その検索結果を端末装置２００のユーザがブラウジングできるように提供することができる。例えば、情報提供サーバ３００は、インターネット検索ポータルサイトのオペレーティングサーバであり得、端末装置２００に提供される情報は、ウェブサイト、ウェブ文書、知識、ブログ、カフェ、イメージ、動画、ニュース、音楽、ショッピング、地図、本、映画などに関する多様な情報であり得る。もちろん、必要に応じて情報提供サーバ３００の情報検索エンジンは情報提供サーバ３００ではなく、他の演算装置や記録媒体に含まれることもできる。

端末装置の構成
以下では、本発明の実現のために重要な機能を行う端末装置２００の内部構成及び各構成要素の機能について詳察する。

図２は、本発明の一実施形態に係る端末装置２００の内部構成を例示的に示す図である。
図２に示すように、本発明の一実施形態に係る端末装置２００は、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０、通信部２６０及び制御部２７０を含むことができる。本発明の一実施形態によれば、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０、通信部２６０及び制御部２７０は、そのうちの少なくとも一部がユーザ端末装置３００と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態で端末装置２００に含まれ得、物理的には多様な公知の記憶装置上に格納され得る。また、このようなプログラムモジュールは、端末装置２００と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データのタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。

まず、本発明の一実施形態によれば、入力映像獲得部２１０は、後述する拡張現実実現部２３０によって実現される拡張現実の土台となる入力映像を獲得する機能を実行することができる。より具体的に、本発明の一実施形態に係る入力映像獲得部１２０は、ＣＣＤカメラなどの撮影装置を含むことができ、端末装置２００を携帯しているユーザ周辺の風景の様子を仮にプレビュー状態でリアルタイムで入力を受ける機能を実行することができる。

次に、本発明の一実施形態によれば、位置及び姿勢算出部２２０は、端末装置２００により獲得される入力映像が現実世界の如何なる領域に対応するかを判断するために、端末装置２００の位置及び姿勢を算出する機能を実行することができる。

より具体的に、本発明の一実施形態に係る位置及び姿勢算出部２２０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）技術、移動通信技術などの位置情報獲得技術を利用して端末装置２００の位置を算出することができるが、例えば、このために位置及び姿勢算出部２２０は所定のＧＰＳモジュール、移動通信モジュールを含むことができる。また、本発明の一実施形態に係る位置及び姿勢算出部２２０は、所定のセンシング手段を用いて端末装置２００の姿勢を算出することができるが、例えば、このために位置及び姿勢算出部２２０は、端末装置２００の動きの有無、距離、速度、加速度、方向などを感知する加速度センサ及び端末装置２００の回転の有無、回転量、角速度、角加速度、方向などを感知するジャイロスコープを含むことができる。

また、本発明の一実施形態によれば、位置及び姿勢算出部２２０は、前記のように算出された端末装置２００の位置、姿勢及び視野角に関する情報を参照して端末装置２００を視点とする端末装置２００の視野、即ち、端末装置２００により獲得される入力映像に対応する端末装置２００の視野を特定する機能を実行することができる。

より具体的に、本発明の一実施形態によれば、端末装置２００の視野は、３次元空間である現実世界で定義される３次元領域を意味するものであって、端末装置２００を視点とするビューイングフラスタムで特定され得る。ここで、ビューイングフラスタムとは、カメラなどの撮影装置によって映像が撮影されたり、プレビュー状態で入力されたりする場合に撮影装置の視野に含まれている３次元領域を示すものであって、端末装置２００に備えられた撮影手段の投影中心を視点として定義でき、撮影レンズの種類によって円錐又は多角錐状の無限領域（円錐又は多角錐が視線方向に垂直な***面（ｎｅａｒ ｐｌａｎｅ）又は遠平面（ｆａｒ ｐｌａｎｅ）によって切り取られた台形円柱又は台形多面体状のような有限領域であり得る）に定義され得る。このようなビューイングフラスタムについては、本出願人により出願された韓国特許出願第２０１０-０００２３４０号の明細書を参照することができる。ここで、前記明細書は、その全体として本明細書に併合されたものと見なされるべきである。

次に、本発明の一実施形態によれば、拡張現実実現部２３０は、端末装置２００により獲得される入力映像及び入力映像に関する情報を合成することによって拡張現実を実現し、拡張現実を視覚的に表現する出力映像を生成する機能を実行することができる。例えば、本発明の一実施形態に係る拡張現実実現部２３０は、入力映像に関する情報として端末装置２００の視野に含まれていると判断された客体（例えば、建物、商店など）に対して関心地点（ＰＯＩ）であることを示す所定のグラフィック要素を表示し、ユーザによって関心地点が選択される場合には該当客体に対する詳細な情報を提供するようにすることができる。他の例を挙げると、本発明の一実施形態に係る拡張現実実現部２３０は、入力映像に関する情報として端末装置２００が位置する地点の周辺に存在する客体の位置を示す半透明２次元マップ又は端末装置２００が位置する地点の天気情報を含む半透明情報窓が入力映像と重なって（ｏｖｅｒｌａｐ）表示される拡張現実を実現することもできる。

次に、本発明の一実施形態に係るユーザインターフェース部２４０は、端末装置２００により獲得される入力映像及び入力映像に関する情報を用いて拡張現実を実現するにおいて、端末装置２００の視野に含まれている客体に対応するグラフィック要素を端末装置２００の画面上にディスプレイされる前記客体の該当位置に提供して入力映像と共に表示する機能を実行することができる。このためには、端末装置２００の視野及び現実世界に存在する客体の位置に関する情報を参照して端末装置２００の視野に含まれている客体と該当客体に対応するグラフィック要素を検索する過程が先行され得るが、これは後述する情報検索部２５０により実行され得る。

ここで、本発明の一実施形態によって入力映像と共に表示されるグラフィック要素には、該当客体のブランド、ロゴ、該当客体のパターンランドマークなどが含まれることができる。ただし、本発明に係るグラフィック要素が必ずしも前記列挙されたものに限定されるものではなく、端末装置２００の視野に含まれている客体の名称、種類、性質などを暗示又は案内できる情報であれば、いくらでも本発明に係るグラフィック要素に含まれ得ることを明確にしておく。

また、本発明の一実施形態に係るユーザインターフェース部２４０は、端末装置２００の視野に含まれている第１客体が、視野に含まれている第２客体を遮蔽して第２客体自体が端末装置２００の画面上にディスプレイされない場合、第１客体及び第２客体に対応するグラフィック要素を差別的に表示する機能を行うこともできる。例えば、端末装置２００の視野に含まれている建物Ａ及び端末装置２００と建物Ａを連結する直線の延長線上に位置する建物Ｂに対応するグラフィック要素を提供する場合を仮定することができるが、このような場合、建物Ｂは建物Ａにより遮られるので、端末装置２００の画面上に該当客体が直接的にはディスプレイされ得ないが、建物Ｂに対応するグラフィック要素を建物Ａに対応するグラフィック要素のバックに重なるように一部分のみ表示するか、建物Ａに対応するグラフィック要素と建物Ｂに対応するグラフィック要素をローリングして順次に選択できるように表示することもできるなど多様な変形例を想定することができる。

図３は、本発明の一実施形態によって端末装置の視野に含まれている客体に対応するグラフィック要素を提供する構成を例示的に示す図である。
図３に示すように、本発明の一実施形態によって、端末装置２００の視野に含まれている客体に対応するグラフィック要素が拡張現実の形態で出力映像内に表示される構成を確認することができる。より具体的に詳察すると、端末装置２００の視野を基準として正面から若干右側に位置する「スターバックス宣陵店」という商店に対応するグラフィック要素として該当商店のブランド標章をディスプレイしており、端末装置２００の視野を基準として「スターバックス宣陵店」の後ろ側に位置する「ＴＯＭ Ｎ ＴＯＭＳオラクル店」という商店に対応するグラフィック要素として該当商店のブランド標章をディスプレイしていることが確認することができる。

一方、本発明の一実施形態によれば、拡張現実として実現された出力映像情報をはじめとするその他映像情報は、端末装置２００の表示部（図示せず）を通じて視覚的に表出され得るが、例えば、本発明の一実施形態に係る表示部は、通常の液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などのフラット表示装置であり得る。

次に、本発明の一実施形態によれば、情報検索部２５０は、端末装置２００の視野及び現実世界に存在する客体の位置に関する情報を参照して端末装置２００の視野に含まれている客体を認識し、認識された客体に対応するグラフィック要素を獲得する機能を実行することができる。

具体的に、本発明の一実施形態に係る情報検索部２５０は、現実世界に存在する客体の緯度、経度、高度などに関する情報及び端末装置２００の位置、姿勢、視野角などから獲得される視野（即ち、端末装置２００を視点とするビューイングフラスタムで特定される３次元領域）に関する情報などを参照して端末装置２００の視野内に存在する客体を認識することができる。

また、本発明の他の実施形態に係る情報検索部２５０は、端末装置２００の視野に含まれている少なくとも１つ以上の建物の壁面などのような建築物イメージがユーザインターフェース部２４０を通じてクエリーとして入力される場合、所定の建築物イメージマッチング技法を用いて入力されたクエリーイメージ内に含まれている建築物とマッチされる建物を検索し、これを参照して該当建築物を認識し、認識された該当建築物に対応して格納されているグラフィック要素を獲得することができる。このような建築物イメージマッチング技法については、本出願人により出願された韓国特許出願第２００９-００８７７９４号の明細書を参照することができ、ここで前記明細書はその全体として本明細書に併合されたものと見なされるべきである。

前記では端末装置２００の視野に含まれている客体を認識する方法について記載したが、必ずしも前記で言及された実施形態にのみ限定されるものではなく、多様な変形例を想定することもできる。

また、本発明の一実施形態によれば、情報検索部２５０は、端末装置２００から要請された情報を提供するために、情報提供サーバ３００と通信して必要な情報を検索する機能を行うこともできる。例えば、端末装置２００から商店Ａに対する情報が要請された場合を仮定することができるが、このような場合、本発明の一実施形態に係る情報検索部２５０は、公知の情報検索ポータルサーバに接続して商店Ａの位置、電話番号、販売商品、利用コメントなどに関する情報を検索し、前記検索された情報のうちの少なくとも一部が端末装置２００に提供されるようにする機能を行うこともできる。

次に、本発明の一実施形態によれば、通信部２６０は、端末装置２００が情報提供サーバ３００などのような外部システムと通信できるようにする機能を行う。
最後に、本発明の一実施形態によれば、制御部２７０は、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０及び通信部２６０間のデータの流れを制御する機能を行う。即ち、制御部２７０は外部からの又は端末装置２００の各構成要素間のデータの流れを制御することで、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０及び通信部２６０でそれぞれ固有機能を行うように制御する。

以上説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェア分野の当業者にとって公知の使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ-ＲＯＭ、ＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気-光媒体（ｍａｇｎｅｔｏ-ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されたものであって、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。

従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。

１００ 通信網
２００ 端末装置
２１０ 入力映像獲得部
２２０ 位置及び姿勢算出部
２３０ 拡張現実実現部
２４０ ユーザインターフェース部
２５０ 情報検索部
２６０ 通信部
２７０ 制御部
３００ 情報提供サーバ

Claims (5)

1. 端末装置に入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれている客体に関する情報を提供するための方法であって、
   （ａ）前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する段階、及び
   （ｂ）建築物イメージマッチング技法を用いて前記端末装置の視野に含まれている客体を認識した後、前記認識された客体に対応するグラフィック要素を獲得し、前記獲得されたグラフィック要素を前記端末装置の画面上にディスプレイされる前記客体の該当位置に提供して前記入力映像と共に拡張現実の形態で表示する段階
   を含み、
   前記段階（ｂ）において、
   前記視野に含まれながら前記端末装置の画面上にディスプレイされる第１客体と、前記視野に含まれながら前記第１客体により遮蔽されて前記端末装置の画面上にディスプレイされない第２客体とにそれぞれ対応する前記グラフィック要素を表示し、
   前記第２客体に対応するグラフィック要素を前記第１客体に対応するグラフィック要素の後ろに重なるように一部分のみ表示し、
   前記グラフィック要素は、
   前記客体のブランド、ロゴ、パターンランドマークのうちの少なくとも１つを含む
   方法。
2. 前記視野は、前記端末装置を視点とするビューイングフラスタムによって特定されることを特徴とする請求項１に記載の方法。
3. 端末装置に入力される入力映像及び前記入力映像に関する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれている客体に関する情報を提供するための端末装置であって、
   前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する位置及び姿勢算出部、
   前記端末装置の視野に含まれている客体がクエリーとして入力されれば、建築物イメージマッチング技法を用いて前記客体を認識し、前記認識された客体に対応するグラフィック要素を獲得する情報検索部、及び
   前記視野に含まれながら前記端末装置の画面上にディスプレイされる第１客体と、前記視野に含まれながら前記第１客体により遮蔽されて前記端末装置の画面上にディスプレイされない第２客体とにそれぞれ対応する前記獲得されたグラフィック要素を、前記入力映像と共に表示するユーザインターフェース部
   を含み、
   前記第２客体に対応するグラフィック要素を、前記第１客体に対応するグラフィック要素の後ろに重なるように一部分のみ表示し、
   前記グラフィック要素は、
   前記客体のブランド、ロゴ、パターンランドマークのうちの少なくとも１つを含む
   端末装置。
4. 前記視野は、前記端末装置を視点とするビューイングフラスタムによって特定されることを特徴とする請求項３に記載の端末装置。
5. 請求項１又は２による方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。