JP2012094138A - 拡張現実ユーザインタフェース提供装置および方法 - Google Patents

Abstract

【課題】拡張現実ユーザインタフェース提供装置および方法を提供する。
【解決手段】
本発明は、拡張現実ユーザインタフェース提供方法であって、客体を含む映像を取得し、取得された映像に含まれた少なくとも一つ以上の客体を認識し、認識された客体に関連付けられた拡張現実情報を検出し、検出された拡張現実情報を特定の属性に応じて一つ以上のグループに分類し、拡張現実情報をグループ毎に分けて表示するユーザインタフェースを生成し、生成されたユーザインタフェースを出力することを含む。
【選択図】図２

Description

本発明は、拡張現実ユーザインタフェース提供装置および方法に関し、より詳細には、拡張現実情報提供のためのユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ；ＵＩ）技術に関するものである。

拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ；ＡＲ）とは、実際の環境に仮想の事物や情報を合成して、元の環境に存在する事物であるかのように見えるようにするコンピュータグラフィックの技法をいう。

拡張現実は、仮想の空間と事物のみを対象とする従来の仮想現実とは異なり、現実世界の基盤の上に仮想の事物を合成して、現実世界だけでは得ることが難しい付加的な情報等を補強して提供するという特徴を有する。単純にゲームのような分野だけに限定されて適用が可能であった既存の仮想現実とは異なり、拡張現実は様々な現実環境に応用することが可能である。

例えば、観光客が、ロンドンの通りで、カメラやＧＰＳセンサなどのさまざまな技術が搭載されている携帯電話のカメラなどを特定の方向に向けると、現在移動中の通りに位置する飲食店やセール中の店に対する拡張現実のデータを実際の映像に重ねて表示する方法が挙げられる。

ところが、このような拡張現実のデータサービスが徐々に拡大するにつれて、膨大な量の拡張現実データが同一画面上に一度に表示される場合がある。この場合、画面上にあまりにも多くの拡張現実データが出力されるので、ユーザは自分の欲しい情報を取得することが容易ではないという問題点がある。

本発明の一実施例は、ユーザが容易に自分が望む拡張現実情報を検索することができる拡張現実ユーザインタフェース提供装置および方法を提供する。

本発明のさらなる特徴は以下の記述で規定されるが、その一部は以下の記述から明らかであり、又は本発明の実施から理解されてもよい。

本発明の一実施例は、拡張現実ユーザインタフェース提供方法であって、客体（ｏｂｊｅｃｔ；オブジェクト）を含む映像を取得し、取得された映像に含まれている少なくとも一つ以上の客体を認識し、認識された客体に関連付けられた拡張現実情報を検出し、検出された拡張現実情報を特定の属性に応じて一つ以上のグループに分類し、拡張現実の情報をグループ毎に分けて表示するユーザインタフェースを生成し、生成されたユーザインタフェースを出力することを含む。

本発明の一実施例は、拡張現実ユーザインタフェース提供装置であって、客体を含む映像を取得する映像取得部と、映像取得部から出力された映像及び拡張現実情報を出力する表示部と、映像取得部から取得された映像に含まれている少なくとも一つ以上の客体を認識して、認識された客体に関連付けられた拡張現実情報を検出して、検出された拡張現実情報を特定の属性に応じて一つ以上のグループに分類して、上記拡張現実情報をグループ毎に分けて表示するユーザインタフェースを生成して、生成されたユーザインタフェースを出力する制御部を含む。

上記の一般的な記述と以下の詳細な記述は例示であって、特許請求の範囲に記載された本発明のさらなる説明を提供するためのものであると理解されなければならない。他の特徴や一面は以下の詳細な記述、図面、及び特許請求の範囲から明らかになるであろう。

本発明によれば、取得された映像に含まれる一つ以上の客体に関する拡張現実情報を、属性に応じて一つ以上のグループに分類して、上記拡張現実情報をグループ毎に分けて表示するユーザインタフェースを提供することにより、ユーザが自分の必要とする拡張現実情報を迅速かつ正確に検索および利用することができる。

本発明の一実施形態にかかる拡張現実ユーザインタフェース装置の構成図である。 本発明の一実施形態にかかる拡張現実情報を提供するためのユーザインタフェースの概要を示す図である。 本発明の一実施形態にかかるコンテクスト情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて生成されたユーザインタフェースの概要を示す図である。 本発明の一実施形態にかかる臨時メモリに蓄積される拡張現実情報を説明するためのユーザインタフェースの概要を示す図である。 本発明の一実施形態にかかる拡張現実ユーザインタフェース提供方法を説明するためのフローチャートである。

本発明をより良く理解するために提供され、本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施例を説明するものであり、本明細書と一体となって本発明の趣旨を説明するものである。

以下、本発明の実施例を示す添付の図面を参照して本発明をより詳細に説明する。しかしながら、本発明は多様な異なる形態で実施されてもよく、以下に規定する実施例に限定されるものではない。むしろ、これらの実施例は当業者に本発明の範囲を完全に開示するために提供される。図面において、層や領域の大きさ又はその相対的な大きさは、分かりやすくするために誇張されている場合がある。図面において同様の参照符号は同様の構成要素を示す。

以下で使用される用語は、本発明の実施形態における機能を考慮して定義された用語として、ユーザ、または実施する者の意図、慣例などによって十分に変更されてもよい事項であるため、これらの用語の定義は、本発明の明細書の全体にわたる内容に基づいて判断される。

図１は、本発明の一実施形態にかかる拡張現実ユーザインタフェース装置の構成図である。

図１を参照すると、本発明の実施形態にかかる拡張現実ユーザインタフェース提供装置は、映像取得部（１１０）、表示部（１２０）、データベース（１３０）および制御部（１４０）を含み、センサ部（１５０）、操作部（１６０）、および臨時メモリ（１７０）をさらに含むものでもよい。

映像取得部（１１０）は、少なくとも一つ以上の拡張現実客体（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｏｂｊｅｃｔ）（以下、「客体」(ｏｂｊｅｃｔ)という）が含まれている映像を取得するカメラ、またはイメージセンサーであってもよい。また、追加的な態様として、映像取得部（１１０）は、映像撮影時に制御部（１４０）の制御により、映像を自動または手動で拡大または縮小し、及び／または映像を自動または手動で回転することの可能なカメラであってもよい。本発明で使用される客体とは、実世界に存在するマーカー（ｍａｒｋｅｒ）、又はマーカーレス基盤の客体（ｍａｒｋｅｒ−ｌｅｓｓ−ｂａｓｅｄ ｏｂｊｅｃｔ）を意味する。

表示部（１２０）は、映像取得部（１１０）によって取得された映像と、映像に含まれる少なくとも一つ以上の客体に関連する拡張現実情報を上記映像にオーバーラップさせて出力する。本発明の一実施形態において、制御部（１４０）は表示部（１２０）に拡張現実情報を出力する際に、特定の属性に応じて、拡張現実情報をグループ別に分類された形態のユーザインタフェースを通じて出力することができる。

図２は、本発明の一実施形態にかかる拡張現実情報を提供するためのユーザインタフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＵＩ）の概要を示した図である。

図２を参照すると、ｎ個のグループに分類される拡張現実情報が、それぞれのグループ毎にｎ個の画面に分けて表示されるＵＩが図示されている。すなわち、取得された映像に含まれる少なくとも一つ以上の客体に関連する拡張現実情報が多数存在する場合、図２に示されたように、多数の拡張現実情報は、金融機関、便宜施設、カフェ、飲食店、教育施設、オフィス、休憩空間、インフォメーションデスクなどの同じ属性を有するｎ個のグループに分類され、上記ｎ個のグループに分類された拡張現実情報は、グループ毎に分類されてそれぞれ異なるｎ個の画面に表示される。ｎ個の画面は、ｎ個の対応する画面を有する多面体（ｐｏｌｙｈｅｄｒｏｎ）を構成してもよく、多面体のｎ個の画面は表示部（１２０）に表示されてもよい。

再び図２を参照すると、データベース（１３０）は、本発明の一実施形態を実現するための情報を蓄積するために、装置に内蔵された形態で構成されてもよく、または装置の外部に形成され、装置がネットワークを通じてデータの提供を受ける形態で構成されてもよい。データベース（１３０）が装置の外部に形成されてネットワーク上でデータの提供を受ける形態である場合は、本発明の実施形態にかかる拡張現実ユーザインタフェース提供装置は、ネットワークの通信が可能な通信インタフェースをさらに含む構成を有するものでもよい。

データベース（１３０）は、本発明の一実施形態において、客体認識情報（１６１）、拡張現実情報（１６２）、インタフェース決定情報（１６３）およびコンテクスト情報（１６４）を含むものでもよい。

客体認識情報（１６１）は、客体を認識するためのマッピング情報として、特定の客体の特徴情報を蓄積する。このような客体の特徴情報は、客体の模様、色、質感、パターン、カラーヒストグラム、構造的特徴、及び/又はエッジ情報を含むものでもよい。制御部（１４０）は、このようなフィルタの情報によって取得された客体認識情報をあらかじめ蓄積されている客体認識情報（１６１）と比較して、客体が何であるかを判断する。また、本発明の一実施形態において、客体の認識情報にＧＰＳデータなどの客体の位置情報も含めてもよい。すなわち、同一の客体の特徴情報を有する客体であっても、位置に応じて、異なる客体として認識されてもよい。このような客体認識情報（１６１）によって認識された客体には、それぞれ識別子が付与されて区別されてもよい。

拡張現実情報（１６２）は、客体に関連する情報を蓄積することで、このような拡張現実情報の一例として、客体が木である場合、その木の名前、主な生息地、生態学的特徴等を所定のタグイメージ（ｔａｇ ｉｍａｇｅ）を通じて表現してもよい。このような拡張現実情報は、マッピングされる客体と同一の識別子が付与されて管理されてもよい。

ユーザインタフェース決定情報（１６３）は、ユーザインタフェース決定情報であるとともに検出された拡張現実情報を提供するためのＵＩ生成情報であってもよい。ユーザインタフェース決定情報（１６３）は、検出された拡張現実情報をどのように分類するかの分類基準となる属性情報、グループの大きさに応じてどのような形のＵＩを生成するかのＵＩ形態情報などを含むものでもよい。

コンテクスト情報（１６４）は、拡張現実情報を個人化（ｐｅｒｓｏｎａｌｉｚｅ）するための情報を含み、例えばユーザの名前、年齢、性別などを含むユーザ情報、ユーザの送受信メールで頻繁に使われる単語、よく使われるアプリケーション、よく使われる検索キーワード、接続サイトのランキング、現在のタイムゾーンと位置、感情の状態などを含み、制御部（１４０）は、このようなコンテクスト情報を利用して提供される拡張現実情報をフィルタリングして出力してもよい。また、本発明の一実施形態において、このようなコンテクスト情報（１６４）は、制御部（１４０）がＵＩを生成する際に、画面配置の優先順位を決定する情報として使用されてもよい。図３は、本発明の一実施形態におけるコンテクスト情報に応じて生成されたユーザインタフェースの一例を示した図である。

図３を参照すると、現在の表示部（１２０）の映像に含まれる客体に対する拡張現実情報のうち、飲食店に関する情報グループが出力されている。ＵＩを通じて拡張現実情報グループを配置する際に、コンテクスト情報を利用して、各グループの順位を決定してもよい。

図３を参照すると、現在のコンテクスト情報において端末ユーザの選好度の第１位は、飲食店の情報であってもよい。そして、カフェ、教育施設の情報が次の順位であり、金融機関、休憩空間がその次の順位になってもよい。

また、制御部（１４０）は、拡張現実情報をグループに分類する際に、２次以上に渡ってグループ分類を行うものでもよい。例えば、制御部（１４０）は、コンテクスト情報を利用して、同一の飲食店をサブグループに再分類してもよく、図３に示されたようにコンテクスト基盤拡張現実データ選好度第１位に該当するグループを表示するようにして、第２位以降は縦の方向に配置されるようにしてもよい。

制御部（１４０）は、前述のような各構成要素を制御して、本発明に基づいてグループ別に分類するユーザインタフェースを通じて拡張現実ユーザインタフェースを提供する方法を実現するためのハードウェアプロセッサまたはハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。制御部（１４０）の動作説明は後述する拡張現実客体認識ガイドの方法において詳細に説明する。

再び図１を参照すると、センサ部（１５０）は、制御部（１４０）の映像から客体の検出または客体の検出に関する拡張現実データの検出を補うために、別のセンシング情報（例えば、現在時刻、現在位置、撮影方向など）を提供する。このようなセンサ部（１５０）は、例えば、ＧＰＳ衛星が送信するカメラの位置情報信号を受信するＧＰＳ受信機、カメラの方位角および傾斜角を感知して出力するジャイロセンサ又はジャイロスコープ、およびカメラの回転方向と回転量を測定して出力する加速度センサを含んでもよい。

ユーザインタフェース部である操作部（１６０）は、ユーザから情報の入力を受ける手段であってもよく、例えばキーボタンを押すたびにキーデータを生成するキー入力部、またはタッチセンサ、マウスなどを含むものでもよい。本発明の追加的な態様に応じて、操作部（１６０）を通じて拡張現実情報グループ移動情報の入力を受けてもよい。さらに、操作部（１６０）及び表示部（１２０）はタッチスクリーンに組み込まれていてもよい。

臨時メモリ（１７０）は、拡張現実情報のグループのうち、現在の表示部（１２０）に出力されている拡張現実情報のグループと隣合った画面に出力されるグループの拡張現実情報をあらかじめ蓄積することにより、それ以降の操作部（１６０）を通じたグループの移動要請信号に応じて、隣合うグループに該当する拡張現実情報を検出するためのプロセシングの遅延を防止する。

図４は、本発明の一実施例における臨時メモリに蓄積される拡張現実情報を説明するためのユーザインタフェースの概要を示した図である。

図４を参照すると、現在、飲食店に関する拡張現実情報が多面体（ｐｏｌｙｈｅｄｒｏｎ）の一面である画面に表示されている。現在飲食店に関する拡張現実情報を表示しているユーザインタフェースの隣に配置された多面体の画面に登録されたカフェ、教育施設のグループに含まれている拡張現実情報が臨時メモリ（１７０）にあらかじめ蓄積される。図４には臨時メモリ（１７０）に蓄積される拡張現実情報としてたった２つの拡張現実情報グループが記載されているが、本発明はこれに限定されるものではなく、より少ないまたはより多くのグループが臨時メモリ（１７０）に蓄積されてもよい。

図５は、本発明の一実施例にかかる拡張現実情報ユーザインターフェースの提供方法を説明するためのフローチャートである。

図１及び図５を参照すると、操作部（１６０）及び／又は表示部（１２０）を介してユーザによるキー入力又はタッチ入力によって客体認識モードが設定されると、制御部（１４０）は、ステップ５１０で映像取得部（１１０）を駆動させて、少なくとも一つ以上の客体を含む映像を取得する。これにより、制御部（１４０）は、ステップ５２０で、取得された映像に含まれている客体を確認する。このとき、認識される客体は一つ以上であってもよく、例えば、映像に複数の建物が含まれている場合、ユーザの選択信号によって、複数の建物のすべてが客体と認識されてもよく、一つの建物だけが客体として認識されてもよい。そして、客体を認識する際に、制御部（１４０）は映像情報、センサ部（１５０）によって取得された端末の位置情報、及び／又は客体認識情報（１６１）を参照してもよい。客体認識情報（１６１）は、客体を認識するために映像の客体と比較されてもよい。

制御部（１４０）は、ステップ５３０で認識された客体に関連付けられた拡張現実情報を検出する。すなわち、制御部（１４０）は、認識された客体に付与された識別子と同一の識別子が付与された拡張現実情報を検出する。

そして、制御部（１４０）は、ステップ５４０で上記検出の結果、認識された一つ以上の客体に関連する拡張現実情報が存在するかどうかを判断する。すなわち、客体に関連付けられた拡張現実情報が存在しない場合もある。

ステップ５４０の判断の結果、認識された客体に関連付けられた拡張現実データが存在する場合、制御部（１４０）は、ステップ５５０で事前に蓄積された基準属性に応じて、多数の拡張現実情報を所定のグループに分類する。このとき、制御部（１４０）は、２次以上の分類を行ってもよく、すなわち、１次の分類によって形成されたグループを再度サブグループに分類してもよい。しかし、本発明はこれに限定されるものではなく、制御部（１４０）は拡張現実情報を１次、２次、又はそれ以上、例えば３次に分類してもよい。

そして、ステップ５６０において拡張現実情報のグループのそれぞれが分類されて出力されるユーザインタフェースを生成する。

すなわち、制御部（１４０）は、分類されたグループの数に対応したユーザインタフェースを生成する。例えば、図２に示すように、グループの数がｎ個である場合、ｎ個の画面を有するユーザインタフェースを生成してもよい。このグループは、多面体のｎ個の画面上、例えば、図４に示すような八面体の８個の画面に各画面に対応する８グループの拡張現実情報を表示してもよい。

この時、制御部（１４０）は、ユーザインタフェースを生成する際に、コンテクスト情報を利用してもよく、表示される拡張データに優先順位を適用可能として、効率的な情報検索ができるようにする。そして、制御部（１４０）は、ステップ５７０において生成されたＵＩを通じて拡張現実情報を表示する。

また、制御部（１４０）は、現在出力されているグループと、隣合うグループの拡張現実情報を臨時メモリ（１７０）に蓄積又は格納してもよい。これにより、その後にユーザから別のグループへの移動信号を受信したとき、速やかに出力するグループを変更することができる。移動信号は例えばユーザによるキー入力、タッチ、マルチタッチ、スワイプ（ｓｗｉｐｅ）に応じて生成されるものでもよい。

本発明の趣旨又は範囲内である限り、当業者が本発明を多様な態様によって実施することができることは明らかである。したがって、本発明は添付の特許請求の範囲及びその均等の範囲内にある変形例を含むものである。

本発明は拡張現実情報提供のためのユーザインタフェース技術に適用されることができる。

映像取得部 １１０
表示部 １２０
制御部 １４０
臨時メモリ １７０

Claims (14)

1. 客体を含む映像を取得し、
   前記取得された映像に含まれている少なくとも一つ以上の客体を認識し、
   前記認識された客体に関連付けられた拡張現実情報を検出し、
   前記検出された拡張現実情報を特定の属性に応じて一つ以上のグループに分類し、
   前記拡張現実情報をグループ毎に分けて表示するユーザインタフェースを生成することを含むことを特徴とする拡張現実ユーザインタフェース提供方法。
2. 前記客体を認識することは、
   前記映像が取得された位置情報を利用して、前記映像に含まれている少なくとも一つ以上の客体を認識することを特徴とする請求項１に記載の拡張現実ユーザインタフェース提供方法。
3. 前記ユーザインタフェースは、
   前記グループの数に対応する数の画面を有する多面体から生成されることを特徴とする請求項１に記載の拡張現実ユーザインタフェース提供方法。
4. 少なくとも一つのグループの拡張現実情報を臨時に蓄積し、
   前記少なくとも一つのグループの拡張現実情報が前記多面体の画面として前記ユーザインターフェースに表示され、前記臨時に蓄積された拡張現実情報のグループは、前記多面体において前記表示されている拡張現実グループの隣に配置された画面に対応することをさらに含むことを特徴とする請求項３に記載の拡張現実ユーザインタフェース提供方法。
5. 前記ユーザインタフェースを生成することは、
   ユーザに関するコンテクスト情報を利用して、一つ以上に分類されたグループを表示する優先順位を決定して、ユーザインタフェースを生成することを特徴とする請求項１に記載の拡張現実ユーザインタフェース提供方法。
6. 現在表示されている拡張現実情報グループの他に少なくとも一つのグループの拡張現実情報を臨時に蓄積することをさらに含むことを特徴とする請求項１に記載の拡張現実ユーザインタフェース提供方法。
7. 前記客体を認識することは、客体に関する客体認識情報を用いて前記客体を前記映像から認識することを含むことを特徴とする請求項１に記載の拡張現実ユーザインタフェース提供方法。
8. 前記客体に関する客体認識情報を用いることは、蓄積された客体識別情報と前記映像の客体情報とを比較することを含むことを特徴とする請求項７に記載の拡張現実ユーザインタフェース提供方法。
9. 客体を含む映像を取得する映像取得部と、
   前記映像取得部から出力された映像、及び拡張現実情報を出力する表示部と、
   前記映像取得部から取得された映像に含まれた少なくとも一つ以上の客体を認識して、前記認識された客体に関連付けられた拡張現実情報を検出して、前記検出された拡張現実情報を特定の属性に応じて一つ以上の別々のグループに分類して、前記の拡張現実情報をグループ毎に分けて表示するユーザインタフェースを生成する制御部とを含むことを特徴とする拡張現実ユーザインタフェース提供装置。
10. 前記制御部は、
    前記映像が取得された位置情報を利用して、前記映像に含まれた少なくとも一つ以上の客体を認識することを特徴とする請求項９に記載の拡張現実ユーザインタフェース提供装置。
11. 前記ユーザインタフェースは、
    前記グループの数に対応する数の画面を有する多面体から生成されることを特徴とする請求項９に記載の拡張現実ユーザインタフェース提供装置。
12. 前記制御部は、
    ユーザのコンテクスト情報を利用して、一つ以上に分けられたグループを表示する優先順位を決定して、ユーザインタフェースを生成することを特徴とする請求項９に記載の拡張現実ユーザインタフェース提供装置。
13. 拡張現実情報を臨時に蓄積する臨時メモリをさらに含み、
    前記制御部は、前記表示部に表示される拡張現実情報グループの隣に配置されたグループの拡張現実情報を臨時に蓄積し、前記拡張現実情報グループは前記多面体の画面に対応して構成され、前記隣に配置されたグループの拡張現実情報は現在表示されている画面の隣の画面に対応することを特徴とする請求項９に記載の拡張現実ユーザインタフェース提供装置。
14. 前記制御部は、蓄積された客体認識情報を用いて前記蓄積された客体認識情報と前記映像の客体情報とを比較することによって前記映像に含まれる前記客体を認識することを特徴とする請求項９に記載の拡張現実ユーザインタフェース提供装置。