JP6356869B2 - バーチャルリアリティアプリケーション - Google Patents

Description

関連出願の相互参照
本出願は、２０１２年８月２４日に出願された国際出願番号ＰＣＴ／ＵＳ２０１２／０５２３２０の利益を主張するものであり、参照によりその全体が本明細書に組み込まれる。

使用されているモバイルコンピューティングデバイスの数は、過去１０年で大幅に増加し、また現在も増え続けている。モバイルコンピューティングデバイスとは、例えば、携帯電話、デジタルカメラ、および全地球測位システム（「ＧＰＳ」）受信器である。ある調査によれば、世界の人口の６０％が携帯電話を利用できる。ますます多くの人々がデジタルカメラを使用し、デジタルカメラのメーカーには、現在、年間に数百億米ドルの収益を上げているところもある。デジタルカメラは、画像を取込み、保存し、共有するために使用される。しばしば、画像は、取込んだほぼ直後に、例えば、デジタルカメラと関連付けられている表示装置に表示することができる。画像は、いったん取込まれると、コンピューティングデバイスによって処理することができる。画像認識は、画像において物体を認識し、識別するために使用することができるといったような処理である。例えば、画像認識技法は、画像が人間の顔、特定の物体または形状などを含んでいるかを判定することができる。

拡張現実は、ユーザが現実世界で観察している視覚情報または聴覚情報をデジタル的に拡張できるよう、コンピューティングデバイスによって強化された、実際の、現実世界の環境を表現したものである。例として、拡張現実システムは、光景情報をデジタルカメラおよびＧＰＳから受信し、その光景において物体（例えば、人々、動物、建築物など）を識別し、識別された物体に関する追加情報を提供することができる。そのようなシステムのユーザは、モバイルコンピューティングデバイス（例えば、デジタルカメラ、携帯電話、「スマートフォン」など）を使用して光景の写真を撮り、撮影された（すなわち、デジタル化された）光景において拡張現実システムが認識した１つまたは複数の物体に関する情報を自動的に受信することができる。

現在、モバイルデバイスで利用可能な数十万ものアプリケーションが存在する。ユーザは、自らにとって面白い、または有用であるアプリケーション（「アプリ」）をダウンロードしてインストールできる。しかし、そのようなアプリケーションを見つけることは、簡単ではない。

様々な実施形態において、開示された技術によって呼び出されるルーチンを示す流れ図である。 様々な実施形態において、開示された技術の使用について示す、環境に関する図である。 様々な実施形態において、開示された技術によって利用される構成要素を示すブロック図である。 様々な実施形態において、開示された技術によって呼び出されるルーチンを示す流れ図である。 様々な実施形態において、開示された技術によって呼び出されるルーチンを示す流れ図である。 様々な実施形態において、開示された技術の使用について示す、環境に関する図である。 様々な実施形態において、開示された技術の使用について示す、環境に関する図である。 様々な実施形態において、開示された技術によって呼び出されるルーチンを示す流れ図である。 本開示の少なくともいくつかの実施形態により構成されるコンピューティングデバイスの例示的な実施形態のブロック図である。

以下の詳細な説明では、その一部を形成する添付図面を参照する。図面において、同様の記号は通常、文脈上他の規定がない限り、同様の構成要素を指定する。発明を実施するための形態、図面、および特許請求の範囲に示された例示的な実施形態は、限定的であることを表すものではない。本明細書で示される主題の範囲を逸脱することなく、他の実施形態が使用可能であり、かつ他の変更を加えることができる。本開示の態様は、全体的に本明細書で示されるように、および図において示されるように、そのすべてが本明細書で明示的に想定される様々な異なった構成で、構成、代用、組合せ、分離、および設計可能であることが容易に理解されよう。

拡張現実技術（「本技術」）について述べる。様々な実施形態において、本技術は、ある光景において物体を検出し、１つまたは複数のインストールされたアプリケーションを少なくとも１つの検出された物体に基づいて識別し、識別された１つまたは複数のアプリケーションを表すアイコンを、例えば、その光景のディスプレイ表示において、検出された物体の最も近くに表示する。本技術は、例えば、画像認識、パターン認識などの、物体認識の様々な技法を使用することができる。ユーザが表示されたアイコンを選択すると、選択されたアイコンに対応するアプリケーションが起動可能である。様々な実施形態において、本技術は、その代わりに（またはそれに加えて）、利用可能であるがまだインストールされていないアプリケーションを少なくとも１つの検出された物体に基づいて識別することができる。ユーザが表示されたアイコンを選択すると、選択されたアイコンに対応するアプリケーションをインストールでき、また任意選択でそれを起動することができる。したがって、本技術は、ユーザが迅速に、自身が置かれている状況または環境に関係し得るアプリケーションを識別することを可能にする。

本技術は、ある光景をデジタル化するために、ユーザが利用しているモバイルデバイスと共に使用できるように構成されたデジタルカメラを利用することができる。このモバイルデバイスはまた、例えばＧＰＳ座標といったコンテキスト情報も処理することができる。一部のアプリケーションは、コンテキスト情報に対応してもよい。例として、対象の光景が特定のレストランを含むと、識別されたアプリケーションは、そのレストランに対応するアプリケーションである場合がある。複数のアプリケーションがある物体（例えば、レストラン、店舗、または他の施設もしくは物体）に対応する場合、本技術は、現在位置（例えば、ＧＰＳ座標）に適したアプリケーションを識別してもよい。あるいは、ユーザは、使用するコンテキスト情報を指定することができる。例として、本技術は、現在の時刻に営業している施設のアプリケーションを識別してもよいが、ユーザは、その日の遅くに夕食のために営業している施設に対応するアプリケーションのみに関心をもってもよい。

本技術は、例えば、インストールされた（または利用可能な）アプリケーションに対応する属性を現在の状況または環境に、例えば整合される物体の属性に基づいて、整合させることにより、アプリケーションを識別することができる。属性は、ローカルにモバイルデバイスまたはサーバに格納することができる。ユーザはまた、例えば、物体が次回、デジタル化された光景に現れたとき、特定のアプリケーションのアイコンが確認可能であるように、または除外されているように、アプリケーションを、認識された物体と関連付ける、または認識された物体の関連付けを解除することもできる。

様々な実施形態において、本技術はまた、格納されたアプリケーション「プリファレンス」に基づいて、アプリケーションを識別することもできる。こうしたプリファレンスは、アプリケーション開発者、組織などによって示されてもよい。例として、ユーザが特定の地理的領域にいると、「スポンサ付きのアプリケーション」が本技術によって識別されてもよい。

複数のアプリケーションアイコンが識別されると、本技術は、様々な技法を使用してユーザインターフェースを変更することができる。例として、アイコンは積み重ねられてもよく、一部のアイコンは積み重ねられた他のアプリケーションよりも前に表示されてもよく、一部のアイコン（例えば、スポンサ付きのアプリケーション）は他のアイコンよりも大きくなってもよい。

本技術はまた、例えば、アイコンが、基礎となる情報を代表するものとなるように、アイコンをアプリケーションに適合させることもできる。例として、レストラン評価アプリケーションのアイコンは、多くのレストランに対して識別されてもよく、アイコンは、認識されたレストランの評価を示すように変化してもよい。

様々な実施形態において、本技術は、ある光景において物体を検出し、検出された物体を、検出された物体と相互作用するための方法と関連付け、関連付けられた方法を使用して、検出された物体と相互作用するための規格を獲得し、また検出された物体を制御するためのユーザインターフェースを提供することができる。例として、視聴覚装置（例えば、テレビ、ＤＶＤプレーヤなど）が、ある光景において検出されると、本技術は、検出された装置と（例えば、ＷｉＦｉ、無線、赤外線、または他の通信手段を使用して）通信し、装置と相互作用するための規格を獲得することができる。規格は、例えば、利用可能なコマンド、どのようにコマンドが送信されるべきか、コマンドのフォーマットなどの情報を提供することができる。規格はまた、ユーザインターフェース要素に関する情報も提供することができる。規格を受信すると、本技術は、ユーザが装置を制御するために使用できるユーザインターフェースを提供することができる。ユーザがユーザインターフェースを介して相互作用すると、本技術は、コマンドを装置に送信することができる。様々な実施形態において、本技術は、検出された物体と、無線自動識別タグ、無線ネットワーク、赤外線信号などを利用することによって通信することができる。

様々な実施形態において、本技術は、装置と共に使用できるように構成された構成要素であって、コンピューティングデバイスから信号を受信し、装置を制御することができる１つまたは複数の方法の識別を実施し、コマンドが１つまたは複数の方法で識別されたコンピューティングデバイスからコマンドを受信し、また受信されたコマンドに従って装置を制御する構成要素を含む。コマンドは、例えば、メディアを制御すること（例えば、再生、停止、中断、巻戻し、早送りなど）、電源回路を制御すること（例えば、電源オン／オフ）であり得る。構成要素はまた、１つまたは複数の方法のための規格、例えば、ユーザインターフェース構成要素を提供するためのヒントも提供することができる。

次に図を見てみると、図１は、様々な実施形態において、開示された技術によって呼び出されるルーチン１００を示す流れ図である。ルーチン１００は、ブロック１０２を起点とする。ルーチン１００は、次にブロック１０４に進み、そこで、ある光景のデジタル化された映像を受信する。ルーチン１００は、次にブロック１０６に進み、そこで、その光景において物体を検出する。様々な実施形態において、ルーチン１００は、様々な画像認識技法を利用して物体を認識することができる。ルーチン１００は、次にブロック１０８に進み、そこで、コンテキスト情報を受信する。コンテキスト情報の例は、位置情報（ＧＰＳ座標、所在地住所、市など）、時刻などである。ルーチン１００は、次にブロック１１０に進み、そこで、検出された物体に基づいてアプリケーションを識別する。例として、本技術がテレビを認識したとき、本技術は、現在のテレビ番組一覧を提供するアプリケーションを示してもよい。別の例として、本技術がレストランを認識したとき、本技術は、例えば、メニューの提供、席の予約などを行うための、レストランと関連付けられたアプリケーションを識別してもよい。ルーチン１００は、次にブロック１１２に進み、そこで、コンテキスト情報に基づいて物体を識別する。例として、２つのレストランがその光景において識別され、そのレストランのうちの１つが昼食および夕食のためだけに営業している場合、本技術は、現在の時刻が、朝食の時間と通常考えられるであろう時刻の範囲である場合、朝食のために営業しているレストランのみを識別してもよい。ルーチン１００は、次にブロック１１４に進み、そこで、識別されたアプリケーションを表すアイコンを、検出された物体の近くに配置する。ルーチン１００は次いで、ブロック１１６で戻る。

当業者であれば、図１に示し上述したロジック、さらには後述する流れ図のそれぞれに示すロジックは、様々な方法で変更可能であることが理解されよう。例えば、ロジックの順序を並べ替え、サブステップを並行して実行し、図示されたロジックを省略し、他のロジックを含めるなどができる。

図２は、様々な実施形態において、開示された技術の使用について示す、環境に関する図である。光景２００は、３つの物体、すなわち、第１の物体２０２、第２の物体２０４、および第３の物体２０６を含む。モバイルコンピューティングデバイス２０８のディスプレイは、物体のデジタル化された表現を、第１の物体のデジタル化された表現２１０、第２の物体のデジタル化された表現２１２、および第３の物体のデジタル化された表現２１４として表示する。第１の物体のデジタル化された表現２１０は、第１のアイコン２１６Ａおよび第２のアイコン２１６Ｂと関連付けられている。第２の物体のデジタル化された表現２１２は、第３のアイコン２１８と関連付けられている。上述のとおり、アイコンは、インストールされたアプリケーションまたは利用可能なアプリケーションを表すことができる。ユーザが、例えば、モバイルコンピューティングデバイスのタッチパネル上でアイコンの近くの領域をタッチすることによってアイコンを選択すると、本技術は、表示されたアプリケーションを起動するか（既にインストールされている場合）、または表示されたアプリケーションをインストールすることができる。いくつかの実施形態において、本技術は、インストールされているアプリケーションを自動で起動する場合がある。

図３は、様々な実施形態において、開示された技術によって利用される構成要素を示すブロック図である。構成要素３００は、デジタイザ３０２、認識器３０４、アプリケーション属性３０６、および識別器３０８を含むことができる。様々な実施形態において、追加の構成要素（図示せず）または図示された構成要素３００のサブセットは、本発明の技術の範囲から逸脱することなく、利用することができる。デジタイザ構成要素３０２は、例えば、画像取込み装置（図示せず）を介して受信された光景といったある光景をデジタル化できる。認識器構成要素３０４は、デジタル化された光景において物体を認識できる。様々な実施形態において、認識器構成要素は、様々な画像認識技法を使用して、デジタル化された光景において物体を認識できる。識別器構成要素３０８は、認識された物体と、例えば、格納されたアプリケーション属性３０６を使用して関連付けられた、インストールされたアプリケーションを識別できる。属性は、例えば、アプリケーションが関連付けられている物体に関する情報、時刻、位置などを示すことができる。識別器構成要素３０８はまた、例えば、現在インストールされていないが、認識された物体と関連付けられている可能性があるアプリケーションを識別するために、サーバコンピューティングデバイス（図示せず）も利用することができる。

図４は、様々な実施形態において、開示された技術によって呼び出されるルーチン４００を示す流れ図である。ルーチン４００は、ブロック４０２を起点とする。ルーチン４００は、ブロック４０４に進み、そこで、ある光景のデジタル化された映像を受信する。ルーチン４００は、次にブロック４０６に進み、そこで、デジタル化された光景において物体を検出する。ルーチン４００は、様々な画像認識技法を利用して物体を認識することができる。ルーチン４００は、次にブロック４０８に進み、そこで、例えば、ルーチンが実行されるモバイルコンピューティングデバイス上などのローカルに格納されていないアプリケーションを識別する。ルーチン４００は、次にブロック４１０に進み、そこで、アプリケーションのアイコンを、認識された物体の近くに配置する。例として、ルーチン４００がデジタル化された光景においてコーヒーショップを認識し、ユーザのモバイルコンピューティングデバイスが、認識されたコーヒーショップに対応するアプリケーションをインストールしていない場合、ルーチン４００は、選択された場合にアプリケーションがインストールされることになる、認識されたコーヒーショップに対応するアプリケーションのアイコンを配置することができる。ルーチン４００は次いで、ブロック４１２で戻る。

図５は、様々な実施形態において、開示された技術によって呼び出されるルーチン５００を示す流れ図である。ルーチン５００は、ブロック５０２を起点とする。ルーチンは、次にブロック５０４に進み、そこで、ある光景において物体を検出する。ルーチン５００は、次にブロック５０６に進み、そこで、認識された物体から第１の物体を選択する。ルーチン５００は、次に判断ブロック５０８に進み、そこで、選択された物体が相互作用可能であるかを判定する。ルーチン５００は、例えば、データベース（例えば、ルーチン５００を呼び出すコンピューティングデバイスに格納されたローカルデータベース、またはサーバコンピューティングデバイスに格納されたリモートデータベース）に問い合わせることによって、この判定を行ってもよい。選択された物体が相互作用可能である場合、ルーチン５００は、ブロック５１０に進む。もしそうでない場合、ルーチン５００は、ブロック５１４に進む。ブロック５１０では、ルーチン５００は、選択された物体と相互作用するための規格を獲得する。様々な実施形態において、ルーチン５００は、規格を、ローカルに格納されたデータベースから、物体から直接（例えば無線で）、またはリモートコンピューティングデバイスから取得してもよい。ルーチン５００は次いで、選択された物体とユーザが相互作用できるように、ユーザインターフェースをユーザに提供してもよい。例として、認識された物体がテレビまたは他の視聴覚装置である場合、ルーチン５００は、ユーザが視聴覚装置を制御することを可能にするユーザインターフェースを提供してもよい。受信される規格は、ユーザインターフェースの外観を提供するための命令を含むことができる。ルーチン５００は、次にブロック５１４に進み、そこで、ブロック５０４に関連して上記で検出された１組の物体から次の物体を選択する。ルーチン５００は、次に判断ブロック５１６に進み、そこで、次の物体が選択されたかを判定する。選択されるべき物体がこれ以上ない場合、ルーチン５００は、ブロック５１８で戻る。もしそうでない場合、ルーチン５００は、判断ブロック５０８に進み、選択された物体を分析する。

図６Ａおよび図６Ｂは、様々な実施形態において、開示された技術の使用について示す、環境に関する図である。図６Ａは、光景６００、およびモバイルコンピューティングデバイス６０６に表示された、光景６００のデジタル化されたバージョンを含む。光景６００は、テレビ６０２および別の物体６０４を含む。モバイルコンピューティングデバイス６０６に表示された、光景６００のデジタル化されたバージョンは、テレビのデジタル化された表現６０８および他の物体のデジタル化された表現６１０を含む。モバイルコンピューティングデバイス６０６はまた、テレビのデジタル化された表現６０８と関連付けられたアイコン６１２も表示する。例として、本技術は、テレビ６０２を認識し、テレビ６０２に対応するアプリケーションを識別し、アイコン６１２によって表してもよい。ユーザがアイコン６１２を選択したとき、本技術は、対応するアプリケーションを起動（または対応するアプリケーションをインストール）してもよい。様々な実施形態において、本技術は、例えば、テレビ６０２またはネットワークコンピューティングデバイス（図示せず）と通信して、テレビ６０２の制御に関する規格を受信するために、モバイルコンピューティングデバイス６０６と関連付けられたアンテナ６１４を利用してもよい。様々な実施形態において、モバイルコンピューティングデバイス６０６は、赤外線、無線周波数、ＷｉＦｉなどを使用してテレビと通信してもよい。図６Ｂは、例えば、ユーザがアイコン６１２を選択することによってアプリケーションを起動すると、モバイルコンピューティングデバイス６０６によって表示されたユーザインターフェース６２０を示す。

図７は、様々な実施形態において、開示された技術によって呼び出されるルーチン７００を示す流れ図である。ルーチン７００は、ブロック７０２を起点とする。ルーチン７００は、次にブロック７０４に進み、そこで、信号を受信する。様々な実施形態において、ルーチン７００は、ルーチン７００が実行される装置に命じるためにユーザが操作しているモバイルコンピューティングデバイスから、信号を受信することができる。ルーチン７００は、次にブロック７０６に進み、装置を制御することができる方法を作業が提供する。例として、ルーチン７００は、装置を制御するための規格を提供してもよい。規格は、ユーザインターフェース、利用可能なコマンド、周波数などの表示を含むことができる。ルーチン７００は、次にブロック７０８に進み、そこで、コマンドを受信する。様々な実施形態において、ルーチンは、ルーチン７００が規格を提供したモバイルコンピューティングデバイスから、コマンドを受信してもよい。ルーチン７００は、次にブロック７１０に進み、そこで、受信されたコマンドに従って、装置を制御する。ルーチンは次いで、ブロック７１２で戻る。

図８は、本開示の少なくともいくつかの実施形態により構成される例示的なコンピューティングデバイス８００を示すブロック図である。純粋な基本構成８０２では、コンピューティングデバイス８００は、通常、１つまたは複数のプロセッサ８０４、およびシステムメモリ８０６を含む。メモリバス８０８は、プロセッサ８０４とシステムメモリ８０６との間の通信に使用できる。

所望の構成に応じて、プロセッサ８０４は、マイクロプロセッサ（「μＰ」）、マイクロコントローラ（「μＣ」）、デジタルシグナルプロセッサ（「ＤＳＰ」）、またはそれらの任意の組合せを含むが、それだけに限定されるものではない、任意のタイプのプロセッサであり得る。プロセッサ８０４は、レベル１キャッシュ８１０およびレベル２キャッシュ８１２などの１つまたは複数のキャッシュレベル、プロセッサコア８１４、およびレジスタ８１６を含むことができる。例示的なプロセッサコア８１４は、算術論理演算ユニット（「ＡＬＵ」）、浮動小数点演算ユニット（「ＦＰＵ」）、デジタルシグナル処理コア（「ＤＳＰコア」）、またはそれらの任意の組合せを含むことができる。例示的なメモリコントローラ８１８は、プロセッサ８０４と共に使用することもできる。または、いくつかの実装形態においては、メモリコントローラ８１８は、プロセッサ８０４の内部部品であってもよい。

所望の構成に応じて、システムメモリ８０６は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組合せを含むが、それだけに限定されるものではない、任意のタイプのメモリであり得る。システムメモリ８０６は、オペレーティングシステム８２０、１つまたは複数のアプリケーション８２２、およびプログラムデータ８２４を含むことができる。アプリケーション８２２は、認識された物体に対応するアプリケーションを識別するように構成されたアプリケーション識別器構成要素８２６を含むことができる。プログラムデータ８２４は、本明細書で説明するように、アプリケーション属性情報８２８を含むことができる。いくつかの実施形態において、アプリケーションを認識できるように、アプリケーション８２２を、オペレーティングシステム８２０上でプログラムデータ８２４を用いて動作するように構成することができる。上述の基本構成８０２は、図８において内側の破線内の構成要素によって示される。

コンピューティングデバイス８００は、追加の機構または機能、および、基本構成８０２と任意の必要な装置およびインターフェースとの間の通信を容易にする、追加のインターフェースを備えることができる。例えば、バス／インターフェースコントローラ８３０を、ストレージインターフェースバス８３４を介した、基本構成８０２と１つまたは複数のデータ記憶装置８３２との間の通信を容易にするために使用できる。データ記憶装置８３２は、取外し式記憶装置８３６、非取外し式記憶装置８３８、またはそれらの組合せであり得る。取外し式記憶装置および非取外し式記憶装置の例をいくつか挙げると、フレキシブルディスクドライブおよびハードディスクドライブ（「ＨＤＤ」）などの磁気ディスク装置、コンパクトディスク（「ＣＤ」）ドライブまたはデジタル多用途ディスク（「ＤＶＤ」）ドライブなどの光学ディスクドライブ、ソリッドステートドライブ（「ＳＳＤ」）、およびテープドライブが含まれる。例示的なコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術によって実装された、取外し式および非取外し式の揮発性媒体および不揮発性媒体を含むことができる。

システムメモリ８０６、取外し式記憶装置８３６、および非取外し式記憶装置８３８は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気記憶装置、または、所望の情報を格納するために使用でき、コンピューティングデバイス８００によってアクセスできる任意の他の媒体が含まれるが、それだけに限定されるものではない。任意のこのようなコンピュータ記憶媒体は、コンピューティングデバイス８００の一部であってもよい。

コンピューティングデバイス８００はまた、バス／インターフェースコントローラ８３０を介した、様々なインターフェース装置（例えば、出力装置８４２、周辺インターフェース８４４、および通信装置８４６）から基本構成８０２への通信を容易にするインターフェースバス８４０を含むことができる。例示的な出力装置８４２は、グラフィック処理ユニット８４８およびオーディオ処理ユニット８５０を含み、これらは、ディスプレイやスピーカなどの様々な外部装置と、１つまたは複数のＡ／Ｖポート８５２を介して通信できるように構成され得る。例示的な周辺インターフェース８４４は、シリアルインターフェースコントローラ８５４またはパラレルインターフェースコントローラ８５６を含み、これらは、入力装置（例えば、キーボード、マウス、ペン、音声入力装置、タッチ入力装置など）または他の周辺装置（例えば、プリンタ、スキャナなど）などの外部装置と、１つまたは複数のＩ／Ｏポート８５８を介して通信できるように構成され得る。例示的な通信装置８４６は、ネットワークコントローラ８６０を含み、これは、１つまたは複数の通信ポート８６４を介し、ネットワーク通信リンクをまたいだ１つまたは複数のその他のコンピューティングデバイス８６２との通信を容易にするように構成され得る。

ネットワーク通信リンクは、通信媒体の一例であり得る。通信媒体は通常、搬送波または他の搬送メカニズムなどの変調データ信号においてコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータによって具現化することができ、任意の情報送達媒体を含むことができる。「変調データ信号」は、信号内で情報を符号化するような方法で設定または変更される特性のうちの１つまたは複数を有する信号であり得る。例として、限定はされないが、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および、音響、無線周波（「ＲＦ」）、マイクロ波、赤外線（「ＩＲ」）、および他の無線媒体などの無線媒体を含むことができる。本明細書で使用されるコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含み得る。

コンピューティングデバイス８００は、携帯電話、携帯情報端末（「ＰＤＡ」）、パーソナルメディアプレーヤ装置、無線ウェブウォッチ装置、パーソナルヘッドセット装置、特定用途向け装置、または上記機能のいずれかを含むハイブリッド装置などの、省スペースのポータブル（またはモバイル）電子装置の一部として実装することができる。コンピューティングデバイス８００はまた、ラップトップコンピュータと非ラップトップコンピュータの両方の構成を含む、パーソナルコンピュータとして実装することができる。

本発明の主題は、構造特性および／または方法論的行為に固有の言葉で説明されているが、添付の特許請求の範囲で定義する本発明の主題が前述の特定の特性または行為に必ずしも限定されるものではないことを理解されたい。むしろ、前述の特定の特性および行為は、特許請求の範囲を実装する例示的形態として開示されている。したがって、本発明は、添付の特許請求の範囲による場合を除き、限定されるものではない。

Claims (33)

1. プロセッサを備えるコンピューティングシステムによって実行される方法であって、
   画像取込み装置から受信された光景の映像をデジタル化してデジタル化された光景を提供することと、
   複数の物体を前記デジタル化された光景において検出することであって、前記デジタル化された光景においてデジタル化された物体を認識することを含む、検出することと、
   第１のコンテキスト情報および第２のコンテキスト情報を含む、ユーザと関連付けられたコンテキスト情報を受信することと、
   複数のインストールされたアプリケーションを前記検出された複数の物体に基づいて識別することであって、前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち一方に基づいて前記インストールされたアプリケーションを識別することを含み、さらに、前記検出された複数の物体のうち１つ以上の物体と関連付けられた属性を求めて、前記ユーザによって提供され、かつ前記インストールされたアプリケーションのうちの少なくとも１つのアプリケーションと関連付けられた属性のリストを検索することを含む、識別することと、
   前記第１のコンテキスト情報および前記第２のコンテキスト情報のうちの他方に基づいて、前記検出された複数の物体から１つの物体を識別して、識別された物体を提供することと、
   前記識別された複数のインストールされたアプリケーションのうち少なくとも１つのアプリケーションを表すアイコンを、前記デジタル化された光景のディスプレイ表示において、前記識別された物体に近接して配置することであって、前記識別された複数のインストールされたアプリケーションのうちの前記少なくとも１つのアプリケーションが、前記識別された物体に基づいて選択されることと、
   前記アイコンのユーザによる選択を受信することと、
   前記アイコンの前記ユーザによる選択を受信することに応答して、前記識別された物体を選択することと、
   前記識別された物体が相互作用可能であると判定することであって、前記識別された物体に関するデータベースに問い合わせることを含む、判定することと、
   前記識別された物体と相互作用することに関する少なくとも１つの規格を獲得することであって、前記少なくとも１つの規格が、前記識別された物体と相互作用するためのコマンドに関する情報およびユーザインターフェース要素に関する情報を含む、獲得することと、
   前記ユーザインターフェース要素に従って前記少なくとも１つの規格に基づいて前記識別された物体と相互作用するためのユーザインターフェースを提供することと、
   を含む方法。
2. 前記デジタル化された光景が、出力装置に表示される、請求項１に記載の方法。
3. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が、ユーザからの入力によって受信される、請求項１に記載の方法。
4. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が、検出された位置情報に基づく、請求項１に記載の方法。
5. 前記検出することが、１つまたは複数の画像認識方法を利用することを含む、請求項１に記載の方法。
6. 前記アイコンに対応するインストールされたアプリケーションを起動することをさらに含む、請求項１に記載の方法。
7. 前記属性のリストが、キーボード入力によって受信される、請求項１に記載の方法。
8. 識別されていないインストールされたアプリケーションを前記デジタル化された光景において検出された物体と関連付けるために入力を受信して、前記アプリケーションを前記検出された物体と関連付けること、前記デジタル化された光景において検出された物体と対応するものとして識別されたアプリケーションの関連付けを解除するために入力を受信し、前記アプリケーションの関連付けを前記検出された物体から解除すること、またはそれらの組合せをさらに含む、請求項１に記載の方法。
9. コンピューティングデバイスによって実行されたときに前記コンピューティングデバイスに動作を実行させるという命令を格納しているコンピュータ可読記憶装置であって、前記動作が、
   光景の映像をデジタル化してデジタル化された光景を提供することと、
   複数の物体を前記デジタル化された光景において検出することであって、前記デジタル化された光景においてデジタル化された物体を認識することを含む、検出することと、
   第１のコンテキスト情報および第２のコンテキスト情報を含む、ユーザと関連付けられたコンテキスト情報を受信することと、
   複数のインストールされたアプリケーションを前記検出された複数の物体に基づいて識別することであって、前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち一方に基づいて前記インストールされたアプリケーションを識別することを含み、さらに、前記検出された物体のうち１つ以上の物体と関連付けられた属性を求めて、前記ユーザによって提供され、かつ前記インストールされたアプリケーションのうちの少なくとも１つのアプリケーションと関連付けられた属性のリストを検索することを含む、識別することと、
   前記第１のコンテキスト情報および前記第２のコンテキスト情報のうちの他方に基づいて、前記検出された複数の物体から１つの物体を識別することと、
   前記ユーザによって選択されると前記識別された複数のインストールされたアプリケーションのうち少なくとも１つのアプリケーションを起動するアイコンを、前記デジタル化された光景のディスプレイ表示において、前記識別された物体に近接して配置することであって、前記識別された複数のインストールされたアプリケーションのうちの前記少なくとも１つのアプリケーションが、前記識別された物体に基づいて選択されることと、
   前記アイコンのユーザによる選択を受信することと、
   前記アイコンの前記ユーザによる選択を受信することに応答して、前記物体を選択することと、
   前記物体が相互作用可能であると判定することであって、前記物体に関するデータベースに問い合わせることを含む、判定することと、
   前記物体と相互作用することに関する規格を獲得することであって、前記規格が、前記物体と相互作用するためのコマンドおよびユーザインターフェース要素を含む、獲得することと、
   前記ユーザインターフェース要素に従って前記規格に基づいて前記物体と相互作用するためのユーザインターフェースを提供することと、
   を含む、コンピュータ可読記憶装置。
10. 前記デジタル化された光景が、出力装置に表示される、請求項９に記載のコンピュータ可読記憶装置。
11. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が、ユーザからの入力によって受信される、請求項９に記載のコンピュータ可読記憶装置。
12. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が、検出された位置情報に基づく、請求項９に記載のコンピュータ可読記憶装置。
13. 前記検出することが、１つまたは複数の画像認識方法を利用することを含む、請求項９に記載のコンピュータ可読記憶装置。
14. 前記属性のリストが、キーボード入力によって受信される、請求項９に記載のコンピュータ可読記憶装置。
15. 前記動作が、識別されていないインストールされたアプリケーションを前記デジタル化された光景において検出された物体と関連付けるために入力を受信し、前記アプリケーションを前記検出された物体と関連付けること、前記デジタル化された光景において検出された物体と対応するものとして識別されたアプリケーションの関連付けを解除するために入力を受信し、前記アプリケーションの関連付けを前記検出された物体から解除すること、またはそれらの組合せをさらに含む、請求項９に記載のコンピュータ可読記憶装置。
16. プロセッサと、
    命令を有するメモリと、
    を備えるシステムであって、
    前記命令が、前記プロセッサによって実行されると、前記システムに対し動作を実行させ、前記動作が、
    複数の物体をデジタル化された光景において検出することであって、前記光景においてデジタル化された物体を認識することを含む、検出することと、
    第１のコンテキスト情報および第２のコンテキスト情報を含む、ユーザと関連付けられたコンテキスト情報を受信することと、
    複数のインストールされたアプリケーションを前記検出された複数の物体および前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち一方に基づいて識別することであって、前記検出された物体のうち１つ以上の物体と関連付けられた属性を求めて、前記ユーザによって提供され、かつ前記インストールされたアプリケーションのうちの少なくとも１つのアプリケーションと関連付けられた属性のリストを検索することを含む、識別することと、
    前記第１のコンテキスト情報および前記第２のコンテキスト情報のうちの他方に基づいて、前記検出された複数の物体から１つの物体を識別することと、
    前記ユーザによって選択されると前記識別された複数のインストールされたアプリケーションのうち少なくとも１つのアプリケーションを起動するアイコンを、前記デジタル化された光景のディスプレイ表示において、前記識別された物体に近接して配置することであって、前記識別された複数のインストールされたアプリケーションのうちの前記少なくとも１つのアプリケーションが、前記識別された物体に基づいて選択されることと、
    前記アイコンのユーザによる選択を受信することであって、前記ユーザによる選択が、前記識別された複数のインストールされたアプリケーションのうち少なくとも１つのアプリケーションを起動することと、
    前記アイコンの前記ユーザによる選択を受信することに応答して、前記物体を選択することと、
    前記物体が相互作用可能であると判定することであって、前記物体に関するデータベースに問い合わせることを含む、判定することと、
    前記物体と相互作用することに関する少なくとも１つの規格を獲得することであって、前記少なくとも１つの規格は、前記物体と相互作用するためのコマンドに関する情報およびユーザインターフェース要素に関する情報を含む、獲得することと、
    前記少なくとも１つの規格に基づいて前記物体と相互作用するためのユーザインターフェースを提供することと、
    を含む、システム。
17. デジタルカメラをさらに備え、前記メモリが、前記光景のデジタル化された映像を受信するための命令をさらに含む、請求項１６に記載のシステム。
18. 前記光景が、出力装置に表示される、請求項１６に記載のシステム。
19. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が、ユーザからの入力によって受信される、請求項１６に記載のシステム。
20. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が、検出された位置情報に基づく、請求項１６に記載のシステム。
21. 前記検出するための命令が、１つまたは複数の画像認識方法を利用するための命令を含む、請求項１６に記載のシステム。
22. 前記属性のリストが、キーボード入力によって受信される、請求項１６に記載のシステム。
23. 識別されていないインストールされたアプリケーションを前記デジタル化された光景において検出された物体と関連付けるために入力を受信し、前記アプリケーションを前記検出された物体と関連付けるための命令、前記デジタル化された光景において検出された物体と対応するものとして識別されたアプリケーションの関連付けを解除するために入力を受信し、前記アプリケーションの関連付けを前記検出された物体から解除するための命令、またはそれらの組合せをさらに含む、請求項１６に記載のシステム。
24. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が時刻情報を含み、前記複数の物体から前記１つの物体を識別することが、前記時刻情報に基づくものである、請求項１に記載の方法。
25. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が時刻情報を含み、前記時刻情報がユーザからの入力によって受信される、請求項１に記載の方法。
26. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が時刻情報を含み、前記複数の物体から前記１つの物体を識別することが、前記時刻情報に基づくものである、請求項９に記載のコンピュータ可読記憶装置。
27. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が時刻情報を含み、前記時刻情報がユーザからの入力によって受信される、請求項９に記載のコンピュータ可読記憶装置。
28. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が時刻情報を含み、前記複数の物体から前記１つの物体を識別することが、前記時刻情報に基づくものである、請求項１６に記載のシステム。
29. 前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち少なくとも一方が時刻情報を含み、前記時刻情報がユーザからの入力によって受信される、請求項１６に記載のシステム。
30. 前記検出された複数の物体に基づいて前記コンピューティングデバイス上のローカルに格納されていないアプリケーションを識別することであって、前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち一方に基づいて前記ローカルに格納されていないアプリケーションを識別することを含み、さらに、前記検出された複数の物体のうち１つ以上の物体と関連付けられた属性を求めて、前記ユーザによって提供され、かつ前記ローカルに格納されていないアプリケーションのうちの少なくとも１つのアプリケーションと関連付けられた属性のリストを検索することを含む、識別することと、
    前記ユーザによって選択されると前記コンピューティングデバイス上に対応するアプリケーションをインストールするアイコンを配置することであって、前記アイコンが、前記光景のディスプレイ表示において、前記識別された物体に近接して配置されることと、
    をさらに含む、請求項１に記載の方法。
31. 前記動作が、
    前記検出された複数の物体に基づいてインストールされていないアプリケーションを識別することであって、前記第１のコンテキスト情報および前記第２のコンテキスト情報のうち一方に基づいて前記インストールされていないアプリケーションを識別することを含む、識別することと、
    前記ユーザによって選択されると対応するアプリケーションをインストールするアイコンを配置することであって、前記アイコンが、前記光景のディスプレイ表示において、前記識別された物体に近接して配置されることと、
    をさらに含む、請求項９に記載のコンピュータ可読記憶装置。
32. 前記少なくとも１つの規格に基づいて、選択された物体と相互作用するための前記ユーザインターフェースを提供することが、
    前記少なくとも１つの規格から、前記ユーザインターフェースの外観を提供することに関する命令を提供することと、
    前記ユーザインターフェースの前記外観を提供して前記選択された物体を制御することと、を含む、請求項１に記載の方法。
33. 前記少なくとも１つの規格に基づいて、選択された物体と相互作用するための前記ユーザインターフェースを提供することが、
    前記規格から、前記ユーザインターフェースに関する命令を提供することと、
    前記ユーザインターフェースを提供して前記選択された物体を制御することと、を含む、請求項１に記載の方法。