[0010] 上述されたように、物体の状態(例えば位置又は他の物理的状態)を追跡すること、及び覚えておくことは、日常生活の間における労力にかなりの時間をとることがある。その上、物体の状態を正確に追跡しそこなうと、時間と生産性の損失をもたらすことがある。したがって、物体の状態を自動的に追跡することに関する実施態様が、本明細書において開示される。簡潔に言えば、モバイルデバイス、例えばユーザーによって装着されたシースルー・ディスプレイは、ユーザーの環境を観測するイメージセンサーを備えることができる。イメージセンサーからの映像データが処理されて、ユーザーの環境内の物体を検出し、映像データ中において追跡対象物体を識別することができる。次いで、追跡対象物体の状態情報、例えば位置や他の特性が記憶されることができる。これによって、ユーザー要求又はコンテキストに関する手がかりなどのアラートトリガーを検出した時に、追跡対象物体の状態に関するアラートを出力することが可能となる。状態情報は、ローカルに記憶され、及び/又は、リモートサービスにアップロードされることができる。複数の人が本明細書に開示されたような物体追跡デバイスを利用する場合には、各人が、物体追跡情報の共有を通じて、他のユーザーによりなされた物体に対する変化を知ることができる。このようにして、ユーザーは、失くしたキーの最新の位置を発見することが可能であり、食料品店の乳製品売り場を見て回っている間にもっと多くの牛乳を買うべきとのリマインダーを提供されることができ、及び/又は、他の物体状態情報を任意の適切な方法で追跡し、思い出すことができる。
[0011] 図1A及び1Bは、非限定的な例示の使用シナリオを示す。まず、図1Aは、眼鏡の形をしたヘッドマウント型シースルー・ディスプレイデバイス100を装着し、第1時刻t1においてシースルー・ディスプレイデバイス100を通して環境(リビングルーム)を見ているユーザーを示す。以下においてより詳細に説明されるように、シースルー・ディスプレイデバイス100は、ユーザーが動き回っている際に映像イメージを取得する1又は複数の外向きイメージセンサー(RGB及び/又は深度センサー)を備える。取得された映像イメージはリアルタイムで、又は後で分析されて、以下においてより詳細に説明されるように、ユーザーによって追跡される移動可能な不活発(inanimate)物体を識別することができる。図1Aでは、追跡される移動可能な不活発物体の例示的実施態様は、テーブルの上でひと山の雑誌の下に置かれたキー102として示されているが、任意の適切な物体が追跡されることができる、ということが理解されるだろう。
[0012] 識別された物体データ及び/又はイメージデータは、当該物体に関してユーザーに将来の情報、例えばアラートを提供するために、記憶されることができる。例えば、図1Bを参照すると、後の時刻t2において、キー102は新聞104で覆われている。よって、キーの位置についての情報を要求するユーザー入力(例えばシースルー・ディスプレイデバイス100のマイクを通じて検出された音声コマンド)に応答して、キーがシースルー・ディスプレイデバイス100上で強調表示106される。
[0013] シースルー・ディスプレイデバイス100は、ユーザーが観察する、又は相互作用することさえもある全ての物体に対する状態情報を追跡しなくてもよい、ということが理解されるだろう。例えば、図1Aでは、ユーザーによって観察される環境は、ユーザーが追跡することを望まないかもしれないキー102以外の様々な他の移動可能な不活発物体、例えば雑誌108、植木鉢110、及び本棚の本112を含んでいる。
[0014] したがって、シースルー・ディスプレイデバイス100は、十分に「重要である」と考えられる物体の状態を追跡することができ、ここで、「重要である」という用語は、物体を追跡対象として指定するのに十分な暗示的及び/又は明示的情報が受け取られたかどうかを表す。こうして、観察された不活発移動可能物体の状態に関する何らの情報をも記憶する前に、シースルー・ディスプレイデバイス100は、当該物体が追跡対象物体であるか否かを判定し、次いで、もし当該物体が追跡対象物体であれば、状態情報を記憶することができる。シースルー・ディスプレイデバイス100はまた、物体に割り当てられた「重要度スコア」を変化させる情報を検出することもできる。以下においてより詳細に説明されるように、そのような重要度スコアは、物体状態情報を追跡するか否か、及び/又はどの物体状態情報を追跡すべきかを決定するための1又は複数の閾値重要度スコアと比較されることができる。
[0015] 不活発移動可能物体は、任意の適切な方法で追跡対象として定義されることができる。例えば、物体の追跡対象としてのステータスは、(例えば開発者によって)事前定義されることができ、ユーザー定義されることができ、及び/又は適応的に学習されることができる。いくつかの物体が追跡対象として事前定義される実施態様では、事前定義が、大抵のユーザーにとって重要であると考えられる一群の物体、例えばキー、財布、金融取引カード等に対して適用されることができる。更に、ユーザーは、事前定義された重要な物体の定義に合致する物体を、もし追跡がその物体に対して望ましくなければ、追跡対象物体のリストから除去する能力を有することができる。
[0016] 物体は、任意の適切な方法で追跡対象として指定されることができる。例えば、シースルー・ディスプレイデバイス100は、ユーザーが物体をシースルー・ディスプレイデバイス100のイメージセンサーの視野内に保持し、又は他の方法で配置し、その物体のイメージをスキャンし、それを追跡対象として特定する、物体指定モードを含むことができる。より具体的な例として、シースルー・ディスプレイデバイス100を装着したユーザーは、不活発移動可能物体(例えばキー、財布、クレジット/デビットカード等)をシースルー・ディスプレイデバイス100の前に保持しながら、例えば「この物体を追跡する」といったような音声コマンドを使用し、それによって、その物体を追跡対象物体として記憶するようにシースルー・ディスプレイデバイスをトリガーすることができる。
[0017] 更に、いくつかの実施態様では、ユーザーは、追跡対象物体の指定に時間制約条件及び/又は位置制約条件をかけることが可能であってよい。例えば、海外へ旅行中のユーザーは、指定された日付範囲の間、又は指定された場所(例えば自宅)へ戻るまでパスポートを追跡対象物体として指定し、当該指定された日付、場所、若しくは他の条件が満たされた時に追跡が自動的に終了するようにすることができる。加えて、ユーザーは、不活発移動可能物体のステータスを追跡対象から非追跡対象へ随時変更するオプションを有することができる。追跡対象物体のユーザー指定のためのこれらの方法は例示の目的のために提示されたものであり、ユーザーは任意の適切な方法で追跡対象物体を定義することができる、ということが理解されるだろう。
[0018] 上述されたように、いくつかの実施態様では、シースルー・ディスプレイデバイス100は、どの物体を追跡すべきかを適応的に学習することができる。このことは、追跡対象物体として明示的には定義されなかったが、それでもなおある人にとっては潜在的に重要である物体を、その人が探し当てるのに役立つことができる。シースルー・ディスプレイデバイス100は、任意の適切な基準に基づいて、不活発移動可能物体を追跡対象物体として適応的に指定することができる。例えば、シースルー・ディスプレイデバイス100は、不活発移動可能物体を、当該物体の目撃及び/又は当該物体とのユーザー相互作用の数、パターン、及び/又は頻度に基づいて追跡対象物体として指定し、より頻繁に目にする、及び/又は相互作用される物体が、より高い可能性で重要とみなされるようにすることができる。
[0019] 更に、シースルー・ディスプレイデバイス100は、特定の場所(例えば、自宅、職場、及び他の場所)、時間、及び/又は状況(例えば、仕事に出掛ける準備ができた)を認識し、不活発移動可能物体を追跡対象物体として指定すべきか否かを、ユーザーが当該物体と相互作用する又は当該物体を別の態様で目にする場所、及び/又は状況に基づいて決定することができる。例えば、ユーザーの自宅の本棚に置かれた物体は、重要な物体である可能性が商品棚に置かれた物体よりも高いかもしれない。別の例として、追跡対象物体のすぐそばに配置された物体は、重要である可能性が他の物体よりも高いかもしれない。例えば、ユーザーは、キー、財布、及びモバイルデバイスをひとまとめにして一緒にテーブルの上に置くかもしれない。更に別の例として、他の人によって移動された物体は、潜在的に重要であるとみなされることができる。
[0020] 更に、いくつかの実施態様では、ユーザーは、ある場所及び/又はある時間を指定重要位置及び/又は指定重要時間として指定することが可能であってよい。このようにして、ユーザーが当該指定位置及び/又は当該指定時間に相互作用した物体は、重要と指定されていない時間及び/又は場所におけるよりも、重要である可能性がより高いかもしれない。一例として、ユーザーは、休暇の期間中、渡航文書のキャリア(travel document carrier)を重要な物体として指定することができる。同様に、ユーザーが自宅から別の場所へ運ぶ物体は、重要な物体である可能性が他の場所から由来する物体よりも高いかもしれない。例えば、レストランでは、ユーザーのコップよりも、ユーザーがコートのポケットから取り出してテーブルの上に置いた物体を追跡することがより望ましいかもしれない。
[0021] 更に別の例として、ユーザーが一日のうちのある時間に(例えば朝仕事に出掛ける前に)相互作用した物体は、重要な物体である可能性が、他の時間にそのユーザーが相互作用した物体よりも高いかもしれない。更に、ユーザーがユーザーコンテキストの変化に時間的に近接して(例えば、仕事に出掛けるため自宅を出る前に)相互作用した物体は、重要である可能性が高いかもしれない。何故なら、ユーザーは、自宅又は職場を出る前に、キー、財布、書類鞄、スマートフォン等と相互作用することがあるからである。ユーザーが長さの変わり得る出来事(キーを発見及び/又は家を出る前に毎朝キーを探すのに費やされる時間)の最後に相互作用した物体も、重要である可能性がより高いとみなされることができる。
[0022] 不活発移動可能物体は、任意の適切な方法で適応的に追跡対象として指定されることができる。例えば、上述されたように、重要度スコアが、映像イメージデータ内で検出及び特定された物体に対して、シースルー・ディスプレイデバイスのユーザーの当該物体との相互作用に関連する位置的、時間的、行動的、及び/又は他の要因に基づいて割り当てられることができる。もし重要度スコアが閾値重要度スコアを満たし、あるいは超えたら、その物体は追跡対象として指定されることができ、その物体の状態に関するより詳細な情報(例えば、その物体に関する最新の位置、履歴位置、変化し得る物理的特性の値等)が記憶されることができる。更に、いくつかの実施態様では、重要度の異なるレベルを定義するために異なる閾値重要度スコアが用いられることができる。これにより、重要度の異なるレベルに基づいて、1つの物体に対して、異なる種類の情報が記憶され、異なる種類のアラートが提供される等が可能となる。
[0023] 物体とのユーザー相互作用のパターンが、任意の適切な方法で追跡されることができる。例えば、時間に関するコンテキスト情報、位置に関するコンテキスト情報、行われている動作の種類に関するコンテキスト情報、及び/又は任意の他の適切なコンテキスト情報に基づいて、ユーザーの行動が分類されることができる。例示的なユーザー行動は、食事をとること、シャワーをすること、失くした物体を探すこと、車を運転して仕事に行くこと等を含む。そのような相互作用に関連した情報を経時的に追跡し記憶することによって、検出された物体との相互作用のパターンが観測されることができる。例えば、毎日午後の5時にユーザーはキーを置き、そのキーを毎朝8時に探すということが、シースルー・ディスプレイデバイス100を通じて観測されることができる。
[0024] 観測されたユーザーパターンに基づいて、アラートが発生されることもできる。例えば、ひとたびキーとのユーザー相互作用に関連した行動パターンが認識されると、そのキーの場所に関するリマインダーが、毎朝午前8時に自動的に表示されることができる。そのようなパターンはまた、シースルー・ディスプレイデバイスを通じて物体の場所が最後に観測及び記憶されてからその物体が移動した場合に、失くした物体がどこに存在する可能性があるかに関する推測を構築するために用いられることができる。失くした物体をどこで捜索すべきかに関する示唆を提供する表示された通知の一例が、当該物体を探すべき場所のリスト200の形で図2に示されている。図2はまた、その物体がどこで最後に見かけられたかに関する通知202も示す。失くした物体をどこで探すべきかに関する通知は、どんな形を取ってもよい、ということが理解されるだろう。例えば、そのような通知は、見込みのある場所へユーザーを案内する図形による指示、例えば、辿っていくべき矢印及び/又は直線や、探すべき示唆された場所を指し示す強調表示等の形を取ることができる。
[0025] いくつかの実施態様では、例えば各ユーザーが映像データをクラウドベースサービスにアップロードしている複数のユーザーからの映像データの入力に基づいて、場所の共通ビューが生成されることができる。これによって、あるユーザーの映像ストリームの中に見られる物体が別のユーザーの映像ストリームの中に見られる物体と関連付けられることが可能となり、したがって、物体が他のユーザーによって移動された場合であってもそれらが追跡されることが可能となる。更に、複数のユーザーが映像データの代わりに追跡対象物体データをアップロードすることができるように(例えば、複数のデバイスが同一の物体についてローカルな認識を実施することができるように)、物体メタデータがユーザー間で共有されることができる。
[0026] 上述されたように、位置に加えて、物体の他の状態が解釈され、監視されることができる。非限定的な例として、牛乳パックの中の牛乳の液面水位が監視されることができる。同様に、冷蔵庫の中身のリストが経時的に監視されることができ、いつもはある品目が無くなっていることが通知されることができる。これらの観測された状態に基づいて、コンテキストに関するトリガーによってアラートが発生されることができる。例えば、観測された空の牛乳パックの場合には、ユーザーが食料品店の牛乳売り場のそばを歩いている時に、視覚的オーバーレイ、自動的に生成された買い物リスト、及び/又は音声リマインダーが生成されることができる。食料品店の牛乳売り場にいるというコンテキストに関するトリガーは、限定ではないが、食料品店若しくは牛乳の生産者による特定の種類/ブランドの製品の注釈又はタグ付けによること、牛乳売り場で観測された物体の外観、サイズ、及び/又は他の物理的及び/又はコンテキストに関する特性を追跡対象の牛乳の物体の特性と照合することによること等を含む、任意の適切な方法で解釈されることができる。更に、牛乳パックの満状態と比較されるユーザーの買い物のパターンが経時的に観測される(即ち、ユーザーは一貫して、牛乳パックの状態が空又はほとんど空である場合により多く牛乳を買う)につれて、牛乳パックの満状態が経時的に追跡対象物体の状態として適応的に学習されることができる。
[0027] 図3は、不活発移動可能物体の自動化追跡に関する使用環境300のブロック図を示す。使用環境300は、コンピューターネットワークなどのネットワーク307を介してリモート物体追跡サービス306と通信する、物体追跡デバイス1 302及び物体追跡デバイスN 304として描かれた任意の数N個の物体追跡デバイスを示す。物体追跡デバイスは、限定ではないが、図1のシースルー・ディスプレイデバイス100を含む、任意の適切な形態を取ることができる、ということが理解されるだろう。いくつかの実施態様は、リモート物体追跡サービスを省略してもよい、ということが更に認識されるだろう。
[0028] 物体追跡デバイス302は、1又は複数のセンサー308を備える。センサー308は、ユーザーのローカル環境の映像データを収集する、2次元イメージセンサー310及び/又は深度センサー312などのイメージセンサーを含むことができる。任意の適切な種類と数の2次元イメージセンサー310及び/又は深度センサー312が含まれてよい。適切な2次元イメージセンサーの例は、RGBセンサー及びグレイスケールセンサーを含む。適切な深度センサーの例は、飛行時間センサー、構造化光センサー、及びステレオ深度センサーを含む。任意の他の適切なセンサーが含まれてよい、ということが理解されるだろう。例は、限定ではないが、マイク、全地球測位システム(GPS)センサー、モーションセンサー、目の動きを検出する内向きイメージセンサー等を含む。
[0029] イメージセンサーを介して収集されたイメージデータは、イメージセンサーによって撮像された物体を識別し、その物体に関する状態情報を検出する物体認識追跡モジュール314へ供給される。物体認識追跡モジュール314は、更に、以下でより詳細に説明されるように、物体の状態に基づいて、1又は複数の出力機器316、例えばディスプレイ318(例えばシースルー・ディスプレイ又は任意の他の適切なディスプレイ)及び/又は1又は複数のスピーカー320へアラートを供給することができる。物体認識追跡モジュール314は、任意の適切な方法で物体を識別することができ、それには、限定ではないが、開発者によって予め訓練された分類関数、及び/又はユーザー特定の物体を認識するようにユーザーによって訓練された分類関数によることが含まれる。ここで、分類関数は、観測された物体を物体モデル315と比較し、及び/又は適合させる。物体認識追跡モジュール314は、次いで、イメージデータ内で識別された物体に対応する物体IDを物体情報記憶装置322へ出力することができる。更に、新たな物体(即ち以前は検出されなかった物体)が検出された場合、物体認識追跡モジュール314は、その物体にIDを割り当てることができる。
[0030] 物体情報記憶装置322は、限定ではないが、追跡対象物体のID及び状態情報を含む追跡対象物体データ324を記憶するように構成されることができる。物体情報記憶装置322は、ユーザーパターンを適応的に学習して物体を追跡対象として自動的に指定する実施態様では、非追跡対象物体データ326を記憶することもできる。ここで、「非追跡対象」という用語は、状態情報がそのような物体に対しては記憶されていないということを示す。非追跡対象物体データ326は、物体1 328及び物体N 332として描かれた複数の非追跡対象物体に関する情報を記憶しているように描かれている。任意の適切な非追跡対象物体データが記憶されることができる。例えば、重要度スコア情報330がそれぞれの非追跡対象物体について記憶されることができ、ここで、重要度スコア情報330は、認識された物体に対して当該物体とのユーザー相互作用に基づいて割り当てられて、次いで、物体の状態を追跡すべきか否かを決定するのに用いられることができる。重要度スコアが閾値重要度スコアを超えると、その物体は追跡対象物体として指定されることができ、その物体に対して状態情報が記憶されることができる。
[0031] 追跡対象物体データ324は、任意の適切な数及び種類の追跡対象物体に対して記憶された任意の適切なデータを含むことができる。図3では、複数の追跡対象物体が追跡対象物体1 336及び追跡対象物体N 337として示されている。追跡対象物体1については、様々な状態データ338も描かれている。例えば、限定ではないが、最新の位置及び/又は過去の位置を含む位置情報340が記憶されることができる。そのような位置情報はまた、物体との過去のユーザー相互作用に関する情報も含むことができる。これによって、例えば、失くした物体を探し当てるのに役立つようユーザーパターンを分析することが可能となる。任意の適切な位置情報が記憶されることができる。例は、現在の使用環境の物理的な位置(例えばGPS座標)、及び/又はコンテキストに関する位置データ(例えば他の追跡対象物体/認識された物体に対する位置)に関する情報を含む。
[0032] 更に、物体の変化し得る特性の値342に関する情報が記憶されることができる。例えば、上述されたように、冷蔵庫の中の特定の食料品目が無くなっていること、牛乳パックの中の牛乳の液面水位、及び/又は、物体の変化し得る特性に関連した任意の他の適切な値が記憶されることができる。これらの特定の種類の状態情報は例示の目的のために説明されており、任意の他の適切な状態情報が記憶されてよい、ということが理解されるだろう。
[0033] 状態情報以外の情報も物体に対して記憶されることができる。例えば、適応的に学習し物体を追跡対象として指定する実施態様では、追跡対象としての物体の指定を維持すべきか否かを決定するために、重要度スコアデータ344が追跡対象物体に対して記憶されることができる。例えば、もしユーザーが紛失してない物体と相互作用するのをやめたら、経時的にその物体のスコアは減少し、その物体は追跡されなくなるかもしれない。更に、アラート条件346が記憶されることもでき、ここで、アラート条件は、提供されるべきアラートの性質のみならず、アラートが指定の物体に対していつトリガーされるべきであるかを規定する。
[0034] 加えて、コンテキストデータ350が、物体の重要度スコアの決定において役立つ物体情報として記憶されることができる。例えば、コンテキストデータ350は、重要度スコアを物体に割り当てる目的のために、位置352、時間354、及び/又は他のコンテキスト情報を「重要である」と定義することができる。位置352の例は、実際の物理的位置、他の追跡対象物体への近さに関するコンテキストルール、及び他のそのような位置データを含むことができる。時間354の例は、時計/カレンダーの時間、及び/又は、観測された物体の相互作用と他の出来事、例えば位置の変化との間の時間間隔(例えば、物体と相互作用することと、その後、家を出ることとの間の時間)に関するコンテキストルールを含むことができる。コンテキストデータ350は、更に、物体の重要度スコアを決定するに当たって位置、時間、及び他のコンテキスト情報をどのように適用すべきかに関するコンテキストルールを含むことができる。
[0035] いくつかの実施態様では、物体に対するイメージデータの分析は、リアルタイムではなく後で実施されることができる。したがって、物体情報記憶装置322は、物体認識追跡モジュール314によって処理されていないイメージデータ355を含むことができる。そのような実施態様では、イメージ分析は、ユーザーが、記憶されたイメージデータ355の中から関連のあるイメージデータを見つけることによってイメージデータの中から物体を探し当てるべく、その物体についての情報を要求した時に、実施されることができる。関連のあるイメージデータを見つけるのを補助するために、位置(例えばGPSデータ)及び/又はイメージデータが取得された時間などの様々なメタデータが、イメージデータと共に記憶されることができる。
[0036] いくつかの実施態様では、物体の追跡と記憶は、物体追跡デバイス302上でローカルに実施されることができる。他の実施態様では、上述されたように、物体追跡デバイス302は、ネットワークを介してリモート物体追跡サービス306と通信することができる。これによって、物体データとイメージデータがユーザー間で共有されることが可能となる。リモート物体追跡サービス306は、物体追跡デバイス302に関して上述された物体認識、追跡、及びアラート生成の機能のうちのいずれをも実施することができる。更に、ユーザーから受け取られた情報が、ユーザー情報記憶装置356に記憶されることができ、ユーザー情報記憶装置356は、ユーザー1 358及びユーザーN 359により表された複数のユーザーの情報を記憶しているように描かれている。限定ではないが、物体データ360(例えば、追跡対象物体及び非追跡対象物体の情報)、イメージデータ362(例えば、点群深度データ及び/又は2次元イメージデータ)、及びコンテキストデータ364(例えば、ユーザーが相互作用した物体を追跡すべきか否かを決定するために用いられる、場所/時間/他のコンテキスト)を含む任意の適切な情報が記憶されることができる。更に、ユーザーデータはまた、物体データ、イメージデータ、及び/又は他の情報が共有可能な信頼された他のユーザー366に関する情報も含むことができる。例えば、ユーザーは、失くした物体の発見を手助けするために、家族の他のメンバーのイメージデータにアクセスすることを望むかもしれない。より具体的な例として、もしユーザーの配偶者がユーザーのキーをテーブルから引き出しの中へ移動させたら、配偶者の物体データ及び/又はイメージデータが、キーを探し当てるのに役立つよう、そのユーザーの物体データ及び/又はイメージデータと一緒に検索されることができる。
[0037] 図4は、シースルー・ディスプレイデバイスによって物体を追跡するための方法400の実施態様を説明するフロー図を示す。方法400は、402において、シースルー・ディスプレイシステムを通して見える背景シーンのイメージデータをイメージセンサーから受け取るステップを含む。ここで、「背景シーン」という用語は、ユーザーに対してシースルー・ディスプレイの後方に位置する現実世界のシーンの視野を意味する。限定ではないが、2次元映像データ404(RGB及び/又はグレイスケール)及び深度データ406を含む、任意の適切なイメージデータが取得されることができる。
[0038] 方法400は次に、408において、リアルタイムで、又は後でトリガー(例えば、物体を探し当てるユーザー要求、コンテキストトリガー等)を受け取った時に、イメージデータ内において不活発移動可能物体を識別するステップと、410において、検出された不活発移動可能物体が追跡対象物体であるか否かを判定するステップとを含む。上述されたように、不活発移動可能物体は、任意の適切な方法で識別されることができ、それには、限定ではないが、移動可能物体を物体モデルと比較する分類方法によることが含まれる。
[0039] 同様に、上述されたように、不活発移動可能物体は、任意の適切な方法で追跡対象として定義されることができる。例えば、412に示されるように、ユーザーは、ある物体が追跡対象として指定されることを(音声、ジェスチャー、及び/又は他の適切なユーザー入力を通じて)要求し、その物体のイメージをスキャンすることができる。加えて、シースルー・ディスプレイデバイスの開発者及び/又は製造者によって、いくつかの物体が重要であるとして指定されることができる。
[0040] 更に、414に示されるように、不活発移動可能物体は、もし当該物体とのユーザー相互作用に基づいて割り当てられたスコア(「重要度スコア」)が閾値重要度スコアを満たしたら、追跡対象として指定されることができる。任意の適切な要因又は要因の組み合わせが、そのようなスコアを決定するのに用いられることができる。例えば、重要度スコアは、416に示されるように、物体との経時的なユーザー相互作用の数、頻度、及び/又はパターンに少なくとも部分的に基づいて決定されることができる。更に、418に示されるように、重要度スコアを決定するに当たって位置的情報も用いられることができる。そのような位置的情報は、420に示されるように、物体が、重要であると指定された場所に存在するか否か、及び/又は、422に示されるように、物体が、別の追跡対象物体の十分すぐそばに存在するか否かということを含むことができるが、それらに限定はされない。
[0041] 更に、重要度スコアはまた、424に示されるように、ユーザー相互作用が生じた時間に少なくとも部分的に基づいて割り当てられることもできる。その時間は、指定された重要時間426、物体とのユーザー相互作用とユーザーコンテキストの変化又は他の注目すべき出来事との間の時間的な近さ、及び/又は、任意の他の適切な時間的要因を含むことができる。位置及び/又は時間は、限定ではないが、ユーザーによること、開発者及び/又は製造者によること、適応的学習を通じること等を含む、任意の適切な方法で重要と指定されることができる、ということが理解されるだろう。重要度スコアは、任意の他の適切な方法で割り当てられることができる、ということも理解されるだろう。例えば、いくつかの実施態様では、ユーザーが、物体に重要度スコアを割り当てることができる。そのような実施態様では、ユーザー割り当てスコアは、恒久的に割り当てられることができ、又は、物体とのユーザー相互作用に基づいて後で変更される初期値であってもよい。同様に、他の実施態様では、アプリケーションが、位置及び/又は時間以外の任意の適切な要因に基づいて、重要度スコアを選択することができる。
[0042] もし不活発移動可能物体が追跡対象物体であると判定されると、その場合、方法400は、430において、物体の状態に関する情報を記憶するステップを含む。記憶された状態情報は、限定ではないが、位置情報、及び/又は、物体の変化し得る物理的特性の値に関する情報を含むことができる。更に、状態情報は、432に示されるように、ローカルに記憶されることができ、及び/又は、434に示されるように、リモート記憶のためにリモートサービスへ送られることができる。
[0043] 方法400は次に、436において、追跡対象物体の状態の通知の出力を提供するためのトリガーを検出するステップを含む。任意の適切なトリガーが用いられることができる。例えば、438に示されるように、トリガーは、失くした物体を探し当てる要求などの、物体の状態に関する情報を要求するユーザー入力を含むことができる。更に、440に示されるように、トリガーは、閾値条件を満たした物体の変化し得る物理的特性の検出値を含むことができる。更に別の例として、442に示されるように、トリガーは、検出された時間、場所、及び/又は、追跡対象物体にコンテキストが関連する他の物体を含むことができる。例えば、ユーザーが食料品店の乳製品売り場を歩いていることを検出することは、もし牛乳が無くなっていること/牛乳の液面水位が低くなっていることがそのユーザーの冷蔵庫において以前に検出されているなら、牛乳を買うリマインダーの通知の出力をトリガーすることができる。同様に、ユーザーが自宅以外の場所にいる場合、トリガーの検出は、ユーザーが個人的な持ち物から予め決められた距離を移動したことを検出することを含むことができる。より具体的な例として、ユーザーがレストランで財布を置き、その後テーブルから歩き去り、又はその建物の外へ歩いていった場合、トリガーが検出されることができる。上述されたトリガーは、例示の目的のために提示されており、如何なる方法であっても限定的であることを意図していない、ということが理解されるだろう。
[0044] トリガーを検出すると、方法400は、444において、物体の状態の通知の出力を提供するステップを含む。音声出力446及び/又は映像出力448を含む任意の適切な出力が提供されることができる。適切な映像出力の例は、限定ではないが、図1に関して上述されたような、シースルー・ディスプレイデバイスを用いた拡張現実イメージを含む。更に、ローカル記憶装置又はリモートサービスから、状態に関する情報が取得されることができる。情報がリモートサービスから取得される場合、その情報は、ユーザーのアカウント、上述されたような別の信頼されたユーザーのアカウント、又は任意の他の適切な情報源から取得されることができる。
[0045] 通知は、任意の適切な情報を含むことができる。例えば、450に示されるように、通知は、ユーザーに物体の最も新しく記憶された位置を知らせることができる。より具体的な例として、通知は、物体の物理的な位置を背景シーンに強調表示することができ、及び/又は、ユーザーを最新の場所に案内する指示(矢印、直線、文章等)を含むことができる。通知はまた、ユーザーが物体を公共の場所に置き忘れたというアラートを含むこともできる。更に、通知は、物体の変化し得る物理的特性の検出値に関する情報を含むことができる。例えば、牛乳パックが空である閾値状態を満たした場合、通知は、もっとたくさんの牛乳を買うリマインダー、及び/又はもっとたくさんの牛乳のオンライン購入を行うオプションを含むことができる。
[0046] 更に、いくつかの実施態様では、通知は、捜索中の物体のイメージを含むことができる。これは、当該物体と見た目がよく似ているが異なるものが存在する場合に、その物体を探し当てるのに役立つことができる。例えば、もしユーザーが1組のキーを探していて、ディスプレイデバイスが似たように見える4組のキーについての情報を持っているなら、ディスプレイデバイスは、その4組のキーのイメージを示して、ユーザーが捜索中の組を選択することを可能にすることができる。更に、物体の現在の配置のイメージが表示されることができる。例えば、もし捜索中の1組のキーが現在ナイトテーブルの上にあるなら、ディスプレイデバイスは、ユーザーにキーの実際の場所を示すために、ナイトテーブルの上にキーのイメージを表示することができる。
[0047] このようにして、物体の状態がユーザーに代わって自動的に追跡され、それによって、失くした物体を探し当てること、及び/又は、任意の他の適切な物体の状態を追跡することを容易化することができる。いくつかの実施態様では、上述された方法及び処理は、1又は複数のコンピューターを含むコンピューティングシステムに結び付けられることができる。特に、本明細書で説明された方法及び処理は、コンピューターアプリケーション、コンピューターサービス、コンピューターAPI、コンピューターライブラリー、及び/又は他のコンピュータープログラム製品として実現されることができる。
[0048] 図5は、上述された方法及び処理の1又は複数を実施することができる非限定的なコンピューティングシステム500を模式的に示す。コンピューティングシステム500は、簡略化された形で示されている。本開示の範囲から逸脱することなく、ほとんど任意のコンピューターアーキテクチャーが用いられることができる、ということが理解されなければならない。様々な実施態様において、コンピューティングシステム500は、メインフレームコンピューター、サーバーコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテインメントコンピューター、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、シースルー・ディスプレイデバイス、ニアアイ(near-eye)・ディスプレイデバイス、ゲームデバイス等の形を取ることができ、それには、限定ではないが、図1−4を参照して本明細書で説明されたシースルー・ディスプレイ及び他のコンピューティングデバイスが含まれる。
[0049] コンピューティングシステム500は、論理サブシステム502とデータ保持サブシステム504を含む。コンピューティングシステム500は、オプションとして、表示サブシステム508、通信サブシステム506、及び/又は図5に示されていない他のコンポーネントを含んでよい。コンピューティングシステム500はまた、オプションとして、例えばキーボード、マウス、ゲームコントローラー、カメラ、マイク、及び/又はタッチスクリーンなどのユーザー入力デバイスを含んでもよい。
[0050] 論理サブシステム502は、1又は複数の命令を実行するように構成された1又は複数の物理的なデバイスを含むことができる。例えば、論理サブシステムは、1又は複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリー、オブジェクト、コンポーネント、データ構造、又は他の論理的構造物の一部である、1又は複数の命令を実行するように構成されることができる。そのような命令は、タスクを実施し、データタイプを実現し、1又は複数のデバイスの状態を変換し、又は別の方法で所望の結果に到達するように実装されることができる。
[0051] 論理サブシステムは、ソフトウェア命令を実行するように構成された1又は複数のプロセッサーを含むことができる。加えて、又はその代わりに、論理サブシステムは、ハードウェア命令又はファームウェア命令を実行するように構成された1又は複数のハードウェア論理マシン又はファームウェア論理マシンを含むことができる。論理サブシステムのプロセッサーは、シングルコア又はマルチコアであってよく、その上で実行されるプログラムは、並列処理又は分散処理向けに構成されることができる。論理サブシステムは、オプションとして、リモートに配置され及び/又は連携処理向けに構成されることのできる2以上のデバイスにわたって分配された、個別のコンポーネントを含んでよい。論理サブシステムの1又は複数の特徴は、クラウドコンピューティングの形態に構成されたリモートアクセス可能なネットワーク型コンピューティングデバイスによって、仮想化され実行されることができる。
[0052] データ保持サブシステム504は、本明細書で説明された方法及び処理を実現するように論理サブシステムによって実行可能なデータ及び/又は命令を保持するように構成された、1又は複数の物理的且つ非一時的なデバイスを含むことができる。そのような方法及び処理が実現される時、データ保持サブシステム504の状態は(例えば異なるデータを保持するように)変換されることができる。
[0053] データ保持サブシステム504は、リムーバブルメディア及び/又は組み込みデバイスを含むことができる。データ保持サブシステム504は、特に、光メモリデバイス(例えば、CD、DVD、HD−DVD、Blu−Ray Disc等)、半導体メモリデバイス(例えば、RAM、EPROM、EEPROM等)、及び/又は磁気メモリデバイス(例えば、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、テープドライブ、MRAM等)を含むことができる。データ保持サブシステム504は、以下の特性、即ち、揮発性、不揮発性、動的、静的、読み取り/書き込み、読み取り専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス指定可能、ファイルアドレス指定可能、及び内容アドレス指定可能、のうちの1又は複数を有したデバイスを含むことができる。いくつかの実施態様では、論理サブシステム502とデータ保持サブシステム504は、特定用途向け集積回路又はシステムオンチップなどの、1又は複数の共通のデバイスに統合されることができる。
[0054] 図5はまた、本明細書で説明された方法及び処理を実現するように実行可能なデータ及び/又は命令を記憶及び/又は転送するのに用いられることのできる、リムーバブルなコンピューター可読記憶媒体510の形態によるデータ保持サブシステムの一側面をも示す。リムーバブルなコンピューター可読記憶媒体510は、特に、CD、DVD、HD−DVD、Blu−Ray Disc、EEPROM、及び/又はフロッピーディスクの形を取ることができる。
[0055] データ保持サブシステム504は、1又は複数の物理的且つ非一時的なデバイスを含む、ということが認識されなければならない。対照的に、いくつかの実施態様では、本明細書で説明された命令の態様は、少なくともある有限の期間の間物理的なデバイスにより保持されない純粋な信号(例えば、電磁気的信号、光学的信号等)によって、一時的な方法で伝送されることができる。その上、本開示に関係するデータ及び/又は他の形態の情報は、純粋な信号によって伝送されることができる。
[0056] 「モジュール」及び「プログラム」という用語は、1又は複数の特定の機能を実施するように実現されたコンピューティングシステム500の一側面を説明するために用いられることができる。いくつかの場合には、そのようなモジュール及び/又はプログラムは、データ保持サブシステム504によって保持された命令を実行する論理サブシステム502を通じてインスタンス化されることができる。同一のアプリケーション、サービス、コードブロック、オブジェクト、ライブラリー、ルーチン、API、関数等から異なるモジュール及び/又はプログラムがインスタンス化されることができる、ということが理解されなければならない。同様に、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数等によって同一のモジュール及び/又はプログラムがインスタンス化されることができる。「モジュール」及び「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリー、ドライバー、スクリプト、データベースレコード等の1つ1つ又は集まりを包含することを意図している。
[0057] 本明細書で用いられるような「サービス」は、複数のユーザーセッションにわたって実行可能で、1又は複数のシステムコンポーネント、プログラム、及び/又は他のサービスに利用可能なアプリケーションプログラムであってよい、ということが認識されなければならない。いくつかの具体例では、サービスは、クライアントからの要求に応答してサーバー上で動作することができる。
[0058] 表示サブシステム508は、データ保持サブシステム504によって保持されたデータの視覚的表現を提示するのに用いられることができる。本明細書で説明された方法及び処理がデータ保持サブシステムによって保持されたデータを変化させ、それによりデータ保持サブシステムの状態を変換する際、表示サブシステム508の状態は同様に、元となるデータの変化を視覚的に表現するように変換されることができる。表示サブシステム508は、限定ではないが、シースルー・ディスプレイ技術を含むほとんど任意の種類の技術を利用した1又は複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、論理サブシステム502及び/又はデータ保持サブシステム504と共有筐体内で結合されることができ、又は、そのようなディスプレイデバイスは、周辺装置としてのディスプレイデバイスであってもよい。
[0059] 含まれる場合、通信サブシステム506は、コンピューティングシステム500を1又は複数の他のコンピューティングデバイスと通信可能に結合するように構成されることができる。通信サブシステム506は、1又は複数の異なる通信プロトコルと互換性のある有線及び/又は無線の通信デバイスを含むことができる。非限定的な例として、通信サブシステムは、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク等を介した通信のために構成されることができる。いくつかの実施態様では、通信サブシステムは、コンピューティングシステム500がインターネットなどのネットワークを介してメッセージを他のデバイスへ送信し、及び/又は他のデバイスから受信することを可能にすることができる。
[0060] 本明細書で説明された構成及び/又は手法は本質的に例示的なものであり、数多くのバリエーションが可能であるためこれらの具体的な実施態様又は例は限定的な意味に解されてはならない、ということが理解されなければならない。本明細書で説明された具体的なルーチン又は方法は、多くの処理戦略のうちの1又は複数を代表することができる。それ故に、例示された様々な動作は、例示された順序で、他の順序で、並列で、又はあるケースでは省略されて、実施されることができる。同様に、上述された処理の順序は変更されることができる。
[0061] 本開示の主題は、本明細書で開示された様々な処理、システム及び構成、並びに、他の特徴、機能、動作、及び/又は特性のみならず、それらのいずれか及び全ての均等物の、あらゆる新規且つ非自明なコンビネーション及びサブコンビネーションを含んでいる。