JP2024500650A - 拡張現実オブジェクトを生成するシステム及び方法 - Google Patents

Abstract

ユーザは、スマート装置のカメラを用いてユーザの周囲のビデオをキャプチャすることができ、スマート装置は、スマート装置によってキャプチャされている画像上に仮想オブジェクトを重ね合わせることができる。仮想オブジェクトは、スマート装置の周囲環境にある実際のオブジェクト、例えば床上のチョーク画に基づいて選択できる。アプリケーションは、アイテムを選択する際に、他の要素、例えばユーザのプロファイル及び地理位置情報、並びにアプリケーションのユーザによってダウンロードされた特徴（キャラクター、アクセサリ、マスク、アバターなど）を考慮する場合がある。アプリケーションにより、ユーザは、オブジェクトをカスタマイズして特徴をオブジェクトに追加することにより、仮想オブジェクトと対話することができる。【選択図】図１

Description

本願は、２０２０年１１月２４日に出願され、２０２１年５月２５日に米国特許第１１０１７６０９号として特許された米国非仮出願第１７／１０２７２１号の優先権を主張するものであり、その全体は、参照により本明細書に組み込まれるものとする。

本発明は、拡張現実オブジェクトを生成するシステム及び方法に関する。

拡張現実は、現実の拡張バージョンであり、そこでは、現実世界の物理的な環境のライブの直接的又は間接的なビューが、現実世界のユーザのビューに重ね合わされたコンピュータ生成画像によって拡張されている。場合によって、拡張現実には、視覚、聴覚、触覚、体性感覚、嗅覚などの複数の感覚モダリティにわたってコンピュータにより生成された知覚情報が含まれる。拡張現実は、ある人の現在の現実知覚を強化することができる。

機械学習では、統計的手法を用いて、明示的にそのようにプログラムされていなくても、コンピュータに、データを用いて特定のタスクを実行するように学ばせる。機械学習の目標は、データから学習し、かつデータを予測することができるアルゴリズムを構築することである。これらのアルゴリズムは、データを分類することができる数学的モデルを作成することによって機能する。モデルを作成するプロセスには、入力データを用いてモデルパラメータをトレーニングして微調整することが含まれ得る。

拡張現実は、子供たちがそれらの周囲環境と対話し、創造的感覚を強化し、オブジェクトを探索するために、独特の学習と娯楽のツールを提供する。具体的には、拡張現実を用いて、（例えば、リアルタイムで）キャプチャされている環境画像のディスプレイ上に仮想オブジェクト（又は拡張現実オブジェクト）を重ね合わせることができる。例えば、スマート装置（例えば、スマートフォン、タブレット、スマートグラス、ウェアラブル装置など）のユーザは、スマート装置のカメラを用いて、ユーザの周囲のビデオをキャプチャすることができ、スマート装置（例えば、スマート装置上で実行されている拡張現実アプリケーション）は、スマート装置によってキャプチャされている画像上に仮想オブジェクト（例えば、拡張現実オブジェクト）を重ね合わせることができる。

仮想オブジェクトは、子供の周囲環境にある実際のオブジェクト、例えば床上のチョーク画に基づいて選択できる。アプリケーションは、アイテムを選択する際に、他の要素、例えばユーザのプロファイル及び地理位置情報、並びにアプリケーションのユーザによってダウンロードされた特徴（例えば、キャラクター、アクセサリ、マスク、アバターなど）を考慮する場合がある。アプリケーションにより、子供は、オブジェクトをカスタマイズして特徴をオブジェクトに追加することにより、仮想オブジェクトと対話することができる。１つの例示的な実施形態では、ユーザは、仮想オブジェクトとの自分自身の対話を記録することができ、アプリケーションは、この対話をソーシャルメディアアプリケーションに投稿することができる。拡張現実アプリケーションは、子供が他の方法で見たり体験したりすることができない仮想オブジェクトの特徴及び機能を表示することができる。したがって、仮想オブジェクトは、ユーザの学習体験を強化することができる。

この発明の概要は、以下の発明を実施するための形態において更に説明される簡略化の形式で概念の選択を紹介するために提供される。この発明の概要は、特許請求の範囲に記載の主題の重要な特徴又は本質的な特徴を特定することを意図しておらず、また、特許請求の範囲に記載の主題の範囲を決定する補助として用いられることを意図していない。

付加的特徴及び利点は、以下の説明に記載され、部分的に、以下の説明から明らかになるか、又は本明細書の教示の実践により学習され得る。本発明の特徴及び利点は、添付された特許請求の範囲で特に指摘された手段及び組み合わせによって実現されて取得され得る。本発明の特徴は、以下の説明及び添付された特許請求の範囲からより完全に明らかになるか、又は以下に説明される本発明の実施により学習され得る。

上記及び他の利点及び特徴が取得される方法を説明するために、添付された図面に示される特定の実施形態を参照して、以上に簡単に説明された主題をより詳細に説明する。これらの図面は、典型的な実施形態のみを示すため、範囲を限定するものと考えられないことが理解され、添付図面を使用して追加の特異性及び詳細によりそれらの実施形態を説明する。

拡張現実アプリケーションの例示的なアカウントログインページを示している。 アプリケーションの例示的なホームページを示している。 アプリケーションの例示的な拡張現実ページを示している。 例示的な実施形態に係る、通知を表示するアプリケーションの拡張現実ページを示している。 例示的な実施形態に係る、仮想オブジェクトを表示するアプリケーションの拡張現実ページを示している。 仮想オブジェクトとの対話のタイプを特定するための例示的な対話ページを示している。 対話ページで要求される例示的な対話の実装を示している。 サーバ又はスマート装置の例示的なハードウェアコンポーネントを示している。

本発明の様々な特徴を説明するために、本発明の例示的な実施形態について説明する。本明細書に記載される実施形態は、本発明の範囲を限定することを意図するものではなく、むしろ本発明のコンポーネント、使用及び動作の例を提供することを意図するものである。

本開示は、スマート装置のカメラによって写真又はビデオフィードを記録し、写真及び／又はビデオフィード上に様々な仮想オブジェクト（例えば、アニメーション）を表示することができるスマート装置アプリケーションプログラムに関する。仮想オブジェクトを重ね合わせる前に写真及び／又はビデオに現れたオブジェクトに応じて、アプリケーションは、ビデオフィード上に表示されるオブジェクト及びオブジェクトの機能の選択を決定することができる。１つの例示的な実施形態では、ユーザは、床上のチョーク画のスナップ写真を撮り、チョーク画によって描かれたオブジェクトに基づいて選択されたアニメーションを表示することができる。このアプリケーションにより、ユーザは、アニメーションと対話することができる。また、このアプリケーションにより、ユーザは、アプリケーションとの対話を記録し、その対話をソーシャルメディアプラットフォームに投稿することができる。

図１は、拡張現実アプリケーション（「アプリケーション」）の例示的なアカウントログインページ１１０を示している。アカウントログインページ１１０により、ユーザは、アプリケーションにアクセスすることができる。アプリケーションは、スマート装置１００のディスプレイにユーザインターフェース１０１を表示するように構成されてもよい。アカウントログインページ１１０は、ユーザ名を受信するためのフィールド１１１と、パスワードを受信するためのフィールド１１２と、アカウントにログインするためのログインボタン１１４とを含んでもよい。また、ページ１１０は、ユーザ名又はパスワードを入力せずにアプリケーションの拡張現実機能にアクセスするためのボタン１１３を含んでもよい。１つの例示的な実施形態では、ユーザ名及びパスワードを用いてアプリケーションにアクセスすると、アプリケーションがユーザのプロファイルにアクセスすることにより、ユーザ向けにカスタマイズされた特徴及び設定を表示することができる。しかしながら、別の例示的な実施形態では、ユーザは、ユーザ名又はパスワードなしでアプリケーションにアクセスすることができる。

図２は、アプリケーションの例示的なホームページ２１０を示している。ホームページ２１０により、ユーザは、アプリケーションの拡張現実機能にアクセスし、ユーザのプロファイルへの編集を可能にするページにナビゲートすることができる。ホームページ１１０は、ユーザの名前を受信するためのフィールド２１１と、テーマを受信するためのフィールド２１２と、ユーザのプロファイルを編集するためのボタン２１３と、アプリケーションの拡張現実機能をアクティブにするためのボタン２１４とを含んでもよい。ユーザの名前を入力すると、アプリケーションがユーザの名前を表示及び／又は発音するため、仮想オブジェクトをユーザに表示する場合にユーザがよりパーソナライズされた体験を楽しむことができる。例えば、ユーザインターフェース１０１に表示されるアニメーションフィギュアは、ユーザと話したり、ユーザからコマンドを受け取ったりする前に、ユーザの名前をアナウンスすることができる。ユーザは、フィールド２１２にテーマを入力することができる。テーマを入力すると、ユーザは、対話したい仮想オブジェクト（及び／又は機能）のサブセットを特定することができる。例えば、１つの実施形態では、テーマは、科学又は娯楽であってもよい。テーマとして科学を選択することに応答して、アプリケーションは、科学関連の仮想オブジェクト、例えば化合物を検索して表示することができ、また、娯楽テーマを選択することに応答して、アプリケーションは、アニメのキャラクターを検索して表示することができる。一例では、検索機能は、スマート装置のカメラで写真をスキャンすることによってトリガーされる。

１つの例示的な実施形態では、アプリケーションは、一連のテーマを記憶し、そしてテーマごとに一連のオブジェクト及び仮想現実応答を規定してもよい。例えば、娯楽テーマの場合、アプリケーションは玩具を記憶し、仮想現実応答には、オブジェクト及び／又はオブジェクトに追加されたカスタマイズされたアクセサリを含むアニメーションが含まれてもよい。アプリケーションは、写真又はビデオを受信し、写真又はビデオにおける１つ以上のオブジェクトを検出するように構成されてもよい。アプリケーションは、検出されたオブジェクトに基づいて、仮想現実応答をトリガーすることができる。仮想現実応答は、アニメーション、アクセサリオブジェクトなどの表示を含んでもよい。１つの例示的な実施形態では、アプリケーションは、ユーザのプロファイル、ユーザから受信した地理位置情報データ、スマート装置が位置する環境の温度又は湿度、スマート装置によって検出された速度、加速度及び／又はＧＰＳ位置、スマート装置によって検出された顔又は指紋、スマート装置によって検出されたセルラー信号の強度、スマート装置によって検出された背景音楽、可聴音又は非可聴音などに基づいて、アニメーション及び／又はアクセサリオブジェクトを変更することができる。一例では、ウサギの絵を検出すると、アプリケーションは、仮想現実応答、例えばウサギが歩いていることを表示するアニメーションをトリガーすることができる。スマート装置の速度が例えば２０マイル／時間より速いことを検出すると、アプリケーションは、車で」運転しているウサギを表示することができる。同様に、検出された湿度が閾値を超えている場合、又は国家気象局からのデータが、雨が降っていることを示している場合、アプリケーションは、アニメーションにおいて雨滴を表現することができる。別の例として、アプリケーションは、天気が雨であることを検出すると、ユーザに傘を手に入れるよう促すことができる。例えば、アプリケーションは、ユーザをオンラインアプリストアに誘導してアクセサリとして傘を手に入れる。

一例では、バーコード又はオブジェクト（例えば、ショッピングカート）を検出すると、アプリケーションは、仮想現実応答をトリガーし、例えば、店舗内を走っていたり及び／又は歩いていたりするアニメーションキャラクターを表示することができる。１つの例示的な実施形態では、ユーザは、店舗内でバーコード（又はオブジェクト又はブランド）をスキャンすることができ、アプリケーションは、店舗の特定の製品を展示する区域にユーザを案内することができる。例えば、バーコードを検出すると、アプリケーションは、名前、住所、販売者ＩＤなどの店舗に関する情報を受信することができる。アプリケーションは、店舗に関する情報を記憶するセントラルサーバに信号を送信することができる。信号には、店舗及び／又は特定の製品又はメーカーに関する情報が含まれ得る。セントラルサーバは、店舗の屋内地図、各製品がどこにあるかのデータベースなどの情報を記憶することができる。セントラルサーバは、この情報、例えば屋内地図及び／又は製品の屋内位置又はメーカーの製品をスマートフォンに送信することができる。アプリケーションは、ナビゲーション戦略を考案し、製品を含む区域にユーザを案内することができる。例えば、アプリケーションは、この店舗の区域に向かって歩くアニメーションキャラクターを表示することができる。また、アプリケーションは、ユーザに１つ以上の製品を表示して購入させることもでき、例えば、ユーザがメーカーの製品を含む区域に到着すると、アプリケーションは、ユーザのプロファイルに基づいて、１つ以上の製品を推奨することができる。一例では、アプリケーションは、三角測量技術を用いて、店舗内のスマート装置の位置を決定することができる。

一例では、アプリケーションは、店舗で検出された非可聴音に基づいて製品又は割引を推奨することができる。アプリケーションは、非可聴音を受信し、その音に含まれるメッセージを検出することができる。アプリケーションは、このメッセージに基づいて、製品を推奨することができる。或いは、アプリケーションは、メッセージ（及び／又はユーザのプロファイル）をセントラルサーバに送信し、セントラルサーバからの応答に基づいて製品を決定することもできる。セントラルサーバは、メッセージ（例えば、１０％割引）又はユーザのプロファイル（例えば、５歳の女の子）に基づいて、１つ以上の製品を検索して、ユーザに推奨する製品を識別することができる。

１つの例示的な実施形態では、ユーザをプロファイルに関連付けてもよい。アプリケーションは、ユーザのプロファイルに含まれる情報を用いて、ユーザの予期される好みにマッチングする仮想オブジェクト（及び／又は機能又は仮想現実応答）を選択することができる。例えば、年少のユーザ、例えば、３歳のユーザに対して、アプリケーションは、簡単な科学実験を推奨することができる一方、年上のユーザ、例えば、１０歳のユーザに対して、アプリケーションは、複雑な科学実験を推奨することができる。別の例として、アプリケーションは、ユーザのプロファイル（及び／又は地理位置情報）に基づいて、アニメーションフィギュアがユーザと話をするための言語とアクセントを選択することができる。一例では、プロファイルには、名前、性別、年齢、体重、身長、言語、住所、クレジットカード情報などの、経歴情報、生体認証情報及び／又は財務情報が含まれてもよい。別の例として、プロファイルには、ユーザのアプリケーションとの対話、例えば、ユーザの以前の選択、スナップされた写真、命令された検索、購入などに関する情報が含まれてもよい。１つの例示的な実施形態では、ユーザは、ボタン２１３を押すことにより、ユーザのプロファイルに含まれる情報を編集又は更新することができる。ユーザのプロファイルは、スマート装置１００にローカルに記憶されるか又はサーバに記憶されてもよい。１つの例示的な実施形態では、ユーザがログインした後でのみ、ユーザのプロファイルにアクセスすることができる（そして、アプリケーションがプロファイルに基づいてユーザの体験をカスタマイズすることができる）。別の例では、アプリケーションは、ユーザのログインを必要とせずにユーザのプロファイルを維持又は取得することができる。

１つの例示的な実施形態では、アプリケーションは、機械学習モデルを用いて、ユーザが興味のあり得るキャラクター、仮想現実オブジェクト、仮想現実応答及び仮想現実アクセサリの種類を予測することができる。例えば、セントラルサーバは、複数のアプリケーション又はスマート装置からデータを受信することができる。データには、ユーザプロファイル情報、及び各アプリケーションとのユーザ対話情報が含まれてもよい。セントラルサーバは、これらの情報に基づいて、ユーザが興味のあり得るキャラクター、仮想現実オブジェクト、仮想現実応答及び仮想現実アクセサリを予測することができる分類モデルをトレーニングすることができる。セントラルサーバは、分類モデルをスマートフォンに送信することができ、アプリケーションは、その分類モデルを用いて、キャラクター、仮想現実オブジェクト、仮想現実応答及び仮想現実アクセサリをユーザに推奨することができる。

１つの例示的な実施形態では、ボタン２１４を押すことにより、アプリケーションは、拡張現実機能をアクティブにすることができる。図３は、アプリケーションの例示的な拡張現実ページ３１０を示している。ユーザがこのページにアクセスすると、スマート装置１００のカメラが起動し、拡張現実ページ３１０上で、ユーザインターフェースは、スマート装置のカメラから受信したビデオフィード３１１又は一連の画像を表示することができる。ユーザインターフェースは、カメラが受信したビデオフィード３１１又は一連の画像を表示することができる。１つの例示的な実施形態では、アプリケーションは、ビデオフィードにおける絵３１４又はオブジェクトを検出することができ、ユーザインターフェースは、ビデオフィード又は一連の画像上に仮想オブジェクト（例えば、絵、形状又はアニメーション）を重ね合わせることができる。１つの例示的な実施形態では、このページにより、ユーザは写真を撮ることもできる。例えば、ビデオフィード又は一連の画像を表示している間、ページは、ビデオセグメント又は写真を撮るためのボタン３１３を含んでもよい。ビデオセグメント又は写真を撮ると、アプリケーションは、写真内の絵３１４又はオブジェクトを識別し、絵又はオブジェクトの識別に基づいて仮想オブジェクトを表示することができる。

１つの例示的な実施形態では、拡張現実ページ３１０は、ターゲット３１２を含んでもよい。ターゲット３１２は、拡張現実ページ３１０上に表示されて、地平面上又は空間中の特定の位置にあるスマートフォンを向けるようにユーザを案内することにより、オブジェクト又は絵３１４を検出するタスクを容易にするポインタであってもよい。例えば、ターゲット３１２は、円形の形状を有してもよく、アプリケーションは、オブジェクト又は絵３１４がターゲット３１２内に収まるように、ユーザがスマートフォンを絵に向けることを提案することができる。このようにユーザにスマートフォンを絵に向けるよう要求することにより、アプリケーションのオブジェクトの検出タスクを簡素化することができる。

１つの例示的な実施形態では、ユーザが写真をキャプチャしたが、ターゲット３１２内に絵がない場合、又はターゲット３１２内に絵の一部のみがある場合、アプリケーションは、エラー（例えば、「オブジェクトが検出されない」、「オブジェクトの一部のみが検出される」）を表示することができる。この例では、ユーザが写真をキャプチャすると、アプリケーションは、オブジェクトの検出を試みることができる。オブジェクトが検出されない場合、又はオブジェクトが検出されたが、検出の信頼率が閾値未満である場合、アプリケーションは、エラー信号を表示することができる。

１つの例示的な実施形態では、アプリケーションは、スマート装置のユーザインターフェース上に表示されるビデオフィード（例えば、ストリーミング画像データ）における地平面を検出することができる。この検出により、アプリケーションは、拡張現実オブジェクトを地平面に配置することができる。地平面を検出するには、様々な技術が考えられる。１つの技術では、アプリケーションは、ビデオにおける平面上のいくつかの点を検出し、それらの点が同じ特徴を持つ場合、その平面を地平面として認識することができる。具体的には、視覚処理による特徴抽出を用いて、アプリケーションは、画像における特定の特徴を抽出し、抽出された特徴を用いて同一平面上にある特定の点を確立することができる。アプリケーションは、抽出された点が同一平面上にあることを確立した場合、これらの点が位置する平面が地平面であることを確立することができる。特徴点のグループ化とスマートフォンの指向は、地平面の決定に役立つ。スマート装置のセンサの一部もこのプロセスに利用することができる。例えば、加速度計とジャイロスコープは、アプリケーションにデータを提供して、地平面の検出を容易にすることができる。１つの例示的な実施形態では、アプリケーションは、仮想現実オブジェクト及び仮想現実応答を地平面の視覚的表現に表示することができる。

別の技術では、アプリケーションは、スマート装置によってキャプチャされている画像における水平面を識別することができる。アプリケーションは更に、水平面のサイズを決定することができ、水平面のサイズが閾値を満たすことを決定することができる。水平面のサイズに基づいて、スマート装置は、水平面を地平面として指定し、地平面として指定された水平面に対して拡張現実オブジェクトの表現を画像に重ね合わせることができる。

いくつかの実施形態では、ユーザは、スマート装置をオブジェクトに向ける前に、地平面を確立する必要がある場合がある。具体的には、これらの実施形態では、ユーザは、スマート装置をオブジェクトに向ける前に、スマート装置を地面に向けることができる。ユーザが最初にスマート装置を地面に向けない場合、ユーザインターフェースは、地平面を確立するようにユーザを要求するメッセージを表示することができる。

追加の地平面検出技術は、米国特許出願第１５／８５０２３４号（現在の米国特許第１００２６２０９号）に記載されており、それは、参照により本明細書に組み込まれるものとする。

１つの例示的な実施形態では、アプリケーションは、スマート装置（例えば、スマートフォン）と地平面上の点との間の距離を決定することができる。距離を決定するには、様々な技術を使用することができる。例えば、ユーザがスマートフォンを地面に向けると、アプリケーションは、スマートフォンから出ている仮定の垂直な線又は平面が地面に当たるか又は地平面と交差する地面上の点を決定することができる。この垂直な線又は平面は、カメラの視野の中心点又は画像データの中心点に対応し得る。この点（例えば、地平面が仮定の地平面と交差する点）は、交点と呼ばれてもよい。アプリケーションは、交点及びスマート装置の座標を決定することにより、２つの点の間の距離を決定することができる。交点は、上述したように規定されるが、当業者であれば、交点を規定するには多くの異なる方法があることを認識するであろう。例えば、前述の仮定の線は、スマートフォンに対して垂直である必要がない。一例では、交点とは、ターゲット３１２の中心点に対応する、スマートフォンの周囲環境内の位置を指すことができる。

１つの例示的な実施形態では、地平面を決定した後、ユーザは、スマートフォンをオブジェクト又は絵に向けることができる。アプリケーションは、スマート装置とオブジェクト又は絵上の交点との間の距離を決定することができる。一例では、アプリケーションは、オブジェクト及び／又は絵を識別し、検出されたオブジェクトに基づいてディスプレイに仮想オブジェクトを表示することができる。

１つの例示的な実施形態では、アプリケーションは、スマート装置と交点（又はオブジェクト又は絵）との間の距離を用いて、仮想現実オブジェクト及び／又は応答のためのサイズを決定することができる。例えば、交点が近い場合、例えば５フィート以内の場合、アプリケーションは、仮想現実オブジェクト及び／又は応答を大きなサイズで表示することができる一方、距離が５フィートを超える場合、アプリケーションは、仮想現実オブジェクトを小さなサイズで表示することができる。

本開示では、アプリケーション（又はユーザ）がオブジェクトの写真を撮るか、又はアプリケーションが画像データ、ビデオフィード若しくはビデオストリームを受信する様々な実施形態について説明した。当業者であれば、写真が画像データであってもよいことと、ビデオフィード又はビデオストリームも画像データを含んでもよいこととを認識する。更に、ビデオフィード又はビデオストリームには、複数の写真（又はフォトフレーム）が含まれてもよい。追加的に、写真又は画像データには、単一の静止画像キャプチャ又はストリーミング画像データ（ビデオフィード又はビデオストリーム）のキャプチャフレームが含まれてもよい。

（機械学習モデル及びオブジェクト認識）
１つの例示的な実施形態では、ユーザがスナップ写真を撮った後、又は画像をキャプチャした後、アプリケーションは、写真の画像データを機械学習又は予測モデルにフィードすることができる。１つの実施形態では、アプリケーションは、写真をモデルにフィードする前に、写真の一部をトリミングすることができる。例えば、アプリケーションは、画像の中央部の３分の１のみを含むように画像の中央部分をトリミングすることができる。別の例として、アプリケーションは、ターゲットの外にあるピクセルを除外してもよい。

１つの例示的な実施形態では、機械学習モデルは、絵及び／又はオブジェクトを識別するように設計されてもよい。この例示的な実施形態では、オブジェクトの多くの写真を用いてモデルをトレーニングすることができる。例えば、家庭内にある絵又はオブジェクトを識別するように機械学習モデルをトレーニングすることができる。写真がモデルに提供されると、モデルは、１つ以上の識別名と、各識別名のその識別に関連付けられた確率値を返信することができる。例えば、モデルは、絵にアーミン（Ａｒｍｉｎ）と名付けられたアニメのキャラクターが８０％可能性で表示されていると決定することができる。更に、確率が閾値を超えている場合、アプリケーションは、検出された絵の名前を表示してもよい。別の例として、モデルは、オブジェクトが６８％の可能性で玩具の銃であると決定することができる。この例では、確率が閾値を下回っているため、アプリケーションは、検出されたオブジェクトの名前を表示しない。

一例では、モデルがオブジェクトを識別することができない場合、又はモデルがオブジェクトを識別する確率が低すぎる場合、エラーがユーザに表示される。別の例では、モデルがオブジェクトを識別できない場合、又はオブジェクトを識別する確率が低すぎる場合、アプリケーションは、アニメーションなどの所定の仮想オブジェクトをユーザに提示することができる。一例では、本開示の機械学習モデルは、スマート装置に記憶されてもよい。しかしながら、いくつかの実施形態では、モデルを別の装置に記憶されてもよく、スマート装置は、識別のために写真又はビデオを他の装置に送信してもよい。スマート装置は、他の装置から識別情報を受信するように構成される。

１つの例示的な実施形態では、写真（又はビデオ）の画像データを機械学習モデルにフィードする前に、アプリケーションは、画質が満足できないか否かを示すことができる。例えば、カメラがキャプチャしているビデオ又はストリーミング画像に光又はまぶしさが多すぎる場合、アプリケーションは、ユーザがカメラを移動させるか又は別の方向に向ける必要があることをユーザに示すことができる。別の例として、カメラがオブジェクトに近づきすぎるため、オブジェクトがターゲット又はスマート装置のディスプレイに収まらない場合、アプリケーションは、通知を表示することができる。

図４は、例示的な実施形態に係る、通知を表示するアプリケーションの拡張現実ページ３１０を示している。この例示的な実施形態では、まず、ユーザは、スマート装置１００を地面上の絵に向ける。アプリケーションは、地平面を定め、地面上の交点の座標を検出する。アプリケーションは、スマート装置と交点との間の距離も決定する。アプリケーションは、ターゲット３１２における絵又はオブジェクトを検出する。アプリケーションは、絵３１４の一部のみがターゲット３１２内に表示されると決定することができる。したがって、アプリケーションは、警告メッセージを含む通知４１１をユーザインターフェース１０１に表示することができる。一例では、絵全体がターゲット内に表示されるようにユーザがスマート装置を移動させると、アプリケーションは、オブジェクト認識ルーチンを実行することができる。

１つの例示的な実施形態では、アプリケーションは、オブジェクト認識機能を実行してもよい。アプリケーションは、オブジェクト全体がユーザインターフェース（又はターゲット）に表示されていないこと、又はオブジェクトが識別に対して最適ではない方向を向いていることを検出した場合、角度を切り替えることをユーザに通知することができる。例えば、アプリケーションは、子供の玩具の画像をキャプチャし、少なくとも玩具のメーカーとモデルを識別するように実装されてもよい。玩具の画像を送信する前に、アプリケーションは、玩具がフレーム内にあるか否かを決定する。アプリケーションは、フレーム内に玩具を検出しない場合、ユーザにエラーメッセージを表示することができる。アプリケーションは、フレーム内に玩具を検出した場合、玩具のどちらの側面がフレーム内にあるかを決定することができる。いくつかの実施形態では、モデルは、玩具箱のフロントカバーの画像データに基づいて、キャプチャされた玩具を最も正確かつ効率的に識別することができる。アプリケーションは、ユーザが玩具箱の側面からスマート装置を向けていると決定した場合、玩具箱のより良いショットをキャプチャすることができるように、玩具箱の周りでスマート装置を移動することをユーザに通知することができる。ユーザが玩具箱の所望の側面、例えばフロントカバーなどに移動すると、アプリケーションは次のステップに進むことができる。

（仮想オブジェクトの選択）
１つの例示的な実施形態では、絵又はオブジェクトのアイデンティティーを決定した後、アプリケーションは、識別された絵又はオブジェクトに応答して実行する動作（例えば、仮想現実応答）を決定するために検索を実行することができる。アプリケーションは、スマート装置のメモリを検索し、識別された絵又はオブジェクトにマッチングする単語でタグ付けされたアニメーションを取得することができる。例えば、絵内に犬（ｄｏｇ）を識別することに応答して、アプリケーションは、犬が頭を上下にうなずいているアニメーションを取得することができる。アニメーションをビデオフィードに重ね合わせることができる。別の例として、アプリケーションは、検索クエリをサーバに送信し、識別された絵又はオブジェクトにマッチングする単語でタグ付けされたアニメーションをサーバから受信することができる。アプリケーションは、このアニメーションをユーザに表示することができる。

一例では、アプリケーションは、仮想現実オブジェクト及び／又はアニメーションを選択する際に、オブジェクトの識別情報に加えて、他の要素を考慮してもよい。例えば、アプリケーションは、仮想現実オブジェクト及び／又はアニメーションを検索する際に、速度、加速度、顔識別情報、指紋識別情報、地理位置情報、時間、天気情報、プロファイル情報などのデータポイントを受信してもよい。一例では、アプリケーションは、これらの要素にマッチングする（例えば、速度及び湿度が閾値を超える）アニメーションのみを表示するか、或いはこのようなアニメーションのみをセントラルサーバから取得するように構成される。この例では、速度と湿度が閾値を超える場合、アプリケーションは、例えば、雨が降っているときに車に乗っている犬を表示することができる。別の例では、アプリケーションは、要素にマッチングするように仮想現実オブジェクト及び／又はアニメーションを変更するように構成される。例えば、アプリケーションは、動いている犬のアニメーションを記憶することができる。しかしながら、速度が閾値を超える場合、アプリケーションは、犬が車に乗っていると表示することができる。

図５は、例示的な実施形態に係る、仮想オブジェクトを表示するアプリケーションの拡張現実ページ３１０を示している。この例示的な実施形態では、ユーザは、スマート装置１００を絵３１４に向けることができる。その後、ユーザは、キャプチャボタン３１３を押すことができ、それに応答して、アプリケーションは、ビデオセグメントを記録することができる。アプリケーションの機械学習モデルは、キャプチャされたビデオセグメントを分析し、ターゲット３１２に犬が表示されていると決定することができる。それに応答して、アプリケーションは、頭をうなずいているアニメの犬を描いている仮想オブジェクト５１１を取得することができる。アプリケーションは、ビデオフィード３１１上に仮想オブジェクトを重ね合わせることができる。

１つの例示的な実施形態では、スマート装置のアプリケーションは、拡張現実ページ３１０でスキャンされた絵（及び／又はユーザのプロファイル又はユーザによって規定されたテーマ）に基づいて、仮想オブジェクトを決定することができる。別の例示的な実施形態では、スマート装置と通信するサーバは、仮想オブジェクトを決定することができる。例えば、アプリケーションは、サーバに信号を送信し、それに応答して、サーバは、仮想オブジェクトをスマート装置に送信することができる。更に別の例示的な実施形態では、スマート装置とサーバは、共同して仮想オブジェクトを決定することができる。例えば、アプリケーションは、ビデオストリームのビデオスニペットをサーバに送信することができる。サーバは、ビデオストリームに基づいて、仮想オブジェクトのテーマを決定することができる。サーバは、テーマをスマート装置に送信することができ、スマート装置は、テーマ（及び／又はユーザのプロファイル）に基づいて仮想オブジェクトを決定することができる。１つの例示的な実施形態では、アプリケーションは、スマート装置で検出されたデータポイント、例えば速度又は湿度に基づいて、テーマを自動的に決定することができる。更に別の例では、アプリケーションは、セントラルサーバから受信したデータ、例えば天気予報に基づいて、テーマを決定することができる。

１つの例示的な実施形態では、スマート装置のアプリケーション又はサーバは、オブジェクト認識モジュールを含んでもよい。例えば、モジュールは、スマート装置のカメラからビデオフィードを受信し、ビデオフィードにおける１つ以上のオブジェクトを決定することができる。スマート装置のアプリケーション又はサーバは、ターゲットに表示されているオブジェクトのアイデンティティー及びビデオフィードにおいて検出された他のオブジェクトに基づいて、仮想オブジェクトを決定することができる。例えば、オブジェクト認識モジュールは、ターゲット３１２内の犬を検出することができる。オブジェクト認識モジュールは、ユーザの環境内においてドア、カーペット、テーブル、椅子などのいくつかの屋内オブジェクトも識別することができる。アプリケーション又はサーバは、犬に関連する拡張現実オブジェクト及びこれらの屋内オブジェクト、例えば屋内の犬玩具を表示することを決定することができる。別の例として、オブジェクト認識モジュールは、木を検出することができ、スマート装置のアプリケーション又はサーバは、犬用の屋外玩具を表示することを決定することができる。

１つの例示的な実施形態では、スマート装置のアプリケーション又はサーバは、シーン認識モジュールを含んでもよい。例えば、モジュールは、スマート装置のカメラからビデオフィードを受信することができる。１つの実施形態では、カメラは、ユーザがモジュールへのビデオフィードの提供に気づかないように、バックグラウンドにおいてモジュールにビデオフィードを提供する。モジュールは、このビデオを分析し、このビデオフィードにおいて提供されるシーンを決定することができる。例えば、１つの実施形態では、モジュールは、シーンがビーチを描いていると決定することができる。モジュールは、この情報をスマート装置のアプリケーションに提供することができ、アプリケーションは、ビーチに関連する拡張現実オブジェクト、例えばボート又は旗を表示することを決定することができる。別の例として、モジュールは、シーンが屋内ショッピングエリアであると決定することができる。モジュールによるこの決定に応答して、アプリケーションは、ショッピングカートを拡張現実オブジェクトとして表示することができる。

１つの例示的な実施形態では、スマート装置のアプリケーションは、スマート装置の位置を決定するモジュールを含んでもよく、アプリケーション又はサーバは、スマート装置の位置（及び／又は他の基準）に基づいて仮想オブジェクトを決定することができる。例えば、アプリケーションは、スマート装置で受信したＧＰＳ信号に基づいて、スマート装置の位置を決定することができる。別の例として、アプリケーションは、屋内位置で受信したＷｉ－Ｆｉ信号に基づいて、スマート装置の位置を決定することができる。更に別の例として、アプリケーションは、スマート装置で検出された非可聴信号に基づいて、スマート装置の位置を決定することができる。アプリケーション又はサーバは、位置情報を用いて、仮想オブジェクトを決定することができる。例えば、アプリケーションは、ユーザがレストランにいると決定した場合、レストランに関連する拡張現実オブジェクト、例えば様々な種類の食べ物を表示することを選択することができる。

１つの例示的な実施形態では、仮想オブジェクトを決定する際に、アプリケーションは、位置ベースのデータ（及び／又は他の基準）を用いることに加えて、スマート装置によって提供される感覚情報を用いることができる。例えば、スマート装置は、コンパス、ジャイロスコープ、加速度計を利用して、人間チャレンジの構成要素を決定するためのデータを提供することができる。その後に、このデータにより、例えば、ユーザが道路のどちらの側を向いているかに応じて、どの拡張現実オブジェクトがユーザに表示されるかを決定する。

（仮想オブジェクトの機能）
１つの例示的な実施形態では、ユーザは、仮想オブジェクトと対話することができる。ユーザが仮想オブジェクトと対話するには、様々な技術が考えられる。例えば、ユーザは、仮想オブジェクトをタップ又はクリックすることができる。別の例として、ユーザは、仮想オブジェクトの周りに円を描くことができる。更に別の例として、ユーザは、仮想オブジェクトと別のオブジェクトとの間の接続を描くことができる。例えば、ユーザは、指を第１の仮想オブジェクトから別の仮想オブジェクトに移動させることで、仮想オブジェクトを別のオブジェクトに接続することができる。

例えば、上述したように、コマンドを受信することに応答して、アプリケーションは、仮想オブジェクトとの対話のタイプを選択するためのページを表示することができる。図６は、仮想オブジェクトとの対話のタイプを特定するための例示的な対話ページ６１０を示している。図７は、対話ページ６１０で要求される例示的な対話の実装を示している。この例示的な実施形態では、対話ページ６１０には、仮想オブジェクトにアクセサリを追加するためのボタン６１１と、キャラクターをダウンロードするためのボタン６１２と、環境からのオブジェクトを追加するためのボタン６１３と、仮想キャラクターをトレーニングするためのボタン６１４とが含まれてもよい。

アクセサリを仮想オブジェクトに追加するためのボタン６１１を押すことに応答して、仮想オブジェクトをカスタマイズするための１つ以上のオプションをユーザに促すことができる。例えば、ボタン６１１を押すことによって、アプリケーションは、仮想オブジェクト５１１の色（例えば、グレー）を選択するか又は仮想オブジェクトにアイテム又は衣料品（例えば、犬の首輪）を追加するようにユーザに促すことができる。図７は、仮想オブジェクト７１１に追加されたカスタマイズオブジェクト７１１を示している。この例では、仮想オブジェクト７１１は、犬の首輪である。１つの例示的な実施形態では、アプリケーションは、これらの仮想オブジェクトを記憶するライブラリを提供することができる。ユーザは、これらの仮想オブジェクトをセントラルサーバからダウンロードするか又はスマート装置のユーザインターフェースにおいてこれらの仮想オブジェクトを作成し、例えば、絵を作成することによって、これらの仮想オブジェクトを収集することができる。仮想オブジェクトをカスタマイズしようとする場合、ユーザは、ライブラリに記憶されているカスタマイズオブジェクトの１つを選択し、仮想オブジェクトに追加することができる。

キャラクターをダウンロードするためのボタン６１２を押すことに応答して、１つ以上の仮想オブジェクトを選択し、アプリケーションストアからダウンロードするようにユーザに促すことができる。ダウンロードされた各仮想オブジェクトは、１つ以上のタグに関連付けることができる。これにより、写真又はビデオにおけるマッチングするアイテムに応答して、ダウンロードされた仮想オブジェクトの選択が容易になる。例えば、ボタン６１２を押すことによって、アプリケーションは、アプリケーションストアを表示し、ダウンロードのために子犬（ｐｕｐｐｙ）のキャラクターを選択することができる。仮想オブジェクトをダウンロードすると、アプリケーションは、仮想オブジェクト５１１に関連するか又はスキャンされた写真若しくはビデオに応答するたびに、ダウンロードされた仮想オブジェクトを表示することができる。図７は、拡張現実ページ３１０に追加されたダウンロードされた仮想オブジェクト７１２を示している。この例では、ダウンロードされた仮想オブジェクト７１２は、子犬である。１つの例示的な実施形態では、仮想オブジェクト及び／又はダウンロードされた仮想オブジェクトのために所定の一連の反応及び結果を規定することができ、このように、ダウンロードされた仮想オブジェクトが仮想オブジェクトの隣に追加されるか又は仮想オブジェクトと同じページに追加された場合、仮想オブジェクト及び／又はダウンロードされた仮想オブジェクトは、所定の一連の反応及び結果を生成することができる。例えば、この場合、子犬７１２が拡張現実ページ３１０に追加された場合、犬５１１と子犬７１２の両方が吠え始めることができる。一例では、ダウンロードされた仮想オブジェクトは、ライブラリに記憶され、ライブラリからアクセスされ得る。

環境からオブジェクトを追加するためのボタン６１３を押すことに応答して、ユーザにカメラのライブフィードを促すことができる。このモードでは、ユーザは、アイテムを選択することができ、アプリケーションは、このアイテムの写真（又は機械学習モデルによって決定されたアイテムに関連付けられた絵）をユーザのプロファイル（又はライブラリ）に追加することができる。例えば、ボタン６１３を押すことによって、アプリケーションは、ビデオフィードにおけるオブジェクトを選択するようにユーザに促すことができる。１つの例示的な実施形態では、ユーザは、（例えば、オブジェクトの周りに円を描くことによって又はオブジェクトをクリックすることによって）骨を選択することができる。その後、アプリケーションは、ユーザのプロファイル（又はライブラリ）に骨を追加し、仮想オブジェクトに関連付けられた骨を表示することができる。図７は、仮想オブジェクト７１１に関連付けられた選択されたアイテム７１３を示している。この例では、選択されたアイテム７１３は、骨である。１つの例示的な実施形態では、仮想オブジェクト及び／又は選択されたアイテムのために所定のセットの反応及び結果を規定することができ、このように、選択されたアイテムが仮想オブジェクトの隣に追加されるか又は仮想オブジェクトと同じページに追加される場合、仮想オブジェクト及び／又は選択されたアイテムは、所定のセットの反応及び結果を生成することができる。例えば、この場合、骨７１３が拡張現実ページ３１０に追加された場合、犬５１１は、骨７１３を掴むことができる。

仮想キャラクターをトレーニングするためのボタン６１４を押すことに応答して、トリガーイベントに応答して特定の機能を実行するように仮想キャラクターをトレーニングすることができる。例えば、トレーニングモード中に、ユーザは、ライブラリからオブジェクトを選択し、仮想オブジェクトと選択されたオブジェクトとを特定のパターンで移動させることができる。アプリケーションは、この動きのパターンを学習し、そして仮想オブジェクトと選択されたオブジェクトが一緒に表示されると、その動きを再現することができる。一例では、仮想オブジェクトは、ユニコーンであり、選択されたオブジェクトは、虹であってもよい。トレーニングモード中、ユーザは、ユニコーンを虹に向かって移動させることができる。そのため、ユニコーンと虹が一緒に表示されると、ユニコーンは、虹に向かって移動することができる。一例では、オブジェクトの上を飛び越えるように恐竜をトレーニングすることができる。別の例では、ボールのバランスを取るようにイルカをトレーニングすることができる。更に別の例では、面白い表情を作るようにエイリアンをトレーニングすることができ、例えば、トレーニング中に、ユーザは、その顔の構成要素を面白い方法で動かすことができる。

１つの例示的な実施形態では、ユーザは、互いに対話できる一連のキャラクターを収集し、ライブラリに追加することができる。各キャラクターは、所定のセットの強みと弱みを有することができ、ユーザは、キャラクターをアクティブにして互いに競うことができる。例えば、ユーザは、一連のロボットをユーザのライブラリに追加することができる。各ロボットは、建築力を有することができる。ユーザインターフェースにおいて２つ以上のロボットがアクティブにされている場合、アプリケーションは、アクティブにされたロボットを表示することができる。アプリケーションは、ロボットが建築コンテストに参加し、建築力の最も高いロボットが優勝できることも表示することができる。一例では、ユーザは、一連のプリンセスを収集することができる。この例では、これらのプリンセスは、美人コンテストに参加することができ、美しさのスコアの最も高いプリンセスが優勝できる。

１つの例示的な実施形態では、アプリケーションは、特徴検出モジュールを含んでもよい。例えば、ユーザは、編集前の写真及び編集後の写真をアップロードすることができる。アプリケーションは、写真に追加された特徴を決定し、同様の特徴を仮想現実オブジェクトに追加することができる。例えば、ユーザは、化粧を施す前のユーザの写真と化粧を施した後のユーザの写真をアップロードすることができる。アプリケーションは、１つ以上の化粧特徴の変更、例えば口紅の追加を見つけ出し、同じ化粧特徴を仮想現実キャラクターに追加することができる。一例では、ユーザは、絵に化粧を追加することができる。アプリケーションは、追加された化粧を決定し、同様の化粧を仮想現実オブジェクトに提供することができる。

一例では、アプリケーションにより、ユーザは、実際のオブジェクトの仮想表現をカスタマイズすることができる。例えば、ユーザは、人の名前を明記するためのアルファベットビーズが追加された友情ブレスレットをスキャンすることができる。アプリケーションは、このオブジェクトを認識し、オブジェクトの変更又はカスタマイズできる部分を認識することができる。ユーザの命令に応じて、アプリケーションは、友情ブレスレットをカスタマイズすることができる。例えば、アプリケーションは、ビーズの色を変更したり、グリッターを追加したりすることができる。

（ソーシャルメディア面）
１つの例示的な実施形態では、アプリケーションは、タスクを実行する仮想オブジェクトを表示することができ、そして同じタスクを実行するようにユーザに促すことができる。アプリケーションは、タスクを実行するユーザを記録し、ユーザの記録に仮想オブジェクトを重ね合わせることができる。例えば、アプリケーションは、ダンスをしているアニメのキャラクターを表示し、そして同じダンスをまねるようにユーザに促すことができる。アプリケーションは、ダンスをしているユーザを記録し、ダンスの動きをしているユーザの隣に仮想キャラクターを表示することができる。

１つの例示的な実施形態では、アプリケーションは、ダンスをしているユーザを記録することができる。アプリケーションは、オブジェクト指向技術を用いて、ユーザの動きを決定することができる。アプリケーションは、ユーザの隣で同じダンスの動きをする仮想キャラクターを表示することができる。

１つの例示的な実施形態では、アプリケーションは、ユーザの記録をソーシャルメディアプラットフォームに投稿することができる。例えば、アプリケーションには、ユーザのソーシャルメディア資格情報を受信するように構成されたページが含まれてもよい。ビデオを作成すると、アプリケーションは、ユーザがソーシャルメディアプラットフォームにビデオを投稿することに興味があるか否かをユーザに促すことができる。ユーザが肯定的に応答すると、アプリケーションは、ビデオをソーシャルメディアプラットフォームに投稿することができる。一例では、ユーザは、ユーザのプロファイルからの情報をソーシャルメディアプラットフォームに投稿することができる。例えば、ユーザは、自分が収集したアイテムのリストをソーシャルメディアアカウントに投稿することができる。

（３Ｄ空間の構築）
１つの例示的な実施形態では、アプリケーションは、スマート装置のユーザインターフェース上に表示されるビデオストリームにおける地平面（又は水平面）を検出することができる。この検出により、アプリケーションは、拡張現実オブジェクトを地平面（又は水平面）に置き、例えば犬を床に置き、猫をベッドに置くことができる。

１つの例示的な実施形態では、アプリケーションは、ユーザの前の空間の３Ｄモデルを構築することができる。例えば、ユーザは、最初に空間をスキャンし、アプリケーションは、スキャンされた空間の３Ｄモデルを構築することができる。アプリケーションは、拡張現実オブジェクトに関する属性のデータベースを含んでもよい。アプリケーションは、３Ｄモデルとメモリ（又はサーバデータベース）内で提供される情報に基づいて、拡張現実オブジェクトをこれらの拡張現実オブジェクトの論理的な場所に置くことができる。例えば、３Ｄモデルは、水平な面と垂直な面に関する情報を含んでもよい。アプリケーションは、通常水平な面に置かれる拡張現実オブジェクトを水平な面に置き、通常垂直な面に置かれる拡張現実オブジェクトを垂直な面に置くことができる。一例では、アプリケーションは、ユーザが屋内空間にいると決定することができるため、屋内アイテムをユーザに表示することを決定することができる。アプリケーションは、屋内空間の壁（すなわち、垂直な面）にフレームを表示することを決定し、そして犬をベッド（すなわち、水平な面）に表示することを決定することができる。

（サーバの技術的実装）
図８は、サーバの例示的なハードウェアコンポーネントを示している。コンピュータシステム８００又は同様に構成された他のコンピュータシステムは、上述した様々なフロープロセスのステップを含む、本明細書において説明される機能を実行するための１つ以上のサブシステムコンポーネントを含み、実行してもよい。同様に、コンピュータシステム８００の同じコンポーネントのいくつかを含むモバイル装置、携帯電話、スマートフォン、ラップトップ、デスクトップ、ノートブック、タブレット、ウェアラブル装置、サーバなどは、アプリケーション（又はソフトウェア）を実行し、上述したステップと機能を実行する。コンピュータシステム８００は、上述したように、問い合わせを受信し、データを取得し、情報及びインセンティブを送信するために、ネットワーク８１４、例えばインターネット又は他のネットワークに接続されてもよい。

コンピュータシステム８００は、典型的には、メモリ８０２、二次ストレージ装置８０４及びプロセッサ８０６を含む。また、コンピュータシステム８００は、複数のプロセッサ８０６を含み、複数の、例えばブレードサーバ又は他の既知のサーバ構成として構成されてもよい。また、コンピュータシステム８００は、ネットワーク接続装置８０８、ディスプレイ装置８１０及び入力装置８１２を含んでもよい。

メモリ８０２は、ＲＡＭ又は同様のタイプのメモリを含んでもよく、プロセッサ８０６によって実行される１つ以上のアプリケーションを記憶してもよい。二次ストレージ装置８０４は、ハードディスクドライブ、フロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ又は他のタイプの不揮発性データストレージを含んでもよい。プロセッサ８０６は、メモリ８０２若しくは二次ストレージ装置８０４に記憶されるか又はインターネット若しくは他のネットワーク８１４から受信される、本明細書において記載されるアプリケーションなどのアプリケーションを実行する。プロセッサ８０６による処理は、コンピュータ又は他のマシンで実行するために、ソフトウェアモジュールなどのソフトウェアで実装されてもよい。これらのアプリケーションは、上述し、本明細書の図に示されたシステム及びサブシステムコンポーネントの機能及び方法を実行するために実行可能な命令を含むことが好ましい。アプリケーションは、グラフィカルユーザインターフェース（ＧＵＩ）を提供することが好ましく、ユーザは、グラフィカルユーザインターフェースによりサブシステムコンポーネントを閲覧し、かつサブシステムコンポーネントと対話することができる。

コンピュータシステム８００は、例えば、上述した機能を実行するために必要な情報を記憶して維持するために、１つ以上のデータベース構造を二次ストレージ装置８０４に記憶してもよい。或いは、そのような情報は、これらのコンポーネントとは別のストレージ装置内に存在してもよい。

また、前述したように、プロセッサ８０６は、１つ以上のソフトウェアアプリケーションを実行して、本明細書において説明される機能を提供し、具体的には、上述したプロセスフローのステップ及び機能を実行してもよい。このようなプロセスは、コンピュータ又は他のマシンで実行するために、ソフトウェアモジュールなどのソフトウェアで実装されてもよい。ＧＵＩは、例えば、ユーザがコンピュータシステム８００と対話するために使用するアプリケーションに応じて、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）又はディスプレイ装置上での表示に適した他の任意の形式のウェブページとしてフォーマットされてもよい。

入力装置８１２は、タッチスクリーン、キーボード、マウス、カーソル制御装置、マイクロフォン、デジタルカメラ、ビデオレコーダ又はカムコーダなどの、コンピュータシステム８００に情報を入力するための任意の装置を含んでもよい。入力装置８１２は、上述した方法の実行中にＧＵＩに情報を入力するために使用されてもよい。ディスプレイ装置８１０は、例えば、コンピュータモニター又はフラットスクリーンディスプレイ（又はモバイル装置のスクリーン）などの、視覚情報を提示するための任意のタイプの装置を含んでもよい。ディスプレイ装置８１０は、ＧＵＩ及び／又はサブシステムコンポーネント（又はソフトウェア）からの出力を表示してもよい。

コンピュータシステム８００の例としては、ブレードサーバなどの専用サーバコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、ネットワークコンピュータ、モバイル装置又はウェブブラウザ若しくはシステムと対話するための他のタイプのアプリケーションを実行できる任意のプロセッサ制御装置が挙げられる。

１つのコンピュータシステム８００のみが詳細に示されているが、システム８００は、必要又は所望に応じて複数のコンピュータシステム又はサーバを使用してユーザをサポートし、また、バックアップ又は冗長サーバを使用して特定のサーバの障害発生時のネットワークダウンタイムを防止することもできる。また、コンピュータシステム８００が様々なコンポーネントで示されているが、当業者であれば、システムが追加のコンポーネント又は異なるコンポーネントを含んでもよいことを理解するであろう。また、上記と一致する実装の態様がメモリに記憶されるものとして説明されているが、当業者であれば、これらの態様を、ハードディスク、フロッピーディスク、ＣＤ－ＲＯＭ又は他の形式のＲＡＭ若しくはＲＯＭなどの二次ストレージ装置などの他のタイプのコンピュータプログラム製品又はコンピュータ可読媒体に記憶したり、そこから読み出したりすることもできることを理解するであろう。コンピュータ可読媒体は、コンピュータシステム８００を制御して上述した方法などの特定の方法を実行するための命令を含んでもよい。

本開示は、様々な態様の例示として意図される、本願に説明される特定の実施形態に限定されるものではない。明らかに、本開示の精神及び範囲から逸脱することなく、多くの修正及び変形を行うことができる。本明細書に列挙したものに加えて、本開示の範囲内で機能的に同等の方法及び装置は、前述の代表的な説明から明らかになるであろう。そのような修正及び変形は、添付された代表的な特許請求の範囲内に含まれることが意図される。本開示は、添付された代表的な特許請求の範囲の用語と、そのような代表的な特許請求の範囲が権利を与える全ての範囲の均等物とによってのみ限定される。また、本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、限定することを意図したものではないことも理解されたい。

Claims (20)

1. ユーザインターフェースをスマート装置に表示するステップであって、前記ユーザインターフェースは、前記スマート装置のカメラから受信したビデオフィードを表示するページを含む、ステップと、
   前記ビデオフィードにおける地平面を検出するステップと、
   前記ビデオフィードにおける点上にターゲットを表示するステップであって、前記ターゲットは、前記スマート装置が向けられている平面が前記地平面と交差する交点に対応するステップと、
   前記スマート装置と前記交点との間の距離を決定するステップと、
   前記ビデオフィードにおけるオブジェクトを検出するステップと、
   前記ビデオフィードにおいて検出された前記オブジェクトに基づいて仮想現実オブジェクトを選択するステップと、
   前記仮想現実オブジェクトを表示モードで表示するステップと、
   前記仮想現実オブジェクトの機能を表示するステップと、
   前記仮想現実オブジェクトの前記機能に対するユーザの反応を記録するステップと、
   前記記録をソーシャルメディアアカウントに投稿するステップと、
   を含む、方法。
2. 前記地平面を検出するステップは、視覚処理による特徴抽出を含む、請求項１に記載の方法。
3. 前記スマート装置は、３Ｄ空間における前記スマート装置の座標及び前記交点の座標を決定するように構成され、前記距離は、前記スマート装置の前記座標及び前記交点の前記座標に基づいて計算される、請求項１に記載の方法。
4. 前記スマート装置は、それぞれがタグ及び前記機能に関連付けられている一連の仮想オブジェクトを記憶する、請求項１に記載の方法。
5. 前記仮想現実オブジェクトを選択するステップは、検出された前記オブジェクトの名前と前記タグとの間のマッチングに基づく、請求項４に記載の方法。
6. 前記スマート装置は、前記ユーザに関する、名前、住所及び経歴情報を含むプロファイルを記憶する、請求項１に記載の方法。
7. 前記仮想現実オブジェクトを選択するステップは、前記プロファイルに含まれる前記経歴情報に基づく、請求項６に記載の方法。
8. 前記表示モードは、前記スマート装置で検出されたデータに基づいて決定される、請求項１に記載の方法。
9. 前記データは、速度を含む、請求項８に記載の方法。
10. 前記データは、加速度を含む、請求項８に記載の方法。
11. 前記データは、湿度インジケータを含む、請求項８に記載の方法。
12. 前記データは、指紋を含む、請求項８に記載の方法。
13. 前記データは、顔の特徴を含む、請求項８に記載の方法。
14. 前記仮想現実オブジェクトの前記機能は、アニメーションを表示することである、請求項１に記載の方法。
15. 前記アニメーションをダウンロードするステップを更に含む、請求項１４に記載の方法。
16. データを反映するために前記アニメーションを変更するステップであって、前記データが速度又は湿度を含む、ステップを更に含む、請求項１５に記載の方法。
17. 高速移動又は雨を反映するために前記アニメーションを変更するステップを更に含む、請求項１５に記載の方法。
18. 店舗の名前をセントラルサーバに送信するステップを更に含む、請求項１に記載の方法。
19. 製品の屋内位置を受信するステップを更に含む、請求項１８に記載の方法。
20. 前記製品への屋内方向を表示するステップを更に含む、請求項１９に記載の方法。

Images