JP6646620B2 - 広範囲同時遠隔ディジタル提示世界 - Google Patents

Description

（関連出願の相互参照）
米国特許法第１１９条第（ｅ）項に従って、本願は、米国仮特許出願第６１／４８３，５０５号（２０１１年５月６日出願）、および米国仮特許出願第６１／４８３，５１１号（２０１１年５月６日出願）の優先権を主張する。

（発明の分野）
本発明は、概して、複数のユーザに対して双方向仮想または増大現実環境を可能にするための方法および装置に関する。

（背景）
仮想および増大現実環境は、環境を記述するデータを部分的に使用して、コンピュータによって生成される。このデータは、例えば、ユーザが感知して相互作用し得る種々のオブジェクトを表してもよい。これらのオブジェクトの実施例は、ユーザが見るためにレンダリングおよび表示されるオブジェクト、ユーザが聞くために再生されるオーディオ、およびユーザが感じるための触知（または触覚）フィードバックを含む。ユーザは、種々の視覚、聴覚、および触覚手段を介して仮想および増大現実環境を感知し、それらと相互作用してもよい。

本開示は、１人以上のユーザが仮想または増大現実環境と対話するか、またはそれらに参加するための種々のシステムおよび方法を説明する。

１つの例示的な実施形態では、システムは、データを処理するため、および／またはサーバと１つ以上のローカルユーザインターフェースデバイスとの間のデータの通信を可能にするために、高帯域幅インターフェースを介してゲートウェイに相互接続されたコンピュータサーバを有するコンピューティングネットワークを含む。サーバは、仮想世界を設計および／または処理するため、ならびにユーザデータおよびシステムの他の構成要素によって提供されるデータを記憶および処理するために、メモリ、処理回路、およびソフトウェアを含む。１つ以上の仮想世界が、ユーザが体験および相互作用するために、ユーザデバイスを通してユーザに提示されてもよい。多数のユーザが各々、観察し、相互と、およびデジタル世界内で作り出されたオブジェクトと相互作用するためにデバイスを使用することによって、１つ以上のデジタル世界と同時に対話するためにデバイスを使用してもよい。

ユーザデバイスの実施例は、スマートフォン、タブレットデバイス、ヘッドアップディスプレイ（ＨＵＤ）、ゲーム機、あるいは概して、データを通信し、見る、聞く、および／または触れるようにユーザへのインターフェースを生成または通信することが可能な任意の他のデバイスを含む。概して、ユーザデバイスは、視覚ディスプレイと連結される、デバイス上のメモリに記憶されたプログラムコードを実行するためのプロセッサと、通信インターフェースとを含むであろう。インターフェースは、他のユーザおよびユーザに提示されるオブジェクト（現実または仮想）を含む、ユーザとデジタル世界との間の視覚、可聴、および／または物理的相互作用を可能にする。一実施形態では、ユーザデバイスは、インターフェースを有する頭部装着型表示システムと、ユーザ感知システムと、環境感知システムと、プロセッサとを備える。
本明細書は、例えば、以下の項目も提供する。
（項目１）
１人以上のユーザが仮想世界データから構成される仮想世界と相互作用することを可能にするためのシステムであって、該システムは、
１つ以上のコンピュータサーバを備えるコンピュータネットワークを備え、該１つ以上のコンピュータサーバは、メモリと、処理回路と、ソフトウェアとを備え、該ソフトウェアは、該メモリに記憶され、かつ該仮想世界データの少なくとも一部分を処理するように該処理回路によって実行可能であり、
該コンピュータネットワークは、第１のユーザに提示するために、該仮想世界データをユーザデバイスに伝送するように動作可能であり、
該仮想世界の少なくとも一部分は、該仮想世界データの変更に応答して変化し、
該仮想世界データの少なくとも一部分は、該ユーザデバイスによって感知される物理的オブジェクトに応答して変更される、システム。
（項目２）
前記仮想世界データの変更は、前記物理的オブジェクトとの所定の関係を有する仮想オブジェクトを記述する、項目１に記載のシステム。
（項目３）
前記仮想世界データの変更は、前記所定の関係に従って第２のユーザに提示するために第２のユーザデバイスに提示される、項目２に記載のシステム。
（項目４）
前記仮想世界は、前記コンピュータサーバまたはユーザデバイスのうちの少なくとも１つによってレンダリングされるように動作可能である、項目１〜３のうちのいずれか一項に記載のシステム。
（項目５）
前記仮想世界は、２次元形式または３次元形式のうちの少なくとも１つで提示される、項目１〜４のうちのいずれか一項に記載のシステム。
（項目６）
前記ユーザデバイスは、増大現実モード、仮想現実モード、または増大現実モードと仮想現実モードとの組み合わせのうちの少なくとも１つにおいて、ユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目１〜５のうちのいずれか一項に記載のシステム。
（項目７）
前記仮想世界データは、データネットワーク上を伝送される、項目１〜６のうちのいずれか一項に記載のシステム。
（項目８）
前記コンピュータネットワークは、ユーザデバイスから前記仮想世界データの少なくとも一部分を受信するように動作可能である、項目１〜７のうちのいずれか一項に記載のシステム。
（項目９）
前記ユーザデバイスに伝送される前記仮想世界データの少なくとも一部分は、前記仮想世界の少なくとも一部分を生成するための命令を備える、項目１〜８のうちのいずれか一項に記載のシステム。
（項目１０）
前記仮想世界データの少なくとも一部分は、ゲートウェイに伝送される、項目１〜９のうちのいずれか一項に記載のシステム。
（項目１１）
１人以上のユーザが仮想世界と相互作用することを可能にするためのシステムであって、該システムは、
該仮想世界をユーザに提示し、かつ該ユーザが該仮想世界と相互作用することを可能にするためのユーザデバイスを備え、該ユーザデバイスは、
メモリと、
処理回路と、
該メモリの中に記憶されたソフトウェアであって、該ソフトウェアは、コンピュータネットワークから少なくとも部分的に受信された仮想世界データから該仮想世界の少なくとも一部分をレンダリングするように該処理回路によって実行可能である、ソフトウェアと、
該仮想世界を該ユーザに提示するように動作可能であるディスプレイと、
データネットワーク上で該仮想世界データの少なくとも一部分を通信するように動作可能である通信インターフェースと、
該ユーザ、物理的オブジェクト、または該ユーザの周囲の物理的環境のうちの少なくとも１つを感知するように動作可能である感知システムと
を備え、
該処理回路は、該感知されたユーザ、感知された物理的オブジェクト、または感知された物理的環境のうちの少なくとも１つに応答して該仮想世界の変更をレンダリングするよう、該ソフトウェアを実行するように動作可能である、システム。
（項目１２）
前記仮想世界の前記変更は、仮想オブジェクトを備え、該仮想オブジェクトは、前記感知されたユーザ、物理的オブジェクト、または物理的環境との所定の関係を有する、項目１１に記載のシステム。
（項目１３）
前記通信インターフェースは、前記仮想オブジェクトを前記コンピュータネットワークに通信するように動作可能である、項目１２に記載のシステム。
（項目１４）
前記仮想世界は、２次元形式または３次元形式のうちの少なくとも１つで提示される、項目１〜１３のうちのいずれか一項に記載のシステム。
（項目１５）
前記ユーザデバイスは、増大現実モード、仮想現実モード、または増大現実モードと仮想現実モードとの組み合わせのうちの少なくとも１つにおける相互作用を可能にする、項目１〜１４のうちのいずれか一項に記載のシステム。
（項目１６）
前記ユーザデバイスは、触覚または触知フィードバックを提供するためのデバイスをさらに備える、項目１〜１５のうちのいずれか一項に記載のシステム。
（項目１７）
前記仮想世界データの少なくとも一部分は、ゲートウェイから受信される、項目１〜１６のうちのいずれか一項に記載のシステム。
（項目１８）
前記ゲートウェイは、処理のために前記仮想世界データを配信するように動作可能である、項目１〜１７のうちのいずれか一項に記載のシステム。
（項目１９）
コンピュータ実装方法であって、該方法は、
仮想世界をユーザデバイスに提示することと、
１つ以上のセンサによって生成されるセンサデータを受信することであって、該１つ以上のセンサは、該ユーザデバイスを使用してユーザによって行われるジェスチャに対して、該ユーザデバイスと関連付けられる、受信することと、
該ジェスチャを認識することと、
該認識されたジェスチャに応答して、仮想オブジェクトを生成することと、
該仮想オブジェクトを該ユーザデバイスに提示することと
を含む、方法。
（項目２０）
第２のユーザデバイスにおいて前記仮想オブジェクトを提示することをさらに含む、項目１９に記載の方法。
（項目２１）
前記仮想オブジェクトと前記ユーザの近傍の物理的オブジェクトとの間の関係を確立することをさらに含む、項目１〜２０のうちのいずれか一項に記載の方法。
（項目２２）
コンピュータ実装方法であって、該方法は、
ユーザデバイスを使用して、センサによって生成される感覚データを受信することであって、該センサは、ユーザの近傍の物理的オブジェクトについて該ユーザデバイスと関連付けられる、受信することと、
該オブジェクトを認識することと、
該オブジェクトの認識に応答して、該物理的オブジェクトとの所定の関係を有する仮想オブジェクトを生成することと、
該所定の関係に従って該ユーザに提示するために、該仮想オブジェクトを該ユーザデバイスと関連付けられるディスプレイに伝送することと
を含む、方法。
（項目２３）
前記所定の関係に従って第２のユーザに提示するために、前記仮想オブジェクトを第２のユーザデバイスと関連付けられる第２のディスプレイに伝送することをさらに含む、項目２２に記載の方法。
（項目２４）
コンピュータ実装方法であって、該方法は、
デジタル世界を定義するデータを記憶することであって、該データは、１つ以上のオブジェクトを定義する、記憶することと、
複数のユーザデバイスと関連付けられるセンサによって生成されるセンサデータを受信することであって、該センサデータは、該ユーザデバイスの環境の少なくとも１つの物理的特性を記述する、受信することと、
該センサデータに応答して、複数のユーザの各々について既定のオブジェクトのインスタンスを生成することと、
該ユーザについて生成された該既定のオブジェクトの該インスタンスを、該複数のユーザのそれぞれのユーザに伝送することと
を含む、方法。
（項目２５）
前記センサデータは、位置、ユーザの向き、ユーザの運動、ユーザデバイス、環境条件、該ユーザの近傍の物理的オブジェクトといった物理的特性のうちの１つ以上を記述する、項目２４に記載の方法。

本開示の先述および他の特徴および利点は、添付図面と併せて読まれる、例示的な実施形態の以下の詳細な説明から、さらに明白となるであろう。詳細な説明および図面は、添付の請求項およびそれらの同等物によって定義されるような本発明の範囲を限定するよりもむしろ、本開示を例証するにすぎない。

実施形態は、類似番号が類似部品を示す、必ずしも一定の尺度で描かれているわけではない添付図面で、一例として図示される。

図１は、複数のユーザのための双方向仮想または増大現実環境を可能にするための開示されたシステムの代表的な実施形態を図示する。 図２は、図１で図示されるシステムと相互作用するためのユーザデバイスの実施例を図示する。 図３は、モバイルの装着型ユーザデバイスの例示的実施形態を図示する。 図４は、図３のモバイルの装着型ユーザデバイスが増大モードで動作しているときにユーザによって視認されるオブジェクトの実施例を図示する。 図５は、図３のモバイルの装着型ユーザデバイスが仮想モードで動作しているときにユーザによって視認されるオブジェクトの実施例を図示する。 図６は、図３のモバイルの装着型ユーザデバイスが混合仮想インターフェースモードで動作しているときにユーザによって視認されるオブジェクトの実施例を図示する。 図７は、異なる地理的位置に位置する２人のユーザが各々、各々のユーザデバイスを通して、他方のユーザおよび共通仮想世界と相互作用する、実施形態を図示する。 図８は、図７の実施形態が触覚デバイスの使用を含むように増大される、実施形態を図示する。 図９Ａは、第１のユーザが、混合仮想インターフェースモードでデジタル世界と対話しており、第２のユーザが、仮想現実モードで同一のデジタル世界と対話している、混合モード対話の実施例を図示する。 図９Ｂは、第１のユーザが、混合仮想インターフェースモードでデジタル世界と対話し、第２のユーザが、増大現実モードで同一のデジタル世界と対話している、混合モード対話の別の実施例を図示する。 図１０は、増大現実モードでシステムと対話するときのユーザの視界の説明図例を図示する。 図１１は、ユーザが増大現実モードでシステムと対話しているときに物理的オブジェクトによってトリガされる仮想オブジェクトを示すユーザの視界の説明図例を図示する。

図１を参照すると、システム１００は、以下で説明されるプロセスを実装するための代表的なハードウェアである。この代表的なシステムは、１つ以上の高帯域幅インターフェース１１５を介して接続される１つ以上のコンピュータサーバ１１０から構成されるコンピューティングネットワーク１０５を備える。コンピューティングネットワーク内のサーバは、同一の場所に位置する必要はない。１つ以上のサーバ１１０は各々、プログラム命令を実行するための１つ以上のプロセッサを備える。サーバはまた、プログラム命令、およびプログラム命令の指示の下でサーバによって実行されるプロセスによって使用および／または生成されるデータを記憶するためのメモリをも含む。

コンピューティングネットワーク１０５は、１つ以上のデータネットワーク接続１３０において、サーバ１１０の間で、およびサーバと１つ以上のユーザデバイス１２０との間でデータを通信する。そのようなデータネットワークの実施例は、限定ではないが、モバイルおよび有線の両方である任意および全てのタイプの公衆およびプライベートデータネットワークを含み、例えば、一般的にインターネットと呼ばれるそのようなネットワークの多くの相互接続を含む。いかなる特定のメディア、トポロジー、またはプロトコルも、その図によって暗示されることを意図していない。

ユーザデバイスは、コンピューティングネットワーク１０５、またはサーバ１１０のうちのいずれかと直接通信するように構成される。代替として、ユーザデバイス１２０は、データを処理するため、および／またはネットワーク１０５と１つ以上のローカルユーザデバイス１２０との間でデータを通信するために、特別にプログラムされたローカルゲートウェイ１４０を介して遠隔サーバ１１０と、および随意に、他のユーザデバイスとローカルに通信する。

図示されるように、ゲートウェイ１４０は、ソフトウェア命令を実行するためのプロセッサと、ソフトウェア命令およびデータを記憶するためのメモリとを含む別個のハードウェア構成要素として実装される。ゲートウェイは、コンピューティングネットワーク１０５を備えるサーバ１１０と通信するためのデータネットワークへの独自の有線および／または無線接続を有する。代替として、ゲートウェイ１４０は、ユーザによって装着または携行されるユーザデバイス１２０と統合されることができる。例えば、ゲートウェイ１４０は、ユーザデバイス１２０に含まれるプロセッサにインストールされて実行するダウンロード可能なソフトウェアアプリケーションとして実装されてもよい。ゲートウェイ１４０は、一実施形態では、データネットワーク１３０を介してコンピューティングネットワーク１０５へのアクセスを１人以上のユーザに提供する。

サーバ１１０は各々、例えば、データおよびソフトウェアプログラムを記憶するための作業メモリおよび記憶装置、プログラム命令を実行するためのマイクロプロセッサ、グラフィック、画像、ビデオ、オーディオ、およびマルチメディアファイルをレンダリングして生成するためのグラフィックプロセッサおよび他の特殊プロセッサを含む。コンピューティングネットワーク１０５はまた、サーバ１１０によってアクセス、使用、または作成されるデータを記憶するためのデバイスを備えてもよい。

サーバ、随意に、ユーザデバイス１２０およびゲートウェイ１４０上で実行するソフトウェアプログラムは、ユーザがユーザデバイス１２０と相互作用するデジタル世界（本明細書では仮想世界とも呼ばれる）を生成するために使用される。デジタル世界は、ユーザが体験して相互作用するために、ユーザデバイス１２０を介してユーザに提示されることができる、仮想の存在しないエンティティ、環境、および条件を記述するおよび／または定義するデータおよびプロセスによって表される。例えば、ユーザによって視認または体験されている光景でインスタンス化されるときに物理的に存在しているように見えるであろう、何らかのタイプのオブジェクト、エンティティ、またはアイテムは、その外見、その挙動、どのようにしてユーザがそれと相互作用することを許可されるか、および他の特性の説明を含んでもよい。仮想世界（仮想オブジェクトを含む）の環境を作成するために使用されるデータは、例えば、大気データ、地形データ、気象データ、温度データ、位置データ、および仮想環境を定義するかおよび／または記述するために使用される他のデータを含んでもよい。加えて、仮想世界の動作を支配する種々の条件を定義するデータは、例えば、物理法則、時間、空間的関係、および仮想世界（仮想オブジェクトを含む）の動作を支配する種々の条件を定義および／または作成するために使用され得る他のデータを含んでもよい。

デジタル世界のエンティティ、オブジェクト、条件、特性、挙動、または他の特徴は、概して、文脈が特に指示しない限り、本明細書ではオブジェクト（例えば、デジタルオブジェクト、仮想オブジェクト、レンダリングされた物理的オブジェクト等）と呼ばれるであろう。オブジェクトは、限定されないが、建造物、植物、車両、人、動物、生物、機械、データ、ビデオ、テキスト、写真、および他のユーザを含む任意のタイプの有生または無生オブジェクトであってもよい。オブジェクトはまた、アイテム、挙動、または物理的世界に実際に存在する条件に関する情報を記憶するために、デジタル世界において定義されてもよい。エンティティ、オブジェクト、またはアイテムを記述するかまたは定義する、あるいはその現在の状態を記憶するデータは、概して、本明細書ではオブジェクトデータと呼ばれる。このデータは、オブジェクトのインスタンスをインスタンス化し、ユーザがユーザデバイスを体験するために適切な方式でオブジェクトをレンダリングするように、サーバ１１０によって、あるいは実装に応じて、ゲートウェイ１４０またはユーザデバイス１２０によって処理される。

デジタル世界を開発および／または作成するプログラマが、オブジェクト、およびそれらがインスタンス化される条件を作成または定義する。しかしながら、デジタル世界は、他者がオブジェクトを作成または修正することを可能にすることができる。いったんオブジェクトがインスタンス化されると、オブジェクトの状態は、デジタル世界を体験している１人以上のユーザによって、変更、制御、または操作されることを許可されてもよい。

例えば、一実施形態では、デジタル世界の開発、制作、および管理は、概して、１人以上のシステム管理プログラマによって提供される。いくつかの実施形態では、これは、デジタル世界における話の筋、テーマ、および事象の開発、設計、および／または実行、ならびに、例えば、映画、デジタル、ネットワーク、移動、増大現実、およびライブ娯楽等の種々の形態の事象およびメディアを通した、談話の配信を含んでもよい。システム管理プログラマはまた、デジタル世界およびそれと関連付けられるユーザコミュニティの技術管理、議論の管理、およびキュレーション、ならびに典型的にはネットワーク管理人員によって行われる他のタスクに対処してもよい。

ユーザは、概して、ユーザデバイス１２０として設計されている何らかのタイプのローカルコンピューティングデバイスを使用して、１つ以上のデジタル世界と相互作用する。そのようなユーザデバイスの実施例は、スマートフォン、タブレットデバイス、ヘッドアップディスプレイ（ＨＵＤ）、ゲーム機、またはデータを通信し、インターフェースまたはディスプレイをユーザに提供することが可能な任意の他のデバイス、あるいはそのようなデバイスの組み合わせを含むが、それらに限定されない。いくつかの実施形態では、ユーザデバイス１２０は、例えば、キーボード、マウス、ジョイスティック、ゲームコントローラ、触覚インターフェースデバイス、モーションキャプチャコントローラ、オーディオ機器、音声機器、プロジェクタシステム、３Ｄのディスプレイ、およびホログラフィック３Ｄのコンタクトレンズ等のローカル周辺または入力／出力構成要素を含み、またはそれらと通信してもよい。

システム１００と相互作用するためのユーザデバイス１２０の実施例が、図２で図示されている。図２に示される例示的実施形態では、ユーザ２１０が、スマートフォン２２０を通して１つ以上のデジタル世界と対話してもよい。ゲートウェイは、スマートフォン２２０上に記憶されて実行するソフトウェアアプリケーション２３０によって実装される。この特定の実施例では、データネットワーク１３０は、ユーザデバイス（すなわち、スマートフォン２２０）をコンピュータネットワーク１０５に接続する、無線移動ネットワークを含む。

好ましい実施形態の１つの実装では、システム１００は、何らかのタイプのユーザデバイス１２０を使用して、同一のデジタル世界と、または複数のデジタル世界と各々対話する多数の同時ユーザ（例えば、何百万人ものユーザ）をサポートすることが可能である。

ユーザデバイスは、他のユーザおよびユーザに提示されるオブジェクト（現実または仮想）を含むユーザとサーバ１１０によって生成されるデジタル世界との間の視覚、可聴、および／または物理的相互作用を可能にするためのインターフェースをユーザに提供する。インターフェースは、視認する、聞く、または別様に感知することができるレンダリングされた光景、およびリアルタイムで光景と相互作用する能力をユーザに提供する。ユーザがレンダリングされた光景と相互作用する方式は、ユーザデバイスの能力によって決定付けられてもよい。例えば、ユーザデバイスがスマートフォンである場合、ユーザ相互作用は、ユーザがタッチスクリーンに接触することによって実装されてもよい。別の実施例では、ユーザデバイスがコンピュータまたはゲーム機である場合、ユーザ相互作用は、キーボードまたはゲームコントローラを使用して実装されてもよい。ユーザデバイスは、センサ等のユーザ相互作用を可能にする付加的な構成要素を含んでもよく、センサによって検出されるオブジェクトおよび情報（ジェスチャを含む）は、ユーザデバイスを使用した仮想世界とのユーザ相互作用を記述する入力として提供されてもよい。

レンダリングされた光景は、例えば、２次元または３次元視覚表示（投影を含む）、音、および触覚または触知フィードバック等の種々の形式で提示することができる。レンダリングされた光景は、例えば、増大現実、仮想現実、およびそれらの組み合わせを含む、１つ以上のモードで、ユーザによって対話されてもよい。レンダリングされた光景の形式、ならびにインターフェースモードは、ユーザデバイス、データ処理能力、ユーザデバイス接続性、ネットワーク能力、およびシステム作業負荷のうちの１つ以上によって決定付けられてもよい。デジタル世界と同時に相互作用する多数のユーザ、およびデータ交換のリアルタイム性質を有することは、コンピューティングネットワーク１０５、サーバ１１０、ゲートウェイ構成要素１４０（随意に）、およびユーザデバイス１２０によって可能にされる。

一実施例では、コンピューティングネットワーク１０５は、高速接続（例えば、高帯域幅インターフェース１１５）を介して接続された単一および／またはマルチコアサーバ（すなわち、サーバ１１０）を有する、大規模コンピューティングシステムから構成される。コンピューティングネットワーク１０５は、クラウドまたはグリッドネットワークを形成してもよい。サーバの各々は、メモリを含み、デジタル世界のオブジェクトを作成、設計、変更、または処理するようにデータを実装するためのソフトウェアを記憶するためのコンピュータ可読メモリと連結される。これらのオブジェクトおよびそれらのインスタンス化は、動的であり、存在し、存在しなくなり、経時的に変化し、他の条件に応答して変化してもよい。オブジェクトの動的能力の実施例は、概して、種々の実施形態に関して本明細書で論議される。いくつかの実施形態では、システム１００と対話する各ユーザはまた、１つ以上のデジタル世界内で、オブジェクトおよび／またはオブジェクトの集合として表されてもよい。

コンピューティングネットワーク１０５内のサーバ１１０はまた、デジタル世界の各々に対する計算状態データも記憶する。計算状態データ（本明細書では状態データとも呼ばれる）は、オブジェクトデータの構成要素であってもよく、概して、時間における所与のインスタンスで、オブジェクトのインスタンスの状態を定義する。したがって、計算状態データは、経時的に変化してもよく、システム１００を維持する１人以上のユーザおよび／またはプログラマのアクションによる影響を受けてもよい。ユーザが計算状態データ（またはデジタル世界を含む他のデータ）に影響を与えると、ユーザは、デジタル世界を直接変更するか、または別様に操作する。デジタル世界が他のユーザと共有または対話される場合、ユーザのアクションは、デジタル世界と相互作用する他のユーザによって体験されるものに影響を及ぼしてもよい。したがって、いくつかの実施形態では、ユーザによって行われるデジタル世界への変更は、システム１００と対話する他のユーザによって体験されるであろう。

コンピューティングネットワーク１０５内の１つ以上のサーバ１１０に記憶されたデータは、一実施形態では、高速にて、および少ない待ち時間で、１つ以上のユーザデバイス１２０および／またはゲートウェイ構成要素１４０に伝送または展開される。一実施形態では、サーバによって共有されるオブジェクトデータは、完全であり得るか、または圧縮され、ユーザ側で完全オブジェクトデータを再作成するための命令を含有し、ユーザのローカルコンピュータデバイス（例えば、ゲートウェイ１４０および／またはユーザデバイス１２０）によってレンダリングおよび可視化されてもよい。コンピューティングネットワーク１０５のサーバ１１０上で実行するソフトウェアは、いくつかの実施形態では、ユーザの特定のデバイスおよび帯域幅の関数として、デジタル世界内のオブジェクト（またはコンピューティングネットワーク１０５によって交換される任意の他のデータ）について、それが生成して特定のユーザのデバイス１２０に送信するデータを適合させてもよい。例えば、ユーザがユーザデバイス１２０を通してデジタル世界と相互作用するとき、サーバ１１０は、ユーザによって使用されている特定のタイプのデバイス、ユーザデバイスとサーバとの間のデバイスの接続性および／または利用可能な帯域幅を認識し、ユーザ相互作用を最適化するように、デバイスに送達されているデータのサイズを適切に決定して均衡を保ってもよい。これの実施例は、データが、低解像度ディスプレイを有する特定のユーザデバイス上で表示され得るように、伝送されたデータのサイズを低解像度品質に低減させることを含んでもよい。好ましい実施形態では、コンピューティングネットワーク１０５および／またはゲートウェイ構成要素１４０は、１５フレーム／秒以上で、かつ高解像度品質以上であるデータ分解能で動作するインターフェースを提示するのに十分な速度で、データをユーザデバイス１２０に送達する。

ゲートウェイ１４０は、１人以上のユーザのためのコンピューティングネットワーク１０５へのローカル接続を提供する。いくつかの実施形態では、それは、ユーザデバイス１２０または図２に示されるもの等の別のローカルデバイス上で実行する、ダウンロード可能なソフトウェアアプリケーションによって実装されてもよい。他の実施形態では、それは、ユーザデバイス１２０と通信しているが、それとともに組み込まれない、または取り付けられないか、あるいはユーザデバイス１２０とともに組み込まれるかのいずれかである、ハードウェア構成要素（構成要素上に記憶された適切なソフトウェア／ファームウェアを伴う、プロセッサを有する構成要素）によって実装されてもよい。ゲートウェイ１４０は、データネットワーク１３０を介してコンピューティングネットワーク１０５と通信し、コンピューティングネットワーク１０５と１つ以上のローカルユーザデバイス１２０との間のデータ交換を提供する。以下でさらに詳細に論議されるように、ゲートウェイ構成要素１４０は、ソフトウェア、ファームウェア、メモリ、および処理回路を含んでもよく、ネットワーク１０５と１つ以上のローカルユーザデバイス１２０との間で通信されるデータを処理することが可能であり得る。

いくつかの実施形態では、ゲートウェイ構成要素１４０は、特定のユーザデバイス１２０のための最適データ処理能力を可能にするように、ユーザデバイス１２０とコンピュータネットワーク１０５との間で交換されるデータの速度を監視して調節する。例えば、いくつかの実施形態では、ゲートウェイ１４０は、ユーザデバイスと接続されたインターフェースを通してユーザに提示される視野を越えるものでさえも、デジタル世界の静的および動的側面の両方をバッファリングおよびダウンロードする。そのような実施形態では、静的オブジェクトのインスタンス（構造化データ、ソフトウェア実装方法、または両方）は、（ゲートウェイ構成要素１４０、ユーザデバイス１２０、または両方のローカルにある）メモリに記憶されてもよく、コンピューティングネットワーク１０５および／またはユーザのデバイス１２０によって提供されるデータによって示されるように、ローカルユーザの現在の位置に対して参照される。例えば、他のユーザおよび／またはローカルユーザによって制御される知的ソフトウェアエージェントおよびオブジェクトを含み得る、動的オブジェクトのインスタンスが、高速メモリバッファに記憶される。ユーザに提示された光景内の２次元または３次元オブジェクトを記述する、動的オブジェクトは、例えば、移動しているが変化してない静的形状、および変化している動的形状等の構成要素形状に分類することができる。変化している動的オブジェクトの一部は、ゲートウェイ構成要素１４０によって管理される、コンピューティングネットワーク１０５を通したサーバ１１０からのリアルタイムスレッド高優先順位データ流によって更新することができる。優先スレッドデータ流の一実施例として、ユーザの眼の６０度視野内にあるデータには、より周辺にあるデータよりも高い優先順位が与えられてもよい。別の実施例は、背景の静的オブジェクトよりも、ユーザの視野内の動的キャラクタおよび／またはオブジェクトを優先することを含む。

コンピューティングネットワーク１０５とユーザデバイス１２０との間のデータ接続を管理することに加えて、ゲートウェイ構成要素１４０は、ユーザデバイス１２０に提示され得るデータを記憶および／または処理してもよい。例えば、ゲートウェイ構成要素１４０は、いくつかの実施形態では、コンピューティングネットワーク１０５から、例えば、ユーザによる視認のためにレンダリングされるグラフィカルオブジェクトを記述する、圧縮データを受信し、コンピューティングネットワーク１０５からユーザデバイス１２０に伝送されるデータ負荷を軽減するように高度レンダリング技術を行ってもよい。ゲートウェイ１４０が別個のデバイスである、別の実施例では、ゲートウェイ１４０は、処理のためにデータをコンピューティングネットワーク１０５に通信するよりもむしろ、オブジェクトのローカルインスタンスのデータを記憶および／または処理してもよい。

ここで図３も参照すると、デジタル世界は、ユーザのデバイスの能力に依存し得る種々の形式で、１人以上のユーザによって体験されてもよい。いくつかの実施形態では、ユーザデバイス１２０は、例えば、スマートフォン、タブレットデバイス、ヘッドアップディスプレイ（ＨＵＤ）、ゲーム機、または装着型デバイスを含んでもよい。概して、ユーザデバイスは、ディスプレイと連結される、デバイス上のメモリに記憶されたプログラムコードを実行するためのプロセッサと、通信インターフェースとを含むであろう。ユーザデバイスの例示的実施形態が、図３で図示されており、ユーザデバイスは、モバイルの装着型デバイス、すなわち、頭部装着型表示システム３００を備える。本開示の実施形態によれば、頭部装着型表示システム３００は、ユーザインターフェース３０２と、ユーザ感知システム３０４と、環境感知システム３０６と、プロセッサ３０８とを含む。プロセッサ３０８は、代替実施形態では、頭部装着型システム３００から分離している孤立構成要素として図３で示されるが、プロセッサ３０８は、頭部装着型システム３００の１つ以上の構成要素と統合されてもよく、または例えば、ゲートウェイ１４０等の他のシステム１００構成要素に組み込まれてもよい。

ユーザデバイスは、デジタル世界と相互作用し、それを体験するためのインターフェース３０２をユーザに提示する。そのような相互作用は、ユーザおよびデジタル世界、システム１００と対話する１人以上の他のユーザ、およびデジタル世界内のオブジェクトを伴ってもよい。インターフェース３０２は、概して、画像および／または音声感覚入力（およびいくつかの実施形態では物理的感覚入力）をユーザに提供する。したがって、インターフェース３０２は、スピーカ（図示せず）と、いくつかの実施形態では、立体３Ｄの視認および／または人間の視覚系のより自然な特性を具現化する３Ｄの視認を有効にすることが可能な表示構成要素３０３とを含んでもよい。いくつかの実施形態では、表示構成要素３０３は、「オフ」設定であるときに、光学的ひずみまたはコンピューティングオーバーレイがほとんど皆無である、ユーザの周囲の物理的環境の光学的に正しい視界を有効にする、（透明ＯＬＥＤ等の）透明インターフェースを備えてもよい。以下でさらに詳細に論議されるように、インターフェース３０２は、種々の視覚／インターフェース性能および機能性を可能にする、付加的な設定を含んでもよい。

ユーザ感知システム３０４は、いくつかの実施形態では、システム３００を装着する個別ユーザに関係するある特徴、特性、または情報を検出するように動作可能である１つ以上のセンサ３１０を含んでもよい。例えば、いくつかの実施形態では、センサ３１０は、例えば、瞳孔収縮／増大、各瞳孔の角度測定値／位置取り、球形度、（経時的な眼形変化としての）眼形、および他の解剖学的データのうちの１つ以上等の、ユーザのリアルタイムの光学的特性／測定値を検出することが可能なカメラまたは光学検出／走査回路を含んでもよい。このデータは、ユーザの視認体験を最適化するために頭部装着型システム３００および／またはインターフェースシステム１００によって使用され得る情報（例えば、ユーザの視覚焦点）を提供してもよく、または情報を計算するために使用されてもよい。例えば、一実施形態では、センサ３１０は各々、ユーザの眼の各々の瞳孔収縮速度を測定してもよい。このデータは、プロセッサ３０８に（あるいはゲートウェイ構成要素１４０に、またはサーバ１１０に）伝送されてもよく、データは、例えば、インターフェースディスプレイ３０３の輝度設定に対するユーザの反応を決定するために使用される。インターフェース３０２は、例えば、ディスプレイ３０３の輝度レベルが高すぎることをユーザの反応が示す場合に、ディスプレイ３０３を薄暗くすることによって、ユーザの反応に従って調整されてもよい。ユーザ感知システム３０４は、上記で論議される、または図３で図示されるもの以外の他の構成要素を含んでもよい。例えば、いくつかの実施形態では、ユーザ感知システム３０４は、ユーザから音声入力を受信するためのマイクロホンを含んでもよい。ユーザ感知システムはまた、１つ以上の赤外線カメラセンサ、１つ以上の可視スペクトルカメラセンサ、構造光エミッタおよび／またはセンサ、赤外光エミッタ、コヒーレント光エミッタおよび／またはセンサ、ジャイロ、加速度計、磁気探知器、近接センサ、ＧＰＳセンサ、超音波エミッタおよび検出器、ならびに触覚インターフェースを含んでもよい。

環境感知システム３０６は、ユーザの周囲の物理的環境からデータを取得するための１つ以上のセンサ３１２を含む。センサによって検出されるオブジェクトまたは情報は、入力としてユーザデバイスに提供されてもよい。いくつかの実施形態では、この入力は、仮想世界とのユーザ相互作用を表してもよい。例えば、デスク上の仮想キーボードを視認するユーザは、仮想キーボードをタイプしているかのように指でジェスチャを使ってもよい。移動する指の運動は、センサ３１２によって捕捉され、入力としてユーザデバイスまたはシステムに提供されてもよく、入力は、仮想世界を変化させるため、または新しい仮想オブジェクトを作成するために使用されてもよい。例えば、指の運動は、タイピングとして（ソフトウェアプログラムを使用して）認識されてもよく、認識されたタイピングのジェスチャは、仮想キーボード上の仮想キーの既知の場所と組み合わせられてもよい。次いで、システムは、ユーザ（またはシステムと対話する他のユーザ）に表示される仮想モニタをレンダリングしてもよく、仮想モニタは、ユーザによってタイプされているテキストを表示する。

センサ３１２は、例えば、略外向きのカメラ、または例えば、連続的および／または断続的に投影された赤外構造光を通して、光景情報を解釈するためのスキャナを含んでもよい。環境感知システム３０６は、静的オブジェクト、動的オブジェクト、人、ジェスチャ、ならびに種々の照明、大気、および音響条件を含む、局所環境を検出して登録することによって、ユーザの周囲の物理的環境の１つ以上の要素をマップするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システム３０６は、ローカルコンピューティングシステム（例えば、ゲートウェイ構成要素１４０またはプロセッサ３０８）に組み込まれ、センサ３１２によって検出される１つ以上のオブジェクトまたは情報をデジタルで再構築するように動作可能である、画像ベースの３Ｄの再構築ソフトウェアを含んでもよい。１つの例示的な実施形態では、環境感知システム３０６は、モーションキャプチャデータ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、独特オブジェクト特徴認識、音声／オーディオ認識および処理、音源局在化、雑音低減、赤外線または類似レーザ投影、ならびにモノクロおよび／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光強化センサのうちの１つ以上を提供する。環境感知システム３０６は、上記で論議される、または図３で図示されるもの以外の他の構成要素を含んでもよいことを理解されたい。例えば、いくつかの実施形態では、環境感知システム３０６は、局所環境から音声を受信するためのマイクロホンを含んでもよい。ユーザ感知システムはまた、１つ以上の赤外線カメラセンサ、１つ以上の可視スペクトルカメラセンサ、構造光エミッタおよび／またはセンサ、コヒーレント光エミッタおよび／またはセンサ、ジャイロ、赤外光エミッタ、加速度計、磁気探知器、近接センサ、ＧＰＳセンサ、超音波エミッタおよび検出器、ならびに触覚インターフェースを含んでもよい。

上述のように、プロセッサ３０８は、いくつかの実施形態では、頭部装着型システム３００の他の構成要素と統合され、インターフェースシステム１００の他の構成要素と統合されてもよく、または図３に示されるような孤立デバイス（装着型またはユーザから分離している）であってもよい。プロセッサ３０８は、物理的有線接続を通して、または、例えば、移動ネットワーク接続（携帯電話およびデータネットワークを含む）、Ｗｉ−Ｆｉ、またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を通して、頭部装着型システム３００の種々の構成要素および／またはインターフェースシステム１００の構成要素に接続されてもよい。プロセッサ３０８は、メモリモジュール、統合および／または付加的なグラフィック処理ユニット、無線および／または有線インターネット接続性、およびソース（例えば、コンピューティングネットワーク１０５、ユーザ感知システム３０４、環境感知システム３０６、またはゲートウェイ構成要素１４０）からのデータを画像およびオーディオデータに変換することが可能なコーデックおよび／またはファームウェアを含んでもよく、画像／ビデオおよびオーディオは、インターフェース３０２を介してユーザに提示されてもよい。

プロセッサ３０８は、頭部装着型システム３００の種々の構成要素のためのデータ処理、ならびに頭部装着型システム３００とゲートウェイ構成要素１４０、いくつかの実施形態ではコンピューティングネットワーク１０５との間のデータ交換を取り扱う。例えば、プロセッサ３０８は、ユーザとコンピューティングネットワーク１０５との間のデータストリーミングをバッファリングおよび処理し、それにより、平滑、連続的、および高忠実度ユーザ体験を可能にするために使用されてもよい。いくつかの実施形態では、プロセッサ３０８は、３２０×２４０解像度で８フレーム／秒から高解像度（１２８０×７２０）で２４フレーム／秒の間のいずれか、または６０〜１２０フレーム／秒および４ｋ解像度以上（１０ｋ＋解像度および５０，０００フレーム／秒）等のそれ以上を達成するのに十分な速度で、データを処理してもよい。加えて、プロセッサ３０８は、コンピューティングネットワーク１０５からリアルタイムでストリーミング配信されるよりもむしろ、ユーザに提示され得るデータを記憶および／または処理してもよい。例えば、プロセッサ３０８は、いくつかの実施形態では、コンピューティングネットワーク１０５から圧縮データを受信し、コンピューティングネットワーク１０５からユーザデバイス１２０に伝送されるデータ負荷を軽減するように、（明暗または陰影付け等の）高度レンダリング技術を行ってもよい。別の実施例では、プロセッサ３０８は、データをゲートウェイ構成要素１４０に、またはコンピューティングネットワーク１０５に伝送するよりもむしろ、ローカルオブジェクトデータを記憶および／または処理してもよい。

頭部装着型システム３００は、いくつかの実施形態では、種々の視覚／インターフェース性能および機能性を可能にする、種々の設定またはモードを含んでもよい。モードは、ユーザによって手動で、あるいは頭部装着型システム３００の構成要素またはゲートウェイ構成要素１４０によって自動的に選択されてもよい。前述のように、頭部装着型システム３００の一実施例は、インターフェース３０２が実質的にいかなるデジタルまたは仮想コンテンツも提供しない、「オフ」モードを含む。オフモードでは、表示構成要素３０３は、透明であり得、それにより、光学的ひずみまたはコンピューティングオーバーレイがほとんど皆無である、ユーザの周囲の物理的環境の光学的に正しい視界を有効にする。

１つの例示的実施形態では、頭部装着型システム３００は、インターフェース３０２が増大現実インターフェースを提供する、「増大」モードを含む。増大モードでは、インターフェースディスプレイ３０３は、実質的に透明であり得、それにより、ユーザが局所物理的環境を視認することを可能にする。同時に、コンピューティングネットワーク１０５、プロセッサ３０８、および／またはゲートウェイ構成要素１４０によって提供される仮想オブジェクトデータは、物理的局所環境との組み合わせにおいて、ディスプレイ３０３上で提示される。

図４は、インターフェース３０２が増大モードで動作しているときにユーザによって視認されるオブジェクトの例示的実施形態を図示する。図４に示されるように、インターフェース３０２は、物理的オブジェクト４０２および仮想オブジェクト４０４を提示する。図４で図示される実施形態では、物理的オブジェクト４０２が、ユーザの局所環境に存在する実際の物理的オブジェクトである一方で、仮想オブジェクト４０４は、システム１００によって作成され、ユーザインターフェース３０２を介して表示されるオブジェクトである。いくつかの実施形態では、仮想オブジェクト４０４は、物理的環境内の固定位置または場所で表示されてもよく（例えば、物理的環境内に位置する特定の道路標識の隣に立つ仮想サル）、またはユーザインターフェース／ディスプレイ３０３に対する位置に位置するオブジェクトとしてユーザに表示されてもよい（例えば、ディスプレイ３０３の左上隅で可視的な仮想時計または温度計）。

いくつかの実施形態では、仮想オブジェクトは、ユーザの視野内または外に物理的に存在するオブジェクトから合図を出され、またはそれによってトリガされてもよい。仮想オブジェクト４０４は、物理的オブジェクト４０２から合図を出され、またはそれによってトリガされる。例えば、物理的オブジェクト４０２は、実際にはスツールであってもよく、仮想オブジェクト４０４は、スツールの上に立つ仮想動物としてユーザに（いくつかの実施形態ではシステム１００と対話する他のユーザに）表示されてもよい。そのような実施形態では、環境感知システム３０６は、物理的オブジェクト４０２をスツールとして識別する種々の特徴および／または形状パターン（センサ３１２によって捕捉される）を認識するために、例えば、プロセッサ３０８に記憶されたソフトウェアおよび／またはファームウェアを使用してもよい。例えば、スツールの最上部等のこれらの認識された形状パターンは、仮想オブジェクト４０４の配置をトリガするために使用されてもよい。他の実施例は、壁、テーブル、家具、車、建造物、人、床、植物、動物を含み、１つまたは複数のオブジェクトと何らかの関係を持って増大現実体験をトリガするために、見ることができる任意のオブジェクトを使用することができる。

いくつかの実施形態では、トリガされる特定の仮想オブジェクト４０４は、ユーザによって選択され、あるいは頭部装着型システム３００の他の構成要素またはインターフェースシステム１００によって自動的に選択されてもよい。加えて、仮想オブジェクト４０４が自動的にトリガされる実施形態では、特定の仮想オブジェクト４０４は、仮想オブジェクト４０４が合図を出される、またはトリガされる、特定の物理的オブジェクト４０２（またはその特徴）に基づいて選択されてもよい。例えば、物理的オブジェクトがプール上に延在する飛び込み板として識別された場合、トリガされた仮想オブジェクトは、シュノーケル、水着、浮遊デバイス、または他の関連アイテムを着用した生物であってもよい。

別の例示的実施形態では、頭部装着型システム３００は、インターフェース３０２が仮想現実インターフェースを提供する、「仮想」モードを含んでもよい。仮想モードでは、物理的環境は、ディスプレイ３０３から省略され、コンピューティングネットワーク１０５、プロセッサ３０８、および／またはゲートウェイ構成要素１４０によって提供される仮想オブジェクトデータは、ディスプレイ３０３上で提示される。物理的環境の省略は、（例えば、カバーを介して）視覚ディスプレイ３０３を物理的に遮断することによって、またはディスプレイ３０３が不透明設定に移行する、インターフェース３０２の特徴を通して、達成されてもよい。仮想モードでは、ライブおよび／または記憶された視覚および音声感覚が、インターフェース３０２を通してユーザに提示されてもよく、ユーザは、インターフェース３０２の仮想モードを通してデジタル世界（デジタルオブジェクト、他のユーザ等）を体験し、それと相互作用する。したがって、仮想モードでユーザに提供されるインターフェースは、仮想デジタル世界を含む、仮想オブジェクトデータから構成される。

図５は、頭部装着型インターフェース３０２が仮想モードで動作しているときのユーザインターフェースの例示的実施形態を図示する。図５で示されるように、ユーザインターフェースは、デジタルオブジェクト５１０から構成される仮想世界５００を提示し、デジタルオブジェクト５１０は、大気、天気、地形、建造物、および人を含んでもよい。図５で図示されていないが、デジタルオブジェクトはまた、例えば、植物、車両、動物、生物、機械、人工知能、位置情報、および仮想世界５００を定義する任意の他のオブジェクトまたは情報を含んでもよい。

別の例示的実施形態では、頭部装着型システム３００は、「混合」モードを含んでもよく、頭部装着型システム３００の種々の特徴（ならびに仮想および増大モードの特徴）は、１つ以上のカスタムインターフェースモードを作成するように組み合わせられてもよい。１つのカスタムインターフェースモード例では、物理的環境は、ディスプレイ３０３から省略され、仮想オブジェクトデータは、仮想モードに類似する方式でディスプレイ３０３上に提示される。しかしながら、このカスタムインターフェースモード例では、仮想オブジェクトは、完全に仮想であり得（すなわち、それらは局所物理的環境内に存在しない）、またはそれらは、物理的オブジェクトの代わりにインターフェース３０２の中で仮想オブジェクトとしてレンダリングされる、実際の局所の物理的オブジェクトであってもよい。したがって、特定のカスタムモード（本明細書では混合仮想インターフェースモードと呼ばれる）では、ライブおよび／または記憶された視覚および音声感覚が、インターフェース３０２を通してユーザに提示されてもよく、ユーザが、完全仮想オブジェクトおよびレンダリングされた物理的オブジェクトを含むデジタル世界を体験し、それと相互作用する。

図６は、混合仮想インターフェースモードに従って動作するユーザインターフェースの例示的実施形態を図示する。図６に示されるように、ユーザインターフェースは、完全仮想オブジェクト６１０およびレンダリングされた物理的オブジェクト６２０（別様に、光景の中に物理的に存在するオブジェクトのレンダリング）から構成される仮想世界６００を提示する。図６で図示される実施例によれば、レンダリングされた物理的オブジェクト６２０は、建造物６２０Ａ、地面６２０Ｂ、およびプラットフォーム６２０Ｃを含み、オブジェクトがレンダリングされていることをユーザに示すために、太い輪郭６３０とともに示される。加えて、完全仮想オブジェクト６１０は、付加的なユーザ６１０Ａ、雲６１０Ｂ、太陽６１０Ｃ、およびプラットフォーム６２０Ｃの上の炎６１０Ｄを含む。完全仮想オブジェクト６１０は、例えば、大気、天気、地形、建造物、人、植物、車両、動物、生物、機械、人工知能、位置情報、および仮想世界６００を定義し、局所物理的環境内に存在するオブジェクトからレンダリングされていない任意の他のオブジェクトまたは情報を含んでもよいことを理解されたい。逆に、レンダリングされた物理的オブジェクト６２０は、インターフェース３０２の中で仮想オブジェクトとしてレンダリングされる実際の局所の物理的オブジェクトである。太い輪郭６３０は、レンダリングされた物理的オブジェクトをユーザに示すための一実施例を記述する。そのようなものとして、レンダリングされた物理的オブジェクトは、本明細書で開示されるもの以外の方法を使用する等して示されてもよい。

いくつかの実施形態では、レンダリングされた物理的オブジェクト６２０は、環境感知システム３０６のセンサ３１２を使用して（あるいはモーションまたは画像キャプチャシステム等の他のデバイスを使用して）検出され、例えば、処理回路３０８に記憶されたソフトウェアおよび／またはファームウェアによって、デジタルオブジェクトデータに変換されてもよい。したがって、ユーザが混合仮想インターフェースモードでシステム１００と相互作用すると、種々の物理的オブジェクトが、レンダリングされた物理的オブジェクトとしてユーザに表示されてもよい。これは、依然として局所の物理的環境を安全にナビゲートすることが可能である一方で、ユーザがシステム１００と相互作用することを可能にするために、特に有用であり得る。いくつかの実施形態では、ユーザは、レンダリングされた物理的オブジェクトを選択的に除去し、またはインターフェースディスプレイ３０３に追加することが可能であり得る。

別のカスタムインターフェースモード例では、インターフェースディスプレイ３０３は、実質的に透明であり得、それにより、種々の局所の物理的オブジェクトが、レンダリングされた物理的オブジェクトとしてユーザに表示されている間に、ユーザが局所の物理的環境を視認することを可能にする。このカスタムインターフェースモード例は、以前の実施例に関して上記で論議されるように、仮想オブジェクトのうちの１つ以上がレンダリングされた物理的オブジェクトであってもよいことを除いて、増大モードに類似する。

先述のカスタムインターフェースモード例は、頭部装着型システム３００の混合モードによって提供されることが可能な種々のカスタムインターフェースモードのいくつかの例示的実施形態を記述する。したがって、種々の他のカスタムインターフェースモードが、本開示の範囲から逸脱することなく、頭部装着型システム３００の構成要素および上記で論議される種々のモードによって提供される、特徴および機能性の種々の組み合わせから作成されてもよい。

本明細書で論議される実施形態は、オフ、増大、仮想、または混合モードで動作するインターフェースを提供するためのいくつかの実施例を説明するにすぎず、各々のインターフェースモードの範囲または内容、あるいは頭部装着型システム３００の構成要素の機能性を限定することを目的としていない。例えば、いくつかの実施形態では、仮想オブジェクトは、ユーザに表示されるデータ（時間、温度、高度等）、システム１００によって作成および／または選択されるオブジェクト、ユーザによって作成および／または選択されるオブジェクト、またはシステム１００と対話する他のユーザを記述するオブジェクトさえも含んでもよい。加えて、仮想オブジェクトは、物理的オブジェクトの増大（例えば、物理的プラットフォームから成長する仮想像）を含んでもよく、かつ物理的オブジェクトに視覚的に接続され、またはそこから切断されてもよい。

仮想オブジェクトはまた、動的であり得、時間とともに変化し、そのユーザまたは他の複数のユーザ、物理的オブジェクト、および他の仮想オブジェクトとの間の種々の関係（例えば、位置、距離等）に従って変化し、および／または頭部装着型システム３００、ゲートウェイ構成要素１４０、またはサーバ１１０のソフトウェアおよび／またはファームウェアで特定される他の変数に従って変化してもよい。例えば、ある実施形態では、仮想オブジェクトは、ユーザデバイスまたはその構成要素（例えば、仮想ボールは、触覚デバイスがそれの隣に配置されたときに移動する）、物理的なまたは言葉によるユーザ相互作用（例えば、仮想生物は、ユーザがそれに接近するときに逃げるか、またはユーザがそれに話し掛けると話すように）、椅子が仮想生物に投げつけられて生物が椅子を避けること、他の仮想オブジェクト（例えば、第１の仮想生物が第２の仮想生物を見るときに反応するように）、位置、距離、温度、時間等の物理的変数、またはユーザの環境内の他の物理的オブジェクト（例えば、物理的な道に立って示される仮想生物は、物理的な車が通過するときに扁平になるように）に応答してもよい。

本明細書で論議される種々のモードは、頭部装着型システム３００以外のユーザデバイスに適用されてもよい。例えば、増大現実インターフェースが、携帯電話またはタブレットデバイスを介して提供されてもよい。そのような実施形態では、電話またはタブレットは、ユーザの周囲の物理的環境を捕捉するためにカメラを使用してもよく、仮想オブジェクトは、電話／タブレットディスプレイ画面上でオーバーレイされてもよい。加えて、仮想モードは、電話／タブレットのディスプレイ画面上でデジタル世界を表示することによって提供されてもよい。したがって、これらのモードは、本明細書で論議される電話／タブレットの構成要素、ならびにユーザデバイスに接続される、またはユーザデバイスとの組み合わせにおいて使用される他の構成要素を使用して、上記で説明されるような種々のカスタムインターフェースモードを作成するよう混合されてもよい。例えば、混合仮想インターフェースモードは、モーションまたは画像キャプチャシステムとの組み合わせにおいて動作する、コンピュータモニタ、テレビ画面、またはカメラが欠けているデバイスによって提供されてもよい。この例示的実施形態では、仮想世界は、モニタ／画面およびから視認されてもよく、オブジェクト検出およびレンダリングは、モーションまたは画像キャプチャシステムによって行われてもよい。

図７は、異なる地理的位置に位置する２人のユーザが各々、各々のユーザデバイスを介して他方のユーザおよび共通仮想世界と相互作用する、本発明の例示的実施形態を図示する。この実施形態では、２人のユーザ７０１および７０２が、仮想ボール７０３（あるタイプの仮想オブジェクト）を前後に投げており、各ユーザは、仮想世界への他方のユーザの影響を観察することが可能である（例えば、各ユーザは、仮想ボールが方向を変えること、他方のユーザによって捕らえられること等を観察する）。仮想オブジェクト（すなわち、仮想ボール７０３）の移動および位置がコンピューティングネットワーク１０５内のサーバ１１０によって追跡されるので、システム１００は、いくつかの実施形態では、各ユーザに対するボール７０３の到着の正確な位置およびタイミングをユーザ７０１および７０２に通信してもよい。例えば、第１のユーザ７０１がロンドンに位置する場合、ユーザ７０１は、システム１００によって計算される速度で、ロサンゼルスに位置する第２のユーザ７０２にボール７０３を投げてもよい。したがって、システム１００は、ボールの到着の正確な時間および位置を（例えば、Ｅメール、テキストメッセージ、インスタントメッセージ等を介して）第２のユーザ７０２に通信してもよい。このように、第２のユーザ７０２は、ボール７０３が特定の時間および位置に到着することを知るために、自分のデバイスを使用してもよい。１人以上のユーザはまた、地球を仮想的に旅するとき、１つ以上の仮想オブジェクトを追跡するために、地理的位置情報マッピングソフトウェア（または類似物）を使用してもよい。これの実施例は、空を見上げ、実世界に重ね合わされた、頭上を飛ぶ仮想飛行機を見ている３Ｄの頭部装着型ディスプレイを装着したユーザであってもよい。仮想飛行機は、ユーザによって、知能ソフトウェアエージェント（ユーザデバイスまたはゲートウェイ上で実行するソフトウェア）、局所および／または遠隔に存在し得る他のユーザ、および／またはこれらの組み合わせのうちのいずれかによって飛ばされてもよい。

前述のように、ユーザデバイスは、触覚インターフェースデバイスを含んでもよく、触覚インターフェースデバイスは、触覚デバイスが、仮想オブジェクトに対して物理的空間位置に位置することがシステム１００によって決定されるときに、フィードバック（例えば、抵抗、振動、光、音等）をユーザに提供する。例えば、図７に関して上記で説明される実施形態は、図８に示されるように、触覚デバイス８０２の使用を含むように増大されてもよい。この例示的実施形態では、触覚デバイス８０２は、野球のバットとして仮想世界において表示されてもよい。ボール７０３が到着するとき、ユーザ７０２は、仮想ボール７０３に向かって触覚デバイス８０２を振ってもよい。触覚デバイス８０２によって提供される仮想バットがボール７０３と「接触」したことをシステム１００が決定した場合には、触覚デバイス８０２が、振動し、または他のフィードバックをユーザ７０２に提供してもよく、仮想ボール７０３は、ボールとバットとの接触の検出された速度、方向、およびタイミングに従って、システム１００によって計算される方向に仮想バットを跳ね返してもよい。

開示されたシステム１００は、いくつかの実施形態では、混合モード対話を促進してもよく、複数のユーザが、異なるインターフェースモード（例えば、増大、仮想、混合等）を使用して、共通仮想世界（およびその中に含有される仮想オブジェクト）と対話してもよい。例えば、仮想インターフェースモードで特定の仮想世界と対話する第１のユーザは、増大現実モードで同一の仮想世界と対話する第２のユーザと相互作用してもよい。

図９Ａは、第１のユーザ９０１（混合仮想インターフェースモードでシステム１００のデジタル世界と対話する）および第１のオブジェクト９０２が、完全仮想現実モードでシステム１００の同一のデジタル世界と対話する第２のユーザ９２２にとって、仮想オブジェクトとして現れる、実施例を図示する。上記で説明されるように、混合仮想インターフェースモードを介してデジタル世界と対話するとき、局所の物理的オブジェクト（例えば、第１のユーザ９０１および第１のオブジェクト９０２）が走査され、仮想世界において仮想オブジェクトとしてレンダリングされてもよい。第１のユーザ９０１は、例えば、モーションキャプチャシステムまたは類似デバイスによって走査され、第１のレンダリングされた物理的オブジェクト９３１として、（モーションキャプチャシステム、ゲートウェイ構成要素１４０、ユーザデバイス１２０、システムサーバ１１０、または他のデバイスに記憶されたソフトウェア／ファームウェアによって）仮想世界においてレンダリングされてもよい。同様に、第１のオブジェクト９０２は、例えば、頭部装着型インターフェース３００の環境感知システム３０６によって走査され、第２のレンダリングされた物理的オブジェクト９３２として、（プロセッサ３０８、ゲートウェイ構成要素１４０、システムサーバ１１０、または他のデバイスに記憶されたソフトウェア／ファームウェアによって）仮想世界においてレンダリングされてもよい。第１のユーザ９０１および第１のオブジェクト９０２は、物理的世界における物理的オブジェクトとして、図９Ａの第１の部分９１０において示される。図９Ａの第２の部分９２０において、第１のユーザ９０１および第１のオブジェクト９０２は、それらが完全仮想現実モードでシステム１００の同一のデジタル世界と対話する第２のユーザ９２２に現れる際には、第１のレンダリングされた物理的オブジェクト９３１および第２のレンダリングされた物理的オブジェクト９３２として示される。

図９Ｂは、第１のユーザ９０１が、上記で論議されるように、混合仮想インターフェースモードでデジタル世界と対話しており、第２のユーザ９２２が、増大現実モードで同一のデジタル世界（および第２のユーザの物理的局所環境９２５）と対話している、混合モード対話の別の例示的実施形態を図示する。図９Ｂの実施形態では、第１のユーザ９０１および第１のオブジェクト９０２は、第１の物理的位置９１５に位置し、第２のユーザ９２２は、第１の位置９１５からいくらかの距離によって分離された異なる第２の物理的位置９２５に位置する。この実施形態では、仮想オブジェクト９３１および９３２は、第２の位置９２５に対応する仮想世界内の位置までリアルタイム（または近リアルタイム）で転置されてもよい。したがって、第２のユーザ９２２は、第２のユーザの物理的局所環境９２５において、第１のユーザ９０１および第１のオブジェクト９０２をそれぞれ記述するレンダリングされた物理的オブジェクト９３１および９３２を観察し、それらと相互作用してもよい。

図１０は、増大現実モードでシステム１００と対話するときのユーザの視界の説明図の例を図示する。図１０に示されるように、ユーザは、局所の物理的環境（すなわち、複数の建造物を有する都市）および仮想キャラクタ１０１０（すなわち、仮想オブジェクト）を見る。仮想キャラクタ１０１０の位置は、２Ｄの視覚標的（例えば、看板、はがき、または雑誌）および／または建造物、車、人、動物、飛行機、建造物の部分、および／または３Ｄの物理的オブジェクト、仮想オブジェクト、および／またはそれらの組み合わせ等の１つ以上の３Ｄの基準座標系によってトリガされてもよい。図１０で図示される実施例では、都市の中の建造物の既知の位置が、仮想キャラクタ１０１０をレンダリングするための位置合わせ基準および／または情報および主要な特徴を提供してもよい。加えて、建造物に対するユーザの地理的空間位置（例えば、ＧＰＳ、姿勢／位置センサ等によって提供される）または移動位置は、仮想キャラクタ１０１０を表示するために使用されるデータの伝送をトリガするために、コンピューティングネットワーク１０５によって使用されるデータを含んでもよい。いくつかの実施形態では、仮想キャラクタ１０１０を表示するために使用されるデータは、レンダリングされたキャラクタ１０１０および／または仮想キャラクタ１０１０またはその部分をレンダリングするための命令（ゲートウェイ構成要素１４０および／またはユーザデバイス１２０によって実行される）を含んでもよい。いくつかの実施形態では、ユーザの地理的空間位置が利用不可能または不明である場合、サーバ１１０、ゲートウェイ構成要素１４０、および／またはユーザデバイス１２０は、時間および／または他のパラメータの関数としてユーザの最後の既知の位置を使用して、特定の仮想オブジェクトおよび／または物理的オブジェクトが位置し得る場所を推定する推定アルゴリズムを使用して、仮想オブジェクト１０１０を依然として表示してもよい。これはまた、ユーザのセンサが閉塞したか、および／または他の誤動作を体験した場合に、任意の仮想オブジェクトの位置を決定するために使用されてもよい。

いくつかの実施形態では、仮想キャラクタまたは仮想オブジェクトは、仮想像を備えてもよく、仮想像のレンダリングは、物理的オブジェクトによってトリガされる。例えば、ここで図１１を参照すると、仮想像１１１０は、実際の物理的プラットフォーム１１２０によってトリガされてもよい。像１１１０のトリガは、ユーザデバイスまたはシステム１００の他の構成要素によって検出される視覚オブジェクトまたは特徴（例えば、基準、設計特徴、幾何学形状、パターン、物理的位置、高度等）に応答してもよい。ユーザがユーザデバイスを用いることなくプラットフォーム１１２０を視認するとき、ユーザは、像１１１０がないプラットフォーム１１２０を見る。しかしながら、ユーザがユーザデバイスを介してプラットフォーム１１２０を視認するとき、ユーザは、図１１に示されるように、プラットフォーム１１２０上の像１１１０を見る。像１１１０は、仮想オブジェクトであり、したがって、静止し、活動し、経時的にまたはユーザの視認位置に対して変化し、あるいはさらに、どの特定のユーザが像１１１０を視認しているかに応じて変化してもよい。例えば、ユーザが小さい子供である場合、像は犬であってもよく、その上、視聴者が成人男性である場合、像は、図１１に示されるような大きなロボットであってもよい。これらは、ユーザ依存性および状態依存性体験の実施例である。これは、１人以上のユーザが、単独で、および／または物理的オブジェクトとの組み合わせにおいて、１つ以上の仮想オブジェクトを知覚し、仮想オブジェクトのカスタマイズおよび個人化されたバージョンを体験することを可能にするであろう。像１１１０（またはその部分）は、例えば、ユーザデバイス上にインストールされたソフトウェア／ファームウェアを含む、システムの種々の構成要素によってレンダリングされてもよい。仮想オブジェクト（すなわち、像１１１０）の位置合わせ特徴との組み合わせにおいて、ユーザデバイスの位置および姿勢を示すデータを使用して、仮想オブジェクト（すなわち、像１１１０）は、物理的オブジェクト（すなわち、プラットフォーム１１２０）との関係を形成する。例えば、１つ以上の仮想オブジェクトと１つ以上の物理的オブジェクトとの間の関係は、距離、位置取り、時間、地理的位置情報、１つ以上の他の仮想オブジェクトへの近接性、および／または任意の種類の仮想および／または物理的データを含む任意の他の機能的関係の関数であってもよい。いくつかの実施形態では、ユーザデバイスの中の画像認識ソフトウェアが、デジタルオブジェクトから物理的オブジェクトへの関係をさらに強化してもよい。

開示されたシステムおよび方法によって提供される双方向インターフェースは、例えば、１つ以上の仮想環境およびオブジェクトと相互作用すること、他のユーザと相互作用すること、ならびに広告、音楽のコンサート、および映画を含む種々の形態のメディアコンテンツを体験すること等の種々のアクティビティを促進するように実装されてもよい。しかしながら、開示されたシステムは、ユーザがメディアコンテンツを視聴するか、または聴くだけでなく、むしろ、メディアコンテンツに活発に参加して体験するようなユーザ相互作用を促進する。いくつかの実施形態では、ユーザ参加は、既存のコンテンツを変更すること、または１つ以上の仮想世界においてレンダリングされる新しいコンテンツを作成することを含んでもよい。いくつかの実施形態では、メディアコンテンツ、および／またはコンテンツを作成するユーザは、１つ以上の仮想世界の創造をテーマにしてもよい。

一実施例では、音楽家（または他のユーザ）が、特定の仮想世界と相互作用するユーザにレンダリングされる音楽コンテンツを作成してもよい。音楽コンテンツは、例えば、種々のシングル、ＥＰ、アルバム、ビデオ、短編映画、およびコンサートの演奏を含んでもよい。一実施例では、多数のユーザが、音楽家によって演奏された仮想コンサートを同時に体験するように、システム１００と対話してもよい。

いくつかの実施形態では、制作されるメディアは、特定のエンティティ（例えば、バンド、アーティスト、ユーザ等）と関連付けられる一意の識別子コードを含有してもよい。コードは、一式の英数字、ＵＰＣコード、ＱＲコード（登録商標）、２Ｄの画像トリガ、３Ｄの物理的オブジェクト特徴トリガ、または他のデジタルマーク、ならびに音、画像、および／または両方の形態であってもよい。いくつかの実施形態では、コードはまた、システム１００を使用して対話され得るデジタルメディアに埋め込まれてもよい。ユーザは、（例えば、料金の支払いを介して）コードを取得し、識別子コードと関連付けられるエンティティによって制作されたメディアコンテンツにアクセスするようにコードを引き換えてもよい。メディアコンテンツは、追加され、またはユーザのインターフェースから除去されてもよい。

本明細書で開示される実施形態は、複数のユーザのための双方向仮想または増大現実環境を可能にするための方法および装置の１つ以上の実施例を図示するように提供される。そのようなものとして、以下で提供される請求項に記載されるような本開示の範囲から逸脱することなく、本明細書で開示される方法および装置の変更が行われてもよい。例えば、種々の実施例および実施形態が、頭部装着型表示システムに関して本明細書で論議されるが、種々の実施例および実施形態はまた、これらの特定の実施形態に関して論議されるインターフェースまたは能力を提供することが可能な他のユーザデバイスに適用されてもよい。

Claims (5)

1. コンピュータ実装方法であって、前記方法は、
   ユーザデバイスを使用して、ユーザの近傍の無生物理的オブジェクトに対して、前記ユーザデバイスと関連付けられた少なくとも１つのセンサによって生成されるセンサデータを受信することと、
   前記無生物理的オブジェクトを認識することと、
   前記認識された無生物理的オブジェクトと所定の関係を有する仮想オブジェクトを生成することと、
   前記所定の関係に従って前記ユーザへの提示のために、前記ユーザデバイスと関連付けられたディスプレイに前記仮想オブジェクトを伝送することと、
   レンダリングされた物理的オブジェクトとしての前記認識された無生物理的オブジェクトの仮想表示を生成することと、
   混合仮想インターフェースモードにおいて、前記ユーザデバイスと関連付けられた前記ディスプレイ上の仮想光景として、前記仮想オブジェクトおよび前記レンダリングされた物理的オブジェクトを提示することと
   を含む、方法。
2. 第２のユーザへの提示のために、第２のユーザデバイスと関連付けられた第２のディスプレイに前記仮想光景を伝送することをさらに含む、請求項１に記載の方法。
3. 前記無生物理的オブジェクトを認識することは、前記無生物理的オブジェクトの特徴、形状、またはパターンのうちの少なくとも１つを識別することをさらに含む、請求項１に記載の方法。
4. センサデータを受信することは、前記ユーザデバイスの物理的特性に対するデータを受信することをさらに含み、提示のために前記仮想光景を伝送することは、前記仮想オブジェクトの配置に対する位置的データをさらに含む、請求項１に記載の方法。
5. 前記ユーザデバイスの物理的特性は、位置、向き、または移動のうちの少なくとも１つである、請求項４に記載の方法。