JP2019519020A - 視野周辺の視覚的背光 - Google Patents

Abstract

ウェアラブルデバイスは、それを通してユーザが実または仮想オブジェクトを知覚し得る、視野を有することができる。本デバイスは、ユーザの視野外にあるオブジェクトと関連付けられたコンテキスト情報を表す、視覚的背光を表示することができる。視覚的背光は、視野の縁の近傍に表示されることができ、オブジェクトと関連付けられたコンテキスト情報が変化する、例えば、オブジェクトとユーザ（またはユーザの視野）の相対的位置が変化するにつれて、動的に変化することができる。

Description

（関連出願の相互参照）
本願は、２０１６年４月２１日に出願され、“ＲＥＮＤＥＲＩＮＧ ＡＵＲＡＳ ＦＯＲ ＯＢＪＥＣＴＳ ＩＮ ＡＮ ＡＵＧＭＥＮＴＥＤ ＯＲ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ ＥＮＶＩＲＯＮＭＥＮＴ”と題された米国仮出願第６２／３２５，６８５号に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）の下での優先権の利益を主張するものであり、該米国仮出願は、その全体が参照により本明細書中に援用される。

本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、ユーザに環境内のオブジェクトを知らせることに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

一実施形態では、ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムが、開示される。本システムは、３次元ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムを備えることができる。ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる。本システムはまた、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、センサによって入手されたデータに基づいて、ユーザの姿勢を決定することと、少なくとも部分的にユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光（ａｕｒａ）の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのＦＯＶの縁にあるように、背光の視覚的表現をレンダリングすることとを行うようにプログラムされることができる。

別の実施形態では、ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するための方法が、開示される。本方法は、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ディスプレイシステムであって、ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる、ディスプレイシステムと、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で実施されてもよい。本方法は、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのＦＯＶの縁にあるように、背光の視覚的表現をレンダリングすることとを含むことができる。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。 図２は、ウェアラブルシステムの実施例を図式的に図示する。 図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。 図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。 図５は、導波管によって出力され得る、例示的出射ビームを示す。 図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。 図７は、ウェアラブルシステムの実施例のブロック図である。 図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。 図９は、ウェアラブルシステムの別の実施例のブロック図である。 図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。 図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。 図１２は、視野（ＦＯＶ）内の仮想オブジェクトおよび動眼視野（ＦＯＲ）内の仮想オブジェクトの実施例を図式的に図示する。 図１３は、ユーザにユーザのＦＯＲ内のオブジェクトを知らせる実施例を図式的に図示する。 図１４Ａは、ＦＯＶの縁上にある視覚的背光の斜視図を図式的に図示する。 図１４Ｂは、ユーザのＦＯＶ内にあるオブジェクトに関する対応する背光を不可視にする実施例を図式的に図示する。 図１５Ａおよび１５Ｂは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。 図１５Ａおよび１５Ｂは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。 図１６は、視覚的背光の視覚的表現をレンダリングする例示的プロセスを図示する。 図１７は、コンテキスト情報に基づいて視覚的背光の視覚的表現を決定する例示的プロセスを図示する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示における図は、例証目的のためのものであって、正確な縮尺ではない。図は、ＦＯＶを長方形として示すが、ＦＯＶの本提示は、限定することを意図するものではない。ＦＯＶの２次元表現は、任意の形状、例えば、円形、卵形、三角形、多角形、丸みを帯びた正方形、組み合わせ、または同等物であることができる。

概要
ウェアラブルシステムは、拡張または仮想現実コンテンツを表示するように構成されることができる。故に、ユーザの視覚的コンピューティング体験は、ユーザを囲繞する３Ｄ環境まで延長されることができる。しかしながら、ウェアラブルシステムを通して知覚されるユーザ視野（ＦＯＶ）（ユーザのＦＯＶとも称される）は、ヒトの眼の自然なＦＯＶより小さくあり得るかまたはユーザを囲繞する環境全体より小さくあり得る。したがって、ユーザの環境内には、最初は、ユーザのＦＯＶ外にあるが、続いて、ユーザのＦＯＶの中に移動し得る、または、続いて、ユーザの姿勢が変化する（ユーザのＦＯＶを変化させるであろう）場合に知覚可能になり得る、物理的または仮想オブジェクトが存在し得る。例えば、ゲームの状況では、ユーザは、ロボットのアバタを見つけようとし得る。ロボットが、ユーザの現在のＦＯＶのわずかに外にある場合、ユーザは、ロボットが近傍にあることのキューをウェアラブルシステムから受信しないであろう。ユーザが、その頭部を若干移動させる場合、ロボットは、突然、ユーザのＦＯＶに進入し得、これは、ユーザを驚かせ得る。さらに、ウェアラブルシステムを通したユーザのＦＯＶが、比較的に小さい場合、ユーザがその頭部または視線を直接ロボットに方向転換しない限り、ユーザがロボットを見つけることは、困難であることが証明され得る。

ユーザの視覚的体験を改良するために、ウェアラブルシステムは、ユーザにユーザのＦＯＶ外のオブジェクトについて知らせてもよい。例えば、ウェアラブルシステムは、ユーザの現在のＦＯＶ外の対応するオブジェクトに関する視覚的背光の視覚的表現をレンダリングすることができる。背光の視覚的表現は、オブジェクト、ユーザの環境、またはユーザと関連付けられたコンテキスト情報を示すために使用されることができる。例えば、より明るいまたはより大きい背光は、オブジェクトがＦＯＶにより近いことを示し得る一方、より暗いまたはより小さい背光は、オブジェクトがＦＯＶからより遠いことを示し得る。同様に、背光の色は、オブジェクトのタイプを示すために使用されてもよい。例えば、敵のアバタ（仮想ゲームにおいて）は、赤色背光と関連付けられてもよい一方、味方のアバタ（仮想ゲームにおいて）は、緑色背光と関連付けられてもよく、システム通知は、青色背光と関連付けられてもよい。視覚的背光の一部は、ユーザのＦＯＶの縁上に設置されることができる。背光のサイズ、形状、または位置は、ユーザのＦＯＶが変化するにつれて、またはオブジェクトが移動するにつれて、変化してもよい。故に、背光の視覚的表現または背光の視覚的表現の変化は、それによって、現在ユーザのＦＯＶ外にある近傍オブジェクトについての有用なキューをユーザに提供することができる。
ウェアラブルシステムの３Ｄディスプレイの実施例

ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができ、これは、ＡＲデバイス（ＡＲＤ）と同義的に使用される。

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の各点に対し、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、各深度平面に対して異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によってウェアラブルである、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を提示することができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。

ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム４６２（図４に示される）を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム４６２は、フレーム２３０に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼、眼の移動、または眼姿勢の瞳孔直径または配向を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。

実施例として、ウェアラブルシステム２００は、外向きに面したイメージングシステム４６４または内向きに面したイメージングシステム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。

ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合される（２５０）。

ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（例えば、内向きに面したイメージングシステムおよび／または外向きに面したイメージングシステム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、（ｂ）場合によってはそのような処理または読出後にディスプレイ２２０への伝達のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して取得または処理されるデータ、を含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての計算が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の注視を収束させ、オブジェクト上に固定させるための相互に向かって、またはそこから離れるような瞳孔の転動運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更することは、「遠近調節−輻輳・開散運動反射」として知られる関係下、自動的に、輻輳・開散運動における合致する変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４の各々に対し、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の外観は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
導波管スタックアセンブリ

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。

図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。

導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、各々が対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つ以上の光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。

コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイスであり得るか、または、有線または無線通信チャンネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。

導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面と、それらの主要上部表面と主要底部表面との間に延在する縁とを伴う平面状であるかまたは別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接的に配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。

図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じていると解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光を次の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じていること解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。

他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、いずれかまたは両方とも、電気活性特徴を使用して、動的であってもよい。

図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光をその個別の導波管から再指向し、かつ導波管と関連付けられた特定の深度平面のための適切な発散またはコリメーション量を用いて本光を出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じた異なる発散量を用いて光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、特定の角度において光を出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。

いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果は、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かう非常に均一なパターンの出射放出となることができる。

いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを含むポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料と実質的に合致する屈折率に切り替えられることができる（その場合、パターンは、入射光を著しく回折しない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折する）。

いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオン状態およびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

ウェアラブルシステム４００は、世界４７０の一部をイメージングする、外向きに面したイメージングシステム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、イメージングシステム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面したイメージングシステム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。

ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面したイメージングシステム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに面したイメージングシステム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、各眼に対し、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。

ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。

図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４８０内の他の導波管も、同様に機能してもよく、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、光を外部結合し、眼４１０から長距離（例えば、光学無限遠）において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。

図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。

中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ−軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。

光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。

例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。

２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。

ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。

一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。

故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
ウェアラブルシステムの他のコンポーネント

多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。

ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、いかなる物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いかなる物理的キーまたはトラックパッドまたはセンサをも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。

本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
例示的ウェアラブルシステム、環境、およびインターフェース

ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。

図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。

１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。

本情報およびマップデータベース内の点の集合に基づいて、オブジェクト認識装置７０８ａー７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい。

オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、ＶｉｏｌａーＪｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、ＬｕｃａｓーＫａｎａｄｅアルゴリズム、ＨｏｒｎーＳｃｈｕｎｋアルゴリズム、Ｍｅａｎーｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。

マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。

図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。

ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、大まかな点を決定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ〜７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。

図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから計算されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。

大まかな点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ−ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。

一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから計算されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。

複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいるかまたは種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）こと、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。

ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの決定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）

手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。

眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、特定の深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。

カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面したイメージングシステム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面したイメージングシステム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。

図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したシステムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。

少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。

例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。

ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つ以上のカメラを使用して（例えば、内向きに面したイメージングシステム４６２または外向きに面したイメージングシステム４６４を使用して）追跡されてもよい。

図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。

ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。

ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。

ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
動眼視野（ＦＯＲ）および視野（ＦＯＶ）内の例示的オブジェクト

図１２は、視野（ＦＯＶ）内の仮想オブジェクトおよび動眼視野（ＦＯＲ）内の仮想オブジェクトの実施例を図式的に図示する。図４を参照して議論されるように、ＦＯＲは、ウェアラブルシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含む。頭部搭載型拡張現実デバイス（ＡＲＤ）に関して、ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、装着者を囲繞する４πステラジアン立体角の実質的に全てを含み得る。他の状況では、ユーザの移動は、より狭められ得、故に、ユーザのＦＯＲは、より小さい立体角に対し得る。

図１２では、ＦＯＲ１２００は、ウェアラブルシステムを介してユーザによって知覚され得る、オブジェクトのグループ（例えば、１２１０、１２２０、１２３０、１２４２、および１２４４）を含むことができる。ユーザのＦＯＲ１２００内のオブジェクトは、仮想または物理的オブジェクトであってもよい。例えば、ユーザのＦＯＲ１２００は、椅子、ソファ、壁等の物理的オブジェクトを含んでもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステムは、部屋内のテレビと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、テレビをオンにする、またはチャンネルを変更するためのオプションを与えてもよい。

仮想オブジェクトは、３次元（３Ｄ）、２次元（２Ｄ）、または１次元（１Ｄ）オブジェクトであってもよい。ユーザのＦＯＲ内のオブジェクトは、図９を参照して説明されるような世界マップの一部であることができる。オブジェクトと関連付けられたデータ（例えば、場所、意味情報、性質等）が、例えば、アレイ、リスト、ツリー、ハッシュ、グラフ等の種々のデータ構造内に記憶されることができる。各記憶されたオブジェクトのインデックスは、適用可能である場合、例えば、オブジェクトの場所によって決定されてもよい。例えば、データ構造は、基準位置からのオブジェクトの距離等の単一座標によって、オブジェクトをインデックス化してもよい（例えば、基準位置の左（または右）までの距離、基準位置の上部（または底部）からの距離、または基準位置からの深度）。基準位置は、ユーザの位置（ユーザの頭部の位置等）に基づいて決定されてもよい。基準位置はまた、ユーザの環境内の仮想または物理的オブジェクト（標的相互作用可能オブジェクト等）の位置に基づいて決定されてもよい。このように、ユーザの環境内の３Ｄ空間は、仮想オブジェクトが基準位置からのオブジェクトの距離に従って配列される、２Ｄユーザインターフェースの中に畳み込まれてもよい。

ＦＯＲ１２００内では、ユーザが所与の時間に知覚する世界の部分は、ＦＯＶ１２５０と称される（例えば、ＦＯＶ１２５０は、ユーザが現在見ているＦＯＲの部分を包含してもよい）。図１２では、ＦＯＶ１２５０は、破線１２５２によって図式的に図示される。ウェアラブルシステムのユーザは、オブジェクト１２４２、オブジェクト１２４４、およびオブジェクト１２３０の一部等、ＦＯＶ１２５０内の複数のオブジェクトを知覚することができる。ＦＯＶは、ウェアラブルデバイスのディスプレイのサイズまたは光学特性に依存し得る。例えば、ＡＲディスプレイ（例えば、図２におけるディスプレイ２２０）は、ユーザがディスプレイの特定の部分を通して見るとき、ＡＲ／ＭＲ／ＶＲ機能性を提供する、光学（例えば、図４におけるスタックされた導波管アセンブリ４８０または図６における平面導波管６００等）を含んでもよい。ＦＯＶ１２５０は、ＡＲディスプレイを通して見ているときにユーザによって知覚可能な立体角に対応してもよい。

ユーザの姿勢（例えば、頭部姿勢または眼姿勢）が変化するにつれて、ＦＯＶ１２５０も対応して変化し、ＦＯＶ１２５０内のオブジェクトもまた、変化し得る。例えば、図１２では、地図１２１０は、最初は、ユーザのＦＯＶ外にある。ユーザが地図１２１０に向かって見る場合、地図１２１０は、ユーザのＦＯＶ１２５０の中に移動し得、例えば、オブジェクト１２３０は、ユーザのＦＯＶ１２５０外に移動し得る。本明細書に説明されるであろうように、ウェアラブルシステムは、ＦＯＲ１２００内のオブジェクトおよびＦＯＶ１２５０内のオブジェクトの追跡を維持し得る。

ユーザは、ユーザのＦＯＲ１２００内の相互作用可能オブジェクト、特に、ウェアラブルシステムを通したユーザの現在のＦＯＶ１２５０内の相互作用可能オブジェクトと相互作用することができる。相互作用可能オブジェクトは、物理的オブジェクトまたは仮想オブジェクトであってもよい。例えば、オブジェクト１２３０は、株価の経時的変化を示す、仮想グラフであってもよい。仮想オブジェクト１２３０を選択することによって、ユーザは、仮想オブジェクト１２３０と相互作用し、例えば、株価情報を取得する、株を売買する、企業についての情報を取得する等してもよい。これらの相互作用を実施するために、ウェアラブルシステムは、仮想オブジェクトと関連付けられたメニュー、ツールバー等を表示してもよく、これは、ユーザが種々のアクション（例えば、株価情報を取得する）を実施することを可能にすることができる。

ユーザは、種々の技法を使用して、例えば、オブジェクトを選択する、オブジェクトを移動させる、オブジェクトと関連付けられたメニューまたはツールバーを開く、または選択可能オブジェクトの新しいセットを選定する等によって、ＦＯＶ内のオブジェクトと相互作用することができる。ユーザは、例えば、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざす、またはそれをタッチする、キーボードまたはゲームコントローラ（例えば、５方向ｄーパッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイス等との他の相互作用等、手のジェスチャを使用して、ユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス４６６参照）を作動させることによって、相互作用可能オブジェクトと相互作用してもよい。ユーザはまた、例えば、ある時間期間にわたって、オブジェクトを注視する、または腕をそれに向ける、足をタップする、閾値時間間隔の間、ある回数にわたって眼を瞬目させる等、頭部、眼、手、足、または他の身体姿勢を使用して、相互作用可能オブジェクトと相互作用してもよい。ユーザ入力デバイス上のこれらの手のジェスチャおよびユーザの姿勢は、ウェアラブルシステムに選択イベントを開始させることができ、例えば、ユーザインターフェース動作が、実施される（標的相互作用可能オブジェクトと関連付けられたメニューが表示される、ゲーム操作がゲーム内のアバタ上で実施される等）。

いくつかの実装では、ＨＭＤは、仮想オブジェクトをユーザに対して異なる深度平面に表示可能なライトフィールドディスプレイを備える。仮想オブジェクトは、グループ化され、異なる固定される深度平面に表示されることができる。ユーザのＦＯＶは、複数の深度平面を含むことができる。故に、図１２に描写される仮想オブジェクトは、ユーザから異なる見掛け距離にあることができるが、その必要はない。
ユーザにＦＯＲ内のオブジェクトを通知する実施例

図１３は、ユーザにユーザのＦＯＲ内のオブジェクトを知らせる実施例を図式的に図示する。ユーザ１３１０のＦＯＲ１２００は、例えば、オブジェクト１３０２ａ、オブジェクト１３０４ａ、およびオブジェクト１３５２等の複数のオブジェクトを有する。オブジェクト１３５２は、ユーザのＦＯＶ１２５０内にある一方、オブジェクト１３０２ａおよび１３０４ａは、ユーザのＦＯＶ外であるが、ユーザのＦＯＲ１２００内にある。オブジェクト１３０２ａ、１３０４ａ、１３５２のいずれかは、仮想オブジェクトまたは物理的オブジェクトであることができる。

ある実装では、ＦＯＲ内のオブジェクトは、ユーザがディスプレイ２２０を介して直接オブジェクトを知覚することができないように隠蔽されるオブジェクトであってもよい。しかしながら、ディスプレイ２２０は、ユーザがユーザ入力デバイスを作動させると、またはユーザがある姿勢（例えば、頭部、身体、または眼姿勢等）を使用すると、隠蔽されるオブジェクトを提示することができる。例えば、図１３に図示されるように、オブジェクト１３５２は、最初は、ユーザのビューから隠蔽され得る。しかし、ディスプレイは、ユーザがユーザ入力デバイス４６６をクリックする場合、オブジェクト１３５２を示すことができる。

ウェアラブルシステムは、視覚的背光をユーザのＦＯＶの縁の近傍に設置することによって、ユーザのＦＯＶ外のオブジェクトのインジケーションを提供することができる。図１３では、ウェアラブルシステムは、オブジェクト１３０４ａに関する１つの背光１３０４ｂと、オブジェクト１３０２ａに関する別の背光１３０２ｂとをユーザのＦＯＶ１２５０の縁上に設置することができる。

ウェアラブルシステムは、対応するオブジェクト、環境、またはユーザ（例えば、ユーザの姿勢、またはユーザの選好等）と関連付けられたコンテキスト情報に基づいて、視覚的背光の視覚的表現を計算することができる。視覚的背光の視覚的表現は、視覚的背光の形状、色、明るさ、位置、配向、サイズ、または他の視覚的効果または特性を含むことができる。

対応するオブジェクトのコンテキスト情報に基づいて、視覚的背光の視覚的表現を決定するために、ウェアラブルシステムは、例えば、オブジェクトの場所（ユーザに対するオブジェクトの近接度を含む）、オブジェクトの切迫度、オブジェクトのタイプ（例えば、相互作用可能対相互作用不可能、物理的対仮想、オペレーティングシステムオブジェクト対ゲームオブジェクト等）、オブジェクトの性質（例えば、敵のアバタ対味方のアバタ）等、情報量（例えば、通知の数等）等の対応するオブジェクトと関連付けられた種々の特性を使用することができる。対応するオブジェクトの場所に基づいて視覚的背光の視覚的表現を計算する実施例として、背光１３０４ｂは、オブジェクト１３０４ａがオブジェクト１３０２ａよりユーザのＦＯＶから遠いため、背光１３０２ｂより薄く現れてもよい。別の実施例として、背光１３０２ｂは、オブジェクト１３０２ａがユーザのＦＯＶにより切迫し、および／またはより近いため、より大きいおよびより明るい外観を有してもよい。視覚的背光の視覚的表現は、視覚的背光と関連付けられたオブジェクトの変化に基づいて、経時的に変化してもよい。例えば、背光１３０４ｂは、オブジェクト１３０４ａがユーザのＦＯＶのより近くに移動するにつれて、より大きく（またはより明るく）なってもよい、またはオブジェクト１３０４ａがユーザのＦＯＶから離れて移動するにつれて、より小さく（またはより暗く）なってもよい。

ある実装では、背光の視覚的表現は、対応するオブジェクトの既存の情報量に基づいて決定されることができる。例えば、オブジェクト１３０２ａは、ユーザ１３１０のためのメッセージを受信および送信するように構成されることができる、メッセージングアプリケーションであってもよい。オブジェクト１３０２が、より多くのメッセージを受信するにつれて、背光１３０２ｂは、メッセージの蓄積を示すように、より濃くなることができる。

ウェアラブルシステムは、関連付けられたオブジェクトの特性に基づいて、色を背光に割り当ててもよい。例えば、ウェアラブルシステムは、オブジェクト１３０４ａが赤色と関連付けられるため、赤色を背光１３０４ｂに割り当ててもよい。同様に、ＡＲシステムは、それがオペレーティングシステムオブジェクトであって、ＡＲシステムが青色を全てのオペレーティングシステムオブジェクトに割り当てるため、青色をオブジェクト１３０２ｂに割り当ててもよい。割り当てられる色は、単一色に限定されず、複数の色、陰影、コントラスト、飽和等を含んでもよい。背光の視覚的表現はまた、例えば、動画（例えば、背光を平行移動または回転させる）、フェードインまたはアウト等の視覚的効果を含んでもよい。背光の視覚的表現は、音、触覚等を伴ってもよい。

ウェアラブルシステムはまた、ユーザの姿勢に基づいて、視覚的背光の視覚的表現を決定することができる。例えば、ユーザ１３１０が左に方向転換するにつれて、オブジェクト１３０４ａは、ユーザのＦＯＶにより近づき得る一方、オブジェクト１３０２ａは、ユーザのＦＯＶからより離れ得る。その結果、背光１３０４ｂは、より明るく（またはより大きく）なり得る一方、背光１３０２ｂは、より暗く（またはより小さく）なり得る。背光の位置は、オブジェクトおよび／またはユーザが移動するにつれて変化してもよい。例えば、ＡＲシステムは、オブジェクト１３０４ａがユーザ１３１０の右側に移動すると、背光１３０４ｂをＦＯＶ１２５０の右側に示してもよい。

オブジェクトの特性またはユーザの姿勢に基づいて、視覚的背光の視覚的表現を決定することに加え、またはその代替として、ウェアラブルシステムは、ユーザの環境と関連付けられたコンテキスト情報を使用して、視覚的背光の視覚的表現を決定することができる。ユーザの環境と関連付けられたコンテキスト情報は、環境の光条件を含むことができる。光条件は、ディスプレイ２２０を通してユーザによって知覚されるような環境に基づいてもよい。ユーザによって知覚されるような環境は、ユーザの部屋または仮想環境（例えば、ゲーム内のシミュレートされたジャングル等）等のユーザの物理的周囲であり得る。図１３を参照すると、背光１３０４ｂは、最初は、ユーザ１３１０に不可視であり得る。これは、ユーザがディスプレイ２２０を通して暗色環境を知覚するためであり得る。暗色オブジェクトは、典型的には、知覚不可能であるため、ウェアラブルシステムは、暗色環境内のオブジェクトに関する背光を表示し得ない。しかしながら、ウェアラブルシステムは、光がオブジェクト１３０４ａを照明すると、背光１３０４ｂをユーザのＦＯＶの縁上に示すことができる。光は、画面オブジェクト、光源（実または仮想）等のうちの１つ以上のものから生じることができる。

ある実施形態では、背光の視覚的表現は、環境の光条件下のオブジェクトの光学効果に対応することができる。例えば、背光の形状（例えば、卵形）は、背光と関連付けられたオブジェクト（例えば、フットボール用ボール）の２次元投影であってもよい。本実施例では、視覚的背光は、フットボール用ボールがユーザのＦＯＶの縁上に投影されるかのように現れることができる。

背光が仮想オブジェクトに対応するとき、ウェアラブルシステムは、物理的オブジェクトであるかのように仮想オブジェクトの光学効果をシミュレートすることができる。例えば、図１３では、オブジェクト１３０４ａは、仮想オブジェクトであってもよく、これは、物理的オブジェクトである場合、赤色を反射させることができる。故に、ウェアラブルシステム２２０のディスプレイ２２０は、光がオブジェクト１３０４ａ上で光るとき、赤色（斜交平行パターンに図示される）を有するように背光１３０４ｂを表示してもよい。

光学効果はまた、オブジェクトの場所情報を組み込むことができる。例えば、オブジェクトがユーザの背後にあるとき、反射されたオブジェクトの形状は、必然的に、より長く、かつより薄い。ユーザは、本形状を使用して、本オブジェクトと、ユーザのＦＯＶのすぐ右または左にある、別のオブジェクトを区別することができる。例えば、図１３では、オブジェクト１３０４ａは、ユーザからより遠く、その背後にある（例えば、オブジェクト１３０２ａと比較して）。故に、背光１３０４ｂは、低い明るさを伴う薄い形状を有してもよい。しかしながら、背光１３０２ｂは、オブジェクト１３０２ａがーザのＦＯＶのすぐ右にあるため、より厚く、かつより短い。

ウェアラブルシステムは、ディスプレイ２２０を用いて、背光の視覚的表現をレンダリングすることができる。ウェアラブルシステムは、背光の視覚的表現の少なくとも一部をユーザのＦＯＶ１２５０の近傍にレンダリングすることができる。いくつかの実施形態では、オブジェクトがＦＯＶ１２５０内にあるとき、ウェアラブルシステムは、対応する背光を決定しないように構成されることができる。他の実施形態では、ウェアラブルシステムは、オブジェクトがＦＯＶ１２５０内にあるにも関わらず、依然として、背光の視覚的表現を決定することができる。むしろ、ウェアラブルシステムは、オブジェクトがユーザによって知覚可能であるため、ＦＯＶ内のオブジェクトに関する背光の視覚的表現をレンダリングしないように構成されることができる。図１３に示されるように、オブジェクト１３５２は、ユーザのＦＯＶ１２５０内にあるが、ウェアラブルシステムは、背光をオブジェクト１３５２に関するＦＯＶの縁上に投影しないように構成されることができる。

ある実装では、ＦＯＶ内のオブジェクトは、依然として、その対応する背光を有してもよいが、ウェアラブルシステムは、ディスプレイ２２０と関連付けられた光学効果を通して、背光の視覚的表現を隠蔽するように構成されることができる（例えば、ユーザが背光を知覚しないであろうように）。例えば、背光の視覚的表現が、光条件に従って決定される場合、背光の内部表面縁（ＦＯＶ内のオブジェクトに対応する）は、ウェアラブルシステムのイメージングシステム（例えば、シミュレートされた光源および／または図２に示されるカメラ等）またはユーザの眼と共線形に整合するように構成されることができる。そのような実施例では、ユーザは、ＦＯＶ内の光源によって生じる内部表面縁からの反射を知覚せず、したがって、ＦＯＶ内のオブジェクトに対応する背光を知覚しないであろう。

視覚的背光に加え、ウェアラブルシステムはまた、触知またはオーディオ効果を使用して、ユーザにユーザのＦＯＶ外のオブジェクトについて知らせることができる。例えば、拡張現実ゲームでは、ウェアラブルシステムは、ユーザ入力デバイス上の振動を通して、ユーザに接近する敵を通知してもよい。ウェアラブルシステムは、敵がユーザに近接するとき、強い振動を提供する一方、敵がユーザから比較的に遠いとき、弱い振動を提供してもよい。別の実施例では、ウェアラブルシステムは、可聴音を使用して、仮想オブジェクトの位置情報を提供することができる。ウェアラブルシステムは、高い音を使用して、ユーザに近傍の仮想敵をアラームしてもよい。ウェアラブルシステムはまた、仮想オブジェクトの空間場所を反映する、音場をシミュレートすることができる。触知、オーディオ、または視覚的背光は、組み合わせて、またはその代替として使用され、ユーザに周囲オブジェクトについて知らせることができる。
背光の例示的視覚的提示

図１４Ａは、ＦＯＶの縁上にある視覚的背光の斜視図を図式的に図示する。本実施例では、縁１４１０は、ＦＯＶ１２５０の外側境界における面積である。ＦＯＶ１２５０の縁１４１０は、外側枠１４１２と、内側枠１４１４とを備えることができる。縁は、幅１４１６を有してもよい。ウェアラブルシステムは、背光の一部をＦＯＶ１２５０の縁１４１０上に設置することができる。例えば、背光１４０２ｂの一部は、ＦＯＶ１２５０の縁１４１０上にある。別の実施例として、ウェアラブルシステムは、背光１４０４ｂ全体を外側枠１４１２と内側枠１４１４との間に設置することができる。背光は、種々のサイズを有してもよい。いくつかの背光は、ＦＯＶ１２５０の縁１４１０の幅１４１６より小さいまたはそれと等しい直径を有してもよい一方、他の背光は、ＦＯＶ１２５０の縁１４１０の幅１４１６を上回る直径を有してもよい。

ウェアラブルシステムは、背光の視覚的表現を各眼に対して別個に決定およびレンダリングし、ヒト周辺視覚に合致することができる。例えば、ウェアラブルシステムは、オブジェクト１４０２ａの場所が左眼のＦＯＶ内にないため、両眼の代わりに、右眼のみに背光１４０２ｂの視覚的表現をレンダリングしてもよい。本技法はまた、オブジェクトの移動を観察するヒト眼体験をシミュレートするために使用されることができる。例えば、ウェアラブルシステムは、背光の視覚的表現を決定し、右眼の左縁および左眼の右縁からフェードアウトするオブジェクトの効果をシミュレートすることができる。

背光を各眼に対して別個に提示することによって、ウェアラブルシステムは、各眼に対する背光が立体視的に合致しないため、ヒトの眼が背光を深度に分解する可能性を低減させることができる。有利には、いくつかの実施形態では、これは、背光とウェアラブルシステムを通して知覚された他の仮想コンテンツとの間の視覚的衝突を低減させる。

図１４Ｂは、ユーザのＦＯＶ内にあるオブジェクトに関する対応する背光を不可視にする実施例を図式的に図示する。図１４Ｂに示されるように、ヒトの眼１４８８とウェアラブルシステムを通してユーザによって知覚されるようなＦＯＶの縁１４１０との間には、距離が存在し得る。ユーザがＨＭＤを使用するとき、ＦＯＶ角度１４２０が、存在し得る。ＦＯＶ角度１４２０の程度は、ヒトの眼と縁１４１０との間の距離に基づいて決定されてもよい。ＦＯＶ角度１４２０の程度はまた、ディスプレイ２２０の物理的および化学特性に基づいてもよい。ＦＯＶ角度１４２０の程度が変化するにつれて、背光の視覚的表現もまた、変化し得る。

図１３を参照して説明されるように、ウェアラブルシステムは、ユーザの環境内の光条件をシミュレートすることによって、背光の視覚的表現を決定してもよい。そのような光条件は、ＦＯＶ内のオブジェクトおよびＦＯＶ外のオブジェクトの両方に適用されることができる。ウェアラブルシステムは、ユーザにユーザのＦＯＶ内にあるオブジェクトと関連付けられた背光が見えないであろうように、ユーザのＦＯＶ内にあるオブジェクトに関する背光を設置することができる。例えば、図１４Ｂでは、背光１４５２は、オブジェクト１３５２（図１４Ａに示される）と関連付けられることができる。ウェアラブルシステムは、背光１４５２の内部表面縁をウェアラブルシステムのイメージングシステムまたはユーザの眼と共線形に整合されるように位置付けるように構成されることができる。本構成では、ユーザには、背光１４５２の内縁が見えない。
視覚的背光を伴う例示的ユーザ体験

図１５Ａおよび１５Ｂは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。図１５Ａでは、ユーザ１２１０は、部屋内に立っていることができる。ユーザ１２１０がＨＭＤを装着すると、ユーザ１２１０には、ＦＯＲ１２５０およびＦＯＶ１２５０が見える。オブジェクト１５５２は、ユーザのＦＯＶ内にある。オブジェクト１５５２は、あるアプリケーションにおけるあるオブジェクトであってもよい。例えば、図１５Ａでは、オブジェクト１５５２は、ユーザ１２１０がディスプレイ２２０を通して知覚する、仮想創造物であってもよい。

図１５Ａに示されるように、オブジェクト１５０２ａは、ユーザのＦＯＲ１２００内にあるが、ユーザのＦＯＶ１２５０外にある。オブジェクト１５０２ａは、オペレーティングシステムと関連付けられたオブジェクトであってもよい。例えば、図１５Ａに示されるように、オブジェクト１５０２ａは、ホームオブジェクトであることができ、これは、ユーザをユーザのＨＭＤのメインページにダイレクトすることができる。ウェアラブルシステムは、オブジェクト１５０２ａの視覚的背光１５０２ｂの一部をＦＯＶ１２５０の縁１４１０上に示すことができる。ウェアラブルシステムは、図１３、１４Ａ、および１４Ｂを参照して説明される、種々のコンテキスト要因を使用して、背光の視覚的表現を決定し、適宜、視覚的背光１５０２ｂの視覚的表現をレンダリングすることができる。

ユーザがその姿勢を変化させると（その頭部を傾けること等によって）、オブジェクト１５０２ａは、図１５Ｂに示されるように、ユーザのＦＯＶ１２５０内に移動することができる。いくつかの実施形態では、ウェアラブルシステムのディスプレイ２２０は、ＦＯＶ１２５０内にあるとき、オブジェクト１５０２ａに関する背光を示さないであろう。他の実施形態では、ウェアラブルシステムは、背光１５０２ａの内部表面縁をウェアラブルシステムのイメージングシステム（例えば、シミュレートされた光源および／または図２に示されるカメラ等）またはユーザの眼と共線形に整合させるように構成されてもよい。故に、ユーザは、オブジェクト１５０２ａがＦＯＶ１２５０内にある場合、背光を知覚不可能であり得る。
背光の視覚的表現を決定する例示的プロセス

図１６は、視覚的背光の視覚的表現をレンダリングする例示的プロセスを図示する。プロセス１６００は、本明細書に説明されるウェアラブルシステム（例えば、図２および４を参照して説明されるウェアラブルシステム参照）によって実施されることができる。

ブロック１６１０では、ウェアラブルシステムは、仮想ユーザのＦＯＲ内のオブジェクトのグループを決定する。仮想オブジェクトのグループは、ユーザの環境内のオブジェクトのサブセットであることができる。ある実施形態では、仮想オブジェクトは、ユーザのビューから隠蔽されてもよい。

ブロック１６２０では、ウェアラブルシステムは、ユーザの姿勢を決定することができる。ユーザの姿勢は、単独の、または組み合わせた、頭部、眼、身体姿勢であってもよい。ウェアラブルシステムは、例えば、内向きに面したイメージングシステム（例えば、図４における内向きに面したイメージングシステム４６２参照）等の種々のセンサから入手されたデータ、ユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス４６６参照）、ＦＯＶカメラ、および／またはセンサ（図１０を参照した説明参照）上で受信された入力に基づいて、ユーザの姿勢を決定することができる。

ブロック１６３０では、ウェアラブルシステムは、ユーザの姿勢に基づいて、ユーザのＦＯＶを決定することができる。ＦＯＶは、ユーザによって所与の時間に知覚されたＦＯＲの一部を含むことができる。

ユーザのＦＯＶに基づいて、ブロック１６４０では、ウェアラブルシステムは、仮想オブジェクトを識別することができ、これは、ユーザのＦＯＲ内であるがＦＯＶ外にある。いくつかの実装では、ウェアラブルシステムは、ユーザのＦＯＲ内のいくつかのオブジェクトに関する背光を表示するように構成されてもよい。ウェアラブルシステムは、本明細書に説明されるコンテキスト情報に基づいて視覚的背光がレンダリングされる、仮想オブジェクトを識別することができる。例えば、ウェアラブルシステムは、仮想オブジェクトのタイプに基づいて、視覚的背光をレンダリングするように構成されることができ、ウェアラブルシステムは、仮想オブジェクトが相互作用可能である場合、視覚的背光をレンダリングすることができる。別の実施例として、ウェアラブルシステムは、仮想オブジェクトがユーザから閾値距離内にある場合、視覚的背光をレンダリングするであろう。さらに別の実施例として、ウェアラブルシステムは、コンテキスト情報に基づいて、仮想オブジェクト（ＦＯＶ外にある）をソートするように構成されることができ、ウェアラブルシステムは、最も切迫したオブジェクトと関連付けられた背光のみをレンダリングしてもよい。ある実装では、ウェアラブルシステムは、ＦＯＲ内の全ての仮想オブジェクトに関する背光を表示することができる。

仮想オブジェクトが隠蔽されたオブジェクトである状況では、視覚的背光は、隠蔽された宝の方向および位置に関するキューを提供することができる。例えば、宝探しゲームでは、視覚的背光は、隠蔽された宝の場所のインジケーションを提供することができる。いくつかの実施形態では、１つの視覚的背光は、１つを上回るオブジェクトに対応することができる。例えば、ウェアラブルシステムは、オフィスツールのセットがユーザの現在の位置の右隣で利用可能であることを示す、視覚的背光をレンダリングすることができる。

ブロック１６５０では、ウェアラブルシステムは、仮想オブジェクトと関連付けられた視覚的背光の視覚的表現を決定することができる。ウェアラブルシステムは、種々のコンテキスト要因を使用して、背光の視覚的表現を決定することができる。例えば、ウェアラブルシステムは、ユーザのＦＯＶに対する仮想オブジェクトの場所を計算してもよい。ある実施形態では、ウェアラブルシステムは、単独で、または遠隔処理モジュール２７０（図２に示される）と組み合わせて、ローカル処理およびデータモジュール２６０を使用して、視覚的表現を決定することができる。例えば、遠隔処理モジュール２６０は、視覚的背光の色を決定することができる一方、ローカル処理およびデータモジュール２６０は、視覚的背光の場所およびサイズを決定することができる。別の実施例として、遠隔処理モジュール２７０は、デフォルト視覚的表現を決定することができる一方、ローカル処理およびデータモジュール２６０は、ユーザの移動（または背光に対応する仮想オブジェクト）を追跡し、適宜、デフォルト視覚的表現を調節することができる。例えば、ローカル処理およびデータモジュール２６０は、遠隔データリポジトリから背光のデフォルト視覚的表現にアクセスし、ユーザのＦＯＶに対する仮想オブジェクトの位置に基づいて、背光のデフォルト視覚的表現のサイズおよび明るさを調節することができる。

ブロック１６６０では、ウェアラブルシステムは、視覚的背光の視覚的表現をレンダリングすることができる。視覚的表現は、ブロック１６５０における決定に基づいてレンダリングされることができる。視覚的背光の一部は、ユーザのＦＯＶの縁上に設置されてもよい。複数の視覚的背光が表示される、いくつかの状況では、ウェアラブルシステムは、視覚的背光の一部を別の視覚的背光の一部と重複するように設置してもよい。本明細書に説明されるように、ウェアラブルシステムは、背光の表現を各眼に対して別個にレンダリングしてもよい。別個の提示は、ヒト周辺視覚に合致し、オブジェクトの移動を観察するヒト眼体験をシミュレート可能であってもよい。ある実装では、仮想オブジェクトの視覚的背光は、一方の眼に関してＦＯＶの縁上にレンダリングされるであろうが、他方の眼に関してはレンダリングされない。

例示的プロセス１６００は、仮想オブジェクトと関連付けられた背光の視覚的表現のレンダリングを参照して説明されるが、ある実施形態では、背光はまた、物理的オブジェクト（例えば、テレビ、コーヒーメーカー等）と関連付けられてもよい。

図１７は、コンテキスト情報に基づいて視覚的背光の視覚的表現を決定する例示的プロセスを図示する。プロセス１７００は、本明細書に説明されるウェアラブルシステム（例えば、図２および４を参照して説明されるウェアラブルシステム参照）によって実施されることができる。

ブロック１７１０では、ウェアラブルシステムは、ユーザの環境内のオブジェクトを識別することができる。オブジェクトは、物理的オブジェクトまたは仮想オブジェクトであってもよく、環境は、ユーザの物理的または仮想環境であってもよい。ウェアラブルシステムは、図１６におけるプロセス１６００を参照して説明される技法を使用してオブジェクトを識別することができる。ある実施形態では、ユーザの環境内で識別されたオブジェクトは、隠蔽されたオブジェクトであってもよい。隠蔽されたオブジェクトは、ユーザのビューから隠されてもよい（例えば、別のオブジェクトによって遮断される）、または例えば、ユーザ入力デバイス４６６の作動またはユーザの姿勢の変化等、ユーザインターフェース動作に応じて知覚可能になってもよい。

図１６を参照して説明されるように、ウェアラブルシステムは、ユーザのＦＯＶに基づいて、オブジェクトを識別することができる。ユーザのＦＯＶは、本明細書に説明されるように、ウェアラブルシステムのディスプレイの光学特性およびユーザの姿勢（身体姿勢または頭部姿勢等）に基づいて決定されてもよい。いくつかの実施形態では、識別されたオブジェクトは、ユーザのＦＯＶ外であるが、ＦＯＲ内にある。ウェアラブルシステムは、ユーザの環境の世界マップ９２０（図９に説明される）を使用して、オブジェクトがユーザのＦＯＶ外にあるかどうかを決定することができる。例えば、ウェアラブルシステムは、ユーザの現在の場所を決定し、ユーザを世界マップ内に位置付けることができる。ウェアラブルシステムは、適宜、世界マップ内のユーザの位置に基づいて、ＦＯＶ内のオブジェクトを計算することができる。

ブロック１７２０では、ウェアラブルシステムは、オブジェクト、ユーザ、または環境と関連付けられたコンテキスト情報にアクセスすることができる。コンテキスト情報は、ブロック１７３０において、オブジェクトに対応する背光の視覚的表現を決定（またはそれにアクセス）するために使用されてもよい。例えば、より切迫したオブジェクトは、より大きく、かつより明るい背光と関連付けられてもよい一方、あまり切迫していないオブジェクトは、より小さいまたはより暗い背光と関連付けられてもよい。別の実施例として、背光は、ユーザの環境の光条件下のオブジェクトの２Ｄ投影を表してもよい（ＦＯＶの縁上に）。

随意に、ブロック１７４０では、ウェアラブルシステムは、ブロック１７３０における決定に基づいて、背光の視覚的表現をレンダリングすることができる。背光の視覚的表現の実施例は、図１３−１５Ｂを参照して説明される。ある場合には、ウェアラブルシステムは、背光の視覚的表現をレンダリングしなくてもよい。例えば、オブジェクトがＦＯＶ内にある場合、システムは、ユーザにオブジェクトが見え、背光が必要とされ得ないと推定してもよい。システムがユーザの注意をＦＯＶ内のオブジェクトに引き付けることを所望する場合、システムは、オブジェクトと関連付けられた背光（例えば、少なくとも部分的に、オブジェクトを囲繞する）をレンダリングし、ユーザにオブジェクトをアラートしてもよい。別の実施例として、オブジェクトがユーザの背後にある（例えば、ユーザのＦＯＲ内にあるが、ユーザのＦＯＶ内にない）場合、ウェアラブルシステムは、ユーザがＦＯＶの縁上へのオブジェクトの投影を妨げるため、視覚的表現をレンダリングしなくてもよい。別の実施例として、図１４Ｂを参照して説明されるように、オブジェクトは、背光１４５２の内部表面縁の位置がＡＲシステムのイメージングシステムまたはユーザの眼と共線形に整合されるように、ＦＯＶの縁上に投影されてもよい。本構成では、ユーザには、背光１４５２の内縁が見えない。

オブジェクトが、ＦＯＶ外であるが、ＦＯＲ内にある場合、背光の視覚的表現は、図１６におけるブロック１６６０を参照して説明されるように、レンダリングされることができる。

本明細書に説明される実施例は、ＦＯＶ内のオブジェクトまたはＦＯＲ内であるがＦＯＶ外にあるオブジェクトに関する背光を提供するが、種々の実施形態では、背光はまた、ＦＯＶおよびＦＯＲ外のオブジェクトに関しても提供されることができる。例えば、ビデオゲームでは、仮想敵は、壁の背後に隠れる、またはユーザのＦＯＲ外の異なる部屋からユーザに接近し得る。ウェアラブルシステムは、視覚的背光をユーザのＦＯＶの縁上に仮想敵の場所に関するキューとして提供することができる。ある実装では、ユーザは、あるオブジェクトに関する視覚的背光をオフにするかどうかを決定することができる。例えば、いったんユーザがゲーム内であるレベルに前進すると、ユーザは、ウェアラブルシステムが接近する敵に関する視覚的背光を提供しないであろうように、視覚的背光特徴をオフにしてもよい。
付加的実施形態

第１の側面では、ユーザの周囲の拡張現実環境内の仮想オブジェクトの存在に関するインジケーションを提供するための方法であって、該方法は、
コンピュータハードウェアを備える拡張現実（ＡＲ）システムであって、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の仮想オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える、ＡＲシステムの制御下で、
ユーザのＦＯＲ内の仮想オブジェクトのグループを決定することと、ユーザの姿勢を決定することと、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ＡＲシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＲ内であるが、ユーザのＦＯＶ外に位置する、仮想オブジェクトのグループのサブグループを識別することと、仮想オブジェクトのサブグループ内の仮想オブジェクトの少なくともいくつかに関して、ユーザのＦＯＶに対する仮想オブジェクトの場所を決定することと、少なくとも部分的に、場所に基づいて、ユーザのＦＯＶに対する仮想オブジェクトと関連付けられた視覚的背光の設置を決定することと、視覚的背光の少なくとも一部がユーザのＦＯＶの縁上においてユーザによって知覚可能であるように、視覚的背光を表示することとを含む、方法。いくつかの実施形態では、視覚的背光の設置は、視覚的背光の視覚的表現とも称される。

第２の側面では、ユーザの姿勢は、ユーザの眼姿勢を含む、側面１に記載の方法。

第３の側面では、視覚的背光は、色を有する形状を含む、側面１−２のいずれか１項に記載の方法。

第４の側面では、形状は、丸みを帯びた正方形を含む、側面３に記載の方法。

第５の側面では、視覚的背光の色は、仮想オブジェクトのタイプを示す、側面３−４のいずれか１項に記載の方法。

第６の側面では、背光の設置は、明るさ、位置、またはサイズのうちの１つ以上のものを含む、側面１−５のいずれか１項に記載の方法。

第７の側面では、明るさは、少なくとも部分的に、ＦＯＶの縁に対する仮想オブジェクトの近接度に基づく、側面６に記載の方法。

第８の側面では、サイズは、仮想オブジェクトの近接度および／または切迫度を示す、側面６−７のいずれか１項に記載の方法。

第９の側面では、ユーザのＦＯＶは、少なくとも部分的に、ＡＲシステム内のＡＲディスプレイの面積に基づいて決定される、側面１−８のいずれか１項に記載の方法。

第１０の側面では、仮想オブジェクトは、オペレーティングシステム仮想オブジェクトまたはアプリケーション仮想オブジェクトのうちの１つ以上のものを含む、側面１−９のいずれか１項に記載の方法。

第１１の側面では、ＡＲシステムは、ユーザの第１の眼のための第１のＡＲディスプレイと、ユーザの第２の眼のための第２のＡＲディスプレイとを備え、視覚的背光をユーザのＦＯＶの縁上に表示することは、第１のＡＲディスプレイによって視覚的背光の第１の表現を表示することを含む、側面１−１０のいずれか１項に記載の方法。

第１２の側面では、第２のＡＲディスプレイによって視覚的背光の第２の表現を表示することをさらに含み、第２の表現は、第１の表現と異なる、側面１１に記載の方法。

第１３の側面では、視覚的背光の第１の表現および視覚的背光の第２の表現は、各眼に別個にレンダリングされ、周辺視覚に合致する、側面１２に記載の方法。

第１４の側面では、視覚的背光の第１の表現および視覚的背光の第２の表現は、各眼に別個にレンダリングされ、視覚的背光の深度知覚を低減または回避させる、側面１２−１３のいずれか１項に記載の方法。

第１５の側面では、少なくとも部分的に、ユーザの姿勢の変化に基づいて、仮想オブジェクトのグループのサブグループを更新することと、仮想オブジェクトのグループの更新されたサブグループに基づいて、視覚的背光の第１または第２の表現を更新することとをさらに含む、側面１−１４のいずれか１項に記載の方法。

第１６の側面では、仮想オブジェクトのサブグループ内の仮想オブジェクトがユーザのＦＯＶ内に移動したことを決定することと、その仮想オブジェクトと関連付けられた視覚的背光の表示を停止することとをさらに含む、側面１−１５のいずれか１項に記載の方法。

第１７の側面では、ユーザのＦＯＶ内の仮想オブジェクトがユーザのＦＯＶ外に移動したことを決定することと、その仮想オブジェクトと関連付けられた視覚的背光を表示することとをさらに含む、側面１−１６のいずれか１項に記載の方法。

第１８の側面では、ユーザの環境内のオブジェクトのインジケーションを提供するための方法であって、該方法は、
イメージングシステムを備える拡張現実（ＡＲ）システムであって、該ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の仮想オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含む、ＡＲシステムの制御下で、
ユーザのＦＯＲ内のオブジェクトのグループを決定することと、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ＡＲシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＲ内であるが、ユーザのＦＯＶ外に位置する、オブジェクトのグループのサブグループを識別することと、視覚的背光の少なくとも一部がユーザのＦＯＶ内で知覚可能であるように、オブジェクトのグループのサブグループ内のオブジェクトのうちの１つ以上のものに関する視覚的背光を表示することとを含む、方法。

第１９の側面では、ＦＯＶは、少なくとも部分的に、ユーザの姿勢に基づいて決定される、側面１８に記載の方法。

第２０の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも１つを含む、側面１９に記載の方法。

第２１の側面では、ユーザの環境の光条件を決定することと、オブジェクトのグループ内の１つ以上の仮想オブジェクトに関する光条件の光学効果をシミュレートすることと、少なくとも部分的に、シミュレートされた光学効果に基づいて、１つ以上の仮想オブジェクトと関連付けられた視覚的背光の設置を決定することとをさらに含む、側面１８−２０のいずれか１項に記載の方法。

第２２の側面では、環境は、仮想環境または物理的環境のうちの１つ以上のものである、側面２１に記載の方法。

第２３の側面では、背光の設置は、明るさ、位置、形状、またはサイズのうちの１つ以上のものを含む、側面２１−２２のいずれか１項に記載の方法。

第２４の側面では、視覚的背光の設置を決定することはさらに、ユーザのＦＯＲ内であるが、ユーザのＦＯＶ外にある、オブジェクトのグループのサブグループ内の仮想オブジェクトを識別することと、イメージングシステムおよびユーザの少なくとも１つの眼と仮想オブジェクトと関連付けられた視覚的背光の内縁を共線形に整合させることとを含む、側面２１−２３のいずれか１項に記載の方法。

第２５の側面では、ＡＲシステムは、ユーザの第１の眼のための第１のＡＲディスプレイと、ユーザの第２の眼のための第２のＡＲディスプレイとを備え、視覚的背光をユーザのＦＯＶの縁上に表示することは、第１のＡＲディスプレイによって視覚的背光の第１の表現を表示することを含む、側面１８−２４のいずれか１項に記載の方法。

第２６の側面では、第２のＡＲディスプレイによって、視覚的背光の第２の表現を表示することをさらに含み、第２の表現は、第１の表現と異なる、側面２５に記載の方法。

第２７の側面では、視覚的背光の第１の表現および視覚的背光の第２の表現は、各眼に別個にレンダリングされ、周辺視覚に合致する、側面２６に記載の方法。

第２８の側面では、視覚的背光の第１の表現および視覚的背光の第２の表現は、各眼に別個にレンダリングされ、視覚的背光の深度知覚を低減または回避させる、側面２６−２７のいずれか１項に記載の方法。

第２９の側面では、少なくとも部分的に、ユーザの姿勢の変化に基づいて、オブジェクトのグループのサブグループを更新することと、オブジェクトのグループの更新されたサブグループに基づいて、視覚的背光の第１または第２の表現を更新することとをさらに含む、側面１８−２８のいずれか１項に記載の方法。

第３０の側面では、側面１−２９のいずれか１項に記載の方法を実施するようにプログラムされる、コンピュータハードウェアを備える、拡張現実（ＡＲ）システム。

第３１の側面では、ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムであって、該システムは、ウェアラブルデバイスのディスプレイシステムであって、該ディスプレイシステムは、３次元ビューをユーザに提供し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含む、ディスプレイシステムと、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサであって、該ハードウェアプロセッサは、センサによって入手されたデータに基づいて、ユーザの姿勢を決定することと、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのＦＯＶの縁にあるように、背光の視覚的表現をレンダリングすることとを行うようにプログラムされる、ハードウェアプロセッサとを備える、システム。

第３２の側面では、ディスプレイシステムは、ユーザの第１の眼のための第１のライトフィールドディスプレイと、ユーザの第２の眼のための第２のライトフィールドディスプレイとを備え、背光の視覚的表現をレンダリングするために、ハードウェアプロセッサは、背光の第１の視覚的表現を第１のライトフィールドディスプレイによって第１の眼と関連付けられた第１のＦＯＶの第１の縁にレンダリングすることと、背光の第２の視覚的表現を第２のライトフィールドディスプレイによって第２の眼と関連付けられた第２のＦＯＶの第２の縁にレンダリングすることとを行うようにプログラムされる、側面１に記載のシステム。

第３３の側面では、背光の第１の表現および背光の第２の表現は、ユーザの周辺視覚に合致するように各眼に対して別個にレンダリングされる、側面３２に記載のシステム。

第３４の側面では、コンテキスト情報は、ユーザ、３Ｄ環境、または相互作用可能オブジェクトの特性と関連付けられた情報を含む、側面３１−３３のうちのいずれか１項に記載のシステム。

第３５の側面では、３Ｄ環境内と関連付けられた情報は、ユーザの環境の光条件を含み、背光の設置は、光条件下の相互作用可能オブジェクトの光学効果をシミュレートすることによって決定される、側面３４に記載のシステム。

第３６の側面では、ハードウェアプロセッサはさらに、ユーザの姿勢の変化を検出することと、ユーザの姿勢の変化に基づいて、３Ｄ環境内の相互作用可能オブジェクトの更新された場所を決定することと、相互作用可能オブジェクトの更新された場所に基づいて、背光の視覚的表現を更新することとを行うようにプログラムされる、側面３１−３５のうちのいずれか１項に記載のシステム。

第３７の側面では、更新された場所がユーザのＦＯＶ内にあることの決定に応答して、ハードウェアプロセッサは、背光の内縁とユーザの少なくとも１つの眼を共線形に整合させることによって、背光の設置を決定するようにプログラムされる、側面３６に記載のシステム。

第３８の側面では、背光の視覚的表現は、位置、形状、色、サイズ、または明るさのうちの少なくとも１つを含む、側面３１−３７のうちのいずれか１項に記載のシステム。

第３９の側面では、背光のサイズは、相互作用可能オブジェクトの近接度または切迫度のうちの少なくとも１つを示す、側面８に記載のシステム。

第４０の側面では、ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも１つを含む、側面３１−３９のうちのいずれか１項に記載のシステム。

第４１の側面では、ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するための方法であって、該方法は、
ウェアラブルデバイスであって、該ウェアラブルデバイスは、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成されるディスプレイシステムであって、ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含む、ディスプレイシステムと、ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、センサおよびディスプレイシステムと通信するハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で、
少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光の視覚的表現を決定し、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのＦＯＶの縁にあるように、背光の視覚的表現をレンダリングすることとを含む、方法。

第４２の側面では、背光の第１の視覚的表現をユーザの第１の眼と関連付けられた第１のＦＯＶの第１の縁にレンダリングすることと、背光の第２の視覚的表現をユーザの第２の眼と関連付けられた第２のＦＯＶの第２の縁にレンダリングすることとをさらに含む、側面４１に記載の方法。

第４３の側面では、背光の第１の表現および背光の第２の表現は、ユーザの周辺視覚に合致するように各眼に対して別個にレンダリングされる、側面４２に記載の方法。

第４４の側面では、コンテキスト情報は、ユーザ、３Ｄ環境、または相互作用可能オブジェクトの特性と関連付けられた情報を含む、側面４１−４３のいずれか１項に記載の方法。

第４５の側面では、３Ｄ環境内と関連付けられた情報は、ユーザの環境の光条件を含み、背光の視覚的表現は、光条件下の相互作用可能オブジェクトの光学効果をシミュレートすることによって決定される、側面４４に記載の方法。

第４６の側面では、ユーザの姿勢の変化を検出することと、ユーザの姿勢の変化に基づいて、３Ｄ環境内の相互作用可能オブジェクトの更新された場所を決定することと、相互作用可能オブジェクトの更新された場所に基づいて、背光の視覚的表現を更新することとをさらに含む、側面４５に記載の方法。

第４７の側面では、更新された場所がユーザのＦＯＶ内にあることの決定に応答して、背光の内縁とユーザの少なくとも１つの眼を共線形に整合させる、側面４６に記載の方法。

第４８の側面では、背光の視覚的表現は、位置、形状、色、サイズ、または明るさのうちの少なくとも１つを含む、側面４６−４７のいずれか１項に記載の方法。

第４９の側面では、背光のサイズは、相互作用可能オブジェクトの近接度または切迫度のうちの少なくとも１つを示す、側面４８に記載の方法。

第５０の側面では、ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも１つを含む、側面４１−４９のいずれか１項に記載の方法。
結論

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、特定のコンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、特定のプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて特定の機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で実施されること、または、連続的順序で実施されること、または、全ての図示される動作が実施されることは必要ないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (20)

1. ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムであって、前記方法は、
   ３次元ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記ＦＯＲは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ディスプレイシステムと、
   前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、
   前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
   前記センサによって入手されたデータに基づいて、前記ユーザの姿勢を決定することと、
   少なくとも部分的に前記ユーザの姿勢に基づいて、前記ユーザの視野（ＦＯＶ）を決定することであって、前記ＦＯＶは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記ＦＯＲの一部を含む、ことと、
   前記ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、
   前記相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
   前記コンテキスト情報に基づいて、背光の視覚的表現を決定することと、
   前記ユーザによって知覚可能な前記視覚的背光の少なくとも一部が前記ユーザのＦＯＶの縁にあるように、前記背光の視覚的表現をレンダリングすることと
   を行うようにプログラムされる、ハードウェアプロセッサと
   を備える、システム。
2. 前記ディスプレイシステムは、前記ユーザの第１の眼のための第１のライトフィールドディスプレイと、前記ユーザの第２の眼のための第２のライトフィールドディスプレイとを備え、前記背光の視覚的表現をレンダリングするために、前記ハードウェアプロセッサは、
   前記背光の第１の視覚的表現を前記第１のライトフィールドディスプレイによって前記第１の眼と関連付けられた第１のＦＯＶの第１の縁にレンダリングすることと、
   前記背光の第２の視覚的表現を前記第２のライトフィールドディスプレイによって前記第２の眼と関連付けられた第２のＦＯＶの第２の縁にレンダリングすることと
   を行うようにプログラムされる、請求項１に記載のシステム。
3. 前記背光の第１の表現および前記背光の第２の表現は、前記ユーザの周辺視覚に合致するように各眼に対して別個にレンダリングされる、請求項２に記載のシステム。
4. 前記コンテキスト情報は、前記ユーザ、前記３Ｄ環境、または前記相互作用可能オブジェクトの特性と関連付けられた情報を含む、請求項１に記載のシステム。
5. 前記３Ｄ環境と関連付けられた情報は、前記ユーザの環境の光条件を含み、前記背光の設置は、前記光条件下の前記相互作用可能オブジェクトの光学効果をシミュレートすることによって決定される、請求項４に記載のシステム。
6. 前記ハードウェアプロセッサはさらに、
   前記ユーザの姿勢の変化を検出することと、
   前記ユーザの姿勢の変化に基づいて、前記３Ｄ環境内の前記相互作用可能オブジェクトの更新された場所を決定することと、
   前記相互作用可能オブジェクトの更新された場所に基づいて、前記背光の視覚的表現を更新することと
   を行うようにプログラムされる、請求項１−５のいずれか１項に記載のシステム。
7. 前記更新された場所が前記ユーザのＦＯＶ内にあることの決定に応答して、前記ハードウェアプロセッサは、前記背光の内縁と前記ユーザの少なくとも１つの眼を共線形に整合させることによって、前記背光の設置を決定するようにプログラムされる、請求項６に記載のシステム。
8. 前記背光の視覚的表現は、位置、形状、色、サイズ、または明るさのうちの少なくとも１つを含む、請求項１−５のいずれか１項に記載のシステム。
9. 前記背光のサイズは、前記相互作用可能オブジェクトの近接度または切迫度のうちの少なくとも１つを示す、請求項８に記載のシステム。
10. 前記ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも１つを含む、請求項１−５のいずれか１項に記載のシステム。
11. ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するための方法であって、前記方法は、
    ウェアラブルデバイスであって、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成されるディスプレイシステムであって、前記ＦＯＲは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ディスプレイシステムと、前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で、
    少なくとも部分的に、前記ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、前記ＦＯＶは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記ＦＯＲの一部を含む、ことと、
    前記ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、
    前記相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
    前記コンテキスト情報に基づいて、背光の視覚的表現を決定することと、
    前記ユーザによって知覚可能な前記視覚的背光の少なくとも一部が前記ユーザのＦＯＶの縁にあるように、前記背光の視覚的表現をレンダリングすることと
    を含む、方法。
12. 前記背光の第１の視覚的表現を前記ユーザの第１の眼と関連付けられた第１のＦＯＶの第１の縁にレンダリングすることと、
    前記背光の第２の視覚的表現を前記ユーザの第２の眼と関連付けられた第２のＦＯＶの第２の縁にレンダリングすることと
    をさらに含む、請求項１１に記載の方法。
13. 前記背光の第１の表現および前記背光の第２の表現は、前記ユーザの周辺視覚に合致するように各眼に対して別個にレンダリングされる、請求項１２に記載の方法。
14. 前記コンテキスト情報は、前記ユーザ、前記３Ｄ環境、または前記相互作用可能オブジェクトの特性と関連付けられた情報を含む、請求項１１に記載の方法。
15. 前記３Ｄ環境内と関連付けられた情報は、前記ユーザの環境の光条件を含み、前記背光の視覚的表現は、前記光条件下の前記相互作用可能オブジェクトの光学効果をシミュレートすることによって決定される、請求項１４に記載の方法。
16. 前記ユーザの姿勢の変化を検出することと、
    前記ユーザの姿勢の変化に基づいて、前記３Ｄ環境内の前記相互作用可能オブジェクトの更新された場所を決定することと、
    前記相互作用可能オブジェクトの更新された場所に基づいて、前記背光の視覚的表現を更新することと
    をさらに含む、請求項１５に記載の方法。
17. 前記更新された場所が前記ユーザのＦＯＶ内にあることの決定に応答して、前記背光の内縁と前記ユーザの少なくとも１つの眼を共線形に整合させる、請求項１６に記載の方法。
18. 前記背光の視覚的表現は、位置、形状、色、サイズ、または明るさのうちの少なくとも１つを含む、請求項１６−１７のいずれか１項に記載の方法。
19. 前記背光のサイズは、前記相互作用可能オブジェクトの近接度または切迫度のうちの少なくとも１つを示す、請求項１８に記載の方法。
20. 前記ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも１つを含む、請求項１１−１７のいずれか１項に記載の方法。