JP7303818B2 - 低遅延瞳孔トラッカーを伴うディスプレイシステム - Google Patents

Description

（参照による引用）
本願は、参照することによって、以下の特許出願の各々の全体を組み込む：２０１４年１１月２７日に出願され、２０１５年７月２３日に米国特許公開第２０１５／０２０５１２６号として公開された米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願され、２０１５年１０月２２日に米国特許公開第２０１５／０３０２６５２号として公開された米国特許出願第１４／６９０，４０１号、２０１４年３月１４日に出願され、２０１６年８月１６日に発行された、現米国特許第９，４１７，４５２号である米国特許出願第１４／２１２，９６１号、２０１４年７月１４日に出願され、２０１５年１０月２９日に米国特許公開第２０１５／０３０９２６３号として公開された米国特許出願第１４／３３１，２１８号、２０１７年１０月２０日に出願された米国出願第１５／７８９，８９５号、２０１７年２月２４日に出願された米国特許出願第１５／４４２，４６１号、２０１７年３月２１日に出願された米国仮特許出願第６２／４７４，４１９号、２０１６年９月２１日に出願され、米国公開第２０１７／００８２８５８号として公開された米国出願第１５／２７１，８０２号、および、２０１５年１２月３日に公開された米国公開第２０１５／０３４６４９５号。

（分野）
本開示は、ディスプレイシステムに関し、より具体的に、拡張および仮想現実ディスプレイシステムに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的に、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的に、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「ＭＲ」シナリオは、一種のＡＲシナリオであり、典型的に、自然世界の中に統合され、それに応答する仮想オブジェクトを伴う。例えば、ＭＲシナリオにおいて、ＡＲ画像コンテンツは、実世界内のオブジェクトによってブロックされるか、または、それと相互作用しているように知覚され得る。

図１を参照すると、拡張現実場面１０が、描写され、ＡＲ技術のユーザは、人々、木々、背景における建物、コンクリートプラットフォーム３０を特徴とする実世界公園状設定２０を見ている。これらのアイテムに加え、ＡＲ技術のユーザは、これらの要素４０、５０が実世界内に存在しないにもかかわらず、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚する。ヒトの視知覚系は、複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＡＲ技術の生成は、困難である。

本明細書に開示されるシステムおよび方法は、ＡＲおよびＶＲ技術に関連する。

いくつかの実施形態は、画像を視認者に表示する方法を含む。方法は、画像を表示するように構成された光源を備えているディスプレイデバイスを提供することを含む。視認者の眼の瞳孔の場所は、ディスプレイデバイスの射出瞳と整列させられる。射出瞳と眼の瞳孔とを整列させることは、視認者の眼の画像を捕捉することと、光源上に眼の画像のネガ像を表示することとを含む。ネガ像を形成する光は、画像コンテンツを視認者の眼に提供するように変調される。

いくつかの他の実施形態は、画像を視認者に表示する方法を含む。方法は、複数の異なる光出力場所から視認者の眼に光を出力するように構成された光源を備えているディスプレイデバイスを提供することを含む。ディスプレイデバイスの射出瞳の場所は、視認者の眼の瞳孔の位置と整列させられる。整列させることは、眼の画像を捕捉することと、眼の画像内の眼の瞳孔の場所に対応する光源の１つ以上の場所から光を選択的に放射することとを含む。

さらに他の実施形態は、ユーザの眼の画像を捕捉するように構成された眼結像デバイスを備えている、頭部搭載型ディスプレイシステムを含む。ディスプレイシステムは、光を放射し、眼のネガ像を形成するように構成された複数の選択的にアクティブにされる発光場所を備えている光源も備えている。空間光変調器は、眼のネガ像を形成する光において画像情報をエンコードすることによって、画像コンテンツをユーザに表示するように構成される。

実施形態の追加の実施例は、以下を含む。

（実施例１） 画像を視認者に表示する方法であって、方法は、
画像を表示するように構成された光源を備えているディスプレイデバイスを提供することと、
視認者の眼の瞳孔の場所をディスプレイデバイスの射出瞳と整列させることであって、場所を整列させることは、
視認者の眼の画像を捕捉することと、
光源上に眼の画像のネガ像を表示することと
を含む、ことと、
ネガ像を形成する光を変調し、画像コンテンツを視認者の眼に提供することと
を含む、方法。

（実施例２）ネガ像を形成する光を変調することは、空間光変調器を通して光を伝搬することを含む、実施形態１に記載の方法。

（実施例３）光源は、空間光変調器であり、ネガ像は、空間光変調器上に表示される、実施形態１に記載の方法。

（実施例４）眼のネガ像は、ディスプレイの射出瞳の場所を画定し、
眼の瞳孔の場所を整列させることは、画像コンテンツを眼に提供している間、連続的に実施され、
眼の画像を捕捉し、画像のネガを表示することは、１秒あたり６０回以上実施される、
実施形態１に記載の方法。

（実施例５） 画像を視認者に表示する方法であって、方法は、
複数の異なる光出力場所から視認者の眼に光を出力するように構成された光源を備えているディスプレイデバイスを提供することと、
ディスプレイデバイスの射出瞳の場所を視認者の眼の瞳孔の位置と整列させることと
を含み、
整列させることは、
眼の画像を捕捉することと、
眼の画像内の眼の瞳孔の場所に対応する光源の１つ以上の場所から選択的に光を放射することと
を含む、方法。

（実施例６）
１つ以上の場所から放射される光を変調することと、
変調された光を眼に伝搬し、画像コンテンツを視認者に提供することと
をさらに含む、実施形態５に記載の方法。

（実施例７）光源は、空間光変調器を備えている、実施形態５に記載の方法。

（実施例８）眼の画像をネガ像に変換することをさらに含み、
選択的に光を放射することは、光源上にネガ像を表示することを含む、実施形態５に記載の方法。

（実施例９） 頭部搭載型ディスプレイシステムであって、ディスプレイシステムは、
ユーザの眼の画像を捕捉するように構成された眼結像デバイスと、
光を放射し、眼のネガ像を形成するように構成された複数の選択的にアクティブにされる発光場所を備えている光源と、
眼のネガ像を形成する光において画像情報をエンコードすることによって、画像コンテンツをユーザに表示するように構成された空間光変調器と、
を備えている、ディスプレイシステム。

（実施例１０）眼結像デバイスは、カメラを備えている、実施形態９に記載のディスプレイシステム。

（実施例１１）光源は、他の空間光変調器である、実施形態９に記載のディスプレイシステム。

（実施例１２）他の空間光変調器は、発光型空間光変調器である、実施形態１１に記載のディスプレイシステム。

（実施例１３）発光型空間光変調器は、ＬＥＤアレイである、実施形態１２に記載のディスプレイシステム。

（実施例１４）
光源から空間光変調器に伝搬する光をコリメートするように構成された光源光学系と、
空間光変調器から光を受け取り、光源の画像を形成するように構成された光源リレー光学系と、
光源リレー光学系から光を受け取り、光源と空間光変調器との同時画像を眼に提供するように構成された瞳孔リレー光学系と
をさらに備えている、実施形態９に記載のディスプレイシステム。

（実施例１５）空間光変調器からユーザの眼の方へ光を向けるように構成された光ガイドをさらに備えている、実施形態９に記載のディスプレイシステム。

（実施例１６）光ガイドは、屈折力を有し、発散波面を伴う光を出力するように構成されている、実施形態１５に記載のディスプレイシステム。

（実施例１７）複数の光ガイドをさらに備え、複数の光ガイドのうちの少なくともいくつかは、複数の光ガイドのうちの他のものと異なる屈折力を有する、実施形態１６に記載のディスプレイシステム。

（実施例１８）ユーザの頭部上に搭載されるように構成されたフレームをさらに備え、
眼結像デバイスの少なくとも光捕捉部分が、フレームに取り付けられ、
空間光変調器は、フレームに取り付けられている、実施形態９に記載のディスプレイシステム。

（実施例１９）ディスプレイシステムは、眼の捕捉された画像を２値化し、捕捉された画像を対応するネガ像に変換するように構成されている、実施形態９に記載のディスプレイシステム。

（実施例２０）光源は、２値空間光変調器であり、選択的にアクティブにされる発光場所は、オン状態およびオフ状態を有する実施形態９に記載のディスプレイシステム。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
画像を視認者に表示する方法であって、前記方法は、
画像を表示するように構成された光源を備えているディスプレイデバイスを提供することと、
前記視認者の眼の瞳孔の場所を前記ディスプレイデバイスの射出瞳と整列させることであって、前記場所を整列させることは、
前記視認者の眼の画像を捕捉することと、
前記光源上に前記眼の画像のネガ像を表示することと
を含む、ことと、
前記ネガ像を形成する光を変調し、画像コンテンツを前記視認者の眼に提供することと
を含む、方法。
（項目２）
前記ネガ像を形成する光を変調することは、空間光変調器を通して前記光を伝搬することを含む、項目１に記載の方法。
（項目３）
前記光源は、空間光変調器であり、前記ネガ像は、前記空間光変調器上に表示される、項目１に記載の方法。
（項目４）
前記眼のネガ像は、前記ディスプレイの射出瞳の場所を画定し、
前記眼の瞳孔の場所を整列させることは、画像コンテンツを前記眼に提供している間、連続的に実施され、
前記眼の画像を捕捉することおよび前記画像のネガを表示することは、１秒あたり６０回以上実施される、項目１に記載の方法。
（項目５）
画像を視認者に表示する方法であって、前記方法は、
複数の異なる光出力場所から前記視認者の眼に光を出力するように構成された光源を備えているディスプレイデバイスを提供することと、
前記ディスプレイデバイスの射出瞳の場所を前記視認者の眼の瞳孔の位置と整列させることと
を含み、
整列させることは、
前記眼の画像を捕捉することと、
前記眼の画像における前記眼の瞳孔の場所に対応する前記光源の１つ以上の場所から選択的に光を放射することと
を含む、方法。
（項目６）
前記１つ以上の場所から放射される前記光を変調することと、
前記変調された光を前記眼に伝搬し、画像コンテンツを前記視認者に提供することと
をさらに含む、項目５に記載の方法。
（項目７）
前記光源は、空間光変調器を備えている、項目５に記載の方法。
（項目８）
前記眼の画像をネガ像に変換することをさらに含み、
選択的に光を放射することは、前記光源上に前記ネガ像を表示することを含む、項目５に記載の方法。
（項目９）
頭部搭載型ディスプレイシステムであって、前記ディスプレイシステムは、
ユーザの眼の画像を捕捉するように構成された眼結像デバイスと、
光を放射し、前記眼のネガ像を形成するように構成された複数の選択的にアクティブにされる発光場所を備えている光源と、
前記眼のネガ像を形成する前記光において画像情報をエンコードすることによって、画像コンテンツを前記ユーザに表示するように構成された空間光変調器と
を備えている、ディスプレイシステム。
（項目１０）
前記眼結像デバイスは、カメラを備えている、項目９に記載のディスプレイシステム。
（項目１１）
前記光源は、他の空間光変調器である、項目９に記載のディスプレイシステム。
（項目１２）
前記他の空間光変調器は、発光型空間光変調器である、項目１１に記載のディスプレイシステム。
（項目１３）
前記発光型空間光変調器は、ＬＥＤアレイである、項目１２に記載のディスプレイシステム。
（項目１４）
前記光源から前記空間光変調器に伝搬する光をコリメートするように構成された光源光学系と、
前記空間光変調器から光を受け取り、前記光源の画像を形成するように構成された光源リレー光学系と、
前記光源リレー光学系から光を受け取り、前記光源と空間光変調器との同時画像を前記眼に提供するように構成された瞳孔リレー光学系と
をさらに備えている、項目９に記載のディスプレイシステム。
（項目１５）
前記空間光変調器から前記ユーザの眼の方へ光を向けるように構成された光ガイドをさらに備えている、項目９に記載のディスプレイシステム。
（項目１６）
前記光ガイドは、屈折力を有し、前記光ガイドは、発散波面を伴う光を出力するように構成されている、項目１５に記載のディスプレイシステム。
（項目１７）
複数の前記光ガイドをさらに備え、前記複数の光ガイドのうちの少なくともいくつかは、前記複数の光ガイドのうちの他のものと異なる屈折力を有する、項目１６に記載のディスプレイシステム。
（項目１８）
前記ユーザの頭部上に搭載されるように構成されたフレームをさらに備え、
前記眼結像デバイスの少なくとも光捕捉部分が、前記フレームに取り付けられ、
前記空間光変調器は、前記フレームに取り付けられている、項目９に記載のディスプレイシステム。
（項目１９）
前記ディスプレイシステムは、前記眼の捕捉された画像を２値化し、捕捉された画像を対応するネガ像に変換するように構成されている、項目９に記載のディスプレイシステム。
（項目２０）
前記光源は、２値空間光変調器であり、前記選択的にアクティブにされる発光場所は、オン状態およびオフ状態を有する、項目９に記載のディスプレイシステム。

図１は、ＡＲデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。 図２Ａは、単一の光エミッタを有する光源を有するディスプレイシステムの例を図示する。 図２Ｂは、異なる場所から光を放射する複数の光エミッタを伴う光源を有するディスプレイシステムの例を図示する。 図３は、視認者の眼の画像を捕捉するためのカメラと、捕捉された画像のネガを表示するように構成された光源とを有するディスプレイシステムの例を図示する。 図４は、視認者の眼の移動を追跡する図３のディスプレイシステムの射出瞳の例を図示する。 図５は、光学コンバイナを伴うディスプレイシステムの例を図示する。 図６は、軸外のミラーベースの眼結像デバイスを有する図５のディスプレイシステムの例を図示する。 図７は、折り畳み型リレーミラーコンバイナを伴うディスプレイシステムの例を図示する。 図８は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。 図９Ａ－９Ｃは、曲率半径と焦点半径との間の関係を図示する。 図１０は、ヒト視覚系の遠近調節－両眼離反運動応答の表現を図示する。 図１１は、ユーザの一対の眼の異なる遠近調節状態および両眼離反運動状態の例を図示する。 図１２Ａは、ディスプレイシステムを介してコンテンツを視認しているユーザの上下図の表現の例を図示する。図１２Ｂは、ディスプレイシステムを介してコンテンツを視認しているユーザの上下図の表現の別の例を図示する。 図１３は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。 図１４は、画像情報をユーザに出力するための光ガイドスタックの例を図示する。 図１５は、各深度平面が、複数の異なる原色を使用して形成される画像を含むスタックされた光ガイドアセンブリの例を図示する。 図１６は、各々が内部結合光学要素を含むスタックされた光ガイドの組の例の断面側面図を図示する。 図１７は、ウェアラブルディスプレイシステムの例を図示する。

複合現実ディスプレイシステムを含む仮想および拡張現実ニアアイディスプレイシステムは、好ましくは、高い光学品質を伴って画像情報を視認者の眼に提供する一方で、視認者の眼が移動しているときの画像情報の連続受信も可能にすることができる。例えば、ユーザは、好ましくは、ユーザの眼がディスプレイに対して移動するときでさえも、（例えば、表示された画像を視認するために）画像情報を受信し続けることができる。画像情報は、光源からの変調された光の形態をとり得る。例えば、光源からの光は、変調された光を視認者の眼の中に向ける前、画像情報で光をエンコードするために空間光変調器によって変調されることも、されないこともある。コンパクトおよび／またはポータブルディスプレイシステムを形成するために、ディスプレイシステムは、好ましくは、光源からの光を効率的に利用する。高い効率は、光源の電力要件を低減させる一方で、依然として、望ましく明るい画像を生成する。光の利用が効率的であるほど、ディスプレイシステムは、概して、より小型かつより長寿命であり得る。

変調された光は、ディスプレイシステムの射出瞳を通して視認者の眼に提供され得ることを理解されたい。例えば、ディスプレイシステムは、投影／リレーシステムを利用し得、投影／リレーシステムは、空間光変調器からの画像光を無限遠または近無限遠焦点画像に転写し、それは、上流プロジェクタ光学システムによって形成される射出瞳を通して視認者によって視認される。これらの光学システムにおいて、システムの射出瞳は、小さくあり得（例えば、０．５～２ｍｍ）、それは、ディスプレイシステムから出射する光の全てが眼瞳孔に好ましく入射することを可能にするために、射出瞳との視認者の眼瞳孔（視認者の眼の瞳孔）の慎重な整列を要求し得る。射出瞳と眼瞳孔との不整列は、ディスプレイシステムから出射する光の一部が視認者の眼によって捕捉されないことを引き起こし、それは、口径食等の望ましくない光学アーチファクトを引き起こし得る。

瞳拡張が、整列要件を緩和するためにディスプレイシステムで採用され得る。例えば、瞳拡張接眼レンズが、１つ以上の光ガイドによって形成され得る接眼レンズにわたって複数のビームレットの中に入力光を回折的にサンプリングするために使用され得る。例えば、瞳拡張は、接眼レンズにわたって光線を複製することを伴い得る。「アイボックス」は、例えば、接眼レンズから出射するビームレットを捕捉することによって、空間光変調器を使用して形成された画像を見るために、視認者がその瞳孔を設置するエリアまたはボリュームとして説明され得る。アイボックスの大きいサイズは、視認者が有意な口径食を知覚することなく、視認者の瞳孔が移動および回転することを可能にする。しかしながら、視認者の眼が、所与の瞬間にアイボックス内に存在する光のわずかな割合しかサンプリングしないであろうから、これは、効率的な光の利用を犠牲にして達成される。したがって、光源によって放射され、後に接眼レンズによって出力される光の大部分は、視認者の眼瞳孔に入射しない。

接眼レンズの光ガイドからの光線を複製および出力するために使用される光学要素はまた、非効率的な光の利用に影響し得る。例えば、回折構造自体の使用が、光の利用の非効率に影響し得る。回折構造が、典型的に、単一の所望の方向に全ての光を向けるわけでもなく、回折構造が、典型的に、所望の方向に異なる波長の光を一様に向けることもないからである。加えて、接眼レンズから外への光の一様な分布および光束は、高い知覚される画質（眼瞳孔がアイボックスにわたる移動しているときの画像明度の高い一様性を含む）を提供するために望ましい。いくつかの構成において、光ガイドから外に光を外部結合する光学要素は、アイボックスにわたり、接眼レンズから外への光の一様な分布を促進するために、低回折効率を伴う回折構造であり得る。したがって、上記と同様に、光源から光ガイドの中に結合される光のわずかな部分のみが、光ガイドから外に、光ガイドにわたる所与の場所において眼瞳孔の中に出力される。いくつかの構成において、一様性の要求は、光ガイドの中に結合される光の一部が光ガイドにわたって完全に通る前に視認者に出力されない非常に低い回折効率を伴う回折要素の使用をもたらし得る。

有利に、いくつかの実施形態において、ディスプレイシステムは、視認者の眼瞳孔を追跡し、それと整列する射出瞳を使用して、極めて効率的な光の利用を提供する。整列は、複数のまたはアレイの選択的にアクティブにされる光出力場所を備えている光源を使用して、達成され得る。光が光源によって出力される場所を変更することは、射出瞳の側方場所を変更し、それによって、眼瞳孔を追跡するように射出瞳が移動させられることを可能にする。

いくつかの実施形態において、光源の選択的にアクティブにされる光出力場所の各々は、ピクセルとして機能し得、これらの光出力場所のうちの異なるものを選択的にアクティブにすることは、画像が光源によって表示されることを可能にし得る。光源に加えて、ディスプレイシステムは、眼の画像を捕捉するための結像デバイスを備え得る。捕捉された画像は、ネガ像に変換され、ネガ像は、光源によって表示される。ネガ像において、眼の暗瞳孔は、輝点として出現し、輝点は、光源によって表示されると、ディスプレイシステムの射出瞳を画定する。したがって、眼瞳孔の場所は、眼の画像を捕捉することによって効果的に決定され得、ディスプレイシステムの射出瞳の場所は、これらの捕捉された画像のネガを表示するために光源を使用することによって設定され得る。動作時、いくつかの実施形態において、視認者の眼の画像は、連続的に捕捉され得、捕捉画像の表示されたネガも、連続的に更新され得、それによって、射出瞳の位置が調節され、眼瞳孔の位置を連続的に追跡することを可能にする。いくつかの実施形態において、光源によって出力される光は、次いで、その光がディスプレイシステムから出射する前に画像情報をエンコードするように変調され得る。画像を視認者の両眼に表示するディスプレイに関して、いくつかの実施形態において、システムは、各眼のための専用結像デバイス、光源、および関連物を備え得ることを理解されたい。

有利に、本明細書に開示されるディスプレイシステムの種々の実施形態は、いくつかの利益を提供することができる。例えば、ディスプレイシステムは、光の極めて効率的な利用を提供し得る。射出瞳が、移動し、視認者の眼の場所を追跡するので、ディスプレイシステムは、眼瞳孔の可能な場所を包含する広いエリアにわたる瞳拡張を要求しないこともある。大型アイボックスにわたる光を一様に出力しようとするのではなく、いくつかの実施形態において、画像情報をエンコードするためのその光の任意の変調に応じて、発光型光源によって出力される光の実質的に全てが、視認者の眼の中に向けられるために利用可能である。加えて、より高い光の利用効率が、所与の量の貯蔵電力を伴うよりコンパクトなデバイスおよびより長い起動時間を可能にすることができる。

視認者の眼瞳孔を追跡し、射出瞳と整列させる能力は、画質も向上させ得る。例えば、射出瞳における眼の整列を維持することは、射出瞳から出射する光の実質的に全てが視認者の眼によって捕捉されることを可能にし、それによって、光学アーチファクト、例えば、口径食の発生を減少させ得る。眼と射出瞳との追跡および整列は、鏡面光学リレーの使用が射出瞳を生成することも可能にし、漏出性回折構造の必要性を排除し得る。これは、回折構造がコヒーレント光出力を提供することの困難を排除し得る。加えて、単一の射出瞳を形成するための光のみが、画像を表示するために利用されるので、システムを通して伝搬する光の量が、低減させられ、それは、視認者の眼に到達する非意図的に散乱させられた光の量を低減させ得る。非意図的に散乱させられた光のこの低減は、有利に、表示された画像の知覚されるコントラストを増加させ得る。

本明細書に開示される種々の実施形態は、有利に、本明細書に議論されるような多種多様な光学コンバイナと適合性もあり得る。加えて、射出瞳と眼瞳孔との追跡および整列が、主に、眼のネガ像を捕捉し、反転させ、表示することに関連する比較的に単純なプロセスを伴うので、追跡および整列は、有利に、低遅延を伴って実施され、少量の処理リソースを利用し得る。

ここで、図を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略であり、必ずしも、正確な縮尺で描かれていない。

図２Ａは、単一の光エミッタを伴う光源を有するディスプレイシステムの例を図示する。ディスプレイシステムは、光エミッタ１００２を有する光源１０００を含む。光エミッタ１００２は、光を放射し、光は、視認者の眼２１０の眼瞳孔２０８に最終的に入射し、その眼２１０内に画像を形成するであろう。

ディスプレイシステムは、光源集光／コリメート光学系１０１０も含み得る。光源集光／コリメート光学系１０１０は、光が画像空間光変調器（ＳＬＭ）１０２０に到達する前、光エミッタ１００２によって放射される光をコリメートするように構成され得る。

画像ＳＬＭ１０２０は、光源１０００からの光を変調するように構成される。画像ＳＬＭ１０２０は、ピクセル要素のアレイを備え得、ピクセル要素の各々は、ピクセル要素と相互作用する（例えば、それに入射する、またはそれを通して伝搬する）光を修正し得る。画像は、光を変調すること（例えば、光の強度を変化させること、ある波長の光を選択的に透過させること、および／または偏光等）によって形成され得る。結果として、画像ＳＬＭ１０２０は、光が眼２１０に到達する前、画像情報で光をエンコードすると言え得る。画像ＳＬＭ１０２０は、透過型または反射型であり得ることを理解されたい。画像ＳＬＭ１０２０が反射型である場合、追加の光学要素（例えば、ビームスプリッタおよび関連光学要素）が、光源１０００から画像ＳＬＭ１０２０に、かつ眼２１０の方へ光を向けるように提供され得る。反射型空間光変調器の使用に関する追加の詳細が、例えば、２０１７年２月２４日に出願された米国特許出願第１５／４４２，４６１号（その開示全体は、参照することによって本明細書に組み込まれる）で見出され得る。いくつかの実施形態において、画像ＳＬＭ１０２０は、シリコン上液晶（ＬＣＯＳ）ディスプレイを含む液晶ディスプレイ（ＬＣＤ）の形態をとり得る。

ディスプレイシステムは、出力または射出瞳を生成するように構成されたリレー光学系またはレンズ構造１０３０を含み得、出力または射出瞳は、光エミッタ１００２の画像１０３１でもある。射出瞳の場所に（画像１０３１に）その眼瞳孔２０８を設置する視認者は、画像ＳＬＭ１０２０の無限遠焦点画像を見るであろう。そのような構成は、例えば、画像コンテンツを周囲環境からの光等の他の光と組み合わせることなく、視認者がシステムから直接画像を提供される仮想現実または他のディスプレイシステムで利用され得る。

いくつかの実施形態において、リレーレンズシステム１０４０が、リレー光学系１０３０と視認者の眼瞳孔２０８との間の光の経路内に提供され得る。リレーレンズシステム１０４０は、例えば、４Ｆリレーシステムであり得る。いくつかの実施形態において、リレーレンズシステム１０４０は、接眼レンズ、例えば、コンバイナ接眼レンズを図式的に表すと理解され得、その例は、本明細書でさらに議論される。コンバイナ接眼レンズは、有利に、この環境から視認者の一方または両方の眼に光を透過させることによって、周囲環境のビューを可能にする一方で、ディスプレイシステムによって出力される画像がその光と組み合わせられることも可能にする。そのようなディスプレイシステムは、拡張現実ディスプレイシステムを構成し得る。

図２Ａを継続して参照すると、上で議論されるように、リレー光学系１０３０は、光エミッタ１００２の画像１０３１を形成するように構成され得、画像１０３１は、リレー光学系１０３０とリレーレンズシステム１０４０との間にあり得る。リレーレンズシステム１０４０は、第１のレンズ１０４２および第２のレンズ１０４４を含み得る。画像ＳＬＭ１０２０の画像は、リレーレンズシステム１０４０の第１のレンズ１０４２と第２のレンズ１０４４との間に存在し得る。射出瞳の場所に（すなわち、リレーレンズシステム１０４０によって提供される光エミッタ１００２の画像に）その眼瞳孔２０８を設置する視認者は、画像ＳＬＭ１０２０の無限遠焦点画像を見る。

いくつかの実施形態において、無限遠以外の平面上にＳＬＭ１０２０の画像の焦点を合わせることが望ましくあり得る。そのような実施形態に関して、レンズ構造１０４６（例えば、メニスカスレンズ）が、リレーレンズシステム１０４０の出力と視認者との間の光の経路内に提供され得る。レンズ構造１０４６は、所望の深度平面におけるＳＬＭ１０２０の画像の焦点を修正し得る。いくつかの実施形態において、例えば、第２のレンズ１０４４が所望の深度平面においてＳＬＭ１０２０の画像の焦点を合わせる場合、レンズ構造１０４６は、省略され得る。第１および第２のレンズ１０４２、１０４４は、本明細書に開示される他のレンズに加えて、１つ以上のレンズ要素またはレンズ要素群を含み得ることを理解されたい。

図２Ａを継続して参照すると、射出瞳の場所は、光エミッタ１００２の場所によって決定され得る。対応して光エミッタ１００２を側方に変位させることは、射出瞳の場所をシフトさせる。例えば、異なる場所に光エミッタ１００２を設置することは、ディスプレイシステムの種々の光学構造（例えば、集光／コリメート光学系１０１０、リレー光学系１０３０、およびリレーレンズシステム１０４０）を通した異なる経路を光エミッタ１００２からの光にとらせる。結果として、光エミッタ１００２の位置をシフトさせることは、射出瞳の場所の対応するシフトを生じさせ得る。射出瞳の場所の類似シフトは、異なる場所における１つ以上の追加の光エミッタを使用しても、達成され得、すなわち、光エミッタ１００２を１つ以上の他の場所にシフトさせるのではなく、他の光エミッタが、それらの場所において提供され得る。

図２Ｂは、異なる場所から光を放射する複数の光エミッタを伴う光源を有するディスプレイシステムの例を図示する。図２Ｂのディスプレイシステムは、光源１０００が、異なる場所に２つの光エミッタ、すなわち、光エミッタ１００２および１００４を含むことを除き、図２Ａのディスプレイシステムに類似する。この説明図において、光エミッタ１００２からの光は、鎖線として示され、光エミッタ１０００からの光は、実線として示される。光源集光／コリメート光学系１０１０は、いずれかの光エミッタから光を受け取り、コリメートされた光のビームとして画像ＳＬＭ１０２０に伝搬するように、その光を集光／コリメートする。しかしながら、光エミッタ１０００と光エミッタ１００４との間の場所の差異により、各光エミッタからの光は、異なる角度において画像ＳＬＭ１０２０に向かって伝搬する。したがって、リレー光学系１０３０は、リレー光学系１０３０とリレーレンズシステム１０４０との間に光エミッタ１００２および光エミッタ１００４の両方の画像を形成するが、光エミッタのこれらの画像は、互いにオフセットされている。加えて、光エミッタ１００２および１００４の各々からの光によって形成される画像ＳＬＭ１０２０の画像の両方は、第１のレンズ１０４２と第２のレンズ１０４４との間に存在し得、画像ＳＬＭ１０２０のこれらの画像も、互いにオフセットされている。光エミッタ１００２と１００４との間の間隔に応じて、両方の射出瞳からの光は、視認者の眼２１０に同時に入射し得、視認者は、無限遠において焦点を合わせられたＳＬＭの単一の画像を見続け得る。光エミッタ１００２と１００４との間の場所の差異は、異なる場所にある射出瞳を提供し、眼２１０は、異なる射出瞳の間でシフトし得、画像ＳＬＭ１０２０の画像は、眼２１０がシフトするので可視であり続けるであろう。有利に、第２の光エミッタ１００４の追加は、事実上、システムの射出瞳のサイズを拡張し得る。

いくつかの実施形態において、光エミッタ１００２および１００４は、光エミッタのアレイの一部であり得る。例えば、光源１０００は、空間光変調器であり得る。光源１０００を形成する空間光変調器は、発光型空間光変調器であり得、それは、例えば、ピクセルのアレイにわたる異なる場所におけるピクセルから種々の強度および／または波長の光を出力することによって、光を空間的に変調する、発光ダイオード（有機発光ダイオード（ＯＬＥＤ）等）から形成されるピクセルを備えている。いくつかの他の実施形態において、空間光変調器は、照明光学系によって提供される光を変調するように構成された透過型または反射型ＳＬＭであり得る。

光源が空間光変調器である場合、空間光変調器の個々のピクセルまたはピクセル群が、光エミッタ１００２および１００４を構成し得る。上記のように、光エミッタ１００２および１００４の各々の画像は、ディスプレイシステムのためのそれぞれの対応する射出瞳を提供し得、射出瞳の場所は、光エミッタ１００２および１００４の場所によって決定される。上で議論されるように、光エミッタの場所は、空間光変調器上の異なる場所における光エミッタ（異なるピクセル）を選択的にアクティブにすることによってシフトされ得る。加えて、射出瞳が、光エミッタの画像によって画定されるので、これらの光エミッタのサイズも、射出瞳のサイズを画定する。その結果として、いくつかの実施形態において、射出瞳のサイズおよび場所は、光源１０００を形成する空間光変調器のピクセルを選択的にアクティブにすることによって設定され得る。

例えば、図２Ｂを参照して議論されるように、光エミッタ（この場合、そのアクティブにされたピクセルを伴う光源ＳＬＭ１０００）の画像が、ディスプレイシステムを通して中継され得る。視認者が、光源を形成するＳＬＭの画像にその眼２１０を設置するとき、画像ＳＬＭ１０２０の無限遠焦点画像が見えるであろう。射出瞳のサイズは、本明細書では光源ＳＬＭ１０００とも称される光源１０００のＳＬＭ上でアクティブにされるピクセルの数によって決定されるであろう。射出瞳の位置は、アクティブにされる光源ＳＬＭ１０００上のピクセルによって決定され得る。したがって、光源ＳＬＭ１０００上の単一のピクセルがアクティブにされた場合、単一の小さい射出瞳が、光源ＳＬＭ１０００の画像内に位置付けられたときに視認者の眼において形成される。単一のピクセルが移動させられる場合（すなわち、そのピクセルが非アクティブにされ、光源ＳＬＭ１０００上の異なる場所における別の単一のピクセルがアクティブにされる場合）、ディスプレイシステムの射出瞳は、対応して移動するであろう。これらの場合の全てにおいて、画像ＳＬＭの無限遠焦点画像は、好ましくは、それが存在し得る場所、およびそれが大きくまたは小さくあり得る程度にかかわらず、射出瞳内で静止したままであり、射出瞳を通して可視であろう。

有利に、射出瞳の場所を側方に変更する能力は、画質および／またはエネルギー効率のための利点を提供することができる。例えば、ディスプレイシステムは、眼瞳孔の位置を追跡するために射出瞳の場所を変更するように構成され得る。これは、光学アーチファクト、例えば、口径食の発生を減少させ、それによって、知覚される画質を増加させ、画像明度の意図しない変動を減少させ得る。加えて、眼瞳孔および射出瞳を連続的に追跡し、整列させることによって、ディスプレイシステムは、低効率回折光学要素の使用を回避し得る。さらに、光源が発光型光エミッタ（例えば、ＯＬＥＤを含むＬＥＤ）を備えている場合、射出瞳のための光に寄与するこれらの光エミッタのみが、任意の所与の時間にアクティブにされ得る。結果として、光源によって放射される光の実質的に全てが、視認者の眼によって捕捉され、それによって、ディスプレイシステムの光の利用効率を増加させ得る。

加えて、複数の独立してアクティブにされる光エミッタを備えている光源を利用することは、光源のサイズが変更されること、例えば、画像を視認者に表示する間、画像が動的に変更されることを効果的に可能にする。この変更可能性は、例えば、ディスプレイシステムの被写界深度が修正されること、例えば、画像を視認者に表示している間、被写界深度が連続的に修正されることを可能にする。例えば、光源のサイズは、比較的に多数の光エミッタをアクティブにすることによって増加させられ得る一方で、光源のサイズは、より少数の光エミッタ（例えば、単一の光エミッタ）をアクティブにすることによって減少させられ得る。より大型の光源は、ＳＬＭ１０２０の浅い被写界深度の画像を生成することが予期されるであろう一方で、比較的に小型の光源は、ＳＬＭ１０２０の深い被写界深度の画像を生成することが予期されるであろう。光源の有効サイズを変更する能力は、視認者の眼の遠近調節機能を管理するための利点を有し得る。例えば、遠近調節キューへのユーザの眼の感受性は、比較的に大型の光源を利用することによって、高いレベルに設定され得る一方で、遠近調節キューへのユーザの眼の感受性は、比較的に小型の光源を利用することによって減少させられ得る。これは、例えば、遠近調節－両眼離反運動の不一致の影響を低減させるための利点を有し得る。例えば、遠近調節－両眼離反運動の不一致が、所望の閾値レベルを超えることが予期される場合、光源のサイズは、不一致に関連付けられた遠近調節キューへのユーザの感受性を減少させるために減少させられ得る。

複数の選択的にアクティブにされる光エミッタを備えている光源は、大まかにディスプレイとして機能すると見なされ得ることを理解されたい。光源が空間光変調器である場合、光源は、実際に、一種のディスプレイデバイスと見なされ得る。いくつかの実施形態において、眼瞳孔は、視認者の眼２１０の画像を捕捉し、光源ＳＬＭ１０００上にそれらの画像の修正された形態を表示することによって、追跡され得る。眼瞳孔は、暗いが、または黒色であるが、射出瞳は、光を放射すべきであるので、ディスプレイシステムは、光源ＳＬＭ１０００上に眼２１０の捕捉された画像のネガを表示するように構成され得る。ネガにおいて、捕捉された画像の比較的に暗いピクセルまたはエリアが、比較的に輝いて、または明るく見え、捕捉された画像の比較的に輝いた、または明るいピクセルまたはエリアは、比較的に暗く見える。結果として、暗い眼瞳孔が、白色または明るく見え得る一方で、眼２１０の他のエリア（白眼等）は、暗い。したがって、眼瞳孔に対応する光エミッタが、（光を放射するように）アクティブにされる一方で、眼２１０の他のエリアに対応する光エミッタは、（光を放射しないように）アクティブにされない。

図３は、視認者の眼の画像を捕捉するためのカメラと、捕捉された画像のネガを表示するように構成された光源とを有するディスプレイシステムの例を図示する。光源１０００は、複数の光エミッタを備えている。例えば、光源１０００は、ＬＥＤまたはレーザ等の光エミッタのアレイを含み得るパネルディスプレイを備え得るＳＬＭであり得る。光源１０００は、視認者の眼２１０のネガ像を表示する。このネガ像は、画像ＳＬＭ１０２０が見える射出瞳を提供する。

ディスプレイシステムは、眼２１０の画像を捕捉するための結像デバイス１０５０を含む。いくつかの実施形態において、結像デバイス１０５０は、デジタルビデオカメラおよび／またはデジタルスチルカメラを備え得る。いくつかの実施形態において、結像デバイス１０５０は、眼２１０の画像を連続的に捕捉するように、または所望のレートでそのような画像を捕捉するように構成され得る。例えば、画像が、捕捉され得、画像のネガは、光源ＳＬＭ１０００によって表示されるネガ像への更新が知覚可能ではないほど十分に速いレートで表示され得る。いくつかの実施形態において、ネガ像は、フリッカ融合閾値を上回るレートで、例えば、１秒あたり６０回を上回って（または６０Ｈｚ）、または１秒あたり９０回を上回って（または９０Ｈｚ）更新される。

図３を継続して参照すると、ディスプレイシステムは、捕捉された画像を受信するように、かつそれらの画像を光源ＳＬＭ１０００によって表示するために、ネガ像、好ましくは、高コントラスト画像に変換するように構成された処理ユニット１０５１を備えている。処理ユニット１０５１は、結像デバイス１０５０と通信し、結像デバイス１０５０から眼２１０の捕捉された画像１０５２を（例えば、捕捉された画像を表すデータの形態で）受信する。いくつかの実施形態において、捕捉された画像１０５２は、グレースケールまたは白黒画像である。処理ユニット１０５１は、捕捉された画像１０５２をその捕捉された画像のネガに変換し、それによって、ネガ像１０６２を形成するように構成されたインバータ１０６０を含む。例えば、通常は黒色の瞳孔が、ここにおいて、ネガ像１０６２内で白色になる。処理ユニット１０５１は、次いで、ネガ像１０６２を（例えば、ネガ像を表すデータの形態で）光源ＳＬＭ１０００に伝送するように構成され得、ＳＬＭ１０００は、次いで、ネガ像１０６２を表示する。

いくつかの実施形態において、インバータ１０６０は、捕捉された画像１０５２の各ピクセルの強度値を反転させるように構成され得る。例として、２５６のグレードレベルと、０～２５５の対応する強度値とを有する８ビットグレースケール画像に関して、インバータ１０６０は、強度値を逆転させることによってピクセルの強度を反転させるように構成され得、すなわち、Ｘ（０を上回るＸ、可能な強度値の下限）の強度値は、その値を２５５未満のＸである数（可能な強度値の上限）に変換することによって、反転させられ得る。

いくつかの他の実施形態において、インバータ１０６０は、２値化することを実施するように構成され得る。例えば、インバータ１０６０は、閾値未満の強度を有する各「暗い」ピクセルを特定のより高い強度（例えば、最大強度）を有するピクセルに変換するように構成され得る。好ましくは、閾値は、眼瞳孔２０８を表す捕捉された画像１０５２の実質的に黒色ピクセルのみが、より高い強度を有する白色ピクセルに変換されるようなレベルに設定される。いくつかの他の実施形態において、光源ＳＬＭは、２つのレベルの強度のみを提供するように（例えば、黒色および白色、またはオンおよびオフ状態のみを提供するように）構成されたピクセルを伴う２値ＳＬＭであり得る。２値ＳＬＭの使用は、２値化することの必要性を排除し得る。

眼の捕捉された画像１０５２を反転させることに加えて、いくつかの実施形態において、処理ユニット１０５１は、ネガ像において、眼瞳孔２０８ではない捕捉された画像の暗い部分を除外するように構成され得る。例えば、眼２１０の虹彩も、黒色部分を含み得る。ネガ像から虹彩のそのような部分を除外するために、処理ユニット１０５１は、画像認識を実施し、ピクセルが虹彩の画像の一部を形成するかどうか、または写真が眼瞳孔２０８の画像の一部を形成するかどうかをリアルタイムで決定するように構成され得る。いくつかの実施形態において、処理ユニット１０５１は、実質的に完全に黒色である丸いエリアを眼瞳孔２０８として識別し、（白色ピクセルを使用して）ネガ像１０６２内のこの丸いエリアのみを示すように構成され得る。

いくつかの実施形態において、処理ユニット１０５１は、ローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０の一部であり得る（図１７）。いくつかの他の実施形態において、ローカル処理ユニット１０５１は、光源ＳＬＭ１０００自体の一部であり得る。そのような実施形態において、光源ＳＬＭ１０００によって表示するためにネガ像１０６２を伝送することは、単に光源ＳＬＭ１０００内の回路（例えば、インバータ回路およびディスプレイ回路）の間に画像情報を伝送することを包含し得る。

図３を継続して参照すると、ネガ像１０６２は、光源ＳＬＭ１０００によって表示され得る。本明細書に議論されるように、光源ＳＬＭ１０００および画像ＳＬＭ１０２０の画像は、ディスプレイシステムを通して中継され得る。例えば、リレー光学系１０３０は、リレー光学系１０３０とリレーレンズシステム１０４０との間に光源ＳＬＭ１０００の画像１０３２を形成する。加えて、画像ＳＬＭ１０２０の画像が、リレーレンズシステム１０４０の第１のレンズ１０４２と第２のレンズ１０４４との間に形成される。リレーレンズシステム１０４０はまた、光源ＳＬＭ１０００の画像１０４８も形成する。光源ＳＬＭ画像１０４８内に視認者の眼２１０を設置することは、視認者が画像ＳＬＭ１０２０の無限遠焦点画像を見ることを可能にする。

好ましくは、射出瞳および眼瞳孔は、実質的に同じサイズを有する。例えば、光源ＳＬＭ１０２０がネガ像１０６２を示しているとき、ネガ像１０６２の画像１０４８内で再現される眼瞳孔２０８のサイズは、実際の眼瞳孔２０８と実質的に同じサイズである。カメラ１０５０のレンズの焦点距離およびそのカメラ１０５０の画像センサのサイズは、その眼瞳孔の捕捉された画像内の眼瞳孔２０８の相対的サイズを決定し、この相対的サイズは、眼瞳孔２０８の実際のサイズと異なり得ることを理解されたい。したがって、眼瞳孔２０８の実際のサイズと捕捉された画像内の眼瞳孔２０８のサイズとの間にスケール係数が存在する。加えて、光源ＳＬＭ１０００と眼瞳孔２０８との間の種々のレンズ構造（例えば、レンズ１０１０、１０３０、１０４２、および１０４４）も、関連付けられたスケール係数を有し得る。それらのスケール係数の全ては、瞳孔位置２０８と一致する場所において所望のサイズの眼瞳孔２０８の画像を有する画像１０４８を生成するように考慮され得る。例えば、ＳＬＭ１０００上に示される眼瞳孔２０８のネガ像のサイズは、所望のサイズの眼瞳孔２０８を有する画像１０４８を提供するために、増加または減少させられ得る。

いくつかの他の実施形態において、光源ＳＬＭ１０２０上のアクティブにされる発光ピクセル群のサイズは、眼瞳孔２０８のサイズよりも小さいまたは大きい、射出瞳を提供し得る。例えば、２値化ための強度値は、眼２１０の虹彩および瞳孔の両方は、ネガ像１０６２内の白色ピクセルとして示されるように、選択され得る。結果として、射出瞳のサイズは、眼２１０の虹彩のサイズに対応し得る。いくつかの他の実施形態において、本明細書に開示されるように、光源ＳＬＭ１０２０上の発光エリアのサイズ（例えば、眼２１０の瞳孔のネガのサイズ）は、ディスプレイシステムの焦点深度を制御するために修正され得る。

光源ＳＬＭ画像１０４８がディスプレイシステムの射出瞳を画定する白色点を含むことを理解されたい。眼２１０を伴う眼瞳孔２０８の移動は、眼２１０の新しい画像１０５２を継続的に捕捉することによって追跡され得る。加えて、眼瞳孔２０８とのディスプレイシステムの射出瞳の整列は、捕捉された画像１０５２を空間光変調器１０００上に表示されるネガ像１０６２に継続的に変換することによって、（例えば、リアルタイムで）継続的に更新され得る。例えば、眼瞳孔２０８が位置においてシフトすると、このシフトは、捕捉された画像１０５２内で捕捉され、それは、次いで、ネガ像１０６２の高強度エリアの位置におけるシフトをもたらす。シフトされた高強度エリアを伴うこの更新されたネガ像１０６２は、次いで、光源ＳＬＭ１０００上に表示され、それは、射出瞳にシフトさせる。結果として、眼瞳孔２０８の位置の変化は、射出瞳の位置の対応する変化をもたらす。したがって、射出瞳は、実質的にリアルタイムで眼瞳孔２０８の位置を追跡すると理解され得る。

図４は、視認者の眼の移動を追跡する図３のディスプレイシステムの射出瞳の例を図示する。眼２１０の向きの上向きのシフトが、結像デバイス１０５０によって捕捉される画像内で観察され得る。例証を単純化するために、捕捉された画像および結果として生じる変換されたネガ像は、示されていない。しかしながら、図３に関して上で議論されるように、捕捉された画像は、処理ユニット１０５１によって受信され、それらの捕捉された画像のネガは、インバータ１０６０によって形成されることを理解されたい。ネガ像は、光源ＳＬＭ１０００に提供され、それによって表示される。その結果として、眼２１０の向きの上向きのシフトは、光源ＳＬＭ１０００によって表示される眼瞳孔の画像内で対応する上向きのシフトをもたらす。眼瞳孔の画像内の上向きのシフトは、射出瞳に上向きのシフトをもたらし、それによって、射出瞳を眼瞳孔２０８と整列させる。

拡張現実システムが、光学コンバイナを利用し得、光学コンバイナが、周囲環境からの光が視認者の眼に伝搬することを可能にし、周囲環境のビューを可能にする一方で、表示された画像からの光がユーザの眼にも伝搬することも可能にし、すなわち、周囲環境（実世界）からの光とディスプレイからの画像情報を含む光とが、組み合わせられ得、両方が視認者の眼によって受け取られ得ることを理解されたい。いくつかの実施形態において、光学コンバイナは、視認者の凝視の方向に少なくとも部分的に透明であり、それによって、実世界の可視性を可能にする光ガイド（例えば、導波管）であり得る。光ガイドは、光源ＳＬＭ１０００および画像情報でエンコードされた画像ＳＬＭ１０２０からの光を誘導し、視認者の眼２１０に向かってその光を出力するように構成され得る。光が全内部反射によって光ガイド内で誘導され、伝搬し得ることを理解されたい。本開示の全体を通して、導波管が光ガイドの例であることも理解され得る。

図５は、光学コンバイナを伴うディスプレイシステムの例を図示する。図示されるディスプレイシステムは、リレーレンズシステム１０４０が光学コンバイナであることを除いて、図３および４に示されるものに類似する。図示されるように、リレーレンズシステム１０４０は、光ガイド１０７０（例えば、導波管）と、図２Ａ－４に示されるレンズ１０４２および１０４４に対応し得る反射型レンズ構造１０７６および１０７８とを含む。光ガイド１０７０は、周囲環境からの光１０７４が視認者の眼２１０に到達することを可能にする。加えて、光ガイド１０７０は、光源ＳＬＭ１０００によって放射され、画像ＳＬＭ１０２０によって修正された光１０７２を視認者の眼２１０に誘導する折り畳み型光学系として機能する。いくつかの実施形態において、反射型インストラクタ１０７６および１０７８は、部分的に透明な湾曲鏡面反射体であり得る。

図５を継続して参照すると、結像デバイス１０５０は、例えば、結像デバイス１０５０が眼２１０の視野内にないように、眼２１０の凝視方向に対して軸外に配置され得る。結像デバイス１０５０は、眼２１０から結像デバイス１０５０に光１０５８を誘導するように構成された光ガイド１０５４（例えば、導波管）を備えている眼結像アセンブリ１０５６の一部であり得る。光ガイド１０５４は、光ガイド１０５４の中に光１０５８を内部結合するように構成された内部結合光学要素１０５５を含み得る。内部結合された光１０５８は、結像デバイス１０５０に向かって光ガイド１０５４から出射するまで、全内部反射によって光ガイド１０５４内で誘導され得る。

いくつかの実施形態において、結像デバイス１０５０は、可視スペクトル外の電磁放射線を使用して、眼を結像するように構成され得る。例えば、結像デバイス１０５０は、赤外光を検出することによって眼を結像するように構成され得る。いくつかの実施形態において、結像デバイス１０５０は、赤外光で眼を照明するように構成された赤外光エミッタも含み得る。例えば、結像デバイス１０５０は、光を光ガイド１０５４の中に投入する赤外光エミッタを含み得、この赤外光は、光学要素１０５５によって光ガイド１０５４から外に放出され得る。

図６は、軸外のミラーベースの眼結像デバイスを有する図５のディスプレイシステムの例を図示する。図示されるディスプレイシステムは、眼２１０からの光１０５８が、部分的に反射型かつ部分的に透明なミラー１０５７を使用して結像デバイス１０５０に反射されることを除いて、図５に図示されるものに類似する。ミラー１０５７は、鏡面反射体であり得る。いくつかの他の実施形態において、ミラー１０５７は、ミラーからの光の反射角がミラーへのその光の入射角と異なる軸外ミラーであり得る。例えば、ミラー１０５７は、結像デバイス１０５０によって捕捉されるべき方向に眼２１０からの光を反射するように構成される（例えば、向きおよび形成される）回折構造を有する回折光学要素を含み得、眼２１０からの光の入射角は、ミラー１０５７からのその光の反射角と異なる。

図６を継続して参照すると、いくつかの実施形態において、ミラー１０５７は、光ガイド１０７０上に配置され得る。上記のように、いくつかの実施形態において、結像デバイス１０５０は、電磁放射線、例えば、可視スペクトル外の赤外光を検出するように構成され得る。いくつかの実施形態では。結像デバイス１０５０は、眼２１０を照明するための赤外光エミッタも含み得る。

図４および５に示される光学コンバイナ構成に加えて、本明細書に開示される眼追跡および射出瞳整列システムは、種々の他の光学コンバイナと併せて利用され得ることを理解されたい。例えば、光学コンバイナ１０４０は、画像情報でエンコードされる光を内部結合および外部結合するための回折光学要素を備えている１つ以上の光ガイドを備え得る。そのような光ガイドの例は、光ガイドスタック２５０（図１４）および６６０（図１６）の光ガイドを含む。

別の例として、光学コンバイナは、バードバス光学コンバイナであり得る。いくつかの実施形態において、バードバス光学コンバイナは、ビームスプリッタと、部分的に透明なミラー（例えば、部分的に透明な球面ミラー）とを含み得、ビームスプリッタは、画像情報でエンコードされた光をミラーに向け、ミラーは、次いで、視認者に戻るように光を反射する。ビームスプリッタおよび部分的に透明なミラーの両方は、部分的に透明であり、それによって、周囲環境（外界）からの光が視認者の眼に到達することを可能にし得る。バードバス光学コンバイナに関するさらなる詳細は、２０１５年１２月３日に公開された第ＵＳ２０１５／０３４６４９５号（その全体は、参照することによって本明細書に組み込まれる）で見出され得る。

別の例において、図７は、折り畳み型リレーミラーコンバイナを伴うディスプレイシステムを図示する。図７のディスプレイシステムは、リレーレンズシステム１０４０が、図６のレンズ構造１０７６および１０７８の代わりに折り畳み型ミラー１０７７および１０７９を備えていることを除いて、図６のものに類似する。図示されるように、眼結像アセンブリ１０５６は、光を結像デバイス１０５０に向け、眼２１０を結像するように構成されたミラー１０５７を備え得る。いくつかの他の実施形態において、眼結像アセンブリ１０５６は、光を収集し、画像捕捉デバイス１０５０に伝搬するように構成された光ガイド１０５４（図５）を備え得る。

図２Ａ－７は、例証および説明を容易にするために、光および画像情報を単眼に提供するためのシステムを図示することを理解されたい。光および画像情報を視認者の２つの眼に提供するために、ディスプレイシステムは、各眼のために１つ、図示されるシステムを２つ有し得ることも理解されたい。

加えて、いくつかの実施形態において、異なる場所に配置される複数の光エミッタではなく、光源１０００が、光出力の見掛けの場所を変更し、それによって、光エミッタのアレイを有する光源の光出力を模倣し得る１つ以上の光エミッタを含み得る。例えば、光源は、Ｆ－シータ（Ｆ－θまたはＦ－ｔａｎθ）レンズ等の線形伝達レンズと、共通または共有光エミッタと、Ｆ－シータレンズを通して異なる経路に沿って光エミッタによって放射される光を向けるためのアクチュエータとを備え得る。光は、画像面上に出射光の焦点を合わせるＦ－シータレンズを通して、異なる場所において光源から出射する。異なる場所において、Ｆ－シータレンズから出射する光が、画像面上の異なる場所においても配置され、画像面は、仮想２Ｄ光エミッタアレイを提供すると見なされ得る。その結果、光エミッタアレイの個々の領域および線形伝達レンズからの光が画像面を通過する場所の両方は、光源の光出力場所と見なされ得る。

いくつかの実施形態において、アクチュエータは、所望の伝搬経路に沿って光エミッタからの光を向けるように異なる軸上で独立して作動させられる複数の（例えば、一対の）ミラーを備えている二軸検流計の一部であり得る。いくつかの他の実施形態において、光源は、ファイバスキャナを備え得、アクチュエータは、ファイバスキャナのファイバを移動させるように構成されるアクチュエータであり得る。光源は、光源による光の出力をミラーまたはファイバの場所と、表示されるべき瞳孔内画像と同期させる処理モジュールも備えているか、または、それと通信し得る。例えば、ミラーまたはファイバは、既知の経路に沿って移動し得、光エミッタは、本明細書でさらに議論されるように、ミラーまたはファイバがネガ像のための所望の光出力場所に対応する位置にあるとき、光を放射するように処理モジュールによって制御され得る。そのような光源の例は、２０１７年１０月２０日に出願された米国出願第１５／７８９，８９５号（その開示全体は、参照することによって本明細書に組み込まれる）に説明される。

（遠近調節－両眼離反運動一致を伴う例示的ディスプレイシステム）
有利に、本明細書に開示されるディスプレイシステムは、視認快適性および長期装着可能性のため等の種々の利益を提供し得る高レベルの遠近調節－両眼離反運動一致を提供するように構成され得る。例えば、従来の立体視ディスプレイと対照的に、ディスプレイシステムの接眼レンズ（例えば、光学コンバイナ１０４０）は、若干異なるビューを視認者の各眼に表示することによって提供される両眼離反運動キューとの一致を達成するための所望の遠近調節キューを提供し得る選択的に可変の波面発散量を提供するように構成され得る。

図８は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、間隔を置かれており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する同じ仮想オブジェクトの若干異なるビューを伴う２つの異なる画像１９０、２００（各眼２１０、２２０のために１つ）を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る両眼キューを提供する。

図８を継続して参照すると、画像１９０、２００は、ｚ－軸上で距離２３０だけ眼２１０、２２０から間隔を置かれる。ｚ－軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像１９０、２００は、平坦であり、眼２１０、２２０から固定距離にある。眼２１０、２２０に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように、自然に回転し得る。この回転は、眼２１０、２２０のそれぞれの視線が仮想オブジェクトが存在するように知覚される空間内の点上に収束することをもたらし得る。結果として、３次元画像の提供は、従来、ユーザの眼２１０、２２０の両眼離反運動を操作し得、かつヒト視覚系が深度の知覚を提供するために解釈する両眼キューを提供することを伴う。

しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図９Ａ－９Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図９Ａ－９Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成される明視野は、点がユーザの眼から離れている距離の関数である球状波面曲率を有すると言い得る。曲率が増加すると、オブジェクトと眼２１０との間の距離が減少する。単眼２１０のみが、例証を明確にするために、図９Ａ－９Ｃおよび本明細書の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得る。

図９Ａ－９Ｃを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なって集束され得、それは、次に、異なる形状をとり、焦点画像を眼の網膜上に形成することを水晶体に要求し得る。焦点画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、焦点画像が網膜上に形成されるまで、眼の水晶体の形状に変化をもたらす遠近調節のためのキューとしての機能を果たす。例えば、遠近調節のためのキューは、眼の水晶体を包囲する毛様筋が弛緩または収縮することを誘起し、それによって、水晶体を保持する提靭帯に加えられる力を変調し、したがって、固視されているオブジェクトの網膜ぼけが排除されるか、または最小化されるまで、眼の水晶体の形状に変化させ、それによって、固視されているオブジェクトの焦点画像を眼の網膜（例えば、中心窩）上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの焦点画像を眼の網膜（例えば、中心窩）上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。

ここで図１０を参照すると、ヒト視覚系の遠近調節－両眼離反運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受け取らせ、光は、画像を眼の網膜の各々上に形成する。網膜上に形成される画像における網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、両眼離反運動のためのキューを提供し得る。遠近調節のためのキューは、遠近調節を生じさせ、眼の水晶体の各々にオブジェクトの焦点画像を眼の網膜（例えば、中心窩）上に形成する特定の遠近調節状態をとらせる。他方で、両眼離反運動のためのキューは、各眼の各網膜上に形成される画像が単一の両眼視を維持する対応する網膜点にあるように、両眼離反運動移動（眼の回転）を生じさせる。それらの位置において、眼は、特定の両眼離反運動状態をとっていると言え得る。図１０を継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、両眼離反運動は、眼が特定の両眼離反運動状態を達成するプロセスであると理解され得る。図１０に示されるように、眼の遠近調節状態と両眼離反運動状態とは、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがｚ－軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。

理論によって限定されるわけではないが、オブジェクトの視認者は、両眼離反運動と遠近調節との組み合わせに起因して、オブジェクトを「３次元」であると知覚し得ると考えられる。上記のように、２つの眼の互いに対する両眼離反運動移動（例えば、瞳孔が、互いに向かって、またはそれから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転）は、眼の水晶体の遠近調節と密接に関連付けられる。通常条件下において、眼の水晶体の形状を変化させ、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節－両眼離反運動反射」として知られる関係下で、同じ距離に対する両眼離反運動の一致する変化を生じさせるであろう。同様に、両眼離反運動の変化は、通常条件下では水晶体形状の一致する変化を誘起するであろう。

ここで図１１を参照すると、眼の異なる遠近調節および両眼離反運動状態の例が、図示される。一対の眼２２２ａは、光学無限遠におけるオブジェクトを固視する一方、一対の眼２２２ｂは、光学無限遠未満におけるオブジェクト２２１を固視する。着目すべきこととして、各対の眼の両眼離反運動状態は、異なり、一対の眼２２２ａは、まっすぐ向けられる一方、一対の眼２２２は、オブジェクト２２１上に収束する。各対の眼２２２ａおよび２２２ｂを形成する眼の遠近調節状態も、水晶体２１０ａ、２２０ａの異なる形状によって表されるように異なる。

望ましくないことに、従来の「３－Ｄ」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節状態と両眼離反運動状態との間の不一致に起因して、そのような従来のシステムを不快であると見出すこと、または奥行感を全く知覚しないこともある。上記のように、多くの立体視または「３－Ｄ」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の両眼離反運動状態に変化をもたらすが、それらの眼の遠近調節状態に対応する変化を伴わないので、多くの視認者のために不快である。むしろ、画像は、眼が全ての画像情報を単一の遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態の一致する変化を伴わずに両眼離反運動状態に変化をもたらすことによって、「遠近調節－両眼離反運動反射」に逆らう。この不一致は、視認者の不快感をもたらすと考えられる。遠近調節と両眼離反運動との間のより良好な一致を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

理論によって限定されるわけではないが、ヒトの眼は、典型的に、有限数の深度平面を解釈し、深度知覚を提供し得ると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にそれらの限定数の深度平面の各々に対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態において、異なる提示は、両眼離反運動のためのキューと遠近調節のための一致するキューとの両方を提供し、それによって、生理学的に正しい遠近調節－両眼離反運動一致を提供し得る。

図１１を継続して参照すると、眼２１０、２２０からの空間内の異なる距離に対応する２つの深度平面２４０が、図示される。所与の深度平面２４０に関して、両眼離反運動キューが、各眼２１０、２２０のために適切に異なる視点の画像を表示することによって提供され得る。加えて、所与の深度平面２４０に関して、各眼２１０、２２０に提供される画像を形成する光は、その深度平面２４０の距離におけるある点によって生成された明視野に対応する波面発散を有し得る。

図示される実施形態において、点２２１を含む深度平面２４０のｚ－軸に沿った距離は、１ｍである。本明細書で使用されるように、ｚ－軸に沿った距離または深度は、ユーザの眼の瞳孔に位置するゼロ点を用いて測定され得る。したがって、１ｍの深度に位置する深度平面２４０は、眼が光学無限遠に向かって向けられた状態でそれらの眼の光学軸上のユーザの眼の瞳孔から１ｍ離れた距離に対応する。近似値として、ｚ－軸に沿った深度または距離は、ユーザの眼の正面のディスプレイから（例えば、光ガイドの表面から）測定され、デバイスとユーザの眼の瞳孔との間の距離に関する値が加えられ得る。その値は、瞳距離と呼ばれ得、ユーザの眼の瞳孔と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応する。実践において、瞳距離に関する値は、概して、全ての視認者に使用される正規化された値であり得る。例えば、瞳距離は、２０ｍｍであると仮定され得、１ｍの深度における深度平面は、ディスプレイの正面の９８０ｍｍの距離にあり得る。

ここで図１２Ａおよび１２Ｂを参照すると、一致遠近調節－両眼離反運動距離および不一致遠近調節－両眼離反運動距離の例が、それぞれ、図示される。図１２Ａに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼２１０、２２０に提供し得る。画像は、眼が深度平面２４０上の点１５上に収束する両眼離反運動状態を眼２１０、２２０にとらせ得る。加えて、画像は、その深度平面２４０における実オブジェクトに対応する波面曲率を有する光によって形成され得る。結果として、眼２１０、２２０は、画像がそれらの眼の網膜上に焦点が合う遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度平面２４０上の点１５にあるものとして知覚し得る。

眼２１０、２２０の遠近調節および両眼離反運動状態の各々は、ｚ－軸上の特定の距離に関連付けられることを理解されたい。例えば、眼２１０、２２０からの特定の距離におけるオブジェクトは、オブジェクトの距離に基づいて、特定の遠近調節状態をそれらの眼にとらせる。特定の遠近調節状態に関連付けられた距離は、遠近調節距離Ａ_ｄと称され得る。同様に、特定の両眼離反運動状態における眼に関連付けられた特定の両眼離反運動距離Ｖ_ｄまたは互いに対する位置が、存在する。遠近調節距離と両眼離反運動距離とが一致する場合、遠近調節と両眼離反運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオであると見なされる。

しかしながら、立体視ディスプレイにおいて、遠近調節距離と両眼離反運動距離とは、必ずしも一致しないこともある。例えば、図１２Ｂに図示されるように、眼２１０、２２０に表示される画像は、深度平面２４０に対応する波面発散を伴って表示され得、眼２１０、２２０は、その深度平面上の点１５ａ、１５ｂが焦点が合っている特定の遠近調節状態をとり得る。しかしながら、眼２１０、２２０に表示される画像は、眼２１０、２２０を深度平面２４０上に位置しない点１５上に収束させる、両眼離反運動のためのキューを提供し得る。結果として、遠近調節距離は、いくつかの実施形態において、眼２１０、２２０の瞳孔から深度平面２４０までの距離に対応する一方、両眼離反運動距離は、眼２１０、２２０の瞳孔から点１５までのより大きい距離に対応する。遠近調節距離は、両眼離反運動距離と異なる。その結果、遠近調節－両眼離反運動不一致が存在する。そのような不一致は、望ましくないと見なされ、不快感をユーザにもたらし得る。不一致は、距離（例えば、Ｖ_ｄ－Ａ_ｄ）に対応し、ジオプタを使用して特性評価され得ることを理解されたい。

いくつかの実施形態において、眼２１０、２２０の眼の瞳以外の参照点も、同じ参照点が遠近調節距離および両眼離反運動距離のために利用される限り、遠近調節－両眼離反運動不一致を決定するための距離を決定するために利用され得ることを理解されたい。例えば、距離は、角膜から深度平面まで、網膜から深度平面まで、接眼レンズ（例えば、ディスプレイデバイスの光ガイド）から深度平面まで等、測定され得る。

理論によって限定されるわけではないが、ユーザは、不一致自体が有意な不快感をもたらさずに、依然として、最大約０．２５ジオプタ、最大約０．３３ジオプタ、および最大約０．５ジオプタの遠近調節－両眼離反運動不一致を生理学的に正しいと知覚し得ると考えられる。いくつかの実施形態において、本明細書に開示されるディスプレイシステム（例えば、ディスプレイシステム２５０、図１４）は、約０．５ジオプタ以下の遠近調節－両眼離反運動不一致を有する画像を視認者に提示する。いくつかの他の実施形態において、ディスプレイシステムによって提供される画像の遠近調節－両眼離反運動不一致は、約０．３３ジオプタ以下である。さらに他の実施形態において、ディスプレイシステムによって提供される画像の遠近調節－両眼離反運動不一致は、約０．１ジオプタ以下を含む約０．２５ジオプタ以下である。

図１３は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光７７０を受け取るように、かつその光をユーザの眼２１０に出力するように構成された接眼レンズ１０４０を含む。いくつかの実施形態において、接眼レンズ１０４０は、光ガイド２７０（例えば、導波管）を含み得る。光ガイド２７０は、所望の深度平面２４０上のある点によって生成された明視野の波面発散に対応する定義された波面発散量を伴って光６５０を出力し得る。いくつかの実施形態において、同じ量の波面発散が、その深度平面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、同様の光ガイドからの画像情報を提供され得ることが図示されるであろう。

いくつかの実施形態において、単一の光ガイドが、単一または限定数の深度平面に対応する設定された波面発散量を伴う光を出力するように構成され得、および／または、光ガイドは、限定された範囲の波長の光を出力するように構成され得る。その結果、いくつかの実施形態において、接眼レンズ１０４０は、異なる深度平面のための異なる波面発散量を提供するために、および／または、異なる範囲の波長の光を出力するために利用され得る複数の光ガイドまたはそのスタックを含み得る。本明細書で使用されるように、深度平面は、平坦または湾曲表面の輪郭に従い得ることが理解されるであろう。いくつかの実施形態において、有利に、簡単にするために、深度平面は、平坦表面の輪郭に従い得る。

図１４は、画像情報をユーザに出力するための光ガイドスタックの例を図示する。ディスプレイシステム２５０は、複数の光ガイド２７０、２８０、２９０、３００、３１０を使用して３次元知覚を眼／脳に提供するために利用され得る光ガイドのスタックまたはスタックされた光ガイドアセンブリ２６０を有する接眼レンズ１０４０を含む。ディスプレイシステム２５０は、いくつかの実施形態において、明視野ディスプレイと見なされ得ることを理解されたい。

いくつかの実施形態において、ディスプレイシステム２５０は、両眼離反運動のための実質的に連続的なキューと遠近調節のための複数の別々のキューとを提供するように構成され得る。両眼離反運動のためのキューは、異なる画像をユーザの眼の各々に表示することによって提供され得、遠近調節のためのキューは、選択可能な別々の量の波面発散を伴う画像を形成する光を出力することによって提供され得る。換言すると、ディスプレイシステム２５０は、可変レベルの波面発散を伴う光を出力するように構成され得る。いくつかの実施形態において、各別々のレベルの波面発散は、特定の深度平面に対応し、光ガイド２７０、２８０、２９０、３００、３１０のうちの特定の１つによって提供され得る。

図１４を継続して参照すると、光ガイドアセンブリ２６０は、複数の特徴３２０、３３０、３４０、３５０を光ガイドの間に含み得る。いくつかの実施形態において、特徴３２０、３３０、３４０、３５０は、１つ以上のレンズであり得る。いくつかの実施形態において、レンズ３２０、３３０、３４０、３５０は、レンズ１０４６（図２Ａ）に対応し得る。光ガイド２７０、２８０、２９０、３００、３１０、および／または、複数のレンズ３２０、３３０、３４０、３５０は、種々のレベルの波面曲率または光線発散を伴って画像情報を眼に送信するように構成され得る。各光ガイドレベルは、特定の深度平面に関連付けられ得、その深度平面に対応する画像情報を出力するように構成され得る。

いくつかの実施形態において、光が、発光ダイオード（ＬＥＤ）等の光エミッタを含み得る光モジュール５３０を備えている画像投入システム５２０によって、光ガイド２７０、２８０、２９０、３００、３１０の中に投入される。光モジュール５３０からの光は、ビームスプリッタ５５０を介して、光変調器５４０（例えば、空間光変調器）に向けられ、それによって修正され得る。光モジュール５３０は、光源１０００に対応し得、光変調器５４０は、画像ＳＬＭ１０２０（図２Ａ－７）に対応し得ることを理解されたい。

光変調器５４０は、光ガイド２７０、２８０、２９０、３００、３１０の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成され得る。空間光変調器の例は、シリコン上液晶（ＬＣＯＳ）ディスプレイを含む液晶ディスプレイ（ＬＣＤ）を含む。いくつかの実施形態において、画像投入システム５２０は、光を種々のパターン（例えば、ラスタ走査、螺旋走査、リサージュパターン等）で１つ以上の光ガイド２７０、２８０、２９０、３００、３１０の中に、最終的に、視認者の眼２１０に投影するように構成された１つ以上の走査ファイバを備えている走査ファイバディスプレイであり得る。

図１４を継続して参照すると、コントローラ５６０は、スタックされた光ガイドアセンブリ２６０、光源５３０、および光モジュール５４０のうちの１つ以上のものの動作を制御する。いくつかの実施形態において、コントローラ５６０は、ローカルデータ処理モジュール１４０の一部である。コントローラ５６０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、光ガイド２７０、２８０、２９０、３００、３１０への画像情報のタイミングおよび提供を調整するプログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態において、コントローラは、単一の一体型デバイス、または有線または無線通信チャネルによって接続される分散型システムであり得る。コントローラ５６０は、いくつかの実施形態において、処理モジュール１４０または１５０（図１７）の一部であり得る。

図１４を継続して参照すると、光ガイド２７０、２８０、２９０、３００、３１０は、全内部反射（ＴＩＲ）によって各それぞれの光ガイド内で光を伝搬するように構成され得る。光ガイド２７０、２８０、２９０、３００、３１０の各々は、平面であるか、または、別の形状（例えば、湾曲）を有し得、主要な上部および底部表面、およびそれらの主要上部表面と底部表面との間に延びている縁を伴う。図示される構成において、光ガイド２７０、２８０、２９０、３００、３１０の各々は、各それぞれの光ガイド内で伝搬する光を光ガイドから外に向け直し、画像情報を眼２１０に出力することによって、光を光ガイドから抽出するように構成された外部結合光学要素５７０、５８０、５９０、６００、６１０を含み得る。抽出された光は、外部結合光とも称され得、外部結合光学要素光は、光抽出光学要素とも称され得る。外部結合光学要素５７０、５８０、５９０、６００、６１０は、例えば、本明細書にさらに議論されるような回折光学特徴を含む格子であり得る。説明の容易性および図面の明確性のために、光ガイド２７０、２８０、２９０、３００、３１０の底部主要表面に配置されて図示されるが、いくつかの実施形態において、外部結合光学要素５７０、５８０、５９０、６００、６１０は、本明細書にさらに議論されるように、上部および／または底部主要表面に配置され得、および／または、光ガイド２７０、２８０、２９０、３００、３１０の容積内に直接配置され得る。いくつかの実施形態において、外部結合光学要素５７０、５８０、５９０、６００、６１０は、透明基板に取り付けられ、光ガイド２７０、２８０、２９０、３００、３１０を形成する材料の層内に形成され得る。いくつかの他の実施形態において、光ガイド２７０、２８０、２９０、３００、３１０は、モノリシックな材料片であり得、外部結合光学要素５７０、５８０、５９０、６００、６１０は、その材料片の表面上および／または内部に形成され得る。いくつかの実施形態において、外部結合光学要素５７０、５８０、５９０、６００、６１０は、レンズ構造１０７８、１０７９（図５－７）に対応し得る。

図１４を継続して参照すると、本明細書に議論されるように、各光ガイド２７０、２８０、２９０、３００、３１０は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最も近い光ガイド２７０は、コリメートされた光を眼２１０に送達するように構成され得る。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の光ガイド２８０は、眼２１０に到達し得る前、第１のレンズ３５０（例えば、負のレンズ）を通過するコリメートされた光を送出するように構成され得、そのような第１のレンズ３５０は、眼／脳が、その次の上方の光ガイド２８０から生じる光を光学無限遠から眼２１０に向かって内側により近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成され得る。同様に、第３の上方の光ガイド２９０は、眼２１０に到達する前、その出力光を第１の３５０および第２の３４０レンズの両方を通り、第１の３５０および第２の３４０レンズの組み合わせられた屈折力は、眼／脳が、第３の光ガイド２９０から生じる光を次の上方の光ガイド２８０からの光であった光学無限遠から人物に向かって内側にさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成され得る。

他の光ガイド層３００、３１０およびレンズ３３０、３２０も同様に構成され、スタック内の最も高い光ガイド３１０は、人物に最も近い焦点面を表す集約焦点力により、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた光ガイドアセンブリ２６０の他の側の世界５１０から生じる光を視認／解釈するとき、レンズ３２０、３３０、３４０、３５０のスタックを補償するために、補償レンズ層６２０が、スタックの上部に配置され、下方のレンズスタック３２０、３３０、３４０、３５０の集約力を補償し得る。そのような構成は、利用可能な光ガイド／レンズ対と同じ数の知覚される焦点面を提供する。光ガイドの外部結合光学要素およびレンズの集束側面の両方は、静的であり得る（すなわち、動的または電気活性ではない）。いくつかの代替実施形態において、いずれか一方または両方は、電気活性特徴を使用して動的であり得る。

いくつかの実施形態において、光ガイド２７０、２８０、２９０、３００、３１０のうちの２つ以上のものは、同じ関連付けられた深度平面を有し得る。例えば、複数の光ガイド２７０、２８０、２９０、３００、３１０は、同じ深度平面に設定される画像を出力するように構成され得るか、または、光ガイド２７０、２８０、２９０、３００、３１０の複数の部分組は、深度平面毎に１つの組を伴って、同じ複数の深度平面に設定される画像を出力するように構成され得る。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成するための利点を提供し得る。

図１４を継続して参照すると、外部結合光学要素５７０、５８０、５９０、６００、６１０は、光をそれらのそれぞれの光ガイドから外に向け直すように、かつ光ガイドに関連付けられた特定の深度平面のために適切な量の発散またはコリメーションを伴ってこの光を出力するように構成され得る。結果として、異なる関連付けられた深度平面を有する光ガイドは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する外部結合光学要素５７０、５８０、５９０、６００、６１０の異なる構成を有し得る。いくつかの実施形態において、光抽出光学要素５７０、５８０、５９０、６００、６１０は、特定の角度で光を出力するように構成され得る体積または表面特徴であり得る。例えば、光抽出光学要素５７０、５８０、５９０、６００、６１０は、体積ホログラム、表面ホログラム、および／または回折格子であり得る。いくつかの実施形態において、特徴３２０、３３０、３４０、３５０は、レンズではないこともあり、むしろ、それらは、単に、スペーサ（例えば、クラッディング層および／または空隙を形成するための構造）であり得る。

いくつかの実施形態において、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切り替え可能であり得る。例えば、切り替え可能なＤＯＥは、ポリマー分散液晶の層を備え得、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に一致するように切り替えられ得る（その場合、パターンは、入射光を著しく回折しない）、または微小液滴は、ホスト媒体のものに一致しない屈折率に切り替えられ得る（その場合、パターンは、入射光を能動的に回折する）。

いくつかの実施形態において、本明細書に議論されるように、眼結像アセンブリ１０５６（例えば、可視光および赤外光カメラを含むデジタルカメラ）が、眼２１０の画像を捕捉するように提供され得る。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであり得る。いくつかの実施形態において、眼結像アセンブリ１０５６は、画像捕捉デバイスと、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る光（例えば、赤外光）を眼に投影するための光源とを含み得る。いくつかの実施形態において、眼結像アセンブリ１０５６は、フレーム８０（図１７）に取り付けられ得、眼結像アセンブリ１０５６からの画像情報を処理し得る処理モジュール１４０および／または１５０と電気通信し得る。いくつかの実施形態において、１つの眼結像アセンブリ１０５６が、各眼のために利用され、各眼を別個に監視し得る。

いくつかの実施形態において、フルカラー画像が、原色（例えば、３つ以上の原色）の各々における画像をオーバーレイすることによって、各深度平面において形成され得る。図１５は、各深度平面が、複数の異なる原色を使用して形成される画像を含むスタックされた光ガイドアセンブリの例を図示する。図示される実施形態は、深度平面２４０ａ－２４０ｆを示すが、より多いまたはより少ない深度も、想定される。各深度平面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含むそれに関連付けられた３つ以上の原色画像を有し得る。異なる深度平面は、文字Ｇ、Ｒ、およびＢに続くジオプタ（ｄｐｔ）に関する異なる数字によって図に示される。単なる例として、それらの文字の各々に続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態において、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動し得る。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置され得る。そのような配列は、視力およびユーザ快適性を増加させ得、および／または、色収差を減少させ得る。

いくつかの実施形態において、各原色の光は、単一の専用光ガイドによって出力され得、その結果、各深度平面は、それに関連付けられた複数の光ガイドを有し得る。そのような実施形態において、文字Ｇ、Ｒ、またはＢを含む図中の各ボックスは、個々の光ガイドを表すと理解され得、３つの光ガイドは、３つの原色画像が深度平面毎に提供される深度平面毎に提供され得る。各深度平面に関連付けられた光ガイドは、この図面において、説明を容易にするために互いに隣接して示されるが、物理的デバイスにおいて、光ガイドは全て、レベル毎に１つの光ガイドを伴うスタックに配列され得ることを理解されたい。いくつかの他の実施形態において、例えば、単一の光ガイドのみが深度平面毎に提供され得るように、複数の原色が、同じ光ガイドによって出力され得る。

図１５を継続して参照すると、いくつかの実施形態において、Ｇは、緑色であり、Ｒは、赤色であり、Ｂは、青色である。いくつかの他の実施形態において、マゼンタ色およびシアン色を含む光の他の波長に関連付けられた他の色も、赤色、緑色、または青色のうちの１つ以上のものに加えて使用され得るか、または、それらに取って代わり得る。

本開示の全体を通した所与の光の色の言及は、視認者によってその所与の色であるものとして知覚される光の波長の範囲内の１つ以上の波長の光を包含すると理解されるであろうことを理解されたい。例えば、赤色光は、約６２０～７８０ｎｍの範囲内の１つ以上の波長の光を含み得、緑色光は、約４９２～５７７ｎｍの範囲内の１つ以上の波長の光を含み得、青色光は、約４３５～４９３ｎｍの範囲内の１つ以上の波長の光を含み得る。

いくつかの実施形態において、光源５３０（図１４）は、視認者の視覚的知覚範囲外の１つ以上の波長、例えば、赤外線および／または紫外線波長の光を放射するように構成され得る。加えて、ディスプレイ２５０の光ガイドの内部結合、外部結合、および他の光向け直し構造は、例えば、結像および／またはユーザ刺激用途のために、この光をディスプレイからユーザの眼２１０に向かって向けるように、および放射するように構成され得る。

ここで図１６を参照すると、いくつかの実施形態において、光ガイドに衝突する光は、その光を光ガイドの中に内部結合するように向け直され得る。内部結合光学要素が、光をその対応する光ガイドの中に向け直し、内部結合するために使用され得る。図１６は、各々が内部結合光学要素を含む複数のスタックされた光ガイドまたはその組６６０の例の断面側面図を図示する。光ガイドの各々は、１つ以上の異なる波長または１つ以上の異なる波長範囲の光を出力するように構成され得る。スタック６６０は、スタック２６０（図１４）に対応し得、スタック６６０の図示される光ガイドは、複数の光ガイド２７０、２８０、２９０、３００、３１０の一部に対応し得ることを理解されたい。

スタックされた光ガイドの図示される組６６０は、光ガイド６７０、６８０、および６９０を含む。各光ガイドは、関連付けられた内部結合光学要素（光ガイド上の光入力エリアとも称され得る）を含み、例えば、内部結合光学要素７００は、光ガイド６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、光ガイド６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、光ガイド６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態において、内部結合光学要素７００、７１０、７２０のうちの１つ以上のものは、それぞれの光ガイド６７０、６８０、６９０の底部主要表面上に配置され得る（特に、１つ以上の内部結合光学要素は、反射型偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、それらのそれぞれの光ガイド６７０、６８０、６９０の上側主要表面（または次の下側光ガイドの上部）上に配置され得、特に、それらの内部結合光学要素は、透過型偏向光学要素である。いくつかの実施形態において、内部結合光学要素７００、７１０、７２０は、それぞれの光ガイド６７０、６８０、６９０の本体内に配置され得る。いくつかの実施形態において、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過させながら、１つ以上の光の波長を選択的に向け直すように、波長選択的である。それらのそれぞれの光ガイド６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態において、それらのそれぞれの光ガイド６７０、６８０、６９０の他のエリア内に配置され得ることを理解されたい。内部結合光学要素７００、７１０、７２０は、レンズ構造１０７６、１０７７（図５－７）に対応し得る。

図示されるように、内部結合光学要素７００、７１０、７２０は、互いに側方にオフセットされ得る。いくつかの実施形態において、各内部結合光学要素は、その光が別の内部結合光学要素を通過することなく、光を受け取るように、オフセットされ得る。例えば、各内部結合光学要素７００、７１０、７２０は、異なるＳＬＭまたは画像ＳＬＭの異なる部分から光を受け取るように構成され得、内部結合光学要素７００、７１０、７２０のうちの他のものに入射する光を実質的に受け取らないように、他の内部結合光学要素７００、７１０、７２０から分離され（例えば、側方に間隔を置かれ）得る。加えて、各内部結合光学要素７００、７１０、７２０は、視認者の眼のネガ像を表示するための専用の関連付けられたＳＬＭを有し得るか、または、内部結合光学要素７００、７１０、７２０のうちの個々のものに対応する光源ＳＬＭ１０００の異なる部分においてネガ像を表示し得る。いくつかの実施形態において、各内部結合光学要素７００、７１０、７２０は、表示されたネガ像から対応する内部結合光学要素７００、７１０、または７２０までの光の経路内の専用の関連付けられた光源集光／コリメート光学系およびリレー光学系を含む専用の関連付けられた光学要素を有し得る。

光ガイド６７０、６８０、６９０は、例えば、材料のガス、液体、および／または固体層によって間隔を置かれ、分離され得る。例えば、図示されるように、層７６０ａは、光ガイド６７０と６８０とを分離し得、層７６０ｂは、光ガイド６８０と６９０とを分離し得る。いくつかの実施形態において、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、光ガイド６７０、６８０、６９０のうちの直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、光ガイド６７０、６８０、６９０を形成する材料の屈折率を０．０５以上、または、０．１０以下である。有利に、より低い屈折率層７６０ａ、７６０ｂは、光ガイド６７０、６８０、６９０を通して光の全内部反射（ＴＩＲ）（例えば、各光ガイドの上部主要表面と底部主要表面との間のＴＩＲ）を促進するクラッディング層として機能し得る。いくつかの実施形態において、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、光ガイドの図示される組６６０の上部および底部は、直近クラッディング層を含み得ることを理解されたい。

好ましくは、製造および他の考慮点を容易にするために、光ガイド６７０、６８０、６９０を形成する材料は、類似または同じであり、層７６０ａ、７６０ｂを形成する材料は、類似または同じである。いくつかの実施形態において、光ガイド６７０、６８０、６９０を形成する材料は、１つ以上の光ガイド間で異なり得、および／または、層７６０ａ、７６０ｂを形成する材料は、依然として、上記の種々の屈折率関係を保持しながら、異なり得る。

図１６を継続して参照すると、光線７７０、７８０、７９０が、光ガイドの組６６０に入射する。いくつかの実施形態において、光線７７０、７８０、７９０は、異なる色に対応し得る異なる特性、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素７００、７１０、７２０の各々は、光が、ＴＩＲによって、光ガイド６７０、６８０、６９０のうちのそれぞれの１つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態において、内部結合光学要素７００、７１０、７２０の各々は、他の波長を下層光ガイドおよび関連付けられた内部結合光学要素に透過させながら、１つ以上の特定の光の波長を選択的に偏向させる。

例えば、内部結合光学要素７００は、それぞれ、異なる第２および第３の波長または波長範囲を有する光線７８０および７９０を透過させながら、第１の波長または波長範囲を有する光線７７０を偏向させるように構成され得る。透過させられた光線７８０は、第２の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向させられる。光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される内部結合光学要素７２０によって偏向させられる。

図１６を継続して参照すると、偏向させられた光線７７０、７８０、７９０は、対応する光ガイド６７０、６８０、６９０を通して伝搬するように偏向させられる、すなわち、各光ガイドの内部結合光学要素７００、７１０、７２０は、光をその対応する光ガイド６７０、６８０、６９０の中に偏向させ、光をその対応する光ガイドの中に内部結合する。光線７７０、７８０、７９０は、光にＴＩＲによってそれぞれの光ガイド６７０、６８０、６９０を通して伝搬させる角度で偏向させられる。光線７７０、７８０、７９０は、次いで、それぞれ、外部結合光学要素８００、８１０、８２０に衝突する。いくつかの実施形態において、外部結合光学要素８００、８１０、８２０は、レンズ構造１０７８、１０７９（図５－７）に対応し得る。

故に、図１６を参照すると、いくつかの実施形態において、光ガイドの組６６０は、各原色のために、光ガイド６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、外部結合光学要素８００、８１０、８２０とを含む。光ガイド６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされ得る。内部結合光学要素７００、７１０、７２０は、（異なる波長の光を受け取る異なる内部結合光学要素を用いて）入射光をその光ガイドの中に向け直し、または偏向させる。光は、次いで、それぞれの光ガイド６７０、６８０、６９０内でＴＩＲをもたらすであろう角度で伝搬する。示される例において、光線７７０（例えば、青色光）は、第１の内部結合光学要素７００によって偏向させられ、次いで、光ガイドを辿って跳ね返り、次いで、外部結合光学要素８００と相互作用し続ける。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、光ガイド６７０を通過し、光線７８０は、内部結合光学要素７１０に衝突し、それによって偏向させられる。光線７８０は、次いで、ＴＩＲを介して、光ガイド６８０を辿って跳ね返り、外部結合光学要素８１０上に進む。最後に、光線７９０（例えば、赤色光）は、光ガイド６９０を通過し、光ガイド６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって外部結合光学要素８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を他の光ガイド６７０、６８０からの外部結合された光も受け取り得る視認者に外部結合する。

図１７は、本明細書に開示される種々の光ガイドおよび関連システムが統合され得るウェアラブルディスプレイシステム６０の例を図示する。いくつかの実施形態において、ディスプレイシステム６０は、図１４のシステム２５０であり、図１４は、そのシステム６０のいくつかの部分をより詳細に図式的に示す。例えば、図１４の光ガイドアセンブリ２６０は、ディスプレイ７０の一部であり得る。

図１７を継続して参照すると、ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ７０は、ディスプレイシステムユーザまたは視認者９０によって装着可能であり、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成されたフレーム８０に結合され得る。ディスプレイ７０は、いくつかの実施形態において、アイウェアと見なされ得る。いくつかの実施形態において、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態において、示されていない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供し得る）。ディスプレイシステム６０は、１つ以上のマイクロホン１１０または他のデバイスも含み、音を検出し得る。いくつかの実施形態において、マイクロホンは、ユーザが入力またはコマンド（例えば、音声メニューコマンドの選択、自然言語質問等）をシステム６０に提供することを可能にするように構成され、および／または、他の人物と（例えば、類似ディスプレイシステムの他のユーザと）のオーディオ通信を可能にし得る。マイクロホンは、周辺センサとしてさらに構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集し得る。いくつかの実施形態において、ディスプレイシステム６０は、ユーザの周囲の世界のオブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成された１つ以上の外向きに向けられる環境センサ１１２をさらに含み得る。例えば、環境センサ１１２は、例えば、ユーザ９０の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに面して位置し得る１つ以上のカメラを含み得る。いくつかの実施形態において、ディスプレイシステムは、フレーム８０と別個であり、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等）に取り付けられ得る周辺センサ１２０ａも含み得る。周辺センサ１２０ａは、いくつかの実施形態において、ユーザ９０の生理学的状態を特性評価するデータを入手するように構成され得る。例えば、センサ１２０ａは、電極であり得る。

図１７を継続して参照すると、ディスプレイ７０は、有線導線または無線接続性によって等、通信リンク１３０によって、フレーム８０に固定して取り付けられる構成、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる構成、ヘッドホン内に埋設される構成、または、別様にユーザ９０に除去可能に取り付けられる構成（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成で搭載され得るローカルデータ処理モジュール１４０に動作可能に結合される。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線接続性によって、ローカルプロセッサおよびデータモジュール１４０に動作可能に結合され得る。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサ、および不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備え得、両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。随意に、ローカルプロセッサおよびデータモジュール１４０は、１つ以上の中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含み得る。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ等の（例えば、フレーム８０に動作可能に結合されるか、または、別様にユーザ９０に取り付けられ得る）センサから捕捉されるデータ、および／または、ｂ）おそらく処理または読み出し後にディスプレイ７０への通過のための遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して入手および／または処理されるデータを含み得る。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が、互いに動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク１７０、１８０によって、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合され得る。いくつかの実施形態において、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つ以上のものを含み得る。いくつかの他の実施形態において、これらのセンサのうちの１つ以上のものは、フレーム８０に取り付けられ得るか、または、有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する独立構造であり得る。

図１７を継続して参照すると、いくつかの実施形態において、遠隔処理モジュール１５０は、例えば、１つ以上の中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含むデータ、および／または、画像情報を分析および処理するように構成された１つ以上のプロセッサを備え得る。いくつかの実施形態において、遠隔データリポジトリ１６０は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得るデジタルデータ記憶設備を備え得る。いくつかの実施形態において、遠隔データリポジトリ１６０は、情報、例えば、拡張現実コンテンツを生成するための情報をローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に提供する１つ以上の遠隔サーバを含み得る。いくつかの実施形態において、全てのデータが、記憶され、全ての計算が、ローカル処理およびデータモジュール内で実施され、遠隔モジュールからの完全に自律的な使用を可能にする。随意に、ＣＰＵ、ＧＰＵ等を含む外部システム（例えば、１つ以上のプロセッサ、１つ以上のコンピュータのシステム）が、処理（例えば、画像情報を生成する、データを処理する）の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール１４０、１５０、１６０に提供し、情報をそれから受信し得る。

（捕捉された画像におけるオブジェクトまたは特徴を検出するためのコンピュータビジョン）
上で議論されるように、ディスプレイシステムは、捕捉された画像におけるオブジェクトまたは特徴を検出するように構成され得る。いくつかの実施形態において、画像内に存在するオブジェクトまたは特徴は、コンピュータビジョン技法を使用して検出され得る。例えば、ディスプレイシステムは、捕捉された画像に対して画像分析を実施し、これらの画像内の特定のオブジェクトまたは特徴の存在を決定するように構成され得る。ディスプレイシステムは、いくつかの実施形態において、捕捉された画像を分析し、眼瞳孔の存在および輪郭を決定し得る。

１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用され得る。コンピュータビジョンアルゴリズムの非限定的例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、向きＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキー点（ＢＲＩＳＫ）、高速網膜キー点（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、平均シフトアルゴリズム、視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応２値化（および他の２値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

（機械学習）
種々の機械学習アルゴリズムが、眼瞳孔の存在、形状、場所等を識別することを学習するために使用され得る。訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶され得る。機械学習アルゴリズムのいくつかの例は、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、ディープボルツマンマシンまたは深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、スタックされた一般化等）、および／または他の機械学習アルゴリズムを含む教師ありまたは教師なし機械学習アルゴリズムを含み得る。いくつかの実施形態において、個々のモデルは、個々のデータセットのためにカスタマイズされ得る。例えば、ディスプレイシステムは、ベースモデルを生成または記憶し得る。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される追加の画像の組）、条件付き状況、または他の変形例に特有の追加のモデルを生成し得る。いくつかの実施形態において、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成され得る。他の技法は、事前に定義された閾値またはデータ値を使用することを含み得る。

オブジェクトまたは特徴を検出するための基準は、１つ以上の閾値条件を含み得る。捕捉された画像の分析が、閾値条件に合格したことを示す場合、ディスプレイシステムは、画像におけるオブジェクトの存在の検出を示す信号を提供し得る。閾値条件は、定量的および／または定質的尺度を伴い得る。例えば、閾値条件は、オブジェクトが画像内に存在することの可能性に関連付けられたスコアまたはパーセンテージを含み得る。ディスプレイシステムは、捕捉された画像から計算されるスコアを閾値スコアと比較し得る。スコアが、閾値レベルより高い場合、ディスプレイシステムは、オブジェクトまたは特徴の存在を検出し得る。いくつかの他の実施形態において、ディスプレイシステムは、スコアが閾値より低い場合、画像におけるオブジェクトの不在をシグナリングし得る。

本明細書に説明され、および／または、図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成された１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行されるコードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされる汎用コンピュータ（例えば、サーバ）、または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得るか、または、インタープリタ型プログラミング言語で書き込まれ得る。いくつかの実施形態において、特定の動作および方法が、所与の機能に特有である回路によって実施され得る。

さらに、本開示の機能性のある実施形態は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスが、例えば、関与する計算の量または複雑性に起因して、機能性を実施するために、または結果を実質的にリアルタイムで提供するために、必要であり得る。例えば、ビデオは、多くのフレームを含み得、各フレームは、数百万のピクセルを有し、具体的にプログラムされたコンピュータハードウェアが、ビデオデータを処理し、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するために必要である。

コードモジュールまたは任意のタイプのデータが、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同じ物の組み合わせ等を含む物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ読み取り可能な媒体上に記憶され得る。いくつかの実施形態において、非一過性コンピュータ読み取り可能な媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、および遠隔データリポジトリ（１６０）のうちの１つ以上のものの一部であり得る。方法およびモジュール（またはデータ）は、無線ベースおよび有線／ケーブルベースの媒体を含む種々のコンピュータ読み取り可能な伝送媒体上で生成されたデータ信号としても（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の別々のデジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得るか、または、コンピュータ読み取り可能な伝送媒体を介して通信され得る。

本明細書に説明され、および／または、添付される図に描写されるフロー図内の任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含むコードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられるか、再配列されるか、本明細書に提供される例証的例に追加されるか、それから削除されるか、修正されるか、または、別様にそれから変更され得る。いくつかの実施形態において、追加のまたは異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のうちのいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスは、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施され得る。タスクまたはイベントが、開示される例示的実施形態に追加され、またはそれから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品にともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。

前述の明細書において、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなく、それらに行われ得ることが明白であろう。本明細書および図面は、故に、限定的意味ではなく、例証的と見なされるべきである。

実際、本開示のシステムおよび方法の各々は、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上で説明される種々の特徴およびプロセスは、互いに独立して使用され得るか、または、種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせは、本開示の範囲内に該当することを意図している。

別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態において組み合わせて実装され得る。逆に、単一の実施形態の文脈において説明される種々の特徴も、複数の実施形態において別個に、または任意の好適な副次的組み合わせで実装され得る。さらに、特徴は、ある組み合わせで作用するものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、ある場合、組み合わせから削除され得、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴群も、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」等、本明細書で使用される条件付き用語は、別様に具体的に記述されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることを意図していることを理解されたい。したがって、そのような条件付き用語は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態のためにいかようにも要求されること、または１つ以上の実施形態が、著者の入力またはプロンプトの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるものであるかどうかを決定するための論理を必然的に含むことを含意することを意図していない。用語「～を備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」等は、同義語であり、非限定的方式で包括的に使用され、追加の要素、特徴、行為、動作等を除外しない。また、用語「または」は、例えば、要素のリストを接続するために使用されると、用語「または」が、リスト内の要素のうちの１つ、いくつか、または全てを意味するように、その包括的意味で使用される（かつその排他的意味で使用されない）。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味すると解釈されるものである。同様に、動作は、特定の順序で図面に描写され得るが、望ましい結果を達成するために、そのような動作が、示される特定の順序または連続的順序で実施される必要がないこと、または、全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されていない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれ得る。例えば、１つ以上の追加の動作が、図示される動作のうちのいずれかの前、その後に、それと同時に、またはその間に実施され得る。加えて、動作は、他の実施形態において、再配列され、または再順序付けられ得る。ある状況において、マルチタスクおよび並列処理が、有利であり得る。さらに、上で説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品に一緒に統合されるか、または、複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実施形態も、以下の請求項の範囲内である。ある場合、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。

故に、請求項は、本明細書に示される実施形態に限定されることを意図しておらず、本明細書に開示される本開示、原理、および新規の特徴と一致する最も広い範囲を与えられるものである。

Claims (19)

1. 画像を視認者に表示する方法であって、前記方法は、
   画像を表示するように構成された光源を備えているディスプレイデバイスを提供することと、
   前記視認者の眼の瞳孔の場所を前記ディスプレイデバイスの射出瞳と整列させることであって、前記場所を整列させることは、
   前記視認者の眼の画像を捕捉することと、
   前記眼の前記捕捉された画像のピクセルの強度値を反転させることと、
   前記眼の前記捕捉された画像を前記反転させられた強度値で表示することによって、前記光源上に前記眼の画像のネガ像を表示することと
   を含む、ことと、
   前記ネガ像を形成する光を変調し、画像コンテンツを前記視認者の眼に提供することと
   を含む、方法。
2. 前記ネガ像を形成する光を変調することは、空間光変調器を通して前記光を伝搬することを含む、請求項１に記載の方法。
3. 前記光源は、空間光変調器であり、前記ネガ像は、前記空間光変調器上に表示される、請求項１に記載の方法。
4. 前記眼のネガ像は、前記ディスプレイの射出瞳の場所を画定し、
   前記眼の瞳孔の場所を整列させることは、画像コンテンツを前記眼に提供している間、連続的に実施され、
   前記眼の画像を捕捉することおよび前記画像のネガを表示することは、１秒あたり６０回以上実施される、請求項１に記載の方法。
5. 画像を視認者に表示する方法であって、前記方法は、
   複数の異なる光出力場所から前記視認者の眼に光を出力するように構成された光源を備えているディスプレイデバイスを提供することと、
   前記ディスプレイデバイスの射出瞳の場所を前記視認者の眼の瞳孔の位置と整列させることと
   を含み、
   整列させることは、
   前記眼の画像を捕捉することと、
   前記眼の前記捕捉された画像のピクセルの強度値を反転させることと、
   前記眼の画像をネガ像に変換することと、
   前記眼の画像における前記眼の瞳孔の場所に対応する前記光源の１つ以上の場所から選択的に光を放射することと
   を含み、
   選択的に光を放射することは、前記眼の前記捕捉された画像を前記反転させられた強度値で表示することによって、前記光源上に前記ネガ像を表示することを含む、方法。
6. 前記１つ以上の場所から放射される前記光を変調することと、
   前記変調された光を前記眼に伝搬し、画像コンテンツを前記視認者に提供することと
   をさらに含む、請求項５に記載の方法。
7. 前記光源は、空間光変調器を備えている、請求項５に記載の方法。
8. 頭部搭載型ディスプレイシステムであって、前記ディスプレイシステムは、
   ユーザの眼の画像を捕捉するように構成された眼結像デバイスと、
   前記眼の前記捕捉された画像の強度値を反転させるように構成された画像インバータと、
   光を放射し、前記眼の前記捕捉された画像を前記反転させられた強度値で表示することによって、前記眼のネガ像を形成するように構成された複数の選択的にアクティブにされる発光場所を備えている光源と、
   前記眼のネガ像を形成する前記光において画像情報をエンコードすることによって、画像コンテンツを前記ユーザに表示するように構成された空間光変調器と
   を備えている、ディスプレイシステム。
9. 前記眼結像デバイスは、カメラを備えている、請求項８に記載のディスプレイシステム。
10. 前記光源は、他の空間光変調器である、請求項８に記載のディスプレイシステム。
11. 前記他の空間光変調器は、発光型空間光変調器である、請求項１０に記載のディスプレイシステム。
12. 前記発光型空間光変調器は、ＬＥＤアレイである、請求項１１に記載のディスプレイシステム。
13. 前記光源から前記空間光変調器に伝搬する光をコリメートするように構成された光源光学系と、
    前記空間光変調器から光を受け取り、前記光源の画像を形成するように構成された光源リレー光学系と、
    前記光源リレー光学系から光を受け取り、前記光源と空間光変調器との同時画像を前記眼に提供するように構成された瞳孔リレー光学系と
    をさらに備えている、請求項８に記載のディスプレイシステム。
14. 前記空間光変調器から前記ユーザの眼の方へ光を向けるように構成された光ガイドをさらに備えている、請求項８に記載のディスプレイシステム。
15. 前記光ガイドは、屈折力を有し、前記光ガイドは、発散波面を伴う光を出力するように構成されている、請求項１４に記載のディスプレイシステム。
16. 複数の前記光ガイドをさらに備え、前記複数の光ガイドのうちの少なくともいくつかは、前記複数の光ガイドのうちの他のものと異なる屈折力を有する、請求項１５に記載のディスプレイシステム。
17. 前記ユーザの頭部上に搭載されるように構成されたフレームをさらに備え、
    前記眼結像デバイスの少なくとも光捕捉部分が、前記フレームに取り付けられ、
    前記空間光変調器は、前記フレームに取り付けられている、請求項８に記載のディスプレイシステム。
18. 前記ディスプレイシステムは、前記眼の前記捕捉された画像を２値化し、捕捉された画像を対応するネガ像に変換するように構成されている、請求項８に記載のディスプレイシステム。
19. 前記光源は、２値空間光変調器であり、前記選択的にアクティブにされる発光場所は、オン状態およびオフ状態を有する、請求項８に記載のディスプレイシステム。

Images