JP2018538573A - 画像投影システム - Google Patents

Abstract

少なくとも第１の画像投影ユニット（１３０）および第２の画像投影ユニット（１４０）と眼球投影光学モジュール（１２０）とを含む網膜画像投影に使用するシステム（１００）である。投影ユニット（１３０、１４０）は、少なくとも第１および第２の画像部分をそれぞれ投影するように構成され動作可能である。眼球投影光学モジュール（１２０）は、画像投影ユニット（１３０、１４０）に光学的に結合され、一般的な光路に沿って少なくとも第１および第２の画像投影ユニット（１３０、１４０）の投射光路を組み合わせ、第１および第２の画像部分の合成画像をユーザの眼（１０）網膜（１２、１４）上に投影するように構成されている。
【選択図】図１Ａ

Description

本発明は、画像投影システムの分野で、特に、純粋な、拡張または仮想現実体験をユーザに提供するためのウェアラブル／頭部装着型の網膜投影システムに関する。

ヘッドマウント型または一般にウェアラブルな画像投影システムが、画像をユーザの眼に直接表示することによって仮想現実および／または拡張現実体験を提供するために使用されている。ユーザの眼前または眼の中への画像投影を用いた様々なタイプの頭部装着型投影システムが知られている。このような投影システムは、多くの場合、ユーザの頭に取り付け可能であり、真実かつ説得力のある表示を提供すべくユーザの眼に画像を投影することができる眼鏡として構成されている。

標準的なディスプレイシステムと同様に、ヘッドマウントディスプレイシステムは、限られた計算能力を利用しながら高解像度の画像を提供することを目的とする。画像レンダリングの複雑さを単純化するために、ユーザの眼の中心窩領域用の別個の画像投影と、広い視野を提供するために網膜の周辺領域に向けられたより低い解像度の画像投影とを利用する、特定の網膜／中心窩ディスプレイシステムが開発されている。

ＵＳ２００８／００２２６２は、装置をユーザの頭部に取り付けるマウント部と、当該マウント部に動作デバイスで取り付けられたビームスプリッタと、ビームスプリッタに画像を投影する画像プロジェクタと、ユーザの視線を追跡するアイトラッカーと、１以上のプロセッサとを具えるヘッドマウントディスプレイ装置を開示する。この装置は、アイトラッカーと動作デバイス、およびオプションでヘッドトラッカーを使用して、ビームスプリッターを目の回転の中心周りに移動させ、ビームスプリッターを目の直線視野内に維持する。ユーザは、画像と、当該画像の背後の環境を同時に見る。第２のビームスプリッタ、アイトラッカー、およびプロジェクタをユーザの他方の目に使用して、立体視的な仮想環境を作成することができる。このディスプレイは、人間の目の回転能力に対応することができる。この発明は、ユーザがどこを見ても高解像度の画像をプリセットする。

ＵＳ２０１２／０１０５３１０は、着用者の片目または両目の前に配置された湾曲したリフレクタを有する１以上の網膜ディスプレイユニットを有するヘッドマウントディスプレイシステムを記載している。このユニットは、選択可能な色を有するレーザビームを提供するように共配列され適合された３つの変調された可視光レーザの第１のセットと、複数の方向に湾曲したリフレクタの一部を横切ってレーザビームを水平方向および垂直方向に走査する第１のスキャナとを具え、目の瞳孔を通って網膜の部分に、中心窩を包囲するのに十分なカラーレーザビームの反射を生成する。ユニットはまた、３つの変調された可視光ビームレーザと赤外線レーザの第２のセットを具え、全てのレーザが共配列され、カラーおよび赤外線周辺視野レーザビームを提供するように適合され、第２のスキャナユニットは、可視光ビームおよび赤外レーザー光ビームを、複数の方向に湾曲したリフレクタの一部を横切って水平方向および垂直方向に走査して、走査されたカラーおよび赤外線レーザービームを、眼の瞳孔を通して、少なくとも３０度×３０度の視野に対応する網膜の部分に反射させる。

ＵＳ２００５／１８５２８１は、スクリーンを具えるビューイング装置を記載する。この装置は、スクリーン上の画像における観察者の目の凝視点を検出する手段を含む。この装置は、凝視点の周りのスクリーン上の画像の中心窩インセット画像を表示する手段を具え、観察者の中心窩が中心窩画像を見つつ、眼の残りは画像を見ることになる。この方法は、スクリーン上の画像上の観察者の目の凝視点を検出するステップを含む。凝視点の周りの画像の中心窩インセット画像をスクリーン上に表示するステップにより、眼の残りの部分が画像を見る間、観察者の中心窩が中心窩画像を見ることとなる。

ＵＳ２００９／１８９８３０は、目の上および／または内部に取り付けられる表示装置を記載する。このアイマウントディスプレイは複数のサブディスプレイを具え、それぞれが当該サブディスプレイに対応する網膜の部分内の異なる網膜位置に光を投射する。投影された光は、瞳孔を通って伝播するが、瞳孔全体には拡がらない。このようにして、複数のサブディスプレイは、網膜の関連する部分にそれぞれの光を投影することができる。瞳孔から角膜に移ると、瞳孔の角膜への投影は、角膜開口と呼ばれる。投影された光は、角膜の完全な開口よりも小さい部分を通って伝搬する。サブディスプレイは、角膜表面で空間的多重化を利用する。

所与の画像レンダリング能力で望ましくは高い画像／投影品質を有する網膜画像投影を提供するディスプレイシステムの新規な構成が当該技術分野で求められている。

従来の投影システムでは、最大画像解像度は、一般に、画像生成要素（投影ユニット）、グラフィック処理ユニット（ＧＰＵ）などの制御ユニットによって提供される処理能力、およびＧＰＵから投影ユニットへのデータ伝送帯域幅といったいくつかの要素によって制限される。したがって、従来の眼球投影システムを使用して人間の視覚の空間解像度に等しい画素密度を有する画像投影を提供するには、極めて高い計算能力と、典型的には小さな投影／表示ユニットのアレイを必要とすることがある。

より具体的には、人間の眼の最大の解像度で画像を提供するには、典型的には、各眼に対して約２０メガピクセル以上の画像フレームを投影する必要がある。さらに、（画像の動きが滑らかでシームレスであるように）人間の知覚に合わせる時間分解能を提供するためには、表示される画像を６０Ｈｚ以上でレンダリングする必要がある。これには、制御ユニットと投影ユニットとの間、および記憶ユーティリティと制御ユニットとの間の画像レンダリングおよびデータ転送の高速化が必要である（例えば、色深度が２４ビットカラーの画像の投影を考慮すると２８ＧＢ／秒のオーダー）。そのような高いデータ転送速度は、一般に最新の眼球投影デバイスの能力を超えており、いずれの場合も、システムの重量、サイズ、コストおよびエネルギー消費が増大してしまう。

本発明は、空間的に変化する画像投影品質を有する画像を網膜に投影するために２またはそれ以上の画像投影モジュール／ユニットを用いる新規な画像投影システムを提供する。これに関し、画像投影品質という用語は、本書では、網膜上への画像投影の画素密度（例えば、単位立体角当たりのＤＰＩまたはドット）、および場合によっては投影画像における色深度レベルを指すために使用される。このために、いくつかの実施形態では、２またはそれ以上の投影モジュールは、それぞれ２またはそれ以上のレベルの色深度を有する画像部分を提供する。

特定の実施形態では、本発明の技術は、ユーザの眼の中心窩領域への高画素密度の画像部分、すなわち高角度分解能および投影面への等価的に高いインチ毎のドット数（ＤＰＩ）の投影と、ユーザの網膜周辺（すなわち傍中心窩領域）へのより低いピクセル密度（より低い角度分解能／ＤＰＩ）を有する画像部分の投影を利用する。これにより、投影システムの画像レンダリング、データ転送およびストレージの必要性を低減しつつ、ユーザの目による投影画像の効果的な高解像度の知覚が達成される。このようにして、画像の細部を収集してそれらをユーザの脳に変換することができる網膜領域（中心窩）に高画素密度の画像が提供され、一方で知覚能力の低い網膜の領域（傍中心窩）に画素密度（角度分解能）の低い画像が提供される。

同様に、本発明の特定の実施形態は、色深度の知覚が目の網膜の中心窩領域において他の（傍中心窩）領域よりもはるかに顕著であるという事実を利用する。これらの実施形態では、中心窩に投影される画像部分は、周辺部に投影される画像部分よりも高い色深度で投影される。

したがって、本発明の特定の実施形態によれば、画像の特定の部分は、高いＤＰＩおよび／または高い色深度を有する投影画像を知覚することができる網膜の特定の領域（すなわち中心窩）に高い画像投影品質（高い角度分解能および／または高い色深度）で投影され、画像の特定の他の部分は、より低いＤＰＩおよび／またはより低い色深度に知覚が制限される網膜の領域（すなわち網膜の周辺／傍中心窩領域）に、より低い画像投影品質で投影される。

したがって、本発明のいくつかの実施形態は、それぞれ異なる、広いか狭い、角度スプレッドを有する２またはそれ以上の画像投影モジュール／ユニットを利用する。狭い角度スプレッド（例えば、水平軸および垂直軸のそれぞれに沿って３°〜１０°の立体角をカバーする）を有する画像投影モジュールは、網膜の中心（中心窩）領域により高い画像投影品質（より高い角度分解能／ＤＰＩおよび／またはより高い色深度）の画像を投影し、ユーザが高品質の画像を知覚できるように構成される。広い角度スプレッド（例えば、水平軸および垂直軸のそれぞれに沿って６０°〜１７０°の立体角をカバーする）を有する画像投影モジュールは、網膜の周辺部（いわゆる傍中心窩領域）により低い画像投影品質を有する画像部分を投影するように構成される。これにより、人間の眼の解剖学的特性を利用して、近くされるところに高品質の画像を投影しながら、画像が網膜全体にわたって均しく同じ高品質で投影される場合に必要とされたデータ量および処理要求、および／またはシステムのサイズ／重量および／またはコストを低減することが可能になる。

したがって、本発明の技術では、投影システムからのユーザ経験を最大にしながら（ユーザは依然として高解像度画像を網膜のそれが可能な領域を介して認識することができる）、眼球投影システムのデータ転送および処理要求を劇的に減少させる。

知られているように、人間の眼の網膜の内部コーティングは感光性組織を有する。中心窩と呼ばれる網膜領域は、円錐型の感光性神経細胞を高密度に有しシャープな視覚を担う。このため、本発明の技術は、ユーザの中心窩に向けられた高解像度画像を用い、一方でより低い画像解像度で網膜に向けられた周辺画像を提供し、より大きな視野を確保しつつレンダリングの複雑さを低減している。したがって、本発明の技術は、中心窩への高解像度での画像投影に焦点を当て、より低い解像度での投影を提供し、これにより均一な画素密度レンダリングと比較して処理やデータ伝送の要件が低減された高解像度投影を提供する。

本発明の眼球投影システムは、少なくとも２つ（例えば、第１および第２）の画像投影ユニットからの画像（ここでは画像部分とも呼ばれる）をユーザの眼に（少なくとも一方の眼に）向けるように構成された光学モジュールを具える。この光学モジュールは、第１の投影ユニットから提供された画像部分をユーザの眼の第１の領域（中心窩）に振り向け、他の投影ユニット（例えば、第２の投影ユニット、または追加の投影ユニット、使用されている場合）から投影された画像部分を網膜の周囲／周辺領域（傍中心窩）に振り向けるよう構成される。

いくつかの実施形態によれば、光学モジュールは、一般に、結合ユニット（例えば、ビーム結合器）とリレーユニット（光学リレー）とを具え、これらは光学モジュールの光路に沿ってカスケード順序で配置されて、画像投影ユニットからの画像投影を方向付け、それらを組み合わせて（同時またはそうでなく）ユーザの眼に投影する。より具体的には、結合ユニットは、少なくとも第１および第２の投影ユニットによって生成された投影画像部分に関連する光ビームを、ユーザの眼に提供／投影すべきフル投影画像フレームを表す結合光学フィールドへと組み合わせる。ここで、光学フィールドと結合光学フィールドとの用語は、眼に向けて投影される画像の光路を横切って測定される光の強度プロファイル、および場合によっては色彩コンテンツを指定するために使用される。結合された光学フィールドを形成する光ビームは、結合ユニットから光学リレーに伝送され、これが光学フィールドをユーザの眼に振り向ける。

より具体的には、いくつかの実施形態では、光学リレーは、それが網膜上に直接投影されるように光学フィールドにリレーするように構成される。眼の網膜上に画像を直接投射するように構成され動作可能であり、本発明の光学モジュールに組み込まれ得るかかるリレーを含むこのような光学モジュールの構成および方法の例は、例えばＰＣＴ国際公開第２０１５／１３２７７５およびＩＬ特許出願第２４１０３３号に記載されており、これらは両方とも本出願の譲受人に譲渡され、参照により本明細書に組み込まれる。

これに関連して、以下に使用される用語「直接投影」は、伝搬する光学フィールドがユーザの網膜上の画像平面に集束する、光学フィールドの投影に関することを理解されたい。例えば、光学モジュールおよび／またはその光学リレーは、光学フィールドの光ビームがそれらが実質的にコリメートされるように眼球レンズに到達し、および／または眼球レンズ自体によって網膜上に焦点が合わせられるように構成されてもよい。代替的にまたは追加的に、そのような直接投影は、その断面直径が眼の瞳孔入口よりも実質的に（例えば、２倍以上）小さくなるように（これにより網膜上の画像投影のフィールドの高い深度が得られる）、光学フィールドを網膜に向けて投影することによって達成され得る。

いくつかの実施形態では、光学モジュールは、ユーザの眼の視線（ＬＯＳ）にしたがって画像投影の光路を調整するように構成され動作可能である軌道モジュール（例えば、ＩＬ特許出願第２４１０３３号に記載されているような視線追跡光学偏向器および／または瞳孔位置光学偏向器を示す移動可能または回転可能な光偏向器）を具える。この目的のために、システムは、ユーザの眼の視線および／または視線方向の変化を検出するように構成された視線追跡ユニットを利用および／または含むことができ、対応するデータを軌道モジュールに提供して一般の光路の向きを変化させ、軌道モジュールによって提供される光路の偏向を決定する。したがって、画像（光学フィールド）は、眼の視線の方向（ＬＯＳ）の変化および／または眼球投影システムに対する瞳孔／眼の位置の変化に応じて変化する一般の光路に沿ってシステムによって投影されてもよい／目の投影システムに対する目の位置。このため、軌道モジュールは、眼球投影システムに対するユーザの眼の向きにしたがって（例えば、眼の光軸／視線（ＬＯＳ）の向きにしたがって）、光学モジュールに沿った光伝播の一般的な光路を変更するように構成されてもよい。光学リレーを含むこのような光学システムの例、および眼の位置やその視線方向が眼の網膜に投影するように使用することができる眼追跡型光偏向器（例えば、瞳孔位置偏向器および視線方向偏向器）は、眼の投影システムに関して変化するものが、例えば、本特許出願の譲受人に譲渡され、参照により本明細書に組み込まれるＩＬ特許出願第２４１０３３号に記載されている。

このために、軌道モジュール、眼球追跡ユニットおよび光学リレーユニットの使用により、光学モジュールの光路は、２またはそれ以上の画像部分と組み合わされた光学フィールドが、使用者の瞳孔に向かう一般の光路に沿って伝送されるように変更することができる。投影された光フィールドは、ユーザが視線方向を変えたとき、および／または眼球投影システムと眼の相対変位が変わったときに、ユーザの眼が網膜上の適切な位置に合成画像を形成するように、様々な角度の向きから瞳孔の位置に到達するように導くことができる。上述のように、第１の投影ユニットによって生成された画像部分が、網膜の選択された部分（すなわち、中心窩）に画像の一部を形成し、１またはそれ以上の第２の投影ユニットによって生成された画像部分が、網膜の他の領域（傍中心窩）に画像の一部を形成するように、光学フィールドが構成される。さらに、生成された画像部分の網膜上の位置は、たとえユーザが視線方向を変えたとしても、固定されたままであり得る。

したがって、光学リレー（本書ではリレーユニットとも呼ばれる）は、一般に、第１の投影ユニットによって提供される画像部分が網膜の中心窩領域上に生成され、他の投影ユニットによって提供される画像部分が網膜の周辺部にある網膜の傍中心窩領域に生成されるように、ユーザの網膜上に画像を生成するように構成される。

第１および第２の画像投影ユニットは、一般に異なる特性を有してもよいことに留意されたい。例えば、異なる視野を投影するために、画像投影ユニットは、異なる角度範囲にまたがる光ビーム／ビームを光学モジュールに向けて出力するように構成され動作可能であってもよい。また、それらは、異なる角度分解能および／または異なる色深度を有する画像を出力するように構成されてもよい。例えば、第１の画像投影ユニットは、高い角度分解能と高い色深度を有するＲＧＢ画像（画像部分）を提供するように適合され、第２の画像投影ユニットは、より低い色深度、場合によっては単色のＲＧＢ画像部分、および／またはより低い角度分解能の画像部分を提供するように構成されてもよい。色深度の変化は、第１の投影ユニットが、例えば３２ビットまたは２４ビットの色深度の画像を提供し、１またはそれ以上の第２の投影ユニットが、１６ビットまたは８ビットの色深度の画像を提供するようにしてもよい。

このため、場合によっては、第１および第２の画像投影ユニットは異なる技術に基づいて構成してもよい。例えば、第１の画像投影ユニットは、その画像が出力される角度範囲にわたって光ビームを走査（例えば、ラスタリング）することによって出力画像が生成される走査画像投影として構成されてもよく、それによって生成された画像（画像部分）を符号化する第１の光学フィールドを生成し、光学モジュールに向けて出力するために、光ビームの強度や、場合によってはカラーコンテンツを変調する。走査に基づく画像投影を用いることは、非走査に基づく（例えば、ＳＬＭに基づく）投影ユニットに対する出力や強度に関して有利であり得る。第２の画像投影ユニットは、上述した走査画像投影システムとして、あるいは１またはそれ以上の空間光変調器（ＳＬＭ、液晶アレイおよび／またはマイクロミラーアレイ）を利用するエリア画像投影システムとして、同時にそれによって投射された複数の画素の強度や可能な色彩コンテンツを変調する。画像を形成するためにラスタ走査および／または空間光変調を使用する画像投影ユニットの構成や動作の例は、画像投影技術において一般的に知られており、それらの構成や動作の原理は本書で詳細に説明する必要はない。

本発明によれば、第１および第２の画像投影ユニットは、空間的に互いに補完して網膜面上に連続画像の投影を形成する２つの第１および第２の相補的な画像部分（光学フィールド）をそれぞれ出力することができるように構成および動作可能であることに留意されたい。このため、第１の画像投影ユニットは、網膜に向けられたときにその中心窩領域に落ちるように、光学モジュールの一般的な光軸の周りのある角度／横方向の範囲をカバーする画像を投影するように適合される。第２の画像投影システムは、光学的な一般的な光軸の周りに広がるより広い角度／横方向のフィールドをカバーするように構成され動作可能であり、一方で任意選択的に光学モジュールの一般的な光軸の周りの環状部（またはより一般的にはフレームまたはドーナツ状の領域）を走査／カバーし、それによって生成された画像部分が網膜に向けられたときにそれが少なくとも網膜の周辺部に落ちる。

これに関し、第１および第２の画像投影ユニットは、光学モジュールが結果として得られる光学フィールド（画像部分）を適切に組み合わせることを可能にするために、互いに空間的に補完する（例えば、それらが重なるかまたは共通の境界を有する）画像部分を生成するように構成される。結果として得られる合成光学フィールドは、（画像平面上で）その中央領域の中心窩画像部分および（画像平面上で）その周辺部分の傍中心窩画像部分に対応し、これらはともに画像部分間が実質的に滑らかな遷移を有する空間的に連続する画像を提供する。これを達成すべく、第１および第２の画像投影は、結合ユニットによって出力され結合された画像部分が光学モジュールの光路に沿って互いに空間的に伝搬するように、眼球投影システムに配置される。

本発明のいくつかの実施形態では、第２の画像投影ユニットは、それによって出力されて光路に沿って伝搬する第２の（例えば環状の）画像部分（光学フィールド）の横方向／角度範囲が、第１の投影ユニットによって出力されて光路に沿って伝播する第１の（例えば中央の）画像部分（光学フィールド）と空間的に重なり合うように構成され動作可能である。この目的のために、少なくとも第１の画像部分の周辺（環状境界）に沿った第１の画像部分と第２の画像部分との間のいくつかの重なりを使用して、高品質な第１の画像部分と低品質な第２の画像部分の間の滑らかでシームレスな遷移を提供する。

本発明のこの技術によれば、ユーザが固定している領域に対応する中心視野についての高解像度画像を生成するために必要な計算能力を振り分けることによってレンダリング処理が低減される。画像の周辺およびユーザの視野の周辺は、より低い解像度でレンダリングおよび投影することができる。これは、投影画像の傍中心窩部分はユーザの注意の周辺にあり、光受容セルがより低い密度であってデータ空間密度が低く、解像度が低いユーザの眼の傍中心窩領域（本書で一般に網膜と呼ばれる）によって捕捉されるからである。

ユーザの目に向けられた画像は一般に目の向きに応じてレンダリングされ、画像／光フィールドの送信は視線追跡ユニットによって調整されるので、ユーザは、（実際には画像境界を有さない）大きな視野を知覚して、完全な仮想現実（または拡張現実）を体験することができ、ユーザに臨場感を提供する。

したがって、本発明の広範な態様によれば、網膜画像投影に使用するためのシステムが提供され、これは、
少なくとも第１および第２の画像部分をそれぞれ投影するように構成され動作可能な少なくとも第１および第２の画像投影ユニットと、
前記少なくとも第１および第２の画像投影ユニットに光学的に結合された眼球投影光学モジュールであって、前記少なくとも第１および第２の画像投影ユニットの投影光路を、一般的な光路に沿って組み合わせて、前記第１および第２の画像部分の投影の、投影にそれぞれ関連する第１および第２の画像投影ユニットの光ビームが、前記第１および第２の画像部分を含む結合画像を網膜上に投影するようにユーザの眼に向かって伝搬するように向けられるように構成され動作可能である眼球投影光学モジュールとを具える。

いくつかの実施形態によれば、第１および第２の画像投影ユニットおよび眼球投影光学モジュールは、第１の画像投影ユニットによって投影された第１の画像部分がユーザの眼の網膜上の第１の中央領域に向けられ、第２の画像投影ユニットによって投影された第２の画像部分が網膜の周縁の第２の環状領域に向けられるように構成され動作可能である。

いくつかの実施形態では、第２の画像投影ユニットは、第１の画像投影ユニットによって投影された第１の画像部分の角度範囲より大きな角度範囲で第２の画像部分を投影するように構成されてもよい。

いくつかの実施形態では、第１の画像投影ユニットは、第１の画像部分を、網膜の中心窩領域をカバーするように、網膜の第１の中央領域に投影し、第２の領域は、前記中心窩領域を取り囲む網膜の傍中心窩領域の少なくとも一部をカバーする。

前記第１および第２の投影ユニットは、網膜の中心窩領域に相対的に高い画像投影品質の画像部分を投影し、網膜の周辺領域に比較的低い画像投影品質の画像部分の投影を実現するようにさらに構成および動作可能である。画像投影品質は、画像投影の角度分解能および色深度のうちの少なくとも１つに関連してもよい。

いくつかの実施形態によれば、前記第１および第２の画像投影ユニットの少なくとも１つは、画像符号化された光ビームを網膜上に走査することによって画像を投影するように構成され動作可能な走査型画像投影ユニットであってもよい。

いくつかの実施形態によれば、システムはさらに、眼の注視方向の変化を検出するように構成され動作可能な眼球追跡モジュールに関連する制御ユニットを具え、前記眼球投影光学モジュールが、眼に向けて前記画像投影の一般的な光路を調整するように構成され動作可能な軌道モジュールを具え、前記制御ユニットは、前記注視方向における検出された変化にしたがって前記軌道モジュールを動作させるように適合される。

眼球追跡モジュールは、システムに対する眼の瞳孔の横方向位置の変化を検出するように構成され動作可能であり、制御ユニットは、瞳孔の前記横方向位置の検出された変化にしたがって前記軌道モジュールを動作させるように適合される。

前記制御ユニットは、前記検出された変化を補償し、それによって投影された結合画像を網膜上の固定位置に維持するように、前記軌道モジュールを動作させるように構成され動作可能であってもよい。

いくつかの実施形態によれば、前記眼球投影光学モジュールは、光フィールドの断面（例えば半値全幅、または２５％強度）が、ユーザの瞳孔より小さくなるように、入力光をユーザの眼内に、瞳孔を通して網膜へと向けるように構成される。これにより、ユーザの瞳孔に対してより小さな直径を有するアイボックスが提供される。眼球投影光学モジュールは、眼球追跡モジュールから受けとったユーザの瞳孔の注視位置のデータにしたがって、前記アイボックスの位置および角度の少なくとも１つを変化させ、それによって、射出瞳をユーザの眼の光学軸に整列させる。

さらに別の実施形態によれば、システムは、ユーザの眼に投影されるべき結合画像の内容を示す画像データを取得し、当該画像データを前記少なくとも第１および第２の画像部分へとセグメント化するように構成され動作可能な制御ユニットを具え、ここで前記第１および第２の画像部分は、前記第１および第２の画像投影ユニットによって前記網膜の中央領域および周縁領域に投影可能な相補的な画像部分であり、それによって前記結合画像を網膜に投影するようにする。

光学投影モジュールは、第１の画像投影ユニットによって生成され前記第１の画像部分の投影に関連する第１の光学フィールドが、前記光学投影モジュールの光学軸に垂直な平面の中心領域に沿って伝播し、前記第２の投影ユニットにより生成された第２の光学フィールドが、前記中心領域に対して前記平面の周辺領域を伝播するように、第１および第２の画像投影ユニットの画像投影を組み合わせるように構成された光学結合要素を具える。

いくつかの実施形態によれば、システムは、中心領域に沿って伝播する前記第１の光学フィールドが、眼の視野の中心部分をカバーするように眼に向かって投影され、それにより網膜の中心窩領域への画像投影が提供され、前記光路の周縁を伝播する前記第２の光学フィールドが、視野の環状領域をカバーし、それにより網膜の傍中心窩領域への画像投影が提供されるように、構成され動作可能である。

前記第１および第２の光学フィールドは、それぞれ高低の画像投影品質で投影され、第２の投影ユニットは、ドーナツ型の視野に画像投影を提供し、それによって傍中心窩領域に画像投影を提供するように構成される。

追加的または代替的に、第１および第２の光学フィールドは、前記中心領域と周縁領域との間の境界領域で重なり合い、これにより当該境界領域において前記第１および第２の画像部分の重複部分の投影を提供してもよい。第１および第２の画像部分は、第１および第２の画像投影ユニットによって投影された重複部分が類似の画像内容に対応するように位置合わせされてもよい。

いくつかの実施形態によれば、前記少なくとも第１および第２の投影ユニットのそれぞれは、投影角度範囲α_ｍａｘで投影される画像に対応する出力光を提供するように構成され、前記光学投影モジュールは、前記第１および第２の投影ユニットによって投射された画像が、それぞれ角度範囲α^１ _ｉｎおよびα^２ _ｉｎ且つα^２ _ｉｎ＞α^１ _ｉｎでユーザの瞳孔に入るように、前記出力光をユーザの眼に中継するように構成されている。α^１ _ｉｎは、３°の角度範囲に対応し得る。α^２ _ｉｎは、２０°より大きい角度範囲に対応し得る。

いくつかの実施形態によれば、システムは、ヘッドマウントディスプレイユニットでの使用のために構成されてもよい。

いくつかの実施形態によれば、システムは、仮想現実または拡張現実体験を提供するように構成されてもよい。

いくつかの実施形態では、眼球投影光学モジュールは、周囲の環境光を遮蔽しながら、第１および第２の投影ユニットによって投影された画像をユーザの眼に向けるように構成されてもよい。

いくつかの実施形態では、眼球投影光学モジュールは、周囲の環境光の透過を可能にしながら、第１および第２の投影ユニットによって投影された画像をユーザの眼に向けるように構成されてもよい。

本明細書に開示された主題をより良く理解し、実際にどのように実施することができるかを例示するために、以下の実施形態を添付の図面を参照しながら非限定的な例として説明する。

図１Ａ、Ｂは、本発明による眼球投影システムと、当該眼球投影システムを動作させるための一般的な制御ユニットの動作の概略図を示す。 図２は、人間の眼の概略図を示す。 図３は、本発明の技術にしたがって生成された画像配置を概略図である。 図４は、本発明のいくつかの実施形態による眼球投影システムの構成を示す図である。 図５は、本発明のいくつかの他の実施形態による眼球投影システムの他の構成を示す図である。 図６は、本発明のいくつかの実施形態による眼球投影システムで使用されるいくつかの画像レンダリングの概念を示す。

上記のように、当分野では、眼球投影システムの新規な構成が必要とされている。図１Ａ、１Ｂを併せて参照すると、本発明のいくつかの実施形態による、眼球投影システム１００と、ユーザの眼への画像投影方法２５０とが示されている。眼球投影システム１００は、画像を生成し、生成された画像をユーザの眼１０に投影するように構成される。簡略化のために、この図には単一の眼が示されているが、一般に、画像投影システム１００は、ユーザの両眼に画像を投影し、同時に右目用画像と左目用画像との間の特定の差異を与えて、３次元体験を提供するように構成されてもよいことを理解されたい。

眼球投影システム１００は、少なくとも第１および第２の画像投影ユニット／モジュール１３０、１４０（以下、投影ユニットともいう）と、これらの投影ユニットによって投射された画像に対応する光をユーザの眼１０に導いてユーザの網膜１２に画像を形成する光学モジュール１２０とを具える。システムはまた、一般に、少なくとも１つの制御ユニット２００を含むか、または接続可能である。制御ユニット２００は、通常、画像データをレンダリングし、第１および第２の投影ユニット１３０、１４０から投影されるように転送する。

このために、２以上の（第１および第２の）投影ユニット１３０、１４０によって投影される画像データをレンダリングすることは、ここに記載の方法２５０の動作を実行することを含み得る。制御ユニット２００は、ユーザの眼に投影されるべき「投影画像フレーム」（本書では、結合画像とも呼ぶ）の内容を示す画像データを受信するための動作２５１を実行するように構成され動作可能である。画像データは、例えば、網膜上に投影すべき画像の内容およびレイアウトを含むことができる（ここで、内容は、同時に網膜に投影されるべき１以上の画像の情報であり、レイアウトは、これらの１以上の画像の投影の配置／レイアウトに関する情報を含む）。レイアウトデータは、例えば、網膜上の画像の横方向の位置を示す横方向の位置決めデータ（例えば、眼のＬＯＳと像平面との間の交点を表す画像内のアンカーポイントに関するデータ）を含み得る。制御ユニット２００は、画像データを処理して、網膜に投影されるべき組み合わさった光学フィールド（画像内容）を示す「投影画像フレーム」を決定／生成しつつ、これらをレイアウトデータにしたがってフレーム内に配列させるための任意の動作２５２を実行するように適合されてもよい。任意の動作２５３において、制御ユニットは、目の光軸（ＬＯＳ）に対する「投影画像フレーム」を位置合わせ（register）するために位置合わせ動作を実行する。換言すれば、「投影画像フレーム」の整列された位置を示す位置合わせ／整列データは、眼のＬＯＳに対するものである（例えば、位置合わせ／整列データは、「投影画像フレーム」における、眼のＬＯＳ軸に交差される点を示す）。

動作２５４において、制御ユニット２００は、２以上の（第１および第２の）画像投影ユニット１３０、１４０によって投影される２以上のセグメント（画像部分）に「投影画像フレーム」を分割する。少なくとも画像投影ユニットの１つ、例えば１３０は、網膜の中心（中心窩）領域に画像（画像部分）を投影するように適合されている。少なくとも１つの他の画像投影ユニット、例えば１４０は、画像（画像部分）を網膜の周縁（傍中心窩）領域に投影するように適合されている。したがって、動作２５４において、制御部２００は２５３で取得した位置合わせ／整列データを用いて、第１および第２の画像投影部１３０、１４０が網膜の中心窩領域および傍中心窩にそれぞれ投影する少なくとも２つの画像部分に分割する。これに関し、このような分割を実行するために、制御ユニットは、第１および第２の画像投影ユニット１３０、１４０の開口数（ＮＡ）などの投影パラメータを示す投影ユニット構成データを利用してもよい（すなわち、各投影ユニットによってカバーされる網膜の領域に関するデータとそれらの角度範囲）を含む。これにより、制御ユニット２００は、画像投影ユニット１３０および１４０の間の「投影画像フレーム」を適切にセグメント化して分割することができる。

２５５において、制御ユニット２００は、画像投影ユニット１３０、１４０によってそれぞれ投影される第１および第２の画像部分のレンダリングを実行する。制御ユニット２００は、画像投影ユニット１３０、１４０によって提供される角度分解能や色深度などの投影パラメータを示す投影ユニット構成データを用いて、対応する第１および第２画像部分をそれぞれレンダリングすることができる。これに関し、上に示したように、画像を網膜の中心窩領域に投影するように構成された第１の画像投影ユニット１３０は、網膜の傍中心窩領域に画像を投影する第２の画像投影ユニット１４０によって提供される角度分解能（ＤＰＩ）および／または色深度より、より高い角度分解能（より高いＤＰＩ）および／または改善された色深度で網膜上に画像を投影するように構成される。次いで、動作２５６において、制御ユニットは、第１および第２の画像部分を示すレンダリングデータを第１および第２の画像投影ユニット１３０および１４０に提供し、これらにより投影する。これに関し、本発明による眼球投影システム１００は、人間の眼の解剖学的構造の特徴を利用する。人間の眼の解剖学的構造を示す図２を参照する。人間の眼の構造は一般的に知られているので、ここでは詳細には説明しないが、網膜（図１の１２）は光を集めて脳に送られるデータを生成する感光領域である。網膜は、光の強度（白黒の視覚）および波長（色の視覚）に対して感受性である複数の感光性細胞を含む。より具体的には、網膜は、光度（光の強度）に感受性のある杆細胞（ロッド）と、彩度（色または波長）に感受性のある錐体細胞（コーン）を含む。網膜の中心領域は、大きな密度で錐体細胞（波長感受性細胞）を含み、中心窩として知られている（図１では１４と記されている）。中心窩は、視野の中心に位置するもの、または注意の中心に位置するものの詳細な画像を提供することを担当する。一般に、中心窩領域は、より高い空間周波数またはより高い解像度、および場合によってはより高い色感知能力を提供し、一方で傍中心窩領域は、画像知覚が低解像度で（場面周縁のぼやけた表示を脳に提供する）、場合によっては色感知能力が低いが、入力光フィールド内の動きや傾きに対してより敏感である。

したがって、画像投影ユニット１３０、１４０は、網膜に投影される結合光学フィールド（「投影画像フレーム」）の相補的部分の投影のために構成され動作可能である。第１の画像投影ユニット１３０は、網膜の中心窩領域に向けられる第１の画像部分を、高い画像投影品質で投影することができるように構成され動作可能である（すなわち、高い角度分解能および／または高い色深度を有するように第１の画像部分をレンダリング／投影する）。第２の画像投影ユニットは、第２の画像部分を投影するように構成されている（これはより低い画像投影品質で網膜の傍中心窩領域に向けられる（すなわち、第１の画像部分と比較して低い角度分解能および／または低い色深度））。

例えば、画像投影ユニット１３０は、１画素あたり立体角の約４分角以下（about or below 4 arc-minute²）の高い角度分解能で投影画像フレームのある部分を投影するように構成され動作可能である。画像投影ユニット１４０は、１画素あたり立体角の約１０分角以上（about or above 10 arc-minute²）の低い角度分解能で投影画像フレームのある部分を投影するように構成され動作可能である。いくつかの実施形態では、画像投影ユニット１３０は、（例えば、少なくとも８ビット（２５６色）またはそれ以上（例えば２４ビット）の色深度を有する）ＲＧＢカラーコンテンツでそれぞれの画像部分を投影するように構成される。網膜の周縁に画像を投影するために使用される画像投影ユニット１４０は、より低い色深度（例えば、４ビットの色深度（１６色））および／または色情報がまったく無いか最小限（例えば、グレースケール画像）である。

このため、本発明のいくつかの実施形態によれば、画像投影ユニット１３０は、走査画像投影構成で構成することができる（投影面（すなわち、網膜の中心窩領域）に、画像情報で時間変調された光ビームを走査（ラスタ走査）することによって画像を投影する）。このような画像投影ユニット１３０の走査画像投影構成により、画像投影部１３０のコンパクトな寸法で高画質な投影が実現する。画像投影ユニット１４０は、走査画像投影構成であってもよいし、および／または、例えば空間光変調器を使用して、それぞれの画像部分を網膜の傍中心窩領域に投影するエアリアル画像投影技術のいずれかで構成される。

光学モジュール１２０は、少なくとも第１および第２の投影ユニット１３０、１４０によって投射された画像部分を組み合わせて、対応する光線を誘導して、ユーザの眼１０に投影される画像を同時に形成するように構成される。さらに、光学モジュールは、異なる投影ユニットによって生成された画像を、ユーザの網膜１２の異なる領域（例えば、中心窩および傍中心窩領域）に導くように構成されている。

これに関し、本発明のいくつかの実施形態によれば、方法２５０のセグメント化動作２５４において、制御ユニット２００は、「投影画像フレーム」を２つ（またはそれ以上）のセグメント（第１および第２の画像部分）に分割し、これらは間の境界領域に沿っていくらかの重なりを有する。したがって、そのような実施形態では、第１および第２の画像投影ユニット１３０、１４０は、第１および第２の画像部分を、これらの間の境界で重なるように網膜上に投影するように構成され動作可能である。したがって、境界上では、第１および第２の画像投影ユニット１３０、１４０によって、同様の画像情報が高い画像投影品質と低い画像投影品質で重なり合って投影される。光学モジュール１２０は、第１の画像部分と第２の画像部分との間の重なりが維持されるように、第１の投影ユニット１３０および第２の投影ユニット１４０が生成した画像部分を組み合わせるように構成される。さらに、光学モジュールは、画像部分間の境界が、ユーザの網膜における中心窩の解剖学的境界に実質的に対応するように投影される画像部分を導くように構成および／または動作可能であってもよい。システムは、ユーザの選択のために中心窩画像や界位置に関する相対的な大きさ／角度の広がりに関する設定パラメータを含んでもよいし、多数のユーザの解剖学的構造に適合するように固定してもよい。画像部分間の重なりは、典型的には、網膜の中心窩領域に投影された画像のより高品質と、その傍中心窩領域に投影される画像部分の低品質との間で認識される滑らかな移行を実現するため、および／またはユーザ間の不正確さや解剖学的多様性を補償するために提供される。

制御ユニット２００はまた、眼１０の向きおよび／または位置に関して（例えば、ＩＬ特許出願第２４１０３３号に開示されているような眼球追跡モジュールから得られる）眼球追跡データに応答して、適切なコマンドを光モジュール１２０に提供し、眼１０の動きにしたがって画像投影の光路を修正するために、画像投影の一般的な経路を変えてもよい。例えば、光学モジュール１２０は、例えば、（ＩＬ特許出願第２４１０３３号に記載されているように構成され動作可能な）調節可能な視線追跡ビーム偏向器および／または調整可能な瞳孔位置ビーム偏向器を含み得る軌道モジュール（例えば、図５に示す１２４など）を具えてもよい。制御ユニット２００は、これらの偏向器の一方または両方の位置を調整して、眼の凝視方向（ＬＯＳの方向）、および／または相対的な横方向の変位および／または眼の光軸と光モジュール１２０の出力光軸との間の相対角度配向に応じて画像投影の一般的な伝播経路を変化させて、それらの間の実質的に固定された相対的な配向および／または変位を維持するように構成され動作可能であってもよい。実際、眼の光学軸と光学モジュール１２０の出力光軸との間に固定の相対的な配向および変位が維持されると、第１の投影ユニット１３０および第２の投影ユニット１４０からの画像／画像部分は、網膜上の固定位置に投影される。

代替的または追加的に、いくつかの実施形態では、制御ユニット２００は、第１および第２の投影ユニット１３０、１４０を、投影された画像をシフトおよび／または歪め、これによって投影された光学フィールドの相対的な向き／変位の変化を打ち消すように複数の方向にシフト／歪めることにより、眼と光学モジュール１２０との光学軸の間の相対的な向きおよび／または変位のいくらかの／わずかな変化／シフトを補償するように構成されてもよい。例えば、小さな眼の動きを補償するこのような技術の使用が、図６を参照して以下により詳細に例示される。

このように、本発明による眼球投影システムは、概して、網膜の中心窩領域に解像度を高めた画像投影を提供する一方で、中心窩を取り囲む傍中心窩領域に対して比較的低い（例えば通常の）解像度で画像投影を提供するように構成される。これにより、システムは、高解像度画像を実際に利用し、それを必要とするユーザの眼の領域に高解像度画像を提供しながら、高解像度画像にかかる画像レンダリング／処理の複雑さを低減することができる。

図３は、本発明の眼球投影システムによって生成される２部分の画像を示す。全体画像は２つの画像部分を含み（通常は少なくとも２つ、周縁画像部分は複数の投影ユニットによって生成されるいくつかの部分画像から構成されてもよい）、これには、通常は注意の中心を囲む周縁画像データを提供する傍中心窩／網膜画像部分１４００と、画像データの主要部分であってユーザの注意の中心に対応する中心窩画像部分１３００とが含まれる。中心窩画像部分１３００は、典型的には、傍中心窩画像部分１４００に対してより高い解像度であり得る。中心窩部分１３００および傍中心窩部分１４００の実際の画素数は、同じであっても高くてもよい。画像解像度の差は、典型的には、各画像部分がカバーする領域（視野）の違いに起因して設けられる。特に、中心窩画像部分は、概して網膜の実際の領域をカバーするように、またはわずかに大きな領域であって網膜の周囲領域に対して顕著に小さい領域をカバーするように投影することができる。なお、図３に示す画像部分は、円形の視野を例示している。しかし、一般に、視野は、長方形、楕円形、または他の任意の形状であってもよい。投影画像の中心窩領域１３００は、好ましくは、中心窩の視野をカバーするように円形または楕円形であり、したがって眼のこの領域の鮮明な観察能力が最適化される。また、図３には、ユーザの瞳孔における中心窩１３００と傍中心窩１４００の画像部分の角度範囲が例示されている。典型的には、中心窩画像部分の角度範囲はα^１ _ｉｎでり、３°〜１０°、好ましくは約５°である。さらに、瞳孔入力の傍中心窩画像部分の角度範囲は、２０°より大きく、典型的には約１２０°〜１８０°であり得る。

図４および図５を参照すると、眼球投影システム１００の２つの構成が示されており、本発明の２つの例示的な実施形態による光モジュール１２０のより具体的な構成を例示している。図４に示すように、第１の投影ユニット１３０および第２の投影ユニット１４０は、対応する初期リレーモジュール１２２ａおよび１２２ｂにそれぞれ関連付けられている。図５の例では、リレーモジュールは、２つの（一般に少なくとも２つの）入力レンズＬ１ａおよびＬ１ｂおよび単一の出力レンズＬ２を含む単一のリレーモジュール１２２に組み合わされている。図４および図５の両方の例に示すように、光学システム１２０は、好ましくは、結合モジュール（ＭまたはＭ１およびＭ２）と、第１のリレーモジュール１２２および第２のリレーモジュール１２６と、追跡／軌道モジュール１２４とを具える。この連結において、図４のような別個の複数のリレーモジュールを含む第１のリレーモジュールまたは図５のような結合されたリレーモジュールは、各投影ユニットが投影光の一般的な伝播方向に垂直な断面に沿って対応する領域に画像部分（すなわち、光学フィールド）を形成するように光を伝えるように、第１の投影ユニット１３０および第２の投影ユニット１４０によって生成された画像投影を統合するように構成されている。さらに、図４は、第１の投影ユニット１３０および第２の投影ユニット１４０の出力角度範囲α_ｍａｘを示す。図示するように、第１の投影ユニット１３０および第２の投影ユニット１４０は、同じ出力角度範囲を提供してもしなくてもよい。光学システム１２０は、図３で上述したように、各投影ユニットの角度範囲を調整するように構成されている。

図４を参照すると、第１の投影ユニット１３０および第２の投影ユニット１４０のそれぞれは、第１の投影ユニット１３０用の最大の光線Ｒ１ａおよびＲ１ｂ、および第２の投影ユニット１４０用のＲ２ａおよびＲ２ｂによって図にマークされた画像または画像ストリームを示す光を出力する。第１の投影ユニット１３０からの出力光は、リレーモジュール１２２ａの入力レンズに伝送され、軌道モジュール１２４に中継される。具体的には、異なる画素、または投影画像上の異なる点が、対応する異なる光の角度の伝搬に関連付けられるように、投影ユニットから光線が出力される。したがって、最大の光線Ｒ１ａおよびＲ１ｂは、投影画像上の２つの極端な点に対応する。リレーユニット１２２ａの第１のレンズＬ１ａは、光を屈折させ、第２のレンズＬ２ａに向け、これが入力光を軌道モジュール１２４上で再焦点化する。リレーユニット１２２ａの出力では、１またはそれ以上のビームコンバイナＭ１およびＭ２が図に例示されるように配置されている。ビーム今羽否Ｍ１、Ｍ２は、第１の投影ユニットから投射された光を第２の投影ユニット１４０から投射された光の光路に合成するように構成されている。同様に、リレーユニット１２２ｂは、通常、第１レンズＬ２ａおよび第２レンズＬ２ｂを含み、実質的に同様の方法で第２の投影ユニット１４０からの光の投影を可能にするように構成されている。例示的な光線Ｒ２ａおよびＲ２ｂは、投影ユニット１４０の極端な（extreme）光線を示す。一般に、リレーユニット１２２ａおよび１２２ｂは、レンズの適切に選択された異なる光学パワーで構成され、ビームコンバイナＭ１およびＭ２は、第１の投影ユニット１３０が投射する画像が、図３に例示するように、第２の投影ユニット１４０によって投射された画像の部分に囲まれた画像投影の領域の中心で、小さい領域を占めるように配置されている。さらに、双方のリレーユニット１２２ａ、１２２ｂおよびビームコンバイナＭ１、Ｍ２は、画像部分を統合して（例えば、軌道ユニット１２４上に）共通の画像平面を形成するように構成される。これは、ユーザーの目の共通の焦点を確実にするためである。

なお、ここでは具体的に説明していないが、リレーユニット１２２ａ（１２２ｂ、１２６等の他のリレーユニットも同様）は、追加のレンズを有していてもよいが、簡略化のため２枚のレンズユニットとして図示している。リレーユニットの光学パラメータは、一般的に知られているような所望の解像度および鮮明度を有する適切な結像を提供するように選択され、および／または標準的な光学設計ツールによって決定され得ることに留意されたい。

第１および第２の投影ユニット１３０、１４０によって生成された投影画像は、軌道モジュール１２４に向けられる。軌道モジュール１２４は、眼球運動の追跡にしたがって決定された一般的な光路に入射する光を方向付けるようにその向きを変えるように構成された、例えば、１以上の移動光偏向器／ミラー（例えば、上記の視線追跡ビーム偏向器および／または瞳孔位置偏光器）を具えることができる。軌道モジュール１２４および視線追跡の技術は、任意の既知の構成とすることができ、上述のように、例示的な構成が、本出願の譲受人に譲渡されたＩＬ特許出願第２４１０３３号に記載されている。

上述したように、図５は、リレーモジュール内の第１および第２の投影ユニット１３０、１４０からの投影画像を結合するように構成された、第１のリレーモジュール１２２の追加の構成を示す。リレーモジュール１２２は、共通の第２レンズＬ２を使用するが、第１レンズ１３０と第２レンズ１４０用に別個の第１レンズＬ１ａとＬ１ｂを使用する。図示されるように、第２の投影ユニット１４０からの出力は、レンズＬ１ｂおよびＬ２を介して軌道モジュール１２４にリレーされる。レンズＬ１ｂおよびＬ２の位置および光学パワーは、投影光（例えば、最大の光線Ｒ２ａ、Ｒ２ｂ）の角度分布を提供するように選択され、ユーザの周辺視野に対して所望の角度分解能を提供する。最大の光線Ｒ１ａおよびＲ１ｂによって例示される第１の投影ユニット１３０の光出力は、発散光をビームコンバイナＭに向かって伝播する平行な光ビームのセットに変換する入力レンズＬ１ａによって収集される。ビームコンバイナＭは、上記のように、単一面（すなわち反射面）または複数の面を使用してもよいし、部分反射面（すなわちビームスプリッタ型）として構成してもよく、第１の投影ユニット１３０の出力光を、第２の投影ユニット１４０から出力された光の断面中心に位置させて伝播させる。一般的に、ビームコンバイナＭは、視野の断面の中心領域内で、第２の投影ユニット１４０からの光の伝送を遮断するように構成される。しかしながら、いくつかの構成では、ビームコンバイナＭは、それを通る光を部分的に透過するように構成されてもよく、したがって、第２の投影ユニット１４０によって生成された光の少なくとも一部が視野の中心を通ることを可能にする。いくつかのさらなる実施形態では、ビームコンバイナＭは、中央領域をブロックし、その周縁部で伝送して、第１の投影ユニット１３０と第２の投影ユニット１４０によって生成された画像間の画像投影における滑らかな遷移を実現することができる。組み合わされた投影光は、さらに第２のレンズＬ２によって集められ、軌道モジュール１２４上に配向／集束される。

これに関し、ビーム合成技術、すなわち図４、５のように１つ、２つまたはそれ以上のビームコンバイナを利用すると、第１の投影ユニット１３０による画像投影（中心窩画像）と、第２の投影ユニット１４０による画像投影（傍中心窩画像）とがある程度重なることに留意されたい。この目的のために、１またはそれ以上のビームコンバイナを、光の５０％を反射し５０％を透過するビーム分割面としたり、および／または、面の周縁部で高い透過率（または反射率）を有し、面の中心部で高い反射率（または透過率）を有するように構成することができる。このようにして、中心窩画像と傍中心窩画像との間の移行が、比較的滑らかとなる。画像処理ユニット（ＧＰＵ）が、典型的には、上記のように滑らかな移行を提供するように異なる画像部分をレンダリングするように構成されてもよいことに留意されたい。例えば、ＧＰＵは、画像部分の境界で画像輝度を調整しながら画像をレンダリングして、画像合成で生じるシャープな勾配（gradient）を回避するように構成することができる。

一般に、図１、４および５を参照して説明した本発明によれば、第１および第２の投影ユニット１３０、１４０は、任意の種類の投影ユニットであってよく、好適には走査型レーザ投影ユニットとして構成することができる。一般に、走査レーザ型の投影ユニットは、投影画像の解像度と同様に、光強度に関してより大きな効率を提供することができる。典型的に、第１および第２の投影ユニット１３０、１４０は同様の仕様であるが、制御ユニット（図１の２００）または画像処理ユニット（ＧＰＵ）のために送られる異なる画像データの投影を提供する。光学モジュールは、図３に一般的に例示されているように、第１および第２の投影ユニット（１３０、１４０）の画像投影を組み合わせるように構成されているが、第２の投影ユニット１４０に提供される画像データは、中央（中止窩）領域を含んだ全体画像を示してもよいし、ドーナツ型の画像（すなわち、第１の投影ユニット１３０によって投影される画像が組み合わされる穴領域を有する周縁画像）に対応する画像データを含んでもよい。

上述のように、第１および第２の投影ユニット（１３０および１４０）は、好ましくは、走査型レーザ投影ユニットであってもよい。このような投影ユニットでは、ラスタ光偏向器（ＭＥＭＳを使用する可動ミラー）が、ある角度走査範囲（角度投影範囲）α_ｍａｘ内でレーザビームを走査するように構成されている。光学モジュール１２０は、少なくとも第１および第２の投影ユニットの光を合成し、ユーザの瞳孔で、第１の投影ユニットによって生成された光が角度範囲α^１ _ｉｎを有し、第２の投影ユニットによって生成された光がα^１ _ｉｎより大きなα^２ _ｉｎを有するように、振り向ける。効果的には、ユーザの瞳孔における光伝搬角度の違いは、視野内の異なる点に対応する。これは、光投影の角度分解能は、一般に、知覚される画像の分解能に対応する。発明者らは、人間の目の解剖学的構造に基づいて、第１の投影ユニットによる光投影の入力角度範囲α^１ _ｉｎを約３°の範囲内に設定することが好ましいことを見出した。いくつかの構成では、光学モジュール１２０およびリレーモジュール１２６は、約α^１ _ｉｎ=５°の角度範囲を提供して、網膜内の中心窩領域を確実にカバーするように構成される。角度範囲α^１ _ｉｎは、好ましくは、ユーザの入力瞳における角度分解能が１画素当たり２分角（2 arcminutes per pixel）を超え、好ましくは１画素当たり１分角（1 arcminute per pixel）を超えるように、第１の投影ユニット１３０によって提供される画像解像度にしたがって決定される。第１の投影ユニット１３０による投影とは対照的に、第２の投影ユニット１４０による光投影は、概して、視野の周縁部に意味のある画像を提供するように構成される。したがって、第２の投影ユニット１４０による画像投影に関連する角度範囲α^２ _ｉｎは、好ましくは２０°より大きく、いくつかの構成では７０°より大きく、ユーザの画像投影に広い視野を提供し、投影画像の中に存在感を提供する。第２の投影ユニット１４０は、角度範囲が大きいほど角度解像度が低くなるように、同様の数の異なる角度点を提供してもよい。

走査型レーザ投影ユニットを用いる場合、レーザビームは、一般に３以上の原色（例えば、赤色、緑色および青色）を放射する３以上のレーザユニットからの光ビームを含み、走査方向に応じて各色の強度を変化させて所望の画像データの画像化を提供する。光学モジュール１２０は、投射された光をユーザの眼に向けるように、第１および第２の投影ユニットから出力された光を中継するように構成される。一般に、光学ユニット、より具体的にはリレーモジュール１２６は、ユーザの瞳孔における光の断面（すなわち、アイボックス）が、ユーザーの瞳孔に対して小さい直径となるように、入力光をユーザの眼に向けるように構成されている。より具体的には、光の断面直径（例えば、半値全幅測定値、または標準偏差測定値）は、強い照明条件下で瞳孔直径に対して小さくなる。これは、検出された視線方向（ＬＯＳ）および／または瞳孔の位置（例えば、瞳孔投影システム１００に対する眼／ＬＯＳの動きに起因する）にしたがって、アイボックス（システムの射出瞳）の位置および角度を変化させるために、軌道モジュール１２４が一般的な光路を反射するためである。投影ユニットの出力強度は、走査型レーザベースまたは非レーザあるいは非走査型であってもよく、いくつかの実施形態では空間光変調器型の画像投影ユニット（例えば、ＬＣＤベース）であり、好ましくは十分に低く、または減衰されて、ユーザの損傷を回避し、好ましくは不快感を与えるのを避ける。

これに関連して、本発明による光モジュール１２０で用いられる直接投影技術は、入力光フィールドが網膜上の画像平面に伝播するように、網膜上に画像を投影することに留意されたい。これは一般に、アイボックスのサイズ、または瞳孔における光フィールドの断面が一般に瞳孔径よりも小さいため、ユーザの眼の焦点距離／構成（これは一般に、関心対象物への実際のまたは仮想の距離に基づいて制御される）に関係なく達成される。これにより、網膜上の焦点深度が向上した画像投影が得られる。したがって、画像は、目のレンズの実質的に任意の焦点状態において網膜に実質的に焦点が合うように投影される。例えば、画像は、眼レンズが４メートルから∞までの広い焦点距離範囲内の任意の焦点状態にあるときに、網膜に焦点を当てたまま有意の焦点深度に画像を投影することができる。

一般に、本発明のいくつかの実施形態によれば、図４、５に例示された眼球投影システムは、光学リレーを用いて画像をユーザの眼に投影する。これに関連して、本発明の技術は、投影ユニット（例えば、第１および第２の投影ユニット）の投影画像を結合し、結合された光フィールドが、軌道モジュール１２４を通り、眼の動きを追跡し、リレーモジュール１２６を通して眼に送られる。このように、光学モジュール１２０は、目の向き、照明条件、画像特性、ユーザの嗜好などに関して投影を最適化するように構成することができる。これは、投影ユニットによる異なる画像部分の投影を組み合わせて、ユーザの網膜の対応する領域に画像部分を向けるからである。上述したように、本発明のいくつかの実施形態では、第１の投影ユニットは、ユーザの眼の中心窩領域に向けられた画像投影を提供し、第２の投影ユニットは、中心窩の周囲の網膜に向けられた周辺画像を提供する。投影された画像は、１またはそれ以上のビームコンバイナと第１のリレーモジュールとを用いて合成される。後者は、典型的には、第１の投影ユニットによって投影された「中心窩」画像内の画素密度が、第２の投影ユニットによって投影された周囲の「網膜」画像の画素密度に対してより大きくなるように、投影画像の拡がりを調整するように構成されている。一般に、中心窩画像は、４８０ｐ、７２０ｐ、１０８０ｐ以上に対応する解像度で、各方向に対して視野の約３°〜５°の角度部分に投影される。傍中心窩／網膜画像は、実質的に同じ画素数で投影されるが、投影画像は、図３に示すような中心窩画像に対応する中心領域を残しつつ、低い投影強度でユーザの視野の所定の部分を占めるようにユーザの眼にリレーされ、それによって第１の投影ユニット１３０による中心窩画像の投影が可能となる。

このように、光学モジュールの構成は、眼の追跡および画像特性にしたがって、射出瞳および一般的な光路の調整を可能にする。また、より低い解像度の周辺画像データとともに中心窩に向けられた高解像度画像を提供することによって、システムは計算の複雑さを低減しながら経験を最適化できることにも留意されたい。さらに、眼の小さな動きを補償するために、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を眼球投影システムに付随させ、投影された実際の画像データよりわずかに大きい領域に対応する画像データをレンダリングするように構成することができる。したがって、レンダリングされた画像データが存在し、投影時の眼の位置に正確に基づいて投影ユニットに直接送信される。これが図６に、中心窩１３００および網膜１４００レンダリング領域として例示されている。より具体的には、領域１３００および１４００に対応する画像データがユーザの眼に投影される一方で、ＧＰＵは、以下のフレームに対応する画像データを処理する。ＧＰＵは、領域１３００および１４００より大きな領域１３１０および１４１０に対応するデータを生成する。領域１３１０および１４１０は、本書ではショルダ画像データと呼ばれ、画像部分１３００および１４００で画定される視界のほぼ外側にある画像データを含む。新たに処理された画像において、データが投影ユニット（１３０および１４０）に送信され、制御ユニット（２００）は、眼球追跡技術を用いて、ユーザの瞳孔の正確な位置を示し、処理された画像が投影される。この技術により、すでにレンダリングされたショルダ画像データを提供することによって、眼の小さな動きを補償する画像変化が可能となる。これに関連して、一様な解像度投影において、ユーザの眼の中心窩領域に高分解能（すなわち画素あたり立体角の約４分角以下（below 4 arc-minute²））を提供するには、非常に多くの画素を有する画像データを生成する必要がある（このような空間解像度の半球体画像は約３０メガピクセルを必要とする）。本発明の技術は、所望の高い知覚された角度分解能を有する画像投影を提供する一方で、感度の低い眼の領域への画像解像度を低減することを可能にする。したがって、中心窩画像は、画素あたり４分角未満の角度分解能を提供する高画素密度を用い、一方、傍中心窩画像は、より低い角度分解能（例えば、１画素あたり約１０分角）を提供する。これにより、制御ユニットおよびそのＧＰＵは、中心窩画像に約５メガピクセルと傍中心窩画像に５メガピクセル、合計約１０メガピクセルのレンダリング画像データとなる低解像度画像に対応する画像データを生成することができる。

このように、本発明は、ユーザの眼に画像を投影するシステムを提供する。このシステムは、画像レンダリングの複雑さと、処理／レンダリングユニットから投影ユニットへのデータ転送を低減しつつ、所望の高解像度の画像をユーザに提供するように構成される。システムは、一般に、ユーザの網膜の対応する部分に向けられた２以上の画像部分に基づいて合成画像投影を生成するように構成され、網膜の異なる領域の局所感度を最適に利用するように構成される。当業者であれば、添付の特許請求の範囲に定義された本発明の範囲から逸脱することなく、上述の本発明の実施形態に様々な修正および変更を適用できることを容易に理解するであろう。

Claims (25)

1. 網膜画像投影に使用するシステムであって、
   少なくとも第１および第２の画像部分をそれぞれ投影するように構成され動作可能な少なくとも第１および第２の画像投影ユニットと、
   前記少なくとも第１および第２の画像投影ユニットに光学的に結合された眼球投影光学モジュールであって、前記少なくとも第１および第２の画像投影ユニットの投影光路を、一般的な光路に沿って組み合わせて、前記第１および第２の画像部分の投影の、投影にそれぞれ関連する第１および第２の画像投影ユニットの光ビームが、前記第１および第２の画像部分を含む結合画像を網膜上に投影するようにユーザの眼に向かって伝搬するように向けられるように構成され動作可能である眼球投影光学モジュールとを具えることを特徴とするシステム。
2. 請求項１のシステムにおいて、前記第１および第２の画像投影ユニットと眼球投影光学モジュールとは、第１の画像投影ユニットによって投影された第１の画像部分がユーザの眼の網膜上の第１の中央領域に向けられ、第２の画像投影ユニットによって投影された第２の画像部分が網膜の周縁の第２の環状領域に向けられるように構成され動作可能であることを特徴とするシステム。
3. 請求項２のシステムにおいて、前記第１および第２の画像投影ユニットは、前記第１の画像投影ユニットによって投影された第１の画像部分の角度範囲より大きな角度範囲で第２の画像部分を投影するように構成されていることを特徴とするシステム。
4. 請求項３のシステムにおいて、前記第１の画像投影ユニットは、第１の画像部分を、網膜の中心窩領域をカバーするように、前記網膜の第１の中央領域に投影し、前記第２の領域は、前記中心窩領域を取り囲む網膜の傍中心窩領域の少なくとも一部をカバーすることを特徴とするシステム。
5. 請求項１乃至４のいずれかのシステムにおいて、前記第１および第２の投影ユニットは、網膜の中心窩領域に相対的に高い画像投影品質の画像部分を投影し、網膜の周縁領域に比較的低い画像投影品質の画像部分を投影するように構成および動作可能であることを特徴とするシステム。
6. 請求項５のシステムにおいて、前記画像投影品質は、画像投影の角度分解能および色深度のうちの少なくとも１つに関連することを特徴とするシステム。
7. 請求項１乃至６のいずれかのシステムにおいて、前記第１および第２の画像投影ユニットの少なくとも１つは、画像符号化された光ビームを網膜上に走査することによって画像を投影するように構成され動作可能な走査型画像投影ユニットであることを特徴とするシステム。
8. 請求項１乃至７のいずれかのシステムにおいて、さらに、眼の注視方向の変化を検出するように構成され動作可能な眼球追跡モジュールに関連する制御ユニットを具え、前記眼球投影光学モジュールが、眼に向けて前記画像投影の一般的な光路を調整するように構成され動作可能な軌道モジュールを具え、前記制御ユニットは、前記注視方向における検出された変化にしたがって前記軌道モジュールを動作させるように適合されることを特徴とするシステム。
9. 請求項８のシステムにおいて、前記眼球追跡モジュールは、前記システムに対する眼の瞳孔の横方向位置の変化を検出するように構成され動作可能であり、制御ユニットは、瞳孔の前記横方向位置の検出された変化にしたがって前記軌道モジュールを動作させるように適合されることを特徴とするシステム。
10. 請求項８または９のシステムにおいて、前記制御ユニットは、前記検出された変化を補償し、それによって投影された結合画像を網膜上の固定位置に維持するように、前記軌道モジュールを動作させるように構成され動作可能であることを特徴とするシステム。
11. 請求項１乃至１０のいずれかのシステムにおいて、前記眼球投影光学モジュールは、光フィールドの断面がユーザの瞳孔に対して小さくなるように、入力光をユーザの瞳孔に向けるように構成されることを特徴とするシステム。
12. 請求項１１のシステムにおいて、前記眼球投影光学モジュールは、眼球追跡モジュールから受けとったユーザの瞳孔の注視位置のデータにしたがって、アイボックスの位置および角度の少なくとも１つを変化させ、それによって、射出瞳をユーザの眼の光学軸に整列させることを特徴とするシステム。
13. 請求項１乃至１２のいずれかのシステムにおいて、ユーザの眼に投影されるべき結合画像の内容を示す画像データを取得し、当該画像データを前記少なくとも第１および第２の画像部分へとセグメント化するように構成され動作可能な制御ユニットを具え、ここで前記第１および第２の画像部分は、前記第１および第２の画像投影ユニットによって前記網膜の中央領域および周縁領域に投影可能な相補的な画像部分であり、それによって前記結合画像を網膜に投影するようにすることを特徴とするシステム。
14. 請求項１乃至１３のいずれかのシステムにおいて、前記光学投影モジュールは、第１の画像投影ユニットによって生成され前記第１の画像部分の投影に関連する第１の光学フィールドが、前記光学投影モジュールの光学軸に垂直な平面の中心領域に沿って伝播し、前記第２の投影ユニットにより生成された第２の光学フィールドが、前記中心領域に対して前記平面の周縁領域を伝播するように、第１および第２の画像投影ユニットの画像投影を組み合わせるように構成された光学結合要素を具えることを特徴とするシステム。
15. 請求項１４のシステムにおいて、前記中心領域に沿って伝播する前記第１の光学フィールドが、眼の視野の中心部分をカバーするように眼に向かって投影され、それにより網膜の中心窩領域への画像投影が提供され、前記光路の周縁を伝播する前記第２の光学フィールドが、視野の環状領域をカバーし、それにより網膜の傍中心窩領域への画像投影が提供されるように、構成され動作可能であることを特徴とするシステム。
16. 請求項１４または１５のシステムにおいて、前記第１および第２の光学フィールドは、それぞれ高低の画像投影品質で投影され、第２の投影ユニットは、ドーナツ型の視野に画像投影を提供し、それによって傍中心窩領域に画像投影を提供するように構成されることを特徴とするシステム。
17. 請求項１４乃至１６のいずれかのシステムにおいて、前記第１および第２の光学フィールドは、前記中心領域と周縁領域との間の境界領域で重なり合い、これにより当該境界領域において前記第１および第２の画像部分の重複部分の投影を提供することを特徴とするシステム。
18. 請求項１７のシステムにおいて、前記第１および第２の画像部分は、前記第１および第２の画像投影ユニットによって投影された重複部分が類似の画像内容に対応するように位置合わせされることを特徴とするシステム。
19. 請求項１乃至１８のいずれかのシステムにおいて、前記少なくとも第１および第２の投影ユニットのそれぞれは、投影角度範囲α_ｍａｘで投影される画像に対応する出力光を提供するように構成され、前記光学投影モジュールは、前記第１および第２の投影ユニットによって投射された画像が、それぞれ角度範囲α^１ _ｉｎおよびα^２ _ｉｎ且つα^２ _ｉｎ＞α^１ _ｉｎでユーザの瞳孔に入るように、前記出力光をユーザの眼に中継するように構成されていることを特徴とするシステム。
20. 請求項１９のシステムにおいて、α^１ _ｉｎは、３°の角度範囲に対応することを特徴とするシステム。
21. 請求項１９または２０のシステムにおいて、α^２ _ｉｎは、２０°より大きい角度範囲に対応することを特徴とするシステム。
22. 請求項１乃至２１のいずれかのシステムにおいて、ヘッドマウントディスプレイユニットでの使用のために構成されることを特徴とするシステム。
23. 請求項１乃至２２のいずれかのシステムにおいて、当該システムは、仮想現実または拡張現実体験を提供するように構成されることを特徴とするシステム。
24. 請求項１乃至２３のいずれかのシステムにおいて、前記眼球投影光学モジュールは、周囲の環境光を遮蔽しながら、前記第１および第２の投影ユニットによって投影された画像をユーザの眼に向けるように構成されることを特徴とするシステム。
25. 請求項１乃至２３のいずれかのシステムにおいて、前記眼球投影光学モジュールは、周囲の環境光の透過を可能にしながら、前記第１および第２の投影ユニットによって投影された画像をユーザの眼に向けるように構成されることを特徴とするシステム。

Images