JP2020501424A - 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法 - Google Patents

Abstract

撮像システムと、前記撮像システムを介して表示装置用のコンテキスト画像およびフォーカス画像を作成する方法が開示される。前記撮像システムは、ユーザの片眼ごとに少なくとも１つの撮像センサと、前記撮像センサに接続された処理部とを備える。前記処理部は、実世界環境の少なくとも１つの画像を取得するために、前記撮像センサを制御するように構成され、前記表示装置と通信可能に接続されるように配置される。また、前記処理部は、前記表示装置からユーザの視線方向を示す情報を受信し、前記ユーザの視線方向に基づいて前記少なくとも１つの画像の高精度視領域を決定し、前記コンテキスト画像および前記フォーカス画像を生成するために前記少なくとも１つの画像を処理し、前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達するように構成される。【選択図】図３

Description

本開示は概して視覚情報の提示に関し、より具体的には、撮像センサと処理部とを備える撮像システムに関する。また、本開示は、前述の撮像システムを介して表示装置用のコンテキスト画像およびフォーカス画像を作成する方法にも関する。

背景

近年、バーチャルリアリティや拡張現実などの技術の利用が急速に増加している。そのような技術は、専用装置のユーザに模擬環境（すなわちバーチャルワールド）を提示する。そのような場合、ユーザ周囲の現実の知覚を向上させる立体視などの現代の技術を用いることで、ユーザは模擬環境においてより高い没入感を得られる。

通常、バーチャルリアリティデバイスなどのデバイスは、模擬環境を体験するためにユーザによって用いられる。一例において、バーチャルリアリティデバイスは、ユーザの片眼ごとに１つのディスプレイを備える両眼視バーチャルリアリティデバイスでありうる。また、両眼視バーチャルリアリティデバイスの両方のディスプレイには異なる二次元画像（立体像とも呼ばれる）が表示される。具体的には、そのような異なる二次元画像は奥行きの錯覚を作り出すために組み合わされ、組み合わされた画像がユーザの眼に投影される。多くの場合、そのような異なる二次元画像は適切な撮像機器によって取得され、バーチャルリアリティデバイスに伝達されうる。

しかしながら、従来採用されている撮像機器には特定の制限がある。第一に、既存の撮像機器は、非常に高い解像度の二次元画像を取得する能力が限られている。また、そのような撮像機器は、取得した二次元画像において人間の視覚系の視力を再現するために非現実的な数の光センサを必要とする。第二に、該撮像機器は、取得した二次元画像をバーチャルリアリティデバイスに伝達するために広い帯域幅を必要とする。そのため、撮像機器とバーチャルリアリティデバイスとの間の通信ネットワークにおけるデータスループットの制限への対応に関する限界がある。第三に、該撮像機器は、二次元画像を取得し、処理し、バーチャルリアリティデバイスに伝達するために大量の電力を消費する。

前述の説明を鑑みて、バーチャルリアリティデバイスに関連する撮像機器に関連付けられた前述の欠点を克服する必要がある。

摘要

本開示は撮像システムを提供することを目標とする。本開示は、そのような撮像システムを介して表示装置用のコンテキスト画像およびフォーカス画像を作成する方法を提供することも目標とする。本開示は、従来の撮像機器に関連する解像度と帯域幅の制限という既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、表示装置と共に用いる堅牢で信頼性が高く効率的な撮像システムを提供する解決策を提供することである。

一態様では、本開示の一実施形態は撮像システムを提供する。前記撮像システムは、
・ ユーザの片眼ごとに少なくとも１つの撮像センサと、
・ 前記少なくとも１つの撮像センサに接続され、実世界環境の少なくとも１つの画像を取得するために、前記少なくとも１つの撮像センサを制御するように構成される処理部と、
を備え、
前記処理部は表示装置と通信可能に接続されるように配置され、前記表示装置は、ユーザの視線方向を追跡する手段と、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、を備え、
前記処理部は、
・ 前記表示装置から、ユーザの視線方向を示す情報を受信し、
・ 前記ユーザの視線方向に基づいて、前記少なくとも１つの画像の高精度視領域を決定し、
・ 第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために、前記少なくとも１つの画像を処理し、
・ 前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達する
ように構成され、
前記処理部は、前記少なくとも１つの画像を処理する際に、前記少なくとも１つの画像の前記高精度視領域に実質的に相当するように前記フォーカス画像を生成するために、前記少なくとも１つの画像を切り抜くように構成される。

別の態様では、本開示の一実施形態は、ユーザの片眼ごとに少なくとも１つの撮像センサを備え、表示装置と通信可能に接続された撮像システムを介して、前記表示装置用のコンテキスト画像およびフォーカス画像を作成する方法を提供する。前記方法は、
・ 前記表示装置から、ユーザの視線方向を示す情報を受信することと、
・ 実世界環境の少なくとも１つの画像を取得するために、前記少なくとも１つの撮像センサを制御することと、
・ 前記ユーザの視線方向に基づいて、前記少なくとも１つの画像の高精度視領域を決定することと、
・ 第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために、前記少なくとも１つの画像を処理することと、
・ 前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達することと
を含み、
前記少なくとも１つの画像を処理することは、前記少なくとも１つの画像の前記高精度視領域に実質的に相当するように前記フォーカス画像を生成するために、前記少なくとも１つの画像を切り抜くことを含む。

本開示の実施形態は、従来技術における前述の問題を実質的に排除、または少なくとも部分的に対処し、撮像システムを用いて画像を取得する際に解像度を向上させることができ、撮像システムから表示装置へフォーカス画像とコンテキスト画像を伝達するために制限のある帯域幅を用いることができる。

本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施形態の図面および詳細説明から明らかにされるであろう。

本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。

前記の摘要と、下記の例示的な実施形態の詳細説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。

以下、本開示における実施形態を、単なる例示として、かつ添付の図面を参照して説明する。
図１は、本開示の一実施形態による撮像システムおよび表示装置のアーキテクチャのブロック図である。 図２は、本開示の一実施形態による撮像センサ（例えば、図１の撮像センサなど）の模式図である。 図３は、本開示の一実施形態による、図２に示した撮像センサの例示的なサンプリングおよび読取り回路の模式図である。 図４は、本開示の一実施形態による表示装置を介して提示されるコンテキスト画像およびフォーカス画像の例示的な図である。 図５Ａおよび図５Ｂは、本開示の一実施形態による表示装置の、ユーザの眼に対する例示的な動作を示す模式図である。 図６Ａから図６Ｄは、本開示の様々な実施形態による表示装置の例示的な実装を示す図である。 図６Ｅから図６Ｈは、本開示の様々な実施形態による表示装置の例示的な実装を示す図である。 図６Ｉは、本開示の様々な実施形態による表示装置の例示的な実装を示す図である。 図７は、本開示の一実施形態による、撮像システムを介して表示装置用のコンテキスト画像およびフォーカス画像を作成する方法のステップを示す図である。

添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。

実施例の詳細説明

以下の詳細説明は、本開示の実施形態およびそれらの実施形態を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施形態も可能であることを当業者は認識されるであろう。

一態様では、本開示の一実施形態は撮像システムを提供する。前記撮像システムは、
・ ユーザの片眼ごとに少なくとも１つの撮像センサと、
・ 前記少なくとも１つの撮像センサに接続され、実世界環境の少なくとも１つの画像を取得するために、前記少なくとも１つの撮像センサを制御するように構成される処理部と、
を備え、
前記処理部は表示装置と通信可能に接続されるように配置され、前記表示装置は、ユーザの視線方向を追跡する手段と、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、を備え、
前記処理部は、
・ 前記表示装置から、ユーザの視線方向を示す情報を受信し、
・ 前記ユーザの視線方向に基づいて、前記少なくとも１つの画像の高精度視領域を決定し、
・ 第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために、前記少なくとも１つの画像を処理し、
・ 前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達する
ように構成され、
前記処理部は、前記少なくとも１つの画像を処理する際に、前記少なくとも１つの画像の前記高精度視領域に実質的に相当するように前記フォーカス画像を生成するために、前記少なくとも１つの画像を切り抜くように構成される。

別の態様では、本開示の一実施形態は、ユーザの片眼ごとに少なくとも１つの撮像センサを備え、表示装置と通信可能に接続された撮像システムを介して、前記表示装置用のコンテキスト画像およびフォーカス画像を作成する方法を提供する。前記方法は、
・ 前記表示装置から、ユーザの視線方向を示す情報を受信することと、
・ 実世界環境の少なくとも１つの画像を取得するために、前記少なくとも１つの撮像センサを制御することと、
・ 前記ユーザの視線方向に基づいて、前記少なくとも１つの画像の高精度視領域を決定することと、
・ 第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために、前記少なくとも１つの画像を処理することと、
・ 前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達することと
を含み、
前記少なくとも１つの画像を処理することは、前記少なくとも１つの画像の前記高精度視領域に実質的に相当するように前記フォーカス画像を生成するために、前記少なくとも１つの画像を切り抜くことを含む。

本開示は、前述の撮像システムと、そのような撮像システムを介して表示装置用のコンテキスト画像およびフォーカス画像を作成する前述の方法を提供する。前述の撮像システムにより、コンテキスト画像およびフォーカス画像内のノイズを低減することができる。また、そのような撮像システムの少なくとも１つの撮像センサにより、光センサの数を増やすことなく、非常に高い解像度で実世界環境の少なくとも１つの画像を取得することができる。前述の撮像システムは、処理部と表示装置との間の通信ネットワークにおけるデータスループットの制限に対応すると有益である。また、前述の撮像システムおよび方法により、少なくとも１つの画像を取得および処理するために必要な電力、および生成されたフォーカス画像およびコンテキスト画像を表示装置に伝達するために必要な電力の量を大幅に削減することができる。

本開示全体において、「撮像システム」という用語は、該表示装置のコンテキスト画像およびフォーカス画像を生成するように構成された機器に関する。そのような場合、該撮像システムは、少なくとも１つの画像を取得および処理して、該表示装置用のコンテキスト画像およびフォーカス画像を生成するように構成される。該少なくとも１つの画像は、該表示装置を介して表示される視覚的シーンを描写し、そのため「入力画像」と呼ばれる場合がある。該少なくとも１つの画像は、該表示装置のユーザに提示される模擬環境の少なくとも一部を描写する。ユーザが該表示装置を装着すると、模擬環境をユーザに提示するためにコンテキスト画像およびフォーカス画像が続けて用いられることを理解されたい。そのような場合、該表示装置は、模擬環境をユーザに提示するための（例えば、バーチャルリアリティヘッドセット、バーチャルリアリティ眼鏡などの）デバイスとして機能するように動作可能である。

任意で、該少なくとも１つの画像は、該表示装置に接続された記憶部に格納される。そのような場合、該記憶部は該撮像システム上で実装され、該表示装置に無線接続されうる。また、該少なくとも１つの画像は、例えばＭＰＥＧ（Moving Pictures Experts Group）フォーマット、ＪＰＥＧ（Joint Photographic Experts Group）フォーマット、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（Bitmap file format）などの適切なフォーマットで格納される。

本開示全体において、「少なくとも１つの撮像センサ」という用語は、実世界環境の少なくとも１つの画像を取得するために、実世界環境からの光を検出して処理するように動作可能な機器（例えば、光センサ配列など）に関する。そのような場合、実世界環境の該少なくとも１つの画像は、同じ視点から取得されても、異なる視点から取得されてもよい。任意で、ユーザの片眼ごとに少なくとも１つの撮像センサは、複数の光センサを備える。また任意で、該複数の光センサはグリッド状に配置される。そのような場合、該複数の光センサはそれぞれ、入射する光の量に比例した電荷を生成して、該少なくとも１つの画像を構成する。該複数の光センサの例として、フォトダイオード、フォトレジスタ、フォトトランジスタ、および光電性の電界効果トランジスタが挙げられるが、これらに限定されない。任意で、該複数の光センサ間の画素ピッチは数ミクロン程度である。また任意で、該少なくとも１つの撮像センサの該複数の光センサにカラーフィルタモザイクが重ねられる。さらに任意で、該カラーフィルタモザイクは複数のカラーフィルタを含み、１つのカラーフィルタは該少なくとも１つの撮像センサの１つの光センサに重ねられる。そのような場合、該複数のカラーフィルタは、実世界環境からの光が該複数の光センサに入射する前に、そのような光をフィルタするために用いられる。具体的には、各カラーフィルタは、特定の波長範囲内の光のみを通過させるように構成される。このため、フィルタを経た実世界環境の光が該複数の光センサに入射する。該カラーフィルタモザイクをこのように配置することで、実世界環境からの光の波長情報を取得して、取得した実世界環境の少なくとも１つの画像内の色を作り出すことができることを理解されたい。

この点において、任意で、該複数のカラーフィルタは２：１：１の割合で緑カラーフィルタ、青カラーフィルタ、および赤カラーフィルタを含む。そのような場合、緑カラーフィルタの数は、青カラーフィルタと赤カラーフィルタそれぞれの数の２倍である。一例として、カラーフィルタモザイクＭ１は、４×４の光センサグリッドに重ねられてもよい。そのような例において、カラーフィルタモザイクＭ１は、緑、青、および赤カラーフィルタの割合が２：１：１である１６のカラーフィルタを含んでもよい。したがって、該カラーフィルタモザイクは、８つの緑カラーフィルタ、４つの青カラーフィルタ、および４つの赤カラーフィルタを備える。

また任意で、該カラーフィルタモザイクの緑、青、および赤カラーフィルタはそれぞれ、４つ組のグループとして（すなわち、２×２のサブモザイクグループとして）配置される。そのような場合、任意のカラーフィルタの４つ組グループは、２×２のグリッドとして配置された任意の色のフィルタ４つを含む。前述の例を参照すると、カラーフィルタモザイクＭ１の１６のカラーフィルタは、４つの４つ組グループＱ１、Ｑ２、Ｑ３、およびＱ４として配置されてもよい。そのような場合、２つの４つ組グループ、例えば４つ組グループＱ１およびＱ３は、緑カラーフィルタの４つ組グループであってもよい。また、４つ組グループＱ２は赤カラーフィルタの４つ組グループ、４つ組グループＱ４は青カラーフィルタの４つ組グループであってもよい。

さらに任意で、緑、青、および赤カラーフィルタそれぞれの４つ組グループは、緑カラーフィルタの４つ組グループが該カラーフィルタモザイクの直交する軸の両方に沿って１つおきに現われるように配置される。そのような場合、緑、青、および赤カラーフィルタそれぞれの４つ組グループは、該カラーフィルタモザイクの介在配列パターン（interlaid array pattern）を形成するように配置され、該カラーフィルタモザイクの１つの配列位置は任意の色の１つの４つ組グループに対応する。したがって、そのような介在配列パターンでは、緑カラーフィルタの４つ組グループが該カラーフィルタモザイクの直交する軸の両方に沿って１つおきに（すなわち、互い違いの位置に）現われるように配置される。また、そのような４つ組グループのカラーフィルタを備える一例示的カラーフィルタモザイクを、図２と関連付けて説明している。

一実施形態では、該処理部は、該少なくとも１つの撮像センサの動作の制御に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せとして実装される。任意で、該撮像システムの該処理部は、該表示装置の動作を制御するようにも構成される。

取得された実世界環境の少なくとも１つの画像は、表示装置用のコンテキスト画像およびフォーカス画像を作成するために用いられ、作成されたコンテキスト画像およびフォーカス画像は、模擬環境を該表示装置のユーザに提示するために用いられることを理解されたい。

一実装において、該撮像システムは該表示装置上に実装される。そのような場合、該少なくとも１つの撮像センサおよび該処理部は該表示装置に搭載される。また、該少なくとも１つの撮像センサは、該センサが実世界環境と対向するように、例えば該表示装置の外側表面に搭載されてもよい。さらに、そのような場合、該処理部は例えば該表示装置の内側表面に搭載されてもよい。したがって、そのような実装では、該処理部は電線によって（すなわち、有線で）該表示装置と通信可能に接続されてもよい。

別の実装において、該撮像システムは携帯電子デバイス上に実装される。そのような場合、該携帯電子デバイスは該表示装置に着脱可能に取り付けられ、通信可能に接続される。任意で、該携帯電子デバイスは該表示装置に搭載される（すなわち、取り付けられる）。したがって、該撮像システムは、該少なくとも１つの画像を取得し、生成されたコンテキスト画像およびフォーカス画像を無線または有線で該表示装置に伝達するように構成される。

さらに別の実装において、該撮像システムはリモートデバイスに実装される。そのような場合、該少なくとも１つの撮像センサおよび該処理部は該リモートデバイスに搭載され、したがって該表示装置の外側にある。また、そのような実装では、該リモートデバイスは実世界環境内に配置されてもよく、該表示装置のユーザは該リモートデバイスから離れて（すなわち、距離を置いて）配置されてもよい。したがって、そのような実装では、該処理部は無線で（すなわち、無線インタフェースを介して）該表示装置と通信可能に接続されてもよい。任意で、該リモートデバイスはドローンまたはロボットのいずれかである。

視線方向を追跡する手段：

本開示全体において、本明細書で用いる「視線方向を追跡する手段」という用語は、該表示装置のユーザの視線の方向を検出する特別な機器に関する。また、該視線方向を追跡する手段により、ユーザの眼の動きを検出することもできる。そのような場合、該視線方向を追跡する手段により、少なくとも１つの画像を見るときのユーザの視線方向を追跡することができる。視線方向を正確に追跡することで、該表示装置が視線随伴性を忠実に実現できるようにすると有益である。該視線方向を追跡する手段は、「視線方向を検出する手段」、「視線追跡システム」、または「アイトラッカー」と呼ばれる場合もある。また、該視線方向を追跡する手段は、該表示装置を用いる際に、ユーザの眼に接触させて用いても、接触させずに用いてもよい。該視線方向を追跡する手段の例として、モーションセンサ付コンタクトレンズ、眼の瞳の位置をモニタするカメラなどが挙げられる。そのような視線方向を追跡する手段は、当業技術分野において周知である。

一例として、該視線方向を追跡する手段は、該少なくとも１つの画像を見るときのユーザの視線方向を検出するために用いてもよい。そのような視線方向を示す情報により、該撮像システムはコンテキスト画像およびフォーカス画像を生成することができる。任意で、該表示装置は、フォーカス画像をユーザの眼の中心窩およびその周囲に投影しコンテキスト画像をユーザの眼の網膜に投影するように構成される。眼の網膜において、中心窩はほんの小さな部分である。したがって、視線方向が変わっても（すなわち、ユーザの眼が動いても）、該表示装置において能動的な中心窩視を実現するために、フォーカス画像を中心窩およびその周囲に投影し、コンテキスト画像を網膜に投影することができる。

コンテキスト画像およびフォーカス画像：

コンテキスト画像は、該表示装置を介してレンダリングおよび投影される、実世界環境の広角画像に関することを理解されたい。また、フォーカス画像は、該表示装置を介してレンダリングおよび投影される、実世界環境の一部（すなわち、部分）を描写する別の画像に関する。さらに、フォーカス画像の寸法はコンテキスト画像よりも小さい。コンテキスト画像とフォーカス画像とを光学的に組み合わせることで、該コンテキスト画像と該フォーカス画像によって集合的に視覚的シーンが構成される。

任意で、該レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、任意で、該レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。本開示全体において、「角度幅」という用語は、該表示装置を装着したユーザの眼から見た任意の投影の角度幅を指す。フォーカス画像の投影の角度幅は、コンテキスト画像の投影の角度幅より小さいことを理解されたい。これは、レンダリングされたフォーカス画像は通常はユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像はユーザの眼の網膜に投影されるためである。

いくつかの実装では、レンダリングされたコンテキスト画像の投影の角度幅は、例えば、４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、２００、２１０、または２２０度であってもよく、レンダリングされたフォーカス画像の投影の角度幅は、例えば、５、１０、１５、２０、２５、３０、３５、４０、４５、５０、５５、または６０度であってもよい。前述のコンテキスト画像およびフォーカス画像の角度幅により、ユーザの眼の動きに関連するサッカードおよびマイクロサッカードにそれぞれ対処できることを理解されたい。

別の実装では、レンダリングされたコンテキスト画像の投影の角度幅は２２０度より大きい。

コンテキスト画像レンダラおよびフォーカス画像レンダラ：

本開示全体において、本明細書で用いる「コンテキスト画像レンダラ」という用語は、コンテキスト画像のレンダリングを促進するように構成された機器に関する。同様に、本明細書で用いる「フォーカス画像レンダラ」という用語は、フォーカス画像のレンダリングを促進するように構成された機器に関する。

任意で、該少なくとも１つのコンテキスト画像レンダラおよび／または該少なくとも１つのフォーカス画像レンダラは、少なくとも１つのプロジェクタおよびそれに関連付けられた投影スクリーンとして実装される。任意で、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラを実装するために用いられる個別のプロジェクタ間で１つの投影スクリーンを共有してもよい。任意で、該少なくとも１つのプロジェクタは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）ベースプロジェクタ、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースプロジェクタ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースプロジェクタ、ＬＣｏＳ（Liquid Crystal on Silicon）ベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択される。

任意で、該少なくとも１つのコンテキスト画像レンダラおよび／または該少なくとも１つのフォーカス画像レンダラは、少なくとも１つのディスプレイとして実装される。この点において、任意で、該少なくとも１つのコンテキスト画像レンダラは、レンダリングされたコンテキスト画像の投影を放射するように構成された少なくとも１つのコンテキストディスプレイとして実装され、該少なくとも１つのフォーカス画像レンダラは、レンダリングされたフォーカス画像の投影を放射するように構成された少なくとも１つのフォーカスディスプレイとして実装される。そのような場合、本明細書で用いる「コンテキストディスプレイ」という用語は、コンテキスト画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。同様に、本明細書で用いる「フォーカスディスプレイ」という用語は、フォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。任意で、該少なくとも１つのコンテキストディスプレイおよび／または該少なくとも１つのフォーカスディスプレイは、ＬＣＤ、ＬＥＤベースディスプレイ、ＯＬＥＤベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳベースディスプレイからなる群から選択される。

さらに任意で、該少なくとも１つのコンテキストディスプレイの寸法は、該少なくとも１つのフォーカスディスプレイの寸法より大きい。具体的には、該少なくとも１つのフォーカスディスプレイのサイズは、該少なくとも１つのコンテキストディスプレイよりかなり小さくてもよい。したがって、該少なくとも１つのフォーカスディスプレイは該少なくとも１つのコンテキストディスプレイより容易に移動できることを理解されたい。

任意で、レンダリングされたコンテキスト画像およびフォーカス画像それぞれを所望のように投影するために、該少なくとも１つのコンテキスト画像レンダラが固定して設けられ、該少なくとも１つのフォーカス画像レンダラが移動可能にされる。そのような場合、レンダリングされたフォーカス画像の投影の位置を調整するために、該少なくとも１つのフォーカス画像レンダラを移動してもよい。あるいは、任意で、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラの位置が入れ替えられる。そのような場合、該少なくとも１つのコンテキスト画像レンダラを移動可能にし、該少なくとも１つのフォーカス画像レンダラを固定配置する。あるいは、任意で、該少なくとも１つのコンテキスト画像レンダラと該少なくとも１つのフォーカス画像レンダラの両方を移動可能にする。

該処理部は、該表示装置からユーザの視線方向を示す情報を受信するように構成される。そのような情報は、ユーザの視線方向を追跡する手段により取得された後、該表示装置から該処理部へと伝達されることを理解されたい。

また、該処理部は、ユーザの視線方向に基づいて、少なくとも１つの画像の高精度視領域を決定するように構成される。本開示全体において、「高精度視領域」という用語は、該表示装置のユーザが少なくとも１つの画像を見るときに、検出されたユーザの視線方向が向けられている（すなわち、フォーカスしている）該少なくとも１つの画像の領域に関する。換言すると、高精度視領域は、該少なくとも１つの画像内の関心領域（すなわち、凝視点）であり、ユーザの眼の中心窩に投影される。したがって、該高精度視領域は、該少なくとも１つの画像内におけるユーザの視線の焦点領域である。したがって、該高精度視領域は、該少なくとも１つの画像が人間の視覚系（すなわち、ユーザの眼）によって見られるときに、該少なくとも１つの画像の他の領域よりもさらに詳細に解像される領域に関することを理解されたい。そのような高精度視領域の１つを図４と関連付けて説明している。詳細は後述する。

フォーカス画像およびコンテキスト画像の生成：

また、該処理部は、少なくとも１つの画像を処理して、コンテキスト画像およびフォーカス画像を生成するように構成される。該コンテキスト画像は、該少なくとも１つの画像を低解像度で表現したものに相当する。該コンテキスト画像は、該少なくとも１つの画像の該高精度視領域ならびに該少なくとも１つの画像の残りの領域を含む。該フォーカス画像は、該入力画像の該高精度視領域を実質的に描写している。したがって、該コンテキスト画像のサイズは該フォーカス画像のサイズより大きい。該フォーカス画像は、該検出された眼の視線方向がフォーカスしている、該少なくとも１つの画像の一部分（すなわち、該入力画像の該高精度視領域）のみに相当するからである。

第１解像度および第２解像度は、角分解能の観点から理解されることを理解されたい。換言すると、第２解像度を示す角画素密度は、第１解像度を示す角画素密度よりも高い。一例として、ユーザの眼の中心窩は２度の視野に相当し、５７角画素密度で１１４画素に等しい角断面幅のフォーカス画像の投影を受けてもよい。したがって、該フォーカス画像に相当する角画素サイズは、２／１１４すなわち０．０１７である。また、この例では、眼の網膜は１８０度の視野に相当し、１５角画素密度で２７００画素に等しい角断面幅の該コンテキスト画像の投影を受けてもよい。したがって、該コンテキスト画像に相当する角画素サイズは、１８０／２７００すなわち０．０６７である。計算のとおり、コンテキスト画像に相当する角画素サイズは、フォーカス画像に相当する角画素サイズよりかなり大きいことが明らかである。ただし、知覚される角分解能を総画素数で示したものが、フォーカス画像よりコンテキスト画像のほうが大きいのは、フォーカス画像が、該入力画像の高精度視領域に相当するコンテキスト画像の一部分のみに相当するためである。

任意で、該処理部は、フォーカス画像を生成する際に該少なくとも１つの画像を事前定義された形状に切り抜くように構成される。また任意で、該事前定義された形状は、該少なくとも１つの画像の高精度視領域の形状に基づいて決定される。該事前定義された形状の例として、円形、多角形、および楕円形が含まれるが、これらに限定されない。前述の、該少なくとも１つの画像の切抜きにより、該画像のサイズを有益に縮小することができ、これによって、生成されたフォーカス画像を該表示装置に伝達する際に必要な伝送帯域幅を削減できることを理解されたい。一例として、実世界のビーチ環境の画像に対するユーザの視線方向は、そのビーチに置かれた丸いボールに向いていることが検出されてもよい。そのような場合、該画像の高精度視領域は、そのボールを含む円形領域であると決定されてもよい。したがって、そのような場合、該処理部はフォーカス画像を生成する際に、実世界のビーチ環境の画像を事前定義された形状、例えば円形などに切り抜いてもよい。

また任意で、該処理部はコンテキスト画像を生成する際に、該少なくとも１つの撮像センサの複数の光センサのサンプリングおよび読取りを実行するように構成される。さらに任意で、該処理部は、前述のサンプリングおよび読取り動作を実行するために、該少なくとも１つの撮像センサのサンプリングおよび読取り回路を制御するように構成される。そのような場合、該少なくとも１つの撮像センサから完全な解像度の出力データを取得するために、該少なくとも１つの撮像センサの複数の光センサがそれぞれサンプリングおよび読取りされることを理解されたい。任意で、該少なくとも１つの撮像センサからのそのような完全な解像度の出力データは、該少なくとも１つの撮像センサの複数の光センサによって生成される電荷を示す複数の数値を含む。コンテキスト画像の生成を促進するために、そのような完全な解像度の出力データに、該少なくとも１つの撮像センサによって取得されたすべての情報（例えば、波長情報、露光情報など）が保持されていると有益である。

任意で、該処理部はコンテキスト画像を生成する際に、該少なくとも１つの画像をスケーリングするようにさらに構成される。そのような場合、コンテキスト画像を生成する際に、該少なくとも１つの画像は寸法的にスケールアップ（すなわち、拡大）またはスケールダウン（すなわち、縮小）される。一実施形態では、該少なくとも１つの画像は、該少なくとも１つの画像の画素数を変えることなくスケーリングされる。別の実施形態では、該少なくとも１つの画像は、該少なくとも１つの画像の画素数を調整することでスケーリングされる。そのような一実施形態では、該少なくとも１つの画像をスケールアップする際にその画素数が増やされ、該少なくとも１つの画像をスケールダウンする際にその画素数が減らされる。任意で、該少なくとも１つの画像の画素数を調整することは、補間技法を用いることを含む。そのような補間技法は「デモザイク処理」とも呼ばれる。補間技法の例として、最近傍補間法、バイリニア補間法、バイキュービック補間法、ミップマップベースの補間法、フーリエ変換ベースの補間法、およびエッジ方向補間（edge-directed interpolation）が挙げられるが、これらに限定されない。

任意で、該処理部は、フォーカス画像および／またはコンテキスト画像を生成する際に、該少なくとも１つの画像の画素をビニングするように構成される。任意の画像の画素は、該任意の画像を取得するために用いられる該少なくとも１つの撮像センサの複数の光センサに対応することを理解されたい。したがって、実世界環境の該少なくとも１つの画像の画素は、該少なくとも１つの撮像センサの複数の光センサに対応する。この点において、任意で、取得された少なくとも１つの画像の画素数は、該少なくとも１つの撮像センサの複数の光センサの数に相当する。したがって、該少なくとも１つの画像の画素をビニングすることは、該少なくとも１つの撮像センサの複数の光センサの出力データ（すなわち、電荷値）をビニングすることに相当する。該処理部は、該少なくとも１つの撮像センサの複数の光センサによって生成された電荷を４つ１組として結合することで、前述の該少なくとも１つの画像の画素のビニングを実行することを理解されたい。そのような場合、４つ１組の光センサによって生成された電荷が結合されて、各組に対応する単一の結合電荷が生成される。これによって、該少なくとも１つの撮像センサのビニングされた光センサの各組に対応する該結合電荷値がサンプリングおよび読取りされ、該少なくとも１つの撮像センサから、ビニングされた出力データの累積が取得される。そのようなビニングされた出力データの累積は、該少なくとも１つの撮像センサのビニングされた光センサの少なくとも１つの組によって生成された該結合電荷を示す少なくとも１つの数値を含む。この点において、任意で、４つの隣接する光センサによって生成された電荷が結合される。そのような場合、該４つの隣接する光センサは１組のビニングされた光センサを構成し、該組に対応する単一の結合電荷を生成する。一例として、撮像センサＩＳ１は１６の光センサＰ１〜Ｐ１６を含んでもよい。そのような例において、該処理部は、撮像センサＩＳ１の光センサＰ１〜Ｐ１６によって生成された電荷を４つ１組として結合することで、撮像センサＩＳ１によって取得された画像の画素をビニングするように構成されてもよい。例えば、隣接する光センサＰ１〜Ｐ４からの電荷が結合されて結合電荷Ｒ１が生成されてもよく、隣接する光センサＰ５〜Ｐ８からの電荷が結合されて結合電荷Ｒ２が生成されてもよく、隣接する光センサＰ９〜Ｐ１２からの電荷が結合されて結合電荷Ｒ３が生成されてもよく、隣接する光センサＰ１３〜Ｐ１６からの電荷が結合されて結合電荷Ｒ４が生成されてもよい。

また任意で、該少なくとも１つの画像の画素をビニングすることは、４つ組グループの該カラーフィルタモザイクに対応する光センサの出力を結合することを含む。そのような場合、４つ組グループの任意のカラーフィルタが重ねられた４つの光センサの出力（すなわち、電荷値）が結合され、該４つ組グループの任意のカラーフィルタに対応する結合電荷が生成される。１６の光センサＰ１〜Ｐ１６を含む撮像センサＩＳ１について説明した前述の例を参照すると、１６の光センサＰ１〜Ｐ１６にカラーフィルタモザイクＭ２が重ねられてもよい。そのような例において、カラーフィルタモザイクＭ２はカラーフィルタの４つの４つ組グループＧ１〜Ｇ４を含んでもよい。４つ組グループＧ１、Ｇ２、Ｇ３、およびＧ４はそれぞれ緑カラーフィルタ、赤カラーフィルタ、緑カラーフィルタ、および青カラーフィルタの４つ組グループである。そのような例において、４つ組グループＧ１は光センサＰ１〜Ｐ４に重ねられてもよく、４つ組グループＧ２は光センサＰ５〜Ｐ８に重ねられてもよく、４つ組グループＧ３は光センサＰ９〜Ｐ１２に重ねられてもよく、４つ組グループＧ４は光センサＰ１３〜Ｐ１６に重ねられてもよい。したがって、該少なくとも１つの画像の画素をビニングすることは、カラーフィルタモザイクＭ２の４つ組グループＧ１、Ｇ２、Ｇ３、およびＧ４にそれぞれ対応する光センサＰ１〜Ｐ４、Ｐ５〜Ｐ８、Ｐ９〜Ｐ１２、およびＰ１３〜Ｐ１６の出力を結合することを含んでもよい。また、そのような例において、前述のビニングにより、４つ組グループＧ１、Ｇ２、Ｇ３、およびＧ４にそれぞれ対応する結合電荷Ｒ１、Ｒ２、Ｒ３、およびＲ４が生成されてもよい。

前述のビニング動作によって、該少なくとも１つの撮像センサのフレームレートを増加させることができることを理解されたい。また、そのようなビニングによって、生成されるフォーカス画像および／またはコンテキスト画像内のノイズ低減を促進でき、それによってフォーカス画像および／またはコンテキスト画像内の信号対雑音比を改善することができる。

前述のように、該処理部は、生成されたコンテキスト画像および生成されたフォーカス画像を該表示装置に伝達するように構成される。そのような場合、該処理部は、少なくとも１つのデータストリームを該表示装置に伝達する。該少なくとも１つのデータストリームは、生成されたフォーカス画像および生成されたコンテキスト画像を含む。一実装において、該生成されたフォーカス画像およびコンテキスト画像は同じデータストリームで該表示装置に伝達される。そのような実装により、生成されたフォーカス画像およびコンテキスト画像を該表示装置に伝達するために必要な伝送帯域幅を削減できることを理解されたい。このため、該処理部と該表示装置との間の通信ネットワークにおけるデータスループットの制限に対応するために、そのような実装を用いてもよい。また、そのような実装により、該撮像システムの電力消費と、該処理部に必要とされる処理電力を大幅に削減できる。別の実装において、該生成されたフォーカス画像およびコンテキスト画像は別々のデータストリームで該表示装置に伝達される。

任意で、該撮像システムは該少なくとも１つの撮像センサの向きを調整する手段を備え、該表示装置はユーザの頭部の向きを追跡する手段を備え、該処理部は、該表示装置からユーザの頭部の向きを示す情報を受信し、該ユーザの頭部の向きに基づいて、該少なくとも１つの撮像センサの向きを調整する手段を制御するように構成される。そのような場合、該少なくとも１つの撮像センサの向きは、該ユーザの頭部の向きによる視点から、実世界環境の少なくとも１つの画像を取得できるように調整される。該少なくとも１つの撮像センサをそのように調整することにより、ユーザが該表示装置を用いて模擬環境を体験する際に該ユーザの頭部の動きに有益に対応でき、これによって模擬環境内の現実性が高まる。該少なくとも１つの撮像センサの向きのそのような調整を、前述の、該撮像システムがリモートデバイスに実装される実装において用いてもよいことを理解されたい。該ユーザの頭部の向きを追跡する手段の例として、ジャイロスコープ、加速計などが挙げられるが、これらに限定されない。

任意で、該少なくとも１つの撮像センサの向きを調整する手段は少なくとも１つの駆動部を備える。一実施形態では、リモートデバイスは、それに搭載された前述の少なくとも１つの撮像センサの向きを調整する手段によって傾斜および／または回転される。そのような実装は、該リモートデバイスを傾斜および／または回転させるだけで複数の撮像センサすべての向きがまとめて調整されうるため、該リモートデバイスに複数の撮像センサが搭載されている場合に有益でありうることを理解されたい。別の実施形態では、該少なくとも１つの撮像センサが前述の手段によって傾斜および／または回転される。

また任意で、該少なくとも１つの撮像センサは、ユーザの片眼ごとに少なくとも１つのコンテキスト撮像センサと、ユーザの片眼ごとに少なくとも１つのフォーカス撮像センサとを備え、該少なくとも１つの画像は、該少なくとも１つのコンテキスト撮像センサによって取得された少なくとも１つの第１画像と、該少なくとも１つのフォーカス撮像センサによって取得された少なくとも１つの第２画像とを含む。該少なくとも１つのフォーカス撮像センサの視野は、該少なくとも１つのコンテキスト撮像センサの視野より狭い。そのような場合、該少なくとも１つのコンテキスト撮像センサによって取得された少なくとも１つの第１画像を用いて、第１解像度を有するコンテキスト画像が生成され、該少なくとも１つのフォーカス撮像センサによって取得された少なくとも１つの第２画像を用いて、第２解像度を有するフォーカス画像が生成される。該少なくとも１つのフォーカス撮像センサと該少なくとも１つのコンテキスト撮像センサの視野が異なるため、該少なくとも１つの第２画像の角画素密度は該少なくとも１つの第１画像の角画素密度より高いことを理解されたい。また、レンダリングされたフォーカス画像の投影の角度幅はレンダリングされたコンテキスト画像の投影の角度幅より狭いため、該少なくとも１つのフォーカス撮像センサの視野は該少なくとも１つのコンテキスト撮像センサの視野より狭い。

任意で、該少なくとも１つの第２画像は複数の画像を含む。そのような場合、該複数の画像はフォーカス画像の超解像を提供するために用いられる。これは、フォーカス画像は該少なくとも１つの画像の高精度視領域に実質的に相当するためである。フォーカス画像の生成に用いられる該少なくとも１つの第２画像は、該少なくとも１つの画像の高精度視領域を実質的に表現することを理解されたい。

任意で、該処理部は、該少なくとも１つの第２画像を取得する前に、ユーザの視線方向に基づいて、該少なくとも１つのフォーカス撮像センサのビュー方向を動かすように構成される。そのような場合、該少なくとも１つのフォーカス撮像センサは、そのビュー方向を調整するために駆動されてもよい。そのような調整により、該少なくとも１つのフォーカス撮像センサのビュー方向をユーザの視線方向と同じにすることができ、これによって該少なくとも１つのフォーカス撮像センサが、ユーザの視線がフォーカスしている実世界環境内の領域を描写する少なくとも１つの第２画像を取得することができる。そのような領域は、該少なくとも１つの画像の高精度視領域に実質的に相当することを理解されたい。また、該少なくとも１つのフォーカス撮像センサは、光学的、電気的、機械的、またはこれらの組合せによって駆動されてもよい。一例において、該少なくとも１つのフォーカス撮像センサのビュー方向を動かすために、回転ミラーを用いてもよい。別の例において、該少なくとも１つのフォーカス撮像センサのビュー方向を動かすために、光学画像安定化システムを用いてもよい。さらに別の例において、該少なくとも１つのフォーカス撮像センサのビュー方向を動かすために、２つのプリズムを用いてもよい。

加えてまたは代わりに、任意で、該処理部は、少なくとも１つの第２画像の高精度視領域に実質的に相当するように該フォーカス画像を生成するために、該少なくとも１つの第２画像を切り抜くように構成される。前述の、該少なくとも１つの第２画像の切抜きは、ユーザの視線方向に基づくことを理解されたい。

また任意で、該撮像システムは、該少なくとも１つの第２画像の高精度視領域に光学的にズームインするための少なくとも１つの光学素子をさらに備え、該少なくとも１つの第２画像の高精度視領域はユーザの視線方向に基づく。そのような場合、該少なくとも１つの光学素子により、該少なくとも１つの第２画像の高精度視領域の角分解能（すなわち、視野角あたりの画素密度）を上げることができる。また、そのようなズーム動作により、広い視野から該少なくとも１つの第２画像を取得することができ、これによって該少なくとも１つの第２画像の角分解能を人間の視覚系より高くすることができる。該少なくとも１つの第２画像の高精度視領域は、検出されたユーザの眼の視線方向がフォーカスしうる該少なくとも１つの第２画像の領域に関することを理解されたい。一例において、前述の光学的ズーム動作を実行するために、少なくとも１つの非球面レンズが用いられる。別の例において、前述の光学的ズーム動作を実行するために、少なくとも１つの同焦点レンズが用いられる。

任意で、該処理部は、高ダイナミックレンジ技法により少なくとも２つの異なる露光を用いるために、該少なくとも１つのコンテキスト撮像センサを制御するように構成される。該少なくとも２つの異なる露光のうち長いほうの露光は、ユーザの視線方向に基づく該少なくとも１つの第１画像の高精度視領域に対して用いられる。該高ダイナミックレンジ技法により、該少なくとも１つの第１画像が実世界環境の実際のビューを人間の視覚系で見るのと同様に忠実に模倣するように、該少なくとも１つのコンテキスト撮像センサのダイナミックレンジを拡張できることを理解されたい。そのような場合、該少なくとも１つの第１画像の高精度視領域は、該少なくとも２つの異なる露光のうち長いほうの露光によって生成され、これにより該高精度視領域を、該少なくとも１つの第１画像の残りの領域よりも高い解像度で（すなわち、より高い詳細度で）取得できる。ユーザの視線がフォーカスしている該少なくとも１つの第１画像の高精度視領域が実質的に高い詳細度で解像されるように、そのような技法を用いてもよいことを理解されたい。この点において、任意で、該処理部は、高ダイナミックレンジ技法を用いる際に、該少なくとも１つの第１画像の高精度視領域に相当する画素をビニングするように構成される。

該少なくとも１つの第１画像の高精度視領域の解像度は、そのような高精度視領域を生成するためにより長い露光を用いたため実質的に高いことを理解されたい。この点において、任意で、該処理部は、該少なくとも１つの第１画像の高精度視領域を用いて、該少なくとも１つの第２画像の高精度視領域を調整するように構成される。一例において、該少なくとも１つの第２画像の高精度視領域の画素に欠陥（すなわち、ホットピクセル、デッドピクセル、画素焼けなど）がある場合、該処理部は、該少なくとも１つの第１画像の高精度視領域の画素から、該少なくとも１つの第２画像の高精度視領域の画素へと細部を埋め込んで（すなわち、複製して）もよい。

任意で、該処理部は、該少なくとも１つの第１画像の色調を該少なくとも１つの第２画像の色調に対して調整するように構成される。該少なくとも１つの第１画像の色調のそのような調整は、色の一貫性を改善し、これによって該少なくとも１つの第１画像の画質を該少なくとも１つの第２画像に対して向上させるために行われることを理解されたい。該少なくとも１つの第２画像の色調に対する該少なくとも１つの第１画像の色調のそのような調整により、該少なくとも１つの第１画像および該少なくとも１つの第２画像を用いて生成されるコンテキスト画像とフォーカス画像との間の色調の一貫性が改善される。これにより、該生成されたコンテキスト画像およびフォーカス画像を用いて該表示装置のユーザに提示される模擬環境が、極めて現実的に表示される。

また、該撮像システムの処理部は、任意で、該表示装置の処理部として実装されることを理解されたい。別の実装において、該撮像システムと該表示装置は別々の処理部を備える。

表示装置の動作：

任意で、該表示装置は、該レンダリングされたコンテキスト画像の投影と、該レンダリングされたフォーカス画像の投影とを光学的に組み合わせて視覚的シーンを作成するための、少なくとも１つの光コンバイナを備える。本開示全体において、本明細書で用いる「光コンバイナ」という用語は、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを光学的に組み合わせて、レンダリングされた画像を構成するための機器（例えば、光学素子など）に関する。該少なくとも１つの光コンバイナを、人間の視覚系の能動的な中心窩視をシミュレートするように構成すると有益である。

任意で、該表示装置の該処理部は、
（ａ） 該撮像システムから生成されたコンテキスト画像および生成されたフォーカス画像を受信し、
（ｂ） 少なくとも１つの画像の高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされるように、該コンテキスト画像を処理し、
（ｃ） 該少なくとも１つのコンテキスト画像レンダラにおいて該コンテキスト画像を、該少なくとも１つのフォーカス画像レンダラにおいて該フォーカス画像を、実質的に同時にレンダリングし、一方で、該少なくとも１つの光コンバイナを制御して、該レンダリングされたフォーカス画像の投影が、該レンダリングされたコンテキスト画像のマスクされた領域の投影に実質的に重なるように、該レンダリングされたコンテキスト画像の投影と該レンダリングされたフォーカス画像の投影とを組み合わせる
ように構成される。

（フォーカス画像の）第２解像度は（コンテキスト画像の）第１解像度よりも高いことを理解されたい。これは、レンダリングされたフォーカス画像は通常は該表示装置によってユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像は該表示装置によってユーザの眼の網膜に投影されるためである。フォーカス画像およびコンテキスト画像のそのような解像度により、該表示装置のユーザが視覚的シーンを見る際に人間の視覚系の特徴をエミュレートすることが可能になる。

また任意で、該少なくとも１つの画像の高精度視領域が、低解像度の該レンダリングされたコンテキスト画像と、高解像度の該レンダリングされたフォーカス画像の両方の中で表現される。さらに、高解像度の該レンダリングされたフォーカス画像は、低解像度の該レンダリングされたコンテキスト画像より、該少なくとも１つの画像の高精度視領域に関する情報をより多く含む場合がある。したがって、該フォーカス画像の投影が該レンダリングされたコンテキスト画像の投影と光学的に組み合わされるとき、該少なくとも１つの画像の高精度視領域の光学的歪みを防ぐために、該表示装置の該処理部は任意で、該少なくとも１つの画像の高精度視領域に実質的に相当する該コンテキスト画像の領域をマスクすることを理解されたい。一例として、該少なくとも１つの画像の高精度視領域に相当する該コンテキスト画像の画素を暗く（すなわち、濃く）してマスクしてもよい。

さらに任意で、該表示装置の該処理部は、該少なくとも１つの画像の高精度視領域と、該少なくとも１つの画像の残りの領域との間の遷移領域の継ぎ目（すなわち縁部）が小さくなる（例えば最小化される）ように、該少なくとも１つの画像の高精度視領域に相当する該コンテキスト画像の領域をマスクするように構成される。そのような場合、重畳されたコンテキスト画像とフォーカス画像との間の遷移領域の継ぎ目を小さく（例えば最小化）して、表示された視覚的シーンが連続的に表示されるように、マスクを徐々に段階的に変化するように実行することできる。例えば、該表示装置の該処理部は、該少なくとも１つの画像の高精度視領域に相当する該コンテキスト画像の画素を大幅に暗くし、該少なくとも１つの画像の高精度視領域からの距離が増すにつれて、画素の暗さの程度を徐々に減じてもよい。さらに、マスクは、遷移領域において、コンテキスト画像とフォーカス画像との間で逆の値を有する線形の透明マスクブレンド、ユーザの眼に自然に感知されにくい形状を含むステルス（またはカムフラージュ）パターンなどを用いて実行することができる。

コンテキスト画像およびフォーカス画像を実質的に同時にレンダリングするのは、それらの投影の組合せにおける時間の遅延を防ぐためであることを理解されたい。

任意で、該表示装置の該処理部は、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラのうち、少なくとも１つに対して画像処理機能を実行するように構成される。そのような場合、該画像処理機能は、コンテキスト画像のレンダリングの前に該少なくとも１つのコンテキスト画像レンダラを介して、およびフォーカス画像のレンダリングの前に該少なくとも１つのフォーカス画像レンダラを介して、実行される。そのような画像処理機能を実行することで、レンダリングされたコンテキスト画像およびフォーカス画像の品質を最適化できるようにすると有益である。また、該画像処理機能は、該少なくとも１つのコンテキスト画像レンダラ、該少なくとも１つのフォーカス画像レンダラ、該ヘッドマウント表示装置を介して表示される該少なくとも１つの画像のうち、少なくとも１つのものの性質を考慮して選択される。

任意で、該少なくとも１つのコンテキスト画像レンダラに対する画像処理機能は、知覚されるコンテキスト画像品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、低域フィルタリング、色処理、ガンマ補正、および、レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚される歪みを最小化するためのエッジ処理からなる群から選択される。

さらに任意で、該少なくとも１つのフォーカス画像レンダラに対する画像処理機能は、知覚されるフォーカス画像品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、画像の切抜き、画像鮮鋭化、色処理、ガンマ補正、および、レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚される歪みを低減、例えば最小化、するためのエッジ処理からなる群から選択される。

光コンバイナ：

任意で、該少なくとも１つの光コンバイナは、レンダリングされたコンテキスト画像の投影を実質的に通過させ、レンダリングされたフォーカス画像の投影を実質的に反射するか、または、レンダリングされたフォーカス画像の投影を実質的に通過させ、レンダリングされたコンテキスト画像の投影を実質的に反射するか、のいずれかのように配置された少なくとも１つの第１光学素子を含む。該少なくとも１つの第１光学素子は、レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の光路を結合するように配置される。該少なくとも１つの第１光学素子をそのように配置することにより、レンダリングされたフォーカス画像を眼の中心窩およびその周囲に投影し、レンダリングされたコンテキスト画像を眼の網膜に投影することが容易になると有益である。眼の網膜において、中心窩はほんの小さな部分である。

任意で、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子は、ハーフミラー、半透明膜、プリズム、偏光子、および光導波路のうち少なくとも１つとして実装される。一例として、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子は、光導波路として実装してもよい。そのような場合、該光導波路は、レンダリングされたフォーカス画像の投影を反射することで、ユーザの眼の視野へと導くように配置してもよい。また、該光導波路は、コンテキスト画像がそれを通して可視であるように、透明であってもよい。したがって、該光導波路は半透明であってもよい。あるいは、該光導波路は、レンダリングされたコンテキスト画像の投影を反射することで、ユーザの眼の視野へと導くように配置してもよい。また、該光導波路は、フォーカス画像がそれを通して可視であるように、透明であってもよい。任意で、該光導波路は光学素子（例えば、マイクロプリズム、ミラー、回折光学素子など）を内部にさらに備える。任意で、該光導波路は傾斜可能および／または移動可能である。

任意で、該少なくとも１つの光コンバイナは、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子に対して、該少なくとも１つのフォーカス画像レンダラを移動させるための少なくとも１つの第１駆動部を備え、該表示装置の該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。そのような場合、該少なくとも１つの第１駆動部は、眼の視線方向がある方向から別の方向にシフトするときに、該少なくとも１つのフォーカス画像レンダラを移動させるために用いられる。眼の視線方向のそのようなシフトにおいて、該少なくとも１つの光コンバイナおよび該少なくとも１つのフォーカス画像レンダラの配置によっては、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されなくなることがある。したがって、視線方向がシフトしても該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されるように、該表示装置の該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの第１光学素子に対して該少なくとも１つのフォーカス画像レンダラを移動させて、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第１駆動部を制御するように構成される。

一例において、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカス画像レンダラを該少なくとも１つの第１光学素子に近づけたり遠ざけたりするように移動させてもよい。別の例において、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカス画像レンダラを該少なくとも１つの第１光学素子に対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカス画像レンダラを該少なくとも１つの第１光学素子に対して傾斜および／または回転させてもよい。

さらに任意で、該少なくとも１つの光コンバイナは、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカス画像レンダラとの間の光路上に位置する少なくとも１つの第２光学素子と、該少なくとも１つの第１光学素子に対して該少なくとも１つの第２光学素子を移動させるための少なくとも１つの第２駆動部とを備える。任意で、該少なくとも１つの第２光学素子は、レンズ、プリズム、ミラー、およびビームスプリッタからなる群から選択される。また、そのような場合、該表示装置の該処理部は、該少なくとも１つの第２駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。したがって、該第２光学素子を駆動することで該レンダリングされたフォーカス画像の投影の光路が変更され、それによって、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影される。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第２駆動部を制御するように構成される。

例えば、該少なくとも１つの第２光学素子は、ハーフミラー（すなわち、該少なくとも１つの第２光学素子）と該少なくとも１つのフォーカス画像レンダラとの間の光路上に配置された２つのプリズムとして実装されてもよい。そのような例において、該ハーフミラー上の該レンダリングされたフォーカス画像の投影の場所を調整するために、該レンダリングされたフォーカス画像の投影の光路が、該２つのプリズムを通過した後に変わるようにしてもよい。また、該２つのプリズムは、該少なくとも１つの第２駆動部により、横断的および／または横方向に移動、回転、傾斜などされてもよい。

任意で、該少なくとも１つの光コンバイナは、該少なくとも１つの第１光学素子を移動させるための少なくとも１つの第３駆動部を備え、該表示装置の該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。そのような場合、視線方向がシフトしても、該レンダリングされたフォーカス画像を眼の中心窩およびその周囲に容易に投影するために、該少なくとも１つの第３駆動部を用いて該少なくとも１つの第１光学素子を移動させる。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第３駆動部を制御するように構成される。

一例において、該少なくとも１つの第３駆動部は、該少なくとも１つの第１光学素子を該少なくとも１つのフォーカス画像レンダラに近づけたり遠ざけたりするように移動させてもよい。別の例において、該少なくとも１つの第３駆動部は、該少なくとも１つの第１光学素子を該少なくとも１つのフォーカス画像レンダラに対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの第１光学素子を傾斜および／または回転させてもよい。

焦点レンズ：

また任意で、該表示装置は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカス画像レンダラとの間の光路上に位置する少なくとも１つの焦点レンズと、該少なくとも１つのフォーカス画像レンダラに対して該少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部とを備える。そのような場合、該表示装置の該処理部は、該少なくとも１つの第４駆動部を制御して、該レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。さらに任意で、該少なくとも１つの焦点レンズは、その特定の性質を利用して、該レンダリングされたフォーカス画像の投影の光路を変更することで、その投影の焦点を調整する。視度調整、非点収差補正などに対応するために、該レンダリングされたフォーカス画像の投影の焦点を調整できると有益である。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第４駆動部を制御するように構成される。

任意で、該表示装置の該処理部は、該少なくとも１つの焦点レンズに制御信号を適用することで、該少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される。該少なくとも１つの有効な光学特性の例として、焦点距離、光パワーなどが含まれるが、それらに限らない。また、該制御信号は電気信号、油圧などでありうる。

任意で、該少なくとも１つの焦点レンズは液晶（Liquid Crystal：ＬＣ）レンズである。

任意で、該少なくとも１つの焦点レンズは、該少なくとも１つの第１光学素子と該少なくとも１つのコンテキスト画像レンダラとの間の光路上に配置される。

任意で、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラの物理サイズ（または寸法）は、本明細書に上述した該表示装置の動作を制限するものではない。任意で、該レンダリングされたコンテキスト画像および／またはフォーカス画像それぞれが所望のサイズ、所望の光路および／または所望の光学的深さで投影されるように、該コンテキスト画像および該フォーカス画像それぞれの投影の光路のレンズ（例えば、拡大レンズ、コリメートレンズなど）と共に物理的にサイズの小さいコンテキスト画像レンダラおよびフォーカス画像レンダラを用いてもよい。一例として、該少なくとも１つのフォーカス画像レンダラと該少なくとも１つの第１光学素子との間の該レンダリングされたフォーカス画像の投影の光路上にレンズ（例えば、凸レンズ）を配置してもよい。別の例として、該レンダリングされたフォーカス画像の投影をコリメートできるように、該フォーカス画像レンダラと該少なくとも１つの第１光学素子との間の、該レンダリングされたフォーカス画像の投影の光路上にコリメートレンズを配置してもよい。

本開示による該撮像システムは、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラを備えた前述の表示装置を備える実装に限定されないことを理解されたい。該撮像システムは、他のタイプの表示装置（例えば、１つの画像レンダラのみを備える表示装置など）を備えて実装することができる。

本開示は、前述の方法にも関する。前述の様々な実施形態およびその変形は、該方法にも同様に当てはまる。任意で、該撮像システムは、該少なくとも１つの撮像センサの向きを調整する手段を備えてもよく、該方法は、
・ 該表示装置から、ユーザの頭部の向きを示す情報を受信することと、
・ 該ユーザの頭部の向きに基づいて、該少なくとも１つの撮像センサの向きを調整する手段を制御することと、をさらに含む。

また任意で、該方法は、フォーカス画像および／またはコンテキスト画像を生成する際に、該少なくとも１つの画像の画素をビニングすることを含む。

任意で、該少なくとも１つの撮像センサは、ユーザの片眼ごとに少なくとも１つのコンテキスト撮像センサと、ユーザの片眼ごとに少なくとも１つのフォーカス撮像センサとを備え、該少なくとも１つの画像は、該少なくとも１つのコンテキスト撮像センサによって取得された少なくとも１つの第１画像と、該少なくとも１つのフォーカス撮像センサによって取得された少なくとも１つの第２画像とを含む。該少なくとも１つのフォーカス撮像センサの視野は、該少なくとも１つのコンテキスト撮像センサの視野より狭い。該方法は、該少なくとも１つの第２画像を取得する前に、ユーザの視線方向に基づいて、該少なくとも１つのフォーカス撮像センサのビュー方向を動かすことをさらに含む。

任意で、該方法は、該少なくとも１つの第２画像の高精度視領域に光学的にズームインするために該撮像システムの少なくとも１つの光学素子を用いることをさらに含む。該少なくとも１つの第２画像の高精度視領域はユーザの視線方向に基づく。

任意で、該方法は、高ダイナミックレンジ技法により少なくとも２つの異なる露光を用いるために、該少なくとも１つのコンテキスト撮像センサを制御することをさらに含む。該少なくとも２つの異なる露光のうち長いほうの露光は、ユーザの視線方向に基づく該少なくとも１つの第１画像の高精度視領域に対して用いられる。

図面の詳細説明

図１を参照すると、本開示の一実施形態による撮像システム１０２および表示装置１０４のアーキテクチャのブロック図が示されている。撮像システム１０２は、撮像センサ１０６および１０８として図示される、ユーザの片眼ごとに少なくとも１つの撮像センサと、少なくとも１つの撮像センサ１０６および１０８に接続された処理部１１０とを備える。処理部１１０は、実世界環境の少なくとも１つの画像を取得するために、少なくとも１つの撮像センサ１０６および１０８を制御するように構成される。一例として、撮像センサ１０６はユーザの左眼に関連付けられ、撮像センサ１０８はユーザの右眼に関連付けられてもよい。また、図１に示すように、処理部１１０は表示装置１０４と通信可能に接続されるように配置されている。表示装置１０４は、ユーザの視線方向を追跡する手段１１２と、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラ１１４と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラ１１６とを備えて示されている。処理部１１０は、表示装置１０４からユーザの視線方向を示す情報を受信し、ユーザの視線方向に基づいて少なくとも１つの画像の高精度視領域を決定し、コンテキスト画像およびフォーカス画像を生成するために少なくとも１つの画像を処理し、生成されたコンテキスト画像および生成されたフォーカス画像を表示装置１０４に伝達するように構成される。

図２を参照すると、本開示の一実施形態による撮像センサ２００（例えば、図１の撮像センサ１０６など）の模式図が示されている。任意で、撮像センサ２００は、グリッド状に配置された複数の光センサ（図示せず）を備える。また任意で、撮像センサ２００の複数の光センサに、カラーフィルタモザイク２０２が重ねられる。さらに任意で、カラーフィルタモザイク２０２は複数のカラーフィルタ２０４を含み、１つのカラーフィルタは撮像センサ２００の１つの光センサに重ねられる。この点において、任意で、複数のカラーフィルタ２０４は２：１：１の割合で緑カラーフィルタ、青カラーフィルタ、および赤カラーフィルタを含む。また任意で、カラーフィルタモザイク２０２の緑、青、および赤カラーフィルタはそれぞれ、４つ組のグループとして（すなわち、２×２のサブモザイクグループとして）配置される。図２に示す例示的な撮像センサ２００では、４×４グリッドの光センサに重畳されたカラーフィルタモザイク２０２は、「Ｇ」として図示される８つの緑カラーフィルタと、「Ｂ」として図示される４つの青カラーフィルタと、「Ｒ」として図示される４つの赤カラーフィルタとを含む。図示のとおり、緑、青、および赤カラーフィルタは４つ組のグループＧ１、Ｇ２、Ｇ３、およびＧ４として配置されている。一例において、ユーザの片眼ごとに少なくとも１つのコンテキスト撮像センサは、図２の撮像センサ２００として実装されてもよい。

図３を参照すると、図２に示した撮像センサ２００の例示的なサンプリングおよび読取り回路３００の模式図が示されている。図３に示すサンプリングおよび読取り回路３００を用いて、カラーフィルタモザイク２０２の緑カラーフィルタの４つ組グループＧ１に対応する光センサの出力を結合することで、撮像センサ２００によって取得された少なくとも１つの画像の画素をビニングする。４つ組グループＧ２、Ｇ３、およびＧ４に対応する光センサの出力を結合するために、同様のサンプリングおよび読取り回路を用いてもよいことを理解されたい。サンプリングおよび読取り回路３００は、相関データサンプリング（Correlated Data Sampling：ＣＤＳ）技法を用いて前述のビニング動作を実行する。図示のとおり、サンプリングおよび読取り回路３００は、４つ組グループＧ１の結合された出力を、第１基準値および第２基準値とそれぞれ比較する２つの比較器３０２および３０４と、２つのハイブリッドカウンタ／ラッチ３０６および３０８と、平均化回路３１０とを備える。

図３は、明確さのために撮像センサ２００のサンプリングおよび読取り回路３００を簡略化したものであり、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。

図４を参照すると、本開示の一実施形態による表示装置（例えば、図１の表示装置１０４など）を介して提示されるコンテキスト画像４０２およびフォーカス画像４０４の例示的な図が示されている。コンテキスト画像４０２は、少なくとも１つのコンテキスト画像レンダラ（例えば、図１の少なくとも１つのコンテキスト画像レンダラ１１４など）によってレンダリングされ、フォーカス画像４０４は、少なくとも１つのフォーカス画像レンダラ（例えば、図１の少なくとも１つのフォーカス画像レンダラ１１６など）によってレンダリングされる。図示のとおり、コンテキスト画像４０２の角度寸法（すなわち、角度幅）はフォーカス画像４０４の角度寸法よりも大きい。また、フォーカス画像４０４は、表示装置のユーザの視線方向がフォーカスされる少なくとも１つの画像の高精度視領域４０６に実質的に相当する。

図５Ａおよび図５Ｂを参照すると、本開示の一実施形態による表示装置（例えば、図１の表示装置１０４など）の、ユーザの眼５０２に対する例示的な動作が示されている。図示のとおり、眼５０２の視線方向は実質的にユーザの前側、例えばユーザの正面に向いている。また、視線５０４は眼５０２の視線方向を示している。

図５Ａおよび図５Ｂには、少なくとも１つのコンテキスト画像レンダラ５０６と、少なくとも１つのフォーカス画像レンダラ５０８も示されている。また、表示装置は、少なくとも１つの光コンバイナ５１０を任意で備えて示されている。この点において、任意で、少なくとも１つの光コンバイナ５１０は少なくとも１つの第１光学素子５１０Ａと少なくとも１つの第１駆動部５１０Ｂとを備える。動作時は、少なくとも１つのコンテキスト画像レンダラ５０６はコンテキスト画像を眼５０２に投影し、少なくとも１つのフォーカス画像レンダラ５０８はフォーカス画像を少なくとも１つの第１光学素子５１０Ａに投影する。少なくとも１つの第１光学素子５１０Ａは、レンダリングされたコンテキスト画像の投影を実質的に通過させ、レンダリングされたフォーカス画像の投影を眼４０２に向けて実質的に反射するように配置されている。少なくとも１つの光コンバイナ５１０は、フォーカス画像の投影がコンテキスト画像のマスクされた領域５１２の投影と実質的に重なるように、コンテキスト画像の投影とフォーカス画像の投影を光学的に組み合わせるように配置されることを理解されたい。図示のとおり、マスクされた領域５１２は、少なくとも１つのコンテキスト画像レンダラ５０６の一部であり、この部分は、フォーカス画像の投影とコンテキスト画像の投影との間の歪みを防ぐために、コンテキスト画像の眼５０２への投影中に任意で暗くされる。

また、少なくとも１つの第１駆動部５１０Ｂは、少なくとも１つの第１光学素子５１０Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するように動作可能である。表示装置の処理部（図示せず）は、少なくとも１つの光コンバイナ５１０の少なくとも１つの第１光学素子５１０Ａに対して、少なくとも１つのフォーカス画像レンダラ５０８を移動させるように、少なくとも１つの第１駆動部５１０Ｂを制御するように構成される。

次に、図５Ｂには、図５Ａと比較して横方向にシフトされた眼５０２の視線方向が示されている。図示のとおり、視線方向のシフトを相殺するために、少なくとも１つのフォーカス画像レンダラ５０８は少なくとも１つの第１駆動部５１０Ｂによって少なくとも１つの第１光学素子５１０Ａに対して横方向に移動され、眼５０２の中心窩へのフォーカス画像の投影を継続する。したがって、少なくとも１つのコンテキスト画像レンダラ５０６上のマスクされた領域５１２も、そのような視線方向のシフトに対応して移動される。

図６Ａから図６Ｉを参照すると、本開示の様々な実施形態による表示装置６００の例示的な実装が示されている。図６Ａから図６Ｉは、単に明確さのために表示装置６００の実装の配置を簡略化したものであり、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。

図６Ａを参照すると、本開示の一実施形態による表示装置６００の例示的実装が示されている。表示装置６００は、コンテキスト画像レンダラ６０２として図示される少なくとも１つのコンテキスト画像レンダラと、表示装置のフォーカス画像レンダラ６０４として図示される少なくとも１つのフォーカス画像レンダラとを備えて示されている。表示装置６００は、光コンバイナ６０６として図示される少なくとも１つの光コンバイナを任意で備えて示されている。動作時は、表示装置の処理部（図示せず）は、コンテキスト画像を少なくともコンテキスト画像レンダラ６０２にレンダリングし、フォーカス画像をフォーカス画像レンダラ６０４にレンダリングするように構成されている。光コンバイナ６０６は、前述のとおりレンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを光学的に組み合わせて視覚的シーンを作成するように動作可能である。また、コンテキスト画像およびフォーカス画像それぞれの投影の光路上にレンズ６０８が配置されている。

図６Ａから６Ｈを参照すると、光コンバイナ６０６は任意で少なくとも１つの第１光学素子６０６Ａ（ハーフミラーとして図示）を備える。

図６Ｂを参照すると、光コンバイナ６０６は、第１光学素子６０６Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するために、フォーカス画像レンダラ６０４を第１光学素子６０６Ａに対して移動させるための少なくとも１つの第１駆動部６０６Ｂを任意で備えている。

図６Ｃおよび図６Ｄを参照すると、光コンバイナ６０６は、少なくとも１つの第２光学素子（図６Ｃで素子６０６Ｃ、図６Ｄで素子６０６Ｄとして図示）を任意で備え、少なくとも１つの第２駆動部（図示せず）は、少なくとも１つの第２光学素子を第１光学素子６０６Ａに対して動かすように制御可能である。図６Ｃにおいて、少なくとも１つの第２光学素子６０６Ｃは２つのプリズム６１０および６１２として実装されている。図６Ｄにおいて、少なくとも１つの第２光学素子６０６Ｄはミラー６１４として実装されている。

図６Ｅを参照すると、少なくとも１つの第３駆動部（図示せず）は、第１光学素子６０６Ａを動かすように制御可能である。一例として、少なくとも１つの第３駆動部は、少なくとも１つの軸回りに第１光学素子６０６Ａを回転させる。

図６Ｆを参照すると、表示装置は任意で、第１光学素子６０６Ａとフォーカス画像レンダラ６０４との間の光路上に配置される少なくとも１つの焦点レンズ（焦点レンズ６１６として図示）と、焦点レンズ６１６をフォーカス画像レンダラ６０４に対して移動させるための少なくとも１つの第４駆動部６１８とを備える。表示装置の処理部は、少なくとも１つの第４駆動部６１８を制御して、レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。

また任意で、表示装置は、コンテキスト画像レンダラ６０２と第１光学素子６０６Ａとの間の光路上に配置されている追加のレンズ６２０を備える。そのような実装では、焦点レンズ６１６とレンズ６２０とによって形成されたレンズサブシステムを用いて、レンダリングされたフォーカス画像および／またはコンテキスト画像の投影の光路および／または焦点を調整することができるため、レンダリングされたフォーカス画像の投影を調整するためにフォーカス画像レンダラ６０４を移動させる必要はない。

図６Ｇおよび図６Ｈを参照すると、フォーカス画像レンダラ６０４は任意で、少なくとも１つのプロジェクタ（プロジェクタ６２２として図示）および少なくとも１つの投影スクリーン（投影スクリーン６２４として図示）として実装されている。図６Ｇでは、任意で、プリズム６２６が少なくとも１つのプロジェクタ６２２と少なくとも１つの投影スクリーン６２４との間の光路に配置されている。図６Ｈでは、任意で、回転可能ミラー６２８がプロジェクタ６２２と投影スクリーン６２４との間の光路に配置されている。

図６Ｇのプリズム６２６と図６Ｈの回転可能ミラー６２８により、少なくとも１つの投影スクリーン６２４上のフォーカス画像の投影の場所を調整できることを理解されたい。

図６Ｉを参照すると、少なくとも１つの第１光学素子は光導波路６０６Ｅとして実装されている。また、図示のとおり、光導波路６０６Ｅは光学素子６３０（例えば、マイクロプリズム、ミラー、回折光学素子など）を備える。

図７を参照すると、撮像システムを介して表示装置用のコンテキスト画像およびフォーカス画像を作成する方法７００のステップが示されている。ステップ７０２において、ユーザの視線方向を示す情報が表示装置から受信される。ステップ７０４において、実世界環境の少なくとも１つの画像を取得するために、少なくとも１つの撮像センサが制御される。ステップ７０６において、ユーザの視線方向に基づいて、少なくとも１つの画像の高精度視領域が決定される。ステップ７０８において、コンテキスト画像およびフォーカス画像を生成するために、少なくとも１つの画像が処理される。コンテキスト画像は第１解像度を有し、フォーカス画像は第２解像度を有する。該第２解像度は該第１解像度より高い。また、少なくとも１つの画像の処理には、該少なくとも１つの画像の高精度視領域に実質的に相当するようにフォーカス画像を生成するために、該少なくとも１つの画像を切り抜くことが含まれる。ステップ７１０において、生成されたコンテキスト画像および生成されたフォーカス画像が表示装置に伝達される。

ステップ７０２から７１０は単なる例示であり、本明細書の請求の範囲から逸脱することなく、１つ以上のステップを追加したり、１つ以上のステップを省略したり、１つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。

添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本開示の実施形態への修正が可能である。本開示の記述と特許請求の範囲で用いられる「含む」、「備える」、「包含する」、「有する」、「存在する」などの表現は、明示的に記載されていないアイテムや部品、構成要素も含まれうる包括的構成であると解釈されることを意図している。単数による表記は、複数の場合も関連すると解釈される。

Claims (15)

1. ・ ユーザの片眼ごとに少なくとも１つの撮像センサと、
   ・ 前記少なくとも１つの撮像センサに接続され、実世界環境の少なくとも１つの画像を取得するために、前記少なくとも１つの撮像センサを制御するように構成される処理部と、
   を備える撮像システムであって、
   前記処理部は表示装置と通信可能に接続されるように配置され、前記表示装置は、ユーザの視線方向を追跡する手段と、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、
   を備え、
   前記処理部は、
   ・ 前記表示装置から、ユーザの視線方向を示す情報を受信し、
   ・ 前記ユーザの視線方向に基づいて、前記少なくとも１つの画像の高精度視領域を決定し、
   ・ 第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために、前記少なくとも１つの画像を処理し、
   ・ 前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達する
   ように構成され、
   前記処理部は、前記少なくとも１つの画像を処理する際に、前記少なくとも１つの画像の前記高精度視領域に実質的に相当するように前記フォーカス画像を生成するために、前記少なくとも１つの画像を切り抜くように構成される、
   撮像システム。
2. 前記少なくとも１つの撮像センサの向きを調整する手段をさらに備え、
   前記表示装置は、ユーザの頭部の向きを追跡する手段を備え、
   前記処理部は、
   ・ 前記表示装置から、ユーザの頭部の向きを示す情報を受信し、
   ・ 前記ユーザの頭部の向きに基づいて、前記少なくとも１つの撮像センサの向きを調整する手段を制御する
   ように構成される、請求項１に記載の撮像システム。
3. 前記処理部は、前記フォーカス画像を生成する際に前記少なくとも１つの画像を事前定義された形状に切り抜くように構成される、請求項１または２に記載の撮像システム。
4. 前記処理部は、前記フォーカス画像および／または前記コンテキスト画像を生成する際に、前記少なくとも１つの画像の画素をビニングするように構成される、請求項１から３のいずれかに記載の撮像システム。
5. 前記少なくとも１つの撮像センサは、ユーザの片眼ごとに少なくとも１つのコンテキスト撮像センサと、ユーザの片眼ごとに少なくとも１つのフォーカス撮像センサとを備え、前記少なくとも１つの画像は、前記少なくとも１つのコンテキスト撮像センサによって取得された少なくとも１つの第１画像と、前記少なくとも１つのフォーカス撮像センサによって取得された少なくとも１つの第２画像とを含み、前記少なくとも１つのフォーカス撮像センサの視野は、前記少なくとも１つのコンテキスト撮像センサの視野より狭い、請求項１から４のいずれかに記載の撮像システム。
6. 前記処理部は、前記少なくとも１つの第２画像を取得する前に、前記ユーザの視線方向に基づいて、前記少なくとも１つのフォーカス撮像センサのビュー方向を動かすように構成される、請求項５に記載の撮像システム。
7. 前記撮像システムは、前記少なくとも１つの第２画像の高精度視領域に光学的にズームインするための少なくとも１つの光学素子をさらに備え、前記少なくとも１つの第２画像の前記高精度視領域は前記ユーザの視線方向に基づく、請求項５または６に記載の撮像システム。
8. 前記処理部は、高ダイナミックレンジ技法により少なくとも２つの異なる露光を用いるために、前記少なくとも１つのコンテキスト撮像センサを制御するように構成され、前記少なくとも２つの異なる露光のうち長いほうの露光は、前記ユーザの視線方向に基づく前記少なくとも１つの第１画像の前記高精度視領域に対して用いられる、請求項５から７のいずれかに記載の撮像システム。
9. 前記処理部は、前記少なくとも１つの第１画像の色調を前記少なくとも１つの第２画像の色調に対して調整するように構成される、請求項５から８のいずれかに記載の撮像システム。
10. ユーザの片眼ごとに少なくとも１つの撮像センサを備え、表示装置と通信可能に接続された撮像システムを介して、前記表示装置用のコンテキスト画像およびフォーカス画像を作成する方法であって、前記方法は、
    ・ 前記表示装置から、ユーザの視線方向を示す情報を受信することと、
    ・ 実世界環境の少なくとも１つの画像を取得するために、前記少なくとも１つの撮像センサを制御することと、
    ・ 前記ユーザの視線方向に基づいて、前記少なくとも１つの画像の高精度視領域を決定することと、
    ・ 第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために、前記少なくとも１つの画像を処理することと、
    ・ 前記生成されたコンテキスト画像および前記生成されたフォーカス画像を前記表示装置に伝達することと
    を含み、
    前記少なくとも１つの画像を処理することは、前記少なくとも１つの画像の前記高精度視領域に実質的に相当するように前記フォーカス画像を生成するために、前記少なくとも１つの画像を切り抜くことを含む、方法。
11. 前記撮像システムは、前記少なくとも１つの撮像センサの向きを調整する手段をさらに備え、前記方法は、
    ・ 前記表示装置から、ユーザの頭部の向きを示す情報を受信することと、
    ・ 前記ユーザの頭部の向きに基づいて、前記少なくとも１つの撮像センサの向きを調整する手段を制御することと
    をさらに含む、請求項１０に記載の方法。
12. 前記フォーカス画像および／または前記コンテキスト画像を生成する際に、前記少なくとも１つの画像の画素をビニングすることをさらに含む、請求項１０または１１に記載の方法。
13. 前記少なくとも１つの撮像センサは、ユーザの片眼ごとに少なくとも１つのコンテキスト撮像センサと、ユーザの片眼ごとに少なくとも１つのフォーカス撮像センサとを備え、前記少なくとも１つの画像は、前記少なくとも１つのコンテキスト撮像センサによって取得された少なくとも１つの第１画像と、前記少なくとも１つのフォーカス撮像センサによって取得された少なくとも１つの第２画像とを含み、前記少なくとも１つのフォーカス撮像センサの視野は、前記少なくとも１つのコンテキスト撮像センサの視野より狭く、前記方法は、前記少なくとも１つの第２画像を取得する前に、前記ユーザの視線方向に基づいて、前記少なくとも１つのフォーカス撮像センサのビュー方向を動かすことをさらに含む、請求項１０から１２のいずれかに記載の方法。
14. 前記少なくとも１つの第２画像の高精度視領域に光学的にズームインするために前記撮像システムの少なくとも１つの光学素子を用いることをさらに含み、前記少なくとも１つの第２画像の前記高精度視領域は前記ユーザの視線方向に基づく、請求項１３に記載の方法。
15. 高ダイナミックレンジ技法により少なくとも２つの異なる露光を用いるために、前記少なくとも１つのコンテキスト撮像センサを制御することをさらに含み、前記少なくとも２つの異なる露光のうち長いほうの露光は、前記ユーザの視線方向に基づく前記少なくとも１つの第１画像の前記高精度視領域に対して用いられる、請求項１３または１４に記載の方法。

Images