JP2022504010A

JP2022504010A - 構造化光源および飛行時間カメラ付き深度測定アセンブリ

Info

Publication number: JP2022504010A
Application number: JP2021506930A
Authority: JP
Inventors: マイケルホール，
Original assignee: Facebook Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2018-09-14
Filing date: 2018-12-13
Publication date: 2022-01-13
Anticipated expiration: 2038-12-13
Also published as: CN113016177A; US20210383560A1; CN113016177B; WO2020055443A1; EP3850835A1; US11132805B2; JP7254903B2; EP3850835A4; US20200090355A1; US11625845B2; US20210082134A1; US10916023B2

Abstract

深度測定アセンブリ（ＤＭＡ）が、光（たとえば、構造化光）のパルスを時間パルシング周波数でローカルエリア中に投射する照明源を含む。ＤＭＡは、ローカルエリアから反射された光のパルスの画像をキャプチャし、キャプチャされた画像のうちの１つまたは複数を使って、光のパルスについての１つまたは複数のＴＯＦ位相シフトを判断するセンサーを含む。ＤＭＡは、センサーに結合されたコントローラを含み、コントローラは、１つまたは複数のＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断するように構成される。コントローラは、構造化光の符号化およびキャプチャされた画像のうちの少なくとも１つに基づいて、オブジェクトまでの第２の推定半径方向距離を判断する。コントローラは、半径方向距離の第１のセットから、推定半径方向距離を選択する。
【選択図】図４

Description

本開示は概して、ローカルエリアの深度を判断するためのシステムに関し、より詳細には、構造化光源を用いてローカルエリアの深度情報を取得する人工現実システムのためのヘッドセットに関する。

任意の環境中でオブジェクトの場所を突き止めることは、人工現実デバイスから自律デバイスにわたる、いくつかの異なるコンテキストにおいて有用であり得る。任意の環境の３次元マッピングを判断するためのいくつかの技法が存在する。いくつかは、深度情報を判断するのに飛行時間（ＴＯＦ）算出に依拠し、他のものは、構造化光パターンを使い得る。ただし、これらの技法は両方とも、いくつかの欠点を有する。構造化光に基づく深度カメラは、センサーピクセル密度を十分に活用することができず、最大範囲はベースラインによって制限され、計算コストは概して、高い方である。ＴＯＦベースの深度カメラは、マルチパス誤差を被り、かつ、単一の露出ウィンドウ中に複数のパルス状光周波数を必要とする。

構造化光ベースのＴＯＦ深度測定アセンブリ（ＤＭＡ）について本明細書に記載するが、これは、ＴＯＦ算出を用いる、構造化光の空間符号化を活用する。ＤＭＡは、任意の環境中で深度情報を判断するために、頭部搭載型ディスプレイ（ＨＭＤ）に組み込まれてよい。人工現実システムでは、ＤＭＡによって判断された深度情報に基づいて、仮想コンテンツが、ユーザの環境の上に重ねられ得る。

ＤＭＡは、光のパルス（たとえば、強度パターンも空間的に構造化される）を、複数の時間パルシング周波数でローカルエリア中に投射するように構成される照明源を含む。ＤＭＡは、ローカルエリアから反射された光のパルスの画像をキャプチャし、キャプチャされた画像のうちの１つまたは複数を使って、光のパルスについての１つまたは複数のＴＯＦ位相シフトを判断するように構成されたセンサーを含む。ＤＭＡは、センサーに結合されたコントローラを含み、コントローラは、１つまたは複数のＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断するように構成される。コントローラは、構造化光の符号化およびキャプチャされた画像のうちの少なくとも１つに基づいて、オブジェクトまでの第２の推定半径方向距離を判断する。コントローラは、第２の推定半径方向距離に部分的に基づいて、半径方向距離の第１のセットから、推定半径方向距離を選択する。

本発明による実施形態が、深度測定アセンブリ（ＤＭＡ）を対象とする添付の請求項に具体的に開示され、請求項では、ある請求項カテゴリにおいて言及される任意の特徴、たとえばＤＭＡが、別の請求項カテゴリ、たとえば頭部搭載型ディスプレイ（ＨＭＤ）、システム、記憶媒体、コンピュータプログラム製品、および方法においても主張される場合がある。添付の請求項への依存または後方参照は、形式的理由のみで選ばれる。ただし、どの先行する請求項への意図的な後方参照から生じるどの主題（具体的には、多重依存）も同様に主張される場合があり、そうすることによって、請求項とそれらの特徴のどの組合せも開示され、添付の請求項において選ばれた依存にかかわらず主張され得る。主張され得る主題は、添付の請求項に述べられる特徴の組合せのみではなく、請求項における特徴のどの他の組合せも含み、請求項において言及される各特徴は、請求項におけるどの他の特徴または他の特徴の組合せと組み合わされてもよい。さらに、本明細書に記載され、または示される実施形態および特徴のうちのいずれも、別個の請求項において、および／または本明細書に記載され、もしくは示される、どの実施形態もしくは特徴との、または添付の請求項の特徴のいずれとのどの組合せでも主張される場合がある。

ある実施形態では、深度測定アセンブリ（ＤＭＡ）は、
照明源であって、照明源は、光のパルスを、時間パルシング周波数でローカルエリア中に投射するように構成される、照明源と、
センサーであって、
ローカルエリアから反射された光のパルスの画像をキャプチャすることと、
キャプチャされた画像のうちの１つまたは複数を使って、光のパルスについての１つまたは複数の飛行時間（ＴＯＦ）位相シフトを判断することとを行うように構成されたセンサーと、
センサーに結合されたコントローラであって、
１つまたは複数のＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断することと、
構造化光の符号化およびキャプチャされた画像のうちの少なくとも１つに基づいて、オブジェクトまでの第２の推定半径方向距離を判断することと、
第２の推定半径方向距離に部分的に基づいて、半径方向距離の第１のセットから、推定半径方向距離を選択することとを行うように構成されたコントローラとを備え得る。

ある実施形態では、深度測定アセンブリ（ＤＭＡ）は、
照明源であって、照明源は、光のパルスを、１つまたは複数の時間パルシング周波数でローカルエリア中に投射するように構成される、照明源と、
センサーであって、
ローカルエリアから反射された光のパルスの画像をキャプチャすることと、
キャプチャされた画像のうちの１つまたは複数を使って、光のパルスについての１つまたは複数の飛行時間（ＴＯＦ）位相シフトを判断することとを行うように構成されたセンサーと、
センサーに結合されたコントローラおよび／または人工現実デバイスであって、
１つまたは複数のＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断することと、
構造化光の符号化およびキャプチャされた画像のうちの少なくとも１つに基づいて、オブジェクトまでの第２の推定半径方向距離を判断することと、
第２の推定半径方向距離に部分的に基づいて、半径方向距離の第１のセットから、推定半径方向距離を選択することとを行うように構成された、コントローラおよび／または人工現実デバイスとを備え得る。

照明源は、構造化光のパルスを、第１の時間において第１の時間パルシング周波数で、および第１の時間に続く第２の時間において第２の時間パルシング周波数で投射するように構成され得る。

センサーは、第１の時間パルシング周波数および第２の時間パルシング周波数の各々について、
パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウを使って第１の未加工データをキャプチャすることと、
パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に第２の未加工データをキャプチャすることと、
パルス状照明に対して第１のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に第３の未加工データをキャプチャすることとを行うように構成され得る。

第１の時間パルシング周波数における第１の未加工データは、第２の未加工データをキャプチャするのに先立って読み出すことができ、第１の時間パルシング周波数での第２の未加工データは、第１の時間パルシング周波数での第３の未加工データをキャプチャするのに先立って読み出すことができる。

センサーは複数の拡張ピクセルを備えることができ、各拡張ピクセルは３つの電荷貯蔵領域を含むことができ、第１の時間パルシング周波数で、第１の電荷貯蔵領域は、パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第１の未加工キャプチャに関連する電荷を収集することができ、電荷貯蔵領域の第２のセットは、パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、第１の未加工キャプチャに関連する電荷を収集することができ、電荷貯蔵領域の第３のセットは、パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、第１の未加工キャプチャに関連する電荷を収集することができる。

第２の時間パルシング周波数において、第１の電荷貯蔵領域は、パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第２の未加工キャプチャに関連する電荷を収集することができ、電荷貯蔵領域の第２のセットは、パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、第２の未加工キャプチャに関連する電荷を収集することができ、電荷貯蔵領域の第３のセットは、パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、第２の未加工キャプチャに関連する電荷を収集することができる。

第１の時間パルシング周波数での第１の未加工キャプチャは、第２の時間パルシング周波数での第２の未加工キャプチャに先立って読み出すことができる。

投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなってよく、ドットパターン中の各ドットは、フラッド照明の輝度よりも明るい輝度を有する。

投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなってよく、ドットパターン中の各ドットは、フラッド照明の輝度値未満の輝度値を有する。

照明源とセンサーとの間の距離は、５０ｍｍ以下であってよい。

コントローラおよび／または人工現実デバイスは、半径方向距離の第１のセットからの選択された推定半径方向距離に基づいて、ローカルエリアの深度マップを取得するように構成され得る。

ある実施形態では、特に上述した実施形態のいずれかによる深度測定アセンブリ（ＤＭＡ）は、
照明源であって、照明源は、光のパルスを、１つまたは複数の時間パルシング周波数でローカルエリア中に投射するように構成される、照明源と、
センサーであって、
ローカルエリアから反射された光のパルスの画像をキャプチャすることと、
キャプチャされた画像のうちの１つまたは複数を使って、光のパルスについての１つまたは複数の飛行時間（ＴＯＦ）位相シフトを判断することとを行うように構成されたセンサーと、
センサーに結合された人工現実デバイスであって、
１つまたは複数のＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断することと、
構造化光の符号化およびキャプチャされた画像のうちの少なくとも１つに基づいて、オブジェクトまでの第２の推定半径方向距離を判断することと、
第２の推定半径方向距離に部分的に基づいて、半径方向距離の第１のセットから、推定半径方向距離を選択することとを行うように構成された、人工現実デバイスとを備え得る。

人工現実デバイスは、半径方向距離の第１のセットからの選択された推定半径方向距離に基づいて、ローカルエリアの深度マップを取得するように構成され得る。

人工現実デバイスは頭部搭載型ディスプレイ（ＨＭＤ）であってよく、ＤＭＡはＨＭＤの一部であってよく、ＨＭＤは、
ローカルエリアの深度マップに部分的に基づいて仮想オブジェクトを表示するように構成された電子ディスプレイ要素と、
電子ディスプレイ要素からＨＭＤの射出瞳に光を向けるように構成された光学ブロックとを備え得る。

本発明のさらに別の実施形態では、１つまたは複数のコンピュータ可読非一時的記憶媒体が、実行されると、本発明または上述した実施形態のいずれかによるＤＭＡまたはシステムにおいて実施するように動作可能なソフトウェアを具現化する。

本発明のさらに別の実施形態では、コンピュータ実装方法は、本発明または上述した実施形態のいずれかによるＤＭＡまたはシステムを使う。

本発明のさらに別の実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品が、本発明または上述した実施形態のいずれかによるＤＭＡまたはシステムにおいて使われる。

１つまたは複数の実施形態によるＨＭＤの図である。１つまたは複数の実施形態による、ＨＭＤの前部剛体の断面図である。１つまたは複数の実施形態による、従来の構造化光ＤＭＡの動作の図である。１つまたは複数の実施形態による、構造化ＴＯＦ深度センサーの動作の図である。１つまたは複数の実施形態による、構造化ＴＯＦ深度センサーの位相マップの一部分を示す図である。１つまたは複数の実施形態による、３つのキャプチャウィンドウをもつ構造化ＴＯＦ深度センサーのためのピクセルタイミング図である。１つまたは複数の実施形態による、拡張ピクセルをもつ構造化ＴＯＦ深度センサーのためのピクセルタイミング図である。１つまたは複数の実施形態による、図６Ａおよび６Ｂのフォトダイオードセンサーを使用する構造化ＴＯＦ深度センサーの動作に関するタイミング図である。１つまたは複数の実施形態による、オブジェクトまでの半径方向距離を判断するための方法のフローチャートである。１つまたは複数の実施形態による、人工現実コンテンツを提供するためのシステム環境のブロック図である。

頭部搭載型ディスプレイ（ＨＭＤ）を通してユーザに人工現実コンテンツを提供することは、任意の環境においてユーザの位置を突き止め、任意の環境内で周囲の３次元マッピングを判断することにしばしば依拠する。任意の環境内でのユーザの周囲は次いで、仮想環境中で表されてよく、またはユーザの周囲に、追加コンテンツが重ねられてよい。

従来のＨＭＤは、ユーザの環境内でのユーザの周囲を判断するための１つまたは複数の量的深度カメラを含む。通常、従来の深度カメラは、環境内でのＨＭＤのロケーションを判断するのに、構造化光または飛行時間（ＴＯＦ）を使う。構造化光深度カメラは、ＨＭＤを囲む環境中に既知のパターンを投射するのに、アクティブ照明源を使う。構造化光は、光のパターン（たとえば、ドット、ライン、フリンジなど）を使う。パターンは、環境のいくつかの部分が照明され（たとえば、ドットで照明される）、他の部分（たとえば、パターン中のドットの間の空間）が照明されないようなものである。構造化光で照明される環境の画像は、深度情報を判断するのに使われる。ただし、構造化光パターンにより、投射されたパターンの結果画像の重大な部分が照明されないようになる。これは、結果画像をキャプチャするセンサーのピクセル解像度を非効率に使い、たとえば、構造化光深度カメラによるパターンの投射の結果、一度の深度測定を実施するために複数のセンサーピクセルが照明されることを必要としながら、センサーピクセルの１０％未満が、投射されたパターンから光を収集することになる。さらに、システムがＳＮＲによって制限されない場合であっても、範囲は、カメラと照明との間のベースライン距離によって制限される。さらに、構造化光から高品質深度を得るために、計算複雑性が大きくなり得る。

ＴＯＦ深度カメラは、光が、深度カメラを囲む環境中に投射され、センサーアレイ上のピクセルに戻る往復移動時間を測定する。均一な照明パターンが環境中に投射されたとき、ＴＯＦ深度カメラは、各センサーピクセルにより別々に、環境中の異なるオブジェクトの深度を測定することが可能である。ただし、センサーピクセルに入射する光は、深度カメラを囲む環境中の複数の光路から受光された光の組合せであり得る。センサーのピクセルに入射する光の光路を決定するための既存の技法は、計算が複雑であり、環境中の光路の間を完全に曖昧性除去するわけではない。さらに、ＴＯＦ深度カメラはしばしば、複数の照明パルシング周波数にわたる複数の画像キャプチャを必要とする。短い露出時間にわたって妥当な信号対雑音比性能を維持するのは、しばしば困難であり、これにより、総キャプチャ時間を削減するためのセンサーの能力が制限される場合がある。

構造化光ベースのＴＯＦ深度測定アセンブリ（ＤＭＡ）について本明細書に記載するが、これは、ＴＯＦ算出を用いる、構造化光の空間符号化を活用する。ＤＭＡは、構造化光または構造化光と均一なフラッド照明の組合せをローカルエリア中に放出する。カメラアセンブリが、ＴＯＦ位相シフトに関連する電荷を蓄積し、カメラアセンブリと信号通信しているコントローラが、ＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトのいくつかの推定半径方向距離を判断する。空間光符号化を使って、コントローラは、推定半径方向距離のうちの１つを選択し、三角測量算出と組み合わせて、オブジェクトの深度情報を判断する。ＤＭＡはしたがって、カメラセンサーの効率の向上を可能にし、というのは、均一なフラッド光とともに構造化光が検出され得るからである。ＤＭＡは、従来のＴＯＦ深度カメラの信号対雑音比性能も向上し、というのは、同じ露出時間に対して、より少ない画像キャプチャ（および関連する読出し時間）が必要とされるからである。追加の向上について、以下でさらに詳しく記載する。ＤＭＡは、任意の環境中で深度情報を判断するために、頭部搭載型ディスプレイ（ＨＭＤ）に組み込まれてよい。人工現実システムでは、ＤＭＡによって判断された深度情報に基づいて、仮想コンテンツが、ユーザの環境の上に重ねられ得る。

本開示の実施形態は、人工現実システムを含むか、または人工現実システムとともに実装され得る。人工現実とは、ユーザへの提示の前に何らかのやり方で調節されている現実感の形であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、またはそれらの何らかの組合せおよび／もしくは派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツまたはキャプチャされた（たとえば、実世界）コンテンツと組み合わされた、生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含んでよく、それらのいずれもが、単一のチャネル中または複数のチャネル中で提示されてよい（視聴者への３次元効果を生み出すステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実においてコンテンツを作成するのに使われる、かつ／またはそうでなければ人工現実において使われる（たとえば、人工現実において活動を実施する）、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステム、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステムに接続された頭部搭載型ディスプレイ（ＨＭＤ）を含む様々なプラットフォーム、または１人もしくは複数の視聴者に人工現実コンテンツを提供することが可能な、どの他のハードウェアプラットフォーム上でも実装され得る。

図１は、１つまたは複数の実施形態によるＨＭＤ１００の図である。ＨＭＤ１００は、前部剛体１２０およびバンド１３０を含む。いくつかの実施形態では、ＨＭＤ１００のいくつかの部分は、透明であるか、または前部剛体１２０の側面のいずれかにおけるＨＭＤ１００の側面など、部分的に透明であってよい。図１に示すＨＭＤ１００は、図２～９とともに以下でさらに説明する、カメラアセンブリ１８０および照明源１７０を含む深度測定アセンブリ（完全には図示せず）の実施形態も含む。前部剛体１２０は、電子ディスプレイ（図示せず）の１つまたは複数の電子ディスプレイ要素を含む。前部剛体１２０は、任意選択で、慣性測定ユニット（ＩＭＵ）１４０、１つまたは複数の位置センサー１５０、および基準点１６０を含む。

図２は、１つまたは複数の実施形態による、図１のＨＭＤ１００の前部剛体１２０の断面図２００である。図２に示すように、前部剛体１２０は、アイボックス２４０に画像光を共同で提供する電子ディスプレイ２２０および光学ブロック２３０を含む。アイボックス２４０は、ユーザの眼２５０によって占められる、空間中の領域である。いくつかの実施形態では、前部剛体１２０は、アイボックス２４０中の眼２５０の位置（すなわち、視線）を追跡するためのアイトラッカー（図示せず）と、深度測定アセンブリ（ＤＭＡ）２１０および電子ディスプレイ２２０に結合されたコントローラ２１６とをさらに含む。説明のために、図２は、単一の眼２５０に関連する断面図２００を示すが、光学ブロック２３０とは別個の別の光学ブロック（図示せず）が、変化した画像光を、ユーザの別の眼に提供する。

図２によって示される実施形態では、ＨＭＤ１００は、照明源１７０（別名、構造化光源）と、カメラアセンブリ１８０と、コントローラ２１６とを備えるＤＭＡ２１０を含む。例示した実施形態では、ＤＭＡ２１０は、ＨＭＤ１００の一部であることに留意されたい。代替実施形態では、ＤＭＡ２１０は、ニアアイディスプレイ、何らかの他のＨＭＤ、または深度判断のための何らかのデバイスの一部であってよい。ＤＭＡ２１０は、図４を参照してさらに詳しく記載する構造化ＴＯＦ深度センサー４００など、構造化光ベースのＴＯＦ深度センサーとして機能する。

様々な実施形態において、照明源１７０は、ドットパターン、方形波パターン、正弦曲線パターン、何らかの他の符号化された構造化光パターン、またはそれらの何らかの組合せなど、どの構造化光パターンであってもよい、符号化された周期的パターンをもつ構造化光を放出する。いくつかの実施形態では、照明源１７０は、（たとえば、三角測量が同一の期間によって混乱されないように）非周期的パターンで符号化されている構造化光を放出し、たとえば、擬似ランダムドットパターンが、擬似ランダムとなるように設計される。いくつかの実施形態では、照明源１７０は、異なる位相シフトを各々が有する一連の正弦曲線を、ＨＭＤ１００を囲む環境中に放出する。様々な実施形態において、照明源１７０は、正弦曲線的干渉パターンを生成するように構成された音響光学変調器を含む。ただし、他の実施形態では、照明源１７０は、音響光学デバイス、電気光学デバイス、物理光学、光学干渉、回折光学デバイス、または周期的照明パターンを生成するように構成された任意の他の適切な構成要素のうちの１つまたは複数を含む。

様々な実施形態において、照明源１７０は、構造化光と均一なフラッド照明の両方をローカルエリア２６０中に放出する。たとえば、投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなってよく、ここでドットパターン中の各ドットは、フラッド照明の輝度値よりも大きい輝度値を有する。いくつかの実施形態では、照明源１７０は、構造光を放出する光源と、均一なフラッド照明を放出する第２の光源とを含み得る。構造化光に均一なフラッド照明を加えると、追加光が構造化光線の間のどの空隙も拡張するので、カメラアセンブリ１８０のセンサーピクセル使用の効率が向上する。

他の実施形態では、逆ドットパターンが投射されてよく、そうすることによって、様々なロケーションに位置決めされた「暗いドット」をもつエリア中に、滑らかに変わる照明が投射される。本実施形態では、ドットとは、少なくとも、ドットの間の空間よりも弱い閾量である輝度値を有する、投射中のロケーションである。いくつかの実施形態では、ドットは、光を放出しないことによって表され、隣接ドットの間の空間は、少なくともある程度のレベルの照明を使って表される。たとえば、投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなってよく、ここでドットパターン中の各ドットは、フラッド照明の輝度値未満である輝度値を有する。このシナリオでは、構造化光検出は、照明が欠けている領域を識別することができ、ＴＯＦ測定は、照明が投射されるエリアについての半径方向深度を測定することになる。構造化光検出は、隣接ＴＯＦ測定値を曖昧性除去するための補間点として使われ得る。したがって、逆ドットパターンは、センサーピクセル使用を増やすのを助けることができる。

様々な実施形態において、照明源１７０は、パルスレート周波数で光を放出する。複数のパルスレート周波数の光が、一度の深度測定のためにローカルエリア２６０中に放出されてよい。したがって、単一のキャプチャウィンドウ中に、照明源１７０は、異なるパルスレート周波数の光を放出し得る。これについては、図５～８を参照してさらに詳細に説明する。

カメラアセンブリ１８０は、ローカルエリア２６０の画像をキャプチャする。カメラアセンブリは、照明源１７０から放出された光に敏感な１つまたは複数のカメラを含む。カメラアセンブリ１８０中の１つまたは複数のカメラのうちの少なくとも１つが、構造化光を検出するために、および図４を参照してさらに詳しく記載する構造化ＴＯＦ深度センサー４００などの構造化ＴＯＦ深度センサー中で使われる。いくつかの実施形態では、１つまたは複数のカメラは、他の帯域中の光（たとえば、可視光）にも敏感であり得る。キャプチャされた画像は、図３～９とともに以下でさらに説明するように、ローカルエリア２６０内の様々なロケーションのＨＭＤ１００に相対した深度を算出するのに使われる。前部剛体１２０は、光が前部剛体１２０を通る際にそれに沿って伝搬する経路に対応する光学軸も有する。いくつかの実施形態では、カメラアセンブリ１８０は、光学軸に沿って位置決めされ、カメラアセンブリ１８０の視界内の前部剛体１２０を囲む環境の部分である、ローカルエリア２６０の画像をキャプチャする。ローカルエリア２６０内のオブジェクトは、入射環境光ならびに照明源１７０によって投射された光を反射し、この光は続いて、カメラアセンブリ１８０によってキャプチャされる。

カメラアセンブリ１８０は、複数のピクセルを備えるセンサーを使って、ローカルエリア２６０上に投射された周期的照明パターンの画像をキャプチャする。センサーは、図４を参照してさらに詳しく記載するセンサー４０４であってよい。カメラアセンブリ１８０のセンサーは、ピクセルの２次元配列からなり得る。各ピクセルは、ローカルエリア２６０から、照明源１７０によって放出された光の強度をキャプチャする。したがって、カメラアセンブリ１８０のセンサーは、照明源１７０によって放出され、ローカルエリア２６０から反射された構造化光、または構造化光と均一なフラッド照明および／もしくはローカルエリア２６０から反射された環境光との組合せを検出することができる。いくつかの実施形態では、ピクセルは、異なる位相の位相シフトと、光パルス周波数とを検出する。いくつかの実施形態では、センサーのピクセルは、異なる位相および光パルス周波数を、連続するキャプチャウィンドウ中で検出する。いくつかの実施形態では、カメラアセンブリ１８０のセンサーのピクセルは、複数のピクセル上電荷貯蔵領域（ビンとも呼ばれる）を有するとともに、単一のキャプチャウィンドウ中に異なる位相の電荷を収集する拡張ピクセルである。これらの実施形態については、図６Ａ～７に関してさらに詳しく記載する。

コントローラ２１６は、カメラアセンブリ１８０によってキャプチャされた情報（たとえば、画像）を使って深度情報を判断する。コントローラ２１６は、ローカルエリア２６０中のオブジェクトの深度を推定する。コントローラ２１６は、カメラアセンブリ１８０のセンサーから電荷情報を受信する。カメラアセンブリ１８０のセンサーは、異なる位相の光に関連する電荷を蓄積する。カメラアセンブリ１８０のセンサーは、コントローラ２１６に電荷情報を伝える。コントローラ２１６は、カメラアセンブリ１８０によって検出された構造化光の位相シフトに基づいて、半径方向深度情報を推定する。構造化光符号化は次いで、ＴＯＦ算出からの推定深度の間を曖昧性除去するのに使われる。このプロセスについては、図３～９を参照してさらに詳細に説明する。コントローラ２１６については、図９を参照してさらに詳しく記載する。

電子ディスプレイ２２０は、図９を参照してさらに詳しく記載するコンソール９１０などのコンソール（図２には示さず）から受信されたデータに従って、ユーザに対して画像を表示するように構成され得る。電子ディスプレイ２２０は、定義された時間期間中、複数の画像を放出し得る。様々な実施形態において、電子ディスプレイ２２０は、単一の電子ディスプレイまたは複数の電子ディスプレイ（たとえば、ユーザの各眼用のディスプレイ）を備え得る。電子ディスプレイの例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、何らかの他のディスプレイ、プロジェクタ、またはそれらの何らかの組合せを含む。

光学ブロック２３０は、電子ディスプレイ２２０から受光された画像光を拡大し、画像光に関連する光学収差を修正し、修正された画像光が、ＨＭＤ１００のユーザに提示される。光学ブロック２３０の少なくとも１つの光学要素は、アパーチャ、フレネルレンズ、屈折レンズ、反射面、回折要素、導波管、フィルタ、または電子ディスプレイ２２０から放出された画像光に影響するどの他の適切な光学要素であってもよい。その上、光学ブロック２３０は、異なる光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック２３０中の光学要素のうちの１つまたは複数は、反射防止膜、２色性塗膜などのような、１つまたは複数の被膜を有し得る。光学ブロック２３０による画像光の拡大は、電子ディスプレイ２２０の要素を、より大きいディスプレイよりも物理的に小さく、重くなくし、少ない電力を消費させる。さらに、拡大により、表示される媒体の視野が増大し得る。たとえば、表示される媒体の視野は、表示される媒体が、視野のほとんどすべて（たとえば、１１０度対角線）を、およびいくつかのケースでは、すべてを使って提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加するか、または取り除くことによって調節することができる。

図３は、１つまたは複数の実施形態による、従来の構造化光ベースの深度判断デバイス３００の動作の図である。従来の構造化光ベースの深度判断デバイスでは、構造化光源３０２が、構造化光を環境中に放出する。構造化光は、符号化された構造化パターンを有し、パルス周波数でパルス状にされ得る。構造化光は、環境中に投射され、環境中の表面またはどの３次元オブジェクトにも反射して、センサー３０４の方へ戻り得る。環境中のどの表面または３次元オブジェクトも、構造化光源３０２からの出力パターンを歪める。三角測量算出を使って、センサー３０４から情報を受信するコントローラ（図示せず）は、歪められたパターンを、放出されたパターンと比較して、センサー３０４からの、環境中のオブジェクトの距離Ｒ３１６を判断することができる。

三角測量算出は、以下の関係に依拠する。

上式で、Ｒは、センサー３０４からのオブジェクトの距離Ｒ３１６であり、Ｂは、構造化光源３０２からセンサー３０４までのベースライン３０６距離であり、θは、投射された光とベースライン３０６との間のθ３１４という角度であり、αは、オブジェクトからの反射された光とセンサー表面３０４との間のα３１２という角度である。ベースライン距離３０６Ｂおよび放出された光角度θ３１４は、固定され、構造化光ベースの深度判断デバイスの構造および符号化された構造化光によって定義される。α３１２を判断するために、コントローラは、ピクセル強度の２次元画像を既知の構造化パターンと比較して、構造化光源３０２からの発生パターンを識別する。従来の構造化光ベースの深度判断デバイスでは、このプロセスは、構造化光符号化の全範囲にわたる完全エピポーラ（ｆｕｌｌｅｐｉｐｏｌａｒ）コード検索３０８を伴うはずである。α３１２の値を判断したことに続いて、コントローラは、関係（１）を使って三角測量算出を実践する。

環境中のオブジェクトのロケーションを判断する、この従来の方法には、いくつかの欠点がある。完全エピポーラコード検索３０８は、より長い計算時間を必要とする場合があり、したがって、構造化光源３０２からの出力光と、コントローラが、環境中のオブジェクトの存在およびロケーションを登録することとの間の時間が増大する。この遅延は、従来の構造光ベースの深度判断デバイスが人工現実システムにおいて使われる例において顕著であり得るが、それは、オブジェクトのロケーションの判断は、ユーザに対して仮想コンテンツを表示する際のステップであり得るので、表示画像における視覚遅延につながるからである。さらに、従来の構造化光ベースの深度判断デバイスは、構造化光源３０２からセンサー３０４までのベースライン３０６距離によって定義される範囲限界３１０を有する。構造化光源３０２からセンサー３０４までの間のベースライン３０６の距離が長いほど、従来の構造化光ベースの深度判断デバイスの深度範囲が大きくなる。従来の構造化光ベースの深度判断デバイスが、形状因子が重要である別のデバイスに組み込まれているケースでは、これは、十分に大きい範囲を達成するために、デバイスの範囲限界またはデバイス上でのサイズ制約につながり得る。さらに、構造化光は、照明なしのエリアによって囲まれた光のパターン化コンスタレーションを含む。これは、画像のかなりの部分が非照明になることにつながり、このことが、いくつかのケースでは、センサー３０４がピクセルベースのセンサーである場合、センサー中のピクセルの不十分な利用につながり得る（たとえば、センサーアレイの１０％未満が、アクティブ構造化光源３０２から光を集める）。

図４は、１つまたは複数の実施形態による、構造化ＴＯＦ深度センサー４００の図である。構造化ＴＯＦ深度センサー４００は、ＤＭＡ２１０の実施形態であってよい。構造化ＴＯＦ深度センサー４００中では、ＴＯＦ算出を構造化光符号化とともに両方を活用するために、照明源４０２が、ＴＯＦセンサー４０４と組み合わされる。照明源４０２は照明源１７０であってよく、ＴＯＦセンサー４０４は、カメラアセンブリ１８０の一部であってよい。構造化ＴＯＦ深度センサー４００はコントローラ４１２も含み、コントローラ４１２は、図２を参照してさらに詳しく記載したＤＭＡ２１０のコントローラ２１６であってよい。構造化光符号化とＴＯＦ算出の組合せにより、検知範囲の深度を犠牲にすることなく、ベースライン３０６と比較して、ベースライン４０６の削減を可能にする。構造化ＴＯＦ深度センサー４００は、コード検索に関連する計算も削減し、これは、ＴＯＦ算出が、完全エピポーラコード検索３０８をＴＯＦ限定エピポーラ検索４０８に限定するからである。これについては、以下でさらに詳細に説明する。

いくつかの実施形態では、照明源４０２は、ローカルエリア２６０などの環境中に構造化光を放出する。照明源４０２は、１つまたは複数のパルス周波数レート（別名、パルシング周波数）で構造化光を放出し得る。いくつかの例では、照明源４０２は、異なる時間パルシング周波数レートで、構造化光を連続して放出する。これについては、図５～９を参照してさらに詳細に説明する。いくつかの実施形態では、照明源４０２は、対称もしくは擬似ランダムドットパターン、グリッド、水平バー、周期的構造、または任意の他のパターンなど、どの構造化光パターンも放出する。構造化光は、環境中に投射され、表面または環境中のどの３次元オブジェクトにも反射し得る。反射された構造化光は次いで、オブジェクトから、センサー４０４の方へ戻るように向けられる。いくつかの実施形態では、照明源４０２または本明細書に記載する任意の他の光源が、一斉に、および均一なフラッド照明に加え、構造化光を放出する。したがって、照明源４０２は、構造化光と均一なフラッド照明の両方を放出し得る。他の実施形態では、照明源４０２または本明細書に記載する任意の他の光源が、構造化光を放出することができ、第２の光源が、均一なフラッド照明を放出する。

センサー４０４は、高速フォトダイオードアレイ、または２次元のピクセル配列をもつ任意の他のＴＯＦセンサーであってもよい。センサー４０４は、カメラアセンブリ１８０中に位置するセンサーの１つであってよい。コントローラ４１２は、センサー４０４によって提供された情報から、光が、照明源４０２から環境中のオブジェクトまで、およびセンサー４０４面まで戻るように移動するのにかかった時間を判断する。この時間は、反射された光の異なる位相に関連するピクセルにおける電荷を蓄積することによって判断され得る。ピクセル情報はコントローラ４１２に伝えられ、コントローラは次いで、ＴＯＦ位相シフト算出を実施して、ローカルエリア中のオブジェクトの推定半径方向深度を生成する。いくつかの例では、センサー４０４は、異なる露出ウィンドウ中に、照明源４０２の異なる出力パルス周波数に対して、位相シフトの異なるセットを測定することができる。これについては、図５～９を参照してさらに詳細に説明する。従来の構造化光ベースの深度判断デバイスにおけるセンサー３０４とは異なり、センサー４０４はしたがって、三角測量測定値を計算するための電荷を蓄積するよりもむしろ、照明源４０２からの構造化光の複数の位相シフトを測定する。

図４を参照すると、コントローラ４１２は、照明源４０２に、２つの異なるパルシング周波数（たとえば、４０ＭＨｚおよび１００ＭＨｚ）でパルス状構造化光を放出させる。センサー４０４が、反射されたパルスをキャプチャし、コントローラは、キャプチャされたデータおよびＴＯＦ深度判断技法を使って、可能距離のセットを判断する。

センサー４０４によって検出された複数の位相シフトから生じた照明源４０２のＴＯＦ測定値は、完全には曖昧性除去することができない。たとえば、単一の時間パルシング周波数を使って、コントローラ４１２のＴＯＦ測定値は、ＴＯＦ算出における２πの曖昧性から各々が得られるいくつかの深度推定値を生じ得る。したがって、ＴＯＦ測定値は、各々がＴＯＦ算出に対する可能解であるとともに２πの因子だけ互いから分離される複数の位相シフト推定値をもたらし得る。複数の位相シフト推定値の各々は、オブジェクトの異なる深度測定値をもたらす。このことは、位相推定値４１０ａ、位相推定値４１０ｂおよび位相推定値４１０ｃ（まとめて４１０）として、図４に示されている。推定値４１０は、環境中の検出されたオブジェクトの可能半径方向深度の個別領域を定義する。

ＴＯＦ算出から生じた深度推定値の間を区別するために、コントローラ４１２は、センサー４０４によってキャプチャされた画像のうちの少なくとも１つの中の構造化光からの深度情報を使う。したがって、コントローラ４１２は、センサー４０４によって生じた画像を、照明源４０２パターンの符号化と比較すればよい。コントローラ４１２は、図２に示すコントローラ２１６であってよい。これは、構造化光符号化を含むルックアップテーブル（ＬＵＴ）を使って、コントローラ４１２によって行われ得る。したがって、完全エピポーラコード検索３０８ではなく、コントローラ４１２は、ＴＯＦ算出で出された推定値の領域中で、ＴＯＦ限定エピポーラ検索４０８を実施する。センサー４０４からの画像を構造化光符号化と比較することによって、コントローラ４１２は、ＴＯＦ推定値を曖昧性除去し、位相推定値のうちの１つを正しい位相として、および対応する正しい半径方向距離を、半径方向深度推定値のセットから選択する。ＴＯＦをＳＬとともに使用することは、深度の素早い判断をできるようにし、比較的小さいベースラインを使い得る（ＳＬの正確さは、より正確なＴＯＦ測定値を曖昧性除去するのに十分であればよいので）ことに留意されたい。したがって、構造化ＴＯＦ深度センサーは、ベースライン３０６と比較して、より小さいベースライン４０６を可能にする。いくつかの例では、ベースライン４０６は、５０ｍｍ以下（たとえば、１０ｍｍ）であり得る。

図５は、１つまたは複数の実施形態による、構造化ＴＯＦ深度センサーの位相マップ５００の部分である。いくつかの例では、位相マップ５００は、図４に記載したように、構造化ＴＯＦ深度センサーから生じられる。したがって、位相マップ５００は、図４を参照してさらに詳しく記載したように、センサー４０４によって検出され得る。位相マップ５００は、２つの異なるパルス周波数での構造化光の放出に続いてＴＯＦ算出から生じた、曖昧性除去された深度推定値を示す。

照明源（たとえば、照明源４０２）が、環境中に、第１の位相シフト周波数５０２で構造化光を投射し得る。第１の位相シフト周波数５０２は、パルスが出力される第１の時間周波数に対応する、０と２πとの間の位相シフトである（たとえば、典型的な範囲は約１～３５０ＭＨｚであるが、可能性としてはより高く、たとえば、１ＧＨｚにまでなる場合もある）。照明源は次いで、第１の位相シフト周波数５０２とは異なる第２の位相シフト周波数５０４で、構造化光を投射し得る。第２の位相シフト周波数５０４は、パルスが出力される第２の時間周波数に対応する、０と２πとの間の位相シフトである。たとえば、照明源は、１０ＭＨｚでパルスを出力することができ、５０ＭＨｚでパルスを放出することもできる。いくつかの例では、第１の位相シフト周波数５０２でローカル環境中に放出される光は構造化光であってよく、第２の位相シフト周波数５０４でローカル環境中に放出される光は、均一なフラッド光またはどの非符号化光であってもよい。第１の位相シフト周波数５０２および第２の位相シフト周波数５０４での光の投射は、異なる時間におけるものであり、センサー（たとえば、センサー４０４）の異なる露出ウィンドウに対応し得る。構造化光投射のタイミングおよびウィンドウの検知については、図６Ａ～７を参照してさらに詳しく記載する。

位相マップ５００は、ＴＯＦ算出における曖昧性を示す。ｙ軸は、半径方向距離５０６を示す。位相マップ５００は、構造化ＴＯＦ深度センサーからの距離での、環境中のオブジェクトの検出を表す。検出された範囲のセット、すなわち５０８ａ、５０８ｂ、５０８ｃ、および５０８ｄ（まとめて５０８）は各々、ＴＯＦ算出に対する位相ラップ解（ｐｈａｓｅ－ｗｒａｐｐｅｄｓｏｌｕｔｉｏｎｓ）を表し、センサーによって検出された位相シフトに基づく推定半径方向距離のセットに対応する。図示されているものは実際には、位相マップ５００の一部分のみであり、というのは、説明しやすいように省略されている、無限大にまで進む検出された範囲の余剰セットがある（実際には、範囲は、シーン中に放出される光の量および撮像されるオブジェクトの反射率によって制限され得ることに留意されたい）はずだからであることに留意されたい。検出された範囲のセット５０８は本明細書では、推定半径方向距離と呼ばれる。したがって、検出された範囲５０８ａ中の解は、上でさらに詳しく記載したように、２πの位相曖昧性だけ、検出された範囲５０８ｂによって分離される。たとえば、検出された範囲５０８の各々は、ＴＯＦ限定エピポーラ検索４０８ならびに位相推定値４１０ａ、４１０ｂおよび４１０ｃの、図４に示す領域に対応し得る。位相マップ５００を使って、コントローラが、検出された範囲５０８を構造化光符号化と比較する。コントローラはコントローラ４１２であってよい。構造化光符号化は、ルックアップテーブル（ＬＵＴ）中に記憶され得る。したがって、完全エピポーラコード検索３０８ではなく、コントローラは、ＴＯＦ算出で出された推定値の領域中で、ＴＯＦ限定エピポーラ検索４０８を実施する。いくつかの実施形態では、検出された範囲５０８とＬＵＴとの間の比較に基づいて、コントローラは、検出された範囲５０８のうちの１つを選択する。コントローラは次いで、関係（１）を使って三角測量算出を実施して、三角測量深度推定値を生じる。いくつかの実施形態では、コントローラは、照明源によって照明されるローカルエリアを、いくつかの異なる領域に分割し得る。いくつかの実施形態では、コントローラは、ＴＯＦ算出から三角測量深度推定値の領域までの、推定半径方向距離の対応する領域を識別する。コントローラはしたがって、ＴＯＦ算出の領域を、三角測量深度推定値の領域と突き合わせる。いくつかの実施形態では、コントローラは次いで、三角測量深度推定値の閾距離内にある半径方向深度推定値を選択する。いくつかの実施形態では、コントローラは、ＬＵＴおよび第２の推定半径方向距離に部分的に基づいて、推定半径方向距離を選択する。いくつかの実施形態では、コントローラは、機械学習を使って推定半径方向距離を選択する。いくつかの実施形態では、構造化光照明または三角測量深度推定値のない領域中で、コントローラは、ＴＯＦ算出からの推定半径方向距離を埋め戻し、かつ／または領域の間を補間すればよい。補間に関して、いくつかの実施形態では、均一な照明パターンが、より明るいスポット（たとえば、ドット）またはヌルスポット（たとえば、暗いドット、すなわち逆ドットパターン）で、いくつかの領域において変調される。このシナリオでは、ほぼすべてのピクセルがＴＯＦ情報を有するはずであり、したがってピクセルの有用性が増大し、サブセットのみがＳＬ情報を有することになる。ただし、ＳＬ情報は、たとえば、ローカル補間により、ＴＯＦ推定値の近隣領域をローカルに曖昧性除去するのに使われる場合もある。したがって、三角測量算出の結果を、検出された範囲と比較することによって、検出された範囲５０８内の推定範囲のうちの１つが、オブジェクトの実際の距離として選択される。

位相シフトに基づくＴＯＦ算出を、構造化光符号化に基づく三角測量算出と組み合わせることにより、追加出力光周波数でのオブジェクトの検出の必要なく、位相マップ５００に示すＴＯＦ位相シフト解の曖昧性除去が可能になる。したがって、センサーの限定露出ウィンドウ内のＴＯＦキャプチャの総数を削減することができ、これについては、以下でさらに詳しく論じる。構造化光ＴＯＦセンサーは、三角測量構造化光算出における正確さの低減も起こり得るようにするが、それは、構造化光推定値は、ＴＯＦ算出の解の間で、すなわち、図４に示すように、完全深度範囲にわたってではなく、検出された範囲５０８の各々の間で曖昧性除去するのに十分に厳密である必要があればよいからである。こうすることにより、構造化光ＴＯＦセンサーの検出能力を犠牲にすることなく、照明源とセンサーとの間のベースライン距離（ベースライン４０６など）をかなり低下することができる。ベースラインの低減により、ＨＭＤまたは構造化ＴＯＦセンサーが組み込まれている任意の他のデバイスのより小さい形状因子を可能にすることができる。さらに、より低い正確さおよび精度が必要とされるので、構造化光計算アルゴリズムの複雑さが低減され得る。いくつかの実施形態では、構造化光推定の正確さは、０．５～３メートルの範囲内であってよい。

構造化光符号化をＴＯＦ解と組み合わせると、従来のＴＯＦ検知における誤差の源である、ＴＯＦ検知からのマルチパス乱れがさらに削減される。従来のＴＯＦセンサーでは、オブジェクトに反射される、センサーに入射する光と、センサーに達する前に何度か反射した光（すなわち、マルチパス光）との間を区別するのが困難である。ただし、ＴＯＦ解を構造化光符号化と比較することによって、構造化光パターンと合致しない信号は、拒否され、深度推定値から取り除かれ得る。

図６Ａは、１つまたは複数の実施形態による、３つの未加工キャプチャウィンドウをもつ構造化ＴＯＦ深度センサーのためのピクセルタイミング図６００である。ピクセルタイミング図６００は、図４に示すセンサー４０４上に位置するピクセル向けであってよい。時間パルシング周波数６０２および時間パルシング周波数６０４は、照明源４０２によって生じたパルスを指し得る。ピクセルタイミング図６００は、ローカルエリアから反射される、照明源４０２からの光を、未加工データとしてキャプチャする。ピクセルタイミング図６００は、他の従来のピクセルタイミング図に勝る向上であり、というのは、構造化光符号化とＴＯＦ深度推定値の組合せにより、単一の露出ウィンドウ内の総キャプチャがより少なくなるからである。したがって、センサー電荷読出しおよび／または追加画像キャプチャのために以前に使われたタイミングウィンドウを今度は、追加画像露出のために使うことができ、ＳＮＲを、およびしたがって深度精度を増大する。

構造化ＴＯＦ深度センサー（たとえば、構造化ＴＯＦ深度センサー４００）では、露出ウィンドウが、時間パルシング周波数ごとに未加工データの少なくとも３つのキャプチャウィンドウを有し、位相キャプチャの各々中に、キャプチャの総数の削減および信号対雑音比の向上を可能にする。いくつかの実施形態では、各時間パルシング周波数に対して、３つよりも多いキャプチャウィンドウがあり得る。いくつかの実施形態では、２つより多い時間パルシング周波数があり得る。いくつかの実施形態では、異なる時間パルシング周波数に対するキャプチャウィンドウの数は、互いとは異なる（たとえば、第１の時間パルシング周波数に対しては４、および第２の時間パルシング周波数に対しては３）。

示される図では、各時間パルシング周波数における未加工データ、特に、時間パルシング周波数６０２における未加工データ６０６、６０８、６１０、ならびに時間パルシング周波数６０４における未加工データ６１２、６１４、および６１６の３つのキャプチャウィンドウがある。各時間パルシング周波数に対する各未加工データの間には位相差があることに留意されたい。たとえば、未加工データ６０６、未加工データ６０８および未加工データ６１０は、すべてが同じ時間パルシング周波数６０２（たとえば、１０ＭＨｚ）におけるものであり、すべてが、センサー４０４と、照明源４０２からのローカルエリアから反射された光との間の異なる位相オフセットに対して獲得された未加工強度画像である。同様に、未加工データ６１２、未加工データ６１４、および未加工データ６１６はすべて、センサー４０４と、照明源４０２からのローカルエリアから反射された光との間の異なる位相オフセットに対して獲得された未加工強度画像である。位相における差は、たとえば、パルスが放出される、および／またはパルスが放出されるときに相対して、構造化ＴＯＦ深度センサーがアクティブである時間を制御するゲート付きシャッターウィンドウを調節することによって遂行され得る。各未加工データは、ローカルエリアから反射される照明源４０２から検出された少なくとも１つのパルスに対応する。実際には、各検出されたパルスは、低い信号対雑音（ＳＮＲ）値を有することができ、複数の検出されたパルス（たとえば、１００ｓ、１０００ｓ、など）が、（ＳＮＲを増大するために）キャプチャされて、キャプチャされた未加工データが読み出される前に単一の未加工データを作り上げる。以下で論じるように、各時間パルシング周波数に対する未加工データは、構造化ＴＯＦ深度センサーによって、対応するアグリゲート位相を判断するために使われる。

構造化光照明源（たとえば、照明源４０２）は、第１の時間パルシング周波数６０２で構造化光を環境中に投射し、投射された構造化光は第１の位相を有する。この第１の時間期間中、構造化ＴＯＦ深度センサーは、反射されたパルスを未加工データ６０６としてキャプチャしている。ある程度の閾数の時間（たとえば、検出されたパルスの閾数に対応する）が経過した後、構造化光照明源は、未加工データ６０６の読出し６２０を実施する。構造化ＴＯＦ深度センサーは次いで、位相を、第１の位相（たとえば、照明パルスとセンサーシャッタータイミングとの間の異なるタイミングオフセットに対応する）とは異なる第２の位相に変え、構造化光を第１の時間パルシング周波数６０２で環境中に投射し、投射された構造化光は第２の位相を有する。この時間期間中、構造化ＴＯＦ深度センサーは、反射されたパルスを未加工データ６０８としてキャプチャしている。ある程度の閾数の時間（たとえば、検出されたパルスの閾数に対応する）が経過した後、構造化光照明源は、未加工データ６０８の読出し６２０を実施する。構造化ＴＯＦ深度センサーは次いで、位相を、第１および第２の位相とは異なる第３の位相に変え、構造化光を、第１の時間パルシング周波数６０２で環境中に投射し、投射された構造化光は第３の位相を有する。この時間期間中、構造化ＴＯＦ深度センサーは、反射されたパルスを未加工データ６１０としてキャプチャしている。ある程度の閾数の時間（たとえば、検出されたパルスの閾数に対応する）が経過した後、構造化光照明源は、未加工データ６１０の読出し６２０を実施する。未加工データ６０６、未加工データ６０８、および未加工データ６１０は、構造化ＴＯＦ深度センサーによって、時間パルシング周波数６０２に対する第１のアグリゲート位相を判断するのに使われる。アグリゲート位相は、ピクセルごとに異なり得る複数の値を有することに留意されたい。

これらの３つのキャプチャウィンドウおよびそれらに関連する読出し６２０に続いて、構造化光照明源は、第２の時間パルシング周波数６０４で環境中に構造化光を投射し、投射された構造化光は第１の位相を有する。この時間期間中、構造化ＴＯＦ深度センサーは、反射されたパルスを未加工データ６１２としてキャプチャしている。ある程度の閾数の時間（たとえば、検出されたパルスの閾数に対応する）が経過した後、構造化光照明源は、未加工データ６１２の読出し６２０を実施する。構造光照明源は次いで、位相を、第１の位相とは異なる第２の位相に変え、構造化光を第２の時間パルシング周波数６０４で環境中に投射し、投射された構造化光は第２の位相を有する。この時間期間中、構造化ＴＯＦ深度センサーは、反射されたパルスを未加工データ６１４としてキャプチャしている。ある程度の閾数の時間（たとえば、検出されたパルスの閾数に対応する）が経過した後、構造化光照明源は、未加工データ６１４の読出し６２０を実施する。構造光照明源は次いで、位相を、第１および第２の位相とは異なる第３の位相に変え、構造化光を第２の時間パルシング周波数６０４で環境中に投射し、投射された構造化光は第３の位相を有する。この時間期間中、構造化ＴＯＦ深度センサーは、反射されたパルスを未加工データ６１６としてキャプチャしている。ある程度の閾数の時間（たとえば、検出されたパルスの閾数に対応する）が経過した後、構造化光照明源は、未加工データ６１６の読出し６２０を実施する。未加工データ６１２、未加工データ６１４、および未加工データ６１６は、構造化ＴＯＦ深度センサーによって、時間パルシング周波数６０４に対する第２のアグリゲート位相を判断するのに使われる。

ＴＯＦ深度推定値は、従来のＴＯＦセンサーにおけるのとは異なり、時間パルシング周波数６０２および時間パルシング周波数６０４からの位相測定値の結果として、完全に曖昧性除去することはできないが、位相生成深度推定値は、構造化光符号化によって後で完全に曖昧性除去されるので、このことは、深度情報を判断する際の障害にはつながらない。総露出時間は、より少ないキャプションの間で分割されるので、位相キャプチャの各々の間に検出された信号の信号対雑音比は、従来のＴＯＦセンサー中よりも良好になる場合があり、ＴＯＦ深度推定値の向上につながる。アイドル期間は、未加工データ６０６のキャプチャが繰り返す前の時間期間である。

図６Ｂは、１つまたは複数の実施形態による、拡張ピクセルをもつ構造化ＴＯＦ深度センサーのためのピクセルタイミング図６２０である。ピクセルタイミング図６２０は、電荷を別個に記憶する複数の電荷貯蔵領域（たとえば、３つ以上の電荷貯蔵領域）を各々が含む拡張ピクセルをもつセンサー用に使われ得る。拡張ピクセルとは、励起光電子を、少なくとも３つの異なるピクセル上記憶サイトの中に連続して記憶するように構成される高速フォトダイオードセンサーであり得る。

示される図では、各時間パルシング周波数における未加工データの１つのキャプチャウィンドウ、特に、時間パルシング周波数６３０および時間パルシング周波数６３２における、それぞれ、未加工キャプチャ６２４および未加工キャプチャ６２８がある。各未加工キャプチャ内には、実際に、異なる位相における未加工データの複数のキャプチャがあり、異なる位相の各々は、異なる電荷貯蔵領域中でキャプチャされることに留意されたい。たとえば、３つの電荷貯蔵領域を含む拡張ピクセルのケースでは、未加工キャプチャ６２４は、３つの異なる位相における、たとえば、第１の位相、第２の位相、および第３の位相に対応する、未加工データの一連のキャプチャに下位分割される。各未加工データは、ローカルエリアから反射される照明源４０２から検出された少なくとも１つのパルスに対応する。上述したように、実際には、各検出されたパルスは、低ＳＮＲ値を有することができ、複数の検出されたパルス（たとえば、１００ｓ、１０００ｓ、など）が、（ＳＮＲを増大するために）キャプチャされて、キャプチャされた未加工データが読み出される前に単一の未加工データを作り上げる。

いくつかの実施形態では、未加工キャプチャ６２４および未加工キャプチャ６２８は、インターリーブ方式で未加工データをキャプチャする。たとえば、構造化光照明源（たとえば、照明源４０２）は、時間パルシング周波数６３０で構造化光を環境中に投射し、投射された構造化光は第１の位相を有する。構造化ＴＯＦ深度センサーは、拡張ピクセルの各々について電荷貯蔵領域１中に記憶されている、第１の位相に対応する単一のパルスについての未加工データをキャプチャする。構造化ＴＯＦ深度センサーは次いで、位相を、第１の位相とは異なる第２の位相に（たとえば、ゲート付きシャッターウィンドウを使って）変え、構造化光を時間パルシング周波数６３０で環境中に投射し、投射された構造化光は第２の位相を有する。構造化ＴＯＦ深度センサーは、拡張ピクセルの各々について電荷貯蔵領域２中に記憶されている、第２の位相に対応する単一のパルスについての未加工データをキャプチャする。構造化ＴＯＦ深度センサーは次いで、位相を、第１の位相および第２の位相とは異なる第３の位相に変え、構造化光を、時間パルシング周波数６３０で環境中に投射し、投射された構造化光は第３の位相を有する。構造化ＴＯＦ深度センサーは、拡張ピクセルの各々について電荷貯蔵領域３中に記憶されている、第３の位相に対応する単一のパルスについての未加工データをキャプチャする。このプロセスは次いで、順に何回か繰り返し、その後、ピクセルの各々についての、電荷貯蔵領域１、２、および３中のキャプチャされた未加工データが６２０において読み出される。回数は、３つの位相の各々に対するキャプチャされた未加工データについての推定ＳＮＲに基づく。各ピクセルの３つの電荷貯蔵領域からの未加工キャプチャ６２４中の未加工データは、構造化ＴＯＦ深度センサーによって、時間パルシング周波数６３０に対する第１のアグリゲート位相を判断するのに使われる。

プロセスは次いで、時間パルシング周波数６３０とは異なる時間パルシング周波数６３２を使って繰り返す（たとえば、時間パルシング周波数６３２は４０ＭＨｚであってよく、時間パルシング周波数６３０は１００ＭＨｚであってよい）。構造化光照明源は、時間パルシング周波数６３２で構造化光を環境中に投射し、投射された構造化光は第１の位相を有する。構造化ＴＯＦ深度センサーは、拡張ピクセルの各々について電荷貯蔵領域１中に記憶されている、第１の位相に対応する単一のパルスについての未加工データをキャプチャする。構造化ＴＯＦ深度センサーは次いで、位相を、第１の位相とは異なる第２の位相に変え、構造化光を時間パルシング周波数６３２で環境中に投射し、投射された構造化光は第２の位相を有する。構造化ＴＯＦ深度センサーは、拡張ピクセルの各々について電荷貯蔵領域２中に記憶されている、第２の位相に対応する単一のパルスについての未加工データをキャプチャする。構造化ＴＯＦ深度センサーは次いで、位相を、第１の位相および第２の位相とは異なる第３の位相に変え、構造化光を、時間パルシング周波数６３２で環境中に投射し、投射された構造化光は第３の位相を有する。構造化ＴＯＦ深度センサーは、拡張ピクセルの各々について電荷貯蔵領域３中に記憶されている、第３の位相に対応する単一のパルスについての未加工データをキャプチャする。このプロセスは次いで、順に何回か繰り返し、その後、拡張ピクセルの各々についての、電荷貯蔵領域１、２、および３中のキャプチャされた未加工データが６２０において読み出される。回数は、３つの位相の各々に対するキャプチャされた未加工データについての推定ＳＮＲに基づく。各ピクセルの３つの電荷貯蔵領域からの未加工キャプチャ６２８中の未加工データは、構造化ＴＯＦ深度センサーによって、時間パルシング周波数６３２に対する第２のアグリゲート位相を判断するのに使われる。

上の例では、未加工キャプチャ６２４および未加工キャプチャ６２８は、インターリーブ方式で未加工データをキャプチャすることに留意されたい。ただし、他の実施形態では、未加工データは、他の順序、たとえば、線形方式でキャプチャされてよい。たとえば、パルスごとに、電荷貯蔵領域１から、電荷貯蔵領域２に、電荷貯蔵領域３に、次いで、電荷貯蔵領域１に戻って動き、これらの各々についてＳＮＲを増分方式で構築するのではなく、構造化ＴＯＦ深度センサーは、目標ＳＮＲに対応する回数だけ、電荷貯蔵領域１（第１の位相）中の未加工データをキャプチャし、位相を第２の位相に調節し、目標ＳＮＲに対応する回数だけ、電荷貯蔵領域２（第２の位相）中の未加工データをキャプチャし、位相を第３の位相に調節し、電荷貯蔵領域３（第２の位相）中の未加工データを、目標ＳＮＲに対応する回数だけキャプチャすればよい。アイドル期間は、未加工キャプチャ６２４が繰り返す前の時間期間である。

タイミング図６００と同様に、タイミング図６２０は、ＴＯＦ深度推定値の完全曖昧性除去を可能にすることはできないが、構造化光符号化を追加することで、深度推定値は、後で完全に曖昧性除去され得る。図６Ａと比べて、６Ｂでは読出し６２０が相当に少なく、これにより、時間使用のより優れた最適化（たとえば、読出しに対する時間のより少ない損失）が可能になることに留意されたい。

図７は、１つまたは複数の実施形態による、図６Ａおよび図６Ｂのフォトダイオードセンサーを使用する構造化ＴＯＦ深度センサーの動作に関するタイミング図７００、７１０および７２０である。タイミング図７１０は図６Ａのピクセルタイミング図６００に対応してよく、タイミング図７２０は図６Ｂのピクセルタイミング図６２０に対応してよい。

タイミング図７００、７１０および７２０は、水平軸上に時間７０２を含む。図７に示す時間間隔は、２つの時間間隔７０６ａと７０６ｂ（まとめて７０６）との間に分割される。第１の時間間隔７０６ａ中、光源が、光（たとえば、構造化光）を環境中に投射する。これは、光パワー７０４ａによって示される。光源は、図４を参照してさらに詳しく記載した照明源４０２であってよい。光パワー７０４ａは、光源が、時間間隔７０６ａ未満の時間持続だけ、環境中に光を投射することを示す。同様に、時間間隔７０６ｂ中、光源が、光パワー７０４ｂによって示されるように、光を環境中に投射する。光パワー７０４ａおよび光パワー７０４Ｂは、時間パルシング周波数の光を生じる。図７００は、基本的には、時間パルシング周波数での一連のパルスのうちの２つのパルスのものであることに留意されたい。光パワー７０４ａおよび７０４ｂの結果として環境中に放出された光は、環境中のオブジェクトに反射し得る。反射された光は、ＴＯＦセンサー４０４などのＴＯＦセンサーに入射する。

タイミング図７１０には、３つの異なる位相の未加工キャプチャ、すなわち、未加工キャプチャ７１２ａおよび７１２ｂ、未加工キャプチャ７１４ａおよび７１４ｂ、ならびに未加工キャプチャ７１６ａ、および７１６ｂが示されている。本実施形態では、未加工キャプチャ７１２ａ、７１４ａ、７１６ａのうちのただ１つが、時間間隔７０６ａにわたって起こることになっており、未加工キャプチャ７１２ｂ、７１４ｂ、７１６ｂのうちのただ１つが時間間隔７０６ｂにわたって起こることになっていること、およびそれらは、単に説明しやすいように、一緒に示されていることに留意されたい。たとえば、未加工キャプチャ７１２ａおよび７１２ｂは、未加工データ６０６のパルスのキャプチャに対応してよく、未加工キャプチャ７１４ａおよび７１４ｂは、未加工データ６０８のパルスのキャプチャに対応してよく、未加工キャプチャ７１６ａおよび７１６ｂは、未加工データ６１０のパルスのキャプチャに対応してよい。各未加工キャプチャと、それに対応する光パワーとの間のタイミングの相対的差に留意されたい。したがって、未加工キャプチャ７１２ａ、７１２ｂ、未加工キャプチャ７１４ａ、７１４ｂ、および未加工キャプチャ７１６ａ、７１６ｂは、互いに対して、異なる位相を有する。

ピクセル電荷図７２０には、３つの異なる位相の未加工キャプチャ、すなわち、未加工キャプチャ７２２ａおよび７２２ｂ、未加工キャプチャ７２４ａおよび７２４ｂ、ならびに未加工キャプチャ７２６ａ、および７２６ｂが示されている。本実施形態では、未加工キャプチャ７２２ａ、７２４ａ、７２６ａの各々は、時間間隔７０６ａにわたって起こり、未加工キャプチャ７２２ｂ、７２４ｂ、７２６ｂの各々は、時間間隔７０６ｂにわたって起こることに留意されたい。たとえば、未加工キャプチャ７２２ａ、７２４ａ、７２６ａおよび後続未加工キャプチャ７２２ｂ、７２４ｂ、７２６ｂは、未加工キャプチャ６２４中のパルスのキャプチャに対応してもよい。示される図では、所与のタイミングウィンドウの隣接未加工キャプチャの間に小さい期間があることに留意されたい。これらの小さい期間中、蓄積された電荷は、ドレインに転送されてよい（たとえば、記憶されてよく、収集されなくてよく、または基板へ転送されてよい、など）。他の実施形態では、この時間期間は最小限にされてよい（たとえば、空間なし）。いくつかの実施形態では、隣接未加工キャプチャの間のタイミングは異なってよい（たとえば、未加工キャプチャ７２２ａと未加工キャプチャ７２４ａとの間の時間は、未加工キャプチャ７２４ａと未加工キャプチャ７２６ａとの間の時間とは異なる）。

図８は、１つまたは複数の実施形態による、オブジェクトまでの半径方向距離を判断するためのプロセス８００のフローチャートである。プロセス８００は、ＤＭＡ（たとえば、ＤＭＡ２１０）によって実施され得る。いくつかの実施形態では、ステップの一部または全部が、実施され、かつ／または他のエンティティ（たとえば、ＨＭＤのプロセッサ、コンソールなど）と共有され得る。同様に、実施形態は、異なるおよび／もしくは追加ステップを含み、またはステップを異なる順序で実施し得る。

ＤＭＡは、８０２において、光のパルスを、１つまたは複数のパルス周波数でローカルエリア中に投射する。光のパルスは、コントローラ（たとえば、コントローラ２１６）からの命令に従って、光源（たとえば、照明源１７０）によって投射され得る。いくつかの実施形態では、投射される光のパルス周波数は、１０～２００ＭＨｚの間であってよい。投射される光は構造化光であってよい。いくつかの実施形態では、投射される光は、構造化光のパルスが散在する、パターン化されていないフラッド照明の１つまたは複数のパルスを含み得る。ＤＭＡは、コントローラ４１２などのコントローラを介して光源と通信することができ、コントローラは、光源に、パルス周波数で光のパルスを投射するよう命令する。

ＤＭＡは、８０４において、ローカルエリアから反射された光のパルスの画像をキャプチャする。ＤＭＡは、カメラアセンブリ（たとえば、カメラアセンブリ１８０）を使って画像をキャプチャする。キャプチャアセンブリは、コントローラ４１２など、ＤＭＡのコントローラからの命令に従って画像をキャプチャする。

ＤＭＡは、８０６において、キャプチャされた画像のうちの１つまたは複数を使って、光のパルスについての１つまたは複数のＴＯＦ位相シフトを判断する。この判断は、図６Ａ～７に示す位相シフトの各々についての、カメラアセンブリのセンサーのピクセルによって蓄積された電荷に部分的に基づき得る。ＴＯＦ位相シフトについては、図４を参照してさらに詳細に説明している。ＴＯＦ位相シフトは、図４を参照してさらに詳しく記載したように、ピクセル電荷蓄積に関係する。１つまたは複数のＴＯＦ位相シフトは、コントローラ４１２など、ＤＭＡのコントローラによって判断され得る。

ＤＭＡは、８０８において、１つまたは複数のＴＯＦ位相シフトに基づいて、ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断する。この判断は、図４に示した位相推定値４１０、および／または図５に示した検出された範囲であり得る。推定半径方向距離は、図４を参照して記載した算出に基づく。１つまたは複数のＴＯＦ位相シフトは、放出された光の異なるパルス周波数に対応し得る。推定半径方向距離の第１のセットは、コントローラ４１２など、ＤＭＡのコントローラによって判断され得る。

ＤＭＡは、８１０において、構造化光の符号化およびキャプチャされた画像のうちの少なくとも１つに基づいて、オブジェクトまでの第２の推定半径方向距離を判断する。キャプチャされた画像のうちの少なくとも１つは、構造化光パターンで照明されるローカルエリアの画像である。コントローラ４１２などのコントローラは、少なくとも１つの画像を使って、ローカルエリア中のオブジェクトについての深度情報を判断する。

ＤＭＡは、８１２において、第２の推定半径方向距離に部分的に基づいて、半径方向距離の第１のセットから、推定半径方向距離を選択する。いくつかの実施形態では、ＤＭＡは、選択された推定半径方向距離の閾距離内である第２の推定半径方向距離に部分的に基づいて、推定半径方向距離を選択する。選択は、コントローラ４１２など、ＤＭＡのコントローラによって実践され得る。この選択は、ＴＯＦ位相シフトからの推定半径方向距離を完全に曖昧性除去し、構造化光符号化についてのＬＵＴへの照会に部分的に基づき得る。曖昧性除去された推定半径方向距離は、図４を参照してさらに詳しく記載したように、推定半径方向距離における２πの曖昧性を指し得る。これは、ローカルエリアの領域のための環境中のオブジェクトの最終的な深度推定値である。閾距離は、たとえば、推定半径方向距離の１０％以内であってよい。いくつかの実施形態では、ＤＭＡは、ＬＵＴおよび第２の推定半径方向距離に部分的に基づいて、推定半径方向距離を選択する。この事例では、ＤＭＡは、推定半径方向距離を判断するために、第２の推定半径方向距離をＬＵＴに入力する。いくつかの実施形態では、ＤＭＡは、機械学習を使って推定半径方向距離を選択する。この事例では、ＤＭＡは、第２の推定半径方向距離を与えられると、推定半径方向距離を選択することができるようにトレーニングされる。ＤＭＡは、ローカルエリア２６０などのローカル環境の深度マップを判断するのに、最終的な深度推定値を使うことができる。ＤＭＡは、ローカルエリア２６０をいくつかの異なる領域に分割し、各領域について上述したように深度推定値を収集し得る。いくつかの実施形態では、ＤＭＡは、領域の間を補間することができる。ローカルエリアの完全深度マップが次いで、方法８００の複数の反復から組み立てられ得る。

システム概要
図９は、１つまたは複数の実施形態による、人工現実コンテンツを提供するためのシステム環境９００のブロック図である。図９に示すシステム環境９００は、様々な実施形態において、人工現実コンテンツをユーザに提供し得る。追加または代替として、システム環境９００は、１つまたは複数の仮想環境を生成し、ユーザが対話することができる仮想環境をユーザに提示する。図９によって示されるシステム環境９００は、頭部搭載型ディスプレイ（ＨＭＤ）９０５と、コンソール９１０に結合される入力／出力（Ｉ／Ｏ）インターフェース９１５とを備える。図９は、１つのＨＭＤ９０５および１つのＩ／Ｏインターフェース９１５を含む例示的システム環境９００を示すが、他の実施形態では、任意の数のこれらの構成要素がシステム環境９００に含まれてよい。たとえば、関連するＩ／Ｏインターフェース９１５を各々が有する複数のＨＭＤ９０５があってよく、各ＨＭＤ９０５およびＩ／Ｏインターフェース９１５がコンソール９１０と通信する。代替構成では、異なるおよび／または追加構成要素がシステム環境９００に含まれてよい。さらに、図９に示す構成要素のうちの１つまたは複数とともに記載する機能性が、いくつかの実施形態では、図９とともに記載するのとは異なるやり方で構成要素の間に分散されてよい。たとえば、コンソール９１０の機能性の一部または全部が、ＨＭＤ９０５によって提供される。

頭部搭載型ディスプレイ（ＨＭＤ）９０５は、ユーザに対して、コンピュータ生成要素（たとえば、２次元（２Ｄ）もしくは３次元（３Ｄ）画像、２Ｄもしくは３Ｄビデオ、音など）をもつ物理的な実世界環境の拡張ビューを含むコンテンツを提示するか、または仮想環境を含むコンテンツを提示する。いくつかの実施形態では、提示されるコンテンツは、ＨＭＤ９０５、コンソール９１０、または両方からオーディオ情報を受信し、オーディオ情報に基づいてオーディオデータを提示する外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）により提示されるオーディオを含む。ＨＭＤ９０５の実施形態については、図１および図２とともにさらに記載されている。ＨＭＤ９０５は、ニアアイディスプレイであってもよい。

ＨＭＤ９０５は、ＤＭＡ９２０、電子ディスプレイ９２５、光学ブロック９３０、１つまたは複数の位置センサー９３５、およびＩＭＵ９４０を含む。ＨＭＤ９０５は、図１～２に示すＨＭＤ１００であってよい。図２に関してさらに詳しく記載されているように、ＤＭＡ９２０はＤＭＡ２１０であってよく、電子ディスプレイ９２５は電子ディスプレイ２２０であってよく、光学ブロックは光学ブロック２３０であってよい。図１に関してさらに詳しく記載されているように、位置センサー９３５は位置センサー１５０であってよく、ＩＭＵ９４０はＩＭＵ１４０であってよい。ＨＭＤ９０５のいくつかの実施形態は、図９とともに記載するものとは異なる構成要素を有する。さらに、図９とともに記載する様々な構成要素によって提供される機能性は、他の実施形態では、ＨＭＤ９０５の構成要素の間で異なるように分散されてよい。

ＤＭＡ９２０は、ＨＭＤ９０５を囲むエリアの深度情報を記述するデータをキャプチャする。ＤＭＡ９２０は、照明源４０２および／または照明源１７０などの光源を含み、光源は、図２に示すローカルエリア２６０などの環境中に光を投射する。ＤＭＡ９２０は、カメラアセンブリ１８０などのカメラアセンブリを含む。センサー４０４など、反射された光のＴＯＦ位相シフトに関する電荷を収集するセンサーは、カメラアセンブリの１つの要素であり得る。ＤＭＡのコントローラは、ＴＯＦ位相シフトから、いくつかの半径方向深度推定値を判断する。構造化光符号化が、半径方向深度推定値から選択をするのに使われ、キャプチャされた画像の三角測量算出からの第２の深度推定が、推定された半径方向深度と組み合わされる。三角測量算出は、推定された半径方向深度よりも劣った解像度でよいが、いくつかの半径方向深度推定値の間で曖昧性除去するのに十分である。半径方向深度推定値は次いで、環境中のオブジェクトの深度を判断するために、三角測量算出と組み合わされる。このプロセスについては、図２～８を参照してさらに詳細に説明している。

電子ディスプレイ９２５は、コンソール９１０から受信されたデータに従って、２Ｄまたは３Ｄ画像をユーザに対して表示する。様々な実施形態において、電子ディスプレイ９２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（たとえば、ユーザの各眼用のディスプレイ）を備える。電子ディスプレイ９２５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。

光学ブロック９３０は、電子ディスプレイ９２５から受光された画像光を拡大し、画像光に関連する光学誤差を修正し、修正された画像光を、ＨＭＤ９０５のユーザに対して提示する。様々な実施形態において、光学ブロック９３０は、１つまたは複数の光学要素を含む。光学ブロック９３０中に含まれる例示的光学要素は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射表面、または画像光に影響するどの他の適切な光学要素も含む。その上、光学ブロック９３０は、異なる光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック９３０中の光学要素のうちの１つまたは複数は、反射防止膜など、１つまたは複数の被膜を有し得る。

光学ブロック９３０による画像光の拡大および集束は、電子ディスプレイ９２５を、より大きいディスプレイよりも物理的に小さく、重くなくし、少ない電力を消費させる。さらに、拡大は、電子ディスプレイ９２５によって提示されるコンテンツの視野を増大し得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて（たとえば、ほぼ１１０度の対角線）を、およびいくつかのケースではすべてを使って提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加するか、または取り除くことによって調節することができる。

いくつかの実施形態では、光学ブロック９３０は、１つまたは複数のタイプの光学誤差を修正するように設計されてよい。光学誤差の例は、たる型歪曲、糸巻型歪曲、縦色収差、または横色収差を含む。他のタイプの光学誤差は、球面収差、コマ収差もしくはレンズフィールド曲率による誤差、非点収差、またはどの他のタイプの光学誤差もさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ９２５に提供されるコンテンツはあらかじめ歪められ、光学ブロック９３０は、コンテンツに基づいて生成された画像光を電子ディスプレイ９２５から受信したときに歪みを修正する。

ＩＭＵ９４０は、位置センサー９３５のうちの１つまたは複数から受信された測定信号に基づいて、およびＤＭＡ９２０から受信された深度情報から、ＨＭＤ９０５の位置を示すデータを生成する電子デバイスである。位置センサー９３５は、ＨＭＤ９０５の運動に応答して、１つまたは複数の測定信号を生成する。位置センサー９３５の例は、１つもしくは複数の加速度計、１つもしくは複数のジャイロスコープ、１つもしくは複数の磁力計、運動を検出する別の適切なタイプのセンサー、ＩＭＵ９４０の誤差修正のために使われるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー９３５は、ＩＭＵ９４０の外部、ＩＭＵ９４０の内部、またはそれらの何らかの組合せで位置してよい。

１つまたは複数の位置センサー９３５からの１つまたは複数の測定信号に基づいて、ＩＭＵ９４０は、ＨＭＤ９０５の初期位置に相対して、ＨＭＤ９０５の推定される現在の位置を示すデータを生成する。たとえば、位置センサー９３５は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計と、回転運動（たとえば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープとを含む。いくつかの実施形態では、ＩＭＵ９４０は、測定信号を迅速にサンプリングし、サンプリングされたデータから、ＨＭＤ９０５の推定される現在の位置を算出する。たとえば、ＩＭＵ９４０は、時間をかけて加速度計から受信された測定信号を統合して、速度ベクトルを推定し、時間をかけて速度ベクトルを統合して、ＨＭＤ９０５上の基準点の推定される現在の位置を判断する。代替として、ＩＭＵ９４０は、サンプリングされた測定信号をコンソール９１０に提供し、コンソールは、誤差を低減するためにデータを解釈する。基準点は、ＨＭＤ９０５の位置を記述するのに使うことができる点である。基準点は概して、空間中の点またはＨＭＤ９０５の配向および位置に関係した位置として定義され得る。

ＩＭＵ９４０は、コンソール９１０から１つまたは複数のパラメータを受信する。以下でさらに論じるように、１つまたは複数のパラメータは、ＨＭＤ９０５の追跡を維持するのに使われる。受信されたパラメータに基づいて、ＩＭＵ９４０は、１つまたは複数のＩＭＵパラメータ（たとえば、サンプルレート）を調節し得る。いくつかの実施形態では、いくつかのパラメータは、ＩＭＵ９４０に、基準点の初期位置を更新させ、そうすることによって初期位置は、基準点の次の位置に対応する。基準点の初期位置を、基準点の、次の較正された位置として更新することは、ＩＭＵ９４０によって推定された現在の位置に関連する蓄積誤差を低減するのを助ける。ドリフト誤差とも呼ばれる蓄積誤差は、基準点の推定位置を、時間とともに基準点の実際の位置から「ドリフト」させる。ＨＭＤ９０５のいくつかの実施形態では、ＩＭＵ９４０は専用ハードウェア構成要素であってよい。他の実施形態では、ＩＭＵ９４０は、１つまたは複数のプロセッサにおいて実装されるソフトウェア構成要素であってよい。

Ｉ／Ｏインターフェース９１５は、ユーザが、アクション要求を送り、コンソール９１０から応答を受信できるようにするデバイスである。アクション要求とは、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像もしくはビデオデータのキャプチャを開始もしくは終了するための命令またはアプリケーション内で特定のアクションを実施するための命令であってよい。Ｉ／Ｏインターフェース９１５は、１つまたは複数の入力デバイスを含み得る。例示的入力デバイスは、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、アクション要求をコンソール９１０へ通信するための、どの他の適切なデバイスも含む。Ｉ／Ｏインターフェース９１５によって受信されたアクション要求はコンソール９１０へ通信され、コンソールは、アクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース９１５は、Ｉ／Ｏインターフェース９１５の初期位置に相対した、Ｉ／Ｏインターフェース９１５の推定位置を示す較正データをキャプチャする、さらに上述したＩＭＵ９４０を含む。いくつかの実施形態では、Ｉ／Ｏインターフェース９１５は、コンソール９１０から受信された命令に従って、ユーザに触覚フィードバックを提供してよい。たとえば、アクション要求が受信されるか、またはコンソール９１０がアクションを実施するときにＩ／Ｏインターフェース９１５に触覚フィードバックを生成させる命令をＩ／Ｏインターフェース９１５へコンソール９１０が通信したとき、触覚フィードバックが提供される。

コンソール９１０は、ＤＭＡ９２０、ＨＭＤ９０５、およびＶＲＩ／Ｏインターフェース９１５のうちの１つまたは複数から受信された情報に従って、処理のためにＨＭＤ９０５にコンテンツを提供する。図９に示す例では、コンソール９１０は、アプリケーションストア９５０、追跡モジュール９５５およびコンテンツエンジン９４５を含む。コンソール９１０のいくつかの実施形態は、図９とともに記載するものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明する機能は、図９とともに記載するのとは異なるように、コンソール９１０の構成要素の間で分散されてよい。

アプリケーションストア９５０は、１つまたは複数のアプリケーションを、コンソール９１０による実行のために記憶する。アプリケーションとは、プロセッサによって実行されると、ユーザへの表示のためにコンテンツを生成する、命令のグループである。アプリケーションによって生成されたコンテンツは、ＨＭＤ９０５またはＩ／Ｏインターフェース９１５の動きにより、ユーザから受信された入力に応答し得る。アプリケーションの例は、ゲーム用アプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションを含む。

追跡モジュール９５５は、ＤＭＡ９２０、１つもしくは複数の位置センサー９３５、ＩＭＵ９４０またはそれらの何らかの組合せからの情報を使って、ＨＭＤ９０５の、またはＩ／Ｏインターフェース９１５の動きを追跡する。たとえば、追跡モジュール９５５は、ＨＭＤ９０５からの情報に基づく、ローカルエリアのマッピングにおいて、ＨＭＤ９０５の基準点の位置を判断する。追跡モジュール９５５はまた、ＩＭＵ９４０からの、ＨＭＤ９０５の位置を示すデータを使って、またはＩ／Ｏインターフェース９１５に含まれるＩＭＵ９４０からの、Ｉ／Ｏインターフェース９１５の位置を示すデータを使って、それぞれ、ＨＭＤ９０５の基準点またはＩ／Ｏインターフェース９１５の基準点の位置を判断することができる。さらに、いくつかの実施形態では、追跡モジュール９５５は、ＩＭＵ９４０からのＨＭＤ９０５の位置を示すデータの部分ならびにＤＭＡ９２０からの、ローカルエリアの表現を、ＨＭＤ９０５の将来のロケーションを予測するのに使うことができる。追跡モジュール９５５は、ＨＭＤ９０５またはＩ／Ｏインターフェース９１５の推定または予測される予想位置をコンテンツエンジン９４５に提供する。

コンテンツエンジン９４５は、ＨＭＤ９０５中に含まれるＤＭＡ９２０から受信された情報に基づいて、ＨＭＤ９０５を囲むエリア（すなわち、「ローカルエリア」）の３Ｄマッピングを生成する。いくつかの実施形態では、コンテンツエンジン９４５は、複数の画像中のセンサーのピクセルによってキャプチャされた相対強度から判断された位相シフトから、撮像デバイス中のセンサーの各ピクセルによって判断された深度に基づいて、ローカルエリアの３Ｄマッピングのための深度情報を判断する。様々な実施形態において、コンテンツエンジン９４５は、ＤＭＡ９２０によって判断された異なるタイプの情報またはＤＭＡ９２０によって判断された情報のタイプの組合せを使って、ローカルエリアの３Ｄマッピングを生成する。

コンテンツエンジン９４５はまた、システム環境９００内でアプリケーションを実行し、ＨＭＤ９０５の、位置情報、加速度情報、速度情報、予測される予想位置、またはそれらの何らかの組合せを追跡モジュール９５５から受信する。受信された情報に基づいて、コンテンツエンジン９４５は、ユーザへの表示のためにＨＭＤ９０５に提供するべきコンテンツを判断する。たとえば、受信された情報が、ユーザが左を見ていたことを示す場合、コンテンツエンジン９４５は、仮想環境中で、またはローカルエリアを追加コンテンツで拡張する環境中で、ユーザの動きを映すＨＭＤ９０５向けのコンテンツを生成する。さらに、コンテンツエンジン９４５は、Ｉ／Ｏインターフェース９１５から受信されたアクション要求に応答して、コンソール９１０上で実行するアプリケーション内でアクションを実施し、アクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ＨＭＤ９０５による視覚もしくは可聴フィードバックまたはＩ／Ｏインターフェース９１５による触覚フィードバックであってよい。

追加構成情報
本開示の実施形態の上記の記述は、説明の目的で提示されており、網羅的であることも、開示した厳密な形に本開示を限定することも意図していない。上記開示を鑑みて、多くの修正および変形が可能であることが、当業者には諒解できよう。

この記述のいくつかの部分は、情報に対する動作のアルゴリズムおよび象徴表現によって本開示の実施形態を記載している。これらのアルゴリズム記述および表現は、データ処理技術の当業者が、自身の仕事の本質を他の当業者に効果的に伝達するために一般に使用される。これらの動作は、機能的に、計算的に、または論理的に記載されているが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されるように理解される。さらに、一般性を失わずに、動作のこれらの配置をモジュールとして指すことが、ときには好都合であることもわかっている。記載した動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはどのそれらの組合せでも具現化され得る。

本明細書に記載したステップ、動作、またはプロセスのうちのいずれも、１つもしくは複数のハードウェアもしくはソフトウェアモジュールとともに、単独で、または他のデバイスとの組合せで実施または実装されてよい。一実施形態では、ソフトウェアモジュールが、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品とともに実装され、コンピュータプログラムコードは、記載したステップ、動作、またはプロセスのいずれかまたはすべてを実施するために、コンピュータプロセッサによって実行することができる。

本開示の実施形態は、本明細書における動作を実施するための装置にも関し得る。この装置は、要求される目的のために特別に組み立てられてよく、かつ／またはコンピュータに記憶されたコンピュータプログラムによって選択的に活動化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的、有形コンピュータ可読記憶媒体、または電子命令を記憶するのに適したどのタイプの媒体に記憶されてもよく、媒体は、コンピュータシステムバスに結合されてよい。さらに、本明細書において言及されるどのコンピューティングシステムも、単一のプロセッサを含んでよく、またはコンピューティング能力の増大のために複数のプロセッサ設計を利用するアーキテクチャであってよい。

本開示の実施形態は、本明細書に記載したコンピューティングプロセスによって生産される製品にも関し得る。そのような製品は、コンピューティングプロセスから生じた情報を備えてよく、情報は、非一時的、有形コンピュータ可読記憶媒体に記憶され、製品は、本明細書に記載するコンピュータプログラム製品または他のデータ組合せのどの実施形態をも含み得る。

最後に、本明細書において使われる言葉は、主として、可読性および指示目的のために選択されており、本発明の主題を説明または画定するようには選択されていない場合がある。したがって、本開示の範囲は、この詳細な説明によってではなく、むしろ、本明細書に基づく適用に由来する任意の請求項によって限定されることが意図されている。したがって、実施形態の開示は、添付の請求項において説明される、本開示の範囲の例示であって、限定でないことが意図されている。

Claims

深度測定アセンブリ（ＤＭＡ）であって、
照明源であって、前記照明源は、光パルスを、時間パルシング周波数でローカルエリア中に投射するように構成される、照明源と、
センサーであって、
前記ローカルエリアから反射された前記光パルスの画像をキャプチャすることと、
前記キャプチャされた画像のうちの１つまたは複数を使って、前記光パルスについての１つまたは複数の飛行時間（ＴＯＦ）位相シフトを判断することと
を行うように構成されたセンサーと、
前記センサーに結合されたコントローラであって、
前記１つまたは複数のＴＯＦ位相シフトに基づいて、前記ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断することと、
構造化光の符号化および前記キャプチャされた画像のうちの少なくとも１つに基づいて、前記オブジェクトまでの第２の推定半径方向距離を判断することと、
前記第２の推定半径方向距離に部分的に基づいて、半径方向距離の前記第１のセットから、推定半径方向距離を選択することとを
行うように構成されたコントローラと
を備えるＤＭＡ。
前記照明源は、構造化光のパルスを、第１の時間において第１の時間パルシング周波数で、および前記第１の時間に続く第２の時間において第２の時間パルシング周波数で投射するように構成される、請求項１に記載のＤＭＡ。
前記センサーは、前記第１の時間パルシング周波数および前記第２の時間パルシング周波数の各々について、
前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウを使って第１の未加工データをキャプチャすることと、
前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に第２の未加工データをキャプチャすることと、
前記パルス状照明に対して第１のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に第３の未加工データをキャプチャすることとを行うように構成される、請求項２に記載のＤＭＡ。
前記第１の時間パルシング周波数における前記第１の未加工データは、前記第２の未加工データをキャプチャするのに先立って読み出され、前記第１の時間パルシング周波数での前記第２の未加工データは、前記第１の時間パルシング周波数での前記第３の未加工データをキャプチャするのに先立って読み出される、請求項３に記載のＤＭＡ。
前記センサーは複数の拡張ピクセルを備え、各拡張ピクセルは３つの電荷貯蔵領域を含み、前記第１の時間パルシング周波数で、第１の電荷貯蔵領域は、前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第１の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の第２のセットは、前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、前記第１の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の第３のセットは、前記パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、前記第１の未加工キャプチャに関連する電荷を収集する、請求項２に記載のＤＭＡ。
前記第２の時間パルシング周波数において、前記第１の電荷貯蔵領域は、前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第２の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の前記第２のセットは、前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、前記第２の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の前記第３のセットは、前記パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、前記第２の未加工キャプチャに関連する電荷を収集する、請求項５に記載のＤＭＡ。
前記第１の時間パルシング周波数での前記第１の未加工キャプチャは、前記第２の時間パルシング周波数での前記第２の未加工キャプチャに先立って読み出される、請求項６に記載のＤＭＡ。
前記投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなり、前記ドットパターン中の各ドットは、前記フラッド照明の輝度よりも明るい輝度を有する、請求項１に記載のＤＭＡ。
前記投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなり、前記ドットパターン中の各ドットは、前記フラッド照明の輝度値未満の輝度値を有する、請求項１に記載のＤＭＡ。
前記照明源と前記センサーとの間の距離は５０ｍｍ以下である、請求項１に記載のＤＭＡ。
前記コントローラは、半径方向距離の前記第１のセットからの前記選択された推定半径方向距離に基づいて、前記ローカルエリアの深度マップを取得するようにさらに構成される、請求項１に記載のＤＭＡ。
深度測定アセンブリ（ＤＭＡ）であって、
照明源であって、前記照明源は、光パルスを、１つまたは複数の時間パルシング周波数でローカルエリア中に投射するように構成される、照明源と、
センサーであって、
前記ローカルエリアから反射された前記光パルスの画像をキャプチャすることと、
前記キャプチャされた画像のうちの１つまたは複数を使って、前記光パルスについての１つまたは複数の飛行時間（ＴＯＦ）位相シフトを判断することと
を行うように構成されたセンサーと、
前記センサーに結合された人工現実デバイスであって、
前記１つまたは複数のＴＯＦ位相シフトに基づいて、前記ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断することと、
構造化光の符号化および前記キャプチャされた画像のうちの少なくとも１つに基づいて、前記オブジェクトまでの第２の推定半径方向距離を判断することと、
前記第２の推定半径方向距離に部分的に基づいて、半径方向距離の前記第１のセットから、推定半径方向距離を選択することと
を行うように構成された人工現実デバイスと
を備えるＤＭＡ。
前記人工現実デバイスは、半径方向距離の前記第１のセットからの前記選択された推定半径方向距離に基づいて、前記ローカルエリアの深度マップを取得するようにさらに構成される、請求項１２に記載のＤＭＡ。
前記人工現実デバイスは頭部搭載型ディスプレイ（ＨＭＤ）であり、前記ＤＭＡは前記ＨＭＤの一部であり、前記ＨＭＤは、
前記ローカルエリアの前記深度マップに部分的に基づいて仮想オブジェクトを表示するように構成された電子ディスプレイ要素と、
前記電子ディスプレイ要素から前記ＨＭＤの射出瞳に光を向けるように構成された光学ブロックとを備える、請求項１３に記載のＤＭＡ。
前記照明源は、構造化光のパルスを、第１の時間において第１の時間パルシング周波数で、および前記第１の時間に続く第２の時間において第２の時間パルシング周波数で投射するように構成される、請求項１２に記載のＤＭＡ。
前記センサーは、前記第１の時間パルシング周波数および前記第２の時間パルシング周波数の各々について、
前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウを使って第１の未加工データをキャプチャすることと、
前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に第２の未加工データをキャプチャすることと、
前記パルス状照明に対して第１のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に第３の未加工データをキャプチャすることとを行うように構成される、請求項１５に記載のＤＭＡ。
前記第１の時間パルシング周波数における前記第１の未加工データは、前記第２の未加工データをキャプチャするのに先立って読み出され、前記第１の時間パルシング周波数での前記第２の未加工データは、前記第１の時間パルシング周波数での前記第３の未加工データをキャプチャするのに先立って読み出される、請求項１６に記載のＤＭＡ。
前記センサーは複数の拡張ピクセルを備え、各拡張ピクセルは３つの電荷貯蔵領域を含み、前記第１の時間パルシング周波数で、第１の電荷貯蔵領域は、前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第１の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の第２のセットは、前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、前記第１の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の第３のセットは、前記パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、前記第１の未加工キャプチャに関連する電荷を収集する、請求項１５に記載のＤＭＡ。
前記第２の時間パルシング周波数において、前記第１の電荷貯蔵領域は、前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第２の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の前記第２のセットは、前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、前記第２の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の前記第３のセットは、前記パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、前記第２の未加工キャプチャに関連する電荷を収集する、請求項１８に記載のＤＭＡ。
前記第１の時間パルシング周波数での前記第１の未加工キャプチャは、前記第２の時間パルシング周波数での前記第２の未加工キャプチャに先立って読み出される、請求項１９に記載のＤＭＡ。
深度測定アセンブリ（ＤＭＡ）であって、
照明源であって、前記照明源は、光パルスを、１つまたは複数の時間パルシング周波数でローカルエリア中に投射するように構成される、照明源と、
センサーであって、
前記ローカルエリアから反射された前記光パルスの画像をキャプチャすることと、
前記キャプチャされた画像のうちの１つまたは複数を使って、前記光パルスについての１つまたは複数の飛行時間（ＴＯＦ）位相シフトを判断することと
を行うように構成されたセンサーと、
前記センサーに結合されたコントローラおよび／または人工現実デバイスであって、
前記１つまたは複数のＴＯＦ位相シフトに基づいて、前記ローカルエリア中のオブジェクトまでの推定半径方向距離の第１のセットを判断することと、
構造化光の符号化および前記キャプチャされた画像のうちの少なくとも１つに基づいて、前記オブジェクトまでの第２の推定半径方向距離を判断することと、
前記第２の推定半径方向距離に部分的に基づいて、半径方向距離の前記第１のセットから、推定半径方向距離を選択することと
を行うように構成されたコントローラおよび／または人工現実デバイスと
を備えるＤＭＡ。
前記照明源は、構造化光のパルスを、第１の時間において第１の時間パルシング周波数で、および前記第１の時間に続く第２の時間において第２の時間パルシング周波数で投射するように構成される、請求項２１に記載のＤＭＡ。
前記センサーは、前記第１の時間パルシング周波数および前記第２の時間パルシング周波数の各々について、
前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウを使って第１の未加工データをキャプチャすることと、
前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に第２の未加工データをキャプチャすることと、
前記パルス状照明に対して第１のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に第３の未加工データをキャプチャすることとを行うように構成される、請求項２２に記載のＤＭＡ。
前記第１の時間パルシング周波数における前記第１の未加工データは、前記第２の未加工データをキャプチャするのに先立って読み出され、前記第１の時間パルシング周波数での前記第２の未加工データは、前記第１の時間パルシング周波数での前記第３の未加工データをキャプチャするのに先立って読み出される、請求項２３に記載のＤＭＡ。
前記センサーは複数の拡張ピクセルを備え、各拡張ピクセルは３つの電荷貯蔵領域を含み、前記第１の時間パルシング周波数で、第１の電荷貯蔵領域は、前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第１の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の第２のセットは、前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、前記第１の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の第３のセットは、前記パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、前記第１の未加工キャプチャに関連する電荷を収集する、請求項２２から２４のいずれか一項に記載のＤＭＡ。
前記第２の時間パルシング周波数において、前記第１の電荷貯蔵領域は、前記パルス状照明に対して第１のタイミングシフトをもつ第１のゲート付きシャッターウィンドウ中に、第２の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の前記第２のセットは、前記パルス状照明に対して第２のタイミングシフトをもつ第２のゲート付きシャッターウィンドウ中に、前記第２の未加工キャプチャに関連する電荷を収集し、電荷貯蔵領域の前記第３のセットは、前記パルス状照明に対して第３のタイミングシフトをもつ第３のゲート付きシャッターウィンドウ中に、前記第２の未加工キャプチャに関連する電荷を収集する、請求項２５に記載のＤＭＡ。
前記第１の時間パルシング周波数での前記第１の未加工キャプチャは、前記第２の時間パルシング周波数での前記第２の未加工キャプチャに先立って読み出される、請求項２６に記載のＤＭＡ。
前記投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなり、前記ドットパターン中の各ドットは、前記フラッド照明の輝度よりも明るい輝度を有する、請求項２１から２７のいずれか一項に記載のＤＭＡ。
前記投射される光パルスは、構造化光ドットパターンを重ねられたフラッド照明からなり、前記ドットパターン中の各ドットは、前記フラッド照明の輝度値未満の輝度値を有する、請求項２１から２８のいずれか一項に記載のＤＭＡ。
前記照明源と前記センサーとの間の距離は５０ｍｍ以下である、請求項２１から２９のいずれか一項に記載のＤＭＡ。
前記コントローラおよび／または前記人工現実デバイスは、半径方向距離の前記第１のセットからの前記選択された推定半径方向距離に基づいて、前記ローカルエリアの深度マップを取得するようにさらに構成される、請求項２１から３０のいずれか一項に記載のＤＭＡ。
前記人工現実デバイスは頭部搭載型ディスプレイ（ＨＭＤ）であり、前記ＤＭＡは前記ＨＭＤの一部であり、前記ＨＭＤは、
前記ローカルエリアの前記深度マップに部分的に基づいて仮想オブジェクトを表示するように構成された電子ディスプレイ要素と、
前記電子ディスプレイ要素から前記ＨＭＤの射出瞳に光を向けるように構成された光学ブロックとを備える、請求項２１から３１のいずれか一項に記載のＤＭＡ。