JP2019513976A - ３ｄ結像システムおよび方法 - Google Patents

Abstract

３Ｄ結像システムは、時間の関数として光パルスの戻り部分を変調するための光学変調器を含む。戻り光パルス部分は、３Ｄ画像またはビデオが所望される場面から反射もしくは散乱される。３Ｄ結像システムは、変調された光パルス部分を受け取る要素アレイと、要素アレイに対応するピクセルのセンサアレイとも含む。ピクセルアレイは、光出力を要素アレイから受け取るように位置付けられる。要素アレイは、偏光要素のアレイを含み得、各々は、１つ以上のピクセルに対応する。偏光要素の偏光状態は、戻り光パルスの飛行時間情報が、光パルスの戻り変調部分に応答してピクセルアレイによって生産された信号から測定され得るように構成されることができる。

Description

（米国特許法§１１９に基づく優先権の主張）
本願は、米国仮出願第６２／３０１，５８７号（２０１６年２月２９日出願、名称「Ｓｉｍｐｌｉｆｉｅｄ ３Ｄ Ｉｍａｇｉｎｇ Ｃａｍｅｒａ」）に対する優先権を主張する特許のためであり、上記出願は、完全に記載されている場合と同等にその全体が参照により本明細書に明示的に組み込まれる。

（技術分野）
本開示は、概して、３次元（３Ｄ）結像に関し、より具体的には、３Ｄ情報を捕捉するためのカメラまたはシステムに関する。

場面における表面およびオブジェクトの３Ｄ位置を捕捉することは、ロボットビジョン、自律的車両、およびビデオゲーム制御等の用途のためにますます一般的になりつつある。理想的３Ｄカメラは、今日の２次元（２Ｄ）ビデオカメラおよび携帯電話カメラ機能と同様に高分解能における画像またはビデオとともに、３Ｄ情報を捕捉することが可能である。そのようなカメラのためのサイズ、重量、および電力要件は、重要な考慮点である。これを達成するための現在のアプローチは、分解能および動作範囲ならびに一部のための高コストおよび大物理的サイズにおける弱点に悩まされる。

画像として場面全体の３Ｄ座標を取得するために現在使用されているいくつかの技術は全て、その長所を有するが、それらが高品質３Ｄ画像およびビデオを送達することを妨げる弱点および基本限界も有する。

特に、低コストのための３Ｄの一般的アプローチは、ベースライン距離だけ分離される複数のレンズおよびセンサを使用して３Ｄ効果を提供する立体視カメラである。しかしながら、実際には、高性能映画撮影用機材でさえ、立体視カメラの大部分に対して、３Ｄデータは存在せず、すなわち、３Ｄ効果は、ディスプレイにおける錯視である。これは、３Ｄ情報または座標を要求するいくつかの用途のために、有用ではない。立体視画像は、写真測量法（２つのセンサの対応するピクセルを用いて距離を三角測量する）を使用して３Ｄ幾何学形状データを生成するために使用されることができるが、それは、ベースライン分離のための精密な較正および機械的体積、ならびにかなりの処理を要求する。有効動作範囲は、典型的ベースラインのためにより狭い範囲に限定され、立体視カメラ対からの写真測量法の性能は、照明条件および陰影に敏感である。そのようなデバイスは、暗いまたは厳しい照明下では、良好に動作せず、かなりの計算リソースを要求する。これらの特性は、リアルタイムデータの抽出を小型システムにおいて困難にする。したがって、写真測量法は、いくつかの用途のために適正な解決策ではない。

使用される関連解決策は、光パターンを場面内のオブジェクト上に投影し、別個のセンサを使用して、パターンにおける偏差を検出する。構造化された光プロジェクタおよび画像センサは、異なる透過開口および受信開口を要求し、それは、良好な距離性能のために精密に整列させられ、十分な距離だけおよび分離されなければならない。これらのシステムは、距離情報のために横の分解能を限定するいくつかのパターンを使用するか、または高速移動オブジェクトのために使用されることができない複数の画像を使用する。

距離を測定するためのこれらの幾何学的解決策以外にも、膨大な量の開発労力が、光が場面オブジェクトに進み、３Ｄカメラセンサに戻る飛行時間を測定する時間に敏感なセンサの開発に注がれている。時間を測定するために使用される種々の技法が存在するが、全ては、各ピクセルに対応する回路を伴い、回路は、ピクセルの応答を制御し、そのピクセルに関する光の到着時間を記録する（振幅または位相のいずれかによって）。そのような回路の複雑性ならびに記録される広範なデータは、そのようなセンサの開発を妨げており、最も高度な時間に敏感なセンサでさえも、片側１００〜２００ピクセルに限定される。さらに、ピクセルサイズを低減させる方法が見出され得る場合、縮尺調整は、さらにコストがかかるチップ開発を要求し得る。これらの技法の多くは、照明条件にも敏感であり、現在、短距離の屋内使用に限定されている。これらの解決策のために、各ピクセルは、満足の行く性能を距離測定において得るために、マスタクロックに対して、かつ互いに対して精密にタイミング調整され、それは、時間に敏感なセンサを調整する能力を最新技術を上回ってさらに複雑にし、それは、大まかなジェスチャ認識の現在の使用を超えて広く使用されるためには不十分である。

種々の時間的変調スキームを使用する小型３Ｄカメラが、生産されている。これらのアプローチは全て、３Ｄ効果を達成するために新しい特殊結像センサおよび電子回路を要求し、約２００ピクセル×１６０ピクセルアレイまたはそれより小さいものに限定される。ピクセル数が、時間とともに徐々に増加してはいるものの、依然として低く、かなりの作業が、改良するために依然として必要とされる。それらは、限定される範囲（＜５ｍ）も有し、明るい照明（例えば、屋外）下では、良好に機能しない。これらのセンサは、いくつかの産業用途に好適ではないことが示されている。高性能３Ｄ測定器具は、必要とされる性能のいくつかを達成することができるが、いずれも、リアルタイムに近づいておらず、広範な労力を要求し、多くの用途に要求されるコスト標的への道筋を有していない。

本明細書に開示される３Ｄ結像アプローチに関連する他の公知の技術は、種々の結像用途において偏光グリッドおよび単一センサアレイを使用する以前の試みを含む。

センサアレイと結合された偏光グリッドが、入射光の偏光状態を測定するために使用されている。最も一般的アプローチは、そのピクセルにおける入射光のＳｔｏｋｅｓベクトルを測定するために使用される垂直、水平、４５°、および１３５°等の４つの異なる向きの偏光要素から成るグリッドを使用することである。Ｓｔｏｋｅｓベクトルは、入射光の偏光状態を決定する。センサアレイ全体の各ピクセルのための入射光の偏光状態における変化が、センサアレイ上に結像されている表面の面法線における変化を推定するために使用されることができる。

３Ｄ結像用途のために、面法線における変化は、結像されている表面の傾きの測定を導出するために使用されることができ、それは、次いで、周囲表面に対する深度位置を導出するために使用されることができる。この技法は、３Ｄ表面を平滑光学表面から抽出し、例えば、光学表面の曲率を測定するために使用されている。Ｊ．Ｍｉｌｌｅｒｄ，Ｎ．Ｂｒｏｃｋ、他による「Ｐｉｘｅｌａｔｅｄ Ｐｈａｓｅ−Ｍａｓｋ Ｄｙｎａｍｉｃ Ｉｎｔｅｒｆｅｒｏｍｅｔｅｒ」（Ｆｒｉｎｇｅ ２００５，Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ（２００６年））およびＶ．Ｇｒｕｅｖ，Ｒ．Ｐｅｒｋｉｎｓ，ａｎｄ Ｔ．Ｙｏｒｋによる「ＣＣＤ ｐｏｌａｒｉｚａｔｉｏｎ ｉｍａｇｉｎｇ ｓｅｎｓｏｒ ｗｉｔｈ ａｌｕｍｉｎｕｍ ｎａｎｏｗｉｒｅ ｏｐｔｉｃａｌ ｆｉｌｔｅｒｓ」（Ｏｐｔ．Ｅｘｐｒｅｓｓ １８，ｐ．１９０８７−９４（２０１１年））を参照されたい。

そのような技法は、３Ｄ用途において、入射光の偏光測定を測定するために、偏光グリッドを利用することができ、かつ利用しているが、これらの以前の労力は全て、表面位置の相対測定のみを行う。対照的に、本明細書に開示される新しい方法およびシステムは、変調器と組み合わせられた偏光グリッドを利用し、放出および反射された光の飛行時間を測定し、結像されている表面の絶対位置を導出する。

Ｙａｆｕｓｏの米国特許第７，３０１，１３８号（特許文献１）は、Ｐｏｃｋｅｌｓセルと組み合わせられた単一センサアレイの使用のアプローチを説明する。このアプローチは、Ｗｏｌｌａｓｔｏｎプリズムおよび一連の光学レンズを使用して、偏光要素を距離に伴って分離される２つの光学経路に分割する。このアプローチは、さらなる光学をシステムに追加し、コストならびにサイズおよび重量を増加させるより複雑な光学設計をもたらす。単一センサアレイ上で作成された画像は、異なる画像であり、本質的に、２つの独立センサアレイを単一アレイから作成する。これらの２つの画像は、２つの別個のセンサアレイが使用されているかのように、較正および位置合わせされなければならない。センサアレイの整列は、排除されるが、２つの偏光状態のための別個の光学経路は、各状態が独特の歪を受けることを意味し、それは、本質的に、２つのセンサアレイが使用されているかのように、同等補償、位置合わせ、および較正を要求する。

そのうちのいくつかが上で説明される３Ｄ結像の公知の技法は、いくつかの用途のためにそれらを非実践的または非好適にする深刻な限界を有する。したがって、改良された３Ｄ結像技法の必要がある。

米国特許第７，３０１，１３８号明細書

前述の欠点に対処するために、本明細書に開示される技法は、改良された３Ｄ結像システムを提供する。システムは、時間の関数として光パルスの戻り部分を変調するように構成されている光学変調器を含む。同様にシステム内に含まれる光学要素のアレイは、光パルスの変調された戻り部分を受け取ることができる。アレイの光学要素のうちの少なくとも１つは、光学要素のうちの別のものの第２の光学透過状態と異なる第１の光学透過状態を有する。光学要素のアレイに対応するピクセルのセンサアレイは、システム内に位置付けられ、光出力を光学要素のアレイから受け取る。

開示される技法の別の側面によると、３Ｄ結像の方法は、場面を光パルスで照明することと、光パルスの戻り部分を変調することと、光パルスの変調された戻り部分を光学要素のアレイに通すこととを含む。光学要素のうちの少なくとも１つは、光学要素のうちの別のものの第２の光学透過状態と異なる第１の光学透過状態を有する。ピクセルのセンサアレイは、光出力を光学要素のアレイから受け取る。場面に関する３Ｄ情報が、光学要素のアレイに通された光パルスの変調された戻り部分に応答してセンサアレイによって生産された信号に基づいて、生成される。

前述の概要は、添付の請求項の限界を定義するものではない。他の側面、特徴、および利点も、以下の図および発明を実施するための形態の検証に応じて、当業者に明白である、または明白となるであろう。全てのそのような追加の特徴、側面、および利点は、本説明に含まれ、付随の請求項によって保護されることが意図される。

図面は、例証目的のためだけのものであり、添付の請求項の限界を定義するものではないことを理解されたい。さらに、図内のコンポーネントは、必ずしも、正確な縮尺ではない。図では、同様の参照番号は、異なる図全体を通して対応する部分を指定する。

図１は、変調器および偏光グリッドアレイを採用する例示的３Ｄ（３次元）カメラの簡略化された概念図である。 図２Ａ−Ｂは、第１の配置の偏光要素を示す例示的第１の偏光グリッドアレイの簡略化された概念図である。 図３は、第２の配置の偏光要素を示す例示的第２の偏光グリッドアレイの簡略化された概念図である。 図４は、第３の配置の偏光要素を示す例示的第３の偏光グリッドアレイの簡略化された概念図である。 図５は、保護バンドを有する例示的グリッドアレイピクセル構造の側面図である。 図６は、保護バンドの別の構成を有する、別の例示的グリッドアレイピクセル構造の側面図である。 図７は、垂直保護バンドを有する、さらなる例示的グリッドアレイピクセル構造の側面図である。 図８は、３Ｄ結像システムの別の例を図式的に図示する。 図９は、本明細書に説明されるシステムを使用して３Ｄ画像を捕捉する例示的方法を図示するフローチャートである。

図面を参照し、それを組み込む以下の発明を実施するための形態は、１つ以上の具体的３Ｄ結像システムおよび方法を説明および図示する。限定するのではなく、方法およびシステムを例示および教示するためだけに供給されるこれらの構成は、当業者が技法を実践することを可能にするために十分な詳細で図示および説明される。したがって、必要に応じて、システムおよび方法を曖昧にすることを回避するために、説明は、当業者に公知のある情報を省略し得る。本明細書の開示は、例であり、本願に基づいて最終的に与えられ得る任意の特許請求項の範囲を限定するものとして過度に読まれるべきではない。

単語「例示的」は、本願全体を通して使用され、「例、事例、または例証としての役割を果たす」ことを意味する。任意のシステム、「例示的」として本明細書に説明される方法、デバイス、技法、カメラ特徴等は、必ずしも、他の特徴より好ましいまたは有利であるものとして解釈されるものではない。

概して、本明細書に開示される技法は、光学要素のグリッドを、結像センサアレイ（例えば、焦点面アレイ（ＦＰＡ））の検出表面のピクセル要素の正面に、その正面表面上に、またはそのスタック内に設置することである。これらの要素は、信号を異なる変調状態（変調／非変調状態を含む）から区別するために使用されることができ、基本変調技法に基づいて設計される。例えば、そのような要素は、Ｆａｂｒｙ−Ｐｅｒｏｔキャビティおよび他の位相変調のために透過要素の偏光変化またはパターンをもたらす、位相変調のための偏光要素のパターンを使用し得る。そのような要素は、１つ以上の方法において設計され、組み合わせられ、偏光透過、スペクトル透過、位相透過、強度透過、または光の類似性質における変動を含む、システムの状態を区別することができる。

コンパクト３Ｄカメラシステムは、２０１３年６月２５日に発行された米国特許第８，４７１，８９５Ｂ２号（本明細書に完全に記載される場合と同様に、参照することによってその全体として組み込まれる）（本明細書では、「第’８９５号特許」と称される）に説明される変調されたセンサアプローチの要素を、偏光または透過グリッドアレイと統合することによって達成され得る。本明細書に説明される方法およびシステムを実装するように修正され得る３Ｄ結像システムおよび方法の例は、第’８９５号特許では、例えば、第’８９５号明細書内の図１−１２およびその付随の記述説明に開示される。第’８９５号特許のそれらの部分は、本願に開示される方法を行い、偏光または透過グリッドアレイを含むように構成されることができる３Ｄ結像システムを説明し、参照することによって具体的に本明細書に組み込まれる。

加えて、または代替として、２０１５年４月２７日に出願され、「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｕｓｔ ａｎｄ Ｅｘｔｅｎｄｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｗａｖｅｆｏｒｍｓ ｆｏｒ Ｄｅｐｔｈ Ｓｅｎｓｉｎｇ ｉｎ ３Ｄ Ｉｍａｇｉｎｇ」と題された米国特許出願第１４／６９６，７９３号（本願の主題は、本明細書に完全に記載される場合と同様に、参照することによって全体として明示的に本明細書に組み込まれる）に説明されるパルス光源および方法が、本明細書に開示されるシステムおよび方法と共に使用され得る。

本明細書に開示されるように、いくつかの要素は、別個または組み合わせてのいずれかにおいて、よりコンパクトなモノリシック設計の能力を提供する。各光に敏感なピクセルの背面に複雑な回路およびタイミングアルゴリズムを設置する代わりに、本発明の技法は、各ピクセル、またはピクセルもしくは光に敏感な要素のアレイの正面に必要とされる時間依存要素を設置する。各ピクセルにおける電圧または電荷信号に影響を及ぼす電子手段を使用する代わりに、本発明の技法は、光場に影響を及ぼす光学、電気光学、または他の手段を各ピクセルまたはピクセルのグループの正面で使用し、光子信号に影響を及ぼす。これらの光学手段は、センサアレイに近接近して、センサアレイと対応する光学要素との間に、またはそのような光学要素の正面に設置され、飛行時間情報を含む入射光場からの時間または深度（例えば、ｚ−軸距離）情報の抽出を可能にし得る。

距離情報をエンコードするための第’８９５号特許に説明される変調器の使用（センサアレイの外部で）（具体的には、第’８９５号特許に開示される変調器５２４、７００−７０１、１１２４、１２２４、本説明は、参照することによって具体的に本明細書に組み込まれる）は、コストがかかるカスタムセンサアレイまたはチップ開発の必要性、特に、約２００ピクセルに限定されている、高精度タイミング情報を提供することができる、チップのスケーリングの課題を排除する。変調器アプローチをセンサアレイに結合および整列させられる偏光グリッドと組み合わせることは、２つの別個のセンサアレイと偏光ビームスプリッタ等の嵩張る偏光コンポーネントとを有すべき必要性を排除する。単一センサアレイの場合、２つの仮想アレイ間に整列および位置合わせがある。各偏光ピクセルの場所は、定位置における直交偏光のピクセルおよび任意の面法線の角度に対して自動的に把握される。これは、製造および較正複雑性を低減させる。

偏光グリッドの使用は、偏光分離要素のために使用されるガラスまたは他の材料の厚さを大幅に低減させ、それは、球面および他の光学収差の量を低減させる。従来のシステムでは、これらの収差は、３Ｄカメラの光学システムの光学性能を劣化させるか、または光学システムは、カスタム設計と適合され、そのような収差を除去または補償しなければならないかのいずれかである。本明細書に開示される技法を用いることで、光学要素のために要求される収差補償の量は、低減または排除される。

加えて、偏光グリッドの使用は、変調器／偏光分離／センサアレイを緊密に結合された、またはモノリシックの光学アセンブリの中に作製し、直接、既製の光学レンズまたは結像要素と共に使用され得る可能性を広げる。ウエハスケール製造等のいくつかの状況では、レンズまたは中継光学は、光学変調器とセンサアレイ／偏光グリッドとの間に設置される必要がないであろう。これは、３Ｄカメラシステムのサイズおよびコストを低減させることができる。

３Ｄカメラによって生産および処理されるデータストリームは、１つのみのセンサアレイが存在し、他のセンサアレイとタイミング調整する必要がないので、より単純となる。第’８９５号特許に説明されるように、例えば、図１０を参照して第’８９５号特許（第’８９５号特許のその部分は、本明細書に完全に記載される場合と同様に、参照することによって具体的に組み込まれる）に説明されるように、複数の３Ｄカメラまたはモジュールを一緒に組み合わせる（例えば、達成可能測距分解能を悪化させずに、異なる範囲窓および範囲窓を拡張するための変調波形を使用する）こともより単純となる。

図１に示されるように、電気光学モジュール２１は、偏光要素のグリッド１８を含み、偏光要素のグリッド１８は、電荷結合デバイス（ＣＣＤ）またはピクセルの相補的金属酸化物半導体（ＣＭＯＳ）アレイ等の結像センサ２０の正面に、またはおそらくその表面上に設置される。いくつかの構成では、偏光グリッド層１８は、リソグラフィ処理における追加のステップを使用して、センサアレイ２０の表面上に直接設置されることができる。その他では、グリッド層１８は、透明基板上に設置されることができ、それは、次いで、センサアレイ上、またはその正面に設置される。他の構成では、偏光グリッド１８は、センサアレイの検出器または電子機器の場所より上にある層内に設置されることができる。偏光グリッド１８は、各偏光要素１９の中心が各ピクセル２２の中心とほぼ一致して位置付けられるように整列させられる。いくつかの構成のために、グリッド１８は、交互する偏光要素が直交偏光を通すように配置される。例えば、第１の偏光要素が、垂直偏光を通すように向けられる場合、行または列内の次の要素は、水平偏光を通すように向けられる。直線偏光要素の代わりに、左回りおよび右回りの両方の直交円偏光要素も、使用されることができる。他の構成は、非直交偏光を通す要素を含む他のパターンの偏光要素を使用し得る。

任意の好適な製造技法が、偏光器要素アレイを構築するために採用され得る。例えば、偏光要素１８は、金属ワイヤグリッド偏光器、薄膜偏光層、応力ポリマー、および液晶デバイスから作製される要素を含む、種々の技法、ならびに特定の偏光状態をその他よりも優先的に通す任意の他の技法を使用して作製されることができる。ある場合、偏光要素は、各パルス間またはパルス中のいずれかにおいて、いくつかの制御信号を用いて変化させられることができる材料から作製されることができる。そのような要素は、フィルム堆積技法を使用する種々の方法によって堆積されることができる。いくつかは、散在暴露（複数のビームまたは波長によってを含む）、エッチング、および堆積ステップ等のリソグラフィ技法によって作成されることができる。他のそのような要素は、ポリマー等の材料を引き伸ばすこと、または別様に応力を加えることによって作成されることができる。いくつかの要素は、適切な間隔または寸法の形状および構造の電子ビームまたはレーザ書き込みによって作成されることができる。

いくつかの構成のために、波長に敏感ではない要素が、複数の照明波長または広帯域照明と共に３Ｄ結像をサポートするために使用されることができる。他の構成では、狭容認帯域幅を伴う要素が、光の所望の波長と所望しない波長との間でより効果的に判別するための偏光要素として使用されることができる。

リソグラフィ製作プロセスを使用することによって、任意の偏光器グリッドとセンサアレイとの不整列および非均一間隔、非理想的偏光器性能、ならびにピクセル間のクロストークは、低減させられることができる。偏光器グリッドおよびセンサアレイは両方とも、リソグラフィプロセスを使用して製作されることができるので、間隔の均一性は、マスク設計によって決定され、マスク設計は、通常、ナノメートルレベルまで正確である。整列基準が、２つのグリッドを整列させるために使用されることができ、リソグラフィ精度は、グリッド要素のピッチを正確に合致させることを可能にする。

非理想的偏光器性能は、出力光の最小値と最大値との場所シフトをもたらすであろう。この非理想的挙動は、種々の時間における応答の較正によって対処されることができる。同様に、不完全な偏光コントラスト（透過される偏光の透過と拒絶される偏光の透過との間の比率）は、適切なシステム較正によって管理されることができる。例えば、約５：１、１０：１、またはより高い偏光コントラストは、容認可能性能を伴って使用されることができる。

ピクセルクロストークの場合、すなわち、偏光器要素に対応するもの以外のピクセルに到達する１つの偏光器要素上に入射する光または信号も、較正によって考慮されることができる。異なる較正は、短または長時間スケールにわたって生じ得る、クロストークにおける任意の変化を考慮するために行われることができる。そのような較正は、１回行われることができる、または数回もしくは３Ｄカメラの動作中に行われ得る。そのような較正は、ルックアップテーブル（ＬＵＴ）または他の機能もしくは形態を使用して実装されることができる。

ある影響は、例えば、集光光学のＦ値を変化させることによる、入射光の角度コンテンツが変化するにつれた性能変化であり得る。より高いＦ値光学が、クロストークを低減させるために使用され得る。

いくつかの構成は、不透明セパレータバンドまたは構造をピクセル間に使用するように偏光グリッドを構築することによって、クロストークを低減させ得る。そのようなバンドまたは構造は、１つのピクセル位置から近隣ピクセル位置またはピクセルに交差できる光の量を低減させる。いくつかの構成では、そのようなバンドまたは構造は、全体的有効透過効率も低減させ得る。他の構造も（基板の両側の構造を含む）、クロストークを低減させるために実装されることができる。例えば、不透明または反射構造が、ピクセル間の空間内に作成されることができ、それは、グリッド要素を通して伝送される光が近隣ピクセルの検出器に伝送されることを遮断するであろう。そのような構造またはバンドは、偏光器アレイの正面、偏光器アレイの背面、センサアレイの層内、またはセンサアレイのフォトサイトの周囲、ならびに偏光器アレイ自体内に設置され得る。いくつかの構成では、偏光状態間の保護ピクセルが、使用され得、そこでは、信号は、無視される。例えば、センサアレイピクセルサイズが、小さい、例えば、３ミクロンである場合、偏光器要素は、９ミクロン幅であり、保護ピクセルを覆う３ミクロンセパレータを伴い得る。代替として、保護ピクセルは、特殊分離が要素間のグリッド構造上に存在しない状態で使用され得る。

いくつかの構成のために、偏光器アレイの要素のいくつかは、全く偏光性質を有しないか、または低減させられた偏光性質を有し、正規化信号を決定するためのバイアスを形成し得る。グリッドにおける偏光要素と非偏光要素との任意の好適な配置が、用途およびシステム設計に応じて使用されることができる。これらの非偏光要素は、複数の波長に対して透過においてほぼ均一であることができるか、または、それらは、ＩＲまたはサーマルカメラもしくは他の波長もしくは波長領域における他の配置に対してカラーカメラまたは異なるフィルタのためにＢａｙｅｒパターンと同様に変動することができる。例えば、それらは、光に不透明または低透過であり得る。

いくつかの配置では、偏光器グリッド要素は、センサアレイの単一ピクセルより大きく、例えば、２×２、３×３、４×４、または他の倍数であることができる。要素は、例えば、２×１、３×２、または他の倍数もしくは縦横比に対する長方形、または、非長方形形状である任意の他の配置であることもできる。グリッド要素が、１つのピクセルより大きい場合、透過要素は、波長、角度または他の類似光学性質に基づいて異なる量を透過させる個々のエリアにさらに分割され得る。

処理ソフトウェアにおいて、センサアレイ２０内のピクセルから検出された信号は、ビン処理または別様に処理されることにより、測定のロバスト性を改良すること、雑音もしくは他の有害な影響に対する感度を低減させること、または別様に個々の測定の信号対雑音比を改良することができる。異なる要素または異なるタイプの要素からの値は、所望のアルゴリズム実装および結果に応じて、多くの方法で組み合わせられることができる。

代替として、偏光変調が使用されないＦａｂｒｙ−Ｐｅｒｏｔキャビティまたは他の位相ベースの変調スキーム等の他の変調スキームのために、要素のアレイが偏光要素の代わりに採用されることができ、要素のアレイは、上で説明されるものと同様に、いくつかのパターンにおいて、要素間で透過において変動する。いくつかの要素は、Ｆａｂｒｙ−Ｐｅｒｏｔキャビティのために必要とされる精細度を提供し得る比較的に低透過であることができる一方、いくつかの要素は、比較的に高透過であることができる。高透過要素（Ｆａｂｒｙ Ｐｅｒｏｔキャビティの他側で高透過要素と結合される）は、基礎特許に説明されるように、相対変調信号の決定のために、より低い透過要素に対して信号を補間することを含む非変調基準信号を決定するために使用されることができる。これらのピクセルの配置は、以下により詳細に説明されるように、種々の方法でグループ化されることができる。

他の構成のために、センサアレイ内の個々のピクセル、列、行、またはピクセルのグループの他の配置の利得は、異なる値に調節または設定され、強い信号が存在する要素のグループ間のコントラストを低減させるか、またはより低い信号が存在するピクセルまたはピクセルのグループ間のコントラストを増加させ、それによって、センサまたは３Ｄカメラのダイナミックレンジを増加させることができる。いくつかの構成は、ピクセルまたはピクセルのグループの正面における透過を変化させる追加のフィルタを利用し得る。例えば、ＢａｙｅｒパターンＲＧＢフィルタまたは異なる透過性質の他のパターンが、使用され得る。そのようなフィルタ要素は、複数の波長の光が、３Ｄカメラのための場面を照明するか、または特定の背景もしくは周囲照明を取得するかのいずれかのために使用される場合にも使用され得る。

（偏光アレイ）

偏光状態を分離するためにいくつかの３Ｄカメラにおいて以前に使用されていた嵩張る光学を排除する改良された方法は、偏光要素をセンサアレイの各ピクセルの正面に設置することである。そのようなマイクログリッド偏光アレイは、絶対または相対飛行時間を測定するために使用されることができる。絶対距離測定は、特に、複数のオブジェクトまたは表面が場面内に存在し、それらが接続されないか、または、接続がカメラから見えない場合、とりわけ、誤差蓄積を低減させるために、３Ｄカメラ内で使用されることができる。

図１は、例示的３Ｄカメラ１０の簡略化された斜視概念図であり、変調器１４と、偏光グリッドアレイ１４とを採用し、それらは、入射光１６を受光レンズ１２を通して受け取る。本開示のために、レーザ照明（入射光）１６は、レンズ１２によって、偏光器アレイ１８を通してカメラセンサアレイ２０上に結像され、偏光器アレイ１８は、図１に示されるような偏光方向または透過パラメータのパターンを有する。例えば、図は、各ピクセル２２の正面にあるように配置されるアレイ１８内の交互する水平および垂直直線偏光器を示すが、他の配置および／または円もしくは楕円偏光も、使用されることができる。

図１に示されるように、カメラ１０は、光源２５から放出される照明光を散乱または反射させるオブジェクト１７を有する場面１５から、３Ｄ情報を捕捉し、画像またはビデオも捕捉し得る。光源２５は、第’８９５号特許に説明されるように、照明サブシステムとしてカメラ１０と統合され得るか、または代替として、カメラ１０から分離され得る。光源２５は、第’８９５号特許に説明されるものを含む、場面１５を照明するための任意の好適な手段であり得る。

図１では、分離された要素を有するように示されるが、カメラシステム１０のいくつかの構成では、電気光学モジュール２１は、光学変調器１４と、グリッド１８と、センサアレイ２０と、単一ユニットとして一緒に一体的に形成される変調器１４の前の光学経路内に位置する随意の偏光器（図示せず）とを含み得る。電気光学モジュール２１のこの高度に統合された構成は、本明細書に説明されるリソグラフィ、エッチング、および堆積技法を使用して構築され得る。

例示的偏光器アレイ３０配置が、図２Ａ−Ｂにより詳細に示されており、Ｓは、垂直直線偏光器３２を示し、Ｐは、水平直線偏光器３４を示す。（他の配置も、使用されることができ、ＳおよびＰは、任意の２つの異なる偏光であるか、または非偏光器を表すことができる。）アレイ３０は、図１では、アレイ１８として使用されることができる。アレイ３０は、ガラス基板上に別個に製造され、次いで、各マイクロ偏光器が、図１に示されるように、その中心が下にあるピクセルの中心とほぼ一致するよう位置付けられるように、標準的整列技法を使用して、整列させられ、設置されることができる。

代替として、偏光器３０のグリッドは、標準的リソグラフィ技法を使用して、パッシベーション層等、直接、センサアレイ表面上に作成されることができる。例えば、アルミニウム等の金属層が、表面上に堆積され、その後、フォトレジスト層が堆積され、適切なマスクを伴うフォトレジストを露出し、金属層のいくつかを優先的に除去するために露出されたフォトレジストおよび金属をエッチングし、次いで、残っているフォトレジストを除去し、所望の金属構造を残すことができる。これらの金属層は、必要に応じて、ある場合、＜１μｍ厚、または＜５μｍ厚、もしくは他の厚さであることができる。直接、センサ表面の中に、またはパッシベーション層等のセンサ表面の上方に堆積された層の中に、構造をエッチングすることを含む他の材料または技法も、偏光効果を作成するために使用されることができる。そのような材料または技法の例は、応力ポリマーまたは他の薄膜偏光層をグリッドパターン内に堆積もしくは配置することである。液晶デバイスもしくは構造も、堆積されることができ、いくつかは、電気的に誘発されるパターン化を伴う。その他では、電子ビームまたはレーザ書き込み等の直接エッチング技法が、パターン化された構造を作成するために使用されることができる。そのような層は、単一ステップもしくは複数のステップまたは複数の層もしくは材料および技法の組み合わせにおいて作成され得る。これらの技法および類似技法の実践者に公知のその他は、パターン化された偏光要素を作成するために使用されることができる。

偏光要素アレイ３０は、図５−７の例に示されるようなセンサアレイの上部の層のスタック内のいくつかの層のいずれかに設置され得る。偏光要素をセンサ自体（または付随の層）上に作成するための説明される堆積方法は、偏光要素をセンサアレイの正面に設置される別個の透明または半透明基板（図５の層６４、図６の層８４、および図７の層１０４）上に作成するために使用されることもできる。そのような別個の基板または統合された層は、透過を最大化するために、または迷光を最小化するために塗布される反射防止コーティングも有し得る。偏光状態間の区別を提供する任意の好適な技法が、本明細書に開示される方法およびシステムのために使用されることができる。いくつかの技法は、＞５００：１、いくつかの技法は、＞１００：１、いくつかの技法は、＞５０：１、およびいくつかの技法は、＞１０：１の所望の偏光状態と所望しない偏光状態との間のコントラスト（または比率）を提供する。

図２Ａ−Ｂに図示されるように、偏光要素３２、３４とほぼ同一サイズのピクセルに対して、（１，１）位置におけるピクセルは、垂直に偏光されるピクセル（１，１）に入射する光子束の成分に主に基づく応答を提供する。（１，２）位置におけるピクセルは、交互する偏光のピクセル（１，２）に入射する光子束の成分に実質的に比例する応答レベルを提供する。これは、センサ全体にわたり各ピクセルに対して同様に続く。代替として、主偏光軸は、任意の角度で傾けられることができる。いくつかの構成に対して、交互の偏光器の主軸は、直交する。他の構成のために、主軸は、直交しないこともある。例えば、垂直偏光器は、第２の偏光器タイプと組み合わせられ得、偏光軸は、第１の偏光器に対して４５°角度を形成する。他の構成は、３つ以上の偏光器タイプを使用し、３つ、４つ、またはそれを上回る偏光器タイプを使用し得る。例えば、３つの偏光器タイプの組み合わせは、垂直に対して０°、４５°、および９０°、または、０°、３０°、および６０°、または、他の向きの組み合わせの角度を形成する偏光要素を有し得る。他の構成では、これらの角度は、水平または任意の他の方向に対して参照され得る。これらが配置されるパターンは、図２Ａ−Ｂに示される格子模様パターンで変動することもできる。例えば、Ｓ要素は、それぞれ、行または列全体のいずれか上に配置されることができ、Ｐ要素は、交互する行または列のいずれか上に配置されることができる。いくつかの構成では、ある偏光器タイプが、別のタイプものまたはその他のタイプものより多く存在し得る。

他の構成では、偏光要素は、一緒にグループ化された２つ以上のピクセルのサイズであるようにサイズを決定されることができる（例は、図６に示される）。例えば、偏光要素は、ピクセルサイズまたはピクセルピッチが５．５μｍ（２×２ピクセルグループ化）である場合、１１μｍ×１１μｍであることができる。そのようなピクセルグループ化は、３×３、１×２、３×４、または任意の他の数もしくは配置等、他の好適な数のピクセルを備え得る。任意の他の好適なピクセルサイズまたはピッチが、本明細書に説明されるアレイ内で使用されることができ、例えば、３μｍまたは７μｍもしくは１５μｍである。ピクセルサイズまたはピッチは、非規則的であり得るか、または全てのピクセルが、同一サイズであり得る。いくつかの構成のために、偏光要素は、ピクセル境界に整列させられるか、または各偏光要素の重心は、対応するピクセルの重心に整列させられることができる。他の構成では、要素の少なくともいくつかは、フーリエ変換技法および信号処理または他の処理アルゴリズムを使用して査定され得るいくつかのパターンで不整列にされ得る。

代替として、各ピクセルのための直線偏光構造の代わりに、図４の円偏光構造５０が、上で説明されるように偏光状態を区別するために使用されることができる。例えば、直線偏光の代わりに、図２Ａ−ＢにおけるＳ要素３２は、代わりに、図４に示されるように、右円偏光要素５２であることができ、Ｐ要素３４は、左円偏光要素５４であることができる。任意のタイプの偏光構造または組み合わせの構造が、直交偏光向きを伴う対の要素を含め、開示されるカメラシステム内で使用されることができる。いくつかの構成では、偏光要素は、楕円偏光であり得る。

偏光グリッドアレイ５０のための別の潜在的配置は、図３に図示されており、ピクセル４２のいくつかは、全く偏光構造ではなく、代わりに、全ての偏光を透過させる。この図では、非標識要素４２は、偏光要素を有しておらず、他の要素ＳおよびＰ４４、４６は、上記の通りである。非偏光要素４２は全て、同一または類似透過性質を有し得、例えば、ほぼ１００％の光を透過する。代替として、非偏光要素は、９０％未満の入射光または５０％未満もしくは１０％未満の入射光または任意の他の透過パーセンテージを透過させ得る。透過パーセンテージは、透過要素の全てが同一透過パーセンテージを有していないように、高ダイナミックレンジ（ＨＤＲ）結像または他の強度依存結像技法において使用するためにパターン化され得る。他の構成では、偏光要素は、対応する偏光状態のための異なる透過値を有し得るか、または異なる透過性質を伴う要素が、偏光要素と組み合わせられ得る。

非偏光要素は、さらに、カラーフィルタとして、またはＢａｙｅｒパターンに類似する色もしくは波長に依存する透過パーセンテージを伴って配置され得る。この場合、偏光要素も、全てが同一タイプ（全てＳまたは全てＰのいずれか）であるか、または偏光タイプの任意の他の混合であり得る。カラーフィルタのグリッドは、カラーカメラを作成するために使用され得る。これらのカメラのために、色情報は、センサアレイの直接正面に、あるパターンで設置されるマイクロカラーフィルタのアレイを使用して集められる。最も一般的パターンは、Ｂａｙｅｒの米国特許第３，９７１，０６５号に説明されるように、Ｂａｙｅｒパターンとして知られ、フィルタアレイは、Ｂａｙｅｒフィルタとして知られ、それは、本明細書に開示される要素アレイと共に使用され得る。ある割合のピクセルが、各波長帯（赤色、緑色、および青色）における入射光をモノクロ信号として検出する。色画像が、次いで、デモザイク処理として知られるプロセスを使用して生成され、測定された値および較正された応答曲線を使用して、他のピクセルにおけるＲ、Ｇ、およびＢ応答を計算し、次いで、色値を混合し、ＪＰＧ等のカラーデジタル画像フォーマットで記録されるＲ、Ｇ、およびＢ値を生産する。これらのカラーフィルタグリッドは、入射光の色情報を記録するために使用され得る。

深度情報（ｚ−次元情報）を得るために計算される比率を正規化するために使用される正規化画像は、その関連付けられた偏光状態の強度を決定するためのピクセルの応答を、反対偏光状態の強度を決定するために使用される周囲ピクセルの応答と組み合わせて使用して計算されことができる。これは、周囲ピクセルの値のいくつかの組み合わせを使用して、直交偏光状態の強度の各ピクセルに対して値を補間することによって遂行され得る。この情報に基づく深度座標（ｚ−座標）の決定は、簡単化される。それが、単一アレイ内の値のみを使用し、値が、アレイ内での既知の関係および位置を有するからである。

図２Ａ−Ｂに図示される各ピクセルのための２つの偏光状態の相対強度は、偏光要素偏光状態の測定された値と、他の状態の補間された値とを使用することによって決定されることができる。単一センサアレイを使用して距離を得るために、各ピクセルのための正規化され、組み合わせられた戻りが、Ｂａｙｅｒフィルタベースのカラーデジタルカメラにおいて使用されるものと類似方式において、近隣ピクセルに基づいて計算または補間され得る。例えば、図２Ａ−Ｂに図示されるような要素３０のアレイでは、Ｓは、垂直偏光器をピクセルの正面に有し、Ｐは、水平偏光要素をピクセルの正面に有する。他の偏光状態のいずれも透過させない理想的偏光器を仮定して、正規化分母が、例えば、最近傍アルゴリズムを使用することによって、ピクセル（２，２）に対して計算されるであろう。
同様に、周囲Ｓピクセルの平均を使用して、Ｐピクセルに対しても計算されるであろう。大部分の画像およびオブジェクトは、各ピクセルに対して著しく変化しないので、このタイプのデモザイク処理は、ロバストであり得る。代替として、バイリニア、バイキュービック、または画像デモザイク処理のために使用される他のアルゴリズム等の他のアルゴリズムも、適用されることができる。補間は、ピクセル測定自体ではなく、正規化分母に適用される。単一センサアレイからのこのインタリーブされたピクセルは、第’８９５号特許の図５に示されるように、２つの別個のセンサアレイと組み合わせられる偏光ビームスプリッタプリズム等の嵩張る偏光分離光学を使用するときに誤位置合わせによって生じ得る光学歪を低減させることができる。各ピクセル位置に対する３Ｄ距離情報（ｚ−軸情報）は、第’８９５号特許に説明されるように抽出される。上で説明されるデモザイク処理の一部として、光学およびソフトウェアフィルタが、存在するエイリアシングの量を変化させるために適用されることができる。偏光要素アレイは、アンチエイリアシングフィルタとして使用され得るか、またはホログラフィック要素もしくは他の構造等の他のアンチエイリアシングフィルタと統合されることができる。

開示されるカメラシステム１０は、非理想的偏光状態の場合、または戻り光の入射の角度への光学性能（偏光または透過のいずれか）の任意の依存性が存在する場合にも、性能を発揮し得る。いくつかの構成では、測定された性能は、ほぼ理想的性能と関係づけられるか、またはそれに対して補正されることができる。結像センサアレイまたは偏光もしくは透過要素のいずれかのオフセットおよび非線形応答は、較正ステップを使用して決定されたパラメータを使用して、補正されることができる。

いくつかの構成では、偏光グリッド（非偏光要素を伴うグリッドを含む）の位置は、ある割合のピクセルまでピクセル位置に整列させられることができる。割合は、＜０．１ピクセル、＜０．２ピクセル、＜０．５ピクセル、または他の割合であることができる。これらの影響に加え、開示される単一センサ３Ｄカメラの性能に影響を及ぼし得る非理想的特性は、偏光器グリッドとセンサアレイとの誤整列および非均一間隔、非理想的（例えば、低コントラスト）偏光器性能、ならびにピクセル間のクロストークであり得る。偏光器グリッドおよびセンサアレイは両方とも、リソグラフィプロセスを使用して製作され得るので、間隔の均一性は、ナノメートルレベルまで正確であり得るマスク設計によって決定されることができる。整列基準が、２つのグリッドを整列させるために使用されることができ、リソグラフィ精度は、グリッド要素のピッチを正確に合致させることを可能にする。非理想的偏光器性能は、変調波形にわたって相対応答信号の最小値と最大値のシフトをもたらすであろう。この非理想的挙動は、種々の時間および異なる条件における応答の較正または特徴づけによって対処されることができる。いくつかの構成では、材料は、異なる温度、湿度、振動、または他の環境要因にわたるピクセルに対する偏光器要素の相対移動を最小限にまたは防止するために選定され得る。いくつかのシステムのために、偏光コントラストは、１００：１を上回り、いくつかのシステムのために、＞５０：１、いくつかのシステムのために、＞２０：１、いくつかのシステムのために、＞１０：１、または用途に適切な他のコントラスト比率であることができる。

ある影響は、偏光要素を通過する光が近隣ピクセルに到達するピクセルクロストークであり得る。ピクセル間の不透明セパレータバンドまたは保護バンドが、可能なクロストークを低減させるために使用されることができる。いくつかの構成では、そのようなセパレータバンドは、図５における統合された偏光アレイおよびセンサシステム６０の側面図断面に図示されるように、偏光要素７０間の不透明または半不透明領域７２として設置されることができる。アレイ構造６０は、偏光要素アレイ層６２と、１つ以上の透明層６４と、センサ基板層６６とを含み、センサ基板層６６は、基板７４、センサピクセル６９、および電子または金属化層６８を含む。

セパレータバンド７２は、図５に示される。そのような不透明領域は、リソグラフィマスク設計の一部であることができるか、またはＢａｙｅｒフィルタ等のカラーフィルタのための加工プロセスに類似するドープ領域または光学吸収領域であることができる。そのようなセパレータバンドは、反射層または他の技法から作製され、波長または入射角度に基づく透過を含む透過を低減させることができる。セパレータバンド不透明領域７２は、例えば、アルミニウムのような金属、またはフォトレジスト、またはポリマー、または多結晶性シリコンもしくは他のタイプの半導体材料のような半導体材料等の別の材料の任意の好適な材料であることができる。例えば、ＦＰＡから１０μｍ間隔を置かれるマイクロ偏光器間の１μｍ幅保護バンドのために、入射角度＞６°（＜ｆ／５に匹敵する）が、いくつかのＦＰＡマイクロレンズ設計のための隣接するピクセルに到達し得る。いくつかの構成は、設計に応じて、２μｍまたはより広いもの等のより厚い分離バンドを利用し、クロストークをさらに低減させ得る。

図６に図示される統合された偏光器センサアレイ８０等の他の構成では、セパレータ保護バンド９２は、それらが、かなりの割合のピクセル８９を遮断するように、ピクセルピッチとほぼ同じ幅でまたはより広く作製される。アレイ構造８０は、偏光要素アレイ層８２と、１つ以上の透明層８４と、センサ基板層８６とを含み、センサ基板層８６は、基板９４、センサピクセル８９、および電子または金属化層８８を含む。

図６は、２ピクセル幅（例えば、２×１または２×２または２×３もしく他の２Ｄ配置）である偏光要素９０を使用し、保護バンド（Ｇ）９２が、第３のピクセル８９を覆う設計を図示する。この構成では、保護バンド９２は、設計に応じて、不透明、反射、半透明、または透明、もしくはいくつかの組み合わせであり、クロストークを低減させることができる。保護バンド９２は、製作コストを低減させるために、または他の設計目的のために、偏光要素グリッド全体にわたり変動することを可能にされ得る。そのような保護バンド９２は、上で説明される種々の配置の偏光要素と組み合わせられることができる。ピクセル間の光クロストークの防止に加え、他の構成が、決定的かつ一定であるか、または一部もしくは全部の結像パラメータに対して特徴づけされることができる限り、較正によって、ピクセルクロストークに対処することができる。ピクセルクロストークが、低減させられなければならない場合、より広い保護バンドが、規定されることができるか、マイクロレンズおよび／または保護バンドの組み合わせが設計に追加されることができるか、または、保護ピクセルが使用されることができる。任意の設計において、マイクロレンズアレイは、必要に応じて、ピクセル化偏光器または透過グリッド構造の正面もしくは背面に設置されることができる。

他の構成では、不透明または反射構造は、セパレータバンドまたは保護バンド１１２として、ピクセル検出器層１０６の正面における透明層１０４のスタック内に含まれ、他のピクセルに到達し得る、クロストーク光の量を低減させることができる。この構成の例は、図７の統合されたアレイ１００に示される。アレイ構造１００は、偏光要素アレイ層１０２と、１つ以上の透明層１０４と、センサ基板層１０６とを含み、センサ基板層１０６は、基板１１４、センサピクセル１０９、および電子または金属化層１０８を含む。図７は、１つの偏光要素１１０に入射する光が近隣ピクセルに到達することを防止するためのピクセル１０９間の垂直壁１１２としての不透明構造の例示的設置を示す。そのような構造１１２は、偏光要素グリッド構造層１０２に到達することができるか、または構造は、着目設計のための必要に応じて、センサ層１０６と構造１０２との間の高さの＞９０％、もしくは＞７５％、もしくは＞５０％、もしくは他の量にしか到達しないこともある。いくつかの構成では、これらの構造１１２は、上部（センサから最も遠い）でより狭く、底部でより広くなるように成形されることができる。他の構成は、構造１１２を上部でより広くすること、または完全に垂直にすることによって、クロストークに影響を及ぼすことができる。センサ１０９設計自体および金属化層１０８も、類似方式で成形されるか、または隣接するセンサピクセル１０９に到達し得る光の量を低減させるようにより高くされることができる。他の構成は、散乱される光を低減させるための吸収材料または光を他のピクセルから離れるように向かわせるための他の構造を利用することができる。他の構成では、構造１１２は、半不透明または半反射性であることができる。

（透過ベースのアレイ）

他の構成では、２つ以上の状態間の区別が、上で説明されるもの等の偏光変動ではなく、他の透過変動を介して行われることができる。例えば、可変Ｆａｂｒｙ−Ｐｅｒｏｔエタロンが、使用され、偏光状態に対する第’８９５号特許のそれに類似するいくつかの制御手段によって、透過を変動させることができる。例えば、Ｆａｂｒｙ−Ｐｅｒｏｔキャビティ内の位相が、電圧を電気光学材料に印加することによって、電圧を圧電材料に印加することによって、電圧を液晶に印加することによって、またはある他の類似手段によって、変動させられることができる。そのような場合、結像センサのピクセルは、図３における例証と同様に、異なるグループに分割されることができる。図２ＡにおけるＳによって示されるもの等の１つのグループのピクセルは、好適な反射率Ｒの反射コーティングを有し、Ｆａｂｒｙ−Ｐｅｒｏｔエタロンの所望の精細度を達成することができる。図２ＡにおけるＰによって示されるもの等の別のグループのピクセルは、１００％、または＞９９％、または＞９５％、または＞９０％、または＞８０％もしくは他の所望の透過等、異なる透過レベルを有する反射または反射防止コーティングを有することができる。これらの高透過ピクセルは、方程式（１）を使用して計算される分母として使用され得る信号値を提供し、Ｓピクセルに関する値は、上で説明される方法と同様に、補間によって決定されることができる。

ピクセルのそのようなグループ化は、図２−７に図示されるようなアレイまたは望ましくあり得る他の配置であることができる。３つ以上のグループを伴う透過のより複雑なグループ化も、使用されることができる。反射コーティングは、直接、結像センサ上、例えば、センサアレイチップのパッシベーション層の上部に堆積され得る。代替として、そのようなコーティングは、結像センサアレイの正面に設置され得る追加の基板上に堆積されることができ、反射エリアは、結像センサのピクセルに整列させられる。他の構成は、センサを構成する層のスタック内に堆積されたそのようなコーティングを有し得る。これらのコーティングの堆積は、反射コーティングを作成するために公知の技法によって行われことができ、酸化物またはフッ化物等の透明材料を使用し得るか、もしくは他の類似材料またはコーティングは、金、銀、アルミニウム、半導体、もしくは他のそのような材料等の金属または他のより不透明もしくは半透明材料の薄いもしくは半透明の層から作製され得る。材料は、特定の着目波長において有利であるように選定されることができるか、または複数の波長もしくは広帯域照明との使用のために選定され得る。

この透過パターン化は、単一基板上で行われることができるか、または、それは、電場印加もしくは他の透過パターン化のためのコーティングのより広いスタックの一部であり得る。例えば、Ｆａｂｒｙ−Ｐｅｒｏｔ変調器のために、透過グリッドは、Ｆａｂｒｙ−Ｐｅｒｏｔキャビティの両側を形成する要素上にパターン化されることができる。そのような設置は、システム設計要件に基づいて選択されることができる。

加えて、コーティングパターンまたはグループ化が、単一プロセスステップまたは複数の堆積およびエッチングステップのいずれかにおいて、均一厚を維持するための方法において適用され得る。

図８は、３Ｄ結像センサシステムまたはカメラ１２０の別の例を図式的に図示する。センサシステム１２０は、随意に、第’８９５号特許の図５（第’８９５号特許のその部分は、記載されるその全体として本明細書に記載される場合と同様に、参照することによって具体的に組み込まれる）に関連して図示および説明される可視結像サブシステム５３０を含み得る。サブシステム５３０は、明確にするために、図８から省略される。

システム１２０は、受光（Ｒｘ）レンズ１２１と、帯域通過フィルタ（ＢＰＦ）１２２と、変調器１２４と、補償器（Ｃｐ．）１２５と、結像レンズ１２６と、ＦＰＡ１２９とを含み、それぞれ、第’８９５号特許の図５に図示される対応するコンポーネントに関して説明されるものと同一であり得る（第’８９５号特許の図５要素のそのような説明は、本明細書に完全に記載される場合と同様に、参照することによって具体的に組み込まれる）。しかしながら、システム１２０は、例えば、図２−７を参照して本明細書に説明される、偏光アレイまたは透過ベースのアレイのいずれかであり得る要素アレイ１２８も含む。

いくつかの構成は、第’８９５号特許の図５に示される全てのカメラ要素を使用し得る。例えば、システム１２０は、変調器の前の任意の好適な位置（ここでは、帯域通過フィルタ１２２と変調器１２４との間）にある、ビームスプリッタ１２３を含むことができ、それは、受光された光の一部をＦＰＡ１１９に向かわせ、ＦＰＡ１１９は、それに基づいて、場面の画像を得る。光の残りは、変調器１２４に伝送され、変調器１２４は、それを通して伝送される光を変調し、ＦＰＡ１２９は、それに基づいて、場面の画像を得る。いくつかの構成では、ＦＰＡ１１９およびＦＰＡ１２９によって得られる画像は、前者が非変調光に基づき、後者が変調光に基づくという点において異なり得る。ＦＰＡ１１９によって得られる画像は、ＦＰＡ１２９によって得られる画像を正規化するために使用され得る。具体的には、ＦＰＡ１１９の任意のピクセル（ｉ，ｊ）における強度は、方程式（８）−（１５）を参照して第’８９５号特許に議論される距離計算における値Ｉ_{ｔｏｔａｌ，ｉ，ｊ}として使用され得る（その主題は、完全に本明細書に記載される場合と同様に、参照することによって具体的に組み込まれる）。代替として、いくつかの構成では、ＦＰＡ１１９によって測定された強度は、必要とされず、代わりに、上で説明されるように、ＦＰＡ１２９からのデモザイク処理された強度和を使用する。

他の構成では、ＦＰＡ１１９は、可視光または赤外線光もしくは他のスペクトル領域等、異なる波長または複数の波長の画像のために使用される。他の構成では、示されるコンポーネントのいくつかは、省略されるか、または順序が変更され得る。例えば、いくつかの構成では、ビームスプリッタ１２３は、別の種々の偏光プレートもしくは光学によって置換されるか、または、いくつかのインスタンスのために、入射偏光状態が十分な品質である場合、完全に省略され得る。いくつかの構成では、補償器１２５および／または結像レンズは、省略されることができる。帯域通過フィルタ１２２も、背景光が無視され得る好適な環境のために、省略されることができる。代替として、コンポーネント１２４−１２８またはそのいくつかのサブセットは、他の構成では、ビームスプリッタ１２３とＦＰＡ１１９との間で繰り返されることができる。ＦＰＡ１１９と１２９との間の変調パターンは、第‘８９５号特許に説明されるように、同一もしくは異なる長さまたは形状もしくは構造における他の差異であることができる。ＦＰＡ１１９、１２９のいずれかまたは両方から得られた信号は、第‘８９５号特許に説明されるアルゴリズムにおいて組み合わせられることができる。

第’８９５号特許に説明される他の技法は、本明細書に開示されるような透過アレイを使用して、３Ｄカメラと組み合わせられることができる。

図９は、本明細書に説明されるシステムを使用して３Ｄ画像を捕捉する例示的方法を図示するフローチャート２００である。ボックス２０２では、場面が、光源２５から放出される光パルス、例えば、第’８９５号特許に説明されるように、レーザパルスを用いて照明される。光パルスの一部は、場面内のオブジェクトから散乱または反射され、３Ｄカメラの受光光学に戻る。ボックス２０４では、光パルスの戻り部分は、カメラ内の変調器によって、時間の関数として変調される。変調器は、任意の好適な光学変調器、例えば、Ｐｏｃｋｅｌｓセルまたは代替として、Ｆａｂｒｙ−Ｐｅｒｏｔ変調器であり得る（両方とも、第’８９５号特許に説明される）。

次に、ボックス２０６では、変調された戻り光パルス部分は、本明細書に開示されるもののいずれか等の要素アレイを通過する。要素アレイは、所定の様式でセンサアレイ内のピクセルに対応するように配置される。ボックス２０８では、光部分は、ピクセル化センサアレイにおいて受光され、それは、受け取られた光に応答して、電気信号を生成する。信号は、次いで、ソフトウェアを起動させ、飛行時間情報を決定するデジタル信号プロセッサ（ＤＳＰ）またはマイクロプロセッサ等のプロセッサによって処理され、それは、次いで、ｚ−軸情報を決定し、場面の３Ｄ画像を生産するために使用されることができる。

例に応じて、本明細書に説明される方法のいずれかのある行為またはイベントは、異なるシーケンスで行われることができ、追加、融合、または完全に省略され得る（例えば、全ての説明される作用またはイベントが、方法の実践のために必要なわけではない）ことを理解されたい。さらに、ある例では、行為またはイベントは、連続してではなく、並行して、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサを通して行われ得る。加えて、本開示のある側面は、明確性の目的のために、単一モジュールまたはコンポーネントによって行われるように説明されるが、本開示の技法は、３Ｄ結像システムと関連付けられたコンポーネントまたはモジュールの任意の好適な組み合わせによって行われ得ることを理解されたい。

要約すると、本明細書に開示されるシステムおよび方法は、異なる信号を通す異なる要素のグループを有する適切なグリッド／アレイを使用することによって、相対位相または他の変調を測定または査定可能である。グリッド／アレイ内の要素のタイプは、選定される変調技法の必要性に基づいて決定される。例えば、偏光要素が、入射光の偏光位相または状態を変化させる変調技法のために使用されることができる。または、透過要素が、位相が変調されるＦａｂｒｙ−Ｐｅｒｏｔ配置において使用されることができる。この配置は、センサアレイ内でピクセルによって分離されることができる少なくとも２つの異なる時間依存透過機能を可能にする。

上で説明される方法、デバイス、カメラ、システム、および装置の他の構成ならびに修正は、これらの教示に照らして、当業者に容易に想起されるであろう。したがって、前述の説明は、例証的であり、制限的ではない。ある例示的技法が、説明されたが、これらおよび他の技法も、以下の請求項の範囲内である。

Claims (20)

1. ３Ｄ結像システムであって、前記システムは、
   時間の関数として光パルスの戻り部分を変調するように構成されている光学変調器と、
   前記光パルスの前記変調された戻り部分を受け取る光学要素のアレイであって、前記光学要素のうちの少なくとも１つは、前記光学要素のうちの別のものの第２の所定の光学透過状態と異なる所定の第１の光学透過状態を有する、光学要素のアレイと、
   前記光学要素のアレイに対応するピクセルのセンサアレイであって、前記ピクセルのセンサアレイは、光出力を前記光学要素のアレイから受け取るように位置している、センサアレイと
   を備えている、システム。
2. 前記光学要素のアレイは、複数の偏光要素を含む、請求項１に記載のシステム。
3. 前記偏光要素は、互いに対して略直交偏光状態を伴う偏光要素を含む、請求項２に記載のシステム。
4. 前記光学変調器は、前記光パルスの前記戻り部分の偏光状態を変調するように構成されている、請求項１に記載のシステム。
5. 前記光学要素のアレイは、第１の透過レベルを有する第１の反射コーティングを有する第１のグループの要素と、前記第１の透過レベルと異なる第２の透過レベルを有する第２の反射コーティングを有する第２のグループの要素とを含む、請求項１に記載のシステム。
6. 前記光学変調器は、可変Ｆａｂｒｙ−Ｐｅｒｏｔエタロンを含む、請求項１に記載のシステム。
7. 前記光学要素のアレイは、前記ピクセルのセンサアレイ上に一体的に形成されている、請求項１に記載のシステム。
8. 前記光学要素のアレイは、前記センサアレイのピクセル間のクロストークを低減させるように構成されている１つ以上のセパレータバンドを含む、請求項１に記載のシステム。
9. 前記センサアレイ内のピクセル間に形成され、前記ピクセル間のクロストークを低減させる１つ以上のセパレータ壁をさらに備えている、請求項１に記載のシステム。
10. 前記光パルスを放出するための光源をさらに備えている、請求項１に記載のシステム。
11. 前記光パルスの前記戻り部分を受け取るために前記変調器の前に位置している受光レンズをさらに備えている、請求項１に記載のシステム。
12. ３Ｄ結像システムであって、前記システムは、
    時間の関数として光パルスの戻り部分を変調するための光学変調器と、
    前記光パルスの変調された戻り部分を前記光学変調器から受け取るように構成されている電気光学モジュールであって、前記電気光学モジュールは、
    ピクセルのセンサアレイと、
    前記光パルスの前記変調された戻り部分を受け取るために前記センサアレイ上に形成されている光学要素のアレイであって、前記光学要素のうちの少なくとも１つは、前記光学要素のうちの別のものの第２の所定の光学透過状態と異なる所定の第１の光学透過状態を有する、光学要素のアレイと
    を含む、電気光学モジュールと、
    プロセッサと
    を備え、
    前記プロセッサは、前記ピクセルのセンサアレイからの信号を処理し、場面に関する３Ｄ情報を生成するように構成され、前記信号は、前記光パルスの前記変調された戻り部分に応答して生産される、システム。
13. 前記光学要素のアレイは、互いに対して異なる偏光状態を伴う複数の偏光要素を含む、請求項１２に記載のシステム。
14. 前記光学要素のアレイは、第１の透過レベルを有する第１の反射コーティングを有する第１のグループの要素と、前記第１の透過レベルと異なる第２の透過レベルを有する第２の反射コーティングを有する第２のグループの要素とを含む、請求項１２に記載のシステム。
15. 前記光学要素のアレイは、前記センサアレイのピクセル間のクロストークを低減させるように構成されている１つ以上のセパレータバンドを含む、請求項１２に記載のシステム。
16. 前記センサアレイ内のピクセル間に形成され、前記ピクセル間のクロストークを低減させる１つ以上のセパレータ壁をさらに備えている、請求項１２に記載のシステム。
17. 前記光学変調器は、前記電気光学モジュール内に含まれ、前記光学変調器、センサアレイ、および光学要素のアレイは、単一ユニットの中に一体的に形成されている、請求項１２に記載のシステム。
18. 前記光パルスの前記戻り部分を受け取るために前記変調器の前に位置している受光レンズをさらに備えている、請求項１２に記載のシステム。
19. 前記光学変調器は、Ｐｏｃｋｅｌｓセルを含む、請求項１２に記載のシステム。
20. 方法であって、前記方法は、
    場面を光パルスで照明することと、
    前記光パルスの戻り部分を変調することと、
    前記光パルスの前記変調された戻り部分を光学要素のアレイに通すことであって、前記光学要素のうちの少なくとも１つは、前記光学要素のうちの別のものの第２の所定の光学透過状態と異なる所定の第１の光学透過状態を有する、ことと、
    ピクセルのセンサアレイにおいて、光出力を前記光学要素のアレイから受け取ることと、
    前記光学要素のアレイに通された前記光パルスの前記変調された戻り部分に応答して前記センサアレイによって生成された信号に基づいて、場面に関する３Ｄ情報を生成することと
    を含む、方法。