JP2021501892A - 改善された深度画像再構成 - Google Patents

Abstract

本発明は、コントローラ（１１０）、飛行時間型検出器（１３０）、レーザー装置（１４０）、および偏光面を回転させるように構成された偏光回転子を含む光学ユニット（１５０）を含む飛行時間型カメラモジュール（１００）であって、コントローラ（１１０）が、飛行時間型検出器（１３０）およびレーザー装置（１４０）を深度センシングモードで変調するように構成され、飛行時間型検出器（１３０）が、レーザー装置（１４０）によって放射されシーン内の物体から反射された変調レーザー光（１４１）によって深度センシングモードでシーンの深度データを記録するように構成され、前記深度データが距離を表し、コントローラ（１１０）がさらに、飛行時間型検出器（１３０）および偏光回転子を表面偏光センシングモードで変調するように構成され、飛行時間型検出器（１３０）が、偏光回転子を通過した後にシーン内の物体から受け取られた検出光（１３１）によって表面偏光センシングモードでシーンの偏光データを記録するように構成され、前記偏光データが、検出光（１３１）の偏光を表し、検出光（１３１）が、レーザー装置（１４０）および光学ユニット（１５０）によって放射されシーン内の物体から反射される偏光放射光（２０１）を含む、飛行時間型カメラモジュール（１００）を記載する。【選択図】図５

Description

本発明は、飛行時間型カメラモジュール、飛行時間型カメラモジュールを含む深度カメラ、シーンの深度画像を再構成する方法、および対応するコンピュータプログラム製品に関する。

米国特許出願第２０１６／０２６１８４４号明細書は、深度センサーを使用して粗い深度マップを生成し、次いで、偏光キューから計算されたあいまいな表面法線を修正するために制約として粗い深度マップを使用する３Ｄイメージングシステムを開示している。イメージングシステムは、粗い深度マップよりも深度解像度が高い拡張深度マップを出力する。

米国特許第７，９９５，１９１号は、損失変調を使用するスキャナーレスレーザーレンジイメージングを開示している。対象のターゲットを含む視野を照明するために振幅変調ＣＷ光源を利用するスキャナーレス３Ｄイメージング装置が開示されている。ターゲットからの後方散乱光は、光源と同じ周波数で変調される１つ以上の損失変調器を通過するが、固定または可変であり得る位相遅延δがある。後方散乱光は、損失変調器によって復調され、ＣＣＤ、ＣＭＯＳ、または焦点面アレイ（ＦＰＡ）検出器で検出されて、ターゲットの３Ｄ画像を構築する。

米国特許出願第２０１６／０２６１８４４号明細書 米国特許第７，９９５，１９１号

本発明の目的は、深度画像の品質改善を可能にする飛行時間型カメラモジュールを提供することである。本発明は、独立請求項に記載されている。さらなる実施形態は、従属請求項に記載されている。

第１の態様によれば、飛行時間型カメラモジュールが提供される。飛行時間型カメラモジュールは、コントローラ、飛行時間型検出器、レーザー装置、および好ましくは偏光面を連続的に回転させるように構成された偏光回転子を含む光学ユニットを含む。コントローラは、飛行時間型検出器およびレーザー装置を深度センシングモードで変調するように構成されている。飛行時間型検出器は、レーザー装置によって放射されシーン内の物体から反射された変調レーザー光によって、深度センシングモードでシーンの深度データを記録するように構成されている。深度データは、シーン内の物体までの距離を示し得る。したがって、前記深度データは、飛行時間型カメラモジュールとシーン内の物体との間の距離を決定するためのデータであり得る。コントローラは、シーン内の物体までの距離を決定するように適合し得る。コントローラはさらに、飛行時間型検出器および偏光回転子を表面偏光センシングモードで変調するように構成されている。飛行時間型検出器はさらに、偏光回転子を通過した後にシーン内の物体から受け取られた検出光によって、表面偏光センシングモードでシーンの偏光データを記録するように構成されている。偏光データは、検出光の偏光または偏光角を表し得る。したがって、前記偏光データは、検出光の偏光を決定するためのデータであり得る。偏光データは、種々の偏光角で取得された種々のレベル／強度の検出光を含み得る。検出光は、レーザー装置および光学ユニットによって放射されシーン内の物体から反射される偏光放射光を含む。コントローラは、表面偏光またはシーン内の物体から反射された検出光の偏光に基づいて偏光を決定するように適合し得る。

飛行時間型カメラモジュールは、米国特許出願第２０１６／０２６１８４４号明細書に記載の先行技術のソリューションと比較して有利な場合がある。

検出器が、予想される変調反射率信号との相互相関を可能にするため、表面偏光センシングモードで収集された偏光変調角度データは、ノイズが少ない場合がある。

このアプローチにより、変調飛行時間型センサーモジュールの固有のメカニズムをその操作に使用できる。別のセンサーは必要ない。

偏光回転子は、０からＰＩまで可変の指定／制御された角度で、受け取り光の偏光面を回転させることができるフィルター／デバイスである。受け取り光については、制御された角度で単一偏光の光を検出する必要がある。例えば、偏光回転子は、ＬＣＤ偏光回転子と線形偏光子との組合せを含むことができ、これらは、受け取り光の偏光方向のこのような制御された回転を提供できる。同様に、機械的に回転される線形偏光子を使用するか、偏光面の回転を定義して、１つの偏光のみの光を可能にする他の技術を使用できる。

深度センシングモードと表面偏光センシングモードは、非常に異なる変調周波数で動作する。深度センシング偏光周波数は、飛行時間型センサーの深度レンジに関連する。深度レンジがメートルの場合、これは約１０ＭＨｚから２０ＭＨｚである。偏光検出の場合、これはかなり少なくなり、回転子に依存する（ＫＨｚレンジ）。測定が表面の異なる深度の影響を受けないように、偏光検出にはより低い周波数レンジが必要である。これにより、戻り反射光に遅延が生じる。したがって、２つのモードをインテリジェントに組み合わせて、１つの期間内に深度データも偏光データも生成できる。したがって、その後の期間に深度センシングモードおよび表面偏光センシングモードを実行する必要はない。

深度データと偏光データは、飛行時間型カメラモジュールに含まれる任意のメモリデバイスによって記録できる。

コントローラは、飛行時間検出器を（特に表面偏光センシングモードで）正弦波信号で変調するように構成されてもよい。コントローラはさらに、正弦波信号に同期した偏光検出光の偏光面の回転を実現する信号で偏光回転子を変調するように構成されてもよい。好ましくは、変調周波数は、偏光回転子が機能する最高速度であってもよい。例えば、偏光回転子は、線形偏光デバイスおよびＬＣＤ偏光回転子を含んでもよい。例えば、この場合、変調周波数は、１００Ｈｚと１ｋＨｚとの間であってもよい。偏光回転子は、正弦波信号を受け取り、それを使用して対応する駆動電圧を生成し、偏光面または偏光方向の対応する角度を取得する偏光ドライバーによって駆動されてもよい。飛行時間型検出器は、正弦波信号で変調されるが、偏光回転子は、正弦波信号に同期した偏光面の回転を実現する信号で変調される（１つの完全なサイクルの間に０からＰＩに移動する場合）。

コントローラは、前記表面偏光センシングモードではレーザー装置によって放射されたレーザー光の強度が一定であるように構成されてもよい。

あるいは、偏光回転子は、ＬＣＤ偏光回転子と線形偏光子との組合せと同等である機械的回転線形偏光子フィルムを含んでもよい。機械的回転線形偏光子フィルムの回転は、ＬＣＤ偏光回転子に関して説明したのと同様に変調されてもよい。

レーザー装置および光学ユニットは、放射光が円偏光されるように構成されてもよい。レーザー装置によって放射されたレーザー光は、光学素子を通過するレーザー光が円偏光されるように、光学ユニットに含まれる光学素子によって変換されてもよい。例えば、レーザー装置は、線形偏光レーザー光を放射するように構成されてもよく、光学ユニットは、線形偏光レーザー光を円偏光放射光に変換するように構成された四分の一波長板を含んでもよい。

円偏光は、拡散偏光の検出を改善する。拡散偏光はさらに、深度画像の品質を改善するために使用できる。

あるいは、レーザー装置および光学ユニットは、放射光が線形偏光されるように構成されてもよい。

線形偏光子を含む上記の任意の実施形態による飛行時間型カメラモジュールは、線形偏光レーザー光を放射するように構成されているレーザー装置を含んでもよい。レーザー装置は、第１の偏光方向と、第１の偏光方向に垂直な第２の偏光方向との間で切り替わるように構成されてもよい。第１の偏光方向は、線形偏光デバイスの偏光方向に一致させられる。

代替的に、レーザー装置は、線形偏光レーザー光を放射するように構成されてもよく、線形偏光デバイスは、この代替の実施形態では、第３の偏光方向と、第３の偏光方向に垂直な第４の偏光方向との間で切り替わるように構成される。第３の偏光方向は、レーザー光の偏光方向に一致させられる。第１の偏光方向と第３の偏光方向は同一であってもよい。

好ましくは、レーザー光は、連続ＬＣＤ偏光回転子または同等のデバイスを介して放射されてもよく、ＬＣＤ偏光回転子は、飛行時間型カメラモジュールの放射経路および受け取り経路に構成されてもよい。これは、ＬＣＤ偏光回転子を通過した後の、放射光と受け取り光の偏光面または偏光方向が同期して回転することを意味する。

上記２つの代替物で説明した偏光方向の切り替えにより、拡散偏光および拡散偏光と鏡面偏光との組合せを別に検出できる（以下の図１−４および７に関する説明を参照）。

レーザー装置は、近赤外波長レンジのレーザー光を放射するように構成されている垂直共振器面発光レーザーのアレイを含んでもよい。このようなＶＣＳＥＬアレイは、費用効果の高い飛行時間型カメラモジュールを可能にするのに適しているかもしれない。

深度カメラは、上記の任意の実施形態による飛行時間型カメラモジュールを含んでもよい。深度カメラは、コントローラ、飛行時間型検出器、およびレーザー装置を電気的に駆動するように構成された電気ドライバーをさらに含む。深度カメラは、再構成ユニットをさらに含む。再構成ユニットは、深度データおよび偏光データに基づいてシーンの深度画像を提供するように構成される。

第２の態様によれば、深度画像を再構成する方法が提供される。本方法は、
深度センシングモードでレーザー光を放射するステップと、
深度センシングモードで飛行時間型検出器によって物体から反射された検出光を受け取ることによりシーン内の物体の深度データを検出するステップであって、前記深度データがシーン内の物体までの距離を表すステップと、
表面偏光センシングモードで偏光放射光を放射するステップと、
表面偏光センシングモードで物体から反射された受け取り光に含まれる偏光面を（好ましくは連続的に）回転させることにより検出光を生成するステップと、
表面偏光センシングモードで飛行時間型検出器によって検出光を受け取ることによりシーン内の物体の偏光データを検出するステップであって、前記偏光データが検出光の偏光を表すステップと、
深度データと偏光データに基づいてシーンの深度画像を再構成するステップと
を含む。

本方法のステップは、必ずしも上記の順序で実行されなくてもよい。

いくつかのスケジュールに関して深度センシングモードと交替すると、表面偏光センシングモードは、特に次のように動作する（図５と対応する説明も参照）。

レーザー装置（ＶＣＳＥＬアレイなど）は一定の強度で照明される。

適切な周波数の変調された正弦波信号が、偏光回転子（所望の変化のための正しい電圧を生成するためにその電気ドライバーに）にも飛行時間型検出器にも供給される。

偏光回転子は、変調信号と同期して偏光角を連続的に回転させ、１つの完全なサイクルで角度を０°から１８０°まで直線的に変化させる（次いで、直ちに値を０°に切り替えてサイクルを繰り返すか、または１８０°の倍数でのその回転リミットに達するまで継続し、次いで、０°に切り替えるかのいずれか）。

飛行時間型検出器（センサーアレイなど）は、変調反射偏光データを収集し、各点について、位相、変調振幅、平均振幅の値を返す（図５の説明を参照）。

各点について偏光角と天頂角の値が決定される。

（２つの角度のあいまいさがある）各点での表面法線が決定される。

表面法線は、深度画像とともに深度推定の改善などの所望の目的に使用される。

第３の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、上記の深度カメラに含まれる少なくとも１つのメモリデバイスに保存できるコード手段を含む。コード手段は、上記の方法が深度カメラに含まれる少なくとも１つの処理デバイスによって実行できるように構成される。

メモリデバイスまたは処理デバイスは、深度カメラ（例えば、電気ドライバー、コントローラなど）に含まれてもよい。

メモリデバイスは、情報、特にデジタル情報を保存するように構成されている任意の物理デバイスであってもよい。メモリデバイスは、固体メモリまたは光メモリの群から特に選択されてもよい。

処理デバイスは、データ処理、特にデジタルデータの処理を実行するように構成されている任意の物理デバイスであってもよい。処理デバイスは、プロセッサ、マイクロプロセッサ、または特定用途向け集積回路（ＡＳＩＣ）の群から特に選択されてもよい。

請求項１３の深度カメラおよび請求項１４の方法は、特に、深度カメラに含まれる飛行時間型カメラモジュールを参照する従属請求項２から１２に定義されるように、類似および／または同一の実施形態を有することを理解されたい。

本発明の好ましい実施形態は、従属請求項とそれぞれの独立請求項との任意の組合せでもあり得ることを理解されたい。

さらなる有利な実施形態が以下に定義される。

本発明のこれらおよび他の態様は、以下に記載の実施形態を参照して明らかになり、説明されるであろう。

以下、添付の図面を参照して、実施形態に基づいて、本発明を例として説明する。
鏡面偏光反射の主要図を示す図である。 鏡面偏光反射の屈折率および表面法線（天頂）角に対する依存性を示すグラフを示す図である。 拡散偏光反射の主要図を示す図である。 拡散偏光反射の屈折率および表面法線（天頂）角に対する依存性を示すグラフを示す図である。 飛行時間型カメラモジュールの主要図を示す図である。 第１の深度カメラの主要図を示す図である。 第２の深度カメラの主要図を示す図である。 深度画像を再構成する方法の主要図を示す図である。

図では、同様の番号は全体を通して同様の物体を指す。図中の物体は、必ずしも正寸ではない。

以下、本発明の種々の実施形態を図によって説明する。

表面法線データは、線形偏光子の角度レンジで線形偏光子を通過するシーンからの反射光を測定することから推測できる。非偏光によって照明された拡散面からの偏光は、鏡面偏光反射と拡散偏光反射の２つのメカニズムから発生する。第１のメカニズムは、図１および図２に関して説明されている。第２のメカニズムは、図３および図４に関して説明されている。

図１は、鏡面偏光反射の主要図を示す。入射光１１は、材料界面２０によって与えられる表面で鏡面反射される。材料界面２０の上の材料は、例えば、１．０の屈折率の空気であってもよく、材料界面２０の下の材料は、例えば、１．４の屈折率の材料であってもよい。入射光１１の一部は、材料界面２０で鏡面反射され、その結果、鏡面反射光１５は、材料界面２０の表面法線２１とともに入射光１１と同じ天頂角を囲む。入射光１１の別の部分は、透過光１３が最終的に材料内に散乱するように、材料界面２０の表面を介して透過する。

偏光直接表面反射は、異なる入射偏光の光が材料界面の表面から異なって反射されるという結果になる。差異は、反射のフレネルの式によって与えられる。表面は、少なくともある程度、ガラス様表面または金属様表面で反射性である必要がある。偏光反射の程度の差異は、天頂角に対して単調ではない。図２は、異なる屈折率についての鏡面偏光反射の天頂角に対する依存性を示すグラフを示す。横軸は天頂角αを示し、縦軸は鏡面偏光度３１を示す。線３２は１．４の屈折率での鏡面偏光の依存性を示し、線３４は１．６の屈折率での鏡面偏光のわずかに異なる依存性を示す。

図３は、拡散偏光反射の主要図を示す。図１に示される散乱光１４の一部は、透過光１３が材料界面２０の上の「空気」半空間に入るように材料界面２０に到達してもよく、光の別の部分は、反射光１５が材料界面２０の下の「材料」半空間に後方反射されるように反射される。透過光１３は、材料界面２０の表面法線２１とともに天頂角αを囲む。図４は、１．６の屈折率（線４４）の材料および１．４の屈折率の材料についての天頂角αの関数として拡散偏光度４１を示す。

反射光が偏光子を介して観察される場合、表面法線は２つの角度：
１ 反射光強度の最大値の偏光子の角度である、偏光子の角度、
２ 材料の屈折率と偏光度の推定から推測される天頂角（戻り偏光の最大値と最小値との間の反射光強度の差を戻り光の平均強度で割った値）
を決定することにより推測できる。

偏光鏡面反射は、反射光が偏光されたままであるため、検出器（カメラなど）に線形偏光子なく投影偏光を使用して測定することによっても決定できる。

偏光拡散反射は、カメラに線形偏光子なく投影偏光を使用して観察できない。この光が、材料の表層内かつ放射前に散乱するため、脱偏光されるからである。それは、再放射時にのみ偏光される。

拡散偏光は、より容易に観察でき、天頂角αの単調関数を有するため（図４を参照）、偏光反射の差を使用して表面法線を実際に決定するには、観察カメラの前に可変角度線形偏光子が必要である。しかし、偏光照明は、鏡面反射偏光を決定する際、および例えば、投影円偏光を使用することによって結果を改善する際に役割を保持する（図６に関する説明を参照）。

反射偏光法（この場合、可視光２Ｄカメラで）を使用して決定された表面法線の測定値から取得された表面法線データを使用して、３Ｄ深度データの精度を上げることができる（例えば、参照により組み込まれる上記特定された米国特許出願第２０１６／０２６１８４４号明細書を参照）。深度データは、
１． ２つの表面法線角（角度とＰＩ度を加えたその角度）が１組の偏光子と天頂角の推定値と一致するという事実を解決する、
２． 表面法線データのみからの相対深度が、接続された表面にわたって積分することによってのみ求めることができるため、表面が接続されていな異なる物体が設定される絶対深度を解決する。

表面法線データは、深度カメラからの接続された表面深度推定値の不確実性とノイズを補正する。表面偏光データ、例えば鏡面反射度は、グラフィック仮想現実レンダリングに使用できる表面の視覚特性を決定するのに役立つ。滑らかな反射面と拡散面を区別でき、部分的に透明な物体の屈折率を推定できる。

変調飛行時間型測定用センサーでは、シーンの照明は高周波正弦波で強度が変調され、検出器は同じ正弦波周波数で変調され、変調と、異なる「置き場（bins）」に行きつく異なる位相オフセットでの結果がある検知データとの間で相互相関が実行される。これらの「置き場」のデータを使用して、位相、変調振幅、オフセット振幅が簡単な数学を使用して決定できる。位相（変調周波数とともに）は深度、変調振幅は画像の反射率、オフセット振幅は周辺光のレベルを与える。

図５は、飛行時間型カメラモジュール１００の主要図を示す。飛行時間型カメラモジュール１００は、コントローラ１１０、飛行時間型検出器１３０、レーザー装置１４０、光学ユニット１５０およびオプションのデータインターフェースおよび／または電気インターフェース１０５を含む。コントローラ１１０は、レーザー装置１４０の発光を制御し、特に飛行時間型検出器１３０および光学ユニット１５０を変調するように構成される。飛行時間型検出器１３０は、その推定のために高変調周波数で動作し、表面偏光センシングのために低変調周波数で動作するように構成される必要がある（以下を参照）。飛行時間型検出器１３０は、この実施形態では、単一光子アバランシェダイオード（ＳＰＡＤ）アレイを含む。光学ユニット１５０は、この場合、機械的回転線形偏光子フィルム１５４である偏光回転子を含む。一般に、連続回転を可能にし、したがって偏光面の連続選択を可能にする任意の線形偏光フィルター技術を受け取り経路（受け取り光２０３）で使用できる。光学ユニット１５０は、放射光２０１および受け取り光２０３の光路を適合させるためのさらなる光学素子を含んでもよい。レーザー装置１４０は、レーザー（エッジエミッターのアレイなど）およびレーザーをそれぞれの検出モードに応じた電気駆動電流で電気的に駆動するように構成される電気ドライバーをオプションで含む（以下を参照）。あるいは、インターフェース１０５を介してレーザー装置１４０を電気的に駆動してもよい。レーザーは、非偏光レーザー光１４１を放射する。レーザー光１４１は、回転線形偏光放射光２０１が飛行時間型カメラモジュール１００を出るように、機械的回転線形偏光子フィルム１５４を通過する。放射光２０１は、受け取り光２０３が機械的回転線形偏光子フィルムを通過するように、飛行時間型カメラモジュール１００によって照明されるシーン内の物体によって後方反射（拡散および鏡面）され、その結果、検出光１３１は、飛行時間型検出器１３０によって検出される。コントローラ１１０は、レーザー装置１４０、飛行時間型検出器１３０、および機械的回転線形偏光子フィルムの回転を変調するように構成される。コントローラ１１０はさらに、２つのモードで動作する：
１ 深度センシングモード−これは、高変調周波数で強度変調されたレーザー光１４１を使用し、そして同じ周波数で変調された飛行時間型検出器１３０を使用する通常の飛行時間型カメラモードである。シーンの画像の各点について、位相シフト、変調深度、および強度オフセットが収集され使用されて深度および反射画像を生成する。

２ 表面偏光センシングモード−ここでは、レーザー装置１４０により放射されたレーザー光１４１の強度が一定であるが、低周波飛行時間型検出器１３０の変調、偏光回転子（図５に関して説明した機械的回転線形偏光子フィルム１５４の実施形態）の回転と同期して、その表面法線（およびある程度上記その屈折率）に依存するシーンの各点からの反射光強度の正弦波変調という結果になる（各偏光角での反射光のレベルが異なるため）。

偏光回転子は、飛行時間型検出器１３０と同期して表面偏光センシングモードで動作し、飛行時間型検出器１３０の前の平坦化回転子の角度を０°から１８０°まで連続的に回転させる。飛行時間型検出器１３０は、コントローラ１１０によって供給される正弦波と検出光１３１の戻り光強度（これはまた、各点での偏光差によって変調される正弦波になる）との相互相関を生成する。

４つの値は、Ａ０、Ａ１、Ａ２およびＡ３の４つの異なる等間隔の位相オフセットで生成できる。
偏光角＝位相＝ａｔａｎ（（Ａ３−Ａ１）／（Ａ０−Ａ２））
変調振幅＝ｓｑｒｔ（（Ａ３−Ａ１）２＋（Ａ０−Ａ２）２）
平均振幅＝（Ａ０＋Ａ１＋Ａ２＋Ａ３）／４
偏光度＝変調振幅／平均振幅
天頂角＝ｆ（偏光度）（ここで、ｆは偏光度から天頂角を復元する関数である。）
材料の屈折率の推定値が必要である（ほとんどの材料のレンジは１．４から１．６である）。表面法線は、偏光角と天頂角から決定できる（２つの表面法線角が可能な値であるため、あいまいさがある）。コントローラ１１０のメモリデバイスに記録される測定データは、飛行時間型カメラモジュール１００と結合された深度カメラ３００によって提供される深度画像の画質を改善するために使用できる。例えば、コントローラ１１０は、インターフェース１０５によって接続され得る外部データ処理ユニットに測定データを提供するように構成されてもよい。偏光回転子は、深度センシングモードでオフに切り替えられてもよい。

図６は、第１の深度カメラの主要図を示す。第１の深度カメラ３００は、図５に関して説明した飛行時間型カメラモジュール１００の部品または構成要素および電気ドライバー１２０ならびに図５に関する上記深度センシングモードおよび表面偏光センシングモードで記録されたデータに基づいて画像データを提供するように構成された再構成ユニット３１０を含む。電気ドライバー１２０は、コントローラ１１０、レーザー装置１４０、および再構成ユニット３１０を電気的に駆動するように構成される。コントローラ１１０は、変調器１１２、位相オフセットデバイス１１４および偏光ドライバー１１６を含む。変調器１１２は、上記深度センシングモードおよび表面偏光センシングモードに応じた変調を提供するように構成される。位相オフセットデバイス１１４は、例えば、図５に関して説明した４つの等間隔の位相オフセットを決定するように構成される。偏光ドライバー１１６は、光学ユニット１５０に含まれるＬＣＤ偏光回転子１５５を変調器１１２により供給された変調信号に従って駆動するための電圧ドライバーである。光学ユニット１５０は、ＬＣＤ偏光回転子１５５と飛行時間型検出器１３０との間に配置される線形偏光子１５２をさらに含む。線形偏光子１５２の偏光方向が周辺光（太陽からなど）の最適な除去を可能にするように構成される。ＬＣＤ偏光回転子１５５は、変調器１１２および偏光ドライバー１１６によって提供される変調の１つの完全なサイクルで偏光角を０°から１８０°に変化させるように構成された特別な種類の連続偏光角回転子である。この実施形態では、偏光回転子は、ＬＣＤ偏光回転子１５５と線形偏光子１５２との組合せを含む。レーザー装置１４０は、近赤外線波長レンジ（特に８００ｎｍと１２００ｎｍとの間）の線形偏光レーザー光１４１を放射するＶＣＳＥＬアレイである。レーザー光１４１は、円偏光放射光２０１が深度カメラ３００により放射されるように、光学ユニット１５０に含まれる四分の一波長板１５６を通過する。受け取り光２０３は、鏡面拡散反射放射２０１を含む。受け取り光２０３に含まれる偏光の偏光方向は、深度カメラ３００の受け取り部に構成されるＬＣＤ偏光回転子１５５によって連続的に回転する。飛行時間型検出器１３０によって受け取られた検出光１３１の信号強度は、図５に関して説明したのと同様の連続ＬＣＤ偏光回転子１５５の変調と整合する飛行時間型検出器１３０の変調に依存する。さらに、ＬＣＤ偏光回転子１５５によって提供される偏光の相対方向および線形偏光子１５２の既知の偏光方向が考慮される必要がある。飛行時間型検出器１３０は、検出光１３１を収集し、コントローラ１１０は、変調反射偏光データに基づいて、各点について、位相、変調振幅および平均振幅の値を決定し、返す。コントローラ１１０は、各点の偏光角および天頂角の値を決定し、各点の表面法線（２つの角度のあいまいさがある）が決定される。

表面法線は、深度画像とともに深度推定の改善などの所望の目的のために、再構成ユニット３１０によって使用される。例えば、再構成ユニット３１０は、偏光データを収集するように動作する変調飛行時間型検出器１３０の出力から観測点の表面法線を推測するためのアルゴリズム（「表面法線推定アルゴリズム」）を適用するように構成されてもよい。再構成ユニット３１０は、表面法線データを使用して深度データを改善するためのアルゴリズム（「深度改善アルゴリズム」）を適用するようにさらに構成されてもよい。再構成ユニット３１０は、観察されたシーンのグラフィック表現を改善するために観察された表面の屈折率および表面反射特性を推測するためのアルゴリズム（「表面特性視覚化アルゴリズム」）を適用するようにオプションで構成されてもよい。１つ以上のアルゴリズムを含むソフトウェアコードは、メモリデバイスに保存されてもよく、再構成ユニット３１０または深度カメラ３００に含まれる処理デバイスによって実行されてもよい。

図７は、第２の深度カメラ３００の主要図を示す。第２の深度カメラ３００は、図６に関して説明した第１の深度カメラ３００と非常に類似した光学ユニット１５０次第である。レーザー装置１４０は、線形偏光レーザー光１４１を放射するように構成される。光学ユニット１５０は、図６に関して説明したのと同様のＬＣＤ偏光回転子１５５および線形偏光子１５２を含む。ＬＣＤ偏光回転子１５５は、第２の深度カメラ３００の放射経路および受け取り経路に構成された図６に関して説明した実施形態と対照的である。したがって、ＬＣＤ偏光回転子１５５は、表面偏光センシングモードでは、放射光２０１および受け取り光２０３の偏光方向を連続的かつ同時に回転させるように構成される。ＬＣＤ偏光回転子１５５は、深度センシングモードでオフに切り替えられてもよい。線形偏光ＶＣＳＥＬアレイの偏光方向は、線形偏光子１５２の偏光方向に一致させられてもよい。偏光の一致は、表面偏光センシングモードでは、飛行時間型検出器１３０の鏡面偏光および拡散偏光の検出を可能にする。あるいは、線形偏光ＶＣＳＥＬアレイの偏光方向は、線形偏光子１５２の偏光方向に垂直に構成されてもよい。垂直角構成または交差角構成は、拡散偏光のみの検出を可能にする。この構成は、鏡面反射を排除し、したがって拡散偏光をよりきれいに回復するために一致させられた偏光方向と比較して好ましい場合がある。このアプローチは、道路標識の再帰反射体からの過剰な反射など、他の反射光の問題も軽減する。

あるいは、レーザー装置１４０は、２つの偏光状態の間で切り替わるように構成されてもよい。この場合、表面偏光センシングモードは２度実行されるであろう。１度は、レーザー装置１４０の偏光角が線形偏光子１５２と同じ角度であり（「一致角度センシングモード」）、１度は、レーザー装置１４０の偏光角が線形偏光子の角度と９０度である（「交差角度検出モード」）。この実施形態では、表面法線および表面特性（鏡面反射の程度を含む）は、鏡面偏光も拡散偏光も使用して推定できる。レーザー装置１４０は、偏光角の間で切り替えることができてもよく、または両方の偏光方向を可能にする光学素子（ＬＣＤ偏光回転子など）を含んでもよい。あるいは、線形偏光子１５２の偏光方向は、一致角度センシングモードおよび交差角度センシングモードを可能にするように切り替えられてもよい。測定データは、図６に関して説明したのと同様に、コントローラ１１０および再構成ユニット３１０によって抽出および処理されてもよい。

あるいは、コントローラ１１０、レーザー装置１４０、光学ユニット１５０および飛行時間型検出器１３０は、深度データおよび偏光データを同時に決定するように構成されてもよい。深度センシングモードと表面偏光センシングモードは非常に異なる変調周波数で動作するため、２つのモードをインテリジェントに組み合わせて深度データも偏光データも生成できる。例えば、レーザー装置１４０は高周波で、光学装置１５０は低周波で強度を変調でき、（高周波で変調された）飛行時間型検出器１３０の１組のセンサーは、深度情報を収集するが、（低周波で変調された）飛行時間型検出器１３０の別の組のセンサーは、同時に偏光データを収集する。

例えば、再構成ユニット３１０は、図６に関して説明した任意のオプションに従って、処理された測定データに基づいて改善された深度画像を提供するように構成されてもよい。

図８は、深度画像を再構成する方法の主要図を示す。ステップ４１０では、レーザー光１４１は、深度センシングモードで放射される。シーン内の物体の深度データは、深度センシングモードで飛行時間型検出器によって物体から反射された検出光を受け取ることによりステップ４２０で検出される。偏光放射光２０１は、ステップ４３０では、表面偏光センシングモードで放射される。ステップ４４０では、検出光１３１は、表面偏光センシングモードで物体から反射された受け取り光２０３に含まれる偏光面を（好ましくは連続的に）回転させることにより生成される。シーン内の物体の偏光データは、ステップ４５０では、表面偏光センシングモードで飛行時間型検出器１３０によって検出光１３１を受け取ることにより検出される。シーンの深度画像は、深度データおよび偏光データに基づいてステップ４６０で再構成される。

上記の本発明により、以下の測定ができる。

（ｉ） 反射光の偏光角の検出。

（ｉｉ） 拡散反射光偏光と鏡面反射光偏光の分離。

次いで、これは、

（ｉ） データを使用して表面法線を計算することにより深度画像の品質を改善し、

（ｉｉ） 仮想現実レンダリングを改善するために表面特性を決定し、

（ｉｉｉ） 入射偏光を最適にフィルタリングして例えば反射からのグレアを最小にする
ために使用できる。

さらに、本発明は、この機能を、例えば、ＶＣＳＥＬ照明器およびＳＰＡＤ飛行時間型センサーに基づく飛行時間型カメラまたは深度カメラに追加の別のセンサー（標準カメラなど）を必要とせずに可能にする。

本発明を図面および前記説明で詳細に例示および説明してきたが、このような例示および説明は、例示的であり限定的ではないと見なされるべきである。

本開示の読み取りから、他の修正が当業者には明らかであろう。このような修正は、当該技術分野で既に知られており、本明細書に既に説明した特徴の代わりに、またはそれに加えて使用できる他の特徴を含むことができる。

開示された実施形態の変形は、図面、開示、および添付の特許請求の範囲の検討から、当業者によって理解され、達成され得る。特許請求の範囲では、「ｃｏｍｐｒｉｓｉｎｇ」という語は他の要素またはステップを除外せず、不定冠詞「ａ」または「ａｎ」は複数の要素またはステップを除外しない。特定の方策が互いに異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利に使用できないことを示すものではない。

特許請求の範囲の参照符号は、その範囲を限定するものと解釈されるべきではない。

１１ 入射光
１３ 透過光
１４ 散乱光
１５ 鏡面反射光
２０ 材料界面
２１ 表面法線
３１ 鏡面偏光度
３２ １．４の屈折率の鏡面偏光
３４ １．６の屈折率の鏡面偏光
４１ 拡散偏光度
４２ １．４の屈折率の拡散偏光
４４ １．６の屈折率の拡散偏光
１００ 飛行時間型カメラモジュール
１０５ インターフェース
１１０ コントローラ
１１２ 変調器
１１４ 位相オフセットデバイス
１１６ 偏光ドライバー
１２０ 電気ドライバー
１３０ 飛行時間型検出器
１３１ 検出光
１４０ レーザー装置
１４１ レーザー光
１５０ 光学ユニット
１５２ 線形偏光デバイス
１５４ 機械的回転線形偏光子フィルム
１５５ ＬＣＤ偏光回転子
１５６ 四分の一波長板
２０１ 放射光
２０３ 受け取り光
３００ 深度カメラ
３１０ 再構成ユニット
４１０ 放射レーザー光
４２０ 深度データの検出
４３０ 放射偏光
４４０ 検出光の生成
４５０ 偏光データの検出
４６０ 深度画像の再構成
α 天頂角

Claims (15)

1. コントローラ（１１０）、飛行時間型検出器（１３０）、レーザー装置（１４０）、および偏光面を回転させるように構成された偏光回転子を含む光学ユニット（１５０）を含み、
   前記コントローラ（１１０）が、前記飛行時間型検出器（１３０）および前記レーザー装置（１４０）を深度センシングモードで変調するように構成され、前記飛行時間型検出器（１３０）が、前記レーザー装置（１４０）によって放射されシーン内の物体から反射された変調レーザー光（１４１）によって前記深度センシングモードで前記シーンの深度データを記録するように構成され、前記深度データが前記シーン内の前記物体までの距離を表す飛行時間型カメラモジュール（１００）であって、
   前記コントローラ（１１０）がさらに、前記飛行時間型検出器（１３０）および偏光回転子を表面偏光センシングモードで変調するように構成され、前記飛行時間型検出器（１３０）が、前記偏光回転子を通過した後に前記シーン内の前記物体から受け取られた検出光（１３１）によって表面偏光センシングモードで前記シーンの偏光データを記録するように構成され、前記偏光データが前記検出光（１３１）の偏光を表し、前記検出光（１３１）が前記レーザー装置（１４０）および前記光学ユニット（１５０）によって放射され前記シーン内の前記物体から反射される偏光放射光（２０１）を含むことを特徴とする、
   飛行時間型カメラモジュール（１００）。
2. 前記コントローラ（１１０）が、前記飛行時間型検出器（１３０）を正弦波信号で変調するように構成され、前記コントローラ（１１０）がさらに、前記正弦波信号に同期した偏光検出光（１３１）の偏光面の回転を実現する信号で前記偏光回転子を変調するように構成される、請求項１に記載の飛行時間型カメラモジュール（１００）。
3. 前記表面偏光センシングモードでは、前記レーザー装置（１４０）によって放射されたレーザー光（１４１）の強度が一定である、請求項１に記載の飛行時間型カメラモジュール（１００）。
4. 前記偏光回転子が、線形偏光デバイス（１５２）およびＬＣＤ偏光回転子（１５５）を含む、請求項１から３のいずれか一項に記載の飛行時間型カメラモジュール（１００）。
5. 前記偏光回転子が、機械的に回転される線形偏光子フィルム（１５４）を含む、請求項１から３のいずれか一項に記載の飛行時間型カメラモジュール（１００）。
6. 前記レーザー装置（１４０）および前記光学ユニット（１５０）が、前記放射光（２０１）が円偏光されるように構成される、請求項１から５のいずれか一項に記載の飛行時間型カメラモジュール（１００）。
7. 前記レーザー装置（１４０）が、線形偏光レーザー光（１４１）を放射するように構成され、前記光学ユニット（１５０）が、前記線形偏光レーザー光（１４１）を円偏光放射光（２０１）に変換するように構成された四分の一波長板（１５６）を含む、請求項６に記載の飛行時間型カメラモジュール（１００）。
8. 前記レーザー装置（１４０）および前記光学ユニット（１５０）が、前記放射光（２０１）が線形偏光されるように構成される、請求項１から５のいずれか一項に記載の飛行時間型カメラモジュール（１００）。
9. 前記レーザー装置（１４０）が、線形偏光レーザー光（１４１）を放射するように構成され、前記レーザー装置（１４０）が、第１の偏光方向と、第１の偏光方向に垂直な第２の偏光方向との間で切り替わるように構成され、前記第１の偏光方向が、前記線形偏光デバイス（１５２）の偏光方向に一致させられる、請求項４に戻って参照する場合の請求項８に記載の飛行時間型カメラモジュール（１００）。
10. 前記レーザー装置（１４０）が、線形偏光レーザー光（１４１）を放射するように構成され、前記線形偏光デバイス（１５２）が、第３の偏光方向と、第３の偏光方向に垂直な第４の偏光方向との間で切り替わるように構成され、前記第３の偏光方向が、前記レーザー光（１４１）の偏光方向に一致させられる、請求項４に戻って参照する場合の請求項８に記載の飛行時間型カメラモジュール（１００）。
11. 前記レーザー装置（１４０）が、前記ＬＣＤ偏光回転子（１５５）を介して前記レーザー光（１４１）を放射するように構成される、請求項９又は１０に記載の飛行時間型カメラモジュール（１００）。
12. 前記レーザー装置（１４０）が、垂直共振器面発光レーザーのアレイを含む、請求項１から１１のいずれか一項に記載の飛行時間型カメラモジュール（１００）。
13. 請求項１から１２のいずれかに記載の飛行時間型カメラモジュール（１００）を含む深度カメラ（３００）であって、
    前記深度カメラ（３００）が、前記コントローラ（１１０）、前記飛行時間型検出器（１３０）および前記レーザー装置（１４０）を電気的に駆動するように構成された電気ドライバー（１２０）をさらに含み、前記深度カメラ（３００）が、再構成ユニット（３１０）をさらに含み、前記再構成ユニット（３１０）が、前記深度データと前記偏光データに基づいて前記シーンの深度画像を提供するように構成される、深度カメラ（３００）。
14. 深度画像を再構成する方法であって、
    深度センシングモードでレーザー光（１４１）を放射するステップと、
    前記深度センシングモードで飛行時間型検出器（１３０）によって物体から反射された検出光（１３１）を受け取ることによりシーン内の物体の深度データを検出するステップであって前記深度データが前記シーン内の前記物体までの距離を表すステップと、
    表面偏光センシングモードで偏光放射光（２０１）を放射するステップと、
    前記表面偏光センシングモードで物体から反射された受け取り光（２０３）に含まれる偏光面を回転させることにより検出光（１３１）を生成するステップと、
    前記表面偏光センシングモードで前記飛行時間型検出器（１３０）によって前記検出光（１３１）を受け取ることによって前記シーン内の前記物体の偏光データを検出するステップであって前記偏光データが前記検出光の偏光を表すステップと、
    前記深度データと前記偏光データに基づいて前記シーンの前記深度画像を再構成するステップと、
    を含む、方法。
15. 請求項１３に記載の深度カメラ（３００）に含まれる少なくとも１つのメモリデバイスに保存できるコード手段を含むコンピュータプログラム製品であって、前記コード手段が、請求項１４に記載の方法が前記深度カメラ（３００）に含まれる少なくとも１つの処理デバイスによって実行される、コンピュータプログラム製品。

Images