JP2021501892A - 改善された深度画像再構成 - Google Patents
改善された深度画像再構成 Download PDFInfo
- Publication number
- JP2021501892A JP2021501892A JP2020524463A JP2020524463A JP2021501892A JP 2021501892 A JP2021501892 A JP 2021501892A JP 2020524463 A JP2020524463 A JP 2020524463A JP 2020524463 A JP2020524463 A JP 2020524463A JP 2021501892 A JP2021501892 A JP 2021501892A
- Authority
- JP
- Japan
- Prior art keywords
- polarization
- flight
- time
- depth
- polarized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本発明は、コントローラ(110)、飛行時間型検出器(130)、レーザー装置(140)、および偏光面を回転させるように構成された偏光回転子を含む光学ユニット(150)を含む飛行時間型カメラモジュール(100)であって、コントローラ(110)が、飛行時間型検出器(130)およびレーザー装置(140)を深度センシングモードで変調するように構成され、飛行時間型検出器(130)が、レーザー装置(140)によって放射されシーン内の物体から反射された変調レーザー光(141)によって深度センシングモードでシーンの深度データを記録するように構成され、前記深度データが距離を表し、コントローラ(110)がさらに、飛行時間型検出器(130)および偏光回転子を表面偏光センシングモードで変調するように構成され、飛行時間型検出器(130)が、偏光回転子を通過した後にシーン内の物体から受け取られた検出光(131)によって表面偏光センシングモードでシーンの偏光データを記録するように構成され、前記偏光データが、検出光(131)の偏光を表し、検出光(131)が、レーザー装置(140)および光学ユニット(150)によって放射されシーン内の物体から反射される偏光放射光(201)を含む、飛行時間型カメラモジュール(100)を記載する。【選択図】図5
Description
本発明は、飛行時間型カメラモジュール、飛行時間型カメラモジュールを含む深度カメラ、シーンの深度画像を再構成する方法、および対応するコンピュータプログラム製品に関する。
米国特許出願第2016/0261844号明細書は、深度センサーを使用して粗い深度マップを生成し、次いで、偏光キューから計算されたあいまいな表面法線を修正するために制約として粗い深度マップを使用する3Dイメージングシステムを開示している。イメージングシステムは、粗い深度マップよりも深度解像度が高い拡張深度マップを出力する。
米国特許第7,995,191号は、損失変調を使用するスキャナーレスレーザーレンジイメージングを開示している。対象のターゲットを含む視野を照明するために振幅変調CW光源を利用するスキャナーレス3Dイメージング装置が開示されている。ターゲットからの後方散乱光は、光源と同じ周波数で変調される1つ以上の損失変調器を通過するが、固定または可変であり得る位相遅延δがある。後方散乱光は、損失変調器によって復調され、CCD、CMOS、または焦点面アレイ(FPA)検出器で検出されて、ターゲットの3D画像を構築する。
本発明の目的は、深度画像の品質改善を可能にする飛行時間型カメラモジュールを提供することである。本発明は、独立請求項に記載されている。さらなる実施形態は、従属請求項に記載されている。
第1の態様によれば、飛行時間型カメラモジュールが提供される。飛行時間型カメラモジュールは、コントローラ、飛行時間型検出器、レーザー装置、および好ましくは偏光面を連続的に回転させるように構成された偏光回転子を含む光学ユニットを含む。コントローラは、飛行時間型検出器およびレーザー装置を深度センシングモードで変調するように構成されている。飛行時間型検出器は、レーザー装置によって放射されシーン内の物体から反射された変調レーザー光によって、深度センシングモードでシーンの深度データを記録するように構成されている。深度データは、シーン内の物体までの距離を示し得る。したがって、前記深度データは、飛行時間型カメラモジュールとシーン内の物体との間の距離を決定するためのデータであり得る。コントローラは、シーン内の物体までの距離を決定するように適合し得る。コントローラはさらに、飛行時間型検出器および偏光回転子を表面偏光センシングモードで変調するように構成されている。飛行時間型検出器はさらに、偏光回転子を通過した後にシーン内の物体から受け取られた検出光によって、表面偏光センシングモードでシーンの偏光データを記録するように構成されている。偏光データは、検出光の偏光または偏光角を表し得る。したがって、前記偏光データは、検出光の偏光を決定するためのデータであり得る。偏光データは、種々の偏光角で取得された種々のレベル/強度の検出光を含み得る。検出光は、レーザー装置および光学ユニットによって放射されシーン内の物体から反射される偏光放射光を含む。コントローラは、表面偏光またはシーン内の物体から反射された検出光の偏光に基づいて偏光を決定するように適合し得る。
飛行時間型カメラモジュールは、米国特許出願第2016/0261844号明細書に記載の先行技術のソリューションと比較して有利な場合がある。
検出器が、予想される変調反射率信号との相互相関を可能にするため、表面偏光センシングモードで収集された偏光変調角度データは、ノイズが少ない場合がある。
このアプローチにより、変調飛行時間型センサーモジュールの固有のメカニズムをその操作に使用できる。別のセンサーは必要ない。
偏光回転子は、0からPIまで可変の指定/制御された角度で、受け取り光の偏光面を回転させることができるフィルター/デバイスである。受け取り光については、制御された角度で単一偏光の光を検出する必要がある。例えば、偏光回転子は、LCD偏光回転子と線形偏光子との組合せを含むことができ、これらは、受け取り光の偏光方向のこのような制御された回転を提供できる。同様に、機械的に回転される線形偏光子を使用するか、偏光面の回転を定義して、1つの偏光のみの光を可能にする他の技術を使用できる。
深度センシングモードと表面偏光センシングモードは、非常に異なる変調周波数で動作する。深度センシング偏光周波数は、飛行時間型センサーの深度レンジに関連する。深度レンジがメートルの場合、これは約10MHzから20MHzである。偏光検出の場合、これはかなり少なくなり、回転子に依存する(KHzレンジ)。測定が表面の異なる深度の影響を受けないように、偏光検出にはより低い周波数レンジが必要である。これにより、戻り反射光に遅延が生じる。したがって、2つのモードをインテリジェントに組み合わせて、1つの期間内に深度データも偏光データも生成できる。したがって、その後の期間に深度センシングモードおよび表面偏光センシングモードを実行する必要はない。
深度データと偏光データは、飛行時間型カメラモジュールに含まれる任意のメモリデバイスによって記録できる。
コントローラは、飛行時間検出器を(特に表面偏光センシングモードで)正弦波信号で変調するように構成されてもよい。コントローラはさらに、正弦波信号に同期した偏光検出光の偏光面の回転を実現する信号で偏光回転子を変調するように構成されてもよい。好ましくは、変調周波数は、偏光回転子が機能する最高速度であってもよい。例えば、偏光回転子は、線形偏光デバイスおよびLCD偏光回転子を含んでもよい。例えば、この場合、変調周波数は、100Hzと1kHzとの間であってもよい。偏光回転子は、正弦波信号を受け取り、それを使用して対応する駆動電圧を生成し、偏光面または偏光方向の対応する角度を取得する偏光ドライバーによって駆動されてもよい。飛行時間型検出器は、正弦波信号で変調されるが、偏光回転子は、正弦波信号に同期した偏光面の回転を実現する信号で変調される(1つの完全なサイクルの間に0からPIに移動する場合)。
コントローラは、前記表面偏光センシングモードではレーザー装置によって放射されたレーザー光の強度が一定であるように構成されてもよい。
あるいは、偏光回転子は、LCD偏光回転子と線形偏光子との組合せと同等である機械的回転線形偏光子フィルムを含んでもよい。機械的回転線形偏光子フィルムの回転は、LCD偏光回転子に関して説明したのと同様に変調されてもよい。
レーザー装置および光学ユニットは、放射光が円偏光されるように構成されてもよい。レーザー装置によって放射されたレーザー光は、光学素子を通過するレーザー光が円偏光されるように、光学ユニットに含まれる光学素子によって変換されてもよい。例えば、レーザー装置は、線形偏光レーザー光を放射するように構成されてもよく、光学ユニットは、線形偏光レーザー光を円偏光放射光に変換するように構成された四分の一波長板を含んでもよい。
円偏光は、拡散偏光の検出を改善する。拡散偏光はさらに、深度画像の品質を改善するために使用できる。
あるいは、レーザー装置および光学ユニットは、放射光が線形偏光されるように構成されてもよい。
線形偏光子を含む上記の任意の実施形態による飛行時間型カメラモジュールは、線形偏光レーザー光を放射するように構成されているレーザー装置を含んでもよい。レーザー装置は、第1の偏光方向と、第1の偏光方向に垂直な第2の偏光方向との間で切り替わるように構成されてもよい。第1の偏光方向は、線形偏光デバイスの偏光方向に一致させられる。
代替的に、レーザー装置は、線形偏光レーザー光を放射するように構成されてもよく、線形偏光デバイスは、この代替の実施形態では、第3の偏光方向と、第3の偏光方向に垂直な第4の偏光方向との間で切り替わるように構成される。第3の偏光方向は、レーザー光の偏光方向に一致させられる。第1の偏光方向と第3の偏光方向は同一であってもよい。
好ましくは、レーザー光は、連続LCD偏光回転子または同等のデバイスを介して放射されてもよく、LCD偏光回転子は、飛行時間型カメラモジュールの放射経路および受け取り経路に構成されてもよい。これは、LCD偏光回転子を通過した後の、放射光と受け取り光の偏光面または偏光方向が同期して回転することを意味する。
上記2つの代替物で説明した偏光方向の切り替えにより、拡散偏光および拡散偏光と鏡面偏光との組合せを別に検出できる(以下の図1−4および7に関する説明を参照)。
レーザー装置は、近赤外波長レンジのレーザー光を放射するように構成されている垂直共振器面発光レーザーのアレイを含んでもよい。このようなVCSELアレイは、費用効果の高い飛行時間型カメラモジュールを可能にするのに適しているかもしれない。
深度カメラは、上記の任意の実施形態による飛行時間型カメラモジュールを含んでもよい。深度カメラは、コントローラ、飛行時間型検出器、およびレーザー装置を電気的に駆動するように構成された電気ドライバーをさらに含む。深度カメラは、再構成ユニットをさらに含む。再構成ユニットは、深度データおよび偏光データに基づいてシーンの深度画像を提供するように構成される。
第2の態様によれば、深度画像を再構成する方法が提供される。本方法は、
深度センシングモードでレーザー光を放射するステップと、
深度センシングモードで飛行時間型検出器によって物体から反射された検出光を受け取ることによりシーン内の物体の深度データを検出するステップであって、前記深度データがシーン内の物体までの距離を表すステップと、
表面偏光センシングモードで偏光放射光を放射するステップと、
表面偏光センシングモードで物体から反射された受け取り光に含まれる偏光面を(好ましくは連続的に)回転させることにより検出光を生成するステップと、
表面偏光センシングモードで飛行時間型検出器によって検出光を受け取ることによりシーン内の物体の偏光データを検出するステップであって、前記偏光データが検出光の偏光を表すステップと、
深度データと偏光データに基づいてシーンの深度画像を再構成するステップと
を含む。
深度センシングモードでレーザー光を放射するステップと、
深度センシングモードで飛行時間型検出器によって物体から反射された検出光を受け取ることによりシーン内の物体の深度データを検出するステップであって、前記深度データがシーン内の物体までの距離を表すステップと、
表面偏光センシングモードで偏光放射光を放射するステップと、
表面偏光センシングモードで物体から反射された受け取り光に含まれる偏光面を(好ましくは連続的に)回転させることにより検出光を生成するステップと、
表面偏光センシングモードで飛行時間型検出器によって検出光を受け取ることによりシーン内の物体の偏光データを検出するステップであって、前記偏光データが検出光の偏光を表すステップと、
深度データと偏光データに基づいてシーンの深度画像を再構成するステップと
を含む。
本方法のステップは、必ずしも上記の順序で実行されなくてもよい。
いくつかのスケジュールに関して深度センシングモードと交替すると、表面偏光センシングモードは、特に次のように動作する(図5と対応する説明も参照)。
レーザー装置(VCSELアレイなど)は一定の強度で照明される。
適切な周波数の変調された正弦波信号が、偏光回転子(所望の変化のための正しい電圧を生成するためにその電気ドライバーに)にも飛行時間型検出器にも供給される。
偏光回転子は、変調信号と同期して偏光角を連続的に回転させ、1つの完全なサイクルで角度を0°から180°まで直線的に変化させる(次いで、直ちに値を0°に切り替えてサイクルを繰り返すか、または180°の倍数でのその回転リミットに達するまで継続し、次いで、0°に切り替えるかのいずれか)。
飛行時間型検出器(センサーアレイなど)は、変調反射偏光データを収集し、各点について、位相、変調振幅、平均振幅の値を返す(図5の説明を参照)。
各点について偏光角と天頂角の値が決定される。
(2つの角度のあいまいさがある)各点での表面法線が決定される。
表面法線は、深度画像とともに深度推定の改善などの所望の目的に使用される。
第3の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、上記の深度カメラに含まれる少なくとも1つのメモリデバイスに保存できるコード手段を含む。コード手段は、上記の方法が深度カメラに含まれる少なくとも1つの処理デバイスによって実行できるように構成される。
メモリデバイスまたは処理デバイスは、深度カメラ(例えば、電気ドライバー、コントローラなど)に含まれてもよい。
メモリデバイスは、情報、特にデジタル情報を保存するように構成されている任意の物理デバイスであってもよい。メモリデバイスは、固体メモリまたは光メモリの群から特に選択されてもよい。
処理デバイスは、データ処理、特にデジタルデータの処理を実行するように構成されている任意の物理デバイスであってもよい。処理デバイスは、プロセッサ、マイクロプロセッサ、または特定用途向け集積回路(ASIC)の群から特に選択されてもよい。
請求項13の深度カメラおよび請求項14の方法は、特に、深度カメラに含まれる飛行時間型カメラモジュールを参照する従属請求項2から12に定義されるように、類似および/または同一の実施形態を有することを理解されたい。
本発明の好ましい実施形態は、従属請求項とそれぞれの独立請求項との任意の組合せでもあり得ることを理解されたい。
さらなる有利な実施形態が以下に定義される。
本発明のこれらおよび他の態様は、以下に記載の実施形態を参照して明らかになり、説明されるであろう。
以下、添付の図面を参照して、実施形態に基づいて、本発明を例として説明する。
鏡面偏光反射の主要図を示す図である。
鏡面偏光反射の屈折率および表面法線(天頂)角に対する依存性を示すグラフを示す図である。
拡散偏光反射の主要図を示す図である。
拡散偏光反射の屈折率および表面法線(天頂)角に対する依存性を示すグラフを示す図である。
飛行時間型カメラモジュールの主要図を示す図である。
第1の深度カメラの主要図を示す図である。
第2の深度カメラの主要図を示す図である。
深度画像を再構成する方法の主要図を示す図である。
図では、同様の番号は全体を通して同様の物体を指す。図中の物体は、必ずしも正寸ではない。
以下、本発明の種々の実施形態を図によって説明する。
表面法線データは、線形偏光子の角度レンジで線形偏光子を通過するシーンからの反射光を測定することから推測できる。非偏光によって照明された拡散面からの偏光は、鏡面偏光反射と拡散偏光反射の2つのメカニズムから発生する。第1のメカニズムは、図1および図2に関して説明されている。第2のメカニズムは、図3および図4に関して説明されている。
図1は、鏡面偏光反射の主要図を示す。入射光11は、材料界面20によって与えられる表面で鏡面反射される。材料界面20の上の材料は、例えば、1.0の屈折率の空気であってもよく、材料界面20の下の材料は、例えば、1.4の屈折率の材料であってもよい。入射光11の一部は、材料界面20で鏡面反射され、その結果、鏡面反射光15は、材料界面20の表面法線21とともに入射光11と同じ天頂角を囲む。入射光11の別の部分は、透過光13が最終的に材料内に散乱するように、材料界面20の表面を介して透過する。
偏光直接表面反射は、異なる入射偏光の光が材料界面の表面から異なって反射されるという結果になる。差異は、反射のフレネルの式によって与えられる。表面は、少なくともある程度、ガラス様表面または金属様表面で反射性である必要がある。偏光反射の程度の差異は、天頂角に対して単調ではない。図2は、異なる屈折率についての鏡面偏光反射の天頂角に対する依存性を示すグラフを示す。横軸は天頂角αを示し、縦軸は鏡面偏光度31を示す。線32は1.4の屈折率での鏡面偏光の依存性を示し、線34は1.6の屈折率での鏡面偏光のわずかに異なる依存性を示す。
図3は、拡散偏光反射の主要図を示す。図1に示される散乱光14の一部は、透過光13が材料界面20の上の「空気」半空間に入るように材料界面20に到達してもよく、光の別の部分は、反射光15が材料界面20の下の「材料」半空間に後方反射されるように反射される。透過光13は、材料界面20の表面法線21とともに天頂角αを囲む。図4は、1.6の屈折率(線44)の材料および1.4の屈折率の材料についての天頂角αの関数として拡散偏光度41を示す。
反射光が偏光子を介して観察される場合、表面法線は2つの角度:
1 反射光強度の最大値の偏光子の角度である、偏光子の角度、
2 材料の屈折率と偏光度の推定から推測される天頂角(戻り偏光の最大値と最小値との間の反射光強度の差を戻り光の平均強度で割った値)
を決定することにより推測できる。
1 反射光強度の最大値の偏光子の角度である、偏光子の角度、
2 材料の屈折率と偏光度の推定から推測される天頂角(戻り偏光の最大値と最小値との間の反射光強度の差を戻り光の平均強度で割った値)
を決定することにより推測できる。
偏光鏡面反射は、反射光が偏光されたままであるため、検出器(カメラなど)に線形偏光子なく投影偏光を使用して測定することによっても決定できる。
偏光拡散反射は、カメラに線形偏光子なく投影偏光を使用して観察できない。この光が、材料の表層内かつ放射前に散乱するため、脱偏光されるからである。それは、再放射時にのみ偏光される。
拡散偏光は、より容易に観察でき、天頂角αの単調関数を有するため(図4を参照)、偏光反射の差を使用して表面法線を実際に決定するには、観察カメラの前に可変角度線形偏光子が必要である。しかし、偏光照明は、鏡面反射偏光を決定する際、および例えば、投影円偏光を使用することによって結果を改善する際に役割を保持する(図6に関する説明を参照)。
反射偏光法(この場合、可視光2Dカメラで)を使用して決定された表面法線の測定値から取得された表面法線データを使用して、3D深度データの精度を上げることができる(例えば、参照により組み込まれる上記特定された米国特許出願第2016/0261844号明細書を参照)。深度データは、
1. 2つの表面法線角(角度とPI度を加えたその角度)が1組の偏光子と天頂角の推定値と一致するという事実を解決する、
2. 表面法線データのみからの相対深度が、接続された表面にわたって積分することによってのみ求めることができるため、表面が接続されていな異なる物体が設定される絶対深度を解決する。
1. 2つの表面法線角(角度とPI度を加えたその角度)が1組の偏光子と天頂角の推定値と一致するという事実を解決する、
2. 表面法線データのみからの相対深度が、接続された表面にわたって積分することによってのみ求めることができるため、表面が接続されていな異なる物体が設定される絶対深度を解決する。
表面法線データは、深度カメラからの接続された表面深度推定値の不確実性とノイズを補正する。表面偏光データ、例えば鏡面反射度は、グラフィック仮想現実レンダリングに使用できる表面の視覚特性を決定するのに役立つ。滑らかな反射面と拡散面を区別でき、部分的に透明な物体の屈折率を推定できる。
変調飛行時間型測定用センサーでは、シーンの照明は高周波正弦波で強度が変調され、検出器は同じ正弦波周波数で変調され、変調と、異なる「置き場(bins)」に行きつく異なる位相オフセットでの結果がある検知データとの間で相互相関が実行される。これらの「置き場」のデータを使用して、位相、変調振幅、オフセット振幅が簡単な数学を使用して決定できる。位相(変調周波数とともに)は深度、変調振幅は画像の反射率、オフセット振幅は周辺光のレベルを与える。
図5は、飛行時間型カメラモジュール100の主要図を示す。飛行時間型カメラモジュール100は、コントローラ110、飛行時間型検出器130、レーザー装置140、光学ユニット150およびオプションのデータインターフェースおよび/または電気インターフェース105を含む。コントローラ110は、レーザー装置140の発光を制御し、特に飛行時間型検出器130および光学ユニット150を変調するように構成される。飛行時間型検出器130は、その推定のために高変調周波数で動作し、表面偏光センシングのために低変調周波数で動作するように構成される必要がある(以下を参照)。飛行時間型検出器130は、この実施形態では、単一光子アバランシェダイオード(SPAD)アレイを含む。光学ユニット150は、この場合、機械的回転線形偏光子フィルム154である偏光回転子を含む。一般に、連続回転を可能にし、したがって偏光面の連続選択を可能にする任意の線形偏光フィルター技術を受け取り経路(受け取り光203)で使用できる。光学ユニット150は、放射光201および受け取り光203の光路を適合させるためのさらなる光学素子を含んでもよい。レーザー装置140は、レーザー(エッジエミッターのアレイなど)およびレーザーをそれぞれの検出モードに応じた電気駆動電流で電気的に駆動するように構成される電気ドライバーをオプションで含む(以下を参照)。あるいは、インターフェース105を介してレーザー装置140を電気的に駆動してもよい。レーザーは、非偏光レーザー光141を放射する。レーザー光141は、回転線形偏光放射光201が飛行時間型カメラモジュール100を出るように、機械的回転線形偏光子フィルム154を通過する。放射光201は、受け取り光203が機械的回転線形偏光子フィルムを通過するように、飛行時間型カメラモジュール100によって照明されるシーン内の物体によって後方反射(拡散および鏡面)され、その結果、検出光131は、飛行時間型検出器130によって検出される。コントローラ110は、レーザー装置140、飛行時間型検出器130、および機械的回転線形偏光子フィルムの回転を変調するように構成される。コントローラ110はさらに、2つのモードで動作する:
1 深度センシングモード−これは、高変調周波数で強度変調されたレーザー光141を使用し、そして同じ周波数で変調された飛行時間型検出器130を使用する通常の飛行時間型カメラモードである。シーンの画像の各点について、位相シフト、変調深度、および強度オフセットが収集され使用されて深度および反射画像を生成する。
1 深度センシングモード−これは、高変調周波数で強度変調されたレーザー光141を使用し、そして同じ周波数で変調された飛行時間型検出器130を使用する通常の飛行時間型カメラモードである。シーンの画像の各点について、位相シフト、変調深度、および強度オフセットが収集され使用されて深度および反射画像を生成する。
2 表面偏光センシングモード−ここでは、レーザー装置140により放射されたレーザー光141の強度が一定であるが、低周波飛行時間型検出器130の変調、偏光回転子(図5に関して説明した機械的回転線形偏光子フィルム154の実施形態)の回転と同期して、その表面法線(およびある程度上記その屈折率)に依存するシーンの各点からの反射光強度の正弦波変調という結果になる(各偏光角での反射光のレベルが異なるため)。
偏光回転子は、飛行時間型検出器130と同期して表面偏光センシングモードで動作し、飛行時間型検出器130の前の平坦化回転子の角度を0°から180°まで連続的に回転させる。飛行時間型検出器130は、コントローラ110によって供給される正弦波と検出光131の戻り光強度(これはまた、各点での偏光差によって変調される正弦波になる)との相互相関を生成する。
4つの値は、A0、A1、A2およびA3の4つの異なる等間隔の位相オフセットで生成できる。
偏光角=位相=atan((A3−A1)/(A0−A2))
変調振幅=sqrt((A3−A1)2+(A0−A2)2)
平均振幅=(A0+A1+A2+A3)/4
偏光度=変調振幅/平均振幅
天頂角=f(偏光度)(ここで、fは偏光度から天頂角を復元する関数である。)
材料の屈折率の推定値が必要である(ほとんどの材料のレンジは1.4から1.6である)。表面法線は、偏光角と天頂角から決定できる(2つの表面法線角が可能な値であるため、あいまいさがある)。コントローラ110のメモリデバイスに記録される測定データは、飛行時間型カメラモジュール100と結合された深度カメラ300によって提供される深度画像の画質を改善するために使用できる。例えば、コントローラ110は、インターフェース105によって接続され得る外部データ処理ユニットに測定データを提供するように構成されてもよい。偏光回転子は、深度センシングモードでオフに切り替えられてもよい。
偏光角=位相=atan((A3−A1)/(A0−A2))
変調振幅=sqrt((A3−A1)2+(A0−A2)2)
平均振幅=(A0+A1+A2+A3)/4
偏光度=変調振幅/平均振幅
天頂角=f(偏光度)(ここで、fは偏光度から天頂角を復元する関数である。)
材料の屈折率の推定値が必要である(ほとんどの材料のレンジは1.4から1.6である)。表面法線は、偏光角と天頂角から決定できる(2つの表面法線角が可能な値であるため、あいまいさがある)。コントローラ110のメモリデバイスに記録される測定データは、飛行時間型カメラモジュール100と結合された深度カメラ300によって提供される深度画像の画質を改善するために使用できる。例えば、コントローラ110は、インターフェース105によって接続され得る外部データ処理ユニットに測定データを提供するように構成されてもよい。偏光回転子は、深度センシングモードでオフに切り替えられてもよい。
図6は、第1の深度カメラの主要図を示す。第1の深度カメラ300は、図5に関して説明した飛行時間型カメラモジュール100の部品または構成要素および電気ドライバー120ならびに図5に関する上記深度センシングモードおよび表面偏光センシングモードで記録されたデータに基づいて画像データを提供するように構成された再構成ユニット310を含む。電気ドライバー120は、コントローラ110、レーザー装置140、および再構成ユニット310を電気的に駆動するように構成される。コントローラ110は、変調器112、位相オフセットデバイス114および偏光ドライバー116を含む。変調器112は、上記深度センシングモードおよび表面偏光センシングモードに応じた変調を提供するように構成される。位相オフセットデバイス114は、例えば、図5に関して説明した4つの等間隔の位相オフセットを決定するように構成される。偏光ドライバー116は、光学ユニット150に含まれるLCD偏光回転子155を変調器112により供給された変調信号に従って駆動するための電圧ドライバーである。光学ユニット150は、LCD偏光回転子155と飛行時間型検出器130との間に配置される線形偏光子152をさらに含む。線形偏光子152の偏光方向が周辺光(太陽からなど)の最適な除去を可能にするように構成される。LCD偏光回転子155は、変調器112および偏光ドライバー116によって提供される変調の1つの完全なサイクルで偏光角を0°から180°に変化させるように構成された特別な種類の連続偏光角回転子である。この実施形態では、偏光回転子は、LCD偏光回転子155と線形偏光子152との組合せを含む。レーザー装置140は、近赤外線波長レンジ(特に800nmと1200nmとの間)の線形偏光レーザー光141を放射するVCSELアレイである。レーザー光141は、円偏光放射光201が深度カメラ300により放射されるように、光学ユニット150に含まれる四分の一波長板156を通過する。受け取り光203は、鏡面拡散反射放射201を含む。受け取り光203に含まれる偏光の偏光方向は、深度カメラ300の受け取り部に構成されるLCD偏光回転子155によって連続的に回転する。飛行時間型検出器130によって受け取られた検出光131の信号強度は、図5に関して説明したのと同様の連続LCD偏光回転子155の変調と整合する飛行時間型検出器130の変調に依存する。さらに、LCD偏光回転子155によって提供される偏光の相対方向および線形偏光子152の既知の偏光方向が考慮される必要がある。飛行時間型検出器130は、検出光131を収集し、コントローラ110は、変調反射偏光データに基づいて、各点について、位相、変調振幅および平均振幅の値を決定し、返す。コントローラ110は、各点の偏光角および天頂角の値を決定し、各点の表面法線(2つの角度のあいまいさがある)が決定される。
表面法線は、深度画像とともに深度推定の改善などの所望の目的のために、再構成ユニット310によって使用される。例えば、再構成ユニット310は、偏光データを収集するように動作する変調飛行時間型検出器130の出力から観測点の表面法線を推測するためのアルゴリズム(「表面法線推定アルゴリズム」)を適用するように構成されてもよい。再構成ユニット310は、表面法線データを使用して深度データを改善するためのアルゴリズム(「深度改善アルゴリズム」)を適用するようにさらに構成されてもよい。再構成ユニット310は、観察されたシーンのグラフィック表現を改善するために観察された表面の屈折率および表面反射特性を推測するためのアルゴリズム(「表面特性視覚化アルゴリズム」)を適用するようにオプションで構成されてもよい。1つ以上のアルゴリズムを含むソフトウェアコードは、メモリデバイスに保存されてもよく、再構成ユニット310または深度カメラ300に含まれる処理デバイスによって実行されてもよい。
図7は、第2の深度カメラ300の主要図を示す。第2の深度カメラ300は、図6に関して説明した第1の深度カメラ300と非常に類似した光学ユニット150次第である。レーザー装置140は、線形偏光レーザー光141を放射するように構成される。光学ユニット150は、図6に関して説明したのと同様のLCD偏光回転子155および線形偏光子152を含む。LCD偏光回転子155は、第2の深度カメラ300の放射経路および受け取り経路に構成された図6に関して説明した実施形態と対照的である。したがって、LCD偏光回転子155は、表面偏光センシングモードでは、放射光201および受け取り光203の偏光方向を連続的かつ同時に回転させるように構成される。LCD偏光回転子155は、深度センシングモードでオフに切り替えられてもよい。線形偏光VCSELアレイの偏光方向は、線形偏光子152の偏光方向に一致させられてもよい。偏光の一致は、表面偏光センシングモードでは、飛行時間型検出器130の鏡面偏光および拡散偏光の検出を可能にする。あるいは、線形偏光VCSELアレイの偏光方向は、線形偏光子152の偏光方向に垂直に構成されてもよい。垂直角構成または交差角構成は、拡散偏光のみの検出を可能にする。この構成は、鏡面反射を排除し、したがって拡散偏光をよりきれいに回復するために一致させられた偏光方向と比較して好ましい場合がある。このアプローチは、道路標識の再帰反射体からの過剰な反射など、他の反射光の問題も軽減する。
あるいは、レーザー装置140は、2つの偏光状態の間で切り替わるように構成されてもよい。この場合、表面偏光センシングモードは2度実行されるであろう。1度は、レーザー装置140の偏光角が線形偏光子152と同じ角度であり(「一致角度センシングモード」)、1度は、レーザー装置140の偏光角が線形偏光子の角度と90度である(「交差角度検出モード」)。この実施形態では、表面法線および表面特性(鏡面反射の程度を含む)は、鏡面偏光も拡散偏光も使用して推定できる。レーザー装置140は、偏光角の間で切り替えることができてもよく、または両方の偏光方向を可能にする光学素子(LCD偏光回転子など)を含んでもよい。あるいは、線形偏光子152の偏光方向は、一致角度センシングモードおよび交差角度センシングモードを可能にするように切り替えられてもよい。測定データは、図6に関して説明したのと同様に、コントローラ110および再構成ユニット310によって抽出および処理されてもよい。
あるいは、コントローラ110、レーザー装置140、光学ユニット150および飛行時間型検出器130は、深度データおよび偏光データを同時に決定するように構成されてもよい。深度センシングモードと表面偏光センシングモードは非常に異なる変調周波数で動作するため、2つのモードをインテリジェントに組み合わせて深度データも偏光データも生成できる。例えば、レーザー装置140は高周波で、光学装置150は低周波で強度を変調でき、(高周波で変調された)飛行時間型検出器130の1組のセンサーは、深度情報を収集するが、(低周波で変調された)飛行時間型検出器130の別の組のセンサーは、同時に偏光データを収集する。
例えば、再構成ユニット310は、図6に関して説明した任意のオプションに従って、処理された測定データに基づいて改善された深度画像を提供するように構成されてもよい。
図8は、深度画像を再構成する方法の主要図を示す。ステップ410では、レーザー光141は、深度センシングモードで放射される。シーン内の物体の深度データは、深度センシングモードで飛行時間型検出器によって物体から反射された検出光を受け取ることによりステップ420で検出される。偏光放射光201は、ステップ430では、表面偏光センシングモードで放射される。ステップ440では、検出光131は、表面偏光センシングモードで物体から反射された受け取り光203に含まれる偏光面を(好ましくは連続的に)回転させることにより生成される。シーン内の物体の偏光データは、ステップ450では、表面偏光センシングモードで飛行時間型検出器130によって検出光131を受け取ることにより検出される。シーンの深度画像は、深度データおよび偏光データに基づいてステップ460で再構成される。
上記の本発明により、以下の測定ができる。
(i) 反射光の偏光角の検出。
(ii) 拡散反射光偏光と鏡面反射光偏光の分離。
次いで、これは、
(i) データを使用して表面法線を計算することにより深度画像の品質を改善し、
(ii) 仮想現実レンダリングを改善するために表面特性を決定し、
(iii) 入射偏光を最適にフィルタリングして例えば反射からのグレアを最小にする
ために使用できる。
ために使用できる。
さらに、本発明は、この機能を、例えば、VCSEL照明器およびSPAD飛行時間型センサーに基づく飛行時間型カメラまたは深度カメラに追加の別のセンサー(標準カメラなど)を必要とせずに可能にする。
本発明を図面および前記説明で詳細に例示および説明してきたが、このような例示および説明は、例示的であり限定的ではないと見なされるべきである。
本開示の読み取りから、他の修正が当業者には明らかであろう。このような修正は、当該技術分野で既に知られており、本明細書に既に説明した特徴の代わりに、またはそれに加えて使用できる他の特徴を含むことができる。
開示された実施形態の変形は、図面、開示、および添付の特許請求の範囲の検討から、当業者によって理解され、達成され得る。特許請求の範囲では、「comprising」という語は他の要素またはステップを除外せず、不定冠詞「a」または「an」は複数の要素またはステップを除外しない。特定の方策が互いに異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利に使用できないことを示すものではない。
特許請求の範囲の参照符号は、その範囲を限定するものと解釈されるべきではない。
11 入射光
13 透過光
14 散乱光
15 鏡面反射光
20 材料界面
21 表面法線
31 鏡面偏光度
32 1.4の屈折率の鏡面偏光
34 1.6の屈折率の鏡面偏光
41 拡散偏光度
42 1.4の屈折率の拡散偏光
44 1.6の屈折率の拡散偏光
100 飛行時間型カメラモジュール
105 インターフェース
110 コントローラ
112 変調器
114 位相オフセットデバイス
116 偏光ドライバー
120 電気ドライバー
130 飛行時間型検出器
131 検出光
140 レーザー装置
141 レーザー光
150 光学ユニット
152 線形偏光デバイス
154 機械的回転線形偏光子フィルム
155 LCD偏光回転子
156 四分の一波長板
201 放射光
203 受け取り光
300 深度カメラ
310 再構成ユニット
410 放射レーザー光
420 深度データの検出
430 放射偏光
440 検出光の生成
450 偏光データの検出
460 深度画像の再構成
α 天頂角
13 透過光
14 散乱光
15 鏡面反射光
20 材料界面
21 表面法線
31 鏡面偏光度
32 1.4の屈折率の鏡面偏光
34 1.6の屈折率の鏡面偏光
41 拡散偏光度
42 1.4の屈折率の拡散偏光
44 1.6の屈折率の拡散偏光
100 飛行時間型カメラモジュール
105 インターフェース
110 コントローラ
112 変調器
114 位相オフセットデバイス
116 偏光ドライバー
120 電気ドライバー
130 飛行時間型検出器
131 検出光
140 レーザー装置
141 レーザー光
150 光学ユニット
152 線形偏光デバイス
154 機械的回転線形偏光子フィルム
155 LCD偏光回転子
156 四分の一波長板
201 放射光
203 受け取り光
300 深度カメラ
310 再構成ユニット
410 放射レーザー光
420 深度データの検出
430 放射偏光
440 検出光の生成
450 偏光データの検出
460 深度画像の再構成
α 天頂角
Claims (15)
- コントローラ(110)、飛行時間型検出器(130)、レーザー装置(140)、および偏光面を回転させるように構成された偏光回転子を含む光学ユニット(150)を含み、
前記コントローラ(110)が、前記飛行時間型検出器(130)および前記レーザー装置(140)を深度センシングモードで変調するように構成され、前記飛行時間型検出器(130)が、前記レーザー装置(140)によって放射されシーン内の物体から反射された変調レーザー光(141)によって前記深度センシングモードで前記シーンの深度データを記録するように構成され、前記深度データが前記シーン内の前記物体までの距離を表す飛行時間型カメラモジュール(100)であって、
前記コントローラ(110)がさらに、前記飛行時間型検出器(130)および偏光回転子を表面偏光センシングモードで変調するように構成され、前記飛行時間型検出器(130)が、前記偏光回転子を通過した後に前記シーン内の前記物体から受け取られた検出光(131)によって表面偏光センシングモードで前記シーンの偏光データを記録するように構成され、前記偏光データが前記検出光(131)の偏光を表し、前記検出光(131)が前記レーザー装置(140)および前記光学ユニット(150)によって放射され前記シーン内の前記物体から反射される偏光放射光(201)を含むことを特徴とする、
飛行時間型カメラモジュール(100)。 - 前記コントローラ(110)が、前記飛行時間型検出器(130)を正弦波信号で変調するように構成され、前記コントローラ(110)がさらに、前記正弦波信号に同期した偏光検出光(131)の偏光面の回転を実現する信号で前記偏光回転子を変調するように構成される、請求項1に記載の飛行時間型カメラモジュール(100)。
- 前記表面偏光センシングモードでは、前記レーザー装置(140)によって放射されたレーザー光(141)の強度が一定である、請求項1に記載の飛行時間型カメラモジュール(100)。
- 前記偏光回転子が、線形偏光デバイス(152)およびLCD偏光回転子(155)を含む、請求項1から3のいずれか一項に記載の飛行時間型カメラモジュール(100)。
- 前記偏光回転子が、機械的に回転される線形偏光子フィルム(154)を含む、請求項1から3のいずれか一項に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)および前記光学ユニット(150)が、前記放射光(201)が円偏光されるように構成される、請求項1から5のいずれか一項に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)が、線形偏光レーザー光(141)を放射するように構成され、前記光学ユニット(150)が、前記線形偏光レーザー光(141)を円偏光放射光(201)に変換するように構成された四分の一波長板(156)を含む、請求項6に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)および前記光学ユニット(150)が、前記放射光(201)が線形偏光されるように構成される、請求項1から5のいずれか一項に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)が、線形偏光レーザー光(141)を放射するように構成され、前記レーザー装置(140)が、第1の偏光方向と、第1の偏光方向に垂直な第2の偏光方向との間で切り替わるように構成され、前記第1の偏光方向が、前記線形偏光デバイス(152)の偏光方向に一致させられる、請求項4に戻って参照する場合の請求項8に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)が、線形偏光レーザー光(141)を放射するように構成され、前記線形偏光デバイス(152)が、第3の偏光方向と、第3の偏光方向に垂直な第4の偏光方向との間で切り替わるように構成され、前記第3の偏光方向が、前記レーザー光(141)の偏光方向に一致させられる、請求項4に戻って参照する場合の請求項8に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)が、前記LCD偏光回転子(155)を介して前記レーザー光(141)を放射するように構成される、請求項9又は10に記載の飛行時間型カメラモジュール(100)。
- 前記レーザー装置(140)が、垂直共振器面発光レーザーのアレイを含む、請求項1から11のいずれか一項に記載の飛行時間型カメラモジュール(100)。
- 請求項1から12のいずれかに記載の飛行時間型カメラモジュール(100)を含む深度カメラ(300)であって、
前記深度カメラ(300)が、前記コントローラ(110)、前記飛行時間型検出器(130)および前記レーザー装置(140)を電気的に駆動するように構成された電気ドライバー(120)をさらに含み、前記深度カメラ(300)が、再構成ユニット(310)をさらに含み、前記再構成ユニット(310)が、前記深度データと前記偏光データに基づいて前記シーンの深度画像を提供するように構成される、深度カメラ(300)。 - 深度画像を再構成する方法であって、
深度センシングモードでレーザー光(141)を放射するステップと、
前記深度センシングモードで飛行時間型検出器(130)によって物体から反射された検出光(131)を受け取ることによりシーン内の物体の深度データを検出するステップであって前記深度データが前記シーン内の前記物体までの距離を表すステップと、
表面偏光センシングモードで偏光放射光(201)を放射するステップと、
前記表面偏光センシングモードで物体から反射された受け取り光(203)に含まれる偏光面を回転させることにより検出光(131)を生成するステップと、
前記表面偏光センシングモードで前記飛行時間型検出器(130)によって前記検出光(131)を受け取ることによって前記シーン内の前記物体の偏光データを検出するステップであって前記偏光データが前記検出光の偏光を表すステップと、
前記深度データと前記偏光データに基づいて前記シーンの前記深度画像を再構成するステップと、
を含む、方法。 - 請求項13に記載の深度カメラ(300)に含まれる少なくとも1つのメモリデバイスに保存できるコード手段を含むコンピュータプログラム製品であって、前記コード手段が、請求項14に記載の方法が前記深度カメラ(300)に含まれる少なくとも1つの処理デバイスによって実行される、コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17199646.5 | 2017-11-02 | ||
EP17199646.5A EP3480626A1 (en) | 2017-11-02 | 2017-11-02 | Improved depth image reconstruction |
PCT/EP2018/079774 WO2019086495A1 (en) | 2017-11-02 | 2018-10-31 | Improved depth image reconstruction |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021501892A true JP2021501892A (ja) | 2021-01-21 |
Family
ID=60262745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020524463A Pending JP2021501892A (ja) | 2017-11-02 | 2018-10-31 | 改善された深度画像再構成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11099259B2 (ja) |
EP (2) | EP3480626A1 (ja) |
JP (1) | JP2021501892A (ja) |
KR (1) | KR20200085800A (ja) |
CN (1) | CN111492266B (ja) |
WO (1) | WO2019086495A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI835410B (zh) * | 2022-11-18 | 2024-03-11 | 華碩電腦股份有限公司 | 角度感測裝置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10884108B2 (en) * | 2017-11-28 | 2021-01-05 | National Chung Shan Institute Of Science And Technology | Light detection and ranging system |
CN112393691B (zh) * | 2019-08-14 | 2022-09-30 | Oppo广东移动通信有限公司 | 光发射模组、深度相机及电子设备 |
US11443447B2 (en) | 2020-04-17 | 2022-09-13 | Samsung Electronics Co., Ltd. | Three-dimensional camera system |
US11226415B1 (en) * | 2020-09-14 | 2022-01-18 | Amazon Technologies, Inc. | Camera modules having integrated time of flight sensors |
US11721031B2 (en) * | 2020-10-28 | 2023-08-08 | Stmicroelectronics (Research & Development) Limited | Scalable depth sensor |
CN112595674A (zh) * | 2020-11-20 | 2021-04-02 | 江西欧迈斯微电子有限公司 | 接收器、取像模组及电子设备 |
KR20220147899A (ko) * | 2021-04-28 | 2022-11-04 | 엘지이노텍 주식회사 | 카메라 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0566381A (ja) * | 1991-09-09 | 1993-03-19 | Olympus Optical Co Ltd | 光沢検出装置 |
JP2010256138A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 撮像装置及びその制御方法 |
US7995191B1 (en) * | 2006-06-29 | 2011-08-09 | Sandia Corporation | Scannerless laser range imaging using loss modulation |
WO2012039086A1 (ja) * | 2010-09-24 | 2012-03-29 | パナソニック株式会社 | 画像処理装置 |
JP2013113793A (ja) * | 2011-11-30 | 2013-06-10 | Panasonic Corp | 3次元計測装置およびそれに用いられる照明装置 |
JP2013160717A (ja) * | 2012-02-08 | 2013-08-19 | Mitsubishi Electric Corp | レーザ測距装置 |
JP2016525802A (ja) * | 2013-08-02 | 2016-08-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 調節可能な偏光を有するレーザデバイス |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066381A (ja) | 1992-06-19 | 1994-01-14 | Fujitsu Ltd | 通信路帯域可変設定方式 |
US8264536B2 (en) * | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9557574B2 (en) * | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US10260866B2 (en) | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
DE102016115277A1 (de) * | 2016-08-17 | 2018-02-22 | Julian Berlow | Optische Vorrichtung |
CN107958446B (zh) * | 2016-10-17 | 2023-04-07 | 索尼公司 | 信息处理设备和信息处理方法 |
US10732284B2 (en) * | 2017-07-28 | 2020-08-04 | The Boeing Company | Live metrology of an object during manufacturing or other operations |
-
2017
- 2017-11-02 EP EP17199646.5A patent/EP3480626A1/en not_active Withdrawn
-
2018
- 2018-10-31 CN CN201880081541.8A patent/CN111492266B/zh active Active
- 2018-10-31 EP EP18795624.8A patent/EP3704511B1/en active Active
- 2018-10-31 WO PCT/EP2018/079774 patent/WO2019086495A1/en unknown
- 2018-10-31 KR KR1020207015677A patent/KR20200085800A/ko not_active Application Discontinuation
- 2018-10-31 JP JP2020524463A patent/JP2021501892A/ja active Pending
-
2020
- 2020-04-30 US US16/862,622 patent/US11099259B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0566381A (ja) * | 1991-09-09 | 1993-03-19 | Olympus Optical Co Ltd | 光沢検出装置 |
US7995191B1 (en) * | 2006-06-29 | 2011-08-09 | Sandia Corporation | Scannerless laser range imaging using loss modulation |
JP2010256138A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 撮像装置及びその制御方法 |
WO2012039086A1 (ja) * | 2010-09-24 | 2012-03-29 | パナソニック株式会社 | 画像処理装置 |
JP2013113793A (ja) * | 2011-11-30 | 2013-06-10 | Panasonic Corp | 3次元計測装置およびそれに用いられる照明装置 |
JP2013160717A (ja) * | 2012-02-08 | 2013-08-19 | Mitsubishi Electric Corp | レーザ測距装置 |
JP2016525802A (ja) * | 2013-08-02 | 2016-08-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 調節可能な偏光を有するレーザデバイス |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI835410B (zh) * | 2022-11-18 | 2024-03-11 | 華碩電腦股份有限公司 | 角度感測裝置 |
Also Published As
Publication number | Publication date |
---|---|
CN111492266A (zh) | 2020-08-04 |
WO2019086495A1 (en) | 2019-05-09 |
EP3704511B1 (en) | 2021-04-14 |
US11099259B2 (en) | 2021-08-24 |
US20200256965A1 (en) | 2020-08-13 |
CN111492266B (zh) | 2024-02-09 |
EP3704511A1 (en) | 2020-09-09 |
EP3480626A1 (en) | 2019-05-08 |
KR20200085800A (ko) | 2020-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021501892A (ja) | 改善された深度画像再構成 | |
US20200333467A1 (en) | Time-of-Flight (TOF) Assisted Structured Light Imaging | |
US20230392920A1 (en) | Multiple channel locating | |
Chen et al. | Polarization and phase-shifting for 3D scanning of translucent objects | |
US20090322859A1 (en) | Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System | |
CN104121851A (zh) | 用于检测对象的3d结构的设备 | |
JP3695188B2 (ja) | 形状計測装置および形状計測方法 | |
JP2004527765A (ja) | 距離測定用光学センサー | |
EP2199874A1 (fr) | Capteur et systeme d'imagerie holographiques pour la detection à distance d'un objet | |
JP2004527765A5 (ja) | ||
CN210128694U (zh) | 深度成像装置 | |
JP2006337286A (ja) | 形状計測装置 | |
US11506786B2 (en) | Laser detection and ranging | |
JP2004325286A (ja) | 光干渉断層画像化装置における画像信号同期機構 | |
JP2006201037A (ja) | 形状測定装置 | |
JP2006337309A (ja) | 形状測定装置 | |
JP2001108420A (ja) | 形状計測装置および形状計測方法 | |
Langmann et al. | Depth camera assessment | |
KR20220046406A (ko) | 물체까지의 거리 및 물체의 속도를 결정하고 물체의 형상 및 구조를 식별하기 위한 광학 센서 디바이스 | |
Folden et al. | Confocal Bistatic LIDAR in scattering media | |
CN117795391A (zh) | 2d扫描显示中的3d映射 | |
FR2783318A1 (fr) | Systeme de mesure dimensionnelle sans contact d'un objet | |
WO2023048687A1 (en) | High resolution lidar imaging system | |
JPH07151528A (ja) | レンジファインダー | |
Z-SCANNING et al. | US Patent Dec. 11, 2007 Sheet 5 of 5 US 7,307.733 B2 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211228 |