JP6246131B2 - タイムオブフライト信号の処理における又はこれに関する改良 - Google Patents

タイムオブフライト信号の処理における又はこれに関する改良 Download PDF

Info

Publication number
JP6246131B2
JP6246131B2 JP2014542898A JP2014542898A JP6246131B2 JP 6246131 B2 JP6246131 B2 JP 6246131B2 JP 2014542898 A JP2014542898 A JP 2014542898A JP 2014542898 A JP2014542898 A JP 2014542898A JP 6246131 B2 JP6246131 B2 JP 6246131B2
Authority
JP
Japan
Prior art keywords
correlation
frequency
phase
signal
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014542898A
Other languages
English (en)
Other versions
JP2015501927A (ja
JP2015501927A5 (ja
Inventor
ニーウェンホーフェ ダニエル ファン
ニーウェンホーフェ ダニエル ファン
デン ハウウェ トーマス ファン
デン ハウウェ トーマス ファン
ライマー フロートヤン
ライマー フロートヤン
デル テンペル ワード ファン
デル テンペル ワード ファン
Original Assignee
ソフトキネティック センサーズ エヌブイ
ソフトキネティック センサーズ エヌブイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトキネティック センサーズ エヌブイ, ソフトキネティック センサーズ エヌブイ filed Critical ソフトキネティック センサーズ エヌブイ
Publication of JP2015501927A publication Critical patent/JP2015501927A/ja
Publication of JP2015501927A5 publication Critical patent/JP2015501927A5/ja
Application granted granted Critical
Publication of JP6246131B2 publication Critical patent/JP6246131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、タイムオブフライト(TOF)信号の処理における又はこれに関する改良に関し、特に、そのようなタイムオブフライト信号のディエイリアシング(de−aliasing)に関する。特に、本発明は、タイムオブフライト信号のディエイリアシングを含む、TOFセンサ、カメラなどに関する。
タイムオブフライト(TOF)カメラシステムは、光源から物体までの及び戻りのタイムオブフライトを解析することによって、物体までの距離に関する情報を提供することで知られている。1つの特定の適用例は、シーンの3次元(3−D)画像、すなわち2次元情報および深さすなわち距離情報を取り込むことが可能なカメラである。そのようなカメラシステムは、固定点からの深さすなわち距離情報が判定される必要がある多くの適用例において利用される。一般に、深さすなわち距離情報はTOFカメラシステムから測定される。
TOFカメラシステムの基本動作原理は、パルスなどの変調光を用いてシーンを照射することである。これらの光パルスなどの変調光は、シーン内の物体から反射されて戻り、反射された光をレンズが集光して、画像センサ上に、特に、センサのセンサ面上に、シーン内の物体の画像を形成する。カメラからの物体の距離に応じて、例えばパルスなどの、変調光の放出と、カメラにおけるその反射の受信との間で遅延が発生し、例えばカメラから2.5m離れたところにある物体は、16.66nsの遅延を発生させる。しかしパルスを使用する場合、各光パルスのパルス幅がカメラレンジ(camera range)を決定し、例えば50nsのパルス幅の場合、レンジは7.5mに制限される。結果として、シーンの照射はTOFカメラシステムの動作に不可欠なものとなり、照射ユニットに対する要求は、そのような短い光パルスを生成するための、発光ダイオード(LED)又はレーザなどの専用の光源の使用を必要とする。
TOFカメラシステムのもう1つの主要な構成要素は、イメージングセンサである。イメージングセンサは一般に、シーンの画像を形成するピクセルのアレイを含む。加えて、ピクセルの出力は、照射ユニットからシーン内の物体までの光、及び物体からイメージングセンサまで反射されて戻る光の、タイムオブフライトを判定するために使用されてもよい。タイムオブフライトは、センサに結合された別個の処理ユニット内で計算されてもよく、又は処理ユニットはセンサ内に組み込まれていてもよい。光が照射ユニットから物体まで移動し、物体からイメージングセンサまで戻るタイミングを測定する、様々な方法が知られている。
よく知られているように、各ピクセルは、入射光を受信してこれを例えば電流信号などの電気信号に変換する、感光素子を実質的に含む。アナログタイミングイメージングセンサでは、ピクセルは、加算装置として働くメモリに電流信号を導くスイッチに接続される。デジタルタイミングイメージングセンサでは、電流信号を検知するために高周波カウンタが使用される。背景光の存在は、シーン内の物体から反射されていない追加の光をピクセルが受信する際に距離が誤って判定されることを引き起こす可能性がある。
もちろん、イメージング光学系及び処理電子回路もTOFカメラの一部を形成する。イメージング光学系は、シーン内の物体からの反射された光を集め、照射ユニットによって放出された光と同じ波長又は周波数でない光を除去する。不必要な波長又は周波数における光を除去することによって、背景光が効果的に抑止され得る。処理電子回路は、照射ユニット及びイメージングセンサの両方のためのドライバを含み、これによりこれらの構成要素は、シーンの高解像度画像が取得可能であることを保障するように正確に制御され得る。
TOFカメラシステムは、利用されるイメージングセンサのタイプに応じて、数ミリメートルから数キロメートルまでの広いレンジをカバーする傾向がある。そのようなTOFカメラシステムは、特定の適用例において使用されるTOFカメラシステムの構成に応じて、センチメートル未満から数センチメートル、又は更にはメートルまでの様々な距離分解能を有する可能性がある。TOFカメラシステムと共に使用されてもよい技術としては、デジタル時間カウンタを有するパルス光源、位相検出器を有する無線周波数(RF)変調光源、及びレンジゲーテッドイメージャ(range−gated imagers)が含まれる。
シーン内の物体についてのイメージングセンサの出力から距離情報を抽出することは比較的容易な可能性があるが、TOFシステムは、上述の背景光、2つ以上のTOFカメラシステムがシーンのオーバラップする視野を有して動作している場合の干渉、及び多重反射の影響を受ける。異なるTOFカメラシステム間の干渉は、時分割多重化技術を使用することによって、又は各TOFカメラシステムについて異なる変調周波数を利用することによって低減させられ得る。TOFカメラシステムはシーン全体を照射するため、照射光がいくつかの経路に沿って各物体に到達するのに伴って、複数の反射が得られる可能性がある。これは、TOFカメラシステムからの物体の測定される距離が、TOFカメラシステムからのその実際の距離より大きい又は小さいものとして判定される可能性があるという影響を有する。これは従来のTOFカメラシステムの主要な欠点である。レンジイメージングシステムにおける測定の曖昧性の除去は、A.D.Payne(A.D.パイン)らによって「Multiple Frequency Range Imaging to Remove Measurement Ambiguity(測定の曖昧性を除去するための複数周波数レンジイメージング)」と題された論文において説明されており、この中では、不正確な距離測定をもたらす位相の曖昧性の問題を克服するために、単一の取り込みにおいて2つの異なる変調周波数が重畳される(http://researchcommons.waikato.ac.nz/bitstram/10289/4032/1/Multiple%20Frequency%20Range%20Imaging.pdf)。
S.H.McClure(S.H.マクルーア)らによる「Resolving Depth Measurement Ambiguity with Commercially Available Range Imaging Cameras(市販のレンジイメージングカメラでの深さ測定の曖昧性の解決)」と題された論文(Proc.SPIE−IS&T Electronic Imaging、SPIE vol.7538、pp.75380K、2010年)では、深さの曖昧性を解決するためにソフトウェア後処理が使用される。シーンを別個の物体に分割するようにレンジデータが処理され、各物体の平均強度が、どのピクセルが曖昧でないレンジの外にあるかを判定するために使用される。この方法は、例えば、カメラが画像取り込み中に移動している可能性がある、かつシーン内の物体からの反射率の差に対する低減された感度を有する、ロボットビジョンなどの、任意のレンジイメージングカメラシステムに使用され得る。信号処理及び関連する分野において、エイリアシングは、異なる信号がサンプリングされる際に区別できなくなる(すなわち相互のエイリアスとなる)ことを引き起こすという効果を意味する。時間的エイリアシングは、サンプルが時間において区別できなくなる場合である。時間的エイリアシングは、周期的にサンプリングされている信号が周期的内容も有する場合に発生する可能性がある。TOFシステムでは、エイリアシングは、光源と、光を反射する物体との間の距離に関する曖昧性をもたらす。
「位相アンラッピング」が、David Droeschel(ダーヴィト・ドレーシェル)、Dirk Holz(ディルク・ホルツ)、及びSven Behnke(スウェン・ベーンケ)による「Probabilistic Phase Unwrapping for Time−of−Flight Cameras(タイムオブフライトカメラのための確率的位相アンラッピング)」と題された論文(Proceedings of Joint 41st International Symposium on Robotics and 6th German Conference on Robotics、ミュンヘン、2010年6月)において説明されている。ラッピングされた位相信号から複数の相対位相シフトが推論され、ここで、距離情報を含む深さ画像内の不連続性に基づいて位相ジャンプ又は位相シフトを検出するために、確率的アプローチが使用される。この著者らは、「Multi−frequency Phase Unwrapping for Time−of−Flight Cameras(タイムオブフライトカメラのためのマルチ周波数位相アンラッピング)」(Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)、台北、台湾、2010年10月)においても位相アンラッピングについて説明している。
R.Schwarte(R.シュヴァルテ)らによる「A New Active 3D−Vision System Based on RF−Modulation Interferometry of Incoherent Light(インコヒーレント光のRF変調インターフェロメトリに基づく新しいアクティブ3Dビジョンシステム)」と題された論文(Photonics East−Intelligent Systems and Advanced Manufacturing、Proceedings of the SPIE、Vol.2588、フィラデルフィア、1995年)において、TOFカメラシステムからの信号を処理する方法が開示されており、この中では、自己相関関数が位相シフトアルゴリズムを利用し、ここで、位相はTOFカメラシステムからの距離に比例し、ここで、測定不確実性は、位相測定の数、変調コントラスト、アクティブ信号内及びノイズ信号内の電子、及び変調信号の波長に従って判定され得る。そのようなシステムは、歩行者及び車両安全システムの両方のために有用であると説明されている。
米国特許第7791715(B)号明細書には、少なくとも2つの変調周波数を利用して位相データを取得することによって、TOF位相派生データをディエイリアシングする方法が説明されている。ディエイリアシングを実施するために、ピクセル検出情報が、少なくとも2つの、好ましくは4つの別個の位相において取り込まれる。これらの別個の位相は、TOFカメラシステム内の変調器と、照射ユニットとの間のシフトを表す。これは、放出される光と、イメージングセンサによって受信される、物体からの反射された光との間で検出される、所望される位相シフトとは異なる。別個の位相は、変調器と照射ユニットとの間の固定されたパターンオフセットを相殺するために相互に減算される。2つの変調周波数を使用することによって、システムは、2つの変調周波数の間の差に比例する非常に低速な変調周波数において動作させられている間に位相データが収集されるかのように挙動する。複数の変調周波数の使用は、1つのみの変調周波数を使用して達成可能であるよりも良好な、深さ測定の確実性及び精度を提供する。
複数の変調周波数の使用は、Canesta Inc.(カネスタ・インク)のS.Burak Gokturk(S.ブラク・ゴクターク)、Hakan Yalcin(ハカン・ヤルシン)、及びCyrus Bamji(サイラス・バンジ)による「A Time−of−Flight Depth Sensor−System Description,Issues and Solutions(タイムオブフライト深さセンサ−システム記述、問題及び解決法)」においても説明されている。一実施形態では、2つの変調周波数が使用され、結果が組み合わされて、単一の変調周波数と比較してより正確な、物体についての深さ値が提供される。加えて、曖昧でないすなわち明白レンジ(non−ambiguous or unambiguous range)が拡張される。別の実施形態では、f、2f、4f、8fなどにおける変調周波数を用いて複数の測定が行われ、各変調周波数における結果が組み合わされて、長い曖昧でないすなわち明白レンジにわたる、距離の正確な値を提供することが可能である。それぞれの相次ぐ測定において、分解能は倍になり、レンジは半分になる。
使用される照射源の周期的性質に、すなわち照射源の変調に起因して、距離レンジ間隔(distance range intervals)は繰り返す傾向がある。この現象は、上述のように、TOFエイリアシングとして知られている。現在、このTOFエイリアシングの問題を解決して、TOFカメラシステムが実装される特定の適用例のための、十分に長い間隔の曖昧でないすなわち明白距離をTOFカメラシステムが提供することを可能にする、限られた数の技術が存在する。しかしこれらの技術は複数の既知の制限を有し、なぜならこれらは、実装が非常に複雑である、集中的な計算を必要とする、堅牢でない、データ伝送において帯域幅オーバヘッドを発生させる、又は、深さ精度又は全体的カメラ性能の減少をもたらす、という傾向があるからである。
従って本発明の目的は、タイムオブフライト(TOF)信号を処理する代替の装置及び方法を、特に、そのようなタイムオブフライト信号のディエイリアシングのための装置及び方法を提供することである。特に、本発明の目的は、タイムオブフライト信号のディエイリアシングを含む代替のTOFセンサ、カメラなどを提供することに関する。
本発明の一利点は、TOF信号のディエイリアシングが効率的な手法で実行され得るということである。本発明の実施形態の態様は以下の通りである。
a)2つの相関プロセスを使用し、第1の相関プロセスは、距離又は深さ値を判定するためのものであり、第2の相関プロセスは、第1の相関内にエイリアシングが存在するかどうかを判定するためのものである。これらの2つのプロセスは相互に独立に行われてもよい。
b)上記のa)のうちの第1の相関は、第2の相関より高い優先度を与えられてもよく、例えば第1の相関についての計算量は、第2についてよりも第1について多くてもよく、かつ/又は、第1の相関における信号についての積分時間は、第2についてよりも長くてもよい。
c)深さ又は距離情報を得るために1つの相関プロセスが使用されるのに対して、エイリアシングが存在するかどうかを判定するために2つの方法又はプロセスが使用されてもよい。これらのプロセスのうちの第1は、好ましくは、可能なエイリアシングされた値の数を低減させ、第2のプロセスは次に、例えば除去のプロセスによって、可能なエイリアシングされた値の数を1又は1付近まで集中又は低減させる。
d)判定プロセス、すなわちエイリアシングが存在するかどうかについては、好ましくは、例えば超過又は未満の判定などの、単純な算術に基づく。
本発明の第1の態様によれば、イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する方法が提供され、照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
この方法は、
a)シーン内の少なくとも1つの物体からの反射された光を検出し、
b)1つ以上の第1の相関測定値によって、第1の相関信号と、イメージングセンサにおいて受信される反射された光との間の第1の相関を判定し、第1の相関信号は第1の周波数の周期的波形を有し、第1の相関測定値はイメージングセンサから少なくとも1つの物体までの距離に関するパラメータの値を提供し、
c)1つ以上の第2の相関測定値によって、イメージングセンサにおいて受信される反射された光と、第2の相関信号との間の第2の相関を判定し、第2の相関信号は第1の周波数より低い第2の周波数の周期的波形を有し、
d)パラメータの値について、第2の相関測定値からエイリアシングの存在を判定することを含む。
第1及び第2の信号は、シーンを照射するための光を変調するために使用されてもよく、第2の周波数は第1の周波数と異なる。又は、照射ユニットからの光を変調するために使用される第3の信号が、第2の相関のために使用される第2の信号と異なるデューティサイクルを有してもよい。第2の信号は、第1の信号と比較してオフセットされていてもよい。第2の相関ステップの後に依然として存在する可能性がある任意の可能なエイリアシングを除去するために、距離関連パラメータ、すなわちセンサとシーンとの間の距離を判定するための、第3のプロセスが提供されてもよい。この距離関連パラメータは、例えば反射率マップなどの、信頼度レベルであってもよい。
本発明の別の態様によれば、タイムオブフライトシステム内の位相測定において、例えば少なくとも特定の制限内でエイリアシングの存在を判定する方法が提供され、システムは、イメージングセンサを有しかつ照射ユニットと共に使用するためのものであり、照射ユニットは、周期的波形を有する変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
この方法は、
a)第1の周波数及び第2の周波数で変調された光を用いてシーンを照射するために照射ユニットによって使用される、変調信号を提供するステップと、
b)第1の周波数における、シーン内の少なくとも1つの物体からの反射された光を検出するステップと、
c)変調信号と、イメージングセンサにおいて受信される反射された光との間の第1の相関を判定するステップと、
d)照射ユニットによって放出される照射光と、イメージングセンサにおいて受信される反射された光との間の第2の相関を判定するステップと、
e)第1及び/又は第2の相関から、検出される反射された光の同相及び/又は直角位相成分を判定し、同相及び/又は直角位相成分を使用してエイリアシングの存在を判定するステップとを含む。
エイリアシングの存在又は曖昧性は、例えば第1及び第2の周波数とそれらの間の関係とによって判定される通りに、特定の距離制限内で判定されてもよい。この曖昧性は、ToF距離が特定の距離まで確実に判定され得ることを意味する。エイリアシングの影響又は曖昧性は、いくつかの実施形態では、TOF以外の距離依存因子又はプロセスに基づく距離測定について信頼度レベルが判定される場合、更に低減させられ得る。そのような距離関連因子は、例えば、物体から反射されるIR光の量、戻る画像内のスペックルのサイズのような、パッシブなものであり、又は、発散パターンを投射し、センサによって見られるパターンのサイズを測定することなどの、アクティブなものであってもよい。本発明の実施形態によれば、信頼度閾値が適用される。この信頼度閾値は、例えば、検出されることが可能な、シーンの物体の距離依存特性に基づいてもよい。閾値はピクセルごとに適用されてもよい。代替の実施形態では、信頼度閾値は、完全画像の一部に基づいて、例えば画像処理技術によって画像内で検出されることが可能な物体(1つ又は複数)に基づいて、又は画像全体について適用されてもよい。例えば、シーン内で検出される物体の反射率は、測定される距離が正しい可能性があることを確認するために使用されてもよい。信頼度閾値が距離依存であるインテリジェント閾値プロセスを使用することによって、本発明のTOF方法によって実際にサポートされることが可能な最大距離を増加させること、又は確実に検出されることが可能な最大距離が拡張され得るように最小反射率を減少させることが可能である。
直角位相(quadrature)という用語は、位相情報を有する信号を意味する。一般にそのような信号は90°位相がずれているが、本発明は直角位相が90°を意味することに限定されない。60、30°などのような、360°内に配置されるその他の角度が使用されてもよい。本発明の実施形態によって使用されるのは、少なくとも特定の制限内でエイリアシングが判定され得るような手法で、異なる周波数における2つの信号がコンステレーションダイアグラムの異なるセクタ内に入るということである。エイリアシングの判定は、コンステレーションダイアグラム内の決定領域を調べることによって行われてもよい。
好ましくは、エイリアシングの存在は、検出される反射された光の同相及び/又は直角位相成分の符号から判定される。
好ましくは、位相測定値が、第1の周波数についての様々な位相オフセットにおける相関から判定される。好ましくは、位相測定値が、第2の周波数についての様々な位相オフセットにおける相関から判定される。必要に応じて、第2の周波数は第1の周波数の2−nであり、ここで、n=1,2,...などである。
好ましくは、I値及びQ値を判定するステップは、第1の周波数及び/又は第2の周波数において行われることが好ましい。第1の及び/又は第2の周波数を使用した位相測定ステップは、I値及びQ値を使用して位相測定値を判定することを含んでもよい。
本発明の実施形態では、エイリアシングの存在を判定することは、第1の周波数及び/又は第2の周波数において、例えばI値及び/又はQ値を0と比較することによって、I値及び/又はQ値の符号を判定することなどの、単純な算術演算を実行することを含む。コンステレーション円のセクタが、様々な位相オフセットを決定アルゴリズムと関連付けてエイリアシングの存在を判定するために使用されてもよい。
別の態様では、本発明は、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有する、タイムオブフライト又はレンジ検出センサ(range finding sensor)を提供し、センサは、第1及び第2の信号と共に使用するためのものであり、照射ユニットと共に使用するためのものでもあり、照射ユニットは、変調された変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
センサは、
a)シーンを照射するために照射ユニットによって使用される第1の信号を提供する手段と、
b)第1の周波数における、シーン内の少なくとも1つの物体からの反射された光を検出する手段と、
c)変調信号と、イメージングにおいて受信される反射された光との間の第1の相関を判定する手段と、
d)イメージングセンサにおいて受信される反射された光と、第2の信号との間の第2の相関を判定する手段と、
e)第1の相関から、イメージングセンサからシーンまでの距離を判定し、第2の相関から、エイリアシングの存在を判定する手段とを含む。
手段は、第1の周波数とは異なる第2の周波数を用いてシーンを照射するための光を変調するために、第2の信号が使用され得るように提供されてもよい。又は手段は、照射ユニットからの光を変調するために使用される第3の信号が、第2の相関のために使用される第2の信号と異なるデューティサイクルを有し得るように提供されてもよい。手段は、第2の信号が第1の信号と比較してオフセットされ得るように提供されてもよい。手段は、第2の相関ステップの後に依然として存在する可能性がある任意の可能なエイリアシングを除去するために、距離関連パラメータ、すなわちセンサとシーンとの間の距離に関するパラメータを判定するために提供されてもよい。この距離関連パラメータは、例えば反射率マップなどの、信頼度レベルであってもよい。
更に別の態様では、本発明は、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有する、タイムオブフライト又はレンジ検出センサを提供し、センサは、イメージングセンサを有し、照射ユニットと共に使用するためのものであり、照射ユニットは、周期的波形を有する変調光を用いてシーンを照射するように適合され、
a)第1の周波数及び第2の周波数で変調された光を用いてシーンを照射するために照射ユニットによって使用される、変調信号を提供する手段と、
b)シーン内の少なくとも1つの物体からの反射された光を検出する手段と、
c)第1の周波数について、変調信号と、イメージングセンサにおいて受信される反射された光との間の第1の相関を判定する第1の手段と、
d)第2の周波数について、照射ユニットによって送られる照射光と、イメージングセンサにおいて受信される反射された光との間の第2の相関を判定する第2の手段と、
e)第1及び/又は第2の相関から、検出される反射された光の同相及び/又は直角位相成分を判定し、同相及び/又は直角位相成分を使用してエイリアシングの存在を判定する第3の手段とを含む。
反射された光を検出する手段は、ピクセルを有するセンサであってもよい。相関を判定する手段、及び/又は、同相及び/又は直角位相成分を判定する手段、又は、エイリアシングの存在を判定する手段は、センサに接続された、又はセンサと一体化された処理ユニットであってもよい。例えばこれらの手段はコンピュータによって提供されてもよく、センサの出力はコンピュータに接続される。
エイリアシングの存在又は曖昧性は、第1及び第2の周波数、及びそれらの分離、又はそれらの間の関係によって、特定の制限内で判定されてもよい。この曖昧性は、ToF距離が特定の距離まで確実に判定され得ることを意味する。エイリアシングの影響又は曖昧性は、いくつかの実施形態では、ToF以外の因子又はプロセスに基づく距離測定について信頼度レベルが判定される場合、更に低減させられ得る。本発明の実施形態によれば、信頼度閾値が適用される。この信頼度閾値は、例えば、検出されることが可能な、シーンの物体の距離依存特性に基づいてもよい。そのような距離関連因子は、例えば、物体から反射されるIR光の量、戻る画像内のスペックルのサイズのような、パッシブなものであり、又は、発散パターンを投射し、センサによって見られるパターンのサイズを測定することなどの、アクティブなものであってもよい。閾値はピクセルごとに適用されてもよい。代替の実施形態では、信頼度閾値は、完全画像の一部に基づいて、例えば画像処理技術によって画像内で検出されることが可能な物体(1つ又は複数)に基づいて、又は画像全体について適用されてもよい。例えば、シーン内で検出される物体の反射率は、測定される距離が正しい可能性があることを確認するために使用されてもよい。信頼度閾値が距離依存であるインテリジェント閾値プロセスを使用することによって、本発明のTOFカメラシステムによって実際にサポートされることが可能な最大距離を増加させること、又は確実に検出されることが可能な最大距離が拡張され得るように最小反射率を減少させることが可能である。
好ましくは、第3の手段は、検出される反射された光の同相及び/又は直角位相成分の符号からエイリアシングの存在を判定するように適合される。
好ましくは、第1の手段は、第1の周波数についての様々な位相オフセットにおける相関から位相測定を行うように適合される。好ましくは、第2の手段は、第2の周波数についての様々な位相オフセットにおける相関から位相測定を行うように適合される。
必要に応じて、第2の周波数は第1の周波数の2−nであり、ここで、n=1,2,...などである。
好ましくは、判定する第3の手段は、第1の周波数及び/又は第2の周波数においてI値及びQ値を判定するように適合される。
本発明の実施形態では、判定する第3の手段は、第1の周波数及び/又は第2の周波数において、例えばI値及び/又はQ値を0と比較することによって、I値及び/又はQ値の符号を判定することによって、エイリアシングの存在を判定するように適合される。
上記のセンサのうちのいずれも、TOF装置の一部であってもよい。
本発明をより良く理解するために、ここで添付の図面を単なる例として参照する。
4つの位相象限又は位相セクタを有する位相円を示す。 図1に類似しているが、8つの位相セクタを有する。 ディエイリアシングの影響、及びシーン内の物体の反射率を示すグラフを示す。 技術のうちの1つについて、光のための変調信号、それらの反射、及びTOF乗算器のミックス入力を駆動するために必要とされる信号を示すグラフを示す。 技術のうちの別の1つについて、光のための変調信号、それらの反射、及びTOF乗算器のミックス入力を駆動するために必要とされる信号を示すグラフを示す。 本発明の実施形態によるTOFカメラを示す。 TOFシステムの概略図である。
本発明について、特定の実施形態に関して特定の図面を参照して説明するが、本発明はそれらに限定されない。記載される図面は概略的なものにすぎず、非限定的なものである。図面において、要素のうちのいくつかのサイズは、説明の目的のために誇張され、縮尺通りには描かれていない場合がある。
本明細書の残りの部分では、ディエイリアシングの原理について、位相測定に基づいて説明する。但し、本発明は他の周期的信号(例えば疑似ランダムビットストリーム又はその他のデジタル信号)に対しても使用できることに留意されたい。
図7を参照すると、TOF測定においては、照射ユニットを有するTOFカメラシステムからの照射光がシーン内の点まで進み、それらの点からの反射された光がTOFカメラシステムのセンサユニットに戻るまでの、ラウンドトリップ時間が測定される。従来のTOFカメラシステムでは、照射光は、信号発生器からの信号を用いて照射ユニットを駆動することによって生成される、周期的に変調された光を含む。タイムオブフライトを判定するための1つの選択肢では、シーンを照射するためのTOFカメラシステムから放出される光と、受信されるシーンから反射された光との間の位相遅延が判定される。これは、信号発生器からの変調信号を受信する相関及び評価ユニット内で行われる。
この位相遅延は、次に、周期長及び光速を使用して、測定される距離に、すなわちTOFカメラシステムからの、物体の少なくとも1つの点の距離に変換されてもよい。これはピクセルごとに行われてもよい。変調光の周期的性質に起因して、特定の距離において位相遅延測定値は繰り返され(すなわちエイリアシングされ)、これは位相遅延が周期の倍数を超過すると発生する。位相遅延測定値のこの繰り返しは、上述のように、信号の「エイリアシング」と呼ばれる。本質的に、TOF距離測定値Dは、
Figure 0006246131

として判定されてもよく、上式で、cは光速であり、fは変調光の周波数であり、phase_degは度単位での位相シフトであり、kは「エイリアシング」された周期の数に関する。この式内の第1の因数は、ディエイリアシングのための備えを有さないシステムについてのエイリアシング距離であり、これは次の明白距離に一致する。
Figure 0006246131

この距離は、1周期内に含まれてもよい最大距離を表す。より大きな距離は、k回の繰り返しであり、従って画像内に含まれる場合はエイリアシングされ、そして明白に測定されるためにはkに関する知識が必要とされる。
この原理に基づく距離測定値は、理論的には決して一意に規定されず、無制限の数の可能な距離測定値に一致する。現在のシステムでは、全ての測定値について、kの値が0に等しいと仮定する。従って、実際にはいくつかのピクセルについてk>0である場合、この仮定は正しくなく、測定値は不正確である。
本発明の態様に従って、新規なディエイリアシング方法が説明され、この方法は、kが0である、又は特定の範囲内であると識別するために、及び/又はkの正確な値を識別するために使用されてもよい。本発明の実施形態は、イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、特定の制限内で、エイリアシングの存在を判定する又はエイリアシングを回避する方法を説明し、照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合される。この方法のステップは任意の好適な順序で実行されてもよい。この方法は、
a)シーン内の少なくとも1つの物体からの反射された光を検出し、
b)1つ以上の第1の相関測定値によって、第1の相関信号と、イメージングセンサにおいて受信される反射された光との間の第1の相関を判定し、第1の相関信号は第1の周波数の周期的波形を有し、第1の相関測定値はイメージングセンサから少なくとも1つの物体までの距離に関するパラメータの値を提供し、
c)1つ以上の第2の相関測定値によって、イメージングセンサにおいて受信される反射された光と、第2の相関信号との間の第2の相関を判定し、第2の相関信号は第1の周波数より低い第2の周波数の周期的波形を有し、
d)パラメータの値について、第2の相関測定値からエイリアシングの存在を判定することを含んでもよい。
パラメータは位相差であってもよい。この方法では、第1の位相測定値が、第1の周波数についての様々な位相オフセットにおける第1の相関測定値から判定されてもよい。好ましくは、第1の相関測定値における、検出される反射された信号の信号積分時間は、第2の相関測定値の信号積分時間より長い。これにより距離測定値の精度が向上し、同時に依然としてエイリアシングが解決される。
第2の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有してもよい。第2の相関信号のデューティサイクルは50%であってもよい。
第1及び/又は第2の相関測定値はエイリアシングインジケータとして結合される。そのようなエイリアシングインジケータはI値及びQ値であってもよい。別のインジケータは、シーン内の物体からの反射率などの、距離関連因子に基づいてもよい。
この方法は、
第2の周波数についての様々な位相オフセットを使用して第2の相関測定値を判定するステップと、
1つ以上の第2の相関測定値から、検出される反射された光の同相及び/又は直角位相成分を判定し、同相及び/又は直角位相成分を使用してエイリアシングの存在を判定するステップとを更に含んでもよい。
エイリアシングの存在は、距離関連因子を測定することから判定される信頼度レベルを使用することによって判定されてもよい。距離関連因子は、反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズであってもよい。
エイリアシングの存在は、検出される反射された光の同相及び/又は直角位相成分の符号などのインジケータから判定されてもよい。
第2の位相測定値が、第2の周波数についての様々な位相オフセットにおける第2の相関測定値から判定されてもよい。第1の周波数は第2の周波数と異なり、例えば第2の周波数より高い、又は第2の周波数の倍数である。
同相及び/又は直角位相成分を判定するステップは、第1の周波数及び/又は第2の周波数におけるI値及びQ値を判定することを含んでもよい。
エイリアシングの存在は、I及び/又はQの符号、及び/又は、I及びQの絶対値の差などのインジケータから判定されてもよい。
実施形態は、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有する、タイムオブフライト又はレンジ検出センサユニットを説明し、センサは、照射ユニットと共に使用するためのものであり、照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
センサユニットは、
a)シーン内の少なくとも1つの物体からの反射された光を検出する、第1の手段と、
b)第1の相関測定値によって、第1の信号と、イメージングセンサにおいて受信される反射された光との間の第1の相関を判定する、第2の手段と(第1の相関測定値はイメージングセンサからシーンまでの距離に関するパラメータの値を提供し)、
d)第2の相関測定値によって、イメージングセンサにおいて受信される反射された光と、第2の信号との間の第2の相関を判定する、第3の手段と(第2の信号は第1の周波数より低い第2の周波数の周期的波形を有し)、
e)その値について、第2の相関測定値からエイリアシングの存在を判定する、第4の手段とを含む。
パラメータは位相差であってもよい。第2の手段は、第1の周波数についての様々な位相オフセットにおける第1の相関測定値から第1の位相測定値を判定するように適合されてもよい。
好ましくは、第2及び第3の手段は、第1の相関測定値の信号積分時間が第2の相関測定値の積分時間より長いように適合される。
第2の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有してもよい。第2の信号のデューティサイクルは50%であってもよい。
第2の相関を判定する第3の手段は、第2の周波数についての様々な位相オフセットにおいて第2の相関測定を実行するように適合されてもよい。
センサユニットは、第2の相関測定値から、検出される反射された光の同相及び/又は直角位相成分を判定するように適合されてもよく、第4の手段は、同相及び/又は直角位相成分を使用してエイリアシングの存在を判定する。
エイリアシングの存在は、距離関連因子から判定される信頼度レベルを使用することによって判定されてもよい。距離関連因子は、第1の周波数及び/又は第2の周波数において変調された反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズであってもよい。
同相及び/又は直角位相成分を判定する手段は、検出される反射された光の同相及び/又は直角位相成分の符号からエイリアシングの存在を判定するように適合されてもよい。
判定する第2の手段は、第1の周波数についての様々な位相オフセットにおける第1の相関から位相測定を行うように適合されてもよい。
判定する第3の手段は、第2の周波数についての様々な位相オフセットにおける第2の相関から位相測定を行うように適合されてもよい。
第1の周波数は第2の周波数と異なり、例えば第2の周波数より高い、又は第2の周波数の倍数である。
同相及び/又は直角位相成分を判定する第4の手段は、第2の周波数におけるI値及びQ値を判定するように適合されてもよい。
同相及び/又は直角位相成分を判定する第4の手段は、I値及び/又はQ値の符号を判定することによってエイリアシングの存在を判定するように適合されてもよい。
第1及び/又は第2の信号は、好ましくは、オフセットエラーを回避するために位相オフセットについて較正される。
センサユニットのセンサは、マイクロプロセッサ又はFPGAなどのプロセッサを含んでもよい相関及び評価ユニットと共に使用するためのものであってもよい。
第1及び第2の信号が、反射された光との相関のために説明されるが、本発明は、カスケードされてもよい又は繰り返し適用されてもよい、より多くの信号の使用を含み、それらの信号は第1及び第2の信号とは異なる周波数におけるものであってもよい。
第1の利点は、kが0であるかどうかを判定する場合、距離測定値は今や一意に規定される距離測定値であり、これにより、k>0の場合に上記で説明したようにシステムが不正確な距離情報を出力することが回避されるということである。第2の利点は、kの値を認識した場合、この識別された情報をシステムがより長い距離レンジに変換することが更に可能になるということである。第3の利点は、より高い変調周波数が使用可能であり、深さ精度に関する有利な効果を有する可能性があるということである。
TOFなどのいくつかの距離測定技術では、測定において使用される反射されたアクティブ赤外線光の強度についての追加の値も取得され、本願発明者らはこれを信頼度と呼ぶ。信頼度は距離の2乗で低下する。
エイリアシングの曖昧性の解決における第1のアプローチは、kを判定するために信頼度を見ることである。信頼度は距離の関数であるだけでなく、シーン内の表面の反射率の関数でもあるため、これは良い解決法ではない。従って、非常に低い信頼度は、1周期を超えて離れた物体(k>0)に、又は非常に低い反射率を有するすぐ近くの物体(例えば黒い革ジャケット)に対応する可能性がある。従って、この原理に依拠するためには、シーン内の全てのピクセルについて、シーン内の反射率が知られていなければならない。そのような場合、信頼度はkを判定するために使用されてもよい。しかし実際にはこれは稀なケースである。
本発明で使用されるアプローチでは、信頼度に部分的に依拠する。第1のアプローチは、信頼度に基づいて、k>0を有する可能性がある全てのピクセルを抑止することである。上記で示したように、信頼度は、k>0を有するピクセルが、すぐ近くのより低い反射率を有するピクセルと区別されることを可能にせず、両方が抑止される。従って、この原理を適用すれば、k>0を有する測定値が抑止されることが保証され、しかし特定の反射率制限より下の、エイリアシング距離未満の良好な測定値も抑止される。一次において、この最少反射率制限は、適用例のために必要とされる最大距離の2乗に比例し、明白距離の2乗に反比例する。高反射率、及び例えば低反射率衣料などの非常に低い反射率レベルに適合することが、この技術の使用事例の多くにおける目的であるため、この反射率制限は上記の技術の重大な制限である。従って、本発明の目的は、この制限を最小にすることである。これは明白距離を増加させること、又は適用例のために必要とされる最大距離を低減させることによって取得される。しかし後者は、ほとんどの場合はこれが適用例によって規定される固定パラメータであるため、見通しをほとんど又は全く提供せず、従って本明細書の残りの部分では考慮されない。明白距離は、変調周波数を低減させることによって容易に増加させることが可能である。しかしこれは距離測定に関する不確実性に悪影響を及ぼす。従って、本明細書で説明される、明白距離を増加させる他の手段が重要である。
距離依存である適応閾値などの、より複雑な信頼度閾値メカニズムを使用すれば、特定の反射率制限での最大サポート距離を増加させること、及び/又は最小反射率制限を減少させることが可能である。
説明を容易にするために、一般的なTOFカメラシステムが本明細書全体を通して仮定される。TOFカメラシステムにおいて位相を測定するために、同相すなわちI値、及び直角位相すなわちQ値が判定される。直角位相という用語は、位相情報を有する信号を意味する。一般にそのような信号は90°位相がずれているが、本発明は直角位相が90°を意味することに限定されない。60、30°などのような、360°内に配置されるその他の角度が使用されてもよい。エイリアシングの判定は、コンステレーションダイアグラム内のそのような決定領域を調べることによって行われてもよい。
本発明の実施形態によれば、I値及びQ値が判定される。これは一般に、例えば2つ以上の、又は、3つ、4つの異なる位相オフセットなどの、複数の位相オフセットにおいて、放出される及び反射される光信号の間の相関を測定することによって行われる。例えば4つのオフセットは、一般に0°、90°、180°、及び270°である。これらの測定値を使用する場合、I値及びQ値は、
I=M_0−M_180
Q=M_90−M_270
であり、上式で、M_0、M_90、M_180、及びM_270はそれぞれ0°、90°、180°、及び270°における測定値である。
I及びQは、次に、標準的な三角法の関係
φ=atan2(Q,I)
を使用して位相φを計算するために使用されてもよい。
TOF測定のための照射光として使用される変調周波数は、以下の説明全体を通して、第1の周波数又はベース周波数(BF)と呼ばれる。加えて、第2の周波数又は派生周波数が、BFに対するそれらの関係に従って、例えばHALF及びQUARTERなどと呼ばれる。
本発明の目的は、TOF距離測定に次いで、追加のより短い測定を追加することによってエイリアシングを区別し、エイリアシング状態を判定することを可能にする技術も提供することである。本発明の目的は、この測定を行うために必要とされる積分時間をできるだけ短く保って、必要とされる照射におけるエネルギーを節約し、できるだけ集中し、実際の距離測定のための長い積分時間を可能にすることである。積分時間がより長ければ、不確実性はより少ない。しかし利用可能な積分時間は、例えば50fpsに対して20msのように、必要とされるフレームレートによって制限される。従って、非常に短い時間フレーム内でエイリアシングを識別する技術を有することが重要であり、非常に有利である。
本発明の第1の実施形態によれば、1つの追加の測定が、上述の標準的なTOF技術を用いて、より低い第2の周波数において行われる。この測定は、例えば第2の周波数HALF、すなわち第1の周波数又はBFの半分において行われる。その場合、システムは以下の関係を使用して、kが偶数であることとkが奇数であることを判別することが可能である。
QHALF>0の場合→kが偶数でのTOF測定
QHALF<0の場合→kが奇数でのTOF測定
従って、1回の測定の符号を調べることのみで、kについての可能な値を奇数又は偶数のいずれかであることに低減させることが可能になる。従って、明白距離は2倍に増加させられ、これにより反射率制限は4分の1に低減させられる。
しかし、この測定におけるノイズに起因して、例えばQHALFが0に非常に近い場合、測定値は誤って解釈される可能性がある。
あるいは、IHALF測定値も、上記と同じ関係を使用して、測定におけるノイズの同じ問題を伴って使用されてもよい。
これを改良するために、測定の時間的コヒーレンシを考慮に入れ、エイリアシング距離を完全に又はほぼ完全に変える距離を拒絶してもよく、なぜならそれらは上記で説明したノイズに起因する可能性があるからである。エイリアシング距離は一般にかなり大きく、例えば20MHzの変調周波数に対して7.5mなどである。時間的コヒーレンシに次いで又はこれと共に、周囲のピクセルも考慮に入れられてもよい。
ノイズに対する耐性を向上させるための別の手法は、例えばIHALF又はQHALFだけでなく、両方を調べ、次にQHALF、IHALFの符号、並びにQBF及びIBFの符号も使用することによって、追加の冗長性を測定内に追加することである。このようにして、以下でより詳細に説明するように、4つの可能性のある結果及び結論が取得され得る。
QBF及びIBFは一般に、容易に入手可能であり、なぜならこれらはTOF測定自体を完了するために計算されなければならず、従って追加の必要とされる測定値とはみなされないからである。
図1は、4つの象限1、2、3、及び4に分割されたコンステレーションダイアグラム10を示す。各象限1、2、3、及び4は、それぞれ、0°と90°との間、90°と180°との間、180°と270°との間、及び270°と0°すなわち360°との間の位相範囲に対応する。第1の周波数又はベース周波数、及びベース周波数の半分である第2の周波数に関して、以下の表1は、各行が、円10内のHALF又は低周波数象限に対応し、各列が、BF又は高周波数象限に対応することを示す。各測定について、QHALF、IHALF、QBF、及びIBFの符号が、次に、BF又は第1の周波数、及びHALF又はより低い周波数についての象限を判定するために使用されてもよい。これらの象限を使用して、HALF又はより低い周波数についての正しい象限の値が表1に示されている。この正しい値は次に、上記で示したように、kの奇数及び偶数符号を判定するために使用される。このようにして、測定値の冗長性に起因して、最大90°までのノイズが補正され得る。
Figure 0006246131
従って、最初に信頼度閾値が設定されてk>1の可能性がある全ての測定値を除去しなければならず、次にHALF象限を認識し、「HALF_3」又は「HALF_4」の値は単一のエイリアシング距離が追加される必要があることを意味し、「HALF_1」又は「HALF_2」の象限値はエイリアシングが存在しないことを意味する。従って、HALFQ及びHALFIの測定を追加し、HALFQ、HALFI、QBF、IBFの符号を見ることのみによって、明白距離の倍増を達成することが可能である。
HALFQ及びHALFI測定値について符号のみが区別される必要があるため、これらの測定値を得るために使用されるアクティブ光の量を制限することが望ましい。上記で示したように、約90°のノイズがこの技術を使用して修正され得る。従って、システム動作は、3Dタイムオブフライトカメラの当業者によって行われ得るように、90°を超えるノイズを回避するように設計されるべきである。
更に、第2の重要な制約条件は、両方の周波数において行われる測定の間のオフセットである。このオフセットは、90°の許容ノイズレベルから上記の理由において導き出される。従って、このオフセットをできるだけ低減させることが重要である。これは例えば1)変調信号を位相シフトさせること、又は2)受信される相関のうちの1つを後で計算的に回転させることによって行われてもよい。
オフセットを低減させることは、製造中のTOFカメラ較正フェーズの間に、固定された既知の距離において各周波数について位相を測定し、測定されるオフセットについて補正することによって行われてもよい。このオフセット値はデジタルメモリ内に記憶され、次に、放出される光又は反射される光のうちの1つに遅延を適用してオフセットを補償するために使用される。
一般的な実装では、第1の周波数又は高変調周波数は、TOFカメラシステム内のベースクロックによって許容される可能な最小数のデジタルステップを用いて達成され、第2の周波数又は最低周波数は、いくつかのベースクロック・ティックで作られる。従って、第2の周波数又は最低周波数(この場合はHALF)のみを調節することが、その遅延を第1の周波数又は最高周波数(BF)と一致させるために必要である。
加えて、残りの不一致は、PLL又は遅延線を使用して除去されてもよい。
あるいは、同期は、(2×2)×(2×1)マトリクス操作を用いてI及びQ座標を回転させることによって達成されてもよく、ここで(2×2)マトリクスは、較正中に決定されてもよく、又は特定のTOFカメラシステム製造ラインについての固定されたマトリクスとして定義されてもよい。
但し、本発明の第1の実施形態は、第1の周波数又は元の変調周波数すなわちBF信号において取得可能な、曖昧性のないすなわち明白距離(non−ambiguity or unambiguous distance)の、最大2倍までしか検出できないという点において明確な制限を有することに留意されたい。
本発明の第2の実施形態では、第2の周波数はQUARTER周波数であってもよく、例えば、20MHzの第1の周波数BFに対して、使用されてもよい第2の周波数又は最低周波数は5MHzである。これはエイリアシング距離レンジの最大4倍までの、識別がもたらされ得るレンジの拡張を提供する。
図2は、示されている8つのセクタ1、2、3、4、5、6、7、及び8に分割された円20を示す。この場合、測定におけるノイズの存在に起因する1つのケースから別のケースへのジャンプを回避するために調べられる必要がある、以下の表2に示す8つの可能なケースが存在する。
上記のHALF周波数の場合と同様に、冗長性のない、しかしノイズの傾向がある実装が可能である。この場合、これはQUARTER周波数を4つのみの象限に分割することに基づく。前の場合と同様に、ノイズの影響に対する補償は、時間コヒーレンシ及び/又は隣接するピクセルとのコヒーレンシを使用して提供され得る。
Figure 0006246131
表2では、各行が、円20内の第2の周波数QUARTER又は低周波数セクタに対応し、各列が、第1の周波数BF又は高周波数象限に対応する。表2内の値は、正しいQUARTERに対応する。このようにして、測定値の冗長性に起因して、最大90°までのBF又は高周波数ノイズが補正され得る。
表2では、ケース1〜8は、以下のステップが実行されるという前提で区別され得る。
1)Iの符号を調べる
2)Qの符号を調べる
3)I>Qかどうかを調べる
前と同様に、これらの全ての演算は単純な比較演算であり、しかし制約条件は同じままであり、すなわち、第1の周波数BF又は高周波数信号の90°が、第2の周波数QUARTER又は低周波数信号の22.5°と等しい。これは、表1及び2のそれぞれが4つの列を有する理由でもある。
より低い周波数についてQUARTER_1〜QUARTER_8のケースを区別することは、次に、以下を識別するために役立つ。
QUARTER_1又はQUARTER_2:kは[0;4;8;...]に属する
QUARTER_3又はQUARTER_4:kは[1;5;9;...]に属する
QUARTER_5又はQUARTER_6:kは[2;6;10;...]に属する
QUARTER_7又はQUARTER_8:kは[3;7;11;...]に属する
明白距離はこれによって4倍に拡張される。従って、信頼度閾値に課される必要がある反射率制限は、所望されたように大幅に低減される。
本発明は、HALF又はQUARTER周波数である第2の周波数に限定されず、EIGHTH及びより低い分数周波数などの他の周波数に拡張されてもよい、ということは容易に理解されるであろう。しかし、EIGHTH又はより低い分数周波数の利用に伴って、計算要件における関連する増加があり、なぜならその場合この技術は、全てのエイリアシングパターンを識別できるように、少なくとも8つの、及び好ましい16のケースを使用するからである。
エイリアシングレンジを、BF又は高周波数の曖昧性のないすなわち明白な間隔の最大4倍に拡張することは、完全にディエイリアシングされた距離測定又は関連する画像を達成するために、多くの場合すでに十分である。しかしTOPカメラシステムの曖昧性のないすなわち明白レンジを更に拡張することが本発明の範囲内に含まれることは、理解されるであろう。
反射率と距離との間のトレードオフが、距離に対する相対信号強度のグラフがプロットされた図3に示されている。トレース30は、反射率4%の場合のエイリアシングされていない信号に関し、トレース35は、反射率100%の場合のエイリアシングされた信号に関する。
しかし、変調周波数を増加させる場合、これはTOFカメラシステムの性能のために有益であるが、システムの最大レンジを4倍に拡張することは適切ではない場合がある、ということが見い出された。1.5mの自然な曖昧性のないすなわち明白距離を有する100MHzの第1の周波数BFが使用される場合、上記の本発明の第2の実施形態に関して説明されたQUARTER周波数である第2の周波数を使用すれば、曖昧性のないすなわち明白距離は今や6mである。しかし、TOFカメラシステムが動作する領域のサイズに起因して、距離測定は3mに制限され、反射率制限は一次において25%となり、これはより低い反射率の物体についての距離判定を非常に困難にする。その上、6mより大きな距離におけるディエイリアシングが必要とされるシステムについて、QUARTER周波数である第2の周波数は、従って十分ではない。
上述のように、EIGHTH周波数である第2の周波数がこれらの状況のために使用されてもよいが、より複雑な比較が伴う。より複雑な比較の代替として、反復技術が、曖昧性のないすなわち明白距離を拡張するために使用されてもよい。
本発明の第1の実施形態で上述したHALF周波数である第2の周波数を使用する、反復方法が実装されてもよい。これは曖昧性のないすなわち明白距離を100%拡張し、すなわち、第1の周波数BFを用いて取得される明白距離を2倍にする。第1の反復において距離は100%拡張される(2倍される)。第2の反復において距離は更に100%拡張され(実質的に4倍され)、第3の反復において距離は更に100%拡張される(8倍にされる)。各反復において、測定値におけるエイリアシングの存在が判定され得るように、I及びQの符号が判定される。
反復を無期限に実行することが可能であるが、許容ノイズ制限が慎重に守られなければならない、ということが理解されるであろう。1ステップについての最大許容ノイズは90°であり、しかしこれはその後、この反復プロセスの全ての段階において順守されなければならない。
あるいは、第2のHALF周波数の反復を使用する代わりに、第2のQUARTER周波数について反復が実行されてもよく、これは同じ数の測定を用いて物体が測定され得る距離のより大きな拡張を可能にする。加えて、反復は、第2のHALF及びQUARTER周波数の両方を使用して結合されてもよい。第2のHALF周波数を反復内に含め、これにより、曖昧性のないすなわち明白距離を他の手法で更に拡張することも可能な場合がある。
TOF測定は一般に、複数の異なる測定を行うことによって実施される。これらの測定は、照射源によって放出される変調信号と、TOFカメラシステムのイメージングセンサにおいて受信されるものとの間の位相差又は時間遅延差において異なる。これらの測定は「位相フレーム」と呼ばれてもよい。一般に、0°、90°、180°、及び270°が位相フレームのために使用される。これらの測定のそれぞれは並列に、又は順次行われてもよい。本発明は1つ以上の追加の測定が行われることを必要とするため、これらの追加の測定を実施する様々な手法が可能である。
追加の測定を実施する一方法は、位相フレームのための測定時間の長さを低減させ、必要とされる追加の測定を追加することである。一実施では、4つの追加の位相フレームが必要とされ、0_HF、90_HF、180_HF、270_HF、0_LF、90_LF、180_LF、270_LFにおける測定がもたらされ、ここで、HFは高周波数を意味し、LFは低周波数に関する。一般にこれらの測定は順次行われ、ディエイリアシングの十分な精度のために必要とされる測定時間は、LFについてはHFと比較してはるかに短い。
別の方法は、これらの追加の測定を個々の位相フレームのそれぞれの後に追加することであり、これにより、0_HF、0_LF、90_HF、90_LF、180_LF、180_HF、270_LF、270_HFにおける測定がもたらされる。
これらの測定は、システムが許容する場合、並列に行われてもよい。本発明の方法は、低レベル電子回路を使用して実装されてもよい。この方法は、ホスト上のドライバ回路内に、又は更にはその背後に容易に実装されることが可能であるが、一般には、コンパニオンチップ又はフィールドプログラマブルゲートアレイ(FPGA)上で動作するファームウェア内に実装される。この方法はまた、イメージングセンサの集積回路(IC)内に組み込まれてもよい。加えて、本発明の方法は、逆正接(tan−1すなわちarctan)、平方根(sqrt)などのような困難な代数関数にではなく、非常に単純な比較ロジックに基づくため、特に有用である。
本発明のシステムは、必要とされる測定値の数を低減させることによって最適化され得る。TOF理論によれば、少なくとも3つの測定値が好ましい。従って、0°及び90°値のみを基準値と共に測定することが可能である。ここで、必要とされるI値及びQ値は以下のように判定されてもよい。
I=M_0°−基準
Q=M_90°−基準
上式で、M_0°及びM_90°は、それぞれ0°及び90°において取られる測定値である。
本発明について、例えば0°、90°、180°、及び270°などの、90°間隔で取られる測定値を使用して説明してきたが、その他の測定値も使用されてもよいということが理解されるであろう。測定値間隔は、0°、120°、及び240°、又は任意のその他の好適な測定値間隔であってもよい。同相及び/又は直角位相信号が評価される場合、0°、90°、180°、及び270°、又は、90°、180°、270°、及び360°の間隔が使用される傾向がある。
本発明の別の実装では、追加のより低い周波数の測定のために、光源に送られる変調信号とセンサ内のミキサ29(図6を参照)に送られるミックス信号とについて、異なるデューティサイクルが使用されてもよい。そのようなアプローチのために使用される信号を有する例示的フレームが、図4に示されている。フレームは長さ110を有し、これらの種類の測定において一般的なように、信号対ノイズ比を向上させるために、示されているフレームは1回の測定について複数回繰り返される。数値の一般的な例は、フレーム長について100ns、1000回の繰り返し、及び100μsの実効時間にわたる積分である。
例えばBFの周期の半分である、例えば長さ100を有するパルス106などの信号が、照射の変調信号として使用され、センサのミキサは、例えばHALF周波数パルス長に対応する、パルス長100より長いデューティサイクル長103を有するパルス107を用いて駆動される。そのような信号を使用して、kが奇数であるか偶数であるかを以下のように確認することができる。
1)図4に示すMIX信号についての、第1の測定値(M1)
2)図4に示す反転されたMIX信号についての、第2の測定値(M2)
図4のRETURN_LIGHT_Aによって示されているように、M1>M2はk=偶数を示す。図4のRETURN_LIGHT_Bによって示されているように、M2>M1はk=奇数を示す。
図4における波形は、好ましくは、M1=M2となる距離がBFについてのエイリアシング距離と一致するように構成される。この理由により、図4に示されているパルス106の開始は、パルス107の開始から位相シフトされている。パルス106はフレーム境界にまたがるため、従ってフレームの始まりにおける部分とフレームの終わりにおける部分とを有する。より小さなパルス幅100が選択されれば、kの値に関してより多くのコントラストが得られ、しかしパルス幅100がより短く選択されるにつれて、より少ないエネルギーが照射によって放出され、従ってより長い積分時間が特定のノイズレベルを得るために必要とされる、ということにも留意されたい。
この技術の利点は、行われなければならない測定が2つだけであるということである。追加の冗長性は必要とされない。従って、実際のTOF距離測定を実行するためにより多くの時間が利用可能である。
上記のデューティサイクル変化技術のより一般的なアプローチのために使用される信号を有する例示的フレームが、図5に示されている。再び、フレームは長さ210を有し、ディエイリアシングのための追加の測定の間、継続的に繰り返されるとみなされる。パルス長203は、kに関して調べるために任意に選択されてもよく、例えば、パルス長203がエイリアシング距離に一致しパルス長204がエイリアシング距離の2倍に一致するように選択されてもよく、これにより以下のようにkに関して調べることが可能になる。
1)図5に示すMIX信号についての、M1を測定
2)図5に示す反転されたMIX信号についての、M2を測定
M1>M2は、kが[0;3;4;7;8;11...]に属することを示す
M2>M1は、kが[1;2;5;6;9;10...]に属することを示す
従って、2つのみの追加の測定を用いて、明白距離の拡張はk=2までになり得る(k=3はk=0と同様となる)。
上記は一例であるということ、及び、当業者によって構成され得るように、異なるパルス長203及び204を選択することによって、非整数を含む、kに関する任意の確認が、同様の手法で確認され得るということに留意されたい。また、前の技術と同様に、この技術も、明白距離を更に拡張するために反復されてもよい。
より小さなパルス幅200が選択されれば、kの値に関してより多くのコントラストが得られ、しかしパルス幅200がより短く選択されるにつれて、より少ないエネルギーが照射によって放出され、従ってより長い積分時間が特定のノイズレベルを得るために必要とされる、ということに再び留意されたい。
MIX信号波形が平均して50%のバランスの取れたデューティサイクルを依然として有するということは重要である。これは主として、背景光がバランスが取れていて、様々な必要とされるTOF測定の間に打ち消される、ということを確実にするためである。例として、図5に示すように、MIX信号が周期の始まり及び終わりにおいてhighであるようにパルスを拡張することが達成される。始まりのパルス長205は、実際には(前のフレームの終わりにおける)パルス長203によって先行され、バランスが取れているために、両方の合計は204に等しい。
図6は、本発明によるTOFカメラ又はレンジ検出システムの別の実施形態を示す。レンジ検出システムは、光を反射する関心領域に好ましくは焦点が合わせられた周期的光51をシーン55上に放出するための、光源49を含む。周期的光51は、2つの検出可能に異なる周波数−第1の周波数又はベース周波数及び第2のより低い周波数−を含む。レンジ検出システムは、反射された光を受信するための少なくとも1つのピクセル31を更に含む。反射された光はまた、第1及び第2の周波数における、例えばパルスなどの信号成分を含む。光源49が変調光を放出するために、信号発生器43が備えられる。信号発生器43は、例えば約10MHzにおける所定の第1の周波数又はベース周波数において好ましくは恒久的に発振している信号又は変調信号を、ノード48上で生成する。この信号発生器43は、類似した第2〜第5のクロック信号も生成し、これらはそれぞれ、ノード48上の第1のクロック信号との0°、180°、90°、及び270°の位相関係を有して、ノード44、45、46、47上に配送される。当業者は、その他の又はより多くのクロック位相を動作方式内で使用することも考慮することが可能であり、より多くのクロック位相は、より良好な測定精度を、より長い測定時間と引き換えにもたらす。信号発生器は、第2の周波数又はより低い周波数における信号も生成する。従って、信号発生器は、第2の周波数又はより低い周波数における、第1〜第5のクロック信号を生成する。これは例えば、第1の周波数又はベース周波数における信号を生成し、しかしベース周波数信号の振幅を、一定の間隔をおいて、例えばベース周波数の何分の1かの周波数において、変更する(例えばこれを増加させる)ことによって達成されることが可能である。例えば、第2の周波数は第1の周波数の2−nであってもよく、ここで、n=1,2,...などである。フィルタリングによって、変調信号から、及び例えば観察中の物体からの反射された信号からも、第1又は第2の周波数における信号のいずれかが抽出されることが可能である。
信号発生器43は、変調信号変更手段による変調信号の変更を決定する制御信号41、例えば、セレクタ58による第2〜第5のクロック信号の間での、すなわちクロック信号の様々な位相の間での選択を決定する制御信号41も生成してもよい。セレクタ58は、これらの4つの位相の間を順次切り換えて、検出器及びミキサステージ200のミキサ29の入力ノード42を、ノード44、45、46、及び47上の第2〜第5のクロック信号と順次接続する。これらの位置のそれぞれにおいて、セレクタ58は、例えば約1msの緩和期間にわたって接続されたままであってもよい。
バッファ50は、好ましくは関心領域に焦点が合わせられた光51をシーン55上に放出する、光源49を駆動する。この光の一部は反射され、従って反射された光52を生成する。この反射された光52は次に、レンズ56などの光学合焦システム上に到達し、これを通してピクセル31内の検出器28上に結像又は合焦され、ここで、入射の一部は、反射された変調光(ML)27と呼ばれる。
TOF測定を目的としない二次光源30から生じる間接光53及び直接光54の両方も、シーン内に存在し、光学合焦システム56に当たり、従って検出器28上に合焦される。検出器28に入る、この光の一部は、背景光(BL)26と呼ばれる。BLを生成する光源30は、白熱灯、TL灯、太陽光、昼光、又はシーン上に存在しTOF測定のための光源49から発するものではないその他のいかなる光も含む。
ML27及びBL26は光検出器28上に当たり、当たっているBL26及びML27による光誘起電流応答であるML電流及びBL電流をそれぞれ生成する。検出器28はこれらの電流を、当たっているBL26及びML27による電流応答を入力ノード42上の位相シフトされたクロック信号とミキシングするための、例えばミキサ29などの、後続のミキシング手段に出力する。このBL26は、TOF測定のために受信されるML27によって誘起されるML電流より最大6桁大きいBL電流を誘起する可能性がある。
検出器及びミキサステージ200を形成する検出器28及びミキサ29は、例えば欧州特許出願公開第1513202(A1)号明細書に記載されているような、光生成電荷を混合してミキシングプロダクト電流を一度に生成する1つの単一装置として実装されてもよい。検出器及びミキサステージ200は、当たっているBL26及びML27による電流応答と位相シフトされたクロック信号とのミキシングプロダクトを生成し、これらの信号はノード38上で、例えばキャパシタ25を用いて実装される積分器によって積分され、キャパシタ25は好ましくは、例えば周辺のトランジスタの寄生容量などの、小さな容量に保たれる。積分の間、積分器ノード38上のミキサ出力信号の自動リセットが実行される。これは第1及び第2の周波数の両方について実行される。
これは例えば、比較器33が、例えばリセットトランジスタ32などの、リセットスイッチをトリガすることによって実施されてもよく、これによりノード38上のミキサ出力信号は、これが基準値Vrefに到達したら自動的にリセットされ、従って飽和が回避される。
図面に示されていない代替の実施形態では、積分器ノード38上のミキサ出力信号の自動リセットは、その他のいくつかの手法で実施されてもよい。それらのうちの1つは、リセットスイッチ32の代わりに電荷ポンプをトリガして一定量の電荷をキャパシタ25に追加するというものであり、これにより、複雑さのいくらかの増加を犠牲にして、より良好なノイズ性能がもたらされる。
ミキサ出力信号を形成するミキシングプロダクトは、積分器ノード38において、変調信号変更手段(示されている例ではセレクタ58)と同期された順次的形式で得られる。例えばバッファなどの、出力ドライバ24は、実質的に1の電圧利得と、電流増幅とを提供し、これにより、より強力な出力信号を出力ノード23において提供する。
フィルタリングによって、観察中の物体からの反射された信号から、第1又は第2の周波数における信号のいずれかが抽出されることが可能である。
本発明について、図面及び前述の説明において詳細に図示及び説明したが、そのような図示及び説明は、限定的なものではなく、例証又は例示のためのものであるとみなされるべきであり、本発明は開示された実施形態に限定されない。開示された実施形態のその他の変形が、図面、開示、及び添付の特許請求の範囲を検討することによって、特許請求される本発明の実施において当業者によって理解され、もたらされ得る。特定の手段が相互に異なる従属請求項内に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないということを示さない。特許請求の範囲内のいかなる参照符号も、範囲を限定するものと解釈されるべきではない。

Claims (15)

  1. イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、エイリアシングの存在を判定する方法であって、前記照射ユニットは、第1の周波数及び第2の周波数で変調された変調光を用いてシーンを照射するように適合され、前記システムは、相関信号と前記シーンから反射された変調光との間の相関測定値を取得するように適合され、
    前記方法は、
    a)前記シーン内の少なくとも1つの物体からの反射された光を検出し、
    b)1つ以上の第1の相関測定値によって、第1の相関信号と、前記イメージングセンサにおいて受信される前記反射された光との間の第1の相関を判定し、前記第1の相関信号は前記第1の周波数の周期的波形を有する前記変調光と等しく、前記第1の相関測定値は前記イメージングセンサから前記少なくとも1つの物体までの距離に関するパラメータの値を提供し、
    c)1つ以上の第2の相関測定値によって、前記イメージングセンサにおいて受信される前記反射された光と、第2の相関信号との間の第2の相関を判定し、前記第2の相関信号は前記第1の周波数より低い前記第2の周波数の周期的波形を有する前記変調光と等しく、
    d)前記パラメータの値について、前記第2の相関測定値からエイリアシングの存在を判定すること
    を含み、
    記エイリアシングの存在は、前記第1の相関測定値から検出される反射された光の同相及び/又は直角位相成分の符号と、前記第2の相関測定値から検出される反射された光の同相及び/又は直角位相成分の符号とに基づいて判定される、
    方法。
  2. 第1の位相測定値が、前記第1の周波数についての様々な位相オフセットにおける前記第1の相関測定値から判定され、第2の位相測定値が、前記第2の周波数についての様々な位相オフセットにおける前記第2の相関測定値から判定される、請求項1に記載の方法。
  3. 前記第1の相関測定値における、検出される反射された信号の信号積分時間は、前記第2の相関測定値の信号積分時間より長い、請求項1又は2に記載の方法。
  4. 前記第2の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有し、前記第2の相関信号のデューティサイクルは50%である、請求項1〜3のいずれか一項に記載の方法。
  5. 前記第2の周波数についての様々な位相オフセットを使用して前記第2の相関測定値を判定するステップと、
    1つ以上の第2の相関測定値から、検出される反射された光の同相及び/又は直角位相成分を判定し、前記同相及び/又は直角位相成分を使用してエイリアシングの存在を判定するステップと
    を更に含む、請求項1〜3のいずれか一項に記載の方法。
  6. エイリアシングの存在は更に、距離関連因子を測定することから決定される信頼度を使用することによって判定され、前記距離関連因子は、反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズである、請求項1〜5のいずれか一項に記載の方法。
  7. 同相及び/又は直角位相成分を判定するステップは、前記第1の周波数及び/又は前記第2の周波数におけるI値及びQ値、及び/又は、I及びQの絶対値の差を判定することを含む、請求項5又は6に記載の方法。
  8. 前記第2の相関信号は、パルス形状の信号であり、第1の長さ(205)のパルスで始まり、第2の長さ(203)のパルスが続き、第3の長さ(204)のパルスで終わり、 前記第2の相関信号のデューティサイクルが50%となるように、前記第1の長さ(205)と前記第2の長さ(203)との合計が、前記第3の長さ(204)に等しい、請求項1に記載の方法。
  9. 前記第2の長さ(203)のパルスは、エイリアシング距離に一致し、前記第3の長さ(204)のパルスは、エイリアシング距離の2倍に一致する、請求項8に記載の方法。
  10. タイムオブフライト又はレンジ検出センサユニットであって、
    エイリアシングの存在を判定する手段を有し、センサは、照射ユニットと共に使用するためのものであり、前記照射ユニットは、第1の周波数及び第2の周波数で変調された変調光を用いてシーンを照射するように適合され、システムは、相関信号と前記シーンから反射された変調光との間の相関測定値を取得するように適合され、
    前記センサユニットは、
    a)前記シーン内の少なくとも1つの物体からの反射された光を検出する、第1の手段と、
    b)第1の相関測定値によって、第1の相関信号と、イメージングセンサにおいて受信される前記反射された光との間の第1の相関を判定する、第2の手段と、
    ここで、前記第1の相関信号は、前記第1の周波数の周期的波形を有する前記変調光と等しく、前記第1の相関測定値は前記イメージングセンサから前記シーンまでの距離に関するパラメータの値を提供し、
    c)第2の相関測定値によって、前記イメージングセンサにおいて受信される前記反射された光と、第2の相関信号との間の第2の相関を判定する、第3の手段と、
    ここで、前記第2の相関信号は前記第1の周波数より低い前記第2の周波数の周期的波形を有する前記変調光と等しく、
    d)その値について、前記第2の相関測定値からエイリアシングの存在を判定する、第4の手段と
    を備え、
    前記第2の相関を判定する前記第3の手段は、前記第2の周波数についての様々な位相オフセットにおいて第2の相関測定を実行するように適合され、
    前記センサユニットは、前記第2の相関測定値から、検出される反射された光の同相及び/又は直角位相成分を判定するように適合され、前記第4の手段は、前記同相及び/又は直角位相成分を使用してエイリアシングの存在を判定し、ここで、エイリアシングの存在は更に、距離関連因子から決定される信頼度を使用することによって判定され、前記距離関連因子は、前記第1の周波数及び/又は前記第2の周波数において変調された反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズであり、 同相及び/又は直角位相成分を判定する手段は、前記検出される反射された光の前記同相及び/又は直角位相成分の符号からエイリアシングの存在を判定するように適合される、
    センサユニット。
  11. 前記第2の手段は、前記第1の周波数についての様々な位相オフセットにおける前記第1の相関測定値から第1の位相測定値を判定するように適合され、又は、判定する前記第3の手段は、前記第2の周波数についての様々な位相オフセットにおける前記第2の相関から位相測定を行うように適合され、又は、前記第2及び第3の手段は、前記第1の相関測定値の信号積分時間が前記第2の相関測定値の積分時間より長いように適合される、請求項10に記載のセンサユニット。
  12. 第2の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有し、前記第2の相関信号のデューティサイクルは50%である、請求項10又は11に記載のセンサユニット。
  13. 同相及び/又は直角位相成分を判定する前記第4の手段は、前記第2の周波数におけるI値及びQ値を判定するように適合され、又は、同相及び/又は直角位相成分を判定する前記第4の手段は、前記I値及び/又はQ値の符号を判定することによってエイリアシングの存在を判定するように適合される、請求項10〜12のいずれか一項に記載のセンサユニット。
  14. 前記第1の相関信号及び/又は第2の相関信号は、位相オフセットについて較正される、請求項10〜13のいずれか一項に記載のセンサユニット。
  15. 請求項10〜14のいずれか一項に記載のセンサユニットを有するTOFカメラ。
JP2014542898A 2012-01-10 2013-01-10 タイムオブフライト信号の処理における又はこれに関する改良 Active JP6246131B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12150687 2012-01-10
PCT/EP2013/050407 WO2013104717A1 (en) 2012-01-10 2013-01-10 Improvements in or relating to the processing of time-of-flight signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016154963A Division JP6261681B2 (ja) 2016-08-05 2016-08-05 タイムオブフライト信号の処理における又はこれに関する改良

Publications (3)

Publication Number Publication Date
JP2015501927A JP2015501927A (ja) 2015-01-19
JP2015501927A5 JP2015501927A5 (ja) 2016-02-04
JP6246131B2 true JP6246131B2 (ja) 2017-12-13

Family

ID=47563491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014542898A Active JP6246131B2 (ja) 2012-01-10 2013-01-10 タイムオブフライト信号の処理における又はこれに関する改良

Country Status (6)

Country Link
US (1) US9325920B2 (ja)
EP (1) EP2729826B1 (ja)
JP (1) JP6246131B2 (ja)
KR (1) KR20140057625A (ja)
CN (1) CN103998949B (ja)
WO (1) WO2013104717A1 (ja)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
EP3152518A1 (en) * 2014-06-06 2017-04-12 CEMB S.p.A. Device and method for determining at least one parameter characteristic of at least one component of a vehicle in the scope of a diagnostic, main¢ tenance or monitoring operation
US10237534B2 (en) 2014-07-07 2019-03-19 Infineon Technologies Ag Imaging device and a method for producing a three-dimensional image of an object
EP2966475B1 (en) * 2014-07-09 2016-05-25 Softkinetic Sensors N.V. A method for binning time-of-flight data
US9578311B2 (en) * 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
US9874630B2 (en) 2015-01-30 2018-01-23 Microsoft Technology Licensing, Llc Extended range gated time of flight camera
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US20160290790A1 (en) * 2015-03-31 2016-10-06 Google Inc. Method and apparatus for increasing the frame rate of a time of flight measurement
US9945936B2 (en) 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
US9871173B2 (en) * 2015-06-18 2018-01-16 Cree, Inc. Light emitting devices having closely-spaced broad-spectrum and narrow-spectrum luminescent materials and related methods
JP2017009339A (ja) 2015-06-18 2017-01-12 株式会社リコー センサ、センシング装置及び距離計測方法
JP6698655B2 (ja) * 2015-07-22 2020-05-27 パナソニック株式会社 測距装置
US9852330B1 (en) 2015-07-27 2017-12-26 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
US11354881B2 (en) 2015-07-27 2022-06-07 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
CN105467383B (zh) * 2015-11-19 2017-10-10 上海交通大学 一种tof技术中基于波形匹配的测距方法
CN106815867B (zh) * 2015-11-30 2020-10-30 宁波舜宇光电信息有限公司 Tof相机标定与校正***及其设备与方法
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10481263B2 (en) 2016-03-10 2019-11-19 Ricoh Company, Ltd. Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium
JP6852416B2 (ja) * 2016-03-10 2021-03-31 株式会社リコー 距離測定装置、移動体、ロボット、装置及び3次元計測方法
EP3223034B1 (en) 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
CA3026194A1 (en) * 2016-05-31 2017-12-07 Abb Schweiz Ag Loop powered distance transmitter
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
WO2018053292A1 (en) * 2016-09-16 2018-03-22 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
EP3301480A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
US10291895B2 (en) * 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
US10712561B2 (en) 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
JP6848364B2 (ja) 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
JP7149941B2 (ja) * 2016-12-07 2022-10-07 ソニーセミコンダクタソリューションズ株式会社 装置および方法
US10209360B2 (en) * 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US10425628B2 (en) * 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
DE102017205402A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh Lidarsystem
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10627492B2 (en) * 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
DE102017118160A1 (de) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Ermitteln der maximalen Reichweite eines LIDAR-Sensors
FR3070498B1 (fr) * 2017-08-28 2020-08-14 Stmicroelectronics Rousset Dispositif et procede de determination de la presence ou de l'absence et eventuellement du deplacement d'un objet contenu dans un logement
DE102017120953A1 (de) * 2017-09-11 2019-03-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Positionserfassung eines Objekts
DE102017126378A1 (de) * 2017-11-10 2019-05-16 Infineon Technologies Ag Verfahren zum Verarbeiten eines Rohbildes einer Time-of-Flight-Kamera, Bildverarbeitungsvorrichtung und Computerprogramm
US10541353B2 (en) 2017-11-10 2020-01-21 Cree, Inc. Light emitting devices including narrowband converters for outdoor lighting applications
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US10852402B2 (en) * 2017-12-07 2020-12-01 Texas Instruments Incorporated Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
CN110192118A (zh) 2017-12-22 2019-08-30 索尼半导体解决方案公司 脉冲生成器和信号生成装置
WO2019129546A1 (en) * 2017-12-26 2019-07-04 Robert Bosch Gmbh Single-chip rgb-d camera
CN111433631B (zh) 2017-12-29 2023-11-03 索尼半导体解决方案公司 成像装置和方法
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108594254B (zh) * 2018-03-08 2021-07-09 北京理工大学 一种提高tof激光成像雷达测距精度的方法
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
US10497738B2 (en) 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
US10924692B2 (en) 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US11276159B1 (en) 2018-05-15 2022-03-15 United Launch Alliance, L.L.C. System and method for rocket engine health monitoring using digital image correlation (DIC)
US10607352B2 (en) 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
US10630384B2 (en) 2018-06-13 2020-04-21 Infineon Technologies Ag Dual-mode optical devices for time-of-flight sensing and information transfer, and apparatus, systems, and methods utilizing same
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) * 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
CN109164410A (zh) * 2018-08-10 2019-01-08 深圳市荣睿和芯科技有限公司 Rfid定位及追踪方法、***及计算机可读存储介质
CN111090085B (zh) * 2018-10-24 2022-04-12 光宝电子(广州)有限公司 基于飞行时间测距的校正***及其方法
WO2020101576A1 (en) * 2018-11-16 2020-05-22 Ams Sensors Singapore Pte. Ltd. Depth sensing using optical time-of-flight techniques through a transmissive cover
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
DE112019006048T5 (de) * 2018-12-04 2021-09-30 Iee International Electronics & Engineering S.A. Verfahren zur korrigierten Tiefenmessung mit einer TOF-Kamera unter Verwendung von amplitudenmoduliertem Dauerlicht
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
US11272156B2 (en) 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Spatial correlation sampling in time-of-flight imaging
US11668829B2 (en) 2019-03-18 2023-06-06 Infineon Technologies Ag Resolving distance measurement ambiguities using coded-modulation phase image frames
EP3719529A1 (en) * 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
US11673533B2 (en) 2019-06-19 2023-06-13 Ford Global Technologies, Llc Vehicle sensor enhancements
KR20210032669A (ko) 2019-09-17 2021-03-25 삼성전자주식회사 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
WO2021067136A1 (en) * 2019-09-30 2021-04-08 Zoox, Inc. Pixel filtering using multiple exposures
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
JPWO2021124918A1 (ja) 2019-12-18 2021-06-24
EP3859380A1 (en) * 2020-01-30 2021-08-04 Melexis Technologies NV Optical range calculation apparatus and method of extending a measurable range
US20230048328A1 (en) * 2020-03-18 2023-02-16 Hirokazu Takenaka Distance-measuring apparatus and distance-measuring method
US11520052B2 (en) * 2020-06-26 2022-12-06 Microsoft Technology Licensing, Llc Adaptive processing in time of flight imaging
EP3964868A1 (en) * 2020-09-07 2022-03-09 Infineon Technologies AG Method and apparatus for time-of-flight sensing
EP3964857A1 (en) * 2020-09-07 2022-03-09 Infineon Technologies AG Method and apparatus for determining a reflectivity value indicating a reflectivity of an object

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5912148B2 (ja) * 1976-04-19 1984-03-21 三菱電機株式会社 距離測定方法並びにその装置
JPH05264723A (ja) * 1992-03-23 1993-10-12 Mitsubishi Heavy Ind Ltd 測距装置
EP1513202B1 (en) 2003-09-02 2010-01-20 Vrije Universiteit Brussel Detector for electromagnetic radiation assisted by majority current
US8391698B2 (en) * 2005-10-28 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of generating Z-buffers for an image capture device of a camera
EP1793243A1 (de) * 2005-12-05 2007-06-06 Leica Geosystems AG Verfahren zur Auflösung einer Phasenmehrdeutigkeit
US7791715B1 (en) 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
EP2743724B1 (de) * 2012-12-12 2015-09-23 Espros Photonics AG TOF Entfernungssensor sowie Verfahren zum Betrieb

Also Published As

Publication number Publication date
EP2729826B1 (en) 2017-04-26
WO2013104717A1 (en) 2013-07-18
JP2015501927A (ja) 2015-01-19
CN103998949B (zh) 2016-08-24
KR20140057625A (ko) 2014-05-13
US20140313376A1 (en) 2014-10-23
EP2729826A1 (en) 2014-05-14
CN103998949A (zh) 2014-08-20
US9325920B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
JP6817387B2 (ja) Ladarシステム及び方法
EP3182156B1 (en) Ranging apparatus
US11536804B2 (en) Glare mitigation in LIDAR applications
EP3457177A1 (en) Distance measurement apparatus
CN110596721A (zh) 双重共享tdc电路的飞行时间距离测量***及测量方法
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN112424639B (zh) 使用飞行时间和伪随机比特序列测量到物体的距离
JP6621767B2 (ja) 飛行時間データをビニングするための方法
CN112601972A (zh) 通过无模糊范围切换增大飞行时间***范围的方法及***
JP2020153799A (ja) 測距装置および測距方法
CN112945221A (zh) 相位角校正值计算装置和计算相位角校正值的方法
US20220252730A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
JP7149941B2 (ja) 装置および方法
JP2006337286A (ja) 形状計測装置
US11493613B2 (en) Method of generating a time domain echo waveform and electromagnetic radiation echo waveform generation system
JP2006337309A (ja) 形状測定装置
JP2006201037A (ja) 形状測定装置
CN112946602A (zh) 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置
US20240036208A1 (en) Time of flight sensing
CN113424072A (zh) 飞行时间装置和方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150904

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20151207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170301

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171114

R150 Certificate of patent or registration of utility model

Ref document number: 6246131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250