JP2023504157A - 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上 - Google Patents

飛行時間情報を用いた三角測量ベースの３次元距離測定の向上 Download PDF

Info

Publication number
JP2023504157A
JP2023504157A JP2022532635A JP2022532635A JP2023504157A JP 2023504157 A JP2023504157 A JP 2023504157A JP 2022532635 A JP2022532635 A JP 2022532635A JP 2022532635 A JP2022532635 A JP 2022532635A JP 2023504157 A JP2023504157 A JP 2023504157A
Authority
JP
Japan
Prior art keywords
light
estimated distance
pattern
processing system
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022532635A
Other languages
English (en)
Inventor
昭輝 木村
Original Assignee
マジック アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マジック アイ インコーポレイテッド filed Critical マジック アイ インコーポレイテッド
Publication of JP2023504157A publication Critical patent/JP2023504157A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

例示的な方法は、距離センサに、光のパターンを物体上へ投影させることと、距離センサに、物体上の光のパターンの画像を取得させることと、画像化センサ上のパターンの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を画像位置に基づいて計算することと、距離センサに、物体へ向かって光のパルスを放出させることと、距離センサに、光のパルスの反射された部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、パルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。

Description

関連出願の相互参照
本出願は、２０１９年１２月１日に出願された米国仮特許出願第６２／９４２，１３７号の優先権を主張し、その開示全体は参照により本明細書に組み込まれる。
本発明は、一般的に距離測定に関連し、特に、飛行時間（ＴＯＦ）情報を用いた三角測量ベースの３次元距離測定の向上に関連する。
米国特許出願第１４／９２０，２４６号、米国特許出願第１５／１４９，３２３号、及び米国特許出願第１５／１４９，４２９号には、距離センサの様々な構成が記載されている。このような距離センサは、様々な用途で有用であり得て、セキュリティ、ゲーム、無人車両の制御、及びその他の用途が挙げられる。
これらの出願に記載された距離センサは、投光システム（例えば、レーザ、回折光学素子、及び／又は他の協調構成要素を含んでいる）を含み、これは、人間の目には実質的に見えない波長（例えば、赤外線）の光のビームを視野内に投影する。光のビームは広がって点（ドット、ダッシュ、又はその他）のパターンを作成し、それは、適切な受光システム（例えば、レンズ、画像取込デバイス、及び／又は他の構成要素）によって検出され得る。パターンが視野内の物体に入射すると、センサから物体までの距離は、視野の１つ以上の画像内のパターンの外観（例えば、点の位置関係）に基づいて計算され得て、これらの画像は、センサの受光システムによって取り込まれ得る。物体の形状及び寸法もまた、決定され得る。
例えば、パターンの外観は、物体までの距離によって変化し得る。一例として、パターンが、ドットのパターンを含む場合、ドットは、物体がセンサに近いときに、互いに近接して表示され、物体がセンサから離れると、互いに離れて表示され得る。
１つの例では、少なくとも１つのプロセッサを含む処理システムによって実行される方法は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで光のパターンは、集合的にパターンを形成する複数の光点を含むことと、距離センサの受光システムに、物体上に投影された光のパターンの画像を取得させることと、受光システムの画像化センサ上で、複数の光点のうちの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算することと、距離センサの投光システムに、物体へ向かって光のパルスを放出させることと、受光システムに、物体によって反射された光のパルスの一部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。
別の例では、非一時的な機械可読記憶媒体は、少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化される。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで光のパターンが集合的にパターンを形成する複数の光点を含むことと、距離センサの受光システムに、物体上に投影された光のパターンの画像を取得させることと、受光システムの画像化センサ上で、複数の光点のうちの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算することと、距離センサの投光システムに物体へ向かって光のパルスを放出させることと、受光システムに、物体によって反射された光のパルスの一部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。
別の例では、装置は、少なくとも１つのプロセッサを含む処理システムと、処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体とを含む。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで光のパターンが集合的にパターンを形成する複数の光点を含むことと、距離センサの受光システムに、物体上に投影された光のパターンの画像を取得させることと、受光システムの画像化センサ上で、複数の光点のうちの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算することと、距離センサの投光システムに物体へ向かって光のパルスを放出させることと、受光システムに、物体によって反射された光のパルスの一部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。
距離センサの画像化センサ上の光点の画像位置と物体距離との間の関係を示す例示的なチャートである。 物体距離と距離測定精度との間の関係を飛行時間ベースの距離計算に関して示す例示的なチャートである。 例えば、物体までの距離を測定するための距離センサの簡略化された例を示す図である。 軌道が重なるときの点の画像位置と物体距離との関係を示し、更に飛行時間ベースの測定技術を介して得られた測距結果が、三角測量ベースの測定技術を介して得られた測距結果と同時にどのように取得され得るかを示す概略図である。 図２の画像化センサの例をより詳細に示す図である。 本開示の例による、物体までの距離を計算するための例示的な方法を示す流れ図である。 センサから物体までの距離を計算するための例示的な電子デバイスの高レベルのブロック図である。
本開示は、三角測量ベースの３次元距離測定を、飛行時間（ＴＯＦ）情報を用いて向上するための装置、方法、及び非一時的なコンピュータ可読媒体を広く説明する。上述のように、米国特許出願第１４／９２０，２４６号、米国特許出願第１５／１４９，３２３号、及び米国特許出願第１５／１４９，４２９号に記載されるような距離センサは、物体までの距離（及び、潜在的には、物体の形状及び寸法）を、広がる光のビームを投影して、その物体を含む視野内に点（例えば、ドット、ダッシュなど）のパターンを作成することによって決定する。光のビームは、１つ以上のレーザ光源から投影され得て、レーザ光源は、人間の目には実質的に見えないが、適切な検出器（例えば、受光システムの検出器）には可視である波長の光を放出する。次に、物体までの３次元距離は、三角測量技術を使用して、検出器までのパターンの外観に基づいて計算され得る。
三角測量による３次元距離測定は、近距離で非常に正確であることが証明されており、したがって、顔認証（例えば、個人を、個人の顔の特徴と正規ユーザの顔の特徴との照合に基づいて、デバイス又はサービスの正規ユーザとして認証すること）などの用途に有用である。しかし、距離が長くなると、三角測量は、個々の光点を識別すること（つまり、パターン内の光点と、点を作成したビームとの間の対応を識別することであり、これは光点の位置関係を決定するために必要である）が困難なため、エラーが発生しやすくなる場合がある。
例えば、上記のように、物体に投影されるパターン内の個々の光点の画像位置（すなわち、画像化センサ上の点によって反射される光の位置）は、物体までの距離に基づいて変化し得る。一例として、光点は、物体がセンサに近い場合は互いに近くに現れ、物体がセンサから離れている場合は互いに離れて出現し得る。個々の光点の潜在的な画像位置の範囲は、光点の「軌道」と呼ばれる場合があり、軌道は固定される傾向がある。パターン内の光点の数が増えると、個々の光点の軌道が重なる可能性が高くなり、どの光点が距離センサによって投影されたどのビームに対応するかを判断するのがより困難になる。光点が対応するビームが判断され得ない場合、三角測量による距離測定はより困難になる。
図１Ａは、距離センサの画像化センサ上の光点の画像位置と物体距離との間の関係（つまり、距離センサから、その距離が測定されている物体までの距離）を示す例示的なチャート１００である。特に、チャート１００のｘ軸は、光点の位置分解能をプロットし、一方でチャート１００のｙ軸は、距離分解能をプロットする。上述のように、点の画像位置と物体距離との関係を知ることは、三角測量技術を使用して物体距離を計算できるようにするための秘訣である。
図１Ａで分かるように、軌道（又は点の画像位置が移動する可能性のある範囲）は、物体までの距離が増加するにつれて縮小する。これは、三角測量ベースの距離測定技術において、距離測定が長距離に対して高分解能で実行できることを意味し、なぜなら画像位置の移動量が近距離では大きいためである。
図１Ｂは、飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）ベースの距離計算に関して、物体距離と距離測定精度との間の関係を示す例示的なチャート１０２である。特に、チャート１０２のｘ軸は、時間測定分解能（すなわち、ラウンドトリップ飛行時間）をプロットし、一方、チャート１０２のｙ軸は、距離分解能をプロットする。図１Ｂから分かるように、飛行時間ベースの距離測定計算の測距分解能（又は精度）は、任意の物体距離に対して一定である。
したがって、図１Ａ及び図１Ｂを一緒に検討する場合、三角測量ベースの距離測定技術の距離測定分解能は、飛行時間ベースの距離測定技術の距離測定分解能を、少なくとも特定の物体距離まで、はるかに上回ることが分かる。
本開示の例は、飛行時間（ＴＯＦ）ベースの距離測定技術を使用して、三角測量ベースの３次元距離測定を増強し、精度を向上させる。ＴＯＦは通常、変調光を物体に投影し、投影された光が反射光として戻るのにかかる時間を追跡することによって機能し、物体までの距離は、投影された光の放出とセンサ上の反射光の画像化との間の経過時間の関数として計算され得る。このようにして、距離は、特定の分解能で、距離に関係なく測定され得る。この分解能は通常、高レベルの詳細度に依存する顔認証などの用途には粗すぎるが、三角測量ベースの測定結果を確認するのに役立ち得る。
特に、１つの例では、三角測量ベースの技術を使用して行われる距離測定計算は、２つの隣接する軌道が重なる投影パターンの領域内で検出される投影パターン内の光点を識別し得る。三角測量ベースの距離測定技術のみを使用すると、その光点がどの軌道に属するか（したがって、どの投影ビームか）を判断するのが困難になり得る。しかし、飛行時間に基づく距離測定計算を用いて増強することにより、光点が属する軌道を識別できる場合がある。
図２は、例えば、物体２１０までの距離を測定するための距離センサ２００の簡略化された例を示す。図示のように、距離センサ２００は、一般的に、プロセッサ２０２と、少なくとも第１の投影点２０４を含んだ複数の投影点を含む投光システムと、少なくとも画像化センサ２０６およびカメラのレンズ２１４を含む受光システム２０６と、を備える。
投影点２０４は、複数の構成要素を含み得て、光源及び回折光学素子が挙げられる。光源は、レーザ光源を含み得て、レーザ光源は人間の目には実質的に見えない波長（例えば、赤外線波長）で光を放出することができる。光源は、単一の光のビームを放出し得て、光のビームは回折光学素子によって、共通の中心点又は原点から扇形に広がる複数の光のビームに分割される。
図示のように、投影点２０４は、複数の光のビーム２０８１～２０８ｎ（以下、個々に「ビーム２０８」と呼ばれるか、又は集合的に「ビーム２０８」と呼ばれる）を物体２１０に投影し得る。ビーム２０８が物体２１０に入射すると、これは、複数の光点２１２１～２１２ｎ（以下、個々に「点２１２」と呼ばれるか、又は集合的に「点２１２」と呼ばれる）、すなわちビーム２０８毎に１つの光点を物体２１０上に作成する。光点２１２は、寸法が既知である所定のパターン（グリッドなど）を集合的に形成する。
距離センサ２００から物体２１０までの距離は変化し得る。図２は、物体２１０を第１の距離Ｄａ及び第２の距離Ｄｂで示す。示されるように、光点２１２は、物体２１０に距離Ｄａ又はＤｂのいずれかで入射され得るが、距離を変更すると、上記のように光点２１２によって作成されたパターンの外観が変更する。特に、画像化センサ２０６上の点の反射された画像の位置は、示されるように変化する。
挿入図２１８は、点２１２１～２１２ｎに対応する軌道２１６１～２１６ｎ（以下、個々に「軌道２１６」と呼ばれるか、又は集合的に「軌道２１６」と呼ばれる）が、画像化センサの表面上でどのように重なるかを示す。画像化センサの中心は、参照のためＣとして示される。軌道２１６の重なりのために、所与の光点２１２は、２つの隣接して重なる軌道２１６によって覆われる画像化センサ２０６上の位置に現れ、どの軌道２１６（したがって、どのビーム２０８）に所与の点２１２が属するかを確実に決定することが困難になる場合がある。
図３は、軌道２１６が重なるときの点２１２の画像位置と物体距離Ｄとの関係を示し、更に飛行時間ベースの測定技術を介して得られた測距結果が、三角測量ベースの測定技術を介して得られた測距結果と同時にどのように取得され得るかを示す概略図である。
図３は、図１Ａに示されているものと同様であるが、図２に示される光点２１２に対して、複数の画像位置－物体距離曲線を示す。例えば、曲線３００１は点２１２１に対応し、曲線３００２は点２１２２に対応し、曲線３００ｎは点２１２ｎに対応する。曲線３００１～３００ｎは、個々に「曲線３００」と呼ばれるか、又は集合的に「曲線３００」と呼ばれ得る。曲線３００間の間隔又は距離は、点２１２間の角度間隔によって決定され、範囲３０２に対応する。
図３のＲｔは、飛行時間ベースの測定の分解能を表す。特に、Ｒｔは、指定された最も近い画像位置について、物体（例えば、物体２１０）が距離センサから距離Ｒｔ離れている場合、画像位置がＲｔだけ移動することを示す。したがって、Ｒｔ１は点２１２１の分解能を示し、Ｒｔ２は点２１２２の分解能を示し、Ｒｔｎは点２１２ｎの分解能を示す。
点２１２の軌道２１６は、図示のように重なる。したがって、所与の光点が位置Ｐで検出される場合、計算される物体距離は、所与の光点が軌道２１６１、２１６２、又は２１６ｎに属するかどうかによって異なる。他方、位置Ｐで飛行時間技術を使用して計算された物体距離はすでに既知であるため、この知識は、所与の光点がどの軌道２１６に属するかを識別するのに役立ち得る。更に、飛行時間ベースの測定の分解能はＲｔであるため、点２１２の物体距離は、飛行時間の分解能を用いて確実に決定され得る。
図４は、図２の画像化センサ２０６の例を、より詳細に示す。特に、図４は、画像化センサ２０６上の画像位置と飛行時間検出位置との間の関係を示す。図示のように、画像化センサ２０６は、グリッド又はマトリックスに配置された複数のピクセル４００１～４００ｍ（以下、個々に「ピクセル４００」と呼ばれるか、又は集合的に「ピクセル４００」と呼ばれる）を含む。各ピクセル４００は、例えば、受光器を含み得て、更に、反射光を受光器に集束させるためのレンズ（例えば、マイクロレンズ）と、特定の波長の光が受光器に通過することを可能にするためのフィルタとを含み得る。
図示のように、光点４０２は、画像化センサ２０６上に画像化され得る。光点４０２の位置（三角測量ベースの測定技術によって決定される）は、画像化センサ２０６のピクセル４００のうちの１つ以上と重なる場合がある。図４において、影付きのピクセル４００は、点４０２の飛行時間検出位置を表し、一方、円形の輪郭は、三角測量ベースの測定技術を使用して検出された点４０２の画像位置を表す。点４０２が属する軌道４０４もまた示される。１つの例では、軌道４０４に属している点４０２は、距離センサから物体までの距離に応じて、軌道４０４内にある画像化センサ２０６上の任意の場所で画像化されてもよい。
図５は、本開示の例による、物体までの距離を計算するための方法５００の一例を示す流れ図である。方法５００は、例えば、距離センサの処理システムのような、少なくとも１つのプロセッサを含んだ処理システムによって実行され得る。例として、方法５００は、処理システムによって実行されるものとして説明される。
方法５００は、ステップ５０２から開始し得る。ステップ５０４において、処理システムは、距離センサの投光システムに、光のパターンを物体に投影させ得て、ここで光のパターンは、集合的にパターンを形成する複数の光点を含む。例えば、処理システムは、電子信号を投光システムに送信し得て、そこで電子信号は命令を符号化する。上述したように、光は、人間の目には実質的に見えないが、距離センサの画像化センサによって検出可能である波長のもの（例えば、赤外光）であり得る。
光のパターンは、距離センサの投光システムによって投影される複数のビームによって作成され得る。複数のビームは、複数の光点を物体上に投影し得て、複数の光点は集合的に光のパターン、又は「投影パターン」を形成する。１つの例では、複数の光点は、複数の行と複数の列を含むグリッドパターンに配置され得る。
更なる例では、行と列の配置は互い違いにされ得る。例えば、複数の行は、１行おきの光点が、ｙまたは垂直方向の光点の中心を通過する仮想線に沿って整列又は共線となるように配置され得る。逆に、隣接する２つの行の光点は整列されない（例えば、両方の行の光点の中心を通過するｙ、又は垂直方向の仮想線はない）。
同様に、複数の列は、１列おきの光点が、ｘまたは水平方向の光点の中心を通過する仮想線に沿って整列又は共線となるように配置され得る。逆に、隣接する２つの列の光点は整列されない（例えば、両方の列の光点の中心を通過するｘ、又は水平方向の仮想線はない）。
ステップ５０６において、処理システムは、距離センサの受光システムに、物体上の投影パターンの画像を取得させ得る。例えば、処理システムは、電子信号を受光システムに送信し得て、そこで電子信号は命令を符号化する。上記のように、投影パターン（例えば、投影パターンを形成する光）は、人間の目には見えない場合があるが、それは、受光システムの画像センサには可視であり得る。
ステップ５０８において、処理システムは、受光システムの画像化センサ上の複数の光点のうちの第１の光点の画像位置を検出し得る。第１の光点の画像位置を検出することは、第１の光点に対応する（すなわち、生成された）投光システムの投影点によって投影された第１のビーム（第１のビームは、投影点から投影された複数のビームの１つである）を決定することを含み得る。
１つの例では、第１の光点の画像位置を検出することは、第１の光点の画像位置が第１の軌道と第２の軌道とが重なる画像化センサの領域に位置すると決定することを含み得る。したがって、ステップ２０６で取得された画像から、第１の光点がどの軌道（したがって、複数のビームのどのビーム）に属するかが不明確である場合がある。
例えば、図２において軌道２１６１、２１６２、及び２１６ｎが重なる領域の内にある位置Ｐの光点を考察する。点Ｐは、軌道２１６１上の点Ｐ１、軌道２１６２上の点Ｐ２、又は軌道２１６ｎ上の点Ｐｎとして潜在的に識別され得る。計算された物体距離は、どの点Ｐ１、Ｐ２、又はＰｎが点Ｐであると決定されるかによって異なる（つまり、物体距離は、点Ｐ１の場合はＤ１、点Ｐ２の場合はＤ２、点Ｐｎの場合はＤｎになる）。
ステップ５１０において、処理システムは、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算し得る。例えば、処理システムは、三角測量技術を使用して、第１の推定距離及び第２の推定距離を計算し得る。一例として、距離は、米国特許出願第１４／９２０，２４６号、米国特許出願第１５／１４９，３２３号、及び米国特許出願第１５／１４９，４２９号に記載された方法のいずれかにおいて計算され得る。
１つの例では、第１の推定距離は、第１の軌道が第１の光点に対応するという仮定に基づき計算されてもよく、一方、第２の推定距離は、第２の軌道が第２の光点に対応するという仮定に基づいて計算されてもよい。したがって、三角測量ベースの距離測定は、画像化センサ上の第１の光点の位置と重なる各軌道に対して計算され得る。例えば、点Ｐについての上記の例に従って、どの軌道が点Ｐに対応するものとして識別されるかに応じて、第１の推定距離は、Ｄ１、Ｄ２、又はＤ３として計算され得る。
ステップ５１２において、処理システムは、距離センサの投光システムに、物体に向かって光のパルスを放出させ得る。例えば、処理システムは、電子信号を投光システムに送信し得て、そこで電子信号は命令を符号化する。上述したように、光は、人間の目には実質的に見えないが、距離センサの画像化センサによって検出可能である波長のもの（例えば、赤外光）であり得る。１つの例では、ステップ５１２は、ステップ５０４と同時に実行される。
ステップ５１４において、処理システムは、距離センサの受光システムに、物体によって反射される光のパルスの一部分の画像を取得させ得る。例えば、処理システムは、電子信号を受光システムに送信し得て、そこで電子信号は命令を符号化する。上述のように、光のパルス（及び反射される光のパルスの部分）は、人間の目には見えない場合があるが、それは受光システムの画像センサには可視であり得る。１つの例では、ステップ５１４は、ステップ５０６と同時に実行される。
ステップ５１６において、処理システムは、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づき計算し得る。例えば、処理システムは、第３の推定距離を、投光システムが光のパルスを放出する時間と、受光システムの画像化センサが物体によって反射される光のパルスの部分を検出する時間との間の経過時間に基づいて、計算し得る。例えば、画像化センサの位置Ｐにある光点について、第２の推定距離はＤｔ（Ｐ）として計算され得る。
ステップ５１８において、処理システムは、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算し得る。特に、第３の推定距離は、飛行時間ベースの距離測定技術を使用して計算されたもので、それを使用して、第１の推定距離と第２の推定距離のどちらが正当である（例えば、ある閾値公差内で第３の推定距離に一致するか、又は第３の推定距離に近い）か、を決定し得る。例えば、図４に戻って参照すると、点４０２が第１の光点を表す場合、点４０２を取り囲むピクセル４００の距離測定は、点４０２の距離測定として採用され得る。次に、第１の推定距離と第２の推定距離のいずれかが、第３の推定距離に基づいて正当であると判断され、距離センサから物体までの距離として出力又は保存され得る。
方法５００は、ステップ５２０で終了し得る。
明示的に指定されていないが、上記の方法５００の一部のブロック、機能、又は動作は、特定の用途のために保存すること、表示すること、及び／又は出力することを含み得ることに留意すべきである。換言すると、方法５００で議論された任意のデータ、レコード、フィールド、及び／又は中間結果は、特定の用途に応じて、保存され、表示され、及び／又は別のデバイスに出力され得る。更に、図５のブロック、機能、又は動作は、判定動作を列挙し、又は決定を含むものであり、判定動作の両方の分岐が実行されることを意味するものではない。言い換えると、判定動作の分岐のうちの１つは、判定動作の結果によっては実行されない場合がある。
図６は、センサから物体までの距離を計算するための例示的な電子デバイス６００の高レベルのブロック図を示す。このように、電子デバイス６００は、距離センサなど、電子デバイス又はシステムのプロセッサとして実装され得る。
図６に示すように、電子デバイス６００は、ハードウェアプロセッサ要素６０２、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサと、メモリ６０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）と、センサから物体までの距離を計算するモジュール６０５と、様々な入力／出力デバイス６０６、例えば、限定するものではないがテープドライブ、フロッピドライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含む記憶装置、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びユーザ入力デバイス、例えばキーボード、キーパッド、マウス、マイクロホン、カメラ、レーザ光源、ＬＥＤ光源などと、を含む。
１つのプロセッサ要素が示されるが、電子デバイス６００は、複数のプロセッサ要素を使用し得ることに留意されたい。更に、１つの電子デバイス６００がこの図には示されているが、上述の方法（複数可）が、特定の例示的な例について分散又は並列方法で実装される場合、つまり、上記の方法（複数可）のブロック又はすべての方法（複数可）が、複数又は並列の電子デバイスにわたって実装される場合、この図の電子デバイス６００は、それらの複数の電子デバイスの各々を表すことを意図する。
本開示は、機械可読命令によって、及び／又は機械可読命令とハードウェアの組み合わせで、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配備されるステートマシンを使用して実装され得て、汎用コンピュータ又は任意の別のハードウェアの等価物、例えば上述の方法（複数可）に関係するコンピュータ可読命令を使用して、上記で開示した方法（複数可）のブロック、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成し得ることに留意されたい。
１つの例では、センサから物体までの距離を計算するための本モジュール又はプロセス６０５用の命令及びデータ、例えば、機械可読命令は、メモリ６０４内にロードされ、ハードウェアプロセッサ要素６０２によって実行されて、方法５００に関連して上述したブロック、機能、又は動作を実装し得る。更に、ハードウェアプロセッサが命令を実行して「動作」を行う場合、これは、ハードウェアプロセッサがその動作を直接的に行うこと、及び／又はその動作を行うように、別のハードウェアデバイス又は構成要素、例えばコプロセッサなどと共に促進すること、指示すること、又は共働することを含み得る。
上記の方法（複数可）に関する機械可読命令を実行するプロセッサは、プログラムされたプロセッサ又は専用プロセッサとして認識され得る。このように、本開示のセンサから物体までの距離を計算する本モジュール６０５は、実体的な又は物理的な（概して非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光学ドライブ、デバイス、又はディスケットなどに保存され得る。特に、コンピュータ可読記憶装置は、任意の物理的デバイスを含んでもよく、それはプロセッサ又は電子デバイス、例えばコンピュータ又は安全センサシステムのコントローラによってアクセスされるデータ及び／又は命令などの情報を保存する能力を提供する。
上記開示の変形例と、別の特徴及び機能、又はそれらの代替物は、他の多くの異なるシステム又はアプリケーションに組み合わせ得ることを理解されたい。現在予期されない、又は予想されない様々な代替、変更、又は変形が今後行われ得るが、それらもまた、以下の特許請求の範囲に包含されることが意図される。

Claims (20)

  1. 距離センサの処理システムによって、前記距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで前記光のパターンは集合的に前記パターンを形成する複数の光点を含むことと、
    前記処理システムによって、前記距離センサの受光システムに、前記物体上に投影された前記光のパターンの画像を取得させることと、
    前記処理システムによって、前記受光システムの画像化センサ上で、前記複数の光点のうちの第１の光点の画像位置を検出することと、
    前記処理システムによって、前記距離センサと前記物体との間の第１の推定距離及び第２の推定距離を、前記第１の光点の前記画像位置に基づいて計算することと、
    前記処理システムによって、前記距離センサの前記投光システムに、前記物体へ向かって光のパルスを放出させることと、
    前記処理システムによって、前記受光システムに、前記物体によって反射された前記光のパルスの一部分の画像を取得させることと、
    前記処理システムによって、前記距離センサと前記物体との間の第３の推定距離を、前記光のパルスの飛行時間に基づいて計算することと、
    前記処理システムによって、前記距離センサと前記物体との間の第４の推定距離を、前記第１の推定距離、前記第２の推定距離、及び前記第３の推定距離に基づいて計算することと、
    を含む、方法。
  2. 前記第１の推定距離と前記第２の推定距離を前記計算することは、
    前記処理システムによって、前記画像位置の位置で重なる第１の軌道と第２の軌道を識別することと、
    前記処理システムによって、前記第１の推定距離を、前記光点が前記第１の軌道に属するという仮定に基づき計算することと、
    前記処理システムによって、前記第２の推定距離を、前記光点が前記第２の軌道に属するという仮定に基づき計算することと、
    を含む、請求項１に記載の方法。
  3. 前記第１の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の範囲のうちの第１の範囲を含み、前記第２の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の第２の範囲を含む、請求項２に記載の方法。
  4. 前記第１の推定距離と前記第２の推定距離は、三角測量を使用して計算される、請求項３に記載の方法。
  5. 前記第４の推定距離を前記計算することは、
    前記処理システムによって、前記第１の推定距離が前記第２の推定距離よりも前記第３の推定距離に近いことを決定することと、
    前記処理システムによって、前記第１の推定距離に等しい前記第４の推定距離を設定することと、
    を含む、請求項３に記載の方法。
  6. 前記投光システムに前記光のパターンを前記投影させることは、前記投光システムに前記光のパルスを前記放出させることと同時に実行される、請求項１に記載の方法。
  7. 前記受光システムに前記投影パターンの前記画像を前記取得させることは、前記受光システムに前記光のパルスの前記一部分の前記画像を前記取得させることと同時に実行される、請求項６に記載の方法。
  8. 前記複数の光点及び前記光のパルスが、人間の目には見えない波長の光を含む、請求項１に記載の方法。
  9. 前記複数の光点と前記光のパルスは赤外光を含む、請求項８に記載の方法。
  10. 前記光のパターンは、既知の寸法を有する所定のパターンを含む、請求項１に記載の方法。
  11. 少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、ここで前記処理システムによって実行されると、前記命令は前記処理システムに動作を実行させ、前記動作は、
    距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで前記光のパターンは集合的に前記パターンを形成する複数の光点を含むことと、
    前記距離センサの受光システムに、前記物体上に投影された前記光のパターンの画像を取得させることと、
    前記受光システムの画像化センサ上で、前記複数の光点のうちの第１の光点の画像位置を検出することと、
    前記距離センサと前記物体との間の第１の推定距離及び第２の推定距離を、前記第１の光点の前記画像位置に基づいて計算することと、
    前記距離センサの前記投光システムに、前記物体へ向かって光のパルスを放出させることと、
    前記受光システムに、前記物体によって反射された前記光のパルスの一部分の画像を取得させることと、
    前記距離センサと前記物体との間の第３の推定距離を、前記光のパルスの飛行時間に基づいて計算することと、
    前記距離センサと前記物体との間の第４の推定距離を、前記第１の推定距離、前記第２の推定距離、及び前記第３の推定距離に基づいて計算することと、
    を含む、非一時的な機械可読記憶媒体。
  12. 前記第１の推定距離と前記第２の推定距離を前記計算することは、
    前記画像位置の位置で重なる第１の軌道と第２の軌道を識別することと、
    前記第１の推定距離を、前記光点が前記第１の軌道に属するという仮定に基づき計算することと、
    前記第２の推定距離を、前記光点が前記第２の軌道に属するという仮定に基づき計算することと、
    を含む、請求項１１に記載の非一時的な機械可読記憶媒体。
  13. 前記第１の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の範囲のうちの第１の範囲を含み、前記第２の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の第２の範囲を含み、前記第１の推定距離と前記第２の推定距離は、三角測量を使用して計算される、請求項１２に記載の非一時的な機械可読記憶媒体。
  14. 前記第４の推定距離を前記計算することは、
    前記処理システムによって、前記第１の推定距離が前記第２の推定距離よりも前記第３の推定距離に近いことを決定することと、
    前記処理システムによって、前記第１の推定距離に等しい前記第４の推定距離を設定することと、
    を含む、請求項１３に記載の非一時的な機械可読記憶媒体。
  15. 前記投光システムに前記光のパターンを前記投影させることは、前記投光システムに前記光のパルスを前記放出させることと同時に実行される、請求項１１に記載の非一時的な機械可読記憶媒体。
  16. 前記受光システムに前記投影パターンの前記画像を前記取得させることは、前記受光システムに前記光のパルスの前記一部分の前記画像を前記取得させることと同時に実行される、請求項１５に記載の非一時的な機械可読記憶媒体。
  17. 前記複数の光点及び前記光のパルスが、人間の目には見えない波長の光を含む、請求項１１に記載の非一時的な機械可読記憶媒体。
  18. 前記複数の光点と前記光のパルスは赤外光を含む、請求項１７に記載の非一時的な機械可読記憶媒体。
  19. 前記光のパターンは、既知の寸法を有する所定のパターンを含む、請求項１１に記載の非一時的な機械可読記憶媒体。
  20. 処理システムと、
    前記処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、ここで、実行されると、前記命令は前記処理システムに動作を実行させ、前記動作は、
    距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで前記光のパターンは集合的に前記パターンを形成する複数の光点を含むこと、
    前記距離センサの受光システムに、前記物体上に投影された前記光のパターンの画像を取得させること、
    前記受光システムの画像化センサ上で、前記複数の光点のうちの第１の光点の画像位置を検出すること、
    前記距離センサと前記物体との間の第１の推定距離及び第２の推定距離を、前記第１の光点の前記画像位置に基づいて計算すること、
    前記距離センサの前記投光システムに、前記物体へ向かって光のパルスを放出させること、
    前記受光システムに、前記物体によって反射された前記光のパルスの一部分の画像を取得させること、
    前記距離センサと前記物体との間の第３の推定距離を、前記光のパルスの飛行時間に基づいて計算すること、及び、
    前記距離センサと前記物体との間の第４の推定距離を、前記第１の推定距離、前記第２の推定距離、及び前記第３の推定距離に基づいて計算すること、を含む非一時的な機械可読記憶媒体と、
    を備える、装置。
JP2022532635A 2019-12-01 2020-11-25 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上 Pending JP2023504157A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962942137P 2019-12-01 2019-12-01
US62/942,137 2019-12-01
PCT/US2020/062138 WO2021113135A1 (en) 2019-12-01 2020-11-25 Enhancing triangulation-based three-dimensional distance measurements with time of flight information

Publications (1)

Publication Number Publication Date
JP2023504157A true JP2023504157A (ja) 2023-02-01

Family

ID=76091996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022532635A Pending JP2023504157A (ja) 2019-12-01 2020-11-25 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上

Country Status (5)

Country Link
US (1) US11320537B2 (ja)
EP (1) EP4065929A4 (ja)
JP (1) JP2023504157A (ja)
CN (1) CN114730010B (ja)
WO (1) WO2021113135A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI773133B (zh) * 2020-07-10 2022-08-01 大陸商廣州印芯半導體技術有限公司 測距裝置以及測距方法
CN114371483B (zh) * 2022-03-21 2022-06-10 深圳市欢创科技有限公司 激光雷达的测距方法、装置、激光雷达及机器人

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) * 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH0451112A (ja) 1990-06-19 1992-02-19 Fujitsu Ltd マルチスリット投光器
US5061062A (en) 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
JP2002056348A (ja) 2000-08-07 2002-02-20 Tohken Co Ltd オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
WO2005124675A2 (en) 2004-06-16 2005-12-29 Ids Scheer Aktiengesellschaft Systems and methods for integrating business process documentation with work environments
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
KR20100017234A (ko) 2007-04-23 2010-02-16 캘리포니아 인스티튜트 오브 테크놀로지 편광 감지 센서와 연결된 편광 코드화 개구 마스크를 사용하는 단일-렌즈, 3-ｄ 영상화 장치
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US9170097B2 (en) 2008-04-01 2015-10-27 Perceptron, Inc. Hybrid system
WO2009124601A1 (en) * 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US8187097B1 (en) 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示***
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
US9091536B2 (en) 2009-06-01 2015-07-28 Dentsply International Inc. Method and device for three-dimensional surface detection with a dynamic reference frame
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
WO2012023256A2 (en) 2010-08-19 2012-02-23 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
JP2012068762A (ja) 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
WO2012057008A1 (en) 2010-10-27 2012-05-03 Nikon Corporation Profile measuring apparatus, method for manufacturing structure, and structure manufacturing system
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
US9888225B2 (en) 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
WO2012123948A1 (en) 2011-03-17 2012-09-20 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
CA2835306C (en) 2011-06-07 2016-11-15 Creaform Inc. Sensor positioning for 3d scanning
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
JP2014238259A (ja) 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
BR112014018573A8 (pt) 2012-01-31 2017-07-11 3M Innovative Properties Company Método e aparelho para medição da estrutura tridimensional de uma superfície
EP2821748B1 (en) 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
KR101630558B1 (ko) 2012-03-28 2016-06-14 후지쯔 가부시끼가이샤 촬상 장치
US9590122B2 (en) 2012-05-18 2017-03-07 Siemens Healthcare Diagnostics Inc. Fish eye lens analyzer
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
EP2872030B1 (en) 2012-07-10 2016-12-07 WaveLight GmbH Process and apparatus for determining optical aberrations of an eye
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
JP2014044113A (ja) 2012-08-27 2014-03-13 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9036243B2 (en) * 2012-09-24 2015-05-19 Alces Technology, Inc. Digital drive signals for analog MEMS ribbon arrays
US9275459B2 (en) 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
CN110749951B (zh) 2012-10-24 2022-12-30 视瑞尔技术公司 照明设备
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及***
WO2015103595A1 (en) 2014-01-06 2015-07-09 Eyelock, Inc. Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
JP6002275B2 (ja) 2014-04-30 2016-10-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US20150347833A1 (en) 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2016024200A2 (en) 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
EP3209523A4 (en) 2014-10-24 2018-04-25 Magik Eye Inc. Distance sensor
EP3167430A4 (en) 2014-11-04 2017-08-16 SZ DJI Technology Co., Ltd. Camera calibration
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
WO2016094439A1 (en) 2014-12-08 2016-06-16 Munoz Luis Daniel Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
WO2016151918A1 (ja) 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP6247793B2 (ja) 2015-03-27 2017-12-13 富士フイルム株式会社 距離画像取得装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
WO2016157600A1 (ja) 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
TWI687652B (zh) 2015-05-10 2020-03-11 美商麥吉克艾公司 距離感測器（二）
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
US10223793B1 (en) 2015-08-05 2019-03-05 Al Incorporated Laser distance measuring method and system
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
CA2999485A1 (en) 2015-09-23 2017-03-30 East Carolina University Methods, systems and computer program products for determining object distances and target dimensions using light emitters
US20170094251A1 (en) 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
DE112015007146T5 (de) 2015-11-25 2018-08-02 Mitsubishi Electric Corporation Vorrichtung und verfahren zur dreidimensionalen bildmessung
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN113727000A (zh) 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像***
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
JP6410203B1 (ja) 2017-02-21 2018-10-24 株式会社ナノルクス 固体撮像素子及び撮像装置
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
WO2018211588A1 (ja) 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
WO2019041116A1 (zh) 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
EP3692501A4 (en) 2017-10-08 2021-07-07 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
CN112119628B (zh) 2018-03-20 2022-06-03 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
JP7039388B2 (ja) 2018-05-24 2022-03-22 株式会社トプコン 測量装置
KR20210008025A (ko) 2018-06-06 2021-01-20 매직 아이 인코포레이티드 고밀도 프로젝션 패턴들을 사용한 거리 측정 방법
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10916023B2 (en) * 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US10638104B2 (en) 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
CN113272624A (zh) 2019-01-20 2021-08-17 魔眼公司 包括具有多个通带的带通滤波器的三维传感器
JP2020139869A (ja) 2019-02-28 2020-09-03 キヤノン株式会社 計測装置、算出方法、システム及びプログラム
WO2020257969A1 (zh) * 2019-06-24 2020-12-30 深圳市汇顶科技股份有限公司 结构光投射装置、结构光投射方法及三维测量***

Also Published As

Publication number Publication date
US20210165098A1 (en) 2021-06-03
WO2021113135A1 (en) 2021-06-10
EP4065929A4 (en) 2023-12-06
US11320537B2 (en) 2022-05-03
EP4065929A1 (en) 2022-10-05
CN114730010B (zh) 2024-05-31
CN114730010A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN110178156B (zh) 包括可调节焦距成像传感器的距离传感器
CN112513565B (zh) 使用高密度投影图案的距离测量
US11475584B2 (en) Baffles for three-dimensional sensors having spherical fields of view
US11320537B2 (en) Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
JP2023508501A (ja) ３次元座標と２次元特徴点との関連付け
JP7348414B2 (ja) ライダー計測においてブルーミングを認識するための方法及び装置
KR102081778B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
US20210325686A1 (en) Diffractive optical element with collimator function
EP3637044B1 (en) Multi-image projector and electronic device having the multi-image projector
WO2023200727A1 (en) Calibrating a three-dimensional sensor using detection windows
CN111147839A (zh) 深度获取装置、深度获取方法及终端
CN115298514A (zh) 包括补充准确度数据的距离测量

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240619