JP7214363B2 - 測距処理装置、測距モジュール、測距処理方法、およびプログラム - Google Patents
測距処理装置、測距モジュール、測距処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7214363B2 JP7214363B2 JP2018087512A JP2018087512A JP7214363B2 JP 7214363 B2 JP7214363 B2 JP 7214363B2 JP 2018087512 A JP2018087512 A JP 2018087512A JP 2018087512 A JP2018087512 A JP 2018087512A JP 7214363 B2 JP7214363 B2 JP 7214363B2
- Authority
- JP
- Japan
- Prior art keywords
- detection signal
- distance measurement
- tap
- unit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Automatic Focus Adjustment (AREA)
- Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
図1は、本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。
図12は、測距演算処理部15の第1の構成例を示すブロック図である。
図13は、測距演算処理部15において実行される測距演算処理の第1の処理例を説明するフローチャートである。
図14は、測距演算処理部15の第2の構成例を示すブロック図である。なお、図14に示す測距演算処理部15Aについて、図12の測距演算処理部15と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図17は、測距演算処理部15Aにおいて実行される測距演算処理の第2の処理例を説明するフローチャートである。
図18乃至図21を参照して、発光部12および受光部14の動作について説明する。
図22は、測距演算処理部15の第3の構成例を示すブロック図である。
図24は、測距演算処理部15Bにおいて実行される測距演算処理の第3の処理例を説明するフローチャートである。
上述したような測距モジュール11は、例えば、スマートフォンなどの電子機器に搭載することができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
所定の位相差の2通り以上の照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通り以上の前記照射光について2つずつ検出される所定数の検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求める測距部と
を備える測距処理装置。
(2)
2通りの前記照射光のうちの、第1の位相の前記照射光の前記反射光が受光される第1の検出期間、および、第2の位相の前記照射光の前記反射光が受光される第2の検出期間について、
前記第1の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第1の検出信号と、前記第2のタップに振り分けられて蓄積した電荷に応じた第2の検出信号とが検出され、
前記第2の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第3の検出信号と、前記第2のタップに振り分けられて蓄積した電荷に応じた第4の検出信号とが検出される
上記(1)に記載の測距処理装置。
(3)
前記補正パラメータ算出部は、前記第1の検出信号、前記第2の検出信号、前記第3の検出信号、および前記第4の検出信号を用いて、2種類の前記補正パラメータを算出する
上記(2)に記載の測距処理装置。
(4)
前記補正パラメータ算出部は、
2種類の前記補正パラメータを計算する計算部と、
前記計算部により計算された一方の種類の前記補正パラメータを格納する格納部と
を有する上記(3)に記載の測距処理装置。
(5)
前記計算部は、前記格納部に格納される一方の種類の前記補正パラメータを、前記測距部が前記デプスを求める処理の開始時に計算して前記格納部に格納する
上記(4)に記載の測距処理装置。
(6)
前記格納部は、前記反射光を受光する受光部の画素ごとに、前記補正パラメータを保持する
上記(5)に記載の測距処理装置。
(7)
前記計算部は、前記第1のタップと前記第2のタップとの特性のズレをオフセットにより補正するためのオフセットパラメータを、前記格納部に格納する一方の種類の前記補正パラメータとして求める
上記(5)または(6)に記載の測距処理装置。
(8)
前記計算部は、前記オフセットパラメータを、
前記第1の検出信号、前記第2の検出信号、前記第3の検出信号、および前記第4の検出信号に加えて、
第3の位相の前記照射光の前記反射光が受光される第3の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第5の検出信号、および、前記第2のタップに振り分けられて蓄積した電荷に応じた第6の検出信号と、
第4の位相の前記照射光の前記反射光が受光される第4の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第7の検出信号、および、前記第2のタップに振り分けられて蓄積した電荷に応じた第8の検出信号と
を用いて求める
上記(7)に記載の測距処理装置。
(9)
前記計算部は、前記第1のタップと前記第2のタップとの特性のズレをゲインにより補正するためのゲインパラメータを、他方の種類の前記補正パラメータとして求める
上記(5)から(8)までのいずれかに記載の測距処理装置。
(10)
前記計算部は、前記ゲインパラメータを、所定のフレームレートで出力される前記デプスの1フレームごとに求める
上記(9)に記載の測距処理装置。
(11)
前記測距部は、
前記補正パラメータ算出部により算出される前記補正パラメータを用いて、前記第1の検出信号を補正することにより第1の補正検出信号を求めるとともに、前記第3の検出信号を補正することにより第2の補正検出信号を求める演算、または、前記第2の検出信号を補正することにより第3の補正検出信号を求めるとともに、前記第4の検出信号を補正することにより第4の補正検出信号を求める演算を行う補正演算部と、
前記第1の検出信号、前記第3の検出信号、前記第3の補正検出信号、および前記第4の補正検出信号を用いて前記デプスを求める演算、または、前記第2の検出信号、前記第4の検出信号、前記第1の補正検出信号、および前記第2の補正検出信号を用いて前記デプスを求める演算を行う測距演算部と
を有する上記(2)から(10)までのいずれかに記載の測距処理装置。
(12)
前記測距部により求められた前記デプスを格納する測距結果格納部と、
前記測距結果格納部に格納された1フレーム前の前記デプスと、現在のフレームの前記デプスとを合成して出力する結果合成部と
をさらに備える上記(1)から(11)までのいずれかに記載の測距処理装置。
(13)
前記測距部は、前記デプスとともに、前記デプスに対する信頼度を求め、
前記測距結果格納部には、前記デプスとともに前記信頼度が格納され、
前記結果合成部は、前記信頼度に応じた重み付け加算を行うことにより、1フレーム前の前記デプスと、現在のフレームの前記デプスとを合成する
上記(12)に記載の測距処理装置。
(14)
所定の位相差の2通り以上の照射光を物体に照射する発光部と、
前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通り以上の前記照射光について2つずつ検出される所定数の検出信号を出力する受光部と、
所定数の前記検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求める測距部と
を備える測距モジュール。
(15)
測距処理を行う測距処理装置が、
所定の位相差の2通り以上の照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通り以上の前記照射光について2つずつ検出される所定数の検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出することと、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求めることと
を含む測距処理方法。
(16)
測距処理を行う測距処理装置のコンピュータに、
所定の位相差の2通り以上の照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通り以上の前記照射光について2つずつ検出される所定数の検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出することと、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求めることと
を含む測距処理を実行させるためのプログラム。
Claims (16)
- 所定の位相差の2通り以上の照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通り以上の前記照射光について2つずつ検出される所定数の検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求める測距部と、
前記反射光を受光する受光部の画素ごとに被写体の動きを検知し、所定の閾値に基づいて、動被写体が映されているか否かの判断を行う動き検知部と
を備え、
前記動被写体が映されていると判断された場合に、4つの前記検出信号を用いた演算により測距する処理が行われ、
前記動被写体が映されていないと判断された場合に、8つの前記検出信号を用いた演算により測距する処理が行われる
測距処理装置。 - 2通りの前記照射光のうちの、第1の位相の前記照射光の前記反射光が受光される第1の検出期間、および、第2の位相の前記照射光の前記反射光が受光される第2の検出期間について、
前記第1の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第1の検出信号と、前記第2のタップに振り分けられて蓄積した電荷に応じた第2の検出信号とが検出され、
前記第2の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第3の検出信号と、前記第2のタップに振り分けられて蓄積した電荷に応じた第4の検出信号とが検出される
請求項1に記載の測距処理装置。 - 前記補正パラメータ算出部は、前記第1の検出信号、前記第2の検出信号、前記第3の検出信号、および前記第4の検出信号を用いて、2種類の前記補正パラメータを算出する
請求項2に記載の測距処理装置。 - 前記補正パラメータ算出部は、
2種類の前記補正パラメータを計算する計算部と、
前記計算部により計算された一方の種類の前記補正パラメータを格納する格納部と
を有する請求項3に記載の測距処理装置。 - 前記計算部は、前記格納部に格納される一方の種類の前記補正パラメータを、前記測距部が前記デプスを求める処理の開始時に計算して前記格納部に格納する
請求項4に記載の測距処理装置。 - 前記格納部は、前記反射光を受光する受光部の画素ごとに、前記補正パラメータを保持する
請求項5に記載の測距処理装置。 - 前記計算部は、前記第1のタップと前記第2のタップとの特性のズレをオフセットにより補正するためのオフセットパラメータを、前記格納部に格納する一方の種類の前記補正パラメータとして求める
請求項5に記載の測距処理装置。 - 前記計算部は、前記オフセットパラメータを、
前記第1の検出信号、前記第2の検出信号、前記第3の検出信号、および前記第4の検出信号に加えて、
第3の位相の前記照射光の前記反射光が受光される第3の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第5の検出信号、および、前記第2のタップに振り分けられて蓄積した電荷に応じた第6の検出信号と、
第4の位相の前記照射光の前記反射光が受光される第4の検出期間において、前記第1のタップと前記第2のタップとに交互に電荷が複数振り分けられ、前記第1のタップに振り分けられて蓄積した電荷に応じた第7の検出信号、および、前記第2のタップに振り分けられて蓄積した電荷に応じた第8の検出信号と
を用いて求める
請求項7に記載の測距処理装置。 - 前記計算部は、前記第1のタップと前記第2のタップとの特性のズレをゲインにより補正するためのゲインパラメータを、他方の種類の前記補正パラメータとして求める
請求項5に記載の測距処理装置。 - 前記計算部は、前記ゲインパラメータを、所定のフレームレートで出力される前記デプスの1フレームごとに求める
請求項9に記載の測距処理装置。 - 前記測距部は、
前記補正パラメータ算出部により算出される前記補正パラメータを用いて、前記第1の検出信号を補正することにより第1の補正検出信号を求めるとともに、前記第3の検出信号を補正することにより第2の補正検出信号を求める演算、または、前記第2の検出信号を補正することにより第3の補正検出信号を求めるとともに、前記第4の検出信号を補正することにより第4の補正検出信号を求める演算を行う補正演算部と、
前記第1の検出信号、前記第3の検出信号、前記第3の補正検出信号、および前記第4の補正検出信号を用いて前記デプスを求める演算、または、前記第2の検出信号、前記第4の検出信号、前記第1の補正検出信号、および前記第2の補正検出信号を用いて前記デプスを求める演算を行う測距演算部と
を有する請求項2に記載の測距処理装置。 - 前記測距部により求められた前記デプスを格納する測距結果格納部と、
前記測距結果格納部に格納された1フレーム前の前記デプスと、現在のフレームの前記デプスとを合成して出力する結果合成部と
をさらに備える請求項1に記載の測距処理装置。 - 前記測距部は、前記デプスとともに、前記デプスに対する信頼度を求め、
前記測距結果格納部には、前記デプスとともに前記信頼度が格納され、
前記結果合成部は、前記信頼度に応じた重み付け加算を行うことにより、1フレーム前の前記デプスと、現在のフレームの前記デプスとを合成する
請求項12に記載の測距処理装置。 - 所定の位相差の2通りの照射光を物体に照射する発光部と、
前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通りの前記照射光について2つずつ検出される所定数の検出信号を出力する受光部と、
所定数の前記検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求める測距部と、
前記反射光を受光する受光部の画素ごとに被写体の動きを検知し、所定の閾値に基づいて、動被写体が映されているか否かの判断を行う動き検知部と
を備え、
前記動被写体が映されていると判断された場合に、4つの前記検出信号を用いた演算により測距する処理が行われ、
前記動被写体が映されていないと判断された場合に、8つの前記検出信号を用いた演算により測距する処理が行われる
測距モジュール。 - 測距処理を行う測距処理装置が、
所定の位相差の2通りの照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通りの前記照射光について2つずつ検出される所定数の検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出することと、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求めることと、
前記反射光を受光する受光部の画素ごとに被写体の動きを検知し、所定の閾値に基づいて、動被写体が映されているか否かの判断を行うことと
を含み、
前記動被写体が映されていると判断された場合に、4つの前記検出信号を用いた演算により測距する処理が行われ、
前記動被写体が映されていないと判断された場合に、8つの前記検出信号を用いた演算により測距する処理が行われる
測距処理方法。 - 測距処理を行う測距処理装置のコンピュータに、
所定の位相差の2通りの照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第1のタップと第2のタップとに振り分けられ、2通りの前記照射光について2つずつ検出される所定数の検出信号を用いて、前記第1のタップと前記第2のタップとの特性のズレを補正する補正パラメータを算出することと、
前記補正パラメータと所定数の前記検出信号とに基づいて、前記物体までの距離を表すデプスを求めることと、
前記反射光を受光する受光部の画素ごとに被写体の動きを検知し、所定の閾値に基づいて、動被写体が映されているか否かの判断を行うことと
を含み、
前記動被写体が映されていると判断された場合に、4つの前記検出信号を用いた演算により測距する処理が行われ、
前記動被写体が映されていないと判断された場合に、8つの前記検出信号を用いた演算により測距する処理が行われる
測距処理を実行させるためのプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087512A JP7214363B2 (ja) | 2018-04-27 | 2018-04-27 | 測距処理装置、測距モジュール、測距処理方法、およびプログラム |
AU2019201805A AU2019201805B2 (en) | 2018-04-27 | 2019-03-15 | Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program |
CN201910250186.9A CN110412599A (zh) | 2018-04-27 | 2019-03-29 | 距离测量处理装置、距离测量模块和距离测量处理方法 |
TW108111131A TWI814804B (zh) | 2018-04-27 | 2019-03-29 | 距離測量處理設備,距離測量模組,距離測量處理方法及程式 |
US16/375,888 US20190331776A1 (en) | 2018-04-27 | 2019-04-05 | Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program |
KR1020190040499A KR20190125170A (ko) | 2018-04-27 | 2019-04-07 | 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램 |
EP19171437.7A EP3572834A1 (en) | 2018-04-27 | 2019-04-26 | Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087512A JP7214363B2 (ja) | 2018-04-27 | 2018-04-27 | 測距処理装置、測距モジュール、測距処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019191118A JP2019191118A (ja) | 2019-10-31 |
JP2019191118A5 JP2019191118A5 (ja) | 2021-04-30 |
JP7214363B2 true JP7214363B2 (ja) | 2023-01-30 |
Family
ID=66290340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018087512A Active JP7214363B2 (ja) | 2018-04-27 | 2018-04-27 | 測距処理装置、測距モジュール、測距処理方法、およびプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20190331776A1 (ja) |
EP (1) | EP3572834A1 (ja) |
JP (1) | JP7214363B2 (ja) |
KR (1) | KR20190125170A (ja) |
CN (1) | CN110412599A (ja) |
AU (1) | AU2019201805B2 (ja) |
TW (1) | TWI814804B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7030607B2 (ja) | 2018-04-27 | 2022-03-07 | ソニーセミコンダクタソリューションズ株式会社 | 測距処理装置、測距モジュール、測距処理方法、およびプログラム |
WO2021030034A1 (en) | 2019-08-15 | 2021-02-18 | Apple Inc. | Depth mapping using spatial multiplexing of illumination phase |
US20210055419A1 (en) * | 2019-08-20 | 2021-02-25 | Apple Inc. | Depth sensor with interlaced sampling structure |
JP2021081290A (ja) * | 2019-11-19 | 2021-05-27 | ソニーグループ株式会社 | 測距装置及び測距方法 |
US20210156881A1 (en) * | 2019-11-26 | 2021-05-27 | Faro Technologies, Inc. | Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking |
JP2021148608A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社リコー | 撮像装置、測距装置及び撮像プログラム |
CN113514851B (zh) * | 2020-03-25 | 2024-06-04 | 深圳市光鉴科技有限公司 | 深度相机 |
CN113447954B (zh) * | 2020-03-25 | 2024-06-04 | 深圳市光鉴科技有限公司 | 场景深度测量方法、***、设备及存储介质 |
US11763472B1 (en) | 2020-04-02 | 2023-09-19 | Apple Inc. | Depth mapping with MPI mitigation using reference illumination pattern |
CN115552285A (zh) | 2020-06-11 | 2022-12-30 | 苹果公司 | 具有飞行时间感测能力的全局快门图像传感器 |
CN116601458A (zh) * | 2020-11-05 | 2023-08-15 | 索尼集团公司 | 信息处理装置、信息处理方法及信息处理程序 |
CN112099036B (zh) * | 2020-11-10 | 2021-03-23 | 深圳市汇顶科技股份有限公司 | 距离测量方法以及电子设备 |
US11761985B2 (en) | 2021-02-09 | 2023-09-19 | Analog Devices International Unlimited Company | Calibration using flipped sensor for highly dynamic system |
CN113820695A (zh) * | 2021-09-17 | 2021-12-21 | 深圳市睿联技术股份有限公司 | 测距方法与装置、终端***及计算机可读存储介质 |
WO2023139916A1 (ja) * | 2022-01-21 | 2023-07-27 | 株式会社小糸製作所 | 測定装置 |
KR20230169720A (ko) * | 2022-06-09 | 2023-12-18 | 한화비전 주식회사 | 영상 획득 장치 |
KR102633544B1 (ko) | 2023-08-14 | 2024-02-05 | 주식회사 바른네모 | 목재 수납용 가구 및 이의 제조 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008520988A (ja) | 2004-11-23 | 2008-06-19 | アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス.エイ. | 3dカメラ用誤差補償方法 |
US20120062705A1 (en) | 2010-09-03 | 2012-03-15 | Ilia Ovsiannikov | Overlapping charge accumulation depth sensors and methods of operating the same |
WO2017213052A1 (ja) | 2016-06-08 | 2017-12-14 | パナソニックIpマネジメント株式会社 | 測距システム及び測距方法 |
JP2018009917A (ja) | 2016-07-15 | 2018-01-18 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置及び測距方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5277703B2 (ja) * | 2008-04-21 | 2013-08-28 | 株式会社リコー | 電子機器 |
DE102010061382B4 (de) * | 2010-12-21 | 2019-02-14 | Sick Ag | Optoelektronischer Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten |
KR20120079646A (ko) * | 2011-01-05 | 2012-07-13 | 삼성전자주식회사 | 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템 |
EP2477043A1 (en) * | 2011-01-12 | 2012-07-18 | Sony Corporation | 3D time-of-flight camera and method |
KR101788032B1 (ko) * | 2011-03-24 | 2017-10-19 | 삼성전자주식회사 | 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템 |
KR101893770B1 (ko) * | 2012-11-15 | 2018-08-31 | 삼성전자주식회사 | 적외선 반사도에 따른 깊이 오차를 보정하는 3d 카메라 및 그 방법 |
EP3094073B1 (en) * | 2013-02-28 | 2019-07-31 | Raytheon Company | Method and apparatus for gain and level correction of multi-tap ccd cameras |
KR102194233B1 (ko) * | 2014-05-19 | 2020-12-22 | 삼성전자주식회사 | 깊이 영상 생성 장치 및 방법 |
KR102194234B1 (ko) * | 2014-06-02 | 2020-12-22 | 삼성전자주식회사 | 깊이 카메라를 이용하여 피사체에 대응하는 깊이 값을 생성하는 방법 및 장치 |
US9823352B2 (en) * | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
WO2016075945A1 (ja) * | 2014-11-14 | 2016-05-19 | 株式会社デンソー | 光飛行型測距装置 |
US10061029B2 (en) * | 2015-01-06 | 2018-08-28 | Samsung Electronics Co., Ltd. | Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration |
JP6816097B2 (ja) * | 2015-07-13 | 2021-01-20 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像についての奥行きマップを決定するための方法及び装置 |
KR102486385B1 (ko) * | 2015-10-29 | 2023-01-09 | 삼성전자주식회사 | 깊이 정보 획득 장치 및 방법 |
US9858672B2 (en) * | 2016-01-15 | 2018-01-02 | Oculus Vr, Llc | Depth mapping using structured light and time of flight |
JP2017150893A (ja) | 2016-02-23 | 2017-08-31 | ソニー株式会社 | 測距モジュール、測距システム、および、測距モジュールの制御方法 |
US10557925B2 (en) * | 2016-08-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Time-of-flight (TOF) image sensor using amplitude modulation for range measurement |
-
2018
- 2018-04-27 JP JP2018087512A patent/JP7214363B2/ja active Active
-
2019
- 2019-03-15 AU AU2019201805A patent/AU2019201805B2/en active Active
- 2019-03-29 CN CN201910250186.9A patent/CN110412599A/zh active Pending
- 2019-03-29 TW TW108111131A patent/TWI814804B/zh active
- 2019-04-05 US US16/375,888 patent/US20190331776A1/en active Pending
- 2019-04-07 KR KR1020190040499A patent/KR20190125170A/ko not_active Application Discontinuation
- 2019-04-26 EP EP19171437.7A patent/EP3572834A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008520988A (ja) | 2004-11-23 | 2008-06-19 | アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス.エイ. | 3dカメラ用誤差補償方法 |
US20120062705A1 (en) | 2010-09-03 | 2012-03-15 | Ilia Ovsiannikov | Overlapping charge accumulation depth sensors and methods of operating the same |
WO2017213052A1 (ja) | 2016-06-08 | 2017-12-14 | パナソニックIpマネジメント株式会社 | 測距システム及び測距方法 |
JP2018009917A (ja) | 2016-07-15 | 2018-01-18 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置及び測距方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2019201805B2 (en) | 2020-06-18 |
TW201945757A (zh) | 2019-12-01 |
CN110412599A (zh) | 2019-11-05 |
EP3572834A1 (en) | 2019-11-27 |
US20190331776A1 (en) | 2019-10-31 |
KR20190125170A (ko) | 2019-11-06 |
AU2019201805A1 (en) | 2019-11-14 |
JP2019191118A (ja) | 2019-10-31 |
TWI814804B (zh) | 2023-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7214363B2 (ja) | 測距処理装置、測距モジュール、測距処理方法、およびプログラム | |
JP6834964B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6764573B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20220317269A1 (en) | Signal processing device, signal processing method, and ranging module | |
US10771711B2 (en) | Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject | |
TWI798408B (zh) | 測距處理裝置,測距模組,測距處理方法及程式 | |
WO2020209079A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021065494A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
US20220113410A1 (en) | Distance measuring device, distance measuring method, and program | |
WO2020246264A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021065500A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021065495A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
JP7517349B2 (ja) | 信号処理装置、信号処理方法、および、測距装置 | |
WO2020203331A1 (ja) | 信号処理装置、信号処理方法、および、測距モジュール | |
WO2022004441A1 (ja) | 測距装置および測距方法 | |
JP7517335B2 (ja) | 信号処理装置、信号処理方法、および、測距モジュール | |
WO2022190848A1 (ja) | 測距装置、測距システム及び測距方法 | |
US20220413144A1 (en) | Signal processing device, signal processing method, and distance measurement device | |
JP2021099271A (ja) | 測距装置およびその制御方法、並びに、電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7214363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |