JP7508822B2 - Distance measurement device and distance measurement method - Google Patents
Distance measurement device and distance measurement method Download PDFInfo
- Publication number
- JP7508822B2 JP7508822B2 JP2020051799A JP2020051799A JP7508822B2 JP 7508822 B2 JP7508822 B2 JP 7508822B2 JP 2020051799 A JP2020051799 A JP 2020051799A JP 2020051799 A JP2020051799 A JP 2020051799A JP 7508822 B2 JP7508822 B2 JP 7508822B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- signal
- light
- phase signal
- distance measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 109
- 238000000691 measurement method Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 54
- 238000009825 accumulation Methods 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 25
- 230000015654 memory Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000002366 time-of-flight method Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、距離計測装置及び距離計測方法に関する。 The present invention relates to a distance measurement device and a distance measurement method.
3次元センサの一つに、強度変調した参照光を投射し、被写体で反射してセンサに戻ってくるまでの時間を検出して距離を求める、いわゆる“TOF(Time of Flight)センサ”が既に知られており、種々ある3次元センシング方式の中でもその高速性の原理的優位性から、昨今さまざまな用途への開発が進められている。TOFセンサを使用した場合、反射率の高い物体が近距離にある場合は、受光信号が飽和し、正しい測定が困難である。また、反射率の低い物体が遠距離にある場合は、受光信号が小さく、測定精度が著しく劣化する。このため、信号のダイナミックレンジを広く確保することが望まれている。 One type of 3D sensor is the so-called "TOF (Time of Flight) sensor," which projects intensity-modulated reference light, detects the time it takes for it to reflect off the subject and return to the sensor to determine distance. Among the various 3D sensing methods, this sensor has been developed for a variety of applications due to its theoretical superiority in terms of speed. When using a TOF sensor, if an object with high reflectivity is close by, the received light signal becomes saturated, making accurate measurement difficult. Also, if an object with low reflectivity is far away, the received light signal is small and measurement accuracy deteriorates significantly. For this reason, it is desirable to ensure a wide dynamic range of the signal.
特許文献1には、光飛行型測距装置において、基本露光期間を複数のサブ露光期間に分割し、1つの画素から長時間露光の測距値と短時間露光の測距値との両方を取得することが記載されている。これにより、特許文献1によれば、信号のダイナミックレンジを拡張できるとされている。
特許文献1に記載の技術では、太陽光などの外光ノイズが存在する場合に、長時間露光及び短時間露光のいずれにおいても蓄積される電荷が飽和しやすく、物体までの距離を高精度に測定することが困難になる。
In the technology described in
本発明は、上記に鑑みてなされたものであって、外光ノイズが存在する場合に物体までの距離を高精度に測定できる距離計測装置及び距離計測方法を提供することを目的とする。 The present invention has been made in consideration of the above, and aims to provide a distance measurement device and a distance measurement method that can measure the distance to an object with high accuracy when external light noise is present.
上述した課題を解決し、目的を達成するために、本発明の1つの側面にかかる距離計測装置は、パルス光を発光させ被写体に向けて照射する光源部と、前記被写体からの反射光を受光して電気信号に変換し、前記電気信号を時間的に分割して複数の時間毎の位相信号を取得する撮像部と、前記位相信号を格納する格納部と、前記位相信号から、照射光と反射光との時間差を導出し、前記時間差から距離を導出する計算部とを備え、前記光源部を発光させて前記撮像部で前記位相信号を取得し、取得した前記位相信号の前記格納部への格納を複数回繰り返し、複数回の位相信号から前記計算部で距離を導出することを特徴とする。 In order to solve the above-mentioned problems and achieve the object, a distance measurement device according to one aspect of the present invention includes a light source unit that emits pulsed light and irradiates it towards a subject, an imaging unit that receives reflected light from the subject and converts it into an electrical signal, and divides the electrical signal in time to obtain phase signals for multiple time periods, a storage unit that stores the phase signals, and a calculation unit that derives a time difference between the irradiated light and the reflected light from the phase signal and derives a distance from the time difference, characterized in that the light source unit emits light to obtain the phase signal by the imaging unit, and the obtained phase signal is stored in the storage unit multiple times, and the calculation unit derives the distance from the multiple phase signals.
本発明によれば、外光ノイズが存在する場合に物体までの距離を高精度に測定できるという効果を奏する。 The present invention has the effect of being able to measure the distance to an object with high accuracy when external light noise is present.
(実施形態)
実施形態にかかる距離測定装置は、強度変調した参照光を投射し、被写体で反射してセンサに戻ってくるまでの時間を検出して距離を求める、いわゆる“TOF(Time of Flight)センサ”である。TOFセンサは、3次元センサの1つであり、種々ある3次元センシング方式の中でもその高速性の原理的優位性から、昨今さまざまな用途への開発が進められている。
(Embodiment)
The distance measuring device according to the embodiment is a so-called "TOF (Time of Flight) sensor" that projects an intensity-modulated reference light, detects the time it takes for the light to be reflected by an object and return to the sensor, and obtains a distance. The TOF sensor is one of the three-dimensional sensors, and has been developed for various applications in recent years due to its theoretical superiority in terms of high speed among various three-dimensional sensing methods.
TOFセンサを用いて屋外等の広視野範囲での測定をする場合、測定対象の存在する距離や照射光に対する反射率は様々であり、また、太陽光などの外光ノイズも存在する。様々な環境に対して適用性の高い3次元センサを提供するためには、測定対象の距離や反射率、さらには外光条件によらず、高精度な測定が実現される必要がある。 When using a TOF sensor to measure a wide field of view, such as outdoors, the distance of the object to be measured and the reflectance of the irradiated light vary, and external light noise such as sunlight also exists. In order to provide a 3D sensor that is highly applicable to a variety of environments, it is necessary to achieve high-precision measurements regardless of the distance and reflectance of the object to be measured, or even the external light conditions.
しかし、TOFセンサを使用した場合、一般に、反射率の高い物体が近距離にある場合は、受光信号が飽和し、正しい測定が困難である。また、反射率の低い物体が遠距離にある場合は、受光信号が小さく、測定精度が著しく劣化する。いわゆるセンサのダイナミックレンジにより測定対象と測定可能距離が定まる。ダイナミックレンジが狭いと、広視野範囲で様々な物体を高精度に測定することが困難になる。また、太陽光などの外光ノイズが存在する場合、外光成分が増えるほど測定精度が悪くなる可能性がある。 However, when using a TOF sensor, the light receiving signal generally saturates when a highly reflective object is close by, making accurate measurement difficult. Also, when a low-reflective object is far away, the light receiving signal is small and measurement accuracy deteriorates significantly. The measurement target and measurable distance are determined by the so-called dynamic range of the sensor. If the dynamic range is narrow, it becomes difficult to measure various objects with high accuracy over a wide field of view. Also, when external light noise such as sunlight is present, the measurement accuracy may deteriorate as the external light component increases.
そこで、本実施形態では、距離測定装置において、光源の発光期間を位相信号の読み出し期間より短くし、さらに位相信号の取得と格納を複数回繰り返し、複数回の位相信号から距離を導出することで、外光条件によらない高精度な測定の実現を図る。 Therefore, in this embodiment, in a distance measurement device, the light emission period of the light source is made shorter than the readout period of the phase signal, and the acquisition and storage of the phase signal is repeated multiple times, and the distance is derived from the multiple phase signals, thereby achieving highly accurate measurements that are not dependent on external light conditions.
具体的には、距離測定装置1は、図1に示すように構成され得る。図1は、距離測定装置1の概略構成を示す図である。距離測定装置1は、TOF方式を用いて、測定対象物2までの距離を測定する。
Specifically, the
距離測定装置1は、投光部(光源部)10、受光センサー(撮像部)11、タイミング制御部(位相信号格納部)12、及び距離演算部13を有する。
The
投光部10は、測定対象物2に向けてパルス光を発光する。投光部10は、光源21、光源22、駆動回路23、及び駆動回路24を有している。駆動回路23は、光源21を駆動可能であり、駆動回路24は、光源22を駆動可能である。タイミング制御部12から変調信号が入力されると、駆動回路23は、変調信号に応じた電流を光源21に流し、駆動回路24は、変調信号に応じた電流を光源22に流す。これに応じて、変調された光が光源21、光源22のそれぞれから測定対象物2に向けて照射される。
The light-projecting unit 10 emits pulsed light toward the object to be measured 2. The light-projecting unit 10 has a light source 21, a light source 22, a
受光センサー11は、複数の画素を有する。受光センサー11は、複数の画素が2次元的に配列されたエリアセンサーであってもよい。各画素は、蓄積部A及び蓄積部Bを有している。蓄積部A及び蓄積部Bは、互いに独立して電荷蓄積動作を行うように構成されている。蓄積部A及び蓄積部Bは、それぞれ、受光した光に応じて光電変換で発生した電荷を蓄積する。各画素は、測定対象物2から反射された変調光を受光する。各画素は、タイミング制御部12からのタイミング信号A、タイミング信号Bに従って、電荷蓄積動作を行う。
The light receiving sensor 11 has a plurality of pixels. The light receiving sensor 11 may be an area sensor in which a plurality of pixels are arranged two-dimensionally. Each pixel has a storage section A and a storage section B. The storage sections A and B are configured to perform charge storage operations independently of each other. The storage sections A and B each store charges generated by photoelectric conversion in response to the received light. Each pixel receives modulated light reflected from the
具体的には、受光センサー11は、タイミング信号Aがアクティブレベル(例えば、Hレベル)の期間において、各画素の蓄積部Aに電荷を蓄積させ、タイミング信号Bがアクティブレベル(例えば、Hレベル)の期間において、各画素の蓄積部Bに電荷を蓄積させる(図2参照)。 Specifically, the light receiving sensor 11 accumulates electric charge in the accumulation section A of each pixel while the timing signal A is at an active level (e.g., H level), and accumulates electric charge in the accumulation section B of each pixel while the timing signal B is at an active level (e.g., H level) (see Figure 2).
タイミング制御部12は、変調信号のパルスを繰り返し生成して投光部10へ出力する。それとともに、タイミング制御部12は、タイミング信号Aのパルスを繰り返し生成して受光センサー11の蓄積部Aへ出力し、タイミング信号Bのパルスを繰り返し生成して受光センサー11の蓄積部Bへ出力する。これにより、各画素の蓄積部A及び蓄積部Bに、それぞれ、電荷がどんどん蓄積されていく。所定の回数(所定のパルス数)で蓄積部A及び蓄積部Bの各電荷蓄積動作が繰り返された後、タイミング制御部12は、変調信号、タイミング信号A、タイミング信号Bの出力をストップさせ、受光データ出力指示信号を受光センサー11へ出力し、距離演算指示信号を距離演算部13へ出力する。
The timing control unit 12 repeatedly generates pulses of the modulation signal and outputs them to the light-projecting unit 10. At the same time, the timing control unit 12 repeatedly generates pulses of timing signal A and outputs them to the storage unit A of the light-receiving sensor 11, and repeatedly generates pulses of timing signal B and outputs them to the storage unit B of the light-receiving sensor 11. This causes electric charges to accumulate in the storage units A and B of each pixel. After the charge accumulation operations of the storage units A and B have been repeated a predetermined number of times (a predetermined number of pulses), the timing control unit 12 stops outputting the modulation signal, timing signal A, and timing signal B, outputs a light-receiving data output instruction signal to the light-receiving sensor 11, and outputs a distance calculation instruction signal to the
受光センサー11は、タイミング制御部12から受光データ出力指示信号が入力されると、各画素の蓄積部A、蓄積部Bに蓄積された電荷量を電圧に変換し受光信号A、受光信号Bを生成し、受光信号A、受光信号BをAD変換して受光データA、受光データBを生成する。受光センサー11は、受光データA、受光データBを順次に距離演算部13へ出力する。
When the light receiving sensor 11 receives a light receiving data output instruction signal from the timing control unit 12, it converts the amount of charge stored in the storage units A and B of each pixel into a voltage to generate light receiving signals A and B, and performs AD conversion on the light receiving signals A and B to generate light receiving data A and B. The light receiving sensor 11 outputs the light receiving data A and light receiving data B in sequence to the
距離演算部13は、距離演算指示信号に応じて、受光データA、受光データBを用いて各画素における距離データを算出し、距離画像を生成する。
The
次に、距離測定装置1の動作について図2を用いて説明する。図2は、距離測定装置1の動作を示す波形図である。
Next, the operation of the
図2に示す変調信号がタイミング制御部12から投光部10へ供給されると、投光部10は、照射光Leを測定対象物2に向けて照射する。図2では、照射光Leの光波形の位相は、変調信号波形の位相からの遅れはないものとして示している。
When the modulation signal shown in FIG. 2 is supplied from the timing control unit 12 to the light projecting unit 10, the light projecting unit 10 projects the irradiation light Le toward the
照射光Leが測定対象物2で反射されると、反射光Lrが受光センサー11で受光される。図2に示す反射光Lrの光波形の形は、照射光Leの光波形の形とほぼ同じであり、波形の周期及びデューティ比が略均等である。デューティ比は、例えば、略50%である。反射光Lrの光波形は、照射光Leの光波形より位相が時間τに相当する分遅れた波形になっている。反射光Lrの光波形は、照射光Leの照射タイミングから時間τ遅れて受光センサー11に反射光Lrが入射されることを示している。この時間τは、光が投光部10から出射され、測定対象物2に当たって反射し受光センサー11に戻ってくるまでの時間であり、測定対象物2までの距離によって変わる。つまり、時間τが分かれば、光の速度Cを用いて次の数式1によって測定対象物2までの距離Dを求めることができる。
D=τ×C/2・・・数式1
When the irradiated light Le is reflected by the
D = τ × C / 2 ...
このとき、タイミング信号AがHレベルの期間に受光センサー11の各画素の蓄積部Aが電荷蓄積動作を行い、タイミング信号BがHレベルの期間に受光センサー11の各画素の蓄積部Bが電荷蓄積動作を行う。タイミング信号Aは、照射光Leとほぼ同じタイミングでHレベルを維持し、パルス時間幅Tw後にHレベルからLレベルに遷移する。タイミング信号Bは、タイミング信号AがLレベルになるのとほぼ同時にLレベルからHレベルに遷移し、その遷移タイミングからパルス時間幅Tw経過後にHレベルからLレベルに遷移する。 At this time, while timing signal A is at H level, storage section A of each pixel of light receiving sensor 11 performs charge storage operation, and while timing signal B is at H level, storage section B of each pixel of light receiving sensor 11 performs charge storage operation. Timing signal A maintains H level at approximately the same timing as irradiated light Le, and transitions from H level to L level after pulse time width Tw. Timing signal B transitions from L level to H level at approximately the same time that timing signal A becomes L level, and transitions from H level to L level after pulse time width Tw has elapsed from the transition timing.
タイミング信号AがHレベルを維持する期間が蓄積部Aの電荷蓄積期間なので、図2にハッチングで示す期間において蓄積部Aが反射光Lrに応じた電荷量Aを蓄積する。同様に、タイミング信号BがHレベルを維持する期間が蓄積部Bの電荷蓄積期間なので、図2にハッチングで示す期間TBにおいて蓄積部Bが反射光Lrに応じた電荷量Bを蓄積する。ここで、時間τが0≦τ≦Twの範囲であれば次の数式2に示す関係が成り立つ。
τ/Tw=B/(A+B)・・・数式2
The period during which timing signal A maintains the H level is the charge accumulation period of accumulation unit A, so during the period shown by hatching in Fig. 2, accumulation unit A accumulates an amount of charge A corresponding to reflected light Lr. Similarly, the period during which timing signal B maintains the H level is the charge accumulation period of accumulation unit B, so accumulation unit B accumulates an amount of charge B corresponding to reflected light Lr during period T B shown by hatching in Fig. 2. Here, if time τ is in the range of 0≦τ≦Tw, the relationship shown in the following
τ/Tw=B/(A+B)...
数式1及び数式2により、測定対象物2までの距離Dは、蓄積部Aによる反射光Lrの蓄積電荷量A、蓄積部Bによる反射光Lrの蓄積電荷量Bから次の数式3によって求めることができる。
D=B/(A+B)×Tw×C/2・・・数式3
From
D = B / (A + B) x Tw x C / 2 ... Formula 3
次に、受光センサー11の画素の構成について図3を用いて説明する。図3は、画素の構成を示す図である。 Next, the pixel configuration of the light receiving sensor 11 will be explained using FIG. 3. FIG. 3 is a diagram showing the pixel configuration.
受光センサー11の一画素は、図3に示すように、PD(Photodiode)103と、2個の変調スイッチ104a,104bと、2個の蓄積部A,Bとを有する。2個の変調スイッチ104a,104bは、例えばMOSトランジスタやトランスファゲート等のMOS型のデバイス、CCD構造のデバイス等である。2個の蓄積容量A,Bは、例えばMOS、CCD、MIM(Metal Insulator Metal)等の容量素子、配線、PN接合の寄生容量等である。
As shown in FIG. 3, one pixel of the light receiving sensor 11 has a PD (Photodiode) 103, two
TOF方式の受光センサー11は、1画素ごとに、電荷を2箇所に振り分ける画素構造になっている。この画素構造は、例えば1度の受光期間に、0°の位相成分と180°の位相成分とに信号を振り分けることを可能にするためである。原理的には、一画素ごとに、3箇所以上に振り分ける画素構造にして、1度の受光で3以上の位相成分に振り分けることも可能ではあるが、振分け箇所を増やすと画素領域の内、電荷蓄積領域またはそれに付属する構造体が占める割合が大きくなることで、1画素ごとの受光面積が小さくなりやすく、十分な感度が得られなくなる可能性が生じる。このため、振分け箇所の数を不用意に増やすことは得策ではない。 The TOF light receiving sensor 11 has a pixel structure that distributes electric charge to two locations for each pixel. This pixel structure is for the purpose of making it possible to distribute a signal to a 0° phase component and a 180° phase component during one light receiving period, for example. In principle, it is possible to make a pixel structure that distributes electric charge to three or more locations for each pixel, and distribute the signal to three or more phase components during one light receiving period. However, if the number of distribution locations is increased, the proportion of the pixel area occupied by the charge storage area or its associated structure increases, which tends to reduce the light receiving area for each pixel, and there is a possibility that sufficient sensitivity cannot be obtained. For this reason, it is not advisable to carelessly increase the number of distribution locations.
次に、TOF法式で用いられる正弦波変調方式とパルス変調方式の測距原理について説明する。 Next, we will explain the principles of distance measurement using the sine wave modulation method and pulse modulation method used in the TOF method.
正弦波変調方式とは、受信光を3つ以上に時間的に分割して検出した各信号を用いて、反射光の遅れ時間Tdを位相差角の演算で取得する方法である。例として、4位相式の正弦波変調方式について図4を用いて説明する。図4は、正弦波変調方式の測距原理を示す図である。図4に示すように、正弦波変調方式のための1フレーム期間のうち、前半のサブフレーム期間が、0°,180°の位相信号を取得するためのフレーム期間であり、後半のサブフレーム期間が、90°,270°の位相信号を取得するためのフレーム期間である。 The sine wave modulation method is a method in which the received light is divided into three or more parts in time, and the delay time Td of the reflected light is obtained by calculating the phase difference angle using each signal detected. As an example, a four-phase sine wave modulation method is explained using FIG. 4. FIG. 4 is a diagram showing the distance measurement principle of the sine wave modulation method. As shown in FIG. 4, within one frame period for the sine wave modulation method, the first subframe period is a frame period for obtaining phase signals of 0° and 180°, and the second subframe period is a frame period for obtaining phase signals of 90° and 270°.
reset信号による各画素のリセットが完了した後、照射光が測定対象物に向けて周期的に照射され反射光が周期的に返ってくる。このとき、前半のサブフレーム期間では、画素の変調スイッチ104a,104bを転送信号TX1(0°)とそれから180°ずれた転送信号TX2(180°)とで交互に所定回数オンさせる。その後、「read out」信号により、時間的に0°,180°の位相に対応し蓄積された電荷量に応じた信号(A0,A180)が読み出されて取得される。
After the reset of each pixel is completed by the reset signal, the irradiated light is periodically irradiated toward the object to be measured, and the reflected light is periodically returned. At this time, in the first half subframe period, the
後半のサブフレーム期間では、画素の変調スイッチ104a,104bを転送信号TX1(90°)とそれから180°ずれた転送信号TX2(270°)とで交互に所定回数オンさせる。その後、「read out」信号により、時間的に90°,270°の位相に対応し蓄積された電荷量に応じた信号(A90,A270)が読み出されて取得される。
In the latter subframe period, the
時間的に0°、90°,180°、270°の4つの位相に分割した信号(A0,A90,A180,A270)が取得されると、次の数式4を使って位相差角Φが求められる。
Φ=Arctan{(A90-A270)/(A0-A180)}・・・数式4
When signals (A 0 , A 90 , A 180 , A 270 ) divided into four phases of 0°, 90°, 180°, and 270° in time are acquired, the phase difference angle Φ is calculated using the following
Φ=Arctan{(A 90 −A 270 )/(A 0 −A 180 )} (Formula 4)
数式4の位相差角Φを使って、照射光に対する反射光の遅延Tdが、次の数式5から求められ得る。
Td=Φ/2π×T・・・数式5
Using the phase difference angle Φ of
Td = Φ / 2π × T ... Formula 5
数式5において、発光パルス幅をT0とすると、T=2T0である。 In Equation 5, if the light emission pulse width is T0 , then T= 2T0 .
位相差の演算方法から、正弦波変調方式において測距性能を高める理想的な光源波形はsin波形である。1画素に対し2箇所の電荷振分け先を持つ画素構造のTOFイメージセンサを用いた場合、最低2回の露光が必要になる。 Based on the method of calculating the phase difference, the ideal light source waveform for improving distance measurement performance in the sine wave modulation method is a sine waveform. When using a TOF image sensor with a pixel structure that has two charge distribution destinations per pixel, a minimum of two exposures are required.
パルス変調方式とは、反射光信号を2つ以上に時間的に分割して検出した各信号を用いて、照射光に対する反射光の遅れ時間Tdを求める方法である。例として、2位相式のパルス変調方式について図5を用いて説明する。図5は、パルス変調方式の測距原理を示す図である。 The pulse modulation method is a method of calculating the delay time Td of the reflected light relative to the irradiated light by dividing the reflected light signal into two or more signals in time and using each detected signal. As an example, the two-phase pulse modulation method will be explained using Figure 5. Figure 5 is a diagram showing the distance measurement principle of the pulse modulation method.
図5に示すように、パルス変調方式のための1フレーム期間は、0°,180°の位相信号を取得するためのフレーム期間である。 As shown in Figure 5, one frame period for the pulse modulation method is the frame period for acquiring phase signals of 0° and 180°.
reset信号による各画素のリセットが完了した後、照射光が測定対象物に向けて周期的に照射され反射光が周期的に返ってくる。このとき、1フレーム期間では、画素の変調スイッチ104a,104bを転送信号TX1(0°)とそれから180°ずれた転送信号TX2(180°)とで交互に所定回数オンさせる。その後、「read out」信号により、時間的に0°,180°の位相に対応し蓄積された電荷量に応じた信号(A0,A180)が読み出されて取得される。
After the reset of each pixel is completed by the reset signal, the irradiated light is periodically irradiated toward the object to be measured, and the reflected light is periodically returned. At this time, in one frame period, the
時間的に0°、180°の2つの位相に分割した信号(B0,B180)が取得されると、次の数式6を使って、照射光に対する反射光の遅延Td’を求めることが出来る。
Td’={B180/(B0+B180)}×T1・・・数式6
When signals (B 0 , B 180 ) divided into two phases of 0° and 180° in time are acquired, the delay Td′ of the reflected light relative to the irradiated light can be calculated using the following equation 6.
Td'={B 180 /(B 0 +B 180 )}×T 1 (Formula 6)
数式6において、T1は、発光パルス幅である。 In Equation 6, T1 is the light emission pulse width.
位相差の演算方法から、パルス変調方式において測距性能を高める理想的な光源波形は矩形波形である。 Due to the method of calculating the phase difference, the ideal light source waveform for improving distance measurement performance in the pulse modulation method is a rectangular waveform.
次に、距離測定装置のダイナミックレンジについて図6を用いて説明する。図6は、距離測定装置のダイナミックレンジを示す図である。図6では、縦軸が測距精度の小ささ(測距値のばらつきの大きさ)を示し、横軸が信号の大きさを示す。 Next, the dynamic range of the distance measurement device will be explained using FIG. 6. FIG. 6 is a diagram showing the dynamic range of the distance measurement device. In FIG. 6, the vertical axis indicates the degree of distance measurement accuracy (the degree of variation in the distance measurement value), and the horizontal axis indicates the magnitude of the signal.
TOF方式での距離測定装置での測距に際して、反射率の高い物体が近距離にある場合や、太陽光等の強い環境光が存在していると蓄積部が飽和してしまうことがある。この場合、適切な受光信号が得られずに、正しい測定が困難になる。一方で、反射率の低い物体が遠距離にある場合は、受光信号が小さく、測定精度が著しく劣化する。 When measuring distances using a distance measuring device that uses the TOF method, if a highly reflective object is nearby or if there is strong ambient light such as sunlight, the storage section may become saturated. In this case, an appropriate light receiving signal cannot be obtained, making it difficult to perform accurate measurements. On the other hand, if an object with low reflectivity is far away, the light receiving signal is small and measurement accuracy deteriorates significantly.
図6に実線で示す曲線は、外光ノイズが存在しない理想的な条件(高SN条件)での受光センサーの信号量と測距精度との関係を示したものである。目標の測距精度を満たすためには、Amp1~Amp2の信号量を得ることが求められる。ここでの信号量は、例えば、√{(A90-A270)2+(A0-A180)2}などの受光信号の大きさを示すものであればよい。 The solid curve in Fig. 6 shows the relationship between the signal amount of the light receiving sensor and the distance measurement accuracy under ideal conditions (high S/N conditions) where there is no external light noise. To achieve the target distance measurement accuracy, it is necessary to obtain the signal amount of Amp1 to Amp2. The signal amount here may be, for example, anything that indicates the magnitude of the light receiving signal, such as √{( A90 - A270 ) 2+ ( A0 - A180 ) 2 }.
図6に点線で示す曲線は、強い外光ノイズが存在する条件(低SN条件)での受光センサーの信号量と測距精度との関係を示したものである。実線で示す曲線と同じ信号量が得られている場合でも、測距精度が劣化し、目標の測距精度を満たす範囲が狭まる傾向にある。これは、外光ノイズで測距精度が劣化し得ることを示しており、この問題を抑制するためには、外光ノイズに対して、信号量が強い条件を満たしておくことが望まれる。 The dotted curve in Figure 6 shows the relationship between the signal amount of the light receiving sensor and the distance measurement accuracy under conditions where strong external light noise is present (low S/N conditions). Even when the same signal amount as the solid line curve is obtained, the distance measurement accuracy tends to deteriorate and the range in which the target distance measurement accuracy is met tends to narrow. This shows that external light noise can deteriorate the distance measurement accuracy, and in order to prevent this problem, it is desirable to satisfy the condition of strong signal amount relative to external light noise.
すなわち、屋外等の広視野範囲での測定をする場合、測定対象の存在する距離や照射光に対する反射率は様々であり、また、太陽光などの外光ノイズも存在することがある。様々な環境に対して適用性の高い距離測定装置を提供するためには、測定対象の距離や反射率、さらには外光条件によらず、高精度な測定の実現が望まれる。 In other words, when making measurements in a wide field of view, such as outdoors, the distance to the object being measured and the reflectance of the irradiated light vary, and external light noise such as sunlight may also be present. In order to provide a distance measuring device that is highly applicable to a variety of environments, it is desirable to achieve highly accurate measurements regardless of the distance or reflectance of the object being measured, or even the external light conditions.
それに対して、本実施形態の距離測定装置1は、図7、図8に示すような、画素の駆動を行う。図7、図8は、画素の駆動方式を説明する図である。
In contrast, the
図7に示す基本の駆動方式では、1フレーム期間の前半のサブフレーム期間は、蓄積期間0-180_P、読み出し期間0-180_RO、リセット期間RSを順に含み、後半のサブフレーム期間は、蓄積期間90-270_P、読み出し期間90-270_RO、リセット期間RS、測距演算期間CAを順に含む。蓄積期間0-180_Pでは、0°,180°の位相信号(A0,A180)が繰り返し蓄積される(図4参照)。蓄積期間90-270_Pでは、90°,270°の位相信号(A90,A270)が繰り返し蓄積される(図4参照)。 In the basic driving method shown in Fig. 7, the first subframe period of one frame period includes, in order, an accumulation period 0-180_P, a readout period 0-180_RO, and a reset period RS, and the second subframe period includes, in order, an accumulation period 90-270_P, a readout period 90-270_RO, a reset period RS, and a distance measurement calculation period CA. In the accumulation period 0-180_P, phase signals of 0° and 180° (A 0 , A 180 ) are repeatedly accumulated (see Fig. 4). In the accumulation period 90-270_P, phase signals of 90° and 270° (A 90 , A 270 ) are repeatedly accumulated (see Fig. 4).
一方、図7に示す本実施形態の駆動方式では、基本の駆動方式に対して、蓄積期間及び読み出し期間をそれぞれ複数に分割する。すなわち、1フレーム期間の前半のサブフレーム期間は、複数の蓄積期間0-180_P1~0-180_P5、複数の読み出し期間0-180_RO1~0-180_RO5、リセット期間RSを順に含み、後半のサブフレーム期間は、複数の蓄積期間90-270_P1~90-270_P5、複数の読み出し期間90-270_RO1~90-270_RO5、リセット期間RS、測距演算期間CAを順に含む。 On the other hand, in the driving method of this embodiment shown in FIG. 7, the accumulation period and readout period are each divided into multiple periods compared to the basic driving method. That is, the first half of the subframe period of one frame period includes multiple accumulation periods 0-180_P1 to 0-180_P5, multiple readout periods 0-180_RO1 to 0-180_RO5, and a reset period RS, in that order, while the second half of the subframe period includes multiple accumulation periods 90-270_P1 to 90-270_P5, multiple readout periods 90-270_RO1 to 90-270_RO5, a reset period RS, and a distance measurement calculation period CA, in that order.
前半のサブフレーム期間では、蓄積期間0-180_P及び読み出し期間0-180_ROのペアを1セットとして、このセットを数回~数十回繰り返しを行い、その後、画素がリセットされる。図7では、5回のセット(0-180_P1,0-180_RO1),(0-180_P2,0-180_RO2),・・・(0-180_P5,0-180_RO5)を行う場合が例示されている。 In the first half of the subframe period, a pair of an accumulation period 0-180_P and a readout period 0-180_RO is considered as one set, and this set is repeated several to several dozen times, after which the pixels are reset. Figure 7 shows an example in which five sets (0-180_P1, 0-180_RO1), (0-180_P2, 0-180_RO2), ... (0-180_P5, 0-180_RO5) are performed.
後半のサブフレーム期間では、蓄積期間90-270_P及び読み出し期間90-270_ROのペアを1セットとして、このセットを数回~数十回繰り返しを行い、その後、画素画リセットされ、各信号の取得結果から、距離計算を行い、測距値を出力する。図7では、5回のセット(90-270_P1,90-270_RO1),(90-270_P2,90-270_RO2),・・・(90-270_P5,90-270_RO5)を行う場合が例示されている。 In the latter subframe period, a pair of an accumulation period 90-270_P and a readout period 90-270_RO is considered as one set, and this set is repeated several to several dozen times, after which the pixel image is reset, and distance calculations are performed from the results of each signal acquisition, and the distance measurement value is output. Figure 7 shows an example of a case where five sets (90-270_P1, 90-270_RO1), (90-270_P2, 90-270_RO2), ... (90-270_P5, 90-270_RO5) are performed.
図8(a)に示す1フレーム期間のうち、図8(b)に示す1つの蓄積期間(例えば、0-180_P2)では、投光部10から測定対象物2へ向けて発光パルス群での発光が行われ照射光として出射されている。また、TOF方式の測距原理に基づき、発光パルスに同期して、各位相の信号蓄積が行われている。例えば、蓄積期間0-180_P2では、0°の信号蓄積と180°の信号蓄積とが交互に繰り返し行われている。図8では簡略化して示しているが、例えば、発光パルス群のパルス数は、数十~数百万回程度であってもよい。0°の信号蓄積のタイミングは、照射光のタイミングに対応している。発光パルス群での発光が行われた後の非発光期間において、蓄積された位相信号の読み出しが行われる。すなわち、非発光期間は、1つの読み出し期間(例えば、0-180_RO2)に対応している。
In one frame period shown in FIG. 8(a), in one accumulation period (e.g., 0-180_P2) shown in FIG. 8(b), the light projector 10 emits a group of light pulses toward the
次に、距離演算部13の構成例について図9を用いて説明する。図9は、距離演算部13の構成例を示す図である。
Next, an example of the configuration of the
距離演算部13は、メモリ131及び計算部132を有する。メモリ群131は、本実施形態の駆動方式における蓄積期間の分割数に応じた数のメモリを有する。図9では、図7、図8の駆動方式に対応して5個のメモリ1311~1315を有する構成が例示されている。
The
距離測定装置1では、発光パルス群ごとに逐次受光センサー11から距離演算部13へ位相信号の読み出しを行い、その信号値をメモリ1311~1315に格納する。例えば、蓄積期間0-180_P1の位相信号の信号値がP1信号メモリ1311に格納され、蓄積期間0-180_P2の位相信号の信号値がP2信号メモリ1312に格納され、・・・蓄積期間0-180_P5の位相信号の信号値がP5信号メモリ1315に格納される。
In the
計算部132では、各メモリ1311~1315に格納された信号値を積算し、積算された値から距離演算を行う。
The calculation unit 132 accumulates the signal values stored in each
例えば、発光パルス群P1による0°の位相信号をA0P1、発光パルス群P2による0°の位相信号をA0P2、発光パルス群P3による0°の位相信号をA0P3、発光パルス群P4による0°の位相信号をA0P4、発光パルス群P5による0°の位相信号をA0P5としたとき、最終的に距離演算に用いる積算信号A0は、次の数式7により求める。
A0=A0P1+A0P2+A0P3+A0P4+A0P5・・・数式7
For example, when the 0° phase signal of the light emission pulse group P1 is A0P1, the 0° phase signal of the light emission pulse group P2 is A0P2, the 0° phase signal of the light emission pulse group P3 is A0P3, the 0° phase signal of the light emission pulse group P4 is A0P4, and the 0° phase signal of the light emission pulse group P5 is A0P5, the integrated signal A0 finally used in the distance calculation is calculated by the following Equation 7.
A0 = A0P1 + A0P2 + A0P3 + A0P4 + A0P5 ... Equation 7
同様に、発光パルス群P1による180°の位相信号をA180P1、発光パルス群P2による180°の位相信号をA180P2、発光パルス群P3による180°の位相信号をA180P3、発光パルス群P4による180°の位相信号をA180P4、発光パルス群P5による180°の位相信号をA180P5としたとき、最終的に距離演算に用いる積算信号A180は、次の数式8により求める。
A180=A180P1+A180P2+A180P3+A180P4+A180P5・・・数式8
Similarly, when the 180° phase signal from the light emitting pulse group P1 is A180P1, the 180° phase signal from the light emitting pulse group P2 is A180P2, the 180° phase signal from the light emitting pulse group P3 is A180P3, the 180° phase signal from the light emitting pulse group P4 is A180P4, and the 180° phase signal from the light emitting pulse group P5 is A180P5, the integrated signal A180 finally used in the distance calculation is calculated by the following equation 8.
A180 = A180P1 + A180P2 + A180P3 + A180P4 + A180P5 ... Formula 8
他の位相信号についても同様の処理を行い、数式4、数式5を用いて、照射光に対する反射光の遅延Tdを計算する。
The same process is performed for the other phase signals, and the delay Td of the reflected light relative to the incident light is calculated using
すなわち、図7、図8に示すような駆動方式により、発光パルス群ごとに逐次位相信号の読み出しを行い、数式7、数式8に示すような複数回の位相信号の積算値から距離演算をすることで、図10に示すように、ダイナミックレンジを広げることができる。図10は、本実施形態のダイナミックレンジ拡大の効果を示す図である。ここでは、N回(Nは任意の2以上の整数)の発光パルス群において、逐次位相信号の読み出しを行った場合を示している。 That is, by using the driving method shown in Figs. 7 and 8 to sequentially read out the phase signal for each light emission pulse group, and calculating the distance from the integrated value of the phase signal multiple times as shown in Equation 7 and Equation 8, the dynamic range can be expanded as shown in Fig. 10. Fig. 10 is a diagram showing the effect of expanding the dynamic range in this embodiment. Here, a case is shown in which sequential phase signal readout is performed for N light emission pulse groups (N is any integer equal to or greater than 2).
基本駆動方式によれば、図6に示すように、目標精度を満たすために、Amp1の信号量が必要であるが、本実施形態の駆動方式を用いた場合、図10に示すように、N回の積算信号でAmp1の信号量を満たせばよく、1パルス群当たりの信号の大きさはAmp1/Nの大きさでよい。一方で、飽和上限については、1パルス群当たりの信号の大きさがAmp2まで測定可能となる。これより、ダイナミックレンジをN倍に拡大することができることがわかる。 According to the basic driving method, as shown in FIG. 6, the signal amount of Amp1 is necessary to meet the target accuracy, but when the driving method of this embodiment is used, as shown in FIG. 10, it is sufficient to meet the signal amount of Amp1 with N integrated signals, and the signal magnitude per pulse group can be Amp1/N. On the other hand, for the upper saturation limit, the signal magnitude per pulse group can be measured up to Amp2. This shows that the dynamic range can be expanded by N times.
すなわち、本実施形態では、基本駆動方式のように長時間の連続発光を行わずに、比較的短時間の発光を断続的に行うことで、高いピーク光量での発光を行う。これにより、外光ノイズが存在する条件であっても、高SN条件を実現することができる。 In other words, in this embodiment, instead of continuous light emission for a long period of time as in the basic driving method, light is emitted intermittently for a relatively short period of time, resulting in light emission at a high peak light intensity. This makes it possible to achieve high S/N conditions even in conditions where external light noise is present.
図11は、光源のピーク光量と連続発光時間の関係を示した一例である。発光時間を長時間にするほど、主に熱的な影響により、ピーク光量は低下してしまう。これにより、基本駆動方式のように長時間連続発光をしても所望の受光信号量を得られず、目標精度が得られないということがある。例えば、図10に示した1パルス群当たりの信号の大きさがAmp1/Nの物体を測定対象とした場合、Nパルス群を連続発光した場合、積算される受光信号の大きさが、時間に比例せず、Amp1に到達しない。 Figure 11 is an example showing the relationship between the peak light intensity of a light source and the continuous light emission time. The longer the light emission time, the lower the peak light intensity becomes, mainly due to thermal effects. This means that even if light is emitted continuously for a long time as in the basic driving method, the desired amount of received light signal cannot be obtained, and the target accuracy cannot be achieved. For example, if the object being measured has a signal magnitude of Amp1/N per pulse group as shown in Figure 10, when N pulse groups are emitted continuously, the magnitude of the accumulated received light signal is not proportional to time and does not reach Amp1.
これに対し、本実施形態の駆動方式では、位相信号蓄積期間での短時間発光の後に、信号の読み出し期間での非発光期間を設けることで、熱的な影響を抑制し、高ピークな発光での測定を行う。これにより、1パルス群当たりの信号の大きさがAmp1/Nの物体に対するN回の積算信号でAmp1の信号量を満たすことができる。 In contrast, the driving method of this embodiment suppresses thermal effects by providing a non-emission period during the signal readout period after a short emission during the phase signal accumulation period, and performs measurements with high-peak emission. This makes it possible to satisfy the signal amount of Amp1 with N integrated signals for an object with a signal magnitude of Amp1/N per pulse group.
短時間の発光を断続的に行うことは、外光ノイズに対するSNを高めるうえでも望ましい。高いピークでの発光ができることから、図6の点線の曲線や図10の点線の曲線に示されるような低SN条件での精度劣化を抑制することができ、ダイナミックレンジの拡大を実現できる。 Emitting light intermittently for a short period of time is also desirable in terms of increasing the signal-to-noise ratio (SNR) against external light noise. Because light can be emitted at a high peak, it is possible to suppress deterioration in accuracy under low SNR conditions, as shown by the dotted curve in Figure 6 and the dotted curve in Figure 10, and to achieve an expansion of the dynamic range.
1パルス群の連続発光時間は、図11に示すような光源の特性に基づき、目標の光量低下を満たす時間を選択することで効率的な条件を求めることができる。例えば、光量低下が10%以内の連続発光時間を用いることが望ましい。また、パルス群の発光時間を信号の読み出し期間での非発光期間より短くすることで、熱的な影響及び光量低下を抑制することができる。 The continuous emission time of one pulse group can be determined efficiently by selecting a time that satisfies the target light intensity reduction based on the characteristics of the light source as shown in FIG. 11. For example, it is desirable to use a continuous emission time that reduces the light intensity by 10% or less. In addition, by making the emission time of the pulse group shorter than the non-emission period during the signal readout period, it is possible to suppress thermal effects and reduction in light intensity.
次に、距離演算部13の他の構成例について図12を用いて説明する。図12は、距離演算部13の他の構成例を示す図である。
Next, another example of the configuration of the
図12に示す距離演算部13では、図9に示す構成に対して、計算部132の構成が異なる。計算部132は、本実施形態の駆動方式における蓄積期間の分割数に応じた数(図12では、5個)の測距計算部1321~1325と、平均計算部1326とを有する。
The
距離測定装置1では、発光パルス群ごとに逐次受光センサー11から距離演算部13へ位相信号の読み出しを行い、その信号値をメモリ1311~1315に格納する。メモリ群131における複数のメモリ1311~1315と計算部132における複数の測距計算部1321~1325とは、互いに対応している。
In the
計算部132では、各測距計算部1321~1325が対応するメモリ1311~1315に格納された位相信号の信号値からそれぞれの距離算出を行う。図9に示す計算部132の距離演算の方法と異なり、各パルス群から得られた位相信号を積算しない。さらに、平均計算部1326では、各パルス群から得られたそれぞれの算出距離の平均距離を算出し、この結果を距離画像として出力する。平均距離の算出では、N個のパルス群から位相信号が得られた場合、算術平均により統計的に、1/√(N)に精度が改善され得る。 In the calculation unit 132, each of the distance measurement calculation units 1321-1325 calculates the respective distances from the signal values of the phase signals stored in the corresponding memories 1311-1315. Unlike the distance calculation method of the calculation unit 132 shown in FIG. 9, the phase signals obtained from each pulse group are not integrated. Furthermore, the average calculation unit 1326 calculates the average distance of the calculated distances obtained from each pulse group, and outputs this result as a distance image. In calculating the average distance, if phase signals are obtained from N pulse groups, the accuracy can be statistically improved to 1/√(N) by the arithmetic average.
例えば、距離演算方式による測距精度を比較すると、図13に示すようになる。図13は、距離演算方式による測距精度の比較を示す図である。 For example, a comparison of distance measurement accuracy using distance calculation methods is shown in Figure 13. Figure 13 shows a comparison of distance measurement accuracy using distance calculation methods.
図13に点線で示す曲線は、各パルス群から得られた位相信号を積算して一回の距離演算を行ったときの測距精度を示し、図9に示す計算部132の距離演算の方法に対応している。図13に実線で示す曲線は、各パルス群から得られたそれぞれの算出距離の平均距離を算出した時の測距精度を示し、図13に示す計算部132の距離演算の方法に対応している。図13に示す構成を用いることで、物体距離が比較的近距離である場合、すなわち、受光信号の量が多い場合に、図9に示す構成より、高精度な測定を行うことができる。 The curve shown by the dotted line in FIG. 13 indicates the distance measurement accuracy when the phase signals obtained from each pulse group are integrated to perform one distance calculation, and corresponds to the distance calculation method of the calculation unit 132 shown in FIG. 9. The curve shown by the solid line in FIG. 13 indicates the distance measurement accuracy when the average distance of the calculated distances obtained from each pulse group is calculated, and corresponds to the distance calculation method of the calculation unit 132 shown in FIG. 13. By using the configuration shown in FIG. 13, when the object distance is relatively short, i.e., when the amount of received light signals is large, it is possible to perform more accurate measurements than the configuration shown in FIG. 9.
図13に示されるように、物体距離が比較的近距離である場合、すなわち、受光信号の量が多い場合は、各パルス群から得られたそれぞれの算出距離の平均距離から距離値を求めた方が高精度となる。一方で、物体距離が比較的遠距離である場合、すなわち、受光信号の量が少ない場合は、各パルス群から得られた位相信号を積算して一回の距離演算から距離値を求めた方が高精度となる。図13の点線の曲線と実線の曲線との交点を境に、距離演算方式を切り替えることで、測定距離全域にわたって高精度な測定をすることが可能となる。 As shown in Figure 13, when the object distance is relatively short, i.e., when the amount of received light signals is large, it is more accurate to calculate the distance value from the average distance of the calculated distances obtained from each pulse group. On the other hand, when the object distance is relatively long, i.e., when the amount of received light signals is small, it is more accurate to calculate the distance value from a single distance calculation by integrating the phase signals obtained from each pulse group. By switching the distance calculation method at the intersection of the dotted curve and solid curve in Figure 13, it is possible to perform highly accurate measurements over the entire measurement distance range.
例えば、距離演算方式の切り替えは、図14に示すように行われ得る。図14は、距離演算方式の切り替えに関わる制御フローを示す。 For example, the distance calculation method can be switched as shown in FIG. 14. FIG. 14 shows the control flow for switching the distance calculation method.
距離測定装置1は、図8に示したタイミングチャートに基づき、発光パルス群(P1~N)での位相信号蓄積を行う(S1)。距離測定装置1は、発光パルス群(P1~N)の何れかの発光パルス群を選定し、そのパルス群で得られた位相信号から信号量の大きさを求める(S2)。例えば、発光パルス群P2を選定した場合、位相信号は、A0P2,A90P2,A180P2,A270P2となり、信号量の大きさは、例えば、次の数式9を用いて求められる。
Amp=√{(A90P2-A270P2) 2 + (A0P2-A180P2) 2}・・・数式9
The
Amp = √{(A90P2-A270P2) 2 + (A0P2-A180P2) 2} ... Formula 9
距離測定装置1は、距離演算方式の判定を行う(S3)。閾値となる信号量の大きさAmpthを定めておき、Ampthを上回っているか否かで距離演算方式の判定を行う。すなわち、距離測定装置1は、Amp>Ampthの場合、各パルス群から得られたそれぞれの距離値の平均距離から距離値を求める。また、Amp<=Ampthの場合、各パルス群から得られた位相信号を積算して距離値求める。図13の点線の曲線と実線の曲線との交点での信号量の大きさを予め求めておくことで、最適な距離演算方式の判定を行うことができる。
The
距離測定装置1は、選定した距離演算方式を使い、距離計算及び距離画像出力を実施する(S4)。測定を終了しない場合は、S1の処理に戻り、一連の処理を繰り返し実施する。
The
このような処理フローを受光センサーの各画素個別に実施することで、測定視野範囲及び、測定距離全域にわたって高精度な測定をすることが可能となる。 By performing this processing flow for each pixel of the light receiving sensor individually, it becomes possible to perform highly accurate measurements over the entire measurement field of view and measurement distance.
なお、S2で発光パルス群の選定をするが、何れを選定しても最適な距離演算方式の判定を行うために、各発光パルス群の点灯時間は同じであることが望ましい。 In addition, the light emission pulse group is selected in S2, but in order to determine the optimal distance calculation method regardless of which one is selected, it is desirable that the lighting time of each light emission pulse group be the same.
以上のように、本実施形態では、距離測定装置1において、光源の発光期間を位相信号の読み出し期間より短くし、さらに位相信号の取得と格納を複数回繰り返し、複数回の位相信号から距離を導出する。これにより、外光条件によらない高精度な距離測定を実現できる。
As described above, in this embodiment, in the
また、本実施形態では、距離測定装置1において、複数回の位相信号を積算した信号から距離を導出可能である。これにより、ダイナミックレンジを広げることができる。
In addition, in this embodiment, the
また、本実施形態では、距離測定装置1において、複数回の位相信号それぞれで距離を導出し、さらに、それら複数回の距離値を平均することで距離を導出することが可能である。これにより、受光信号の量が多い条件で高精度な測定を実現できる。
In addition, in this embodiment, the
また、本実施形態では、距離測定装置1において、位相信号の大きさが所定の値以下である場合、複数回の位相信号を積算した信号から距離を導出することが可能である。これにより、受光信号の量に応じて最適な距離導出ができ、高精度な測定を実現できる。
In addition, in this embodiment, in the
また、本実施形態では、距離測定装置1において、位相信号の大きさが所定の値以上である場合、複数回の位相信号それぞれで距離を導出し、さらに、それら複数回の距離値を平均することで距離を導出することが可能である。これにより、受光信号の量に応じて最適な距離導出ができ、高精度な測定を実現できる。
In addition, in this embodiment, when the magnitude of the phase signal in the
また、本実施形態では、距離測定装置1において、撮像部の画素ごとに距離導出式を選定することが可能である。これにより、測定視野範囲全域にわたって高精度な測定を実現できる。
In addition, in this embodiment, in the
なお、距離測定装置1では、発光パルス群ごとに逐次位相信号の読み出しを行い、複数回の位相信号の積算値から距離演算をすることで、ダイナミックレンジを広げることができる。一方で、屋外等の広視野範囲での測定をする場合、測定対象の存在する距離や照射光に対する反射率は様々である。実施形態の駆動方式では飽和上限は拡大することができないため、近距離側を測定できない場合もある。
In addition, in the
この場合、図15に示すように、遠距離測定と近距離測定で、発光パルス群の繰り返し回数、信号蓄積時間を異ならせることで、近距離側の測定も可能となる。図15では、遠距離測定の信号蓄積時間をINTtL、近距離測定の信号蓄積時間をINTtSとしている。また、図示していないが、遠距離測定の各発光パルス群の信号蓄積時間を何れもINTtLである。 In this case, as shown in Figure 15, by differentiating the number of repetitions of the light emission pulse group and the signal accumulation time between long-distance measurement and short-distance measurement, it becomes possible to measure the short-distance side as well. In Figure 15, the signal accumulation time for long-distance measurement is INTtL, and the signal accumulation time for short-distance measurement is INTtS. Also, although not shown, the signal accumulation time for each light emission pulse group in long-distance measurement is INTtL.
近距離測定では、信号飽和を防ぐために信号蓄積時間を遠距離測定時より短くする。(INTtL>INTtS)遠距離測定で信号飽和により測定不可となった画素は、近距離測定での位相信号取得を実施し、距離演算をすることで、測距値が得られる。また、近距離測定の発光パルス群の繰り返し回数は、測定時間への影響を抑えるために、遠距離測定時より少なくすることが望ましい。 In short-distance measurement, the signal accumulation time is made shorter than in long-distance measurement to prevent signal saturation. (INTtL>INTtS) For pixels that cannot be measured due to signal saturation in long-distance measurement, phase signal acquisition is performed in short-distance measurement, and distance measurement values are obtained by calculating the distance. Also, it is desirable to repeat the light emission pulse group in short-distance measurement fewer times than in long-distance measurement to minimize the impact on measurement time.
このような駆動方式を用いることで、距離ダイナミックレンジの広い距離測定装置を実現することができる。 By using this driving method, it is possible to realize a distance measurement device with a wide distance dynamic range.
1 距離計測装置
10 投光部
11 受光センサー
13 距離演算部
131 メモリ群
132 計算部
REFERENCE SIGNS
Claims (10)
前記被写体からの反射光を受光して位相信号を取得する撮像部と、
読み出し期間において前記位相信号が前記撮像部から読み出され、読み出された位相信号を格納する格納部と、
前記位相信号から距離を導出する計算部と、
を備え、
前記位相信号は、分割された複数の蓄積時間毎に前記撮像部に蓄積された電荷量に基づく信号であり、
前記光源部を発光させて前記撮像部で前記位相信号を取得し、取得した前記位相信号の前記格納部への格納を複数回繰り返し、複数回の前記位相信号の大きさを所定の閾値と比較し、比較結果に応じて前記計算部で複数の方式を切り替えて前記距離を導出し、
前記複数の方式は、
複数回の前記位相信号を積算した信号から前記距離を導出する第1の方式と、
複数回の位相信号のそれぞれにより導出された複数回の距離値を平均して前記距離を導出する第2の方式と、
を含む
距離計測装置。 a light source unit that emits pulsed light and irradiates the light toward a subject;
an imaging unit that receives reflected light from the subject and acquires a phase signal;
a storage unit that reads out the phase signal from the imaging unit during a readout period and stores the readout phase signal;
A calculation unit for deriving a distance from the phase signal;
Equipped with
the phase signal is a signal based on an amount of charge accumulated in the imaging section for each of a plurality of divided accumulation times,
The light source unit is caused to emit light to acquire the phase signal by the imaging unit, the acquired phase signal is repeatedly stored in the storage unit a plurality of times, magnitudes of the phase signals acquired a plurality of times are compared with a predetermined threshold value, and the calculation unit switches between a plurality of methods depending on a comparison result to derive the distance,
The plurality of methods include:
A first method of deriving the distance from a signal obtained by accumulating the phase signal multiple times;
A second method of deriving the distance by averaging distance values derived multiple times using each of the multiple phase signals;
A distance measuring device comprising:
請求項1に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein the predetermined threshold value is determined in accordance with distance measurement accuracy of the plurality of methods.
請求項1に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein an emission period of the light source unit is shorter than the readout period.
請求項1に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein the calculation section derives the distance from a signal obtained by accumulating phase signals multiple times.
請求項1又は2に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein the calculation unit derives a distance value for each of a plurality of phase signals, and derives the distance by averaging the derived distance values.
請求項1から5のいずれか1項に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein the calculation unit derives the distance using the first method when a magnitude of the phase signal is smaller than the predetermined threshold value.
請求項1から5のいずれか1項に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein the calculation unit derives the distance using the second method when a magnitude of the phase signal is greater than the predetermined threshold value.
請求項1から7のいずれか1項に記載の距離計測装置。 The distance measurement device according to claim 1 , wherein the distance measurement device selects a method to be used for deriving the distance from the plurality of methods for each pixel of the imaging unit.
請求項1から7のいずれか1項に記載の距離計測装置。 The distance measurement device described in any one of claims 1 to 7, wherein the driving conditions for measuring a first distance are different from the driving conditions for measuring a second distance shorter than the first distance, and when measuring the second distance, the number of repetitions of phase signal acquisition is reduced compared to when measuring the first distance, and the accumulation time is further shortened.
前記被写体からの反射光を受光して位相信号を撮像部で取得する取得ステップと、
読み出し期間において前記位相信号が前記撮像部から読み出され、読み出された位相信号が格納部に格納される格納ステップと、
前記位相信号から距離を導出する計算ステップと、
を含み、
前記位相信号は、分割された複数の時間毎に前記撮像部に蓄積された電荷量に基づく信号であり、
前記照射ステップでパルス光を発光させて前記取得ステップで前記位相信号を取得し、取得した前記位相信号の前記格納ステップでの前記格納部への格納を複数回繰り返し、複数回の前記位相信号の大きさを所定の閾値と比較し、比較結果に応じて前記計算ステップで複数の方式を切り替えて前記距離を導出し、
前記複数の方式は、
複数回の前記位相信号を積算した信号から前記距離を導出する第1の方式と、
複数回の位相信号のそれぞれにより導出された複数回の距離値を平均して前記距離を導出する第2の方式と、
を含む
距離計測方法。 an irradiation step of emitting pulsed light and irradiating the light toward a subject;
an acquisition step of receiving reflected light from the object and acquiring a phase signal by an imaging unit;
a storage step in which the phase signal is read out from the imaging unit during a readout period and the read out phase signal is stored in a storage unit;
a calculating step of deriving distance from said phase signal;
Including,
the phase signal is a signal based on an amount of charge accumulated in the imaging unit for each of a plurality of divided times,
a step of emitting pulsed light in the irradiation step, acquiring the phase signal in the acquisition step, repeating the storage of the acquired phase signal in the storage unit a plurality of times in the storage step, comparing the magnitudes of the phase signals acquired a plurality of times with a predetermined threshold value, and deriving the distance by switching between a plurality of methods in the calculation step according to a comparison result;
The plurality of methods include:
A first method of deriving the distance from a signal obtained by accumulating the phase signal multiple times;
A second method of deriving the distance by averaging distance values derived multiple times using each of the multiple phase signals;
A distance measurement method including:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020051799A JP7508822B2 (en) | 2020-03-23 | 2020-03-23 | Distance measurement device and distance measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020051799A JP7508822B2 (en) | 2020-03-23 | 2020-03-23 | Distance measurement device and distance measurement method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021148745A JP2021148745A (en) | 2021-09-27 |
JP7508822B2 true JP7508822B2 (en) | 2024-07-02 |
Family
ID=77848530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020051799A Active JP7508822B2 (en) | 2020-03-23 | 2020-03-23 | Distance measurement device and distance measurement method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7508822B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022112828A (en) * | 2021-01-22 | 2022-08-03 | 凸版印刷株式会社 | Distance image pickup device, and distance image pickup method |
WO2023199979A1 (en) * | 2022-04-13 | 2023-10-19 | 凸版印刷株式会社 | Distance image capturing device, and distance image capturing method |
WO2023238914A1 (en) * | 2022-06-08 | 2023-12-14 | 国立大学法人東北大学 | Image pickup element and drive method therefor |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095234A (en) | 2014-11-14 | 2016-05-26 | 株式会社デンソー | Light flight distance measuring device |
JP2016099233A (en) | 2014-11-21 | 2016-05-30 | 株式会社デンソー | Light flight distance measuring device |
JP2017083243A (en) | 2015-10-27 | 2017-05-18 | 株式会社村田製作所 | Distance sensor and system provided with the same |
WO2017126377A1 (en) | 2016-01-22 | 2017-07-27 | ソニー株式会社 | Light-receiving apparatus, control method, and electronic device |
WO2017170568A1 (en) | 2016-03-30 | 2017-10-05 | 国立大学法人静岡大学 | Pixel circuit and imaging element |
WO2018181250A1 (en) | 2017-03-30 | 2018-10-04 | パナソニックIpマネジメント株式会社 | Distance image generation device and distance image generation method |
WO2019078366A1 (en) | 2017-10-20 | 2019-04-25 | 国立大学法人静岡大学 | Distance image measurement device and distance image measurement method |
JP2019215260A (en) | 2018-06-13 | 2019-12-19 | ファナック株式会社 | Distance measuring apparatus outputting accuracy information |
-
2020
- 2020-03-23 JP JP2020051799A patent/JP7508822B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095234A (en) | 2014-11-14 | 2016-05-26 | 株式会社デンソー | Light flight distance measuring device |
JP2016099233A (en) | 2014-11-21 | 2016-05-30 | 株式会社デンソー | Light flight distance measuring device |
JP2017083243A (en) | 2015-10-27 | 2017-05-18 | 株式会社村田製作所 | Distance sensor and system provided with the same |
WO2017126377A1 (en) | 2016-01-22 | 2017-07-27 | ソニー株式会社 | Light-receiving apparatus, control method, and electronic device |
WO2017170568A1 (en) | 2016-03-30 | 2017-10-05 | 国立大学法人静岡大学 | Pixel circuit and imaging element |
WO2018181250A1 (en) | 2017-03-30 | 2018-10-04 | パナソニックIpマネジメント株式会社 | Distance image generation device and distance image generation method |
WO2019078366A1 (en) | 2017-10-20 | 2019-04-25 | 国立大学法人静岡大学 | Distance image measurement device and distance image measurement method |
JP2019215260A (en) | 2018-06-13 | 2019-12-19 | ファナック株式会社 | Distance measuring apparatus outputting accuracy information |
Also Published As
Publication number | Publication date |
---|---|
JP2021148745A (en) | 2021-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7508822B2 (en) | Distance measurement device and distance measurement method | |
US11448757B2 (en) | Distance measuring device | |
US10545239B2 (en) | Distance-measuring imaging device and solid-state imaging device | |
JP6698655B2 (en) | Ranging device | |
JP6676866B2 (en) | Ranging imaging device and solid-state imaging device | |
US20180259647A1 (en) | Imaging device and solid-state imaging element used in same | |
US20180227475A1 (en) | Imaging device, and solid-state imaging element used for same | |
US8642938B2 (en) | Shared time of flight pixel | |
US20170315238A1 (en) | Time-of-flight distance measuring device | |
US20120050716A1 (en) | Distance measuring device | |
JP2013076645A (en) | Distance image generation apparatus and distance image generation method | |
WO2010047215A1 (en) | Distance measuring system and distance measuring method | |
US9030676B2 (en) | Spatial information detection device | |
US11991341B2 (en) | Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module | |
JP6265346B2 (en) | Distance measuring device | |
WO2019200833A1 (en) | Distance measurement method and apparatus, and distance measurement sensor and distance measurement sensing array | |
JP6424581B2 (en) | Optical flight type distance measuring device | |
US20220221562A1 (en) | Methods and systems for spad optimizaiton | |
TW202112122A (en) | Distance-image capturing apparatus and distance-image capturing method | |
JP2017133853A (en) | Distance measurement device | |
JP7259525B2 (en) | Optical ranging device and method | |
JP7411235B2 (en) | Distance image measurement device, distance image measurement system, and distance image measurement method | |
US11467264B2 (en) | Apparatus for measuring depth with pseudo 4-tap pixel structure | |
JP2007232687A (en) | Optical range finder | |
KR101654665B1 (en) | Method of measuring distance based on optical signals having different wavelength and apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |