JP6298236B2 - Distance image generating apparatus and distance image generating method - Google Patents
Distance image generating apparatus and distance image generating method Download PDFInfo
- Publication number
- JP6298236B2 JP6298236B2 JP2013032805A JP2013032805A JP6298236B2 JP 6298236 B2 JP6298236 B2 JP 6298236B2 JP 2013032805 A JP2013032805 A JP 2013032805A JP 2013032805 A JP2013032805 A JP 2013032805A JP 6298236 B2 JP6298236 B2 JP 6298236B2
- Authority
- JP
- Japan
- Prior art keywords
- charge amount
- amount ratio
- charge
- ratio
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000012937 correction Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000009825 accumulation Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000002366 time-of-flight method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012850 discrimination method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、光飛行時間型距離画像センサを用いた距離画像生成技術に関し、特に、フレア現象の影響を補正する技術に関する。 The present invention relates to a distance image generation technique using an optical time-of-flight distance image sensor, and more particularly to a technique for correcting the influence of a flare phenomenon.
光飛行型距離画像センサを用いて、撮影対象空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行時間型(TOF方式:Time Of Flight方式)距離画像センサでは、画素毎に受光した反射光を元に距離値を算出する。しかし、レンズの解像力などの性能により、本来結像する画素以外の画素に反射光が回りこむフレア現象(以下、単にフレアと呼ぶ。)が発生することがある。フレアが発生すると、画素に入射する反射光は、近距離の物体のものからが支配的となり、算出される距離値も、本来の距離値とは異なった値が算出される。 There is a distance image generation device that generates a distance image having a pixel value of a distance from an object in an imaging target space using the optical flight distance image sensor. The time-of-flight (TOF method: Time Of Flight method) distance image sensor calculates a distance value based on the reflected light received for each pixel. However, a flare phenomenon (hereinafter, simply referred to as flare) may occur in which reflected light wraps around pixels other than the pixel that originally forms an image due to performance such as resolution of the lens. When flare occurs, the reflected light incident on the pixel is dominant from the object at a short distance, and the calculated distance value is also different from the original distance value.
これを解決するものとして、レンズへの反射防止膜の塗布、回り込んだ反射光を入射させないよう画素自体に回り込み防止壁をつける、等の工夫がなされている(例えば、特許文献1参照)。 In order to solve this problem, such means as applying an antireflection film to the lens and providing a wraparound prevention wall on the pixel itself so that the reflected light that wraps around is not incident are made (for example, refer to Patent Document 1).
しかしながら、上述のような距離画像センサの物理的構造に対する工夫でフレアに対処する場合、コストが高くなる。さらに、画素に回り込み防止壁を作ると、入射光量が制限され、測定精度が低下する。 However, when the flare is dealt with by devising the physical structure of the distance image sensor as described above, the cost becomes high. Furthermore, if a prevention wall is formed around the pixel, the amount of incident light is limited and the measurement accuracy is reduced.
本発明は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いて距離画像生成する際、センサ自体の物理的な構成は変えずにフレアによる影響を排除することにより、低コストで、精度よく距離値を算出する技術を提供することを目的とする。 The present invention was made in view of the above circumstances, and when generating a distance image using an optical time-of-flight distance image sensor, by eliminating the influence of flare without changing the physical configuration of the sensor itself, An object of the present invention is to provide a technique for accurately calculating a distance value at low cost.
本発明は、複数の電荷蓄積部間の電荷量の比を用い、測定により得られた測定電荷量内のフレアによるフレア電荷量を特定する。そして、各電荷蓄積部において、測定電荷量からフレア電荷量を除くことにより、フレアによる影響を排除した電荷量を得、得られた電荷量を用いて距離値を算出する。 The present invention specifies the amount of flare charge due to flare within the measured charge amount obtained by measurement using the ratio of the charge amount between the plurality of charge storage units. Then, in each charge storage unit, the flare charge amount is removed from the measured charge amount to obtain a charge amount that eliminates the influence of flare, and the distance value is calculated using the obtained charge amount.
具体的には、発光源から照射され、対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換部と、前記光電変換部毎に設けられた、当該光電変換部で変換した電荷を予め定められたタイミングで振り分けてそれぞれ蓄積する3つ以上の電荷蓄積部と、前記電荷蓄積部に蓄積された電荷の電荷量である測定電荷量の、各電荷蓄積部間の比を測定電荷量比として算出する電荷量比演算部と、理想的な環境で前記対象物を測定して得た距離毎の前記電荷量比を、基準電荷量比として格納する電荷量比データベースと、前記測定電荷量に対し、前記測定電荷量比と前記基準電荷量比とを用い、フレアの影響を除くフレア補正を行い、前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正部と、前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成部と、を備えることを特徴とする距離画像生成装置を提供する。 Specifically, a photoelectric conversion unit that receives modulated light including reflected light that is irradiated from a light emitting source and reflected by an object in a target space and converts the light into a charge corresponding to the amount of received light, and for each photoelectric conversion unit Three or more charge storage units that are provided to distribute and store the charges converted by the photoelectric conversion unit at predetermined timings, and a measurement charge amount that is a charge amount of the charges stored in the charge storage unit A charge amount ratio calculation unit that calculates the ratio between the charge storage units as a measured charge amount ratio, and the charge amount ratio for each distance obtained by measuring the object in an ideal environment, Using the measured charge amount ratio and the reference charge amount ratio for the charge amount ratio database stored as a ratio, the flare correction is performed to remove the influence of flare, and the reflected light from the object is used. Calculate the charge amount of the object, which is the charge amount A distance image comprising: a rare correction unit; and a distance image generation unit that calculates a distance value to the object using the object charge amount and generates a distance image using the distance value as a pixel value. A generating device is provided.
また、発光源から照射され、対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換ステップと、前記光電変換ステップで変換された電荷を、予め定められたタイミングで、3つ以上の電荷蓄積部にそれぞれ振り分けて蓄積する電荷蓄積ステップと、前記電荷蓄積部に蓄積された電荷の電荷量である測定電荷量の、各電荷蓄積部間の比を測定電荷量比として算出する電荷量比算出ステップと、前記測定電荷量に対し、前記測定電荷量比を用い、フレアの影響を除くフレア補正を行い、前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正ステップと、前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成ステップと、を備えることを特徴とする距離画像生成方法を提供する。 Also, a photoelectric conversion step for receiving modulated light including reflected light that is irradiated from a light emitting source and reflected by an object in a target space, and converts the modulated light into a charge corresponding to the amount of received light, and the charge converted in the photoelectric conversion step Each of the charge accumulating units of a charge accumulating step for distributing and accumulating the three or more electric charge accumulating units at a predetermined timing, and a measured charge amount that is an amount of electric charges accumulated in the charge accumulating unit. A charge amount ratio calculating step for calculating a ratio between the measured charge amount ratios, and performing a flare correction for removing the influence of flare with respect to the measured charge amount, using the measured charge amount ratio, and reflecting light from the object A flare correction step for calculating an object charge amount, which is an amount of charge by the method, and a distance image generation for generating a distance image using the object charge amount to determine a distance value to the object and using the distance value as a pixel value. A step, in that it comprises providing a range image generating method characterized.
本発明によれば、光飛行時間型距離画像センサを用いて距離画像生成する際、センサ自体の物理的な構成は変えず、低コストで、精度よく距離値を算出できる。 According to the present invention, when a distance image is generated using a time-of-flight distance image sensor, the distance value can be accurately calculated at low cost without changing the physical configuration of the sensor itself.
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。 Hereinafter, embodiments to which the present invention is applied will be described. Hereinafter, in all the drawings for explaining the embodiments of the present invention, those having the same function are denoted by the same reference numerals, and repeated explanation thereof is omitted.
まず、光飛行時間型(TOF方式)の距離画像生成装置における距離画像生成の原理を説明する。図1は、距離画像生成の原理を説明するための図である。出射される変調光111の強度が本図のような正弦曲線を描くように変化する場合、入射光112の強度も同様に正弦曲線を描くよう変化する。ただし、変調光111と入射光112とには、光が対象物まで往復する飛行時間による位相の遅延(位相差φ)が生じる。
First, the principle of distance image generation in a time-of-flight (TOF method) distance image generation device will be described. FIG. 1 is a diagram for explaining the principle of distance image generation. When the intensity of the emitted modulated
光の速度cは既知であるため、この位相差φと変調周波数fとを用い、対象物までの距離値Dは、以下の式(1)で求めることができる。
従って、位相差φがわかれば、距離値Dは求めることができる。例えば、変調光の1周期を4等分し、それぞれの期間に電荷量を、それぞれ、4つの電荷蓄積部に蓄積するものとする。変調光111と入射光112との位相差φは、変調光111の1周期を4等分した各期間をT1、T2、T3、T4とし、それぞれの期間に蓄積される電荷量をC1、C2、C3、C4とすると、以下の式(2)で表される。
変調光111の変調周波数は数十MHzである。従って、変調の1周期は数十ns程度となる。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。距離画像生成装置は、この電荷蓄積時間Δt間隔で蓄積された各電荷量C1、C2、C3、C4を用い、画素毎に、式(2)に従って位相差φを求める。そして、求めた位相差φを用いて、式(1)に従って、対象物までの距離値Dを求め、距離値を画素値とする距離画像を生成する。
The modulation frequency of the modulated
なお、電荷蓄積時間Δt間隔毎に得られる1枚の距離画像をフレームと呼ぶ。また、電荷蓄積時間Δtを、1フレーム時間Δtと呼ぶ。 One distance image obtained at every charge accumulation time Δt is called a frame. The charge accumulation time Δt is referred to as one frame time Δt.
TOF方式の距離画像生成装置では、パルス光の対象物からの反射光である入射光112の位相差により距離値を算出するため、受光する入射光112の波形(入射光波形)は、物体までの距離によらず同一である。フレア発生時の入射光波形WFは、図2(a)のように、フレアによる強い光(近距離物体からの反射光)の波形WAと、本来の測定対象物からの反射光の波形WBとを合成した形となる。従って、本来の測定対象物からの反射光の波形WBは、入射光波形WFから、フレアによる光の波形WAを減算したものである。
In the distance image generation device of the TOF method, the distance value is calculated from the phase difference of the
また、各電荷蓄積部に蓄積される電荷量は、入射光波形WFの積分値に比例する。従って、入射光波形WFは、各電荷蓄積部に蓄積される電荷量間の比で表される。なお、各電荷蓄積部に蓄積される電荷量は、電荷を振り分ける際に用いるゲート信号のタイミングと、入射光112の飛行時間とによって決定する。ただし、通常、ゲート信号のタイミングは、照射する光の発光周期と同期しているため、各電荷蓄積部に蓄積される電荷量は、入射光の飛行時間によってのみ決定する。
The amount of charge stored in each charge storage unit is proportional to the integral value of the incident light waveform WF. Therefore, the incident light waveform WF is represented by a ratio between the charge amounts accumulated in the charge accumulation units. Note that the amount of charge stored in each charge storage unit is determined by the timing of the gate signal used when distributing the charge and the time of flight of the
図2(b)に、入射光波形(WF、WA、WB)と各電荷蓄積部に蓄積される電荷量との関係を示す。本図に示すように、フレア発生時の各電荷蓄積部の電荷量(Q01、Q02、Q03、Q04)は、近距離物体からの反射光(フレアによる光る)の波形WAに対応する電荷量(F01、F02、F03、F04)と、本来の測定対象物からの反射光の波形WBに対応した電荷量(S01、S02、S03、S04)との和となる。 FIG. 2B shows the relationship between the incident light waveform (WF, WA, WB) and the amount of charge stored in each charge storage unit. As shown in the figure, the charge amount (Q01, Q02, Q03, Q04) of each charge storage unit at the time of occurrence of flare is the charge amount (corresponding to the waveform WA of the reflected light (lighted by the flare) from the short-distance object ( F01, F02, F03, F04) and the amount of charge (S01, S02, S03, S04) corresponding to the waveform WB of the reflected light from the original measurement object.
図2(b)からわかるように、測定対象物までの距離により、また、フレアの有無により、各電荷蓄積部に蓄積される電荷の分布は異なる。従って、本実施形態では、各電荷蓄積部に蓄積された電荷量の比(電荷量比)をフレア発生の有無の判別および補正に用いる。以下、本実施形態では、電荷量の比(電荷量比)とは、各電荷蓄積部に蓄積される電荷量どうしの比を意味する。例えば、電荷蓄積部が4つあり、それぞれに蓄積される電荷量をC1、C2、C3、C4とすると、電荷量の比(電荷量比)は、C2/C1、C3/C1、C4/C1、C3/C2、C4/C2、C4/C3の6つである。 As can be seen from FIG. 2 (b), the distribution of charges accumulated in each charge accumulation section varies depending on the distance to the measurement object and the presence or absence of flare. Therefore, in the present embodiment, the ratio of the amount of charge accumulated in each charge accumulation unit (charge amount ratio) is used for determining and correcting the occurrence of flare. Hereinafter, in the present embodiment, the charge amount ratio (charge amount ratio) means a ratio between the charge amounts stored in the charge storage units. For example, if there are four charge storage units, and the charge amounts stored in the charge storage units are C1, C2, C3, and C4, the charge amount ratio (charge amount ratio) is C2 / C1, C3 / C1, C4 / C1. , C3 / C2, C4 / C2, and C4 / C3.
本実施形態では、測定対象物の距離毎に電荷量比を予め測定しておき、実測した電荷量(測定電荷量)から得た電荷量比(測定電荷量比)と比較することにより、フレア発生の有無を判別する。さらに、フレアが発生していると判別された場合は、比較結果からフレアによる電荷量を特定し、測定電荷量からフレアによる影響を取り除き、本来の測定対象物からの電荷量を求める。 In the present embodiment, the charge amount ratio is measured in advance for each distance of the object to be measured, and compared with the charge amount ratio (measured charge amount ratio) obtained from the actually measured charge amount (measured charge amount). Determine if it occurred. Furthermore, when it is determined that flare has occurred, the amount of charge due to flare is specified from the comparison result, the influence of flare is removed from the measured charge amount, and the amount of charge from the original measurement object is obtained.
これを実現する、本実施形態の距離画像生成装置を説明する。図3は、本実施形態の距離画像生成装置100のブロック図である。図3に示すように、距離画像生成装置100は、照射される変調光111と入射光112との位相差を用いて距離画像を生成するもので、光源部110と、光電変換部120と、電荷振分部130と、制御部140と、電荷蓄積部150と、電荷量比演算部160と、フレア補正部170と、距離画像生成部180と、を備える。また、距離画像生成装置100は、理想的な環境で測定した対象物(測定対象物)113の距離毎の電荷量比を格納する電荷量比データベース(電荷量比DB)190をさらに備える。
The distance image generation apparatus of this embodiment that realizes this will be described. FIG. 3 is a block diagram of the distance
光源110は、対象空間に変調光(例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光)111を照射する発光源である。光源110には、LED等の高速変調が可能なデバイスが用いられる。
The
光電変換部120は、光源部110から照射された変調光111が対象空間内の測定対象物113で反射された反射光を含む入射光112を受光し、電荷に変換する。この光電変換部120の前には、レンズが配置される。また、光電変換部120は、受光量に応じた電荷に変換する複数の光電変換素子を備える。この光電変換素子が画素を形成する。このため、各光電変換素子は、距離画像の各画素に対応づけて規則的に配列される。
The
電荷振分部130は、後述する制御部140の制御に従って、光電変換部120が変換した電荷を後述する電荷蓄積部150に振り分ける。振り分けは、光電変換素子毎に行う。
The
電荷蓄積部150は、電荷振分部130が振り分けた電荷を蓄積する。距離情報である変調光111と入射光112との位相差は、電荷蓄積部150に蓄積された電荷を用いて上記式(1)および式(2)により算出する。この位相差を算出するためには、少なくとも3つ以上の位相情報(電荷蓄積部に蓄積された電荷)が必要である。このため、電荷蓄積部150は、光電変換素子毎に、少なくとも3つ以上設けられる。以下、本実施形態では、4つ用いる場合を例にあげて説明する。この4つ1組の電荷蓄積部150は、画素(光電変換素子)毎に設けられる。なお、電荷蓄積部150には、電荷そのものを蓄積してもよいし、この電荷量をAD変換後のデータを蓄積してもよい。以下、本実施形態では、電荷そのものも、AD変換後のデータも、特に区別することなく電荷蓄積部150に蓄積されるものを電荷と呼ぶ。
The
制御部140は、光源部110と電荷振分部130とを同期制御する。制御は、それぞれ、変調信号およびゲート信号を生成し、それぞれ、光源部110および電荷振分部130に送信することにより行う。なお、変調信号とゲート信号とを合わせて制御信号と呼ぶ。
The
具体的には、制御部140は、変調信号を生成し、光源部110に送る。光源部110は、変調信号により変調された変調光111を生成し、対象空間に照射する。照射された変調光111は、対象物113により反射され、反射光となる。反射光は、入射光112として光電変換部120に入射し、電荷に変換されて電荷振分部130に送られる。また、制御部140は、ゲート信号を生成し、電荷振分部130に送る。電荷振分部130は、ゲート信号に応じて各電荷蓄積部150に電荷を振り分ける。本実施形態では、変調の1周期を4等分した期間毎に、これらの4つの電荷蓄積部に振り分ける。
Specifically, the
電荷量比演算部160は、各電荷蓄積部150に蓄積された電荷量(測定電荷量)の比、すなわち、測定電荷量比を算出し、測定電荷量とともにフレア補正部170に算出結果を送信する。算出する測定電荷量比は、各電荷蓄積部150に蓄積される測定電荷量を上述のようにQ01、Q02、Q03、Q04とすると、Q02/Q01、Q03/Q01、Q04/Q01、Q03/Q02、Q04/Q02、Q03/Q04の6つである。なお、本実施形態では、電荷量比を算出する際、分母に当たる電荷量が0の場合は、電荷量比は無限大∞とする。
The charge amount
フレア補正部170は、電荷量比演算部160が算出した測定電荷量比と、電荷量比DB190に保持される電荷量比(基準電荷量比)とを用いて、測定電荷量がフレアの影響を受けているか否か(フレアが発生しているか否か)を判別する。そして、フレアの影響を受けていると判別した場合、測定電荷量比と基準電荷量比とを用いて測定電荷量に対してフレアの影響を除くフレア補正を行う。そして、フレア補正後の測定電荷量を、対象物113からの反射光による電荷量である対象物電荷量とし、距離画像生成部180へ送信する。なお、フレアの影響を受けていないと判別した場合は、測定電荷量を対象物電荷量とし、距離画像生成部180へ送信する。
The
距離画像生成部180は、対象物電荷量を用い、上記式(1)および式(2)を用い、画素毎(光電変換素子毎)に距離値を算出し、距離画像を生成する。
The distance
電荷量比DB190は、予め測定した距離毎の電荷量比を基準電荷量比として保持する。電荷量比DB190は、距離画像生成装置100の記憶装置等に構築される。各距離の電荷量比は、フレアの発生のない理想的な環境でそれぞれの距離に測定対象物113を配置し、測定することにより求めてもよい。また、測定対象物113は所定の位置に配置し、制御信号の開始タイミングをずらす(遷移させる)ことにより、仮想的に異なる距離条件を得、距離毎の電荷量比を測定してもよい。
The charge
後者の場合の具体的な測定手法を説明する。ここでは、変調信号に対し、ゲート信号をずらす(遷移させる)ことにより、実現する場合を例にあげて説明する。なお、上述のように、制御信号は、制御部140により制御される。従って、この場合、制御部140が、この制御信号を制御することにより、電荷量比DB190を作成する電荷量比DB作成部の機能を実現する。
A specific measurement method in the latter case will be described. Here, a case where the modulation signal is realized by shifting (transitioning) the gate signal will be described as an example. As described above, the control signal is controlled by the
まず、距離画像生成装置100から、例えば、1.5mの距離の位置に測定対象物113を配置する。この場合、光の速度が3×108〔m/s〕であるため、光電変換部120は、発光時から10ns遅れて反射光を受光する。従って、通常どおり変調信号141およびゲート信号142を用いると、図4に示すように、4つの電荷蓄積部150(ここでは、それぞれ151、152、153、154とする。)に、電荷(C01、C02、C03、C04)がそれぞれ振り分られる。なお、本図においては、C04は0である。
First, from the distance
制御部140は、電荷量比演算部160に、各電荷(C01、C02、C03、C04)を用い、1.5mの距離での電荷量比C02/C01、C03/C01、C04/C01、C03/C02、C04/C02、C03/C04を算出させ、結果を電荷量比DB190に格納する。
The
ここで、図5に示すように、ゲート信号142を、変調信号141から10ns遅らせる。実際に入射光112を受光するまでの時間は10nsであり、蓄積開始タイミングが10nsであるのに対し、蓄積開始タイミングは、0nsとなる。これは、距離画像生成装置100から0mの位置に配置された測定対象物113を測定した場合と同じ電荷の振分が行われる。図5の例では、電荷蓄積部151および152に、C11、C12が振り分けられ、電荷蓄積部153、154に振り分けられる電荷C13、C14は、それぞれ0となる。制御部140は、電荷量比演算部160に、各電荷を用い、0mの距離での電荷量比C12/C11、C13/C11、C14/C11、C13/C12、C14/C12、C13/C14を擬似的に算出させ、結果を電荷量比DB190に格納する。
Here, as shown in FIG. 5, the
このように、変調信号141のタイミングは固定し、ゲート信号142のタイミングを微小時間ずつ遷移させ、擬似的に各距離での電荷量比を求め、電荷量比DB190に格納する。
In this way, the timing of the
なお、電荷量比DB190においては、サンプリング距離数が多いほど、後に行う補正は正確なものとなる。サンプリング距離数は、測定対象物113の距離を細かく変化させるほど、または、ゲート信号タイミングの遷移量を細かく設定するほど、多くなる。
In the charge
なお、測定対象物113の位置を動かさず、制御信号のタイミングを遷移させて距離毎の電荷量比の測定を行う場合、遷移対象はゲート信号142に限らない。発光のタイミングと電荷振分部の振り分けタイミングとがずれればよいため、発光を制御する変調信号141を操作してもよい。
Note that the transition target is not limited to the
上記何れかの手法で作成した電荷量比DB190の一例を図6に示す。本図に示すように、本実施形態の電荷量比DB190には、距離毎(または、ゲート信号の開始タイミング毎)の、各電荷蓄積部間の電荷量比が基準電荷量比として1のデータとして格納される。
An example of the charge
本図では、電荷蓄積部150が4つ(151、152、153、154)である場合を例示する。項目C2/C1欄には、各距離(または、ゲート信号の開始タイミング)で得た基準電荷量比の中の、電荷蓄積部152に蓄積される電荷量C2の、電荷蓄積部151に蓄積される電荷量C1に対する比が格納され、項目C3/C1欄には、同153の151に対する比が、項目C4/C1欄には、同154の151に対する比が、項目C3/C2欄には、同153の152に対する比が、項目C4/C2欄には、同154の152に対する比が、項目C4/C3欄には、同154の153に対する比が、それぞれ格納される。
This figure illustrates the case where there are four charge storage units 150 (151, 152, 153, 154). In the item C2 / C1 column, the charge amount C2 stored in the
本実施形態では、例えば、電荷蓄積部151および電荷蓄積部152に蓄積された電荷量から得た電荷量比(C2/C1)を、キー(以後、アドレスとも呼ぶ)とし、フレア補正部170は、各データにアクセスする。
In the present embodiment, for example, the charge amount ratio (C2 / C1) obtained from the charge amounts stored in the
なお、電荷量比DB190内に保存されるデータは、上記数値に限られない。各電荷蓄積部150に蓄積される電荷量の比の関係がわかる数値であればよい。
The data stored in the charge
次に、フレア補正部170による、フレア補正処理について説明する。本実施形態では、フレア補正処理では、フレアが発生し、測定電荷量がその影響を受けているか否かを判別する判別処理と、判別処理によりフレアが発生していると判別された際に、各電荷蓄積部150に蓄積されている測定電荷量からフレアの影響を取り除き、対象物電荷量を得る電荷量補正処理とを行う。
Next, flare correction processing by the
判別処理では、キー項目の値が、電荷量比演算部160が算出した測定電荷量比のキー項目の値に最も近い基準電荷量比を、電荷量比DB190から抽出する。そして、測定電荷量比と基準電荷量比とを比較し、一致しているか否(不一致)かを判別する。
In the determination process, the reference charge amount ratio that is closest to the key item value of the measured charge amount ratio calculated by the charge amount
電荷量比DB190から抽出した基準電荷量比は、フレアが発生していない場合の理想的な電荷量比である。このため、測定電荷量比が基準電荷量比に一致していれば、フレアの発生がなく、得られた測定電荷量は、測定対象物113からの反射光によるものと判断する。一方、不一致の場合、フレアが発生し、その影響を受けていると判断する。
The reference charge amount ratio extracted from the charge
なお、ここで、判別処理における一致、不一致の判断手法について説明する。電荷量比DB190のキー項目として用いられる電荷量比の分解能は、電荷量比DB190作成時の距離のサンプリング数による。サンプリング数が少ないと、フレアが発生していなくても一致しないことがある。
Here, a determination method for matching or mismatching in the determination processing will be described. The resolution of the charge amount ratio used as a key item of the charge
図7(a)〜(c)に例を示す。例えば、ゲート信号のタイミングを、10nsずつ遷移させ、電荷量比DB190を作成する。この場合、図7(a)に示すように、ゲート信号を10ns遷移させた場合の電荷量比、図7(b)に示すように、同20ns遷移させた場合の電荷量比等が電荷量比DB190に格納される。このとき、例えば、距離2.75mにある測定対象物113からの反射光である入射光112は、変調光111が測定対象物113に反射し光電変換部120で受光するまでの時間が15nsであるため、図7(c)のように電荷が蓄積される。この場合、電荷量比DB190に格納されている、ゲート信号を10ns遷移させた場合のデータ、20ns遷移させた場合のデータいずれにも一致しないため、フレアが発生していると誤判断される。
An example is shown in FIGS. For example, the charge
上記のような誤判断を避けるため、一致不一致の判別には、所定の許容範囲を設ける。すなわち、測定電荷量比の各値が、基準電荷量比の対応するそれぞれの値を中心とする所定の範囲内であれば、一致と判別する。一方、1つの値でも、上記範囲外である場合、不一致と判別する。所定の範囲は、%で設定してもよいし、閾値(絶対値)で設定してもよい。 In order to avoid the erroneous determination as described above, a predetermined allowable range is provided for determination of coincidence / mismatch. That is, if each value of the measured charge amount ratio is within a predetermined range centered on each corresponding value of the reference charge amount ratio, it is determined that the values match. On the other hand, if even one value is outside the above range, it is determined that there is a mismatch. The predetermined range may be set by% or may be set by a threshold value (absolute value).
なお、比較する基準電荷量比の対応するそれぞれの値とは、同じ電荷蓄積部150間の比の値のことである。例えば、測定電荷量比の中のC2/C1の値は、基準電荷量比のC2/C1の値と比較し、C4/C3の値は、同C4/C3の値と比較する。
In addition, each value corresponding to the reference charge amount ratio to be compared is a ratio value between the same
判別処理で、一致と判別された場合、フレア補正部170は、各電荷蓄積部150に蓄積された測定電荷量をそのまま対象物電荷量とし、距離画像生成部180に受け渡す。一方、不一致と判別された場合、フレア補正部170は、測定電荷量に対し、電荷量補正処理を実行する。
When it is determined in the determination processing that they match, the
電荷量補正処理は、フレアの影響有りと判別された測定電荷量から、フレアの影響を取り除く処理である。電荷量補正処理は、電荷量比DB190から読み出した基準電荷量比と電荷蓄積部150に蓄積された測定電荷量とを用いて行う。ここでは、電荷量比DB190に格納されている電荷量比をもとに、測定電荷量内のフレアによる電荷量を特定し、その分を取り除く。フレアによる電荷量は、電荷量比DB190に格納されている電荷量比を用いて、仮のフレアによる電荷量および仮の対象物による電荷量を求めることを繰り返し、徐々に実際のフレアの電荷量に近づけていくことにより算出する。
The charge amount correction process is a process for removing the influence of flare from the measured charge amount determined to have the influence of flare. The charge amount correction process is performed using the reference charge amount ratio read from the charge
本実施形態の電荷量補正処理では、まず、フレアによる影響を受けやすい、電荷蓄積部151と152との電荷量比(C2/C1)を用い、この測定電荷量比が最も近い電荷量比DB190内の基準電荷量比を、仮のフレア電荷量比とみなす。フレアによる影響を受けやすい電荷蓄積部150は、近距離の測定対象物からの反射光の受光量の多い電荷蓄積部150であり、通常は、変調光111の照射後、蓄積開始タイミングが早い電荷蓄積部150である。なお、基準電荷量比を抽出する際にキー項目とする電荷量比は、0以外のものとする。
In the charge amount correction process of the present embodiment, first, the charge amount ratio (C2 / C1) between the
そして、測定電荷量に仮のフレア電荷量比を乗算することにより、仮のフレア電荷量を算出する。そして、仮のフレアの電荷量を測定電荷量から減算することにより、仮のフレアの影響を除去した、補正後の対象物電荷量を得る。この補正後の対象物電荷量から得る対象物電荷量比が、電荷量比DB190から読み出したいずれかの基準電荷量比と一致した場合、この補正後の対象物電荷量を、対象物電荷量とする。
Then, the provisional flare charge amount is calculated by multiplying the measurement charge amount by the provisional flare charge amount ratio. Then, by subtracting the charge amount of the temporary flare from the measured charge amount, the corrected object charge amount from which the influence of the temporary flare is removed is obtained. When the target charge amount ratio obtained from the corrected target charge amount matches any reference charge amount ratio read from the charge
一方、一致しない場合は、補正後の対象物電荷量から仮の対象物電荷量を算出し、測定電荷量と仮の対象物電荷量との差として、フレア電荷量を算出する。 On the other hand, if they do not match, the provisional object charge amount is calculated from the corrected object charge amount, and the flare charge amount is calculated as the difference between the measured charge amount and the provisional object charge amount.
その後、算出したフレア電荷量から得る電荷量比を用いて、上記同様仮のフレア電荷量比を算出する。そして、算出した仮のフレア電荷量を、測定電荷量から減算することにより、補正後の対象物電荷量を再算出し、一致不一致を判別する。以上の処理を、補正後の対象物電荷量から算出する電荷量比が、電荷量比DB190内のいずれかの基準電荷量比に一致するまで繰り返す。
Thereafter, a temporary flare charge amount ratio is calculated using the charge amount ratio obtained from the calculated flare charge amount. Then, by subtracting the calculated temporary flare charge amount from the measured charge amount, the corrected object charge amount is recalculated to determine coincidence mismatch. The above processing is repeated until the charge amount ratio calculated from the corrected object charge amount matches any reference charge amount ratio in the charge
以下、上記電荷量補正処理を、図8を用い、具体例で説明する。ここでは、4つの電荷蓄積部150に蓄積された測定電荷量を用いる。また、各電荷蓄積部150に蓄積された当初の測定電荷量を、Q01、Q02、Q03、Q04とする。なお、この測定電荷量(Q01、Q02、Q03、Q04)は、フレアによる電荷量(フレア電荷量)(F01、F02、F03、F04)と、測定対象物113からの反射光による電荷量(対象物電荷量)(S01、S02、S03、S04)との和である。すなわち、各測定電荷量は、以下の式(3-1)、式(3−2)、式(3−3)、式(3−4)のとおりである。
Q01=F01+S01・・・(3−1)
Q02=F02+S02・・・(3−2)
Q03=F03+S03・・・(3−3)
Q04=F04+S05・・・(3−4)
なお、図8の例では、F04およびS01を0とする。
Hereinafter, the charge amount correction process will be described with reference to FIG. Here, the measured charge amounts stored in the four
Q01 = F01 + S01 (3-1)
Q02 = F02 + S02 (3-2)
Q03 = F03 + S03 (3-3)
Q04 = F04 + S05 (3-4)
In the example of FIG. 8, F04 and S01 are set to 0.
ここで、フレアの影響の最も大きいと考えられる項目C2/C1の値が、測定電荷量比Q02/Q01に最も近い基準電荷量比を電荷量比DB190から抽出する。抽出した基準電荷量比を(C12/C11、C13/C11、C14/C11、C13/C12、C14/C12、C14/C13)とする。なお、ここで抽出した基準電荷量比を、仮のフレア電荷量比と呼ぶ。
Here, the reference charge amount ratio closest to the measured charge amount ratio Q02 / Q01 in the value of the item C2 / C1 considered to have the greatest influence of flare is extracted from the charge
次に、仮のフレア電荷量(F11、F12、F13、F14)を、測定電荷量と仮のフレア電荷量比とから、以下の式(4−1)、式(4−2)、式(4−3)、式(4−4)により算出する。これは、測定電荷量(Q01、Q02、Q03、Q04)に含まれるフレアの電荷量による電荷量比が、仮のフレア電荷量比であると仮定して算出するものである。
F11=Q01 ・・・(4−1)
F12=Q01×(C12/C11)・・・(4−2)
F13=Q01×(C13/C11)・・・(4−3)
F14=Q01×(C14/C11)・・・(4−4)
Next, the temporary flare charge amount (F11, F12, F13, F14) is calculated from the measured charge amount and the temporary flare charge amount ratio by the following equations (4-1), (4-2), and ( 4-3) and the formula (4-4). This is calculated on the assumption that the charge amount ratio due to the flare charge amount included in the measured charge amount (Q01, Q02, Q03, Q04) is a temporary flare charge amount ratio.
F11 = Q01 (4-1)
F12 = Q01 × (C12 / C11) (4-2)
F13 = Q01 × (C13 / C11) (4-3)
F14 = Q01 × (C14 / C11) (4-4)
しかしながら、図8の例では、実際には、Q02およびQ03には、フレアによるものと、測定対象物113からの反射光によるものとの両電荷量が含まれる。このため、測定電荷量比のうち、Q02/Q01およびQ03/Q01は、フレアによる電荷量比(F02/F01およびF03/F01)より大きな値となる。これは、言い換えると、Q01が本来のフレア電荷量比におけるQ01に比べて相対的に小さくみなされているということである。その結果、仮のフレア電荷量比(C12/C11、C13/C11)は、本来のフレアの電荷量比(F02/F01およびF03/F01)より大きいものとなる。従って、C12/C11をF02/F01、C13/C11をF03/F01と仮定して算出するF12、F13の値は、本来のフレアによる電荷量(F02、F03)より大きな値となる。
However, in the example of FIG. 8, Q02 and Q03 actually include both charge amounts due to flare and reflected light from the
これは、上記式(4−2)および式(4−3)を変形した、以下の式(5−1)、式(5−2)により、明らかである。
F12=Q01×(C12/C11)=(F01+S01)×(C12/C11)
>F01×(F02/F01)=F02 ・・・(5−1)
F13=Q01×(C13/C11)=(F01+S01)×(C13/C11)
>F01×(F03/F01)=F03 ・・・(5−2)
ここでは、S01=0との仮定を用いた。
This is apparent from the following formulas (5-1) and (5-2) obtained by modifying the above formulas (4-2) and (4-3).
F12 = Q01 × (C12 / C11) = (F01 + S01) × (C12 / C11)
> F01 × (F02 / F01) = F02 (5-1)
F13 = Q01 × (C13 / C11) = (F01 + S01) × (C13 / C11)
> F01 × (F03 / F01) = F03 (5-2)
Here, the assumption that S01 = 0 is used.
次に、得られた仮のフレア電荷量(F11、F12、F13、F14)を、測定電荷量(Q01、Q02、Q03、Q04)から差し引くことにより、測定電荷量内の対象物電荷量(補正後の対象物電荷量)(S11、S12、S13、S14)を得る。算出は、以下の式(6−1)、式(6−2)、式(6−3)、式(6−4)のとおりである。
S11=Q01−F11・・・(6−1)
S12=Q02−F12・・・(6−2)
S13=Q03−F13・・・(6−3)
S14=Q04−F14・・・(6−4)
Next, by subtracting the obtained temporary flare charge amount (F11, F12, F13, F14) from the measured charge amount (Q01, Q02, Q03, Q04), the object charge amount (correction) within the measured charge amount is corrected. (Subsequent object charge amount) (S11, S12, S13, S14) is obtained. The calculation is as shown in the following formulas (6-1), (6-2), (6-3), and (6-4).
S11 = Q01-F11 (6-1)
S12 = Q02-F12 (6-2)
S13 = Q03-F13 (6-3)
S14 = Q04-F14 (6-4)
なお、F12>F02、F13>F03であるため、上記式(6−2)および式(6−3)を変形すると、以下の式(7−1)、式(7−2)となり、補正後の対象物電荷量S12およびS13は、それぞれ、本来の対象物電荷量S02およびS03より小さいことがわかる。
S12=Q02−F12=(F02+S02)−F12<S02・・・(7−1)
S13=Q03−F13=(F03+S03)−F13<S03・・・(7−2)
Since F12> F02 and F13> F03, when the above formulas (6-2) and (6-3) are modified, the following formulas (7-1) and (7-2) are obtained and corrected. It can be seen that the object charge amounts S12 and S13 are smaller than the original object charge amounts S02 and S03, respectively.
S12 = Q02−F12 = (F02 + S02) −F12 <S02 (7-1)
S13 = Q03−F13 = (F03 + S03) −F13 <S03 (7-2)
次に、この補正後の対象物電荷量(S11、S12、S13、S14)を用いて、補正後の対象物電荷量比を計算する。そして、算出した電荷量比の中の、0、∞以外の正の値一つをキー項目とし、キー項目の電荷量比が最も近い基準電荷量比を電荷量比DB190から読み出す。ここでは、例えば、対象物電荷量の割合が最も大きいと考えられる電荷蓄積部150間の電荷量比C4/C3をキー項目とし、この値が、補正後の対象物電荷量から得た電荷量比S14/S13に最も近い基準電荷量比を電荷量比DB190から抽出する。なお、対象物電荷量の割合が大きい電荷蓄積部150は、上記フレアの影響の最も少ない電荷蓄積部150である。抽出した基準電荷量比(C22/C21、C23/C21、C24/C21、C23/C22、C24/C22、C24/C23)を、仮の対象物電荷量比と呼ぶ。
Next, the corrected object charge amount ratio is calculated using the corrected object charge amount (S11, S12, S13, S14). Then, one positive value other than 0 and ∞ in the calculated charge amount ratio is used as a key item, and the reference charge amount ratio with the closest charge amount ratio of the key item is read from the charge
そして、抽出した仮の対象物電荷量比と、算出した補正後の対象物電荷量比とを比較し、両者の一致不一致を判別する。一致不一致の判別手法は、上記判別処理における同判別手法と同様とする。一致していれば、補正を終了し、その時点での補正後の対象物電荷量を距離画像生成部180に送信する。一方、不一致と判別された場合は、さらに補正を行う。
Then, the extracted temporary object charge amount ratio is compared with the calculated corrected object charge amount ratio to determine whether or not they match. The discrimination method for coincidence / inconsistency is the same as the discrimination method in the discrimination process. If they match, the correction is terminated, and the corrected object charge amount at that time is transmitted to the distance
ここでは、まず、補正後の対象物電荷量(S11、S12、S13、S14)と仮の対象物電荷量比とから、仮の対象物電荷量(S21、S22、S23、S24)を、以下の式(8−1)、式(8−2)、式(8−3)、式(8−4)により算出する。これは、補正後の対象物電荷量(S11、S12、S13、S14)に含まれる対象物電荷量による電荷量比が、仮の対象物電荷量比であると仮定して算出するものである。 Here, first, based on the corrected target charge amount (S11, S12, S13, S14) and the temporary target charge amount ratio, the temporary target charge amount (S21, S22, S23, S24) is expressed as follows. (8-1), (8-2), (8-3), and (8-4). This is calculated on the assumption that the charge amount ratio based on the object charge amount included in the corrected object charge amount (S11, S12, S13, S14) is a temporary object charge amount ratio. .
S21=S14×(1/C24/C21)・・・(8−1)
S22=S14×(1/C24/C22)・・・(8−2)
S23=S14×(1/C24/C23)・・・(8−3)
S24=S14 ・・・(8−4)
S21 = S14 × (1 / C24 / C21) (8-1)
S22 = S14 × (1 / C24 / C22) (8-2)
S23 = S14 × (1 / C24 / C23) (8-3)
S24 = S14 (8-4)
なお、上記同様、C24/C22をS13/S12、C24/C23をS14/S13と仮定して算出されるS22、S23の値は、本来の測定対象物による電荷量(S02、S03)より小さな値となる。 As described above, the values of S22 and S23 calculated on the assumption that C24 / C22 is S13 / S12 and C24 / C23 is S14 / S13 are smaller than the charge amount (S02, S03) due to the original measurement object. It becomes.
次に、得られた仮の対象物電荷量(S21、S22、S23、S24)を、測定電荷量(Q01、Q02、Q03、Q04)から差し引き、測定電荷量内のフレア電荷量(F21、F22、F23、F24)を算出する。これは、ここで算出されるフレア電荷量を補正後のフレア電荷量と呼ぶ。 Next, the obtained provisional object charge amount (S21, S22, S23, S24) is subtracted from the measured charge amount (Q01, Q02, Q03, Q04) to obtain the flare charge amount (F21, F22) within the measured charge amount. , F23, F24). This is referred to as the corrected flare charge amount.
上記同様、フレアの影響の最も大きいと考えられる項目C2/C1をキー項目とし、この値が、補正後のフレア電荷量から得た電荷量比F22/F21に最も近い基準電荷量比を電荷量比DB190から抽出する。そして、抽出した基準電荷量比を各々補正後のフレア電荷量F21に乗算し、上記同様、仮のフレア電荷量を得る。
Similarly to the above, the item C2 / C1 considered to have the greatest influence of flare is used as a key item, and this value is the reference charge amount ratio closest to the charge amount ratio F22 / F21 obtained from the corrected flare charge amount. Extracted from the
なお、得られた補正後のフレア電荷量F22は、F22=Q02−S22である。このため、補正後のフレア電荷量比F22/F21は、電荷量比を読み出す際に使用したQ02/Q01より大きな値(F22/F21>Q02/Q01)となる。従って、ここで得られた仮のフレア電荷量から得た電荷量比は、−S22の分、先に定義した仮のフレア電荷量比(ここでは、C12/C11、C13/C11・・・C14/C13)より本来のフレア電荷量比に近づく。 The corrected flare charge amount F22 obtained is F22 = Q02−S22. For this reason, the corrected flare charge amount ratio F22 / F21 is larger than Q02 / Q01 used when reading the charge amount ratio (F22 / F21> Q02 / Q01). Therefore, the charge amount ratio obtained from the provisional flare charge amount obtained here is the amount of -S22, and the provisional flare charge ratio defined earlier (here, C12 / C11, C13 / C11... C14). / C13) closer to the original flare charge ratio.
以後、測定電荷量から仮のフレア電荷量を減算し、補正後の対象物電荷量を更新し、上記同様、一致不一致を判別する処理を、一致するまで繰り返す。 Thereafter, the provisional flare charge amount is subtracted from the measured charge amount, the corrected object charge amount is updated, and the process for determining coincidence / mismatch is repeated as described above until they coincide.
上記フレア補正部によるフレア補正処理の流れを図9のフローチャートを用いて説明する。なお、ここでは、全画素数をP(Pは1以上の整数)とし、各画素の画素番号をpとし、処理のカウンタとして用いる。 The flow of flare correction processing by the flare correction unit will be described with reference to the flowchart of FIG. Here, the total number of pixels is P (P is an integer of 1 or more), the pixel number of each pixel is p, and it is used as a processing counter.
まず、カウンタpを初期化(p=1)する(ステップS1001)。画素番号pの画素に対応する各電荷蓄積部150から測定電荷量(Q01、Q02、Q03、Q04)を取得する(ステップS1002)。得られた測定電荷量を用い、最もフレアの影響の大きい電荷蓄積部150間の測定電荷量比を算出する(ステップS1003)ここでは、Q02/Q01を算出する。そして、電荷量比DB190にアクセスし、同じ電荷蓄積部150間の電荷量比(ここでは、C2/C1)が、Q02/Q01に最も近いデータを仮のフレア電荷量比として抽出する(ステップS1004)。
First, the counter p is initialized (p = 1) (step S1001). The measured charge amount (Q01, Q02, Q03, Q04) is acquired from each
測定電荷量比(Q02/Q01)と、仮のフレア電荷量比(C12/C11)とを比較し(ステップS1005)、一致不一致を判別する(ステップS1006)。ここでは、両者の差が予め定めた閾値以内であれば一致と判別し、それ以外は不一致と判別する。 The measured charge amount ratio (Q02 / Q01) is compared with the provisional flare charge amount ratio (C12 / C11) (step S1005), and a coincidence / mismatch is determined (step S1006). Here, if the difference between the two is within a predetermined threshold value, it is determined to be a match, and otherwise, it is determined to be a mismatch.
不一致と判別された場合、上記手法で仮のフレア電荷量(F11、F12、F13、F14)を算出する(ステップS1007)。そして。仮のフレア電荷量を測定電荷量から減算し、補正後の対象物電荷量(S11、S12、S13、S14)を算出する(ステップS1008)。 If it is determined that they do not match, the tentative flare charge amounts (F11, F12, F13, F14) are calculated by the above method (step S1007). And then. The provisional flare charge amount is subtracted from the measured charge amount, and the corrected object charge amounts (S11, S12, S13, S14) are calculated (step S1008).
補正後の対象物電荷量を用い、最もフレアの影響の少ない電荷蓄積部150間の電荷量比を、補正後の対象物電荷量比として算出する(ステップS1009)。ここでは、S14/S13を算出する。そして、電荷量比DB190から、C4/C3の値が算出した電荷量比に最も近いデータを仮の対象物電荷量比(C24/C23)として抽出する(ステップS1010)。
Using the corrected object charge amount, the charge amount ratio between the
そして、補正後の対象物電荷量比(S14/S13)と、仮の物体電荷量比(C24/C23)とを比較し(ステップS1011)、一致不一致を判別する(ステップS1012)。判別手法は上記同様閾値を用いて行う。 Then, the corrected object charge amount ratio (S14 / S13) is compared with the provisional object charge amount ratio (C24 / C23) (step S1011), and coincidence mismatch is determined (step S1012). The discrimination method is performed using a threshold value as described above.
不一致の場合、上記手法で仮の対象物電荷量(S21、S22、S23、S24)を算出し(ステップS1013)、測定電荷量から仮の対象物電荷量を減算することにより、補正後のフレア電荷量(F21、F22、F23、F24)を算出する(ステップS1014)。 If they do not match, the temporary object charge amount (S21, S22, S23, S24) is calculated by the above method (step S1013), and the corrected flare is calculated by subtracting the temporary object charge amount from the measured charge amount. Charge amounts (F21, F22, F23, F24) are calculated (step S1014).
補正後のフレア電荷量を用いて、最もフレアの影響の大きい電荷蓄積部150間の電荷量比を算出し(ステップS1015)、電荷量比DB190にアクセスし、同じ電荷蓄積部150間の電荷量比が最も近いデータを仮のフレア電荷量比として抽出する(ステップS1016)。そして、補正後のフレア電荷量と仮のフレア電荷量比とを用い、上記手法で仮のフレア電荷量を算出する(ステップS1017)。そして、ステップS1007へ戻り、処理を繰り返す。
Using the corrected flare charge amount, the charge amount ratio between the
ステップS1012で一致と判別された場合、その時点の、各電荷蓄積部150の補正後の対象物電荷量を、当該画素の電荷量として記憶装置に格納する(ステップS1018)。また、各電荷蓄積部150について、当該補正後の対象物電荷量を、それぞれ測定電荷量から減算し、その結果をフレア電荷量として記憶装置に格納する(ステップS1019)。以上の処理を、全画素について、繰り返す(ステップS1021、S1022)。
If it is determined in step S1012 that they match, the target charge amount after correction of each
また、ステップS1006で一致と判別された場合、各電荷蓄積部150の測定電荷量を、当該画素の電荷量として記憶装置に格納し(ステップS1020)、ステップS1021へ移行する。
If it is determined in step S1006 that they match, the measured charge amount of each
なお、本実施形態の距離画像生成装置100は、CPUとメモリと記憶装置とを備え、制御部140、電荷振分部130、電荷量比演算部160、フレア補正部170、距離画像生成部180の各機能は、記憶装置に予め記憶されたプログラムを、CPUがメモリにロードして実行することにより実現される。
The distance
以上説明したように、本実施形態によれば、各電荷蓄積部150に蓄積された電荷量間の比と、測定対象物113の距離に応じた基準となる電荷量比とを用い、蓄積された電荷内のフレアの影響を取り除く。従って、光飛行時間型距離画像センサにおいて、蓄積した電荷から、フレアによる電荷を適切に除去できる。
As described above, according to the present embodiment, the charge amount is accumulated using the ratio between the charge amounts accumulated in each
さらに、本実施形態では、フレア補正部により、上記フレアによる影響の除去を実現する。従って、光飛行時間型距離画像センサを用いた距離画像生成装置において、物理的な構成を変えることなく、フレアによる影響を除去できる。そして、フレアによる影響を除去した電荷を用い、距離値を算出できる。このため、本実施形態によれば、光飛行時間型距離画像センサを用いた距離画像生成装置において、低コストで精度よく距離値を算出できる。 Furthermore, in this embodiment, the flare correction unit realizes the removal of the influence due to the flare. Therefore, in the distance image generation apparatus using the time-of-flight distance image sensor, the influence of flare can be removed without changing the physical configuration. The distance value can be calculated using the charge from which the influence of flare is removed. For this reason, according to the present embodiment, the distance value can be accurately calculated at low cost in the distance image generation device using the time-of-flight distance image sensor.
なお、上記実施形態では、判別処理において、測定電荷量比と基準電荷量比との全項目の値を比較し、一致不一致を判別する場合を例にあげて説明している。すなわち、上記例では、電荷蓄積部150の数が4つの場合、4つの電荷量で得られる6組の電荷量比を算出し、6組全てについて、測定電荷量比と基準電荷量比とを比較している。しかしながら、電荷量比を構成する全ての値を必ずしも比較する必要はない。
In the above-described embodiment, an example has been described in which, in the determination process, the values of all items of the measured charge amount ratio and the reference charge amount ratio are compared to determine coincidence / mismatch. That is, in the above example, when the number of the
少なくとも、電荷蓄積部150の数の半数+1(電荷蓄積部150の数が奇数の場合は、半数+0.5)の電荷蓄積部150の電荷量を用いて算出される電荷量比を比較すればよい。上述のように電荷蓄積部150が4つの場合、半数+1の3つの電荷蓄積部150の電荷量を用いて、最低2組の電荷量比を比較すればよい。このような数の制約を設けるのは、以下のような場合に、フレアが発生していないと誤判断されるのを防ぐためである。
Comparing the charge amount ratio calculated by using the charge amount of the
本実施形態では、測定電荷量から算出する電荷量比と、電荷量比DB190に保持される電荷量比とを比較し、フレアの発生の有無を判別する。入射光波形のデューティー比が50%である場合、電荷蓄積部150が4つ以上あると、フレアによる入射光と測定対象物113からの反射光とが、完全に別々の電荷蓄積部150に蓄積されることがある。
In the present embodiment, the charge amount ratio calculated from the measured charge amount is compared with the charge amount ratio held in the charge
例えば、電荷蓄積部150が4つの場合、半数の電荷蓄積部150のみを用いて電荷量比を比較するものとすると、算出される測定電荷量比、電荷量比DB190に格納される各電荷量比は、それぞれ1つとなる。例えば、フレアが電荷蓄積部151、152にのみ蓄積され、また、測定対象物113からの反射光が、電荷蓄積部153、154にのみ蓄積されたとする。上記電荷量比DB190に保持される電荷量比が、電荷蓄積部151および152に蓄積された電荷量を用いたものである場合、または、同153、154に蓄積された電荷量を用いたものである場合、フレアが発生しているにもかかわらず、データベースの値と一致してしまうことが発生する。
For example, when there are four
また、入射光波形のデューティー比が50%であれば、少なくとも電荷蓄積部150の数の1/4、最大で半分に電荷が蓄積されない。このため、電荷量比が0となる期間が発生する。上記フレア補正のためには、値が0でない電荷量比を必要とするため、上記数の電荷蓄積部150を用いて算出する電荷量比が必要となる。
Further, if the duty ratio of the incident light waveform is 50%, the charge is not accumulated in at least 1/4 of the number of the
100:距離画像生成装置、110:光源部、111:変調光、112:入射光、113:測定対象物、120:光電変換部、130:電荷振分部、140:制御部、141:変調信号、142:ゲート信号、150:電荷蓄積部、151:電荷蓄積部、152:電荷蓄積部、153:電荷蓄積部、154:電荷蓄積部、160:電荷量比演算部、170:フレア補正部、180:距離画像生成部、190:電荷量比データベース DESCRIPTION OF SYMBOLS 100: Distance image generation apparatus, 110: Light source part, 111: Modulated light, 112: Incident light, 113: Measuring object, 120: Photoelectric conversion part, 130: Charge distribution part, 140: Control part, 141: Modulation signal 142: gate signal, 150: charge storage unit, 151: charge storage unit, 152: charge storage unit, 153: charge storage unit, 154: charge storage unit, 160: charge amount ratio calculation unit, 170: flare correction unit, 180: Distance image generation unit, 190: Charge amount ratio database
Claims (5)
前記光電変換部毎に設けられた、当該光電変換部で変換した電荷を予め定められたタイミングで振り分けてそれぞれ蓄積する3つ以上の電荷蓄積部と、
前記電荷蓄積部に蓄積された電荷の電荷量である測定電荷量の、各電荷蓄積部間の比を測定電荷量比として算出する電荷量比演算部と、
理想的な環境で前記対象物を測定して得た距離毎の前記電荷量比を、基準電荷量比として格納する電荷量比データベースと、
前記測定電荷量比と前記基準電荷量比とを比較して前記測定電荷量比と前記基準電荷量比とが一致しない場合にフレアが発生していると判定し、前記基準電荷量比に基づいて前記測定電荷量内のフレアによる電荷量を特定して前記測定電荷量から取り除くことで前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正を行うフレア補正部と、
前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成部と、を備えること
を特徴とする距離画像生成装置。 A photoelectric conversion unit that receives modulated light including reflected light that is irradiated from a light source and reflected by an object in a target space, and converts the light into a charge according to the amount of received light;
Three or more charge storage units that are provided for each photoelectric conversion unit and that distribute and store charges converted by the photoelectric conversion unit at predetermined timings,
A charge amount ratio calculating unit that calculates a ratio between measured charge amounts as a measured charge amount ratio of a measured charge amount that is a charge amount of charges accumulated in the charge storage unit;
A charge amount ratio database for storing the charge amount ratio for each distance obtained by measuring the object in an ideal environment as a reference charge amount ratio;
The measured charge amount ratio and the reference charge amount ratio are compared, and it is determined that flare has occurred when the measured charge amount ratio and the reference charge amount ratio do not match, and based on the reference charge amount ratio A flare correction unit for performing flare correction for calculating an object charge amount that is a charge amount due to reflected light from the object by specifying the charge amount due to flare within the measured charge amount and removing it from the measured charge amount; ,
A distance image generation device, comprising: a distance image generation unit that calculates a distance value to the object using the object charge amount and generates a distance image using the distance value as a pixel value.
前記フレア補正部は、前記測定電荷量比に最も近い前記基準電荷量比を前記電荷量比データベースから抽出し、当該測定電荷量比と前記抽出した基準電荷量比との差の絶対値が予め定めた範囲内である場合、前記測定電荷量を、前記対象物電荷量とすること
を特徴とする距離画像生成装置。 The distance image generating device according to claim 1,
The flare correction unit extracts the reference charge amount ratio closest to the measured charge amount ratio from the charge amount ratio database, and an absolute value of a difference between the measured charge amount ratio and the extracted reference charge amount ratio is previously determined. The distance image generation device characterized in that the measured charge amount is the object charge amount when the measured charge amount is within a predetermined range.
前記光電変換部毎に設けられた、当該光電変換部で変換した電荷を予め定められたタイミングで振り分けてそれぞれ蓄積する3つ以上の電荷蓄積部と、
前記電荷蓄積部に蓄積された電荷の電荷量である測定電荷量の、各電荷蓄積部間の比を測定電荷量比として算出する電荷量比演算部と、
理想的な環境で前記対象物を測定して得た距離毎の前記電荷量比を、基準電荷量比として格納する電荷量比データベースと、
前記測定電荷量に対し、前記測定電荷量比と前記基準電荷量比とを用い、フレアの影響を除くフレア補正を行い、前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正部と、
前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成部と、を備え
前記フレア補正部は、前記測定電荷量比に最も近い前記基準電荷量比を前記電荷量比データベースから抽出し、当該測定電荷量比と前記抽出した基準電荷量比との差の絶対値が予め定めた範囲内である場合、前記測定電荷量を、前記対象物電荷量とし、前記範囲外である場合、前記抽出した基準電荷量比と前記測定電荷量とから、フレアによる仮の電荷量を算出し、前記測定電荷量から前記仮の電荷量を減算し、前記対象物電荷量を得ること
を特徴とする距離画像生成装置。 A photoelectric conversion unit that receives modulated light including reflected light that is irradiated from a light source and reflected by an object in a target space, and converts the light into a charge according to the amount of received light;
Three or more charge storage units that are provided for each photoelectric conversion unit and that distribute and store charges converted by the photoelectric conversion unit at predetermined timings,
A charge amount ratio calculating unit that calculates a ratio between measured charge amounts as a measured charge amount ratio of a measured charge amount that is a charge amount of charges accumulated in the charge storage unit;
A charge amount ratio database for storing the charge amount ratio for each distance obtained by measuring the object in an ideal environment as a reference charge amount ratio;
Using the measured charge amount ratio and the reference charge amount ratio for the measured charge amount, flare correction is performed to eliminate the influence of flare, and the object charge amount that is the charge amount due to the reflected light from the object is calculated. A flare correction unit to
A distance image generating unit that uses the object charge amount to obtain a distance value to the object and generates a distance image using the distance value as a pixel value, and the flare correction unit has a measured charge amount ratio. When the closest reference charge amount ratio is extracted from the charge amount ratio database and the absolute value of the difference between the measured charge amount ratio and the extracted reference charge amount ratio is within a predetermined range, the measured charge amount Is the object charge amount, and is outside the range, a temporary charge amount due to flare is calculated from the extracted reference charge amount ratio and the measured charge amount, and the temporary charge is calculated from the measured charge amount. A distance image generating apparatus characterized by subtracting an amount to obtain the object charge amount.
前記電荷量比データベースを作成する電荷量比データベース作成部をさらに備え、
前記電荷量比データベース作成部は、前記発光源の発光タイミングに対する前記電荷蓄積部への蓄積タイミングを相対的に変化させて同一対象物からの反射光による複数の前記測定電荷量を得、当該複数の測定電荷量を前記距離毎の電荷量比とすること
を特徴とする距離画像生成装置。 The distance image generating device according to claim 2,
A charge amount ratio database creating unit for creating the charge amount ratio database;
The charge amount ratio database creation unit obtains a plurality of measured charge amounts by reflected light from the same object by relatively changing an accumulation timing in the charge accumulation unit with respect to a light emission timing of the light emission source. The distance image generation apparatus characterized in that the measured charge amount is a charge amount ratio for each distance.
前記光電変換ステップで変換された電荷を、予め定められたタイミングで、3つ以上の電荷蓄積部にそれぞれ振り分けて蓄積する電荷蓄積ステップと、
前記電荷蓄積部に蓄積された電荷の電荷量である測定電荷量の、各電荷蓄積部間の比を測定電荷量比として算出する電荷量比算出ステップと、
前記測定電荷量比と理想的な環境で前記対象物を測定して得た距離毎の前記電荷量比である基準電荷量比とを比較して、前記測定電荷量比と前記基準電荷量比とが一致しない場合にフレアが発生していると判定し、前記基準電荷量比に基づいて前記測定電荷量内のフレアによる電荷量を特定して前記測定電荷量から取り除くことで前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正を行うフレア補正ステップと、
前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成ステップと、を備えること
を特徴とする距離画像生成方法。 A photoelectric conversion step of receiving modulated light including reflected light that is irradiated from a light emitting source and reflected by an object in a target space, and converts the received light into a charge according to the amount of received light;
A charge accumulation step of distributing and accumulating the charges converted in the photoelectric conversion step to each of three or more charge accumulation units at a predetermined timing; and
A charge amount ratio calculating step of calculating a ratio between measured charge amounts as a measured charge amount ratio of a measured charge amount that is a charge amount of charges accumulated in the charge storage unit;
By comparing the reference charge amount ratio is the charge amount ratio of each of the range obtained by measuring the object with the measured charge amount ratio and the ideal environment, the reference charge amount ratio and the measured charge amount ratio Is determined not to coincide with the reference charge amount ratio, and the charge amount due to the flare in the measured charge amount is specified based on the reference charge amount ratio and removed from the measured charge amount. A flare correction step for performing a flare correction to calculate an object charge amount that is a charge amount due to the reflected light of
A distance image generation method, comprising: a distance image generation step of determining a distance value to the object using the object charge amount and generating a distance image using the distance value as a pixel value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013032805A JP6298236B2 (en) | 2013-02-22 | 2013-02-22 | Distance image generating apparatus and distance image generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013032805A JP6298236B2 (en) | 2013-02-22 | 2013-02-22 | Distance image generating apparatus and distance image generating method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014163717A JP2014163717A (en) | 2014-09-08 |
JP6298236B2 true JP6298236B2 (en) | 2018-03-20 |
Family
ID=51614470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013032805A Active JP6298236B2 (en) | 2013-02-22 | 2013-02-22 | Distance image generating apparatus and distance image generating method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6298236B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021020496A1 (en) | 2019-08-01 | 2021-02-04 | 株式会社ブルックマンテクノロジ | Distance-image capturing apparatus and distance-image capturing method |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021234932A1 (en) * | 2020-05-22 | 2021-11-25 | 株式会社ブルックマンテクノロジ | Distance image capturing device and distance image capturing method |
JP2022115580A (en) * | 2021-01-28 | 2022-08-09 | 国立大学法人静岡大学 | Distance image pickup device and method for capturing distance image |
WO2023199979A1 (en) * | 2022-04-13 | 2023-10-19 | 凸版印刷株式会社 | Distance image capturing device, and distance image capturing method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3574602B2 (en) * | 1999-12-27 | 2004-10-06 | ペンタックス株式会社 | 3D image input device |
JP3911575B2 (en) * | 2001-12-18 | 2007-05-09 | 株式会社トプコン | Pulse-type optical rangefinder |
JP5098331B2 (en) * | 2006-12-28 | 2012-12-12 | 株式会社豊田中央研究所 | Measuring device |
JP4895304B2 (en) * | 2007-09-26 | 2012-03-14 | 富士フイルム株式会社 | Ranging method and apparatus |
JP2012168049A (en) * | 2011-02-15 | 2012-09-06 | Stanley Electric Co Ltd | Distance image generation device and method |
US9030676B2 (en) * | 2011-02-21 | 2015-05-12 | Panasonic Intellectual Property Management Co., Ltd. | Spatial information detection device |
WO2013009099A2 (en) * | 2011-07-12 | 2013-01-17 | 삼성전자 주식회사 | Device and method for blur processing |
-
2013
- 2013-02-22 JP JP2013032805A patent/JP6298236B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021020496A1 (en) | 2019-08-01 | 2021-02-04 | 株式会社ブルックマンテクノロジ | Distance-image capturing apparatus and distance-image capturing method |
JP2021025833A (en) * | 2019-08-01 | 2021-02-22 | 株式会社ブルックマンテクノロジ | Distance image imaging device, and distance image imaging method |
TWI780462B (en) * | 2019-08-01 | 2022-10-11 | 日商凸版印刷股份有限公司 | Distance video camera device and distance video camera method |
JP7463671B2 (en) | 2019-08-01 | 2024-04-09 | Toppanホールディングス株式会社 | Distance image capturing device and distance image capturing method |
US11982750B2 (en) | 2019-08-01 | 2024-05-14 | Toppan Inc. | Distance-image capturing apparatus and distance-image capturing method |
Also Published As
Publication number | Publication date |
---|---|
JP2014163717A (en) | 2014-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163610B2 (en) | Method, device, and computer program product for assigning tasks to dedicated processing resources | |
JP6298236B2 (en) | Distance image generating apparatus and distance image generating method | |
US9733913B2 (en) | Methods and systems to vectorize scalar computer program loops having loop-carried dependences | |
US8849616B2 (en) | Method and system for noise simulation analysis useable with systems including time-of-flight depth systems | |
CN101382594B (en) | Distance measurement method, medium, and apparatus for measuring distance | |
US20160349359A1 (en) | Reduction in camera to camera interference in depth measurements using spread spectrum | |
US10241197B2 (en) | Method of preparing histograms of a sensor signal from an array of sensors, in particular proximity sensors, and corresponding device | |
JP6193227B2 (en) | Blur processing apparatus and method | |
US20160216376A1 (en) | Efficient Implementation of Distance De-Aliasing for Ranging Systems using Phase Domain Computation | |
EP2963547A1 (en) | Compiling device, compiling method, and storage medium storing compiler program | |
JP2014178244A (en) | Distance image generating device, and distance image generating method | |
JP2012516485A (en) | Detection of objects that may have changed in an image | |
KR101403945B1 (en) | Photoelectrical Control Apparatus for Satellite Laser Ranging System | |
CN117897720A (en) | Denoising depth data for low signal pixels | |
US9842256B2 (en) | Detection of astronomical objects | |
JP2009518765A (en) | Pattern matching device | |
RU2653104C2 (en) | Angular resolution of images obtained using photons having non-classical states | |
US10579706B2 (en) | Applying probability functions in real-time | |
JP6498429B2 (en) | Distance image generation device, distance image generation method and program | |
JP2016217907A (en) | Distance image generation device | |
US11163594B2 (en) | Rescheduling JIT compilation based on jobs of parallel distributed computing framework | |
KR101893770B1 (en) | 3D CAMERA FOR CORRECTING DEPTH ERROR BY IR(infrared ray) REFLECTIVITY AND METHOD THEREOF | |
CN110988840B (en) | Method and device for acquiring flight time and electronic equipment | |
KR20090106852A (en) | Image Processing Method and Apparatus for Detecting the Starting Point and End Point of the Lines | |
RU2577079C1 (en) | Optical device for determining distance to object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6298236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |