JP7014324B1 - Distance image imaging device and distance image imaging method - Google Patents

Distance image imaging device and distance image imaging method Download PDF

Info

Publication number
JP7014324B1
JP7014324B1 JP2021096537A JP2021096537A JP7014324B1 JP 7014324 B1 JP7014324 B1 JP 7014324B1 JP 2021096537 A JP2021096537 A JP 2021096537A JP 2021096537 A JP2021096537 A JP 2021096537A JP 7014324 B1 JP7014324 B1 JP 7014324B1
Authority
JP
Japan
Prior art keywords
charge
charge amount
noise
amount
background light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021096537A
Other languages
Japanese (ja)
Other versions
JP2022188478A (en
Inventor
優 大久保
邦広 畠山
聡 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2021096537A priority Critical patent/JP7014324B1/en
Application granted granted Critical
Publication of JP7014324B1 publication Critical patent/JP7014324B1/en
Priority to EP22763023.3A priority patent/EP4303533A1/en
Priority to PCT/JP2022/006938 priority patent/WO2022185967A1/en
Priority to CN202280017181.1A priority patent/CN116917760A/en
Publication of JP2022188478A publication Critical patent/JP2022188478A/en
Priority to US18/460,743 priority patent/US20230412934A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】電荷蓄積部の各々から読み出す電荷量の転送トランジスタによるバラツキを補正する際、ノイズ電荷の電荷量分の変動を除去し、距離計算の精度を向上させて正確な距離画像を撮像する距離画像撮像装置を提供する。【解決手段】本発明は、光パルスを照射する光源部と、入射光に応じた電荷を発生する光電変換素子と、電荷を蓄積する電荷蓄積部を備える画素回路と、光パルスに同期して転送トランジスタのオンオフ処理を行い電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、背景光で生成されて光電変換素子から転送トランジスタにより振分けて電荷蓄積部で蓄積される背景光電荷量と、背景光により生成されて電荷蓄積部に流入して蓄積されるノイズ電荷量との比を用いてノイズ電荷量を推定するノイズ電荷量推定部と、電荷蓄積部の各々に蓄積された蓄積電荷量からノイズ電荷量を減算し、被写体との距離の計算を行う距離演算部とを備える。【選択図】図１PROBLEM TO BE SOLVED: To remove a fluctuation corresponding to a charge amount of noise charge when correcting a variation of a charge amount read from each of the charge storage units by a transfer transistor, improve the accuracy of distance calculation, and capture an accurate distance image. An image imaging device is provided. According to the present invention, a light source unit that irradiates an optical pulse, a photoelectric conversion element that generates a charge according to incident light, a pixel circuit including a charge storage unit that stores an electric charge, and a pixel circuit that stores the electric charge are synchronized with the optical pulse. A light receiving unit having a pixel drive circuit that performs on / off processing of the transfer transistor to distribute and store charges, and a background light charge amount generated by background light and distributed from the photoelectric conversion element by the transfer transistor and stored in the charge storage unit. , The noise charge amount estimation unit that estimates the noise charge amount using the ratio to the noise charge amount that is generated by the background light and flows into the charge storage unit and is stored, and the accumulated charge stored in each of the charge storage units. It is provided with a distance calculation unit that calculates the distance to the subject by subtracting the amount of noise charge from the amount. [Selection diagram] Fig. 1

Description

本発明は、距離画像撮像装置及び距離画像撮像方法に関する。 The present invention relates to a distance image imaging device and a distance image imaging method.

従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定するタイム・オブ・フライト(Time of Fright以下「ＴｏＦ」と記す)方式の距離画像撮像装置がある（例えば、特許文献１参照）。
ＴｏＦ方式距離画像撮像装置は、光を照射する光源部と、距離を測定するための光を検出する画素回路が二次元の行列状(アレイ状)に複数配置された画素アレイを含む撮像部を備えている。上記画素回路の各々は、光の強度に対応する電荷を発生する光電変換素子（例えば、フォトダイオード）を構成要素として有している。
この構成により、ＴｏＦ方式距離画像撮像装置は、測定空間（三次元空間）において、自身と被写体との間の距離の情報や、被写体の画像を取得(撮像)することができる。 Conventionally, time-of-flight (Time of Fright, hereinafter referred to as "ToF") method of distance image imaging that measures the distance to the subject based on the flight time of light by utilizing the known speed of light. There is an apparatus (see, for example, Patent Document 1).
The ToF distance image imaging device includes an imaging unit including a light source unit that irradiates light and a pixel array in which a plurality of pixel circuits for detecting light for measuring distance are arranged in a two-dimensional matrix (array shape). I have. Each of the pixel circuits has a photoelectric conversion element (for example, a photodiode) that generates an electric charge corresponding to the intensity of light as a component.
With this configuration, the ToF distance image imaging device can acquire (image) information on the distance between itself and the subject and an image of the subject in the measurement space (three-dimensional space).

特開２０１５－２９０５４号公報JP-A-2015-29054

スマートフォンやタブレット端末などの携帯端末に用いるため、距離画像撮像装置の筐体（撮像装置）の小型化、低背化（薄型化）が求められている。
また、距離画像撮像装置の撮像する画像をより高精細化するため、撮像部における画素数の増加が求められている。
このため、上記画素アレイの中で端部に配置されている画素回路に入射する入射光の入射角が、中央近傍に配置された画素回路に入射する入射光の入射角に比較して大きくなる。 Since it is used for mobile terminals such as smartphones and tablet terminals, it is required to reduce the size and height (thinness) of the housing (imaging device) of the distance image imaging device.
Further, in order to improve the definition of the image captured by the distance image imaging device, it is required to increase the number of pixels in the imaging unit.
Therefore, the incident angle of the incident light incident on the pixel circuit arranged at the end of the pixel array is larger than the incident angle of the incident light incident on the pixel circuit arranged near the center. ..

画素回路に入射する入射光の入射角が大きくなるに従い、画素回路における光電変換素子のみでなく、当該光電変換素子の周辺の回路、例えば電荷を蓄積する電荷蓄積部などに照射される。
そして、光電変換素子のみでなく周辺回路（電荷蓄積部も含む）においても、光電効果により照射される光に対応した電荷（以下、ノイズ電荷）が発生し、これらが電位の高い電荷蓄積部に流入する。 As the incident angle of the incident light incident on the pixel circuit increases, not only the photoelectric conversion element in the pixel circuit but also the circuit around the photoelectric conversion element, for example, the charge storage portion for accumulating charges, is irradiated.
Then, not only in the photoelectric conversion element but also in the peripheral circuit (including the charge storage part), charges corresponding to the light irradiated by the photoelectric effect (hereinafter referred to as noise charges) are generated, and these are generated in the charge storage part having a high potential. Inflow.

また、光電変換素子から電荷蓄積部の各々に電荷を振分ける転送トランジスタの特性がそれぞれ異なっているため、転送トランジスタの特性を補正する必要がある。
この補正は、転送トランジスタ毎に設定された感度補正係数を、電荷蓄積部から読み出した電荷量に対して乗算する処理で行われる。
ここで、ノイズ電荷は、半導体基板で発生して、転送トランジスタを介さずに、電荷蓄積部の各々に流入するため、電荷蓄積部のそれぞれに蓄積される電荷量としては同一であると推定される。 Further, since the characteristics of the transfer transistor that distributes the charge from the photoelectric conversion element to each of the charge storage portions are different, it is necessary to correct the characteristics of the transfer transistor.
This correction is performed by multiplying the sensitivity correction coefficient set for each transfer transistor by the amount of charge read from the charge storage unit.
Here, since the noise charge is generated in the semiconductor substrate and flows into each of the charge storage units without passing through the transfer transistor, it is estimated that the amount of charge stored in each of the charge storage units is the same. To.

しかしながら、電荷蓄積部毎に設定された感度補正係数を、電荷蓄積部から読み出された電荷に対して乗算することにより、電荷量の各々におけるノイズ電荷による電荷量分をも補正してしまう。
すなわち、転送トランジスタの特性のバラツキの影響を受けないため、各電荷蓄積部で同一である、ノイズ電荷による電荷量分を感度補正係数により過剰に補正してしまう。
この結果、各電荷蓄積部から読み出した電荷量において、ノイズ電荷による電荷量分がばらつくことにより、距離計算の精度が低下してしまう。 However, by multiplying the sensitivity read out from the charge storage unit by the sensitivity correction coefficient set for each charge storage unit, the charge amount due to the noise charge in each of the charge amounts is also corrected.
That is, since it is not affected by the variation in the characteristics of the transfer transistor, the amount of charge due to the noise charge, which is the same in each charge storage unit, is excessively corrected by the sensitivity correction coefficient.
As a result, the accuracy of the distance calculation is lowered because the amount of charge due to the noise charge varies in the amount of charge read from each charge storage unit.

本発明は、このような状況に鑑みてなされたもので、電荷蓄積部の各々から読み出す電荷量における転送トランジスタによるバラツキを補正する際、上記電荷量に感度補正係数を乗算することによるノイズ電荷の電荷量分の変動を除去し、距離計算の精度を向上し、より正確な距離画像を撮像する距離画像撮像装置及び距離画像撮像方法を提供することを目的としている。 The present invention has been made in view of such a situation, and when correcting the variation due to the transfer transistor in the amount of charge read from each of the charge storage units, the noise charge by multiplying the amount of charge by the sensitivity correction coefficient is used. It is an object of the present invention to provide a distance image imaging device and a distance image imaging method for capturing fluctuations due to the amount of electric charge, improving the accuracy of distance calculation, and capturing a more accurate distance image.

上述した課題を解決するために、本発明の距離画像撮像装置は、測定空間に光パルスを照射する光源部と、前記測定空間から入射した光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積する複数の電荷蓄積部を備える複数の画素回路と、前記光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間における背景光により生成されて前記光電変換素子から前記転送トランジスタにより振分けられて前記電荷蓄積部で蓄積される背景光電荷量と、前記背景光により生成されて前記転送トランジスタを介さずに前記電荷蓄積部に流入して蓄積されるノイズ電荷量との比を示すノイズ電荷流入比を用いて、前記背景光電荷量から調整ノイズ電荷量を推定するノイズ電荷量推定部と、前記電荷蓄積部の各々に蓄積された蓄積電荷量のそれぞれから前記調整ノイズ電荷量を減算し、減算結果の補正電荷量の各々に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、当該乗算の結果である調整補正電荷量を用いて、被写体との距離の計算を行う距離演算部とを備えることを特徴とする。 In order to solve the above-mentioned problems, the distance image imaging apparatus of the present invention includes a light source unit that irradiates the measurement space with an optical pulse, a photoelectric conversion element that generates an electric charge according to the light incident from the measurement space, and a frame. A plurality of pixel circuits including a plurality of charge storage units that store the charge in a cycle, and each of the charge storage units are subjected to on / off processing of each transfer transistor at a predetermined storage timing synchronized with the irradiation of the optical pulse. A light receiving unit having a pixel drive circuit that distributes and stores charges, and an amount of background light charges that are generated by background light in the measurement space and distributed from the photoelectric conversion element by the transfer transistor and stored in the charge storage unit. And adjusted from the background light charge amount using the noise charge inflow ratio, which indicates the ratio to the noise charge amount generated by the background light and flowing into and accumulating in the charge storage unit without passing through the transfer transistor. The adjusted noise charge amount is subtracted from each of the noise charge amount estimation unit for estimating the noise charge amount and the accumulated charge amount stored in each of the charge storage units, and the corrected charge amount of the subtraction result is obtained. It is characterized by having a distance calculation unit that calculates the distance to the subject by multiplying by an adjustment coefficient that corrects the variation due to each on characteristic of the transfer transistor and using the adjustment correction charge amount that is the result of the multiplication. And.

本発明の距離画像撮像装置は、前記画素駆動回路が、前記距離を計測する前記フレーム周期の実行前において、前記光パルスを照射せずに、前記光電変換素子から前記電荷蓄積部の各々に転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させて参照蓄積電荷量を取得する第１比取得フレームと、前記光パルスを照射せずに、かつ転送トランジスタそれぞれのオンオフ処理を行わず、前記電荷蓄積部の各々に流入して蓄積される参照ノイズ電荷量を取得する第２比取得フレームと実行し、前記ノイズ電荷量推定部が、前記参照蓄積電荷量から前記参照ノイズ電荷量を減算した結果の参照背景光電荷量と、当該参照ノイズ電荷量とから、前記ノイズ電荷流入比を求めることを特徴とする。 In the distance image imaging apparatus of the present invention, the pixel drive circuit transfers from the photoelectric conversion element to each of the charge storage units before the execution of the frame cycle for measuring the distance without irradiating the optical pulse. The first ratio acquisition frame, which performs on / off processing of each of the transistors to distribute and store the charges to acquire the reference accumulated charge amount, and the transfer transistor without irradiating the optical pulse and performing the on / off processing of each transfer transistor, said. The second ratio acquisition frame for acquiring the reference noise charge amount flowing into and accumulating in each of the charge storage units was executed, and the noise charge amount estimation unit subtracted the reference noise charge amount from the reference stored charge amount. It is characterized in that the noise charge inflow ratio is obtained from the reference background light charge amount of the result and the reference noise charge amount.

本発明の距離画像撮像装置は、前記ノイズ電荷量推定部が、前記第１比取得フレームにおける振分け回数である第１振分回数及び前記転送トランジスタがオンされている第１オン時間を乗算した総転送時間で前記参照背景光電荷量を除算して単位参照背景光電荷量を求め、当該単位参照背景光電荷量と前記第１比取得フレームにおける電荷を蓄積する第１蓄積期間とを乗算した乗算結果により前記参照ノイズ電荷量を除算し、除算結果を前記ノイズ電荷流入比とすることを特徴とする。 In the distance image imaging device of the present invention, the noise charge amount estimation unit is the total of the number of distributions, which is the number of distributions in the first ratio acquisition frame, multiplied by the first on-time when the transfer transistor is turned on. The unit reference background light charge amount is obtained by dividing the reference background light charge amount by the transfer time, and the unit reference background light charge amount is multiplied by the first storage period for accumulating the charge in the first ratio acquisition frame. The reference noise charge amount is divided by the result, and the division result is used as the noise charge inflow ratio.

本発明の距離画像撮像装置は、前記ノイズ電荷量推定部が、前記参照背景光電荷量に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、調整された当該参照背景光電荷量を、前記ノイズ電荷流入比の算出に用いることを特徴とする。 In the distance image imaging apparatus of the present invention, the noise charge amount estimation unit is adjusted by multiplying the reference background light charge amount by an adjustment coefficient for correcting variations due to the on characteristics of each of the transfer transistors. The reference background light charge amount is used for calculating the noise charge inflow ratio.

本発明の距離画像撮像装置は、前記ノイズ電荷量推定部が、前記蓄積電荷量のうち最小の電荷量である最小電荷量から前記背景光電荷量を減算して前記調整ノイズ電荷量を求める第１の一次式と、前記背景光電荷量に対して、前記フレーム周期における第２蓄積期間と前記ノイズ電荷流入比との乗算結果を、前記フレーム周期における転送トランジスタの第２オン時間と第２振分回数との乗算結果により除算して前記調整ノイズ電荷量を求める第２の一次式とからなる二元一次方程式を解き、未知数である前記調整ノイズ電荷量及び前記背景光電荷量を求めることを特徴とする。 In the distance image imaging apparatus of the present invention, the noise charge amount estimation unit obtains the adjusted noise charge amount by subtracting the background light charge amount from the minimum charge amount which is the minimum charge amount among the accumulated charge amounts. The first-order equation of 1 and the multiplication result of the second accumulation period in the frame period and the noise charge inflow ratio with respect to the background light charge amount are multiplied by the second on-time and the second vibration of the transfer transistor in the frame period. To solve the binary linear equation consisting of the second linear equation for obtaining the adjusted noise charge amount by dividing by the multiplication result with the number of minutes, and to obtain the adjusted noise charge amount and the background light charge amount which are unknown. It is a feature.

本発明の距離画像撮像装置は、前記蓄積電荷量のうち最小の電荷量である最小電荷量と、前記ノイズ電荷流入比と、前記フレーム周期における第２蓄積期間と、前記フレーム周期における前記転送トランジスタの第２オン時間と、前記フレーム周期における前記転送トランジスタの第２振分回数との乗算結果とを入力変数とし、前記調整ノイズ電荷量を出力とするルックアップテーブルを用い、当該調整ノイズ電荷量を求めることを特徴とする。 The range image imaging apparatus of the present invention has the minimum charge amount, which is the minimum charge amount among the accumulated charge amounts, the noise charge inflow ratio, the second storage period in the frame period, and the transfer transistor in the frame period. The adjusted noise charge amount is used by using a lookup table in which the multiplication result of the second on-time of the above and the second distribution number of the transfer transistor in the frame period is used as an input variable and the adjusted noise charge amount is output. Is characterized by finding.

本発明の距離画像撮像装置は、前記ノイズ電荷量推定部が、前記蓄積電荷量のうち最小の電荷量である最小電荷量に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、調整された当該最小電荷量を、前記調整ノイズ電荷量の算出に用いることを特徴とする。 In the range image imaging apparatus of the present invention, the noise charge amount estimation unit adjusts the minimum charge amount, which is the minimum charge amount among the accumulated charge amounts, to correct variations due to the on characteristics of the transfer transistors. It is characterized in that the adjusted minimum charge amount is used for calculating the adjusted noise charge amount by multiplying by a coefficient.

本発明の距離画像撮像装置は、前記ノイズ電荷量推定部が、前記蓄積電荷量のうち最小の電荷量である最小電荷量に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、調整された当該最小電荷量を、前記調整ノイズ電荷量の算出に用いることを特徴とする。 In the range image imaging apparatus of the present invention, the noise charge amount estimation unit adjusts the minimum charge amount, which is the minimum charge amount among the accumulated charge amounts, to correct variations due to the on characteristics of the transfer transistors. It is characterized in that the adjusted minimum charge amount is used for calculating the adjusted noise charge amount by multiplying by a coefficient.

本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、画素駆動回路と、距離演算部と、ノイズ電荷量推定部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記画素駆動回路が、光パルスの照射に同期した所定の蓄積周期で、測定空間から入射光に応じて前記光電変換素子が発生した電荷を、フレーム周期においてＮ個（Ｎ≧３）の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、ノイズ電荷量推定部が、前記測定空間における背景光により生成されて前記光電変換素子から前記転送トランジスタにより振分けられて前記電荷蓄積部で蓄積される背景光電荷量と、前記背景光により生成されて前記転送トランジスタを介さずに前記電荷蓄積部に流入して蓄積されるノイズ電荷量との比を示すノイズ電荷流入比を用いて、前記背景光電荷量から調整ノイズ電荷量を推定する過程と、距離演算部が、前記電荷蓄積部の各々に蓄積された蓄積電荷量のそれぞれから前記調整ノイズ電荷量を減算し、減算結果の補正電荷量の各々に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、当該乗算の結果である調整補正電荷量を用いて、被写体との距離の計算を行う過程とを含むことを特徴とする。

The distance image imaging method of the present invention includes each of a plurality of pixel circuits including a photoelectric conversion element, a plurality of charge storage units, and a transfer transistor, a pixel drive circuit, a distance calculation unit, and a noise charge amount estimation unit. It is a distance image imaging method that controls a distance image imaging device, and the pixel drive circuit transfers the electric charge generated by the photoelectric conversion element from the measurement space according to the incident light in a predetermined accumulation cycle synchronized with the irradiation of the optical pulse. In the frame period, each of the N (N ≧ 3) charge storage units is subjected to on / off processing of each of the transfer transistors for transferring the charge from the photoelectric conversion element to the charge storage unit, and the charge is distributed and stored. The noise charge amount estimation unit is generated by the background light amount generated by the background light in the measurement space, distributed from the photoelectric conversion element by the transfer transistor, and accumulated in the charge storage unit. The process of estimating the adjusted noise charge amount from the background light charge amount using the noise charge inflow ratio, which indicates the ratio to the noise charge amount that flows into and is accumulated in the charge storage unit without passing through the transfer transistor. , The distance calculation unit subtracts the adjusted noise charge amount from each of the accumulated charge amounts stored in each of the charge storage units, and turns on each of the transfer transistors for each of the correction charge amounts of the subtraction result. It is characterized by including a process of multiplying an adjustment coefficient for correcting variation due to characteristics and calculating the distance to the subject using the adjustment correction charge amount resulting from the multiplication .

以上説明したように、本発明によれば、電荷蓄積部の各々から読み出す電荷量における転送トランジスタによるバラツキを補正する際、上記電荷量に感度補正係数を乗算することによるノイズ電荷の電荷量分の変動を除去し、距離計算の精度を向上し、より正確な距離画像を撮像する距離画像撮像装置及び距離画像撮像方法を提供することができる。 As described above, according to the present invention, when correcting the variation due to the transfer transistor in the amount of charge read from each of the charge storage units, the amount of charge of the noise charge by multiplying the amount of charge by the sensitivity correction coefficient It is possible to provide a distance image imaging device and a distance image imaging method for removing fluctuations, improving the accuracy of distance calculation, and capturing a more accurate distance image.

本発明の一実施形態の距離画像撮像装置の概略構成を示したブロック図である。It is a block diagram which showed the schematic structure of the distance image image pickup apparatus of one Embodiment of this invention. フレーム周期における電荷の蓄積期間における電荷蓄積部ＣＳの各々に蓄積される蓄積電荷量Ｑのそれぞれを示す図である。It is a figure which shows each of the accumulated charge amount Q accumulated in each charge storage part CS in the charge accumulation period in a frame period. 調整ノイズ電荷量ＱＦＰによって調整した後の蓄積電荷量Ｑのそれぞれを示す図である。It is a figure which shows each of the accumulated charge amount Q after adjustment by the adjustment noise charge amount QFP. 本発明の第１の実施形態の距離画像撮像装置における距離画像センサ３２に配置された画素回路３２１の構成の一例を示した回路図である。It is a circuit diagram which showed an example of the structure of the pixel circuit 321 arranged in the distance image sensor 32 in the distance image image pickup apparatus of 1st Embodiment of this invention. 光電変換素子ＰＤで生成された電荷を電荷蓄積部ＣＳの各々に転送するタイミングチャートを示す図である。It is a figure which shows the timing chart which transfers the charge generated by the photoelectric conversion element PD to each of charge storage part CS. 制御電荷とノイズ電荷との各々が電荷蓄積部ＣＳに蓄積される時間関係を説明する概念図である。It is a conceptual diagram explaining the time relationship that each of a control charge and a noise charge is accumulated in the charge storage part CS. ノイズ電荷量取得モードにおけるノイズ電荷流入比αの取得を説明する図である。It is a figure explaining the acquisition of the noise charge inflow ratio α in the noise charge amount acquisition mode. 本実施形態によるノイズ電荷量取得モードにおけるノイズ電荷流入比αの算出の処理の動作を示すフローチャートである。It is a flowchart which shows the operation of the process of the calculation of the noise charge inflow ratio α in the noise charge amount acquisition mode by this embodiment. 本実施形態による測距離電荷量取得モードにおける距離画像の取得処理の動作を示すフローチャートである。It is a flowchart which shows the operation of the distance image acquisition processing in the distance measurement charge amount acquisition mode by this embodiment.

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。距離画像撮像素子は、例えば、受光部３における距離画像センサ３２（後述）である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a distance image imaging device according to an embodiment of the present invention. The distance image imaging device 1 having the configuration shown in FIG. 1 includes a light source unit 2, a light receiving unit 3, and a distance image processing unit 4. Note that FIG. 1 also shows a subject S, which is an object for measuring a distance in the distance image imaging device 1. The distance image image sensor is, for example, a distance image sensor 32 (described later) in the light receiving unit 3.

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体Ｓが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。 According to the control from the distance image processing unit 4, the light source unit 2 irradiates the space of the photographing target in which the subject S whose distance is to be measured in the distance image imaging device 1 exists with the optical pulse PO. The light source unit 2 is a surface-emitting semiconductor laser module such as, for example, a vertical cavity surface emitting laser (VCSEL). The light source unit 2 includes a light source device 21 and a diffuser plate 22.

光源装置２１は、被写体Ｓに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体Ｓに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体Ｓに照射される。 The light source device 21 is a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band having a wavelength of 850 nm to 940 nm) that serves as an optical pulse PO to irradiate the subject S. The light source device 21 is, for example, a semiconductor laser light emitting device. The light source device 21 emits a pulsed laser beam according to the control from the timing control unit 41.
The diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over the size of the surface that irradiates the subject S. The pulsed laser beam diffused by the diffuser plate 22 is emitted as an optical pulse PO and irradiates the subject S.

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体Ｓによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素回路に受光（入射）させる。 The light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image imaging device 1, and outputs a pixel signal corresponding to the received reflected light RL. The light receiving unit 3 includes a lens 31 and a distance image sensor 32.
The lens 31 is an optical lens that guides the incident reflected light RL to the distance image sensor 32. The lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and receives (incidents) the incident reflected light RL into the pixel circuit provided in the light receiving region of the distance image sensor 32.

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素回路３２１、画素回路３２１の各々を制御する画素駆動回路３２２とを備える。
上記画素回路３２１は、１つの光電変換素子（例えば、後述する光電変換素子ＰＤ）と、この１つの光電変換素子に対応する複数の電荷蓄積部（例えば、後述する電荷蓄積部ＣＳ１からＣＳ４）と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられている。 The distance image sensor 32 is an image pickup device used in the distance image image pickup device 1. The distance image sensor 32 includes a plurality of pixel circuits 321 and a pixel drive circuit 322 that controls each of the pixel circuits 321 in a two-dimensional light receiving region.
The pixel circuit 321 includes one photoelectric conversion element (for example, a photoelectric conversion element PD described later) and a plurality of charge storage units (for example, charge storage units CS1 to CS4 described later) corresponding to the one photoelectric conversion element. , Each charge storage unit is provided with a component for distributing the electric charge.

距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素回路が二次元の行列状に配置されており、それぞれの画素回路の対応する１フレーム分の画素信号を出力する。 The distance image sensor 32 distributes the charges generated by the photoelectric conversion element to the respective charge storage units according to the control from the timing control unit 41. Further, the distance image sensor 32 outputs a pixel signal according to the amount of charge distributed to the charge storage unit. A plurality of pixel circuits are arranged in a two-dimensional matrix in the distance image sensor 32, and a pixel signal for one frame corresponding to each pixel circuit is output.

距離画像処理部４は、距離画像撮像装置１を制御し、被写体Ｓまでの距離を演算する。
距離画像処理部４は、タイミング制御部４１と、ノイズ電荷量推定部４２、距離演算部４３と、測定制御部４４とを備える。
タイミング制御部４１は、測定制御部４４の制御に応じて、距離の測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号や、反射光ＲＬを複数の電荷蓄積部に振り分ける信号、１フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図５参照）に電荷を振り分ける処理を繰返す回数である。 The distance image processing unit 4 controls the distance image imaging device 1 and calculates the distance to the subject S.
The distance image processing unit 4 includes a timing control unit 41, a noise charge amount estimation unit 42, a distance calculation unit 43, and a measurement control unit 44.
The timing control unit 41 controls the timing of outputting various control signals required for distance measurement according to the control of the measurement control unit 44. The various control signals here are, for example, a signal for controlling the irradiation of the optical pulse PO, a signal for distributing the reflected light RL to a plurality of charge storage units, a signal for controlling the number of distributions per frame, and the like. The number of distributions is the number of times the process of distributing charges to the charge storage unit CS (see FIG. 5) is repeated.

ノイズ電荷量推定部４２は、測定空間における背景光により生成されて光電変換素子ＰＤから転送トランジスタＧにより振分けられて電荷蓄積部ＣＳで蓄積される背景光電荷量（後述する背景光電荷量ＱＢ）と、背景光により生成されて転送トランジスタＧを介さずに電荷蓄積部ＣＳに流入して蓄積されるノイズ電荷量との比を示すノイズ電荷流入比αを用いて、電荷蓄積部ＣＳに蓄積される蓄積電荷量Ｑを補正するための蓄積ノイズ電荷量として、背景光電荷量から調整ノイズ電荷量（後述する調整ノイズ電荷量ＱＦＰ）を推定する。電荷蓄積部ＣＳに蓄積される蓄積電荷量Ｑは、背景光電荷量及びノイズ電荷量を含んでいる。 The noise charge amount estimation unit 42 is generated by the background light in the measurement space, is distributed from the photoelectric conversion element PD by the transfer transistor G, and is stored in the charge storage unit CS (background light charge amount QB described later). And the noise charge inflow ratio α, which indicates the ratio to the amount of noise charge generated by the background light and flowing into and accumulating in the charge storage unit CS without passing through the transfer transistor G, is stored in the charge storage unit CS. As the accumulated noise charge amount for correcting the accumulated charge amount Q, the adjusted noise charge amount (adjusted noise charge amount QFP described later) is estimated from the background light charge amount. The stored charge amount Q stored in the charge storage unit CS includes the background light charge amount and the noise charge amount.

距離演算部４３は、測定制御部４４の制御に応じて、距離画像センサ３２から出力された画素信号（後述する蓄積電荷量Ｑに対応する電圧値）から上記調整ノイズ電荷量を減算した補正電荷量ＢＣに基づいて、被写体Ｓまでの距離を演算した距離情報を出力する。距離演算部４３は、複数の電荷蓄積部ＣＳに蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄを算出する。距離演算部４３は、算出した遅延時間Ｔｄに応じて、距離画像撮像装置１から被写体Ｓまでの距離を演算する。 The distance calculation unit 43 subtracts the adjusted noise charge amount from the pixel signal (voltage value corresponding to the stored charge amount Q described later) output from the distance image sensor 32 under the control of the measurement control unit 44. Based on the quantity BC, the distance information obtained by calculating the distance to the subject S is output. The distance calculation unit 43 calculates the delay time Td from irradiating the optical pulse PO to receiving the reflected light RL based on the amount of electric charge accumulated in the plurality of charge storage units CS. The distance calculation unit 43 calculates the distance from the distance image imaging device 1 to the subject S according to the calculated delay time Td.

測定制御部４４は、フレーム周期で繰返されるフレームの各々のモードを、ノイズ電荷量を推定するために用いるノイズ電荷流入比αを取得するフレームである比取得フレームを実行するモードであるノイズ電荷流入比取得モードと、測距離を行う通常のフレームとする測距電荷量取得モードとを選択する。
そして、測定制御部４４は、ノイズ電荷量取得モードと測距離電荷量取得モードとの各々のモードに対応して、タイミング制御部４１におけるタイミングの制御、距離演算部４３における演算の制御を行う（後に詳述する）。 The measurement control unit 44 executes a ratio acquisition frame, which is a frame for acquiring the noise charge inflow ratio α used for estimating the amount of noise charge, in each mode of the frame repeated in the frame period. Select the ratio acquisition mode and the range-finding charge amount acquisition mode, which is a normal frame for measuring distance.
Then, the measurement control unit 44 controls the timing in the timing control unit 41 and the calculation in the distance calculation unit 43 in accordance with each mode of the noise charge amount acquisition mode and the distance measurement charge amount acquisition mode (). Will be described in detail later).

ここで、上記ノイズ電荷とは、光電変換素子ＰＤ以外の半導体基板の領域において、測定空間からの入射光（背景光及び反射光）により発生し、電荷蓄積部ＣＳに蓄積される電荷である。
このノイズ電荷は、転送トランジスタＧのオンオフ処理によって振り分けて蓄積される電荷以外の電荷、すなわち転送トランジスタＧを介さずに電荷蓄積部ＣＳに流入して蓄積される電荷である。 Here, the noise charge is a charge generated by incident light (background light and reflected light) from the measurement space and accumulated in the charge storage unit CS in the region of the semiconductor substrate other than the photoelectric conversion element PD.
This noise charge is a charge other than the charge distributed and accumulated by the on / off processing of the transfer transistor G, that is, the charge that flows into and is accumulated in the charge storage unit CS without passing through the transfer transistor G.

すなわち、本実施形態による距離画像撮像装置は、電荷蓄積部ＣＳに蓄積される電荷により、被写体と距離画像センサ３２との距離を算出する。このため、計算測距の計算において、光電変換素子から所定のタイミングで読み出される電荷とは関係なく、各フレームにおいて読み出す時点まで、背景光などによるノイズ電荷が電荷蓄積部ＣＳに蓄積されるため、計算される距離の精度が低下する。 That is, the distance image imaging device according to the present embodiment calculates the distance between the subject and the distance image sensor 32 based on the charge accumulated in the charge storage unit CS. Therefore, in the calculation of distance measurement, noise charge due to background light or the like is accumulated in the charge storage unit CS until the time of reading in each frame, regardless of the charge read from the photoelectric conversion element at a predetermined timing. The calculated distance is less accurate.

また、光電変換素子ＰＤから電荷蓄積部ＣＳの各々に対して、電荷を振分ける転送トランジスタＧのそれぞれの特性（オン抵抗、スイッチング特性など）が異なる。
このため、光電変換素子ＰＤが、一定の強度の入射光により一定の電荷を生成した場合でも、転送トランジスタＧの特性バラツキにより、それぞれの電荷蓄積部ＣＳに異なる量の電荷が振分けられてしまう。 Further, the characteristics (on-resistance, switching characteristics, etc.) of the transfer transistor G that distributes charges from the photoelectric conversion element PD to each of the charge storage units CS are different.
Therefore, even when the photoelectric conversion element PD generates a constant charge by the incident light of a constant intensity, a different amount of charge is distributed to each charge storage unit CS due to the variation in the characteristics of the transfer transistor G.

上記転送トランジスタＧによるバラツキを抑制するため、電荷蓄積部ＣＳ毎に補正係数βが設定されている。この補正係数βは、各画素回路３２１における転送トランジスタＧ毎に設定されており、転送トランジスタＧ間のバラツキをキャンセルする。
ここで、転送トランジスタＧ１に対しては補正係数β１、転送トランジスタＧ２に対しては補正係数β２、転送トランジスタＧ３に対しては補正係数β３、転送トランジスタＧ４に関しては補正係数β４が設定されている。 In order to suppress the variation due to the transfer transistor G, the correction coefficient β is set for each charge storage unit CS. This correction coefficient β is set for each transfer transistor G in each pixel circuit 321 and cancels the variation between the transfer transistors G.
Here, a correction coefficient β1 is set for the transfer transistor G1, a correction coefficient β2 is set for the transfer transistor G2, a correction coefficient β3 is set for the transfer transistor G3, and a correction coefficient β4 is set for the transfer transistor G4.

例えば、光電変換素子ＰＤが、一定の強度の入射光により一定の電荷を生成し、転送トランジスタＧの各々により、それぞれ電荷蓄積部たＣＳに電荷を振分けた場合、電荷蓄積部ＣＳの各々から読み出した蓄積電荷量に補正係数βを乗算することにより、各蓄積電荷量Ｑが同一の電荷量に調整される。
したがって、距離演算部４３は、電荷蓄積部ＣＳから読み出した蓄積電荷量Ｑに対して補正係数βを乗算することによって、高い精度で被写体Ｓと距離画像撮像装置１との距離を算出できる。 For example, when the photoelectric conversion element PD generates a constant charge by incident light of a constant intensity and distributes the charge to the CS of the charge storage unit by each of the transfer transistors G, the charge is read from each of the charge storage unit CS. By multiplying the accumulated charge amount by the correction coefficient β, each accumulated charge amount Q is adjusted to the same charge amount.
Therefore, the distance calculation unit 43 can calculate the distance between the subject S and the distance image imaging device 1 with high accuracy by multiplying the accumulated charge amount Q read from the charge storage unit CS by the correction coefficient β.

一方、課題でも説明したが、各電荷蓄積部ＣＳに流入して蓄積されるノイズ電荷量ＧＦの各々は、画素回路３２１における電荷蓄積部ＣＳのそれぞれにおいて同一である。
電荷蓄積部ＣＳから読み出される蓄積電荷量Ｑには、光電変換素子ＰＤから転送トランジスタＧにより振分けられた電荷（以下、制御電荷）による電荷量ＱＣ（以下、制御電荷量ＱＣ）当該電荷蓄積部ＣＳに転送トランジスタＧを介さずに流入したノイズ電荷が蓄積されたノイズ電荷量ＱＦも含まれている。 On the other hand, as described in the problem, each of the noise charge amount GF flowing into and being accumulated in each charge storage unit CS is the same in each of the charge storage unit CS in the pixel circuit 321.
The accumulated charge amount Q read from the charge storage unit CS is the charge amount QC (hereinafter, control charge amount QC) due to the charge distributed by the transfer transistor G from the photoelectric conversion element PD (hereinafter, control charge amount QC). Also includes a noise charge amount QF in which the noise charge that has flowed in without passing through the transfer transistor G is accumulated.

したがって、距離演算部４３が電荷蓄積部ＣＳから読み出した蓄積電荷量Ｑに補正係数βを乗算した場合、制御電荷量ＱＣだけでなく、蓄積電荷量Ｑに含まれるノイズ電荷量ＧＦも補正される。
この補正係数βの補正より、逆に転送トランジスタＧの各々の特性のバラツキに対応して、蓄積電荷量Ｑに含まれるノイズ電荷量ＱＦがばらつくことになり、被写体Ｓと距離画像撮像装置１との距離を高い精度で算出することができない。 Therefore, when the distance calculation unit 43 multiplies the stored charge amount Q read from the charge storage unit CS by the correction coefficient β, not only the control charge amount QC but also the noise charge amount GF included in the stored charge amount Q is corrected. ..
On the contrary, due to the correction of the correction coefficient β, the noise charge amount QF included in the accumulated charge amount Q varies according to the variation of each characteristic of the transfer transistor G, and the subject S and the distance image imaging device 1 Distance cannot be calculated with high accuracy.

図２は、フレーム周期における電荷の蓄積期間における電荷蓄積部ＣＳの各々に蓄積される蓄積電荷量Ｑのそれぞれを示す図である。図２においては、光パルスＰＯに対する被写体Ｓからの反射光ＲＬが、電荷蓄積部ＣＳ２及びＣＳ３の各々にに蓄積される場合を示している。
図２（ａ）は、電荷蓄積部ＣＳ１からＣＳ４（図）の各々における蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれを示している。 FIG. 2 is a diagram showing each of the accumulated charge amounts Q accumulated in each of the charge storage units CS during the charge accumulation period in the frame period. FIG. 2 shows a case where the reflected light RL from the subject S with respect to the light pulse PO is accumulated in each of the charge storage units CS2 and CS3.
FIG. 2A shows each of the accumulated charge amounts Q1, Q2, Q3, and Q4 in each of the charge storage units CS1 to CS4 (FIG.).

ここで、蓄積電荷量Ｑ１には、背景光電荷量ＱＢ１と、ノイズ電荷量ＱＦ１とが含まれている。
また、蓄積電荷量Ｑ２には、背景光電荷量ＱＢ２と、ノイズ電荷量ＱＦ２と、反射光電荷量ＱＬ２とが含まれている。 Here, the stored charge amount Q1 includes a background light charge amount QB1 and a noise charge amount QF1.
Further, the stored charge amount Q2 includes a background light charge amount QB2, a noise charge amount QF2, and a reflected light charge amount QL2.

蓄積電荷量Ｑ３には、背景光電荷量ＱＢ３と、ノイズ電荷量ＱＦ３と、反射光電荷量ＱＬ３とが含まれている。
蓄積電荷量Ｑ４には、背景光電荷量ＱＢ４と、ノイズ電荷量ＱＦ４とが含まれている。
ノイズ電荷量ＱＦ１、ＱＦ２、ＱＦ３及びＱＦ４の各々は、すでに述べたように、同様の電荷量である。 The stored charge amount Q3 includes a background light charge amount QB3, a noise charge amount QF3, and a reflected light charge amount QL3.
The stored charge amount Q4 includes a background light charge amount QB4 and a noise charge amount QF4.
Noise charge amount Each of QF1, QF2, QF3 and QF4 has the same charge amount as described above.

また、背景光により光電変換素子ＰＤにより発生する電荷による背景光電荷量ＱＢ１からＱＢ４の各々は、背景光の強度が同一であるため、実際に光電変換素子ＰＤで生成される電荷量も同一のため、それぞれが等しい。
しかしながら、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に、光電変換素子ＰＤから電荷を振分ける転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４のそれぞれの特性が異なる。 Further, since the background light intensity is the same for each of the background light charges QB1 to QB4 due to the charge generated by the photoelectric conversion element PD due to the background light, the charge amount actually generated by the photoelectric conversion element PD is also the same. Therefore, each is equal.
However, the characteristics of the transfer transistors G1, G2, G3, and G4 that distribute the charge from the photoelectric conversion element PD are different from each of the charge storage units CS1, CS2, CS3, and CS4.

このため、図２（ａ）に示されているように、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に蓄積される背景光電荷量ＱＢ１、ＱＢ２、ＱＢ３、ＱＢ４のそれぞれが異なってしまう。
一方、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に蓄積されるノイズ電荷量ＱＦ１、ＱＦ２、ＱＦ３、ＱＦ４のそれぞれは同一である。 Therefore, as shown in FIG. 2A, the background light charge amounts QB1, QB2, QB3, and QB4 stored in each of the charge storage units CS1, CS2, CS3, and CS4 are different.
On the other hand, the noise charge amounts QF1, QF2, QF3, and QF4 stored in each of the charge storage units CS1, CS2, CS3, and CS4 are the same.

図２（ｂ）は、蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々に対して、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４のそれぞれに対応した補正係数βを乗算した結果を示している。
補正係数ββ１、β２、β３及びβ４の各々を乗算する補正の結果、背景光電荷量ＱＢ１、ＱＢ２、ＱＢ３及びＱＢ４の各々が同一となることが判る。
一方、補正係数β１、β２、β３及びβ４の各々を乗算する補正の結果、同一であったノイズ電荷量ＱＦ１、ＱＦ２、ＱＦ３及びＱＦ４の各々は、それぞれが異なってバラツイてしまうことが判る。 FIG. 2B shows the result of multiplying each of the stored charge amounts Q1, Q2, Q3 and Q4 by the correction coefficient β corresponding to each of the transfer transistors G1, G2, G3 and G4.
As a result of the correction by multiplying each of the correction coefficients ββ1, β2, β3 and β4, it is found that each of the background light charge amounts QB1, QB2, QB3 and QB4 is the same.
On the other hand, as a result of the correction by multiplying each of the correction coefficients β1, β2, β3 and β4, it can be seen that the noise charge amounts QF1, QF2, QF3 and QF4, which are the same, are different from each other.

図３は、調整ノイズ電荷量ＱＦＰによって調整した後の蓄積電荷量Ｑのそれぞれを示す図である。
図３（ａ）は、図２（ａ）に示す蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々から、調整ノイズ電荷量ＱＦＰ（ノイズ電荷量ＱＦに相当）をそれぞれ減算した後を示している。このため、蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々には、ノイズ電荷量ＱＦ１、ＱＦ２、ＱＦ３、ＱＦ４のそれぞれが含まれていない。 FIG. 3 is a diagram showing each of the accumulated charge amounts Q after being adjusted by the adjusted noise charge amount QFP.
FIG. 3A shows after subtracting the adjusted noise charge amount QFP (corresponding to the noise charge amount QF) from each of the stored charge amounts Q1, Q2, Q3 and Q4 shown in FIG. 2A. .. Therefore, each of the accumulated charge amounts Q1, Q2, Q3, and Q4 does not include each of the noise charge amounts QF1, QF2, QF3, and QF4.

図３（ｂ）は、図２（ｂ）と同様に、蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々に対して、補正係数β１、β２、β３、β４のそれぞれを乗じて、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４の特性バラツキを補正した後の蓄積電荷量Ｑ'１、Ｑ'２、Ｑ'３及びＱ'４を示している。
図３（ａ）の蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々における背景光電荷量ＱＢ１、ＱＢ２、ＱＢ３、ＱＢ４のそれぞれのバラツキが、図３（ｂ）の蓄積電荷量Ｑ'１、Ｑ'２、Ｑ'３、Ｑ'４では解消されている。
また、蓄積電荷量Ｑ'１、Ｑ'２、Ｑ'３、Ｑ'４において、ノイズ電荷量ＱＦ１、ＱＦ２、ＱＦ３、ＱＦ４のそれぞれが除去され、制御電荷量ＱＣとされているため、被写体Ｓと距離画像撮像装置１との距離を、高い精度で求めることができる。 FIG. 3B shows the transfer transistor G1 by multiplying each of the stored charge amounts Q1, Q2, Q3 and Q4 by the correction coefficients β1, β2, β3 and β4, as in FIG. 2B. , Q'2, Q'2, Q'3 and Q'4 are shown after the characteristic variations of G2, G3 and G4 are corrected.
The variation of the background light charge amounts QB1, QB2, QB3, and QB4 in each of the stored charge amounts Q1, Q2, Q3, and Q4 in FIG. It has been resolved in '2, Q'3, and Q'4.
Further, in the accumulated charge amounts Q'1, Q'2, Q'3, and Q'4, each of the noise charge amounts QF1, QF2, QF3, and QF4 is removed to obtain the control charge amount QC, so that the subject S. The distance between the image and the distance image imaging device 1 can be obtained with high accuracy.

すなわち、蓄積電荷量Ｑの各々に、電荷蓄積部ＣＳのそれぞれに対応して設定されている補正係数βを乗算して、転送トランジスタＧの各々の特性のバラツキを抑制する補正を行う場合、予め蓄積電荷量Ｑからノイズ電荷量ＱＦを減算して、蓄積電荷量Ｑを制御電荷量ＱＣのみの成分とする必要がある。
このため、本実施形態においては、距離演算部４３が、ノイズ電荷量推定部４２が推定した調整ノイズ電荷量ＱＦＰ（ノイズ電荷量ＱＦに相当）を蓄積電荷量Ｑから減算し、減算結果に補正係数βを乗算して、補正後の蓄積電荷量Ｑ’（すなわち、制御電荷量ＱＣ）を用いて被写体Ｓと距離画像撮像装置１との距離を算出する（詳細は後述）。 That is, when the correction coefficient β set corresponding to each of the charge storage unit CS is multiplied by each of the stored charge amount Q to perform the correction for suppressing the variation in the characteristics of the transfer transistor G in advance. It is necessary to subtract the noise charge amount QC from the stored charge amount Q so that the stored charge amount Q is a component of only the control charge amount QC.
Therefore, in the present embodiment, the distance calculation unit 43 subtracts the adjusted noise charge amount QFP (corresponding to the noise charge amount QF) estimated by the noise charge amount estimation unit 42 from the accumulated charge amount Q, and corrects the subtraction result. The distance between the subject S and the distance image imaging device 1 is calculated by multiplying the coefficient β and using the corrected accumulated charge amount Q'(that is, the control charge amount QC) (details will be described later).

このような構成によって、距離画像撮像装置１では、光源部２が被写体Ｓに照射した近赤外の波長帯域の光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体Ｓと距離画像撮像装置１との距離を測定した距離情報を出力する。
なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。 With such a configuration, in the distance image imaging apparatus 1, the light receiving unit 3 receives the reflected light RL reflected by the subject S by the light pulse PO in the near infrared wavelength band irradiated by the light source unit 2 on the subject S. The distance image processing unit 4 outputs distance information obtained by measuring the distance between the subject S and the distance image imaging device 1.
Note that FIG. 1 shows a distance image image pickup device 1 having a distance image processing unit 4 inside, but the distance image processing unit 4 is a component provided outside the distance image image pickup device 1. You may.

ここで、距離画像センサ３２における画素回路３２１の構成について説明する。図４は、本発明の第１の実施形態の距離画像撮像装置における距離画像センサ３２に配置された画素回路３２１の構成の一例を示した回路図である。図４の画素回路３２１は、４つの画素信号読み出し部ＲＵ１からＲＵ４を備えた構成例である。 Here, the configuration of the pixel circuit 321 in the distance image sensor 32 will be described. FIG. 4 is a circuit diagram showing an example of the configuration of the pixel circuit 321 arranged in the distance image sensor 32 in the distance image imaging apparatus according to the first embodiment of the present invention. The pixel circuit 321 of FIG. 4 is a configuration example including four pixel signal reading units RU1 to RU4.

画素回路３２１は、１つの光電変換素子ＰＤと、電荷排出トランジスタＧＤ（後述するＧＤ１、ＧＤ２）と、対応する出力端子Ｏから電圧信号を出力する４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）とを備える。画素信号読み出し部ＲＵのそれぞれは、転送トランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットトランジスタＲＴと、ソースフォロアトランジスタＳＦと、選択トランジスタＳＬとを備える。フローティングディフュージョンＦＤと電荷蓄積容量Ｃとは、電荷蓄積部ＣＳを構成している。 The pixel circuit 321 includes one photoelectric conversion element PD, charge discharge transistors GD (GD1 and GD2 described later), and four pixel signal reading units RU (RU1 to RU4) that output voltage signals from the corresponding output terminals O. To prepare for. Each of the pixel signal reading units RU includes a transfer transistor G, a floating diffusion FD, a charge storage capacity C, a reset transistor RT, a source follower transistor SF, and a selection transistor SL. The floating diffusion FD and the charge storage capacity C constitute the charge storage unit CS.

図４に示した画素回路３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、転送トランジスタＧ１（転送ＭＯＳトランジスタ）と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットトランジスタＲＴ１と、ソースフォロアトランジスタＳＦ１と、選択トランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２、ＲＵ３及びＲＵ４も同様の構成である。 In the pixel circuit 321 shown in FIG. 4, the pixel signal reading unit RU1 that outputs a voltage signal from the output terminal O1 includes a transfer transistor G1 (transfer MOS transistor), a floating diffusion FD1, a charge storage capacity C1, and a reset transistor RT1. And a source follower transistor SF1 and a selection transistor SL1. In the pixel signal reading unit RU1, the charge storage unit CS1 is composed of the floating diffusion FD1 and the charge storage capacity C1. The pixel signal reading units RU2, RU3, and RU4 have the same configuration.

光電変換素子ＰＤは、入射した光を光電変換して、入射した光（入射光）に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。本実施形態においては、入射光は測定対象の空間から入射される。
画素回路３２１では、光電変換素子ＰＤが入射光を光電変換して発生させた電荷を４つの電荷蓄積部ＣＳ（ＣＳ１からＣＳ４）のそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、距離画像処理部４に出力する。 The photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light to generate an electric charge corresponding to the incident light (incident light) and stores the generated electric charge. In the present embodiment, the incident light is incident from the space to be measured.
In the pixel circuit 321, the charge generated by the photoelectric conversion element PD by photoelectric conversion of the incident light is distributed to each of the four charge storage units CS (CS1 to CS4), and each of them corresponds to the charge amount of the distributed charge. The voltage signal is output to the distance image processing unit 4.

また、距離画像センサ３２に配置される画素回路の構成は、図４に示したような、４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）を備えた構成に限定されるものではなく、画素信号読み出し部ＲＵが１個以上の複数の画素信号読み出し部ＲＵを備えた構成の画素回路でもよい。 Further, the configuration of the pixel circuit arranged in the distance image sensor 32 is not limited to the configuration including the four pixel signal reading units RU (RU1 to RU4) as shown in FIG. 4, and the pixel signal is not limited to the configuration. A pixel circuit having a configuration in which the reading unit RU includes a plurality of pixel signal reading units RU having one or more may be used.

上記距離画像撮像装置１の画素回路３２１の駆動において、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光される。画素駆動回路３２２は、タイミング制御部４１に制御により、光パルスＰＯの照射に同期させて、光電変換素子ＰＤに発生する電荷を、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４に対して、蓄積駆動信号ＴＸ１からＴＸ４をそれぞれのタイミングにより供給して振り替えて、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に蓄積させる。 In driving the pixel circuit 321 of the distance image imaging device 1, the light pulse PO is irradiated with the irradiation time To, and the reflected light RL is received by the distance image sensor 32 with a delay time Td delay. The pixel drive circuit 322, under the control of the timing control unit 41, charges the electric charge generated in the photoelectric conversion element PD to the transfer transistors G1, G2, G3, and G4 in synchronization with the irradiation of the optical pulse PO, and stores the charge signal. TX1 to TX4 are supplied and transferred at each timing, and the charge storage units CS1, CS2, CS3, and CS4 are stored in this order.

そして、画素駆動回路３２２は、リセットトランジスタＲＴ及び選択トランジスタＳＬの各々を、駆動信号ＲＳＴ、ＳＥＬそれぞれにより制御し、電荷蓄積部ＣＳに蓄積された電荷を、ソースフォロアトランジスタＳＦにより電気信号に変換し、生成された電気信号を端子Ｏを介して距離演算部４３に出力する。
また、画素駆動回路３２２は、タイミング制御部４１に制御により、駆動信号ＲＳＴＤにより、光電変換素子ＰＤにおいて発生された電荷を電源ＶＤＤに流して放電する（電荷を消去する）。 Then, the pixel drive circuit 322 controls each of the reset transistor RT and the selection transistor SL by the drive signals RST and SEL, respectively, and converts the charge accumulated in the charge storage unit CS into an electric signal by the source follower transistor SF. , The generated electric signal is output to the distance calculation unit 43 via the terminal O.
Further, the pixel drive circuit 322 causes the electric charge generated in the photoelectric conversion element PD to flow to the power supply VDD and discharge (eliminate the electric charge) by the drive signal RSTD under the control of the timing control unit 41.

図５は、光電変換素子ＰＤで生成された電荷を電荷蓄積部ＣＳの各々に転送するタイミングチャートを示す図である。
図５のタイミングチャートにおいて、縦軸はパルスのレベルを示し、横軸は時間を示している。光パルスＰＯ及び反射光ＲＬの時間軸における相対関係と、転送トランジスタＧ１からＧ４の各々に供給する蓄積駆動信号ＴＸ１からＴＸ４それぞれのタイミングと、電荷排出トランジスタＧＤに供給する駆動信号ＲＳＴＤのタイミングとを示している。 FIG. 5 is a diagram showing a timing chart for transferring the charges generated by the photoelectric conversion element PD to each of the charge storage units CS.
In the timing chart of FIG. 5, the vertical axis shows the pulse level and the horizontal axis shows the time. The relative relationship between the optical pulse PO and the reflected light RL on the time axis, the timing of each of the storage drive signals TX1 to TX4 supplied to each of the transfer transistors G1 to G4, and the timing of the drive signal RSTD supplied to the charge discharge transistor GD. Shows.

タイミング制御部４１は、光源部２に対して光パルスＰＯを測定空間に対して照射させる。これにより、光パルスＰＯが被写体に反射し、反射光ＲＬとして受光部３に受光される。そして、光電変換素子ＰＤは、背景光及び反射光ＲＬの各々に対応した電荷を発生する。画素駆動回路３２２は、光電変換素子ＰＤの発生した電荷を、電荷蓄積部ＣＳ１からＣＳ４の各々に対して転送するため、転送トランジスタＧ１からＧ４の各々のオンオフを制御する。 The timing control unit 41 causes the light source unit 2 to irradiate the measurement space with the optical pulse PO. As a result, the light pulse PO is reflected by the subject and is received by the light receiving unit 3 as reflected light RL. Then, the photoelectric conversion element PD generates electric charges corresponding to each of the background light and the reflected light RL. The pixel drive circuit 322 controls the on / off of each of the transfer transistors G1 to G4 in order to transfer the charge generated by the photoelectric conversion element PD to each of the charge storage units CS1 to CS4.

すなわち、画素駆動回路３２２は、蓄積駆動信号ＴＸ１からＴＸ４の各々を、所定の時間幅（照射時間Ｔｏと同一の幅）の「Ｈ」レベルの信号として、転送トランジスタＧ１からＧ４それぞれに供給する。 That is, the pixel drive circuit 322 supplies each of the storage drive signals TX1 to TX4 to each of the transfer transistors G1 to G4 as an "H" level signal having a predetermined time width (the same width as the irradiation time To).

画素駆動回路３２２は、例えば、光電変換素子ＰＤから電荷を電荷蓄積部ＣＳ１に転送する転送経路上に設けられた転送トランジスタＧ１をオン状態にする。これにより、光電変換素子ＰＤにより光電変換された電荷が、転送トランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。その後、画素駆動回路３２２は、転送トランジスタＧ１をオフ状態にする。これにより、電荷蓄積部ＣＳ１への電荷の転送が停止される。このようにして、画素駆動回路３２２は、電荷蓄積部ＣＳ１に電荷を蓄積させる。他の電荷蓄積部ＣＳ２、ＣＳ３及びＣＳ４においても同様である。 The pixel drive circuit 322 turns on, for example, the transfer transistor G1 provided on the transfer path for transferring charges from the photoelectric conversion element PD to the charge storage unit CS1. As a result, the charge photoelectrically converted by the photoelectric conversion element PD is accumulated in the charge storage unit CS1 via the transfer transistor G1. After that, the pixel drive circuit 322 turns off the transfer transistor G1. As a result, the transfer of electric charge to the electric charge storage unit CS1 is stopped. In this way, the pixel drive circuit 322 stores the electric charge in the electric charge accumulating unit CS1. The same applies to the other charge storage units CS2, CS3 and CS4.

このとき、電荷蓄積部ＣＳに電荷の振り分けを行なう電荷蓄積期間（フレームにおける電荷蓄積部ＣＳの各々に電荷を蓄積する期間）において、蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４の各々が、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４それぞれに供給される蓄積周期が繰返される。
そして、転送トランジスタＧ１、Ｇ２、Ｇ３及びＧ４の各々を介して、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４それぞれに、光電変換素子ＰＤから入射光に対応した電荷が転送される。電荷蓄積期間に複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の蓄積周期毎に、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４それぞれに電荷が蓄積される。 At this time, in the charge storage period (the period in which the charge is stored in each of the charge storage units CS in the frame) in which the charge is distributed to the charge storage unit CS, each of the storage drive signals TX1, TX2, TX3, and TX4 is a transfer transistor. The accumulation cycle supplied to each of G1, G2, G3, and G4 is repeated.
Then, the electric charge corresponding to the incident light is transferred from the photoelectric conversion element PD to each of the charge storage units CS1, CS2, CS3, and CS4 via each of the transfer transistors G1, G2, G3, and G4. Multiple accumulation cycles are repeated during the charge accumulation period.
As a result, charges are accumulated in each of the charge storage units CS1, CS2, CS3, and CS4 for each storage cycle of the charge storage units CS1, CS2, CS3, and CS4 during the charge storage period.

また、画素駆動回路３２２は、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の蓄積周期を繰返す際、電荷蓄積部ＣＳ４に対する電荷の転送（振替）が終了した後、光電変換素子ＰＤから電荷を排出する排出経路上に設けられた電荷排出トランジスタＧＤに対して、「Ｈ」レベルの駆動信号ＲＳＴＤを供給してオンさせる。 Further, the pixel drive circuit 322 transfers the charge from the photoelectric conversion element PD after the transfer (transfer) of the charge to the charge storage unit CS4 is completed when the storage cycle of each of the charge storage units CS1, CS2, CS3 and CS4 is repeated. An "H" level drive signal RSTD is supplied to the charge discharge transistor GD provided on the discharge path for discharge to turn it on.

これにより、電荷排出トランジスタＧＤは、電荷蓄積部ＣＳ１に対する蓄積周期が開始される前に、直前の電荷蓄積部ＣＳ４の蓄積周期の後に光電変換素子ＰＤに発生した電荷を破棄する（すなわち、光電変換素子ＰＤをリセットさせる）。すなわち、電荷排出トランジスタＧＤは、一個あるいは複数個（一個以上）設けられ、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の各々に、光電変換素子ＰＤから、入射光により発生した電荷を振分けて蓄積させる期間以外おいて、光電変換素子ＰＤから電荷を排出する。 As a result, the charge discharge transistor GD discards the charge generated in the photoelectric conversion element PD after the accumulation cycle of the immediately preceding charge storage unit CS4 before the storage cycle for the charge storage unit CS1 is started (that is, photoelectric conversion). Reset the element PD). That is, one or a plurality (one or more) charge discharge transistors GD are provided, and the charge generated by the incident light is distributed to each of the charge storage units CS1, CS2, CS3 and CS4 from the photoelectric conversion element PD. Charges are discharged from the photoelectric conversion element PD at a time other than the storage period.

そして、画素駆動回路３２２は、受光部３内に配置された全ての画素回路３２１の各々から、それぞれ電圧信号を画素回路３２１の行（横方向の配列）単位で、順次Ａ／Ｄ変換処理などの信号処理を行なう。
その後、画素駆動回路３２２は、信号処理を行った後の電圧信号を、受光部３において配置された列の順番に、順次、距離演算部４３に対して出力させる。 Then, the pixel drive circuit 322 sequentially performs A / D conversion processing and the like in units of rows (horizontal arrangement) of the pixel circuit 321 for voltage signals from each of all the pixel circuits 321 arranged in the light receiving unit 3. Signal processing is performed.
After that, the pixel drive circuit 322 outputs the voltage signal after the signal processing to the distance calculation unit 43 in the order of the columns arranged in the light receiving unit 3.

上述したような、画素駆動回路３２２による電荷蓄積部ＣＳへ電荷の蓄積と光電変換素子ＰＤが光電変換した電荷の破棄とが、１フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置１に受光された光量に相当する電荷が、電荷蓄積部ＣＳのそれぞれに蓄積される。画素駆動回路３２２は、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号を、距離演算部４３に出力する。 As described above, the accumulation of electric charge in the charge storage unit CS by the pixel drive circuit 322 and the discarding of the electric charge converted by the photoelectric conversion element PD are repeatedly performed over one frame. As a result, charges corresponding to the amount of light received by the distance image imaging device 1 in a predetermined time interval are accumulated in each of the charge storage units CS. The pixel drive circuit 322 outputs an electric signal corresponding to the amount of charge for one frame stored in each of the charge storage units CS to the distance calculation unit 43.

光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳ（ＣＳ１からＣＳ４）のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１には、光パルスＰＯを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部ＣＳ２、ＣＳ３及びＣＳ４には、反射光ＲＬ、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部ＣＳ２及びＣＳ３、あるいは電荷蓄積部ＣＳ３及びＣＳ４に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体Ｓに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄ（図５）に応じた比率となる。 Due to the relationship between the timing of irradiating the optical pulse PO and the timing of accumulating charges in each of the charge storage units CS (CS1 to CS4), the charge storage unit CS1 has the background light before irradiating the optical pulse PO. The amount of charge corresponding to the external light component is retained. Further, the amount of charge corresponding to the reflected light RL and the external light component is distributed and held in the charge storage units CS2, CS3 and CS4. The distribution (distribution ratio) of the amount of charge distributed to the charge storage units CS2 and CS3 or the charge storage units CS3 and CS4 is the delay time until the optical pulse PO is reflected by the subject S and is incident on the distance image imaging device 1. The ratio corresponds to Td (FIG. 5).

図１に戻り、距離演算部４３は、この原理を利用して、以下の（１）あるいは（２）式により、遅延時間Ｔｄを算出する。
Ｔｄ＝Ｔｏ×（Ｑ'３－Ｑ'１）／（Ｑ'２＋Ｑ'３－２×Ｑ'１） …（１）
Ｔｄ＝Ｔｏ＋Ｔｏ×（Ｑ'４－Ｑ'１）／（Ｑ'３＋Ｑ'４－２×Ｑ'１） …（２）
ここで、Ｔｏは光パルスＰＯが照射された期間である。Ｑ'１は、電荷蓄積部ＣＳ１に蓄積された電荷量Ｑ１から調整ノイズ電荷量ＱＦＰを減算した結果に補正係数β１を乗算して求めた蓄積電荷量である。また、Ｑ'２は、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２から調整ノイズ電荷量ＱＦＰを減算した結果に補正係数β２を乗算して求めた蓄積電荷量である。 Returning to FIG. 1, the distance calculation unit 43 uses this principle to calculate the delay time Td by the following equation (1) or (2).
Td = To × (Q'3-Q'1) / (Q'2 + Q'3-2 × Q'1)… (1)
Td = To + To × (Q'4-Q'1) / (Q'3 + Q'4-2 × Q'1)… (2)
Here, To is the period during which the optical pulse PO is irradiated. Q'1 is the stored charge amount obtained by multiplying the result of subtracting the adjusted noise charge amount QFP from the charge amount Q1 stored in the charge storage unit CS1 by the correction coefficient β1. Further, Q'2 is a stored charge amount obtained by multiplying the result of subtracting the adjusted noise charge amount QFP from the charge amount Q2 stored in the charge storage unit CS2 by the correction coefficient β2.

Ｑ'３は、電荷蓄積部ＣＳ３に蓄積された電荷量Ｑ３から調整ノイズ電荷量ＱＦＰを減算した結果に補正係数β３を乗算して求めた蓄積電荷量である。Ｑ'４は、電荷蓄積部ＣＳ４に蓄積された電荷量Ｑ４から調整ノイズ電荷量ＱＦＰを減算した結果に補正係数β４を乗算して求めた蓄積電荷量である。
距離演算部４３は、例えば、Ｑ'４＝Ｑ'１である場合、（１）式で遅延時間Ｔｄを算出し、一方、Ｑ'２＝Ｑ'１である場合、（２）式で遅延時間Ｔｄを算出する。 Q'3 is the stored charge amount obtained by multiplying the result of subtracting the adjusted noise charge amount QFP from the charge amount Q3 stored in the charge storage unit CS3 by the correction coefficient β3. Q'4 is the stored charge amount obtained by multiplying the result of subtracting the adjusted noise charge amount QFP from the charge amount Q4 stored in the charge storage unit CS4 by the correction coefficient β4.
For example, when Q'4 = Q'1, the distance calculation unit 43 calculates the delay time Td by the equation (1), while when Q'2 = Q'1, the distance calculation unit 43 calculates the delay time Td by the equation (2). Calculate the time Td.

（１）式においては、電荷蓄積部ＣＳ２及びＣＳ３には反射光により発生された電荷が蓄積されるが、電荷蓄積部ＣＳ４には蓄積されない。一方、（２）式においては、電荷蓄積部ＣＳ３及びＣＳ４には反射光により発生された電荷が蓄積されるが、電荷蓄積部ＣＳ２には蓄積されない。
なお、（１）式あるいは（２）式では、電荷蓄積部ＣＳ２、ＣＳ３及びＣＳ４に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。 In the equation (1), the charges generated by the reflected light are accumulated in the charge storage units CS2 and CS3, but are not accumulated in the charge storage units CS4. On the other hand, in the equation (2), the charges generated by the reflected light are accumulated in the charge storage units CS3 and CS4, but are not accumulated in the charge storage units CS2.
In addition, in the formula (1) or the formula (2), among the charge amounts stored in the charge storage units CS2, CS3 and CS4, the component corresponding to the external light component is the charge amount stored in the charge storage unit CS1. It is assumed that the amount is the same.

距離演算部４３は、（１）式あるいは（２）式で求めた遅延時間に、光速（速度）を乗算させることにより、被写体Ｓまでの往復の距離を算出する。
そして、距離演算部４３は、上記で算出した往復の距離を１／２とする（遅延時間Ｔｄ×ｃ（光速度）／２）ことにより、距離画像センサ３２（すなわち、距離画像撮像装置１）から被写体Ｓまでの距離を求める。 The distance calculation unit 43 calculates the round-trip distance to the subject S by multiplying the delay time obtained by the equation (1) or the equation (2) by the speed of light (speed).
Then, the distance calculation unit 43 halves the round-trip distance calculated above (delay time Td × c (speed of light) / 2), so that the distance image sensor 32 (that is, the distance image imaging device 1) is used. The distance from the subject S to the subject S is obtained.

図６は、制御電荷とノイズ電荷との各々が電荷蓄積部ＣＳに蓄積される時間関係を説明する概念図である。
図６に示すように、フレーム周期は、蓄積期間と読み出し期間とから構成されている。
これにより、フレーム毎に、蓄積期間において電荷蓄積部ＣＳの各々に蓄積電荷量Ｑのそれぞれを蓄積させる。
そして、読み出し期間において、画素回路３２１の各々の電荷蓄積部ＣＳのそれぞれから、蓄積された蓄積電荷量が、距離画像処理部４に対して出力され、距離画像処理部４が各画素における被写体Ｓと当該画素との距離を算出する。 FIG. 6 is a conceptual diagram illustrating the time relationship in which each of the control charge and the noise charge is accumulated in the charge storage unit CS.
As shown in FIG. 6, the frame period is composed of a storage period and a read period.
As a result, each of the accumulated charge amounts Q is accumulated in each of the charge storage units CS during the accumulation period for each frame.
Then, during the readout period, the accumulated accumulated charge amount is output to the distance image processing unit 4 from each of the charge storage units CS of the pixel circuit 321, and the distance image processing unit 4 is the subject S in each pixel. And the distance between the pixel and the pixel are calculated.

また、光電変換素子ＰＤから転送トランジスタＧを介して、光電変換素子ＰＤで発生した電荷が制御電荷（反射光ＲＬにより生成された電荷及び背景光により生成された電荷）として電荷蓄積部ＣＳに対して振分けられる期間は、転送トランジスタＧをオン状態とする蓄積駆動信号ＴＸのパルス幅である。
そして、光電変換素子ＰＤから電荷蓄積部ＣＳに対する振分けは、フレームにおける蓄積期間において所定の回数（振分回数）で行われる。 Further, the electric charge generated by the photoelectric conversion element PD from the photoelectric conversion element PD via the transfer transistor G is used as a control charge (charge generated by the reflected light RL and charge generated by the background light) with respect to the charge storage unit CS. The period to be distributed is the pulse width of the storage drive signal TX that turns on the transfer transistor G.
Then, the distribution from the photoelectric conversion element PD to the charge storage unit CS is performed a predetermined number of times (number of distributions) during the storage period in the frame.

一方、ノイズ電荷は、入射光により半導体基板において発生して、転送トランジスタＧを介さずに電荷蓄積部ＣＳに流入するため、画素回路３２１の各々における電荷蓄積部ＣＳのそれぞれに、蓄積電荷量Ｑとして読み出されるまで、すなわち蓄積期間において連続的に流入して蓄積される。
また、入射光として反射光ＲＬが含まれない期間の方が長いことと、光電変換素子ＰＤ及び半導体基板の各々に入射する背景光の強度が同一であることから、反射光電荷量ＱＬとノイズ電荷量ＱＦとの間には相関がある。 On the other hand, the noise charge is generated in the semiconductor substrate by the incident light and flows into the charge storage unit CS without passing through the transfer transistor G. Therefore, the accumulated charge amount Q is generated in each of the charge storage units CS in each of the pixel circuits 321. It continuously flows in and accumulates until it is read out as, that is, during the accumulation period.
Further, since the period in which the reflected light RL is not included as the incident light is longer and the intensity of the background light incident on each of the photoelectric conversion element PD and the semiconductor substrate is the same, the reflected light charge amount QL and noise. There is a correlation with the amount of charge QF.

このため、本実施形態においては、調整ノイズ電荷量ＱＦＰの推定に用いるノイズ電荷流入比αを、予め、反射光電荷量ＱＬとノイズ電荷量ＱＦとから求めている。
転送トランジスタＧで転送する際の蓄積駆動信号ＴＸのパルス幅に対して、振分回数を乗算することにより、光電変換素子ＰＤが発生する電荷を各電荷蓄積部ＣＳに供給する時間幅ＴＡＬＬが求められる。この時間幅ＴＡＬＬは、光電変換素子ＰＤが電荷蓄積部ＣＳの各々に供給する電荷を生成する時間に相当する。 Therefore, in the present embodiment, the noise charge inflow ratio α used for estimating the adjusted noise charge amount QFP is obtained in advance from the reflected light charge amount QL and the noise charge amount QF.
By multiplying the pulse width of the storage drive signal TX when transferred by the transfer transistor G by the number of distributions, the time width TALL for supplying the charge generated by the photoelectric conversion element PD to each charge storage unit CS is obtained. Be done. This time width TALL corresponds to the time for the photoelectric conversion element PD to generate a charge to be supplied to each of the charge storage units CS.

したがって、背景光電荷量ＱＢを時間幅ＴＡＬＬで除算することにより、光電変換素子ＰＤで単位時間に生成される電荷量が求められる。
そして、電荷蓄積部ＣＳに流入して蓄積されたノイズ電荷量を、光電変換素子ＰＤで単位時間に生成される電荷量に蓄積期間の時間を乗算した結果で除算することにより、ノイズ電荷流入比αが求められる。 Therefore, by dividing the background light charge amount QB by the time width TALL, the charge amount generated in the unit time by the photoelectric conversion element PD can be obtained.
Then, the noise charge inflow ratio is divided by dividing the amount of noise charge that has flowed into and accumulated in the charge storage unit CS by the amount of charge generated in the unit time by the photoelectric conversion element PD multiplied by the time of the storage period. α is required.

図７は、ノイズ電荷量取得モードにおけるノイズ電荷流入比αの取得を説明する図である。ノイズ電荷量取得モードにおいては、第１比取得フレームと第２比取得フレームとが実行される。
すなわち、測定制御部４４は、例えば距離画像撮像装置１が起動された際、あるいは任意に実行が指示された際に、測距離電荷量取得モードからノイズ電荷量取得モードに動作状態を遷移させる。そして、測定制御部４４は、タイミング制御部４１におけるタイミングの制御、距離演算部４３における演算の制御を行う。 FIG. 7 is a diagram illustrating acquisition of the noise charge inflow ratio α in the noise charge amount acquisition mode. In the noise charge amount acquisition mode, the first ratio acquisition frame and the second ratio acquisition frame are executed.
That is, the measurement control unit 44 shifts the operating state from the distance measurement charge amount acquisition mode to the noise charge amount acquisition mode, for example, when the distance image imaging device 1 is activated or when the execution is arbitrarily instructed. Then, the measurement control unit 44 controls the timing in the timing control unit 41 and the operation in the distance calculation unit 43.

図７（ａ）は、第１比取得フレームの動作を示しており、光パルスＰＯを照射させずに、入射光として背景光のみとし、上記ノイズ電荷流入比αの算出に用いる蓄積電荷量として参照蓄積電荷量ＱＲを取得する。
また、図７（ａ）の場合、フレーム周期における蓄積期間において、所定の振分回数としてＳ回、パルス幅がＴＳの蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３及びＴＸ４の各々により、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４のそれぞれをオンオフして、光電変換素子ＰＤから電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４に対して電荷を振り分け、参照蓄積電荷量ＱＲ１、ＱＲ２、ＱＲ３、ＱＲ４を蓄積させる。 FIG. 7A shows the operation of the first ratio acquisition frame, in which only the background light is used as the incident light without irradiating the optical pulse PO, and the accumulated charge amount used for calculating the noise charge inflow ratio α is used. The reference stored charge amount QR is acquired.
Further, in the case of FIG. 7A, the transfer transistors G1 and G2 are each subjected to the storage drive signals TX1, TX2, TX3 and TX4 having a predetermined number of distributions of S times and a pulse width of TS during the storage period in the frame cycle. , G3 and G4 are turned on and off, and the charge is distributed from the photoelectric conversion element PD to the charge storage units CS1, CS2, CS3 and CS4, and the reference stored charge amounts QR1, QR2, QR3 and QR4 are stored.

そして、ノイズ電荷量推定部４２は、第１比取得フレームの読み出し期間において、画素駆動回路３２２の制御により、画素回路３２１毎に、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々から、参照蓄積電荷量ＱＲ１、ＱＲ２、ＱＲ３、ＱＲ４のそれぞれを取得する。
取得された参照蓄積電荷量ＱＲ１、ＱＲ２、ＱＲ３及びＱＲ４の各々には、参照背景光電荷量ＱＢＲ１、ＱＢＲ２、ＱＢＲ３、ＱＢＲ４と、参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４とがそれぞれ含まれている。 Then, during the read-out period of the first ratio acquisition frame, the noise charge amount estimation unit 42 refers to and stores each of the charge storage units CS1, CS2, CS3, and CS4 for each pixel circuit 321 under the control of the pixel drive circuit 322. Each of the charge amounts QR1, QR2, QR3, and QR4 is acquired.
Each of the acquired reference stored charge amounts QR1, QR2, QR3 and QR4 includes reference background light charge amounts QBR1, QBR2, QBR3, QBR4 and reference noise charge amounts QFR1, QFR2, QFR3 and QFR4, respectively. There is.

図７（ｂ）は、第２比取得フレームの動作を示しており、光パルスＰＯを照射させずに、入射光として背景光のみとし、上記ノイズ電荷流入比αの算出に用いる蓄積電荷量として参照蓄積電荷量ＱＲを取得する。
また、図７（ｂ）の場合、フレーム周期における蓄積期間において、蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３及びＴＸ４の各々を供給せず、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４のそれぞれをオフ状態のままとし、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４のそれぞれに対してノイズ電荷を流入させ、参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４としてノイズ電荷を蓄積させる。 FIG. 7B shows the operation of the second ratio acquisition frame, in which only the background light is used as the incident light without irradiating the optical pulse PO, and the accumulated charge amount used for calculating the noise charge inflow ratio α is used. The reference stored charge amount QR is acquired.
Further, in the case of FIG. 7B, during the storage period in the frame period, each of the storage drive signals TX1, TX2, TX3 and TX4 is not supplied, and each of the transfer transistors G1, G2, G3 and G4 remains in the off state. Then, the noise charge is flowed into each of the charge storage units CS1, CS2, CS3, and CS4, and the noise charge is accumulated as the reference noise charge amounts QFR1, QFR2, QFR3, and QFR4.

そして、ノイズ電荷量推定部４２は、第２比取得フレームの読み出し期間において、画素駆動回路３２２の制御により、画素回路３２１毎に、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々から、参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４のそれぞれを取得する。ここで、参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３及びＱＦＲ４の各々は、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４のそれぞれに流入して蓄積される電荷量のため、同一である。
ノイズ電荷量推定部４２は、第１比取得フレームで取得した参照蓄積電荷量ＱＲ１、ＱＲ２、ＱＲ３及びＱＲ４の各々から、参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４のそれぞれを減算して、参照背景光電荷量ＱＢＲ１、ＱＢＲ２、ＱＢＲ３、ＱＢＲ４を求める。 Then, the noise charge amount estimation unit 42 receives reference noise from each of the charge storage units CS1, CS2, CS3, and CS4 for each pixel circuit 321 under the control of the pixel drive circuit 322 during the read period of the second ratio acquisition frame. Each of the charge amounts QFR1, QFR2, QFR3, and QFR4 is acquired. Here, each of the reference noise charge amounts QFR1, QFR2, QFR3, and QFR4 is the same because of the amount of charge that flows into and is stored in each of the charge storage units CS1, CS2, CS3, and CS4.
The noise charge amount estimation unit 42 subtracts each of the reference noise charge amounts QFR1, QFR2, QFR3, and QFR4 from each of the reference stored charge amounts QR1, QR2, QR3, and QR4 acquired in the first ratio acquisition frame, and refers to them. The amount of background light charge QBR1, QBR2, QBR3, and QBR4 are obtained.

ノイズ電荷量推定部４２は、参照背景光電荷量ＱＢＲ１、ＱＢＲ２、ＱＢＲ３及びＱＢＲ４の各々から最小の電荷量を、最小参照背景光電荷量として抽出する。
そして、ノイズ電荷量推定部４２は、最小参照背景光電荷量に対して、対応する補正係数βを乗算し、調整参照背景光電荷量を取得する。
ノイズ電荷量推定部４２は、蓄積駆動信号ＴＸのパルス幅（第１オン時間ＴＰ１）と振分回数（第１振分回数、Ｍ１）とを乗算し、乗算結果として総転送時間を算出する。 The noise charge amount estimation unit 42 extracts the minimum charge amount from each of the reference background light charge amounts QBR1, QBR2, QBR3 and QBR4 as the minimum reference background light charge amount.
Then, the noise charge amount estimation unit 42 multiplies the minimum reference background light charge amount by the corresponding correction coefficient β to obtain the adjusted reference background light charge amount.
The noise charge amount estimation unit 42 multiplies the pulse width (first on-time TP1) of the storage drive signal TX and the number of distributions (first distribution number, M1), and calculates the total transfer time as the multiplication result.

ノイズ電荷量推定部４２は、この総転送時間により調整参照背景光電荷量を除算して、単位時間あたりに光電変換素子ＰＤ背景光により生成される電荷量に相当する単位参照背景光電荷量を求める。
そして、ノイズ電荷量推定部４２は、参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３及びＱＦＲ４のいずれかを参照ノイズ電荷量ＱＦＲとし、蓄積期間の時間により除算し、単位時間当りに電荷蓄積部ＣＳに流入して蓄積される単位時間流入電荷量を算出する。
これにより、ノイズ電荷量推定部４２は、単位時間流入電荷量を単位参照背景光電荷量により除算し、ノイズ電荷流入比αを求める。 The noise charge amount estimation unit 42 divides the adjusted reference background light charge amount by this total transfer time, and obtains a unit reference background light charge amount corresponding to the charge amount generated by the photoelectric conversion element PD background light per unit time. Ask.
Then, the noise charge amount estimation unit 42 uses any one of the reference noise charge amounts QFR1, QFR2, QFR3, and QFR4 as the reference noise charge amount QFR, divides it by the time of the storage period, and flows into the charge storage unit CS per unit time. The unit time inflow charge amount to be accumulated is calculated.
As a result, the noise charge amount estimation unit 42 divides the unit time inflow charge amount by the unit reference background light charge amount to obtain the noise charge inflow ratio α.

すなわち、背景光の強度が同様のため、光電変換素子ＰＤで生成される単位時間当りに生成される電荷量と、反射光により生成されて単位時間当りに電荷蓄積部ＣＳに流入する電荷量とは相関がある。
すなわち、距離を計測する際において、光電変換素子ＰＤで背景光により単位時間あたりに生成され電荷量が求められた場合、ノイズ電荷量推定部４２は、この電荷量と上記ノイズ電荷流入比αとにより、単位時間当りに電荷蓄積部ＣＳに流入するノイズ電荷の電荷量を推定できる。 That is, since the intensity of the background light is the same, the amount of charge generated per unit time generated by the photoelectric conversion element PD and the amount of charge generated by the reflected light and flowing into the charge storage unit CS per unit time. Is correlated.
That is, when measuring the distance, when the charge amount generated per unit time by the background light is obtained by the photoelectric conversion element PD, the noise charge amount estimation unit 42 determines the charge amount and the noise charge inflow ratio α. Therefore, the amount of electric charge of the noise charge flowing into the charge storage unit CS per unit time can be estimated.

また、測定制御部４４は、上述した図７におけるノイズ電荷量取得モードが終了した場合、ノイズ電荷量取得モードから測距離電荷量取得モードに動作状態を遷移させる。そして、測定制御部４４は、タイミング制御部４１におけるタイミングの制御、距離演算部４３における演算の制御を行う。
そして、ノイズ電荷量推定部４２は、フレーム周期の読み出し期間において、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々から、蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれを読み込む。 Further, when the noise charge amount acquisition mode in FIG. 7 described above is completed, the measurement control unit 44 shifts the operating state from the noise charge amount acquisition mode to the distance measurement charge amount acquisition mode. Then, the measurement control unit 44 controls the timing in the timing control unit 41 and the operation in the distance calculation unit 43.
Then, the noise charge amount estimation unit 42 reads each of the stored charge amounts Q1, Q2, Q3, and Q4 from each of the charge storage units CS1, CS2, CS3, and CS4 during the read period of the frame period.

ノイズ電荷量推定部４２は、蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４において、最小の電荷量を最小電荷量（反射光ＲＬによる電荷成分がなく、背景光のみで生成された電荷成分）として抽出する。
この最小電荷量ＱＰは、光電変換素子ＰＤから転送トランジスタＧにより振分けられた制御電荷の背景光電荷量ＱＢと、転送トランジスタＧを介さずに流入したノイズ電荷によるノイズ電荷量ＱＦ（調整ノイズ電荷量ＱＦＰ）とが含まれた電荷量である。
したがって最小電荷量ＱＰは、以下の（３）式として表される。
ＱＰ＝ＱＢ＋ＱＦ …（３） The noise charge amount estimation unit 42 extracts the minimum charge amount as the minimum charge amount (the charge component generated only by the background light without the charge component due to the reflected light RL) in the stored charge amounts Q1, Q2, Q3 and Q4. do.
This minimum charge amount QP is the background light charge amount QB of the control charge distributed from the photoelectric conversion element PD by the transfer transistor G and the noise charge amount QF (adjusted noise charge amount) due to the noise charge flowing in without passing through the transfer transistor G. QFP) is the amount of charge included.
Therefore, the minimum charge amount QP is expressed by the following equation (3).
QP = QB + QC ... (3)

また、調整ノイズ電荷量ＱＦＰは、測距離電荷量取得モードにおけるフレーム周期における第２蓄積期間Ｔ２と、蓄積駆動信号ＴＸのパルス幅（第２オン時間）ＴＰ２（本実施形態において照射時間Ｔｏ）と、振分回数Ｍ２と、背景光電荷量ＱＢと、ノイズ電荷流入比αとから以下の（４）式として表される。
ＱＦＰ＝（ＱＢ／（ＴＰ２×Ｍ２））×α×Ｔ２ …（４）
ノイズ電荷量推定部４２は、上記（３）式及び（４）式の各々による連立一次方程式において、未知数である背景光電荷量ＱＢと調整ノイズ電荷量ＱＦＰとを求める。
そして、ノイズ電荷量推定部４２は、算出した調整ノイズ電荷量ＱＦＰを距離演算部４３に対して出力する。 Further, the adjusted noise charge amount QFP includes the second accumulation period T2 in the frame period in the distance measurement charge amount acquisition mode and the pulse width (second on time) TP2 (irradiation time To in the present embodiment) of the accumulation drive signal TX. , The number of distributions M2, the background light charge amount QB, and the noise charge inflow ratio α are expressed as the following equation (4).
QFP = (QB / (TP2 × M2)) × α × T2… (4)
The noise charge amount estimation unit 42 obtains the unknown background light charge amount QB and the adjusted noise charge amount QFP in the simultaneous linear equations according to each of the above equations (3) and (4).
Then, the noise charge amount estimation unit 42 outputs the calculated adjusted noise charge amount QFP to the distance calculation unit 43.

距離演算部４３は、蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々から、それぞれ調整ノイズ電荷量ＱＦＰを減算し、修正蓄積電荷量ＣＱ１（＝Ｑ１－ＱＦ）、ＣＱ２（＝Ｑ２－ＱＦ）、ＣＱ３（＝Ｑ３－ＱＦ）、ＣＱ４（＝Ｑ４－ＱＦ）のそれぞれを求める。
距離演算部４３は、修正蓄積電荷量ＣＱ１、ＣＱ２、ＣＱ３及びＣＱ４の各々に対して、補正係数β１、β２、β３、β４のそれぞれを乗算し、蓄積電荷量Ｑ'１、Ｑ'２、Ｑ'３、Ｑ'４を算出する。
そして、距離演算部４３は、すでに説明した（１）式及び（２）式から、遅延時間Ｔｄを算出して、この遅延時間Ｔｄにより距離画像撮像装置１と被写体Ｓとの距離を算出する。 The distance calculation unit 43 subtracts the adjusted noise charge amount QFP from each of the stored charge amounts Q1, Q2, Q3 and Q4, respectively, and corrects the stored charge amounts CQ1 (= Q1-QF), CQ2 (= Q2-QF). CQ3 (= Q3-QF) and CQ4 (= Q4-QF) are obtained respectively.
The distance calculation unit 43 multiplies each of the modified stored charge amounts CQ1, CQ2, CQ3 and CQ4 by the correction coefficients β1, β2, β3 and β4, respectively, and the stored charge amounts Q'1, Q'2 and Q. Calculate '3 and Q'4.
Then, the distance calculation unit 43 calculates the delay time Td from the equations (1) and (2) already described, and calculates the distance between the distance image imaging device 1 and the subject S by the delay time Td.

図８は、本実施形態によるノイズ電荷量取得モードにおけるノイズ電荷流入比αの算出の処理の動作を示すフローチャートである。
ステップＳ１０１：
測定制御部４４は、図７（ａ）に示すように、光パルスＰＯを照射させずに、参照蓄積電荷量ＱＲを取得するために、タイミング制御部４１を制御して、第１比取得フレームを実行させる。 FIG. 8 is a flowchart showing the operation of the process of calculating the noise charge inflow ratio α in the noise charge amount acquisition mode according to the present embodiment.
Step S101:
As shown in FIG. 7A, the measurement control unit 44 controls the timing control unit 41 in order to acquire the reference accumulated charge amount QR without irradiating the optical pulse PO, and the first ratio acquisition frame. To execute.

そして、ノイズ電荷量推定部４２は、蓄積期間Ｔ１において、光電変換素子ＰＤで背景光により生成された電荷を、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４により振分けて蓄積させる。
ノイズ電荷量推定部４２は、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に対して、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４のそれぞれにより振分ける。 Then, the noise charge amount estimation unit 42 transfers the charge generated by the background light in the photoelectric conversion element PD to each of the charge storage units CS1, CS2, CS3 and CS4 during the storage period T1 to the transfer transistors G1, G2, G3. , G4 to distribute and accumulate.
The noise charge amount estimation unit 42 distributes each of the charge storage units CS1, CS2, CS3 and CS4 by the transfer transistors G1, G2, G3 and G4.

ノイズ電荷量推定部４２は、第２比取得フレームで、蓄積期間Ｔ１において流入して蓄積された参照蓄積電荷量ＱＲ１、ＱＲ２、ＱＲ３、ＱＲ４のそれぞれを、読み出し期間において取得する。
ここで、転送トランジスタＧ１、Ｇ２、Ｇ３及びＧ４の各々に対する、蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４は、等しいパルス幅ＴＰ１である。また、振分回数は、Ｍ１回である。 The noise charge amount estimation unit 42 acquires each of the reference stored charge amounts QR1, QR2, QR3, and QR4 that have flowed in and accumulated in the storage period T1 in the second ratio acquisition frame during the read-out period.
Here, the storage drive signals TX1, TX2, TX3, and TX4 for each of the transfer transistors G1, G2, G3, and G4 have the same pulse width TP1. The number of distributions is M1.

ステップＳ１０２：
測定制御部４４は、第１比取得フレームが終了後、図７（ｂ）に示すように、光パルスＰＯを照射させず、かつ転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４を駆動せずに参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４のそれぞれを取得するため、タイミング制御部４１を制御して、第２比取得フレームを実行させる。
ノイズ電荷量推定部４２は、第２比取得フレームで、蓄積期間Ｔ１において電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４に流入して蓄積された参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４のそれぞれを、読み出し期間において取得する。 Step S102:
After the first ratio acquisition frame is completed, the measurement control unit 44 does not irradiate the optical pulse PO and does not drive the transfer transistors G1, G2, G3, and G4 as shown in FIG. 7B. In order to acquire each of the charge amounts QFR1, QFR2, QFR3, and QFR4, the timing control unit 41 is controlled to execute the second ratio acquisition frame.
The noise charge amount estimation unit 42 receives each of the reference noise charge amounts QFR1, QFR2, QFR3, and QFR4 that have flowed into and accumulated in the charge storage units CS1, CS2, CS3, and CS4 during the storage period T1 in the second ratio acquisition frame. , Obtained during the read period.

ステップＳ１０３：
ノイズ電荷量推定部４２は、第１比取得フレームで取得した参照蓄積電荷量ＱＲ１、ＱＲ２、ＱＲ３及びＱＲ４の各々から、第２比取得フレームで取得した参照ノイズ電荷量ＱＦＲ１、ＱＦＲ２、ＱＦＲ３、ＱＦＲ４のそれぞれを減算する。
そして、ノイズ電荷量推定部４２は、蓄積期間Ｔ１において、光電変換素子ＰＤから転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４に振分けて電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４に蓄積された参照背景光電荷量ＱＢＲ１、ＱＢＲ２、ＱＢＲ３及びＱＢＲ４の各々を求める。 Step S103:
The noise charge amount estimation unit 42 has a reference noise charge amount QFR1, QFR2, QFR3, QFR4 acquired in the second ratio acquisition frame from each of the reference stored charge amounts QR1, QR2, QR3 and QR4 acquired in the first ratio acquisition frame. Subtract each of.
Then, the noise charge amount estimation unit 42 distributes the electric charge from the photoelectric conversion element PD to the transfer transistors G1, G2, G3, and G4 during the storage period T1 and stores the reference background light charge in the charge storage units CS1, CS2, CS3, and CS4. Each of the quantities QBR1, QBR2, QBR3 and QBR4 is determined.

ステップＳ１０４：
ノイズ電荷量推定部４２は、参照背景光電荷量ＱＢＲ１、ＱＢＲ２、ＱＢＲ３及びＱＢＲ４の各々から、最小の電荷量を最小参照背景光電荷量として抽出する。
そして、ノイズ電荷量推定部４２は、最小参照背景光電荷量に対して対応する補正係数βを乗算し、調整参照背景光電荷量とする。
このとき、ノイズ電荷量推定部４２は、例えば最小参照背景光電荷量が参照背景光電荷量ＱＢＲ１の場合、転送トランジスタＧ１を用いて電荷蓄積部ＣＳ１に振分けているため、補正係数β１を参照背景光電荷量ＱＢＲ１に乗算し、乗算結果を調整参照背景光電荷量とする。 Step S104:
The noise charge amount estimation unit 42 extracts the minimum charge amount as the minimum reference background light charge amount from each of the reference background light charge amounts QBR1, QBR2, QBR3 and QBR4.
Then, the noise charge amount estimation unit 42 multiplies the minimum reference background light charge amount by the corresponding correction coefficient β to obtain the adjusted reference background light charge amount.
At this time, for example, when the minimum reference background light charge amount is the reference background light charge amount QBR1, the noise charge amount estimation unit 42 distributes the charge to the charge storage unit CS1 using the transfer transistor G1, so that the correction coefficient β1 is referred to. Multiply the light charge amount QBR1 and use the multiplication result as the adjustment reference background light charge amount.

ノイズ電荷量推定部４２は、蓄積駆動信号ＴＸのパルス幅ＴＰ１と、転送トランジスタＧによる振分回数Ｍ１とを乗算し、総転送時間としてＴＰ１×Ｍ１を算出する。
そして、ノイズ電荷量推定部４２は、調整参照背景光電荷量を総転送時間ＴＰ１×Ｍ１により除算することにより、単位参照背景光電荷量を求める。
ノイズ電荷量推定部４２は、単位参照背景光電荷量及び蓄積期間Ｔ１の各々を乗算し、この乗算結果により、参照ノイズ電荷量ＱＦを除算して、ノイズ電荷流入比αを求める。 The noise charge amount estimation unit 42 multiplies the pulse width TP1 of the storage drive signal TX by the number of distributions M1 by the transfer transistor G to calculate TP1 × M1 as the total transfer time.
Then, the noise charge amount estimation unit 42 obtains the unit reference background light charge amount by dividing the adjustment reference background light charge amount by the total transfer time TP1 × M1.
The noise charge amount estimation unit 42 multiplies each of the unit reference background light charge amount and the accumulation period T1, and divides the reference noise charge amount QF from the multiplication result to obtain the noise charge inflow ratio α.

図９は、本実施形態による測距離電荷量取得モードにおける距離画像の取得処理の動作を示すフローチャートである。
ステップＳ２０１：
測定制御部４４は、図５に示すように、フレーム周期における第２蓄積期間Ｔ２において、所定のタイミングで光パルスＰＯ（パルス幅Ｔo）を照射させ、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々において、蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれを蓄積させるため、タイミング制御部４１を制御して、所定のフレーム周期を実行させる。 FIG. 9 is a flowchart showing the operation of the distance image acquisition process in the distance measurement charge amount acquisition mode according to the present embodiment.
Step S201:
As shown in FIG. 5, the measurement control unit 44 irradiates the optical pulse PO (pulse width To) at a predetermined timing in the second storage period T2 in the frame period, and the charge storage units CS1, CS2, CS3 and CS4 In each case, in order to store each of the stored charge amounts Q1, Q2, Q3, and Q4, the timing control unit 41 is controlled to execute a predetermined frame period.

ステップＳ２０２：
そして、画素駆動回路３２２は、フレーム周期における第２蓄積期間Ｔ２において、所定のタイミング照射される光パルスＰＯの反射光ＲＬを受光する状態で、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に、光電変換素子ＰＤから転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４により、蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれを蓄積させる。
ここで、転送トランジスタＧ１、Ｇ２、Ｇ３及びＧ４の各々に対する、蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４は、等しいパルス幅ＴＰ２である。また、振分回数は、Ｍ２回である。 Step S202:
Then, the pixel drive circuit 322 receives the reflected light RL of the light pulse PO irradiated at a predetermined timing in the second storage period T2 in the frame period, and the charge storage units CS1, CS2, CS3, and CS4 receive the reflected light RL. , Each of the accumulated charge amounts Q1, Q2, Q3, and Q4 is accumulated from the photoelectric conversion element PD by the transfer transistors G1, G2, G3, and G4.
Here, the storage drive signals TX1, TX2, TX3, and TX4 for each of the transfer transistors G1, G2, G3, and G4 have the same pulse width TP2. The number of distributions is M2.

ステップＳ２０３：
画素駆動回路３２２は、フレーム周期における読み出し期間において、画素回路３２１の各々から順番に、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４のそれぞれの蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４を、距離画像処理部４に対して出力する。
ノイズ電荷量推定部４２は、蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々から最小の電荷量を、反射光ＲＬの電荷が含まれておらず、背景光の電荷のみを含む蓄積電荷量である最小電荷量を抽出する。 Step S203:
The pixel drive circuit 322 processes the stored charge amounts Q1, Q2, Q3, and Q4 of the charge storage units CS1, CS2, CS3, and CS4 in order from each of the pixel circuits 321 during the read period in the frame cycle. Output to unit 4.
The noise charge amount estimation unit 42 sets the minimum charge amount from each of the stored charge amounts Q1, Q2, Q3, and Q4 by the stored charge amount that does not include the charge of the reflected light RL and contains only the charge of the background light. Extract a certain minimum amount of charge.

ステップＳ２０４：
ノイズ電荷量推定部４２は、抽出した最小電荷量ＱＰが上記（３）式に示すように、制御電荷である背景光電荷量ＱＢと、制御によらずに流入するノイズ電荷量ＱＦ（すなわち、調整ノイズ電荷量ＱＦＰ）とを含んでいる。この背景光電荷量ＱＢとノイズ電荷量ＱＦとは未知数である。
ここで、背景光電荷量ＱＢ１、ＱＢ２、ＱＢ３及びＱＢ４の各々は、背景光により光電変換素子ＰＤで生成された電荷を、同一のパルス幅ＴＰ２の蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４で振分けているため、同一の電荷量である。 Step S204:
As shown in the above equation (3), the noise charge amount estimation unit 42 has the background light charge amount QB, which is the control charge of the extracted minimum charge amount QP, and the noise charge amount QF (that is, the noise charge amount QF) that flows in without control. Adjusted noise charge amount QFP) and included. The background light charge amount QB and the noise charge amount QF are unknown.
Here, each of the background light charge amounts QB1, QB2, QB3, and QB4 distributes the charges generated by the photoelectric conversion element PD by the background light by the storage drive signals TX1, TX2, TX3, and TX4 having the same pulse width TP2. Therefore, the amount of charge is the same.

また、ノイズ電荷量ＱＦ１、ＱＦ２、ＱＦ３及びＱＦ４の各々は、同一の蓄積期間Ｔ２において電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４のそれぞれに、画素駆動回路３２２の制御によらずに流入されるノイズ電荷の電荷量であるため、同一である。
ノイズ電荷量推定部４２は、最小電荷量ＱＰと、パルス幅ＴＰ２と、蓄積期間Ｔ２と、振分回数Ｍ２と、ノイズ電荷流入比αとを既知とし、背景光電荷量ＱＢと、調整ノイズ電荷量ＱＦＰを未知数とする（３）式及び（４）式を解き、調整ノイズ電荷量ＱＦＰ及び背景光電荷量ＱＢの各々を算出する。 Further, each of the noise charge amounts QF1, QF2, QF3 and QF4 is noise that flows into each of the charge storage units CS1, CS2, CS3 and CS4 in the same storage period T2 without being controlled by the pixel drive circuit 322. It is the same because it is the amount of electric charge.
The noise charge amount estimation unit 42 makes known the minimum charge amount QP, the pulse width TP2, the accumulation period T2, the number of distributions M2, and the noise charge inflow ratio α, and sets the background light charge amount QB and the adjusted noise charge. Equations (3) and (4) are solved with the quantity QFP as an unknown number, and each of the adjusted noise charge amount QFP and the background light charge amount QB is calculated.

ステップＳ２０５：
ノイズ電荷量推定部４２は、蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４の各々から、調整ノイズ電荷量ＱＦＰをそれぞれ減算して、修正蓄積電荷量ＣＱ１、ＣＱ２、ＣＱ３、ＣＱ４のそれぞれを求める。
そして、ノイズ電荷量推定部４２は、修正蓄積電荷量ＣＱ１、ＣＱ２、ＣＱ３及びＣＱ４の各々に対して、それぞれ補正係数β１、β２、β３、β４のそれぞれを乗算し、蓄積電荷量Ｑ'１、Ｑ'２、Ｑ'３、Ｑ'４を求める。 Step S205:
The noise charge amount estimation unit 42 subtracts the adjusted noise charge amount QFP from each of the stored charge amounts Q1, Q2, Q3, and Q4 to obtain the modified stored charge amounts CQ1, CQ2, CQ3, and CQ4, respectively.
Then, the noise charge amount estimation unit 42 multiplies each of the modified stored charge amounts CQ1, CQ2, CQ3 and CQ4 by the correction coefficients β1, β2, β3 and β4, respectively, and the stored charge amount Q'1 and Find Q'2, Q'3, and Q'4.

ステップＳ２０６：
そして、距離演算部４３は、蓄積電荷量Ｑ'１、Ｑ'２、Ｑ'３及びＱ'４の各々を用いて、説明した（１）式または（２）式から、遅延時間Ｔｄを算出する。
距離演算部４３は、算出した遅延時間Ｔｄに対して光速（速度）を乗算させることにより、距離画像撮像装置１と被写体Ｓとの間の往復の距離を算出する。
そして、距離演算部４３は、上記で算出した往復の距離を１／２とする（遅延時間Ｔｄ×ｃ（光速度）／２）ことにより、距離画像センサ３２（すなわち、距離画像撮像装置１）から被写体Ｓまでの距離を求める。 Step S206:
Then, the distance calculation unit 43 calculates the delay time Td from the described equation (1) or equation (2) using each of the accumulated charge amounts Q'1, Q'2, Q'3 and Q'4. do.
The distance calculation unit 43 calculates the round-trip distance between the distance image imaging device 1 and the subject S by multiplying the calculated delay time Td by the speed of light (speed).
Then, the distance calculation unit 43 halves the round-trip distance calculated above (delay time Td × c (speed of light) / 2), so that the distance image sensor 32 (that is, the distance image imaging device 1) is used. The distance from the subject S to the subject S is obtained.

ステップＳ２０７：
距離演算部４３は、距離画像センサ３２における全ての画素回路３２１（すなわち、画素）における距離の算出が終了したか否かの判定を行う。
このとき、距離演算部４３は、全ての画素回路３２１における距離の算出が終了した場合、処理をステップＳ２０８に進める。
一方、距離演算部４３は、全ての画素回路３２１における距離の算出が終了していない場合、処理をステップＳ２０３に進める。 Step S207:
The distance calculation unit 43 determines whether or not the calculation of the distance in all the pixel circuits 321 (that is, the pixels) in the distance image sensor 32 is completed.
At this time, the distance calculation unit 43 advances the process to step S208 when the calculation of the distances in all the pixel circuits 321 is completed.
On the other hand, if the distance calculation unit 43 has not completed the calculation of the distances in all the pixel circuits 321, the distance calculation unit 43 proceeds to the process in step S203.

ステップＳ２０８：
距離演算部４３は、距離画像センサ３２における全ての画素回路３２１から供給された蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々により、それぞれの画素における、当該画素と被写体Ｓとの距離を階調度として表した画像である距離画像を生成する。
そして、距離演算部４３は、作成した距離画像を所定の外部装置などに出力、または図示しない距離画像を格納する記憶部に、作成した距離画像を書き込んで記憶させる。 Step S208:
The distance calculation unit 43 determines the distance between the pixel and the subject S in each pixel according to the accumulated charge amounts Q1, Q2, Q3, and Q4 supplied from all the pixel circuits 321 in the distance image sensor 32. Generates a distance image, which is an image expressed as.
Then, the distance calculation unit 43 outputs the created distance image to a predetermined external device or the like, or writes and stores the created distance image in a storage unit that stores the distance image (not shown).

ステップＳ２０９：
測定制御部４４は、距離画像の撮像を終了する測定終了の制御信号が供給されたか否かの判定を行う。
このとき、測定制御部４４は、測定終了の制御信号が供給された場合、距離画像の撮像（測距の処理）を終了する。
一方、測定制御部４４は、測定終了の制御信号が供給されていない場合、処理をステップＳ２０１へ進める。 Step S209:
The measurement control unit 44 determines whether or not a control signal for ending the measurement to end the imaging of the distance image has been supplied.
At this time, the measurement control unit 44 ends the acquisition of the distance image (distance measurement processing) when the control signal for the end of the measurement is supplied.
On the other hand, the measurement control unit 44 advances the process to step S201 when the control signal for the end of measurement is not supplied.

上述したように、本実施形態によれば、電荷蓄積部ＣＳの各々から読み出す蓄積電荷量に対して感度を補正する補正係数βを乗算する前に、蓄積電荷量Ｑに含まれるノイズ電荷（すなわち、調整ノイズ電荷量ＱＦＰ）を減算するため、転送トランジスタＧによる転送効率のバラツキを補正する際、蓄積電荷量に含まれるノイズ電荷の電荷量分のバラツキを抑制することが可能となり、距離計算の精度を向上させることができ、従来に比較してより正確な測距の情報を有する距離画像を撮像することができる。 As described above, according to the present embodiment, the noise charge included in the stored charge amount Q (that is, before multiplying by the correction coefficient β for correcting the sensitivity to the stored charge amount read from each of the charge storage units CS). , Adjusted noise charge amount QFP) is subtracted, so when correcting the variation in transfer efficiency due to the transfer transistor G, it is possible to suppress the variation by the amount of noise charge included in the stored charge amount, and it is possible to calculate the distance. The accuracy can be improved, and a distance image having more accurate range-finding information can be captured as compared with the conventional case.

また、本実施形態においては、ノイズ電荷量取得モードにおいて、単位時間当りに電荷蓄積部ＣＳに流入するノイズ電荷の単位時間流入電荷量を、、単位時間当りにおける光電変換素子ＰＤが入射光（本実施形態においては反射光）により生成する電荷量である単位参照背景光電荷量により除算して、ノイズ電荷流入比αを算出している。
このため、本実施形態においては、ノイズ電荷量取得モードにおけるフレーム周期と異なるノイズ電荷量取得モードにおいて、ノイズ電荷流入比αを用いることで、ノイズ電荷量取得モードにおける蓄積期間、蓄積駆動信号ＴＸのパルス幅ＴＰ２と、転送トランジスタＧによる振分回数Ｍ２と、実測した蓄積電荷量Ｑを用いた連立方程式により、容易に調整ノイズ電荷量ＱＦＰ（すなわち、ノイズ電荷量ＱＦ）を求めることができる。 Further, in the present embodiment, in the noise charge amount acquisition mode, the unit time inflow charge amount of the noise charge flowing into the charge storage unit CS per unit time is measured by the photoelectric conversion element PD per unit time (this). In the embodiment, the noise charge inflow ratio α is calculated by dividing by the unit reference background light charge amount, which is the amount of charge generated by the reflected light).
Therefore, in the present embodiment, by using the noise charge inflow ratio α in the noise charge acquisition mode different from the frame period in the noise charge acquisition mode, the accumulation period in the noise charge acquisition mode and the accumulation drive signal TX The adjusted noise charge amount QFP (that is, the noise charge amount QF) can be easily obtained by a simultaneous equation using the pulse width TP2, the number of distributions M2 by the transfer transistor G, and the actually measured accumulated charge amount Q.

１…距離画像撮像装置
２…光源部
３…受光部
３１…レンズ
３２…距離画像センサ（距離画像撮像素子）
３２１…画素回路
３２２…画素駆動回路
４…距離画像処理部
４１…タイミング制御部
４２…ノイズ電荷量推定部
４３…距離演算部
４４…測定制御部
ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４…電荷蓄積部
ＦＤ１，ＦＤ２，ＦＤ３，ＦＤ４…フローティングディフュージョン
Ｇ１，Ｇ２，Ｇ３，Ｇ４…転送トランジスタ
ＧＤ…電荷排出トランジスタ
ＭＬ…マイクロレンズ
ＰＤ…光電変換素子
ＰＯ…光パルス
ＲＴ１，ＲＴ２，ＲＴ３，ＲＴ４…リセットトランジスタ
Ｓ…被写体
ＳＦ１，ＳＦ２，ＳＦ３，ＳＦ４…ソースフォロアトランジスタ
ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４…選択トランジスタ 1 ... Distance image image sensor 2 ... Light source unit 3 ... Light receiving unit 31 ... Lens 32 ... Distance image sensor (distance image image sensor)
321 ... Pixel circuit 322 ... Pixel drive circuit 4 ... Distance image processing unit 41 ... Timing control unit 42 ... Noise charge amount estimation unit 43 ... Distance calculation unit 44 ... Measurement control unit CS1, CS2, CS3, CS4 ... Charge storage unit FD1, FD2, FD3, FD4 ... Floating diffusion G1, G2, G3, G4 ... Transfer transistor GD ... Charge discharge transistor ML ... Microlens PD ... Photoelectric conversion element PO ... Optical pulse RT1, RT2, RT3, RT4 ... Reset transistor S ... Subject SF1 , SF2, SF3, SF4 ... Source follower transistor SL1, SL2, SL3, SL4 ... Selective transistor

Claims (8)

測定空間に光パルスを照射する光源部と、
前記測定空間から入射した光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積する複数の電荷蓄積部を備える複数の画素回路と、前記光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、
前記測定空間における背景光により生成されて前記光電変換素子から前記転送トランジスタにより振分けられて前記電荷蓄積部で蓄積される背景光電荷量と、前記背景光により生成されて前記転送トランジスタを介さずに前記電荷蓄積部に流入して蓄積されるノイズ電荷量との比を示すノイズ電荷流入比を用いて、前記背景光電荷量から調整ノイズ電荷量を推定するノイズ電荷量推定部と、
前記電荷蓄積部の各々に蓄積された蓄積電荷量のそれぞれから前記調整ノイズ電荷量を減算し、減算結果の補正電荷量の各々に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、当該乗算の結果である調整補正電荷量を用いて、被写体との距離の計算を行う距離演算部と
を備える
ことを特徴とする距離画像撮像装置。 A light source that irradiates the measurement space with an optical pulse,
A photoelectric conversion element that generates electric charges according to the light incident from the measurement space, a plurality of pixel circuits including a plurality of electric charge storage units that accumulate the electric charges in the frame period, and a predetermined value synchronized with the irradiation of the optical pulse. A light receiving unit having a pixel drive circuit that performs on / off processing of each transfer transistor on each of the charge storage units at the storage timing to distribute and store the charges.
The amount of background light charge generated by the background light in the measurement space and distributed from the photoelectric conversion element by the transfer transistor and accumulated in the charge storage unit, and the amount of background light generated by the background light and not via the transfer transistor. A noise charge amount estimation unit that estimates an adjusted noise charge amount from the background light charge amount using a noise charge inflow ratio that indicates a ratio to the noise charge amount that flows into and is accumulated in the charge storage unit.
The adjusted noise charge amount is subtracted from each of the accumulated charge amounts stored in each of the charge storage units, and the variation due to the on-characteristics of the transfer transistor is corrected for each of the corrected charge amounts of the subtraction result. A distance image imaging device including a distance calculation unit that multiplies an adjustment coefficient and calculates the distance to the subject using the adjustment correction charge amount that is the result of the multiplication . 前記画素駆動回路が、前記距離を計測する前記フレーム周期の実行前において、前記光パルスを照射せずに、前記光電変換素子から前記電荷蓄積部の各々に転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させて参照蓄積電荷量を取得する第１比取得フレームと、前記光パルスを照射せずに、かつ転送トランジスタそれぞれのオンオフ処理を行わず、前記電荷蓄積部の各々に流入して蓄積される参照ノイズ電荷量を取得する第２比取得フレームと実行し、
前記ノイズ電荷量推定部が、前記参照蓄積電荷量から前記参照ノイズ電荷量を減算した結果の参照背景光電荷量と、当該参照ノイズ電荷量とから、前記ノイズ電荷流入比を求める
ことを特徴とする請求項１に記載の距離画像撮像装置。 Before the execution of the frame cycle for measuring the distance, the pixel drive circuit performs on / off processing of each transfer transistor from the photoelectric conversion element to each of the charge storage units without irradiating the optical pulse, and the charge is charged. The first ratio acquisition frame for acquiring the reference accumulated charge amount by distributing and accumulating the charges, and flowing into each of the charge accumulating portions without irradiating the optical pulse and performing on / off processing of each of the transfer transistors. Execute with the second ratio acquisition frame to acquire the accumulated reference noise charge amount,
The feature is that the noise charge amount estimation unit obtains the noise charge inflow ratio from the reference background light charge amount as a result of subtracting the reference noise charge amount from the reference stored charge amount and the reference noise charge amount. The distance image imaging device according to claim 1. 前記ノイズ電荷量推定部が、
前記第１比取得フレームにおける振分け回数である第１振分回数及び前記転送トランジスタがオンされている第１オン時間を乗算した総転送時間で前記参照背景光電荷量を除算して単位参照背景光電荷量を求め、当該単位参照背景光電荷量と前記第１比取得フレームにおける電荷を蓄積する第１蓄積期間とを乗算した乗算結果により前記参照ノイズ電荷量を除算し、除算結果を前記ノイズ電荷流入比とする
ことを特徴とする請求項２に記載の距離画像撮像装置。 The noise charge amount estimation unit
The unit reference background light is obtained by dividing the reference background light charge amount by the total transfer time obtained by multiplying the first distribution number, which is the number of distributions in the first ratio acquisition frame, and the first on time when the transfer transistor is turned on. The amount of charge is obtained, the reference noise charge amount is divided by the multiplication result obtained by multiplying the unit reference background light charge amount and the first accumulation period for accumulating the charge in the first ratio acquisition frame, and the division result is the noise charge. The distance image imaging apparatus according to claim 2, wherein the inflow ratio is used. 前記ノイズ電荷量推定部が、
前記参照背景光電荷量に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、調整された当該参照背景光電荷量を、前記ノイズ電荷流入比の算出に用いる
ことを特徴とする請求項３に記載の距離画像撮像装置。 The noise charge amount estimation unit
The reference background light charge amount is multiplied by an adjustment coefficient for correcting the variation due to the on characteristics of the transfer transistor, and the adjusted reference background light charge amount is used for calculating the noise charge inflow ratio. 3. The range image imaging device according to claim 3. 前記ノイズ電荷量推定部が、
前記蓄積電荷量のうち最小の電荷量である最小電荷量から前記背景光電荷量を減算して前記調整ノイズ電荷量を求める第１の一次式と、前記背景光電荷量に対して、前記フレーム周期における第２蓄積期間と前記ノイズ電荷流入比との乗算結果を、前記フレーム周期における転送トランジスタの第２オン時間と第２振分回数との乗算結果により除算して前記調整ノイズ電荷量を求める第２の一次式とからなる二元一次方程式を解き、未知数である前記調整ノイズ電荷量及び前記背景光電荷量を求める
ことを特徴とする請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。 The noise charge amount estimation unit
The first linear equation for obtaining the adjusted noise charge amount by subtracting the background light charge amount from the minimum charge amount, which is the minimum charge amount among the accumulated charge amounts, and the frame with respect to the background light charge amount. The adjusted noise charge amount is obtained by dividing the multiplication result of the second accumulation period in the period and the noise charge inflow ratio by the multiplication result of the second on time of the transfer transistor and the second distribution number in the frame period. The invention according to any one of claims 1 to 4, wherein the binary linear equation consisting of the second linear equation is solved to obtain the unknown adjusted noise charge amount and background light charge amount. Range image imager. 前記ノイズ電荷量推定部が、
前記蓄積電荷量のうち最小の電荷量である最小電荷量と、前記ノイズ電荷流入比と、前記フレーム周期における第２蓄積期間と、前記フレーム周期における前記転送トランジスタの第２オン時間と、前記フレーム周期における前記転送トランジスタの第２振分回数との乗算結果とを入力変数とし、前記調整ノイズ電荷量を出力とするルックアップテーブルを用い、当該調整ノイズ電荷量を求める
ことを特徴とする請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。 The noise charge amount estimation unit
The minimum charge amount, which is the minimum charge amount among the accumulated charge amounts, the noise charge inflow ratio, the second storage period in the frame period, the second on-time of the transfer transistor in the frame period, and the frame. The claim is characterized in that the adjusted noise charge amount is obtained by using a lookup table in which the multiplication result with the second distribution number of the transfer transistor in the period is used as an input variable and the adjusted noise charge amount is output. The distance image imaging device according to any one of claims 1 to 4. 前記ノイズ電荷量推定部が、
前記蓄積電荷量のうち最小の電荷量である最小電荷量に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、調整された当該最小電荷量を、前記調整ノイズ電荷量の算出に用いる
ことを特徴とする請求項５または請求項６に記載の距離画像撮像装置。 The noise charge amount estimation unit
The minimum charge amount, which is the minimum charge amount among the accumulated charge amounts, is multiplied by an adjustment coefficient that corrects the variation due to the on-characteristics of the transfer transistor, and the adjusted minimum charge amount is calculated as the adjustment noise. The distance image imaging apparatus according to claim 5 or 6, characterized in that it is used for calculating the amount of electric charge. 光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、画素駆動回路と、距離演算部と、ノイズ電荷量推定部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記画素駆動回路が、光パルスの照射に同期した所定の蓄積周期で、測定空間から入射光に応じて前記光電変換素子が発生した電荷を、フレーム周期においてＮ個（Ｎ≧３）の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
ノイズ電荷量推定部が、前記測定空間における背景光により生成されて前記光電変換素子から前記転送トランジスタにより振分けられて前記電荷蓄積部で蓄積される背景光電荷量と、前記背景光により生成されて前記転送トランジスタを介さずに前記電荷蓄積部に流入して蓄積されるノイズ電荷量との比を示すノイズ電荷流入比を用いて、前記背景光電荷量から調整ノイズ電荷量を推定する過程と、
距離演算部が、前記電荷蓄積部の各々に蓄積された蓄積電荷量のそれぞれから前記調整ノイズ電荷量を減算し、減算結果の補正電荷量の各々に対して、前記転送トランジスタのそれぞれのオン特性によるバラツキを補正する調整係数を乗算し、当該乗算の結果である調整補正電荷量を用いて、被写体との距離の計算を行う過程と
を含む
ことを特徴とする距離画像撮像方法。 A distance image that controls a distance image image pickup device including each of a plurality of pixel circuits including a photoelectric conversion element, a plurality of charge storage units, and a transfer transistor, a pixel drive circuit, a distance calculation unit, and a noise charge amount estimation unit. It is an imaging method,
The pixel drive circuit stores N (N ≧ 3) charges generated by the photoelectric conversion element from the measurement space according to the incident light in a predetermined storage cycle synchronized with the irradiation of the light pulse in the frame cycle. A process of performing on / off processing of each of the transfer transistors for transferring the charge from the photoelectric conversion element to the charge storage unit in each of the units, and distributing and accumulating the charges.
The noise charge amount estimation unit is generated by the background light and the background light charge amount generated by the background light in the measurement space, distributed from the photoelectric conversion element by the transfer transistor and accumulated in the charge storage unit. The process of estimating the adjusted noise charge amount from the background light charge amount using the noise charge inflow ratio, which indicates the ratio to the noise charge amount that flows into and is accumulated in the charge storage unit without passing through the transfer transistor.
The distance calculation unit subtracts the adjusted noise charge amount from each of the accumulated charge amounts stored in each of the charge storage units, and for each of the corrected charge amounts of the subtraction result, each on characteristic of the transfer transistor. A distance image imaging method including a process of multiplying an adjustment coefficient for correcting the variation due to the above and calculating the distance to the subject using the adjustment correction charge amount resulting from the multiplication .
JP2021096537A 2021-03-05 2021-06-09 Distance image imaging device and distance image imaging method Active JP7014324B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021096537A JP7014324B1 (en) 2021-06-09 2021-06-09 Distance image imaging device and distance image imaging method
EP22763023.3A EP4303533A1 (en) 2021-03-05 2022-02-21 Distance image capturing device and distance image capturing method
PCT/JP2022/006938 WO2022185967A1 (en) 2021-03-05 2022-02-21 Distance image capturing device and distance image capturing method
CN202280017181.1A CN116917760A (en) 2021-03-05 2022-02-21 Distance image capturing device and distance image capturing method
US18/460,743 US20230412934A1 (en) 2021-03-05 2023-09-05 Range imaging device and range imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021096537A JP7014324B1 (en) 2021-06-09 2021-06-09 Distance image imaging device and distance image imaging method

Publications (2)

Publication Number Publication Date
JP7014324B1 true JP7014324B1 (en) 2022-02-15
JP2022188478A JP2022188478A (en) 2022-12-21

Family

ID=80929732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021096537A Active JP7014324B1 (en) 2021-03-05 2021-06-09 Distance image imaging device and distance image imaging method

Country Status (2)

Country Link
JP (1) JP7014324B1 (en)
CN (1) CN116917760A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139916A1 (en) * 2022-01-21 2023-07-27 株式会社小糸製作所 Measurement device
WO2023171610A1 (en) * 2022-03-08 2023-09-14 凸版印刷株式会社 Distance image capturing element and distance image capturing device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250931A (en) 2000-03-07 2001-09-14 Canon Inc Solid-state image sensor and image sensing system using the same
JP2013197697A (en) 2012-03-16 2013-09-30 Sony Corp Solid-state image pickup device and electronic apparatus
WO2021100351A1 (en) 2019-11-21 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 Light-receiving element and ranging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250931A (en) 2000-03-07 2001-09-14 Canon Inc Solid-state image sensor and image sensing system using the same
JP2013197697A (en) 2012-03-16 2013-09-30 Sony Corp Solid-state image pickup device and electronic apparatus
WO2021100351A1 (en) 2019-11-21 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 Light-receiving element and ranging device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139916A1 (en) * 2022-01-21 2023-07-27 株式会社小糸製作所 Measurement device
WO2023171610A1 (en) * 2022-03-08 2023-09-14 凸版印刷株式会社 Distance image capturing element and distance image capturing device

Also Published As

Publication number Publication date
CN116917760A (en) 2023-10-20
JP2022188478A (en) 2022-12-21

Similar Documents

Publication Publication Date Title
JP7014324B1 (en) Distance image imaging device and distance image imaging method
US8446499B2 (en) Image capturing apparatus, image capturing system, and processing method
JP7016183B2 (en) Distance image imaging device and distance image imaging method
TWI780462B (en) Distance video camera device and distance video camera method
WO2021001975A1 (en) Distance-image capturing apparatus and distance-image capturing method
JP6190690B2 (en) Distance measurement system and correction data acquisition method
KR20110051391A (en) Depth pixel apparatus and operating method for the reduction of the background light
WO2022185967A1 (en) Distance image capturing device and distance image capturing method
WO2022091563A1 (en) Distance image capturing element and distance image capturing device
WO2022158560A1 (en) Distance image capturing device and distance image capturing method
WO2022091564A1 (en) Distance image capturing element and distance image capturing device
WO2022158536A1 (en) Distance image capturing device and distance image capturing method
WO2022158577A1 (en) Distance image capturing device and distance image capturing method
WO2023234253A1 (en) Distance image capturing device and distance image capturing method
JP2022176579A (en) Distance image pickup device and distance image pickup method
WO2023033170A1 (en) Distance image capturing device and distance image capturing method
JP2022191793A (en) Distance image pickup device and distance image pickup method
JP2022135438A (en) Distance image capture device and distance image capture method
WO2022138832A1 (en) Distance image capturing device and distance image capturing method
CN116868087A (en) Distance image capturing apparatus and distance image capturing method
WO2021070212A1 (en) Distance image capturing device and distance image capturing method
WO2020194481A1 (en) Distance image sensor and distance image capture device
JP2023140448A (en) Distance image capturing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210609

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103

R150 Certificate of patent or registration of utility model

Ref document number: 7014324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150