WO2021044771A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2021044771A1 WO2021044771A1 PCT/JP2020/029235 JP2020029235W WO2021044771A1 WO 2021044771 A1 WO2021044771 A1 WO 2021044771A1 JP 2020029235 W JP2020029235 W JP 2020029235W WO 2021044771 A1 WO2021044771 A1 WO 2021044771A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- detection signal
- pixel cell
- unit
- correlation
- variation
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 204
- 238000012545 processing Methods 0.000 claims abstract description 123
- 238000004364 calculation method Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012937 correction Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims description 97
- 238000000605 extraction Methods 0.000 claims description 32
- 238000005314 correlation function Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000009792 diffusion process Methods 0.000 description 70
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 description 67
- 230000000875 corresponding effect Effects 0.000 description 61
- 238000010586 diagram Methods 0.000 description 31
- 238000005036 potential barrier Methods 0.000 description 29
- 238000012546 transfer Methods 0.000 description 29
- 238000005259 measurement Methods 0.000 description 25
- 238000012986 modification Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 16
- 229920006395 saturated elastomer Polymers 0.000 description 15
- 238000007790 scraping Methods 0.000 description 15
- 230000003321 amplification Effects 0.000 description 12
- 238000003199 nucleic acid amplification method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 11
- 238000010791 quenching Methods 0.000 description 7
- 230000000171 quenching effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
Definitions
- the present invention relates to an image pickup device using a solid-state image pickup device.
- an image pickup device using a solid-state image sensor has been used in various fields such as medical treatment and radiation measurement.
- an imaging device is also used as an object detection device that projects light onto a target region and detects the presence or absence of an object in the target region based on the presence or absence of the reflected light.
- the distance to the object is measured based on the time difference between the timing of projecting light with respect to the target region and the timing of receiving reflected light.
- the presence or absence of reflected light is detected for each pixel of the solid-state image sensor, and the distance to the object is measured. By mapping the measured distance to each pixel position, a distance image with respect to the target region can be generated.
- a solid-state image sensor in which avalanche photodiodes (hereinafter referred to as "APDs") are arranged in an array
- APDs avalanche photodiodes
- the intensity of the reflected light is considerably attenuated as the distance measuring range becomes longer.
- APDs amplifies electrons (charges) generated by photon collisions by avalanche multiplication. Thereby, weak light can be detected.
- an APD and a processing circuit thereof are arranged for each pixel cell.
- Patent Document 1 describes a first connection for controlling a connection between a floating diffusion of a unit pixel and a signal line for transferring a signal read from the unit pixel.
- a second connection control unit that controls the connection between the control unit and the input of the feedback amplification unit and the signal line, and a third connection control unit that controls the connection between the output of the feedback amplification unit and the signal line.
- a unit pixel, an amplification unit for feedback, and a feedback control unit that controls the first connection control unit to the third connection control unit and feeds back the output of the amplification unit for feedback to the floating diffusion.
- a signal processing device is described.
- Patent Document 1 a configuration in which the output of the amplification unit for feedback is fed back to the floating diffusion is required for each pixel, so that the configuration of the solid-state image sensor becomes complicated.
- an object of the present invention is to provide an imaging device capable of dealing with variations in detection signals from each pixel cell without providing a feedback circuit.
- the first aspect of the present invention relates to an imaging device.
- the image pickup apparatus includes a solid-state image pickup device in which a plurality of pixel cells are arranged in a matrix, and a signal processing unit that processes a detection signal output from each of the pixel cells.
- the pixel cell includes an avalanche photodiode, and outputs a voltage corresponding to the count number of photons received by the avalanche photodiode as the detection signal.
- the signal processing unit is output from each pixel cell based on a variation calculation unit that calculates the variation of the detection signal output from each pixel cell between the pixel cells and the variation calculated by the variation calculation unit. It is provided with a correction calculation unit for correcting the detection signal.
- the image pickup apparatus in the signal processing unit that processes the detection signal output from each pixel cell, the variation of the detection signal output from the pixel cell is calculated, and the variation of the detection signal output from the pixel cell is calculated based on the calculated variation. , The detection signal output from each pixel cell is corrected. Therefore, it is possible to correct the variation of the detection signal from each pixel cell.
- the second aspect of the present invention relates to an imaging device.
- the image pickup apparatus includes a solid-state image pickup device in which a plurality of pixel cells are arranged in a matrix, and a signal processing unit that processes a detection signal output from each of the pixel cells.
- the pixel cell includes an avalanche photodiode, and outputs a voltage corresponding to the count number of photons received by the avalanche photodiode as the detection signal.
- the signal processing unit is a correlation extraction unit that extracts the correlation between the count number and the detection signal for each pixel, and the signal processing unit from each pixel cell based on the correlation calculated by the correlation extraction unit. It includes a count number acquisition unit that acquires the count number according to the detection signal.
- the correlation extraction unit extracts in advance the correlation between the count number of photons received by the avalanche photodiode and the detection signal of the pixel cell, and during normal operation, the correlation is extracted. Based on the correlation, the count number corresponding to the detection signal from each pixel cell is acquired. Therefore, even if the detection signal from each pixel cell varies, the number of photon counts can be appropriately acquired.
- FIG. 1 is a diagram showing a configuration of a distance measuring device according to the first embodiment.
- FIG. 2 is a diagram showing a configuration of pixel cells according to the first embodiment.
- 3A to 3D are diagrams for explaining the operation sequence of the pixel cell according to the first embodiment, respectively.
- FIG. 4A is a diagram illustrating an operation sequence of pixel cells according to the first embodiment.
- FIG. 4B is a diagram illustrating another method of setting the fraying level for adjusting the amount of electric charge accumulated in the floating diffusion portion to a predetermined level according to the first embodiment.
- FIG. 4C is a flowchart for executing the operation sequence of the pixel cell according to the first embodiment.
- FIG. 5 is a diagram showing a configuration of a signal processing unit according to the first embodiment.
- FIG. 6A is a flowchart showing a process executed by the signal processing unit at the time of updating the correction table according to the first embodiment.
- FIG. 6B is a flowchart showing an example of changing the processing executed by the signal processing unit at the time of updating the correction table according to the first embodiment.
- FIG. 7 is a flowchart for determining whether or not the update condition of the correction table is satisfied according to the first embodiment.
- FIG. 8A is a diagram schematically showing a state of a detection signal acquired from each pixel cell according to the first embodiment.
- FIG. 8B is a diagram illustrating a method of calculating a reference value in the variation calculation unit according to the first embodiment.
- FIG. 9 is a flowchart showing a process executed by the signal processing unit during the update operation of the correction table according to the change example 1.
- FIG. 10 is a diagram schematically showing the configuration of the sensor chip according to the second modification.
- FIG. 11 is a diagram showing a configuration of pixel cells according to the second embodiment.
- 12 (a) to 12 (d) are diagrams for explaining the operation sequence of the pixel cell according to the second embodiment, respectively.
- 13 (a) to 13 (d) are diagrams for explaining the operation sequence of the pixel cell according to the second embodiment, respectively.
- FIG. 14A is a flowchart for executing the operation sequence of the pixel cell according to the second embodiment.
- FIG. 14B is a graph showing an example of the relationship between the number of photon counts in the pixel cell and the output voltage according to the second embodiment.
- FIG. 15 is a diagram showing a configuration of a signal processing unit according to the second embodiment.
- FIG. 16A is a flowchart showing a process executed by the signal processing unit at the time of the correlation update operation according to the second embodiment.
- FIG. 16B is a diagram showing the configuration of the correlation table according to the second embodiment.
- FIG. 17A is a flowchart showing a process executed by the signal processing unit at the time of the correlation update operation according to the first modification of the second embodiment.
- FIG. 17B is a diagram showing information stored in the correlation storage unit by the process of FIG. 17A according to the first modification of the second embodiment.
- FIG. 18A is a flowchart showing a process executed by the signal processing unit at the time of the correlation update operation according to the second modification of the second embodiment.
- FIG. 18B is a diagram schematically showing a correlation function stored in the correlation storage unit by the processing of FIG. 18A according to the second modification of the second embodiment.
- FIG. 19 is a block diagram showing a configuration of a distance measuring device according to a third embodiment.
- FIG. 1 is a diagram showing a configuration of a distance measuring device 1 according to the first embodiment.
- the distance measuring device 1 includes a floodlight device 10 and an imaging device 20.
- the floodlight device 10 projects light onto the target area.
- the image pickup device 20 receives the reflected light emitted from the light projecting device 10 and reflected by an object in the target region.
- the floodlight device 10 includes a light source 11, a projection optical system 12, and a light emission control unit 13.
- the light source 11 is composed of a laser light source, an LED (Light Emitting Diode), or the like, and emits light having a predetermined wavelength.
- the projection optical system 12 projects the light emitted from the light source 11 onto the target region at a predetermined spread angle.
- the projection optical system 12 is composed of a single lens or a plurality of lenses.
- the projection optical system 12 may include a concave mirror or the like.
- the light emission control unit 13 causes the light source 11 to emit light in pulses under the control of the signal processing unit 25.
- the image pickup device 20 includes a light receiving optical system 21, a filter 22, a solid-state image pickup element 23, an image pickup control unit 24, and a signal processing unit 25.
- the light receiving optical system 21 forms an image of the reflected light emitted from the light projecting device 10 by an object in the target region on the light receiving surface of the solid-state image sensor 23.
- the light receiving optical system 21 is composed of a single lens or a plurality of lenses.
- the light receiving optical system 21 may include a concave mirror or the like.
- the filter 22 transmits the light emitted from the light source 11 and removes light of other wavelengths.
- the solid-state image sensor 23 has a configuration in which a plurality of pixel cells are arranged in a matrix. That is, a plurality of pixel cells are arranged in the solid-state image sensor 23 so as to be linearly adjacent to each other in the row direction and the column direction.
- the solid-state image sensor 23 is equipped with an APD and a processing circuit thereof for each pixel cell.
- the image pickup control unit 24 drives each pixel cell under the control of the signal processing unit 25.
- the signal processing unit 25 controls the light emission control unit 13 and the image pickup control unit 24 to measure the distance to an object existing in the target region. That is, the signal processing unit 25 causes the light source 11 to emit light in pulses via the light emission control unit 13, and receives the reflected light based on the pulsed light emission to the solid-state image sensor 23 via the image pickup control unit 24. Then, the signal processing unit 25 measures the distance to the object existing at the position on the target region corresponding to each pixel cell based on the time difference between the timing of pulse emission and the timing of receiving the reflected light in each pixel cell. ..
- the solid-state image sensor 23 outputs a detection signal of reflected light to the image pickup control unit 24 for each pixel cell.
- each pixel cell receives the reflected light, it outputs a voltage level detection signal based on the avalanche multiplication to the image pickup control unit 24.
- the amount of reflected light incident on each pixel cell is attenuated in inverse proportion to the square of the distance to the object. Further, the amount of reflected light incident on each pixel cell also changes depending on the reflectance of the object.
- Each pixel cell outputs a detection signal of a predetermined voltage level by avalanche multiplication to the image pickup control unit 24 even if the amount of reflected light changes in this way.
- each pixel cell when a photon is incident on the APD arranged in each pixel cell, the APD amplifies the electron (charge) generated by the collision of the photon to the saturated charge amount by avalanche multiplication.
- Each cell converts the saturated charge amount into a voltage and outputs the converted voltage as a detection signal.
- the detection signals output from each cell are aligned with the voltage corresponding to the saturated charge amount. In this way, each pixel cell outputs a detection signal having a constant voltage level to the image pickup control unit 24 regardless of the amount of reflected light received.
- the detection signal output from each pixel cell may vary with respect to the voltage according to the saturated charge amount. If the detection signal varies from pixel cell to pixel cell in this way, the processing of the circuit unit after the image pickup control unit 24 may become unstable. It is preferable that the detection signal of each pixel cell has as little variation as possible.
- the pixel cell 100 includes an APD 101, an APD reset transistor 102, a transfer transistor 103, an FD reset transistor 104, an amplification transistor 105, and a selection transistor 106.
- the APD101 is an avalanche photodiode that amplifies electrons (charges) generated by photon collisions to a saturated charge amount by multiplying the avalanche.
- APD101 is used in Geiger amplification mode.
- a reverse bias voltage VSUB (for example, 25V) corresponding to the Geiger amplification mode is applied to the anode of the APD101.
- VSUB for example, 25V
- the APD reset transistor 102 is a transistor for resetting the electric charge accumulated in the cathode of the APD 101.
- the reset signal OVF to the gate of the APD reset transistor 102, the electric charge accumulated in the cathode of the APD 101 is discharged to the reset drain power supply PIXRSD via the APD reset transistor 102.
- the electric charge accumulated in the cathode of the APD 101 is reset.
- the transfer transistor 103 is a transistor for transferring the electric charge accumulated in the cathode of the APD 101 to the floating diffusion unit 110.
- the transfer signal TRN By applying the transfer signal TRN to the gate of the transfer transistor 103, the electric charge accumulated in the cathode of the APD 101 is transferred to the floating diffusion unit 110 via the transfer transistor 103.
- the FD reset transistor 104 is a transistor for resetting the electric charge accumulated in the floating diffusion unit 110.
- the reset signal RST By applying the reset signal RST to the gate of the FD reset transistor 104, the electric charge accumulated in the floating diffusion unit 110 is discharged to the reset drain power supply RSD via the FD reset transistor 104. As a result, the electric charge accumulated in the floating diffusion unit 110 is reset.
- the amplification transistor 105 is a transistor for converting the amount of electric charge accumulated in the floating diffusion unit 110 into a voltage based on the constant voltage VDD applied to the drain.
- the selection transistor 106 is a transistor for outputting the voltage converted by the amplification transistor 105 to the vertical signal line Vsig. By applying the selection signal SEL to the gate of the selection transistor 106, the voltage converted by the amplification transistor 105 is output to the vertical signal line Vsig.
- the voltage output to the vertical signal line Vsig is output to the image pickup control unit 24 of FIG. 1 as a detection signal of the pixel cell 100.
- the capacity of the floating diffusion unit 110 is set to about half of the capacity of the charge storage region of the cathode of the APD 101.
- the method of setting the capacity of the floating diffusion unit 110 is not limited to this, and various setting methods can be applied.
- 3 (a) to 3 (d) are diagrams for explaining the operation sequence of the pixel cell 100.
- 3 (a) to 3 (d) show that the reset drain power supply PIXRSD of FIG. 2 continues to the reset drain power supply RSD via the APD reset transistor 102, the transfer transistor 103, the floating diffusion unit 110, and the FD reset transistor 104.
- the potential diagram of the circuit part is shown. On the vertical axis, the direction of the arrow is the direction of low potential.
- PIXRSD indicates the potential of the reset drain power supply PIXRSD
- APD indicates the potential of the cathode of APD101
- FD indicates the potential of the floating diffusion unit 110.
- RSD indicates the potential of the reset drain power supply RSD.
- OVF indicates the potential of the APD reset transistor 102
- TRN indicates the potential of the transfer transistor 103
- RST indicates the potential of the FD reset transistor 104.
- the initial state of FIG. 3A shows the state after the cathode and the floating diffusion portion 110 of the APD 101 are reset. In the initial state, PIXRSD and RSD are set to the potential Vrsd.
- the image pickup control unit 24 drives the APD reset transistor 102 at a low voltage, which causes a potential barrier in the OVF. Further, the image pickup control unit 24 sets the transfer transistor 103 and the FD reset transistor 104 to off, thereby creating a potential barrier having a potential of 0 V in TRN and RST.
- the image pickup control unit 24 exposes each pixel cell 100 for a predetermined time according to the pulse emission of the light source 11.
- charges electrosprays
- the potential of the APD changes as shown in FIG. 3 (b).
- FIG. 3B charge accumulation is shown by hatching.
- the potential of the APD becomes the potential Vq (hereinafter, referred to as “quenching potential Vq”).
- the amount of saturated charge may vary from APD101 to APD101. Therefore, the quenching potential Vq may also vary in the range of dispersion ⁇ ⁇ for each APD101.
- FIG. 3B illustrates a case where this variation causes a charge to be generated with a slightly larger amount of charge than a typical saturated charge amount. Further, in FIG. 3B, a typical quenching potential is shown as Vq.
- quenching potential Vq means a typical quenching potential unless otherwise specified.
- the image pickup control unit 24 sets the transfer transistor 103 on.
- the potential barrier of the TRN is lowered, and the charge accumulated in the cathode of the APD 101 is distributed to the floating diffusion unit 110 via the transfer transistor 103.
- the potential Vq' is the case where a normal saturated charge amount (charge corresponding to the quenching potential Vq) is accumulated in the cathode of the APD 101 in the accumulation step of FIG. 3 (b). This is the potential of the electric charge distributed to the floating diffusion unit 110.
- this potential Vq' is referred to as a reference storage potential.
- the electric charge distributed to the floating diffusion unit 110 is also shown in FIG. 3 (b). As shown in c), the amount of charge slightly exceeds the reference storage potential Vq'.
- the voltage according to the charge amount accumulated in the step of FIG. 3C also varies in the range of dispersion ⁇ ⁇ 'with respect to the typical reference storage potential Vq'.
- reference storage potential Vq' means a reference storage potential corresponding to a typical quenching potential Vq, unless otherwise specified.
- the image pickup control unit 24 switches the transfer transistor 103 off, and further sets the FD reset transistor 104 to half-on. As a result, as shown in FIG. 3D, the potential barrier of TRN rises and the potential barrier of RST falls.
- the imaging control unit 24 sets the voltage applied to the gate of the FD reset transistor 104 so that the potential barrier of the RST becomes the reference storage potential Vq'.
- the charges in the portion exceeding the reference storage potential Vq'move to the RSD beyond the potential barrier of the RST that is, the electric charge in the portion exceeding the reference storage potential Vq'is discharged to the reset drain power supply RSD via the FD reset transistor 104.
- the electric charge accumulated in the floating diffusion unit 110 is fixed to a constant amount (amount corresponding to the reference storage potential Vq').
- the image pickup control unit 24 sets the FD reset transistor 104 to off. As a result, the potential barrier of the RST rises, and the amount of electric charge accumulated in the floating diffusion unit 110 is determined to be a predetermined amount of electric charge (here, the amount of electric charge corresponding to the reference storage potential Vq'). Then, the image pickup control unit 24 sets the selection transistor 106 to ON, and outputs a voltage signal corresponding to the amount of electric charge accumulated in the floating diffusion unit 110 to the vertical signal line Vsig. As a result, the output of the detection signal in the pixel cell 100 is completed.
- the image pickup control unit 24 After outputting the detection signal in this way, the image pickup control unit 24 performs an initialization process for resetting the charges accumulated in the cathode and the floating diffusion unit 110 of the APD 101, respectively. That is, the image pickup control unit 24 sets the APD reset transistor 102 and the FD reset transistor 104 to ON.
- the image pickup control unit 24 repeatedly executes the processes of FIGS. 3 (a) to 3 (d) and 4 (a) to continue outputting the detection signal in the pixel cell 100.
- the height of the potential barrier when the FD reset transistor 104 was set to half-on was set to the same potential as the reference storage potential Vq', but the potential barrier at the time of half-on was set.
- the height of is not limited to this.
- the range in which the potential of the electric charge distributed to the floating diffusion unit 110 can vary with respect to the reference storage potential Vq' is expressed by Vq' ⁇ ⁇ , where ⁇ is the variance. it can.
- the height of the potential barrier at the time of half-on may be set to the maximum value including this dispersion, that is, a potential higher by + ⁇ with respect to the reference storage potential Vq'.
- the amount of electric charge remaining in the floating diffusion portion 110 after the fraying step is smaller than that in the case of FIG. 3D, but the amount of electric charge remaining in the floating diffusion portion 110 after the fraying step is more reliably constant.
- the height of the potential barrier when the FD reset transistor 104 is half-on may be set to be slightly higher than the potential obtained by adding the variation to the reference storage potential Vq', or other potential within the variation range. May be set to.
- the height of the potential barrier when the FD reset transistor 104 is half-on is set to the reference storage potential Vq'or more. Is preferably set to, and more preferably set to a potential equal to or higher than the reference storage potential Vq'plus the variation.
- FIG. 4C is a flowchart for executing the above processing.
- the image pickup control unit 24 executes initialization for the pixel cell 100 (S11). As a result, the potential of each part is set to the state shown in FIG. 4A, and the charges of the cathode and the floating diffusion part 110 of the APD 101 are reset. Next, the imaging control unit 24 sets the potential of each unit to the initial state shown in FIG. 3A, and then performs exposure to accumulate charges on the cathode of the APD 101 (S12). If the reflected light does not enter the APD 101 in this step, the charge is not accumulated on the cathode of the APD 101.
- the image pickup control unit 24 sets the transfer transistor 103 to ON (S13). As a result, as shown in FIG. 3C, the electric charge accumulated in the cathode of the APD 101 is distributed to the floating diffusion unit 110. Then, the image pickup control unit 24 sets the transfer transistor 103 to off (S14), and further sets the FD reset transistor 104 to half on (S15). As a result, as shown in FIG. 3D, excess charge is discharged from the floating diffusion unit 110 to the reset drain power supply PIXRSD via the APD reset transistor 102.
- the image pickup control unit 24 sets the FD reset transistor 104 to off (S16), and further sets the selection transistor 106 to on (S17).
- the voltage corresponding to the amount of electric charge accumulated in the floating diffusion unit 110 is output to the vertical signal line Vsig as a detection signal. In this way, one sequence for the pixel cell 100 is completed.
- the imaging control unit 24 returns the process to step S11 and repeats the same process.
- the voltage corresponding to the reference storage potential Vq' is output from the pixel cell 100 to the image pickup control unit 24 as a detection signal.
- the electric charge is not transferred from the cathode of the APD 101 to the floating diffusion unit 110 in the transfer step of FIG. 3C. In this case, even if the electric charge due to noise or the like is accumulated in the cathode of the APD 101, the potential barrier of the transfer transistor 103 set in the transfer step prevents the electric charge from being distributed to the floating diffusion unit 110.
- the potential barrier of TRN and the potential barrier of RST may be lowered to the levels shown in FIGS. 3 (c) and 3 (d), respectively.
- the electric charge can be transferred to the floating diffusion unit 110 and the electric charge of the portion exceeding the reference accumulation potential Vq'can be scraped off at the same time.
- the transfer step of FIG. 3C and the scraping step of FIG. 3D are omitted.
- the image pickup control unit 24 transmits the detection signals sequentially input from each pixel cell 100 to the signal processing unit 25.
- the signal processing unit 25 measures the distance to the object existing at the position corresponding to each pixel cell 100 based on the time difference between the timing of receiving the detection signal and the timing of emitting the emission pulse to the light source 11. In this way, the distance to the object existing in the target area is measured.
- the detection signal output from each pixel cell 100 to the image pickup control unit 24 may fluctuate due to the characteristics of the circuit unit or the like even if it is made uniform by the above-mentioned fraying step.
- the level of the potential barrier of the RST may slightly fluctuate for each pixel cell 100 due to the electrical characteristics of the FD reset transistor 104 and the like.
- the signal processing unit 25 is further provided with a configuration for correcting the variation in the detection signal for each pixel cell 100 in this way.
- FIG. 5 is a diagram showing the configuration of the signal processing unit 25.
- the signal processing unit 25 includes an ADC 201, a switching unit 202, a variation calculation unit 203, a table storage unit 204, a correction calculation unit 205, and a central processing unit 206.
- the ADC 201 converts an analog detection signal for each pixel cell 100 input from the image pickup control unit 24 into a digital signal.
- the switching unit 202 outputs the digital detection signal input from the ADC 201 to either the variation calculation unit 203 or the correction calculation unit 205 under the control of the central processing unit 206.
- the variation calculation unit 203 calculates the variation of the detection signal from each pixel cell 100 based on the detection signal for one screen (detection signal from all pixel cells 100) input from the switching unit 202.
- the table storage unit 204 stores data indicating the variation of the detection signal in each pixel cell 100 calculated by the variation calculation unit 203 in association with each pixel cell 100. As a result, the table storage unit 204 constitutes a correction table in which variation data is associated with each pixel cell 100.
- the correction calculation unit 205 corrects the detection signal of each pixel input from the switching unit 202 based on the correction table held in the table storage unit 204, and outputs the corrected detection signal to the central processing unit 206.
- the central processing unit 206 controls each unit according to a predetermined program. Further, the central processing unit 206 controls the light emission control unit 13 and the image pickup control unit 24 as described above to execute a process of measuring the distance to the object.
- the central processing unit 206 sets n (for example, 20) sections associated with different distances. In each section, the central processing unit 206 makes the light source 11 pulse light at the same timing from the start of the section. Further, in each section, the central processing unit 206 exposes each pixel cell 100 for a certain period of time at the timing when the time length for the light to reciprocate in the distance associated with each section elapses from the timing of pulse light emission. Let me. As a result, when an object exists at a position of a distance associated with a predetermined section among these sections, the pixel cell 100 receives the reflected light from the object in the section, and the pixel cell 100 in the other sections. Does not receive reflected light. Therefore, the distance to the object can be acquired for each pixel cell by detecting in which section the detection signal is generated for each pixel cell 100.
- the central processing unit 206 compares the detection signals from each pixel cell 100 in all n sections, and specifies the section in which the detection signal is generated for each pixel cell 100. Then, the central processing unit 206 acquires the distance associated with the specified section as the distance to the object in the light ray direction of the reflected light incident on the pixel cell 100.
- the distance measurement method is not limited to the above method, and may be another method using TOF (TimeOfFlight).
- the central processing unit 206 may generate a distance image in which the distance acquired for each pixel cell 100 is mapped to the position of each pixel cell 100, or may output this distance image to another processing device.
- the configuration shown in FIG. 5 may be realized by a software function or a combination of hardware.
- each configuration in FIG. 5 shows each function executed by the software as a functional block.
- each configuration in FIG. 5 corresponds to the configuration of each hardware.
- the configuration of FIG. 5 may be realized by a combination of software functions and hardware.
- the central processing unit 206 sets the switching unit 202 on the correction calculation unit 205 side.
- the detection signal input from the ADC 201 to the switching unit 202 is input to the correction calculation unit 205.
- the detection signal corrected by the correction calculation unit 205 is input to the central processing unit 206 and used for distance measurement processing.
- the central processing unit 206 sets the switching unit 202 on the variation calculation unit 203 side.
- the detection signal input from the ADC 201 to the switching unit 202 is input to the variation calculation unit 203.
- the variation data calculated by the variation calculation unit 203 is associated with each pixel cell 100 and registered in the correction table.
- the correction table is updated.
- FIG. 6A is a flowchart showing a process executed by the signal processing unit 25 at the time of updating the correction table.
- the central processing unit 206 first determines whether or not the update condition of the correction table is satisfied (S21).
- FIG. 7 is a flowchart for determining whether or not the update condition of the correction table is satisfied.
- the central processing unit 206 is a solid-state image sensor when a predetermined number of frames have been processed by normal operation since the last update (S31: YES) and when a predetermined time has elapsed since the last update (S32: YES).
- S31: YES the last update
- S32: YES a predetermined time has elapsed since the last update
- S34: YES the dark count rate (magnitude of dark current) deviates from the reference value range and the substrate voltage is corrected.
- the central processing unit 206 has a timekeeping function. Further, in order to execute the process of step S33, the central processing unit 206 has a function of acquiring a detection signal from the temperature sensor for detecting the temperature of the solid-state image sensor 23.
- the image pickup device 20 further includes a temperature sensor (not shown) for detecting the temperature of the solid-state image pickup device 23 in addition to the configuration shown in FIG.
- steps S31 to S34 are shown in FIG. 7 as the update conditions of the correction table, the update conditions are not necessarily limited to these conditions, and the detection signal output from each pixel cell 100 varies. Other conditions may be added as long as the degree is variable, or only one or two of steps S31 to S34 may be added.
- the predetermined number of frames and the predetermined time in steps S31 and S32 are typically set assuming the time-dependent change of the solid-state image sensor 23, but the predetermined number of frames and a relatively long time are not necessarily set. It does not have to be set. For example, in order to correct the variation more reliably, the predetermined number of frames in step S31 may be one frame.
- the central processing unit 206 transmits an electrical control instruction to the image pickup control unit 24 (S22).
- the electrical control instruction is an instruction to electrically store the same electric charge as when the photon is incident on the APD 101 in the floating diffusion unit 110 and transmit the detection signal.
- the scraping step of FIG. 3D is performed, the electric charge corresponding to the reference storage potential Vq'is accumulated in the floating diffusion unit 110 based on the electrical control instruction.
- the imaging control unit 24 sets the reset drain power supply PIXRSD shown in FIG. 2 to a potential slightly higher than the potential corresponding to the saturated charge amount of the APD 101 in response to the reception of the electrical control instruction, and sets the APD to a potential slightly higher than the potential corresponding to the saturated charge amount of the APD 101.
- the reset transistor 102 is set to on.
- the same charge as in FIG. 3 (b) is accumulated on the cathode of the APD 101.
- the image pickup control unit 24 executes the transfer step and the scraping step of FIGS. 3C and 3D.
- the electric charge corresponding to the reference storage potential Vq' is accumulated in the floating diffusion unit 110.
- the image pickup control unit 24 executes a step of outputting a voltage (detection signal) corresponding to the electric charge accumulated in the floating diffusion unit 110 to the vertical signal line Vsig.
- a detection signal having the same potential as the reference storage potential Vq'is output to the imaging control unit 24.
- the image pickup control unit 24 transfers the input detection signal to the signal processing unit 25.
- the control executed by the imaging control unit 24 in response to the reception of the electrical control instruction is not limited to the above control, and may be at least other control capable of confirming the variation of the detection signal output to the vertical signal line Vsig. Good.
- the image pickup control unit 24 sets the reset drain power supply RSD shown in FIG. 2 to a potential slightly higher than the reference storage potential Vq'in response to the reception of the electrical control instruction, and sets the FD reset transistor 104 to ON. Control may be performed. As a result, a charge amount corresponding to a potential slightly higher than the reference storage potential Vq'is accumulated in the floating diffusion unit 110. After that, the image pickup control unit 24 executes the scraping step of FIG. 3D. As a result, the electric charge corresponding to the reference storage potential Vq'is accumulated in the floating diffusion unit 110.
- the image pickup control unit 24 executes a step of outputting a voltage (detection signal) corresponding to the electric charge accumulated in the floating diffusion unit 110 to the vertical signal line Vsig.
- a detection signal having the same potential as the reference storage potential Vq'is output to the imaging control unit 24.
- the image pickup control unit 24 executes the above processing in order for all the pixel cells 100 in response to the reception of the electrical control instruction. As a result, the detection signals from each pixel cell 100 are sequentially output from the image pickup control unit 24 to the signal processing unit 25. At this time, the switching unit 202 of FIG. 5 is set on the variation calculation unit 203 side as described above. Therefore, the detection signals from each pixel cell 100 are sequentially output to the variation calculation unit 203. In this way, the variation calculation unit 203 acquires the detection signals for all the pixel cells 100 (S23).
- the variation calculation unit 203 calculates the reference value V0 of the detection signal based on the acquired detection signals of all pixel cells 100 (S24).
- 8 (a) and 8 (b) are diagrams for explaining the calculation method of the reference value V0 in the variation calculation unit 203.
- FIG. 8A schematically shows the state of the detection signal acquired from each pixel cell 100.
- the voltage level of the detection signal acquired from each pixel cell 100 is indicated by hatching attached to each pixel cell 100.
- 10 pixel cells 100 are arranged in a matrix.
- the voltage levels of the detection signals are substantially the same except for a few pixel cells 100. In a few pixel cells 100, the voltage level of the detection signal is higher or lower than in most of the remaining pixel cells 100.
- step S24 of FIG. 6A the variation calculation unit 203 generates a histogram 300 based on the detection signals acquired from all the pixel cells 100 as shown in FIG. 8B.
- the horizontal axis of FIG. 6A shows the voltage value of the detection signal.
- the variation calculation unit 203 acquires a mode, that is, a voltage value having the maximum frequency from the generated histogram 300, and sets the acquired mode to the reference value V0.
- the reference value V0 calculated in step S24 is not limited to the mode, and may be another value as long as it is a value that can index the overall tendency of the detection signal acquired from all the pixel cells 100. ..
- the median value of the histogram 300 may be calculated as the reference value V0, or the average value of the detection signals acquired from all the pixel cells 100 may be calculated as the reference value V0.
- the variation calculation unit 203 acquires the reference value V0 for determining the detection signal according to the count number of photons output from all the pixel cells 100 as described above, and the acquired reference.
- the variation of the detection signal of each pixel cell is calculated based on the value (S25). Specifically, the variation calculation unit 203 uses the difference between the reference value and the detection signal of each pixel cell 100, that is, the value obtained by subtracting the reference value from the detection signal, as the variation of the detection signal of each pixel cell 100. calculate.
- the variation calculation unit 203 outputs the calculated variation to the table storage unit 204.
- the table storage unit 204 stores the input variation in the correction table in association with each pixel cell 100 (S26). As a result, the update process of the correction table is completed.
- the correction calculation unit 205 adds the variation of each pixel cell 100 stored in the correction table to the detection signal of each pixel cell 100 input from the ADC 201 to the switching unit 202, and adds each pixel cell. Correct 100 detection signals.
- the correction calculation unit 205 of the signal processing unit 25 makes the detection signals from all the pixel cells 100 uniform.
- the correction calculation unit 205 outputs the corrected detection signal to the central processing unit 206. In this way, the distance measurement process is smoothly performed in the central processing unit 206.
- step S22 electric charges were accumulated in the floating diffusion unit 110 by electrical control, but light from a standard light source (the number of incident photons is known) was emitted from each pixel cell.
- the electric charge may be accumulated in the floating diffusion unit 110 by incident on 100.
- step S22 of FIG. 6A is replaced with step S22'.
- the steps other than step S22' are the same as in FIG. 6A.
- step S22' the central processing unit 206 transmits an optical control instruction to the light emission control unit 13 and the image pickup control unit 24.
- the central processing unit 206 monitors the detection signal from each pixel cell 100 in the normal operation after the determination in step S21 is YES, and at the timing when the reflected light is received in all the pixel cells 100. , Send optical control instructions.
- the light emission control unit 13 Upon receiving the optical control instruction, the light emission control unit 13 causes the light source 11 to pulse light with a predetermined intensity.
- the emission intensity at this time may be the same as the emission intensity during normal operation, or is set higher than the emission intensity during normal operation so that all the pixel cells 100 receive the reflected light more reliably. You may.
- the image pickup control unit 24 Upon receiving the optical control instruction, the image pickup control unit 24 causes all the pixel cells 100 to be exposed for a predetermined time. As a result, charges are accumulated on the cathode of the APD 101 of all pixel cells 100. After that, the image pickup control unit 24 executes the processing steps of FIGS. 3A to 3D for all the pixel cells 100, and further causes all the pixel cells 100 to output the detection signal. As a result, the detection signal from all pixel cells 100 is input to the signal processing unit 25.
- the switching unit 202 of FIG. 5 is set on the variation calculation unit 203 side as described above.
- the detection signal from all the pixel cells 100 is input to the variation calculation unit 203 (S23). If the detection signal from any of the pixel cells 100 is the voltage level at which the reflected light is not received, the process of step S22'may be executed again.
- steps S24 to S26 are executed in the same manner as the flowchart of FIG. 6A.
- the correction table is updated.
- the correction calculation unit 205 corrects the detection signal from each pixel cell 100 by using the updated correction table.
- FIGS. 6A and 6B Since the processing of FIGS. 6A and 6B suppresses the variation of the detection signal from each pixel cell 100, the fraying step of FIG. 3D is not always performed. You may. However, if the scraping step of FIG. 3D is not performed, the variation of the detection signal from each pixel cell 100 input to the signal processing unit 25 becomes large. Therefore, it can be assumed that the difference between the reference value V0 and each detection signal is likely to deviate from the true value. Therefore, in order to detect the difference more accurately and properly homogenize the detection signal, after performing the scraping step of FIG. 3 (d), the homogenization of FIGS. 6 (a) and 6 (b) is performed. It is preferable to carry out the treatment.
- the signal processing unit 25 that processes the detection signal output from each pixel cell 100 calculates the variation of the detection signal output from the pixel cell 100, and outputs the variation from each pixel cell 100 based on the calculated variation.
- the detection signal is corrected. Therefore, it is possible to correct the variation of the detection signal from each pixel cell 100 without providing the feedback circuit.
- the variation calculation unit 203 acquires a reference value V0 that determines a detection signal according to the count number of photons output from all the pixel cells 100 based on the detection signals output from all the pixel cells 100, and obtains a reference value V0.
- the variation with respect to each pixel cell 100 is calculated based on the difference between the detection signals of V0 and each pixel cell 100. As a result, the variation of each detection signal can be smoothly calculated.
- the signal processing unit 25 includes a table storage unit 204 that stores the difference between the reference value V0 and the detection signal for each pixel cell 100. As a result, the variation of each pixel cell 100 can be easily acquired from the correction table stored in the table storage unit 204.
- the correction calculation unit 205 corrects the detection signal by adding the difference to the detection signal for each pixel cell 100. As a result, the detection signal from each pixel cell 100 can be smoothly uniformized.
- the variation calculation unit 203 is based on the detection signal output from each pixel cell 100 when the electric charge is simulatedly accumulated for the plurality of pixel cells 100 by electrical control (S22). And calculate the variation. Thereby, the variation of the detection signal from each pixel cell 100 can be smoothly calculated at an arbitrary timing.
- the variation calculation unit 203 pseudo-accumulates electric charges by irradiating a plurality of pixel cells 100 with light (S22'), and the detection signal output from each pixel cell 100.
- the variation is calculated based on. In this way, by evaluating the detection signal output from each pixel cell 100 when the light is actually irradiated, the variation of the detection signal can be accurately calculated.
- the variation calculation unit 203 calculates the variation when the predetermined update conditions (S31 to S34) are satisfied, and updates the variation in each pixel cell 100. In this way, the detection signal from each pixel cell 100 can be corrected more appropriately by updating the variation detection result according to the occurrence of the variation variation factor.
- the variation calculation unit 203 calculates the variation only once when the correction table is updated.
- the variation calculation unit 203 calculates the variation a plurality of times when the correction table is updated.
- FIG. 9 is a flowchart showing a process executed by the signal processing unit 25 at the time of updating the correction table according to the modification example 1.
- steps S27 to S29 are added as compared with the flowchart of FIG. 6A.
- the processing of the other steps is the same as in the case of FIG. 6A.
- the table storage unit 204 stores the variation of the detection signal from each pixel cell 100 calculated by the variation calculation unit 203 in step S25 for each pixel cell 100 (S27). After that, the central processing unit 206 determines whether or not the calculation and storage of the variation has been performed a plurality of predetermined times (for example, about 5 to 10 times) (S28). If this process has not been performed a plurality of times (S28: NO), the central processing unit 206 returns the process to step S22. As a result, the variation each time is stored in the table storage unit 204 for each pixel cell 100.
- a plurality of predetermined times for example, about 5 to 10 times
- the table storage unit 204 averages the variation stored in each process for each pixel cell 100 (S29) and averages them. The value is stored in the correction table in association with each pixel cell 100 (S26). In this way, the correction table is updated. In the subsequent normal operation, the correction calculation unit 205 corrects the detection signal from each pixel cell 100 by using the updated correction table.
- step S29 the detection signals that greatly deviate from the values of the other detection signals may be excluded from the target of averaging. As a result, the influence of noise can be suppressed, and the value of the detected signal after averaging can be brought close to the true value.
- the averaging process in step S29 may be performed by the correction calculation unit 205.
- the table storage unit 204 stores the variation of the detection signal from each pixel cell 100 calculated by the variation calculation each time as a correction table. That is, in this case, a plurality of correction tables are stored in the table storage unit 204.
- the correction calculation unit 205 calculates the average value of the variation of the detection signal of each pixel cell 100 with reference to these plurality of correction tables during normal operation, and based on the calculated average value, from each pixel cell 100. Correct the detection signal.
- the variation is corrected for the detection signal from each pixel cell 100 based on the variation a plurality of times, so that the variation value used for the correction is suppressed from deviating from the true value due to noise or the like. it can. Therefore, it is possible to more appropriately equalize the detection signal from each pixel cell 100.
- the table storage unit 204 is arranged in the signal processing unit 25.
- the table storage unit 204 is arranged in the sensor chip 400 of the solid-state image sensor 23.
- FIG. 10 is a diagram schematically showing the configuration of the sensor chip 400 according to the second modification.
- the sensor chip 400 includes an image pickup control unit 24 and a table storage unit 204 as a configuration of a circuit unit (integrated circuit).
- the table storage unit 204, the image pickup control unit 24, and the signal processing unit 25 are connected via terminals (not shown) arranged on the outer periphery of the sensor chip 400.
- the initial value of the variation of the detection signal acquired at the time of manufacturing can be stored in advance in the table storage unit 204 on the sensor chip 400 side.
- the variation calculation unit 203 and the correction calculation unit 205 may be further arranged on the sensor chip 400 side.
- the electric charge accumulated in the floating diffusion unit 110 by one operation sequence is converted into a voltage and output to the vertical signal line Vsig.
- the electric charge in the memory unit is converted into a voltage and the vertical signal line Vsig Is output to. That is, in the second embodiment, the number of times the reflected light (photons) is incident on the APD 101 in the plurality of operation sequences is counted by the amount of electric charge accumulated in the memory unit.
- the amount of electric charge stored in the memory unit is the amount of electric charge corresponding to the number of times the reflected light (photons) is incident on the APD 101.
- FIG. 11 is a diagram showing the configuration of the pixel cell 100 according to the second embodiment.
- the count transistor 107 and the memory unit 108 are added to the configuration shown in FIG.
- the memory unit 108 is a capacitor that stores electric charges.
- the count transistor 107 connects the floating diffusion unit 110 and the memory unit 108. By applying the count signal CNT to the gate of the count transistor 107, the electric charge accumulated in the floating diffusion unit 110 is transferred to the memory unit 108 via the count transistor 107.
- the capacity of the memory unit 108 is larger than the capacity of the floating diffusion unit 110.
- the capacity of the memory unit 108 is set to about five times the capacity of the floating diffusion unit 110.
- the method of setting the capacity of the memory unit 108 is not limited to this, and various setting methods can be applied.
- 12 (a) to 12 (d) and 13 (a) to 13 (d) are diagrams for explaining the operation sequence of the pixel cell 100.
- 12 (a) to 12 (d) and 13 (a) to 13 (d) show the reset drain power supply PIXRSD of FIG. 11 via the APD reset transistor 102, the transfer transistor 103, the floating diffusion unit 110, and the count transistor 107.
- the potential diagram of the circuit portion leading to the memory portion 108 is shown. On the vertical axis, the direction of the arrow is the direction of low potential.
- FIGS. 12 (a) to 12 (d) and 13 (a) to 13 (d) “PIXRSD”, “APD”, and “FD” are reset drains as in FIGS. 3 (a) to 3 (d), respectively. It shows the potential of the power supply PIXRSD, the potential of the cathode of the APD101, and the potential of the floating diffusion unit 110. Further, “OVF” and “TRN” indicate the potential of the APD reset transistor 102 and the potential of the transfer transistor 103, respectively, as in FIGS. 3 (a) to 3 (d). In addition, “MEM” indicates the potential of the memory unit 108, and CNT indicates the potential of the count transistor 107.
- the steps of FIGS. 3 (a) to 3 (d) are executed, and electric charges are accumulated in the floating diffusion unit 110. Will be done.
- the control may be performed in which the scraping step is performed at the same time as the transfer step, or the scraping step and the transfer step may be controlled to be performed at the same time as the accumulation step.
- FIG. 12A shows a state in which the FD reset transistor 104 is set to off after the fraying step of FIG. 3D is performed. At this time, the count transistor 107 is set to off, and a potential barrier is generated in the CNT.
- the image pickup control unit 24 sets the count transistor 107 to ON.
- the potential barrier of the CNT disappears, and the electric charge accumulated in the floating diffusion unit 110 is distributed to the memory unit 108.
- the image pickup control unit 24 sets the count transistor 107 to off.
- a potential barrier is generated in the CNT, and the amount of charge accumulated in the memory unit 108 is determined to be the amount of charge corresponding to one photon incident.
- the image pickup control unit 24 executes the next sequence. As a result, the operations of FIGS. 3A to 3D are executed. At this time, when reflected light (photons) is incident on the APD 101, as shown in FIG. 12 (d), an amount of electric charge corresponding to the reference storage potential Vq'is accumulated in the floating diffusion unit 110.
- the image pickup control unit 24 sets the count transistor 107 to ON. As a result, as shown in FIG. 13A, the potential barrier of the CNT disappears, and the electric charge accumulated in the floating diffusion unit 110 is distributed to the memory unit 108. As a result, the amount of electric charge stored in the memory unit 108 increases by the amount of electric charge corresponding to one photon count. After that, the image pickup control unit 24 sets the count transistor 107 to off. As a result, as shown in FIG. 13B, a potential barrier is generated in the CNT, and the amount of charge accumulated in the memory unit 108 is determined to be the amount of charge corresponding to the two photon incidents.
- the image pickup control unit 24 repeats the same sequence a predetermined number of times. As a result, in each sequence, each time the reflected light (photons) is incident on the APD 101, a charge amount corresponding to one photon count is accumulated in the memory unit 108. In this way, when the sequence of a predetermined number of times is completed, for example, the electric charge of the amount shown in FIG. 13C is accumulated in the memory unit 108.
- the image pickup control unit 24 sets the count transistor 107 to ON. As a result, as shown in FIG. 13D, the potential barrier of the CNT disappears, and the electric charge accumulated in the memory unit 108 is distributed to the floating diffusion unit 110. Then, the image pickup control unit 24 sets the selection transistor 106 to ON. As a result, the voltage corresponding to the electric charge stored in the memory unit 108 is output to the vertical signal line Vsig as a detection signal. This detection signal has a magnitude corresponding to the number of times the reflected light (photons) is incident on the APD 101.
- FIG. 14A is a flowchart for executing the above processing.
- the image pickup control unit 24 performs a process from initialization to scraping of the pixel cell 100 (S41). In this step, when reflected light (photons) is incident on the APD 101, as shown in FIG. 12A, a charge amount corresponding to one photon count is accumulated in the floating diffusion unit 110.
- the image pickup control unit 24 sets the count transistor 107 to ON (S42). As a result, as shown in FIG. 12B, the electric charge accumulated in the floating diffusion unit 110 is distributed to the memory unit 108. Then, the image pickup control unit 24 sets the count transistor 107 to off (S43). As a result, as shown in FIG. 12 (c), the electric charge distributed to the memory unit 108 is determined.
- the image pickup control unit 24 repeats the sequence of steps S41 to S43 a predetermined number of times (S44).
- the image pickup control unit 24 sets the count transistor 107 to ON (S45).
- the electric charge accumulated in the memory unit 108 is distributed to the floating diffusion unit 110.
- the image pickup control unit 24 sets the selection transistor 106 to be on for a predetermined time, and outputs a voltage corresponding to the amount of electric charge of the floating diffusion unit 110 to the vertical signal line Vsig (S46).
- the imaging control unit 24 sets the FD reset transistor 104 to ON, and the floating diffusion unit 110 and the memory unit 108.
- the charge accumulated in the reset drain power supply RSD is discharged (S47). This completes one sequence for photon counting. After that, the image pickup control unit 24 returns the process to step S41 and repeats the same process.
- the configuration of the second embodiment is suitable, for example, when the imaging device 20 is mounted on a measuring device that irradiates the target area with light and measures the reflectance of the target area.
- the reflectance of the object existing in the target region is low, for example, the reflected light (photon) is incident on the APD 101 only a few times out of 10 pulse emissions. That is, the count number of photons acquired in each pixel cell 100 (voltage corresponding to the amount of electric charge stored in the memory unit 108) can correspond to the reflectance of the object.
- the measuring device is based on the detection signal of each pixel cell 100 input from the image pickup device 20, that is, the voltage corresponding to the count number of photons (the voltage corresponding to the amount of electric charge stored in the memory unit 108).
- the reflectance of the position on the target region corresponding to each pixel cell 100 can be measured.
- the measuring device can generate an image in which the reflectance is mapped to a position corresponding to each pixel cell 100 on the target region.
- the detection signal (voltage corresponding to the number of photon counts) output from each pixel cell 100 to the image pickup control unit 24 may vary from pixel cell 100 to pixel cell 100. That is, in step S41 of FIG. 14A, even if the electric charge of the floating diffusion unit 110 is equalized by the fraying step and then accumulated in the memory unit 108, due to the characteristics of the circuit unit and the like, The amount of electric charge stored in the memory unit 108 in each sequence may fluctuate for each pixel cell 100. For example, during the scraping process, the level of the potential barrier of the RST may slightly fluctuate for each pixel cell 100 due to the electrical characteristics of the FD reset transistor 104 and the like.
- FIG. 14B is a graph showing an example of the relationship between the number of photon counts in the pixel cell 100 and the output voltage. Here, for convenience, graphs are shown for the three pixel cells A, B, and C.
- the configuration for appropriately acquiring the photon count number from the detection signal is provided. It is provided in the signal processing unit 25.
- FIG. 15 is a diagram showing the configuration of the signal processing unit 25 according to the second embodiment.
- the signal processing unit 25 includes an ADC 501, a switching unit 502, a correlation extraction unit 503, a correlation storage unit 504, a count number acquisition unit 505, and a central processing unit 506.
- the ADC 501 converts an analog detection signal (voltage corresponding to the number of photon counts) for each pixel cell 100 input from the image pickup control unit 24 into a digital signal.
- the switching unit 502 outputs the digital detection signal input from the ADC 501 to either the correlation extraction unit 503 or the count number acquisition unit 505 under the control of the central processing unit 206.
- the correlation extraction unit 503 extracts the correlation between the number of photon counts and the detection signal (voltage corresponding to the electric charge stored in the memory unit 108) for each pixel cell 100.
- the correlation storage unit 504 stores the correlation extracted by the correlation extraction unit 503 for each pixel cell 100.
- the count number acquisition unit 505 acquires the count number corresponding to the detection signal output from each pixel cell 100 based on the correlation stored in the correlation storage unit 504, and transfers the acquired count number to the central processing unit 506. Output.
- the configuration shown in FIG. 15 may be realized by a software function or a combination of hardware.
- each configuration of FIG. 15 shows each function executed by the software as a functional block.
- each configuration of FIG. 15 corresponds to the configuration of each hardware.
- the configuration of FIG. 15 may be realized by a combination of software functions and hardware.
- the central processing unit 506 sets the switching unit 502 to the count number acquisition unit 505 side.
- the detection signal input from the ADC 501 to the switching unit 502 is input to the count number acquisition unit 505.
- the count number acquired by the count number acquisition unit 505 based on the correlation stored in the detection signal and the correlation storage unit 504 is input to the central processing unit 506 and used for processing such as reflectance measurement.
- the central processing unit 506 sets the switching unit 502 on the correlation extraction unit 503 side.
- the detection signal input from the ADC 501 to the switching unit 502 is input to the correlation extraction unit 503.
- the correlation extracted by the correlation extraction unit 503 is stored in the correlation storage unit 504 for each pixel cell 100.
- a correlation table in which the count number and the detection signal are associated is stored in the correlation storage unit 504 for each pixel cell 100. As a result, the correlation between the count number and the detection signal is updated.
- FIG. 16A is a flowchart showing a process executed by the signal processing unit 25 at the time of the correlation update operation.
- the central processing unit 206 first determines whether or not the correlation update condition is satisfied (S51). This determination is performed, for example, in the same manner as the flowchart of FIG. 7. Similar to the first embodiment, the update condition is not limited to the conditions of steps S31 to S34 in FIG. 7.
- the central processing unit 206 sets the variable K to 1 (S52), and transmits a pseudo voltage output instruction to the imaging control unit 24 (S53).
- the pseudo voltage output instruction means that the electric charge of the amount of electric charge when the number of counts is K is stored in the memory unit 108 in a pseudo manner, and the detection signal (voltage) corresponding to the amount of electric charge is simulated from the pixel cell 100. It is an instruction to output to.
- the imaging control unit 24 has a pseudo storage step of pseudo-accumulating the electric charge of the amount of electric charge when the count number is K times in the memory unit 108 of FIG. Is executed as a pseudo output step of outputting the electric charge to the vertical signal line Vsig.
- the imaging control unit 24 controls the reset drain power supply PIXRSD and the APD reset transistor 102 of FIG. 11 to execute a process of accumulating a saturated charge amount on the cathode of the APD 101, and further.
- the image pickup control unit 24 executes the steps of FIGS. 12A to 12C to transfer the electric charge pseudo-stored in the floating diffusion unit 110 to the memory unit 108.
- the image pickup control unit 24 repeats the above steps K times. As a result, an electric charge equivalent to the case where the number of photon counts is K is accumulated in the memory unit 108.
- the control executed by the imaging control unit 24 in the pseudo storage step is not limited to the above control, and other controls capable of accumulating at least an amount of electric charge equivalent to the case where the photon count is K times in the memory unit 108. It may be.
- the image pickup control unit 24 may control the reset drain power supply RSD shown in FIG. 11 to have a potential equivalent to the reference storage potential Vq'and turn on the FD reset transistor 104. Good. As a result, a charge amount corresponding to a potential equivalent to the reference storage potential Vq'is accumulated in the floating diffusion unit 110. After that, the image pickup control unit 24 transfers the electric charge of the floating diffusion unit 110 to the memory unit 108 after executing the fraying step. In the pseudo accumulation step, the image pickup control unit 24 repeats the above steps K times. As a result, an electric charge equivalent to the case where the number of photon counts is K is accumulated in the memory unit 108.
- the image pickup control unit 24 sets the reset drain power supply RSD shown in FIG. 11 to a potential having a charge amount equivalent to the case where the number of photon counts is K, and sets the FD reset transistor 104 and the FD reset transistor 104. Control may be performed to set the count transistor 107 to ON. As a result, an electric charge equivalent to the case where the number of photon counts is K is accumulated in the memory unit 108.
- pseudo charge accumulation may be optically performed on the floating diffusion unit 110.
- the imaging control unit 24 executes a pseudo output step of outputting the voltage corresponding to the electric charge pseudo-stored in the memory unit 108 to the vertical signal line Vsig.
- the image pickup control unit 24 sets the count transistor 107 of FIG. 11 to ON, transfers the charge accumulated in the memory unit 108 to the floating diffusion unit 110, and then sets the selection transistor 106 to ON for a predetermined time. Then, a voltage (pseudo-detection signal) corresponding to the amount of electric charge accumulated in the floating diffusion unit 110 is output to the vertical signal line Vsig.
- the image pickup control unit 24 sequentially executes the above-mentioned pseudo storage step and pseudo output step for all the pixel cells 100 in response to the reception of the pseudo voltage output instruction.
- pseudo detection signals from each pixel cell 100 are sequentially output from the image pickup control unit 24 to the signal processing unit 25.
- the switching unit 502 in FIG. 15 is set on the correlation extraction unit 503 side as described above. Therefore, the pseudo detection signals from each pixel cell 100 are sequentially calculated by the correlation extraction unit 503. In this way, the correlation extraction unit 503 acquires the detection signals for all the pixel cells 100 (S54).
- the correlation extraction unit 503 associates the voltage value of the detection signal of each pixel cell 100 with the count value (the same value as the variable K) and stores it in the correlation table held in the correlation storage unit 504 (S55).
- FIG. 16B is a diagram showing the configuration of the correlation table.
- the correlation table is prepared for each pixel cell 100.
- the correlation table is a table in which a count value and a voltage value are associated with each other.
- the correlation extraction unit 503 outputs the voltage value of the detection signal of each pixel cell 100 to the correlation storage unit 504.
- the correlation storage unit 504 associates the input voltage value of each pixel cell 100 with a count value (the same value as the variable K) and stores it in the correlation table of the corresponding pixel cell 100.
- the central processing unit 506 determines whether or not the variable K has reached the set number of times N (S56).
- the set number of times N is the upper limit of the preset count value. That is, the upper limit of the range for counting photons is the set number of times N.
- the central processing unit 506 adds 1 to the variable K (S57), and returns the processing to step S53.
- the detection signal (voltage) corresponding to the increased count value is acquired for each pixel cell 100 by the processing of steps S53 and S54, and the voltage value of the acquired detection signal is stored in the correlation table in step S55.
- the central processing unit 506 ends the update processing of the correlation table.
- FIG. 16A By performing the process of FIG. 16A, the correlation between the detection signal from each pixel cell 100 and the count value is extracted. Therefore, in the update process of the correlation table and the normal operation, FIG. 3D ) Is not necessarily performed. However, the correlation can be extracted more accurately by performing the scraping step of FIG. 3D and suppressing the variation in the detection signal (voltage) with respect to each count value.
- the correlation (correlation table) between the number of photoons received by the APD 101 and the detection signal of the pixel cell 100 is extracted and stored in the correlation storage unit 504. Will be done.
- the count number acquisition unit 505 acquires the count number according to the detection signal from each pixel cell 100 based on the correlation (correlation table). As a result, even if the detection signal from each pixel cell 100 varies, the number of photon counts can be appropriately acquired without providing a feedback circuit.
- the correlation extraction unit 503 stores a correlation table that defines the correlation between the count number and the detection signal in the correlation storage unit 504 for each pixel.
- the count number acquisition unit 505 only needs to read the count number corresponding to the detection signal (voltage value) from each pixel cell 100 input during normal operation from the correlation table, and the count number can be smoothly processed by a simple process. Can be obtained.
- the correlation extraction unit 503 outputs the electric charge corresponding to each count number from each pixel cell 100 when the electric charge corresponding to each count is artificially stored in the memory unit 108 of the pixel cell 100.
- the correlation table is set based on the detected signal. More specifically, as shown in FIG. 16B, the detection signal output from each pixel cell 100 when the electric charge corresponding to each count is artificially stored in the memory unit 108 of the pixel cell 100.
- the value (voltage value) of is associated with the count number and registered in the correlation table. In this way, by using the pseudo accumulation process for setting the update table, the correlation table can be updated smoothly at a desired timing.
- the detection signal (voltage value) output from each pixel cell 100 is registered in the correlation table as it is.
- a plurality of types of correlation tables in which the count value and the voltage value are associated are prepared in advance.
- the correlation table that best matches the correlation between the detection signal (voltage value) output from each pixel cell 100 and the count value in the correlation table update process is the pixel cell 100. It is set in the correlation table used for.
- FIG. 17A is a flowchart showing a process executed by the signal processing unit 25 at the time of the correlation update operation according to the first modification of the second embodiment.
- step S55 of the flowchart of FIG. 16A is replaced with step S58, and step S59 is newly added.
- the processing of the other steps is the same as the processing of the corresponding step in FIG. 16 (a).
- step S58 the correlation extraction unit 503 associates the voltage value of the detection signal from each pixel cell 100 with the count number (the same value as the variable K) and stores it in the correlation storage unit 504.
- the count number the same value as the variable K
- the correlation extraction unit 503 data on the count number and the voltage value of each pixel cell 100 stored in the correlation storage unit 504 by the processing in steps S53 to S57.
- the group is compared with a plurality of types of correlation tables stored in advance in the correlation storage unit 504, and the correlation table that best matches the data group of each pixel cell 100 is set in the correlation table used for each pixel cell 100 ( S59).
- the matching determination for example, the difference between the voltage value on the data group side and the voltage value on the correlation table side is obtained for each count, and the correlation table in which the total value of these differences is the smallest is matched most. It is performed by the method of judging as a correlation table.
- the matching determination method is not limited to this, and other determination methods may be used.
- the correlation extraction unit 503 stores the identification information of the correlation table set for each pixel cell 100 in the correlation storage unit 504 in association with the pixel cell 100. After that, the correlation storage unit 504 erases the data group stored by the processes of steps S53 to S57.
- FIG. 17B is a diagram showing information stored in the correlation storage unit 504 in step S59 of FIG. 17A.
- the correlation storage unit 504 stores the identification information of the correlation table used for each pixel cell 100 in association with each pixel cell 100.
- the count number acquisition unit 505 refers to the correspondence table of FIG. 17B to specify the correlation table used for each pixel cell 100. Using the specified correlation table, the count number acquisition unit 505 acquires the count number corresponding to the detection signal (voltage value) for each pixel cell 100 as in the second embodiment, and centrally processes the acquired count number. Output to unit 506.
- the correlation storage unit 504 only needs to store the identification information of the plurality of types of preset correlation tables and the correlation table associated with each pixel cell 100. Therefore, as compared with the second embodiment, the capacity consumption in the correlation storage unit 504 can be remarkably suppressed.
- the correlation table stored in advance in the correlation storage unit 504 may be prepared with a pattern capable of responding to variations in detection signals (voltage values) that may occur in each pixel cell 100. For example, about 10 types of correlation tables can be prepared.
- the correlation between the detection signal and the number of counts is defined by the correlation table.
- the correlation between the detected signal and the count number is defined by the correlation function.
- FIG. 18A is a flowchart showing a process executed by the signal processing unit 25 at the time of the correlation update operation according to the second modification of the second embodiment.
- step S59 of the flowchart of FIG. 17A according to the first modification of the second embodiment is replaced with step S60.
- the processing of the other steps is the same as the processing of the corresponding step in FIG. 17 (a).
- step S56 is YES, all the count numbers and the voltage values are associated with each other for each pixel cell 100 as described above. , Stored in the correlation storage unit 504.
- the correlation extraction unit 503 determines the count number and the voltage for each pixel cell 100 based on the data group of the count number and the voltage value of each pixel cell 100 stored in the correlation storage unit 504 by the processing in steps S53 to S57.
- a correlation function that defines the correlation of values is generated (S60).
- the correlation extraction unit 503 holds an algorithm for generating the correlation function.
- the correlation extraction unit 503 stores the correlation function set for each pixel cell 100 in the correlation storage unit 504 in association with the pixel cell 100.
- the correlation extraction unit 503 may store the basic correlation function and the correlation coefficient set for each pixel cell 100. After that, the correlation storage unit 504 erases the data group stored by the processes of steps S53 to S57.
- FIG. 18B is a diagram schematically showing the correlation function stored in the correlation storage unit 504 in step S60 of FIG. 18A.
- the correlation functions of the three pixel cells A, B, and C are shown.
- the count number on the horizontal axis is set in the variable x.
- the correlation function is shown as an inverse function in order to obtain the count number x from the output voltage y.
- the count number acquisition unit 505 specifies the correlation function of each pixel cell 100 illustrated in FIG. 18B.
- the count number acquisition unit 505 calculates the count number according to the detection signal (voltage value) for each pixel cell 100 using the specified correlation function, and outputs the calculated count number to the central processing unit 506.
- the memory capacity of the correlation storage unit 504 during normal operation is significantly consumed as compared with the second embodiment. Can be suppressed.
- step S60 of FIG. 18A a correlation function is generated for each pixel cell 100, but instead of this, a plurality of types of correlation functions are prepared in advance, and the detection signal in each pixel cell 100 is used.
- the process of associating each pixel cell 100 with the correlation function that best matches the correlation of the counts may be performed in step S60.
- the image pickup device 20 is used as the measuring device for the reflectance of the object, but in the third embodiment, the image pickup device 20 is used as the distance measuring device. An overall image of the distance measuring device 2 using the imaging device 20 according to the second embodiment will be described.
- FIG. 19 is a block diagram showing a configuration example of the distance measuring device 2 according to the third embodiment.
- the constituent blocks other than the light emitting device 10 correspond to the image pickup device 20.
- the image pickup control unit 24 controls the light projecting device 10.
- the image pickup control unit 24 controls the light emission control unit 13 to make the light source 11 emit pulse light, and controls the solid-state image pickup element 23 to output a detection signal from each pixel cell 100.
- the pixel signal output unit 601 performs processing such as amplification, noise removal, and A / D conversion on the detection signal output from each pixel cell 100 to the vertical signal line Vsig and outputs the detection signal.
- the correlation extraction unit 603 acquires the correlation between the detection signal (voltage value) output from each pixel cell 100 and the count value, and stores the acquired correlation in the correlation storage unit. Store in 604. Similar to the second embodiment and its modification, the count number acquisition unit 605 uses the detection signal (voltage value) output from each pixel cell 100 as the count value based on the correlation stored in the correlation storage unit 604. Convert.
- the signal processing calculation unit 606 generates a distance image and a luminance image based on the count value of each pixel cell 100 input from the count number acquisition unit 605.
- the generated distance image and luminance image are output to other information processing devices as appropriate.
- the image pickup control unit 24 corresponds to N (N is an integer of 3 or more) division distances in which the distance measurement range is divided by repeating the set of pulsed light emission and exposure N (N is an integer of 3 or more) times. N pieces of divided images are imaged.
- the distance measuring range is the total distance range that can be measured from the distance measuring device 2 to the subject.
- the ranging range is set to 0 to Dmax (m).
- the N section distances are, for example, partial distance ranges obtained by dividing the distance measurement range into N equal parts.
- the N division distances are not limited to N equal divisions, and may be a partial distance range in which the distance range is unevenly divided. For example, depending on the measurement target of the distance measuring device 2 and the measurement environment, the N division distances may be set to include the division distance in the small distance range and the division distance in the large distance range.
- the image pickup control unit 24 supplies the light emission control signal to the light emission control unit 13 and supplies the exposure control signal to the solid-state image sensor 23, so that the light source 11 and the solid-state image sensor 23 are imaged so as to capture N divided images. Control. Specifically, the image pickup control unit 24 generates the light source 11 and the solid state by generating the light emission control signal and the exposure control signal so as to generate N sets of light emission pulses and exposure pulses per frame of distance image. The image sensor 23 is controlled.
- the image pickup control unit 24 generates an exposure pulse so that the time difference between the light emission timing and the exposure timing gradually increases in the first measurement period (Tm1) to the Nth measurement period (TmN).
- the time difference between the light emission timing and the exposure timing corresponds to the distance (distance range) of the subject that generated the reflected light received by the solid-state image sensor 23 during the measurement period. That is, when the reflected light is received during the measurement period, the distance from the distance measuring device 2 to the subject corresponds to the time difference.
- the image pickup control unit 24 generates an exposure pulse instructing exposure in the section of the time slot Tsk in the measurement period Tmk.
- k is an integer from 1 to N.
- the image pickup control unit 24 generates an exposure pulse instructing exposure in the section of the time slot Ts1 in the first measurement period Tm1.
- the solid-state image sensor 23 generates an image obtained by exposure in the time slot Ts1 as a division image # 1 and holds it in a memory. For example, assuming that the period of each time slot is 10 nS, the solid-state image sensor 23 can receive the reflected light appearing within 10 nS from the start of pulse emission in the time slot Ts1, but receives the reflected light appearing after that. Can not.
- c is the speed of light (3 ⁇ 10 8 m / s ).
- L1 indicates the distance range of the division distance # 1. 2 ⁇ L1 is the reciprocating distance of the irradiation light.
- the distance is within the range of the subject division distance # 1 (for example, 0 to 1.5 m).
- the image pickup control unit 24 generates an exposure pulse instructing exposure in the section of the time slot Tsk in the k measurement period Tmk.
- 2 ⁇ Lk is the round-trip distance of the irradiation light.
- the subject division distance #k (for example, the distance range from (k-1) ⁇ 1.5 m to k ⁇ 1.5 m). It means that it is within the distance.
- the imaging control unit 24 continuously repeats light emission and exposure a plurality of times (for example, 10 times) in order to acquire one divided image. That is, the image pickup control unit 24 continuously executes the processing of the kth measurement period a plurality of times, and accumulates the electric charge in the memory unit 108 shown in FIG. After the electric charge is accumulated in the memory unit 108 in this way, as described in the second embodiment, the voltage value corresponding to the electric charge of the memory unit 108 is output to the vertical signal line Vsig as a detection signal. As a result, the divided image #k corresponding to the kth measurement period is acquired.
- the imaging control unit 24 continuously executes the processing of the next k + 1 measurement period a plurality of times to acquire the divided image # k + 1 corresponding to the k + 1 measurement period.
- the image pickup control unit 24 stores the sequentially acquired divided images in the memory unit 602.
- the signal value (voltage value) of the detection signal mapped to each pixel position of each divided image is correlated by the count number acquisition unit 605. It is converted into a count number based on the correlation held in the storage unit 604.
- the count number acquisition unit 605 outputs the converted count number to the signal processing calculation unit 606.
- the signal processing calculation unit 606 a count image in which the count number is mapped to each pixel position is acquired for each division image.
- the signal processing calculation unit 606 generates a distance image and a luminance image based on the acquired count image of each division image.
- the distance image is generated by the function of the distance image generation unit 606a of the signal processing calculation unit 606.
- the luminance image is generated by the function of the luminance image generation unit 606b of the signal processing calculation unit 606.
- the distance image generation unit 606a compares the count value of each pixel mapped to each count image with a predetermined threshold value, and adds a predetermined color to the pixel having a count value equal to or higher than the threshold value.
- the distance image generation unit 606a sets a different color for each count image. For example, in the case of the count image # 1 acquired from the distance image # 1 of the division distance # 1, the pixels whose count value exceeds the threshold are colored in blue, and the count acquired from the distance image # 2 of the division distance # 2 is added. In the case of image # 2, the pixels whose count value exceeds the threshold are colored in light blue. As a result, images with different colors for each distance can be obtained for each image.
- the distance image generation unit 606a synthesizes the images of all the count images thus acquired into one frame image. As a result, a distance image for one frame is generated.
- the distance image generation unit 606a outputs the generated distance image to an external information processing device or the like.
- the luminance image generation unit 606a sets a luminance value for each pixel according to the magnitude of the count value of each pixel with respect to the count image acquired in the same manner as described above, and generates a luminance image for each count image.
- the luminance image generation unit 606a outputs each of the generated luminance images to an external information processing device or the like.
- the luminance image generation unit 606a may synthesize all the luminance images to generate a luminance image for one frame, and output the generated luminance image for one frame to an external information processing device or the like.
- the image pickup control unit 24 and the correlation storage unit 504 may be mounted on the sensor chip 400.
- the detection signal (voltage value) and the count value data group are acquired and acquired a plurality of times for the same pixel cell 100.
- the value obtained by averaging the plurality of detected signals (voltage values) for each count value may be registered in the correlation table.
- FIGS. 3 (a) to (d), 4 (a) and 4 (b), 12 (a) to (d) and 13 (a) and 13 (b) are shown. , As an example, can be appropriately changed to other potentials and capacities.
- the configuration of the image pickup apparatus 20 is not limited to the configuration shown in FIG. 1, and various changes can be made. For example, if it is not necessary to receive only light of a predetermined wavelength, the filter 22 may be omitted. The configuration of the signal processing unit 25 can also be changed as appropriate.
- the image pickup control unit 24 can be further controlled with a higher degree of freedom by a control signal from the outside of the chip.
- each processing unit included in the solid-state image sensor 1 is typically realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Further, the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
- FPGA Field Programmable Gate Array
- MOS transistor an example using a MOS transistor is shown, but other transistors may be used.
- the image pickup device 20 is mounted on the distance measurement device 1, in the second embodiment, the image pickup device 20 is used as the reflectance measuring device, and in the third embodiment, the image pickup device 20 measures the distance.
- the application form of the image pickup device 20 is not limited to this.
- the present invention may be applied to an imaging device used in fields such as medical treatment and radiation measurement.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像装置(20)は、複数の画素セルが行列状に配置された固体撮像素子と、各画素セルから出力される検出信号を処理する信号処理部(25)と、を備える。ここで、信号処理部(25)は、各画素セルから出力される検出信号の画素セル間のばらつきを算出するばらつき算出部(203)と、ばらつき算出部(203)により算出されたばらつきに基づいて各画素セルから出力される検出信号を補正する補正演算部(205)と、を備える。
Description
本発明は、固体撮像素子を用いた撮像装置に関する。
従来、固体撮像素子を用いた撮像装置が、医療や放射線計測等の種々の分野で用いられている。最近では、目標領域に光を投射し、その反射光の有無に基づいて、目標領域における物体の有無を検出する物体検出装置にも、撮像装置が用いられている。この場合、目標領域に対する光の投射タイミングと反射光の受光タイミングとの時間差に基づいて、物体までの距離が測定される。固体撮像素子の画素ごとに、反射光の有無が検出され、物体までの距離が測定される。測定された距離を各画素位置にマッピングすることにより、目標領域に対する距離画像を生成できる。
微弱な光の検出が必要な機器では、アバランシェフォトダイオード(以下、「APD」という)がアレイ状に配置された固体撮像素子が用いられ得る。たとえば、上記物体検出装置では、反射光の強度が物体までの距離の2乗に反比例するため、測距範囲が長くなると、固体撮像素子で受光される反射光の強度は、かなり減衰する。このような場合に、APDがアレイ状に配置された固体撮像素子が用いられると有利である。APDは、フォトンの衝突により発生する電子(電荷)をアバランシェ増倍により増幅させる。これにより、微弱な光を検出可能である。この種の固体撮像素子では、画素セルごとに、APDと、その処理回路が配置されている。
ここで、固体撮像素子を用いた撮像装置では、各画素セルからの信号にノイズが生じることが課題となっている。このようなノイズを低減する方法の一例として、以下の特許文献1には、単位画素のフローティングディフュージョンと、単位画素から読み出された信号を転送する信号線との接続を制御する第1の接続制御部と、フィードバック用の増幅部の入力と信号線との接続を制御する第2の接続制御部と、フィードバック用の増幅部の出力と信号線との接続を制御する第3の接続制御部と、単位画素、フィードバック用の増幅部、並びに、第1の接続制御部乃至第3の接続制御部を制御し、フィードバック用の増幅部の出力をフローティングディフュージョンにフィードバックさせるフィードバック制御部と、を備える信号処理装置が記載されている。
上記特許文献1の構成では、フィードバック用の増幅部の出力をフローティングディフュージョンにフィードバックさせる構成が画素ごとに必要となるため、固体撮像素子の構成が複雑になってしまう。
かかる課題に鑑み、本発明は、フィードバック回路を設けることなく、各画素セルからの検出信号のばらつきに対応することが可能な撮像装置を提供することを目的とする。
本発明の第1の態様は、撮像装置に関する。本態様に係る撮像装置は、複数の画素セルが行列状に配置された固体撮像素子と、前記各画素セルから出力される検出信号を処理する信号処理部と、を備える。ここで、前記画素セルは、アバランシェフォトダイオードを備え、前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力する。前記信号処理部は、前記各画素セルから出力される検出信号の前記画素セル間のばらつきを算出するばらつき算出部と、前記ばらつき算出部により算出されたばらつきに基づいて前記各画素セルから出力される検出信号を補正する補正演算部と、を備える。
第1の態様に係る撮像装置によれば、各画素セルから出力される検出信号を処理する信号処理部において、画素セルから出力される検出信号のばらつきが算出され、算出されたばらつきに基づいて、各画素セルから出力される検出信号が補正される。よって、各画素セルからの検出信号のばらつきを補正することができる。
本発明の第2の態様は、撮像装置に関する。本態様に係る撮像装置は、複数の画素セルが行列状に配置された固体撮像素子と、前記各画素セルから出力される検出信号を処理する信号処理部と、を備える。ここで、前記画素セルは、アバランシェフォトダイオードを備え、前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力する。前記信号処理部は、前記カウント数と前記検出信号との相関関係を前記画素ごとに抽出する相関抽出部と、前記相関抽出部により算出された前記相関関係に基づいて、前記各画素セルからの検出信号に応じた前記カウント数を取得するカウント数取得部と、を備える。
第2の態様に係る撮像装置によれば、予め、相関抽出部により、アバランシェフォトダイオードにより受光されたフォトンのカウント数と画素セルの検出信号との間の相関関係が抽出され、通常動作時には、当該相関関係に基づいて、各画素セルからの検出信号に応じたカウント数が取得される。よって、各画素セルからの検出信号にばらつきが生じても、フォトンのカウント数を適正に取得することができる。
以上のとおり、本発明によれば、フィードバック回路を設けることなく、各画素セルからの検出信号のばらつきに対応することが可能な撮像装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。
ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
以下、本発明の実施形態について、図を参照して説明する。
<実施形態1>
本実施形態では、撮像装置が、物体までの距離を測定するための距離測定装置に搭載される場合の構成例が示されている。
本実施形態では、撮像装置が、物体までの距離を測定するための距離測定装置に搭載される場合の構成例が示されている。
図1は、実施形態1に係る、距離測定装置1の構成を示す図である。
距離測定装置1は、投光装置10と、撮像装置20とを備える。投光装置10は、目標領域に光を投射する。撮像装置20は、投光装置10から出射された光が目標領域中の物体で反射された反射光を受光する。
投光装置10は、光源11と、投射光学系12と、発光制御部13とを備える。光源11は、レーザ光源やLED(Light Emitting Diode)等により構成され、所定波長の光を出射する。投射光学系12は、光源11から出射された光を所定の広がり角で目標領域に投射する。投射光学系12は、単一または複数のレンズで構成される。投射光学系12が、凹面ミラー等を含んでいてもよい。発光制御部13は、信号処理部25からの制御により、光源11をパルス発光させる。
撮像装置20は、受光光学系21と、フィルタ22と、固体撮像素子23と、撮像制御部24と、信号処理部25と、を備える。受光光学系21は、投光装置10から出射された光が目標領域中の物体で反射された反射光を、固体撮像素子23の受光面に結像させる。受光光学系21は、単一または複数のレンズで構成される。受光光学系21が、凹面ミラー等を含んでいてもよい。フィルタ22は、光源11から出射された光を透過し、その他の波長の光を除去する。
固体撮像素子23は、複数の画素セルが行列状に配置された構成である。すなわち、複数の画素セルが、行方向および列方向に、それぞれ直線状に隣接して並ぶように、固体撮像素子23に配置されている。固体撮像素子23には、画素セルごとに、APDと、その処理回路が実装されている。
撮像制御部24は、信号処理部25からの制御により、各画素セルを駆動する。信号処理部25は、発光制御部13および撮像制御部24を制御して、目標領域に存在する物体までの距離を測定する。すなわち、信号処理部25は、発光制御部13を介して光源11をパルス発光させ、このパルス発光に基づく反射光を、撮像制御部24を介して、固体撮像素子23に受光させる。そして、信号処理部25は、パルス発光のタイミングと各画素セルにおける反射光の受光タイミングとの時間差に基づいて、各画素セルに対応する目標領域上の位置に存在する物体までの距離を測定する。
図1の構成において、固体撮像素子23は、画素セルごとに反射光の検出信号を撮像制御部24に出力する。各画素セルは、反射光を受光した場合に、アバランシェ増倍に基づく電圧レベルの検出信号を撮像制御部24に出力する。各画素セルに入射する反射光の光量は、物体までの距離の2乗に反比例して減衰する。また、各画素セルに入射する反射光の光量は、物体の反射率によっても変化する。各画素セルは、このように反射光の光量が変化しても、アバランシェ増倍による所定電圧レベルの検出信号を撮像制御部24に出力する。
具体的には、各画素セルに配置されたAPDにフォトンが入射すると、APDは、フォトンの衝突により発生する電子(電荷)をアバランシェ増倍により飽和電荷量まで増幅させる。各セルは、飽和電荷量を電圧に変換し、変換した電圧を検出信号として出力する。これにより、各セルから出力される検出信号は、飽和電荷量に応じた電圧に揃うことなる。こうして、各画素セルは、受光した反射光の光量に拘わらず、一定電圧レベルの検出信号を撮像制御部24に出力する。
しかしながら、各画素セルでは、種々の要因により、アバランシェ増倍による通常の飽和電荷量とは異なる電荷が生じることが起こり得る。このため、各画素セルから出力される検出信号は、飽和電荷量に応じた電圧に対してばらつきが生じ得る。このように、画素セルごとに検出信号がばらつくと、撮像制御部24以降の回路部の処理が不安定になることが起こり得る。各画素セルの検出信号は、なるべくばらつきが抑制されることが好ましい。
そこで、本実施形態1では、各画素セルの検出信号のばらつきを抑制するための構成が用いられる。以下、この構成について説明する。
まず、図2を参照して、画素セル100の構成を説明する。
画素セル100は、APD101と、APDリセットトランジスタ102と、転送トランジスタ103と、FDリセットトランジスタ104と、増幅トランジスタ105と、選択トランジスタ106とを備える。
APD101は、フォトンの衝突により発生する電子(電荷)をアバランシェ増倍により飽和電荷量まで増幅させるアバランシェフォトダイオードである。APD101は、ガイガー増幅モードで使用される。APD101のアノードには、ガイガー増幅モードに応じた逆バイアス電圧VSUB(たとえば25V)が印加される。APD101にフォトンが入射すると、APD101のカソードに電子(電荷)が蓄積される。
APDリセットトランジスタ102は、APD101のカソードに蓄積された電荷をリセットするためのトランジスタである。APDリセットトランジスタ102のゲートにリセット信号OVFを印加することにより、APD101のカソードに蓄積された電荷が、APDリセットトランジスタ102を介して、リセットドレイン電源PIXRSDに排出される。これにより、APD101のカソードに蓄積された電荷がリセットされる。
転送トランジスタ103は、APD101のカソードに蓄積された電荷をフローティングディフュージョン部110に転送するためのトランジスタである。転送トランジスタ103のゲートに転送信号TRNを印加することにより、APD101のカソードに蓄積された電荷が、転送トランジスタ103を介して、フローティングディフュージョン部110に転送される。
FDリセットトランジスタ104は、フローティングディフュージョン部110に蓄積された電荷をリセットするためのトランジスタである。FDリセットトランジスタ104のゲートにリセット信号RSTを印加することにより、フローティングディフュージョン部110に蓄積された電荷が、FDリセットトランジスタ104を介して、リセットドレイン電源RSDに排出される。これにより、フローティングディフュージョン部110に蓄積された電荷がリセットされる。
増幅トランジスタ105は、ドレインに印加される一定電圧VDDに基づいて、フローティングディフュージョン部110に蓄積された電荷の電荷量を電圧に変換するためのトランジスタである。選択トランジスタ106は、増幅トランジスタ105により変換された電圧を、垂直信号線Vsigに出力するためのトランジスタである。選択トランジスタ106のゲートに選択信号SELを印加することにより、増幅トランジスタ105により変換された電圧が、垂直信号線Vsigに出力される。垂直信号線Vsigに出力された電圧は、当該画素セル100の検出信号として、図1の撮像制御部24に出力される。
本実施形態1では、フローティングディフュージョン部110の容量が、APD101のカソードの電荷蓄積領域の容量の半分程度に設定される。但し、フローティングディフュージョン部110の容量の設定方法は、これに限られるものではなく、種々の設定方法が適用され得る。
図3(a)~(d)は、画素セル100の動作シーケンスを説明する図である。
図3(a)~(d)には、図2のリセットドレイン電源PIXRSDから、APDリセットトランジスタ102、転送トランジスタ103、フローティングディフュージョン部110およびFDリセットトランジスタ104を介して、リセットドレイン電源RSDへと続く回路部分のポテンシャル図が示されている。縦軸は、矢印の方向が低電位の方向である。
図3(a)~(d)において、“PIXRSD”は、リセットドレイン電源PIXRSDの電位を示し、“APD”は、APD101のカソードの電位を示し、“FD”は、フローティングディフュージョン部110の電位を示し、“RSD”は、リセットドレイン電源RSDの電位を示している。また、“OVF”は、APDリセットトランジスタ102の電位を示し、“TRN”は、転送トランジスタ103の電位を示し、“RST”は、FDリセットトランジスタ104の電位を示している。
図3(a)の初期状態は、APD101のカソードとフローティングディフュージョン部110がリセットされた後の状態を示している。初期状態では、PIXRSDおよびRSDが電位Vrsdに設定される。
また、この初期状態において、撮像制御部24は、APDリセットトランジスタ102を低電圧で駆動し、これにより、OVFにポテンシャル障壁を生じさせる。さらに、撮像制御部24は、転送トランジスタ103およびFDリセットトランジスタ104をオフに設定し、これにより、TRNとRSTに電位0Vの高さのポテンシャル障壁を生じさせる。
この状態から、撮像制御部24は、光源11のパルス発光に応じて、所定時間、各画素セル100に対する露光を行う。これにより、APD101に反射光が入射すると、APD101のカソードに電荷(電子)が蓄積され、図3(b)に示すように、APDの電位が変化する。図3(b)では、電荷の蓄積が、ハッチングで示されている。アバランシェ増倍により通常の飽和電荷量の電荷が生じた場合、APDの電位は、電位Vq(以下、「クエンチング電位Vq」という)となる。
飽和電荷量には、APD101ごとにばらつきが生じ得る。このため、クエンチング電位Vqにも、APD101ごとに分散±σの範囲でばらつきが生じ得る。図3(b)には、このばらつきにより、典型的な飽和電荷量に対してやや多い電荷量で電荷が生じた場合が図示されている。また、図3(b)には、典型的なクエンチング電位がVqとして示されている。以下、「クエンチング電位Vq」の記載は、特に言及がない限り、典型的なクエンチング電位を意味する。
OVFの電位を超える電荷量で電荷が生じた場合、超過分の電荷がOVFのポテンシャル障壁を越えてPIXRSDに移動し、リセットドレイン電源PIXRSDに排出される。
こうして、APD101のカソードに対する電荷の蓄積が終了すると、撮像制御部24は、転送トランジスタ103をオンに設定する。これにより、図3(c)に示すように、TRNのポテンシャル障壁が降下し、APD101のカソードに蓄積された電荷が、転送トランジスタ103を介して、フローティングディフュージョン部110に分配される。
図3(c)において、電位Vq’は、図3(b)の蓄積工程において、APD101のカソードに通常の飽和電荷量の電荷(クエンチング電位Vqに対応する電荷)が蓄積された場合に、フローティングディフュージョン部110に分配される電荷の電位である。以下、この電位Vq’のことを基準蓄積電位と称する。ここでは、図3(b)の工程において、APD101のカソードに典型的な飽和電荷量を超える電荷量で電荷が蓄積されているため、フローティングディフュージョン部110に分配される電荷量も、図3(c)に示すように、基準蓄積電位Vq’をやや超えた電荷量となっている。飽和電荷量のばらつきに応じて、図3(c)の工程で蓄積される電荷量に応じた電圧も、典型的な基準蓄積電位Vq’に対して分散±σ’の範囲でばらつく。以下、「基準蓄積電位Vq’」の記載は、特に言及がない限り、典型的なクエンチング電位Vqに対応する基準蓄積電位を意味する。
その後、撮像制御部24は、転送トランジスタ103をオフに切り替え、さらに、FDリセットトランジスタ104をハーフオンに設定する。これにより、図3(d)に示すように、TRNのポテンシャル障壁が上昇し、RSTのポテンシャル障壁が降下する。
ここで、撮像制御部24は、RSTのポテンシャル障壁が基準蓄積電位Vq’となるように、FDリセットトランジスタ104のゲートに印加する電圧を設定する。これにより、図3(d)に示すように、フローティングディフュージョン部110に分配された電荷のうち、基準蓄積電位Vq’を超える部分の電荷が、RSTのポテンシャル障壁を超えてRSDに移動する。すなわち、基準蓄積電位Vq’を超える部分の電荷が、FDリセットトランジスタ104を介して、リセットドレイン電源RSDに排出される。これにより、フローティングディフュージョン部110に蓄積される電荷が一定量(基準蓄積電位Vq’に応じた量)に固定される。
その後、撮像制御部24は、FDリセットトランジスタ104をオフに設定する。これにより、RSTのポテンシャル障壁が上昇し、フローティングディフュージョン部110に蓄積される電荷量が所定の電荷量(ここでは、基準蓄積電位Vq’に対応する電荷量)に確定する。そして、撮像制御部24は、選択トランジスタ106をオンに設定し、フローティングディフュージョン部110に蓄積された電荷量に対応する電圧信号を、垂直信号線Vsigに出力する。これにより、画素セル100における検出信号の出力が完了する。
こうして、検出信号を出力した後、撮像制御部24は、APD101のカソードとフローティングディフュージョン部110にそれぞれ蓄積されている電荷をリセットする初期化処理を行う。すなわち、撮像制御部24は、APDリセットトランジスタ102とFDリセットトランジスタ104をオンに設定する。
これにより、図4(a)に示すように、OVFおよびRSTのポテンシャル障壁が降下し、APD101のカソードとフローティングディフュージョン部110にそれぞれ蓄積されている電荷が、APDリセットトランジスタ102およびFDリセットトランジスタ104を介して、リセットドレイン電源PIXRSDおよびリセットドレイン電源RSDに排出される。その後、撮像制御部24は、図3(a)~(d)および図4(a)の処理を繰り返し実行して、画素セル100における検出信号の出力を継続する。
なお、図3(d)の摺り切り工程では、FDリセットトランジスタ104がハーフオンに設定された場合のポテンシャル障壁の高さが基準蓄積電位Vq’と同電位に設定されたが、ハーフオン時のポテンシャル障壁の高さは、これに限られるものではない。たとえば、図4(b)に示すように、フローティングディフュージョン部110に分配される電荷の電位が基準蓄積電位Vq’に対してばらつき得る範囲は、分散をσとしたとき、Vq’±σで表現できる。この分散を含めた最大値、すなわち、基準蓄積電位Vq’に対して+σだけ高い電位に、ハーフオン時のポテンシャル障壁の高さが設定されてもよい。
この場合、摺り切り工程後にフローティングディフュージョン部110に残る電荷の量は、図3(d)の場合に比べて減少するもの、摺り切り工程後にフローティングディフュージョン部110に残る電荷の量をより確実に一定量に固定することができる。この他、FDリセットトランジスタ104がハーフオンの場合のポテンシャル障壁の高さが、基準蓄積電位Vq’にばらつきを加算した電位よりもやや高く設定されてもよく、あるいは、ばらつきの範囲内の他の電位に設定されてもよい。
但し、摺り切り工程後にフローティングディフュージョン部110に残る電荷の量をより確実に一定量に固定するためには、FDリセットトランジスタ104がハーフオンの場合のポテンシャル障壁の高さを、基準蓄積電位Vq’以上に設定することが好ましく、基準蓄積電位Vq’にばらつきを加算した電位以上に設定することがさらに好ましい。
図4(c)は、上記処理を実行するためのフローチャートである。
まず、撮像制御部24は、画素セル100に対する初期化を実行する(S11)。これにより、各部の電位が図4(a)の状態に設定され、APD101のカソードおよびフローティングディフュージョン部110の電荷がリセットされる。次に、撮像制御部24は、各部の電位を図3(a)の初期状態に設定した後、露光を行って、APD101のカソードに電荷を蓄積させる(S12)。なお、この工程において反射光がAPD101に入射しない場合は、APD101のカソードに電荷が蓄積されない。
その後、撮像制御部24は、転送トランジスタ103をオンに設定する(S13)。これにより、図3(c)に示すように、APD101のカソードに蓄積された電荷がフローティングディフュージョン部110に分配される。そして、撮像制御部24は、転送トランジスタ103をオフに設定し(S14)、さらに、FDリセットトランジスタ104をハーフオンに設定する(S15)。これにより、図3(d)に示すように、余剰な電荷が、フローティングディフュージョン部110から、APDリセットトランジスタ102を介して、リセットドレイン電源PIXRSDに排出される。
その後、撮像制御部24は、FDリセットトランジスタ104をオフに設定し(S16)、さらに、選択トランジスタ106をオンに設定する(S17)。これにより、フローティングディフュージョン部110に蓄積された電荷量に応じた電圧が、検出信号として、垂直信号線Vsigに出力される。こうして、画素セル100に対する1シーケンスが終了する。
その後、撮像制御部24は、処理をステップS11に戻して、同様の処理を繰り返す。各シーケンスにおいて反射光がAPD101に入射する場合に、基準蓄積電位Vq’に対応する電圧が、検出信号として、画素セル100から撮像制御部24に出力される。反射光がAPD101に入射しない場合、図3(c)の転送工程において、APD101のカソードからフローティングディフュージョン部110に電荷が転送されない。この場合、ノイズ等による電荷がAPD101のカソードに蓄積されていても、転送工程において設定された転送トランジスタ103のポテンシャル障壁により、この電荷がフローティングディフュージョン部110に分配されることが防止される。
なお、図3(d)の摺り切り工程では、TRNのポテンシャル障壁が立ち上げられた状態で、RSTのポテンシャル障壁が基準蓄積電位Vq’に立ち下げられたが、図3(c)の転送工程の間に、RSTのポテンシャル障壁が基準蓄積電位Vq’に立ち下げられて、基準蓄積電位Vq’を超える部分の電荷の摺り切りが行われてもよい。これにより、電荷の転送と電荷の摺り切りを同時に行い得る。この場合、図3(d)の摺り切り工程は省略される。
あるいは、図3(b)の蓄積工程の間に、TRNのポテンシャル障壁とRSTのポテンシャル障壁が、それぞれ、図3(c)、(d)のレベルに立ち下げられてもよい。これにより、APD101のカソードに電荷が蓄積される間に、フローティングディフュージョン部110に対する電荷の転送と、基準蓄積電位Vq’を超える部分の電荷の摺り切りを同時に行い得る。この場合、図3(c)の転送工程と図3(d)の摺り切り工程は省略される。
垂直信号線Vsigに出力された検出信号が撮像制御部24に入力されると、撮像制御部24は、各画素セル100から順次入力される検出信号を信号処理部25に送信する。信号処理部25は、検出信号を受信したタイミングと、光源11に発光パルスを出射させたタイミングとの時間差に基づいて、各画素セル100に対応する位置に存在する物体までの距離を測定する。こうして、目標領域に存在する物体までの距離が測定される。
ここで、各画素セル100から撮像制御部24に出力される検出信号は、上記の摺り切り工程によって均一化されたとしても、回路部の特性等に起因して、変動することが起こり得る。たとえば、図3(d)の摺り切り工程では、RSTのポテンシャル障壁のレベルが、FDリセットトランジスタ104の電気的な特性等に起因して、画素セル100ごとに微妙に変動することが起こり得る。
本実施形態では、さらに、このように画素セル100ごとに検出信号がばらつくことを補正するための構成が、信号処理部25に設けられている。
図5は、信号処理部25の構成を示す図である。
信号処理部25は、ADC201と、切替部202と、ばらつき算出部203と、テーブル記憶部204と、補正演算部205と、中央処理部206とを備える。
ADC201は、撮像制御部24から入力される画素セル100ごとのアナログの検出信号をデジタル信号に変換する。切替部202は、ADC201から入力されるデジタルの検出信号を、中央処理部206からの制御により、ばらつき算出部203と補正演算部205の何れか一方に出力する。
ばらつき算出部203は、切替部202から入力される1画面分の検出信号(全ての画素セル100からの検出信号)に基づいて、各画素セル100からの検出信号のばらつきを算出する。テーブル記憶部204は、ばらつき算出部203により算出された各画素セル100における検出信号のばらつきを示すデータを、各画素セル100に対応付けて記憶する。これにより、テーブル記憶部204は、画素セル100ごとにばらつきデータを対応付けた補正テーブルを構成する。
補正演算部205は、切替部202から入力される各画素の検出信号を、テーブル記憶部204に保持された補正テーブルに基づいて補正し、補正後の検出信号を中央処理部206に出力する。中央処理部206は、所定のプログラムに従って各部を制御する。また、中央処理部206は、上述のように、発光制御部13および撮像制御部24を制御して、物体までの距離を測定する処理を実行する。
たとえば、中央処理部206は、異なる距離に対応付けられたn個(たとえば、20個)の区間を設定する。中央処理部206は、各区間において、区間の開始から同一タイミングで光源11をパルス発光させる。また、中央処理部206は、各区間において、パルス発光のタイミングから、各区間に対応付けられた距離を光が往復する時間長が経過したタイミングで、各画素セル100に一定期間露光を行われせる。これにより、これら区間のうち所定の区間に対応付けられた距離の位置に物体が存在する場合に、当該区間において画素セル100が物体からの反射光を受光し、その他の区間では、画素セル100は反射光を受光しない。したがって、何れの区間で検出信号が生じているかを画素セル100ごとに検出することによって、画素セルごとに、物体までの距離を取得できる。
すなわち、中央処理部206は、各画素セル100からの検出信号をn個の全区間で対照し、そのうち検出信号が生じている区間を、画素セル100ごとに特定する。そして、中央処理部206は、特定した区間に対応付けられている距離を、当該画素セル100に入射する反射光の光線方向における物体までの距離として取得する。
なお、距離の測定方法は、上記の方法に限られるものではなく、TOF(Time OfFlight)を用いた他の方法であってもよい。
中央処理部206は、こうして画素セル100ごとに取得した距離を各画素セル100の位置にマッピングした距離画像を生成してもよく、この距離画像を他の処理装置に出力してもよい。
なお、図5に示した構成は、ソフトウエアの機能によって実現されてもよく、あるいは、ハードウエアの組み合わせにより実現されてもよい。図5に示した構成がソフトウエアの機能によって実現される場合、図5の各構成は、当該ソフトウエアで実行される各機能を機能ブロックとした示したものである。また、図5に示した構成がハードウエアの機能によって実現される場合、図5の各構成は、各ハードウエアの構成に対応する。図5の構成が、ソフトウエアによる機能とハードウエアとの組み合わせにより実現されてもよい。
通常動作時において、中央処理部206は、切替部202を補正演算部205側に設定する。これにより、ADC201から切替部202に入力される検出信号は、補正演算部205に入力される。この場合、補正演算部205によって補正された検出信号が中央処理部206に入力され、測距の処理に供される。
補正テーブルの更新動作時において、中央処理部206は、切替部202をばらつき算出部203側に設定する。これにより、ADC201から切替部202に入力される検出信号は、ばらつき算出部203に入力される。この場合、ばらつき算出部203により算出されたばらつきデータが、各画素セル100に対応付けられて、補正テーブルに登録される。これにより、補正テーブルが更新される。
図6(a)は、補正テーブルの更新動作時に信号処理部25により実行される処理を示すフローチャートである。
中央処理部206は、まず、補正テーブルの更新条件が充足されたか否かを判定する(S21)。
図7は、補正テーブルの更新条件の充足の有無を判定するフローチャートである。
中央処理部206は、前回の更新時から通常動作により所定フレーム数の処理が行われた場合(S31:YES)、前回の更新時から所定時間が経過した場合(S32:YES)、固体撮像素子23の温度が含まれる温度範囲が前回更新時の温度範囲から変化した場合(S33:YES)、およびダークカウントレート(暗電流の大きさ)が基準値の範囲から外れて基板電圧を修正した場合(S34:YES)に、補正テーブルの更新条件が充足されたと判定する(S35)。
ステップS32の処理を実行するため、中央処理部206は計時機能を備える。また、ステップS33の処理を実行するため、中央処理部206は、固体撮像素子23の温度を検出するための温度センサから検出信号を取得する機能を備える。この場合、撮像装置20は、図1の構成とともに、固体撮像素子23の温度を検出するための温度センサ(図示せず)をさらに備える。
なお、図7には、補正テーブルの更新条件として、ステップS31~S34を示したが、更新条件は、必ずしもこれらの条件に限られるものではなく、各画素セル100から出力される検出信号のばらつき度合いが変動し得る条件である限りにおいて、他の条件が追加されてもよく、あるいは、ステップS31~S34のうち1つまたは2つの条件のみであってもよい。また、ステップS31、S32における所定フレーム数および所定時間は、典型的には、固体撮像素子23の経時変化を想定して設定されるが、必ずしも、複数の所定フレーム数や、比較的長い時間が設定されなくてもよい。たとえば、より確実にばらつきを補正するためには、ステップS31の所定フレーム数が1フレームであってもよい。
図6(a)に戻り、補正テーブルの更新条件が充足されると(S21:YES)、中央処理部206は、撮像制御部24に対して、電気的制御指示を送信する(S22)。電気的制御指示とは、フォトンがAPD101に入射した場合と同様の電荷をフローティングディフュージョン部110に電気的に蓄積させて、検出信号を送信させる指示である。図3(d)の摺り切り工程が行われる場合、基準蓄積電位Vq’に対応する電荷が、電気的制御指示に基づいて、フローティングディフュージョン部110に蓄積される。
具体的には、撮像制御部24は、電気的制御指示の受信に応じて、図2に示したリセットドレイン電源PIXRSDをAPD101の飽和電荷量に対応する電位よりやや高めの電位に設定し、APDリセットトランジスタ102をオンに設定する。これにより、APD101のカソードに、図3(b)と同様の電荷が蓄積される。その後、撮像制御部24は、図3(c)、(d)の転送工程および摺り切り工程を実行する。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’に対応する電荷が蓄積される。そして、撮像制御部24は、フローティングディフュージョン部110に蓄積された電荷に応じた電圧(検出信号)を垂直信号線Vsigに出力させる工程を実行する。これにより、基準蓄積電位Vq’と同電位の検出信号が撮像制御部24に出力される。撮像制御部24は、入力された検出信号を信号処理部25に転送する。
電気的制御指示の受信に応じて撮像制御部24が実行する制御は、上記の制御に限られず、少なくとも垂直信号線Vsigに出力される検出信号のばらつきを確認可能な他の制御であってもよい。
たとえば、撮像制御部24は、電気的制御指示の受信に応じて、図2に示したリセットドレイン電源RSDを基準蓄積電位Vq’よりやや高めの電位に設定し、FDリセットトランジスタ104をオンに設定する制御を行ってもよい。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’よりやや高めの電位に対応する電荷量の電荷が蓄積される。その後、撮像制御部24は、図3(d)の摺り切り工程を実行する。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’に対応する電荷が蓄積される。そして、撮像制御部24は、フローティングディフュージョン部110に蓄積された電荷に応じた電圧(検出信号)を垂直信号線Vsigに出力させる工程を実行する。これにより、基準蓄積電位Vq’と同電位の検出信号が撮像制御部24に出力される。
撮像制御部24は、電気的制御指示の受信に応じて、上記の処理を、全ての画素セル100に対して順番に実行する。これにより、各画素セル100からの検出信号が、順次、撮像制御部24から信号処理部25に出力される。このとき、図5の切替部202は、上記のようにばらつき算出部203側に設定されている。したがって、各画素セル100からの検出信号は、順次、ばらつき算出部203に出力される。こうして、ばらつき算出部203は、全ての画素セル100について、検出信号を取得する(S23)。
ばらつき算出部203は、取得した全画素セル100の検出信号に基づいて、検出信号の基準値V0を算出する(S24)。
図8(a)、(b)は、ばらつき算出部203における基準値V0の算出方法を説明する図である。
図8(a)は、各画素セル100から取得した検出信号の状態を模式的に示している。ここでは、各画素セル100から取得した検出信号の電圧レベルが、各画素セル100に付されたハッチングで示されている。図8(a)では、便宜上、画素セル100が、行列に10個ずつ配置されている。ここでは、数個の画素セル100を除いて、検出信号の電圧レベルが略同じとなっている。数個の画素セル100では、残りの大半の画素セル100に比べて、検出信号の電圧レベルが高くまたは低くなっている。
図6(a)のステップS24において、ばらつき算出部203は、図8(b)に示すように、全ての画素セル100から取得した検出信号に基づいて、ヒストグラム300を生成する。図6(a)の横軸は、検出信号の電圧値を示している。ばらつき算出部203は、生成したヒストグラム300からモード、すなわち、度数が最大となる電圧値を取得し、取得したモードを基準値V0に設定する。
なお、ステップS24で算出される基準値V0は、モードに限らず、全画素セル100から取得された検出信号の全体的傾向を指標し得る値である限りにおいて、他の値であってもよい。たとえば、ヒストグラム300の中央値が基準値V0として算出されてもよく、あるいは、全画素セル100から取得された検出信号の平均値が基準値V0として算出されてもよい。
図6(a)に戻り、ばらつき算出部203は、上記のように、全ての画素セル100から出力されるフォトンのカウント数に応じた検出信号を決定する基準値V0を取得し、取得した基準値に基づいて、各画素セルの検出信号のばらつきを算出する(S25)。具体的には、ばらつき算出部203は、基準値と各画素セル100の検出信号との間の差分、すなわち、検出信号から基準値を減算した値を、各画素セル100の検出信号のばらつきとして算出する。ばらつき算出部203は、算出したばらつきを、テーブル記憶部204に出力する。テーブル記憶部204は、入力されたばらつきを、各画素セル100に対応付けて補正テーブルに記憶させる(S26)。これにより、補正テーブルの更新処理が終了する。
通常動作時において、補正演算部205は、ADC201から切替部202に入力される各画素セル100の検出信号に、補正テーブルに記憶されている各画素セル100のばらつきを加算して、各画素セル100の検出信号を補正する。この補正により、各画素セル100が反射光を受光した場合に、信号処理部25の補正演算部205において、全ての画素セル100からの検出信号が均一化される。補正演算部205は、補正後の検出信号を中央処理部206に出力する。こうして、中央処理部206において測距の処理が円滑に行われる。
なお、図6(a)の処理では、ステップS22において、電気的制御によりフローティングディフュージョン部110に電荷が蓄積されたが、標準光源(入射フォトン数が分かっているもの)からの光を各画素セル100に入射させて、フローティングディフュージョン部110に電荷を蓄積させてもよい。
この場合、図6(a)のフローチャートは、図6(b)のように変更される。図6(b)のフローチャートでは、図6(a)のステップS22がステップS22’に置き換えられている。ステップS22’以外のステップは、図6(a)と同様である。
ステップS22’において、中央処理部206は、発光制御部13および撮像制御部24に対して、光学的制御指示を送信する。中央処理部206は、ステップS21の判定がYESとなった後の通常動作において、各画素セル100からの検出信号を監視し、全ての画素セル100において反射光が受光された状態にあるタイミングにおいて、光学的制御指示を送信する。
発光制御部13は、光学的制御指示を受信すると、所定強度で光源11をパルス発光させる。このときの発光強度は、通常動作時の発光強度と同じであってよく、あるいは、より確実に全ての画素セル100が反射光を受光するように、通常動作時の発光強度よりも高く設定されてもよい。
撮像制御部24は、光学的制御指示を受信すると、所定時間、全画素セル100に露光を行わせる。これにより、全画素セル100のAPD101のカソードに電荷が蓄積される。その後、撮像制御部24は、全画素セル100に対して、図3(a)~(d)の処理工程を実行し、さらに、全画素セル100に検出信号を出力させる。これにより、全画素セル100からの検出信号が、信号処理部25に入力される。
このとき、図5の切替部202は、上記と同様、ばらつき算出部203側に設定されている。これにより、全画素セル100からの検出信号が、ばらつき算出部203に入力される(S23)。何れかの画素セル100からの検出信号が反射光を受光しないときの電圧レベルであった場合、ステップS22’の処理が再度実行されてもよい。
以下、ステップS24~S26の処理が、図6(a)のフローチャートと同様に実行される。これにより、補正テーブルが更新される。その後の通常動作において、補正演算部205は、更新後の補正テーブルを用いて、各画素セル100からの検出信号を補正する。
なお、図6(a)、(b)の処理が行われることにより、各画素セル100からの検出信号のばらつきが抑制されるため、図3(d)の摺り切り工程は、必ずしも行われなくてもよい。但し、図3(d)の摺り切り工程が行われない場合は、信号処理部25に入力される各画素セル100からの検出信号のばらつきが大きくなる。このため、基準値V0と各検出信号との差分が、真値からずれやすくなることが想定され得る。したがって、より正確に差分を検出して検出信号を適正に均一化するためには、図3(d)の摺り切り工程が行われた上で、図6(a)、(b)の均一化処理を行うことが好ましい。
<実施形態1の効果>
実施形態1によれば、以下の効果が奏され得る。
実施形態1によれば、以下の効果が奏され得る。
各画素セル100から出力される検出信号を処理する信号処理部25において、画素セル100から出力される検出信号のばらつきが算出され、算出されたばらつきに基づいて、各画素セル100から出力される検出信号が補正される。よって、フィードバック回路を設けることなく、各画素セル100からの検出信号のばらつきを補正することができる。
ばらつき算出部203は、全ての画素セル100から出力された検出信号に基づいて、これら画素セル100から出力されるフォトンのカウント数に応じた検出信号を決定する基準値V0を取得し、基準値V0と各画素セル100の検出信号の差分に基づいて、各画素セル100に対するばらつきを算出する。これにより、各検出信号のばらつきを円滑に算出できる。
信号処理部25は、基準値V0と検出信号との差分を画素セル100ごとに記憶するテーブル記憶部204を備える。これにより、テーブル記憶部204に記憶された補正テーブルから各画素セル100のばらつきを容易に取得できる。
補正演算部205は、画素セル100ごとに差分を検出信号に加算して検出信号の補正を行う。これにより、各画素セル100からの検出信号を円滑に均一化できる。
図6(a)のフローチャートにおいて、ばらつき算出部203は、複数の画素セル100に対する電気制御により電荷を擬似的に蓄積させた場合(S22)に、各画素セル100から出力される検出信号に基づいて、ばらつきを算出する。これにより、任意のタイミングで円滑に、各画素セル100からの検出信号のばらつきを算出できる。
図6(b)のフローチャートにおいて、ばらつき算出部203は、複数の画素セル100に対する光の照射により電荷を擬似的に蓄積させた場合(S22’)に、各画素セル100から出力される検出信号に基づいて、ばらつきを算出する。このように、実際に光を照射した場合に各画素セル100から出力される検出信号を評価することにより、検出信号のばらつきを正確に算出できる。
図7に示したように、ばらつき算出部203は、所定の更新条件(S31~S34)が充足された場合に、ばらつきの算出を行って、各画素セル100におけるばらつきを更新する。このように、ばらつきの変動要因が生じたことに応じてばらつきの検出結果が更新されることにより、各画素セル100からの検出信号を、より適正に補正することができる。
<実施形態1の変更例1>
上記実施形態1では、補正テーブルの更新時に、ばらつき算出部203によるばらつきの算出が1回だけ行われた。これに対し、変更例1では、補正テーブルの更新時に、ばらつき算出部203によるばらつきの算出が複数回行われる。
上記実施形態1では、補正テーブルの更新時に、ばらつき算出部203によるばらつきの算出が1回だけ行われた。これに対し、変更例1では、補正テーブルの更新時に、ばらつき算出部203によるばらつきの算出が複数回行われる。
図9は、変更例1に係る、補正テーブルの更新動作時に信号処理部25により実行される処理を示すフローチャートである。
図9のフローチャートでは、図6(a)のフローチャートに比べて、ステップS27~S29が追加されている。その他のステップの処理は、図6(a)の場合と同様である。
テーブル記憶部204は、ステップS25においてばらつき算出部203が算出した各画素セル100からの検出信号のばらつきを、画素セル100ごとに記憶する(S27)。その後、中央処理部206は、ばらつきの算出および記憶が予め決められた複数回(たとえば、5~10回程度)行われたか否かを判定する(S28)。この処理が複数回行われていない場合(S28:NO)、中央処理部206は、処理をステップS22に戻す。これにより、各回のばらつきが画素セル100ごとにテーブル記憶部204に記憶される。
こうして、ばらつきの算出および記憶が所定の複数回実行されると(S28:YES)、テーブル記憶部204は、各回の処理で記憶されたばらつきを画素セル100ごとに平均化し(S29)、平均化した値を各画素セル100に対応付けて補正テーブルに記憶させる(S26)。こうして、補正テーブルの更新が行われる。その後の通常動作において、補正演算部205は、更新後の補正テーブルを用いて、各画素セル100からの検出信号を補正する。
なお、ステップS29の処理では、他の検出信号の値から大きく乖離する検出信号が平均化の対象から除外されてもよい。これにより、ノイズによる影響を抑制でき、平均化後の検出信号の値を真値に近づけることができる。
また、ステップS29における平均化の処理が補正演算部205において行われてもよい。この場合、テーブル記憶部204は、各回のばらつき算出により算出された各画素セル100からの検出信号のばらつきを補正テーブルとして記憶する。すなわち、この場合、テーブル記憶部204には、複数の補正テーブルが記憶される。補正演算部205は、通常動作時に、これら複数の補正テーブルを参照して、各画素セル100の検出信号のばらつきの平均値を算出し、算出した平均値に基づいて、各画素セル100からの検出信号を補正する。
本変更例1によれば、複数回のばらつきに基づいて、各画素セル100からの検出信号に対するばらつきの補正が行われるため、補正に用いるばらつきの値がノイズ等によって真値からずれることを抑制できる。よって、より適正に、各画素セル100からの検出信号を均一化することができる。
<実施形態1の変更例2>
上記実施形態1では、テーブル記憶部204が信号処理部25に配置された。これに対し、本変更例2では、テーブル記憶部204が、固体撮像素子23のセンサチップ400内に配置される。
上記実施形態1では、テーブル記憶部204が信号処理部25に配置された。これに対し、本変更例2では、テーブル記憶部204が、固体撮像素子23のセンサチップ400内に配置される。
図10は、変更例2に係る、センサチップ400の構成を模式的に示す図である。
図10に示すように、センサチップ400には、固体撮像素子23の他、回路部(集積回路)の構成として、撮像制御部24と、テーブル記憶部204とが搭載されている。この構成では、センサチップ400の外周に配置された端子(図示せず)を介して、テーブル記憶部204および撮像制御部24と信号処理部25とが接続される。
この構成によれば、たとえば、製造時に取得された検出信号のばらつきの初期値を、予め、センサチップ400側のテーブル記憶部204に記憶させておくことができる。ばらつき算出部203や補正演算部205が、さらにセンサチップ400側に配置されてもよい。
<実施形態2>
上記実施形態1では、1回の動作シーケンスによりフローティングディフュージョン部110に蓄積された電荷が、電圧に変換されて、垂直信号線Vsigに出力された。これに対し、実施形態2では、複数回の動作シーケンスによりフローティングディフュージョン部110に蓄積された電荷が、メモリ部に積算された後、メモリ部の電荷が、電圧に変換されて、垂直信号線Vsigに出力される。すなわち、実施形態2では、複数回の動作シーケンスにおいて、APD101に反射光(フォトン)が入射した回数が、メモリ部に蓄積された電荷量によって、カウントされる。メモリ部に蓄積される電荷量は、APD101に反射光(フォトン)が入射した回数に対応する電荷量となる。
上記実施形態1では、1回の動作シーケンスによりフローティングディフュージョン部110に蓄積された電荷が、電圧に変換されて、垂直信号線Vsigに出力された。これに対し、実施形態2では、複数回の動作シーケンスによりフローティングディフュージョン部110に蓄積された電荷が、メモリ部に積算された後、メモリ部の電荷が、電圧に変換されて、垂直信号線Vsigに出力される。すなわち、実施形態2では、複数回の動作シーケンスにおいて、APD101に反射光(フォトン)が入射した回数が、メモリ部に蓄積された電荷量によって、カウントされる。メモリ部に蓄積される電荷量は、APD101に反射光(フォトン)が入射した回数に対応する電荷量となる。
図11は、実施形態2に係る、画素セル100の構成を示す図である。
実施形態2では、図2の構成に対して、カウントトランジスタ107と、メモリ部108とが追加されている。メモリ部108は、電荷を蓄積するキャパシタである。カウントトランジスタ107は、フローティングディフュージョン部110とメモリ部108とを接続する。カウントトランジスタ107のゲートにカウント信号CNTを印加することにより、フローティングディフュージョン部110に蓄積された電荷が、カウントトランジスタ107を介して、メモリ部108に転送される。
メモリ部108の容量は、フローティングディフュージョン部110の容量に比べて大きい。たとえば、メモリ部108の容量は、フローティングディフュージョン部110の容量の5倍程度に設定される。但し、メモリ部108の容量の設定方法はこれに限られるものではなく、種々の設定方法が適用され得る。
図12(a)~(d)および図13(a)~(d)は、画素セル100の動作シーケンスを説明する図である。
図12(a)~(d)および図13(a)~(d)には、図11のリセットドレイン電源PIXRSDから、APDリセットトランジスタ102、転送トランジスタ103、フローティングディフュージョン部110、カウントトランジスタ107を介して、メモリ部108へと続く回路部分のポテンシャル図が示されている。縦軸は、矢印の方向が低電位の方向である。
図12(a)~(d)および図13(a)~(d)において、“PIXRSD”、“APD”、“FD”は、図3(a)~(d)と同様、それぞれ、リセットドレイン電源PIXRSDの電位、APD101のカソードの電位、およびフローティングディフュージョン部110の電位を示している。また、“OVF”および“TRN”は、図3(a)~(d)と同様、それぞれ、APDリセットトランジスタ102の電位、および転送トランジスタ103の電位を示している。この他、“MEM”は、メモリ部108の電位を示し、CNTは、カウントトランジスタ107の電位を示している。
実施形態2においても、各動作シーケンスにおいて、図4(a)の初期化工程が行われた後、図3(a)~(d)の工程が実行されて、フローティングディフュージョン部110に電荷が蓄積される。上記実施形態1で述べたように、摺り切り工程が転送工程と同時に行われる制御がなされてもよく、あるいは、摺り切り工程と転送工程が蓄積工程と同時に行われる制御がなされてもよい。
図12(a)は、図3(d)の摺り切り工程が行われた後、FDリセットトランジスタ104がオフに設定された状態を示している。このとき、カウントトランジスタ107はオフに設定され、CNTにポテンシャル障壁が生じている。
その後、撮像制御部24は、カウントトランジスタ107をオンに設定する。これにより、図12(b)に示すように、CNTのポテンシャル障壁が消失し、フローティングディフュージョン部110に蓄積された電荷がメモリ部108に分配される。こうして、メモリ部108への電荷の分配(転送)を行った後、撮像制御部24は、カウントトランジスタ107をオフに設定する。これにより、図12(c)に示すように、CNTにポテンシャル障壁が生じ、メモリ部108に蓄積された電荷量が、1回のフォトン入射に対応する電荷量に確定する。
こうして、メモリ部108に電荷を蓄積するための1シーケンスが終了すると、撮像制御部24は、次のシーケンスを実行する。これにより、図3(a)~(d)の動作が実行される。このとき、APD101に反射光(フォトン)が入射すると、図12(d)に示すように、フローティングディフュージョン部110に、基準蓄積電位Vq’に対応する電荷量が蓄積される。
上記と同様、撮像制御部24は、カウントトランジスタ107をオンに設定する。これにより、図13(a)に示すように、CNTのポテンシャル障壁が消失し、フローティングディフュージョン部110に蓄積された電荷がメモリ部108に分配される。これにより、メモリ部108に蓄積される電荷量が、1回のフォトンカウントに応じた電荷量だけ増加する。その後、撮像制御部24は、カウントトランジスタ107をオフに設定する。これにより、図13(b)に示すように、CNTにポテンシャル障壁が生じ、メモリ部108に蓄積された電荷量が、2回のフォトン入射に対応する電荷量に確定する。
撮像制御部24は、予め決められた回数だけ、同様のシーケンスを繰り返す。これにより、各シーケンスにおいて、反射光(フォトン)がAPD101に入射するごとに、1回のフォトンカウントに応じた電荷量の電荷が、メモリ部108に積算されていく。こうして、予め決められた回数のシーケンスが終了すると、たとえば、図13(c)に示す電荷量の電荷がメモリ部108に蓄積される。
その後、撮像制御部24は、カウントトランジスタ107をオンに設定する。これにより、図13(d)に示すように、CNTのポテンシャル障壁が消失し、メモリ部108に蓄積された電荷がフローティングディフュージョン部110に分配される。そして、撮像制御部24は、選択トランジスタ106をオンに設定する。これにより、メモリ部108に蓄積された電荷に応じた電圧が、検出信号として、垂直信号線Vsigに出力される。この検出信号は、反射光(フォトン)がAPD101に入射した回数に応じた大きさとなる。
図14(a)は、上記処理を実行するためのフローチャートである。
撮像制御部24は、画素セル100に対して、初期化から摺り切りまでの工程を行う(S41)。この工程において、APD101に反射光(フォトン)が入射すると、図12(a)に示すように、フローティングディフュージョン部110に1回のフォトンカウントに応じた電荷量の電荷が蓄積される。
次に、撮像制御部24は、カウントトランジスタ107をオンに設定する(S42)。これにより、図12(b)に示すように、フローティングディフュージョン部110に蓄積された電荷がメモリ部108に分配される。そして、撮像制御部24は、カウントトランジスタ107をオフに設定する(S43)。これにより、図12(c)に示すように、メモリ部108に分配された電荷が確定する。
その後、撮像制御部24は、予め決められた回数だけステップS41~S43のシーケンスを繰り返す(S44)。当該回数のシーケンスが終了すると(S44:YES)、撮像制御部24は、カウントトランジスタ107をオンに設定する(S45)。これにより、メモリ部108に積算された電荷がフローティングディフュージョン部110に分配される。そして、撮像制御部24は、選択トランジスタ106を所定時間オンに設定して、フローティングディフュージョン部110の電荷量に応じた電圧を垂直信号線Vsigに出力させる(S46)。
こうして、フォトンのカウント数に応じた電圧値の検出信号を垂直信号線Vsigに出力させた後、撮像制御部24は、FDリセットトランジスタ104をオンに設定して、フローティングディフュージョン部110およびメモリ部108に蓄積された電荷をリセットドレイン電源RSDに排出させる(S47)。これにより、フォトンカウンティングのための1シーケンスが終了する。その後、撮像制御部24は、処理をステップS41に戻して、同様の処理を繰り返す。
なお、実施形態2の構成は、たとえば、撮像装置20が、目標領域に光を照射して目標領域の反射率を測定する測定装置に搭載される場合に好適である。この場合、目標領域に存在する物体の反射率が低いと、たとえば、10回のパルス発光のうち数回しか反射光(フォトン)がAPD101に入射しない。すなわち、各画素セル100において取得されるフォトンのカウント数(メモリ部108に蓄積される電荷量に応じた電圧)は、物体の反射率に対応し得る。したがって、測定装置は、撮像装置20から入力される各画素セル100の検出信号、すなわち、フォトンのカウント数に応じた電圧(メモリ部108に蓄積された電荷量に応じた電圧)に基づいて、各画素セル100に対応する目標領域上の位置の反射率を測定できる。これにより、測定装置は、目標領域上の各画素セル100に対応する位置に反射率をマッピングした画像を生成できる。
しかしながら、各画素セル100から撮像制御部24に出力される検出信号(フォトンのカウント数に応じた電圧)には、画素セル100ごとにばらつきが生じ得る。すなわち、図14(a)のステップS41において、フローティングディフュージョン部110の電荷が、摺り切り工程によって均一化された後、メモリ部108に蓄積されたとしても、回路部の特性等に起因して、各回のシーケンスにおいてメモリ部108に蓄積される電荷量が、画素セル100ごとに変動することが起こり得る。たとえば、摺り切り工程の際に、RSTのポテンシャル障壁のレベルが、FDリセットトランジスタ104の電気的な特性等に起因して、画素セル100ごとに微妙に変動することが起こり得る。
この場合、この微妙な変動がメモリ部108において積み重なることにより、各画素セル100において同じフォトンがカウントされたとしても、これら画素セル100間において、メモリ部108に蓄積された電荷量に大きな差異が生じてしまう。これにより、各画素セル100から出力される検出信号(フォトンのカウント数に応じた電圧)にばらつきが生じる。
図14(b)は、画素セル100におけるフォトンのカウント数と出力電圧との関係の一例を示すグラフである。ここでは、便宜上、3つの画素セルA、B、Cについてグラフが示されている。
図14(b)に示すように、フォトンのカウント数が増えるに伴い、画素セルA、B、C間の出力電圧(検出信号)の差異が大きくなっている。カウント数が15回になると、図14(b)に矢印で示すように、画素セルA、B、C間の出力電圧(検出信号)の差異がかなり大きくなる。このように、出力電圧に差異が生じると、同じ出力電圧であるにも拘わらずカウント数が互いに相違する結果となってしまう。このため、出力電圧に基づいてフォトンのカウント数を正確に取得することが困難になる。
そこで、本実施形態2では、このように画素セル100ごとに検出信号(フォトンのカウント数に応じた電圧)がばらつく場合も、検出信号からフォトンのカウント数を適正に取得するための構成が、信号処理部25に設けられている。
図15は、実施形態2に係る、信号処理部25の構成を示す図である。
信号処理部25は、ADC501と、切替部502と、相関抽出部503と、相関記憶部504と、カウント数取得部505と、中央処理部506とを備える。
ADC501は、撮像制御部24から入力される画素セル100ごとのアナログの検出信号(フォトンのカウント数に応じた電圧)をデジタル信号に変換する。切替部502は、ADC501から入力されるデジタルの検出信号を、中央処理部206からの制御により、相関抽出部503とカウント数取得部505の何れか一方に出力する。
相関抽出部503は、フォトンのカウント数と検出信号(メモリ部108に蓄積された電荷に応じた電圧)との相関関係を、画素セル100ごとに抽出する。相関記憶部504は、相関抽出部503で抽出された相関関係を画素セル100ごとに記憶する。カウント数取得部505は、相関記憶部504に記憶された相関関係に基づいて、各画素セル100から出力された検出信号に対応するカウント数を取得し、取得したカウント数を中央処理部506に出力する。
なお、図15に示した構成は、ソフトウエアの機能によって実現されてもよく、あるいは、ハードウエアの組み合わせにより実現されてもよい。図15に示した構成がソフトウエアの機能によって実現される場合、図15の各構成は、当該ソフトウエアで実行される各機能を機能ブロックとした示したものである。また、図15に示した構成がハードウエアの機能によって実現される場合、図15の各構成は、各ハードウエアの構成に対応する。図15の構成が、ソフトウエアによる機能とハードウエアとの組み合わせにより実現されてもよい。
通常動作時において、中央処理部506は、切替部502をカウント数取得部505側に設定する。これにより、ADC501から切替部502に入力される検出信号は、カウント数取得部505に入力される。この場合、検出信号と相関記憶部504に記憶された相関関係に基づいてカウント数取得部505により取得されたカウント数が中央処理部506に入力され、反射率測定等の処理に供される。
相関関係の更新動作時において、中央処理部506は、切替部502を相関抽出部503側に設定する。これにより、ADC501から切替部502に入力される検出信号は、相関抽出部503に入力される。この場合、相関抽出部503により抽出された相関関係が、画素セル100ごとに相関記憶部504に記憶される。ここでは、カウント数と検出信号とを対応づけた相関テーブルが、画素セル100ごとに、相関記憶部504に記憶される。これにより、カウント数と検出信号との相関関係が更新される。
図16(a)は、相関関係の更新動作時に信号処理部25により実行される処理を示すフローチャートである。
中央処理部206は、まず、相関関係の更新条件が充足されたか否かを判定する(S51)。この判定は、たとえば、図7のフローチャートと同様に行われる。上記実施形態1と同様、更新条件は、図7のステップS31~S34の条件に限られるものではない。
相関関係の更新条件が充足されると(S51:YES)、中央処理部206は、変数Kに1を設定し(S52)、擬似電圧出力指示を、撮像制御部24に対して送信する(S53)。擬似電圧出力指示とは、カウント数がK回である場合の電荷量の電荷をメモリ部108に擬似的に蓄積させて、当該電荷量に応じた検出信号(電圧)を画素セル100から擬似的に出力させる指示である。
これに応じて、撮像制御部24は、図11のメモリ部108にカウント数がK回である場合の電荷量の電荷を擬似的に蓄積させる擬似蓄積工程と、蓄積された電荷に応じた電圧を垂直信号線Vsigに出力させる擬似出力工程とを実行する。
たとえば、擬似蓄積工程において、撮像制御部24は、図11のリセットドレイン電源PIXRSDとAPDリセットトランジスタ102とを制御して、APD101のカソードに飽和電荷量の電荷を蓄積させる処理を実行し、さらに、蓄積した電荷をフローティングディフュージョン部110に転送させる工程と、転送された電荷を基準蓄積電位Vq’に応じた電荷量に摺り切る工程とを実行する。そして、撮像制御部24は、図12(a)~(c)の工程を実行して、フローティングディフュージョン部110に擬似的に蓄積された電荷をメモリ部108に転送する。擬似蓄積工程において、撮像制御部24は、以上の工程をK回繰り返す。これにより、フォトンのカウント数がK回である場合と等価な電荷量の電荷が、メモリ部108に蓄積される。
擬似蓄積工程において撮像制御部24が実行する制御は、上記の制御に限られず、少なくともフォトンのカウント数がK回である場合と等価な電荷量の電荷をメモリ部108に蓄積可能な他の制御であってもよい。
たとえば、擬似蓄積工程において、撮像制御部24は、図11に示したリセットドレイン電源RSDを基準蓄積電位Vq’と同等の電位に設定し、FDリセットトランジスタ104をオンに設定する制御を行ってもよい。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’と同等の電位に対応する電荷量の電荷が蓄積される。その後、撮像制御部24は、摺り切り工程を実行した上で、フローティングディフュージョン部110の電荷をメモリ部108に転送させる。擬似蓄積工程において、撮像制御部24は、以上の工程をK回繰り返す。これにより、フォトンのカウント数がK回である場合と等価な電荷量の電荷が、メモリ部108に蓄積される。
あるいは、擬似蓄積工程において、撮像制御部24は、図11に示したリセットドレイン電源RSDを、フォトンのカウント数がK回である場合と等価な電荷量の電位に設定し、FDリセットトランジスタ104およびカウントトランジスタ107をオンに設定する制御を行ってもよい。これにより、フォトンのカウント数がK回である場合と等価な電荷量の電荷が、メモリ部108に蓄積される。
なお、図6(b)の場合と同様、フローティングディフュージョン部110に対する擬似的な電荷の蓄積が光学的に行われてもよい。
こうして、擬似蓄積工程を実行した後、撮像制御部24は、メモリ部108に擬似的に蓄積された電荷に応じた電圧を垂直信号線Vsigに出力させる擬似出力工程を実行する。具体的には、撮像制御部24は、図11のカウントトランジスタ107をオンに設定してメモリ部108に蓄積された電荷をフローティングディフュージョン部110に転送した後、選択トランジスタ106を所定時間オンに設定して、フローティングディフュージョン部110に蓄積された電荷量に応じた電圧(擬似的な検出信号)を垂直信号線Vsigに出力させる。
撮像制御部24は、擬似電圧出力指示の受信に応じて、上記の擬似蓄積工程と擬似出力工程を、全ての画素セル100に対して順番に実行する。これにより、各画素セル100からの擬似的な検出信号が、順次、撮像制御部24から信号処理部25に出力される。このとき、図15の切替部502は、上記のように相関抽出部503側に設定されている。したがって、各画素セル100からの擬似的な検出信号は、順次、相関抽出部503に算出される。こうして、相関抽出部503は、全ての画素セル100について、検出信号を取得する(S54)。
相関抽出部503は、各画素セル100の検出信号の電圧値を、カウント値(変数Kと同じ値)に対応付けて、相関記憶部504に保持された相関テーブルに記憶させる(S55)。
図16(b)は、相関テーブルの構成を示す図である。
相関テーブルは、画素セル100ごとに準備される。相関テーブルは、カウント値と電圧値とを対応付けたテーブルである。ステップS55において、相関抽出部503は、各画素セル100の検出信号の電圧値を相関記憶部504に出力する。相関記憶部504は、入力された各画素セル100の電圧値を、カウント値(変数Kと同じ値)に対応付けて、対応する画素セル100の相関テーブルに記憶させる。
こうして、相関テーブルに対する記憶がなされると、中央処理部506は、変数Kが設定回数Nに到達したか否かを判定する(S56)。ここで、設定回数Nは、予め設定されたカウント値の上限である。すなわち、フォトンをカウントする範囲の上限が、設定回数Nである。変数Kが設定回数Nに到達していない場合(S56:NO)、中央処理部506は、変数Kに1を加算し(S57)、処理をステップS53に戻す。これにより、1つ増加したカウント値に対応する検出信号(電圧)がステップS53、S54の処理により画素セル100ごとに取得され、取得された検出信号の電圧値がステップS55において相関テーブルに記憶される。
こうして、カウント値が1~Nであるときの電圧値が、画素セル100ごとに、相関テーブルに記憶される。これにより、ステップS56の判定がYESとなると、中央処理部506は、相関テーブルの更新処理を終了する。
なお、図16(a)の処理が行われることにより、各画素セル100からの検出信号とカウント値との相関関係が抽出されるため、相関テーブルの更新処理および通常動作において、図3(d)の摺り切り工程は、必ずしも行われなくてもよい。但し、図3(d)の摺り切り工程を行って各カウント値に対する検出信号(電圧)のばらつきを抑制することにより、より正確に、相関関係を抽出することができる。
<実施形態2の効果>
実施形態2によれば、以下の効果が奏され得る。
実施形態2によれば、以下の効果が奏され得る。
予め、相関関係の更新処理が実行されることにより、APD101により受光されたフォトンのカウント数と画素セル100の検出信号との間の相関関係(相関テーブル)が抽出されて相関記憶部504に記憶される。そして、通常動作時には、カウント数取得部505により、当該相関関係(相関テーブル)に基づいて、各画素セル100からの検出信号に応じたカウント数が取得される。これにより、各画素セル100からの検出信号にばらつきが生じても、フィードバック回路を設けることなく、フォトンのカウント数を適正に取得することができる。
相関抽出部503は、カウント数と検出信号との相関関係を規定する相関テーブルを画素ごとに相関記憶部504に記憶させる。これにより、カウント数取得部505は、通常動作時に入力された各画素セル100からの検出信号(電圧値)に対応するカウント数を相関テーブルから読み出すだけでよく、簡素な処理により円滑にカウント数を取得することができる。
図16(a)を参照して説明したとおり、相関抽出部503は、各カウント数に対応する電荷を画素セル100のメモリ部108に擬似的に蓄積させた場合に、各画素セル100から出力される検出信号に基づいて、相関テーブルを設定する。より詳細には、図16(b)に示すように、各カウント数に対応する電荷を画素セル100のメモリ部108に擬似的に蓄積させた場合に、各画素セル100から出力される検出信号の値(電圧値)を、当該カウント数に対応付けて、相関テーブルに登録する。このように、更新テーブルの設定に擬似的な蓄積処理を用いることにより、所望のタイミングにおいて円滑に、相関テーブルを更新することができる。
<実施形態2の変更例1>
上記実施形態2では、相関テーブルの更新処理において、各画素セル100から出力された検出信号(電圧値)がそのまま相関テーブルに登録された。これに対し、変更例1では、予め、カウント値と電圧値とを対応付けた相関テーブルが複数種類準備される。そして、これら複数種類の相関テーブルのうち、相関テーブルの更新処理において各画素セル100から出力された検出信号(電圧値)とカウント値との相関関係に最もマッチングする相関テーブルが、当該画素セル100に用いる相関テーブルに設定される。
上記実施形態2では、相関テーブルの更新処理において、各画素セル100から出力された検出信号(電圧値)がそのまま相関テーブルに登録された。これに対し、変更例1では、予め、カウント値と電圧値とを対応付けた相関テーブルが複数種類準備される。そして、これら複数種類の相関テーブルのうち、相関テーブルの更新処理において各画素セル100から出力された検出信号(電圧値)とカウント値との相関関係に最もマッチングする相関テーブルが、当該画素セル100に用いる相関テーブルに設定される。
図17(a)は、実施形態2の変更例1に係る、相関関係の更新動作時に信号処理部25により実行される処理を示すフローチャートである。
図17(a)のフローチャートは、図16(a)のフローチャートのステップS55がステップS58に置き換えられ、ステップS59が新たに追加されている。その他のステップの処理は、図16(a)の対応するステップの処理と同様である。
ステップS58において、相関抽出部503は、各画素セル100からの検出信号の電圧値をカウント数(変数Kと同じ値)に対応付けて、相関記憶部504に記憶させる。変数Kが設定回数Nに到達するまでステップS53~S57の処理が繰り返されることにより、画素セル100ごとに、全てのカウント数と電圧値とが互いに対応付けられて、相関記憶部504に記憶される。
こうして、変数Kが設定回数Nに到達すると(S56:YES)、相関抽出部503は、ステップS53~S57に処理により相関記憶部504に記憶された各画素セル100のカウント数と電圧値のデータ群と、相関記憶部504に予め記憶されている複数種類の相関テーブルとを対照し、各画素セル100のデータ群に最もマッチングする相関テーブルを、各画素セル100に用いる相関テーブルに設定する(S59)。ここで、マッチングの判定は、たとえば、データ群側の電圧値と相関テーブル側の電圧値との差分をカウント数ごとに求め、これら差分を合計した値が最も小さくなる相関テーブルを、最もマッチングする相関テーブルとして判定する方法により行われる。但し、マッチングの判定方法はこれに限られるものではなく、他の判定方法が用いられてもよい。
相関抽出部503は、こうして画素セル100ごとに設定した相関テーブルの識別情報を、画素セル100に対応付けて、相関記憶部504に記憶させる。その後、相関記憶部504は、ステップS53~S57の処理により記憶したデータ群を消去する。
図17(b)は、図17(a)のステップS59において相関記憶部504に記憶される情報を示す図である。
図17(b)に示すように、相関記憶部504には、各画素セル100に用いられる相関テーブルの識別情報が、各画素セル100に対応付けて記憶される。通常動作時には、カウント数取得部505において、図17(b)の対応表が参照され、各画素セル100に用いる相関テーブルが特定される。カウント数取得部505は、特定した相関テーブルを用いて、上記実施形態2と同様、画素セル100ごとに、検出信号(電圧値)に応じたカウント数を取得し、取得したカウント数を中央処理部506に出力する。
この構成によれば、全ての画素セル100について個別に相関テーブルを作成して記憶しておく必要がないので、通常動作時における相関記憶部504の記憶容量の消費を抑制できる。すなわち、通常動作時において、相関記憶部504は、予め設定された複数種類の相関テーブルと、画素セル100ごとに対応付けられた相関テーブルの識別情報を記憶するだけでよい。よって、上記実施形態2に比べて、相関記憶部504における容量消費を顕著に抑制できる。
なお、相関記憶部504に予め記憶される相関テーブルは、各画素セル100において生じ得る検出信号(電圧値)のばらつきに対応可能なパターンが準備されればよい。たとえば、相関テーブルは、10種類程度準備され得る。
<実施形態2の変更例2>
上記実施形態2では、検出信号とカウント数の相関関係が相関テーブルによって規定された。これに対し、変更例2では、検出信号とカウント数の相関関係が相関関数によって規定される。
上記実施形態2では、検出信号とカウント数の相関関係が相関テーブルによって規定された。これに対し、変更例2では、検出信号とカウント数の相関関係が相関関数によって規定される。
図18(a)は、実施形態2の変更例2に係る、相関関係の更新動作時に信号処理部25により実行される処理を示すフローチャートである。
図18(a)のフローチャートは、上記実施形態2の変更例1に係る図17(a)のフローチャートのステップS59がステップS60に置き換えられている。その他のステップの処理は、図17(a)の対応するステップの処理と同様である。
ステップS53、S54、S58、S57の処理がN回繰り返され、ステップS56の判定がYESとなると、上記のように、画素セル100ごとに、全てのカウント数と電圧値とが互いに対応付けられて、相関記憶部504に記憶される。
その後、相関抽出部503は、ステップS53~S57に処理により相関記憶部504に記憶された各画素セル100のカウント数と電圧値のデータ群に基づいて、画素セル100ごとに、カウント数と電圧値の相関関係を規定する相関関数を生成する(S60)。相関抽出部503は、当該相関関数を生成するためのアルゴリズムを保持している。
相関抽出部503は、こうして画素セル100ごとに設定した相関関数を、画素セル100に対応付けて、相関記憶部504に記憶させる。相関抽出部503は、基本となる相関関数と、画素セル100ごとに設定された相関係数を記憶してもよい。その後、相関記憶部504は、ステップS53~S57の処理により記憶したデータ群を消去する。
図18(b)は、図18(a)のステップS60において相関記憶部504に記憶される相関関数を模式的に示す図である。ここでは、便宜上、3つの画素セルA、B、Cの相関関数が示されている。
図18(b)では、横軸のカウント数が変数xに設定されている。出力電圧yからカウント数xを求めるために、相関関数が逆関数として示されている。通常動作時には、カウント数取得部505において、図18(b)に例示した各画素セル100の相関関数が特定される。カウント数取得部505は、特定した相関関数を用いて、画素セル100ごとに、検出信号(電圧値)に応じたカウント数を算出し、算出したカウント数を中央処理部506に出力する。
この構成によれば、相関記憶部504に各画素セル100の相関関数を記憶させるだけでよいので、上記実施形態2に比べて、通常動作時における相関記憶部504のメモリ容量の消費を顕著に抑制できる。
なお、図18(a)のステップS60では、画素セル100ごとに相関関数が生成されたが、これに代えて、予め複数種類の相関関数を準備しておき、各画素セル100における検出信号とカウント数の相関関係に最もマッチングする相関関数を各画素セル100に対応付ける処理がステップS60において行われてもよい。
<実施形態3>
上記実施形態2では、撮像装置20が物体の反射率の測定装置に用いられたが、実施形態3では、撮像装置20が距離測定装置に用いられる。上記実施形態2に記載の撮像装置20を利用した距離測定装置2の全体像について説明する。
上記実施形態2では、撮像装置20が物体の反射率の測定装置に用いられたが、実施形態3では、撮像装置20が距離測定装置に用いられる。上記実施形態2に記載の撮像装置20を利用した距離測定装置2の全体像について説明する。
図19は、実施形態3に係る距離測定装置2の構成例を示すブロック図である。図19の構成では、発光装置10以外の構成ブロックが、撮像装置20に対応する。
実施形態3では、撮像制御部24が投光装置10を制御する。撮像制御部24は、発光制御部13を制御して光源11をパルス発光させるとともに、固体撮像素子23を制御して、各画素セル100から検出信号を出力させる。画素信号出力部601は、各画素セル100から垂直信号線Vsigに出力された検出信号に対し、増幅、ノイズ除去およびA/D変換等の処理を施して出力する。
相関抽出部603は、上記実施形態2およびその変更例と同様、各画素セル100から出力される検出信号(電圧値)とカウント値との相関関係を取得し、取得した相関関係を相関記憶部604に記憶させる。カウント数取得部605は、上記実施形態2およびその変更例と同様、相関記憶部604に記憶された相関関係に基づいて、各画素セル100から出力された検出信号(電圧値)をカウント値に変換する。
信号処理演算部606は、カウント数取得部605から入力される各画素セル100のカウント値に基づいて、距離画像および輝度画像を生成する。生成された距離画像および輝度画像は、適宜、他の情報処理装置に出力される。
以下、図19の距離測定装置2における距離画像および輝度画像の生成処理について説明する。
撮像制御部24は、パルス状の発光および露光の組をN(Nは3以上の整数)回繰り返すことによって、測距範囲を分割したN(Nは3以上の整数)個の区分距離に対応するN個の区分画像を撮像する。ここで、測距範囲とは、距離測定装置2から被写体までの測定可能な全距離範囲のことである。たとえば、測距範囲は、0~Dmax(m)に設定される。N個の区間距離は、たとえば、測距範囲をN等分して得られる部分的な距離範囲である。なお、N個の区分距離は、N等分に限らず、距離範囲を不均等に分割した部分的な距離範囲であってもよい。たとえば、距離測定装置2の測定対象および測定環境に応じて、N個の区分距離は、小さい距離範囲の区分距離と大きい距離範囲の区分距離を含むように定められてもよい。
撮像制御部24は、発光制御信号を発光制御部13に供給し、露光制御信号を固体撮像素子23に供給することによって、N個の区分画像を撮像するように光源11および固体撮像素子23を制御する。具体的には、撮像制御部24は、1フレームの距離画像あたり、発光パルスおよび露光パルスの組をN組生成するように、発光制御信号および露光制御信号を生成することによって、光源11および固体撮像素子23を制御する。
撮像制御部24は、第1測定期間(Tm1)~第N測定期間(TmN)において、発光タイミングと露光タイミングとの時間差が徐々に大きくなるように、露光パルスを生成する。発光タイミングと露光タイミングとの時間差は、当該測定期間に固体撮像素子23で受光される反射光を生じさせた被写体の距離(距離範囲)に対応する。つまり、当該測定期間で反射光が受光された場合は、距離測定装置2から被写体までの距離が当該時間差に対応する。
すなわち、撮像制御部24は、測定期間TmkにおいてタイムスロットTskの区間で露光を指示する露光パルスを生成する。ここで、kは1~Nの何れかの整数である。
たとえば、撮像制御部24は、第1測定期間Tm1においてタイムスロットTs1の区間で露光を指示する露光パルスを生成する。固体撮像素子23は、タイムスロットTs1での露光による画像を区分画像#1として生成し、メモリに保持する。たとえば、各タイムスロットの期間が10nSであると仮定した場合、固体撮像素子23は、タイムスロットTs1ではパルス発光の開始から10nS以内に現れる反射光を受光できるが、それ以降に現れる反射光を受光できない。つまり、以下の式(1)から、タイムスロットTs1では、固体撮像素子23は、区分距離#1=0~1.5mの距離範囲にある被写体からの反射光を受光でき、区分距離#1以外にある被写体からの反射光を受光できない。
2×L1<10nS×c …(1)
ここで、cは光速(3×108m/s)である。L1は、区分距離#1の距離範囲を示す。2×L1は、照射光の往復距離である。
このように、第1測定期間Tm1で、被写体からの反射光を受光した場合は、被写体の区分距離#1(例えば0~1.5m)の範囲内の距離にあることを意味する。
同様に、撮像制御部24は、第k測定期間TmkにおいてタイムスロットTskの区間で露光を指示する露光パルスを生成する。固体撮像素子23は、タイムスロットTskでの露光による画像を区分画像#kとして生成する。たとえば、各タイムスロットの期間が10nSである場合、第k測定期間Tmkでは、固体撮像素子23は、タイムスロットTskの区間に現れる反射光を受光できるが、その区間外に現れる反射光を受光できない。つまり、以下の式(2)から、第k測定期間Tmkでは、固体撮像素子23は、距離範囲Lk=((k-1)×1.5mからk×1.5mまでの距離範囲)にある被写体からの反射光を受光でき、それ以外の距離にある被写体らの反射光を受光できない。
(k-1)×10nS×c < 2×Lk < k×10nS×c …(2)
ここで、2×Lkは照射光の往復距離である。
このように、第k測定期間Tmkで、被写体からの反射光を受光した場合は、被写体の区分距離#k(例えば(k-1)×1.5mからk×1.5mまでの距離範囲)内の距離にあることを意味する。
ここで、撮像制御部24は、1つの区分画像を取得するために、発光と露光とを連続的に複数回(たとえば10回)繰り返す。すなわち、撮像制御部24は、第k測定期間の処理を連続的に複数回実行し、図11に示したメモリ部108に電荷を蓄積させる。こうしてメモリ部108に電荷が蓄積された後、上記実施形態2において説明したように、メモリ部108の電荷に応じた電圧値が、検出信号として垂直信号線Vsigに出力される。これにより、第k測定期間に対応する区分画像♯kが取得される。その後、撮像制御部24は、次の第k+1測定期間の処理を連続的に複数回実行して、第k+1測定期間に対応する区分画像♯k+1を取得する。撮像制御部24は、順次取得した区分画像を、メモリ部602に記憶させる。
こうして得られたN個の区分画像がメモリ部602に記憶された後、各区分画像の各画素位置にマッピングされている検出信号の信号値(電圧値)が、カウント数取得部605によって、相関記憶部604に保持された相関関係に準拠したカウント数に変換される。カウント数取得部605は、変換後のカウント数を信号処理演算部606に出力する。これにより、信号処理演算部606において、各画素位置にカウント数がマッピングされたカウント画像が、区分画像ごとに取得される。
信号処理演算部606は、取得した各区分画像のカウント画像に基づいて、距離画像と輝度画像を生成する。距離画像の生成は、信号処理演算部606の距離画像生成部606aの機能により生成される。また、輝度画像の生成は、信号処理演算部606の輝度画像生成部606bの機能により生成される。
距離画像生成部606aは、各カウント画像にマッピングされた各画素のカウント値と所定の閾値とを比較し、当該閾値以上のカウント値を有する画素に所定の色を付す。ここで、距離画像生成部606aは、カウント画像ごとに異なる色を設定する。たとえば、区分距離♯1の距離画像♯1から取得されたカウント画像♯1の場合は、カウント値が閾値を超える画素に青色が付され、区分距離♯2の距離画像♯2から取得されたカウント画像♯2の場合は、カウント値が閾値を超える画素に水色が付される。これにより、距離ごとに異なる色が付された画像が画像ごとに得られる。距離画像生成部606aは、こうして取得した全てのカウント画像の画像を、1フレームの画像に合成する。これにより、1フレーム分の距離画像が生成される。距離画像生成部606aは、生成した距離画像を、外部の情報処理装置等に出力する。
輝度画像生成部606aは、上記と同様に取得したカウント画像に対し、各画素のカウント値の大きさに応じた輝度値を各画素に設定して、カウント画像ごとに輝度画像を生成する。輝度画像生成部606aは、生成した各輝度画像を、外部の情報処理装置等に出力する。なお、輝度画像生成部606aは、全ての輝度画像を合成して1フレーム分の輝度画像を生成し、生成した1フレーム分の輝度画像を外部の情報処理装置等に出力してもよい。
<その他の変更例>
以上、本発明の実施形態1、2およびその変更例について説明したが、本発明は、上記実施形態1、2およびその変更例に限定されるものではなく、また、本発明の実施形態も、上記実施形態1、2およびその変更例以外に種々の変更が可能である。
以上、本発明の実施形態1、2およびその変更例について説明したが、本発明は、上記実施形態1、2およびその変更例に限定されるものではなく、また、本発明の実施形態も、上記実施形態1、2およびその変更例以外に種々の変更が可能である。
たとえば、実施形態2においても、図10に示すように、撮像制御部24と相関記憶部504がセンサチップ400に実装されてもよい。
また、実施形態2においても、図9に示した実施形態1の変更例と同様、同一の画素セル100に対して複数回、検出信号(電圧値)とカウント値のデータ群を取得し、取得した複数の検出信号(電圧値)をカウント値ごとに平均化した値を、相関テーブルの登録するようにしてもよい。
また、図3(a)~(d)、図4(a)、(b)、図12(a)~(d)および図13(a)、(b)に示した各部の電位や容量は、一例であって、他の電位や容量に適宜変更され得る。
また、撮像装置20の構成は、図1に示した構成に限られるものではなく、種々の変更が可能である。たとえば、所定波長の光のみを受光する必要がない場合は、フィルタ22が省略され得る。信号処理部25の構成も、適宜、変更可能である。
また、撮像制御部24は、さらにチップ外部からの制御信号によって、より高い自由度で制御することも可能である。
また、固体撮像装置1に含まれる各処理部は、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。また、集積回路化は、LSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、またはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記実施形態1~3に係る、固体撮像装置、およびそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記説明では、MOSトランジスタを用いた例を示したが、他のトランジスタを用いてもよい。
また、上記実施形態1には、撮像装置20が距離測定装置1に搭載され、実施形態2では、撮像装置20が反射率の測定装置に用いられ、実施形態3では、撮像装置20が距離測定装置2に用いられたが、撮像装置20の適用形態はこれに限られるものではない。たとえば、医療や放射線計測等の分野で用いられる撮像装置に、本発明が適用されてもよい。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
20 … 撮像装置
23 … 固体撮像素子
25 … 信号処理部
100 … 画素セル
101 … アバランシェフォトダイオード
203 … ばらつき算出部
204 … テーブル記憶部
205 … 補正演算部
503 … 相関抽出部
505 … カウント数取得部
V0 … 基準値
23 … 固体撮像素子
25 … 信号処理部
100 … 画素セル
101 … アバランシェフォトダイオード
203 … ばらつき算出部
204 … テーブル記憶部
205 … 補正演算部
503 … 相関抽出部
505 … カウント数取得部
V0 … 基準値
Claims (13)
- 複数の画素セルが行列状に配置された固体撮像素子と、
前記各画素セルから出力される検出信号を処理する信号処理部と、を備え、
前記画素セルは、
アバランシェフォトダイオードを備え、
前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力し、
前記信号処理部は、
前記各画素セルから出力される検出信号の前記画素セル間のばらつきを算出するばらつき算出部と、
前記ばらつき算出部により算出されたばらつきに基づいて前記各画素セルから出力される検出信号を補正する補正演算部と、を備える、
ことを特徴とする撮像装置。
- 請求項1に記載の撮像装置において、
前記ばらつき算出部は、全ての前記画素セルから出力されるフォトンのカウント数に応じた前記検出信号を決定する基準値を取得し、前記基準値と前記各画素の前記検出信号の差分に基づいて、各画素セルに対する前記ばらつきを算出する、
ことを特徴とする撮像装置。
- 請求項2に記載の撮像装置において、
前記基準値は、前記全ての前記画素セルから出力された前記検出信号をヒストグラム化したときのモード、中央値および平均値の何れか一つにより決定される、
ことを特徴とする撮像装置。
- 請求項2または3に記載の撮像装置において、
前記信号処理部は、前記基準値と前記検出信号との差分を前記画素セルごとに記憶するテーブル記憶部をさらに備え、
前記補正演算部は、前記画素セルごとに前記差分を前記検出信号に加算して前記検出信号の補正を行う、
ことを特徴とする撮像装置。
- 請求項1ないし4の何れか一項に記載の撮像装置において、
前記ばらつき算出部は、前記複数の画素セルに対する電気制御により電荷を擬似的に蓄積させた場合に、前記各画素セルから出力される前記検出信号に基づいて、前記ばらつきを算出する、
ことを特徴とする撮像装置。
- 請求項1ないし4の何れか一項に記載の撮像装置において、
前記ばらつき算出部は、前記複数の画素セルに対する光の照射により電荷を擬似的に蓄積させた場合に、前記各画素セルから出力される前記検出信号に基づいて、前記ばらつきを算出する、
ことを特徴とする撮像装置。
- 請求項1ないし6の何れか一項に記載の撮像装置において、
前記ばらつき算出部は、異なるタイミングで複数回、前記ばらつきを算出し、
前記補正演算部は、算出された複数回の前記ばらつきに基づいて、前記各画素セルからの前記検出信号に対する前記ばらつきの補正を行う、
ことを特徴とする撮像装置。
- 請求項1ないし7の何れか一項に記載の撮像装置において、
前記ばらつき算出部は、所定の更新条件が充足された場合に、前記ばらつきの算出を行って、前記各画素セルにおける前記ばらつきを更新する、
ことを特徴とする撮像装置。
- 複数の画素セルが行列状に配置された固体撮像素子と、
前記各画素セルから出力される検出信号を処理する信号処理部と、を備え、
前記画素セルは、
アバランシェフォトダイオードを備え、
前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力し、
前記信号処理部は、
前記カウント数と前記検出信号との相関関係を前記画素ごとに抽出する相関抽出部と、
前記相関抽出部により抽出された前記相関関係に基づいて、前記各画素セルからの検出信号に応じた前記カウント数を取得するカウント数取得部と、を備える、
ことを特徴とする撮像装置。
- 請求項9に記載の撮像装置において、
前記相関抽出部は、前記カウント数と前記検出信号との相関関係を規定する相関テーブルを前記画素ごとに設定する、
ことを特徴とする撮像装置。
- 請求項10に記載の撮像装置において、
前記相関抽出部は、各カウント数に対応する電荷を前記画素セルに擬似的に蓄積させた場合に、前記各画素セルから出力される前記検出信号に基づいて、前記相関テーブルを設定する、
ことを特徴とする撮像装置。
- 請求項11に記載の撮像装置において、
前記相関抽出部は、複数種類の前記相関テーブルを予め保持し、前記各画素セルから出力される前記検出信号と前記カウント数との相関関係に最も近い相関関係の前記相関テーブルを、前記各画素に対応づける、
ことを特徴とする撮像装置。
- 請求項9に記載の撮像装置において、
前記相関抽出部は、各カウント数に対応する電荷を前記画素セルに擬似的に蓄積させた場合に、前記各画素セルから出力される前記検出信号に基づいて、前記カウント数と前記検出信号との相関関係を規定する相関関数を前記画素ごと設定する、
ことを特徴とする撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080059281.1A CN114270807B (zh) | 2019-09-06 | 2020-07-30 | 摄像装置 |
JP2021543658A JP7535704B2 (ja) | 2019-09-06 | 2020-07-30 | 撮像装置 |
US17/683,465 US20220191424A1 (en) | 2019-09-06 | 2022-03-01 | Imaging device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019163238 | 2019-09-06 | ||
JP2019-163238 | 2019-09-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/683,465 Continuation US20220191424A1 (en) | 2019-09-06 | 2022-03-01 | Imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021044771A1 true WO2021044771A1 (ja) | 2021-03-11 |
Family
ID=74852128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/029235 WO2021044771A1 (ja) | 2019-09-06 | 2020-07-30 | 撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220191424A1 (ja) |
JP (1) | JP7535704B2 (ja) |
CN (1) | CN114270807B (ja) |
WO (1) | WO2021044771A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118488337A (zh) * | 2023-02-10 | 2024-08-13 | 佳能株式会社 | 摄像装置、信息处理***、控制方法和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004144734A (ja) * | 2002-08-29 | 2004-05-20 | Olympus Corp | 光走査型顕微鏡及び顕微鏡用測光装置 |
WO2016185700A1 (ja) * | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | 赤外線撮像装置および赤外線撮像装置による信号補正方法 |
JP2018091760A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社豊田中央研究所 | 光学測定装置、光学測定方法、及び光学測定プログラム |
WO2018216400A1 (ja) * | 2017-05-25 | 2018-11-29 | パナソニックIpマネジメント株式会社 | 固体撮像素子、及び撮像装置 |
WO2019102637A1 (ja) * | 2017-11-24 | 2019-05-31 | 浜松ホトニクス株式会社 | フォトンカウンティング装置およびフォトンカウンティング方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014097519A1 (ja) * | 2012-12-18 | 2014-06-26 | パナソニック株式会社 | 半導体光検出器 |
JP2014139564A (ja) * | 2012-12-20 | 2014-07-31 | Sony Corp | 撮像装置および電子機器 |
US9299732B2 (en) * | 2013-10-28 | 2016-03-29 | Omnivision Technologies, Inc. | Stacked chip SPAD image sensor |
CN103685994B (zh) * | 2014-01-03 | 2017-01-18 | 中国科学院上海高等研究院 | 图像传感器像素阵列固定模式噪声消除电路 |
WO2016035642A1 (ja) * | 2014-09-03 | 2016-03-10 | 富士フイルム株式会社 | 撮影装置、撮影装置本体、及びレンズ鏡筒 |
WO2017073401A1 (ja) * | 2015-10-29 | 2017-05-04 | 富士フイルム株式会社 | 赤外線撮像装置および赤外線撮像装置による信号補正方法 |
CN108139268B (zh) * | 2015-11-19 | 2021-03-16 | 索尼半导体解决方案公司 | 光学脉冲检测装置、光学脉冲检测方法、辐射计数装置和生物测试装置 |
JP2018014573A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 撮像装置、放射線撮像システム、撮像装置の駆動方法およびプログラム |
CN107976667B (zh) * | 2016-11-04 | 2020-04-10 | 北京遥测技术研究所 | 一种用于全波形测量激光雷达的apd探测装置 |
WO2018124055A1 (ja) * | 2016-12-27 | 2018-07-05 | パナソニックIpマネジメント株式会社 | 撮像装置、カメラ、及び撮像方法 |
JP2018182366A (ja) * | 2017-04-03 | 2018-11-15 | 株式会社日立国際電気 | 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法 |
CN107592472B (zh) * | 2017-10-20 | 2019-12-20 | 思特威(上海)电子科技有限公司 | 多段曝光图像传感器的成像校正方法 |
-
2020
- 2020-07-30 CN CN202080059281.1A patent/CN114270807B/zh active Active
- 2020-07-30 WO PCT/JP2020/029235 patent/WO2021044771A1/ja active Application Filing
- 2020-07-30 JP JP2021543658A patent/JP7535704B2/ja active Active
-
2022
- 2022-03-01 US US17/683,465 patent/US20220191424A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004144734A (ja) * | 2002-08-29 | 2004-05-20 | Olympus Corp | 光走査型顕微鏡及び顕微鏡用測光装置 |
WO2016185700A1 (ja) * | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | 赤外線撮像装置および赤外線撮像装置による信号補正方法 |
JP2018091760A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社豊田中央研究所 | 光学測定装置、光学測定方法、及び光学測定プログラム |
WO2018216400A1 (ja) * | 2017-05-25 | 2018-11-29 | パナソニックIpマネジメント株式会社 | 固体撮像素子、及び撮像装置 |
WO2019102637A1 (ja) * | 2017-11-24 | 2019-05-31 | 浜松ホトニクス株式会社 | フォトンカウンティング装置およびフォトンカウンティング方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114270807B (zh) | 2024-05-14 |
CN114270807A (zh) | 2022-04-01 |
US20220191424A1 (en) | 2022-06-16 |
JP7535704B2 (ja) | 2024-08-19 |
JPWO2021044771A1 (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10616512B2 (en) | Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors | |
US11221253B2 (en) | System with a SPAD-based semiconductor device having dark pixels for monitoring sensor parameters | |
KR101901033B1 (ko) | 픽셀 레벨 바이어스 제어를 갖는 spad 어레이 | |
CN108139268B (zh) | 光学脉冲检测装置、光学脉冲检测方法、辐射计数装置和生物测试装置 | |
JP6676866B2 (ja) | 測距撮像装置及び固体撮像素子 | |
US11243314B2 (en) | Radiation imaging apparatus and radiation imaging system | |
TW202112122A (zh) | 距離影像攝像裝置及距離影像攝像方法 | |
JP5593479B2 (ja) | バックグランド放射光の抑制に有利なtof領域 | |
US20220082698A1 (en) | Depth camera and multi-frequency modulation and demodulation-based noise-reduction distance measurement method | |
US20210223398A1 (en) | Imaging systems with single-photon avalanche diodes and ambient light level detection | |
JPWO2017061104A1 (ja) | 撮像装置、およびそれに用いられる固体撮像素子 | |
US11159738B2 (en) | Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range | |
KR20170073949A (ko) | 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법 | |
US20110085043A1 (en) | Image capturing apparatus, image capturing system, and processing method | |
KR101145132B1 (ko) | 3차원 영상화 펄스 레이저 레이더 시스템 및 이 시스템에서의 자동 촛점 방법 | |
US20220182572A1 (en) | Imaging device | |
WO2021044771A1 (ja) | 撮像装置 | |
US20220350024A1 (en) | Distance image capturing device and distance image capturing method | |
US11122213B2 (en) | Imaging apparatus | |
JP6827806B2 (ja) | 画像変換装置及び撮像装置 | |
WO2024100760A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
Bender et al. | Characterization of domestic and foreign image intensifier tubes | |
US20230296738A1 (en) | Distance measurement device, distance measurement method, and phase detection device | |
US20240094400A1 (en) | Configuration control circuitry and configuration control method | |
JP2020139937A (ja) | 測距装置及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20861709 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021543658 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20861709 Country of ref document: EP Kind code of ref document: A1 |