WO2017208638A1 - 撮像装置、固体撮像素子、および、撮像装置の制御方法 - Google Patents
撮像装置、固体撮像素子、および、撮像装置の制御方法 Download PDFInfo
- Publication number
- WO2017208638A1 WO2017208638A1 PCT/JP2017/014953 JP2017014953W WO2017208638A1 WO 2017208638 A1 WO2017208638 A1 WO 2017208638A1 JP 2017014953 W JP2017014953 W JP 2017014953W WO 2017208638 A1 WO2017208638 A1 WO 2017208638A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- regions
- unit
- amount
- digital signal
- measurement result
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000005259 measurement Methods 0.000 claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims description 171
- 239000000758 substrate Substances 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 239000004065 semiconductor Substances 0.000 claims description 18
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 17
- 238000010187 selection method Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 abstract description 10
- 238000012546 transfer Methods 0.000 description 61
- 238000010586 diagram Methods 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 30
- 238000009792 diffusion process Methods 0.000 description 18
- 239000000203 mixture Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000002596 correlated effect Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 230000000052 comparative effect Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 239000006228 supernatant Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Definitions
- the present technology relates to an imaging device, a solid-state imaging device, and an imaging device control method. Specifically, the present invention relates to an imaging device that generates image data with an expanded dynamic range, a solid-state imaging device, and a method for controlling the imaging device.
- a solid-state imaging device is used to capture image data.
- the dynamic range which is the ratio between the maximum value and the minimum value of the amount of light that can be photoelectrically converted by this solid-state imaging device, is generally narrower than the ratio between the maximum value and the minimum value of the amount of natural light.
- the dynamic range is narrow in this manner, overexposure and underexposure occur, and whiteout or blackout may appear in the image data, resulting in a reduction in image quality.
- imaging is performed by performing multiple exposures with different exposure periods to generate a plurality of image data, and combining them to generate image data with a wider dynamic range than before the combination.
- An apparatus has been proposed (see, for example, Patent Document 1).
- the present technology has been created in view of such a situation, and an object thereof is to suppress a decrease in frame rate in a solid-state imaging device that generates a frame with an expanded dynamic range.
- the present technology has been made to solve the above-described problems, and the first aspect thereof includes a measurement unit that measures the amount of light received in each of the plurality of regions and generates a measurement result, A selection unit that selects any one of a plurality of different exposure periods based on the measurement result in each of the plurality of areas, and a digital signal that is exposed over the selected exposure period in each of the plurality of areas. And an image processing unit that adjusts the value of the generated digital signal for each of the plurality of regions based on the measurement result, and a method for controlling the imaging device It is. Thereby, the exposure period is selected according to the measurement result of the received light amount in each of the plurality of regions, and the value of the digital signal is adjusted based on the measurement result.
- each of the plurality of regions may be composed of one pixel. This brings about the effect that the exposure period is selected according to the measurement result of the amount of received light in each of the plurality of pixels.
- each of the plurality of regions may be composed of a plurality of pixels. This brings about the effect that the exposure period is selected according to the measurement result of the amount of received light in each of the regions composed of a plurality of pixels.
- the measurement unit may determine whether the amount of received light is higher than a predetermined value and generate and hold a determination flag indicating the determination result as the measurement result. As a result, it is possible to determine whether or not the amount of received light is higher than a predetermined value.
- a counting unit that counts a count value in synchronization with a predetermined clock signal, a photodiode that generates a charge according to the amount of received light, a predetermined ramp signal, and an amount of the charge
- a comparator that compares the output voltage with a corresponding voltage and outputs the comparison result as a comparator output signal, and the digital signal generator, when the comparator output signal is inverted, uses the count value as the digital signal.
- the measurement unit compares the count value with a predetermined set value corresponding to the predetermined value and outputs the comparison result as a latch input signal, and the comparator output signal is inverted.
- a determination flag holding unit that holds the value of the latch input signal as the determination flag may be used. As a result, the counter value is held as a digital signal when the comparator output signal is inverted.
- the counting unit may perform one of the increment processing and the decrement processing of the count value and then perform the other. This brings about the effect that the other is performed after one of the increment and decrement of the count value.
- the image processing unit is configured to amplify the digital signal in a region where the received light amount is higher than the predetermined value in the plurality of regions, and the received light amount in the plurality of regions. You may perform at least one of the process which attenuates the said digital signal of the area
- the measurement unit holds the measurement result every time a predetermined imaging cycle elapses, and the selection unit holds before the imaging cycle in each of the predetermined imaging cycles.
- One of the plurality of exposure periods may be selected based on the measurement result. This brings about the effect that the exposure period is selected based on the measurement result held before the imaging cycle in each imaging cycle.
- the selection unit may select any of the plurality of exposure periods based on the measurement result generated in the imaging cycle in each of the predetermined imaging cycles. . This brings about the effect that the exposure period is selected based on the measurement result generated in the imaging cycle in each imaging cycle.
- the measurement unit, the selection unit, and the digital signal generation unit are provided in a solid-state image sensor, and the circuits in the solid-state image sensor are dispersed on a plurality of stacked semiconductor substrates. It may be arranged. This brings about an effect that a digital signal is generated by a circuit in a solid-state imaging device provided on a plurality of stacked semiconductor substrates.
- the second aspect of the present technology is different from the measurement unit that generates the measurement result by measuring the amount of light received in each of the plurality of regions, and the measurement unit in each of the plurality of regions based on the measurement result.
- a selection unit that selects one of a plurality of exposure periods; and a digital signal generation unit that generates a digital signal indicating an exposure amount by performing exposure for each of the plurality of regions over the selected exposure period. It is a solid-state image sensor. This brings about the effect that the exposure period is selected according to the measurement result of the amount of received light in each of the plurality of regions.
- an excellent effect of suppressing a decrease in frame rate can be achieved in a solid-state imaging device that generates a frame with an expanded dynamic range.
- the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
- 6 is a timing chart illustrating an example of an operation of the solid-state imaging element according to the first embodiment of the present technology. It is a timing chart which shows an example of operation of a solid-state image sensing device in a comparative example. 6 is a timing chart illustrating an example of an operation within a determination period of the solid-state imaging device according to the first embodiment of the present technology. 6 is a timing chart illustrating an example of an operation within an imaging determination period of the solid-state imaging device according to the first embodiment of the present technology. It is a block diagram showing an example of 1 composition of an image processing part in a 1st embodiment of this art. 7 is a flowchart illustrating an example of an operation of the imaging device according to the first embodiment of the present technology.
- FIG. 7 is a flowchart illustrating an example of imaging processing according to the first embodiment of the present technology.
- 6 is a flowchart illustrating an example of HDR (High Dynamic Range) image generation processing according to the first embodiment of the present technology.
- It is a block diagram showing an example of 1 composition of a solid-state image sensing device in a 2nd embodiment of this art.
- It is a circuit diagram showing an example of 1 composition of a pixel circuit in a 2nd embodiment of this art.
- 12 is a timing chart illustrating an example of an operation within a determination period of the solid-state imaging device according to the second embodiment of the present technology.
- 12 is a timing chart illustrating an example of an operation within an imaging determination period of the solid-state imaging device according to the second embodiment of the present technology.
- 16 is a timing chart illustrating an example of an operation of an imaging device according to a fifth embodiment of the present technology. 16 is a timing chart illustrating an example of an operation up to an intermediate potential transfer of a pixel circuit with a large amount of received light in the fifth embodiment of the present technology. 16 is a timing chart illustrating an example of an operation up to complete transfer of a pixel circuit with a large amount of received light according to the fifth embodiment of the present technology.
- 16 is a timing chart illustrating an example of an operation up to an intermediate potential transfer of a pixel circuit with a small amount of received light according to the fifth embodiment of the present technology. 16 is a timing chart illustrating an example of an operation until a complete transfer of a pixel circuit with a small amount of received light according to the fifth embodiment of the present technology.
- First Embodiment Example in which an exposure period is selected for each pixel according to the amount of received light
- Second Embodiment Example in which an exposure period is selected for each pixel according to the amount of received light and a digital signal is generated by an up / down counter
- Third Embodiment Example in which an exposure period is selected for each light receiving area according to the amount of received light
- Fourth Embodiment Example in which an exposure period is selected for each pixel according to the amount of received light in a stacked solid-state imaging device
- Fifth Embodiment Example in which an exposure period is selected for each pixel in accordance with the amount of received light measured within an imaging cycle
- FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment.
- the imaging apparatus 100 is an apparatus that captures image data, and includes an imaging lens 110, a solid-state imaging device 200, an image processing unit 120, an imaging control unit 130, and a recording unit 140.
- the imaging device 100 for example, a digital camera, a smartphone having an imaging function, an information processing device, or the like is assumed.
- the imaging lens 110 collects light and guides it to the solid-state imaging device 200.
- the solid-state imaging device 200 generates image data according to the control of the imaging control unit 130.
- the solid-state imaging device 200 supplies the generated image data to the image processing unit 120 via the signal line 209.
- the image processing unit 120 executes various types of image processing on the image data under the control of the imaging control unit 130. This image processing includes high dynamic range synthesis processing for expanding the dynamic range of the image data as compared to before processing.
- the image processing unit 120 supplies the image data after the image processing to the recording unit 140 via the signal line 129.
- the recording unit 140 records image data.
- the imaging control unit 130 controls the entire imaging apparatus 100.
- the imaging control unit 130 supplies a vertical synchronization signal indicating imaging timing to the solid-state imaging device 200 via the signal line 138.
- the imaging control unit 130 supplies a signal indicating the timing for performing image processing to the image processing unit 120 via the signal line 139.
- the imaging lens 110, the solid-state imaging device 200, the image processing unit 120, the imaging control unit 130, and the recording unit 140 are arranged in the same device, they can be distributed and arranged in a plurality of devices.
- the imaging lens 110 may be arranged in the lens unit
- the solid-state imaging device 200 or the like may be arranged in the imaging apparatus 100
- the image processing unit 120 or the like may be arranged in the information processing apparatus.
- the image processing unit 120 is provided outside the solid-state imaging device 200, the configuration is not limited to this configuration, and the image processing unit 120 may be provided inside the solid-state imaging device 200.
- FIG. 2 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the first embodiment.
- the solid-state imaging device 200 includes an interface 210, a driver 220, a pixel array unit 230, a ramp signal generation unit 250, a counting unit 260, and a timing generation unit 270.
- Each of the circuits in the solid-state imaging device 200 is provided on, for example, a single semiconductor substrate.
- the timing generation unit 270 generates a timing signal for instructing the operation timing of each of the interface 210, the driver 220, the ramp signal generation unit 250, and the counting unit 260.
- the timing generation unit 270 supplies the generated timing signal to the block corresponding to the signal.
- the counting unit 260 counts the count value in synchronization with a predetermined clock signal.
- the ramp signal generator 250 generates a sawtooth ramp signal.
- the ramp signal generation unit 250 supplies the generated ramp signal to the pixel array unit 230.
- a plurality of pixel circuits are arranged in a two-dimensional lattice pattern.
- a set of pixel circuits arranged in a predetermined direction (such as a horizontal direction) is referred to as “row”, and a set of pixel circuits arranged in a direction perpendicular to the row is referred to as “column”.
- Each of these pixel circuits generates and outputs pixel data using the ramp signal and the count value of the counter 260.
- each of the pixel data includes a digital signal indicating the exposure amount of the pixel and a determination flag indicating whether or not the light reception amount of the pixel exceeds a predetermined value.
- the driver 220 drives each pixel circuit to output pixel data.
- the interface 210 reads pixel data from each of the pixel circuits.
- the interface 210 supplies the image processing unit 120 with image data in which pixel data is arranged in a two-dimensional grid.
- FIG. 3 is a block diagram illustrating a configuration example of the pixel array unit 230 according to the first embodiment.
- pixel circuits 240 are arranged in a two-dimensional lattice pattern.
- five horizontal signal lines are wired for each row along the row direction, and one vertical signal line is wired for each column along the column direction.
- the pixel circuit 240 is connected to the driver 220 through four of the five horizontal signal lines, and is connected to the ramp signal generation unit 250 through the remaining one horizontal signal line.
- the pixel circuit 240 is connected to the interface 210 and the counting unit 260 via a vertical signal line.
- FIG. 4 is a circuit diagram illustrating a configuration example of the pixel circuit 240 and the counting unit 260 in the first embodiment.
- the pixel circuit 240 includes a switch 241, a PD (Photo Diode) reset transistor 242, a photodiode 243, a transfer transistor 244, a comparator 245, and an FD reset transistor 246. Further, the pixel circuit 240 includes a determination flag holding unit 247 and a digital signal holding unit 248.
- the counting unit 260 includes an up counter 261 and a determination flag generation unit 262 for each column of the pixel circuits 240. In the figure, the dotted line capacity indicates a floating diffusion layer. Further, as the PD reset transistor 242, the photodiode 243, the transfer transistor 244, and the FD reset transistor 246, for example, an N-type MOS (Metal Oxide Semiconductor) transistor is used.
- N-type MOS Metal Oxide Semiconductor
- the switch 241 selects one of the control signals OFG (Over Flow Gate) _L and OFG_S according to the value of the determination flag FLAG held in the determination flag holding unit 247.
- the switch 241 is realized by an OR (logical sum) circuit or the like. The switch 241 supplies the selected signal to the gate of the PD reset transistor 242 as the control signal OFG.
- control signals OFG_L and OFG_S are signals for controlling the PD reset transistor 242 functioning as an overflow gate, and are generated by the driver 220.
- the pulse width of the control signal OFG_L is wider than that of the control signal OFG_S.
- the switch 241 selects the control signal OFG_S with a wide pulse width, the exposure start timing can be delayed and the exposure period can be shortened as compared with the case where the control signal OFG_L is selected.
- the switch 241 is an example of a selection unit described in the claims.
- the PD reset transistor 242 discharges the charge of the photodiode 243 to the power source and initializes the photodiode 243.
- the PD reset transistor 242 is inserted between the photodiode 243 and the power supply.
- the photodiode 243 generates charges by photoelectrically converting incident light.
- the transfer transistor 244 transfers the electric charge generated by the photodiode 243 to the floating diffusion layer in accordance with the transfer signal TRG from the driver 220.
- This transfer signal TRG is a signal for instructing charge transfer.
- the transferred charge is accumulated in the floating diffusion layer, and a voltage corresponding to the charge amount is input to the inverting input terminal ( ⁇ ) of the comparator 245.
- the comparator 245 compares the input voltage FD, which is the voltage of the floating diffusion layer, with the reference voltage REF, which is the voltage of the ramp signal.
- the ramp signal from the ramp signal generation unit 250 is input to the non-inverting input terminal (+) of the comparator 245.
- the comparator 245 outputs the comparison result to the determination flag holding unit 247 and the digital signal holding unit 248 as a comparator output signal VCO.
- a high level comparator output signal VCO is output.
- a low level comparator output signal VCO is output.
- the FD (Floating Diffusion) reset transistor 246 initializes the charge amount of the floating diffusion layer in accordance with the reset signal RST from the driver 220.
- This reset signal RST is a signal for instructing initialization of the floating diffusion layer.
- the FD reset transistor 246 is inserted between the inverting input terminal ( ⁇ ) and the output terminal of the comparator 245.
- the up counter 261 increments the count value in synchronization with the clock signal CLK from the timing generator 270.
- the frequency of the clock signal CLK is assumed to be higher than that of the vertical synchronization signal.
- the up counter 261 supplies a count value CNT of N (N is an integer of 1 or more) bits to the determination flag generation unit 262 and the digital signal holding unit 248. Further, the up counter 261 initializes the count value CNT according to the reset signal rst from the timing generation unit 270. Note that a down counter may be provided instead of the up counter 261.
- the determination flag generation unit 262 compares the count value CNT with a predetermined set value, and generates a signal indicating the comparison result as a latch input signal LIN. For example, a value of “0” is set in the latch input signal LIN when the count value CNT is equal to or less than the set value, and a value of “1” is set when the count value CNT is higher than the set value. Further, for example, a value when the floating diffusion layer is saturated is set as the set value.
- the determination flag holding unit 247 holds the value of the latch input signal LIN as the determination flag FLAG when the comparator output signal VCO is inverted from the high level to the low level (that is, when the input voltage FD is higher than the reference voltage REF). Is.
- the determination flag holding unit 247 is realized by a latch circuit, for example. When the comparator output signal VCO is at the high level, the determination flag holding unit 247 shifts to the through state and outputs the value of the latch input signal LIN as it is.
- the determination flag holding unit 247 shifts to the hold state and holds the value of the latch input signal LIN at the time of inversion as the determination flag FLAG.
- the determination flag holding unit 247 outputs the held determination flag FLAG to the switch 241 and the interface 210.
- the digital signal holding unit 248 holds the count value CNT as the digital signal CODE when the comparator output signal VCO is inverted from the high level to the low level (that is, when the input voltage FD is higher than the reference voltage REF).
- the value of the digital signal CODE indicates the exposure amount of the pixel circuit 240.
- the digital signal holding unit 248 is realized by, for example, a latch circuit. When the comparator output signal VCO is at a high level, the digital signal holding unit 248 shifts to the through state and outputs the count value CNT as it is.
- the digital signal holding unit 248 shifts to the hold state and holds the count value CNT at the time of inversion as the digital signal CODE.
- the digital signal holding unit 248 outputs the held digital signal CODE to the interface 210.
- the digital signal holding unit 248 is an example of a digital signal generation unit described in the claims.
- data including the determination flag FLAG from the determination flag holding unit 247 and the digital signal CODE from the digital signal holding unit 248 is output to the interface 210 as pixel data of the pixel circuit 240.
- the determination flag FLAG indicates a result of measuring whether or not the amount of light received by the pixel circuit 240 exceeds a predetermined value (saturation level or the like).
- the determination flag generation unit 262 and the determination flag holding unit 247 are an example of a measurement unit described in the claims.
- the determination flag FLAG held in a certain frame is read by the switch 241 in the next frame, and the exposure period is switched by the determination flag FLAG.
- the exposure period In the first frame, since the determination flag FLAG remains at the initial value, the exposure period also remains at the initial value. However, in the second and subsequent frames, the long exposure and the short exposure are switched for each pixel circuit 240 according to the light reception amount determination result (FLAG) of the previous frame. If the determination flag FLAG is “0” (that is, the amount of received light is brighter than a predetermined value), the shorter exposure period is selected. On the other hand, when the determination flag FLAG is “1” (that is, the received light amount is dark below a predetermined value), the longer exposure period is selected.
- the solid-state image sensor 200 can detect pixel data that has been exposed for a short time each time a certain imaging period elapses. Pixel data exposed for a long time can be generated.
- the image processing unit 120 can generate image data with an expanded dynamic range for each imaging period by adjusting (amplifying or attenuating) the pixel value of the corresponding pixel data in accordance with the determination flag FLAG. it can.
- an image having a predetermined dynamic range is referred to as a “normal image”
- an image obtained by expanding the dynamic range to a value larger than the predetermined value is referred to as an “HDR (High Dynamic Range) image”.
- the switch 241 switches to one of two exposure periods having different lengths, but may switch one of three or more different exposure periods.
- M is an integer of 3 or more
- the switch 241 switches M control signals having different pulse widths.
- the determination flag generation unit 262 generates a switching signal that changes in value in M stages in accordance with the increase in the count value CNT, instead of the determination flag FLAG.
- the determination flag holding unit 247 holds the switching signal and supplies it to the switch 241.
- the solid-state imaging device 200 measures the amount of received light for each pixel and generates a determination flag
- the region of the unit of measurement of the amount of received light is not limited to the pixel.
- the solid-state imaging device 200 may measure the amount of received light for each region composed of a plurality of pixels.
- FIG. 5 is a diagram illustrating an example of the operation of the determination flag holding unit 247 according to the first embodiment.
- the determination flag holding unit 247 shifts to the hold state and holds the value of the latch input signal LIN as the determination flag FLAG.
- the comparator output signal VCO is at the high level
- the determination flag holding unit 247 shifts to the through state and outputs the latch input signal LIN as it is.
- the operation of the digital signal holding unit 248 is the same as that of the determination flag holding unit 247 except that the number of bits to be held is different.
- FIG. 6 is a diagram illustrating an example of the operation of the determination flag generation unit 262 according to the first embodiment.
- the determination flag generation unit 262 sets “1” to the latch input signal LIN.
- the determination flag generation unit 262 sets “0” to the latch input signal LIN.
- FIG. 7 is a timing chart showing an example of the operation of the solid-state imaging device 200 according to the first embodiment. Assume that imaging of image data is started in synchronization with a vertical synchronization signal VSYNC of 60 hertz (Hz) at timing T1.
- the determination flag FLAG remains the initial value (for example, “0”) in all pixels. For this reason, all the pixel circuits 240 perform exposure over an exposure period of the same length to generate pixel data. Each of the pixel circuits 240 determines whether the amount of received light exceeds a predetermined value and generates and holds a determination flag FLAG. Then, the image processing unit 120 generates a normal image.
- each of the pixel circuits 240 selects an exposure period based on the previous determination flag FLAG, and performs exposure over the exposure period to generate pixel data.
- Each pixel circuit 240 generates a determination flag FLAG. Then, the image processing unit 120 refers to the determination flag FLAG and generates an HDR image from two types of pixel data having different exposure periods.
- timing T2 From the above-described timing T1 to timing T2, only the determination processing is executed among the determination processing of whether or not the amount of received light exceeds a predetermined value and the HDR image capturing processing. For this reason, this period is hereinafter referred to as a “determination period”. Further, after timing T2, both the determination process and the HDR image capturing process are performed for each imaging cycle. For this reason, this period is hereinafter referred to as an “imaging determination period”.
- the imaging cycle is 1/60 seconds, it is not limited to this cycle.
- the solid-state imaging device 200 may perform imaging every 1/30 seconds.
- FIG. 8 is a timing chart showing an example of the operation of the solid-state imaging device in the comparative example.
- the amount of received light is not measured for each pixel, and imaging is performed with the same exposure period length for all pixels.
- all the pixel circuits in the solid-state image sensor generate pixel data by a short exposure.
- all the pixel circuits generate pixel data by long-time exposure.
- the subsequent image processing unit combines the short-exposure image data and the long-exposure image data to generate an HDR image.
- HDR image synthesis is executed every 1/30 seconds.
- the frame rate is reduced as compared with a case where combining is not performed. For example, when a normal image is captured at a frame rate of 60 hertz (Hz) and an HDR image is generated by combining two normal images, the frame rate of the HDR image is reduced to 30 hertz (Hz).
- the solid-state imaging device 200 measures the amount of received light for each pixel circuit 240 and switches the exposure period. Therefore, the HDR is generated every period (imaging period) of the vertical synchronization signal VSYNC. An image can be generated. For example, when the frequency of the vertical synchronization signal VSYNC is the same as that in the comparative example, the solid-state imaging device 200 can capture an HDR image at a frame rate of 60 hertz (Hz). Therefore, it is possible to suppress a decrease in frame rate when capturing an HDR image.
- Hz hertz
- FIG. 9 is a timing chart showing an example of the operation within the determination period of the solid-state imaging device 200 according to the first embodiment.
- the control signals OFG_L and OFG_S are controlled to a high level over different pulse periods. If the initial value of the determination flag FLAG is, for example, low level, the switch 241 selects the control signal OFG_L based on the value and outputs it as OFG. Thereby, long exposure of the exposure period t_LE is started.
- the reset signal RST is supplied, and the voltage (FD) of the floating diffusion layer is initialized to an initial value (for example, approximately the same as the reference voltage REF).
- the voltage FD fluctuates due to feedthrough or charge injection. This fluctuation component is counted as a reset level after timing t3.
- the reference voltage REF of the ramp signal gradually decreases from timing t3 to t5.
- the timing generation unit 270 initializes the up counter 261 and starts counting.
- the comparator output signal VCO is inverted and becomes low level.
- the digital signal holding unit 248 holds the count value CNT at the timing t4 as a reset level signal. This reset level is output to the interface 210.
- the timing generator 270 stops the clock signal CLK to the up counter 261 and stops counting.
- the transfer signal TRG When the transfer signal TRG is supplied at timing t6, the charge of the photodiode 243 is completely transferred to the floating diffusion layer, and the voltage (FD) is decreased. Thereby, long-time exposure is completed.
- the reference voltage REF of the ramp signal gradually decreases after timing t7.
- the timing generation unit 270 initializes the up counter 261 and starts counting.
- the determination flag generation unit 262 sets the latch input signal LIN to the high level.
- the comparator output signal VCO is inverted and becomes low level.
- the determination flag holding unit 247 holds the high level latch input signal LIN as the determination flag FLAG.
- the digital signal holding unit 248 holds the count value CNT at the timing t9 as a signal level. This signal level is output to the interface 210.
- the high-level determination flag FLAG is held. This high level determination flag FLAG indicates that the amount of received light exceeds a predetermined value Th (saturation level or the like).
- the comparator output signal VCO is not inverted even at the timing t10 when the fluctuation of the ramp signal stops.
- the driver 220 forcibly inverts the comparator output signal VCO and causes the determination flag holding unit 247 to hold the determination flag FLAG.
- FIG. 10 is a timing chart showing an example of the operation within the imaging determination period of the solid-state imaging device 200 according to the first embodiment.
- the control signals OFG_L and OFG_S are controlled to a high level over different pulse periods. Since the determination flag FLAG held last time was at a high level (that is, the amount of received light exceeded a predetermined value), the switch 241 selects the control signal OFG_S and outputs it as OFG. Thereby, short-time exposure of the exposure period t_SE is started.
- the reset level is AD (Analog-to-Digital) converted from timing t12 to timing t15, and the signal level is AD-converted from timing t15 to timing t20.
- the determination flag holding unit 247 holds the low-level latch input signal LIN as the determination flag FLAG.
- the determination flag generation unit 262 sets the latch input signal LIN to the high level.
- the low-level determination flag FLAG is held. This low level determination flag FLAG indicates that the amount of received light is equal to or less than a predetermined value Th.
- FIG. 11 is a block diagram illustrating a configuration example of the image processing unit 120 according to the first embodiment.
- the image processing unit 120 includes a correlated double sampling circuit 121, a switch 122, a multiplier 123, and a post-processing unit 124.
- the correlated double sampling circuit 121 performs CDS (Correlated Double Sampling) processing for obtaining a difference between the reset level and the signal level in the digital signal CODE.
- CDS Correlated Double Sampling
- the CDS process can reduce reset noise, transistor threshold variation, and the like.
- the correlated double sampling circuit 121 supplies the pixel value after the CDS processing to the switch 122.
- the switch 122 selects either the multiplier 123 or the post-processing unit 124 as an output destination according to the determination flag FLAG, and outputs the pixel value from the correlated double sampling circuit 121.
- the determination flag FLAG is at a high level (that is, the amount of received light exceeds a predetermined value)
- the switch 122 outputs a pixel value to the multiplier 123.
- the switch 122 outputs the pixel value to the subsequent processing unit 124.
- the multiplier 123 multiplies the pixel value from the switch 122 by t_LE / t_SE which is an exposure ratio between long exposure and short exposure.
- the multiplier 123 supplies the pixel value after multiplication to the post-processing unit 124.
- the post-processing unit 124 performs various image processing such as demosaic processing and white balance processing and supplies the processed image to the recording unit 140.
- the multiplier 123 amplifies the pixel value of a bright pixel whose received light amount exceeds a predetermined value.
- the pixel value of a dark pixel whose received light amount is less than a predetermined value is not amplified. For this reason, the dynamic range of the image data is expanded at the same magnification as the exposure ratio, and an HDR image is obtained.
- the image processing unit 120 performs an adjustment process that amplifies only the pixel value of a bright pixel. However, if the dynamic range is expanded, an adjustment process other than this process may be performed. For example, the image processing unit 120 may attenuate only the pixel value of the dark pixel without amplifying the pixel value of the bright pixel. Further, the image processing unit 120 may perform both the amplification of the pixel value of the bright pixel and the attenuation of the pixel value of the dark pixel.
- FIG. 12 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the first embodiment. This operation is started, for example, when an operation (such as pressing a shutter button) for starting capturing an HDR image is performed.
- an operation such as pressing a shutter button
- the solid-state imaging device 200 executes an imaging process (S910) for imaging image data.
- an imaging process S910
- a normal image is captured.
- the solid-state imaging device 200 executes the imaging process (step S910) again, and the image processing unit 120 executes an HDR image generation process (step S920) for generating an HDR image.
- the imaging apparatus 100 determines whether or not to end imaging in accordance with an operation for stopping imaging (step S930).
- step S930: No If the imaging is not finished (step S930: No), the imaging apparatus 100 repeats step S910 again. On the other hand, when imaging is to be ended (step S930: Yes), the imaging apparatus 100 ends the operation for imaging.
- FIG. 13 is a flowchart illustrating an example of an imaging process according to the first embodiment.
- the pixel circuit 240 in the solid-state imaging device 200 determines whether or not the determination flag FLAG is at a low level (that is, the previous received light amount is equal to or less than a predetermined value Th) (step S911).
- the determination flag FLAG is at a low level (step S911: Yes)
- the pixel circuit 240 performs exposure for a long period of t_LE (step S912).
- the determination flag FLAG is at a high level (step S911: No)
- the pixel circuit 240 performs exposure for a short time of t_SE (step S913).
- the pixel circuit 240 determines whether or not the current received light amount is equal to or less than the predetermined value Th (step S914).
- the pixel circuit 240 sets the determination flag to a low level and holds it (step S915).
- the pixel circuit 240 sets the determination flag to a high level and holds it (step S916).
- the pixel circuit 240 generates and outputs pixel data (step S917).
- FIG. 14 is a flowchart illustrating an example of the HDR image generation process according to the first embodiment.
- the image processing unit 120 performs correlated double sampling processing on the input pixel data (step S921). Then, the image processing unit 120 determines whether or not the determination flag FLAG of the pixel data is at a high level (that is, the amount of received light exceeds a predetermined value Th) (step S922).
- step S922: Yes the image processing unit 120 multiplies the pixel value by the exposure ratio (t_LE / t_SE) (step S923).
- step S923 the image processing unit 120 determines whether or not the processing of all the pixels is completed.
- step S924: No the image processing unit 120 repeatedly executes step S921 and the subsequent steps.
- step S924: Yes the image processing unit 120 ends the HDR image generation process.
- each of the pixel circuits 240 measures the amount of received light, performs exposure over an exposure period selected based on the measurement result, and generates pixel data. Therefore, an HDR image can be generated from one piece of image data. Thereby, the frame rate of the HDR image can be improved as compared with the case where a plurality of image data are combined.
- the solid-state imaging device 200 AD-converts the reset level and the signal level in order by the up counter 261.
- the image processing unit 120 when reset noise or the like is reduced, it is necessary for the image processing unit 120 to acquire the AD conversion values of the reset level and the signal level and execute the CDS process, and the processing burden on the image processing unit 120 is reduced. Will increase.
- the solid-state imaging device 200 of the second embodiment is different from the first embodiment in that the processing amount of the image processing unit 120 is reduced.
- FIG. 15 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the second embodiment.
- the solid-state imaging device 200 according to the second embodiment is different from the first embodiment in that the counting unit 260 is not provided.
- FIG. 16 is a circuit diagram illustrating a configuration example of the pixel circuit 240 according to the second embodiment.
- the pixel circuit 240 according to the second embodiment is different from the first embodiment in that a determination flag generation unit 301 and an up / down counter 302 are provided instead of the digital signal holding unit 248.
- the up / down counter 302 increments or decrements the count value in synchronization with the clock signal CLK.
- the up / down counter 302 initializes the count value in accordance with the reset signal rst from the timing generation unit 270.
- the up / down counter 302 switches between the increment operation and the decrement operation according to the control signal UD from the timing generation unit 270.
- the up / down counter 302 stops counting when the comparator output signal VCO is inverted in each of the increment operation and the decrement operation. Subsequently, after completion of the increment operation, the up / down counter 302 supplies the count value CNT to the determination flag generation unit 301 and the interface 210.
- the determination flag generation unit 301 compares the count value CNT with the set value, and generates a signal indicating the comparison result as the latch input signal LIN.
- the determination flag generation unit 301 supplies the latch input signal LIN to the determination flag holding unit 247.
- FIG. 17 is a timing chart showing an example of the operation within the determination period of the solid-state imaging device according to the second embodiment. Since the initial value of the determination flag FLAG is at a low level, the control signal OFG_L is selected at the timing T1, and long exposure is started. When the reference voltage REF starts to decrease at timing t3, the up / down counter 302 initializes the count value and starts decrementing the count value. When the comparator output signal VCO is inverted at timing t4, the up / down counter 302 stops counting.
- the up / down counter 302 starts incrementing the count value CNT with the value at the end of the decrement as an initial value.
- the comparator output signal VCO is inverted at timing t9
- the up / down counter 302 stops counting.
- the count value CNT at this time indicates the difference between the reset level and the signal level. That is, the CDS process is executed by the up / down counter 302. Since the incremented count value CNT is larger than the set value (that is, the exposure amount exceeds the predetermined value Th), the high-level determination flag FLAG is generated at timing t9.
- up / down counter 302 increments after decrementing, but conversely may decrement after incrementing.
- FIG. 18 is a timing chart showing an example of the operation within the imaging determination period of the solid-state imaging device according to the second embodiment. Since the previous determination flag FLAG is at the high level, the control signal OFG_S is selected at the timing T2, and short-time exposure is started. Since the incremented count value CNT is equal to or less than the set value (that is, the exposure amount is equal to or less than the predetermined value Th), the low-level determination flag FLAG is generated at timing t18.
- FIG. 19 is a block diagram illustrating a configuration example of the image processing unit 120 according to the second embodiment.
- the image processing unit 120 of the second embodiment is the same as that of the first embodiment except that the correlated double sampling circuit 121 is not provided. As described above, since the CDS process is executed by the up / down counter 302, the correlated double sampling circuit 121 becomes unnecessary.
- the up / down counter 302 in the pixel circuit 240 performs the CDS process, it is not necessary for the subsequent image processing unit 120 to perform the CDS process. Thereby, the processing amount of the image processing unit 120 can be reduced.
- the solid-state imaging device 200 measures the amount of received light for each pixel.
- the unit for measuring the amount of received light is not limited to one pixel, and the light is received for each region composed of a plurality of pixels. The amount may be measured.
- the solid-state imaging device 200 according to the third embodiment is different from the second embodiment in that the amount of received light is measured for each light receiving region composed of a plurality of pixels.
- FIG. 20 is a block diagram illustrating a configuration example of the pixel array unit 230 according to the third embodiment.
- the pixel array unit 230 of the third embodiment differs from the first embodiment in that it is divided by a plurality of light receiving regions 350.
- pixel circuits 360, 380, and 390 arranged in the column direction are provided.
- the number of pixels in each of the light receiving regions 350 is three, the number of pixels is not limited to three as long as it is two or more.
- FIG. 21 is a circuit diagram showing a configuration example of the pixel circuits 360 and 380 in the third embodiment.
- the pixel circuit 360 includes a switch 361, a PD reset transistor 362, a photodiode 363, a transfer transistor 364, a comparator 365, and an FD reset transistor 366.
- the pixel circuit 360 includes a determination flag holding unit 367, a determination flag generation unit 368, an adder 369, and an up / down counter 370.
- the configuration of the pixel circuit 360 is the same as that of the pixel circuit 240 of the second embodiment illustrated in FIG. 16 except that an adder 369 is further provided.
- the pixel circuit 380 includes a switch 381, a PD reset transistor 382, a photodiode 383, a transfer transistor 384, a comparator 385, and an FD reset transistor 386.
- the pixel circuit 380 includes an adder 388 and an up / down counter 389.
- the configuration of the pixel circuit 380 is the same as that of the pixel circuit 240 of the second embodiment illustrated in FIG. 16 except that an adder 388 is provided instead of the determination flag generation unit 301 and the determination flag holding unit 247. .
- the configuration of the pixel circuit 390 is the same as that of the pixel circuit 380.
- the up / down counter 389 supplies the count value CNT to the adder 388 and the interface 210.
- the adder 388 adds the count value CNT of the pixel circuit 380 and the count value CNT of the pixel circuit 390.
- the adder 388 supplies the addition result to the pixel circuit 360.
- the adder 369 adds the addition result from the pixel circuit 380 to the count value CNT of the pixel circuit 360.
- the adder 369 supplies the addition result to the determination flag generation unit 368.
- This addition result is an integrated value of the count values CNT of the pixel circuits 360, 380, and 390, and indicates the amount of light received in the light receiving region 350.
- the determination flag generation unit 368 generates a latch input signal LIN indicating whether or not the amount of light received in the light receiving region 350 exceeds a predetermined value, and supplies the latch input signal LIN to the determination flag holding unit 367.
- the determination flag holding unit 367 holds the latch input signal LIN as the determination flag FLAG when the comparator output signal VCO is inverted, and supplies the held value to the switch 361 and the pixel circuits 380 and 390.
- the amount of light received is measured for each light receiving region 350, and each of the pixels in the light receiving region 350 can select the exposure period based on the measurement result (determination flag FLAG).
- the amount of received light is measured for each light receiving region 350 including a plurality of pixels, and exposure is performed over an exposure period selected based on the measurement result. Therefore, an HDR image can be generated from one piece of image data.
- each circuit in the solid-state imaging device 200 is arranged on one semiconductor substrate. However, if the area of the semiconductor substrate is constant, the pixels are finer as the number of pixels increases. Need to be made. This miniaturization reduces the area of each photodiode of the pixel, making it difficult to maintain pixel characteristics such as sensitivity.
- the solid-state imaging device 200 of the fourth embodiment differs from the first embodiment in that the area of the photodiode is increased.
- FIG. 22 is a perspective view illustrating a configuration example of the solid-state imaging device 200 according to the fourth embodiment.
- the solid-state imaging device 200 according to the fourth embodiment includes a lower semiconductor substrate 202 and an upper semiconductor substrate 201 stacked on the substrate.
- FIG. 23 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the fourth embodiment.
- a plurality of latch circuits 410 are arranged in a two-dimensional lattice
- a plurality of pixel circuits 240 are arranged in a two-dimensional lattice.
- the interface 210, the driver 220, the ramp signal generation unit 250, the counting unit 260, and the timing generation unit 270 in the solid-state imaging device 200 are disposed on the lower semiconductor substrate 202.
- the configuration of the pixel circuit 240 of the fourth embodiment is the same as that of the first embodiment except that the switch 241, the determination flag holding unit 247, and the digital signal holding unit 248 are not provided. These switch 241, determination flag holding unit 247 and digital signal holding unit 248 are provided in the latch circuit 410.
- the circuit in the solid-state image sensor 200 is distributed and arranged on two stacked semiconductor substrates, it may be distributed on three or more semiconductor substrates.
- the switch 241, the determination flag holding unit 247, and the digital signal holding unit 248 in the solid-state imaging device 200 are arranged on one substrate and the rest are arranged on the other substrate, but the configuration is not limited thereto.
- the switch 241 may be disposed on the substrate on the pixel circuit 240 side.
- the area of the photodiode 243 is smaller than that in the case of not stacking. Can be bigger. Thereby, it is possible to suppress a decrease in pixel characteristics (sensitivity, etc.) due to miniaturization.
- the solid-state imaging device 200 performs exposure by selecting an exposure period according to the measurement result (determination flag FLAG) of the amount of received light measured in the previous frame at the time of imaging each frame. Had gone.
- the measurement result determination flag FLAG
- an appropriate exposure period may not be selected, and image quality may deteriorate.
- image quality may deteriorate.
- the solid-state imaging device 200 of the fifth embodiment is different from the second embodiment in that the image quality is improved by selecting an appropriate exposure period.
- FIG. 24 is a circuit diagram illustrating a configuration example of the pixel circuit 240 according to the fifth embodiment.
- the pixel circuit 240 according to the fifth embodiment is different from the second embodiment in that a transfer transistor 420 is provided instead of the transfer transistor 244.
- the transfer transistor 420 is different from the transfer transistor 244 of the second embodiment in that the channel potential can be controlled in three stages.
- the driver 220 supplies the low level transfer signal TRG
- the potential of the transfer transistor 420 becomes the highest potential.
- the driver 220 supplies the high level transfer signal TRG
- the potential of the transfer transistor 420 becomes the lowest low potential.
- the driver 220 supplies the middle level transfer signal TRG
- the potential of the transfer transistor 420 becomes an intermediate potential between a high potential and a low potential.
- intermediate potential transfer At the intermediate potential, all charges in the photodiode 243 are not transferred, and the supernatant signal exceeding the intermediate potential is transferred to the floating diffusion layer. This charge transfer at the intermediate potential is hereinafter referred to as “intermediate potential transfer”. Further, at a low potential, all charges in the photodiode 243 are transferred to the floating diffusion layer. This transfer at the low potential is hereinafter referred to as “complete transfer”.
- FIG. 25 is an example of a potential diagram up to the intermediate potential transfer of the pixel circuit 240 in the fifth embodiment.
- a indicates a potential diagram of the pixel circuit 240 immediately before the intermediate potential transfer.
- the potential of the transfer transistor 420 is sufficiently high, the charge of the photodiode 243 is not transferred to the floating diffusion layer.
- FIG. 25 shows a potential diagram at the time of intermediate potential transfer of the pixel circuit 240 having a larger received light amount than c in FIG.
- C in FIG. 25 shows a potential diagram at the time of intermediate potential transfer of the pixel circuit 240 having a smaller amount of received light than b in FIG.
- the charge amount of the photodiode 243 is small and there is almost no supernatant signal.
- the pixel circuit 240 determines the determination flag from the voltage FD of the floating diffusion layer at this time. FLAG can be generated.
- FIG. 26 is an example of a potential diagram at the time of complete transfer of the pixel circuit 240 in the fifth embodiment.
- the driver 220 supplies the high-level transfer signal TRG, the potential of the transfer transistor 420 becomes low. Then, all the charges in the photodiode 243 are transferred to the floating diffusion layer.
- FIG. 27 is a timing chart illustrating an example of the operation of the imaging apparatus 100 according to the fifth embodiment.
- the pixel circuit 240 When the first timing T1 has elapsed, the pixel circuit 240 generates a determination flag FLAG at the time of intermediate potential transfer. Then, the pixel circuit 240 selects an exposure period according to the determination flag and performs exposure over the exposure period to generate pixel data. Then, the image processing unit 120 refers to the determination flag FLAG and generates an HDR image from two types of pixel data having different exposure periods.
- the pixel circuit 240 similarly generates a determination flag FLAG within the imaging cycle to select an exposure period, and the image processing unit 120 generates an HDR image.
- FIG. 28 is a timing chart showing an example of the operation up to the intermediate potential transfer of the pixel circuit 240 with a large amount of received light in the fifth embodiment.
- the control signals OFG_L and OFG_S are controlled to a high level over the same pulse period.
- the reset level is counted from timing t12 to timing t15.
- the transfer signal TRG at the middle level L1 is supplied, and the transfer transistor 420 performs intermediate potential transfer.
- a count value CNT indicating the difference between the reset level and the signal level is counted between timing t17 and timing t19. Since the count value CNT exceeds the set value (that is, the amount of received light exceeds the predetermined value Th), the high-level determination flag FLAG is generated.
- FIG. 29 is a timing chart showing an example of the operation until the complete transfer of the pixel circuit 240 with a large amount of received light in the fifth embodiment.
- the control signal OFG_S is controlled to a high level over a predetermined pulse period.
- the control signal OFG_L remains at a low level.
- the switch 241 selects the control signal OFG_S and outputs it as OFG. Thereby, short-time exposure of the exposure period t_SE is started.
- the reset level is counted from timing t24 to timing t27.
- the transfer signal TRG at the high level L2 is supplied, and the transfer transistor 420 performs complete transfer. Thereby, short-time exposure is completed.
- a count value CNT indicating the difference between the reset level and the signal level is counted between timing t29 and timing t30.
- the count value CNT indicates a pixel value of a pixel that has been exposed for a short time.
- FIG. 30 is a timing chart showing an example of the operation up to the intermediate potential transfer of the pixel circuit 240 with a small amount of received light in the fifth embodiment.
- the switch 241 outputs a control signal OFG having a constant pulse width regardless of the value of the determination flag FLAG. In response to this control signal OFG, exposure of the pixel circuit 240 is started.
- the transfer transistor 420 performs intermediate potential transfer.
- a count value CNT indicating the difference between the reset level and the signal level is counted between timing t29 and timing t30. Since the count value CNT is equal to or less than the set value (that is, the amount of received light is equal to or less than the predetermined value Th), the low level determination flag FLAG is generated.
- FIG. 31 is a timing chart showing an example of the operation until the complete transfer of the pixel circuit 240 with a small amount of received light in the fifth embodiment.
- the switch 241 selects the control signal OFG_L and outputs it as OFG according to the low level determination flag FLAG. Thereby, the accumulation of charges is continued without resetting the upper signal at the time of intermediate potential transfer, and exposure is performed for a long time of the exposure period t_LE.
- the transfer signal TRG at the high level L2 is supplied, and the transfer transistor 420 performs complete transfer. Thereby, long-time exposure is completed.
- the pixel circuit 240 measures the amount of received light within the imaging cycle, and selects the exposure period based on the measurement result, so that it is compared with the previous imaging cycle. Even when the amount of received light changes greatly, exposure can be performed with an appropriate exposure period after the change. Thereby, the image quality of image data can be improved.
- the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
- a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
- this technique can also take the following structures.
- a measurement unit that measures the amount of light received in each of the plurality of regions and generates a measurement result;
- a selection unit that selects one of a plurality of different exposure periods based on the measurement result in each of the plurality of regions;
- a digital signal generation unit that generates a digital signal by performing exposure over the selected exposure period in each of the plurality of regions;
- An imaging apparatus comprising: an image processing unit that adjusts the value of the generated digital signal for each of the plurality of regions based on the measurement result.
- each of the plurality of regions includes one pixel.
- each of the plurality of regions includes a plurality of pixels.
- the measurement unit determines whether or not the amount of received light is higher than a predetermined value, and generates and holds a determination flag indicating the determination result as the measurement result, any of (1) to (3)
- An imaging apparatus according to claim 1.
- a counting unit that counts a count value in synchronization with a predetermined clock signal; A photodiode for generating a charge corresponding to the amount of received light; A comparator that compares a predetermined ramp signal with a voltage corresponding to the amount of charge and outputs the comparison result as a comparator output signal;
- the digital signal generation unit holds the count value as the digital signal when the comparator output signal is inverted,
- the measuring unit is A determination flag generator that compares the count value with a predetermined set value corresponding to the predetermined value and outputs the comparison result as a latch input signal;
- the imaging apparatus according to (4), further including a determination flag holding unit that holds a value of the latch input signal as the determination flag when the comparator output signal is inverted.
- the imaging device wherein the counting unit performs one of the increment processing and the decrement processing of the count value and then performs the other.
- the image processing unit amplifies the digital signal in a region where the received light amount is higher than the predetermined value in the plurality of regions, and the received light amount does not exceed the predetermined value in the plurality of regions.
- the imaging apparatus according to (5), wherein at least one of processing for attenuating the digital signal in a region is executed.
- the measurement unit holds the measurement result every time a predetermined imaging period elapses, In any one of (1) to (7), the selection unit selects any of the plurality of exposure periods based on a measurement result held before the imaging cycle in each of the predetermined imaging cycles.
- the imaging device described. The selection unit selects any one of the plurality of exposure periods based on the measurement result generated in the imaging cycle in each of the predetermined imaging cycles.
- the imaging device according to any one of the above. 10
- the measurement unit, the selection unit, and the digital signal generation unit are provided in a solid-state imaging device, The imaging device according to any one of (1) to (9), wherein circuits in the solid-state imaging device are distributed and arranged on a plurality of stacked semiconductor substrates.
- a measurement unit that measures the amount of light received in each of the plurality of regions and generates a measurement result
- a selection unit that selects one of a plurality of different exposure periods based on the measurement result in each of the plurality of regions
- a solid-state imaging device comprising: a digital signal generation unit configured to generate a digital signal indicating exposure amount by performing exposure in each of the plurality of regions for the selected exposure period.
- a measurement procedure for generating a measurement result by measuring the amount of light received in each of the plurality of regions; A selection procedure for selecting one of a plurality of different exposure periods based on the measurement result in each of the plurality of regions; A digital signal generating procedure for generating a digital signal indicating an exposure amount by performing exposure over the selected exposure period in each of the plurality of regions; An image processing procedure for adjusting a value of the generated digital signal for each of the plurality of regions based on the measurement result.
- Imaging device 110 Imaging lens 120 Image processing part 121 Correlated double sampling circuit 122, 241, 361, 381 Switch 123 Multiplier 124 Subsequent processing part 130 Imaging control part 140 Recording part 200 Solid-state image sensor 201 Upper semiconductor substrate 202 Lower semiconductor Substrate 210 Interface 220 Driver 230 Pixel array unit 240, 360, 380, 390 Pixel circuit 242, 362, 382 PD reset transistor 243, 363, 383 Photodiode 244, 364, 384, 420 Transfer transistor 245, 365, 385 Comparator 246, 366, 386 FD reset transistor 247, 367 Judgment flag holding unit 248 Digital signal holding unit 250 Ramp signal generating unit 260 Counting unit 261 Updater Pointer 262,301,368 determination flag generating unit 270 timing generator 302,370,389 up-down counter 350 receiving regions 369,388 adder 410 latch circuit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制する。 測定部は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する。選択部は、複数の領域のそれぞれにおいて測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する。画像データ生成部は、複数の領域のそれぞれにおいて選択された露光期間に亘って露光して画素データを生成する。画像処理部は、複数の領域のそれぞれについて生成された画素データの値を測定結果に基づいて調整する。
Description
本技術は、撮像装置、固体撮像素子、および、撮像装置の制御方法に関する。詳しくは、ダイナミックレンジを拡大した画像データを生成する撮像装置、固体撮像素子、および、撮像装置の制御方法に関する。
従来より、撮像装置では、画像データを撮像するために固体撮像素子が用いられている。この固体撮像素子が一度の露光で光電変換することのできる光量の最大値と最小値との比であるダイナミックレンジは、一般に自然光の光量の最大値と最小値の比に比べて狭い。このようにダイナミックレンジが狭いと、露光オーバーや露光アンダーが生じ、画像データに白飛びや黒つぶれが現れて画質が低下することがある。このような画質の低下を抑制するため、異なる露光期間により複数回の露光を行って複数の画像データを生成し、それらを合成して、合成前よりも広いダイナミックレンジの画像データを生成する撮像装置が提案されている(例えば、特許文献1参照。)。
上述の従来技術では、ダイナミックレンジを拡大したため、露光オーバーや露光アンダーによる画質の低下を抑制することができる。しかしながら、この構成では、合成のたびに露光期間の異なる複数の画像データ(フレーム)を撮像しなければならないため、合成しない場合と比較して、合成したフレームのフレームレートが低下してしまうという問題がある。例えば、60ヘルツ(Hz)のフレームレートでフレームを撮像し、2枚のフレームを合成して、ダイナミックレンジの広い合成フレームを生成する場合、合成フレームのフレームレートは30ヘルツ(Hz)に低下する。
本技術はこのような状況に鑑みて生み出されたものであり、ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、上記複数の領域のそれぞれにおいて上記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、上記複数の領域のそれぞれにおいて上記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、上記複数の領域のそれぞれについて上記生成されたデジタル信号の値を上記測定結果に基づいて調整する画像処理部とを具備する撮像装置、および、撮像装置の制御方法である。これにより、複数の領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択され、その測定結果に基づいてデジタル信号の値が調整されるという作用をもたらす。
また、この第1の側面において、上記複数の領域のそれぞれは、1つの画素からなるものであってもよい。これにより、複数の画素のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
また、この第1の側面において、上記複数の領域のそれぞれは、複数の画素からなるものであってもよい。これにより、複数の画素からなる領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
また、この第1の側面において、上記測定部は、上記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを上記測定結果として生成して保持してもよい。これにより、受光量が所定値より高いか否かが判定されるという作用をもたらす。
また、この第1の側面において、所定のクロック信号に同期して計数値を計数する計数部と、前記受光量に応じた電荷を生成するフォトダイオードと、所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータとをさらに具備し、前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、前記測定部は、前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部としてもよい。これにより、コンパレータ出力信号が反転した場合に計数値がデジタル信号として保持されるという作用をもたらす。
また、この第1の側面において、上記計数部は、上記計数値の増分処理および減分処理の一方を行った後に他方を行ってもよい。これにより、計数値の増分および減分の一方の後に他方が行われるという作用をもたらす。
また、この第1の側面において、上記画像処理部は、上記複数の領域のうち上記受光量が上記所定値より高い領域の上記デジタル信号を増幅する処理と上記複数の領域のうち上記受光量が上記所定値を超えない領域の上記デジタル信号を減衰する処理との少なくとも一方を実行してもよい。これにより、デジタル信号が増幅または減衰されるという作用をもたらす。
また、この第1の側面において、上記測定部は、所定の撮像周期が経過するたびに上記測定結果を保持し、上記選択部は、上記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて上記複数の露光期間のいずれかを選択してもよい。これにより、撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて露光期間が選択されるという作用をもたらす。
また、この第1の側面において、上記選択部は、上記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された上記測定結果に基づいて上記複数の露光期間のいずれかを選択してもよい。これにより、撮像周期のそれぞれにおいて当該撮像周期内に生成された測定結果に基づいて露光期間が選択されるという作用をもたらす。
また、この第1の側面において、上記測定部、上記選択部および上記デジタル信号生成部は固体撮像素子に設けられ、上記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置されてもよい。これにより、積層された複数の半導体基板に設けられた固体撮像素子内の回路によりデジタル信号が生成されるという作用をもたらす。
また、本技術の第2の側面は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、上記複数の領域のそれぞれにおいて上記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、上記複数の領域のそれぞれにおいて上記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部とを具備する固体撮像素子である。これにより、複数の領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
本技術によれば、ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(受光量に応じて画素毎に露光期間を選択する例)
2.第2の実施の形態(受光量に応じて画素毎に露光期間を選択してアップダウンカウンタによりデジタル信号を生成する例)
3.第3の実施の形態(受光量に応じて受光領域毎に露光期間を選択する例)
4.第4の実施の形態(積層型の固体撮像素子において受光量に応じて画素毎に露光期間を選択する例)
5.第5の実施の形態(撮像周期内で測定した受光量に応じて画素毎に露光期間を選択する例)
1.第1の実施の形態(受光量に応じて画素毎に露光期間を選択する例)
2.第2の実施の形態(受光量に応じて画素毎に露光期間を選択してアップダウンカウンタによりデジタル信号を生成する例)
3.第3の実施の形態(受光量に応じて受光領域毎に露光期間を選択する例)
4.第4の実施の形態(積層型の固体撮像素子において受光量に応じて画素毎に露光期間を選択する例)
5.第5の実施の形態(撮像周期内で測定した受光量に応じて画素毎に露光期間を選択する例)
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像する装置であり、撮像レンズ110、固体撮像素子200、画像処理部120、撮像制御部130および記録部140を備える。撮像装置100としては、例えば、デジタルカメラ、撮像機能を持つスマートフォンや情報処理装置などが想定される。
[撮像装置の構成例]
図1は、第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像する装置であり、撮像レンズ110、固体撮像素子200、画像処理部120、撮像制御部130および記録部140を備える。撮像装置100としては、例えば、デジタルカメラ、撮像機能を持つスマートフォンや情報処理装置などが想定される。
撮像レンズ110は、光を集光して固体撮像素子200に導くものである。固体撮像素子200は、撮像制御部130の制御に従って画像データを生成するものである。この固体撮像素子200は、生成した画像データを画像処理部120に信号線209を介して供給する。
画像処理部120は、撮像制御部130の制御に従って画像データに対して各種の画像処理を実行するものである。この画像処理は、画像データのダイナミックレンジを処理前よりも拡大するハイダイナミックレンジ合成処理を含む。画像処理部120は、画像処理後の画像データを記録部140に信号線129を介して供給する。記録部140は、画像データを記録するものである。
撮像制御部130は、撮像装置100全体を制御するものである。この撮像制御部130は、撮像タイミングを示す垂直同期信号などを信号線138を介して固体撮像素子200に供給する。また、撮像制御部130は、画像処理を行うタイミングを示す信号を画像処理部120に信号線139を介して供給する。
なお、撮像レンズ110、固体撮像素子200、画像処理部120、撮像制御部130および記録部140を同一の装置に配置しているが、これらを複数の装置に分散して配置することもできる。例えば、撮像レンズ110をレンズユニットに配置し、固体撮像素子200などを撮像装置100に配置し、画像処理部120などを情報処理装置に配置してもよい。
また、画像処理部120を固体撮像素子200の外部に設けているが、この構成に限定されず、画像処理部120を固体撮像素子200の内部に設けてもよい。
[固体撮像素子の構成例]
図2は、第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、インターフェース210、ドライバ220、画素アレイ部230、ランプ信号生成部250、計数部260およびタイミング生成部270を備える。固体撮像素子200内の回路のそれぞれは、例えば、単一の半導体基板に設けられる。
図2は、第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、インターフェース210、ドライバ220、画素アレイ部230、ランプ信号生成部250、計数部260およびタイミング生成部270を備える。固体撮像素子200内の回路のそれぞれは、例えば、単一の半導体基板に設けられる。
タイミング生成部270は、インターフェース210、ドライバ220、ランプ信号生成部250および計数部260のそれぞれについて、動作させるタイミングを指示するタイミング信号を生成するものである。タイミング生成部270は、生成したタイミング信号を、その信号に対応するブロックに供給する。
計数部260は、所定のクロック信号に同期して計数値を計数するものである。ランプ信号生成部250は、のこぎり波状のランプ信号を生成するものである。このランプ信号生成部250は、生成したランプ信号を画素アレイ部230に供給する。
画素アレイ部230には、二次元格子状に複数の画素回路が配列される。以下、所定の方向(水平方向など)に配列された画素回路の集合を「行」と称し、行に垂直な方向に配列された画素回路の集合を「列」と称する。これらの画素回路のそれぞれは、ランプ信号と計数部260の計数値とを用いて画素データを生成して出力する。ここで、画素データのそれぞれは、画素の露光量を示すデジタル信号と、画素の受光量が所定値を超えるか否かを示す判定フラグとを含む。
ドライバ220は、画素回路のそれぞれを駆動して画素データを出力させるものである。インターフェース210は、画素回路のそれぞれから画素データを読み出すものである。このインターフェース210は、二次元格子状に画素データが配列された画像データを画像処理部120に供給する。
[画素アレイ部の構成例]
図3は、第1の実施の形態における画素アレイ部230の一構成例を示すブロック図である。この画素アレイ部230には、二次元格子状に画素回路240が配列される。また、画素アレイ部230には、行方向に沿って行ごとに5本の水平信号線が配線され、列方向に沿って列ごとに1本の垂直信号線が配線される。画素回路240は、5本のうち4本の水平信号線を介してドライバ220に接続され、残りの一本の水平信号線を介してランプ信号生成部250に接続される。また、画素回路240は、垂直信号線を介してインターフェース210および計数部260に接続される。
図3は、第1の実施の形態における画素アレイ部230の一構成例を示すブロック図である。この画素アレイ部230には、二次元格子状に画素回路240が配列される。また、画素アレイ部230には、行方向に沿って行ごとに5本の水平信号線が配線され、列方向に沿って列ごとに1本の垂直信号線が配線される。画素回路240は、5本のうち4本の水平信号線を介してドライバ220に接続され、残りの一本の水平信号線を介してランプ信号生成部250に接続される。また、画素回路240は、垂直信号線を介してインターフェース210および計数部260に接続される。
[画素回路および計数部の構成例]
図4は、第1の実施の形態における画素回路240および計数部260の一構成例を示す回路図である。この画素回路240は、スイッチ241、PD(Photo Diode)リセットトランジスタ242、フォトダイオード243、転送トランジスタ244、コンパレータ245およびFDリセットトランジスタ246を備える。また、画素回路240は、判定フラグ保持部247およびデジタル信号保持部248を備える。計数部260は、画素回路240の列ごとに、アップカウンタ261および判定フラグ生成部262を備える。同図において、点線の容量は、浮遊拡散層を示す。また、PDリセットトランジスタ242、フォトダイオード243、転送トランジスタ244およびFDリセットトランジスタ246として、例えば、N型のMOS(Metal Oxide Semiconductor)トランジスタが用いられる。
図4は、第1の実施の形態における画素回路240および計数部260の一構成例を示す回路図である。この画素回路240は、スイッチ241、PD(Photo Diode)リセットトランジスタ242、フォトダイオード243、転送トランジスタ244、コンパレータ245およびFDリセットトランジスタ246を備える。また、画素回路240は、判定フラグ保持部247およびデジタル信号保持部248を備える。計数部260は、画素回路240の列ごとに、アップカウンタ261および判定フラグ生成部262を備える。同図において、点線の容量は、浮遊拡散層を示す。また、PDリセットトランジスタ242、フォトダイオード243、転送トランジスタ244およびFDリセットトランジスタ246として、例えば、N型のMOS(Metal Oxide Semiconductor)トランジスタが用いられる。
スイッチ241は、判定フラグ保持部247に保持された判定フラグFLAGの値に応じて、制御信号OFG(Over Flow Gate)_LおよびOFG_Sの一方を選択するものである。このスイッチ241は、OR(論理和)回路などにより実現される。スイッチ241は、選択した信号を制御信号OFGとしてPDリセットトランジスタ242のゲートに供給する。
ここで、制御信号OFG_LおよびOFG_Sは、オーバーフローゲートとして機能するPDリセットトランジスタ242を制御する信号であり、ドライバ220により生成される。制御信号OFG_Lのパルス幅は、制御信号OFG_Sより広いものとする。パルス幅の広い制御信号OFG_Sをスイッチ241が選択することにより、制御信号OFG_Lを選択した場合よりも露光開始のタイミングを遅らせて露光期間を短くすることができる。なお、スイッチ241は、特許請求の範囲に記載の選択部の一例である。
PDリセットトランジスタ242は、フォトダイオード243の電荷を電源に排出して、フォトダイオード243を初期化するものである。このPDリセットトランジスタ242は、フォトダイオード243と電源との間に挿入される。フォトダイオード243は、入射光を光電変換して電荷を生成するものである。
転送トランジスタ244は、ドライバ220からの転送信号TRGに従って、フォトダイオード243が生成した電荷を浮遊拡散層に転送するものである。この転送信号TRGは、電荷の転送を指示する信号である。転送された電荷は浮遊拡散層に蓄積され、その電荷量に応じた電圧が、コンパレータ245の反転入力端子(-)に入力される。
コンパレータ245は、浮遊拡散層の電圧である入力電圧FDと、ランプ信号の電圧である参照電圧REFとを比較するものである。このコンパレータ245の非反転入力端子(+)には、ランプ信号生成部250からのランプ信号が入力される。コンパレータ245は、比較結果をコンパレータ出力信号VCOとして判定フラグ保持部247およびデジタル信号保持部248に出力する。入力電圧FDが参照電圧REF以下の場合には、ハイレベルのコンパレータ出力信号VCOが出力され、入力電圧FDが参照電圧REFより高い場合には、ローレベルのコンパレータ出力信号VCOが出力される。
FD(Floating Diffusion)リセットトランジスタ246は、ドライバ220からのリセット信号RSTに従って浮遊拡散層の電荷量を初期化するものである。このリセット信号RSTは、浮遊拡散層の初期化を指示する信号である。FDリセットトランジスタ246は、コンパレータ245の反転入力端子(-)と出力端子との間に挿入される。
アップカウンタ261は、タイミング生成部270からのクロック信号CLKに同期して計数値を増分するものである。このクロック信号CLKの周波数は、垂直同期信号よりも高いものとする。アップカウンタ261は、N(Nは1以上の整数)ビットの計数値CNTを判定フラグ生成部262およびデジタル信号保持部248に供給する。また、アップカウンタ261は、タイミング生成部270からのリセット信号rstに従って、計数値CNTを初期化する。なお、アップカウンタ261の代わりにダウンカウンタを設けてもよい。
判定フラグ生成部262は、計数値CNTと所定の設定値とを比較して、その比較結果を示す信号をラッチ入力信号LINとして生成するものである。このラッチ入力信号LINには、例えば、計数値CNTが設定値以下の場合に「0」の値が設定され、計数値CNTが設定値より高い場合に「1」の値が設定される。また、設定値には、例えば、浮遊拡散層が飽和するときの値が設定される。
判定フラグ保持部247は、コンパレータ出力信号VCOがハイレベルからローレベルに反転した場合に(すなわち、入力電圧FDが参照電圧REFより高い場合)にラッチ入力信号LINの値を判定フラグFLAGとして保持するものである。この判定フラグ保持部247は、例えば、ラッチ回路により実現される。コンパレータ出力信号VCOがハイレベルの場合に判定フラグ保持部247は、スルー状態に移行して、ラッチ入力信号LINの値をそのまま出力する。
一方、コンパレータ出力信号VCOがハイレベルからローレベルに反転した場合に判定フラグ保持部247は、ホールド状態に移行して、反転時のラッチ入力信号LINの値を判定フラグFLAGとして保持する。判定フラグ保持部247は、保持した判定フラグFLAGをスイッチ241およびインターフェース210に出力する。
デジタル信号保持部248は、コンパレータ出力信号VCOがハイレベルからローレベルに反転した場合(すなわち、入力電圧FDが参照電圧REFより高い場合)に計数値CNTをデジタル信号CODEとして保持するものである。このデジタル信号CODEの値は、画素回路240の露光量を示す。
また、デジタル信号保持部248は、例えば、ラッチ回路により実現される。コンパレータ出力信号VCOがハイレベルの場合にデジタル信号保持部248は、スルー状態に移行して、計数値CNTをそのまま出力する。
一方、コンパレータ出力信号VCOがハイレベルからローレベルに反転した場合にデジタル信号保持部248は、ホールド状態に移行して、反転時の計数値CNTをデジタル信号CODEとして保持する。デジタル信号保持部248は、保持したデジタル信号CODEをインターフェース210に出力する。なお、デジタル信号保持部248は、特許請求の範囲に記載のデジタル信号生成部の一例である。
また、判定フラグ保持部247からの判定フラグFLAGと、デジタル信号保持部248からのデジタル信号CODEとを含むデータは、画素回路240の画素データとしてインターフェース210に出力される。
上述の構成により、受光量に応じた入力電圧FDが浮遊拡散層の飽和レベルを超えていれば、判定フラグ生成部262からのハイレベルのラッチ入力信号LINが判定フラグFLAGとして判定フラグ保持部247に保持される。すなわち、判定フラグFLAGは、画素回路240の受光量が所定値(飽和レベルなど)を超えたか否かを測定した結果を示す。なお、判定フラグ生成部262および判定フラグ保持部247は、特許請求の範囲に記載の測定部の一例である。
そして、あるフレームで保持された判定フラグFLAGは次のフレームでスイッチ241により読み出され、その判定フラグFLAGにより露光期間が切り替えられる。最初のフレームにおいては、判定フラグFLAGが初期値のままであるため、露光期間も初期値のままである。しかし、2枚目以降のフレームにおいては、画素回路240ごとに、前のフレームの受光量の判定結果(FLAG)により、長時間の露光と短時間の露光とが切り替えられる。判定フラグFLAGが「0」である(すなわち、受光量が所定値を超えて明るい)場合には、短い方の露光期間が選択される。一方、判定フラグFLAGが「1」である(すなわち、受光量が所定値以下で暗い)場合には、長い方の露光期間が選択される。
このように、受光量が所定値を超えるか否かを画素毎に判定して露光期間を切り替えることにより、固体撮像素子200は、一定の撮像周期が経過するたびに短時間露光した画素データと長時間露光した画素データとを生成することができる。
そして、画像処理部120は、この判定フラグFLAGに応じて、対応する画素データの画素値を調整(増幅や減衰)することにより、ダイナミックレンジを拡大した画像データを撮像周期毎に生成することができる。以下、ダイナミックレンジが所定値の画像を「通常画像」と称し、その所定値より大きな値にダイナミックレンジを拡大した画像を「HDR(High Dynamic Range)画像」と称する。
なお、スイッチ241は、長さの異なる2つの露光期間のいずれかに切り替えているが、互いに異なる3つ以上の露光期間のいずれかを切り替えてもよい。M(Mは3以上の整数)個の異なる露光期間を切り替える場合には、パルス幅の異なるM個の制御信号をスイッチ241が切り替える。また、判定フラグ生成部262は、計数値CNTの増大に応じてM段階に値の変わる切替信号を判定フラグFLAGの代わりに生成する。また、コンパレータ出力信号が反転した際に判定フラグ保持部247は、その切替信号を保持してスイッチ241に供給する。
また、固体撮像素子200は、画素ごとに受光量を測定して判定フラグを生成しているが、受光量の測定単位の領域は画素に限定されない。後述するように、固体撮像素子200は、それぞれが複数の画素からなる領域ごとに、受光量を測定してもよい。
図5は、第1の実施の形態における判定フラグ保持部247の動作の一例を示す図である。コンパレータ出力信号VCOがローレベルである(すなわち、入力電圧FDが参照電圧REFより高い)場合に判定フラグ保持部247は、ホールド状態に移行してラッチ入力信号LINの値を判定フラグFLAGとして保持する。一方、コンパレータ出力信号VCOがハイレベルの場合に判定フラグ保持部247は、スルー状態に移行して、ラッチ入力信号LINをそのまま出力する。なお、デジタル信号保持部248の動作は、保持するビット数が異なる点以外は、判定フラグ保持部247と同様である。
図6は、第1の実施の形態における判定フラグ生成部262の動作の一例を示す図である。計数値CNTが設定値より高い(すなわち、受光量が飽和レベルより多い)場合に判定フラグ生成部262は、ラッチ入力信号LINに「1」を設定する。一方、計数値CNTが設定値以下の場合に判定フラグ生成部262は、ラッチ入力信号LINに「0」を設定する。
図7は、第1の実施の形態における固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT1において60ヘルツ(Hz)の垂直同期信号VSYNCに同期して画像データの撮像が開始されたものとする。
最初のタイミングT1では、全画素において判定フラグFLAGは初期値(例えば、「0」)のままである。このため、全ての画素回路240は、同一の長さの露光期間に亘って露光を行って画素データを生成する。また、画素回路240のそれぞれは、受光量が所定値を超えるか否かを判定して判定フラグFLAGを生成して保持する。そして、画像処理部120は、通常画像を生成する。
タイミングT1から1/60秒後のタイミングT2が経過すると、画素回路240のそれぞれは、前回の判定フラグFLAGにより露光期間を選択し、その露光期間に亘って露光して画素データを生成する。また、画素回路240のそれぞれは、判定フラグFLAGを生成する。そして、画像処理部120は、判定フラグFLAGを参照して、露光期間の異なる2種類の画素データからHDR画像を生成する。
上述のタイミングT1からタイミングT2までは、受光量が所定値を超えるか否かの判定処理とHDR画像の撮像処理とのうち、判定処理のみが実行される。このため、この期間を以下、「判定期間」と称する。また、タイミングT2以降は、判定処理と、HDR画像の撮像処理との両方が撮像周期ごとに行われる。このため、この期間を以下、「撮像判定期間」と称する。
なお、撮像周期を1/60秒としているが、この周期に限定されない。例えば、固体撮像素子200は、1/30秒ごとに撮像を行ってもよい。
図8は、比較例における固体撮像素子の動作の一例を示すタイミングチャートである。この比較例の固体撮像素子は、画素ごとに受光量を測定せず、全画素の露光期間の長さを同一にして撮像を行うものとする。
最初のタイミングT1では、固体撮像素子内の全ての画素回路は、短時間の露光により画素データを生成する。タイミングT1から1/60秒が経過したタイミングT2において、全ての画素回路は、長時間の露光により画素データを生成する。また、後段の画像処理部は、短時間露光の画像データと長時間露光の画像データとを合成してHDR画像を生成する。タイミングT2から1/60秒が経過したタイミングT3以降は、HDR画像の合成が1/30秒ごとに実行される。
このように、比較例では、複数枚の画像データを合成してHDR画像(フレーム)を生成するため、合成しない場合と比較してフレームレートが低下してしまう。例えば、60ヘルツ(Hz)のフレームレートで通常画像を撮像し、2枚の通常画像を合成してHDR画像を生成する場合、HDR画像のフレームレートは30ヘルツ(Hz)に低下する。
これに対して、図8に例示したように、固体撮像素子200は、画素回路240ごとに受光量を測定して露光期間を切り替えるため、垂直同期信号VSYNCのの周期(撮像周期)毎にHDR画像を生成することができる。例えば、垂直同期信号VSYNCの周波数が比較例と同一である場合、固体撮像素子200は、60ヘルツ(Hz)のフレームレートでHDR画像を撮像することができる。したがってHDR画像を撮像する際にフレームレートの低下を抑制することができる。
図9は、第1の実施の形態における固体撮像素子200の判定期間内の動作の一例を示すタイミングチャートである。まず、タイミングT1において制御信号OFG_LおよびOFG_Sが、互いに異なるパルス期間に亘ってハイレベルに制御される。判定フラグFLAGの初期値を例えば、ローレベルとすると、スイッチ241は、その値に基づいて制御信号OFG_Lの方を選択してOFGとして出力する。これにより、露光期間t_LEの長時間露光が開始される。
そして、タイミングt2においてリセット信号RSTが供給され、浮遊拡散層の電圧(FD)が初期値(例えば、参照電圧REFと同程度)に初期化される。このリセット信号RSTが立ち下がると、フィードスルーやチャージインジェクションにより、電圧FDが揺らぐ。この揺らぎの成分は、リセットレベルとしてタイミングt3以降に計数される。
ランプ信号の参照電圧REFは、タイミングt3からt5までに亘って徐々に低下する。また、タイミングt3において、タイミング生成部270は、アップカウンタ261を初期化して計数を開始させる。
タイミングt4において入力電圧FDが参照電圧REFより高くなると、コンパレータ出力信号VCOが反転してローレベルになる。また、デジタル信号保持部248は、タイミングt4の計数値CNTを、リセットレベルの信号として保持する。このリセットレベルは、インターフェース210へ出力される。
そして、長時間露光の終了直前のタイミングt5において、参照電圧REFは上昇して入力電圧FD以上となり、コンパレータ出力信号VCOがハイレベルになる。また、タイミングt5において、タイミング生成部270は、アップカウンタ261へのクロック信号CLKを停止して計数を停止させる。
タイミングt6において転送信号TRGが供給されると、浮遊拡散層にフォトダイオード243の電荷が完全転送されて、その電圧(FD)が低下する。これにより、長時間露光が終了する。ランプ信号の参照電圧REFは、タイミングt7以降において徐々に低下する。また、タイミングt7において、タイミング生成部270は、アップカウンタ261を初期化して計数を開始させる。
タイミングt8において、計数値CNTが設定値を超えたため、判定フラグ生成部262は、ラッチ入力信号LINをハイレベルにする。そして、タイミングt9において、入力電圧FDが参照電圧REFより高くなると、コンパレータ出力信号VCOが反転してローレベルになる。このコンパレータ出力信号VCOが反転したタイミングt9において、判定フラグ保持部247は、ハイレベルのラッチ入力信号LINを判定フラグFLAGとして保持する。また、デジタル信号保持部248は、タイミングt9の計数値CNTを信号レベルとして保持する。この信号レベルはインターフェース210へ出力される。
図9では計数値CNTが設定値を超えてから、コンパレータ出力信号VCOが反転したため、ハイレベルの判定フラグFLAGが保持される。このハイレベルの判定フラグFLAGは、受光量が所定値Th(飽和レベルなど)を超えることを示す。
なお、入力電圧FDのレベルが、ランプ信号の変動分よりも大きい場合には、ランプ信号の変動が停止するタイミングt10においても、コンパレータ出力信号VCOが反転しない。この際には、タイミングt10において、ドライバ220がコンパレータ出力信号VCOを強制的に反転させ、判定フラグ保持部247に判定フラグFLAGを保持させる。
図10は、第1の実施の形態における固体撮像素子200の撮像判定期間内の動作の一例を示すタイミングチャートである。タイミングT2において制御信号OFG_LおよびOFG_Sが、互いに異なるパルス期間に亘ってハイレベルに制御される。前回に保持された判定フラグFLAGがハイレベルであった(すなわち、受光量が所定値を超えた)ため、スイッチ241は、制御信号OFG_Sの方を選択してOFGとして出力する。これにより、露光期間t_SEの短時間露光が開始される。
そして、タイミングt12からタイミングt15までの間にリセットレベルがAD(Analog to Digital)変換され、タイミングt15からタイミングt20までの間に信号レベルがAD変換される。
また、タイミングt18において、入力電圧FDが参照電圧REFより高くなると、コンパレータ出力信号VCOが反転してローレベルになる。このコンパレータ出力信号VCOが反転したタイミングt18において、判定フラグ保持部247は、ローレベルのラッチ入力信号LINを判定フラグFLAGとして保持する。
そして、その後のタイミングt19において計数値CNTが設定値を超えたため、判定フラグ生成部262は、ラッチ入力信号LINをハイレベルにする。
図10では、計数値CNTが設定値を超える前にコンパレータ出力信号VCOが反転したため、ローレベルの判定フラグFLAGが保持される。このローレベルの判定フラグFLAGは、受光量が所定値Th以下であることを示す。
[画像処理部の構成例]
図11は、第1の実施の形態における画像処理部120の一構成例を示すブロック図である。この画像処理部120は、相関二重サンプリング回路121、スイッチ122、乗算器123および後段処理部124を備える。
図11は、第1の実施の形態における画像処理部120の一構成例を示すブロック図である。この画像処理部120は、相関二重サンプリング回路121、スイッチ122、乗算器123および後段処理部124を備える。
相関二重サンプリング回路121は、デジタル信号CODE内のリセットレベルと信号レベルとの差を求めるCDS(Correlated Double Sampling)処理を行うものである。CDS処理により、リセットノイズやトランジスタの閾値ばらつきなどを低減することができる。この相関二重サンプリング回路121は、CDS処理後の画素値をスイッチ122に供給する。
スイッチ122は、判定フラグFLAGにより、乗算器123と後段処理部124とのいずれかを出力先として選択して、相関二重サンプリング回路121からの画素値を出力するものである。判定フラグFLAGがハイレベルである(すなわち、受光量が所定値を超える)場合には、スイッチ122は、乗算器123へ画素値を出力する。一方、判定フラグFLAGがローレベルである場合には、スイッチ122は、後段処理部124へ画素値を出力する。
乗算器123は、スイッチ122からの画素値に対して、長時間露光と短時間露光との露光比であるt_LE/t_SEを乗算するものである。この乗算器123は、乗算後の画素値を後段処理部124に供給する。
後段処理部124は、デモザイク処理やホワイトバランス処理などの様々な画像処理を実行して記録部140に供給するものである。
乗算器123により、受光量が所定値を超える明るい画素の画素値が増幅される。一方、受光量が所定値未満の暗い画素の画素値は、増幅されない。このため、画像データのダイナミックレンジは、露光比と同じ倍率により拡大され、HDR画像が得られる。
なお、画像処理部120は、明るい画素の画素値のみを増幅する調整処理を行っているが、ダイナミックレンジが拡大するのであれば、この処理以外の調整処理を行ってもよい。例えば、画像処理部120は、明るい画素の画素値を増幅せずに暗い画素の画素値のみを減衰してもよい。また、画像処理部120は、明るい画素の画素値の増幅と、暗い画素の画素値の減衰との両方を行ってもよい。
[撮像装置の動作例]
図12は、第1の実施の形態における撮像装置100の動作の一例を示すフローチャートである。この動作は、例えば、HDR画像の撮像を開始させるための操作(シャッターボタンの押下など)が行われたときに開始される。
図12は、第1の実施の形態における撮像装置100の動作の一例を示すフローチャートである。この動作は、例えば、HDR画像の撮像を開始させるための操作(シャッターボタンの押下など)が行われたときに開始される。
固体撮像素子200は、画像データを撮像するための撮像処理(S910)を実行する。最初の撮像処理では、通常画像が撮像される。続いて、固体撮像素子200は、撮像処理(ステップS910)を再度実行し、画像処理部120は、HDR画像を生成するためのHDR画像生成処理(ステップS920)を実行する。そして、ステップS920の後に、撮像装置100は、撮像を停止させるための操作などに応じて、撮像を終了するか否かを判断する(ステップS930)。
撮像を終了しない場合に(ステップS930:No)、撮像装置100は、ステップS910を再度繰り返す。一方、撮像を終了する場合に(ステップS930:Yes)、撮像装置100は、撮像のための動作を終了する。
図13は、第1の実施の形態における撮像処理の一例を示すフローチャートである。固体撮像素子200内の画素回路240は、判定フラグFLAGがローレベル(すなわち、前回の受光量が所定値Th以下)であるか否かを判断する(ステップS911)。判定フラグFLAGがローレベルである場合に(ステップS911:Yes)、画素回路240は、t_LEの長時間に亘って露光を行う(ステップS912)。一方、判定フラグFLAGがハイレベルである場合に(ステップS911:No)、画素回路240は、t_SEの短時間に亘って露光を行う(ステップS913)。
ステップS912またはS913の後に画素回路240は、今回の受光量が所定値Th以下であるか否かを判断する(ステップS914)。受光量が所定値Th以下である場合に(ステップS914:Yes)、画素回路240は、判定フラグにローレベルを設定して保持する(ステップS915)。一方、受光量が所定値Thを超える場合に(ステップS914:No)、画素回路240は、判定フラグにハイレベルを設定して保持する(ステップS916)。ステップS915またはS916の後に、画素回路240は、画素データを生成して出力する(ステップS917)。
図14は、第1の実施の形態におけるHDR画像生成処理の一例を示すフローチャートである。画像処理部120は、入力された画素データに対して相関二重サンプリング処理を実行する(ステップS921)。そして、画像処理部120は、その画素データの判定フラグFLAGがハイレベル(すなわち、受光量が所定値Thを超える)か否かを判断する(ステップS922)。
判定フラグFLAGがハイレベルである場合に(ステップS922:Yes)、画像処理部120は、画素値に露光比(t_LE/t_SE)を乗算する(ステップS923)。判定フラグFLAGがローレベルである場合(ステップS922:No)、または、ステップS923の後に、画像処理部120は、全画素の処理が終了したか否かを判断する(ステップS924)。全画素の処理を終了していない場合に(ステップS924:No)、画像処理部120は、ステップS921以降を繰り返し実行する。一方、全画素の処理を終了した場合に(ステップS924:Yes)、画像処理部120は、HDR画像生成処理を終了する。
このように、本技術の第1の実施の形態によれば、画素回路240のそれぞれが受光量を測定して、その測定結果により選択した露光期間に亘って露光を行い、画素データを生成するため、1枚の画像データからHDR画像を生成することができる。これにより、複数の画像データを合成する場合と比較して、HDR画像のフレームレートを向上させることができる。
<2.第2の実施の形態>
上述の第1の実施の形態では、固体撮像素子200は、アップカウンタ261により、リセットレベルおよび信号レベルを順にAD変換していた。しかし、この構成では、リセットノイズ等を低減する際にリセットレベルおよび信号レベルのそれぞれのAD変換値を画像処理部120が取得してCDS処理を実行する必要があり、画像処理部120の処理負担が増大する。この第2の実施の形態の固体撮像素子200は、画像処理部120の処理量を低減した点において第1の実施の形態と異なる。
上述の第1の実施の形態では、固体撮像素子200は、アップカウンタ261により、リセットレベルおよび信号レベルを順にAD変換していた。しかし、この構成では、リセットノイズ等を低減する際にリセットレベルおよび信号レベルのそれぞれのAD変換値を画像処理部120が取得してCDS処理を実行する必要があり、画像処理部120の処理負担が増大する。この第2の実施の形態の固体撮像素子200は、画像処理部120の処理量を低減した点において第1の実施の形態と異なる。
図15は、第2の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第2の実施の形態の固体撮像素子200は、計数部260を備えない点において第1の実施の形態と異なる。
図16は、第2の実施の形態における画素回路240の一構成例を示す回路図である。この第2の実施の形態の画素回路240は、デジタル信号保持部248の代わりに判定フラグ生成部301およびアップダウンカウンタ302を設けた点において第1の実施の形態と異なる。
アップダウンカウンタ302は、クロック信号CLKに同期して、計数値を増分または減分するものである。このアップダウンカウンタ302は、タイミング生成部270からのリセット信号rstに従って計数値を初期化する。また、アップダウンカウンタ302は、タイミング生成部270からの制御信号UDに従って、増分動作と減分動作とを切り替える。そして、アップダウンカウンタ302は、増分動作時と減分動作時とのそれぞれにおいてコンパレータ出力信号VCOが反転したときに計数を停止する。続いて、増分動作の終了後にアップダウンカウンタ302は、計数値CNTを判定フラグ生成部301およびインターフェース210に供給する。
判定フラグ生成部301は、計数値CNTと設定値とを比較して、その比較結果を示す信号をラッチ入力信号LINとして生成するものである。この判定フラグ生成部301は、ラッチ入力信号LINを判定フラグ保持部247に供給する。
図17は、第2の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。判定フラグFLAGの初期値がローレベルであるため、タイミングT1において制御信号OFG_Lが選択され、長時間露光が開始される。タイミングt3において参照電圧REFが低下し始めると、アップダウンカウンタ302は、計数値を初期化し、計数値の減分を開始する。そして、タイミングt4においてコンパレータ出力信号VCOが反転すると、アップダウンカウンタ302は、計数を停止する。
そして、タイミングt7において参照電圧REFが低下し始めると、アップダウンカウンタ302は、減分終了時の値を初期値として、計数値CNTの増分を開始する。そして、タイミングt9においてコンパレータ出力信号VCOが反転すると、アップダウンカウンタ302は、計数を停止する。このときの計数値CNTは、リセットレベルと信号レベルとの差を示す。すなわち、アップダウンカウンタ302により、CDS処理が実行される。増分後の計数値CNTが設定値より大きい(すなわち、露光量が所定値Thを超える)ため、タイミングt9においてハイレベルの判定フラグFLAGが生成される。
なお、アップダウンカウンタ302は、減分の次に増分を行っているが、逆に増分の次に減分を行ってもよい。
図18は、第2の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。前回の判定フラグFLAGがハイレベルであるため、タイミングT2において制御信号OFG_Sが選択され、短時間露光が開始される。そして、増分後の計数値CNTが設定値以下(すなわち、露光量が所定値Th以下)であるため、タイミングt18においてローレベルの判定フラグFLAGが生成される。
図19は、第2の実施の形態における画像処理部120の一構成例を示すブロック図である。この第2の実施の形態の画像処理部120は、相関二重サンプリング回路121が設けられていない点以外は、第1の実施の形態と同様である。前述したように、アップダウンカウンタ302により、CDS処理が実行されるため、相関二重サンプリング回路121が不要となる。
このように、本技術の第2の実施の形態によれば、画素回路240内のアップダウンカウンタ302がCDS処理を行うため、後段の画像処理部120がCDS処理を行う必要がなくなる。これにより、画像処理部120の処理量を低減することができる。
<3.第3の実施の形態>
上述の第2の実施の形態では、固体撮像素子200は画素ごとに受光量を測定していたが、受光量を測定する単位は1画素に限定されず、複数の画素からなる領域ごとに受光量を測定してもよい。この第3の実施の形態の固体撮像素子200は、複数の画素からなる受光領域ごとに受光量を測定する点において第2の実施の形態と異なる。
上述の第2の実施の形態では、固体撮像素子200は画素ごとに受光量を測定していたが、受光量を測定する単位は1画素に限定されず、複数の画素からなる領域ごとに受光量を測定してもよい。この第3の実施の形態の固体撮像素子200は、複数の画素からなる受光領域ごとに受光量を測定する点において第2の実施の形態と異なる。
図20は、第3の実施の形態における画素アレイ部230の一構成例を示すブロック図である。この第3の実施の形態の画素アレイ部230は、複数の受光領域350により分割されている点において第1の実施の形態と異なる。この受光領域350のそれぞれの領域には、列方向に配列された画素回路360、380および390が設けられる。
なお、受光領域350のそれぞれの画素数を3つとしているが、画素数は2つ以上であればよく、3つに限定されない。
図21は、第3の実施の形態における画素回路360および380の一構成例を示す回路図である。画素回路360は、スイッチ361、PDリセットトランジスタ362、フォトダイオード363、転送トランジスタ364、コンパレータ365およびFDリセットトランジスタ366を備える。また、画素回路360は、判定フラグ保持部367、判定フラグ生成部368、加算器369およびアップダウンカウンタ370を備える。
画素回路360の構成は、加算器369をさらに備える点以外は、図16に例示した第2の実施の形態の画素回路240と同様である。
画素回路380は、スイッチ381、PDリセットトランジスタ382、フォトダイオード383、転送トランジスタ384、コンパレータ385およびFDリセットトランジスタ386を備える。また、画素回路380は、加算器388およびアップダウンカウンタ389を備える。
画素回路380の構成は、判定フラグ生成部301および判定フラグ保持部247の代わりに加算器388を備える点以外は、図16に例示資した第2の実施の形態の画素回路240と同様である。また、画素回路390の構成は、画素回路380と同様である。
アップダウンカウンタ389は、計数値CNTを加算器388とインターフェース210とに供給する。加算器388は、画素回路380の計数値CNTと、画素回路390の計数値CNTとを加算するものである。この加算器388は、加算結果を画素回路360に供給する。
加算器369は、画素回路360の計数値CNTに、画素回路380からの加算結果を加算するものである。加算器369は、加算結果を判定フラグ生成部368に供給する。この加算結果は、画素回路360、380および390のそれぞれの計数値CNTの積算値であり、受光領域350の受光量を示す。
判定フラグ生成部368は、受光領域350の受光量が所定値を超えているか否かを示すラッチ入力信号LINを生成して判定フラグ保持部367に供給する。判定フラグ保持部367は、コンパレータ出力信号VCOが反転したときにラッチ入力信号LINを判定フラグFLAGとして保持し、保持値をスイッチ361と画素回路380および390とに供給する。
上述の構成により、受光領域350ごとに受光量が測定され、その測定結果(判定フラグFLAG)により受光領域350内の画素のそれぞれが露光期間を選択することができる。
このように、本技術の第3の実施の形態によれば、複数の画素からなる受光領域350ごとに受光量を測定し、その測定結果により選択した露光期間に亘って露光を行い、画素データを生成するため、1枚の画像データからHDR画像を生成することができる。
<4.第4の実施の形態>
上述の第1の実施の形態では、1つの半導体基板に固体撮像素子200内の回路のそれぞれを配置していたが、半導体基板の面積を一定とすると、画素数の増大に伴って画素を微細化する必要が生じる。この微細化により、画素のそれぞれのフォトダイオードの面積が小さくなり、感度などの画素特性を維持することが困難となる。この第4の実施の形態の固体撮像素子200は、フォトダイオードの面積を大きくした点において第1の実施の形態と異なる。
上述の第1の実施の形態では、1つの半導体基板に固体撮像素子200内の回路のそれぞれを配置していたが、半導体基板の面積を一定とすると、画素数の増大に伴って画素を微細化する必要が生じる。この微細化により、画素のそれぞれのフォトダイオードの面積が小さくなり、感度などの画素特性を維持することが困難となる。この第4の実施の形態の固体撮像素子200は、フォトダイオードの面積を大きくした点において第1の実施の形態と異なる。
図22は、第4の実施の形態における固体撮像素子200の一構成例を示す斜視図である。この第4の実施の形態の固体撮像素子200は、下側半導体基板202と、その基板に積層された上側半導体基板201とを備える。
図23は、第4の実施の形態における固体撮像素子200の一構成例を示すブロック図である。下側半導体基板202には、複数のラッチ回路410が二次元格子状に配置され、上側半導体基板201には、複数の画素回路240が二次元格子状に配列される。また、固体撮像素子200内のインターフェース210、ドライバ220、ランプ信号生成部250、計数部260およびタイミング生成部270は、下側半導体基板202に配置される。
第4の実施の形態の画素回路240の構成は、スイッチ241、判定フラグ保持部247およびデジタル信号保持部248が設けられていない点以外は、第1の実施の形態と同様である。これらのスイッチ241、判定フラグ保持部247およびデジタル信号保持部248は、ラッチ回路410内に設けられる。
なお、積層された2つの半導体基板に、固体撮像素子200内の回路を分散して配置しているが、3つ以上の半導体基板に分散して配置してもよい。また、固体撮像素子200内のスイッチ241、判定フラグ保持部247およびデジタル信号保持部248を一方の基板に、残りを他方の基板に配置しているが、この構成に限定されない。例えば、スイッチ241を画素回路240側の基板に配置してもよい。
このように、本技術の第4の実施の形態によれば、積層された2つの半導体基板に固体撮像素子200内の回路を分散して配置したため、積層しない場合よりもフォトダイオード243の面積を大きくすることができる。これにより、微細化に伴う画素特性(感度など)の低下を抑制することができる。
<5.第5の実施の形態>
上述の第2の実施の形態では、固体撮像素子200は、それぞれのフレームの撮像時において前のフレームで測定された受光量の測定結果(判定フラグFLAG)に応じて露光期間を選択して露光を行っていた。しかし、この構成では、現在のフレームと、その前のフレームとで受光量が大きく変化した場合に、適切な露光期間が選択されず、画質が低下するおそれがある。このため、それぞれのフレームにおいて、そのフレームの撮像周期内で測定した受光量に応じて露光期間を選択することが望ましい。この第5の実施の形態の固体撮像素子200は、適切な露光期間を選択することにより、画質を向上させた点において第2の実施の形態と異なる。
上述の第2の実施の形態では、固体撮像素子200は、それぞれのフレームの撮像時において前のフレームで測定された受光量の測定結果(判定フラグFLAG)に応じて露光期間を選択して露光を行っていた。しかし、この構成では、現在のフレームと、その前のフレームとで受光量が大きく変化した場合に、適切な露光期間が選択されず、画質が低下するおそれがある。このため、それぞれのフレームにおいて、そのフレームの撮像周期内で測定した受光量に応じて露光期間を選択することが望ましい。この第5の実施の形態の固体撮像素子200は、適切な露光期間を選択することにより、画質を向上させた点において第2の実施の形態と異なる。
図24は、第5の実施の形態における画素回路240の一構成例を示す回路図である。この第5の実施の形態の画素回路240は、転送トランジスタ244の代わりに転送トランジスタ420を備える点において第2の実施の形態と異なる。
転送トランジスタ420は、そのチャネルのポテンシャルを3段階に制御することができる点において第2の実施の形態の転送トランジスタ244と異なる。ドライバ220がローレベルの転送信号TRGを供給すると、転送トランジスタ420のポテンシャルは最も高い高電位となる。また、ドライバ220がハイレベルの転送信号TRGを供給すると、転送トランジスタ420のポテンシャルは最も低い低電位となる。ドライバ220がミドルレベルの転送信号TRGを供給すると、転送トランジスタ420のポテンシャルは高電位および低電位の間の中間電位となる。
中間電位では、フォトダイオード243内の電荷が全て転送されず、その中間電位を超えた分の上澄み信号が浮遊拡散層に転送される。この中間電位のときの電荷の転送を以下、「中間電位転送」と称する。また、低電位では、フォトダイオード243内の電荷が全て浮遊拡散層に転送される。この低電位における転送を以下、「完全転送」と称する。
図25は、第5の実施の形態における画素回路240の中間電位転送までのポテンシャル図の一例である。同図におけるaは中間電位転送の直前の画素回路240のポテンシャル図を示す。この時点においては、転送トランジスタ420のポテンシャルは十分に高いため、フォトダイオード243の電荷は浮遊拡散層に転送されない。
図25におけるbは、同図におけるcよりも受光量が大きい画素回路240の中間電位転送時のポテンシャル図を示す。ドライバ220がミドルレベルの転送信号TRGを供給すると、転送トランジスタ420のポテンシャルは中間電位となる。そして、フォトダイオード243から浮遊拡散層へ上澄み信号が転送される。
図25におけるcは、同図におけるbよりも受光量が小さい画素回路240の中間電位転送時のポテンシャル図を示す。受光量が小さい場合には、フォトダイオード243の電荷量が少なく、上澄み信号はほとんどない。同図におけるbおよびcに例示したように、中間電位転送時の浮遊拡散層の電荷量が受光量に応じて変化するため、このときの浮遊拡散層の電圧FDから、画素回路240が判定フラグFLAGを生成することができる。
図26は、第5の実施の形態における画素回路240の完全転送時のポテンシャル図の一例である。ドライバ220がハイレベルの転送信号TRGを供給すると、転送トランジスタ420のポテンシャルは低電位となる。そして、フォトダイオード243内の電荷の全てが浮遊拡散層に転送される。
図27は、第5の実施の形態における撮像装置100の動作の一例を示すタイミングチャートである。最初のタイミングT1が経過すると画素回路240は、中間電位転送時に判定フラグFLAGを生成する。そして、画素回路240は、その判定フラグにより露光期間を選択し、その露光期間に亘って露光して画素データを生成する。そして、画像処理部120は、判定フラグFLAGを参照して、露光期間の異なる2種類の画素データからHDR画像を生成する。
タイミングT1から1/60秒後のタイミングT2以降においても、画素回路240は、同様に撮像周期内で判定フラグFLAGを生成して露光期間を選択し、画像処理部120はHDR画像を生成する。
図28は、第5の実施の形態における受光量が多い画素回路240の中間電位転送までの動作の一例を示すタイミングチャートである。まず、タイミングT1において制御信号OFG_LおよびOFG_Sが、同一のパルス期間に亘ってハイレベルに制御される。そして、タイミングt12からタイミングt15までにおいて、リセットレベルが計数される。その後のタイミングt16においてミドルレベルL1の転送信号TRGが供給され、転送トランジスタ420は、中間電位転送を行う。タイミングt17からタイミングt19までの間に、リセットレベルと信号レベルとの差を示す計数値CNTが計数される。その計数値CNTが設定値を超える(すなわち、受光量が所定値Thを超える)ため、ハイレベルの判定フラグFLAGが生成される。
図29は、第5の実施の形態における受光量が多い画素回路240の完全転送までの動作の一例を示すタイミングチャートである。中間電位転送直後のタイミングt22において、制御信号OFG_Sが、所定のパルス期間に亘ってハイレベルに制御される。一方、制御信号OFG_Lはローレベルのままである。また、ハイレベルの判定フラグFLAGに従って、スイッチ241は、制御信号OFG_Sの方を選択してOFGとして出力する。これにより、露光期間t_SEの短時間露光が開始される。
そして、タイミングt24からタイミングt27までにおいて、リセットレベルが計数される。その後のタイミングt28においてハイレベルL2の転送信号TRGが供給され、転送トランジスタ420は、完全転送を行う。これにより、短時間露光が終了する。タイミングt29からタイミングt30までの間に、リセットレベルと信号レベルとの差を示す計数値CNTが計数される。この計数値CNTは、短時間露光を行った画素の画素値を示す。
図30は、第5の実施の形態における受光量が少ない画素回路240の中間電位転送までの動作の一例を示すタイミングチャートである。タイミングT2においては、制御信号OFG_SおよびOFG_Lは同一であるため、判定フラグFLAGの値に関わらず、スイッチ241は、一定のパルス幅の制御信号OFGを出力する。この制御信号OFGにより、画素回路240の露光が開始される。
そして、タイミングt28において転送トランジスタ420は、中間電位転送を行う。タイミングt29からタイミングt30までの間に、リセットレベルと信号レベルとの差を示す計数値CNTが計数される。その計数値CNTが設定値以下(すなわち、受光量が所定値Th以下)であったため、ローレベルの判定フラグFLAGが生成される。
図31は、第5の実施の形態における受光量が少ない画素回路240の完全転送までの動作の一例を示すタイミングチャートである。中間電位転送直後のタイミングt40において、ローレベルの判定フラグFLAGに従って、スイッチ241は、制御信号OFG_Lの方を選択してOFGとして出力する。これにより、中間電位転送時の上済み信号がリセットされずに電荷の蓄積が継続され、露光期間t_LEの長時間に亘って露光が行われる。そして、タイミングt46においてハイレベルL2の転送信号TRGが供給され、転送トランジスタ420は、完全転送を行う。これにより、長時間露光が終了する。
このように、本技術の第5の実施の形態によれば、画素回路240が撮像周期内で受光量を測定して、その測定結果により露光期間を選択するため、前の撮像周期と比較して受光量が大きく変化した場合でも、変化後の適切な露光期間により露光することができる。これにより、画像データの画質を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
(1)複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
を具備する撮像装置。
(2)前記複数の領域のそれぞれは、1つの画素からなる
前記(1)記載の撮像装置。
(3)前記複数の領域のそれぞれは、複数の画素からなる
前記(1)記載の撮像装置。
(4)前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
前記(1)から(3)のいずれかに記載の撮像装置。
(5)所定のクロック信号に同期して計数値を計数する計数部と、
前記受光量に応じた電荷を生成するフォトダイオードと、
所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
をさらに具備し、
前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
前記測定部は、
前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
を備える前記(4)記載の撮像装置。
(6)前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
前記(5)記載の撮像装置。
(7)前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
前記(5)記載の撮像装置。
(8)前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記(1)から(7)のいずれかに記載の撮像装置。
(9)前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記(1)から(7)のいずれかに記載の撮像装置。
(10)前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
前記(1)から(9)のいずれかに記載の撮像装置。
(11)複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
を具備する固体撮像素子。
(12)複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
を具備する撮像装置の制御方法。
(1)複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
を具備する撮像装置。
(2)前記複数の領域のそれぞれは、1つの画素からなる
前記(1)記載の撮像装置。
(3)前記複数の領域のそれぞれは、複数の画素からなる
前記(1)記載の撮像装置。
(4)前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
前記(1)から(3)のいずれかに記載の撮像装置。
(5)所定のクロック信号に同期して計数値を計数する計数部と、
前記受光量に応じた電荷を生成するフォトダイオードと、
所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
をさらに具備し、
前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
前記測定部は、
前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
を備える前記(4)記載の撮像装置。
(6)前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
前記(5)記載の撮像装置。
(7)前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
前記(5)記載の撮像装置。
(8)前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記(1)から(7)のいずれかに記載の撮像装置。
(9)前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記(1)から(7)のいずれかに記載の撮像装置。
(10)前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
前記(1)から(9)のいずれかに記載の撮像装置。
(11)複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
を具備する固体撮像素子。
(12)複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
を具備する撮像装置の制御方法。
100 撮像装置
110 撮像レンズ
120 画像処理部
121 相関二重サンプリング回路
122、241、361、381 スイッチ
123 乗算器
124 後段処理部
130 撮像制御部
140 記録部
200 固体撮像素子
201 上側半導体基板
202 下側半導体基板
210 インターフェース
220 ドライバ
230 画素アレイ部
240、360、380、390 画素回路
242、362、382 PDリセットトランジスタ
243、363、383 フォトダイオード
244、364、384、420 転送トランジスタ
245、365、385 コンパレータ
246、366、386 FDリセットトランジスタ
247、367 判定フラグ保持部
248 デジタル信号保持部
250 ランプ信号生成部
260 計数部
261 アップカウンタ
262、301、368 判定フラグ生成部
270 タイミング生成部
302、370、389 アップダウンカウンタ
350 受光領域
369、388 加算器
410 ラッチ回路
110 撮像レンズ
120 画像処理部
121 相関二重サンプリング回路
122、241、361、381 スイッチ
123 乗算器
124 後段処理部
130 撮像制御部
140 記録部
200 固体撮像素子
201 上側半導体基板
202 下側半導体基板
210 インターフェース
220 ドライバ
230 画素アレイ部
240、360、380、390 画素回路
242、362、382 PDリセットトランジスタ
243、363、383 フォトダイオード
244、364、384、420 転送トランジスタ
245、365、385 コンパレータ
246、366、386 FDリセットトランジスタ
247、367 判定フラグ保持部
248 デジタル信号保持部
250 ランプ信号生成部
260 計数部
261 アップカウンタ
262、301、368 判定フラグ生成部
270 タイミング生成部
302、370、389 アップダウンカウンタ
350 受光領域
369、388 加算器
410 ラッチ回路
Claims (12)
- 複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
を具備する撮像装置。 - 前記複数の領域のそれぞれは、1つの画素からなる
請求項1記載の撮像装置。 - 前記複数の領域のそれぞれは、複数の画素からなる
請求項1記載の撮像装置。 - 前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
請求項1記載の撮像装置。 - 所定のクロック信号に同期して計数値を計数する計数部と、
前記受光量に応じた電荷を生成するフォトダイオードと、
所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
をさらに具備し、
前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
前記測定部は、
前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
を備える請求項4記載の撮像装置。 - 前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
請求項5記載の撮像装置。 - 前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
請求項5記載の撮像装置。 - 前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
請求項1記載の撮像装置。 - 前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
請求項1記載の撮像装置。 - 前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
請求項1記載の撮像装置。 - 複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
を具備する固体撮像素子。 - 複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
を具備する撮像装置の制御方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201780028797.8A CN109076177B (zh) | 2016-05-30 | 2017-04-12 | 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法 |
US16/303,796 US11039095B2 (en) | 2016-05-30 | 2017-04-12 | Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus |
EP17806198.2A EP3468168B1 (en) | 2016-05-30 | 2017-04-12 | Image capturing apparatus, solid-state image capturing device, and control method of image capturing apparatus |
JP2018520698A JP6922902B2 (ja) | 2016-05-30 | 2017-04-12 | 撮像装置、固体撮像素子、および、撮像装置の制御方法 |
US17/324,972 US20210274114A1 (en) | 2016-05-30 | 2021-05-19 | Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016107260 | 2016-05-30 | ||
JP2016-107260 | 2016-05-30 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/303,796 A-371-Of-International US11039095B2 (en) | 2016-05-30 | 2017-04-12 | Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus |
US17/324,972 Continuation US20210274114A1 (en) | 2016-05-30 | 2021-05-19 | Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017208638A1 true WO2017208638A1 (ja) | 2017-12-07 |
Family
ID=60479476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/014953 WO2017208638A1 (ja) | 2016-05-30 | 2017-04-12 | 撮像装置、固体撮像素子、および、撮像装置の制御方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11039095B2 (ja) |
EP (1) | EP3468168B1 (ja) |
JP (1) | JP6922902B2 (ja) |
CN (2) | CN109076177B (ja) |
WO (1) | WO2017208638A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020022136A (ja) * | 2018-08-03 | 2020-02-06 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
EP3627829A1 (en) * | 2018-09-21 | 2020-03-25 | Canon Kabushiki Kaisha | Photoelectric conversion device and image sensing system |
US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023532400A (ja) * | 2020-05-22 | 2023-07-28 | ブリルニクス シンガポール プライベート リミテッド | デジタル画素センサのためのシステム、方法、デバイス、およびデータ構造 |
US11777515B2 (en) * | 2021-04-27 | 2023-10-03 | Novatek Microelectronics Corp. | Column analog-to-digital converter and local counting method thereof |
CN114040132B (zh) * | 2021-11-22 | 2023-11-21 | 成都微光集电科技有限公司 | 图像传感器及其曝光时序控制方法、***及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009296179A (ja) * | 2008-06-03 | 2009-12-17 | Sony Corp | 画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法 |
JP2014093754A (ja) * | 2012-11-07 | 2014-05-19 | Sony Corp | 撮像素子、撮像方法 |
WO2015060143A1 (ja) * | 2013-10-21 | 2015-04-30 | ソニー株式会社 | 固体撮像素子および電子機器 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006124592A2 (en) * | 2005-05-12 | 2006-11-23 | California Institute Of Technology | Linear dynamic range enhancement in a cmos imager |
JP2007067571A (ja) * | 2005-08-29 | 2007-03-15 | Fujitsu Ltd | 画像処理装置 |
US7326903B2 (en) * | 2006-06-29 | 2008-02-05 | Noble Peak Vision Corp. | Mixed analog and digital pixel for high dynamic range readout |
JP4252078B2 (ja) * | 2006-09-28 | 2009-04-08 | 三洋電機株式会社 | 光検出装置 |
WO2008062404A2 (en) * | 2006-11-20 | 2008-05-29 | Ben Gurion University Of The Negev Research And Development Authority | Optical pixel and image sensor |
US7791657B2 (en) * | 2007-03-07 | 2010-09-07 | Teledyne Licensing, Llc | Dynamic range enhancement scheme for imagers |
JP4424402B2 (ja) | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像制御方法、撮像制御プログラム |
JP5178458B2 (ja) * | 2008-10-31 | 2013-04-10 | キヤノン株式会社 | 固体撮像装置、撮像システム、および、固体撮像装置の駆動方法 |
US8279328B2 (en) * | 2009-07-15 | 2012-10-02 | Tower Semiconductor Ltd. | CMOS image sensor with wide (intra-scene) dynamic range |
EP2606637B1 (en) * | 2010-08-23 | 2016-09-21 | Red.Com, Inc. | High dynamic range video |
EP2442556A1 (en) * | 2010-10-15 | 2012-04-18 | ST-Ericsson SA | Apparatus and method for capturing images with high dynamic range |
CN102131051B (zh) * | 2010-12-28 | 2012-11-28 | 惠州Tcl移动通信有限公司 | 一种摄像设备及其图像获取方法和装置 |
US9077910B2 (en) * | 2011-04-06 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Multi-field CCD capture for HDR imaging |
JP2013090127A (ja) * | 2011-10-18 | 2013-05-13 | Olympus Corp | 固体撮像装置および撮像装置 |
US8779346B2 (en) * | 2012-05-14 | 2014-07-15 | BAE Systems Imaging Solutions Inc. | Digital pixel sensor with reduced noise |
US9319605B2 (en) * | 2013-03-15 | 2016-04-19 | Rambus Inc. | Increasing dynamic range using multisampling |
US20140287884A1 (en) | 2013-03-20 | 2014-09-25 | Icon Health & Fitness, Inc. | Paddle Exercise Apparatus |
JP2014204364A (ja) * | 2013-04-08 | 2014-10-27 | ソニー株式会社 | 固体撮像素子および駆動方法、並びに電子機器 |
JP2015019293A (ja) * | 2013-07-11 | 2015-01-29 | ソニー株式会社 | 固体撮像装置および方法、並びに、電子機器 |
KR102149187B1 (ko) * | 2014-02-21 | 2020-08-28 | 삼성전자주식회사 | 전자 장치와, 그의 제어 방법 |
US9380229B2 (en) * | 2014-02-28 | 2016-06-28 | Samsung Electronics Co., Ltd. | Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion |
JP6362091B2 (ja) * | 2014-06-04 | 2018-07-25 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP6393091B2 (ja) * | 2014-06-19 | 2018-09-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US9578265B2 (en) * | 2015-06-11 | 2017-02-21 | Stmicroelectronics (Grenoble 2) Sas | Double charge storage area image capture device pixel structure |
US10205894B2 (en) * | 2015-09-11 | 2019-02-12 | Canon Kabushiki Kaisha | Imaging device and imaging system |
CN108028898B (zh) * | 2015-09-16 | 2020-09-04 | 佳能株式会社 | 图像传感器和摄像设备 |
-
2017
- 2017-04-12 JP JP2018520698A patent/JP6922902B2/ja active Active
- 2017-04-12 CN CN201780028797.8A patent/CN109076177B/zh active Active
- 2017-04-12 CN CN202110637055.3A patent/CN113507568A/zh active Pending
- 2017-04-12 EP EP17806198.2A patent/EP3468168B1/en active Active
- 2017-04-12 WO PCT/JP2017/014953 patent/WO2017208638A1/ja unknown
- 2017-04-12 US US16/303,796 patent/US11039095B2/en active Active
-
2021
- 2021-05-19 US US17/324,972 patent/US20210274114A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009296179A (ja) * | 2008-06-03 | 2009-12-17 | Sony Corp | 画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法 |
JP2014093754A (ja) * | 2012-11-07 | 2014-05-19 | Sony Corp | 撮像素子、撮像方法 |
WO2015060143A1 (ja) * | 2013-10-21 | 2015-04-30 | ソニー株式会社 | 固体撮像素子および電子機器 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3468168A4 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020022136A (ja) * | 2018-08-03 | 2020-02-06 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
JP7114396B2 (ja) | 2018-08-03 | 2022-08-08 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
EP3627829A1 (en) * | 2018-09-21 | 2020-03-25 | Canon Kabushiki Kaisha | Photoelectric conversion device and image sensing system |
CN110944127A (zh) * | 2018-09-21 | 2020-03-31 | 佳能株式会社 | 光电转换装置和图像感测*** |
US11165976B2 (en) | 2018-09-21 | 2021-11-02 | Canon Kabushiki Kaisha | Controlling the exposure of a photoelectric conversion device using stacked substrates |
CN110944127B (zh) * | 2018-09-21 | 2023-03-17 | 佳能株式会社 | 光电转换装置和图像感测*** |
US11785356B2 (en) | 2018-09-21 | 2023-10-10 | Canon Kabushiki Kaisha | Photoelectric conversion device with mask circuits |
US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
Also Published As
Publication number | Publication date |
---|---|
US20210274114A1 (en) | 2021-09-02 |
JPWO2017208638A1 (ja) | 2019-03-28 |
US11039095B2 (en) | 2021-06-15 |
US20200322555A1 (en) | 2020-10-08 |
CN109076177A (zh) | 2018-12-21 |
JP6922902B2 (ja) | 2021-08-18 |
EP3468168A1 (en) | 2019-04-10 |
CN113507568A (zh) | 2021-10-15 |
CN109076177B (zh) | 2021-06-15 |
EP3468168A4 (en) | 2019-07-31 |
EP3468168B1 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6922902B2 (ja) | 撮像装置、固体撮像素子、および、撮像装置の制御方法 | |
US10284796B2 (en) | Image capture apparatus and control method thereof | |
JP2017504262A (ja) | 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法 | |
JP6082274B2 (ja) | 撮像装置、及びその制御方法 | |
JP2009177749A (ja) | 固体撮像装置 | |
JP2010028676A (ja) | 撮像システムおよび固体撮像素子の駆動方法 | |
JP2009177797A (ja) | 固体撮像装置及びその駆動方法 | |
JP2010154372A (ja) | 固体撮像装置、デジタルカメラ及びad変換方法 | |
US11190717B2 (en) | Solid state image sensor, image capturing apparatus, and image capturing method | |
JP2015115660A5 (ja) | 撮像装置及びその制御方法、及び撮像素子 | |
JP2008263547A (ja) | 撮像装置 | |
WO2017141847A1 (ja) | 固体撮像装置および撮像装置 | |
JP2014143498A (ja) | 固体撮像装置 | |
US11936987B2 (en) | Image capturing apparatus | |
JP2018033101A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2015170863A (ja) | 固体撮像装置及びその制御方法、プログラム、記憶媒体 | |
US11165978B2 (en) | Imaging device, control method thereof, and imaging apparatus | |
JP2021022921A (ja) | 撮像素子、撮像装置、および制御方法 | |
JP2014150444A (ja) | 固体撮像装置 | |
JP2016048813A (ja) | 固体撮像素子、撮像方法、および電子機器 | |
JP2007195033A (ja) | 固体撮像装置 | |
JP7339779B2 (ja) | 撮像装置 | |
JP7293002B2 (ja) | 撮像装置 | |
JP2010193296A (ja) | 撮像装置及び補正量算出プログラム | |
JP2014175778A (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018520698 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17806198 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017806198 Country of ref document: EP Effective date: 20190102 |