WO2017208638A1 - 撮像装置、固体撮像素子、および、撮像装置の制御方法 - Google Patents

撮像装置、固体撮像素子、および、撮像装置の制御方法 Download PDF

Info

Publication number
WO2017208638A1
WO2017208638A1 PCT/JP2017/014953 JP2017014953W WO2017208638A1 WO 2017208638 A1 WO2017208638 A1 WO 2017208638A1 JP 2017014953 W JP2017014953 W JP 2017014953W WO 2017208638 A1 WO2017208638 A1 WO 2017208638A1
Authority
WO
WIPO (PCT)
Prior art keywords
regions
unit
amount
digital signal
measurement result
Prior art date
Application number
PCT/JP2017/014953
Other languages
English (en)
French (fr)
Inventor
晃司 小川
雅樹 榊原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780028797.8A priority Critical patent/CN109076177B/zh
Priority to US16/303,796 priority patent/US11039095B2/en
Priority to EP17806198.2A priority patent/EP3468168B1/en
Priority to JP2018520698A priority patent/JP6922902B2/ja
Publication of WO2017208638A1 publication Critical patent/WO2017208638A1/ja
Priority to US17/324,972 priority patent/US20210274114A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present technology relates to an imaging device, a solid-state imaging device, and an imaging device control method. Specifically, the present invention relates to an imaging device that generates image data with an expanded dynamic range, a solid-state imaging device, and a method for controlling the imaging device.
  • a solid-state imaging device is used to capture image data.
  • the dynamic range which is the ratio between the maximum value and the minimum value of the amount of light that can be photoelectrically converted by this solid-state imaging device, is generally narrower than the ratio between the maximum value and the minimum value of the amount of natural light.
  • the dynamic range is narrow in this manner, overexposure and underexposure occur, and whiteout or blackout may appear in the image data, resulting in a reduction in image quality.
  • imaging is performed by performing multiple exposures with different exposure periods to generate a plurality of image data, and combining them to generate image data with a wider dynamic range than before the combination.
  • An apparatus has been proposed (see, for example, Patent Document 1).
  • the present technology has been created in view of such a situation, and an object thereof is to suppress a decrease in frame rate in a solid-state imaging device that generates a frame with an expanded dynamic range.
  • the present technology has been made to solve the above-described problems, and the first aspect thereof includes a measurement unit that measures the amount of light received in each of the plurality of regions and generates a measurement result, A selection unit that selects any one of a plurality of different exposure periods based on the measurement result in each of the plurality of areas, and a digital signal that is exposed over the selected exposure period in each of the plurality of areas. And an image processing unit that adjusts the value of the generated digital signal for each of the plurality of regions based on the measurement result, and a method for controlling the imaging device It is. Thereby, the exposure period is selected according to the measurement result of the received light amount in each of the plurality of regions, and the value of the digital signal is adjusted based on the measurement result.
  • each of the plurality of regions may be composed of one pixel. This brings about the effect that the exposure period is selected according to the measurement result of the amount of received light in each of the plurality of pixels.
  • each of the plurality of regions may be composed of a plurality of pixels. This brings about the effect that the exposure period is selected according to the measurement result of the amount of received light in each of the regions composed of a plurality of pixels.
  • the measurement unit may determine whether the amount of received light is higher than a predetermined value and generate and hold a determination flag indicating the determination result as the measurement result. As a result, it is possible to determine whether or not the amount of received light is higher than a predetermined value.
  • a counting unit that counts a count value in synchronization with a predetermined clock signal, a photodiode that generates a charge according to the amount of received light, a predetermined ramp signal, and an amount of the charge
  • a comparator that compares the output voltage with a corresponding voltage and outputs the comparison result as a comparator output signal, and the digital signal generator, when the comparator output signal is inverted, uses the count value as the digital signal.
  • the measurement unit compares the count value with a predetermined set value corresponding to the predetermined value and outputs the comparison result as a latch input signal, and the comparator output signal is inverted.
  • a determination flag holding unit that holds the value of the latch input signal as the determination flag may be used. As a result, the counter value is held as a digital signal when the comparator output signal is inverted.
  • the counting unit may perform one of the increment processing and the decrement processing of the count value and then perform the other. This brings about the effect that the other is performed after one of the increment and decrement of the count value.
  • the image processing unit is configured to amplify the digital signal in a region where the received light amount is higher than the predetermined value in the plurality of regions, and the received light amount in the plurality of regions. You may perform at least one of the process which attenuates the said digital signal of the area
  • the measurement unit holds the measurement result every time a predetermined imaging cycle elapses, and the selection unit holds before the imaging cycle in each of the predetermined imaging cycles.
  • One of the plurality of exposure periods may be selected based on the measurement result. This brings about the effect that the exposure period is selected based on the measurement result held before the imaging cycle in each imaging cycle.
  • the selection unit may select any of the plurality of exposure periods based on the measurement result generated in the imaging cycle in each of the predetermined imaging cycles. . This brings about the effect that the exposure period is selected based on the measurement result generated in the imaging cycle in each imaging cycle.
  • the measurement unit, the selection unit, and the digital signal generation unit are provided in a solid-state image sensor, and the circuits in the solid-state image sensor are dispersed on a plurality of stacked semiconductor substrates. It may be arranged. This brings about an effect that a digital signal is generated by a circuit in a solid-state imaging device provided on a plurality of stacked semiconductor substrates.
  • the second aspect of the present technology is different from the measurement unit that generates the measurement result by measuring the amount of light received in each of the plurality of regions, and the measurement unit in each of the plurality of regions based on the measurement result.
  • a selection unit that selects one of a plurality of exposure periods; and a digital signal generation unit that generates a digital signal indicating an exposure amount by performing exposure for each of the plurality of regions over the selected exposure period. It is a solid-state image sensor. This brings about the effect that the exposure period is selected according to the measurement result of the amount of received light in each of the plurality of regions.
  • an excellent effect of suppressing a decrease in frame rate can be achieved in a solid-state imaging device that generates a frame with an expanded dynamic range.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • 6 is a timing chart illustrating an example of an operation of the solid-state imaging element according to the first embodiment of the present technology. It is a timing chart which shows an example of operation of a solid-state image sensing device in a comparative example. 6 is a timing chart illustrating an example of an operation within a determination period of the solid-state imaging device according to the first embodiment of the present technology. 6 is a timing chart illustrating an example of an operation within an imaging determination period of the solid-state imaging device according to the first embodiment of the present technology. It is a block diagram showing an example of 1 composition of an image processing part in a 1st embodiment of this art. 7 is a flowchart illustrating an example of an operation of the imaging device according to the first embodiment of the present technology.
  • FIG. 7 is a flowchart illustrating an example of imaging processing according to the first embodiment of the present technology.
  • 6 is a flowchart illustrating an example of HDR (High Dynamic Range) image generation processing according to the first embodiment of the present technology.
  • It is a block diagram showing an example of 1 composition of a solid-state image sensing device in a 2nd embodiment of this art.
  • It is a circuit diagram showing an example of 1 composition of a pixel circuit in a 2nd embodiment of this art.
  • 12 is a timing chart illustrating an example of an operation within a determination period of the solid-state imaging device according to the second embodiment of the present technology.
  • 12 is a timing chart illustrating an example of an operation within an imaging determination period of the solid-state imaging device according to the second embodiment of the present technology.
  • 16 is a timing chart illustrating an example of an operation of an imaging device according to a fifth embodiment of the present technology. 16 is a timing chart illustrating an example of an operation up to an intermediate potential transfer of a pixel circuit with a large amount of received light in the fifth embodiment of the present technology. 16 is a timing chart illustrating an example of an operation up to complete transfer of a pixel circuit with a large amount of received light according to the fifth embodiment of the present technology.
  • 16 is a timing chart illustrating an example of an operation up to an intermediate potential transfer of a pixel circuit with a small amount of received light according to the fifth embodiment of the present technology. 16 is a timing chart illustrating an example of an operation until a complete transfer of a pixel circuit with a small amount of received light according to the fifth embodiment of the present technology.
  • First Embodiment Example in which an exposure period is selected for each pixel according to the amount of received light
  • Second Embodiment Example in which an exposure period is selected for each pixel according to the amount of received light and a digital signal is generated by an up / down counter
  • Third Embodiment Example in which an exposure period is selected for each light receiving area according to the amount of received light
  • Fourth Embodiment Example in which an exposure period is selected for each pixel according to the amount of received light in a stacked solid-state imaging device
  • Fifth Embodiment Example in which an exposure period is selected for each pixel in accordance with the amount of received light measured within an imaging cycle
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment.
  • the imaging apparatus 100 is an apparatus that captures image data, and includes an imaging lens 110, a solid-state imaging device 200, an image processing unit 120, an imaging control unit 130, and a recording unit 140.
  • the imaging device 100 for example, a digital camera, a smartphone having an imaging function, an information processing device, or the like is assumed.
  • the imaging lens 110 collects light and guides it to the solid-state imaging device 200.
  • the solid-state imaging device 200 generates image data according to the control of the imaging control unit 130.
  • the solid-state imaging device 200 supplies the generated image data to the image processing unit 120 via the signal line 209.
  • the image processing unit 120 executes various types of image processing on the image data under the control of the imaging control unit 130. This image processing includes high dynamic range synthesis processing for expanding the dynamic range of the image data as compared to before processing.
  • the image processing unit 120 supplies the image data after the image processing to the recording unit 140 via the signal line 129.
  • the recording unit 140 records image data.
  • the imaging control unit 130 controls the entire imaging apparatus 100.
  • the imaging control unit 130 supplies a vertical synchronization signal indicating imaging timing to the solid-state imaging device 200 via the signal line 138.
  • the imaging control unit 130 supplies a signal indicating the timing for performing image processing to the image processing unit 120 via the signal line 139.
  • the imaging lens 110, the solid-state imaging device 200, the image processing unit 120, the imaging control unit 130, and the recording unit 140 are arranged in the same device, they can be distributed and arranged in a plurality of devices.
  • the imaging lens 110 may be arranged in the lens unit
  • the solid-state imaging device 200 or the like may be arranged in the imaging apparatus 100
  • the image processing unit 120 or the like may be arranged in the information processing apparatus.
  • the image processing unit 120 is provided outside the solid-state imaging device 200, the configuration is not limited to this configuration, and the image processing unit 120 may be provided inside the solid-state imaging device 200.
  • FIG. 2 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the first embodiment.
  • the solid-state imaging device 200 includes an interface 210, a driver 220, a pixel array unit 230, a ramp signal generation unit 250, a counting unit 260, and a timing generation unit 270.
  • Each of the circuits in the solid-state imaging device 200 is provided on, for example, a single semiconductor substrate.
  • the timing generation unit 270 generates a timing signal for instructing the operation timing of each of the interface 210, the driver 220, the ramp signal generation unit 250, and the counting unit 260.
  • the timing generation unit 270 supplies the generated timing signal to the block corresponding to the signal.
  • the counting unit 260 counts the count value in synchronization with a predetermined clock signal.
  • the ramp signal generator 250 generates a sawtooth ramp signal.
  • the ramp signal generation unit 250 supplies the generated ramp signal to the pixel array unit 230.
  • a plurality of pixel circuits are arranged in a two-dimensional lattice pattern.
  • a set of pixel circuits arranged in a predetermined direction (such as a horizontal direction) is referred to as “row”, and a set of pixel circuits arranged in a direction perpendicular to the row is referred to as “column”.
  • Each of these pixel circuits generates and outputs pixel data using the ramp signal and the count value of the counter 260.
  • each of the pixel data includes a digital signal indicating the exposure amount of the pixel and a determination flag indicating whether or not the light reception amount of the pixel exceeds a predetermined value.
  • the driver 220 drives each pixel circuit to output pixel data.
  • the interface 210 reads pixel data from each of the pixel circuits.
  • the interface 210 supplies the image processing unit 120 with image data in which pixel data is arranged in a two-dimensional grid.
  • FIG. 3 is a block diagram illustrating a configuration example of the pixel array unit 230 according to the first embodiment.
  • pixel circuits 240 are arranged in a two-dimensional lattice pattern.
  • five horizontal signal lines are wired for each row along the row direction, and one vertical signal line is wired for each column along the column direction.
  • the pixel circuit 240 is connected to the driver 220 through four of the five horizontal signal lines, and is connected to the ramp signal generation unit 250 through the remaining one horizontal signal line.
  • the pixel circuit 240 is connected to the interface 210 and the counting unit 260 via a vertical signal line.
  • FIG. 4 is a circuit diagram illustrating a configuration example of the pixel circuit 240 and the counting unit 260 in the first embodiment.
  • the pixel circuit 240 includes a switch 241, a PD (Photo Diode) reset transistor 242, a photodiode 243, a transfer transistor 244, a comparator 245, and an FD reset transistor 246. Further, the pixel circuit 240 includes a determination flag holding unit 247 and a digital signal holding unit 248.
  • the counting unit 260 includes an up counter 261 and a determination flag generation unit 262 for each column of the pixel circuits 240. In the figure, the dotted line capacity indicates a floating diffusion layer. Further, as the PD reset transistor 242, the photodiode 243, the transfer transistor 244, and the FD reset transistor 246, for example, an N-type MOS (Metal Oxide Semiconductor) transistor is used.
  • N-type MOS Metal Oxide Semiconductor
  • the switch 241 selects one of the control signals OFG (Over Flow Gate) _L and OFG_S according to the value of the determination flag FLAG held in the determination flag holding unit 247.
  • the switch 241 is realized by an OR (logical sum) circuit or the like. The switch 241 supplies the selected signal to the gate of the PD reset transistor 242 as the control signal OFG.
  • control signals OFG_L and OFG_S are signals for controlling the PD reset transistor 242 functioning as an overflow gate, and are generated by the driver 220.
  • the pulse width of the control signal OFG_L is wider than that of the control signal OFG_S.
  • the switch 241 selects the control signal OFG_S with a wide pulse width, the exposure start timing can be delayed and the exposure period can be shortened as compared with the case where the control signal OFG_L is selected.
  • the switch 241 is an example of a selection unit described in the claims.
  • the PD reset transistor 242 discharges the charge of the photodiode 243 to the power source and initializes the photodiode 243.
  • the PD reset transistor 242 is inserted between the photodiode 243 and the power supply.
  • the photodiode 243 generates charges by photoelectrically converting incident light.
  • the transfer transistor 244 transfers the electric charge generated by the photodiode 243 to the floating diffusion layer in accordance with the transfer signal TRG from the driver 220.
  • This transfer signal TRG is a signal for instructing charge transfer.
  • the transferred charge is accumulated in the floating diffusion layer, and a voltage corresponding to the charge amount is input to the inverting input terminal ( ⁇ ) of the comparator 245.
  • the comparator 245 compares the input voltage FD, which is the voltage of the floating diffusion layer, with the reference voltage REF, which is the voltage of the ramp signal.
  • the ramp signal from the ramp signal generation unit 250 is input to the non-inverting input terminal (+) of the comparator 245.
  • the comparator 245 outputs the comparison result to the determination flag holding unit 247 and the digital signal holding unit 248 as a comparator output signal VCO.
  • a high level comparator output signal VCO is output.
  • a low level comparator output signal VCO is output.
  • the FD (Floating Diffusion) reset transistor 246 initializes the charge amount of the floating diffusion layer in accordance with the reset signal RST from the driver 220.
  • This reset signal RST is a signal for instructing initialization of the floating diffusion layer.
  • the FD reset transistor 246 is inserted between the inverting input terminal ( ⁇ ) and the output terminal of the comparator 245.
  • the up counter 261 increments the count value in synchronization with the clock signal CLK from the timing generator 270.
  • the frequency of the clock signal CLK is assumed to be higher than that of the vertical synchronization signal.
  • the up counter 261 supplies a count value CNT of N (N is an integer of 1 or more) bits to the determination flag generation unit 262 and the digital signal holding unit 248. Further, the up counter 261 initializes the count value CNT according to the reset signal rst from the timing generation unit 270. Note that a down counter may be provided instead of the up counter 261.
  • the determination flag generation unit 262 compares the count value CNT with a predetermined set value, and generates a signal indicating the comparison result as a latch input signal LIN. For example, a value of “0” is set in the latch input signal LIN when the count value CNT is equal to or less than the set value, and a value of “1” is set when the count value CNT is higher than the set value. Further, for example, a value when the floating diffusion layer is saturated is set as the set value.
  • the determination flag holding unit 247 holds the value of the latch input signal LIN as the determination flag FLAG when the comparator output signal VCO is inverted from the high level to the low level (that is, when the input voltage FD is higher than the reference voltage REF). Is.
  • the determination flag holding unit 247 is realized by a latch circuit, for example. When the comparator output signal VCO is at the high level, the determination flag holding unit 247 shifts to the through state and outputs the value of the latch input signal LIN as it is.
  • the determination flag holding unit 247 shifts to the hold state and holds the value of the latch input signal LIN at the time of inversion as the determination flag FLAG.
  • the determination flag holding unit 247 outputs the held determination flag FLAG to the switch 241 and the interface 210.
  • the digital signal holding unit 248 holds the count value CNT as the digital signal CODE when the comparator output signal VCO is inverted from the high level to the low level (that is, when the input voltage FD is higher than the reference voltage REF).
  • the value of the digital signal CODE indicates the exposure amount of the pixel circuit 240.
  • the digital signal holding unit 248 is realized by, for example, a latch circuit. When the comparator output signal VCO is at a high level, the digital signal holding unit 248 shifts to the through state and outputs the count value CNT as it is.
  • the digital signal holding unit 248 shifts to the hold state and holds the count value CNT at the time of inversion as the digital signal CODE.
  • the digital signal holding unit 248 outputs the held digital signal CODE to the interface 210.
  • the digital signal holding unit 248 is an example of a digital signal generation unit described in the claims.
  • data including the determination flag FLAG from the determination flag holding unit 247 and the digital signal CODE from the digital signal holding unit 248 is output to the interface 210 as pixel data of the pixel circuit 240.
  • the determination flag FLAG indicates a result of measuring whether or not the amount of light received by the pixel circuit 240 exceeds a predetermined value (saturation level or the like).
  • the determination flag generation unit 262 and the determination flag holding unit 247 are an example of a measurement unit described in the claims.
  • the determination flag FLAG held in a certain frame is read by the switch 241 in the next frame, and the exposure period is switched by the determination flag FLAG.
  • the exposure period In the first frame, since the determination flag FLAG remains at the initial value, the exposure period also remains at the initial value. However, in the second and subsequent frames, the long exposure and the short exposure are switched for each pixel circuit 240 according to the light reception amount determination result (FLAG) of the previous frame. If the determination flag FLAG is “0” (that is, the amount of received light is brighter than a predetermined value), the shorter exposure period is selected. On the other hand, when the determination flag FLAG is “1” (that is, the received light amount is dark below a predetermined value), the longer exposure period is selected.
  • the solid-state image sensor 200 can detect pixel data that has been exposed for a short time each time a certain imaging period elapses. Pixel data exposed for a long time can be generated.
  • the image processing unit 120 can generate image data with an expanded dynamic range for each imaging period by adjusting (amplifying or attenuating) the pixel value of the corresponding pixel data in accordance with the determination flag FLAG. it can.
  • an image having a predetermined dynamic range is referred to as a “normal image”
  • an image obtained by expanding the dynamic range to a value larger than the predetermined value is referred to as an “HDR (High Dynamic Range) image”.
  • the switch 241 switches to one of two exposure periods having different lengths, but may switch one of three or more different exposure periods.
  • M is an integer of 3 or more
  • the switch 241 switches M control signals having different pulse widths.
  • the determination flag generation unit 262 generates a switching signal that changes in value in M stages in accordance with the increase in the count value CNT, instead of the determination flag FLAG.
  • the determination flag holding unit 247 holds the switching signal and supplies it to the switch 241.
  • the solid-state imaging device 200 measures the amount of received light for each pixel and generates a determination flag
  • the region of the unit of measurement of the amount of received light is not limited to the pixel.
  • the solid-state imaging device 200 may measure the amount of received light for each region composed of a plurality of pixels.
  • FIG. 5 is a diagram illustrating an example of the operation of the determination flag holding unit 247 according to the first embodiment.
  • the determination flag holding unit 247 shifts to the hold state and holds the value of the latch input signal LIN as the determination flag FLAG.
  • the comparator output signal VCO is at the high level
  • the determination flag holding unit 247 shifts to the through state and outputs the latch input signal LIN as it is.
  • the operation of the digital signal holding unit 248 is the same as that of the determination flag holding unit 247 except that the number of bits to be held is different.
  • FIG. 6 is a diagram illustrating an example of the operation of the determination flag generation unit 262 according to the first embodiment.
  • the determination flag generation unit 262 sets “1” to the latch input signal LIN.
  • the determination flag generation unit 262 sets “0” to the latch input signal LIN.
  • FIG. 7 is a timing chart showing an example of the operation of the solid-state imaging device 200 according to the first embodiment. Assume that imaging of image data is started in synchronization with a vertical synchronization signal VSYNC of 60 hertz (Hz) at timing T1.
  • the determination flag FLAG remains the initial value (for example, “0”) in all pixels. For this reason, all the pixel circuits 240 perform exposure over an exposure period of the same length to generate pixel data. Each of the pixel circuits 240 determines whether the amount of received light exceeds a predetermined value and generates and holds a determination flag FLAG. Then, the image processing unit 120 generates a normal image.
  • each of the pixel circuits 240 selects an exposure period based on the previous determination flag FLAG, and performs exposure over the exposure period to generate pixel data.
  • Each pixel circuit 240 generates a determination flag FLAG. Then, the image processing unit 120 refers to the determination flag FLAG and generates an HDR image from two types of pixel data having different exposure periods.
  • timing T2 From the above-described timing T1 to timing T2, only the determination processing is executed among the determination processing of whether or not the amount of received light exceeds a predetermined value and the HDR image capturing processing. For this reason, this period is hereinafter referred to as a “determination period”. Further, after timing T2, both the determination process and the HDR image capturing process are performed for each imaging cycle. For this reason, this period is hereinafter referred to as an “imaging determination period”.
  • the imaging cycle is 1/60 seconds, it is not limited to this cycle.
  • the solid-state imaging device 200 may perform imaging every 1/30 seconds.
  • FIG. 8 is a timing chart showing an example of the operation of the solid-state imaging device in the comparative example.
  • the amount of received light is not measured for each pixel, and imaging is performed with the same exposure period length for all pixels.
  • all the pixel circuits in the solid-state image sensor generate pixel data by a short exposure.
  • all the pixel circuits generate pixel data by long-time exposure.
  • the subsequent image processing unit combines the short-exposure image data and the long-exposure image data to generate an HDR image.
  • HDR image synthesis is executed every 1/30 seconds.
  • the frame rate is reduced as compared with a case where combining is not performed. For example, when a normal image is captured at a frame rate of 60 hertz (Hz) and an HDR image is generated by combining two normal images, the frame rate of the HDR image is reduced to 30 hertz (Hz).
  • the solid-state imaging device 200 measures the amount of received light for each pixel circuit 240 and switches the exposure period. Therefore, the HDR is generated every period (imaging period) of the vertical synchronization signal VSYNC. An image can be generated. For example, when the frequency of the vertical synchronization signal VSYNC is the same as that in the comparative example, the solid-state imaging device 200 can capture an HDR image at a frame rate of 60 hertz (Hz). Therefore, it is possible to suppress a decrease in frame rate when capturing an HDR image.
  • Hz hertz
  • FIG. 9 is a timing chart showing an example of the operation within the determination period of the solid-state imaging device 200 according to the first embodiment.
  • the control signals OFG_L and OFG_S are controlled to a high level over different pulse periods. If the initial value of the determination flag FLAG is, for example, low level, the switch 241 selects the control signal OFG_L based on the value and outputs it as OFG. Thereby, long exposure of the exposure period t_LE is started.
  • the reset signal RST is supplied, and the voltage (FD) of the floating diffusion layer is initialized to an initial value (for example, approximately the same as the reference voltage REF).
  • the voltage FD fluctuates due to feedthrough or charge injection. This fluctuation component is counted as a reset level after timing t3.
  • the reference voltage REF of the ramp signal gradually decreases from timing t3 to t5.
  • the timing generation unit 270 initializes the up counter 261 and starts counting.
  • the comparator output signal VCO is inverted and becomes low level.
  • the digital signal holding unit 248 holds the count value CNT at the timing t4 as a reset level signal. This reset level is output to the interface 210.
  • the timing generator 270 stops the clock signal CLK to the up counter 261 and stops counting.
  • the transfer signal TRG When the transfer signal TRG is supplied at timing t6, the charge of the photodiode 243 is completely transferred to the floating diffusion layer, and the voltage (FD) is decreased. Thereby, long-time exposure is completed.
  • the reference voltage REF of the ramp signal gradually decreases after timing t7.
  • the timing generation unit 270 initializes the up counter 261 and starts counting.
  • the determination flag generation unit 262 sets the latch input signal LIN to the high level.
  • the comparator output signal VCO is inverted and becomes low level.
  • the determination flag holding unit 247 holds the high level latch input signal LIN as the determination flag FLAG.
  • the digital signal holding unit 248 holds the count value CNT at the timing t9 as a signal level. This signal level is output to the interface 210.
  • the high-level determination flag FLAG is held. This high level determination flag FLAG indicates that the amount of received light exceeds a predetermined value Th (saturation level or the like).
  • the comparator output signal VCO is not inverted even at the timing t10 when the fluctuation of the ramp signal stops.
  • the driver 220 forcibly inverts the comparator output signal VCO and causes the determination flag holding unit 247 to hold the determination flag FLAG.
  • FIG. 10 is a timing chart showing an example of the operation within the imaging determination period of the solid-state imaging device 200 according to the first embodiment.
  • the control signals OFG_L and OFG_S are controlled to a high level over different pulse periods. Since the determination flag FLAG held last time was at a high level (that is, the amount of received light exceeded a predetermined value), the switch 241 selects the control signal OFG_S and outputs it as OFG. Thereby, short-time exposure of the exposure period t_SE is started.
  • the reset level is AD (Analog-to-Digital) converted from timing t12 to timing t15, and the signal level is AD-converted from timing t15 to timing t20.
  • the determination flag holding unit 247 holds the low-level latch input signal LIN as the determination flag FLAG.
  • the determination flag generation unit 262 sets the latch input signal LIN to the high level.
  • the low-level determination flag FLAG is held. This low level determination flag FLAG indicates that the amount of received light is equal to or less than a predetermined value Th.
  • FIG. 11 is a block diagram illustrating a configuration example of the image processing unit 120 according to the first embodiment.
  • the image processing unit 120 includes a correlated double sampling circuit 121, a switch 122, a multiplier 123, and a post-processing unit 124.
  • the correlated double sampling circuit 121 performs CDS (Correlated Double Sampling) processing for obtaining a difference between the reset level and the signal level in the digital signal CODE.
  • CDS Correlated Double Sampling
  • the CDS process can reduce reset noise, transistor threshold variation, and the like.
  • the correlated double sampling circuit 121 supplies the pixel value after the CDS processing to the switch 122.
  • the switch 122 selects either the multiplier 123 or the post-processing unit 124 as an output destination according to the determination flag FLAG, and outputs the pixel value from the correlated double sampling circuit 121.
  • the determination flag FLAG is at a high level (that is, the amount of received light exceeds a predetermined value)
  • the switch 122 outputs a pixel value to the multiplier 123.
  • the switch 122 outputs the pixel value to the subsequent processing unit 124.
  • the multiplier 123 multiplies the pixel value from the switch 122 by t_LE / t_SE which is an exposure ratio between long exposure and short exposure.
  • the multiplier 123 supplies the pixel value after multiplication to the post-processing unit 124.
  • the post-processing unit 124 performs various image processing such as demosaic processing and white balance processing and supplies the processed image to the recording unit 140.
  • the multiplier 123 amplifies the pixel value of a bright pixel whose received light amount exceeds a predetermined value.
  • the pixel value of a dark pixel whose received light amount is less than a predetermined value is not amplified. For this reason, the dynamic range of the image data is expanded at the same magnification as the exposure ratio, and an HDR image is obtained.
  • the image processing unit 120 performs an adjustment process that amplifies only the pixel value of a bright pixel. However, if the dynamic range is expanded, an adjustment process other than this process may be performed. For example, the image processing unit 120 may attenuate only the pixel value of the dark pixel without amplifying the pixel value of the bright pixel. Further, the image processing unit 120 may perform both the amplification of the pixel value of the bright pixel and the attenuation of the pixel value of the dark pixel.
  • FIG. 12 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the first embodiment. This operation is started, for example, when an operation (such as pressing a shutter button) for starting capturing an HDR image is performed.
  • an operation such as pressing a shutter button
  • the solid-state imaging device 200 executes an imaging process (S910) for imaging image data.
  • an imaging process S910
  • a normal image is captured.
  • the solid-state imaging device 200 executes the imaging process (step S910) again, and the image processing unit 120 executes an HDR image generation process (step S920) for generating an HDR image.
  • the imaging apparatus 100 determines whether or not to end imaging in accordance with an operation for stopping imaging (step S930).
  • step S930: No If the imaging is not finished (step S930: No), the imaging apparatus 100 repeats step S910 again. On the other hand, when imaging is to be ended (step S930: Yes), the imaging apparatus 100 ends the operation for imaging.
  • FIG. 13 is a flowchart illustrating an example of an imaging process according to the first embodiment.
  • the pixel circuit 240 in the solid-state imaging device 200 determines whether or not the determination flag FLAG is at a low level (that is, the previous received light amount is equal to or less than a predetermined value Th) (step S911).
  • the determination flag FLAG is at a low level (step S911: Yes)
  • the pixel circuit 240 performs exposure for a long period of t_LE (step S912).
  • the determination flag FLAG is at a high level (step S911: No)
  • the pixel circuit 240 performs exposure for a short time of t_SE (step S913).
  • the pixel circuit 240 determines whether or not the current received light amount is equal to or less than the predetermined value Th (step S914).
  • the pixel circuit 240 sets the determination flag to a low level and holds it (step S915).
  • the pixel circuit 240 sets the determination flag to a high level and holds it (step S916).
  • the pixel circuit 240 generates and outputs pixel data (step S917).
  • FIG. 14 is a flowchart illustrating an example of the HDR image generation process according to the first embodiment.
  • the image processing unit 120 performs correlated double sampling processing on the input pixel data (step S921). Then, the image processing unit 120 determines whether or not the determination flag FLAG of the pixel data is at a high level (that is, the amount of received light exceeds a predetermined value Th) (step S922).
  • step S922: Yes the image processing unit 120 multiplies the pixel value by the exposure ratio (t_LE / t_SE) (step S923).
  • step S923 the image processing unit 120 determines whether or not the processing of all the pixels is completed.
  • step S924: No the image processing unit 120 repeatedly executes step S921 and the subsequent steps.
  • step S924: Yes the image processing unit 120 ends the HDR image generation process.
  • each of the pixel circuits 240 measures the amount of received light, performs exposure over an exposure period selected based on the measurement result, and generates pixel data. Therefore, an HDR image can be generated from one piece of image data. Thereby, the frame rate of the HDR image can be improved as compared with the case where a plurality of image data are combined.
  • the solid-state imaging device 200 AD-converts the reset level and the signal level in order by the up counter 261.
  • the image processing unit 120 when reset noise or the like is reduced, it is necessary for the image processing unit 120 to acquire the AD conversion values of the reset level and the signal level and execute the CDS process, and the processing burden on the image processing unit 120 is reduced. Will increase.
  • the solid-state imaging device 200 of the second embodiment is different from the first embodiment in that the processing amount of the image processing unit 120 is reduced.
  • FIG. 15 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the second embodiment.
  • the solid-state imaging device 200 according to the second embodiment is different from the first embodiment in that the counting unit 260 is not provided.
  • FIG. 16 is a circuit diagram illustrating a configuration example of the pixel circuit 240 according to the second embodiment.
  • the pixel circuit 240 according to the second embodiment is different from the first embodiment in that a determination flag generation unit 301 and an up / down counter 302 are provided instead of the digital signal holding unit 248.
  • the up / down counter 302 increments or decrements the count value in synchronization with the clock signal CLK.
  • the up / down counter 302 initializes the count value in accordance with the reset signal rst from the timing generation unit 270.
  • the up / down counter 302 switches between the increment operation and the decrement operation according to the control signal UD from the timing generation unit 270.
  • the up / down counter 302 stops counting when the comparator output signal VCO is inverted in each of the increment operation and the decrement operation. Subsequently, after completion of the increment operation, the up / down counter 302 supplies the count value CNT to the determination flag generation unit 301 and the interface 210.
  • the determination flag generation unit 301 compares the count value CNT with the set value, and generates a signal indicating the comparison result as the latch input signal LIN.
  • the determination flag generation unit 301 supplies the latch input signal LIN to the determination flag holding unit 247.
  • FIG. 17 is a timing chart showing an example of the operation within the determination period of the solid-state imaging device according to the second embodiment. Since the initial value of the determination flag FLAG is at a low level, the control signal OFG_L is selected at the timing T1, and long exposure is started. When the reference voltage REF starts to decrease at timing t3, the up / down counter 302 initializes the count value and starts decrementing the count value. When the comparator output signal VCO is inverted at timing t4, the up / down counter 302 stops counting.
  • the up / down counter 302 starts incrementing the count value CNT with the value at the end of the decrement as an initial value.
  • the comparator output signal VCO is inverted at timing t9
  • the up / down counter 302 stops counting.
  • the count value CNT at this time indicates the difference between the reset level and the signal level. That is, the CDS process is executed by the up / down counter 302. Since the incremented count value CNT is larger than the set value (that is, the exposure amount exceeds the predetermined value Th), the high-level determination flag FLAG is generated at timing t9.
  • up / down counter 302 increments after decrementing, but conversely may decrement after incrementing.
  • FIG. 18 is a timing chart showing an example of the operation within the imaging determination period of the solid-state imaging device according to the second embodiment. Since the previous determination flag FLAG is at the high level, the control signal OFG_S is selected at the timing T2, and short-time exposure is started. Since the incremented count value CNT is equal to or less than the set value (that is, the exposure amount is equal to or less than the predetermined value Th), the low-level determination flag FLAG is generated at timing t18.
  • FIG. 19 is a block diagram illustrating a configuration example of the image processing unit 120 according to the second embodiment.
  • the image processing unit 120 of the second embodiment is the same as that of the first embodiment except that the correlated double sampling circuit 121 is not provided. As described above, since the CDS process is executed by the up / down counter 302, the correlated double sampling circuit 121 becomes unnecessary.
  • the up / down counter 302 in the pixel circuit 240 performs the CDS process, it is not necessary for the subsequent image processing unit 120 to perform the CDS process. Thereby, the processing amount of the image processing unit 120 can be reduced.
  • the solid-state imaging device 200 measures the amount of received light for each pixel.
  • the unit for measuring the amount of received light is not limited to one pixel, and the light is received for each region composed of a plurality of pixels. The amount may be measured.
  • the solid-state imaging device 200 according to the third embodiment is different from the second embodiment in that the amount of received light is measured for each light receiving region composed of a plurality of pixels.
  • FIG. 20 is a block diagram illustrating a configuration example of the pixel array unit 230 according to the third embodiment.
  • the pixel array unit 230 of the third embodiment differs from the first embodiment in that it is divided by a plurality of light receiving regions 350.
  • pixel circuits 360, 380, and 390 arranged in the column direction are provided.
  • the number of pixels in each of the light receiving regions 350 is three, the number of pixels is not limited to three as long as it is two or more.
  • FIG. 21 is a circuit diagram showing a configuration example of the pixel circuits 360 and 380 in the third embodiment.
  • the pixel circuit 360 includes a switch 361, a PD reset transistor 362, a photodiode 363, a transfer transistor 364, a comparator 365, and an FD reset transistor 366.
  • the pixel circuit 360 includes a determination flag holding unit 367, a determination flag generation unit 368, an adder 369, and an up / down counter 370.
  • the configuration of the pixel circuit 360 is the same as that of the pixel circuit 240 of the second embodiment illustrated in FIG. 16 except that an adder 369 is further provided.
  • the pixel circuit 380 includes a switch 381, a PD reset transistor 382, a photodiode 383, a transfer transistor 384, a comparator 385, and an FD reset transistor 386.
  • the pixel circuit 380 includes an adder 388 and an up / down counter 389.
  • the configuration of the pixel circuit 380 is the same as that of the pixel circuit 240 of the second embodiment illustrated in FIG. 16 except that an adder 388 is provided instead of the determination flag generation unit 301 and the determination flag holding unit 247. .
  • the configuration of the pixel circuit 390 is the same as that of the pixel circuit 380.
  • the up / down counter 389 supplies the count value CNT to the adder 388 and the interface 210.
  • the adder 388 adds the count value CNT of the pixel circuit 380 and the count value CNT of the pixel circuit 390.
  • the adder 388 supplies the addition result to the pixel circuit 360.
  • the adder 369 adds the addition result from the pixel circuit 380 to the count value CNT of the pixel circuit 360.
  • the adder 369 supplies the addition result to the determination flag generation unit 368.
  • This addition result is an integrated value of the count values CNT of the pixel circuits 360, 380, and 390, and indicates the amount of light received in the light receiving region 350.
  • the determination flag generation unit 368 generates a latch input signal LIN indicating whether or not the amount of light received in the light receiving region 350 exceeds a predetermined value, and supplies the latch input signal LIN to the determination flag holding unit 367.
  • the determination flag holding unit 367 holds the latch input signal LIN as the determination flag FLAG when the comparator output signal VCO is inverted, and supplies the held value to the switch 361 and the pixel circuits 380 and 390.
  • the amount of light received is measured for each light receiving region 350, and each of the pixels in the light receiving region 350 can select the exposure period based on the measurement result (determination flag FLAG).
  • the amount of received light is measured for each light receiving region 350 including a plurality of pixels, and exposure is performed over an exposure period selected based on the measurement result. Therefore, an HDR image can be generated from one piece of image data.
  • each circuit in the solid-state imaging device 200 is arranged on one semiconductor substrate. However, if the area of the semiconductor substrate is constant, the pixels are finer as the number of pixels increases. Need to be made. This miniaturization reduces the area of each photodiode of the pixel, making it difficult to maintain pixel characteristics such as sensitivity.
  • the solid-state imaging device 200 of the fourth embodiment differs from the first embodiment in that the area of the photodiode is increased.
  • FIG. 22 is a perspective view illustrating a configuration example of the solid-state imaging device 200 according to the fourth embodiment.
  • the solid-state imaging device 200 according to the fourth embodiment includes a lower semiconductor substrate 202 and an upper semiconductor substrate 201 stacked on the substrate.
  • FIG. 23 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the fourth embodiment.
  • a plurality of latch circuits 410 are arranged in a two-dimensional lattice
  • a plurality of pixel circuits 240 are arranged in a two-dimensional lattice.
  • the interface 210, the driver 220, the ramp signal generation unit 250, the counting unit 260, and the timing generation unit 270 in the solid-state imaging device 200 are disposed on the lower semiconductor substrate 202.
  • the configuration of the pixel circuit 240 of the fourth embodiment is the same as that of the first embodiment except that the switch 241, the determination flag holding unit 247, and the digital signal holding unit 248 are not provided. These switch 241, determination flag holding unit 247 and digital signal holding unit 248 are provided in the latch circuit 410.
  • the circuit in the solid-state image sensor 200 is distributed and arranged on two stacked semiconductor substrates, it may be distributed on three or more semiconductor substrates.
  • the switch 241, the determination flag holding unit 247, and the digital signal holding unit 248 in the solid-state imaging device 200 are arranged on one substrate and the rest are arranged on the other substrate, but the configuration is not limited thereto.
  • the switch 241 may be disposed on the substrate on the pixel circuit 240 side.
  • the area of the photodiode 243 is smaller than that in the case of not stacking. Can be bigger. Thereby, it is possible to suppress a decrease in pixel characteristics (sensitivity, etc.) due to miniaturization.
  • the solid-state imaging device 200 performs exposure by selecting an exposure period according to the measurement result (determination flag FLAG) of the amount of received light measured in the previous frame at the time of imaging each frame. Had gone.
  • the measurement result determination flag FLAG
  • an appropriate exposure period may not be selected, and image quality may deteriorate.
  • image quality may deteriorate.
  • the solid-state imaging device 200 of the fifth embodiment is different from the second embodiment in that the image quality is improved by selecting an appropriate exposure period.
  • FIG. 24 is a circuit diagram illustrating a configuration example of the pixel circuit 240 according to the fifth embodiment.
  • the pixel circuit 240 according to the fifth embodiment is different from the second embodiment in that a transfer transistor 420 is provided instead of the transfer transistor 244.
  • the transfer transistor 420 is different from the transfer transistor 244 of the second embodiment in that the channel potential can be controlled in three stages.
  • the driver 220 supplies the low level transfer signal TRG
  • the potential of the transfer transistor 420 becomes the highest potential.
  • the driver 220 supplies the high level transfer signal TRG
  • the potential of the transfer transistor 420 becomes the lowest low potential.
  • the driver 220 supplies the middle level transfer signal TRG
  • the potential of the transfer transistor 420 becomes an intermediate potential between a high potential and a low potential.
  • intermediate potential transfer At the intermediate potential, all charges in the photodiode 243 are not transferred, and the supernatant signal exceeding the intermediate potential is transferred to the floating diffusion layer. This charge transfer at the intermediate potential is hereinafter referred to as “intermediate potential transfer”. Further, at a low potential, all charges in the photodiode 243 are transferred to the floating diffusion layer. This transfer at the low potential is hereinafter referred to as “complete transfer”.
  • FIG. 25 is an example of a potential diagram up to the intermediate potential transfer of the pixel circuit 240 in the fifth embodiment.
  • a indicates a potential diagram of the pixel circuit 240 immediately before the intermediate potential transfer.
  • the potential of the transfer transistor 420 is sufficiently high, the charge of the photodiode 243 is not transferred to the floating diffusion layer.
  • FIG. 25 shows a potential diagram at the time of intermediate potential transfer of the pixel circuit 240 having a larger received light amount than c in FIG.
  • C in FIG. 25 shows a potential diagram at the time of intermediate potential transfer of the pixel circuit 240 having a smaller amount of received light than b in FIG.
  • the charge amount of the photodiode 243 is small and there is almost no supernatant signal.
  • the pixel circuit 240 determines the determination flag from the voltage FD of the floating diffusion layer at this time. FLAG can be generated.
  • FIG. 26 is an example of a potential diagram at the time of complete transfer of the pixel circuit 240 in the fifth embodiment.
  • the driver 220 supplies the high-level transfer signal TRG, the potential of the transfer transistor 420 becomes low. Then, all the charges in the photodiode 243 are transferred to the floating diffusion layer.
  • FIG. 27 is a timing chart illustrating an example of the operation of the imaging apparatus 100 according to the fifth embodiment.
  • the pixel circuit 240 When the first timing T1 has elapsed, the pixel circuit 240 generates a determination flag FLAG at the time of intermediate potential transfer. Then, the pixel circuit 240 selects an exposure period according to the determination flag and performs exposure over the exposure period to generate pixel data. Then, the image processing unit 120 refers to the determination flag FLAG and generates an HDR image from two types of pixel data having different exposure periods.
  • the pixel circuit 240 similarly generates a determination flag FLAG within the imaging cycle to select an exposure period, and the image processing unit 120 generates an HDR image.
  • FIG. 28 is a timing chart showing an example of the operation up to the intermediate potential transfer of the pixel circuit 240 with a large amount of received light in the fifth embodiment.
  • the control signals OFG_L and OFG_S are controlled to a high level over the same pulse period.
  • the reset level is counted from timing t12 to timing t15.
  • the transfer signal TRG at the middle level L1 is supplied, and the transfer transistor 420 performs intermediate potential transfer.
  • a count value CNT indicating the difference between the reset level and the signal level is counted between timing t17 and timing t19. Since the count value CNT exceeds the set value (that is, the amount of received light exceeds the predetermined value Th), the high-level determination flag FLAG is generated.
  • FIG. 29 is a timing chart showing an example of the operation until the complete transfer of the pixel circuit 240 with a large amount of received light in the fifth embodiment.
  • the control signal OFG_S is controlled to a high level over a predetermined pulse period.
  • the control signal OFG_L remains at a low level.
  • the switch 241 selects the control signal OFG_S and outputs it as OFG. Thereby, short-time exposure of the exposure period t_SE is started.
  • the reset level is counted from timing t24 to timing t27.
  • the transfer signal TRG at the high level L2 is supplied, and the transfer transistor 420 performs complete transfer. Thereby, short-time exposure is completed.
  • a count value CNT indicating the difference between the reset level and the signal level is counted between timing t29 and timing t30.
  • the count value CNT indicates a pixel value of a pixel that has been exposed for a short time.
  • FIG. 30 is a timing chart showing an example of the operation up to the intermediate potential transfer of the pixel circuit 240 with a small amount of received light in the fifth embodiment.
  • the switch 241 outputs a control signal OFG having a constant pulse width regardless of the value of the determination flag FLAG. In response to this control signal OFG, exposure of the pixel circuit 240 is started.
  • the transfer transistor 420 performs intermediate potential transfer.
  • a count value CNT indicating the difference between the reset level and the signal level is counted between timing t29 and timing t30. Since the count value CNT is equal to or less than the set value (that is, the amount of received light is equal to or less than the predetermined value Th), the low level determination flag FLAG is generated.
  • FIG. 31 is a timing chart showing an example of the operation until the complete transfer of the pixel circuit 240 with a small amount of received light in the fifth embodiment.
  • the switch 241 selects the control signal OFG_L and outputs it as OFG according to the low level determination flag FLAG. Thereby, the accumulation of charges is continued without resetting the upper signal at the time of intermediate potential transfer, and exposure is performed for a long time of the exposure period t_LE.
  • the transfer signal TRG at the high level L2 is supplied, and the transfer transistor 420 performs complete transfer. Thereby, long-time exposure is completed.
  • the pixel circuit 240 measures the amount of received light within the imaging cycle, and selects the exposure period based on the measurement result, so that it is compared with the previous imaging cycle. Even when the amount of received light changes greatly, exposure can be performed with an appropriate exposure period after the change. Thereby, the image quality of image data can be improved.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a measurement unit that measures the amount of light received in each of the plurality of regions and generates a measurement result;
  • a selection unit that selects one of a plurality of different exposure periods based on the measurement result in each of the plurality of regions;
  • a digital signal generation unit that generates a digital signal by performing exposure over the selected exposure period in each of the plurality of regions;
  • An imaging apparatus comprising: an image processing unit that adjusts the value of the generated digital signal for each of the plurality of regions based on the measurement result.
  • each of the plurality of regions includes one pixel.
  • each of the plurality of regions includes a plurality of pixels.
  • the measurement unit determines whether or not the amount of received light is higher than a predetermined value, and generates and holds a determination flag indicating the determination result as the measurement result, any of (1) to (3)
  • An imaging apparatus according to claim 1.
  • a counting unit that counts a count value in synchronization with a predetermined clock signal; A photodiode for generating a charge corresponding to the amount of received light; A comparator that compares a predetermined ramp signal with a voltage corresponding to the amount of charge and outputs the comparison result as a comparator output signal;
  • the digital signal generation unit holds the count value as the digital signal when the comparator output signal is inverted,
  • the measuring unit is A determination flag generator that compares the count value with a predetermined set value corresponding to the predetermined value and outputs the comparison result as a latch input signal;
  • the imaging apparatus according to (4), further including a determination flag holding unit that holds a value of the latch input signal as the determination flag when the comparator output signal is inverted.
  • the imaging device wherein the counting unit performs one of the increment processing and the decrement processing of the count value and then performs the other.
  • the image processing unit amplifies the digital signal in a region where the received light amount is higher than the predetermined value in the plurality of regions, and the received light amount does not exceed the predetermined value in the plurality of regions.
  • the imaging apparatus according to (5), wherein at least one of processing for attenuating the digital signal in a region is executed.
  • the measurement unit holds the measurement result every time a predetermined imaging period elapses, In any one of (1) to (7), the selection unit selects any of the plurality of exposure periods based on a measurement result held before the imaging cycle in each of the predetermined imaging cycles.
  • the imaging device described. The selection unit selects any one of the plurality of exposure periods based on the measurement result generated in the imaging cycle in each of the predetermined imaging cycles.
  • the imaging device according to any one of the above. 10
  • the measurement unit, the selection unit, and the digital signal generation unit are provided in a solid-state imaging device, The imaging device according to any one of (1) to (9), wherein circuits in the solid-state imaging device are distributed and arranged on a plurality of stacked semiconductor substrates.
  • a measurement unit that measures the amount of light received in each of the plurality of regions and generates a measurement result
  • a selection unit that selects one of a plurality of different exposure periods based on the measurement result in each of the plurality of regions
  • a solid-state imaging device comprising: a digital signal generation unit configured to generate a digital signal indicating exposure amount by performing exposure in each of the plurality of regions for the selected exposure period.
  • a measurement procedure for generating a measurement result by measuring the amount of light received in each of the plurality of regions; A selection procedure for selecting one of a plurality of different exposure periods based on the measurement result in each of the plurality of regions; A digital signal generating procedure for generating a digital signal indicating an exposure amount by performing exposure over the selected exposure period in each of the plurality of regions; An image processing procedure for adjusting a value of the generated digital signal for each of the plurality of regions based on the measurement result.
  • Imaging device 110 Imaging lens 120 Image processing part 121 Correlated double sampling circuit 122, 241, 361, 381 Switch 123 Multiplier 124 Subsequent processing part 130 Imaging control part 140 Recording part 200 Solid-state image sensor 201 Upper semiconductor substrate 202 Lower semiconductor Substrate 210 Interface 220 Driver 230 Pixel array unit 240, 360, 380, 390 Pixel circuit 242, 362, 382 PD reset transistor 243, 363, 383 Photodiode 244, 364, 384, 420 Transfer transistor 245, 365, 385 Comparator 246, 366, 386 FD reset transistor 247, 367 Judgment flag holding unit 248 Digital signal holding unit 250 Ramp signal generating unit 260 Counting unit 261 Updater Pointer 262,301,368 determination flag generating unit 270 timing generator 302,370,389 up-down counter 350 receiving regions 369,388 adder 410 latch circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制する。　測定部は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する。選択部は、複数の領域のそれぞれにおいて測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する。画像データ生成部は、複数の領域のそれぞれにおいて選択された露光期間に亘って露光して画素データを生成する。画像処理部は、複数の領域のそれぞれについて生成された画素データの値を測定結果に基づいて調整する。

Description

撮像装置、固体撮像素子、および、撮像装置の制御方法
　本技術は、撮像装置、固体撮像素子、および、撮像装置の制御方法に関する。詳しくは、ダイナミックレンジを拡大した画像データを生成する撮像装置、固体撮像素子、および、撮像装置の制御方法に関する。
　従来より、撮像装置では、画像データを撮像するために固体撮像素子が用いられている。この固体撮像素子が一度の露光で光電変換することのできる光量の最大値と最小値との比であるダイナミックレンジは、一般に自然光の光量の最大値と最小値の比に比べて狭い。このようにダイナミックレンジが狭いと、露光オーバーや露光アンダーが生じ、画像データに白飛びや黒つぶれが現れて画質が低下することがある。このような画質の低下を抑制するため、異なる露光期間により複数回の露光を行って複数の画像データを生成し、それらを合成して、合成前よりも広いダイナミックレンジの画像データを生成する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００９－８８９２７号公報
　上述の従来技術では、ダイナミックレンジを拡大したため、露光オーバーや露光アンダーによる画質の低下を抑制することができる。しかしながら、この構成では、合成のたびに露光期間の異なる複数の画像データ（フレーム）を撮像しなければならないため、合成しない場合と比較して、合成したフレームのフレームレートが低下してしまうという問題がある。例えば、６０ヘルツ（Ｈｚ）のフレームレートでフレームを撮像し、２枚のフレームを合成して、ダイナミックレンジの広い合成フレームを生成する場合、合成フレームのフレームレートは３０ヘルツ（Ｈｚ）に低下する。
　本技術はこのような状況に鑑みて生み出されたものであり、ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、上記複数の領域のそれぞれにおいて上記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、上記複数の領域のそれぞれにおいて上記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、上記複数の領域のそれぞれについて上記生成されたデジタル信号の値を上記測定結果に基づいて調整する画像処理部とを具備する撮像装置、および、撮像装置の制御方法である。これにより、複数の領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択され、その測定結果に基づいてデジタル信号の値が調整されるという作用をもたらす。
　また、この第１の側面において、上記複数の領域のそれぞれは、１つの画素からなるものであってもよい。これにより、複数の画素のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
　また、この第１の側面において、上記複数の領域のそれぞれは、複数の画素からなるものであってもよい。これにより、複数の画素からなる領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
　また、この第１の側面において、上記測定部は、上記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを上記測定結果として生成して保持してもよい。これにより、受光量が所定値より高いか否かが判定されるという作用をもたらす。
　また、この第１の側面において、所定のクロック信号に同期して計数値を計数する計数部と、前記受光量に応じた電荷を生成するフォトダイオードと、所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータとをさらに具備し、前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、前記測定部は、前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部としてもよい。これにより、コンパレータ出力信号が反転した場合に計数値がデジタル信号として保持されるという作用をもたらす。
　また、この第１の側面において、上記計数部は、上記計数値の増分処理および減分処理の一方を行った後に他方を行ってもよい。これにより、計数値の増分および減分の一方の後に他方が行われるという作用をもたらす。
　また、この第１の側面において、上記画像処理部は、上記複数の領域のうち上記受光量が上記所定値より高い領域の上記デジタル信号を増幅する処理と上記複数の領域のうち上記受光量が上記所定値を超えない領域の上記デジタル信号を減衰する処理との少なくとも一方を実行してもよい。これにより、デジタル信号が増幅または減衰されるという作用をもたらす。
　また、この第１の側面において、上記測定部は、所定の撮像周期が経過するたびに上記測定結果を保持し、上記選択部は、上記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて上記複数の露光期間のいずれかを選択してもよい。これにより、撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて露光期間が選択されるという作用をもたらす。
　また、この第１の側面において、上記選択部は、上記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された上記測定結果に基づいて上記複数の露光期間のいずれかを選択してもよい。これにより、撮像周期のそれぞれにおいて当該撮像周期内に生成された測定結果に基づいて露光期間が選択されるという作用をもたらす。
　また、この第１の側面において、上記測定部、上記選択部および上記デジタル信号生成部は固体撮像素子に設けられ、上記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置されてもよい。これにより、積層された複数の半導体基板に設けられた固体撮像素子内の回路によりデジタル信号が生成されるという作用をもたらす。
　また、本技術の第２の側面は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、上記複数の領域のそれぞれにおいて上記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、上記複数の領域のそれぞれにおいて上記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部とを具備する固体撮像素子である。これにより、複数の領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
　本技術によれば、ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路および計数部の一構成例を示す回路図である。 本技術の第１の実施の形態における判定フラグ保持部の動作の一例を示す図である。 本技術の第１の実施の形態における判定フラグ生成部の動作の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 比較例における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。 本技術の第１の実施の形態におけるＨＤＲ（High Dynamic Range）画像生成処理の一例を示すフローチャートである。 本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第２の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第２の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の第３の実施の形態における画素アレイ部の一構成例を示すブロック図である。 本技術の第３の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第４の実施の形態における固体撮像素子の一構成例を示す斜視図である。 本技術の第４の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第５の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第５の実施の形態における画素回路の中間電位転送までのポテンシャル図の一例である。 本技術の第５の実施の形態における画素回路の完全転送時のポテンシャル図の一例である。 本技術の第５の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における受光量が多い画素回路の中間電位転送までの動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における受光量が多い画素回路の完全転送までの動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における受光量が少ない画素回路の中間電位転送までの動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における受光量が少ない画素回路の完全転送までの動作の一例を示すタイミングチャートである。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（受光量に応じて画素毎に露光期間を選択する例）
　２．第２の実施の形態（受光量に応じて画素毎に露光期間を選択してアップダウンカウンタによりデジタル信号を生成する例）
　３．第３の実施の形態（受光量に応じて受光領域毎に露光期間を選択する例）
　４．第４の実施の形態（積層型の固体撮像素子において受光量に応じて画素毎に露光期間を選択する例）
　５．第５の実施の形態（撮像周期内で測定した受光量に応じて画素毎に露光期間を選択する例）
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像する装置であり、撮像レンズ１１０、固体撮像素子２００、画像処理部１２０、撮像制御部１３０および記録部１４０を備える。撮像装置１００としては、例えば、デジタルカメラ、撮像機能を持つスマートフォンや情報処理装置などが想定される。
　撮像レンズ１１０は、光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、撮像制御部１３０の制御に従って画像データを生成するものである。この固体撮像素子２００は、生成した画像データを画像処理部１２０に信号線２０９を介して供給する。
　画像処理部１２０は、撮像制御部１３０の制御に従って画像データに対して各種の画像処理を実行するものである。この画像処理は、画像データのダイナミックレンジを処理前よりも拡大するハイダイナミックレンジ合成処理を含む。画像処理部１２０は、画像処理後の画像データを記録部１４０に信号線１２９を介して供給する。記録部１４０は、画像データを記録するものである。
　撮像制御部１３０は、撮像装置１００全体を制御するものである。この撮像制御部１３０は、撮像タイミングを示す垂直同期信号などを信号線１３８を介して固体撮像素子２００に供給する。また、撮像制御部１３０は、画像処理を行うタイミングを示す信号を画像処理部１２０に信号線１３９を介して供給する。
　なお、撮像レンズ１１０、固体撮像素子２００、画像処理部１２０、撮像制御部１３０および記録部１４０を同一の装置に配置しているが、これらを複数の装置に分散して配置することもできる。例えば、撮像レンズ１１０をレンズユニットに配置し、固体撮像素子２００などを撮像装置１００に配置し、画像処理部１２０などを情報処理装置に配置してもよい。
　また、画像処理部１２０を固体撮像素子２００の外部に設けているが、この構成に限定されず、画像処理部１２０を固体撮像素子２００の内部に設けてもよい。
　［固体撮像素子の構成例］
　図２は、第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、インターフェース２１０、ドライバ２２０、画素アレイ部２３０、ランプ信号生成部２５０、計数部２６０およびタイミング生成部２７０を備える。固体撮像素子２００内の回路のそれぞれは、例えば、単一の半導体基板に設けられる。
　タイミング生成部２７０は、インターフェース２１０、ドライバ２２０、ランプ信号生成部２５０および計数部２６０のそれぞれについて、動作させるタイミングを指示するタイミング信号を生成するものである。タイミング生成部２７０は、生成したタイミング信号を、その信号に対応するブロックに供給する。
　計数部２６０は、所定のクロック信号に同期して計数値を計数するものである。ランプ信号生成部２５０は、のこぎり波状のランプ信号を生成するものである。このランプ信号生成部２５０は、生成したランプ信号を画素アレイ部２３０に供給する。
　画素アレイ部２３０には、二次元格子状に複数の画素回路が配列される。以下、所定の方向（水平方向など）に配列された画素回路の集合を「行」と称し、行に垂直な方向に配列された画素回路の集合を「列」と称する。これらの画素回路のそれぞれは、ランプ信号と計数部２６０の計数値とを用いて画素データを生成して出力する。ここで、画素データのそれぞれは、画素の露光量を示すデジタル信号と、画素の受光量が所定値を超えるか否かを示す判定フラグとを含む。
　ドライバ２２０は、画素回路のそれぞれを駆動して画素データを出力させるものである。インターフェース２１０は、画素回路のそれぞれから画素データを読み出すものである。このインターフェース２１０は、二次元格子状に画素データが配列された画像データを画像処理部１２０に供給する。
　［画素アレイ部の構成例］
　図３は、第１の実施の形態における画素アレイ部２３０の一構成例を示すブロック図である。この画素アレイ部２３０には、二次元格子状に画素回路２４０が配列される。また、画素アレイ部２３０には、行方向に沿って行ごとに５本の水平信号線が配線され、列方向に沿って列ごとに１本の垂直信号線が配線される。画素回路２４０は、５本のうち４本の水平信号線を介してドライバ２２０に接続され、残りの一本の水平信号線を介してランプ信号生成部２５０に接続される。また、画素回路２４０は、垂直信号線を介してインターフェース２１０および計数部２６０に接続される。
　［画素回路および計数部の構成例］
　図４は、第１の実施の形態における画素回路２４０および計数部２６０の一構成例を示す回路図である。この画素回路２４０は、スイッチ２４１、ＰＤ（Photo Diode）リセットトランジスタ２４２、フォトダイオード２４３、転送トランジスタ２４４、コンパレータ２４５およびＦＤリセットトランジスタ２４６を備える。また、画素回路２４０は、判定フラグ保持部２４７およびデジタル信号保持部２４８を備える。計数部２６０は、画素回路２４０の列ごとに、アップカウンタ２６１および判定フラグ生成部２６２を備える。同図において、点線の容量は、浮遊拡散層を示す。また、ＰＤリセットトランジスタ２４２、フォトダイオード２４３、転送トランジスタ２４４およびＦＤリセットトランジスタ２４６として、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタが用いられる。
　スイッチ２４１は、判定フラグ保持部２４７に保持された判定フラグＦＬＡＧの値に応じて、制御信号ＯＦＧ（Over Flow Gate）_ＬおよびＯＦＧ_Ｓの一方を選択するものである。このスイッチ２４１は、ＯＲ（論理和）回路などにより実現される。スイッチ２４１は、選択した信号を制御信号ＯＦＧとしてＰＤリセットトランジスタ２４２のゲートに供給する。
　ここで、制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓは、オーバーフローゲートとして機能するＰＤリセットトランジスタ２４２を制御する信号であり、ドライバ２２０により生成される。制御信号ＯＦＧ_Ｌのパルス幅は、制御信号ＯＦＧ_Ｓより広いものとする。パルス幅の広い制御信号ＯＦＧ_Ｓをスイッチ２４１が選択することにより、制御信号ＯＦＧ_Ｌを選択した場合よりも露光開始のタイミングを遅らせて露光期間を短くすることができる。なお、スイッチ２４１は、特許請求の範囲に記載の選択部の一例である。
　ＰＤリセットトランジスタ２４２は、フォトダイオード２４３の電荷を電源に排出して、フォトダイオード２４３を初期化するものである。このＰＤリセットトランジスタ２４２は、フォトダイオード２４３と電源との間に挿入される。フォトダイオード２４３は、入射光を光電変換して電荷を生成するものである。
　転送トランジスタ２４４は、ドライバ２２０からの転送信号ＴＲＧに従って、フォトダイオード２４３が生成した電荷を浮遊拡散層に転送するものである。この転送信号ＴＲＧは、電荷の転送を指示する信号である。転送された電荷は浮遊拡散層に蓄積され、その電荷量に応じた電圧が、コンパレータ２４５の反転入力端子（－）に入力される。
　コンパレータ２４５は、浮遊拡散層の電圧である入力電圧ＦＤと、ランプ信号の電圧である参照電圧ＲＥＦとを比較するものである。このコンパレータ２４５の非反転入力端子（＋）には、ランプ信号生成部２５０からのランプ信号が入力される。コンパレータ２４５は、比較結果をコンパレータ出力信号ＶＣＯとして判定フラグ保持部２４７およびデジタル信号保持部２４８に出力する。入力電圧ＦＤが参照電圧ＲＥＦ以下の場合には、ハイレベルのコンパレータ出力信号ＶＣＯが出力され、入力電圧ＦＤが参照電圧ＲＥＦより高い場合には、ローレベルのコンパレータ出力信号ＶＣＯが出力される。
　ＦＤ（Floating Diffusion）リセットトランジスタ２４６は、ドライバ２２０からのリセット信号ＲＳＴに従って浮遊拡散層の電荷量を初期化するものである。このリセット信号ＲＳＴは、浮遊拡散層の初期化を指示する信号である。ＦＤリセットトランジスタ２４６は、コンパレータ２４５の反転入力端子（－）と出力端子との間に挿入される。
　アップカウンタ２６１は、タイミング生成部２７０からのクロック信号ＣＬＫに同期して計数値を増分するものである。このクロック信号ＣＬＫの周波数は、垂直同期信号よりも高いものとする。アップカウンタ２６１は、Ｎ（Ｎは１以上の整数）ビットの計数値ＣＮＴを判定フラグ生成部２６２およびデジタル信号保持部２４８に供給する。また、アップカウンタ２６１は、タイミング生成部２７０からのリセット信号ｒｓｔに従って、計数値ＣＮＴを初期化する。なお、アップカウンタ２６１の代わりにダウンカウンタを設けてもよい。
　判定フラグ生成部２６２は、計数値ＣＮＴと所定の設定値とを比較して、その比較結果を示す信号をラッチ入力信号ＬＩＮとして生成するものである。このラッチ入力信号ＬＩＮには、例えば、計数値ＣＮＴが設定値以下の場合に「０」の値が設定され、計数値ＣＮＴが設定値より高い場合に「１」の値が設定される。また、設定値には、例えば、浮遊拡散層が飽和するときの値が設定される。
　判定フラグ保持部２４７は、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合に（すなわち、入力電圧ＦＤが参照電圧ＲＥＦより高い場合）にラッチ入力信号ＬＩＮの値を判定フラグＦＬＡＧとして保持するものである。この判定フラグ保持部２４７は、例えば、ラッチ回路により実現される。コンパレータ出力信号ＶＣＯがハイレベルの場合に判定フラグ保持部２４７は、スルー状態に移行して、ラッチ入力信号ＬＩＮの値をそのまま出力する。
　一方、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合に判定フラグ保持部２４７は、ホールド状態に移行して、反転時のラッチ入力信号ＬＩＮの値を判定フラグＦＬＡＧとして保持する。判定フラグ保持部２４７は、保持した判定フラグＦＬＡＧをスイッチ２４１およびインターフェース２１０に出力する。
　デジタル信号保持部２４８は、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合（すなわち、入力電圧ＦＤが参照電圧ＲＥＦより高い場合）に計数値ＣＮＴをデジタル信号ＣＯＤＥとして保持するものである。このデジタル信号ＣＯＤＥの値は、画素回路２４０の露光量を示す。
　また、デジタル信号保持部２４８は、例えば、ラッチ回路により実現される。コンパレータ出力信号ＶＣＯがハイレベルの場合にデジタル信号保持部２４８は、スルー状態に移行して、計数値ＣＮＴをそのまま出力する。
　一方、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合にデジタル信号保持部２４８は、ホールド状態に移行して、反転時の計数値ＣＮＴをデジタル信号ＣＯＤＥとして保持する。デジタル信号保持部２４８は、保持したデジタル信号ＣＯＤＥをインターフェース２１０に出力する。なお、デジタル信号保持部２４８は、特許請求の範囲に記載のデジタル信号生成部の一例である。
　また、判定フラグ保持部２４７からの判定フラグＦＬＡＧと、デジタル信号保持部２４８からのデジタル信号ＣＯＤＥとを含むデータは、画素回路２４０の画素データとしてインターフェース２１０に出力される。
　上述の構成により、受光量に応じた入力電圧ＦＤが浮遊拡散層の飽和レベルを超えていれば、判定フラグ生成部２６２からのハイレベルのラッチ入力信号ＬＩＮが判定フラグＦＬＡＧとして判定フラグ保持部２４７に保持される。すなわち、判定フラグＦＬＡＧは、画素回路２４０の受光量が所定値（飽和レベルなど）を超えたか否かを測定した結果を示す。なお、判定フラグ生成部２６２および判定フラグ保持部２４７は、特許請求の範囲に記載の測定部の一例である。
　そして、あるフレームで保持された判定フラグＦＬＡＧは次のフレームでスイッチ２４１により読み出され、その判定フラグＦＬＡＧにより露光期間が切り替えられる。最初のフレームにおいては、判定フラグＦＬＡＧが初期値のままであるため、露光期間も初期値のままである。しかし、２枚目以降のフレームにおいては、画素回路２４０ごとに、前のフレームの受光量の判定結果（ＦＬＡＧ）により、長時間の露光と短時間の露光とが切り替えられる。判定フラグＦＬＡＧが「０」である（すなわち、受光量が所定値を超えて明るい）場合には、短い方の露光期間が選択される。一方、判定フラグＦＬＡＧが「１」である（すなわち、受光量が所定値以下で暗い）場合には、長い方の露光期間が選択される。
　このように、受光量が所定値を超えるか否かを画素毎に判定して露光期間を切り替えることにより、固体撮像素子２００は、一定の撮像周期が経過するたびに短時間露光した画素データと長時間露光した画素データとを生成することができる。
　そして、画像処理部１２０は、この判定フラグＦＬＡＧに応じて、対応する画素データの画素値を調整（増幅や減衰）することにより、ダイナミックレンジを拡大した画像データを撮像周期毎に生成することができる。以下、ダイナミックレンジが所定値の画像を「通常画像」と称し、その所定値より大きな値にダイナミックレンジを拡大した画像を「ＨＤＲ（High Dynamic Range）画像」と称する。
　なお、スイッチ２４１は、長さの異なる２つの露光期間のいずれかに切り替えているが、互いに異なる３つ以上の露光期間のいずれかを切り替えてもよい。Ｍ（Ｍは３以上の整数）個の異なる露光期間を切り替える場合には、パルス幅の異なるＭ個の制御信号をスイッチ２４１が切り替える。また、判定フラグ生成部２６２は、計数値ＣＮＴの増大に応じてＭ段階に値の変わる切替信号を判定フラグＦＬＡＧの代わりに生成する。また、コンパレータ出力信号が反転した際に判定フラグ保持部２４７は、その切替信号を保持してスイッチ２４１に供給する。
　また、固体撮像素子２００は、画素ごとに受光量を測定して判定フラグを生成しているが、受光量の測定単位の領域は画素に限定されない。後述するように、固体撮像素子２００は、それぞれが複数の画素からなる領域ごとに、受光量を測定してもよい。
　図５は、第１の実施の形態における判定フラグ保持部２４７の動作の一例を示す図である。コンパレータ出力信号ＶＣＯがローレベルである（すなわち、入力電圧ＦＤが参照電圧ＲＥＦより高い）場合に判定フラグ保持部２４７は、ホールド状態に移行してラッチ入力信号ＬＩＮの値を判定フラグＦＬＡＧとして保持する。一方、コンパレータ出力信号ＶＣＯがハイレベルの場合に判定フラグ保持部２４７は、スルー状態に移行して、ラッチ入力信号ＬＩＮをそのまま出力する。なお、デジタル信号保持部２４８の動作は、保持するビット数が異なる点以外は、判定フラグ保持部２４７と同様である。
　図６は、第１の実施の形態における判定フラグ生成部２６２の動作の一例を示す図である。計数値ＣＮＴが設定値より高い（すなわち、受光量が飽和レベルより多い）場合に判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮに「１」を設定する。一方、計数値ＣＮＴが設定値以下の場合に判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮに「０」を設定する。
　図７は、第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ１において６０ヘルツ（Ｈｚ）の垂直同期信号ＶＳＹＮＣに同期して画像データの撮像が開始されたものとする。
　最初のタイミングＴ１では、全画素において判定フラグＦＬＡＧは初期値（例えば、「０」）のままである。このため、全ての画素回路２４０は、同一の長さの露光期間に亘って露光を行って画素データを生成する。また、画素回路２４０のそれぞれは、受光量が所定値を超えるか否かを判定して判定フラグＦＬＡＧを生成して保持する。そして、画像処理部１２０は、通常画像を生成する。
　タイミングＴ１から１／６０秒後のタイミングＴ２が経過すると、画素回路２４０のそれぞれは、前回の判定フラグＦＬＡＧにより露光期間を選択し、その露光期間に亘って露光して画素データを生成する。また、画素回路２４０のそれぞれは、判定フラグＦＬＡＧを生成する。そして、画像処理部１２０は、判定フラグＦＬＡＧを参照して、露光期間の異なる２種類の画素データからＨＤＲ画像を生成する。
　上述のタイミングＴ１からタイミングＴ２までは、受光量が所定値を超えるか否かの判定処理とＨＤＲ画像の撮像処理とのうち、判定処理のみが実行される。このため、この期間を以下、「判定期間」と称する。また、タイミングＴ２以降は、判定処理と、ＨＤＲ画像の撮像処理との両方が撮像周期ごとに行われる。このため、この期間を以下、「撮像判定期間」と称する。
　なお、撮像周期を１／６０秒としているが、この周期に限定されない。例えば、固体撮像素子２００は、１／３０秒ごとに撮像を行ってもよい。
　図８は、比較例における固体撮像素子の動作の一例を示すタイミングチャートである。この比較例の固体撮像素子は、画素ごとに受光量を測定せず、全画素の露光期間の長さを同一にして撮像を行うものとする。
　最初のタイミングＴ１では、固体撮像素子内の全ての画素回路は、短時間の露光により画素データを生成する。タイミングＴ１から１／６０秒が経過したタイミングＴ２において、全ての画素回路は、長時間の露光により画素データを生成する。また、後段の画像処理部は、短時間露光の画像データと長時間露光の画像データとを合成してＨＤＲ画像を生成する。タイミングＴ２から１／６０秒が経過したタイミングＴ３以降は、ＨＤＲ画像の合成が１／３０秒ごとに実行される。
　このように、比較例では、複数枚の画像データを合成してＨＤＲ画像（フレーム）を生成するため、合成しない場合と比較してフレームレートが低下してしまう。例えば、６０ヘルツ（Ｈｚ）のフレームレートで通常画像を撮像し、２枚の通常画像を合成してＨＤＲ画像を生成する場合、ＨＤＲ画像のフレームレートは３０ヘルツ（Ｈｚ）に低下する。
　これに対して、図８に例示したように、固体撮像素子２００は、画素回路２４０ごとに受光量を測定して露光期間を切り替えるため、垂直同期信号ＶＳＹＮＣのの周期（撮像周期）毎にＨＤＲ画像を生成することができる。例えば、垂直同期信号ＶＳＹＮＣの周波数が比較例と同一である場合、固体撮像素子２００は、６０ヘルツ（Ｈｚ）のフレームレートでＨＤＲ画像を撮像することができる。したがってＨＤＲ画像を撮像する際にフレームレートの低下を抑制することができる。
　図９は、第１の実施の形態における固体撮像素子２００の判定期間内の動作の一例を示すタイミングチャートである。まず、タイミングＴ１において制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓが、互いに異なるパルス期間に亘ってハイレベルに制御される。判定フラグＦＬＡＧの初期値を例えば、ローレベルとすると、スイッチ２４１は、その値に基づいて制御信号ＯＦＧ_Ｌの方を選択してＯＦＧとして出力する。これにより、露光期間ｔ_ＬＥの長時間露光が開始される。
　そして、タイミングｔ２においてリセット信号ＲＳＴが供給され、浮遊拡散層の電圧（ＦＤ）が初期値（例えば、参照電圧ＲＥＦと同程度）に初期化される。このリセット信号ＲＳＴが立ち下がると、フィードスルーやチャージインジェクションにより、電圧ＦＤが揺らぐ。この揺らぎの成分は、リセットレベルとしてタイミングｔ３以降に計数される。
　ランプ信号の参照電圧ＲＥＦは、タイミングｔ３からｔ５までに亘って徐々に低下する。また、タイミングｔ３において、タイミング生成部２７０は、アップカウンタ２６１を初期化して計数を開始させる。
　タイミングｔ４において入力電圧ＦＤが参照電圧ＲＥＦより高くなると、コンパレータ出力信号ＶＣＯが反転してローレベルになる。また、デジタル信号保持部２４８は、タイミングｔ４の計数値ＣＮＴを、リセットレベルの信号として保持する。このリセットレベルは、インターフェース２１０へ出力される。
　そして、長時間露光の終了直前のタイミングｔ５において、参照電圧ＲＥＦは上昇して入力電圧ＦＤ以上となり、コンパレータ出力信号ＶＣＯがハイレベルになる。また、タイミングｔ５において、タイミング生成部２７０は、アップカウンタ２６１へのクロック信号ＣＬＫを停止して計数を停止させる。
　タイミングｔ６において転送信号ＴＲＧが供給されると、浮遊拡散層にフォトダイオード２４３の電荷が完全転送されて、その電圧（ＦＤ）が低下する。これにより、長時間露光が終了する。ランプ信号の参照電圧ＲＥＦは、タイミングｔ７以降において徐々に低下する。また、タイミングｔ７において、タイミング生成部２７０は、アップカウンタ２６１を初期化して計数を開始させる。
　タイミングｔ８において、計数値ＣＮＴが設定値を超えたため、判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮをハイレベルにする。そして、タイミングｔ９において、入力電圧ＦＤが参照電圧ＲＥＦより高くなると、コンパレータ出力信号ＶＣＯが反転してローレベルになる。このコンパレータ出力信号ＶＣＯが反転したタイミングｔ９において、判定フラグ保持部２４７は、ハイレベルのラッチ入力信号ＬＩＮを判定フラグＦＬＡＧとして保持する。また、デジタル信号保持部２４８は、タイミングｔ９の計数値ＣＮＴを信号レベルとして保持する。この信号レベルはインターフェース２１０へ出力される。
　図９では計数値ＣＮＴが設定値を超えてから、コンパレータ出力信号ＶＣＯが反転したため、ハイレベルの判定フラグＦＬＡＧが保持される。このハイレベルの判定フラグＦＬＡＧは、受光量が所定値Ｔｈ（飽和レベルなど）を超えることを示す。
　なお、入力電圧ＦＤのレベルが、ランプ信号の変動分よりも大きい場合には、ランプ信号の変動が停止するタイミングｔ１０においても、コンパレータ出力信号ＶＣＯが反転しない。この際には、タイミングｔ１０において、ドライバ２２０がコンパレータ出力信号ＶＣＯを強制的に反転させ、判定フラグ保持部２４７に判定フラグＦＬＡＧを保持させる。
　図１０は、第１の実施の形態における固体撮像素子２００の撮像判定期間内の動作の一例を示すタイミングチャートである。タイミングＴ２において制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓが、互いに異なるパルス期間に亘ってハイレベルに制御される。前回に保持された判定フラグＦＬＡＧがハイレベルであった（すなわち、受光量が所定値を超えた）ため、スイッチ２４１は、制御信号ＯＦＧ_Ｓの方を選択してＯＦＧとして出力する。これにより、露光期間ｔ_ＳＥの短時間露光が開始される。
　そして、タイミングｔ１２からタイミングｔ１５までの間にリセットレベルがＡＤ（Analog to Digital）変換され、タイミングｔ１５からタイミングｔ２０までの間に信号レベルがＡＤ変換される。
　また、タイミングｔ１８において、入力電圧ＦＤが参照電圧ＲＥＦより高くなると、コンパレータ出力信号ＶＣＯが反転してローレベルになる。このコンパレータ出力信号ＶＣＯが反転したタイミングｔ１８において、判定フラグ保持部２４７は、ローレベルのラッチ入力信号ＬＩＮを判定フラグＦＬＡＧとして保持する。
　そして、その後のタイミングｔ１９において計数値ＣＮＴが設定値を超えたため、判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮをハイレベルにする。
　図１０では、計数値ＣＮＴが設定値を超える前にコンパレータ出力信号ＶＣＯが反転したため、ローレベルの判定フラグＦＬＡＧが保持される。このローレベルの判定フラグＦＬＡＧは、受光量が所定値Ｔｈ以下であることを示す。
　［画像処理部の構成例］
　図１１は、第１の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この画像処理部１２０は、相関二重サンプリング回路１２１、スイッチ１２２、乗算器１２３および後段処理部１２４を備える。
　相関二重サンプリング回路１２１は、デジタル信号ＣＯＤＥ内のリセットレベルと信号レベルとの差を求めるＣＤＳ（Correlated Double Sampling）処理を行うものである。ＣＤＳ処理により、リセットノイズやトランジスタの閾値ばらつきなどを低減することができる。この相関二重サンプリング回路１２１は、ＣＤＳ処理後の画素値をスイッチ１２２に供給する。
　スイッチ１２２は、判定フラグＦＬＡＧにより、乗算器１２３と後段処理部１２４とのいずれかを出力先として選択して、相関二重サンプリング回路１２１からの画素値を出力するものである。判定フラグＦＬＡＧがハイレベルである（すなわち、受光量が所定値を超える）場合には、スイッチ１２２は、乗算器１２３へ画素値を出力する。一方、判定フラグＦＬＡＧがローレベルである場合には、スイッチ１２２は、後段処理部１２４へ画素値を出力する。
　乗算器１２３は、スイッチ１２２からの画素値に対して、長時間露光と短時間露光との露光比であるｔ_ＬＥ／ｔ_ＳＥを乗算するものである。この乗算器１２３は、乗算後の画素値を後段処理部１２４に供給する。
　後段処理部１２４は、デモザイク処理やホワイトバランス処理などの様々な画像処理を実行して記録部１４０に供給するものである。
　乗算器１２３により、受光量が所定値を超える明るい画素の画素値が増幅される。一方、受光量が所定値未満の暗い画素の画素値は、増幅されない。このため、画像データのダイナミックレンジは、露光比と同じ倍率により拡大され、ＨＤＲ画像が得られる。
　なお、画像処理部１２０は、明るい画素の画素値のみを増幅する調整処理を行っているが、ダイナミックレンジが拡大するのであれば、この処理以外の調整処理を行ってもよい。例えば、画像処理部１２０は、明るい画素の画素値を増幅せずに暗い画素の画素値のみを減衰してもよい。また、画像処理部１２０は、明るい画素の画素値の増幅と、暗い画素の画素値の減衰との両方を行ってもよい。
　［撮像装置の動作例］
　図１２は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、ＨＤＲ画像の撮像を開始させるための操作（シャッターボタンの押下など）が行われたときに開始される。
　固体撮像素子２００は、画像データを撮像するための撮像処理（Ｓ９１０）を実行する。最初の撮像処理では、通常画像が撮像される。続いて、固体撮像素子２００は、撮像処理（ステップＳ９１０）を再度実行し、画像処理部１２０は、ＨＤＲ画像を生成するためのＨＤＲ画像生成処理（ステップＳ９２０）を実行する。そして、ステップＳ９２０の後に、撮像装置１００は、撮像を停止させるための操作などに応じて、撮像を終了するか否かを判断する（ステップＳ９３０）。
　撮像を終了しない場合に（ステップＳ９３０：Ｎｏ）、撮像装置１００は、ステップＳ９１０を再度繰り返す。一方、撮像を終了する場合に（ステップＳ９３０：Ｙｅｓ）、撮像装置１００は、撮像のための動作を終了する。
　図１３は、第１の実施の形態における撮像処理の一例を示すフローチャートである。固体撮像素子２００内の画素回路２４０は、判定フラグＦＬＡＧがローレベル（すなわち、前回の受光量が所定値Ｔｈ以下）であるか否かを判断する（ステップＳ９１１）。判定フラグＦＬＡＧがローレベルである場合に（ステップＳ９１１：Ｙｅｓ）、画素回路２４０は、ｔ_ＬＥの長時間に亘って露光を行う（ステップＳ９１２）。一方、判定フラグＦＬＡＧがハイレベルである場合に（ステップＳ９１１：Ｎｏ）、画素回路２４０は、ｔ_ＳＥの短時間に亘って露光を行う（ステップＳ９１３）。
　ステップＳ９１２またはＳ９１３の後に画素回路２４０は、今回の受光量が所定値Ｔｈ以下であるか否かを判断する（ステップＳ９１４）。受光量が所定値Ｔｈ以下である場合に（ステップＳ９１４：Ｙｅｓ）、画素回路２４０は、判定フラグにローレベルを設定して保持する（ステップＳ９１５）。一方、受光量が所定値Ｔｈを超える場合に（ステップＳ９１４：Ｎｏ）、画素回路２４０は、判定フラグにハイレベルを設定して保持する（ステップＳ９１６）。ステップＳ９１５またはＳ９１６の後に、画素回路２４０は、画素データを生成して出力する（ステップＳ９１７）。
　図１４は、第１の実施の形態におけるＨＤＲ画像生成処理の一例を示すフローチャートである。画像処理部１２０は、入力された画素データに対して相関二重サンプリング処理を実行する（ステップＳ９２１）。そして、画像処理部１２０は、その画素データの判定フラグＦＬＡＧがハイレベル（すなわち、受光量が所定値Ｔｈを超える）か否かを判断する（ステップＳ９２２）。
　判定フラグＦＬＡＧがハイレベルである場合に（ステップＳ９２２：Ｙｅｓ）、画像処理部１２０は、画素値に露光比（ｔ_ＬＥ／ｔ_ＳＥ）を乗算する（ステップＳ９２３）。判定フラグＦＬＡＧがローレベルである場合（ステップＳ９２２：Ｎｏ）、または、ステップＳ９２３の後に、画像処理部１２０は、全画素の処理が終了したか否かを判断する（ステップＳ９２４）。全画素の処理を終了していない場合に（ステップＳ９２４：Ｎｏ）、画像処理部１２０は、ステップＳ９２１以降を繰り返し実行する。一方、全画素の処理を終了した場合に（ステップＳ９２４：Ｙｅｓ）、画像処理部１２０は、ＨＤＲ画像生成処理を終了する。
　このように、本技術の第１の実施の形態によれば、画素回路２４０のそれぞれが受光量を測定して、その測定結果により選択した露光期間に亘って露光を行い、画素データを生成するため、１枚の画像データからＨＤＲ画像を生成することができる。これにより、複数の画像データを合成する場合と比較して、ＨＤＲ画像のフレームレートを向上させることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、固体撮像素子２００は、アップカウンタ２６１により、リセットレベルおよび信号レベルを順にＡＤ変換していた。しかし、この構成では、リセットノイズ等を低減する際にリセットレベルおよび信号レベルのそれぞれのＡＤ変換値を画像処理部１２０が取得してＣＤＳ処理を実行する必要があり、画像処理部１２０の処理負担が増大する。この第２の実施の形態の固体撮像素子２００は、画像処理部１２０の処理量を低減した点において第１の実施の形態と異なる。
　図１５は、第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、計数部２６０を備えない点において第１の実施の形態と異なる。
　図１６は、第２の実施の形態における画素回路２４０の一構成例を示す回路図である。この第２の実施の形態の画素回路２４０は、デジタル信号保持部２４８の代わりに判定フラグ生成部３０１およびアップダウンカウンタ３０２を設けた点において第１の実施の形態と異なる。
　アップダウンカウンタ３０２は、クロック信号ＣＬＫに同期して、計数値を増分または減分するものである。このアップダウンカウンタ３０２は、タイミング生成部２７０からのリセット信号ｒｓｔに従って計数値を初期化する。また、アップダウンカウンタ３０２は、タイミング生成部２７０からの制御信号ＵＤに従って、増分動作と減分動作とを切り替える。そして、アップダウンカウンタ３０２は、増分動作時と減分動作時とのそれぞれにおいてコンパレータ出力信号ＶＣＯが反転したときに計数を停止する。続いて、増分動作の終了後にアップダウンカウンタ３０２は、計数値ＣＮＴを判定フラグ生成部３０１およびインターフェース２１０に供給する。
　判定フラグ生成部３０１は、計数値ＣＮＴと設定値とを比較して、その比較結果を示す信号をラッチ入力信号ＬＩＮとして生成するものである。この判定フラグ生成部３０１は、ラッチ入力信号ＬＩＮを判定フラグ保持部２４７に供給する。
　図１７は、第２の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。判定フラグＦＬＡＧの初期値がローレベルであるため、タイミングＴ１において制御信号ＯＦＧ_Ｌが選択され、長時間露光が開始される。タイミングｔ３において参照電圧ＲＥＦが低下し始めると、アップダウンカウンタ３０２は、計数値を初期化し、計数値の減分を開始する。そして、タイミングｔ４においてコンパレータ出力信号ＶＣＯが反転すると、アップダウンカウンタ３０２は、計数を停止する。
　そして、タイミングｔ７において参照電圧ＲＥＦが低下し始めると、アップダウンカウンタ３０２は、減分終了時の値を初期値として、計数値ＣＮＴの増分を開始する。そして、タイミングｔ９においてコンパレータ出力信号ＶＣＯが反転すると、アップダウンカウンタ３０２は、計数を停止する。このときの計数値ＣＮＴは、リセットレベルと信号レベルとの差を示す。すなわち、アップダウンカウンタ３０２により、ＣＤＳ処理が実行される。増分後の計数値ＣＮＴが設定値より大きい（すなわち、露光量が所定値Ｔｈを超える）ため、タイミングｔ９においてハイレベルの判定フラグＦＬＡＧが生成される。
　なお、アップダウンカウンタ３０２は、減分の次に増分を行っているが、逆に増分の次に減分を行ってもよい。
　図１８は、第２の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。前回の判定フラグＦＬＡＧがハイレベルであるため、タイミングＴ２において制御信号ＯＦＧ_Ｓが選択され、短時間露光が開始される。そして、増分後の計数値ＣＮＴが設定値以下（すなわち、露光量が所定値Ｔｈ以下）であるため、タイミングｔ１８においてローレベルの判定フラグＦＬＡＧが生成される。
　図１９は、第２の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この第２の実施の形態の画像処理部１２０は、相関二重サンプリング回路１２１が設けられていない点以外は、第１の実施の形態と同様である。前述したように、アップダウンカウンタ３０２により、ＣＤＳ処理が実行されるため、相関二重サンプリング回路１２１が不要となる。
　このように、本技術の第２の実施の形態によれば、画素回路２４０内のアップダウンカウンタ３０２がＣＤＳ処理を行うため、後段の画像処理部１２０がＣＤＳ処理を行う必要がなくなる。これにより、画像処理部１２０の処理量を低減することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、固体撮像素子２００は画素ごとに受光量を測定していたが、受光量を測定する単位は１画素に限定されず、複数の画素からなる領域ごとに受光量を測定してもよい。この第３の実施の形態の固体撮像素子２００は、複数の画素からなる受光領域ごとに受光量を測定する点において第２の実施の形態と異なる。
　図２０は、第３の実施の形態における画素アレイ部２３０の一構成例を示すブロック図である。この第３の実施の形態の画素アレイ部２３０は、複数の受光領域３５０により分割されている点において第１の実施の形態と異なる。この受光領域３５０のそれぞれの領域には、列方向に配列された画素回路３６０、３８０および３９０が設けられる。
　なお、受光領域３５０のそれぞれの画素数を３つとしているが、画素数は２つ以上であればよく、３つに限定されない。
　図２１は、第３の実施の形態における画素回路３６０および３８０の一構成例を示す回路図である。画素回路３６０は、スイッチ３６１、ＰＤリセットトランジスタ３６２、フォトダイオード３６３、転送トランジスタ３６４、コンパレータ３６５およびＦＤリセットトランジスタ３６６を備える。また、画素回路３６０は、判定フラグ保持部３６７、判定フラグ生成部３６８、加算器３６９およびアップダウンカウンタ３７０を備える。
　画素回路３６０の構成は、加算器３６９をさらに備える点以外は、図１６に例示した第２の実施の形態の画素回路２４０と同様である。
　画素回路３８０は、スイッチ３８１、ＰＤリセットトランジスタ３８２、フォトダイオード３８３、転送トランジスタ３８４、コンパレータ３８５およびＦＤリセットトランジスタ３８６を備える。また、画素回路３８０は、加算器３８８およびアップダウンカウンタ３８９を備える。
　画素回路３８０の構成は、判定フラグ生成部３０１および判定フラグ保持部２４７の代わりに加算器３８８を備える点以外は、図１６に例示資した第２の実施の形態の画素回路２４０と同様である。また、画素回路３９０の構成は、画素回路３８０と同様である。
　アップダウンカウンタ３８９は、計数値ＣＮＴを加算器３８８とインターフェース２１０とに供給する。加算器３８８は、画素回路３８０の計数値ＣＮＴと、画素回路３９０の計数値ＣＮＴとを加算するものである。この加算器３８８は、加算結果を画素回路３６０に供給する。
　加算器３６９は、画素回路３６０の計数値ＣＮＴに、画素回路３８０からの加算結果を加算するものである。加算器３６９は、加算結果を判定フラグ生成部３６８に供給する。この加算結果は、画素回路３６０、３８０および３９０のそれぞれの計数値ＣＮＴの積算値であり、受光領域３５０の受光量を示す。
　判定フラグ生成部３６８は、受光領域３５０の受光量が所定値を超えているか否かを示すラッチ入力信号ＬＩＮを生成して判定フラグ保持部３６７に供給する。判定フラグ保持部３６７は、コンパレータ出力信号ＶＣＯが反転したときにラッチ入力信号ＬＩＮを判定フラグＦＬＡＧとして保持し、保持値をスイッチ３６１と画素回路３８０および３９０とに供給する。
　上述の構成により、受光領域３５０ごとに受光量が測定され、その測定結果（判定フラグＦＬＡＧ）により受光領域３５０内の画素のそれぞれが露光期間を選択することができる。
　このように、本技術の第３の実施の形態によれば、複数の画素からなる受光領域３５０ごとに受光量を測定し、その測定結果により選択した露光期間に亘って露光を行い、画素データを生成するため、１枚の画像データからＨＤＲ画像を生成することができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、１つの半導体基板に固体撮像素子２００内の回路のそれぞれを配置していたが、半導体基板の面積を一定とすると、画素数の増大に伴って画素を微細化する必要が生じる。この微細化により、画素のそれぞれのフォトダイオードの面積が小さくなり、感度などの画素特性を維持することが困難となる。この第４の実施の形態の固体撮像素子２００は、フォトダイオードの面積を大きくした点において第１の実施の形態と異なる。
　図２２は、第４の実施の形態における固体撮像素子２００の一構成例を示す斜視図である。この第４の実施の形態の固体撮像素子２００は、下側半導体基板２０２と、その基板に積層された上側半導体基板２０１とを備える。
　図２３は、第４の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。下側半導体基板２０２には、複数のラッチ回路４１０が二次元格子状に配置され、上側半導体基板２０１には、複数の画素回路２４０が二次元格子状に配列される。また、固体撮像素子２００内のインターフェース２１０、ドライバ２２０、ランプ信号生成部２５０、計数部２６０およびタイミング生成部２７０は、下側半導体基板２０２に配置される。
　第４の実施の形態の画素回路２４０の構成は、スイッチ２４１、判定フラグ保持部２４７およびデジタル信号保持部２４８が設けられていない点以外は、第１の実施の形態と同様である。これらのスイッチ２４１、判定フラグ保持部２４７およびデジタル信号保持部２４８は、ラッチ回路４１０内に設けられる。
　なお、積層された２つの半導体基板に、固体撮像素子２００内の回路を分散して配置しているが、３つ以上の半導体基板に分散して配置してもよい。また、固体撮像素子２００内のスイッチ２４１、判定フラグ保持部２４７およびデジタル信号保持部２４８を一方の基板に、残りを他方の基板に配置しているが、この構成に限定されない。例えば、スイッチ２４１を画素回路２４０側の基板に配置してもよい。
　このように、本技術の第４の実施の形態によれば、積層された２つの半導体基板に固体撮像素子２００内の回路を分散して配置したため、積層しない場合よりもフォトダイオード２４３の面積を大きくすることができる。これにより、微細化に伴う画素特性（感度など）の低下を抑制することができる。
　＜５．第５の実施の形態＞
　上述の第２の実施の形態では、固体撮像素子２００は、それぞれのフレームの撮像時において前のフレームで測定された受光量の測定結果（判定フラグＦＬＡＧ）に応じて露光期間を選択して露光を行っていた。しかし、この構成では、現在のフレームと、その前のフレームとで受光量が大きく変化した場合に、適切な露光期間が選択されず、画質が低下するおそれがある。このため、それぞれのフレームにおいて、そのフレームの撮像周期内で測定した受光量に応じて露光期間を選択することが望ましい。この第５の実施の形態の固体撮像素子２００は、適切な露光期間を選択することにより、画質を向上させた点において第２の実施の形態と異なる。
　図２４は、第５の実施の形態における画素回路２４０の一構成例を示す回路図である。この第５の実施の形態の画素回路２４０は、転送トランジスタ２４４の代わりに転送トランジスタ４２０を備える点において第２の実施の形態と異なる。
　転送トランジスタ４２０は、そのチャネルのポテンシャルを３段階に制御することができる点において第２の実施の形態の転送トランジスタ２４４と異なる。ドライバ２２０がローレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは最も高い高電位となる。また、ドライバ２２０がハイレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは最も低い低電位となる。ドライバ２２０がミドルレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは高電位および低電位の間の中間電位となる。
　中間電位では、フォトダイオード２４３内の電荷が全て転送されず、その中間電位を超えた分の上澄み信号が浮遊拡散層に転送される。この中間電位のときの電荷の転送を以下、「中間電位転送」と称する。また、低電位では、フォトダイオード２４３内の電荷が全て浮遊拡散層に転送される。この低電位における転送を以下、「完全転送」と称する。
　図２５は、第５の実施の形態における画素回路２４０の中間電位転送までのポテンシャル図の一例である。同図におけるａは中間電位転送の直前の画素回路２４０のポテンシャル図を示す。この時点においては、転送トランジスタ４２０のポテンシャルは十分に高いため、フォトダイオード２４３の電荷は浮遊拡散層に転送されない。
　図２５におけるｂは、同図におけるｃよりも受光量が大きい画素回路２４０の中間電位転送時のポテンシャル図を示す。ドライバ２２０がミドルレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは中間電位となる。そして、フォトダイオード２４３から浮遊拡散層へ上澄み信号が転送される。
　図２５におけるｃは、同図におけるｂよりも受光量が小さい画素回路２４０の中間電位転送時のポテンシャル図を示す。受光量が小さい場合には、フォトダイオード２４３の電荷量が少なく、上澄み信号はほとんどない。同図におけるｂおよびｃに例示したように、中間電位転送時の浮遊拡散層の電荷量が受光量に応じて変化するため、このときの浮遊拡散層の電圧ＦＤから、画素回路２４０が判定フラグＦＬＡＧを生成することができる。
　図２６は、第５の実施の形態における画素回路２４０の完全転送時のポテンシャル図の一例である。ドライバ２２０がハイレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは低電位となる。そして、フォトダイオード２４３内の電荷の全てが浮遊拡散層に転送される。
　図２７は、第５の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。最初のタイミングＴ１が経過すると画素回路２４０は、中間電位転送時に判定フラグＦＬＡＧを生成する。そして、画素回路２４０は、その判定フラグにより露光期間を選択し、その露光期間に亘って露光して画素データを生成する。そして、画像処理部１２０は、判定フラグＦＬＡＧを参照して、露光期間の異なる２種類の画素データからＨＤＲ画像を生成する。
　タイミングＴ１から１／６０秒後のタイミングＴ２以降においても、画素回路２４０は、同様に撮像周期内で判定フラグＦＬＡＧを生成して露光期間を選択し、画像処理部１２０はＨＤＲ画像を生成する。
　図２８は、第５の実施の形態における受光量が多い画素回路２４０の中間電位転送までの動作の一例を示すタイミングチャートである。まず、タイミングＴ１において制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓが、同一のパルス期間に亘ってハイレベルに制御される。そして、タイミングｔ１２からタイミングｔ１５までにおいて、リセットレベルが計数される。その後のタイミングｔ１６においてミドルレベルＬ１の転送信号ＴＲＧが供給され、転送トランジスタ４２０は、中間電位転送を行う。タイミングｔ１７からタイミングｔ１９までの間に、リセットレベルと信号レベルとの差を示す計数値ＣＮＴが計数される。その計数値ＣＮＴが設定値を超える（すなわち、受光量が所定値Ｔｈを超える）ため、ハイレベルの判定フラグＦＬＡＧが生成される。
　図２９は、第５の実施の形態における受光量が多い画素回路２４０の完全転送までの動作の一例を示すタイミングチャートである。中間電位転送直後のタイミングｔ２２において、制御信号ＯＦＧ_Ｓが、所定のパルス期間に亘ってハイレベルに制御される。一方、制御信号ＯＦＧ_Ｌはローレベルのままである。また、ハイレベルの判定フラグＦＬＡＧに従って、スイッチ２４１は、制御信号ＯＦＧ_Ｓの方を選択してＯＦＧとして出力する。これにより、露光期間ｔ_ＳＥの短時間露光が開始される。
　そして、タイミングｔ２４からタイミングｔ２７までにおいて、リセットレベルが計数される。その後のタイミングｔ２８においてハイレベルＬ２の転送信号ＴＲＧが供給され、転送トランジスタ４２０は、完全転送を行う。これにより、短時間露光が終了する。タイミングｔ２９からタイミングｔ３０までの間に、リセットレベルと信号レベルとの差を示す計数値ＣＮＴが計数される。この計数値ＣＮＴは、短時間露光を行った画素の画素値を示す。
　図３０は、第５の実施の形態における受光量が少ない画素回路２４０の中間電位転送までの動作の一例を示すタイミングチャートである。タイミングＴ２においては、制御信号ＯＦＧ_ＳおよびＯＦＧ_Ｌは同一であるため、判定フラグＦＬＡＧの値に関わらず、スイッチ２４１は、一定のパルス幅の制御信号ＯＦＧを出力する。この制御信号ＯＦＧにより、画素回路２４０の露光が開始される。
　そして、タイミングｔ２８において転送トランジスタ４２０は、中間電位転送を行う。タイミングｔ２９からタイミングｔ３０までの間に、リセットレベルと信号レベルとの差を示す計数値ＣＮＴが計数される。その計数値ＣＮＴが設定値以下（すなわち、受光量が所定値Ｔｈ以下）であったため、ローレベルの判定フラグＦＬＡＧが生成される。
　図３１は、第５の実施の形態における受光量が少ない画素回路２４０の完全転送までの動作の一例を示すタイミングチャートである。中間電位転送直後のタイミングｔ４０において、ローレベルの判定フラグＦＬＡＧに従って、スイッチ２４１は、制御信号ＯＦＧ_Ｌの方を選択してＯＦＧとして出力する。これにより、中間電位転送時の上済み信号がリセットされずに電荷の蓄積が継続され、露光期間ｔ_ＬＥの長時間に亘って露光が行われる。そして、タイミングｔ４６においてハイレベルＬ２の転送信号ＴＲＧが供給され、転送トランジスタ４２０は、完全転送を行う。これにより、長時間露光が終了する。
　このように、本技術の第５の実施の形態によれば、画素回路２４０が撮像周期内で受光量を測定して、その測定結果により露光期間を選択するため、前の撮像周期と比較して受光量が大きく変化した場合でも、変化後の適切な露光期間により露光することができる。これにより、画像データの画質を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
　前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
　前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
　前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
を具備する撮像装置。
（２）前記複数の領域のそれぞれは、１つの画素からなる
前記（１）記載の撮像装置。
（３）前記複数の領域のそれぞれは、複数の画素からなる
前記（１）記載の撮像装置。
（４）前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）所定のクロック信号に同期して計数値を計数する計数部と、
　前記受光量に応じた電荷を生成するフォトダイオードと、
　所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
をさらに具備し、
　前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
　前記測定部は、
　前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
　前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
を備える前記（４）記載の撮像装置。
（６）前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
前記（５）記載の撮像装置。
（７）前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
前記（５）記載の撮像装置。
（８）前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
　前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記（１）から（７）のいずれかに記載の撮像装置。
（１０）前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
　前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
　前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
　前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
を具備する固体撮像素子。
（１２）複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
　前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
　前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
　前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
を具備する撮像装置の制御方法。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　画像処理部
　１２１　相関二重サンプリング回路
　１２２、２４１、３６１、３８１　スイッチ
　１２３　乗算器
　１２４　後段処理部
　１３０　撮像制御部
　１４０　記録部
　２００　固体撮像素子
　２０１　上側半導体基板
　２０２　下側半導体基板
　２１０　インターフェース
　２２０　ドライバ
　２３０　画素アレイ部
　２４０、３６０、３８０、３９０　画素回路
　２４２、３６２、３８２　ＰＤリセットトランジスタ
　２４３、３６３、３８３　フォトダイオード
　２４４、３６４、３８４、４２０　転送トランジスタ
　２４５、３６５、３８５　コンパレータ
　２４６、３６６、３８６　ＦＤリセットトランジスタ
　２４７、３６７　判定フラグ保持部
　２４８　デジタル信号保持部
　２５０　ランプ信号生成部
　２６０　計数部
　２６１　アップカウンタ
　２６２、３０１、３６８　判定フラグ生成部
　２７０　タイミング生成部
　３０２、３７０、３８９　アップダウンカウンタ
　３５０　受光領域
　３６９、３８８　加算器
　４１０　ラッチ回路

Claims (12)

  1. 　複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
    　前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
    　前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
    　前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
    を具備する撮像装置。
  2. 　前記複数の領域のそれぞれは、１つの画素からなる
    請求項１記載の撮像装置。
  3. 　前記複数の領域のそれぞれは、複数の画素からなる
    請求項１記載の撮像装置。
  4. 　前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
    請求項１記載の撮像装置。
  5. 　所定のクロック信号に同期して計数値を計数する計数部と、
    　前記受光量に応じた電荷を生成するフォトダイオードと、
    　所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
    をさらに具備し、
    　前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
    　前記測定部は、
    　前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
    　前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
    を備える請求項４記載の撮像装置。
  6. 　前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
    請求項５記載の撮像装置。
  7. 　前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
    請求項５記載の撮像装置。
  8. 　前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
    　前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
    請求項１記載の撮像装置。
  9. 　前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
    請求項１記載の撮像装置。
  10. 　前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
    　前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
    請求項１記載の撮像装置。
  11. 　複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
    　前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
    　前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
    を具備する固体撮像素子。
  12. 　複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
    　前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
    　前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
    　前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
    を具備する撮像装置の制御方法。
PCT/JP2017/014953 2016-05-30 2017-04-12 撮像装置、固体撮像素子、および、撮像装置の制御方法 WO2017208638A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780028797.8A CN109076177B (zh) 2016-05-30 2017-04-12 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
US16/303,796 US11039095B2 (en) 2016-05-30 2017-04-12 Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus
EP17806198.2A EP3468168B1 (en) 2016-05-30 2017-04-12 Image capturing apparatus, solid-state image capturing device, and control method of image capturing apparatus
JP2018520698A JP6922902B2 (ja) 2016-05-30 2017-04-12 撮像装置、固体撮像素子、および、撮像装置の制御方法
US17/324,972 US20210274114A1 (en) 2016-05-30 2021-05-19 Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016107260 2016-05-30
JP2016-107260 2016-05-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/303,796 A-371-Of-International US11039095B2 (en) 2016-05-30 2017-04-12 Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus
US17/324,972 Continuation US20210274114A1 (en) 2016-05-30 2021-05-19 Image pickup apparatus, solid-state image pickup device, and control method for image pickup apparatus

Publications (1)

Publication Number Publication Date
WO2017208638A1 true WO2017208638A1 (ja) 2017-12-07

Family

ID=60479476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014953 WO2017208638A1 (ja) 2016-05-30 2017-04-12 撮像装置、固体撮像素子、および、撮像装置の制御方法

Country Status (5)

Country Link
US (2) US11039095B2 (ja)
EP (1) EP3468168B1 (ja)
JP (1) JP6922902B2 (ja)
CN (2) CN109076177B (ja)
WO (1) WO2017208638A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020022136A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置、撮像システム、移動体
EP3627829A1 (en) * 2018-09-21 2020-03-25 Canon Kabushiki Kaisha Photoelectric conversion device and image sensing system
US11653101B2 (en) 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023532400A (ja) * 2020-05-22 2023-07-28 ブリルニクス シンガポール プライベート リミテッド デジタル画素センサのためのシステム、方法、デバイス、およびデータ構造
US11777515B2 (en) * 2021-04-27 2023-10-03 Novatek Microelectronics Corp. Column analog-to-digital converter and local counting method thereof
CN114040132B (zh) * 2021-11-22 2023-11-21 成都微光集电科技有限公司 图像传感器及其曝光时序控制方法、***及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296179A (ja) * 2008-06-03 2009-12-17 Sony Corp 画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法
JP2014093754A (ja) * 2012-11-07 2014-05-19 Sony Corp 撮像素子、撮像方法
WO2015060143A1 (ja) * 2013-10-21 2015-04-30 ソニー株式会社 固体撮像素子および電子機器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006124592A2 (en) * 2005-05-12 2006-11-23 California Institute Of Technology Linear dynamic range enhancement in a cmos imager
JP2007067571A (ja) * 2005-08-29 2007-03-15 Fujitsu Ltd 画像処理装置
US7326903B2 (en) * 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
JP4252078B2 (ja) * 2006-09-28 2009-04-08 三洋電機株式会社 光検出装置
WO2008062404A2 (en) * 2006-11-20 2008-05-29 Ben Gurion University Of The Negev Research And Development Authority Optical pixel and image sensor
US7791657B2 (en) * 2007-03-07 2010-09-07 Teledyne Licensing, Llc Dynamic range enhancement scheme for imagers
JP4424402B2 (ja) 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
JP5178458B2 (ja) * 2008-10-31 2013-04-10 キヤノン株式会社 固体撮像装置、撮像システム、および、固体撮像装置の駆動方法
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
EP2606637B1 (en) * 2010-08-23 2016-09-21 Red.Com, Inc. High dynamic range video
EP2442556A1 (en) * 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
CN102131051B (zh) * 2010-12-28 2012-11-28 惠州Tcl移动通信有限公司 一种摄像设备及其图像获取方法和装置
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
JP2013090127A (ja) * 2011-10-18 2013-05-13 Olympus Corp 固体撮像装置および撮像装置
US8779346B2 (en) * 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
US9319605B2 (en) * 2013-03-15 2016-04-19 Rambus Inc. Increasing dynamic range using multisampling
US20140287884A1 (en) 2013-03-20 2014-09-25 Icon Health & Fitness, Inc. Paddle Exercise Apparatus
JP2014204364A (ja) * 2013-04-08 2014-10-27 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9380229B2 (en) * 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6393091B2 (ja) * 2014-06-19 2018-09-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9578265B2 (en) * 2015-06-11 2017-02-21 Stmicroelectronics (Grenoble 2) Sas Double charge storage area image capture device pixel structure
US10205894B2 (en) * 2015-09-11 2019-02-12 Canon Kabushiki Kaisha Imaging device and imaging system
CN108028898B (zh) * 2015-09-16 2020-09-04 佳能株式会社 图像传感器和摄像设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296179A (ja) * 2008-06-03 2009-12-17 Sony Corp 画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法
JP2014093754A (ja) * 2012-11-07 2014-05-19 Sony Corp 撮像素子、撮像方法
WO2015060143A1 (ja) * 2013-10-21 2015-04-30 ソニー株式会社 固体撮像素子および電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3468168A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020022136A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7114396B2 (ja) 2018-08-03 2022-08-08 キヤノン株式会社 撮像装置、撮像システム、移動体
EP3627829A1 (en) * 2018-09-21 2020-03-25 Canon Kabushiki Kaisha Photoelectric conversion device and image sensing system
CN110944127A (zh) * 2018-09-21 2020-03-31 佳能株式会社 光电转换装置和图像感测***
US11165976B2 (en) 2018-09-21 2021-11-02 Canon Kabushiki Kaisha Controlling the exposure of a photoelectric conversion device using stacked substrates
CN110944127B (zh) * 2018-09-21 2023-03-17 佳能株式会社 光电转换装置和图像感测***
US11785356B2 (en) 2018-09-21 2023-10-10 Canon Kabushiki Kaisha Photoelectric conversion device with mask circuits
US11653101B2 (en) 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image

Also Published As

Publication number Publication date
US20210274114A1 (en) 2021-09-02
JPWO2017208638A1 (ja) 2019-03-28
US11039095B2 (en) 2021-06-15
US20200322555A1 (en) 2020-10-08
CN109076177A (zh) 2018-12-21
JP6922902B2 (ja) 2021-08-18
EP3468168A1 (en) 2019-04-10
CN113507568A (zh) 2021-10-15
CN109076177B (zh) 2021-06-15
EP3468168A4 (en) 2019-07-31
EP3468168B1 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
JP6922902B2 (ja) 撮像装置、固体撮像素子、および、撮像装置の制御方法
US10284796B2 (en) Image capture apparatus and control method thereof
JP2017504262A (ja) 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法
JP6082274B2 (ja) 撮像装置、及びその制御方法
JP2009177749A (ja) 固体撮像装置
JP2010028676A (ja) 撮像システムおよび固体撮像素子の駆動方法
JP2009177797A (ja) 固体撮像装置及びその駆動方法
JP2010154372A (ja) 固体撮像装置、デジタルカメラ及びａｄ変換方法
US11190717B2 (en) Solid state image sensor, image capturing apparatus, and image capturing method
JP2015115660A5 (ja) 撮像装置及びその制御方法、及び撮像素子
JP2008263547A (ja) 撮像装置
WO2017141847A1 (ja) 固体撮像装置および撮像装置
JP2014143498A (ja) 固体撮像装置
US11936987B2 (en) Image capturing apparatus
JP2018033101A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015170863A (ja) 固体撮像装置及びその制御方法、プログラム、記憶媒体
US11165978B2 (en) Imaging device, control method thereof, and imaging apparatus
JP2021022921A (ja) 撮像素子、撮像装置、および制御方法
JP2014150444A (ja) 固体撮像装置
JP2016048813A (ja) 固体撮像素子、撮像方法、および電子機器
JP2007195033A (ja) 固体撮像装置
JP7339779B2 (ja) 撮像装置
JP7293002B2 (ja) 撮像装置
JP2010193296A (ja) 撮像装置及び補正量算出プログラム
JP2014175778A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520698

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806198

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017806198

Country of ref document: EP

Effective date: 20190102