WO2023162483A1 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
WO2023162483A1
WO2023162483A1 PCT/JP2023/000153 JP2023000153W WO2023162483A1 WO 2023162483 A1 WO2023162483 A1 WO 2023162483A1 JP 2023000153 W JP2023000153 W JP 2023000153W WO 2023162483 A1 WO2023162483 A1 WO 2023162483A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
pixel
image
signal
unit
Prior art date
Application number
PCT/JP2023/000153
Other languages
English (en)
French (fr)
Inventor
浩輔 松原
俊行 ▲高▼田
健人 飯森
敏治 上田
陽平 神田
隼 亀田
尚平 兎澤
文人 唐橋
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022159716A external-priority patent/JP2023124783A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023162483A1 publication Critical patent/WO2023162483A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present invention relates to an imaging device and its control method.
  • FD floating diffusion
  • Patent Document 1 proposes an imaging device having a function of switching the capacity of the FD so that the optimum capacity of the FD can be selected.
  • Patent Document 2 proposes an image pickup device that amplifies and reads electrical signals generated by photoelectric conversion elements with the same exposure using a plurality of different amplification factors.
  • two amplified electrical signals or AD (analog-to-digital) converted digital signals are appropriately selected and combined according to luminance to generate a single image. S/N ratio can be improved.
  • the present invention has been made in view of the above-described problems, and provides a method of suppressing a decrease in signal readout speed when amplifying and outputting electrical signals generated by a photoelectric conversion element with the same exposure by a plurality of different amplification factors. To provide an image pickup apparatus capable of obtaining an image with a good S/N ratio.
  • An imaging device is a pixel unit in which a plurality of pixels are arranged in a matrix.
  • the setting for switching connection between the extension unit and the charge-voltage conversion unit is the same for each of the read operations with the plurality of types of amplification factors.
  • an electric signal generated by a photoelectric conversion element subjected to the same exposure is amplified by a plurality of different amplification factors and output, a decrease in signal readout speed is suppressed, and a good S/N ratio is obtained. An image can be obtained.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device according to an embodiment of the present invention
  • FIG. 2 is a diagram showing the configuration of an imaging element
  • FIG. 4 is a diagram showing a circuit configuration of a pixel
  • FIG. 4 is a circuit diagram showing the circuit configuration of a column circuit
  • FIG. 10 is a diagram showing an example of total gain when shooting one image without performing HDR shooting
  • FIG. 5 is a diagram showing an example of total gain when HDR shooting is performed
  • FIG. 4 is a diagram showing input/output characteristics of an image sensor
  • FIG. 4 is a diagram showing input/output characteristics of an image sensor
  • FIG. 4 is a diagram showing input/output characteristics of an image sensor
  • FIG. 4 is a diagram showing input/output characteristics of an image sensor
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device 100, which is an embodiment of the imaging device of the present invention.
  • an imaging lens 101 is an interchangeable lens unit that can be attached to the main body of the imaging device 100, or a lens that is incorporated in the main body, and includes a plurality of lens groups such as a focus lens and a zoom lens, and an aperture. It consists of a mechanism, etc.
  • the imaging device 102 is a CMOS image sensor having a plurality of pixels and can be driven by at least two driving methods.
  • One is to perform photoelectric conversion in each pixel on the optical image of the subject formed by the photographing lens 101 in one exposure (same exposure) to generate a charge corresponding to the amount of incident light, and generate a signal of each pixel. are amplified with the same gain and output as an image signal.
  • the other is a driving method of outputting a plurality of image signals obtained by amplifying the signal of each pixel obtained by one exposure (same exposure) with a plurality of types of gains.
  • the imaging device 102 also has an electronic shutter function, such as a rolling shutter, that adjusts the amount of light incident on each pixel, and can control the exposure time of the subject image.
  • an electronic shutter function such as a rolling shutter
  • the image acquisition unit 103 temporarily holds the image signal output from the image sensor 102, and performs photometric processing using the held image signal.
  • the image processing unit 104 performs various signal processing such as noise reduction processing, gamma processing, color signal processing, and exposure correction processing on the image signal held in the image acquisition unit 103, and outputs the processed image signal. do.
  • the image processing unit 104 generates an HDR (high dynamic range) image using an arbitrary synthesis method.
  • an image signal amplified with a high gain (amplification factor) is used for an image portion with a predetermined signal level or less, and a low gain (amplification factor) is used for an image portion (bright overexposed image) with a predetermined signal level.
  • amplification factor high gain
  • amplification factor low gain
  • image portion dark portion with a predetermined signal level
  • the image recording unit 105 records the image signal processed by the image processing unit 104 in a storage device or storage medium.
  • a storage device or storage medium for example, a memory device that can be attached to the main body of the imaging apparatus 100 is used.
  • the operation unit 106 By operating the operation unit 106, the user can input various instructions to the imaging device 100.
  • the operation unit 106 includes operation members such as a release button, a mode switching dial, a zoom operation lever, a touch panel, and the like.
  • a user input via the operation unit 106 is notified to the system control unit 110 .
  • the HDR shooting setting is also notified to the system control unit 110 by user input via the operation unit 106 .
  • the storage unit 107 is a storage unit that stores the contents of instructions given to the imaging device 100 by the user, and is composed of an electrically erasable/recordable non-volatile memory.
  • the display unit 108 can display a captured image, information at the time of capturing, a user interface for operation by the operation unit 106, and the like, and is composed of, for example, a TFT-LCD.
  • the display unit 108 may be composed of a touch panel, and input from the user who can operate the operation unit 106 may be input on the display unit 108 .
  • the system control unit 110 controls the image sensor control unit 111 and the lens control unit 112 based on the image signal and photometry result held in the image acquisition unit 103 and the user's input via the operation unit 106 .
  • the imaging device control unit 111 drives and controls the imaging device 102 according to the control signal from the system control unit 110 .
  • a lens control unit 112 performs driving control of the photographing lens 101 according to a control signal from the system control unit 110 .
  • FIG. 2 is a block diagram showing the configuration of the imaging device 102 in this embodiment.
  • a pixel region (pixel portion) 208 is configured by arranging a plurality of unit pixels 200 in a matrix.
  • n pixels n is a natural number of 2 or more
  • 4 pixels are arranged in the vertical direction. Assume that a large number of pixels are arranged.
  • Each of the unit pixels 200 is provided with an optical filter of one of a plurality of colors of optical filters, and a video signal corresponding to the color of the optical filter is obtained.
  • a unit pixel provided with a red filter is represented by R pixel
  • a unit pixel provided with a green filter is represented by G pixel
  • a unit pixel provided with a blue filter is represented by B pixel.
  • unit pixels each having an optical filter of three colors are arranged according to the Bayer arrangement.
  • a driving pulse is sent out from the vertical scanning circuit 203 through the driving signal line 202 common to the pixels of each row.
  • the driving signal line 202 may be arranged for each row.
  • pixels in odd rows are connected to the column output line 201 .
  • Pixels in even rows are connected to column output lines 211 .
  • the switch 209 When the switch 209 is off, the image signals from the odd-numbered pixels are input only to the column circuit 204 via the column output line 201 .
  • the switch 209 When the switch 209 is ON, the signals are input to the column circuits 204 and 210, respectively.
  • image signals from pixels in even rows are input only to the column circuit 210 via the column output line 211 when the switch 209 is OFF.
  • the switch 209 When the switch 209 is ON, the signals are input to the column circuits 204 and 210, respectively.
  • the switch 209 When the switch 209 is OFF, image signals from even-numbered and odd-numbered pixels can be read out simultaneously, and when the switch 209 is ON, image signals from even-numbered and odd-numbered pixels are sequentially read out. Therefore, when the switch 209 is turned from OFF to ON, the image signal reading speed decreases.
  • the switch 209 is turned off in the case of single image shooting (single image shooting), and the switch 209 is turned on in the case of acquiring two images for HDR shooting. use.
  • the column circuit 204 and the column circuit 210 are connected to the vertical scanning circuit 203 via a column circuit signal line 205 that transmits a column gain setting signal and other control signals. , the signal from each unit pixel is multiplied by the gain.
  • the switch 209 When the switch 209 is OFF, the same gain is set for the column circuits 204 and 210 . On the other hand, when the switch 209 is ON, different gains are set for the column circuits 204 and 210 respectively.
  • the switch 209 when one image is taken, the switch 209 is turned off, the same gain is set in the column circuits 204 and 210, and the pixels in the even and odd rows are amplified with the same gain (amplification factor). controlled to obtain the desired output signal.
  • the switch 209 When performing HDR imaging, the switch 209 is turned on to set different gains necessary for HDR imaging in the column circuits 204 and 210, and a plurality of different gains are obtained for each of the even-numbered pixels and the odd-numbered pixels. (amplification factor) to obtain a plurality of output signals.
  • the column circuits 204 and 210 perform A/D conversion processing and output digital signals to the horizontal transfer circuit 206 .
  • the horizontal transfer circuit 206 outputs the input signal to the image acquisition unit 103 .
  • FIG. 3 is a diagram showing the circuit configuration of each unit pixel 200 of the image sensor 102. As shown in FIG. In FIG. 3, one of the plurality of unit pixels 200 forming the pixel region 208 is representatively indicated by a rectangular dotted line.
  • a unit pixel 200 is connected to other circuits by a drive signal line 202 and a column output line 201 .
  • a column output line 201 is connected to a current source 303 and a column circuit 204, is connected to a plurality of unit pixels 200 (vertical pixel column) arranged in the same column, and transmits pixel signals.
  • the drive signal line 202 is connected to the vertical scanning circuit 203 and also to a plurality of unit pixels 200 (horizontal pixel column) arranged in the same row.
  • the vertical scanning circuit 203 simultaneously controls the unit pixels 200 in the same row via the drive signal line 202, thereby reading out signals from the unit pixels 200 and resetting them.
  • Each drive signal line 202 includes a transfer control line pTX, an FD extension control line pFDext, a reset control line pRS, and a selection control line pSEL, which will be described later.
  • a photoelectric conversion element (photoelectric conversion unit) PD is a photodiode that converts incident light into charge and accumulates the converted charge.
  • the photoelectric conversion element PD has the P side of the PN junction grounded, and the N side of the PN junction is connected to the source of the transfer transistor (transfer switch) TX.
  • the transfer transistor TX has a gate connected to a transfer control line pTX and a drain connected to an FD (floating diffusion) capacitor CFD.
  • the transfer transistor TX controls charge transfer from the photoelectric conversion element PD to the FD capacitor CFD.
  • One side of the FD capacitor CFD (charge-voltage converter) is grounded, and charges are accumulated when the charges transferred from the photoelectric conversion element PD are converted into voltage.
  • a connection point between the drain of the transfer transistor TX and the other side (ungrounded side) of the FD capacitor CFD is hereinafter referred to as an FD node 300 .
  • the FD extension transistor (FD extension part) FDext is a MOS transistor whose gate is connected to the FD extension control line pFDext, whose source is connected to the FD capacitor CFD, and whose drain is connected to the reset transistor (reset switch) T2.
  • the reset transistor T2 has a gate connected to the reset control line pRS, a drain connected to the power supply voltage Vdd, and a source connected to the FD extension transistor FDext.
  • both the FD extension transistor FDext and the reset transistor T2 By turning on both the FD extension transistor FDext and the reset transistor T2, the potential of the FD node 300 is reset to the power supply voltage Vdd.
  • both the FD extension transistor FDext and the reset transistor T2 are in the OFF state, the charges transferred from the photoelectric conversion element PD are converted into voltage in the FD capacitance CFD.
  • the FD extension transistor FDext When the FD extension transistor FDext is in the ON state and the reset transistor T2 is in the OFF state, the FD extension transistor FDext functions as an accumulation section (that is, accumulation capacity) capable of holding charges.
  • This storage capacity is hereinafter referred to as FD expansion capacity Cex.
  • the capacitance seen from the FD node 300 is the capacitance CFDadd obtained by adding the FD capacitance CFD to the FD extension capacitance Cex. Become.
  • the charge transferred from the photoelectric conversion element PD is converted into voltage using the added capacitance CFDadd obtained by adding the FD capacitance CFD and the FD extension capacitance Cex.
  • the drive transistor (amplification unit) Tdrv is a transistor that constitutes an in-pixel amplifier, and has a gate connected to the FD capacitor CFD, a drain connected to the power supply voltage Vdd, and a source connected to the drain of the selection transistor SEL. . Therefore, the drive transistor Tdrv outputs a voltage corresponding to the voltage of the FD capacitor CFD.
  • the selection transistor SEL has a gate connected to the selection control line pSEL and a source connected to the column output line 201 .
  • the selection transistor SEL outputs the output of the drive transistor Tdrv to the column output line 201 as the output signal (pixel signal) of the unit pixel 200 .
  • the current source 303 constitutes a source follower circuit functioning as an in-pixel amplifier together with the drive transistor Tdrv of the unit pixel 200 in the column to which the column output line 201 is connected.
  • the transistors other than the drive transistor Tdrv and the current source 303 act as switches, and are turned on (turned on) when the signal on the control line connected to the gate is High, and cut off when the signal is Low. OFF state).
  • the switch 209 when taking a single image, the switch 209 is turned off and the same gain is set for the column circuits 204 and 210 in FIG.
  • the FD extension transistor FDext is used to accumulate more electric charge in order to secure the target dynamic range. to turn on.
  • the FD extension transistor FDext is turned off in order to reduce noise. For example, when a second gain that has a larger amplification factor than the first gain and can ensure a target dynamic range, or a third gain that has a larger amplification factor than the second gain is set, the FD extension transistor Turn off FDext.
  • the FD extension transistor FDext is switched on and off according to the gains set in the column circuits 204 and 210 that are set to the same value.
  • FIG. 4 is a circuit diagram showing the circuit configuration of the column circuit 204.
  • the column circuit 204 includes a column amplifier 700, a comparator 701, a counter circuit 702, a latch circuit 703, and an arithmetic circuit 704.
  • a ramp signal generator 706 (hereinafter referred to as RAMP) is a circuit that generates a ramp signal that changes with time.
  • the column amplifier 700 is an amplifier that amplifies the output signal (pixel signal) of the unit pixel 200 output to the column output line 201 .
  • a comparator 701 compares the ramp signal generated by the ramp signal generator 706 and the output of the column amplifier 700, and outputs an inverted signal at the timing when the time-varying ramp signal matches the pixel output.
  • the counter circuit 702 performs a count operation based on the clock supplied from the connected counter control line pCNT.
  • the counter circuit 702 starts counting at the timing when the comparator 701 starts comparing the pixel signal and the ramp signal, and outputs a count value at the timing when the output of the comparator 701 is inverted.
  • the latch circuit 703 temporarily holds the count value output by the counter circuit 702 and outputs the held count value based on control via the connected latch control line pLTC.
  • the arithmetic circuit 704 stores the count value output by the latch circuit 703 as a pixel digital signal based on control via the connected arithmetic control line pCAL. In addition, the arithmetic circuit 704 outputs the stored digital signal of the pixel.
  • These comparator 701, counter circuit 702, latch circuit 703, arithmetic circuit 704, and RAMP 706 constitute an A/D converter.
  • the column circuit 210 is also the same.
  • the column amplifier 700 of the column circuit 204 can amplify the output signal (pixel signal) of the unit pixel 200 output to the column output line 201 with a plurality of different gains.
  • the column amplifier 700 amplifies the pixel signal with a gain set as described later, and the amplified pixel signal is input to the comparator 701 .
  • the subsequent A/D converter may change the temporal change of the ramp signal, thereby amplifying the pixel signal with a different gain during A/D conversion. That is, if the time change of the ramp signal is slow, the inversion of the output of the comparator 701 is delayed and the count value is increased. Since the rate of change of the ramp signal over time corresponds to the amplification factor of the output signal of the unit pixel 200, this is called a RAMP gain, and the RAMP gain can be switched by changing the degree of change over time.
  • the capacitance CFDadd obtained by adding the FD capacitance CFD and the FD extension capacitance Cex is 4, and the conversion gain of charge-voltage conversion (hereinafter referred to as FD gain) in this case is set to 1 times the standard.
  • FD gain conversion gain of charge-voltage conversion
  • the column circuit 204 and the column circuit 210 have a configuration capable of amplifying pixel signals with different gains by either the column amplifier 700 or the A/D converter. It is assumed that the RAMP gain of the A/D converter remains at 1 regardless of whether the gain or the second total gain is set. The RAMP gain of the A/D converter may be different between the first total gain and the second total gain.
  • the gains of the column amplifiers 700 of the column circuits 204 and 210 are both 1 when the first total gain (total gain of 1) is set.
  • the gains of the column amplifiers 700 of the column circuits 204 and 210 when the second total gain (total gain of 8 times) is set are both doubled, and combined with the above gain difference due to the FD capacity of 4 times, The second total gain is set to eight times the first total gain.
  • the second total gain is 8 times the first total gain (4 times the FD gain, 2 times the gain of the column amplifier 700, and 8 times the total gain).
  • the amplification factor at which the target dynamic range cannot be secured unless the FD extension transistor FDext is turned on is defined as the first gain.
  • an amplification factor larger than the first gain that can ensure the target dynamic range even when the FD extension transistor FDext is off is set as the second gain.
  • a third gain is an amplification factor that is even greater than the second gain.
  • the FD extension transistor FDext is set to ON at the first gain, and the FD extension transistor FDext is set to OFF at the second and third gains.
  • the pixel signal when the FD extension transistor FDext is turned on is read out to the column circuit 204, and then the pixel signal when the FD extension transistor FDext is turned off is read out to the column circuit 210, which increases the readout time. .
  • the operation settings of the FD extension transistors FDext are made the same in HDR imaging in which electrical signals generated by the photoelectric conversion elements with the same exposure are amplified by a plurality of different gains (amplification factors) and read out.
  • the FD extension transistor FDext is set to OFF as in the case of single-frame shooting. Therefore, the setting of the FD extension transistor FDext does not change between HDR shooting and single-frame shooting.
  • the second total gain is 8 times
  • the third total gain is 64 times
  • the first total gain (1 time) and the second total gain (8 times) images at the same time are taken simultaneously.
  • an image with a second total gain (8 times) and a third total gain (64 times) are taken simultaneously.
  • the FD expansion capacity Cex is 3 when the FD capacity CFD is 1 will be described.
  • the column circuit 204 and the column circuit 210 have a configuration capable of amplifying pixel signals with different gains by either the column amplifier 700 or the A/D converter. It is assumed that the RAMP gain of the A/D converter remains at 1 regardless of which of the gain, second total gain, and third total gain is set. Note that the RAMP gain of the A/D converter may be made different for each of the first total gain, the second total gain, and the third total gain.
  • the gain of the column amplifier 700 of the column circuit 204 is assumed to be 1 when the first total gain (1) is set. It is assumed that the gain of the column amplifier 700 of the column circuit 210 is eight times when the second total gain (8 times) is set.
  • images with the first total gain (x1) and the second total gain (x8) can be captured at the same time.
  • the FD extension transistor FDext is turned off and the FD gain is set to 4 times.
  • the gain of the column amplifier 700 of the column circuit 204 is doubled when the second total gain (8 times) is set.
  • the gain of the column amplifier 700 of the column circuit 210 is 16 times when the third total gain (64 times) is set.
  • images with the second total gain (8 times) and the third total gain (64 times) can be captured at the same time.
  • the FD extension transistor FDext is set to ON.
  • the lens control unit 112 controls the opening amount of the aperture and the exposure time of the image sensor 102 so that the image signal amplified by the column circuit 210, which is set to the second gain having a relatively large amplification factor, is properly exposed. set. In this case, the image signal amplified by the column circuit 204 with the first gain having a relatively small amplification factor is underexposed.
  • the horizontal axis of FIG. 7 indicates the amount of light of the subject entering the image sensor, that is, the input luminance
  • the vertical axis indicates the output value of the column circuit.
  • the image signal amplified by the column circuit 204 and the image amplified by the column circuit 210 are synthesized by the image processing unit 104 using the image signals in the range enclosed by the ellipse.
  • the image processing unit 104 uses the image signals in the range enclosed by the ellipse.
  • the FD extension transistor FDext is set to ON.
  • the lens control unit 112 controls the opening amount of the aperture and the exposure time of the image sensor 102 so that the image signal amplified by the column circuit 204, which is set to the first gain with a relatively small amplification factor, is properly exposed. set. In this case, the image signal amplified by the column circuit 210 in which the second gain having a relatively large amplification factor is set is overexposed.
  • the FD extension transistor FDext By setting the FD extension transistor FDext to ON, more charge can be accumulated in the FD section, and since the gain set in the column circuit 204 is lower than the gain set in the column circuit 210, the input luminance is You can shoot high objects.
  • the image signal amplified by the column circuit 204 and the image signal amplified by the column circuit 210 are synthesized by the image processing unit 104 using the pixel signals in the range enclosed by the ellipse.
  • An image with little noise can be obtained by correcting the gain of the overexposed image, which is the image signal amplified by the column circuit 210, so that the gain is reduced so as to correspond to the appropriate exposure.
  • Combining this low-noise image with the high-luminance portion of the properly-exposed image, which is the image signal amplified by the column circuit 204 makes it possible to improve the S/N ratio on the low-luminance side.
  • the FD extension transistor FDext is set to OFF.
  • the lens control unit 112 controls the opening amount of the aperture and the exposure time of the image sensor 102 so that the image signal amplified by the column circuit 210, which is set to the second gain having a relatively large amplification factor, is properly exposed. set. In this case, the image signal amplified by the column circuit 204 with the first gain having a relatively small amplification factor is underexposed.
  • the low-luminance portion of the properly-exposed image which is the image signal amplified by the column circuit 210
  • the high-luminance portion of the under-exposed image obtained by gamma-correcting the image signal amplified by the column circuit 204 the low-luminance It is possible to capture an image with an improved S/N ratio for both low and high brightness.
  • control method of the imaging device for improving the S/N ratio at high luminance or low luminance, and at both high luminance and low luminance has been described. It should be noted that the control may be switched by determining the luminance for which the S/N ratio is desired to be improved according to the brightness of the image captured by the imaging device.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
  • a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
  • ASIC application specific integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本発明は、信号の読み出し速度の低下を抑制しつつ、Ｓ／Ｎ比の良好な画像を得ることができる撮像装置を提供する。撮像装置は、複数の画素が行列状に配置された画素部であって、それぞれの画素が、光電変換部と、光電変換部から転送された信号の電荷を電圧に変換する電荷電圧変換部と、電荷電圧変換部の容量を拡張する拡張部とを備える、画素部と、拡張部と電荷電圧変換部との接続を切り替える切り替え部と、同一の画素の信号を複数種類の増幅率で増幅して読み出すことが可能な読み出し部と、を備え、切り替え部は、読み出し部が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、複数種類の増幅率でのそれぞれの読み出し動作について、拡張部と電荷電圧変換部の接続の切り替えの設定を同一にする。

Description

撮像装置及びその制御方法
　本発明は、撮像装置及びその制御方法に関する。
　近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像素子には、低消費電力で高速読み出しに適した撮像素子が広く用いられている。撮像素子においては、フォトダイオードの電荷をフローティングディフュージョン（以下、ＦＤ）へ転送し、電圧に変換することにより信号が読み出される。この時、ＦＤの容量が小さいと扱える電荷量が小さい。一方、ＦＤの容量が大きいと電圧に変換されるゲインが小さくノイズが大きく見える。
　これに対して、最適なＦＤの容量を選択できるようにするために、特許文献１では、ＦＤの容量を切り替える機能を有する撮像素子が提案されている。
　また、特許文献２では、Ｓ／Ｎ比の改善のために、同一露光の光電変換素子で発生した電気信号を、複数の異なる増幅率で増幅して読み出す撮像素子が提案されている。
　このような撮像素子を備える撮像装置では、増幅した２つの電気信号、もしくはＡＤ（アナログデジタル）変換したデジタル信号を、輝度に応じて適切に選択して組み合わせ、１枚の画像を生成することでＳ／Ｎ比を改善することができる。
米国特許第７４２７７９０号 特開２０２１－１６８４６０号公報
　しかしながら、ＦＤの容量を切り替える機能を有する撮像素子において、同一露光の光電変換素子で発生した電気信号を複数の異なる増幅率で増幅して出力する際に、夫々のＦＤの容量を切り替えると、信号の読出し速度が低下するという問題がある。
　本発明は上述した課題に鑑みてなされたものであり、同一露光の光電変換素子で発生した電気信号を複数の異なる増幅率で増幅して出力する際に、信号の読み出し速度の低下を抑制しつつ、Ｓ／Ｎ比の良好な画像を得ることができる撮像装置を提供する。
　本発明に係わる撮像装置は、複数の画素が行列状に配置された画素部であって、それぞれの前記画素が、光電変換部と、該光電変換部から転送された信号の電荷を電圧に変換する電荷電圧変換部と、前記電荷電圧変換部の容量を拡張する拡張部とを備える、画素部と、前記拡張部と前記電荷電圧変換部との接続を切り替える切り替え手段と、同一の画素の信号を複数種類の増幅率で増幅して読み出すことが可能な読み出し手段と、を備え、前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記複数種類の増幅率でのそれぞれの読み出し動作について、前記拡張部と前記電荷電圧変換部の接続の切り替えの設定を同一にすることを特徴とする。
　本発明によれば、同一露光の光電変換素子で発生した電気信号を複数の異なる増幅率で増幅して出力する際に、信号の読み出し速度の低下を抑制しつつ、Ｓ／Ｎ比の良好な画像を得ることが可能となる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の一実施形態の撮像装置の概略構成を示すブロック図。 撮像素子の構成を示す図。 画素の回路構成を示す図。 列回路の回路構成を示す回路図。 ＨＤＲ撮影を行わず１枚撮影する際のトータルゲインの例を示す図。 ＨＤＲ撮影をする際のトータルゲインの例を示す図。 撮像素子の入出力の特性を示す図。 撮像素子の入出力の特性を示す図。 撮像素子の入出力の特性を示す図。
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
　図１は、本発明の撮像装置の一実施形態である撮像装置１００の概略構成を示すブロック図である。
　図１において、撮影レンズ１０１は、撮像装置１００の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、フォーカスレンズやズームレンズ等、複数のレンズ群、及び、絞り機構などから構成される。
　撮像素子１０２は、複数の画素を有するＣＭＯＳイメージセンサであって、少なくとも２つの駆動方法で駆動することが可能である。１つは、１回の露光（同一露光）で撮影レンズ１０１により結像された被写体の光学像に対し、各画素で光電変換を行って入射光量に応じた電荷を生成し、各画素の信号を同一のゲインで増幅した画像信号を出力する駆動方法である。またもう１つは、１回の露光（同一露光）で得られる各画素の信号を複数種類のゲインで増幅した複数の画像信号を出力する駆動方法である。
　また、撮像素子１０２は、ローリングシャッターをはじめとする、各画素への入射光量を調節する電子シャッター機能を有しており、被写体像の露光時間を制御することが可能である。
　画像取得部１０３は、撮像素子１０２から出力された画像信号を一時的に保持すると共に、保持している画像信号を用いて測光処理を行う。
　画像処理部１０４は、画像取得部１０３に保持されている画像信号に対して、ノイズ低減処理、ガンマ処理、色信号処理、露出補正処理などの各種信号処理を行って、処理した画像信号を出力する。
　また、画像処理部１０４は、任意の合成方法を用いてＨＤＲ（高ダイナミックレンジ）画像を生成する。例えば、所定の信号レベル以下の画像部分については高いゲイン（増幅率）で増幅された画像信号を用い、所定の信号レベルを超えた画像部分（明るく白飛びしている画像）については低いゲイン（増幅率）で増幅された画像信号を用い、それらを合成する方法がある。なお、合成後の画像の暗部の信号に用いられる通常画像としては、暗部のランダムノイズが抑えられていることが好ましい。
　画像記録部１０５は、画像処理部１０４によって処理された画像信号を記憶装置または記憶媒体に記録する。記憶装置または記憶媒体としては、例えば、撮像装置１００の本体部に装着可能なメモリデバイスが使用される。
　操作部１０６を操作することにより、ユーザーは撮像装置１００に対する種々の指示を入力することができる。操作部１０６は、レリーズボタンやモード切り換えダイヤル、ズーム操作レバー等の操作部材やタッチパネルなどを含む。操作部１０６を介したユーザー入力は、システム制御部１１０に通知される。ＨＤＲ撮影の設定も操作部１０６を介したユーザー入力によりシステム制御部１１０に通知される。
　記憶部１０７は、ユーザーが撮像装置１００に指示をした内容等を記憶する記憶部であり、電気的に消去・記録可能な不揮発性メモリで構成される。
　表示部１０８は、撮影画像や撮影時の情報、及び操作部１０６による操作用のユーザーインターフェース等を表示することができ、例えば、ＴＦＴ－ＬＣＤ等で構成される。表示部１０８がタッチパネルで構成され、操作部１０６で操作可能なユーザーからの入力が、表示部１０８で入力可能であってもよい。
　システム制御部１１０は、画像取得部１０３に保持された画像信号や測光結果、及び、操作部１０６を介したユーザーからの入力に基づいて、撮像素子制御部１１１やレンズ制御部１１２を制御する。
　撮像素子制御部１１１は、システム制御部１１０からの制御信号に従って、撮像素子１０２の駆動制御を行う。レンズ制御部１１２は、システム制御部１１０からの制御信号に従って、撮影レンズ１０１の駆動制御を行う。
　図２は、本実施形態における撮像素子１０２の構成を示すブロック図である。
　画素領域（画素部）２０８は、複数の単位画素２００が行列状に配置されて構成されている。本実施形態では、説明を分かりやすくするために、水平方向にｎ画素（ｎは２以上の自然数）、垂直方向に４画素並ぶ構成で示しているが、実際には、水平方向、垂直方向に多数の画素が配置されているものとする。
　単位画素２００の各々には、複数色の光学フィルタのうちのいずれか１色の光学フィルタが設けられており、光学フィルタの色に応じた映像信号が取得される。図２においては、赤色フィルタが設けられた単位画素をＲ画素、緑色フィルタが設けられた単位画素をＧ画素、青色フィルタが設けられた単位画素をＢ画素として、それぞれＲＧＢで表記している。このように３色の光学フィルタをそれぞれ有する単位画素がベイヤー配列に従って配置されている。
　垂直走査回路２０３から各行の画素に共通の駆動信号線２０２を通じて駆動パルスが送出される。なお、駆動信号線２０２は、説明を分かりやすくするために、各行毎に１本ずつ図示されているが、各行毎に複数の駆動信号線が配置されていてもよい。
　同じ列の単位画素２００のうち奇数行の画素は列出力線２０１に接続されている。また、偶数行の画素は列出力線２１１に接続されている。スイッチ２０９がＯＦＦの場合は、奇数行の画素からの画像信号は列出力線２０１を介して列回路２０４にのみ入力される。スイッチ２０９がＯＮの場合は、列回路２０４と列回路２１０にそれぞれ入力される。
　偶数行の画素からの画像信号も同様に、スイッチ２０９がＯＦＦの場合は、列出力線２１１を介して列回路２１０にのみ入力される。スイッチ２０９がＯＮの場合は、列回路２０４と列回路２１０にそれぞれ入力される。
　スイッチ２０９がＯＦＦの場合は、偶数行と奇数行の画素からの画像信号を同時に読み出すことができ、スイッチ２０９がＯＮの場合は、偶数行と奇数行の画素からの画像信号が順次読み出される。そのため、スイッチ２０９がＯＦＦからＯＮになると、画像信号の読み出し速度が低下する。本実施形態では、１枚撮影（単一の画像の撮影）の場合はスイッチ２０９をＯＦＦにして使用し、ＨＤＲ撮影のために２枚の画像を取得する場合は、スイッチ２０９をＯＮに切り替えて使用する。
　列回路２０４および列回路２１０は、列ゲインの設定信号及びその他の制御信号を伝達する列回路信号線２０５を介して垂直走査回路２０３と接続されており、撮像素子制御部１１１の指示に応じて、各単位画素からの信号にゲインを掛ける処理を行う。スイッチ２０９がＯＦＦの場合には、列回路２０４と列回路２１０には同一のゲインが設定される。一方、スイッチ２０９がＯＮの場合は、列回路２０４と列回路２１０にはそれぞれ異なるゲインが設定される。
　本実施形態では、１枚撮影を行う場合は、スイッチ２０９をＯＦＦにして列回路２０４と列回路２１０に同じゲインを設定し、偶数行と奇数行の画素で同一のゲイン（増幅率）で増幅された出力信号が得られるように制御する。また、ＨＤＲ撮影を行う場合は、スイッチ２０９をＯＮにして列回路２０４と列回路２１０にＨＤＲ撮影に必要な異なるゲインを設定し、偶数行の画素、奇数行の画素それぞれにおいて、複数の異なるゲイン（増幅率）で増幅された複数の出力信号が得られるように制御する。
　さらに、列回路２０４および列回路２１０はＡ／Ｄ変換処理を行い、デジタル信号を水平転送回路２０６に出力する。水平転送回路２０６は、入力された信号を画像取得部１０３へ出力する。
　図３は、撮像素子１０２の各単位画素２００の回路構成を示す図である。図３には、画素領域２０８を構成する複数の単位画素２００の１つが矩形の点線によって代表的に示されている。
　単位画素２００は、駆動信号線２０２および列出力線２０１によって他の回路と接続される。列出力線２０１は、電流源３０３および列回路２０４に接続されると共に、同じ１列に配置された複数の単位画素２００（垂直画素列）と接続され、画素信号を伝送する。駆動信号線２０２は、垂直走査回路２０３に接続されると共に、同じ１行に配置された複数の単位画素２００（水平画素列）と接続される。
　垂直走査回路２０３が駆動信号線２０２を介して、同じ１行の単位画素２００を同時に制御することにより、各単位画素２００からの信号の読み出しおよびリセットが実行される。それぞれの駆動信号線２０２は、後述する転送制御線ｐＴＸ、ＦＤ拡張制御線ｐＦＤｅｘｔ、リセット制御線ｐＲＳ、および選択制御線ｐＳＥＬを含んでいる。
　光電変換素子（光電変換部）ＰＤは、入射光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。光電変換素子ＰＤは、ＰＮ接合のＰ側が接地されると共に、ＰＮ接合のＮ側が転送トランジスタ（転送スイッチ）ＴＸのソースに接続されている。
　転送トランジスタＴＸは、ゲートが転送制御線ｐＴＸに接続され、ドレインがＦＤ（フローティングディフュージョン）容量ＣＦＤに接続される。転送トランジスタＴＸは、光電変換素子ＰＤからＦＤ容量ＣＦＤへの電荷の転送を制御する。
　ＦＤ容量ＣＦＤ（電荷電圧変換部）は、一方が接地されており、光電変換素子ＰＤから転送された電荷を電圧に変換する際に電荷を蓄積する。以下、転送トランジスタＴＸのドレインとＦＤ容量ＣＦＤの他方側（非接地側）の接続点をＦＤノード３００と称する。
　ＦＤ拡張トランジスタ（ＦＤ拡張部）ＦＤｅｘｔは、ゲートがＦＤ拡張制御線ｐＦＤｅｘｔに接続され、ソースがＦＤ容量ＣＦＤに接続され、ドレインがリセットトランジスタ（リセットスイッチ）Ｔ２に接続されるＭＯＳ型トランジスタである。
　リセットトランジスタＴ２は、ゲートがリセット制御線ｐＲＳに接続され、ドレインが電源電圧Ｖｄｄに接続され、ソースがＦＤ拡張トランジスタＦＤｅｘｔに接続される。
　ＦＤ拡張トランジスタＦＤｅｘｔおよびリセットトランジスタＴ２が共にオン状態に設定されることによって、ＦＤノード３００の電位が電源電圧Ｖｄｄにリセットされる。一方、ＦＤ拡張トランジスタＦＤｅｘｔおよびリセットトランジスタＴ２が共にオフ状態である場合には、ＦＤ容量ＣＦＤにおいて光電変換素子ＰＤから転送された電荷が電圧に変換される。
　ＦＤ拡張トランジスタＦＤｅｘｔがオン状態であってリセットトランジスタＴ２がオフ状態である場合には、ＦＤ拡張トランジスタＦＤｅｘｔが、電荷を保持可能な蓄積部（すなわち、蓄積容量）として機能する。この蓄積容量を、以下、ＦＤ拡張容量Ｃｅｘと称する。この場合、ＦＤ拡張トランジスタＦＤｅｘｔの蓄積容量およびＦＤ容量ＣＦＤは基板に対して並列に接地されているので、ＦＤノード３００から見た容量は、ＦＤ容量ＣＦＤにＦＤ拡張容量Ｃｅｘを加算した容量ＣＦＤａｄｄとなる。
　したがって、ＦＤノード３００において、ＦＤ容量ＣＦＤとＦＤ拡張容量Ｃｅｘとを加算した加算容量ＣＦＤａｄｄを用いて、光電変換素子ＰＤから転送された電荷が電圧に変換される。
　駆動トランジスタ（増幅部）Ｔｄｒｖは、画素内アンプを構成するトランジスタであって、ゲートがＦＤ容量ＣＦＤに接続され、ドレインが電源電圧Ｖｄｄに接続され、ソースが選択トランジスタＳＥＬのドレインに接続されている。したがって、駆動トランジスタＴｄｒｖは、ＦＤ容量ＣＦＤの電圧に応じた電圧を出力する。
　選択トランジスタＳＥＬは、ゲートが選択制御線ｐＳＥＬに接続され、ソースが列出力線２０１に接続されている。選択トランジスタＳＥＬは、駆動トランジスタＴｄｒｖの出力を、単位画素２００の出力信号（画素信号）として列出力線２０１に出力する。
　電流源３０３は、列出力線２０１が接続されている列の単位画素２００の駆動トランジスタＴｄｒｖと共に、画素内アンプとして機能するソースフォロア回路を構成している。
　本実施形態においては、駆動トランジスタＴｄｒｖおよび電流源３０３以外のトランジスタは、スイッチとして働き、ゲートに接続された制御線の信号がＨｉｇｈの時に導通し（ＯＮ状態になり）、Ｌｏｗの時に遮断する（ＯＦＦ状態になる）ものとする。
　次に、ＨＤＲ撮影を行わず、１枚撮影する際のＦＤ拡張トランジスタＦＤｅｘｔの使い方について説明する。
　前述した通り、１枚撮影する際は、図２において、スイッチ２０９をＯＦＦにして列回路２０４と列回路２１０に同じゲインを設定する。列回路２０４と列回路２１０にそれぞれ相対的に増幅率が低い第１のゲインが設定された場合、目標のダイナミックレンジを確保するために、より多くの電荷を蓄積できるように、ＦＤ拡張トランジスタＦＤｅｘｔをオンする。
　一方で、目標のダイナミックレンジを確保できるゲインが設定された場合、ノイズを低減するために、ＦＤ拡張トランジスタＦＤｅｘｔをオフする。例えば、第１のゲインよりも増幅率が大きく、目標のダイナミックレンジを確保できる第２のゲインや、第２のゲインよりさらに増幅率が大きい第３のゲインが設定された場合は、ＦＤ拡張トランジスタＦＤｅｘｔをオフする。
　このように、ＨＤＲ撮影を行わない場合は、同じ値に設定される列回路２０４と列回路２１０に設定されるゲインに応じて、ＦＤ拡張トランジスタＦＤｅｘｔのオン、オフを切り替える。
　図４は列回路２０４の回路構成を示す回路図である。列回路２１０の回路構成も列回路２０４の回路構成と同じであるため、以下では、それらを代表して列回路２０４の構成について説明する。
　列回路２０４は列アンプ７００、比較器７０１、カウンタ回路７０２、ラッチ回路７０３、および演算回路７０４を備えている。ランプ信号生成部７０６（以下ＲＡＭＰ）は時間に対して変化するランプ信号を生成する回路である。列アンプ７００は、列出力線２０１に出力された単位画素２００の出力信号（画素信号）を増幅する増幅器である。
　比較器７０１はランプ信号生成部７０６により生成されるランプ信号と列アンプ７００の出力を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。
　カウンタ回路７０２は、接続されているカウンタ制御線ｐＣＮＴから供給されるクロックに基づいてカウント動作を行う。カウンタ回路７０２は、比較器７０１が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器７０１の出力が反転したタイミングでのカウント値を出力する。
　ラッチ回路７０３は、カウンタ回路７０２が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線ｐＬＴＣを介した制御に基づいて保持しているカウント値を出力する。
　演算回路７０４は、接続されている演算制御線ｐＣＡＬを介した制御に基づいて、ラッチ回路７０３が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路７０４は記憶している画素のデジタル信号を出力する。これらの比較器７０１、カウンタ回路７０２、ラッチ回路７０３、演算回路７０４、ＲＡＭＰ７０６によりＡ／Ｄ変換器が構成される。
　ここで、列回路２０４におけるゲイン設定について説明する。列回路２１０についても同様である。列回路２０４の列アンプ７００は、列出力線２０１に出力された単位画素２００の出力信号（画素信号）を複数の異なるゲインで増幅することができる。列アンプ７００は、後述するように設定されたゲインで画素信号を増幅し、増幅された画素信号が比較器７０１に入力される。
　なお、列アンプ７００に限らず、後段のＡ／Ｄ変換器でランプ信号の時間変化を変更することにより、画素信号のＡ／Ｄ変換時に異なるゲインで増幅してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器７０１の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素２００の出力信号の増幅率に相当するので、これをＲＡＭＰゲインと称し、時間変化の程度を変えることでＲＡＭＰゲインを切り替えることができる。
　ここで、図５を用いて、ＨＤＲ撮影を行わず１枚撮影する際の、列回路２０４以外の増幅器を含めたトータルゲインの１例について説明する。
　本実施形態においては、第２のトータルゲインが第１のトータルゲインの８倍となる例について説明する。また、ＦＤ容量ＣＦＤを１とした場合にＦＤ拡張容量Ｃｅｘが３となる例について説明する。
　この場合、ＦＤ容量ＣＦＤとＦＤ拡張容量Ｃｅｘを加算した容量ＣＦＤａｄｄは４となり、この場合の電荷電圧変換の変換ゲイン（以下ＦＤゲイン）を基準の１倍とする。第１のトータルゲインが設定されている場合は、ＦＤ拡張トランジスタＦＤｅｘｔをオンして容量ＣＦＤａｄｄを４とし、第２のトータルゲインが設定されている場合は、ＦＤ拡張トランジスタＦＤｅｘｔをオフする。これにより、第２のトータルゲインの第１のトータルゲインに対する、ＦＤ容量によるゲイン差は４倍となる。
　列回路２０４および列回路２１０は、列アンプ７００とＡ／Ｄ変換器のいずれかで画素信号を異なるゲインで増幅することが可能な構成を備えているが、本実施形態では、第１のトータルゲインと第２のトータルゲインのいずれが設定されても、Ａ／Ｄ変換器のＲＡＭＰゲインは１倍で変わらないものとする。なお、第１のトータルゲインと第２のトータルゲインでＡ／Ｄ変換器のＲＡＭＰゲインを異ならせてもよい。
　また、第１のトータルゲイン（トータルゲイン１倍）が設定された場合の列回路２０４および列回路２１０の列アンプ７００のゲインは共に１倍であるものとする。第２のトータルゲイン（トータルゲイン８倍）が設定された場合の列回路２０４および列回路２１０の列アンプ７００のゲインは共に２倍とし、上記のＦＤ容量によるゲイン差の４倍と合わせて、第２のトータルゲインが第１のトータルゲインの８倍となるようにする。
　このようにして、第２のトータルゲインは第１のトータルゲインの８倍となる（ＦＤゲインで４倍、列アンプ７００のゲインで２倍、トータルゲインが８倍）。
　次に、ＨＤＲ撮影のために２枚の画像を取得する際の、ＦＤ拡張トランジスタＦＤｅｘｔの使い方について説明する。
　前述した通り、ＨＤＲ撮影を行う際は、図２において、スイッチ２０９をＯＮにして列回路２０４と列回路２１０にＨＤＲ撮影に必要な異なるゲインを設定し、複数のゲインで増幅された出力信号が得られるように制御する。
　ここで、列回路２０４と列回路２１０の増幅率について、ＦＤ拡張トランジスタＦＤｅｘｔをオンしなければ目標のダイナミックレンジを確保できない増幅率を第１のゲインとする。また、ＦＤ拡張トランジスタＦＤｅｘｔがオフでも目標のダイナミックレンジを確保できる、第１のゲインよりも大きい増幅率を第２のゲインとする。第２のゲインよりもさらに大きい増幅率を第３のゲインとする。以下、列回路２０４と列回路２１０に、これら第１乃至第３のゲインのいずれかを適用する場合について説明する。
　ＨＤＲ撮影を行わない１枚撮影においては、第１のゲインではＦＤ拡張トランジスタＦＤｅｘｔをオンに設定し、第２及び第３のゲインではＦＤ拡張トランジスタＦＤｅｘｔをオフに設定していた。
　ＨＤＲ撮影において、列回路２０４に第１のゲイン、列回路２１０に第２のゲインを設定した場合を考える。この場合、１枚撮影と同様にＦＤ拡張トランジスタＦＤｅｘｔのオン、オフを切り替えようとすると、同一の単位画素２００の出力信号を列回路２０４と列回路２１０に同時に読み出すことができない。
　そのため、ＦＤ拡張トランジスタＦＤｅｘｔをオンした場合の画素信号を列回路２０４に読み出し、その後、ＦＤ拡張トランジスタＦＤｅｘｔをオフした場合の画素信号を列回路２１０に読み出すことになり、読み出し時間が増加してしまう。
　そこで、本実施形態では、同一露光の光電変換素子で発生した電気信号を複数の異なるゲイン（増幅率）で増幅して読み出すＨＤＲ撮影において、ＦＤ拡張トランジスタＦＤｅｘｔの動作設定を同一にする。そして、列回路２０４と列回路２１０に画素信号を同時に読み出すことにより、読み出し速度の低下を回避する。
　なお、列回路２０４に第２のゲインを設定し、列回路２１０に第３のゲインを設定した場合には、１枚撮影時と同様にＦＤ拡張トランジスタＦＤｅｘｔをオフに設定することになる。そのため、ＨＤＲ撮影時と１枚撮影時とでＦＤ拡張トランジスタＦＤｅｘｔの設定は変わらない。
　ここで、図６を用いて、ＨＤＲ撮影する際の、列回路２０４以外の増幅器を含めたトータルゲインの１例について説明する。
　本実施形態においては、ＨＤＲ撮影時にはトータルゲインが８倍異なる２枚の画像を同時に撮影する例について説明する。
　第１のトータルゲインを１倍とした場合に第２のトータルゲインは８倍、第３のトータルゲインは６４倍とし、第１のトータルゲイン（１倍）と第２のトータルゲイン（８倍）の画像を同時に撮影する。また、第２のトータルゲイン（８倍）と第３のトータルゲイン（６４倍）の画像を同時に撮影する。これにより、トータルゲインが８倍異なる２枚の画像を得ることができる。なお、ここでは、ＦＤ容量ＣＦＤを１とした場合にＦＤ拡張容量Ｃｅｘが３となる例について説明する。
　第１のトータルゲイン（１倍）と第２のトータルゲイン（８倍）の画像を同時に撮影する場合、どちらもＦＤ拡張トランジスタＦＤｅｘｔをオンに設定し、ＦＤゲインを１倍とする。
　列回路２０４および列回路２１０は、列アンプ７００とＡ／Ｄ変換器のいずれかで画素信号を異なるゲインで増幅することが可能な構成を備えているが、本実施形態では、第１のトータルゲイン、第２のトータルゲイン、第３のトータルゲインのいずれが設定されても、Ａ／Ｄ変換器のＲＡＭＰゲインは１倍で変わらないものとする。なお、第１のトータルゲイン、第２のトータルゲイン、第３のトータルゲインの各々でＡ／Ｄ変換器のＲＡＭＰゲインを異ならせてもよい。
　また、第１のトータルゲイン（１倍）が設定された場合における、列回路２０４の列アンプ７００のゲインは１倍とする。第２のトータルゲイン（８倍）が設定された場合における、列回路２１０の列アンプ７００のゲインは８倍とする。
　これにより、第１のトータルゲイン(１倍)と第２のトータルゲイン(８倍)の画像を同時に撮影することができる。
　続いて、第２のトータルゲインと第３のトータルゲインの画像を同時に撮影する場合について説明する。
　第２のトータルゲイン（８倍）と第３のトータルゲイン（６４倍）の画像を同時に撮影する場合、どちらもＦＤ拡張トランジスタＦＤｅｘｔをオフに設定し、ＦＤゲインを４倍とする。
　そして、第２のトータルゲイン（８倍）が設定された場合における、列回路２０４の列アンプ７００のゲインは２倍とする。第３のトータルゲイン（６４倍）が設定された場合における、列回路２１０の列アンプ７００のゲインは１６倍とする。
　これにより、第２のトータルゲイン（８倍）と第３のトータルゲイン（６４倍）の画像を同時に撮影することができる。
　次に、ＨＤＲ撮影における、ＦＤ拡張トランジスタＦＤｅｘｔの設定と、２枚の画像の露出決定方法と合成方法の関係について説明する。以下では、高輝度のＳ／Ｎ比を優先した設定、低輝度のＳ／Ｎ比を優先した設定、高輝度と低輝度両方のＳ／Ｎ比を改善する設定について説明する。
　まず、高輝度のＳ／Ｎ比を優先した設定について図７を用いて説明する。
　高輝度のＳ／Ｎ比を優先したＨＤＲ撮影では、ＦＤ拡張トランジスタＦＤｅｘｔをオンに設定する。また、相対的に増幅率が大きい第２のゲインが設定された列回路２１０により増幅された画像信号が適正露出となるように、レンズ制御部１１２で絞りの開き量、撮像素子１０２の露光時間を設定する。この場合、相対的に増幅率が小さい第１のゲインが設定された列回路２０４により増幅された画像信号はアンダー露出となる。
　図７の横軸は撮像素子に入射する被写体の光量、つまり入力輝度を示し、縦軸は列回路の出力値を示す。ＦＤ拡張トランジスタＦＤｅｘｔをオンに設定することにより、ＦＤ部でより多くの電荷を蓄積可能であり、列回路２０４に設定されるゲインは列回路２１０に設定されるゲインよりも低いため、入力輝度が高い被写体を撮影できる。
　列回路２０４により増幅された画像信号と列回路２１０により増幅された画像の合成は、それぞれ楕円で囲われた範囲の画像信号を用いて画像処理部１０４により行われる。列回路２１０により増幅された画像信号である適正露出画像の低輝度部と、列回路２０４により増幅された画像信号をガンマ補正したアンダー露出画像の高輝度部を合成することで、高輝度側のダイナミックレンジを伸ばし、Ｓ／Ｎ比を改善することが可能となる。
　次に、低輝度のＳ／Ｎ比を優先した設定について図８を用いて説明する。
　低輝度のＳ／Ｎ比を優先したＨＤＲ撮影では、ＦＤ拡張トランジスタＦＤｅｘｔをオンに設定する。また、相対的に増幅率が小さい第１のゲインが設定された列回路２０４により増幅された画像信号が適正露出となるように、レンズ制御部１１２で絞りの開き量、撮像素子１０２の露光時間を設定する。この場合、相対的に増幅率が大きい第２のゲインが設定された列回路２１０により増幅された画像信号はオーバー露出となる。
　ＦＤ拡張トランジスタＦＤｅｘｔをオンに設定することにより、ＦＤ部でより多くの電荷を蓄積可能であり、列回路２０４に設定されるゲインは列回路２１０に設定されるゲインよりも低いため、入力輝度が高い被写体を撮影できる。
　列回路２０４により増幅された画像信号と列回路２１０により増幅された画像信号の合成は、それぞれ楕円で囲われた範囲の画素信号を用いて画像処理部１０４により行われる。列回路２１０により増幅された画像信号であるオーバー露出の画像を適正露出相当になるようゲインダウンする補正を行うことで、ノイズの少ない画像を得ることができる。この低ノイズの画像と、列回路２０４により増幅された画像信号である適正露出の画像の高輝度部を合成することで、低輝度側のＳ／Ｎ比を改善することが可能となる。
　次に、高輝度と低輝度の両方のＳ／Ｎ比を改善する設定について図９を用いて説明する。
　高輝度と低輝度の両方のＳ／Ｎ比を改善するＨＤＲ撮影では、ＦＤ拡張トランジスタＦＤｅｘｔをオフに設定する。
　また、相対的に増幅率が大きい第２のゲインが設定された列回路２１０により増幅された画像信号が適正露出となるように、レンズ制御部１１２で絞りの開き量、撮像素子１０２の露光時間を設定する。この場合、相対的に増幅率が小さい第１のゲインが設定された列回路２０４により増幅された画像信号はアンダー露出となる。
　ＦＤ拡張トランジスタＦＤｅｘｔをオフに設定することにより、オンの場合よりもノイズの少ない画像を得ることができる。一方で電荷の蓄積量は減るため、列回路２０４で増幅された画像信号であるアンダー露出の画像は、図４で説明した場合ほど高い輝度の被写体を撮影することはできない。
　しかし、列回路２１０により増幅された画像信号である適正露出画像の低輝度部と、列回路２０４により増幅された画像信号をガンマ補正したアンダー露出画像の高輝度部を合成することで、低輝度と高輝度両方のＳ／Ｎ比を改善した画像を撮影することができる。
　なお、本実施形態では、ＨＤＲ撮影する際に、列回路２０４および列回路２１０において、列アンプ７００のゲインで８倍のゲイン差をつける例を示したが、ＲＡＭＰ７０６でゲイン差をつけてもよい。
　以上、高輝度または低輝度、高輝度と低輝度両方のＳ／Ｎ比を改善する撮像装置の制御方法について説明した。なお、撮像装置で撮影した画像の明るさに応じてＳ／Ｎ比を改善したい輝度を判断し、制御を切り替えてもよい。
　（他の実施形態）
　また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
　発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
　本願は、２０２２年２月２５日提出の日本国特許出願特願２０２２－０２８３８６、２０２２年１０月３日提出の日本国特許出願特願２０２２－１５９７１６を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (13)

  1. 　複数の画素が行列状に配置された画素部であって、それぞれの前記画素が、光電変換部と、該光電変換部から転送された信号の電荷を電圧に変換する電荷電圧変換部と、前記電荷電圧変換部の容量を拡張する拡張部とを備える、画素部と、
    　前記拡張部と前記電荷電圧変換部との接続を切り替える切り替え手段と、
    　同一の画素の信号を複数種類の増幅率で増幅して読み出すことが可能な読み出し手段と、を備え、
    　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記複数種類の増幅率でのそれぞれの読み出し動作について、前記拡張部と前記電荷電圧変換部の接続の切り替えの設定を同一にすることを特徴とする撮像装置。
  2. 　前記切り替え手段は、前記読み出し手段が、前記画素の信号を単一の増幅率で読み出す場合に、前記増幅率に応じて、前記拡張部と前記電荷電圧変換部との接続を切り替えることを特徴とする請求項１に記載の撮像装置。
  3. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記拡張部と前記電荷電圧変換部の接続の切り替えの設定を、前記単一の増幅率で増幅して読み出す場合と異ならせることを特徴とする請求項２に記載の撮像装置。
  4. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記拡張部と前記電荷電圧変換部が接続されるように設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
  5. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記拡張部と前記電荷電圧変換部が接続されないように設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
  6. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記拡張部と前記電荷電圧変換部の接続の切り替えの設定を、撮影する画像の明るさに応じて変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
  7. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、撮影する画像の高輝度のＳ／Ｎ比を優先する場合は、前記拡張部と前記電荷電圧変換部が接続されるように設定することをと特徴とする請求項６に記載の撮像装置。
  8. 　前記撮影する画像の高輝度のＳ／Ｎ比を優先する場合は、前記拡張部と前記電荷電圧変換部が接続されるように設定するとともに、前記複数種類の増幅率のうちの最も増幅率の大きい画像が適正露出となるように、前記画素部の露光を行うことを特徴とする請求項７に記載の撮像装置。
  9. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、撮影する画像の低輝度のＳ／Ｎ比を優先する場合は、前記拡張部と前記電荷電圧変換部が接続されるように設定することをと特徴とする請求項６に記載の撮像装置。
  10. 　前記撮影する画像の低輝度のＳ／Ｎ比を優先する場合は、前記拡張部と前記電荷電圧変換部が接続されるように設定するとともに、前記複数種類の増幅率のうちの最も増幅率の小さい画像が適正露出となるように、前記画素部の露光を行うことを特徴とする請求項９に記載の撮像装置。
  11. 　前記切り替え手段は、前記読み出し手段が、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、撮影する画像の高輝度と低輝度の両方のＳ／Ｎ比を改善する場合は、前記拡張部と前記電荷電圧変換部が接続されないように設定することをと特徴とする請求項６に記載の撮像装置。
  12. 　前記撮影する画像の高輝度と低輝度の両方のＳ／Ｎ比を改善する場合は、前記拡張部と前記電荷電圧変換部が接続されないように設定するとともに、前記複数種類の増幅率のうちの最も増幅率の大きい画像が適正露出となるように、前記画素部の露光を行うことを特徴とする請求項１１に記載の撮像装置。
  13. 　複数の画素が行列状に配置された画素部であって、それぞれの前記画素が、光電変換部と、該光電変換部から転送された信号の電荷を電圧に変換する電荷電圧変換部と、前記電荷電圧変換部の容量を拡張する拡張部とを備える、画素部を備える撮像装置を制御する方法であって、
    　前記拡張部と前記電荷電圧変換部との接続を切り替える切り替え工程と、
    　同一の画素の信号を複数種類の増幅率で増幅して読み出すことが可能な読み出し工程と、を有し、
    　前記切り替え工程では、前記読み出し工程において、同一の画素の信号を複数種類の増幅率で増幅して読み出す場合に、前記複数種類の増幅率でのそれぞれの読み出し動作について、前記拡張部と前記電荷電圧変換部の接続の切り替えの設定を同一にすることを特徴とする撮像装置の制御方法。
PCT/JP2023/000153 2022-02-25 2023-01-06 撮像装置及びその制御方法 WO2023162483A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022028386 2022-02-25
JP2022-028386 2022-02-25
JP2022-159716 2022-10-03
JP2022159716A JP2023124783A (ja) 2022-02-25 2022-10-03 撮像装置及びその制御方法

Publications (1)

Publication Number Publication Date
WO2023162483A1 true WO2023162483A1 (ja) 2023-08-31

Family

ID=87765380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000153 WO2023162483A1 (ja) 2022-02-25 2023-01-06 撮像装置及びその制御方法

Country Status (1)

Country Link
WO (1) WO2023162483A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061192A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 固体撮像装置及びその駆動方法
JP2019220944A (ja) * 2018-06-19 2019-12-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061192A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 固体撮像装置及びその駆動方法
JP2019220944A (ja) * 2018-06-19 2019-12-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
US10771718B2 (en) Imaging device and imaging system
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP4448888B2 (ja) 撮像装置及び撮像装置の信号処理方法
JP4622790B2 (ja) 撮像素子および撮像装置
US20100194922A1 (en) Image pickup apparatus and image pickup method
JP2009177749A (ja) 固体撮像装置
JP2008263546A (ja) 固体撮像装置、固体撮像装置の駆動方法、及びこれを用いた撮像システム
US8149308B2 (en) Solid-state image pickup device
US11936987B2 (en) Image capturing apparatus
KR20150067392A (ko) 고체촬상소자 및 촬상장치
JP2011055351A (ja) 撮影装置及びその制御方法
JP5885431B2 (ja) 撮像素子及び撮像装置
US7924334B2 (en) Solid-state imaging apparatus and imaging system using the same
JP2021022921A (ja) 撮像素子、撮像装置、および制御方法
CN111800591A (zh) 摄像元件及其控制方法和摄像装置
WO2023162483A1 (ja) 撮像装置及びその制御方法
JP2023124783A (ja) 撮像装置及びその制御方法
WO2023162469A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP4984517B2 (ja) 撮像ユニット及び撮像装置
JP2020057882A (ja) 撮像装置
JP2020028115A (ja) 撮像装置
WO2024070285A1 (ja) 撮像装置及び撮像素子の制御方法、及び電子機器
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP6798532B2 (ja) 撮像素子及び撮像装置
JP2018019268A (ja) 撮像装置、撮像システムおよび撮像装置の駆動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23759489

Country of ref document: EP

Kind code of ref document: A1