WO2023162470A1 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- WO2023162470A1 WO2023162470A1 PCT/JP2022/048564 JP2022048564W WO2023162470A1 WO 2023162470 A1 WO2023162470 A1 WO 2023162470A1 JP 2022048564 W JP2022048564 W JP 2022048564W WO 2023162470 A1 WO2023162470 A1 WO 2023162470A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gain
- analog
- control
- image
- digital
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Definitions
- the present invention relates to an imaging device and its control method.
- Patent Document 1 discloses an imaging device capable of reading out a signal obtained by amplifying the output signal of the same pixel with a first analog gain and a signal amplified with a second analog gain. Then, an image with an expanded dynamic range can be obtained by using the image with the first gain and the image with the second gain.
- the present invention has been made in view of the above-mentioned problems, and provides an imaging apparatus capable of acquiring a dynamic range-enlarged image with little variation in noise feeling regardless of the set shooting sensitivity.
- An imaging apparatus includes analog amplification means for amplifying one pixel signal with a plurality of types of analog gains, digital amplification means for amplifying the one pixel signal with a plurality of types of digital gains, and analog gains only.
- the analog amplification means performs the first control for amplifying the pixel signal with the first gain and the second gain, and the target gain can be obtained only with the analog gain.
- a control means for controlling to perform a second control for amplifying the pixel signal with the first gain and the second gain by using the analog amplification means and the digital amplification means when there is no analog amplification means and the digital amplification means; is provided.
- FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment of the present invention
- FIG. 2 is a diagram showing the configuration of an imaging element used in an imaging apparatus
- FIG. 2 is a diagram showing the configuration of one pixel of an image sensor
- FIG. 4 is a diagram showing the configuration of a column circuit; The figure which shows the structure of an analog-digital converter. 4 is a flow chart showing a photographing operation in the first embodiment
- 9 is a flow chart showing a photographing operation in the second embodiment
- 9 is a flow chart showing a photographing operation in the third embodiment
- FIG. 1 is a block diagram showing the configuration of an imaging device 150 according to the first embodiment of the invention.
- the first lens 100 is arranged at the tip of the imaging optical system 120 .
- the aperture 101 is driven by an aperture actuator 118, which will be described later, and adjusts the aperture diameter to adjust the amount of light during photography.
- the second lens 102 and the third lens 103 are driven by a focus actuator 116, which will be described later, and adjust the focus of the imaging optical system 120 by advancing and retreating in the optical axis direction.
- the focal plane shutter 104 is driven by a shutter drive circuit 114, which will be described later, and adjusts the exposure time of the image sensor 106 during still image shooting.
- the image sensor 106 may have an electronic shutter function, and may be configured to adjust the exposure time with a control pulse.
- the optical low-pass filter 105 is provided to reduce false colors and moiré in the captured image.
- the imaging device 106 converts the optical image of the subject formed by the imaging optical system 120 into an electrical signal.
- the imaging device 106 is controlled by a CPU 109 which will be described later.
- a DSP (Digital Signal Processor) 107 performs image processing such as correction processing and HDR synthesis processing (HDR image generation processing) on image data captured by the imaging device 106 .
- the DSP 107 also has a function (digital amplification function) of applying multiple types of digital gains to pixel signals (details of which will be described later) output from the imaging element 106 and amplified with multiple types of analog gains.
- the RAM 108 has the function of signal holding means for holding the output data of the image sensor 106, the function of image data storage means for storing image data processed by the DSP 107, and the function of a work memory when the CPU 109, which will be described later, operates.
- these functions are implemented by the RAM 108, but other types of memory may be used as long as the access speed is sufficiently high and the operation is not problematic.
- the RAM 108 is arranged outside the DSP 107 and the CPU 109 , but part or all of its functions may be built in the DSP 107 or the CPU 109 .
- the CPU 109 comprehensively controls the operation of the imaging device 150 .
- the CPU 109 executes programs for controlling each unit of the imaging device 150 . That is, it also has a function of controlling the focus drive circuit 115 using the result of the correlation calculation output from the DSP 107 and adjusting the focus of the photographic optical system 120 .
- the CPU 109 serves as the focus detection unit, but it may be provided inside the image sensor 106 .
- the display unit 110 displays captured still images, moving images, menus, and the like.
- An operation unit 111 instructs the CPU 109 to set a photographing command and photographing conditions input by a user.
- a recording medium 112 is a detachable recording medium for recording still image data and moving image data.
- the ROM 113 stores programs that are loaded and executed by the CPU 109 to control the operation of each unit.
- the shutter drive circuit 114 drives and controls the focal plane shutter 104 based on the output of the CPU 109 .
- the focus driving circuit 115 is focal position changing means for changing the focal position of the imaging optical system 120 .
- the focus actuator 116 is controlled based on the output of the CPU 109 to drive the second lens 102 and the third lens 103 forward and backward in the optical axis direction for focus adjustment.
- the aperture drive circuit 117 controls the aperture of the aperture 101 by controlling the aperture actuator 118 based on the output of the CPU 109 .
- FIG. 2 is a diagram showing an example of the circuit configuration of the imaging device 106.
- a plurality of pixels 200 are arranged in a matrix in the pixel array 250 .
- R means red
- G means green
- B means that a blue color filter is arranged on the pixel.
- R(G, B)m_n indicates the pixel on the m-th row and n-th column in the pixel section 250 .
- pixels in odd rows are connected to column output lines 202 and pixels in even rows are connected to column output lines 206 .
- the column output line 202 is connected to the column circuit 203 and the column output line 206 is connected to the column circuit 207.
- a column circuit switch 205 is provided between the column output line 202 and the column output line 206 .
- the column circuit switch 205 When the column circuit switch 205 is turned on, the pixel signals output from the odd-numbered pixels 200 are input to the column circuits 203 and 207 via the column output line 202 and the column circuit switch 205, respectively. Similarly, pixel signals output from pixels 200 in even rows are also input to column circuits 203 and 207 via column output lines 206 and column circuit switches 205, respectively. When the column circuit switch 205 is turned on, the signals of the pixels 200 in the odd rows and the signals of the pixels 200 in the even rows are read alternately and sequentially.
- a photodiode (hereinafter abbreviated as PD) 301 photoelectrically converts incident light and accumulates electric charges according to the amount of incident light.
- the transfer switch 302 transfers the charges accumulated in the PD 301 to the floating diffusion section 303 when the drive signal tx is at High level.
- floating diffusion is described as FD.
- the FD section 303 is connected to the gate of the transistor forming the FD amplifier 304 .
- the FD amplifier 304 converts the amount of charge transferred from the PD 301 into a voltage value.
- the FD reset switch 305 is a switch element for resetting the FD section 303, and resets the FD section 303 when the drive signal res is at High level.
- both the transfer switch 302 and the FD reset switch 305 are turned on, and the PD 301 is reset via the FD section 303 .
- the FDinc switch 307 is turned on when the drive signal fdinc is at High level, and connects the additional capacitor 308 to the FD section 303 . Also, when the level of the drive signal fdinc is at Low level, the FDinc switch 307 is turned off, and the additional capacitor 308 and the FD section 303 are disconnected. As a result, the capacitance generated in the FD section 303 changes. In other words, the FDinc switch 307 and the additional capacitor 308 function as capacitance variable means for varying the capacitance value of the input node.
- the FDinc switch 307 By turning on/off the FDinc switch 307, the conversion ratio of the output voltage of the FD amplifier 304 to the charge transferred to the FD section 303, that is, the gain (hereinafter referred to as FD gain) can be switched.
- the additional capacitor 308 When the additional capacitor 308 is connected to the FD section 303, the capacitance value increases and the gain becomes smaller than when it is not connected.
- the imaging device 150 of the present embodiment can change the amount of charge held in the FD unit 303 according to the drive signal fdinc and switch the gain of the pixel 200 (analog amplification function). Therefore, it is possible to output a plurality of types of analog gains.
- the pixel selection switch 306 outputs the pixel signal vout converted into a voltage by the FD amplifier 304 when the drive signal sel is at High level.
- Output signals of the pixels 200 are input to the column circuits 203 and 207 via the column output lines 202 and 206 for each column as described above.
- one pixel 200 is connected to one column output line, but one pixel 200 may be connected to a plurality of column output lines.
- two column circuits 203 and 207 can be connected to one column output line, and the output signal of one pixel 200 can be output from a plurality of types. It becomes possible to amplify with different analog gains.
- An output signal vout from the pixel 200 is input to the column circuit 203 via the column output line 202 .
- a column output line 202 provided for each column is grounded via a current source 204 .
- a source follower circuit is configured by the current source 204 and the FD amplifier 304 of the pixel 200 connected to the column output line 202 .
- the clamp capacitor 401 has a capacitance C1 and the feedback capacitor 402 has a capacitance C2.
- An output signal vout of the pixel 200 is input to the inverting input terminal of the operational amplifier 403 via the clamp capacitor 401 .
- a reference voltage Vref is supplied to the non-inverting input terminal of the operational amplifier 403 .
- a switch 404 is connected in parallel with the feedback capacitor 402 connected to the inverting input terminal and output terminal of the operational amplifier 403 .
- a switch 404 is a switch element for short-circuiting both ends of the feedback capacitor 402, and is controlled by a drive signal cfs. Since the gain setting can be changed by on/off control of the switch 404, it is possible to output signals amplified with a plurality of types of analog gains.
- the S signal transfer switch 405 is a switch element for transferring the pixel signal (S signal) read out from the pixel 200 to the S signal holding capacitor 407 .
- S signal pixel signal
- the N signal transfer switch 406 is a switch element for transferring the noise signal (N signal) read out from the pixel 200 to the N signal holding capacitor 408 .
- N signal noise signal
- the S signal held in the S signal holding capacitor 407 is output as the output voltage vs
- the N signal held in the N signal holding capacitor 408 is output as the output voltage vn.
- the difference between the output voltage vs of the S signal and the output voltage vn of the N signal is converted into a digital signal by an AD converter (analog-digital converter), which will be described later.
- Driving signals such as cfs, ts, and tn are supplied from the TG 210 to the column circuit 203 under the control of the CPU 109 .
- FIG. 5 is a diagram showing the configuration of an AD converter.
- the AD converter has a comparator 801 , a counter circuit 802 , a latch circuit 803 and an arithmetic circuit 804 .
- a ramp signal generator 806 (hereinafter referred to as RAMP) is a circuit that generates a ramp signal that changes with time.
- the comparator 801 compares the pixel signal amplified by the analog amplification function of the column circuit 203 described with reference to FIG. Outputs an inverted signal at the timing.
- the counter circuit 802 performs a count operation based on the clock supplied from the connected counter control line pCNT.
- the counter circuit 802 starts counting at the timing when the comparator 801 starts comparing the pixel signal and the ramp signal, and outputs a count value at the timing when the output of the comparator 801 is inverted.
- the latch circuit 803 temporarily holds the count value output by the counter circuit 802 and outputs the held count value based on control via the connected latch control line pLTC.
- the arithmetic circuit 804 stores the count value output by the latch circuit 803 as a pixel digital signal based on control via the connected arithmetic control line pCAL. In addition, the arithmetic circuit 804 outputs the stored digital signal of the pixel.
- the gain setting in the AD converter will be explained.
- the pixel signals may be amplified with different gains during AD conversion by changing the time change of the ramp signal in the AD converter in the subsequent stage. good. That is, if the time change of the ramp signal is slow, the inversion of the output of the comparator 801 is delayed and the count value is increased. Since the rate of change of the ramp signal over time corresponds to the amplification factor of the output signal of the unit pixel 200, this is called a RAMP gain, and the RAMP gain can be switched by changing the degree of change over time.
- the image data output from the column circuit 203 or the column circuit 207 is held in the memory 211 according to the write signal memwr output from the timing generator (TG) 210 .
- the image data held in the memory 211 are sequentially transferred to the data output section 213 by scanning of the horizontal scanning circuit 212 .
- a data output unit 213 outputs image data to the outside of the image sensor 106 by a transmission method such as LVDS (Low Voltage Differential Signaling).
- FIG. 6 is a flowchart for explaining the HDR shooting operation in the imaging device of the first embodiment.
- the operations of this flowchart are implemented by the CPU 109 executing a program stored in the ROM 113 .
- the output signal of the same pixel 200 obtained by one exposure is amplified with different analog gains to acquire a HIGH image and a LOW image, thereby performing HDR imaging.
- HDR imaging is started in response to a user's imaging instruction from the operation unit 111 .
- step S500 the CPU 109 controls the shutter drive circuit 114 according to the user's instruction input from the operation unit 111 to open and close the shutter 104, expose the image sensor 106 once, and obtain an image signal.
- step S501 the CPU 109 determines whether the currently set shooting sensitivity is the first sensitivity.
- the first sensitivity is set when the target gain (hereinafter referred to as the main gain) can be obtained only with the analog gain.
- the analog gain shown here indicates a gain for obtaining the main gain, and a digital gain may be used for the gain used for fine adjustment or the like.
- step S502 When it is determined that the currently set shooting sensitivity is the first sensitivity, the process proceeds to step S502, and when it is determined that it is different from the first sensitivity, the process proceeds to step S510.
- step S502 the CPU 109, in accordance with a user instruction from the operation unit 111, calculates the step number difference (gain ratio) between the high-gain image (HIGH image) and the low-gain image (LOW image) required for HDR synthesis processing. ). For example, when the step number difference between the HIGH image and the LOW image is set to "3", the HIGH image is set to gain 8 times, and the LOW image is set to gain 1 time.
- the combination pattern of the gains of the HIGH image and the LOW image may be analog gains that can be set inside the image sensor 106 . That is, in the above explanation, the gain of the HIGH image is 8 times and the gain of the LOW image is 1 time. But I don't mind.
- step S503 the CPU 109 sets analog gains for the HIGH image and the LOW image based on the gain step difference between the HIGH image and the LOW image determined in step S502.
- the analog gain of the HIGH image is called “A setting”
- the analog gain of the LOW image is called “B setting”.
- a setting is a gain setting such as an 8-fold analog gain
- B setting is a 1-fold analog gain.
- analog gains obtained by using the additional capacitance 308 and the feedback capacitance 402 are assumed for both the HIGH image and the LOW image at the first sensitivity.
- the present invention is not limited to this, and other means for setting the analog gain may be selected.
- step S504 the HIGH image and the LOW image are respectively read out with the gain set in step S503.
- the column circuit switch 205 is turned on as described above, and the output signal of one pixel 200 obtained by one exposure (single exposure) is amplified with different analog gains using the column circuits 203 and 207. By doing so, it is possible to read out each of the HIGH image and the LOW image.
- step S505 the CPU 109 performs HDR synthesis processing using the read HIGH and LOW images to obtain an image with an expanded dynamic range.
- step S506 the CPU 109 determines whether or not HDR imaging should be continued.
- step S501 If it is determined in step S501 that the currently set shooting sensitivity is different from the first sensitivity, the process proceeds to step S510.
- step S510 the CPU 109 determines whether the currently set shooting sensitivity is the second sensitivity. For example, in a relatively dark environment where sunlight or natural light does not enter, such as indoors, if analog gain and digital gain are used together and digital gain is used to compensate for the lack of analog gain, this gain can be obtained. , a second sensitivity is set.
- step S511 When it is determined that the currently set shooting sensitivity is the second sensitivity, the process proceeds to step S511, and when it is determined that it is different from the second sensitivity, the process returns to step S501.
- both the analog gain and the digital gain are used to obtain the main gain, but the digital gain used for fine adjustment or the like may also be applied.
- step S511 the CPU 109 determines the step number difference (gain ratio) between the HIGH image and the LOW image required for HDR synthesis processing, in accordance with the user's instruction from the operation unit 111, as in step S502. For example, when the step number difference between the HIGH image and the LOW image is set to "3", the HIGH image is set to gain 8 times, and the LOW image is set to gain 1 time.
- the combination pattern of the gains of the HIGH image and the LOW image may be any gain that can be set inside the image sensor 106 or by the DSP 107 . That is, in the above description, the gain of the HIGH image is 8 times and the gain of the LOW image is 1 time, but a combination of three steps such as 64 times the gain of the HIGH image and 8 times the gain of the LOW image may be used.
- step S512 the CPU 109 sets the analog gains of the HIGH image and the LOW image in the column circuits 203 and 207 based on the gain level difference between the HIGH image and the LOW image determined in step S511.
- the analog gain of the HIGH image is called "A setting”
- the analog gain of the LOW image is called "B setting”.
- the A setting is set to the maximum value obtained by the analog gain.
- analog gain is applied by the additional capacitor 308, the feedback capacitor 402, etc. for both the HIGH image and the LOW image at the second sensitivity.
- step S513 the CPU 109 sets digital gains for the HIGH image and the LOW image.
- the digital gain of the HIGH image is called “C setting”
- the digital gain of the LOW image is called “D setting”.
- digital gain is applied to both the HIGH image and the LOW image at the second sensitivity using a DSP or the like, but the present invention is not limited to this, and may be applied inside the image sensor 106. .
- the analog gain "A setting" determined in step S512 is the maximum value of the analog gain as described above, so it is multiplied by 32.
- the step determined in step S511 is three steps, the "B setting" is multiplied by four. Therefore, in order to obtain this gain, it is necessary to set a double digital gain for each of the HIGH image and the LOW image. That is, the "C setting" of the digital gain is set to double, and the "D setting" is set to double.
- both HIGH and LOW images are obtained by using both analog gain and digital gain. Therefore, it is possible to maintain the gain level difference between the HIGH image and the LOW image regardless of the set photographic sensitivity, and obtain an image with an expanded dynamic range and less variation in noise sensation.
- FIG. 7 is a flowchart for explaining the HDR shooting operation in the imaging device of the second embodiment.
- the operations of this flowchart are implemented by the CPU 109 executing a program stored in the ROM 113 .
- the HDR shooting setting is started by the user's shooting instruction from the operation unit 111 .
- Steps S600 to S606, steps S610, and S611 are the same as steps S500 to S506, steps S510, and S511 shown in the first embodiment, so description thereof will be omitted.
- step S612 the CPU 109 determines whether or not to maintain the analog gain ratio between the HIGH image and the LOW image at the first sensitivity according to the shooting mode and shooting conditions. For example, when the shooting mode is a continuous shooting mode such as a moving image, if the analog gain ratio differs between frames, the sense of noise differs between frames, and the screen may appear to flicker.
- analog gain and digital gain are compared, there is less noise when amplifying using analog gain than when amplifying using digital gain. This is because the analog gain can be applied relatively before the imaging element 106, so that the influence of circuit noise and the like is small. Therefore, in the above case, it is possible to obtain a moving image with less flickering by maintaining the analog gain ratio.
- the analog gain when acquiring the LOW image can also be used up to the maximum gain. For example, when shooting still images one by one, differences in noise are less noticeable depending on the shooting sensitivity, and analog gain can be used up to the maximum gain when acquiring LOW images, resulting in images with reduced noise. can.
- the example shown above is merely an example, and it may be determined whether or not to maintain the analog gain ratio according to other shooting modes and shooting conditions.
- step S613 if the analog gain ratio between the HIGH image and the LOW image with the first sensitivity is to be maintained, the process proceeds to step S613, and if the analog gain ratio is not to be maintained, the process proceeds to step S615.
- step S613 the CPU 109 maintains the analog gain ratio between the HIGH image and the LOW image at the setting used at the first sensitivity.
- step S512 the same processing as in step S512 is performed, and the same processing as in step S513 is performed in the next step S614.
- the analog gain when acquiring a HIGH image is set to "A setting", and when acquiring a LOW image, The analog gain is set to "B setting". Also, let the digital gain for acquiring a HIGH image be "C setting” and the digital gain for acquiring a LOW image be "D setting”.
- step S615 the analog gain when obtaining a HIGH image is set to "E setting", the analog gain when obtaining a LOW image is set to "F setting", and an analog gain ratio different from the first sensitivity is set.
- the analog gain when acquiring the LOW image may be used to the limit, and the gain difference due to the analog gain may be eliminated.
- step S616 the step number difference between the HIGH image and the LOW image determined in step S611 is set to be compensated by using the digital gain.
- the digital gain when obtaining a HIGH image is set as "G setting”
- the digital gain when obtaining a LOW image is set as "H setting”.
- the difference in noise feeling is less noticeable depending on the shooting sensitivity, and the analog gain can be used to the limit for LOW images, so noise is reduced. A reduced image can be obtained.
- the second sensitivity when the second sensitivity is set during HDR shooting, whether or not to maintain the analog gain ratio between the HIGH image and the LOW image when the first sensitivity is set is It can be changed according to the shooting mode and shooting conditions.
- the analog gain ratio When the analog gain ratio is maintained, it is possible to obtain an image with an expanded dynamic range and little variation in noise feeling regardless of the shooting sensitivity.
- the analog gain ratio when changing the analog gain ratio, it is possible to reduce the noise of the LOW image, and it is possible to obtain an image with less noise and an expanded dynamic range.
- the parameters for image correction whose characteristics change according to the amount of analog gain need to be switched in the same manner as the analog gain ratio. For example, there is a possibility that the linearity of the luminance output differs between when the analog gain is 1 ⁇ and when the analog gain is 64 ⁇ , and it is necessary to perform correction to match the linearity according to the analog gain amount.
- FIG. 8 is a flowchart for explaining the shooting operation in the imaging device of the third embodiment. The operations of this flowchart are implemented by the CPU 109 executing a program stored in the ROM 113 . HDR imaging is started in response to a user's imaging instruction from the operation unit 111 .
- steps S700 to S706 and steps S710 to S716 are the same as steps S600 to S606 and steps S610 to S616 shown in the second embodiment, descriptions thereof will be omitted.
- step S720 when the set shooting sensitivity is the second sensitivity and it is determined in step S712 to maintain the analog gain ratio between the HIGH image and the LOW image at the first sensitivity will be described. Note that the judgment criteria in step S712 are the same as those in step S612 of FIG.
- step S713 and S714 the analog gains of the HIGH image and the LOW image are set to "A setting” and “B setting", respectively, and the digital gains are set to "C setting” and “D setting”, respectively.
- the image correction parameter to be changed according to the gain setting is "X” like the linearity correction of the luminance output as described above.
- "X” at this time is a parameter corresponding to the analog gain "A setting” when obtaining a HIGH image and the analog gain "B setting" when obtaining a LOW image.
- step S721 when the set shooting sensitivity is the second sensitivity and it is determined in step S712 to set a gain ratio different from the analog gain ratio of the HIGH image and the LOW image at the first sensitivity will be described. do.
- step S715 and S716 the analog gains when obtaining the HIGH image and the LOW image are set to "E setting” and “F setting”, respectively, and the digital gains are set to "G setting” and “H setting”, respectively.
- the image correction parameter to be changed according to the gain setting is "Y", like the linearity correction of the luminance output as described above.
- the correction parameter is switched depending on whether to maintain the analog gain ratio between the HIGH image and the LOW image at the first sensitivity. becomes possible. Therefore, it is possible to acquire a high-quality image with an expanded dynamic range.
- the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
- a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
- ASIC application specific integrated circuit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本発明は、撮影感度によらず画面内でノイズ感のバラつきの少ないダイナミックレンジを拡大した画像を取得できる撮像装置を提供する。 撮像装置は、1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅部と、1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅部と、アナログゲインのみで目標とするゲインが得られる場合には、アナログ増幅部により画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、アナログ増幅部とデジタル増幅部とを用いて、画素信号を第1のゲインと第2のゲインで増幅する第2の制御を行うように制御する制御部とを備える。
Description
本発明は、撮像装置及びその制御方法に関する。
従来、一般的なデジタルカメラに使われているCCDイメージセンサや、CMOSイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。
特許文献1には、同一画素の出力信号を第1のアナログゲインで増幅した信号と第2のアナログゲインで増幅した信号とを読み出すことが可能な撮像装置が開示されている。そして、第1のゲインの画像と第2のゲインの画像を用いてダイナミックレンジを拡大した画像を取得することができる。
しかしながら、上記の特許文献1に記載された方法では、ダイナミックレンジ拡大を行う際の増幅率が第1および第2のゲインに限られているため、様々な撮影感度におけるダイナミックレンジ拡大処理には対応していない。
本発明は上述した課題に鑑みてなされたものであり、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得できる撮像装置を提供する。
本発明に係わる撮像装置は、1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御手段と、を備えることを特徴とする。
本発明によれば、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得することが可能となる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図。
撮像装置で使用される撮像素子の構成を示す図。
撮像素子の1画素の構成を示す図。
列回路の構成を示す図。
アナログ-デジタル変換器の構成を示す図。
第1の実施形態における撮影動作を示すフローチャート。
第2の実施形態における撮影動作を示すフローチャート。
第3の実施形態における撮影動作を示すフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置150の構成を示すブロック図である。
図1は、本発明の第1の実施形態に係わる撮像装置150の構成を示すブロック図である。
図1において、第1レンズ100は、撮影光学系120の先端に配置されている。絞り101は、後述する絞りアクチュエータ118によって駆動され、その開口径を調節することにより撮影時の光量調節を行う。第2レンズ102、第3レンズ103は、後述するフォーカスアクチュエータ116によって駆動され、光軸方向に進退することにより、撮影光学系120の焦点を調節する。
フォーカルプレーンシャッタ104は、後述するシャッタ駆動回路114によって駆動され、静止画撮影時に撮像素子106の露光秒時を調節する。なお、撮像素子106が電子シャッタ機能を有し、制御パルスで露光秒時を調節するように構成されていてもよい。光学的ローパスフィルタ105は、撮影画像の偽色やモアレを低減するために設けられている。撮像素子106は、撮影光学系120で形成された被写体の光学像を電気信号に変換する。撮像素子106は、後述するCPU109によって制御される。
DSP(Digital Signal Processor)107は、撮像素子106で撮影された画像データの、補正処理、HDR合成処理(HDR画像生成処理)等の画像処理を行う。また、DSP107は、撮像素子106から複数種類のアナログゲインで増幅された出力された画素信号(詳細については後述する)に対して複数種類のデジタルゲインをかける機能(デジタル増幅機能)を有する。
ここで、本実施形態では、複数種類のデジタルゲインをDSP107でかける場合について説明するが、撮像素子106の内部で複数種類のデジタルゲインをかける構成でも構わない。RAM108は、撮像素子106の出力データを保持する信号保持手段の機能と、DSP107で処理された画像データを記憶する画像データ記憶手段の機能と、後述のCPU109が動作を行う際のワークメモリの機能を兼備する。
なお、本実施形態では、これらの機能をRAM108によって実現する構成であるが、アクセス速度が十分に速く動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また、本実施形態では、RAM108は、DSP107、CPU109の外部に配置されているが、その一部または全部の機能をDSP107やCPU109に内蔵する構成であってもよい。
CPU109は、撮像装置150の動作を統括的に制御する。CPU109は、撮像装置150の各部を制御するためのプログラムを実行する。すなわち、DSP107から出力される相関演算の結果を用いて、フォーカス駆動回路115を制御し、撮影光学系120の焦点を調節する機能も有する。本実施形態では、焦点検出部はCPU109が担っているが、撮像素子106の内部に設けられていてもよい。
表示部110は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部111は、ユーザにより入力される撮影命令や撮影条件等の設定をCPU109に対して指示する。記録媒体112は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ROM113は、CPU109が各部の動作を制御するためにロードして実行するプログラムを格納する。
CPU109の出力に基づいてシャッタ駆動回路114は、フォーカルプレーンシャッタ104を駆動制御する。フォーカス駆動回路115は、撮影光学系120の焦点位置を変更する焦点位置変更手段である。そして、CPU109の出力に基づいてフォーカスアクチュエータ116を制御し、第2レンズ102及び第3レンズ103を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路117は、CPU109の出力に基づいて絞りアクチュエータ118を制御して絞り101の開口を制御する。
図2は、撮像素子106の回路構成の一例を示す図である。画素配列250には、複数の画素200が行列状に配置されている。画素200の各々におけるRは赤色、Gは緑色、Bは青色のカラーフィルタが画素上に配置されることを意味する。また、R(G,B)m_n(m、nは任意の整数)は、画素部250における第m行第n列の画素であることを示す。また、同じ列の画素200のうち奇数行の画素は列出力線202に接続されており、偶数行の画素は列出力線206に接続されている。
列出力線202は列回路203に接続されており、列出力線206は列回路207に接続されている。また、列出力線202と列出力線206の間には、列回路スイッチ205が設けられている。
列回路スイッチ205がオフの場合、奇数行の画素200から出力される画素信号は、列出力線202を介して列回路203のみに入力される。偶数行の画素200から出力される画素信号も同様に、列出力線206を介して列回路207のみに入力される。列回路スイッチ205がオフの場合、奇数行の画素200の信号と偶数行の画素200の信号を同時に読み出すことができる。
また、列回路スイッチ205がオンの場合には、奇数行の画素200から出力される画素信号は、列出力線202および列回路スイッチ205を介して列回路203と列回路207にそれぞれ入力される。偶数行の画素200から出力される画素信号も同様に、列出力線206および列回路スイッチ205を介して列回路203と列回路207にそれぞれ入力される。列回路スイッチ205がオンの場合には、奇数行の画素200の信号と偶数行の画素200の信号が交互に順次読み出される。
各駆動信号RES、TX、SEL、FDINCは、垂直走査回路201から画素200にそれぞれ供給される。これらの駆動信号については、行に対応する数字を表す自然数m(=1,2,・・・,n)が付加されたRES_m、TX_m、SEL_m、FDINC_mと表記する。
ここで、画素200の構成について図3を用いて説明する。
フォトダイオード(以下、PDと略記する)301は、入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ302は、駆動信号txのレベルがHighレベルであるときに、PD301に蓄積されている電荷をフローティングディフュージョン部303に転送する。以下では、フローティングディフュージョンをFDと表記する。FD部303は、FDアンプ304を構成するトランジスタのゲートに接続されている。FDアンプ304は、PD301から転送される電荷量を電圧値に変換する。
FDリセットスイッチ305は、FD部303をリセットするためのスイッチ素子であり、駆動信号resのレベルがHighレベルであるときに、FD部303のリセットを行う。また、駆動信号txと駆動信号resのレベルを同時にHighレベルにすると、転送スイッチ302およびFDリセットスイッチ305の両方がオンとなって、FD部303を経由してPD301のリセットが行われる。
FDincスイッチ307は、駆動信号fdincのレベルがHighレベルであるときにオンになり、付加容量308をFD部303と接続する。また、駆動信号fdincのレベルがLowレベルであるときには、FDincスイッチ307がオフになり、付加容量308とFD部303とが非接続状態となる。これにより、FD部303に生じる容量が変化する。言い換えると、FDincスイッチ307および付加容量308は、入力ノードの容量値を可変とする容量可変手段として機能する。
FDincスイッチ307のオン・オフによって、FD部303に転送された電荷に対するFDアンプ304の出力電圧の変換比、すなわちゲイン(以下、FDゲインという)を切り替えることができる。付加容量308がFD部303に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べてゲインが小さくなる。
逆に、付加容量308とFD部303とが非接続状態になると静電容量値が減少し、接続状態と比べてゲインが大きくなる。このように、本実施形態の撮像装置150は、駆動信号fdincに応じてFD部303に保持される電荷量を可変とし、画素200のゲインを切り替える(アナログ増幅機能)ことができる。そのため、複数種類のアナログゲインの出力が可能となる。
画素選択スイッチ306は、駆動信号selのレベルがHighレベルであるときに、FDアンプ304で電圧に変換された画素信号voutを出力する。画素200の出力信号は、前述したように列ごとの列出力線202,206を介して列回路203,207に入力される。なお、本実施形態では、1つの画素200が1つの列出力線に接続されている構成であるが、1つの画素200が複数の列出力線に接続されていても構わない。また、列回路スイッチ205をオンで使用することで、1つの列出力線に対して2つの列回路203,207を接続することが可能であり、1つの画素200の出力信号を、複数種類の異なるアナログゲインで増幅することが可能となる。
次に、図4を参照して、列回路203の構成について説明する。なお、列回路207についても列回路203と同様の構成であるため、ここでは説明を省略する。画素200の出力信号voutは、列出力線202を介して列回路203に入力される。列ごとに設けられた列出力線202は電流源204を介して接地されている。電流源204と、列出力線202に接続された画素200のFDアンプ304とによってソースフォロワ回路が構成される。
列回路203において、クランプ容量401は静電容量C1を有し、フィードバック容量402は静電容量C2を有する。画素200の出力信号voutは、クランプ容量401を介して演算増幅器403の反転入力端子に入力される。演算増幅器403の非反転入力端子には基準電圧Vrefが供給される。
演算増幅器403の反転入力端子と出力端子に接続されたフィードバック容量402と並列にスイッチ404が接続されている。スイッチ404は、フィードバック容量402の両端をショートさせるためのスイッチ素子であり、駆動信号cfsにより制御される。スイッチ404のオン・オフ制御によってゲイン設定を変更することができるため、複数種類のアナログゲインで増幅した信号の出力が可能となる。
S信号転送スイッチ405は、画素200から読み出される画素信号(S信号)を、S信号保持容量407に転送するためのスイッチ素子である。駆動信号tsのレベルをHighレベルにすることにより、演算増幅器403で増幅されたS信号がS信号転送スイッチ405を介してS信号保持容量407に保持される。
N信号転送スイッチ406は、画素200から読み出されるノイズ信号(N信号)をN信号保持容量408に転送するためのスイッチ素子である。駆動信号tnのレベルをHighレベルにすることにより、演算増幅器403で増幅されたN信号がN信号転送スイッチ406を介してN信号保持容量408に保持される。
S信号保持容量407に保持されたS信号は出力電圧vsとして出力され、N信号保持容量408に保持されたN信号は出力電圧vnとして出力される。そして、S信号の出力電圧vsとN信号の出力電圧vnの差分が後述するAD変換器(アナログ-デジタル変換器)によってデジタル信号に変換される。cfs、ts、tn等の駆動信号は、CPU109の制御にしたがってTG210から列回路203に供給される。
図5は、AD変換器の構成を示す図である。AD変換器は、比較器801、カウンタ回路802、ラッチ回路803、および演算回路804を備えている。ランプ信号生成部806(以下RAMP)は、時間に対して変化するランプ信号を生成する回路である。
比較器801は、図4で説明した列回路203のアナログ増幅機能によって増幅された画素信号とランプ信号生成部806により生成されたランプ信号を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。
カウンタ回路802は、接続されているカウンタ制御線pCNTから供給されるクロックに基づいてカウント動作を行う。カウンタ回路802は、比較器801が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器801の出力が反転したタイミングでのカウント値を出力する。
ラッチ回路803は、カウンタ回路802が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線pLTCを介した制御に基づいて保持しているカウント値を出力する。
演算回路804は、接続されている演算制御線pCALを介した制御に基づいて、ラッチ回路803が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路804は記憶している画素のデジタル信号を出力する。
ここで、AD変換器におけるゲイン設定について説明する。上述したように列アンプ203、207におけるアナログゲインに限らず、後段のAD変換器でランプ信号の時間変化を変更することにより、画素信号のAD変換時に異なるゲインで増幅するように構成してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器801の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素200の出力信号の増幅率に相当するので、これをRAMPゲインと称し、時間変化の程度を変えることでRAMPゲインを切り替えることができる。
図2に戻り、列回路203または列回路207から出力される画像データは、タイミングジェネレータ(TG)210から出力される書き込み信号memwrに従ってメモリ211に保持される。メモリ211に保持された画像データは、水平走査回路212の走査によりデータ出力部213へ順次転送される。データ出力部213は、LVDS(Low Voltage Differential Signaling)等の伝送方式により、撮像素子106の外部へ画像データを出力する。
次に、第1の実施形態の撮像装置の動作について説明する。図6は、第1の実施形態の撮像装置におけるHDR撮影動作を説明するためのフローチャートである。このフローチャートの動作は、CPU109がROM113に記憶されているプログラムを実行することにより実現される。
本実施形態では、1回の露光(単一露光)で得られる同じ画素200の出力信号を異なるアナログゲインで増幅することで、HIGH画像とLOW画像を取得することで、HDR撮影を行うものである。操作部111からのユーザの撮影指示によりHDR撮影が開始される。
まず、ステップS500では、CPU109は、操作部111から入力されるユーザの指示に従ってシャッタ駆動回路114を制御することでシャッタ104を開閉し、撮像素子106を1回露光させて画像信号を取得する。
ステップS501では、CPU109は、現在設定されている撮影感度が第1の感度であるか否かを判断する。例えば、太陽光や自然光が入る比較的明るい環境において、アナログゲインのみで目標とするゲイン(以下、本ゲイン)を得ることができる場合には、第1の感度が設定される。なお、ここで示すアナログゲインとは本ゲインを得るためのゲインを指しており、微調整等に用いるゲインにはデジタルゲインを用いても構わない。
現在設定されている撮影感度が第1の感度であると判断された場合にステップS502へ進み、第1の感度と異なると判断された場合にはステップS510へ進む。
ステップS502では、CPU109は、操作部111からのユーザ指示に応じて、HDR合成処理に必要となる高ゲイン側の画像(HIGH画像)と低ゲイン側の画像(LOW画像)の段数差(ゲイン比)を決定する。例えば、HIGH画像とLOW画像の段数差を「3」と設定した場合に、HIGH画像に8倍のゲイン、LOW画像に1倍のゲインがかかるように設定する。
ここでは「3」段差を例として挙げているが、段数差はこれに限定されるものではない。また、HIGH画像とLOW画像のそれぞれのゲインの組み合わせパターンは、撮像素子106の内部で設定可能なアナログゲインであれば構わない。つまり、上記ではHIGH画像のゲインが8倍、LOW画像のゲインが1倍であるものとして説明したが、例えばHIGH画像のゲインが64倍、LOW画像のゲインが8倍というような3段差の組み合わせでも構わない。
ステップS503では、CPU109は、ステップS502で決定されたHIGH画像とLOW画像のゲイン段数差をもとに、HIGH画像とLOW画像のアナログゲインを設定する。ここでは、HIGH画像のアナログゲインを「A設定」、LOW画像のアナログゲインを「B設定」と呼ぶ。例えば、「A設定」は8倍のアナログゲイン、「B設定」は1倍のアナログゲインといったゲイン設定となる。
なお、本実施形態では、第1の感度においてHIGH画像、LOW画像ともに付加容量308やフィードバック容量402を使用することで得られるアナログゲインを想定している。しかし、本発明はこれに限定されるものではなく、アナログゲインを設定できる他の手段を選択してもよい。
ステップS504では、ステップS503で設定したゲインでHIGH画像とLOW画像それぞれの読み出しを行う。このとき、前述したように列回路スイッチ205をオンにし、1回の露光(単一露光)で得られる1つの画素200の出力信号を列回路203と列回路207を用いて異なるアナログゲインで増幅することで、HIGH画像とLOW画像それぞれの読み出しを可能にしている。
ステップS505では、CPU109は、読み出されたHIGH画像とLOW画像を用いたHDR合成処理を行い、ダイナミックレンジを拡大した画像を取得する。
ステップS506では、CPU109は、続けてHDR撮影を行うか否かを判断し、HDR撮影を行わない場合は終了し、続ける場合はステップS501へ戻る。
次に、現在設定されている撮影感度が第1の感度とは異なる場合について説明する。
ステップS501において、現在設定されている撮影感度が第1の感度とは異なると判断された場合、ステップS510へ進む。
ステップS510では、CPU109は、現在設定されている撮影感度が第2の感度であるか否かを判断する。例えば、室内などの太陽光や自然光が入らない比較的暗い環境において、アナログゲインとデジタルゲインを併用し、アナログゲインで足りない部分をデジタルゲインで補うことで本ゲインを得ることができる場合には、第2の感度が設定される。
現在設定されている撮影感度が第2の感度であると判断された場合にステップS511へ進み、第2の感度と異なると判断された場合にはステップS501へ戻る。
前述したように、第2の感度設定では、本ゲインを得るためにアナログゲインとデジタルゲインを併用するが、微調整等に用いるデジタルゲインをさらにかけても構わない。
ステップS511では、CPU109は、ステップS502と同様に、操作部111からのユーザ指示に従って、HDR合成処理に必要となるHIGH画像とLOW画像の段数差(ゲイン比)を決定する。例えば、HIGH画像とLOW画像の段数差を「3」と設定した場合に、HIGH画像に8倍のゲイン、LOW画像に1倍のゲインがかかるように設定する。
ここでは「3」段差を例として挙げているが、段数差はこれに限定されるものではない。また、HIGH画像とLOW画像のそれぞれのゲインの組み合わせパターンは、撮像素子106の内部またはDSP107で設定可能なゲインであれば構わない。つまり、上記ではHIGH画像のゲインが8倍、LOW画像のゲインが1倍としたが、HIGH画像のゲインが64倍、LOW画像のゲインが8倍といったような3段差の組み合わせでも構わない。
ステップS512では、CPU109は、ステップS511で決定されたHIGH画像とLOW画像のゲイン段数差をもとに、列回路203と列回路207にHIGH画像とLOW画像のアナログゲインを設定する。ここでは、HIGH画像のアナログゲインを「A設定」、LOW画像のアナログゲインを「B設定」と呼ぶ。このとき、A設定をアナログゲインで得られる最大値とする。本実施形態では、第2の感度においてHIGH画像、LOW画像ともに付加容量308やフィードバック容量402等でアナログゲインをかける。
ステップS513では、CPU109は、HIGH画像とLOW画像のデジタルゲインを設定する。ここで、HIGH画像のデジタルゲインを「C設定」、LOW画像のデジタルゲインを「D設定」と呼ぶ。なお、本実施形態では、第2の感度においてHIGH画像、LOW画像ともにDSP等でデジタルゲインをかけることを想定しているが、それに限定されるものではなく、撮像素子106内部でかけても構わない。
HIGH画像のゲインが64倍、LOW画像のゲインが8倍、HIGH画像とLOW画像のゲイン差が3段、アナログゲインの最大値が32倍である場合を考える。
ステップS512において決定したアナログゲイン「A設定」は、前述したようにアナログゲインの最大値となるので32倍となる。また、「B設定」はステップS511において決定した段差が3段差であるため、4倍となる。したがって本ゲインを得るためには、HIGH画像、LOW画像それぞれに2倍のデジタルゲインを設定する必要がある。つまり、デジタルゲインの「C設定」を2倍、「D設定」を2倍と設定することになる。
上述したように、アナログゲインとデジタルゲインを併用することで、HIGH画像とLOW画像の本ゲインを得ることが可能となる。
第1の実施形態によれば、HDR撮影時において、第1の感度ではHIGH画像、LOW画像ともにアナログゲインのみを使用することで画像を取得する。また、第2の感度ではHIGH画像、LOW画像ともにアナログゲインとデジタルゲインを併用することで画像を取得する。そのため、設定されている撮影感度によらず、HIGH画像とLOW画像のゲイン段数差を維持することができ、ノイズ感のばらつきが少ないダイナミックレンジを拡大した画像を得ることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について、第1の実施形態との差分を中心に説明する。設定されている撮影感度が第1の感度である場合の処理については第1の実施形態で説明した処理と同じであるため、設定されている撮影感度が第2の感度である場合を中心に説明する。
次に、本発明の第2の実施形態について、第1の実施形態との差分を中心に説明する。設定されている撮影感度が第1の感度である場合の処理については第1の実施形態で説明した処理と同じであるため、設定されている撮影感度が第2の感度である場合を中心に説明する。
図7は、第2の実施形態の撮像装置におけるHDR撮影動作を説明するためのフローチャートである。このフローチャートの動作は、CPU109がROM113に記憶されているプログラムを実行することにより実現される。操作部111からのユーザの撮影指示によりHDR撮影設定が開始される。
ステップS600~ステップS606、ステップS610、ステップS611では、第1の実施形態で示したステップS500~ステップS506、ステップS510、ステップS511と同様の処理を行うため、説明を省略する。
ステップS612では、CPU109は、撮影モードや撮影条件に応じて、第1の感度におけるHIGH画像とLOW画像のアナログゲイン比を維持するか否かを判断する。例えば、撮影モードが動画のように連続撮影するモードの場合、フレーム間でアナログゲイン比が異なってしまうと、フレーム間でノイズ感が異なり、画面がちらついて見えることがある。
一般的にアナログゲインとデジタルゲインを比較したときに、アナログゲインを使用して増幅した方がデジタルゲインを使用して増幅した場合よりもノイズが少ない。これは、アナログゲインを撮像素子106の比較的前段でかけられるため、回路のノイズ等の影響が少ないためである。そのため、上記のような場合では、アナログゲイン比を維持した方がちらつきの少ない動画が得られる。
また、第1の実施形態でも説明したが、第2の感度において、HIGH画像を取得する際のアナログゲインが最大である場合、LOW画像を取得する際のアナログゲインにはまだ余力があることが想定される。そのため、アナログゲイン比を維持しなければ、LOW画像を取得する際のアナログゲインも最大ゲインまで使用することができる。
例えば静止画のように1枚ずつの撮影であれば、撮影感度によってノイズ感の違いが目立ちにくく、LOW画像を取得する際のアナログゲインも最大ゲインまで使用でき、ノイズが低減された画像を取得できる。
例えば静止画のように1枚ずつの撮影であれば、撮影感度によってノイズ感の違いが目立ちにくく、LOW画像を取得する際のアナログゲインも最大ゲインまで使用でき、ノイズが低減された画像を取得できる。
上記で示した例はあくまで一例であり、他の撮影モードや撮影条件によってアナログゲイン比を維持するか否かを判断しても構わない。
図7の説明に戻り、第1の感度のHIGH画像とLOW画像のアナログゲイン比を維持する場合はステップS613へ進み、アナログゲイン比を維持しない場合にはステップS615へ進む。
ステップS613では、CPU109は、HIGH画像とLOW画像のアナログゲイン比を第1の感度で使用した設定に維持する。ステップS512と同様の処理を行い、その次の、ステップS614においても、ステップS513と同様の処理を行う。
つまり、第2の感度が設定された場合において、第1の感度と同様のアナログゲイン比を維持する場合、HIGH画像を取得する際のアナログゲインを「A設定」、LOW画像を取得する際のアナログゲインを「B設定」とする。また、HIGH画像を取得する際のデジタルゲインを「C設定」、LOW画像を取得する際のデジタルゲインを「D設定」とする。
このとき、アナログゲイン比が第1の感度と第2の感度で常に一定になるため、設定された撮影感度によらずノイズ感のバラつきが小さいHDR画像を取得することができる。そのため、前述したように動画のような連続したフレームでのHDR撮影において、フレーム毎に撮影感度が変わる場合にもノイズ感が一定になり、フレーム間のちらつきを抑制することが可能となる。
次に、第2の感度において、第1の感度設定のHIGH画像とLOW画像のアナログゲイン比と異なるゲイン比を設定する場合について説明する。
ステップS615では、HIGH画像を取得する際のアナログゲインを「E設定」、LOW画像を取得する際のアナログゲインを「F設定」とし、第1の感度とは異なるアナログゲイン比を設定する。例えばLOW画像を取得する際のアナログゲインを限界まで使用し、アナログゲインによるゲイン差がなくなっても構わない。
その場合、ステップS611で決定したHIGH画像とLOW画像の段数差を、ステップS616において、デジタルゲインを使用することで補うように設定する。このとき、HIGH画像を取得する際のデジタルゲインを「G設定」、LOW画像を取得する際のデジタルゲインを「H設定」とする。これらはステップS614で設定したデジタルゲインとは異なる。
前述したように、静止画のように画像を1枚ずつ撮影するようなシーンでは、撮影感度によってノイズ感の違いが目立ちにくく、LOW画像においてアナログゲインを限界まで使用することができる分、ノイズが低減された画像を得ることができる。
第2の実施形態によれば、HDR撮影時に第2の感度が設定された場合において、第1の感度が設定された場合のHIGH画像とLOW画像のアナログゲイン比を維持するか否かを、撮影モードや撮影条件に応じて変更できる。アナログゲイン比を維持する場合は、撮影感度によらずノイズ感のバラつきが少ないダイナミックレンジを拡大した画像を取得できる。また、アナログゲイン比を変更する場合は、LOW画像のノイズを低減することが可能であり、ノイズが少ないダイナミックレンジを拡大した画像を取得できる。
(第3の実施形態)
次に、本発明の第3の実施形態について、第2の実施形態との差分を中心に説明する。第3の実施形態では、設定された撮影感度が第2の感度である場合の補正パラメータについて説明する。第2の実施形態でも説明したが、第2の感度において撮影モードや撮影条件に応じてアナログゲイン比を維持するか否かを切り替えることで、高品位なHDR画像を取得することが可能である。
次に、本発明の第3の実施形態について、第2の実施形態との差分を中心に説明する。第3の実施形態では、設定された撮影感度が第2の感度である場合の補正パラメータについて説明する。第2の実施形態でも説明したが、第2の感度において撮影モードや撮影条件に応じてアナログゲイン比を維持するか否かを切り替えることで、高品位なHDR画像を取得することが可能である。
このとき、アナログゲイン量に応じて特性が変化する画像補正用のパラメータについては、アナログゲイン比と同様に切り替える必要がある。例えば、アナログゲイン1倍時と64倍時では、輝度出力のリニアリティ(直線性)が異なる可能性があり、アナログゲイン量に応じてそれぞれリニアリティを揃えるような補正を行う必要がある。
図8は、第3の実施形態の撮像装置における撮影動作を説明するためのフローチャートである。このフローチャートの動作は、CPU109がROM113に記憶されているプログラムを実行することにより実現される。操作部111からのユーザの撮影指示によりHDR撮影が開始される。
ステップS700~ステップS706、ステップS710~ステップS716は第2の実施形態で示したステップS600~ステップS606、ステップS610~ステップS616と同様の処理を行うため、説明を省略する。
設定された撮影感度が第2の感度で、且つステップS712で第1の感度におけるHIGH画像とLOW画像のアナログゲイン比を維持すると判断した場合のステップS720の処理について説明する。なお、ステップS712での判断基準は、図7のステップS612と同様である。
ステップS713、ステップS714によりHIGH画像とLOW画像のアナログゲインをそれぞれ「A設定」「B設定」、デジタルゲインをそれぞれ「C設定」「D設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変更する画像補正パラメータを、「X」とする。このときの「X」とは、HIGH画像を取得する際のアナログゲイン「A設定」、LOW画像を取得する際のアナログゲイン「B設定」に対応したパラメータである。
次に、設定された撮影感度が第2の感度で、且つステップS712で第1の感度におけるHIGH画像とLOW画像のアナログゲイン比と異なるゲイン比に設定すると判断した場合のステップS721の処理について説明する。
ステップS715、ステップS716において、HIGH画像とLOW画像を取得する際のアナログゲインをそれぞれ「E設定」、「F設定」、デジタルゲインをそれぞれ「G設定」、「H設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変える画像補正パラメータを、「Y」とする。
このときの「Y」とはHIGH画像を取得する際のアナログゲイン「E設定」、LOW画像を取得する際のアナログゲイン「F設定」に対応したパラメータである。また、本実施形態では「X」、「Y」をアナログゲインに起因した補正パラメータとして例示したが、デジタルゲインの「C設定」、「D設定」、「G設定」、「H設定」に起因した補正パラメータでも構わない。
上記で説明したように、本実施形態では、ステップS713、ステップS714で設定した「A設定」~「D設定」とステップS715、ステップS716で設定した「E設定」~「H設定」にそれぞれ対応した画像補正パラメータ「X」、「Y」を用意し、撮影モードや撮影条件に応じて切り替える。
第3の実施形態によれば、HDR撮影時に第2の感度が設定された場合において、第1の感度におけるHIGH画像とLOW画像のアナログゲイン比を維持するかどうかに応じて補正パラメータを切り替えることが可能になる。そのため、高品質なダイナミックレンジを拡大した画像を取得することが可能となる。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
本願は、2022年2月25日提出の日本国特許出願特願2022-028385、2022年10月3日提出の日本国特許出願特願2022-159718を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
Claims (12)
- 1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御手段と、
を備えることを特徴とする撮像装置。 - 前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記第2の制御において、撮影の条件に応じて、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記第2の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする請求項4に記載の撮像装置。
- 前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第1のゲインと前記第2のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする請求項1に記載の撮像装置。
- 前記第1のゲインと前記第2のゲインの段数差を設定する設定手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
- 前記第1のゲインで増幅した画素信号からなる第1の画像と、前記第2のゲインで増幅した画素信号からなる第2の画像を合成する合成手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
- 前記合成手段は、前記第1の画像と前記第2の画像を合成して、HDR画像を生成することを特徴とする請求項8に記載の撮像装置。
- 1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。 - 請求項10に記載の制御方法をコンピュータに実行させるためのプログラム。
- 請求項10に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-028385 | 2022-02-25 | ||
JP2022028385 | 2022-02-25 | ||
JP2022159718A JP2023124785A (ja) | 2022-02-25 | 2022-10-03 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2022-159718 | 2022-10-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023162470A1 true WO2023162470A1 (ja) | 2023-08-31 |
Family
ID=87765328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/048564 WO2023162470A1 (ja) | 2022-02-25 | 2022-12-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023162470A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019193150A (ja) * | 2018-04-26 | 2019-10-31 | キヤノン株式会社 | 撮像素子およびその制御方法、撮像装置 |
JP2020043391A (ja) * | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2020115604A (ja) * | 2019-01-17 | 2020-07-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
-
2022
- 2022-12-28 WO PCT/JP2022/048564 patent/WO2023162470A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019193150A (ja) * | 2018-04-26 | 2019-10-31 | キヤノン株式会社 | 撮像素子およびその制御方法、撮像装置 |
JP2020043391A (ja) * | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2020115604A (ja) * | 2019-01-17 | 2020-07-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784426B2 (ja) | 撮像装置 | |
JP5946421B2 (ja) | 撮像装置及びその制御方法 | |
JP7353783B2 (ja) | 撮像装置とその制御方法及び撮像素子とその制御方法 | |
JP2008016976A (ja) | 撮像装置及びその制御方法並びに撮像システム | |
US11830890B2 (en) | Image sensor, image capturing apparatus and image processing apparatus | |
JP7332302B2 (ja) | 撮像装置及びその制御方法 | |
JP6815777B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2014219588A (ja) | 撮像装置およびその制御方法 | |
US20200021744A1 (en) | Image sensor, focus detection method and storage medium | |
US10999521B2 (en) | Imaging device and control method therefor | |
US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
WO2023162470A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2020092346A (ja) | 撮像装置およびその制御方法 | |
CN117135479A (zh) | 影像感测装置及其影像感测方法 | |
JP2023124785A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2007088842A (ja) | 撮像装置、および撮像素子の駆動方法 | |
JP2018019139A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2011009834A (ja) | 撮像装置及び撮像方法 | |
JP2020129755A (ja) | 画像処理装及び方法、及び撮像装置 | |
JP2020057882A (ja) | 撮像装置 | |
WO2023162483A1 (ja) | 撮像装置及びその制御方法 | |
WO2023162469A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US11974058B2 (en) | Image capturing apparatus and control method thereof | |
US11595571B2 (en) | Control apparatus, control method, image capturing apparatus, and image capturing system | |
US11539903B2 (en) | Imaging apparatus and method of controlling the same and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22928985 Country of ref document: EP Kind code of ref document: A1 |