WO2006085464A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2006085464A1
WO2006085464A1 PCT/JP2006/301728 JP2006301728W WO2006085464A1 WO 2006085464 A1 WO2006085464 A1 WO 2006085464A1 JP 2006301728 W JP2006301728 W JP 2006301728W WO 2006085464 A1 WO2006085464 A1 WO 2006085464A1
Authority
WO
WIPO (PCT)
Prior art keywords
electrical signal
imaging device
signal
unit
output
Prior art date
Application number
PCT/JP2006/301728
Other languages
English (en)
French (fr)
Inventor
Kazuko Nakagawa
Jun Takayama
Original Assignee
Konica Minolta Holdings, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings, Inc. filed Critical Konica Minolta Holdings, Inc.
Priority to JP2007502572A priority Critical patent/JPWO2006085464A1/ja
Priority to US11/883,898 priority patent/US7916197B2/en
Publication of WO2006085464A1 publication Critical patent/WO2006085464A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Definitions

  • the present invention relates to an imaging apparatus having an imaging element that converts incident light into an electrical signal.
  • an imaging device such as a digital camera
  • an imaging device having a plurality of pixels that convert incident light into an electrical signal.
  • the plurality of pixels are configured to switch the conversion mode to an electric signal based on the amount of incident light. More specifically, the linear conversion mode for linearly converting incident light into an electric signal and the logarithmic conversion mode for logarithmic conversion are used. And can be switched.
  • the electrical signal derived from the logarithmic conversion mode is converted into a state derived from the linear conversion mode, or the characteristic conversion is performed to convert the electrical signal derived from the linear conversion mode into a state derived from the logarithmic conversion mode
  • a signal processing unit is provided to facilitate the processing of electrical signals by integrating the entire electrical signal into a state derived from the linear conversion mode or logarithmic conversion mode.
  • the dynamic range of the electrical signal is wide compared to an image sensor that performs only the linear conversion mode, so even if a subject with a wide luminance range is photographed, ⁇
  • the degree information can be expressed by an electrical signal.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-298799
  • Patent Document 2 JP-A-5-30350
  • An object of the present invention is to provide an imaging apparatus capable of unifying electric signals accurately into a state derived from linear transformation or logarithmic transformation.
  • the invention described in claim 1 is an imaging apparatus
  • An imaging element having a plurality of pixels that switches between a linear conversion mode for linearly converting incident light into an electrical signal and a logarithmic conversion mode for logarithmically converting incident light into an electrical signal based on the amount of incident light;
  • a conversion unit that converts and outputs a reference electric signal logarithmically converted from an image sensor into an electric signal obtained by linearly converting the electric signal before logarithmic conversion;
  • a correction unit that corrects the electrical signal to match the reference electrical signal
  • the invention according to claim 8 is an imaging device
  • An imaging device having a plurality of pixels that are linearly converted into an electrical signal based on the incident light amount and output logarithmically converted into an electrical signal based on the incident light amount until a predetermined light amount;
  • a conversion unit that converts and outputs a reference electric signal logarithmically converted from an image sensor into an electric signal obtained by linearly converting the electric signal before logarithmic conversion;
  • a correction unit that corrects the electrical signal to match the reference electrical signal
  • the invention according to claim 12 is an imaging apparatus
  • Imaging having a plurality of pixels that are linearly converted into an electrical signal based on the incident light amount and output after being logarithmically converted to an electrical signal based on the incident light amount until a predetermined light amount.
  • a derivation unit for deriving an inflection point signal at a point at which the linear transformation switches to a logarithmic transformation
  • a comparison unit for comparing the inflection point signal derived by the derivation unit and the electrical signal output by the imaging device force
  • the reference electrical signal output by logarithmic conversion of the image sensor force is converted to an electrical signal obtained by linear conversion of the electrical signal before logarithmic conversion, and output And
  • a correction unit that corrects the electrical signal to match the reference electrical signal
  • the logarithmically transformed electrical signal can be accurately integrated into a state derived from linear transformation. Furthermore, according to the present invention, the logarithmically converted electric signal can be unified into a state derived from linear conversion without using a complicated circuit.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the present invention.
  • FIG. 2 is a block diagram showing a configuration of an image sensor.
  • FIG. 3 is a diagram for explaining the operation of a pixel and a linear key section.
  • FIG. 4 is a diagram showing the relationship between exposure time and inflection point.
  • FIG. 5 is a diagram showing the relationship between the control voltage and the inflection point.
  • FIG. 6 is a circuit diagram showing a configuration of a pixel.
  • FIG. 7 is a block diagram showing a signal processing unit and an inflection signal deriving unit.
  • FIG. 8 is a diagram showing a correction coefficient a.
  • FIG. 9 is a flowchart showing processing for fluctuation correction and characteristic conversion.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus 1 according to the present invention.
  • the imaging apparatus 1 includes an imaging element 2 that receives incident light through a lens group 10 and a diaphragm 11.
  • the lens group 10 and the diaphragm 11 conventionally known lenses are used.
  • the imaging device 2 has a plurality of pixels G11 to Gmn (where n and m are integers of 1 or more) arranged in a matrix (matrix arrangement).
  • Each of the pixels Gll to Gmn photoelectrically converts incident light and outputs an electrical signal. These pixels Gll to Gmn are configured to switch the conversion mode to an electric signal based on the amount of incident light.
  • the amount of incident light is less than th.
  • the linear conversion mode for linearly converting the incident light is performed for the incident light amount
  • the logarithmic conversion mode for logarithmically converting the incident light is performed for the incident light amount equal to or greater than the predetermined incident light amount th.
  • the boundary at which the linear conversion mode and the logarithmic conversion mode are switched, the so-called inflection point varies depending on the driving conditions of the pixels Gll to Gmn in the image sensor 2, for example, the exposure time and the control voltage at the time of photographing. It is like that.
  • the output signal value at the inflection point (hereinafter referred to as inflection output) decreases as the exposure time decreases in the order of ⁇ tl '' to ⁇ t3 ''.
  • Signal value H) and the predetermined incident light quantity th increase in the order of “I” to “III”. Further, as shown in FIG.
  • the transformed output signal values H of the pixels Gll to Gmn increase in the order of “IV” to “VI”. 4 and 5, “al” to “a3”, “b” to “d”, “a”, and “dl” to “d3” are constants.
  • the slopes al to a3 of the input / output characteristics in the linear conversion mode under the driving conditions of the exposure times tl to t3 are proportional to the exposure times tl to t3.
  • the intercepts dl to d3 of the input / output characteristics in the logarithmic conversion mode under the driving conditions of the control voltages V1 to V3 are proportional to the control voltages V1 to V3.
  • the exposure time tl when the predetermined incident light amount th is the smallest, that is, when the ratio of the logarithmic conversion mode in which the linear conversion mode is performed is the smallest is the reference exposure time.
  • a filter (not shown) of any one of red, green and blue is arranged on the lens group 10 side of these pixels Gll to Gmn.
  • a power line 20 signal application lines LA1 to LAn, LB1 to: LBn, LCl to LCn, and signal readout lines LD1 to LDm are connected to the pixels Gll to Gmn.
  • lines Gll to Gmn are also connected to clock lines, bias supply lines, and the like. These are not shown in FIG.
  • Signal application lines LAl to LAn, LB1 to: LBn, LCI to LCn give signals ⁇ V and ⁇ VPS (see FIG. 6) to pixels Gll to Gmn!
  • a vertical scanning circuit 21 is connected to these signal application lines LA1 to LAn, LB1 to LBn, and LCl to LCn.
  • the vertical scanning circuit 21 applies signals to the signal application lines LAl to LAn, LB1 to LBn, and LCl to LCn based on signals from a signal generation unit 48 (see FIG. 1) described later.
  • the target signal application lines LAl to LAn, LBl to LBn, and LCl to LCn are sequentially switched in the X direction.
  • the electrical signals generated by the pixels Gll to Gmn are derived from the signal readout lines LDl to LDm. Constant current sources Dl to Dm and selection circuits Sl to Sm are connected to these signal readout lines LDl to LDm.
  • a DC voltage VPS is applied to one end (lower end in the figure) of the constant current sources Dl to Dm.
  • the selection circuits Sl to Sm sample-hold the noise signals given from the pixels Gll to Gmn and the electrical signals at the time of imaging through the signal readout lines LD1 to LDm.
  • a horizontal scanning circuit 22 and a correction circuit 23 are connected to these selection circuits Sl to Sm.
  • the horizontal scanning circuit 22 sequentially switches the selection circuits Sl to Sm for sampling and holding the electric signal and transmitting it to the correction circuit 23 in the Y direction. Further, the correction circuit 23 removes the electric signal force noise signal based on the noise signal transmitted from the selection circuits Sl to Sm and the electric signal at the time of imaging.
  • the selection circuits Sl to Sm and the correction circuit 23 those disclosed in the publication of Japanese Patent Laid-Open No. 2001-223948 can be used. Further, in the present embodiment, one correction circuit 23 is provided for each of the force selection circuits Sl to Sm, which is described as providing only one correction circuit 23 for the entire selection circuits S1 to Sm. It's also good.
  • a black reference setting unit 14 and a signal processing unit 3 are connected to the above image pickup device 2 via an amplifier 12 and an AD converter 13 in this order.
  • the black reference setting unit 14 sets a minimum level of the digital signal.
  • the signal processing unit 3 performs signal processing on the electrical signal output from the image sensor 2 in the logarithmic conversion mode, and includes a linearity unit 31 and a fluctuation correction unit 30.
  • the linearizer 31 is a characteristic converter in the present invention, and unifies the output signal from the image sensor 2 into a state derived from the linear conversion mode.
  • the linear input unit 31 includes a selector 31b, a reference conversion table 3la, and an output unit 31c.
  • the AD converter 13 and the control device 46 are not shown.
  • the selector 31b determines the magnitude of the electric signal from the image sensor 2 and the inflection output signal value H, and if the electric signal from the image sensor 2 is greater than the inflection output signal value H, that is, When the electrical signal derived from the logarithmic conversion mode is output from the image sensor 2, the output signal from the image sensor 2 is output to the reference conversion table 31a. When the inflection output signal value is H or less, the output section Output to 31c.
  • the electric signal derived from the logarithmic conversion mode among the electric signals output from the image sensor 2 is linearly converted from the incident light. That is, the characteristic is converted to a state derived from the linear conversion mode.
  • This standard conversion table When the driving condition of the image sensor 2 is a predetermined reference condition, in the present embodiment, the conversion characteristics of the image sensor 2 when the exposure time of the pixels Gll to Gmn is the reference exposure time tl. Is set so that the electrical signal output in the logarithmic conversion mode is exactly derived from the linear conversion mode.
  • the output unit 31c outputs an electrical signal input from the selector 31b or the reference conversion table 31a.
  • the fluctuation correction unit 30 is used when the input / output characteristics of the image sensor 2 fluctuate due to the driving conditions of the image sensor 2 and, in the present embodiment, the exposure times of the pixels G11 to G ⁇ . The fluctuation correction of the electric signal output from the image sensor 2 is performed.
  • the fluctuation correcting unit 30 includes a coefficient deriving unit 32 and an arithmetic processing unit 33.
  • the coefficient deriving unit 32 determines the pixel Gll to Gmn based on the exposure time information about the exposure times of the pixels Gll to Gmn and the pixel information about the pixels Gll to Gmn!
  • the correction coefficients ⁇ 11 to a mn are derived, and in the present embodiment, a lookup table 32a for calculating the correction coefficients a 11 to a mn by inputting exposure time information and pixel information is provided.
  • pixel information unique information such as ID numbers of the pixels Gll to Gmn, position information in the image sensor, and the like are used.
  • the arithmetic processing unit 33 is based on the correction coefficients a 11 to a mn derived by the coefficient deriving unit 32. , The variation correction is performed for each of the pixels Gl 1 to Gmn.
  • the correction coefficients a 11 to ⁇ are calculated from the electrical signals output from the pixels Gl 1 to Gmn in the logarithmic conversion mode. It is designed to subtract. As a result, the fluctuation-corrected electrical signal derived from the logarithmic conversion mode can be accurately converted into an electrical signal derived from the linear conversion mode by the reference conversion table 31a.
  • an electrical signal in which the pixels Gl 1 to Gmn force are also output in the logarithmic conversion mode under the driving condition of the exposure time t2 (see FIG. 4).
  • the signal value of is X2.
  • the signal value X2 derived from the logarithmic conversion mode is accurately converted into an electric signal derived from the linear conversion mode, that is, when the signal value X2 is subjected to characteristic conversion using the virtual conversion table.
  • the output signal value after characteristic conversion is Y2.
  • the signal value after characteristic conversion is Y1
  • an inflection signal deriving unit 34 and an image processing unit 4 are connected to the signal processing unit 3.
  • the inflection signal deriving unit 34 derives the inflection output signal value H based on the exposure time information and the pixel information.
  • the inflection signal deriving unit 34 includes a Rukkua Pputeburu 34 a to derive the inflection output signal value H by the input of the exposure time information and pixel information, Ru.
  • the image processing unit 4 performs image processing on image data constituted by the entire electrical signals from the pixels Gll to Gmn.
  • the AWB (Auto White Balance) processing unit 40, A color interpolation unit 41, a color correction unit 42, a gradation conversion unit 43, and a color space conversion unit 44 are provided.
  • the AWB processing unit 40, the color interpolation unit 41, the color correction unit 42, the gradation conversion unit 43, and the color space conversion unit 44 are connected to the signal processing unit 3 in this order.
  • the AWB processing unit 40 performs white balance processing on the image data. Based on the electrical signals from a plurality of neighboring pixels provided with the same color filter, the intervening section 41 interpolates the electrical signals of this color for the pixels located between these neighboring pixels.
  • the color correction unit 42 corrects the hue of the image data. More specifically, the color correction unit 42 corrects the electrical signal of each color for each of the pixels Gll to Gmn based on the electrical signals of other colors.
  • the gradation conversion unit 43 performs gradation conversion of image data, and the color space conversion unit 44 converts RGB signals into YCbCr signals.
  • the signal processing unit 3 is connected to the evaluation value calculating unit 5 and the control device 46 in this order.
  • the evaluation value calculation unit 5 uses an AWB evaluation value used for white balance processing (AWB processing) in the AWB processing unit 40 and an AE used for exposure control processing (AE processing) in the exposure control processing unit 47. An evaluation value is calculated.
  • ABB processing white balance processing
  • AE processing exposure control processing
  • the control device 46 controls each part of the imaging device 1. As shown in FIG. 1, the amplifier 12, the black reference setting unit 14, the signal processing unit 3, the inflection signal deriving unit 34, The AWB processing unit 40, the color interpolation unit 41, the color correction unit 42, the gradation conversion unit 43, and the color space conversion unit 44 are connected.
  • the control device 46 is connected to the diaphragm 11 via the exposure control processing unit 47 and is connected to the image sensor 2 and the AD converter 13 via the signal generation unit 48.
  • each of the pixels Gll to Gmn includes a photodiode P and transistors T1 to T3.
  • the transistors ⁇ 1 to ⁇ 3 are ⁇ -channel MOS transistors whose back gates are grounded.
  • a signal application line LC (corresponding to LCl to LCn in Fig. 2) is connected to the source T1S of the transistor T1, and the signal ⁇ VPS is also input to this signal application line LC force.
  • the signal ⁇ VPS is a binary voltage signal, and more specifically, the voltage value VH for operating the transistor T1 in the subthreshold region when the incident light intensity exceeds a predetermined value, and It takes two values, the voltage value VL that turns on the transistor Tl.
  • a DC voltage VPD is applied to the drain T2D of the transistor T2, and the source T2S of the transistor T2 is connected to the drain T3D of the row selection transistor T3.
  • a signal application line LA (corresponding to LAI to LAn in FIG. 2) is connected to the gate T3G of the transistor T3, and the signal ⁇ V is also input to the signal marking caroline LA force.
  • the source T3S of the transistor T3 is connected to the signal readout line LD (corresponding to LD1 to LDm in FIG. 2).
  • pixels Gll to Gmn as described above those disclosed in JP-A-2002-77733 can be used.
  • the proportion of the linear conversion mode increases as the exposure time decreases.
  • the potential between the gate T2G and the source T2S of the transistor T2 decreases as the exposure time decreases. This is because the ratio of the subject brightness at which the transistor T2 operates in the cutoff state, that is, the ratio of the subject brightness to be linearly converted, increases.
  • the subject to be linearly converted when the control voltage for the image sensor 2 that is, the difference between the voltage values VL and VH of the signal ⁇ VPS is large or the temperature is low. The ratio of luminance increases.
  • the dynamic range of the image signal, the predetermined incident light quantity th at the inflection point, and the inflection output signal value H can be controlled by changing the control voltage, exposure time, temperature, and the like. Specifically, for example, when the luminance range of the subject is narrow, the voltage value VL is lowered to widen the luminance range for linear conversion, and when the subject luminance range is wide, the voltage value VL is increased. By expanding the luminance range for logarithmic conversion, the photoelectric conversion characteristics of the pixels Gll to Gmn can be matched to the characteristics of the subject. Further, when the voltage value VL is minimized, the pixels Gll to Gmn are always linearly converted, and when the voltage value VL is maximized, the pixels Gll to Gmn are always logarithmically converted.
  • the image sensor 2 photoelectrically converts incident light to the pixels Gll to Gmn, and outputs an electrical signal derived from the linear conversion mode or logarithmic conversion mode as an analog signal. Specifically, as described above, when each of the pixels Gll to Gmn outputs an electrical signal to the signal readout line LD, this occurs.
  • the constant current source D amplifies the electric signal, and the selection circuit S samples and holds the signal sequentially. Then, when the sampled and held electric signal is sent from the selection circuit S to the correction circuit 23, the correction circuit 23 removes noise and outputs the electric signal.
  • the amplifier 12 amplifies the analog signal output from the image sensor 2, and the AD comparator 13 converts the analog signal into a digital signal.
  • the digital signal is transmitted to the linearization unit 31 and the fluctuation correction unit 30 of the signal processing unit 3 as shown in FIG. T1, step Ul).
  • the control device 46 transmits the exposure time information and pixel information of each pixel Gll to Gmn of the image sensor 2 to the fluctuation correction unit 30 and the inflection signal deriving unit 34 (Step U1, Step Sl).
  • the inflection signal deriving unit 34 derives the inflection output signal value H by the lookup table 34a (step S2), and linearizes with the variation correcting unit 30.
  • the data is transmitted to the selector 31b of the unit 31 (step S3).
  • the lookup table 34a derives the inflection output signal value H based on the exposure time and the pixel information, so that the inflection output signal value H is accurately derived.
  • the configuration of the inflection signal deriving unit 34 is simplified and the derivation process is speeded up as compared with the case of deriving by calculation.
  • the variation correction unit 30 Upon receiving the inflection output signal value H from the inflection signal deriving unit 34 (step U2), the variation correction unit 30 receives the signal value of the output signal from the pixels Gll to Gmn and the inflection output signal value H. If the signal value of the output signal of the pixel Gll to Gmn force is less than or equal to the inflection output signal value H, that is, the output signal of the pixel Gll to Gmn force is an electrical signal derived from the linear conversion mode. If (step U3; Yes), the fluctuation correction unit 30 ends the process.
  • the fluctuation correction unit 30 uses the look-up table 32a for each of the pixels Gll to Gmn.
  • the correction coefficients ⁇ 11 to ⁇ ⁇ are derived from (Step U4), the fluctuation correction is performed for each pixel Gll to Gmn by the arithmetic processing unit 33 (Step U5), and the electric signal after the fluctuation correction is linearized. Send to 31 selectors 3 lb (step U6).
  • the fluctuation correction unit 30 performs, even when the input / output characteristics fluctuate depending on the driving conditions, the deviation between the output value at the reference exposure time tl and the actual output value of the pixels Gll to Gmn is corrected. Further, since the coefficient deriving unit 32 derives the correction coefficients ⁇ 11 to mn based on the exposure time and pixel information at the time of imaging, the arithmetic processing unit 33 uses the derived correction coefficients a 11 to a mn.
  • the selector 31b of the linear shape unit 31 changes the signal values of the output signals from the pixels Gll to Gmn.
  • the output signal from the pixels Gll to Gmn is less than or equal to the inflection output signal value H (step T3; Yes)
  • the magnitude is compared with the music output signal value H (step T3).
  • the output signals from the pixels Gll to Gmn are output as they are (step T4).
  • the selector 31b receives the electric signal after fluctuation correction from the fluctuation correction unit 30 (step T5 Then, after the characteristic conversion is performed on the electric signal in the reference conversion table 31a (step T6), the electric signal is output via the output unit 3lc (step T7).
  • the characteristic conversion is performed only when the output signal of the pixels Gll to Gmn is an electric signal derived from the logarithmic conversion mode. Therefore, when the output signal is an electric signal derived from the linear conversion mode, that is, When it is not necessary to convert the electrical signal derived from the logarithmic conversion mode to the state derived from the other conversion mode, characteristic conversion is not performed wastefully, and as a result, the signal processing is speeded up.
  • the evaluation value calculation unit 5 performs the AW Calculate B evaluation value and AE evaluation value.
  • control device 46 controls the exposure control processing unit 47 to adjust the exposure amount for the image sensor 2.
  • control device 46 controls the AWB processing unit 40 based on the AWB evaluation value, the minimum level set by the black reference setting unit 14, and the image output from the signal processing unit 3. White balance processing is performed on the data.
  • the imaging apparatus 1 described above even when the input / output characteristics fluctuate depending on the driving conditions, unlike the conventional case, the deviation between the output value at the reference exposure time tl and the actual output value is corrected. Therefore, it is possible to unify the electric signal accurately to the state derived from the linear conversion mode by the characteristic conversion in the linear key section 31.
  • the variation correction unit 30 in the present modification example is configured to output the electric power output from the pixels Gll to Gmn when the input / output characteristics of the pixels Gll to Gmn vary due to the control voltages of the pixels Gll to Gmn. It is now possible to compensate for signal fluctuations!
  • the coefficient deriving unit 32 of the fluctuation correcting unit 30 uses the control voltage VI when the predetermined incident light amount th is the smallest as the reference control voltage, as shown in FIGS.
  • the control voltage VI On the input axis (X axis in Fig. 8 (b)) of the virtual conversion table corresponding to the drive condition of the control voltage V2 (variable) and the reference conversion table 3 la corresponding to the drive condition of the reference control voltage VI
  • the fluctuation correcting unit 30 is disposed in the subsequent stage of the force described as being disposed in the preceding stage of the linearizing unit 31.
  • the coefficient deriving unit 30 may be provided before the linearizing unit 31, and the arithmetic processing unit 33 may be provided after the linearizing unit 31.
  • the exposure time and the control voltage have been described as the driving conditions for the image sensor 2, but the temperature may be used.
  • the fluctuation correction unit 30 has been described as including the arithmetic processing unit 33 for deriving the electric signal after fluctuation correction.
  • the driving condition, the pixel information, the electric signal output from the image sensor 2, and the like It is also possible to provide a lookup table for deriving the electric signal after fluctuation correction by input. In this case, the same effect as that of the above embodiment can be obtained, and the configuration of the fluctuation correction unit 30 can be simplified as compared with the case where the electric signal after fluctuation correction is derived by calculation. it can.
  • the coefficient deriving unit 32 is common to the pixels Gll Gmn based only on the force driving conditions described as deriving the correction coefficient ⁇ 11 for each pixel Gll Gmn based on the driving conditions and pixel information.
  • the correction coefficient ⁇ may be derived.
  • the coefficient deriving unit 32 may include an arithmetic unit that derives the correction coefficient based on an input such as a driving condition.
  • the characteristic conversion unit performs linear conversion of an electrical signal derived from the logarithmic conversion mode.
  • the linear key 31 is used to convert the characteristic to the state generated by the above, but the electric signal derived from the linear conversion mode may be converted to the characteristic derived from the logarithmic conversion mode.
  • the inflection signal deriving unit 34 has been described as deriving the inflection output signal value H based on the driving condition and the pixel information, it may be derived based only on the driving condition. .
  • the inflection signal deriving unit 34 has been described as including the lookup table 34a for deriving the inflection output signal value H.
  • the inflection signal deriving unit 34 may include an arithmetic unit for deriving the inflection output signal value H.
  • linearization units 31 and 36 have been described as performing characteristic conversion using the reference conversion table 31a, but may be performed by calculation such as exponential conversion.
  • pixels Gll to Gmn can be switched between the power linear conversion mode and the logarithmic conversion mode described as having the configuration shown in FIG. 6, for example, the configuration shown in Patent Document 1 described above It is good also as having.
  • RGB filters such as cyan, magenta, and yellow described as providing RGB filters for each of the pixels Gll to Gmn may be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置１は、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを入射光量に基づいて切り換える複数の画素Ｇ11～Ｇmnを有する撮像素子２と、電気信号に対して信号処理を行う信号処理部３とを備え、信号処理部３は、撮像素子２の露光時間に起因して当該撮像素子２の入出力特性が変動する場合に、この撮像素子２から出力される電気信号の変動補正を行う変動補正部３０と、対数変換モードに由来の電気信号を、線形変換モードに由来の状態に変換する特性変換を行う線形化部３１とを有する。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。
背景技術
[0002] 従来、デジタルカメラ等の撮像装置には、入射光を電気信号に変換する複数の画 素を有する撮像素子が設けられている。これら複数の画素は、入射光量に基づいて 電気信号への変換モードを切り換えるようになっており、より詳細には、入射光を電気 信号に線形変換する線形変換モードと、対数変換する対数変換モードとを切り換え るようになっている。また、撮像素子の後段には、対数変換モード由来の電気信号を 線形変換モード由来の状態に変換するか、或いは線形変換モード由来の電気信号 を対数変換モード由来の状態に変換する特性変換を行う信号処理部が設けられて おり、電気信号全体を線形変換モード由来または対数変換モード由来の状態に統 一して電気信号の処理を容易化するようになって!/ヽる。
[0003] このような撮像素子によれば、線形変換モードのみを行う撮像素子と比較して電気 信号のダイナミックレンジが広くなるため、輝度範囲の広 ヽ被写体を撮影した場合で あっても、 ^度情報を電気信号で表現することができる。
[0004] ところで、上記の複数の画素は、画素の違いに起因して、入出力特性にばらつきを 有している。そのため、このようなばらつきを解消する方法として、各画素からの出力 を補正して基準出力値に一致させる方法がある (例えば、特許文献 1, 2参照)。 特許文献 1：特開平 11― 298799号公報
特許文献 2：特開平 5 - 30350号公報
発明の開示
発明が解決しょうとする課題
[0005] しかしながら、上記特許文献に開示の補正方法では、撮影条件や環境条件などの 駆動条件によって入出力特性が変動する場合に、基準条件における基準出力値と、 実際の画素の出力値とのズレを補正することができない。そのため、電気信号全体を 正確に線形変換モードまたは対数変換モード由来の状態に統一することができない
[0006] 本発明の課題は、電気信号を正確に線形変換または対数変換由来の状態に統一 することができる撮像装置を提供することである。
課題を解決するための手段
[0007] 請求の範囲第 1項に記載の発明は、撮像装置において、
入射光を電気信号に線形変換する線形変換モードと、入射光を電気信号に対数 変換する対数変換モードとを入射光量に基づいて切り換える複数の画素を有する撮 像素子と、
撮像素子から対数変換されて出力された基準電気信号を、対数変換する前の電気 信号を線形変換して得られる電気信号に変換して出力する変換部と、
撮像素子から対数変換されて出力される電気信号が、前記基準電気信号からずれ て 、る場合、前記基準電気信号に合うように補正する補正部と、
補正された電気信号を前記変換部に与える回路と、
を有することを特徴とする。
また、請求の範囲第 8項に記載の発明は、撮像装置において、
所定光量までの間、入射光量に基づいた電気信号に線形変換して出力し、その後 、入射光量に基づいた電気信号に対数変換して出力する複数の画素を有する撮像 素子と、
撮像素子から対数変換されて出力された基準電気信号を、対数変換する前の電気 信号を線形変換して得られる電気信号に変換して出力する変換部と、
撮像素子から対数変換されて出力される電気信号が、前記基準電気信号からずれ て 、る場合、前記基準電気信号に合うように補正する補正部と、
補正された電気信号を前記変換部に与える回路と、
を有することを特徴とする。
[0008] また、請求の範囲第 12項に記載の発明は、撮像装置において、
所定光量までの間、入射光量に基づいた電気信号に線形変換して出力し、その後 、入射光量に基づいた電気信号に対数変換して出力する複数の画素を有する撮像 素子と、
線形変換から対数変換に切り換わる点での変曲点信号を導出する導出部と、 導出部で導出された変曲点信号と撮像素子力 出力された電気信号とを比較する 比較部と、
比較の結果、変曲点信号が大きい場合、撮像素子力 対数変換されて出力された 基準電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に 変換して出力する変換部と、
撮像素子から対数変換されて出力される電気信号が、前記基準電気信号からずれ て 、る場合、前記基準電気信号に合うように補正する補正部と、
補正された電気信号を前記変換部に与える回路と、
を有することを特徴とする。
発明の効果
[0009] 本発明によれば、対数変換された電気信号を正確に、線形変換由来の状態に統 一することができる。さらに、本発明によれば、対数変換された電気信号を複雑な回 路を使用することなぐ線形変換由来の状態に統一することができる。
図面の簡単な説明
[0010] [図 1]本発明に係る撮像装置の概略構成を示すブロック図である。
[図 2]撮像素子の構成を示すブロック図である。
[図 3]画素及び線形ィ匕部の動作を説明するための図である。
[図 4]露光時間と変曲点との関係を示す図である。
[図 5]制御電圧と変曲点との関係を示す図である。
[図 6]画素の構成を示す回路図である。
[図 7]信号処理部及び変曲信号導出部を示すブロック図である。
[図 8]補正係数 aを示す図である。
[図 9]変動補正及び特性変換の処理を示すフローチャートである。
符号の説明
[0011] 1 撮像装置
2 撮像素子 3 信号処理部
30 変動補正部
31 線形化部 (特性変換部）
32 係数導出部
32a ルックアップテーブル
33 演算処理部
34 変曲信号導出部
34a ノレックアップテープノレ
Gll〜Gmn 画素
発明を実施するための最良の形態
[0012] [実施の形態]
以下、図面を参照しつつ、本発明の実施の形態について説明する。
[0013] 図 1は、本発明に係る撮像装置 1の概略構成を示すブロック図である。
[0014] この図に示すように、撮像装置 1は、レンズ群 10及び絞り 11を介して入射光を受光 する撮像素子 2を備えている。これらレンズ群 10及び絞り 11としては、従来より公知 のものが用いられている。
[0015] 撮像素子 2は、図 2に示すように、行列配置 (マトリクス配置）された複数の画素 G11 〜Gmn (但し、 n, mは 1以上の整数）を有している。
[0016] 各画素 Gll〜Gmnは、入射光を光電変換して電気信号を出力するものである。こ れら画素 Gll〜Gmnは、入射光量に基づいて電気信号への変換モードを切り換える ようになっており、本実施の形態においては、図 3に実線で示すように、所定入射光 量 th未満の入射光量に対しては入射光を線形変換する線形変換モードを、所定入 射光量 th以上の入射光量に対しては入射光を対数変換する対数変換モードを行う ようになっている。
[0017] ここで、線形変換モードと対数変換モードとが切り換えられる境界、いわゆる変曲点 は撮像素子 2における画素 Gll〜Gmnの駆動条件、例えば撮影時での露光時間や 制御電圧などによって変化するようになっている。具体的には、図 4に示すように、露 光時間が「tl」〜「t3」の順に短くなるほど、変曲点での出力信号値 (以下、変曲出力 信号値 Hとする）と前記所定入射光量 thとは「I」〜「III」の順に大きくなる。また、図 5 に示すように、制御電圧が「VI」〜「V3」の順に小さくなるほど、画素 Gll〜Gmnの変 曲出力信号値 Hは「IV」〜「VI」の順に大きくなる。なお、図 4,図 5中、「al」〜「a3」， 「b」〜「d」， 「a」， 「dl」〜「d3」はそれぞれ定数である。このうち、露光時間 tl〜t3の駆 動条件下での線形変換モードにおける入出力特性の傾き al〜a3は、当該露光時間 tl〜t3に対して比例関係を有している。また、制御電圧 V1〜V3の駆動条件下での 対数変換モードにおける入出力特性の切片 dl〜d3は、当該制御電圧 V1〜V3に対 して比例関係を有している。以下、所定入射光量 thが最も小さいとき、つまり、線形 変換モードの行われる割合が最も小さぐ対数変換モードの行われる割合が最も大き いときの露光時間 tlを、基準露光時間とする。
[0018] これら画素 Gll〜Gmnのレンズ群 10側には、それぞれレッド（Red)、グリーン（Gree n)及びブルー (Blue)のうち何れ力 1色のフィルタ（図示せず）が配設されて 、る。また 、画素 Gll〜Gmnには、図 2に示すように、電源ライン 20や信号印加ライン LA1〜LA n, LB1〜： LBn, LCl〜LCn、信号読出ライン LDl〜LDmが接続されている。なお、画 素 Gll〜Gmnには、クロックラインやバイアス供給ライン等のラインも接続されている 力 図 2ではこれらの図示を省略している。
[0019] 信号印加ライン LAl〜LAn, LB1〜： LBn, LCI〜： LCnは画素 Gll〜Gmnに対して信 号 φ V, φ VPS (図 6参照）を与えるようになって!/、る。これら信号印加ライン LA1〜LA n, LBl〜LBn, LCl〜LCnには、垂直走査回路 21が接続されている。この垂直走査 回路 21は、後述の信号生成部 48 (図 1参照)からの信号に基づいて信号印加ライン LAl〜LAn, LBl〜LBn, LCl〜LCnに信号を印加するものであり、信号を印加する 対象の信号印加ライン LAl〜LAn, LBl〜LBn, LCl〜LCnを X方向に順次切り換え るようになっている。
[0020] 信号読出ライン LDl〜LDmには、各画素 Gll〜Gmnで生成された電気信号が導出 されるようになって!/、る。これら信号読出ライン LDl〜LDmには定電流源 Dl〜Dm及 び選択回路 Sl〜Smが接続されている。
[0021] 定電流源 Dl〜Dmの一端（図中下側の端部）には、直流電圧 VPSが印加されるよう になっている。 [0022] 選択回路 Sl〜Smは、各信号読出ライン LDl〜LDmを介して画素 Gll〜Gmnから 与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これ ら選択回路 Sl〜Smには、水平走査回路 22及び補正回路 23が接続されている。水 平走査回路 22は、電気信号をサンプルホールドして補正回路 23に送信する選択回 路 Sl〜Smを、 Y方向に順次切り換えるものである。また、補正回路 23は、選択回路 Sl〜Smから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号 力 ノイズ信号を除去するものである。
[0023] なお、選択回路 Sl〜Sm及び補正回路 23としては、特開平 2001— 223948号公 報に開示のものを用いることができる。また、本実施の形態においては、選択回路 S1 〜Smの全体に対して補正回路 23を 1つのみ設けることとして説明する力 選択回路 Sl〜Smのそれぞれに対して補正回路 23を 1つずつ設けることとしても良い。
[0024] 以上の撮像素子 2には、図 1に示すように、アンプ 12及び ADコンバータ 13を介し て、黒基準設定部 14及び信号処理部 3がこの順に接続されている。
[0025] 黒基準設定部 14は、デジタル信号の最低レベルを設定するものである。
[0026] 信号処理部 3は、対数変換モードによって撮像素子 2から出力される電気信号に対 して信号処理を行うものであり、線形ィ匕部 31及び変動補正部 30を備えている。
[0027] 線形化部 31は、本発明における特性変換部であり、撮像素子 2からの出力信号を 線形変換モード由来の状態に統一するようになっている。この線形ィ匕部 31は、図 7に 示すように、セレクタ 31b、基準変換テーブル 3 la及び出力部 31cを備えている。な お、図 7では、 ADコンバータ 13や制御装置 46等の図示を省略している。
[0028] セレクタ 31bは、撮像素子 2からの電気信号と前記変曲出力信号値 Hとの大小を判 別し、撮像素子 2からの電気信号が前記変曲出力信号値 Hより大きい場合、つまり対 数変換モード由来の電気信号が撮像素子 2から出力される場合には、撮像素子 2か らの出力信号を基準変換テーブル 31aに出力し、変曲出力信号値 H以下の場合に は出力部 31cに出力するようになっている。
[0029] 基準変換テーブル 31aは、図 3に矢印 Zで示すように、撮像素子 2から出力される電 気信号のうち、対数変換モード由来の電気信号を、入射光から線形変換された状態 、つまり線形変換モード由来の状態に特性変換するものである。この基準変換テー ブル 31aの変換特性は、撮像素子 2の駆動条件が所定の基準条件である場合、本 実施の形態においては画素 Gll〜Gmnの露光時間が前記基準露光時間 tlである場 合に当該撮像素子 2から対数変換モードで出力される電気信号が正確に線形変換 モード由来の状態となるように設定されている。
[0030] 出力部 31cは、セレクタ 31bまたは基準変換テーブル 31aから入力される電気信号 を出力するものである。
[0031] 変動補正部 30は、撮像素子 2の前記駆動条件、本実施の形態においては画素 G1 1〜G匪の露光時間に起因して当該撮像素子 2の入出力特性が変動する場合に、こ の撮像素子 2から出力される電気信号の変動補正を行うものである。
[0032] この変動補正部 30は、図 7に示すように、係数導出部 32と演算処理部 33とを備え ている。
[0033] 係数導出部 32は、画素 Gll〜Gmnの露光時間についての露光時間情報と、画素 Gl l〜Gmnにつ!/、ての画素情報とに基づ 、て画素 Gl l〜Gmnごとに補正係数 α 11 〜a mnを導出するものであり、本実施の形態においては、露光時間情報及び画素 情報の入力によって補正係数 a 11〜 a mnを算出するルックアップテーブル 32aを備 えている。
[0034] ここで、例えば撮像時の露光時間が前記露光時間 t2 (変数）（図 4参照)である場合 には、補正係数 αは α =cLn(alZa2) =cLn(tlZt2)で示される値であり、換言す れば、図 8 (a)に示すように、露光時間 t2の駆動条件下で撮像素子 2から対数変換モ ードで出力される電気信号が正確に線形変換モード由来の状態となるような変換特 性を有する仮想の変換テーブル（図中の点線参照）と、前記基準変換テーブル 31a ( 図中の実線参照）との入力軸（図中の X軸）上での距離である。なお、このような仮想 の変換テーブルは、実験や理論計算などによって求めることができ、仮想の変換テ 一ブルと基準変換テーブル 3 laとは、互いに平行な関係となっている。また、図 8 (a) 中では、線形領域に対する各変換テーブルの図示を省略して ヽる。
[0035] また、画素情報としては、各画素 Gll〜Gmnの IDナンバー等の固有情報や、撮像 素子中での位置情報などが用いられて 、る。
[0036] 演算処理部 33は、係数導出部 32で導出された補正係数 a 11〜 a mnに基づいて 、画素 Gl l〜Gmnごとに前記変動補正を行うものであり、本実施の形態においては、 対数変換モードによって各画素 Gl l〜Gmnより出力される電気信号から、補正係数 a 11〜ひ讓を減算するようになっている。これにより、変動補正された対数変換モー ド由来の電気信号は、前記基準変換テーブル 31aによって正確に線形変換モード 由来の電気信号に特性変換可能な状態となる。
[0037] 具体的には、例えば上述の図 8 (a)に示すように、露光時間 t2 (図 4参照）の駆動条 件下で画素 Gl l〜Gmn力も対数変換モードで出力される電気信号の信号値が X2で あるとする。この場合、対数変換モード由来の信号値 X2が正確に線形変換モード由 来の状態の電気信号に特性変換されるとき、つまり、信号値 X2が前記仮想の変換テ 一ブルで特性変換されるときには、特性変換後の出力信号値は Y2である。これに対 し、信号値 X2をそのまま基準変換テーブル 31aによって特性変換すると、特性変換 後の信号値は Y1であるが、信号値 X2を補正係数 aで減算した信号値 XI ( =X2— a )を基準変換テーブル 3 laによって特性変換したときには、特性変換後の信号値 は Y2である。つまり、対数変換モード由来の信号値 X2を補正係数 αで減算すること により、減算後の電気信号は前記基準変換テーブル 31aによって正確に線形変換モ ード由来の電気信号に特性変換可能な状態となる。
[0038] この信号処理部 3には、図 1に示すように、変曲信号導出部 34及び画像処理部 4 がそれぞれ接続されている。
[0039] 変曲信号導出部 34は、前記露光時間情報と前記画素情報とに基づいて前記変曲 出力信号値 Hを導出するものであり、本実施の形態においては、図 7に示すように、 露光時間情報及び画素情報の入力によって変曲出力信号値 Hを導出するルックァ ップテーブル 34aを備えて 、る。
[0040] 画像処理部 4は、画素 Gl l〜Gmnからの電気信号全体によつて構成される画像デ ータに対して画像処理を行うものであり、 AWB (Auto White Balance)処理部 40、色 補間部 41、色補正部 42、階調変換部 43及び色空間変換部 44を備えている。これら AWB処理部 40、色補間部 41、色補正部 42、階調変換部 43及び色空間変換部 44 は、信号処理部 3に対してこの順に接続されている。
[0041] AWB処理部 40は画像データに対してホワイトバランス処理を行うものであり、色補 間部 41は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基 づいて、これら近接画素間に位置する画素について、この色の電気信号を補間演算 するものである。色補正部 42は画像データの色合いを補正するものであり、より詳細 には、各色の電気信号を他の色の電気信号に基づき画素 Gll〜Gmnごとに補正す るものである。階調変換部 43は画像データの階調変換を行うものであり、色空間変 換部 44は RGB信号を YCbCr信号に変換するものである。
[0042] また、信号処理部 3には、評価値算出部 5及び制御装置 46がこの順に接続されて いる。
[0043] 評価値算出部 5は、 AWB処理部 40でのホワイトバランス処理 (AWB処理）に用い られる AWB評価値や、露光制御処理部 47での露出制御処理 (AE処理）に用いら れる AE評価値を算出するものである。
[0044] 制御装置 46は、撮像装置 1の各部を制御するものであり、図 1に示すように、上述 のアンプ 12、黒基準設定部 14、信号処理部 3、変曲信号導出部 34、 AWB処理部 4 0、色補間部 41、色補正部 42、階調変換部 43及び色空間変換部 44と接続されてい る。また、制御装置 46は、露光制御処理部 47を介して絞り 11と接続され、信号生成 部 48を介して撮像素子 2及び ADコンバータ 13と接続されている。
[0045] 続いて、本実施の形態における画素 Gll〜Gmnについて説明する。
[0046] 各画素 Gll〜Gmnは、図 6に示すように、フォトダイオード P及びトランジスタ T1〜T 3を備えている。なお、トランジスタ Τ1〜Τ3は、バックゲートの接地された Νチャネルの MOSトランジスタである。
[0047] フォトダイオード Ρには、レンズ群 10及び絞り 11を通過した光が当たるようになって いる。このフォトダイオード Ρの力ソード Pkには直流電圧 VPDが印加されており、ァノ ード PAにはトランジスタ T1のドレイン T1D及びゲート T1Gと、トランジスタ T2のゲート T 2Gとが接続されている。
[0048] トランジスタ T1のソース T1Sには信号印加ライン LC (図 2の LCl〜LCnに相当）が接 続されており、この信号印加ライン LC力も信号 φ VPSが入力されるようになっている。 ここで、信号 φ VPSは 2値の電圧信号であり、より詳細には、入射光量が所定値を超 えたときにトランジスタ T1をサブスレツショルド領域で動作させるための電圧値 VHと、 トランジスタ Tlを導通状態にする電圧値 VLとの 2つの値をとるようになっている。
[0049] また、トランジスタ T2のドレイン T2Dには直流電圧 VPDが印加されており、トランジス タ T2のソース T2Sは行選択用のトランジスタ T3のドレイン T3Dに接続されている。
[0050] このトランジスタ T3のゲート T3Gには信号印加ライン LA (図 2の LAI〜LAnに相当） が接続されており、この信号印カロライン LA力も信号 φ Vが入力されるようになっている
。また、トランジスタ T3のソース T3Sは信号読出ライン LD (図 2の LDl〜LDmに相当） に接続されている。
[0051] なお、以上のような画素 Gll〜Gmnとしては、特開 2002— 77733号公報に開示の ものを用いることができる。
[0052] ここで、上述の図 4で示したように露光時間が短くなるほど線形変換モードの割合が 大きくなるのは、露光時間が短くなるほど、トランジスタ T2のゲート T2Gとソース T2Sと の間のポテンシャルの差が大きくなり、トランジスタ T2がカットオフ状態で動作する被 写体輝度の割合、つまり線形変換する被写体輝度の割合が大きくなるためである。ま た、図 4では図示していないが、撮像素子 2に対する制御電圧、つまり、信号 φ VPS の電圧値 VL, VHの差が大きくなる場合や、温度が低くなる場合にも、線形変換する 被写体輝度の割合は大きくなる。そのため、これら制御電圧や露光時間、温度などを 変化させることによって、画像信号のダイナミックレンジや、前記変曲点での前記所 定入射光量 th,前記変曲出力信号値 Hを制御することができる。具体的には、例え ば、被写体の輝度範囲が狭 、場合には電圧値 VLを低くして線形変換する輝度範囲 を広くするとともに、被写体の輝度範囲が広い場合には電圧値 VLを高くして対数変 換する輝度範囲を広くすることで、画素 Gll〜Gmnの光電変換特性を被写体の特性 に合わせることができる。更に、電圧値 VLを最小とするときには常に画素 Gll〜Gmn を線形変換する状態とし、電圧値 VLを最大とするときには常に画素 Gll〜Gmnを対 数変換する状態とすることもできる。
[0053] 続いて、撮像装置 1の撮像動作について説明する。
[0054] まず、撮像素子 2が各画素 Gll〜Gmnへの入射光を光電変換し、線形変換モード または対数変換モード由来の電気信号をアナログ信号として出力する。具体的には 、上述のように各画素 Gll〜Gmnが信号読出ライン LDに電気信号を出力すると、こ の電気信号を定電流源 Dが増幅し、選択回路 Sが順にサンプルホールドする。そして 、サンプルホールドされた電気信号が選択回路 Sから補正回路 23に送出されると、 補正回路 23がノイズを除去して電気信号を出力する。
[0055] 次に、撮像素子 2から出力されたアナログ信号をアンプ 12が増幅し、 ADコンパ一 タ 13がデジタル信号に変換する。次に、黒基準設定部 14がデジタル信号の最低レ ベルを設定した後、図 9に示すように、当該デジタル信号を信号処理部 3の線形化部 31及び変動補正部 30に送信する (ステップ T1,ステップ Ul)。また、制御装置 46が 撮像素子 2の各画素 Gll〜Gmnの露光時間情報と、画素情報とを変動補正部 30及 び変曲信号導出部 34に送信する (ステップ U1,ステップ Sl)。
[0056] 露光時間情報及び画素情報を受信したら、変曲信号導出部 34は、ルックアップテ 一ブル 34aによって変曲出力信号値 Hを導出し (ステップ S2)、変動補正部 30と線 形化部 31のセレクタ 31bとに送信する（ステップ S3)。このように、ルックアップテープ ル 34aが露光時間及び画素情報に基づいて変曲出力信号値 Hを導出するので、変 曲出力信号値 Hの導出が正確に行われる。また、ルックアップテーブル 34aによって 変曲出力信号値 Hを導出するので、演算によって導出する場合と比較して、変曲信 号導出部 34の構成が簡素化されるとともに、導出処理が高速化される。
[0057] 変曲信号導出部 34からの変曲出力信号値 Hを受信したら (ステップ U2)、変動補 正部 30は画素 Gll〜Gmnからの出力信号の信号値と変曲出力信号値 Hとの大小を 比較し (ステップ U3)、画素 Gll〜Gmn力もの出力信号の信号値が変曲出力信号値 H以下である場合、つまり画素 Gll〜Gmn力 の出力信号が線形変換モード由来の 電気信号である場合 (ステップ U3 ; Yes)には、変動補正部 30は処理を終了する。一 方、ステップ U3において画素 Gll〜Gmnからの出力信号が変曲出力信号値 Hより 大きい場合 (ステップ U3 ; No)には、変動補正部 30は、ルックアップテーブル 32aに よって画素 Gll〜Gmnごとに補正係数 α 11〜α πιηを導出し (ステップ U4)、演算処 理部 33によって画素 Gll〜Gmnごとに変動補正を行った後 (ステップ U5)、変動補 正後の電気信号を線形化部 31のセレクタ 3 lbに送信する (ステップ U6)。
[0058] このように、画素 Gll〜Gmnの露光時間に起因して当該画素 Gll〜Gmnの入出力 特性が変動する場合に、この画素 Gll〜Gmnから出力される電気信号の変動補正を 変動補正部 30が行うので、駆動条件によって入出力特性が変動する場合であっても 、基準露光時間 tlにおける出力値と、画素 Gll〜Gmnの実際の出力値とのズレが補 正される。また、係数導出部 32が撮像時の露光時間及び画素情報に基づいて補正 係数 α 11〜ひ mnを導出するので、導出される補正係数 a 11〜 a mnを演算処理部 3 3が用いることによって、露光時間や画素 Gll〜Gmnに起因する撮像素子 2の入出 力特性の変動が正確に補正される。また、ルックアップテーブル 32aによって補正係 数 α 11〜 a mnを導出するので、演算によって補正係数 α 11〜 a mnを導出する場合 と比較して、係数導出部 32の構成が簡素化されるとともに、導出処理が高速化され る。また、画素 Gll〜Gmnからの出力信号が対数変換モード由来の電気信号である 場合にのみ変動補正を行うので、出力信号が線形変換モード由来の電気信号であ る場合、つまり、対数変換モードに由来の電気信号を他方の変換モードに由来の状 態に変換する必要のない場合には無駄に変動補正が行われないこととなり、その結 果、信号処理が高速化される。
[0059] また、変曲信号導出部 34からの変曲出力信号値 Hを受信したら (ステップ T2)、線 形ィ匕部 31のセレクタ 31bは画素 Gll〜Gmnからの出力信号の信号値と変曲出力信 号値 Hとの大小を比較し (ステップ T3)、画素 Gll〜Gmnからの出力信号が変曲出力 信号値 H以下である場合 (ステップ T3 ; Yes)には、出力部 31cを介して画素 Gll〜 Gmnからの出力信号をそのまま出力する（ステップ T4)。一方、画素 Gll〜Gmnから の出力信号が変曲出力信号値 Hより大きい場合 (ステップ T3 ;No)には、セレクタ 31 bは変動補正部 30から変動補正後の電気信号を受信し (ステップ T5)、この電気信 号に対して基準変換テーブル 31aに特性変換を行わせた後 (ステップ T6)、出力部 3 lcを介して出力する (ステップ T7)。
[0060] このように、画素 Gll〜Gmn力もの出力信号が対数変換モード由来の電気信号で ある場合にのみ特性変換を行うので、出力信号が線形変換モード由来の電気信号 である場合、つまり、対数変換モードに由来の電気信号を他方の変換モードに由来 の状態に変換する必要のない場合には無駄に特性変換が行われないこととなり、そ の結果、信号処理が高速化される。
[0061] 次に、線形化部 31から出力される電気信号に基づいて評価値算出部 5が前記 AW B評価値， AE評価値を算出する。
[0062] 次に、算出された AE評価値に基づいて制御装置 46が露光制御処理部 47を制御 し、撮像素子 2に対する露光量を調節させる。
[0063] また、 AWB評価値や、前記黒基準設定部 14で設定された前記最低レベル等に基 づ ヽて制御装置 46が AWB処理部 40を制御し、信号処理部 3から出力される画像デ ータに対してホワイトバランス処理を行わせる。
[0064] そして、 AWB処理部 40から出力される画像データに基づいて色補間部 41、色補 正部 42、階調変換部 43及び色空間変換部 44がそれぞれ画像処理を行った後、画 像データを出力する。
[0065] 以上の撮像装置 1によれば、駆動条件によって入出力特性が変動する場合であつ ても、従来と異なり、基準露光時間 tlにおける出力値と、実際の出力値とのズレを補 正することができるため、線形ィ匕部 31での特性変換によって電気信号を正確に線形 変換モード由来の状態に統一することができる。
[0066] また、複数の画素 Gll〜Gmnに対して変動補正部 30を 1つのみ備えるので、各画 素 Gll〜Gmnに対応付けて複数の変動補正部 30を備える場合と比較して、撮像装 置 1の構成を簡素化することができる。
[実施の形態の変形例]
次に、上記実施の形態の変形例について説明する。なお、上記実施の形態と同様 の構成要素には同一の符号を付し、その説明を省略する。
[0067] 本変形例における変動補正部 30は、各画素 Gll〜Gmnの制御電圧に起因して画 素 Gll〜Gmnの入出力特性が変動する場合に、この画素 Gll〜Gmnから出力される 電気信号の変動補正を行うようになって!/、る。
[0068] 具体的には、変動補正部 30の係数導出部 32は、図 5,図 8 (b)に示すように、所定 入射光量 thが最も小さいときの制御電圧 VIを基準制御電圧とし、制御電圧 V2 (変数 )の駆動条件に対応する仮想の変換テーブルと、基準制御電圧 VIの駆動条件に対 応する基準変換テーブル 3 laとの入力軸（図 8 (b)中の X軸）上での距離 X2— Xl = d 2— dl =m2V2—mlVl (但し、 m2 = d2/V2, ml = dlZVl)を補正係数 αとして用 いるようになっている。 [0069] このような場合であっても、上記第 1の実施の形態と同様の効果を得ることができる
[0070] なお、上記第 1の実施の形態及び変形例にお!、ては、変動補正部 30は線形化部 31の前段に配設されることとして説明した力 後段に配設されることとしても良いし、 係数導出部 30を線形化部 31の前段に、演算処理部 33を後段に設けることとしても 良い。
[0071] また、撮像素子 2の駆動条件として露光時間や制御電圧を用いることとして説明し たが、温度を用いることとしても良い。
[0072] また、変動補正部 30は、変動補正後の電気信号を導出する演算処理部 33を備え ることとして説明したが、駆動条件や画素情報、撮像素子 2から出力される電気信号 等の入力によって変動補正後の電気信号を導出するルックアップテーブルを備える こととしても良い。この場合には、上記実施の形態と同様の効果を得ることができ、ま た、演算によって変動補正後の電気信号を導出する場合と比較して変動補正部 30 の構成を簡素化することができる。
[0073] また、変動補正部 30及び線形ィ匕部 31は 1つのみ設けられていることとして説明した 力 各画素 Gll Gmnに対応付けて複数設けられることとしても良い。特に、線形ィ匕 部 31が複数設けられる場合には、画素 Gll Gmnごとに光電変換の変換特性が異 なる場合であっても、電気信号全体を正確に線形変換モードまたは対数変換モード 由来の状態に統一することができる。また、変動補正部 30が複数設けられる場合に は、画素 Gll Gmnごとに入出力特性の変動量が異なる場合であっても、正確に変 動補正を行うことができる。
[0074] また、係数導出部 32は、駆動条件と画素情報とに基づいて画素 Gll Gmnごとに 補正係数 α 11 を導出することとして説明した力 駆動条件のみに基づいて、 画素 Gll Gmnに共通の補正係数 αを導出することとしても良い。
[0075] また、係数導出部 32は、補正係数を導出する基準変換テーブル 31aを備えることと して説明したが、駆動条件などの入力によって補正係数を導出する演算器を備える こととしても良い。
[0076] また、本発明における特性変換部を、対数変換モード由来の電気信号を線形変換 によって生成された状態に特性変換する線形ィ匕部 31として説明したが、線形変換モ ード由来の電気信号を対数変換モード由来の状態に特性変換するものとしても良い
[0077] また、変曲信号導出部 34は、駆動条件と画素情報とに基づいて変曲出力信号値 Hを導出することとして説明したが、駆動条件のみに基づいて導出することとしても良 い。また変曲信号導出部 34は、変曲出力信号値 Hを導出するルックアップテーブル 34aを備えることとして説明したが、変曲出力信号値 Hを導出する演算器を備えること としても良い。
[0078] また、線形化部 31, 36は、基準変換テーブル 31aによって特性変換を行うこととし て説明したが、指数変換する等の演算によって行うこととしても良い。
[0079] また、画素 Gll〜Gmnは図 6のような構成を有することとして説明した力 線形変換 モードと対数変換モードとを切り換え可能であれば、例えば上述の特許文献 1に示さ れるような構成を有することとしても良い。
[0080] 更に、各画素 Gll〜Gmnに RGBフィルタを設けることとして説明した力 シアン（Cy an)、マゼンタ（Magenta)及びイェロー (Yellow)などの他の色フィルタを設けることとし ても良い。

Claims

請求の範囲
[1] 入射光を電気信号に線形変換する線形変換モードと、入射光を電気信号に対数変 換する対数変換モードとを入射光量に基づいて切り換える複数の画素を有する撮像 素子と、
撮像素子から対数変換されて出力された基準電気信号を、対数変換する前の電気 信号を線形変換して得られる電気信号に変換して出力する変換部と、
撮像素子から対数変換されて出力される電気信号が、前記基準電気信号からずれ て 、る場合、前記基準電気信号に合うように補正する補正部と、
補正された電気信号を前記変換部に与える回路と、
を有することを特徴とする撮像装置。
[2] 請求の範囲第 1項に記載の撮像装置において、
前記補正部は、撮影素子の駆動条件に基づいて、撮像素子から対数変換されて出 力される電気信号を前記基準電気信号に合うように補正することを特徴とする撮像装 置。
[3] 請求の範囲第 2項に記載の撮像装置において、
前記補正部は、前記駆動条件の入力によって、補正係数を出力するルックアップテ 一ブルを有して 、ることを特徴とする撮像装置。
[4] 請求の範囲第 1項に記載の撮像装置において、
前記補正部は、撮像素子の各画素毎に補正することを特徴とする撮像装置。
[5] 請求の範囲第 1項に記載の撮像装置において、
前記補正部は、前記駆動条件および撮像素子から対数変換されて出力される電気 信号の入力によって、補正後の電気信号を出力するルックアップテーブルを有して V、ることを特徴とする撮像装置。
[6] 請求の範囲第 1項に記載の撮像装置において、
前記回路は、撮像素子の各画素毎に備えていることを特徴とする撮像装置。
[7] 請求の範囲第 1項に記載の撮像装置において、
前記駆動条件は、撮影時の温度と、前記画素の露光時間と、前記画素に対する制 御電圧とのうち少なくとも 1つであることを特徴とする撮像装置。
[8] 所定光量までの間、入射光量に基づいた電気信号に線形変換して出力し、その後 、入射光量に基づいた電気信号に対数変換して出力する複数の画素を有する撮像 素子と、
撮像素子から対数変換されて出力された基準電気信号を、対数変換する前の電気 信号を線形変換して得られる電気信号に変換して出力する変換部と、
撮像素子から対数変換されて出力される電気信号が、前記基準電気信号からずれ て 、る場合、前記基準電気信号に合うように補正する補正部と、
補正された電気信号を前記変換部に与える回路と、
を有することを特徴とする撮像装置。
[9] 請求の範囲第 8項に記載の撮像装置において、
前記補正部は、撮影素子の駆動条件に基づいて、撮像素子から対数変換されて 出力される電気信号を前記基準電気信号に合うように補正することを特徴とする撮像 装置。
[10] 請求の範囲第 9項に記載の撮像装置において、
前記補正部は、前記駆動条件の入力によって、補正係数を出力するルックアップ テーブルを有して ヽることを特徴とする撮像装置。
[11] 請求の範囲第 8項に記載の撮像装置において、
前記補正部は、撮像素子の各画素毎に補正することを特徴とする撮像装置。
[12] 所定光量までの間、入射光量に基づいた電気信号に線形変換して出力し、その後、 入射光量に基づいた電気信号に対数変換して出力する複数の画素を有する撮像素 子と、
線形変換から対数変換に切り換わる点での変曲点信号を導出する導出部と、 導出部で導出された変曲点信号と撮像素子力 出力された電気信号とを比較する 比較部と、
比較の結果、変曲点信号が大きい場合、撮像素子力 対数変換されて出力された 基準電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に 変換して出力する変換部と、
撮像素子から対数変換されて出力される電気信号が、前記基準電気信号からずれ て 、る場合、前記基準電気信号に合うように補正する補正部と、
補正された電気信号を前記変換部に与える回路と、
を有することを特徴とする撮像装置。
[13] 請求の範囲第 12項に記載の撮像装置において、
前記導出部は、撮影素子の駆動条件に基づいて前記変曲点信号を導出すること を特徴とする撮像装置。
[14] 請求の範囲第 13項に記載の撮像装置において、
前記導出部は、撮影素子の駆動条件の入力によって前記変曲点信号を導出する ルックアップテーブルを有することを特徴とする撮像装置。
[15] 請求の範囲第 13項に記載の撮像装置において、
前記導出部は、撮影素子の駆動条件と各画素の特性に基づいて前記変曲点信号 を導出することを特徴とする撮像装置。
[16] 請求の範囲第 12項に記載の撮像装置において、
前記駆動条件は、撮影時の温度と、前記画素の露光時間と、前記画素に対する制 御電圧とのうち少なくとも 1つであることを特徴とする撮像装置。
PCT/JP2006/301728 2005-02-10 2006-02-02 撮像装置 WO2006085464A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007502572A JPWO2006085464A1 (ja) 2005-02-10 2006-02-02 撮像装置
US11/883,898 US7916197B2 (en) 2005-02-10 2006-02-02 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005034524 2005-02-10
JP2005-034524 2005-02-10

Publications (1)

Publication Number Publication Date
WO2006085464A1 true WO2006085464A1 (ja) 2006-08-17

Family

ID=36793039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/301728 WO2006085464A1 (ja) 2005-02-10 2006-02-02 撮像装置

Country Status (4)

Country Link
US (1) US7916197B2 (ja)
JP (1) JPWO2006085464A1 (ja)
CN (1) CN100579178C (ja)
WO (1) WO2006085464A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211565A (ja) * 1998-01-20 1999-08-06 Honda Motor Co Ltd 信号処理機能付き光センサ
JPH11298799A (ja) * 1998-04-15 1999-10-29 Honda Motor Co Ltd 光センサ信号処理装置
JP2000175108A (ja) * 1998-12-04 2000-06-23 Honda Motor Co Ltd イメ―ジセンサの出力補正回路
WO2002045414A1 (fr) * 2000-12-01 2002-06-06 Honda Giken Kogyo Kabushiki Kaisha Dispositif permettant de corriger la sortie d'un capteur d'images
JP2002223392A (ja) * 2001-01-26 2002-08-09 Minolta Co Ltd 固体撮像装置
JP2002290835A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 固体撮像装置
WO2003026282A1 (fr) * 2001-09-13 2003-03-27 Honda Giken Kogyo Kabushiki Kaisha Dispositif d'imagerie d'evenement haute vitesse
JP2004088312A (ja) * 2002-08-26 2004-03-18 Minolta Co Ltd 撮像装置
JP2004356866A (ja) * 2003-05-28 2004-12-16 Minolta Co Ltd 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0330350A (ja) 1989-06-27 1991-02-08 Matsushita Electric Ind Co Ltd 半導体装置の製造方法
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
JPH0530350A (ja) 1991-07-18 1993-02-05 Minolta Camera Co Ltd 固体撮像装置
US6697112B2 (en) * 1998-11-18 2004-02-24 Intel Corporation Imaging system having multiple image capture modes
US7667760B2 (en) * 2002-05-02 2010-02-23 Honda Giken Kogyp Kabushiki Kaisha Image sensor output correction device
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
JP4185771B2 (ja) * 2002-12-27 2008-11-26 シャープ株式会社 固体撮像装置
EP1475961B1 (en) * 2003-05-06 2010-07-07 STMicroelectronics (Research & Development) Limited Combined linear-logarithmic image sensor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211565A (ja) * 1998-01-20 1999-08-06 Honda Motor Co Ltd 信号処理機能付き光センサ
JPH11298799A (ja) * 1998-04-15 1999-10-29 Honda Motor Co Ltd 光センサ信号処理装置
JP2000175108A (ja) * 1998-12-04 2000-06-23 Honda Motor Co Ltd イメ―ジセンサの出力補正回路
WO2002045414A1 (fr) * 2000-12-01 2002-06-06 Honda Giken Kogyo Kabushiki Kaisha Dispositif permettant de corriger la sortie d'un capteur d'images
JP2002223392A (ja) * 2001-01-26 2002-08-09 Minolta Co Ltd 固体撮像装置
JP2002290835A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 固体撮像装置
WO2003026282A1 (fr) * 2001-09-13 2003-03-27 Honda Giken Kogyo Kabushiki Kaisha Dispositif d'imagerie d'evenement haute vitesse
JP2004088312A (ja) * 2002-08-26 2004-03-18 Minolta Co Ltd 撮像装置
JP2004356866A (ja) * 2003-05-28 2004-12-16 Minolta Co Ltd 撮像装置

Also Published As

Publication number Publication date
US20090153713A1 (en) 2009-06-18
CN101112081A (zh) 2008-01-23
US7916197B2 (en) 2011-03-29
CN100579178C (zh) 2010-01-06
JPWO2006085464A1 (ja) 2008-06-26

Similar Documents

Publication Publication Date Title
EP0862320B1 (en) An apparatus and method for correcting offset and gain drift present during communication of data
Huo et al. Robust automatic white balance algorithm using gray color points in images
US8723958B2 (en) Image pickup apparatus and image pickup element
US7545412B2 (en) Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion
JP5012796B2 (ja) 撮像装置
US7924319B2 (en) Signal processing apparatus allowing an increase in pixels without an increase in driving frequency and circuit area
US20010030770A1 (en) Discrepancy correction method and apparatus for correcting difference in levels of image signals obtained by an image sensor having a multiple output channels
JP2007329655A (ja) 撮像装置
KR940011702B1 (ko) 촬상장치와 그 방법
JP4710617B2 (ja) 撮像装置及び撮像方法
JP2007036353A (ja) 撮像装置
WO2006085464A1 (ja) 撮像装置
WO2006067926A1 (ja) 撮像装置及び撮像方法
JP4792943B2 (ja) 撮像装置
JP2007324998A (ja) 撮像装置
JP2007318503A (ja) 撮像装置
JP2010016475A (ja) 固体撮像装置および三板式固体撮像装置
KR20010076835A (ko) 디지털 카메라의 자동 화이트 밸런스 장치 및 방법
JP4853734B2 (ja) 撮像装置
JP2006237998A (ja) 撮像装置
US11496715B2 (en) Image color brightness compensation method and image color brightness compensation system by using a bayer color filter and a demosaic process
JP2004007160A (ja) シェーディング補正装置
JP2005086630A (ja) 撮像装置
JPH1127684A (ja) 自動色温度補正装置
JP2007312109A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007502572

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200680003816.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 11883898

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06712871

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 6712871

Country of ref document: EP