WO2019171946A1 - 撮像素子、電子機器 - Google Patents

撮像素子、電子機器 Download PDF

Info

Publication number
WO2019171946A1
WO2019171946A1 PCT/JP2019/006221 JP2019006221W WO2019171946A1 WO 2019171946 A1 WO2019171946 A1 WO 2019171946A1 JP 2019006221 W JP2019006221 W JP 2019006221W WO 2019171946 A1 WO2019171946 A1 WO 2019171946A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
noise
ktc
capacitor
value
Prior art date
Application number
PCT/JP2019/006221
Other languages
English (en)
French (fr)
Inventor
千丈 岡田
泰昭 西谷
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201980013413.4A priority Critical patent/CN111713100B/zh
Priority to US16/976,243 priority patent/US11252357B2/en
Publication of WO2019171946A1 publication Critical patent/WO2019171946A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present technology relates to an image sensor and an electronic device, for example, an image sensor and an electronic device that can suppress noise.
  • an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element has a pixel in which a PD (photodiode) that performs photoelectric conversion and a plurality of transistors are combined, and an image is output based on pixel signals output from the plurality of pixels arranged in a plane. Is built.
  • the pixel signals output from the pixels are AD-converted in parallel by a plurality of AD (Analog to Digital) converters arranged for each column of pixels, for example, and output.
  • AD Analog to Digital
  • Patent Document 1 it is proposed to perform reading twice before and after the start of exposure as a technique for performing cancellation including kTC noise for each pixel.
  • a reset is first applied before the exposure starts, and a reset signal for each pixel is acquired for all effective pixels and stored in a memory or the like as digital data.
  • CDS is performed by subtracting them from the accumulated signal obtained after the exposure is completed.
  • noise cancellation corresponding to the change in noise generation amount can be performed and noise cancellation can be performed with higher accuracy.
  • the present technology has been made in view of such a situation, and enables processing for canceling noise to be performed with higher accuracy.
  • a first image sensor includes a sample hold unit that performs sampling and holding of a pixel signal, an AD conversion unit that performs AD (Analog Digital) conversion of the pixel signal, and an operational amplifier included in the sample hold unit And a setting unit that sets the transconductance to a transconductance that minimizes the kTC noise.
  • a second image sensor includes a sample hold unit that samples and holds a pixel signal, a kTC cancel unit that reduces kTC noise of the sample hold unit, and an AD (Analog Digital) of the pixel signal An AD conversion unit that performs conversion; and a setting unit that sets a capacitance value of a capacitor included in the kTC cancellation unit to a capacitance value that minimizes the kTC noise.
  • a first electronic device includes an image sensor and a signal processing unit that processes a signal output from the image sensor, and the image sensor performs a sample hold for sampling and holding a pixel signal. And an AD converter that performs AD (Analog Digital) conversion of the pixel signal, and a setting unit that sets the transconductance of the operational amplifier included in the sample-and-hold unit to a transconductance that minimizes kTC noise.
  • AD Analog Digital
  • a second electronic device includes an imaging device and a signal processing unit that processes a signal output from the imaging device, and the imaging device performs sampling and holding of a pixel signal.
  • a kTC cancellation unit that reduces kTC noise of the sample hold unit, an AD conversion unit that performs AD (Analog-Digital) conversion of the pixel signal, and a capacitance value of a capacitor included in the kTC cancellation unit.
  • a setting unit for setting the capacitance value to minimize noise.
  • sampling and holding of the pixel signal are performed, AD conversion of the pixel signal is performed, and the transconductance of the operational amplifier is set to a transconductance that minimizes the kTC noise.
  • sampling and holding of the pixel signal are performed, kTC noise is reduced, the pixel signal is AD-converted, and the capacitance value of the capacitor is the capacitance that minimizes the kTC noise. Set to a value.
  • the first electronic device includes the first image sensor.
  • the second electronic device includes the second imaging element.
  • the image sensor may be an independent device or an internal block constituting one device.
  • processing for canceling noise can be performed with higher accuracy.
  • FIG. 1 It is a figure which shows the structural example of an imaging device. It is a figure which shows the structural example of an image pick-up element. It is a circuit diagram of a pixel. It is a figure which shows the structural example of the read-out part. It is a figure which shows the structural example of a S / H part. It is a figure for demonstrating operation
  • the present technology can be applied to an imaging device, here, a case where the present technology is applied to an imaging device will be described as an example.
  • the description will be continued by taking the imaging device as an example, but the present technology is not limited to the application to the imaging device, and the imaging function of an imaging device such as a digital still camera or a video camera, a mobile phone, etc.
  • the present invention is applicable to all electronic devices using an imaging device as an image capturing unit (photoelectric conversion unit), such as a portable terminal device and a copying machine using an imaging device as an image reading unit.
  • a module-like form mounted on an electronic device that is, a camera module is used as an imaging device.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus that is an example of the electronic apparatus of the present disclosure.
  • the imaging apparatus 10 includes an optical system including a lens group 11 and the like, an imaging element 12, a DSP circuit 13 that is a camera signal processing unit, a frame memory 14, a display unit 15, a recording unit 16, and an operation system 17. And a power supply system 18 and the like.
  • the DSP circuit 13, the frame memory 14, the display unit 15, the recording unit 16, the operation system 17, and the power supply system 18 are connected to each other via a bus line 19.
  • the CPU 20 controls each unit in the imaging device 10.
  • the lens group 11 takes in incident light (image light) from a subject and forms an image on the imaging surface of the imaging element 12.
  • the imaging element 12 converts the amount of incident light imaged on the imaging surface by the lens group 11 into an electrical signal in units of pixels and outputs it as a pixel signal.
  • this image sensor 12 an image sensor (image sensor) including pixels described below can be used.
  • the display unit 15 includes a panel type display unit such as a liquid crystal display unit or an organic EL (electroluminescence) display unit, and displays a moving image or a still image captured by the image sensor 12.
  • the recording unit 16 records a moving image or a still image captured by the image sensor 12 on a recording medium such as a video tape or a DVD (Digital Versatile Disk).
  • the operation system 17 issues operation commands for various functions of the imaging apparatus under operation by the user.
  • the power source system 18 appropriately supplies various power sources serving as operation power sources for the DSP circuit 13, the frame memory 14, the display unit 15, the recording unit 16, and the operation system 17 to these supply targets.
  • FIG. 2 is a block diagram illustrating a configuration example of the image sensor 12.
  • the imaging element 12 can be a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 12 includes a pixel array unit 51, a row selection unit 52 as a pixel driving unit, and a reading unit 53.
  • a plurality of pixels 50 are arranged in a two-dimensional shape (matrix shape) of M rows ⁇ N columns.
  • the control lines 54 wired to the pixel array unit 51 are wired in units of rows of the pixel array, with a transfer line, a reset line, and a row selection line as a set.
  • the row selection unit 52 controls the operation of the pixels arranged in an arbitrary row in the pixel array unit 51.
  • the row selection unit 52 controls the pixel unit through the control line 54.
  • the readout unit 53 receives the data of the pixel row that is controlled to be read out by the row selection unit 52 via the vertical signal line 55 and transfers the data to the subsequent signal processing unit.
  • a constant current unit and a reading unit 53 are connected to the vertical signal line 55.
  • FIG. 3 is a circuit diagram of the pixels 50 arranged in the pixel array unit 51 (FIG. 2).
  • the pixel 50 includes a photodiode (PD) 71, a transfer transistor 72, an FD (floating diffusion) 73, a reset transistor 74, an amplification transistor 75, and a selection transistor 76.
  • PD photodiode
  • FD floating diffusion
  • the PD 71 functions as a photoelectric conversion element that generates and accumulates charges (signal charges) corresponding to the amount of received light.
  • the PD 71 has an anode terminal grounded and a cathode terminal connected to the FD 73 via the transfer transistor 72.
  • the transfer transistor 72 When the transfer transistor 72 is turned on by the transfer signal TR, the transfer transistor 72 reads the charge generated by the PD 71 and transfers it to the FD 73.
  • the FD 73 holds the electric charge read from the PD 71.
  • the reset transistor 74 When the reset transistor 74 is turned on by the reset signal RST, the charge accumulated in the FD 73 is discharged to the drain (constant voltage source Vdd), thereby resetting the potential of the FD 73.
  • the amplification transistor 75 outputs a pixel signal corresponding to the potential of the FD 73. That is, the amplification transistor 75 constitutes a load MOS (not shown) as a constant current source connected via the vertical signal line 55 and a source follower circuit, and exhibits a level corresponding to the charge accumulated in the FD 73.
  • the pixel signal is output from the amplification transistor 75 to the reading unit 53 (FIG. 2) via the selection transistor 76 and the vertical signal line 55.
  • the selection transistor 76 is turned on when the pixel 50 is selected by the selection signal SEL, and outputs the pixel signal of the pixel 50 to the reading unit 53 via the vertical signal line 55.
  • Each signal line through which the transfer signal TR, the selection signal SEL, and the reset signal RST are transmitted corresponds to the control line 54 in FIG.
  • the pixel 50 can be configured as described above, but is not limited to this configuration, and other configurations may be employed.
  • FIG. 4 is a diagram illustrating a configuration example of the reading unit 53.
  • the reading unit 53 includes a sample hold unit (S / H unit) 111, an ADC (Analog Digital converter) 112, and a conversion transmission unit 113.
  • S / H unit sample hold unit
  • ADC Analog Digital converter
  • the S / H unit 111 and the ADC 112 are provided for each vertical signal line 55 (FIG. 3).
  • the S / H unit 111 has a function of sampling and holding the photoelectric conversion amount of the pixel 50 as a sample.
  • the signal held by the S / H unit 111 is supplied to the ADC 112.
  • the signal supplied to the ADC 112 is an analog signal, and the ADC 112 converts the supplied analog signal into a digital signal.
  • the signal converted into a digital signal by the ADC 112 (hereinafter referred to as a pixel value as appropriate) is supplied to the conversion transmission unit 113.
  • the conversion / transmission unit 113 has a function of converting parallel data into serial data and transmitting the parallel data to a signal processing unit (not shown). Since the pixel values are respectively supplied from the plurality of ADCs 112 to the conversion transmission unit 113, the plurality of pixel values are converted into serial data and output.
  • FIG. 5 is a diagram illustrating a configuration example of the S / H unit 111.
  • the S / H unit 111 shown in FIG. 5 includes a circuit that performs sampling and holding (hereinafter appropriately described as an S / H circuit), and a portion that cancels generated noise (hereinafter appropriately described as a cancellation circuit). It is composed of
  • the S / H circuit includes an operational amplifier 131, a switch SW1, a switch PH1, a switch PH2, and a capacitor C1.
  • the cancel circuit includes a capacitor Cint, a capacitor Chold, a capacitor Cfb, and a switch SW2.
  • the S / H circuit has a capacitor C1 having one end connected to the inverting input terminal IN (-in the figure) of the operational amplifier 131.
  • the potential at one end of the capacitor C1 can be set to the potential V of the output terminal Vout of the operational amplifier 131 by turning on (closing) the switch PH1.
  • the switch SW1 When the switch SW1 is turned on with the switch PH1 turned on and the other end of the capacitor C1 is connected to the sampling voltage input terminal VIN (Vpix in the figure), the capacitor C1 has a charge corresponding to the input potential to Vin. Charged.
  • the capacitor C1 holds the charged electric charge, and the potential at the other end of the capacitor C1 is held at the input potential VH at the time tS.
  • the potential VH at the other end of the capacitor C1 is taken out as an output value of the output Vout by turning on the switch PH2.
  • the S / H unit 111 shown in FIG. 5 has a cancel circuit.
  • the cancel circuit is configured to integrate the generated noise for a certain period with the capacitor Cint, and to feed back the result integrated with the capacitor Cint for a short time by turning on the switch SW2 for canceling the noise of the sample capacitance. ing.
  • the operation of the S / H unit 111 including the cancel circuit will be described with reference to FIGS. 6 to 11, the left chart shows the timing chart, and the right chart shows the state of the S / H unit 111 at a predetermined timing.
  • timing chart In the upper part of the timing chart, one cycle of processing in the S / H unit 111 is shown, and in the lower part, the state of the input voltage and output voltage of the operational amplifier 131 at a predetermined timing is shown. Further, the timing chart for one cycle shown in the upper part is a common chart in FIGS.
  • FIG. 6 shows the state of the S / H unit 111 in the period T1 during which each element in the S / H unit 111 is initialized.
  • the switch PH1 is on
  • the switch PH2 is off
  • the switch SW1 is on
  • the switch SW2 is on.
  • the pixel output value Vpix from the pixel 50 is stored in the capacitor C1.
  • the pixel output value Vpix is sampled on the ground reference (hereinafter referred to as GND reference) with the sample capacity of the capacitor C1.
  • GND reference means that the + side terminal of the operational amplifier 131 is grounded (grounded), so that the ground is used as a reference.
  • the input value input to the negative terminal of the operational amplifier 131 is expressed as gm input voltage.
  • the output value from the operational amplifier 131 is expressed as a gm output voltage.
  • the gm input voltage and the gm output voltage are based on GND.
  • both the switch PH1 and the switch SW2 are turned off.
  • the state at this time is shown in FIG.
  • a period from time t1 to time t2 is defined as a period T2.
  • the state of each switch in this period T2 is a state in which the switch PH1 is off, the switch PH2 is off, the switch SW1 is on, and the switch SW2 is off.
  • the gm input voltage to the operational amplifier 131 is stabilized at a value deviated from the GND reference. As shown in the lower left diagram of FIG. 7, the gm input voltage is stabilized at a value shifted upward from the GND reference.
  • the gm output voltage After time t1 (period T2), the gm output voltage also changes. With reference to FIG. 8, a change in the gm output voltage in the period T2 will be described. In the period T2, since the switch PH1 is in an off state (open state) and is in an open loop state, the gm input voltage of the operational amplifier 131 is based on the GND reference as described with reference to FIG. Is also stable at a value shifted upward.
  • period T2 a change occurs in which noise generated in the capacitor C1 is amplified and integrated by the capacitor Cint. That is, the capacitor Cint accumulates electric charges corresponding to the fluctuation of the output voltage of the S / H circuit due to kTC noise.
  • the switch SW2 is turned on.
  • the state at this time is shown in FIG.
  • the state at time t2 is a state in which the switch PH1 is off, the switch PH2 is off, the switch SW1 is on, and the switch SW2 is on (a state in which the switch SW2 is switched on).
  • FIG. 10 is a diagram showing a state in the period T3.
  • the state shown in FIG. 10 is a state in which the switch PH1 is off, the switch PH2 is off, the switch SW1 is on, and the switch SW2 is on, as in the state shown in FIG.
  • the period T3 during which the switch SW2 is turned on is a short time. During this period T3, negative charges move from the capacitor Cint to the capacitor Cfb, so that both ends of the capacitor Cfb (the end connected to the capacitor Chold of the capacitor Cfb and the end connected to the capacitor C1). Changes so as to have the same charge. That is, the capacitor Cfb functions as a capacitor that feeds back the charge corresponding to the fluctuation of the output voltage of the S / H circuit due to the kTC noise accumulated in the capacitor Cint to the operational amplifier 131 side.
  • the positive charge of the capacitor Cfb increases and the negative charge moves toward the capacitor C1.
  • the positive charge in the capacitor C1 generated by the kTC noise is reduced. Therefore, as shown in the lower left diagram of FIG. 10, the gm input voltage decreases in the period T2, and changes in a direction approaching the GND reference.
  • the gm input voltage changes in a direction approaching the GND reference. In other words, the gm input voltage returns to GND reference.
  • the state after this time t3 (period T4) will be described with reference to FIG.
  • the state in the period T4 is a state in which the switch PH1 is off, the switch PH2 is on, the switch SW1 is off, and the switch SW2 is off.
  • the switch SW2 is switched from the on state to the off state. Further, after the switch SW2 is switched, the switch SW1 is switched from the on state to the off state. Further, after the switch SW1 is switched (when a predetermined time has elapsed from time t3), the switch PH2 is switched from the off state to the on state.
  • the switch SW2 When the switch SW2 is turned off, the gm input voltage returns to the GND reference. Since the switch SW1 is switched from on to off at time t3, the pixel output Vpix is correctly sampled on the basis of GND until time t3. When the switch SW1 is turned off at time t3, the pixel output Vpix can be held in the capacitor C1 on the basis of GND.
  • FIG. 12 shows a configuration example of the reading unit 53 having a mechanism for canceling noise with higher accuracy.
  • a signal processing unit 201 that calculates a noise amount using a pixel value read by the reading unit 53 or calculates a setting value corresponding to the noise amount is added. Has been.
  • an accessory unit 202 is added to perform processing according to the set value calculated by the signal processing unit 201, for example, control of the current value.
  • the accessory unit 202 is connected to each S / H unit 111 through a signal line that outputs a control signal to each S / H unit 111 provided in the reading unit 53.
  • the S / H unit 111 generates a pixel signal by performing processing including processing for reducing noise under the control of the accessory unit 202.
  • the signal processing unit 201 may be included in the reading unit 53, or may be provided in a portion different from the reading unit 53.
  • the accessory unit 202 may be included in the reading unit 53 or may be provided in a portion different from the reading unit 53.
  • the reading unit 53 and the signal processing unit 201 are temporarily formed at positions separated from each other. However, it is difficult to be influenced by noise, and it is considered that the influence of the arrangement position of the reading unit 53 and the signal processing unit 201 is small.
  • the accessory unit 202 is configured to include a variable current source, for example, but has a configuration in which the number of parts is small and the cause of noise is small.
  • noise is not generated by the newly added signal processing unit 201 and accessory unit 202, and the processing described below is executed, so that the noise of the S / H unit 111 can be canceled with higher accuracy. It becomes like this.
  • the S / H unit 111 In order to cancel the noise in the S / H unit 111, it is only necessary to generate and subtract electric charges in the cancel circuit for the generated noise. When such noise cancellation is performed, the S / H unit 111 satisfies the following expression (1).
  • represents a feedback coefficient composed of the capacitor C1, the capacitor Chold, and the capacitor Cfb.
  • gm represents the transconductor of the operational amplifier 131
  • Tint is a time for accumulating charges in the capacitor Cint, and in the above example, represents a value corresponding to the period T2.
  • Cint represents the capacity of the capacitor Cint (capacitance for current integration).
  • Noise can be canceled by the S / H unit 111 by setting ⁇ , gm, Tint, and Cint so that the expression (1) is satisfied.
  • the signal processing unit 201 and the accessory unit 202 function as a setting unit that sets ⁇ , gm, Tint, or Cint that enables the S / H unit 111 to cancel noise with high accuracy, and based on the setting, the S / H unit 111 Controls to perform sampling and holding.
  • is set
  • gm is set
  • Tint is set
  • Cint is set.
  • FIG. 13 shows a configuration example when the noise of the S / H unit 111 is reduced by adjusting the transconductor gm of the operational amplifier 131.
  • a reading unit 53 that reads out one column of the pixel array unit 51 is illustrated, and one set of the S / H unit 111 and the ADC 112 is illustrated.
  • the current source connected to the operational amplifier 131 is a variable current source 231, and the current value of the variable current source 231 is the accessory unit.
  • the configuration is controlled (adjusted) by a variable current source 221 in 202.
  • the current passed through the variable current source 221 of the accessory unit 202 is set to a value set by the signal processing unit 201.
  • variable current source 231 connected to the operational amplifier 131 is controlled by the variable current source 221 in the accessory unit 202, but the variable current source 221 in the accessory unit 202 is changed.
  • the accessory unit 202 may directly control the variable current source 231 based on the value set by the signal processing unit 201.
  • the accessory unit 202 continues the description by taking as an example the case of controlling the variable current source 221 based on the value set by the signal processing unit 201, but the accessory unit 202 is not provided, and the signal processing unit 201 However, a configuration in which the variable current source 231 is directly controlled may be employed.
  • the pixel array section 51 has pixels 50 arranged in an array.
  • a plurality of pixels are arranged in one line, and a plurality of lines in which such pixels are arranged are provided.
  • the first line and the second line located in the upper part of the pixel array unit 51 are shielded from light and do not receive light. Processing by the signal processing unit 201 is performed using the pixel values for these two lines.
  • processing is performed using pixel values for two lines.
  • processing may be performed with pixel values for one line
  • FIG. 14 the description will be continued with an example in which processing is performed using the upper two lines of the pixel array unit 51, but the positions of these lines are limited to the upper two lines.
  • the upper one line and the lower one line may be light-shielded lines, and the processing may be performed using these two lines.
  • the first current adjustment value is set.
  • a plurality of current adjustment values are set in advance.
  • This current adjustment value is a value itself set as the current of the transconductor gm of the S / H unit 111 or a value associated with the current of the transconductor gm.
  • the current adjustment value set by the signal processing unit 201 is supplied to the accessory unit 202, and the accessory unit 202 supplies The current of the transconductor gm of the S / H unit 111 is controlled so that the current of the transconductor gm associated with the adjusted current adjustment value is obtained.
  • step S11 one of the i current adjustment values is set (current adjustment value i1).
  • the current adjustment value i1 set by the signal processing unit 201 is supplied to the accessory unit 202, and the accessory unit 202 converts the current of the transconductor gm of the operational amplifier 131 of the S / H unit 111 into the current adjustment value i1 (current adjustment value).
  • the control is started such that the current value associated with i1).
  • step S12 the signal processing unit 201 inputs the first line data from the reading unit 53.
  • This input data is data obtained when the current of the transconductor gm of the operational amplifier 131 of the S / H unit 111 is adjusted by the current adjustment value i1.
  • the data on the first line is data Xn. n corresponds to the number of pixels arranged on the first line.
  • step S13 it is determined whether or not the data input for the first line has been completed.
  • step S13 the process returns to step S12 until the data input for the first line is completed, and the data input for the first line is continued.
  • the input data is held in a storage element such as a RAM (Random Access Memory).
  • step S13 determines whether the data input for the first line has been completed. If it is determined in step S13 that the data input for the first line has been completed, the process proceeds to step S14.
  • step S14 the average value of the data on the first line is calculated.
  • the description will be continued assuming that the calculated average value of the first line data is the average value Xave.
  • step S15 data input for the second line is started.
  • the data on the second line is assumed to be data X′n.
  • a difference from the data for the first line is calculated and held in step S16.
  • step S16 a difference (Xn ⁇ X′n) between data Xn and data X′n is calculated.
  • step S17 it is determined whether or not the data input for the second line is completed. In step S17, the process returns to step S15 until it is determined that the data input of the second line is completed, and the calculation of the difference between the data input of the second line and the data of the first line is continued.
  • step S17 determines whether the data input for the second line has been completed. If it is determined in step S17 that the data input for the second line has been completed, the process proceeds to step S18.
  • step S18 the average value of the data on the second line is calculated.
  • the description will be continued assuming that the calculated average value of the second line data is the average value X′ave.
  • step S18 the average difference D is calculated.
  • step S19 the difference data (Xn ⁇ X′n) is read out. Since the difference is calculated and held in step S16, the held difference data is read for the number of pixels arranged in one lie.
  • step S21 a difference between the read difference data and the average difference D calculated in step S19 is calculated, and an absolute value is calculated. That is, in step S21,
  • step S22 it is determined whether or not the calculation for one line has been completed.
  • n pixels are arranged in one line, the calculations in step S20 and step S21 are repeated n times.
  • step S22 If it is determined in step S22 that the calculation for one line has been completed, the process proceeds to step S23, and data for one loop is held.
  • step S23 By performing the processing of steps S11 to S23, an index of noise when set to one current adjustment value i is obtained. In other words, the amount of noise generated is measured when shooting is performed with the set current adjustment value i by performing the processing of steps S11 to S23.
  • Equation (2) Xn is a pixel value read from a predetermined pixel on the first line, and Xave is an average value of the pixel values on the first line.
  • X′n is a pixel value read from a predetermined pixel on the second line, and X′ave is an average value of pixel values on the second line.
  • the result of the calculation according to Equation (2) is a small value when the noise is small, and a large value when the noise is large. Therefore, it can be used as an index of noise.
  • the noise index n is expressed as the noise index n
  • the noise index n obtained at the current adjustment value i is expressed as the noise index ni.
  • noise index ni is calculated for each current adjustment value i, for example, when 10 current adjustment values i are set, the processing of steps S12 to S23 is repeated 10 times to obtain 10 noise adjustment values i. An index ni is calculated.
  • step S23 when data for one loop is held in step S23, the process proceeds to step S24 to determine whether all current adjustment values have been set and the noise index has been calculated. Determined.
  • step S24 If it is determined in step S24 that there is a current adjustment value i that has not yet been set, the process proceeds to step S25.
  • step S25 the current adjustment value i set next to the current adjustment value i set at that time is set. The process after step S12 (FIG. 15) is performed by this newly set current adjustment value i.
  • step S24 if it is determined in step S24 that all the current adjustment values i have been set, the process proceeds to step S26.
  • step S26 the minimum value is searched.
  • the noise index value ni is calculated when each of the current adjustment values i is set. The minimum value of the noise index values ni is searched.
  • FIG. 17 shows an example in which the noise index value ni obtained by the processing up to step S25 is represented by a graph.
  • the vertical axis represents the noise index value ni
  • the horizontal axis represents the current adjustment value i.
  • the graph shown in FIG. 17 is an example, and for example, a graph that increases or decreases in a linear function may be obtained.
  • a graph as shown in FIG. 17 is shown, and it is not necessary to draw a graph when executing the processing in step S26. It is only necessary to search for the current adjustment value i at which the noise index value ni becomes the minimum value.
  • the current adjustment value i is set.
  • the processing in the S / H unit 111 with reduced noise can be executed.
  • the process of steps S12 to S25 is repeated and the noise index ni is calculated by the number of preset current adjustment values i is described as an example, for example, When the noise index ni is calculated in the process of step S23, if the value of the noise index ni becomes 0 or a value close to 0 (below a predetermined threshold value), the process is terminated.
  • the set current adjustment value i may be set as the current adjustment value i used during shooting.
  • step S28 it is determined whether frame period processing is turned on.
  • the current adjustment value is not set for each frame, but may be set for every several frames.
  • Such a mode for setting the current adjustment value every several frames and a mode for setting the current adjustment value every frame may be configured to be set by the user, or some condition may be set.
  • a configuration may be adopted in which the mode is switched when the condition is satisfied.
  • the frame cycle processing may be turned on when a moving image is shot, and the frame cycle processing may be turned off when a still image is shot.
  • step S28 If it is determined in step S28 that the frame period processing is turned on, the process proceeds to step S29.
  • step S29 the process is skipped by a predetermined number of frames. After the skip is completed, the process is returned to step S12 (FIG. 15), and the subsequent processes are repeated.
  • step S28 if it is determined in step S28 that the frame cycle processing is not turned on, the processing based on the flowcharts shown in FIGS. 15 and 16 is terminated.
  • the signal processing unit 201 sequentially switches a plurality of preset current adjustment values, measures noise at the set current adjustment value, and calculates a current adjustment value that minimizes the noise. Since the current value of the operational amplifier 131 in the S / H unit 111 is controlled by the calculated current adjustment value, it is possible to execute processing in which noise such as kTC noise is reduced.
  • the S / H unit 111 has a cancel circuit for canceling noise. Noise can be canceled by this cancel circuit, and further, fine adjustment for further suppressing noise can be performed by setting the current adjustment value as described above.
  • the amount of noise generated may change depending on the usage environment such as temperature and humidity, but the processing described above is executed, so that the amount of noise changes due to such changes in the usage environment. Corresponding noise cancellation processing can be performed.
  • the S / H unit 111 has a cancel circuit for canceling noise.
  • the readout shown in FIG. 13 including the S / H unit 111 shown in FIG. As described above, the configuration of the unit 53 can be applied to a configuration in which the cancel circuit of the S / H unit 111 is not provided because the transconductor gm of the operational amplifier 131 is adjusted.
  • the adjustment for canceling the noise may be performed by setting each item so as to satisfy Expression (1).
  • the case where the transconductor gm of the operational amplifier 131 is adjusted will be described. did.
  • a case where noise is further reduced by adjusting the capacitance value of the capacitor Cint included in the S / H unit 111 will be described.
  • FIG. 18 is a diagram illustrating a configuration example when the noise of the S / H unit 111 is reduced by adjusting the capacitance value (current integration capacitance) of the capacitor Cint of the operational amplifier 131.
  • the capacitor Cint is composed of a variable capacitance capacitor.
  • the capacitance value controller 301 controls (adjusts).
  • the accessory unit 202 includes a capacitance value controller 301, and adjusts the capacitance of the capacitor Cint so as to be a value set by the signal processing unit 201.
  • the description will be continued by taking as an example the case where the capacitance controller 301 in the accessory unit 202 controls the capacitance of the capacitor Cint, but the accessory unit 202 is not provided, and the signal processing unit 201 directly In addition, a configuration may be adopted in which the capacitance of the capacitor Cint is controlled.
  • the signal processing unit 201 in the configuration shown in FIG. 18 performs processing based on the flowcharts shown in FIGS. 15 and 16, description thereof is omitted.
  • the current adjustment value is read as the capacitance value, whereby the processing of the signal processing unit 201 illustrated in FIG. 18 can be performed.
  • the signal processing unit 201 sets one capacitance value among a plurality of preset capacitance values, and the capacitance value controller 301 of the accessory unit 202 sets the capacitance value set by the signal processing unit 201.
  • the capacitance of the capacitor Cint in the S / H unit 111 is controlled.
  • the pixel value at the time of such control is used, and the noise index value ni is calculated.
  • Such a noise index value ni is calculated for each of a plurality of preset capacitance values, and a capacitance value for obtaining a minimum noise index value ni is searched. Since the capacitance value of the capacitor Cint of the operational amplifier 131 is controlled by the capacitance value searched in this way, it is possible to execute processing in which noise such as kTC noise is reduced.
  • the capacitance value of the capacitor Cint is adjusted, noise can be canceled by the cancel circuit included in the S / H unit 111, and further, the noise can be further suppressed by setting the capacitance value as described above. Fine adjustments can be made.
  • the amount of noise generated may change depending on the usage environment such as temperature and humidity, but the processing described above is executed, so that the amount of noise changes due to such changes in the usage environment. Corresponding noise cancellation processing can be performed.
  • FIG. 19 is a diagram illustrating a configuration example when the noise of the S / H unit 111 is reduced by adjusting the feedback feedback coefficient ⁇ of the capacitor Cfb of the operational amplifier 131.
  • the feedback feedback coefficient ⁇ is a value that satisfies the following expression.
  • Cfb / (C1 + Cfb)
  • Cfb represents the capacitance of the capacitor Cfb
  • C1 represents the capacitance of the capacitor C1.
  • the feedback feedback coefficient ⁇ is a value set by the capacitance of the capacitor Cfb when the capacitance of the capacitor C1 is fixed. Therefore, here, an example will be described in which the feedback feedback coefficient ⁇ is adjusted, in other words, the noise of the S / H unit 111 is reduced by adjusting the capacitance of the capacitor Cfb.
  • the feedback feedback coefficient ⁇ is related to this coefficient. Therefore, here, it is a coefficient related to feedback, and is expressed as a feedback feedback coefficient ⁇ in the sense of a value for adjusting the capacitance of the capacitor Cfb.
  • the capacitor Cfb is composed of a variable capacitor, and this variable capacitor is used as feedback feedback in the accessory unit 202.
  • the coefficient controller 401 is controlled (adjusted).
  • the accessory unit 202 includes a feedback feedback coefficient controller 401, and adjusts the capacitance of the capacitor Cfb to be a value set by the signal processing unit 201.
  • the capacitance of the capacitor Cfb is controlled by the feedback feedback coefficient controller 401 in the accessory unit 202, but the accessory unit 202 is not provided, and the signal processing unit 201 directly
  • the capacitance of the capacitor Cfb may be controlled.
  • the signal processing unit 201 in the configuration shown in FIG. 19 performs processing based on the flowcharts shown in FIG. 15 and FIG. In the above description, the processing of the signal processing unit 201 illustrated in FIG. 19 can be performed by replacing the current adjustment value with the feedback feedback coefficient.
  • the signal processing unit 201 sets one feedback feedback coefficient among a plurality of feedback feedback coefficients set in advance, and the feedback feedback coefficient controller 401 of the accessory unit 202 is set by the signal processing unit 201.
  • the capacitance of the capacitor Cfb in the S / H unit 111 is controlled so as to be a feedback feedback coefficient.
  • the pixel value at the time of such control is used, and the noise index value ni is calculated.
  • Such a noise index value ni is calculated for each of a plurality of feedback feedback coefficients set in advance, and a feedback feedback coefficient that obtains a minimum noise index value ni is searched. Since the capacitance of the capacitor Cfb of the operational amplifier 131 is controlled by the feedback feedback coefficient searched in this way, it is possible to execute processing in which noise such as kTC noise is reduced.
  • the noise can be canceled by the cancel circuit provided in the S / H unit 111, and further, the noise is further suppressed by setting the feedback feedback coefficient ⁇ as described above. It is possible to make fine adjustments.
  • the amount of noise generated may change depending on the usage environment such as temperature and humidity, but the processing described above is executed, so that the amount of noise changes due to such changes in the usage environment. Corresponding noise cancellation processing can be performed.
  • connection time Tint for connecting the capacitor Cint included in the S / H unit 111 and the operational amplifier 131
  • FIG. 20 is a diagram illustrating a configuration example when the noise of the S / H unit 111 is reduced by adjusting the connection time Tint for connecting the capacitor Cint of the operational amplifier 131 and the operational amplifier 131.
  • connection time Tint for connecting the capacitor Cint of the operational amplifier 131 and the operational amplifier 131
  • a switch 502 is provided between the capacitor Cint and the operational amplifier 131, and this switch 502 is turned on.
  • the time (connection time Tint) is controlled (adjusted) by the connection time controller 501 in the accessory unit 202.
  • the accessory unit 202 includes a connection time controller 501 and adjusts the connection time of the switch 501 so as to be a value set by the signal processing unit 201. By controlling the connection time of the switch 501, the time for which charges are accumulated in the capacitor Cint is controlled.
  • connection time of the switch 501 is controlled by the connection time controller 501 in the accessory unit 202, but the accessory unit 202 is not provided, and the signal processing unit 201 directly Alternatively, the connection time of the switch 501 may be controlled.
  • the signal processing unit 201 in the configuration shown in FIG. 20 performs processing based on the flowcharts shown in FIGS. 15 and 16, the description thereof is omitted.
  • the current adjustment value can be read as the connection time, whereby the processing of the signal processing unit 201 illustrated in FIG. 20 can be performed.
  • the signal processing unit 201 sets one connection time among a plurality of connection times set in advance, and the connection time controller 501 of the accessory unit 202 sets the connection time set by the signal processing unit 201.
  • the connection time of the switch 502 in the S / H unit 111 is controlled.
  • the pixel value at the time of such control is used, and the noise index value ni is calculated.
  • Such a noise index value ni is calculated for each of a plurality of preset connection times, and a connection time for obtaining a minimum noise index value ni is searched. Since the time during which charges are accumulated in the capacitor Cint of the operational amplifier 131 is controlled by the connection time searched in this way, it is possible to execute processing with reduced noise such as kTC noise.
  • connection time of the switch 502 is adjusted, noise can be canceled by the cancel circuit included in the S / H unit 111, and further, the noise can be further suppressed by setting the connection time as described above. Fine adjustments can be made.
  • the amount of noise generated may change depending on the usage environment such as temperature and humidity, but the processing described above is executed, so that the amount of noise changes due to such changes in the usage environment. Corresponding noise cancellation processing can be performed.
  • noise may be reduced by a combination of the capacitance values of the transconductor gm and the capacitor Cint.
  • the S / H unit included in the readout unit that reads the pixel value in the imaging device has been described as an example.
  • the S / H unit to which the present technology is applied is other than the imaging device. It can also be applied to the above-mentioned apparatus, and can be applied to a part that performs sampling and holding.
  • FIG. 21 is a diagram illustrating an outline of a configuration example of a stacked solid-state imaging device to which the technology according to the present disclosure can be applied.
  • the solid-state imaging device 510 has a single die (semiconductor substrate) 511 as shown in FIG.
  • the die 511 is mounted with a pixel area 512 in which pixels are arranged in an array, a control circuit 513 for driving the pixel and other various controls, and a logic circuit 514 for signal processing.
  • the signal processing unit 201 and the accessory unit 202 in the above-described embodiment can be arranged.
  • the solid-state imaging device 520 is configured as a single semiconductor chip in which two dies of a sensor die 521 and a logic die 524 are stacked and electrically connected.
  • the sensor die 521 includes a pixel region 512 and a control circuit 513
  • the logic die 524 includes a logic circuit 514 including a signal processing circuit that performs signal processing.
  • the pixel region 512 is mounted on the sensor die 521, and the control circuit 513 and the logic circuit 514 are mounted on the logic die 524.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 22 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (present technology) according to the present disclosure can be applied.
  • FIG. 22 shows a state where an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using an endoscopic operation system 11000.
  • an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as an insufflation tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 that supports the endoscope 11100. And a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • an endoscope 11100 configured as a so-called rigid mirror having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible lens barrel. Good.
  • An opening into which the objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. Irradiation is performed toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: “Camera Control Unit”) 11201 as RAW data.
  • the CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various kinds of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example.
  • image processing for example, development processing (demosaic processing
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 includes a light source such as an LED (light emitting diode), and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • a light source such as an LED (light emitting diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • a user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment instrument control device 11205 controls the drive of the energy treatment instrument 11112 for tissue ablation, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 11206 passes gas into the body cavity via the pneumoperitoneum tube 11111.
  • the recorder 11207 is an apparatus capable of recording various types of information related to surgery.
  • the printer 11208 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the light source device 11203 that supplies the irradiation light when the surgical site is imaged to the endoscope 11100 can be configured by, for example, a white light source configured by an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the drive of the image sensor of the camera head 11102 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure A range image can be generated.
  • the light source device 11203 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • a so-called narrow-band light observation (Narrow Band Imaging) is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 23 is a block diagram illustrating an example of a functional configuration of the camera head 11102 and the CCU 11201 illustrated in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are connected to each other by a transmission cable 11400 so that they can communicate with each other.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101. Observation light taken from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging device constituting the imaging unit 11402 may be one (so-called single plate type) or plural (so-called multi-plate type).
  • image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of lens units 11401 can be provided corresponding to each imaging element.
  • the imaging unit 11402 is not necessarily provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the driving unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Thereby, the magnification and the focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
  • a so-called AE (Auto-Exposure) function, AF (Auto-Focus) function, and AWB (Auto-White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls driving of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electrical communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various types of control related to imaging of the surgical site by the endoscope 11100 and display of a captured image obtained by imaging of the surgical site. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a picked-up image showing the surgical part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques.
  • the control unit 11413 detects surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 11112, and the like by detecting the shape and color of the edge of the object included in the captured image. Can be recognized.
  • the control unit 11413 may display various types of surgery support information superimposed on the image of the surgical unit using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 11131, thereby reducing the burden on the operator 11131 and allowing the operator 11131 to proceed with surgery reliably.
  • the transmission cable 11400 for connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 11400.
  • communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 24 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a sound image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 25 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 25 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a solid object that travels at a predetermined speed (for example, 0 km / h or more) in the same direction as the vehicle 12100, particularly the closest three-dimensional object on the traveling path of the vehicle 12100. it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • a sample and hold unit for sampling and holding pixel signals An image pickup device comprising: an AD conversion unit that performs AD (Analog Digital) conversion of the pixel signal; and a setting unit that sets a transconductance of an operational amplifier included in the sample hold unit to a transconductance that minimizes kTC noise.
  • the setting unit sets a plurality of transconductances, and each time the setting unit sets the transconductances, the kTC noise is calculated using a pixel signal from the AD conversion unit, and the transconductance at which the calculated value becomes the minimum value is calculated.
  • the imaging device according to (1) wherein the imaging element is set to the transconductance of the operational amplifier.
  • (C) further comprising a kTC canceling unit that accumulates electric charges corresponding to a variation in the output voltage of the sample and hold unit due to the kTC noise, and reduces the kTC noise by feeding back to the sample and hold unit; ).
  • a sample and hold unit for sampling and holding pixel signals;
  • a kTC cancellation unit for reducing kTC noise of the sample hold unit;
  • An AD converter that performs AD (Analog Digital) conversion of the pixel signal;
  • An imaging device comprising: a setting unit that sets a capacitance value of a capacitor included in the kTC cancellation unit to a capacitance value that minimizes the kTC noise.
  • the setting unit sets a plurality of capacitance values and calculates the kTC noise using the pixel signal from the AD conversion unit every time the setting value is set, and sets the capacitance value at which the calculated value is a minimum value,
  • the imaging device according to (4), wherein the capacitance value of a capacitor included in the kTC cancellation unit is set.
  • the kTC cancellation unit includes a capacitor that accumulates electric charges corresponding to a variation in the output voltage of the sample hold unit due to the kTC noise, The imaging unit according to (4) or (5), wherein the setting unit sets a capacitance value of the capacitor.
  • the kTC cancellation unit includes a capacitor that accumulates electric charges corresponding to a variation in the output voltage of the sample and hold unit due to the kTC noise and feeds back to the sample and hold unit.
  • the imaging unit according to any one of (4) to (6), wherein the setting unit sets a capacitance value of the capacitor.
  • the kTC cancellation unit includes a capacitor that accumulates electric charges corresponding to a variation in the output voltage of the sample hold unit due to the kTC noise, A switch for turning on or off the connection between the sample and hold unit and the capacitor, The imaging unit according to any one of (4) to (7), wherein the setting unit sets a connection time of the switch.
  • An image sensor A signal processing unit that processes a signal output from the imaging device, The image sensor is A sample and hold unit for sampling and holding pixel signals;
  • An electronic apparatus comprising: an AD conversion unit that performs AD (Analog Digital) conversion of the pixel signal; and a setting unit that sets a transconductance of an operational amplifier included in the sample hold unit to a transconductance that minimizes kTC noise.
  • AD Analog Digital
  • An image sensor A signal processing unit that processes a signal output from the imaging device, The image sensor is A sample and hold unit for sampling and holding pixel signals; A kTC cancellation unit for reducing kTC noise of the sample hold unit; An AD converter that performs AD (Analog Digital) conversion of the pixel signal; An electronic device comprising: a setting unit that sets a capacitance value of a capacitor included in the kTC cancellation unit to a capacitance value that minimizes the kTC noise.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、kTCノイズを低減することができるようにする撮像素子、電子機器に関する。 画素信号のサンプリングとホールドを行うサンプルホールド部と、画素信号のAD(Analog Digital)変換を行うAD変換部とサンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部とを備える。または画素信号のサンプリングとホールドを行うサンプルホールド部と、サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、画素信号のAD(Analog Digital)変換を行うAD変換部と、kTCキャンセル部に含まれるキャパシタの容量値を、kTCノイズが最小となる容量値に設定する設定部とを備える。本技術は、例えば、CMOSイメージセンサに適用できる。

Description

撮像素子、電子機器
 本技術は撮像素子、電子機器に関し、例えば、ノイズを抑制することができるようにした撮像素子、電子機器に関する。
 従来、デジタルスチルカメラやデジタルビデオカメラなどの撮像機能を備えた電子機器においては、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子が使用されている。
 撮像素子は、光電変換を行うPD(photodiode:フォトダイオード)と複数のトランジスタとが組み合わされた画素を有しており、平面的に配置された複数の画素から出力される画素信号に基づいて画像が構築される。また、画素から出力される画素信号は、例えば、画素の列毎に配置された複数のAD(Analog to Digital)変換器によって並列的にAD変換されて出力される。
 特許文献1では、画素毎のkTCノイズを含めてキャンセルを実施するための手法として、露光開始の前後に2度の読み出しを実施することが提案されている。この提案では、まず露光開始前にリセットがかけられ、画素毎のリセット信号が、全有効画素に対して取得され、デジタルデータとしてメモリ等に保存される。露光完了後に取得された蓄積信号から、それらが差し引かれてCDSが実施される。
特開2004-140149号公報
 温度などの環境の変化によりノイズの発生量が変化する可能性があるため、ノイズの発生量の変化に対応したノイズキャンセルができ、より精度良いノイズキャンセルができることが望まれている。
 本技術は、このような状況に鑑みてなされたものであり、ノイズをキャンセルするための処理を、より精度良く行うことができるようにするものである。
 本技術の一側面の第1の撮像素子は、画素信号のサンプリングとホールドを行うサンプルホールド部と、前記画素信号のAD(Analog Digital)変換を行うAD変換部と前記サンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部とを備える。
 本技術の一側面の第2の撮像素子は、画素信号のサンプリングとホールドを行うサンプルホールド部と、前記サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、前記画素信号のAD(Analog Digital)変換を行うAD変換部と、前記kTCキャンセル部に含まれるキャパシタの容量値を、前記kTCノイズが最小となる容量値に設定する設定部とを備える。
 本技術の一側面の第1の電子機器は、撮像素子と、前記撮像素子から出力される信号を処理する信号処理部とを備え、前記撮像素子は、画素信号のサンプリングとホールドを行うサンプルホールド部と、前記画素信号のAD(Analog Digital)変換を行うAD変換部と前記サンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部とを備える。
 本技術の一側面の第2の電子機器は、撮像素子と、前記撮像素子から出力される信号を処理する信号処理部とを備え、前記撮像素子は、画素信号のサンプリングとホールドを行うサンプルホールド部と、前記サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、前記画素信号のAD(Analog Digital)変換を行うAD変換部と、前記kTCキャンセル部に含まれるキャパシタの容量値を、前記kTCノイズが最小となる容量値に設定する設定部とを備える。
 本技術の一側面の第1の撮像素子においては、画素信号のサンプリングとホールドが行われ、画素信号のAD変換が行われ、オペアンプのトランスコンダクタンスが、kTCノイズが最小となるトランスコンダクタンスに設定される。
 本技術の一側面の第2の撮像素子においては、画素信号のサンプリングとホールドが行われ、kTCノイズが低減され、画素信号がAD変換され、キャパシタの容量値が、kTCノイズが最小となる容量値に設定される。
 本技術の一側面の第1の電子機器においては、前記第1の撮像素子が含まれる。
 本技術の一側面の第2の電子機器においては、前記第2の撮像素子が含まれる。
 なお、撮像素子は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
 本技術の一側面によれば、ノイズをキャンセルするための処理を、より精度良く行うことができる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
撮像装置の構成例を示す図である。 撮像素子の構成例を示す図である。 画素の回路図である。 読み出し部の構成例を示す図である。 S/H部の構成例を示す図である。 S/H部の動作について説明するための図である。 S/H部の動作について説明するための図である。 S/H部の動作について説明するための図である。 S/H部の動作について説明するための図である。 S/H部の動作について説明するための図である。 S/H部の動作について説明するための図である。 本技術を適用した読み出し部の一実施の形態の構成を示す図である。 電流値で制御する場合の読み出し部の構成例示す図である。 演算に用いる画素アレイ部のラインについて説明するための図である。 信号処理部の動作について説明するためのフローチャートである。 信号処理部の動作について説明するためのフローチャートである。 最適値の求め方について説明するためのグラフである。 S/H部の他の構成例を示す図である。 S/H部の他の構成例を示す図である。 S/H部の他の構成例を示す図である。 積層型の固体撮像装置の構成例の概要を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
 <撮像装置の構成>
 本技術は、撮像装置に適用できるため、ここでは、撮像装置に本技術を適用した場合を例に挙げて説明を行う。なおここでは、撮像装置を例に挙げて説明を続けるが、本技術は、撮像装置への適用に限られるものではなく、デジタルスチルカメラやビデオカメラ等の撮像装置、携帯電話機などの撮像機能を有する携帯端末装置、画像読取部に撮像装置を用いる複写機など、画像取込部(光電変換部)に撮像装置を用いる電子機器全般に対して適用可能である。なお、電子機器に搭載されるモジュール状の形態、即ちカメラモジュールを撮像装置とする場合もある。
 図1は、本開示の電子機器の一例である撮像装置の構成例を示すブロック図である。図1に示すように、撮像装置10は、レンズ群11等を含む光学系、撮像素子12、カメラ信号処理部であるDSP回路13、フレームメモリ14、表示部15、記録部16、操作系17、及び、電源系18等を有している。
 そして、DSP回路13、フレームメモリ14、表示部15、記録部16、操作系17、及び、電源系18がバスライン19を介して相互に接続された構成となっている。CPU20は、撮像装置10内の各部を制御する。
 レンズ群11は、被写体からの入射光(像光)を取り込んで撮像素子12の撮像面上に結像する。撮像素子12は、レンズ群11によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子12として、以下に説明する画素を含む撮像素子(イメージセンサ)を用いることができる。
 表示部15は、液晶表示部や有機EL(electro luminescence)表示部等のパネル型表示部からなり、撮像素子12で撮像された動画または静止画を表示する。記録部16は、撮像素子12で撮像された動画または静止画を、ビデオテープやDVD(Digital Versatile Disk)等の記録媒体に記録する。
 操作系17は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系18は、DSP回路13、フレームメモリ14、表示部15、記録部16、及び、操作系17の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
 <撮像素子の構成>
 図2は、撮像素子12の構成例を示すブロック図である。撮像素子12は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとすることができる。撮像素子12は、画素アレイ部51、画素駆動部としての行選択部52、および読み出し部53を有する。
 画素アレイ部51は、複数の画素50(図3)がM行×N列の2次元状(マトリクス状)に配列されている。画素アレイ部51に配線されている制御線54は、転送線、リセット線、および行選択線が一組とされて画素配列の各行単位で配線されている。転送線、リセット線、および行選択線の各制御線はそれぞれM本ずつ設けられている。これらの転送線、リセット線、および行選択線は、行選択部52により駆動される。
 行選択部52は、画素アレイ部51の中の任意の行に配置された画素の動作を制御する。行選択部52は、制御線54を通して画素部を制御する。読み出し部53は、行選択部52により読み出し制御された画素行のデータを、垂直信号線55を介して受け取り、後段の信号処理部に転送する。垂直信号線55には、定電流部や読み出し部53が接続される。
 <画素の構成>
 図3は、画素アレイ部51(図2)に配置されている画素50の回路図である。
 画素50は、フォトダイオード(PD)71、転送トランジスタ72、FD(フローティングディフュージョン)73、リセットトランジスタ74、増幅トランジスタ75、および選択トランジスタ76から形成されている。
 PD71は、受光した光量に応じた電荷(信号電荷)を生成し、かつ、蓄積する光電変換素子として機能する。PD71は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ72を介して、FD73に接続されている。
 転送トランジスタ72は、転送信号TRによりオンされたとき、PD71で生成された電荷を読み出し、FD73に転送する。FD73は、PD71から読み出された電荷を保持する。リセットトランジスタ74は、リセット信号RSTによりオンされたとき、FD73に蓄積されている電荷がドレイン(定電圧源Vdd)に排出されることで、FD73の電位をリセットする。
 増幅トランジスタ75は、FD73の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ75は、垂直信号線55を介して接続されている定電流源としての負荷MOS(不図示)とソースフォロワ回路を構成し、FD73に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ75から選択トランジスタ76と垂直信号線55を介して読み出し部53(図2)に出力される。
 選択トランジスタ76は、選択信号SELにより画素50が選択されたときオンされ、画素50の画素信号を、垂直信号線55を介して読み出し部53に出力する。転送信号TR、選択信号SEL、及びリセット信号RSTが伝送される各信号線は、図2の制御線54に対応する。
 画素50は、以上のように構成することができるが、この構成に限定されるものではなく、その他の構成を採用することもできる。
 <読み出し部の構成>
 図4は、読み出し部53の構成例を示す図である。読み出し部53は、サンプルホールド部(S/H部)111、ADC(Analog Digital converter)112、および変換伝送部113を含む構成とされている。
 S/H部111とADC112は、垂直信号線55(図3)毎に設けられている。S/H部111は、画素50の光電変換量をサンプルとしてサンプリングし、ホールドする機能を有する。S/H部111でホールドされた信号は、ADC112に供給される。ADC112に供給される信号は、アナログ信号であり、ADC112は、供給されたアナログ信号をデジタル信号に変換する。
 ADC112でデジタル信号に変換された信号(以下、適宜、画素値と記述する)は、変換伝送部113に供給される。変換伝送部113は、パラレルデータをシリアルデータに変換し、後段の図示していない信号処理部に伝送する機能を有する。変換伝送部113には、複数のADC112から、それぞれ画素値が供給されるため、それらの複数の画素値をシリアルデータに変換し、出力する。
 <S/H部の構成>
 図5は、S/H部111の構成例を示す図である。図5に示したS/H部111は、サンプリングとホールドを行う回路(以下、S/H回路と適宜記載する)と、発生するノイズをキャンセルする部分(以下、キャンセル回路と適宜記載する)とから構成されている。
 S/H回路は、オペアンプ131、スイッチSW1、スイッチPH1、スイッチPH2、キャパシタC1を含む構成とされている。キャンセル回路は、キャパシタCint、キャパシタChold、キャパシタCfb、およびスイッチSW2を含む構成とされている。
 S/H回路は、オペアンプ131の反転入力端子IN(図中、-)に一方端を接続されたキャパシタC1を有する。キャパシタC1の一方端の電位は、スイッチPH1をオンする(閉じる)ことにより、オペアンプ131の出力端子Voutの電位Vに設定可能である。スイッチPH1をオンした状態でスイッチSW1をオンして、キャパシタC1の他方端をサンプリング電圧の入力端子VIN(図中、Vpix)に接続すると、キャパシタC1にはVinへの入力電位に応じた電荷が充電される。
 サンプリング時刻tSにてスイッチPH1とスイッチSW1をオフにすると、キャパシタC1は充電されている電荷を保持し、キャパシタC1の他方端の電位は時刻tSにおける入力電位VHにホールドされる。このキャパシタC1の他方端の電位VHは、スイッチPH2をオンすることで出力Voutの出力値として取り出される。
 このようなサンプリングとホールドを行うときに、kTCノイズと称されるノイズが発生し、出力値に誤差が生じる可能性がある。そこで、このようなノイズを低減させるために、図5に示したS/H部111は、キャンセル回路を有する。キャンセル回路は、発生したノイズを、キャパシタCintで一定期間だけ積分し、キャパシタCintで積分された結果を、スイッチSW2を短時間だけオンにし、サンプル容量のノイズをキャンセルする方向にフィードバックする構成とされている。
 以下に、キャンセル回路も含めたS/H部111の動作について図6乃至図11を参照し説明を加える。図6乃至図11においては、左図にタイミングチャートを示し、右図に、所定のタイミングにおけるS/H部111の状態を示す。
 また、タイミングチャートは、上部に、S/H部111における1サイクルの処理を示し、下部に、所定のタイミングにおけるオペアンプ131の入力電圧と出力電圧の状態を示す。また上部に示した1サイクル分のタイミングチャートは、図6乃至図11において共通のチャートを図示してある。
 図6は、S/H部111内の各素子の初期化を行う期間T1におけるS/H部111の状態を示す。期間T1においては、スイッチPH1はオン、スイッチPH2はオフ、スイッチSW1はオン、スイッチSW2はオンとされている。
 期間T1においては、スイッチSW1がオンの状態(閉じている状態)のため、画素50からの画素出力値Vpixが、キャパシタC1に蓄積される状態である。画素出力値Vpixが、キャパシタC1のサンプル容量で、グランド基準(以下、GND基準)でサンプリングされる。GND基準とは、オペアンプ131の+側の端子が、グランド(接地)されているため、そのグランドを基準とするという意味である。
 オペアンプ131の-端子に入力される入力値を、gm入力電圧と表す。またオペアンプ131からの出力値は、gm出力電圧と表す。期間T1においてgm入力電圧とgm出力電圧は、GND基準となっている。
 時刻t1において、スイッチPH1とスイッチSW2が、ともにオフの状態にされる。このときの状態を、図7に示す。時刻t1から時刻t2までの期間を期間T2とする。この期間T2における各スイッチの状態は、スイッチPH1がオフ、スイッチPH2がオフ、スイッチSW1がオン、スイッチSW2がオフとされている状態である。
 時刻t1において、スイッチSW1がオンの状態のまま、スイッチPH1がオフにされると、スイッチPH1がオフになった瞬間からkTCノイズが発生する。図7の右図において、オペアンプ131の-端とキャパシタC1との間(キャパシタCfbとキャパシタC1との間)で、ノイズ電荷が発生する。このノイズ電荷は、正の電荷である。
 ノイズの電荷が発生することで、オペアンプ131へのgm入力電圧は、GND基準よりもずれた値で安定する。図7の左下図に示したように、gm入力電圧は、GND基準よりも上側にずれた値で安定する。
 時刻t1以降(期間T2)においては、gm出力電圧にも変化が見られる。図8を参照し、期間T2におけるgm出力電圧の変化について説明する。期間T2においては、スイッチPH1がオフの状態(開いた状態)であり、オープンループ状態となっているため、オペアンプ131のgm入力電圧は、図7を参照して説明したように、GND基準よりも上側にずれた値で安定する。
 gm入力電圧が、GND基準よりも高い値になることで、キャパシタCintには、負の電荷が流れ込み、gm出力電圧は、徐々に下降していく。gm出力電圧が直線的に変化するように、キャパシタCintの容量は大きく設計されている。
 期間T2において、キャパシタC1で発生したノイズを、キャパシタCintで増幅し、積分しているような変化が起こる。すなわちキャパシタCintは、kTCノイズによるS/H回路の出力電圧の変動分に対応する電荷を蓄積する。
 時刻t2において、スイッチSW2がオンにされる。このときの状態を、図9に示す。時刻t2の状態は、スイッチPH1がオフ、スイッチPH2がオフ、スイッチSW1がオン、スイッチSW2がオンの状態(オフからオンに切り替えられた状態)である。
 スイッチSW2がオンになることで、負の電荷が、キャパシタCintから、キャパシタCfbとキャパシタCholdに移動する。負の電荷が移動することで、gm出力電圧は上昇を始める。このように、gm出力電圧が上昇する一方で、gm入力電圧は、図10に示すように、下降を始める。
 図10は、期間T3における状態を示す図である。図10に示した状態は、図9に示した状態と同じく、スイッチPH1がオフ、スイッチPH2がオフ、スイッチSW1がオン、スイッチSW2がオンの状態である。
 スイッチSW2がオンにされている期間T3は、短時間とされている。この期間T3の間に、キャパシタCintから負の電荷が、キャパシタCfbに移動することにより、キャパシタCfbの両端(キャパシタCfbのキャパシタCholdと接続されている端と、キャパシタC1と接続されている端)は、同じ電荷となるような変化が起こる。すなわち、キャパシタCfbは、キャパシタCintに蓄積されたkTCノイズによるS/H回路の出力電圧の変動分に対応する電荷を、オペアンプ131側にフィードバックするキャパシタとして機能する。
 この結果、キャパシタCfbの正の電荷が増え、キャパシタC1の方に負の電荷が移動することになる。このような電荷の移動が起こることで、kTCノイズにより発生したキャパシタC1における正の電荷が減少する。よって、図10の左下図に示したように、gm入力電圧は、期間T2において減少し、GND基準に近づく方向に変化する。
 すなわち、GND基準からのずれ分をキャンセルするように電荷が移動することで、gm入力電圧は、GND基準に近づく方向に変化する。換言すれば、gm入力電圧は、GND基準に戻る。
 時刻t3において、スイッチSW2がオフに戻される。この時刻t3以降(期間T4)の状態について、図11を参照して説明する。期間T4の状態は、スイッチPH1がオフ、スイッチPH2がオン、スイッチSW1がオフ、スイッチSW2がオフの状態である。
 時刻t3において、スイッチSW2がオンの状態からオフの状態に切り替えられる。また、スイッチSW2の切り替え後、スイッチSW1が、オンの状態からオフの状態に切り替えられる。さらにスイッチSW1の切り替え後(時刻t3より所定の時間が経過したとき)、スイッチPH2がオフの状態からオンの状態に切り替えられる。
 スイッチSW2がオフにされると、gm入力電圧は、GND基準に戻る。時刻t3において、スイッチSW1は、オンからオフに切り替えられるため、時刻t3までは、画素出力VpixをGND基準で正しくサンプルできていることになる。そして、スイッチSW1を時刻t3において、オフにすると、キャパシタC1に画素出力VpixがGND基準でホールドできる。
 最後に、スイッチPH2を、オンにすると、キャパシタC1の両端の電圧はホールドされたままの状態になっているため、S/H部111から出力される出力電圧Voutには、誤差無くホールドされた画素出力Vpixが出力される。すなわち、オペアンプ131の入力電圧が、スイッチPH1がオンからオフの直前の電位に戻るため、スイッチPH1のオンからオフの切り替えにより発生するkTCノイズ、チャージインジェクション、クロックフィードスルーがキャンセルされる。
 このように、S/H部111を、S/H回路だけでなく、キャンセル回路を組み合わせることで、ノイズなどをキャンセルした出力を得ることができる。
 しかしながら、キャンセル回路によるノイズのキャンセル処理が、ずれ分を正確にキャンセルできない可能性もある。ノイズ除去(補正)のさらなる精度を向上させるために、補正量を最適化する機能をさらに追加したS/H部111の構成について説明を加える。
 <信号処理部を追加した構成>
 図12に、ノイズをより精度良くキャンセルする機構を備えた読み出し部53の構成例を示す。図12に示した構成例においては、読み出し部53で読み出された画素値を用いて、ノイズ量を算出したり、そのノイズ量に応じた設定値を算出したりする信号処理部201が追加されている。
 また、信号処理部201により算出された設定値に応じた処理、例えば、電流値の制御を行うアクセサリ部202が追加されている。アクセサリ部202は、読み出し部53に設けられている各S/H部111に対して制御信号を出す信号線で、各S/H部111と接続されている。S/H部111は、アクセサリ部202の制御により、ノイズを低減する処理を含む処理を行うことで、画素信号を生成する。
 信号処理部201は、読み出し部53に含まれている構成としても良いし、読み出し部53とは異なる部分に設けられている構成としても良い。また同様に、アクセサリ部202は、読み出し部53に含まれている構成としても良いし、読み出し部53とは異なる部分に設けられている構成としても良い。
 図13以降を参照して後述するが、信号処理部201に読み出し部53から供給されるデータは、デジタルデータであるため、仮に読み出し部53と信号処理部201が離れた位置に形成されていても、ノイズによる影響を受けづらく、読み出し部53と信号処理部201の配置位置による影響は少ないと考えられる。
 また、アクセサリ部202は、例えば、可変電流源を備える構成とされるが、部品点数が少なく、ノイズが発生する要因が少ない構成とされている。
 よって、新たに追加した信号処理部201とアクセサリ部202によりノイズが発生するということもなく、以下に説明する処理が実行されることで、S/H部111のノイズを、より精度良くキャンセルできるようになる。
 S/H部111にて、ノイズをキャンセルするには、発生したノイズ分だけ、キャンセル回路で電荷が発生し、減算されるようにすれば良い。そのようなノイズのキャンセルが行われるようにした場合、S/H部111は、次式(1)を満たす。
Figure JPOXMLDOC01-appb-M000001
 式(1)において、βは、キャパシタC1、キャパシタChold、キャパシタCfbで構成されるフィードバック係数を表す。また式(1)において、gmは、オペアンプ131のトランスコンダクタを表し、Tint は、キャパシタCintに電荷を蓄積する時間であり、上記した例では、期間T2に該当する値を表す。また式(1)において、Cintは、キャパシタCintの容量(電流積分用容量)を表す。
 式(1)が満たされるように、β、gm、Tint、およびCintが設定されることで、S/H部111にてノイズをキャンセルすることができる。
 信号処理部201とアクセサリ部202は、S/H部111が、ノイズを精度良くキャンセルできるβ、gm、Tint、またはCintを設定する設定部として機能し、その設定に基づき、S/H部111がサンプリングとホールドを行うように制御する。以下に、βを設定する場合、gmを設定する場合、Tintを設定する場合、Cintを設定する場合のそれぞれにおける、読み出し部53、信号処理部201、およびアクセサリ部202の構成例を挙げて説明を加える。
 <gmで調整する場合>
 図13は、オペアンプ131のトランスコンダクタgmを調整することで、S/H部111のノイズを低減させるときの構成例を示す。図13では、画素アレイ部51の1列分の読み出しを行う読み出し部53を示し、S/H部111とADC112の1組を例示して示してある。
 オペアンプ131のトランスコンダクタgmを調整することで、ノイズのキャンセルの性能を向上させる場合、オペアンプ131に接続されている電流源を可変電流源231とし、この可変電流源231の電流値が、アクセサリ部202内の可変電流源221により制御(調整)される構成とされる。アクセサリ部202の可変電流源221に流す電流は、信号処理部201により設定された値とされる。
 ここでは、アクセサリ部202内の可変電流源221により、オペアンプ131に接続されている可変電流源231が制御される場合を例に挙げて説明を続けるが、アクセサリ部202内の可変電流源221を設けない構成とし、アクセサリ部202が、信号処理部201により設定された値に基づいて、直接的に可変電流源231を制御するような構成としても良い。
 また、アクセサリ部202は、信号処理部201により設定された値に基づき、可変電流源221を制御する場合を例に挙げて説明を続けるが、アクセサリ部202を設けない構成とし、信号処理部201が、直接的に可変電流源231を制御するような構成としても良い。
 ここで、図15、図16のフローチャートを参照し、信号処理部201の処理について説明を加える。なお、前提としてここでは、図14に示すように、画素アレイ部51の2行分の画素値を用いて処理を行う場合を例に挙げて説明する。
 図14を参照するに、画素アレイ部51には、アレイ状に画素50が配置されている。画素アレイ部51には、1ラインに複数の画素が配置され、そのような画素が配置されたラインが複数設けられている。画素アレイ部51の所定のライン、図14では、上部に位置する1ライン目と2ライン目は、遮光され、光を受光しない構成とされている。この2ライン分の画素値が用いられて、信号処理部201による処理が行われる。
 なお、ここでは、2ライン分の画素値を用いて処理を行う場合を例に挙げて説明するが、例えば、1ライン分の画素値で処理が行われるようにすることも可能であるし、2ライン以上のライン分の画素値が用いられて処理が行われるようにすること可能である。また、ここでは、図14に示したように、画素アレイ部51の上部の2ラインを用いて処理が行われる例を挙げて説明を続けるが、このラインの位置は、上部の2ラインに限らず、例えば、上部の1ラインと下部の1ラインをそれぞれ遮光したラインとし、この2ラインを用いて処理が行われるようにしても良い。
 図15、図16に示したフローチャートを参照し、信号処理部201における処理について説明する。
 ステップS11において、初めの電流調整値が設定される。信号処理部201には、予め電流調整値が複数設定されている。この電流調整値は、S/H部111のトランスコンダクタgmの電流として設定する値そのもの、またはトランスコンダクタgmの電流に関連付けられている値である。例えば、電流調整値は、トランスコンダクタgmの電流に関連付けられている値であるとした場合、信号処理部201で設定された電流調整値は、アクセサリ部202に供給され、アクセサリ部202は、供給された電流調整値に関連付けられているトランスコンダクタgmの電流になるように、S/H部111のトランスコンダクタgmの電流を制御する。
 ここでは、i個の電流調整値が設定されているとして説明を続ける。ステップS11においては、i個の電流調整値のうちの1つの電流調整値(電流調整値i1とする)が設定される。信号処理部201で設定された電流調整値i1は、アクセサリ部202に供給され、アクセサリ部202により、S/H部111のオペアンプ131のトランスコンダクタgmの電流が、電流調整値i1(電流調整値i1に関連付けられている電流値)となるような制御が開始される。
 ステップS12において、信号処理部201は、読み出し部53から、1ライン目のデータを入力する。この入力されるデータは、S/H部111のオペアンプ131のトランスコンダクタgmの電流が、電流調整値i1で調整されたときに得られるデータである。ここでは、1ライン目のデータを、データXnとする。nは1ライン目に配置されている画素数に相当する。
 ステップS13において、1ライン目のデータ入力は完了したか否かが判定される。ステップS13において、1ライン目のデータ入力は完了したと判定されるまで、ステップS12に処理が戻され、1ライン目のデータ入力が継続される。なお、入力されたデータは、RAM(Random Access Memory)などの記憶素子に保持される。
 一方、ステップS13において、1ライン目のデータ入力は完了したと判定された場合、ステップS14に処理は進められる。ステップS14において、1ライン目のデータの平均値が算出される。ここでは、算出される1ライン目のデータの平均値を、平均値Xaveとして説明を続ける。
 ステップS15において、2ライン目のデータの入力が開始される。ここでは、2ライン目のデータを、データX’nとする。2ライン目のデータが入力されると、ステップS16において、1ライン目のデータとの差分が算出され、保持される。ステップS16においては、データXnとデータX’nの差分(Xn―X’n)が算出される。
 ステップS17において、2ライン目のデータ入力は完了したか否かが判定される。ステップS17において、2ライン目のデータ入力は完了したと判定されるまで、ステップS15に処理が戻され、2ライン目のデータ入力と、1ライン目のデータとの差分の演算が継続される。
 一方、ステップS17において、2ライン目のデータ入力は完了したと判定された場合、ステップS18に処理は進められる。ステップS18において、2ライン目のデータの平均値が算出される。ここでは、算出される2ライン目のデータの平均値を、平均値X’aveとして説明を続ける。
 ステップS18において、平均差分Dが算出される。平均差分Dは、平均差分D=平均値Xave―平均値X’aveが演算されることで算出される。
 ステップS19(図16)において、差分データ(Xn-X’n)が読み出される。差分は、ステップS16において算出され、保持されているため、その保持されている差分データが、1ライに配置されている画素数分読み出される。
 ステップS21において、読み出された差分データとステップS19において算出された平均差分Dとの差分が算出され、絶対値が算出される。すなわち、ステップS21においては、|(Xn―X’n)―D|が算出される。
 ステップS22において、1ライン分の算出が完了されたか否かが判定される。1ラインに、n個の画素が配置されている場合、ステップS20とステップS21における算出が、n回繰り返される。
 ステップS22において、1ライン分の算出が完了したと判定された場合、ステップS23に処理が進められ、1ループ分のデータが保持される。ステップS11乃至S23の処理が行われることで、1つの電流調整値iに設定したときのノイズの指標が得られる。換言すれば、ステップS11乃至S23の処理が行われることで、設定された電流調整値iで撮影を行った場合、発生するノイズ量が計測される。
 ステップS11乃至S23の処理が行われることで、次式(2)に基づく演算が行われたことになる。
Figure JPOXMLDOC01-appb-M000002
 式(2)において、Xnは、1ライン目の所定の画素から読み出された画素値であり、Xaveは、1ライン目の画素値の平均値である。式(2)において、X’nは、2ライン目の所定の画素から読み出された画素値であり、X’aveは、2ライン目の画素値の平均値である。
 式(2)による演算による結果は、ノイズが小さいときには小さな値となり、ノイズが大きい時には大きな値となる。よって、ノイズの指標として用いることができる。ここでは、ノイズ指標nとして表し、電流調整値iのときに得られたノイズ指標nをノイズ指標niと表す。
 ノイズ指標niは、電流調整値i毎に算出されるため、例えば、10個の電流調整値iが設定されているような場合、ステップS12乃至S23の処理が10回繰り返され、10個のノイズ指標niが算出される。
 図16のフローチャートの説明に戻り、ステップS23において、1ループ分のデータが保持されると、ステップS24に処理が進められ、全ての電流調整値を設定し、ノイズ指標を算出したか否かが判定される。
 ステップS24において、まだ設定していない電流調整値iがあると判定された場合、ステップS25に処理が進められる。ステップS25において、その時点で設定されている電流調整値iの次に設定される電流調整値iに設定される。この新たに設定された電流調整値iにより、ステップS12(図15)以降の処理が行われる。
 一方、ステップS24において、全ての電流調整値iを設定したと判定された場合、ステップS26に処理が進められる。ステップS26において、最小値が探索される。ステップS25までの処理により、複数の電流調整値iにそれぞれ設定したときのノイズ指標値niが算出されている。このノイズ指標値niのうちの最小値が探索される。
 例えばステップS25までの処理で得られたノイズ指標値niを、グラフで表した場合の一例を、図17に示す。図17に示したグラフは、縦軸が、ノイズ指標値niを表し、横軸が、電流調整値iを表す。図17に示したような2次関数的なグラフが得られた場合、ノイズ指標値niが最小値(図中、最適値と記載された値)となる電流調整値iが、ステップS26において探索される。
 なお、図17に示したグラフは一例であり、例えば、1次関数的に増加または減少するグラフが得られる場合もある。また、ノイズ指標値niと電流調整値iの関係を表す一例として、図17に示したようなグラフを示したのであり、ステップS26における処理を実行するときに、グラフを描画する必要はなく、ノイズ指標値niが最小値となる電流調整値iが探索されれば良い。
 このようにして、電流調整値iが設定される。この電流調整値iで、オペアンプ131のトランスコンダクタタンスgmの電流を調整することで、ノイズを抑えたS/H部111における処理を実行することができる。
 なお、ここでは、予め設定されている電流調整値iの数だけ、ステップS12乃至S25の処理が繰り返され、ノイズ指標niが算出される場合を例に挙げて説明をしているが、例えば、ステップS23の処理で、ノイズ指標niが算出されたときに、そのノイズ指標niの値が、0、または0に近い値(所定の閾値以下)となったときには、処理を終了し、そのときに設定されている電流調整値iが、撮影時に用いられる電流調整値iとして設定されるようにしても良い。
 図16のフローチャートの処理に戻り、ステップS27において、最小値となる電流調整値が設定されると、ステップS28に処理が進められる。ステップS28において、フレーム周期処理がオンにされているか否かが判定される。
 例えば、動画像が撮影されているとき、フレーム毎に、電流調整値の設定が行われるのではなく、数フレーム毎に行われるようにすればよい。そのような数フレーム毎に電流調整値の設定を行うモードと、フレーム毎に電流調整値の設定を行うモードを、ユーザが設定できるように構成しても良いし、何らかの条件を設定し、その条件が満たされるときにモードが切り替えられるような構成としても良い。
 また、例えば、動画像が撮影されているときには、フレーム周期処理はオンにされ、静止画像が撮影されているときには、フレーム周期処理はオフにされているようにしても良い。
 ステップS28において、フレーム周期処理がオンにされていると判定された場合、ステップS29に処理が進められる。ステップS29において、所定のフレーム数だけ処理をスキップし、スキップ終了後、ステップS12(図15)に処理が戻され、それ以降の処理が繰り返される。
 一方、ステップS28において、フレーム周期処理がオンにされていないと判定された場合、図15、図16に示したフローチャートに基づく処理は終了される。
 このように、信号処理部201は、予め設定されている複数の電流調整値を、順次切り替え、設定した電流調整値のときのノイズを測定し、ノイズが最小となる電流調整値を算出する。この算出された電流調整値で、S/H部111内のオペアンプ131の電流値が制御されるため、kTCノイズなどのノイズを低減した処理を実行することが可能となる。
 なお、図5に示したように、S/H部111は、ノイズをキャンセルするためのキャンセル回路を有している。このキャンセル回路により、ノイズをキャンセルでき、さらに、電流調整値を上記したように設定することで、ノイズをより抑制するための微調整を行うことができるようになる。また、温度や湿度などの使用環境により、ノイズの発生量が変化する可能性があるが、上記したような処理が実行されることで、そのような使用環境の変化によるノイズ量の変化にも対応したノイズキャンセル処理を行うことが可能となる。
 なお、図5に示したように、S/H部111は、ノイズをキャンセルするためのキャンセル回路を有しているが、図5に示したS/H部111を含む図13に示した読み出し部53の構成においては、上記したように、オペアンプ131のトランスコンダクタgmが調整される構成のため、S/H部111のキャンセル回路を備えていない構成に対しても適用できる。
 換言すれば、オペアンプ131のトランスコンダクタgmを調整することで、S/H部111で発生するkTCノイズを低減させる場合、S/H回路だけで構成されるS/H部111であっても、本技術を適用できる。この場合も、S/H回路で発生するkTCノイズを、オペアンプ131のトランスコンダクタgmを調整することで、低減させることができる。
 <キャパシタCintの容量値で調整する場合>
 上記したように、ノイズをキャンセルするための調整は、式(1)を満たすように各項目が設定されれば良く、まず上記した例では、オペアンプ131のトランスコンダクタgmが調整される場合について説明した。次に、S/H部111に含まれるキャパシタCintの容量値を調整することで、ノイズをより低減させる場合について説明する。
 図18は、オペアンプ131のキャパシタCintの容量値(電流積分用容量)を調整することで、S/H部111のノイズを低減させるときの構成例を示す図である。
 オペアンプ131のキャパシタCintの容量値(電流積分用容量)を調整することで、ノイズのキャンセルの性能を向上させる場合、キャパシタCintは、可変容量のキャパシタで構成され、この可変容量が、アクセサリ部202の容量値コントローラ301により制御(調整)される構成とされる。
 アクセサリ部202は、容量値コントローラ301を備え、キャパシタCintの容量を、信号処理部201により設定された値となるように調整する。
 ここでは、アクセサリ部202内の容量値コントローラ301により、キャパシタCintの容量が制御される場合を例に挙げて説明を続けるが、アクセサリ部202を設けない構成とし、信号処理部201が、直接的にキャパシタCintの容量を制御するような構成としても良い。
 図18に示した構成における信号処理部201は、図15、図16に示したフローチャートに基づき処理を行うため、その説明は省略する。上記した説明において、電流調整値を、容量値と読み替えることで、図18に示した信号処理部201の処理とすることができる。
 この場合、信号処理部201は、予め設定されている複数の容量値のうちの1つの容量値を設定し、アクセサリ部202の容量値コントローラ301は、信号処理部201により設定された容量値になるように、S/H部111内のキャパシタCintの容量を制御する。
 そのように制御されたときの画素値が用いられ、ノイズ指標値niが算出される。このようなノイズ指標値niが、予め設定されている複数の容量値毎に算出され、最小となるノイズ指標値niが得られる容量値が探索される。このようにして探索された容量値で、オペアンプ131のキャパシタCintの容量が制御されるため、kTCノイズなどのノイズを低減した処理を実行することが可能となる。
 このように、キャパシタCintの容量値を調整する場合も、S/H部111が備えるキャンセル回路により、ノイズをキャンセルでき、さらに、容量値を上記したように設定することで、ノイズをより抑制するための微調整を行うことができるようになる。また、温度や湿度などの使用環境により、ノイズの発生量が変化する可能性があるが、上記したような処理が実行されることで、そのような使用環境の変化によるノイズ量の変化にも対応したノイズキャンセル処理を行うことが可能となる。
 <フィードバック帰還係数βで調整する場合>
 次に、S/H部111に含まれるキャパシタCfbのフィードバック帰還係数βを調整することで、ノイズをより低減させる場合について説明する。
 図19は、オペアンプ131のキャパシタCfbのフィードバック帰還係数βを調整することで、S/H部111のノイズを低減させるときの構成例を示す図である。
 フィードバック帰還係数βは、以下の式を満たす値とされる。
 β=Cfb/(C1+Cfb)
この式において、Cfbは、キャパシタCfbの容量を表し、C1は、キャパシタC1の容量を表す。
 この式から、フィードバック帰還係数βは、キャパシタC1の容量を固定とした場合、キャパシタCfbの容量により設定される値であることがわかる。そこで、ここでは、フィードバック帰還係数βを調整することで、換言すれば、キャパシタCfbの容量を調整することで、S/H部111のノイズを低減させる場合を例に挙げて説明する。
 また一般的に、オペアンプに対して負のフィードバック構成とした場合、オペアンプからの出力に、所定の係数を乗算し、入力側に戻すことで、ノイズの低減処理が行われるが、このときの所定の係数に係わるのが、ここではフィードバック帰還係数βである。よってここでは、フィードバックに係わる係数であり、キャパシタCfbの容量を調整するための値という意味で、フィードバック帰還係数βと表記している。
 オペアンプ131のキャパシタCfbのフィードバック帰還係数βを調整することで、ノイズのキャンセルの性能を向上させる場合、キャパシタCfbは、可変容量のキャパシタで構成され、この可変容量が、アクセサリ部202内のフィードバック帰還係数コントローラ401により制御(調整)される構成とされる。
 アクセサリ部202は、フィードバック帰還係数コントローラ401を備え、キャパシタCfbの容量を、信号処理部201により設定された値となるように調整する。
 ここでは、アクセサリ部202内のフィードバック帰還係数コントローラ401により、キャパシタCfbの容量が制御される場合を例に挙げて説明を続けるが、アクセサリ部202を設けない構成とし、信号処理部201が、直接的にキャパシタCfbの容量を制御するような構成としても良い。
 図19に示した構成における信号処理部201は、図15、図16に示したフローチャートに基づき処理を行うため、その説明は省略する。上記した説明において、電流調整値を、フィードバック帰還係数と読み替えることで、図19に示した信号処理部201の処理とすることができる。
 この場合、信号処理部201は、予め設定されている複数のフィードバック帰還係数のうちの1つのフィードバック帰還係数を設定し、アクセサリ部202のフィードバック帰還係数コントローラ401は、信号処理部201により設定されたフィードバック帰還係数になるように、S/H部111内のキャパシタCfbの容量を制御する。
 そのように制御されたときの画素値が用いられ、ノイズ指標値niが算出される。このようなノイズ指標値niが、予め設定されている複数のフィードバック帰還係数毎に算出され、最小となるノイズ指標値niが得られるフィードバック帰還係数が探索される。このようにして探索されたフィードバック帰還係数で、オペアンプ131のキャパシタCfbの容量が制御されるため、kTCノイズなどのノイズを低減した処理を実行することが可能となる。
 このように、フィードバック帰還係数βを調整する場合も、S/H部111が備えるキャンセル回路により、ノイズをキャンセルでき、さらに、フィードバック帰還係数βを上記したように設定することで、ノイズをより抑制するための微調整を行うことができるようになる。また、温度や湿度などの使用環境により、ノイズの発生量が変化する可能性があるが、上記したような処理が実行されることで、そのような使用環境の変化によるノイズ量の変化にも対応したノイズキャンセル処理を行うことが可能となる。
 <接続時間で調整する場合>
 次に、S/H部111に含まれるキャパシタCintとオペアンプ131を接続する接続時間Tintを調整することで、ノイズをより低減させる場合について説明する。
 図20は、オペアンプ131のキャパシタCintとオペアンプ131を接続する接続時間Tintを調整することで、S/H部111のノイズを低減させるときの構成例を示す図である。
 オペアンプ131のキャパシタCintとオペアンプ131を接続する接続時間Tintを調整することで、ノイズのキャンセルの性能を向上させる場合、キャパシタCintとオペアンプ131の間にスイッチ502が設けられ、このスイッチ502をオンする時間(接続時間Tint)が、アクセサリ部202内の接続時間コントローラ501により制御(調整)される構成とされる。
 アクセサリ部202は、接続時間コントローラ501を備え、スイッチ501の接続時間を、信号処理部201により設定された値となるように調整する。スイッチ501の接続時間を制御することで、キャパシタCintに電荷が蓄積される時間を制御する。
 ここでは、アクセサリ部202内の接続時間コントローラ501により、スイッチ501の接続時間が制御される場合を例に挙げて説明を続けるが、アクセサリ部202を設けない構成とし、信号処理部201が、直接的にスイッチ501の接続時間を制御するような構成としても良い。
 図20に示した構成における信号処理部201は、図15、図16に示したフローチャートに基づき処理を行うため、その説明は省略する。上記した説明において、電流調整値を、接続時間と読み替えることで、図20に示した信号処理部201の処理とすることができる。
 この場合、信号処理部201は、予め設定されている複数の接続時間のうちの1つの接続時間を設定し、アクセサリ部202の接続時間コントローラ501は、信号処理部201により設定された接続時間になるように、S/H部111内のスイッチ502の接続時間を制御する。
 そのように制御されたときの画素値が用いられ、ノイズ指標値niが算出される。このようなノイズ指標値niが、予め設定されている複数の接続時間毎に算出され、最小となるノイズ指標値niが得られる接続時間が探索される。このようにして探索された接続時間で、オペアンプ131のキャパシタCintに電荷が蓄積される時間が制御されるため、kTCノイズなどのノイズを低減した処理を実行することが可能となる。
 このように、スイッチ502の接続時間を調整する場合も、S/H部111が備えるキャンセル回路により、ノイズをキャンセルでき、さらに、接続時間を上記したように設定することで、ノイズをより抑制するための微調整を行うことができるようになる。また、温度や湿度などの使用環境により、ノイズの発生量が変化する可能性があるが、上記したような処理が実行されることで、そのような使用環境の変化によるノイズ量の変化にも対応したノイズキャンセル処理を行うことが可能となる。
 なお上記した実施の形態においては、オペアンプ131のトランスコンダクタンスgm、キャパシタCintの容量値、キャパシタCfbのフィードバック帰還係数β、また、スイッチ502の接続時間をそれぞれ調整することで、ノイズを低減する場合を例に挙げて説明した。
 上記したように、これらを個別に実施することも可能であるが、組み合わせて実施することも可能である。例えば、トランスコンダクタgmとキャパシタCintの容量値の組み合わせで、ノイズを低減するようにしても良い。
 なお、上記した実施の形態においては、撮像装置における画素値を読み出す読み出し部に含まれるS/H部を例に挙げて説明をしたが、本技術を適用したS/H部は、撮像装置以外の装置に対しても適用でき、サンプリングとホールディングを行う部分に適用できる。
 <本開示に係る技術を適用し得る積層型の撮像装置の構成例>
 図21は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
 図21のAは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置510は、図21のAに示すように、1枚のダイ(半導体基板)511を有する。このダイ511には、画素がアレイ状に配置された画素領域512と、画素の駆動その他の各種の制御を行う制御回路513と、信号処理するためのロジック回路514とが搭載されている。
 制御回路513やロジック回路514を配置する領域に、上記した実施の形態における信号処理部201やアクセサリ部202を配置することができる。
 図21のB及びCは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置520は、図21のB及びCに示すように、センサダイ521とロジックダイ524との2枚のダイが積層され、電気的に接続されて、1つの半導体チップとして構成されている。
 図21のBでは、センサダイ521には、画素領域512と制御回路513が搭載され、ロジックダイ524には、信号処理を行う信号処理回路を含むロジック回路514が搭載されている。
 図21のCでは、センサダイ521には、画素領域512が搭載され、ロジックダイ524には、制御回路513及びロジック回路514が搭載されている。
 <内視鏡手術システムへの応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
 図22は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
 図22では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
 内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
 CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
 表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
 光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
 入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
 処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 図23は、図22に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
 カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
 レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
 撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
 また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
 駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
 また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
 カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
 通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
 また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
 画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
 制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
 また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
 カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
 <移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図24は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図24に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図24の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図25は、撮像部12031の設置位置の例を示す図である。
 図25では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
 撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図25には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 なお、本技術は以下のような構成も取ることができる。
(1)
 画素信号のサンプリングとホールドを行うサンプルホールド部と、
 前記画素信号のAD(Analog Digital)変換を行うAD変換部と
 前記サンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部と
 を備える撮像素子。
(2)
 前記設定部は、複数のトランスコンダクタンスを設定し、設定する毎に、前記AD変換部からの画素信号を用いて前記kTCノイズを算出し、算出された値が最小値となる前記トランスコンダクタンスを、前記オペアンプの前記トランスコンダクタンスに設定する
 前記(1)に記載の撮像素子。
(3)
 前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積し、前記サンプルホールド部にフィードバックすることにより前記kTCノイズを低減するkTCキャンセル部をさらに備える
 前記(1)または(2)に記載の撮像素子。
(4)
 画素信号のサンプリングとホールドを行うサンプルホールド部と、
 前記サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、
 前記画素信号のAD(Analog Digital)変換を行うAD変換部と、
 前記kTCキャンセル部に含まれるキャパシタの容量値を、前記kTCノイズが最小となる容量値に設定する設定部と
 を備える撮像素子。
(5)
 前記設定部は、複数の容量値を設定し、設定する毎に、前記AD変換部からの画素信号を用いて前記kTCノイズを算出し、算出された値が最小値となる前記容量値を、前記kTCキャンセル部に含まれるキャパシタの容量値に設定する
 前記(4)に記載の撮像素子。
(6)
 前記kTCキャンセル部は、前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積するキャパシタを含み、
 前記設定部は、前記キャパシタの容量値を設定する
 前記(4)または(5)に記載の撮像素子。
(7)
 前記kTCキャンセル部は、前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積し、前記サンプルホールド部にフィードバックするキャパシタを含み、
 前記設定部は、前記キャパシタの容量値を設定する
 前記(4)乃至(6)のいずれかに記載の撮像素子。
(8)
 前記kTCキャンセル部は、前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積するキャパシタと、
 前記サンプルホールド部と前記キャパシタとの接続をオンまたはオフするスイッチと
 を含み、
 前記設定部は、前記スイッチの接続時間を設定する
 前記(4)乃至(7)のいずれかに記載の撮像素子。
(9)
 撮像素子と、
 前記撮像素子から出力される信号を処理する信号処理部と
 を備え、
 前記撮像素子は、
 画素信号のサンプリングとホールドを行うサンプルホールド部と、
 前記画素信号のAD(Analog Digital)変換を行うAD変換部と
 前記サンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部と
 を備える
 電子機器。
(10)
 撮像素子と、
 前記撮像素子から出力される信号を処理する信号処理部と
 を備え、
 前記撮像素子は、
 画素信号のサンプリングとホールドを行うサンプルホールド部と、
 前記サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、
 前記画素信号のAD(Analog Digital)変換を行うAD変換部と、
 前記kTCキャンセル部に含まれるキャパシタの容量値を、前記kTCノイズが最小となる容量値に設定する設定部と
 を備える
 電子機器。
 10 撮像装置, 11 レンズ群, 12 撮像素子, 13 DSP回路, 14 フレームメモリ, 15 表示部, 16 記録部, 17 操作系, 18 電源系, 19 バスライン, 20 CPU, 50 画素, 51 画素アレイ部, 52 行選択部, 53 読み出し部, 54 制御線, 55 垂直信号線, 72 転送トランジスタ, 74 リセットトランジスタ, 75 増幅トランジスタ, 76 選択トランジスタ, 111 S/H部, 113 変換伝送部, 131 オペアンプ, 201 信号処理部, 202 アクセサリ部, 221 可変電流源, 231 可変電流源, 301 容量値コントローラ, 401 フィードバック帰還係数コントローラ, 501 接続時間コントローラ, 502 スイッチ

Claims (10)

  1.  画素信号のサンプリングとホールドを行うサンプルホールド部と、
     前記画素信号のAD(Analog Digital)変換を行うAD変換部と
     前記サンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部と
     を備える撮像素子。
  2.  前記設定部は、複数のトランスコンダクタンスを設定し、設定する毎に、前記AD変換部からの画素信号を用いて前記kTCノイズを算出し、算出された値が最小値となる前記トランスコンダクタンスを、前記オペアンプの前記トランスコンダクタンスに設定する
     請求項1に記載の撮像素子。
  3.  前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積し、前記サンプルホールド部にフィードバックすることにより前記kTCノイズを低減するkTCキャンセル部をさらに備える
     請求項1に記載の撮像素子。
  4.  画素信号のサンプリングとホールドを行うサンプルホールド部と、
     前記サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、
     前記画素信号のAD(Analog Digital)変換を行うAD変換部と、
     前記kTCキャンセル部に含まれるキャパシタの容量値を、前記kTCノイズが最小となる容量値に設定する設定部と
     を備える撮像素子。
  5.  前記設定部は、複数の容量値を設定し、設定する毎に、前記AD変換部からの画素信号を用いて前記kTCノイズを算出し、算出された値が最小値となる前記容量値を、前記kTCキャンセル部に含まれるキャパシタの容量値に設定する
     請求項4に記載の撮像素子。
  6.  前記kTCキャンセル部は、前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積するキャパシタを含み、
     前記設定部は、前記キャパシタの容量値を設定する
     請求項4に記載の撮像素子。
  7.  前記kTCキャンセル部は、前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積し、前記サンプルホールド部にフィードバックするキャパシタを含み、
     前記設定部は、前記キャパシタの容量値を設定する
     請求項4に記載の撮像素子。
  8.  前記kTCキャンセル部は、前記kTCノイズによる前記サンプルホールド部の出力電圧の変動分に対応する電荷を蓄積するキャパシタと、
     前記サンプルホールド部と前記キャパシタとの接続をオンまたはオフするスイッチと
     を含み、
     前記設定部は、前記スイッチの接続時間を設定する
     請求項4に記載の撮像素子。
  9.  撮像素子と、
     前記撮像素子から出力される信号を処理する信号処理部と
     を備え、
     前記撮像素子は、
     画素信号のサンプリングとホールドを行うサンプルホールド部と、
     前記画素信号のAD(Analog Digital)変換を行うAD変換部と
     前記サンプルホールド部に含まれるオペアンプのトランスコンダクタンスを、kTCノイズが最小となるトランスコンダクタンスに設定する設定部と
     を備える
     電子機器。
  10.  撮像素子と、
     前記撮像素子から出力される信号を処理する信号処理部と
     を備え、
     前記撮像素子は、
     画素信号のサンプリングとホールドを行うサンプルホールド部と、
     前記サンプルホールド部のkTCノイズを低減するkTCキャンセル部と、
     前記画素信号のAD(Analog Digital)変換を行うAD変換部と、
     前記kTCキャンセル部に含まれるキャパシタの容量値を、前記kTCノイズが最小となる容量値に設定する設定部と
     を備える
     電子機器。
PCT/JP2019/006221 2018-03-05 2019-02-20 撮像素子、電子機器 WO2019171946A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980013413.4A CN111713100B (zh) 2018-03-05 2019-02-20 摄像器件和电子设备
US16/976,243 US11252357B2 (en) 2018-03-05 2019-02-20 Image-capturing device and electronic apparatus for suppressing noise

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-038234 2018-03-05
JP2018038234 2018-03-05

Publications (1)

Publication Number Publication Date
WO2019171946A1 true WO2019171946A1 (ja) 2019-09-12

Family

ID=67846513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006221 WO2019171946A1 (ja) 2018-03-05 2019-02-20 撮像素子、電子機器

Country Status (3)

Country Link
US (1) US11252357B2 (ja)
CN (1) CN111713100B (ja)
WO (1) WO2019171946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11515884B2 (en) 2021-04-14 2022-11-29 Analog Devices, Inc. Noise reducing capacitance driver

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043258A (ja) * 2005-08-01 2007-02-15 Olympus Corp 信号処理回路、及びその信号処理回路を用いた撮像装置
JP2009141612A (ja) * 2007-12-05 2009-06-25 National Univ Corp Shizuoka Univ イメージセンサ
WO2011096207A1 (ja) * 2010-02-05 2011-08-11 コニカミノルタオプト株式会社 固体撮像装置
JP2017228885A (ja) * 2016-06-21 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4117540B2 (ja) 2002-10-17 2008-07-16 ソニー株式会社 固体撮像素子の制御方法
US7268338B2 (en) * 2005-07-06 2007-09-11 Fairchild Imaging Imaging array having variable conversion gain
JP4762030B2 (ja) * 2006-03-31 2011-08-31 三洋電機株式会社 光検出装置
US8441387B2 (en) * 2011-01-31 2013-05-14 SK Hynix Inc. Continuous ramp generator design and its calibration for CMOS image sensors using single-ramp ADCs
US9029750B1 (en) * 2011-08-02 2015-05-12 Northrop Grumman Systems Corporation CMOS and CCD sensor R/O with high gain and no kTC noise
US8890987B2 (en) * 2012-04-16 2014-11-18 Pixim Israel Ltd Device and method for amplification and noise compensation
CN104520993B (zh) * 2012-08-09 2017-07-28 松下知识产权经营株式会社 固体摄像装置
EP2938066A4 (en) * 2012-12-20 2016-10-19 Sony Semiconductor Solutions Corp IMAGE CAPTURE ELEMENT, IMAGE CAPTURE DEVICE, ELECTRONIC APPARATUS, THRESHOLD CALCULATION DEVICE, AND IMAGE CAPTURE METHOD
EP2806628B1 (en) * 2013-05-22 2018-07-11 Agfa HealthCare NV A radiographic image detecting apparatus comprising operational amplifiers
US9780129B2 (en) * 2015-10-07 2017-10-03 Sony Semiconductor Solutions Corporation Sample-and-hold circuit having error compensation circuit portion
CN106331542B (zh) * 2016-08-29 2019-02-26 长春长光辰芯光电技术有限公司 高动态焦平面读出电路及其采样方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043258A (ja) * 2005-08-01 2007-02-15 Olympus Corp 信号処理回路、及びその信号処理回路を用いた撮像装置
JP2009141612A (ja) * 2007-12-05 2009-06-25 National Univ Corp Shizuoka Univ イメージセンサ
WO2011096207A1 (ja) * 2010-02-05 2011-08-11 コニカミノルタオプト株式会社 固体撮像装置
JP2017228885A (ja) * 2016-06-21 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11515884B2 (en) 2021-04-14 2022-11-29 Analog Devices, Inc. Noise reducing capacitance driver

Also Published As

Publication number Publication date
CN111713100A (zh) 2020-09-25
US11252357B2 (en) 2022-02-15
CN111713100B (zh) 2023-09-19
US20200412987A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP7155012B2 (ja) 固体撮像素子および電子機器
US11641529B2 (en) Imaging element
WO2018030137A1 (ja) 撮像装置、電子機器
US11218658B2 (en) Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image
WO2019171946A1 (ja) 撮像素子、電子機器
WO2022085476A1 (ja) 固体撮像装置および信号処理方法
WO2018051819A1 (ja) 撮像素子および駆動方法、並びに電子機器
US11252355B2 (en) Image pickup device and electronic device
WO2022097529A1 (ja) 撮像装置、撮像方法
EP4246958A1 (en) Image capture device
WO2022201874A1 (ja) 撮像装置
WO2024057810A1 (ja) 撮像装置、撮像システム、及び、撮像装置の駆動方法
WO2023210354A1 (ja) 光検出装置および増幅回路
JP2023136919A (ja) 信号生成回路および光検出装置
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP