WO2018211986A1 - 信号処理装置および方法、撮像素子、並びに、電子機器 - Google Patents

信号処理装置および方法、撮像素子、並びに、電子機器 Download PDF

Info

Publication number
WO2018211986A1
WO2018211986A1 PCT/JP2018/017489 JP2018017489W WO2018211986A1 WO 2018211986 A1 WO2018211986 A1 WO 2018211986A1 JP 2018017489 W JP2018017489 W JP 2018017489W WO 2018211986 A1 WO2018211986 A1 WO 2018211986A1
Authority
WO
WIPO (PCT)
Prior art keywords
shift register
conversion
unit
period
pixel
Prior art date
Application number
PCT/JP2018/017489
Other languages
English (en)
French (fr)
Inventor
弘康 近藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/611,886 priority Critical patent/US11265497B2/en
Priority to KR1020197032551A priority patent/KR20200006971A/ko
Publication of WO2018211986A1 publication Critical patent/WO2018211986A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the present disclosure relates to a signal processing device and method, an imaging device, and an electronic device, and more particularly, to a signal processing device and method, an imaging device, and an electronic device that can suppress reduction in subjective image quality.
  • CMOS Complementary Metal Oxide Semiconductor
  • the present disclosure has been made in view of such a situation, and is intended to suppress reduction in subjective image quality.
  • the signal processing device is configured to perform a shift that controls transfer of pixel data of digital data obtained by the A / D conversion in part or all of a period in which A / D conversion is performed on the pixel output of the analog signal. It is a signal processing apparatus provided with the control part which stops the drive of a register
  • a signal processing method is a shift that controls transfer of pixel data of digital data obtained by the A / D conversion in part or all of a period in which A / D conversion is performed on the pixel output of an analog signal. This is a signal processing method for stopping the driving of the register.
  • An imaging device includes a pixel array including a plurality of pixels each configured to photoelectrically convert incident light, and an A / D converter that performs A / D conversion on a pixel output of an analog signal obtained from the pixel array.
  • a D conversion unit a holding unit for holding pixel data of digital data obtained by A / D conversion of the pixel output by the A / D conversion unit, and the pixel data read from the holding unit from the current A sense amplifier that converts voltage, a shift register that controls transfer of the pixel data by controlling driving of the holding unit and the sense amplifier, and an A / D for the pixel output by the A / D conversion unit
  • a control unit that stops driving the shift register during part or all of the conversion period.
  • An electronic device includes an imaging unit that images a subject, and an image processing unit that performs image processing on image data obtained by imaging by the imaging unit.
  • a pixel array comprising a plurality of pixels having a configuration for photoelectrically converting light, an A / D converter for A / D converting a pixel output of an analog signal obtained from the pixel array, and the pixel by the A / D converter
  • a holding unit that holds pixel data of digital data obtained by A / D conversion of the output, a sense amplifier that converts the pixel data read from the holding unit from current to voltage, the holding unit, and the sense
  • Driving the serial shift register is an electronic device and a control unit stopping.
  • driving of a shift register that controls transfer of pixel data of digital data obtained by A / D conversion in part or all of a period in which A / D conversion is performed on pixel output of an analog signal Is stopped.
  • incident light to each pixel of the pixel array is photoelectrically converted, the pixel output of the analog signal obtained from the pixel array is A / D converted, and the pixel output is A / D converted.
  • the pixel data of the digital data obtained in this way is held in the holding unit, the pixel data read from the holding unit is converted from current to voltage, and part or all of the period for performing A / D conversion on the pixel output, The driving of the shift register that controls the transfer of such pixel data is stopped.
  • incident light to each pixel of the pixel array is photoelectrically converted, and a pixel output of an analog signal obtained from the pixel array is A / D converted
  • Pixel data of digital data obtained by A / D conversion of the pixel output is held in the holding unit
  • pixel data read from the holding unit is converted from current to voltage
  • a / D conversion is performed on the pixel output.
  • the driving of the shift register that controls the transfer of the pixel data is stopped, and the image data of the captured image of the subject thus obtained is displayed outside the imaging unit. It is processed.
  • the signal can be processed.
  • reduction in subjective image quality can be suppressed.
  • a pulse (data transfer start pulse) is supplied as the data transfer start notification signal HSTRG as shown in the third row from the top.
  • the shift register that controls the data transfer of the pixel signal sequentially supplies the digital data held in the data latch of each column to the sense amplifier according to the shift register clock HSCCK shown in the second stage from the top.
  • the shift register supplies pixel signals for one row to the sense amplifier one pixel at a time.
  • the sense amplifier converts the current of the pixel signal supplied to each pixel into a voltage and supplies it to the subsequent stage.
  • the pixel signal of the next row is read from the pixel array, and A / D conversion is performed on the pixel signal of that row.
  • an A / D converter is provided for each column of the pixel array, and pixel signals of each pixel in the row are A / D converted in parallel with each other.
  • the magnitude is compared between a pixel signal read from the pixel array and a ramp wave (RAMP wave) as shown at the bottom of FIG.
  • the time (count value) from the start of comparison until the ramp wave becomes larger than the pixel signal is output as digital data of the pixel signal.
  • CDS Correlated Sampling
  • the A / D conversion is performed twice in the reset period (P phase) and the signal readout period (D phase).
  • FIG. 2 is a block diagram illustrating an example of an embodiment of an image sensor to which the present technology is applied.
  • An image sensor 100 shown in FIG. 2 is a device that photoelectrically converts light from a subject and outputs it as image data.
  • the image sensor 100 is configured as a CMOS image sensor using CMOS (Complementary Metal Oxide Semiconductor).
  • the image sensor 100 includes a control unit 101, a pixel array unit 102, a row selection unit 103, a reference voltage generation unit 104, a column A / D conversion unit 105, a data transfer unit 106, and a read processing unit 107. And an output interface (I / F) unit 108.
  • the control unit 101 has a predetermined digital circuit and the like, and performs processing related to control of driving of each processing unit in the image sensor 100. For example, the control unit 101 controls processing performed in each processing unit by supplying a clock signal, a control signal, and the like to each processing unit.
  • the control unit 101 has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and the CPU loads programs and data stored in the ROM or the like into the RAM. These processes may be performed by executing the above.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the pixel array unit 102 includes a plurality of pixels arranged in a matrix, for example, each having a configuration (for example, a photodiode) that receives and photoelectrically converts incident light from a subject.
  • a configuration for example, a photodiode
  • the control is performed by the control unit 101, the row selection unit 103, and the like, and incident light is photoelectrically converted in the photodiode, and a charge corresponding to the amount of the incident light is accumulated.
  • an analog signal of a voltage (pixel value) corresponding to the amount of charge accumulated in the pixel is read out from each pixel as a pixel output.
  • the readout of the pixel output is controlled by the control unit 101 and the row selection unit 103, for example, and is performed for each line (row).
  • the row selection unit 103 has a configuration related to line (row) selection, and performs processing related to line selection.
  • the row selection unit 103 is controlled by the control unit 101, selects a line (row) from which the pixel output is read from the pixel array unit 102, that is, a line from which a pixel value is read, and indicates the selected line.
  • a control signal is supplied to the pixel array unit 102.
  • the reference voltage generation unit 104 has a configuration related to generation of a ramp wave, and performs processing related to generation of a reference voltage. For example, a predetermined voltage or a ramp wave reference voltage, which is controlled by the control unit 101 and used in the A / D conversion of the pixel output, is generated and supplied to the column A / D conversion unit 105.
  • the column A / D conversion unit 105 has a configuration related to A / D conversion, such as a comparator, a buffer, and a counter, and performs processing related to A / D conversion.
  • the column A / D conversion unit 105 has a configuration that realizes an A / D conversion function for each column of the pixel array unit 102, and is controlled by the control unit 101 and read from the pixel array unit 102.
  • These pixel outputs can be A / D converted in parallel. Therefore, when the pixel output is read line by line from the pixel array unit 102, the column A / D conversion unit 105 performs A / D conversion on the pixel output of each column (that is, each pixel) for one line in parallel with each other.
  • the column A / D conversion unit 105 A / D converts the pixel output line by line.
  • the column A / D conversion unit 105 compares the pixel output of each column of the line read from the pixel array unit 102 with the reference voltage generated by the reference voltage generation unit 104, and references after starting the comparison The time (number of clocks) until the voltage becomes larger than the pixel output is counted, and the count value is used as the A / D conversion result. That is, the column A / D conversion unit 105 supplies the count value (digital data) of each column to the data transfer unit 106 as pixel data.
  • the imaging device 100 performs correlated double sampling (CDS (Correlated Double Sampling)) in reading out the pixel output. That is, the image sensor 100 performs reading twice in the reset period (P phase) and the signal readout period (D phase). Therefore, the column A / D conversion unit 105 also performs A / D conversion twice in the reset period (P phase) and the signal readout period (D phase).
  • CDS Correlated Double Sampling
  • the data transfer unit 106 has a configuration related to pixel data transfer, such as a data latch, a sense amplifier, and a shift register, and performs processing related to pixel data transfer.
  • the data transfer unit 106 is controlled by the control unit 101 and the read processing unit 107 and sequentially transfers pixel data for one line supplied from the column A / D conversion unit 105 to the read processing unit 107 one column at a time.
  • the reading processing unit 107 includes a predetermined digital circuit and the like, and is controlled by the control unit 101 to perform processing related to reading of pixel data from the data transfer unit 106.
  • the read processing unit 107 acquires a clock signal, a control signal, and the like from the control unit 101 as indicated by an arrow 121, and performs processing based on these signals.
  • the read processing unit 107 supplies a clock signal, a control signal, and the like to the data transfer unit 106 as indicated by an arrow 122 to control driving of the data transfer unit 106 (that is, data transfer of pixel data).
  • the read processing unit 107 acquires the pixel data read from the data transfer unit 106 as indicated by an arrow 123.
  • the read processing unit 107 temporarily holds the acquired pixel data.
  • the readout processing unit 107 may perform predetermined signal processing on the pixel data.
  • the read processing unit 107 supplies the held data to the output interface (I / F) unit 108 as indicated by an arrow 124 at a predetermined timing or the like.
  • the read processing unit 107 includes a CPU, a ROM, a RAM, and the like, and the CPU loads and executes a program or data stored in the ROM or the like to execute the processing. May be.
  • the output interface (I / F) unit 108 is controlled by the control unit 101 and performs processing related to output of pixel data.
  • the output interface unit 108 has a predetermined external output terminal, and outputs pixel data and the like supplied from the readout processing unit 107 to the outside of the image sensor 100 via the external output terminal.
  • FIG. 3 is a diagram illustrating a main configuration example of the data transfer unit 106.
  • the data transfer unit 106 includes a data latch 151, a data bus 152, a data bus 153, a sense amplifier 154, and an H scanner 155.
  • the data latch 151 has a configuration capable of storing information, and holds pixel data (A / D conversion result) supplied from the column A / D conversion unit 105.
  • the reference numeral (151) is attached to only one square, but the same squares arranged in the horizontal direction in the figure all indicate the data latch 151.
  • ten data latches 151 are shown, but in reality, the data latch 151 is provided for each column of the pixel array unit 102.
  • Each data latch 151 is connected to a sense amplifier 154 (amplifying unit 161 thereof) by a data bus 152 and a data bus 153.
  • the pixel data held in each data latch 151 is controlled by an H scanner 155 (shift register 182), which will be described later, and sequentially supplied to the sense amplifier 154 (amplifying unit 161 thereof) one column at a time.
  • One of the data bus 152 and the data bus 153 has a positive current corresponding to the value held in the data latch 151, and the other has a negative current corresponding to the value held in the data latch 151.
  • the pixel data held in the data latch 151 is supplied to the sense amplifier 154 as a current.
  • the sense amplifier 154 converts the current of the supplied pixel data into a voltage and supplies the voltage to the read processing unit 107.
  • the sense amplifier 154 includes, for example, an amplification unit (SA) 161, flip-flops 162 to 164, and delay units 165 to 167.
  • the amplifying unit 161 differentially amplifies the current input via the data bus 152 and the data bus 153 and converts it into a voltage.
  • the flip-flops 162 to 164 are controlled by an H scanner 155 (shift register 182), which will be described later, via the delay units 165 to 167, and read the output (pixel data) of the amplification unit 161 at a predetermined timing. Transfer to the processing unit 107 (SAOUT).
  • the H scanner 155 has a configuration related to control of the data transfer operation of the pixel data as described above, and is controlled by the read processing unit 107, the control unit 101, and the like, and performs processing related to control of the data transfer operation.
  • the H scanner 155 includes an H decoder 181 and a shift register 182 as shown in FIG.
  • the H decoder 181 decodes the supplied address information H_ADD, generates a control signal indicating an address (column) specified by the address information H_ADD, and supplies it to the shift register 182.
  • the shift register 182 has a configuration related to control of the data transfer operation of pixel data, such as a flip-flop 191 and an amplification unit, and is controlled by the read processing unit 107, the control unit 101, the H decoder 181 and the like, and data of pixel data Performs processing related to transfer operation control.
  • the reference numeral (191) is assigned to only one flip-flop, but all the similar flip-flops arranged in the horizontal direction in the figure are the flip-flops 191 constituting the shift register 182.
  • ten flip-flops 191 are shown. Actually, however, the flip-flops 191 are provided in the same number as the data latches 151 (that is, for each column of the pixel array unit 102). It is done.
  • the shift register 182 is driven based on a control signal such as the data transfer start notification signal HSTRG and the shift register clock HSCCK supplied from the read processing unit 107, a control signal supplied from the H decoder 181, and the like.
  • a control signal such as the data transfer start notification signal HSTRG and the shift register clock HSCCK supplied from the read processing unit 107, a control signal supplied from the H decoder 181, and the like.
  • the shift register 182 controls the transfer of the pixel data held in each data latch 151 to the sense amplifier 154 by controlling the reading of the pixel data from each data latch 151.
  • the shift register 182 controls the driving of the flip-flops 162 to 164 of the sense amplifier 154 via the delay units 165 to 167 and transfers the output of the amplification unit 161 to the read processing unit 107 (SAOUT). To control.
  • ⁇ Data transfer control method> As described with reference to FIG. 1, when a current fluctuation occurs in the sense amplifier or the like during A / D conversion, noise is added to the pixel output or the ramp wave due to the magnetic induction or the like, resulting in the subjective image quality of the captured image May be reduced. Therefore, in order to suppress such noise, current fluctuation during A / D conversion due to data transfer may be suppressed. Therefore, for example, data transfer of pixel data may be stopped during A / D conversion, and driving of the sense amplifier may be stopped. Therefore, for example, the driving of the shift register 182 may be stopped. The driving of the shift register 182 can be controlled, for example, by controlling the supply of the shift register clock HSCCK.
  • FIG. An example is shown in FIG. That is, first, as shown in the second row from the top in FIG. 4, a pulse (data transfer start pulse) is supplied to the shift register 182 as the data transfer start notification signal HSTRG, and data transfer of pixel data to the shift register 182 is started.
  • the shift register 182 sequentially supplies the digital data (pixel data) held in the data latch of each column to the sense amplifier 154 in accordance with the shift register clock HSCCK for driving the shift register 182 shown in the first stage from the top. .
  • the current of the sense amplifier 154 fluctuates greatly in the period 201 immediately after the start as in the case of FIG. 1, and also in the period 202 during data transfer as in the case of FIG. Similarly, it changes slowly. That is, during these periods, since A / D conversion is not performed, data transfer is executed as in FIG.
  • the supply of the shift register clock HSCCK is stopped again.
  • the driving of the shift register 182 is stopped, and the data transfer and the driving of the sense amplifier 154 are also stopped. Therefore, as shown in the third stage from the top, the current of the sense amplifier 154 is substantially reduced. It becomes zero.
  • the driving of the shift register 182 can be easily controlled by supplying the shift register clock HSCCK from the read processing unit 107.
  • the read processing unit 107 can stop driving the shift register 182 by stopping the supply of the shift register clock HSCCK. Further, the read processing unit 107 can restart the driving of the shift register 182 by restarting the supply of the shift register clock HSCCK.
  • the read processing unit 107 can easily stop driving the shift register 182 at a desired timing. That is, the read processing unit 107 can easily perform control such as stopping the driving of the shift register 182 during a period in which A / D conversion is performed, for example. That is, the read processing unit 107 can easily suppress current fluctuations of the sense amplifier or the like during A / D conversion.
  • the processing time for the data transfer increases accordingly.
  • the data transfer of pixel data and the A / D conversion of the pixel output of the next line must be completed within a predetermined data readout period (XHS).
  • XHS data readout period
  • the read processing unit 107 can easily control not only stopping the shift register 182 but also restarting it by controlling the supply of the shift register clock HSCCK. That is, the reading processing unit 107 can easily stop driving the shift register 182 for a desired period. That is, the read processing unit 107 can easily suppress the current fluctuation of the sense amplifier during the A / D conversion while easily preventing the processing from being destroyed.
  • the period during which the current fluctuation of the sense amplifier 154 as described above is suppressed may be the entire period during which A / D conversion is performed, or a part thereof. There may be.
  • the influence on the pixel output and the ramp wave due to the magnetic induction accompanying the current fluctuation of the sense amplifier 154 etc. is suppressed at least during that period can do.
  • horizontal band noise, shading noise, etc. in a captured image may be more visually noticeable in a dark image (image with a small pixel value) than a bright image (image with a large pixel value). high. That is, in the captured image, horizontal band-like noise, shading noise, or the like occurs in a relatively dark region (region having a relatively small pixel value), compared to a case where relatively horizontal region (region having a relatively large pixel value) occurs. When it occurs, there is a high possibility that the subjective image quality is greatly reduced.
  • the influence of the current fluctuation of the sense amplifier 154 on the subjective image quality of the captured image during the period of the A / D conversion is generally the largest at the start. , It decreases with time, and the end time is minimized.
  • the driving of the shift register 182 may be stopped from the start timing of the period during which A / D conversion is performed. By doing so, it is possible to suppress the reduction in subjective image quality as compared with the case where the driving of the shift register 182 is stopped at other timings.
  • the read processing unit 107 may stop supplying the shift register clock HSCCK at the start timing of the period during which A / D conversion is performed. By doing so, it is possible to suppress the reduction in subjective image quality as compared with the case where the supply of the shift register clock HSCCK is stopped at other timings.
  • the period in which the drive of the shift register 182 is stopped is earlier than the period in which the A / D conversion is performed.
  • the timing closer to the start timing of the A / D conversion period it is possible to further suppress the reduction in subjective image quality.
  • the data transfer of the pixel data and the A / D conversion of the pixel output of the next line are completed within a predetermined data readout period (XHS), so that the shift is performed in a part of the period for performing the A / D conversion.
  • XHS data readout period
  • the register 182 needs to be driven, the period during which the shift register 182 is driven is later than the period during which A / D conversion is performed, that is, closer to the end timing of the period during which A / D conversion is performed. You may make it set. By doing so, it is possible to further suppress the reduction in subjective image quality.
  • the column A / D conversion unit 105 performs A / D conversion for the pixel output in the reset period and A / D conversion for the pixel output in the signal readout period in response to readout of correlated double sampling.
  • the driving of the shift register 182 is stopped in both the period in which A / D conversion is performed on the pixel output in the reset period and the period in which A / D conversion is performed on the pixel output in the signal readout period. You may do it. By doing so, it is possible to suppress a reduction in subjective image quality as compared with a case where the driving of the shift register 182 is stopped only in any one period.
  • the readout processing unit 107 supplies the shift register clock HSCCK in both the period in which A / D conversion is performed on the pixel output in the reset period and the period in which A / D conversion is performed on the pixel output in the signal readout period. You may make it stop. By doing so, it is possible to suppress the reduction of the subjective image quality as compared with the case where the supply of the shift register clock HSCCK is stopped only in any one period.
  • the shift register 182 is only partly in each of the period in which A / D conversion is performed on the pixel output in the reset period and the period in which A / D conversion is performed on the pixel output in the signal readout period. The driving may be stopped.
  • the subjective image quality can be reduced by setting the period for stopping the driving of the shift register 182 to be earlier than the period for performing each A / D conversion. It can be suppressed more.
  • the driving of the shift register 182 may be stopped from the start timing of each A / D conversion period.
  • the current fluctuation of the sense amplifier 154 during the period for performing A / D conversion for the pixel output in the reset period is the period for performing A / D conversion for the pixel output during the signal readout period.
  • the influence on the subjective image quality of the captured image is larger than the current fluctuation of the sense amplifier 154.
  • the driving of the shift register 182 may be stopped preferentially during a period in which A / D conversion is performed on the pixel output in the reset period.
  • the driving of the shift register 182 is stopped in the entire period in which A / D conversion is performed on the pixel output in the reset period and in part of the period in which A / D conversion is performed on the pixel output in the signal readout period. Also good.
  • the shift register 182 is driven in a part of the period in which A / D conversion is performed on the pixel output in the reset period. As a result, it is possible to further suppress the reduction of the subjective image quality of the captured image.
  • the period for performing A / D conversion for the pixel output during the signal readout period is longer than the period for performing A / D conversion for the pixel output during the reset period. Therefore, for example, A / D conversion is performed on the pixel output in the reset period within the entire period in which A / D conversion is performed on the pixel output in the reset period and the period in which A / D conversion is performed on the pixel output in the signal readout period. You may make it stop the drive of a shift register in a period longer than the period to perform.
  • the subjective image quality of the captured image is suppressed while suppressing an increase in the influence on the subjective image quality of the captured image due to the current fluctuation of the sense amplifier 154 during the A / D conversion period for the pixel output in the signal readout period. Reduction can be suppressed.
  • the read processing unit 107 In order to control the supply of the shift register clock HSCCK as described above, the read processing unit 107 counts a predetermined reference clock, and stops and restarts the supply of the shift register clock HSCCK based on the count value. You may do it.
  • FIG. 5 shows a main configuration example of the read processing unit 107 when the clock supply is controlled as described above.
  • the read processing unit 107 includes a control unit 231 and a data processing unit 232.
  • the control unit 231 includes a predetermined digital circuit and the like, and performs processing related to control of the data transfer start notification signal HSTRG, the shift register clock HSCCK, and the like. For example, the control unit 231 controls the supply of these signals to the data transfer unit 106, the data processing unit 232, and the like.
  • the control unit 231 includes, for example, a count clock control unit 241 and a trigger signal generation unit 242.
  • the count type clock control unit 241 has a predetermined digital circuit and the like, and controls the supply of the shift register clock HSCCK.
  • the count-type clock control unit 241 counts the input clock and controls the supply of the shift register clock HSCCK and the like based on the count value.
  • the count clock control unit 241 is supplied with a count number setting that is a setting of a count value for stopping or starting the supply of the shift register clock HSCCK, as indicated by an arrow 251.
  • the count number setting is supplied from the control unit 101, for example.
  • the supply source of this count number setting is arbitrary, and may be supplied from the outside of the image sensor 100, for example.
  • the count type clock controller 241 acquires and sets the count number setting.
  • the reference clock CLK is supplied from the control unit 101 to the count clock control unit 241 as indicated by an arrow 252.
  • This reference clock is a general-purpose clock and can be used as a reference for arbitrary processing.
  • the reference clock CLK may be supplied from any source, and may be supplied from the outside of the image sensor 100, for example.
  • the count clock control unit 241 counts the reference clock CLK (pulses thereof), and controls the supply of the shift register clock HSCCK based on the count value and the set count number setting.
  • the count clock control unit 241 supplies the shift register clock HSCCK to the data transfer unit 106 (shift register 182) as indicated by an arrow 253. Further, as indicated by an arrow 255, the count clock control unit 241 supplies the shift register clock HSCCK to the data processing unit 232 (SRAM 243).
  • the trigger signal generation unit 242 includes a predetermined digital circuit and the like, generates a data transfer start notification signal HSTRG that serves as a trigger signal for starting data transfer, and outputs the data transfer start notification signal HSTRG as indicated by an arrow 254. To the shift register 182).
  • control unit 231 includes a CPU, a ROM, a RAM, and the like, and the CPU loads and executes a program or data stored in the ROM or the like to execute these processes (count type).
  • the functions of the clock control unit 241 and the trigger signal generation unit 242 may be realized).
  • the data processing unit 232 has a predetermined digital circuit or the like, and performs processing related to pixel data transferred from the data transfer unit 106.
  • the pixel data transferred from the data transfer unit 106 is supplied to the data processing unit 232 as indicated by an arrow 256 (SAOUT).
  • SAOUT the data processing unit 232 performs predetermined processing on the pixel data, and supplies the processed pixel data to the output interface unit 108 as indicated by an arrow 257 (SRAMOUT). This predetermined process is arbitrary.
  • the data processing unit 232 includes an SRAM (Static Random Access Memory) 243.
  • the SRAM 243 stores the pixel data transferred from the data transfer unit 106, reads the pixel data at a predetermined timing, and supplies the pixel data to the output interface unit 108.
  • the SRAM 243 performs such processing based on the shift register clock HSCCK supplied from the control unit 231 (count clock control unit 241).
  • the data processing unit 232 includes a CPU, a ROM, a RAM, and the like, and the CPU loads and executes a program or data stored in the ROM or the like to execute the processing (SRAM 243). May be realized).
  • the control unit 231 (the count clock control unit 241) of the read processing unit 107 counts a predetermined reference clock CLK and supplies the shift register clock HSCCK based on the count value. Stop and resume.
  • Fig. 6 shows an example of the control.
  • the count clock control unit 241 starts supplying the shift register clock HSCCK in synchronization with the reference clock CLK. Further, the count clock control unit 241 starts counting the reference clock CLK. When the count value reaches the value for stopping the supply of the shift register clock HSCCK in the count setting, the supply of the shift register clock HSCCK is stopped.
  • the count type clock control unit 241 continues counting the reference clock CLK thereafter.
  • the count value reaches the value for restarting the supply of the shift register clock HSCCK in the count setting, the supply of the shift register clock HSCCK is restarted.
  • the count type clock control unit 241 continues counting the reference clock CLK thereafter.
  • the count value reaches the supply end value of the shift register clock HSCCK in the count number setting, the supply of the shift register clock HSCCK is ended. Note that when the data read period ends, the count value is reset.
  • the count clock control unit 241 controls the supply of the shift register clock HSCCK based on the count value of the reference clock CLK.
  • the value of the supply stop and restart of the shift register clock HSCCK is predetermined in the count number setting. These values are arbitrary, but are set according to a desired control timing. For example, when the driving of the shift register 182 is stopped during the A / D conversion period as described above, the count is performed so that the supply of the shift register clock HSCCK is stopped in accordance with the A / D conversion period. These values are set in the numerical setting.
  • a plurality of values for stopping and restarting the supply of the shift register clock HSCCK may be set in the count number setting.
  • the count type clock control unit 241 determines the shift register clock HSCCK based on the respective values. Stop or restart the supply.
  • the drive of the shift register 182 can be easily controlled by controlling the supply of the shift register clock HSCCK based on the count value of the reference clock CLK. That is, the reduction in subjective image quality can be easily suppressed.
  • ⁇ Flow of data transfer control processing> An example of the flow of data transfer control processing executed by the read processing unit 107 will be described with reference to the flowchart of FIG. Note that here, as described with reference to FIG. 4, a case where correlated double sampling is performed in readout of pixel output will be described as an example.
  • the read processing unit 107 implements the data transfer control as described above by executing the process of each step of the data transfer control process in the data transfer of each line, for example.
  • the count type clock control unit 241 sets the count number setting and starts counting the reference clock CLK in step S101.
  • the count value is initialized before the count is started. This count is continued until this data transfer control process is completed.
  • step S102 the count clock controller 241 starts supplying the shift register clock HSCCK in synchronization with the reference clock CLK.
  • step S103 the trigger signal generation unit 242 determines whether or not to start data transfer, and repeats this process until it is determined that it is time to start data transfer. If it is determined that it is time to start data transfer, the process proceeds to step S104.
  • step S104 the trigger signal generation unit 242 supplies a pulse (data transfer start pulse) to the data transfer unit 106 (shift register 182) as the data transfer start notification signal HSTRG.
  • step S105 the count-type clock control unit 241 determines whether or not the count value of the reference clock CLK has reached a predetermined value set as a value for stopping the supply of the shift register clock HSCCK in the count number setting. To do. The process of step S105 is repeated until it is determined that the count value has reached the predetermined value. That is, the supply of the shift register clock HSCCK is continued during this period.
  • step S106 the count clock control unit 241 stops supplying the shift register clock HSCCK.
  • the count clock control unit 241 stops the supply of the shift register clock HSCCK at the start timing of the period during which A / D conversion is performed on the pixel output in the reset period, based on the predetermined value.
  • step S107 the count-type clock control unit 241 determines whether or not the count value of the reference clock CLK has reached a predetermined value set as a value for restarting the supply of the shift register clock HSCCK in the count number setting. To do. The process of step S107 is repeated until it is determined that the count value has reached the predetermined value. That is, during this time, the supply of the shift register clock HSCCK is stopped.
  • step S108 the count clock control unit 241 resumes the supply of the shift register clock HSCCK.
  • the count clock control unit 241 restarts the supply of the shift register clock HSCCK at the end timing of the period in which A / D conversion is performed on the pixel output in the reset period, based on the predetermined value.
  • step S109 the count-type clock control unit 241 determines whether or not the count value of the reference clock CLK has reached a predetermined value set as a value for stopping the supply of the shift register clock HSCCK in setting the count number. To do. The process of step S109 is repeated until it is determined that the count value has reached the predetermined value. That is, the supply of the shift register clock HSCCK is continued during this period.
  • step S110 the count clock control unit 241 stops supplying the shift register clock HSCCK.
  • the count type clock control unit 241 stops the supply of the shift register clock HSCCK at the start timing of the period in which A / D conversion is performed on the pixel output in the signal readout period based on the predetermined value.
  • step S111 the count-type clock control unit 241 determines whether or not the count value of the reference clock CLK has reached a predetermined value set as a value for restarting the supply of the shift register clock HSCCK in setting the count number. To do. The process of step S111 is repeated until it is determined that the count value has reached the predetermined value. That is, during this time, the supply of the shift register clock HSCCK is stopped.
  • step S112 the count clock control unit 241 resumes the supply of the shift register clock HSCCK.
  • the count-type clock control unit 241 restarts the supply of the shift register clock HSCCK at a predetermined timing in the middle of a period in which A / D conversion is performed on the pixel output in the signal readout period based on the predetermined value. To do.
  • step S113 the count clock control unit 241 determines whether to end the data transfer control process. When it is determined that the count value of the reference clock CLK has not reached the predetermined value set as the value to end the supply of the shift register clock HSCCK in the count setting, the count value reaches the predetermined value. The process of step S113 is repeated until it is determined that it has been performed. That is, the supply of the shift register clock HSCCK is continued during this period.
  • the data transfer control process ends. That is, the supply of the shift register clock HSCCK is completed.
  • the read processing unit 107 can control the supply of the shift register clock so as to suppress the current fluctuation of the sense amplifier 154 during the A / D conversion period. Therefore, it is possible to suppress a reduction in subjective image quality of the captured image.
  • Second Embodiment> ⁇ Control based on enable signal> Further, the read processing unit 107 may stop and restart the supply of the shift register clock HSCCK based on a predetermined enable signal.
  • FIG. 8 A main configuration example of the read processing unit 107 in this case is shown in FIG. As shown in FIG. 8, the read processing unit 107 in this case has basically the same configuration as that in FIG. However, the control unit 231 includes an enable clock control unit 301 instead of the count clock control unit 241 in FIG.
  • the enable type clock control unit 301 has a predetermined digital circuit and the like, and controls the supply of the shift register clock HSCCK based on the supplied enable signal.
  • the enable clock controller 301 is supplied with an enable signal for controlling (allowing or prohibiting) the supply of the shift register clock HSCCK, as indicated by an arrow 311.
  • This enable signal is supplied from the control unit 101, for example.
  • the supply source of this enable signal is arbitrary, and may be supplied from the outside of the image sensor 100, for example.
  • the enable type clock control unit 301 acquires the enable signal.
  • the enable clock controller 301 is supplied with the reference clock CLK from the controller 101 (arrow 252), as in the case of FIG.
  • the enable clock controller 301 controls the supply of the shift register clock HSCCK based on the reference clock CLK and the enable signal.
  • control unit 231 has a CPU, ROM, RAM, and the like, and the CPU loads these programs and data stored in the ROM and executes them to execute these processes (
  • the functions of the enable clock control unit 301 and the trigger signal generation unit 242 may be realized).
  • Fig. 9 shows an example of the control.
  • the enable signal is a binary signal of High and Low.
  • the enable clock control unit 301 supplies the shift register clock HSCCK during a period when the value of the enable signal is High, and stops supplying the shift register clock HSCCK during a period when the value of the enable signal is Low.
  • the timing for switching the value of the enable signal is arbitrary, but is set according to the desired control timing.
  • the value of the enable signal may be set to Low during a desired period in which driving of the shift register 182 is desired to be stopped. For example, when the driving of the shift register 182 is stopped during the A / D conversion period as described above, the value of the enable signal during the A / D conversion period may be set to Low.
  • the value of the enable signal in each period may be set to Low.
  • the enable clock controller 301 stops supplying the shift register clock HSCCK in each period. That is, the supply of the shift register clock HSCCK is stopped a plurality of times.
  • the drive of the shift register 182 can be easily controlled by controlling the supply of the shift register clock HSCCK based on the value of the enable signal. That is, the reduction in subjective image quality can be easily suppressed.
  • the enable clock control unit 301 starts supplying the shift register clock HSCCK in synchronization with the reference clock CLK in step S201.
  • step S202 the trigger signal generation unit 242 determines whether or not to start data transfer, and repeats this process until it is determined that it is time to start data transfer. If it is determined that it is time to start data transfer, the process proceeds to step S203.
  • step S203 the trigger signal generation unit 242 supplies a pulse (data transfer start pulse) to the data transfer unit 106 (shift register 182) as the data transfer start notification signal HSTRG.
  • step S204 the enable clock controller 301 supplies the shift register clock HSCCK according to the value of the enable signal. That is, the enable clock control unit 301 supplies the shift register clock HSCCK during a period when the value of the enable signal is High, and stops supplying the shift register clock HSCCK during a period when the value of the enable signal is Low. In this manner, the supply of the shift register clock HSCCK for a desired period is stopped based on the enable signal.
  • step S205 the enable clock control unit 301 determines whether to end the data transfer control process. If it is determined that it is not time to end the supply of the shift register clock HSCCK, the process returns to step S204. That is, in step S205, steps S204 and S205 are repeated until it is determined that it is time to end the supply of the shift register clock HSCCK. That is, during this time, the shift register clock HSCCK is supplied in accordance with the value of the enable signal.
  • the data transfer control process ends. That is, the supply of the shift register clock HSCCK is completed.
  • the read processing unit 107 can control the supply of the shift register clock so as to suppress the current fluctuation of the sense amplifier 154 during the A / D conversion period. Therefore, it is possible to suppress a reduction in subjective image quality of the captured image.
  • FIG. 11 shows a configuration example of a part of the H scanner 155 in that case.
  • a clear signal CLR is supplied to each flip-flop 191 of the shift register 182 in this case.
  • FIG. 11 shows three flip-flops 191 including flip-flops 191-1 to 191-3, but the same applies to all flip-flops 191 of the shift register 182.
  • a clear signal CLR is supplied.
  • This clear signal CLR is a binary signal of High or Low.
  • the flip-flop 191 is initialized. That is, the shift register 182 is initialized and its driving is stopped.
  • the clear signal CLR is supplied from the read processing unit 107, for example.
  • the supply source of the clear signal CLR is arbitrary.
  • the clear signal CLR may be supplied from the control unit 101 or may be supplied from the outside of the image sensor 100.
  • An OR circuit 411 is provided between the flip-flops 191 so that a trigger signal supplied from the H decoder 181 can be supplied to the flip-flop 191 via the OR circuit 411.
  • FIG. 11 shows three OR circuits 411 of the OR circuit 411-1 to OR circuit 411-3, but the same applies to all flip-flops 191 of the shift register 182.
  • an OR circuit 411 is provided so that trigger signals (T1, T2, T3,%) From the H decoder 181 can be supplied.
  • the H decoder 181 can supply a trigger signal to an arbitrary flip-flop 191. That is, when restarting the driving of the shift register 182, the H decoder 181 supplies a trigger signal to the corresponding flip-flop 191 so as to restart from the state immediately before the stop.
  • the value of the clear signal CLR is set to High.
  • the value of the clear signal CLR is set to Low.
  • the H decoder 181 supplies a trigger signal to the position of the shift register 182 where the operation is resumed when the driving of the shift register 182 is resumed. In this way, the shift register 182 can resume driving from the state immediately before stopping.
  • the timing for switching the value of the clear signal CLR and the supply timing of the trigger signal are arbitrary, but are set according to the desired control timing. That is, the value of the clear signal CLR may be set to High in a desired period in which the driving of the shift register 182 is desired to be stopped. Further, the H decoder 181 may supply a trigger signal to an appropriate position of the shift register 182 at a timing corresponding to the end timing of the period. For example, when the driving of the shift register 182 is stopped in the period in which A / D conversion is performed as described above, the clear signal CLR is set to High in the period in which the A / D conversion is performed, and the driving is restarted. The H decoder 181 may supply a trigger signal to an appropriate position of the shift register 182 at a timing according to the above.
  • the driving of the shift register 182 can be controlled by resetting the shift register 182. That is, reduction in subjective image quality can be suppressed.
  • control unit 231 of the read processing unit 107 starts supplying the shift register clock HSCCK in synchronization with the reference clock CLK in step S301.
  • step S302 the trigger signal generation unit 242 determines whether or not to start data transfer, and repeats this process until it is determined that it is time to start data transfer. If it is determined that it is time to start data transfer, the process proceeds to step S303.
  • step S303 the trigger signal generation unit 242 supplies a pulse (data transfer start pulse) to the data transfer unit 106 (shift register 182) as the data transfer start notification signal HSTRG.
  • step S304 the control unit 231 determines whether it is the A / D conversion start timing for the pixel output in the reset period (P phase). The process of step S304 is repeated until it is determined that the start timing is reached. That is, during this time, the shift register 182 is driven.
  • step S305 the control unit 231 sets the value of the clear signal CLR to High and resets the shift register 182. As a result, the driving of the shift register 182 is stopped.
  • step S306 the control unit 231 determines whether it is the end timing of A / D conversion for the pixel output in the reset period (P phase). The process of step S306 is repeated until it is determined that the end timing is reached. That is, during this period, the driving of the shift register 182 is stopped.
  • step S307 the control unit 231 sets the value of the clear signal CLR to Low, and allows the shift register 182 to be driven.
  • the H decoder 181 supplies a trigger signal to the operation restart position of the shift register 182. As a result, the shift register 182 resumes driving from the state immediately before stopping.
  • step S308 the control unit 231 determines whether it is the A / D conversion start timing for the pixel output in the signal readout period (D phase). The process of step S308 is repeated until it is determined that the start timing is reached. That is, during this time, the shift register 182 is driven.
  • step S309 the control unit 231 sets the value of the clear signal CLR to High and resets the shift register 182. As a result, the driving of the shift register 182 is stopped.
  • step S310 the control unit 231 determines whether it is the end timing of A / D conversion for the pixel output in the signal readout period (D phase). The process of step S310 is repeated until it is determined that the end timing is reached. That is, during this period, the driving of the shift register 182 is stopped.
  • step S311 the control unit 231 sets the value of the clear signal CLR to Low and allows the shift register 182 to be driven.
  • the H decoder 181 supplies a trigger signal to the operation restart position of the shift register 182. As a result, the shift register 182 resumes driving from the state immediately before stopping.
  • step S312 the control unit 231 determines whether to end the data transfer control process. If it is determined that the data transfer has not ended and it is not time to end the driving of the shift register 182, the process of step S312 is repeated until it is determined that the data transfer has ended. That is, during this time, the shift register 182 is driven.
  • the data transfer control process is finished. That is, the driving of the shift register 182 is finished.
  • the read processing unit 107 can control the driving of the shift register 182 so as to suppress the current fluctuation of the sense amplifier 154 during the period of A / D conversion. Therefore, it is possible to suppress a reduction in subjective image quality of the captured image.
  • the drive of the shift register 182 can be controlled more easily by controlling the supply of the shift register clock HSCCK as in the first and second embodiments.
  • the method of suppressing the current fluctuation of the sense amplifier during A / D conversion is not limited to the above example.
  • the data transfer start timing may be delayed so that the data transfer does not end during A / D conversion. By doing so, it is possible to suppress the occurrence of a large current fluctuation of the sense amplifier 154 during the A / D conversion due to the end of the data transfer.
  • the method described in the first to third embodiments can more reliably suppress the current fluctuation of the sense amplifier 154 than this method, and the subjective image quality of the captured image can be reduced. Reduction can be further suppressed.
  • data transfer may not be completed during A / D conversion. By doing so, it is possible to suppress the occurrence of a large current fluctuation of the sense amplifier 154 during the A / D conversion due to the end of the data transfer.
  • the method described in the first to third embodiments can more reliably suppress the current fluctuation of the sense amplifier 154 than this method, and the subjective image quality of the captured image can be reduced. Reduction can be further suppressed.
  • a function of suppressing a gradual current fluctuation of the sense amplifier 154 during data transfer may be added.
  • the configuration and processing become more complicated, and the circuit scale and cost may increase. Therefore, the method described in the first to third embodiments can more easily suppress the current fluctuation of the sense amplifier 154 than this method, and the subjective image quality of the captured image can be reduced. Reduction can be further suppressed.
  • a dedicated function for interrupting driving may be added to the shift register 182.
  • the configuration and processing become more complicated, and the circuit scale and cost may increase. Therefore, the method described in the first to third embodiments can more easily suppress the current fluctuation of the sense amplifier 154 than this method, and the subjective image quality of the captured image can be reduced. Reduction can be further suppressed.
  • the pixel output is read out row by row from the pixel array unit 102, but the reading order of the pixel output is arbitrary.
  • the column A / D conversion unit 105 has been described as performing A / D conversion on the pixel output of each column row by row.
  • the configuration of the A / D conversion is arbitrary, and the pixel array unit 102
  • the read pixel outputs may be A / D converted in any order.
  • a plurality of A / D conversion units may be provided for each column, and the pixel output may be A / D converted by the plurality of A / D conversion units.
  • one A / D conversion unit may be shared by a plurality of columns.
  • one A / D conversion unit may be provided in the image sensor 100, and the pixel output may be A / D converted pixel by pixel by the A / D conversion unit.
  • an A / D conversion unit may be provided for each line of the pixel array unit 102, and the pixel output may be A / D converted one column at a time by each A / D conversion unit.
  • an A / D conversion unit may be provided for each predetermined area of the pixel array unit 102, and the pixel output of each area may be A / D converted by each A / D conversion unit.
  • the pixel data is transferred to the sense amplifier 154 for each line.
  • the pixel data may be transferred in an arbitrary unit such as for each column or each region. .
  • the point of suppressing the current fluctuation of the sense amplifier 154 has been described.
  • the suppression target is not limited to the sense amplifier 154. That is, the current fluctuation suppression targets according to the present technology include those other than the sense amplifier 154 as long as they are caused by data transfer.
  • each configuration shown in FIG. 2 may be arranged on each substrate.
  • the read processing unit 107 may be arranged on one substrate and the other components may be arranged on another substrate. Further, the read processing unit 107 and the control unit 101 may be arranged on one substrate, and the other components may be arranged on another substrate. Further, the read processing unit 107 and the data transfer unit 106 may be arranged on one substrate, and the other configurations may be arranged on another substrate. Of course, combinations other than these may be used.
  • the imaging device 100 is configured as one chip including all the substrates (for example, one integrated with mold sealing or the like). Alternatively, it may be configured as a plurality of chips including different substrates.
  • a plurality of substrates may be stacked on each other and configured as one chip in which the circuits on each substrate are connected to each other via vias or the like.
  • a plurality of chips may be modularized.
  • FIG. 14 is a block diagram illustrating a main configuration example of an imaging apparatus as an example of an electronic apparatus to which the present technology is applied.
  • An imaging apparatus 600 shown in FIG. 14 is an apparatus that images a subject and outputs an image of the subject as an electrical signal.
  • the imaging apparatus 600 includes an optical unit 611, a CMOS image sensor 612, an image processing unit 613, a display unit 614, a codec processing unit 615, a storage unit 616, an output unit 617, a communication unit 618, and a control unit 621. , An operation unit 622, and a drive 623.
  • the optical unit 611 includes a lens that adjusts the focal point to the subject and collects light from the focused position, an aperture that adjusts exposure, a shutter that controls the timing of imaging, and the like.
  • the optical unit 611 transmits light (incident light) from the subject and supplies the light to the CMOS image sensor 612.
  • the CMOS image sensor 612 photoelectrically converts incident light, A / D converts a signal for each pixel (pixel signal), performs signal processing such as CDS, and supplies the processed captured image data to the image processing unit 613. .
  • the image processing unit 613 performs image processing on the captured image data obtained by the CMOS image sensor 612. More specifically, the image processing unit 613 performs, for example, color mixture correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, on the captured image data supplied from the CMOS image sensor 612. And various image processing such as YC conversion.
  • the image processing unit 613 supplies captured image data subjected to image processing to the display unit 614.
  • the display unit 614 is configured as a liquid crystal display or the like, for example, and displays an image of captured image data (for example, an image of a subject) supplied from the image processing unit 613.
  • the image processing unit 613 further supplies the captured image data subjected to the image processing to the codec processing unit 615 as necessary.
  • the codec processing unit 615 subjects the captured image data supplied from the image processing unit 613 to encoding processing of a predetermined method, and supplies the obtained encoded data to the storage unit 616. Further, the codec processing unit 615 reads the encoded data recorded in the storage unit 616, decodes it to generate decoded image data, and supplies the decoded image data to the image processing unit 613.
  • the image processing unit 613 performs predetermined image processing on the decoded image data supplied from the codec processing unit 615.
  • the image processing unit 613 supplies the decoded image data subjected to the image processing to the display unit 614.
  • the display unit 614 is configured as a liquid crystal display, for example, and displays an image of the decoded image data supplied from the image processing unit 613.
  • the codec processing unit 615 supplies the encoded data obtained by encoding the captured image data supplied from the image processing unit 613 or the encoded data of the captured image data read from the storage unit 616 to the output unit 617. You may make it output outside the imaging device 600.
  • the codec processing unit 615 supplies captured image data before encoding or decoded image data obtained by decoding encoded data read from the storage unit 616 to the output unit 617, and outputs the image data to the outside of the imaging device 600. You may make it output to.
  • the codec processing unit 615 may transmit the captured image data, the encoded data of the captured image data, or the decoded image data to another device via the communication unit 618. Further, the codec processing unit 615 may acquire captured image data and encoded data of the image data via the communication unit 618. The codec processing unit 615 appropriately encodes and decodes the captured image data acquired through the communication unit 618 and the encoded data of the image data. The codec processing unit 615 may supply the obtained image data or encoded data to the image processing unit 613 as described above, or output it to the storage unit 616, the output unit 617, and the communication unit 618. Good.
  • the storage unit 616 stores encoded data supplied from the codec processing unit 615 and the like.
  • the encoded data stored in the storage unit 616 is read out and decoded by the codec processing unit 615 as necessary.
  • the captured image data obtained by the decoding process is supplied to the display unit 614, and a captured image corresponding to the captured image data is displayed.
  • the output unit 617 has an external output interface such as an external output terminal, and outputs various data supplied via the codec processing unit 615 to the outside of the imaging apparatus 600 via the external output interface.
  • the communication unit 618 supplies various types of information such as image data and encoded data supplied from the codec processing unit 615 to another device that is a communication partner of predetermined communication (wired communication or wireless communication). Further, the communication unit 618 acquires various types of information such as image data and encoded data from another device that is a communication partner of predetermined communication (wired communication or wireless communication), and supplies the acquired information to the codec processing unit 615. .
  • the control unit 621 includes a predetermined digital circuit and the like, and performs processing related to operation control of each processing unit (each processing unit indicated by the dotted line 620, the operation unit 622, and the drive 623).
  • the control unit 621 includes, for example, a CPU, a ROM, a RAM, and the like, and the CPU executes various programs related to such control by executing programs and data loaded into the RAM from the ROM. May be.
  • the operation unit 622 includes, for example, an arbitrary input device such as a jog dial (trademark), a key, a button, or a touch panel.
  • the operation unit 622 receives an operation input by a user or the like and supplies a signal corresponding to the operation input to the control unit 621. To do.
  • the drive 623 reads information stored in a removable medium 624 attached to the drive 623 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 623 reads various information such as programs and data from the removable medium 624 and supplies the information to the control unit 621. Further, the drive 623 stores various information such as image data and encoded data supplied through the control unit 621 in the removable medium 624 when the writable removable medium 624 is attached to the drive 623. .
  • the CMOS image sensor 612 of the imaging apparatus 600 As the CMOS image sensor 612 of the imaging apparatus 600 as described above, the present technology described above in each embodiment is applied. That is, the above-described image sensor 100 is used as the CMOS image sensor 612. Thereby, the CMOS image sensor 612 can suppress a reduction in image quality of the captured image. Therefore, the imaging apparatus 600 can obtain a higher-quality captured image by imaging the subject.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 15 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 16 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 16 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the imaging device 100 in FIG. 2 or the imaging device 600 in FIG. 14 can be applied to the imaging unit 12031.
  • the vehicle exterior information detection unit 12030 includes a person, a car, an obstacle, Processing such as detection of objects such as signs or characters on the road surface and distance detection can be performed with higher accuracy.
  • the microcomputer 12051 can perform coordinated control for the purpose of realizing ADAS functions, automatic driving, etc., and coordinated control for the purpose of anti-glare, such as switching from a high beam to a low beam, with higher accuracy. it can.
  • this program and data can be recorded and applied to a removable medium 624 as a package medium or the like.
  • the program and data are controlled by the control unit 621 by attaching the removable medium 624 to the drive 623, and the control unit 621 and the CMOS image sensor 612 (the control unit 101 and the reading processing unit 107 of the image sensor 100). Etc.) can be installed.
  • This program and data can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program and data are received by the communication unit 618 and can be installed in the control unit 621 or the CMOS image sensor 612.
  • this program and data can also be installed in advance in the ROM of the control unit 621 or the CMOS image sensor 612.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or system, for example, a processor as a system LSI (Large Scale Integration), a module that uses a plurality of processors, a unit that uses a plurality of modules, etc. It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration)
  • a module that uses a plurality of processors
  • a unit that uses a plurality of modules etc.
  • It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the above-described processing unit may be realized by any configuration as long as it has the function described for the processing unit.
  • the processing unit may be configured by an arbitrary circuit, LSI, system LSI, processor, module, unit, set, device, apparatus, system, or the like. A plurality of them may be combined.
  • the same type of configuration such as a plurality of circuits and a plurality of processors may be combined, or different types of configurations such as a circuit and an LSI may be combined.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be such that the processing of steps describing the program is executed in time series in the order described in this specification, or in parallel or when a call is made. It may be executed individually at the required timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • a control unit that stops driving of a shift register that controls transfer of pixel data of digital data obtained by A / D conversion in part or all of a period for performing A / D conversion on pixel output of an analog signal
  • a signal processing apparatus comprising: (2) The signal processing apparatus according to (1), wherein the control unit stops driving the shift register from a start timing of a period in which the A / D conversion is performed.
  • the control unit includes a period in which A / D conversion is performed on the pixel output in the correlated double sampling reset period, and a period in which A / D conversion is performed on the pixel output in the correlated double sampling signal readout period.
  • the signal processing device wherein the drive of the shift register is stopped in part or in whole.
  • the control unit may include a pixel in the reset period among a period in which A / D conversion is performed on the pixel output in the reset period and a period in which A / D conversion is performed on the pixel output in the signal readout period.
  • the signal processing device according to (3), wherein driving of the shift register is stopped in a period longer than a period in which A / D conversion is performed on the output.
  • the shift register controls the pixel data by controlling driving of a holding unit that holds the pixel data and a sense amplifier that converts the pixel data read from the holding unit from current to voltage.
  • the signal processing device according to any one of (1) to (4).
  • the control unit stops driving the shift register by stopping the supply of the shift register clock that drives the shift register, and restarts the supply of the shift register clock.
  • the control unit stops driving the shift register by initializing the shift register, and restarts driving the shift register by supplying a trigger signal to the shift register.
  • the signal processing device according to any one of 8).
  • a pixel array composed of a plurality of pixels each having a configuration for photoelectrically converting incident light;
  • An A / D converter for A / D converting the pixel output of the analog signal obtained from the pixel array;
  • a holding unit for holding pixel data of digital data obtained by A / D converting the pixel output by the A / D conversion unit;
  • a sense amplifier that converts the pixel data read from the holding unit from a current to a voltage;
  • a shift register that controls transfer of the pixel data by controlling driving of the holding unit and the sense amplifier;
  • An imaging device comprising: a control unit that stops driving the shift register during part or all of a period in which A / D conversion is performed on the pixel output by the A / D conversion unit.
  • the control unit counts a predetermined reference clock, and stops driving the shift register by stopping supply of a shift register clock for driving the shift register based on the count value,
  • the imaging device according to any one of (14) to (16), wherein the driving of the shift register is resumed by resuming the supply of the shift register clock.
  • the control unit Based on the enable signal, the control unit stops driving the shift register by stopping the supply of the shift register clock that drives the shift register, and restarts the supply of the shift register clock.
  • the imaging device according to any one of (14) to (17), wherein the driving of the shift register is resumed.
  • the control unit stops driving the shift register by initializing the shift register, and restarts driving the shift register by supplying a trigger signal to the shift register.
  • the imaging device according to any one of (20) an imaging unit for imaging a subject; An image processing unit that performs image processing on image data obtained by imaging by the imaging unit, The imaging unit A pixel array composed of a plurality of pixels each having a configuration for photoelectrically converting incident light; An A / D converter for A / D converting the pixel output of the analog signal obtained from the pixel array; A holding unit for holding pixel data of digital data obtained by A / D converting the pixel output by the A / D conversion unit; A sense amplifier that converts the pixel data read from the holding unit from a current to a voltage; A shift register that controls transfer of the pixel data by controlling driving of the holding unit and the sense amplifier; An electronic apparatus comprising: a control unit that stops driving the shift register during part or all of a period during which A / D conversion is performed on the pixel output by the A / D conversion unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、主観画質の低減を抑制することができるようにする信号処理装置および方法、撮像素子、並びに、電子機器に関する。 アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、そのA/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる。本開示は、例えば、信号処理装置、撮像素子、撮像装置、画像処理装置、電子機器、信号処理方法、またはプログラム等に適用することができる。

Description

信号処理装置および方法、撮像素子、並びに、電子機器
 本開示は、信号処理装置および方法、撮像素子、並びに、電子機器に関し、特に、主観画質の低減を抑制することができるようにした信号処理装置および方法、撮像素子、並びに、電子機器に関する。
 従来、一般的なCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子においては、画素アレイの各カラムから読み出されたある行の画素信号は、A/D変換されてデジタルデータとしてラッチされ、次の行の画素信号がA/D変換されている間にデータ転送され、信号処理されて撮像素子より出力される(例えば特許文献1参照)。
特開2010-199920号公報
 しかしながら、データ転送を行うと、転送されるデジタルデータを電流から電圧に変換するセンスアンプが駆動し、そのセンスアンプにおいて電流変動が発生する。このセンスアンプの電流変動による磁気誘導によって、A/D変換の入力であるランプ波や画素信号にノイズがのるおそれがあった。このノイズがのることにより、結果として、この撮像素子において得られる撮像画像に横帯状のノイズやシェーディングノイズ等が発生し、撮像画像の主観画質が低減するおそれがあった。
 本開示は、このような状況に鑑みてなされたものであり、主観画質の低減を抑制することができるようにするものである。
 本技術の一側面の信号処理装置は、アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、前記A/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる制御部を備える信号処理装置である。
 本技術の一側面の信号処理方法は、アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、前記A/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる信号処理方法である。
 本技術の他の側面の撮像素子は、それぞれが入射光を光電変換する構成を有する複数の画素からなる画素アレイと、前記画素アレイから得られるアナログ信号の画素出力をA/D変換するA/D変換部と、前記A/D変換部により前記画素出力がA/D変換されて得られるデジタルデータの画素データを保持する保持部と、前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプと、前記保持部と前記センスアンプとの駆動を制御することにより、前記画素データの転送を制御するシフトレジスタと、前記A/D変換部による前記画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる制御部とを備える撮像素子である。
 本技術のさらに他の側面の電子機器は、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、それぞれが入射光を光電変換する構成を有する複数の画素からなる画素アレイと、前記画素アレイから得られるアナログ信号の画素出力をA/D変換するA/D変換部と、前記A/D変換部により前記画素出力がA/D変換されて得られるデジタルデータの画素データを保持する保持部と、前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプと、前記保持部と前記センスアンプとの駆動を制御することにより、前記画素データの転送を制御するシフトレジスタと、前記A/D変換部による前記画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる制御部とを備える電子機器である。
 本技術の一側面においては、アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、そのA/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動が停止される。
 本技術の他の側面においては、画素アレイの各画素への入射光が光電変換され、その画素アレイから得られるアナログ信号の画素出力がA/D変換され、その画素出力がA/D変換されて得られるデジタルデータの画素データが保持部に保持され、その保持部から読み出された画素データが電流から電圧に変換され、画素出力に対するA/D変換を行う期間の一部または全部において、そのような画素データの転送を制御するシフトレジスタの駆動が停止される。
 本技術のさらに他の側面においては、被写体を撮像する撮像部において、画素アレイの各画素への入射光が光電変換され、その画素アレイから得られるアナログ信号の画素出力がA/D変換され、その画素出力がA/D変換されて得られるデジタルデータの画素データが保持部に保持され、その保持部から読み出された画素データが電流から電圧に変換され、画素出力に対するA/D変換を行う期間の一部または全部において、そのような画素データの転送を制御するシフトレジスタの駆動が停止され、その撮像部の外部において、そのようにして得られた被写体の撮像画像の画像データが画像処理される。
 本開示によれば、信号を処理することができる。特に、主観画質の低減を抑制することができる。
センスアンプの電流変動の様子の例を説明する図である。 撮像素子の主な構成例を示すブロック図である。 データ転送部の主な構成例を示すブロック図である。 データ転送制御の様子の例を説明する図である。 読み出し処理部の主な構成例を示すブロック図である。 クロック制御の様子の例を説明する図である。 データ転送制御処理の流れの例を説明するフローチャートである。 読み出し処理部の主な構成例を示すブロック図である。 クロック制御の様子の例を説明する図である。 データ転送制御処理の流れの例を説明するフローチャートである。 Hスキャナの主な構成例を示すブロック図である。 データ転送制御の様子の例を説明する図である。 データ転送制御処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.データ転送による磁気誘導の影響
 2.第1の実施の形態(撮像素子・カウントに基づくデータ転送制御)
 3.第2の実施の形態(撮像素子・イネーブル信号に基づくデータ転送制御)
 4.第3の実施の形態(撮像素子・シフトレジスタリセットによるデータ転送制御)
 5.第4の実施の形態(撮像素子・その他によるデータ転送制御)
 6.第5の実施の形態(撮像装置)
 7.移動体への応用例
 8.その他
 <1.データ転送による磁気誘導の影響>
  <データ転送とA/D変換>
 従来、一般的なCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子においては、画素信号は、画素アレイから行毎に読み出され、行毎にA/D変換されてデジタルデータとしてラッチされ、行毎にデータ転送され、信号処理されて撮像素子より出力される。
 例えば、図1の一番上の段に示されるように設定されるデータ読み出し期間XHSにおいて、上から3段目に示されるようにデータ転送開始通知信号HSTRGとしてパルス(データ転送開始パルス)が供給されると、画素信号のデータ転送を制御するシフトレジスタは、上から2段目に示されるシフトレジスタ用クロックHSCCKに従って各カラムのデータラッチに保持されているデジタルデータを順次センスアンプに供給させる。すなわち、シフトレジスタは、1行分の画素信号を1画素ずつセンスアンプに供給させる。センスアンプは、画素毎に供給される画素信号の電流を電圧に変換し、後段に供給する。
 このようなデータ転送動作により、例えばセンスアンプにおいて、図1の上から4段目に示されるような電流変動が発生する。例えば、転送開始直後の期間11においては、センスアンプへの電流供給が開始され、転送開始前に略ゼロであった電流が大きく変化する。また、転送期間中である期間12においては、処理対象のデータラッチと電源との距離等に応じて、センスアンプに供給される電流が緩やかに変化する。さらに、転送が終了する期間13においては、センスアンプの電流は略ゼロになるまで大きく変化する。
 このようなデータ転送に並行して、画素アレイからは次の行の画素信号が読み出され、その行の画素信号に対するA/D変換が行われる。例えば画素アレイのカラム毎にA/D変換部が設けられ、その行の各画素の画素信号は互いに並行にA/D変換される。このA/D変換においては、画素アレイから読み出された画素信号と、図1の一番下に示されるようなランプ波(RAMP波)とで大きさが比較される。その比較開始から、ランプ波が画素信号より大きくなるまでの時間(カウント値)が、その画素信号のデジタルデータとして出力される。なお、画素信号の読み出しにおいて、相関二重サンプリング(CDS(Correlated Double Sampling))が行われる。したがって、図1の一番下に示されるように、A/D変換は、リセット期間(P相)と信号読み出し期間(D相)との2度行われる。
 これらのA/D変換中に、例えばセンスアンプ等において、データ転送に起因して上述のような電流変動が生じると、それに伴う磁気誘導により画素信号やランプ波にノイズがのり、正しくA/D変換を行うことができなくなるおそれがあった。このようにA/D変換結果に誤差が生じると、結果として、この撮像素子において得られる撮像画像に横帯状のノイズやシェーディングノイズ等が発生し、撮像画像の主観画質が低減するおそれがあった。
 <2.第1の実施の形態>
  <A/D変換中のデータ転送制御>
 そこで、アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、そのA/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させるようにする。
 このようにすることにより、A/D変換中のセンスアンプの電流変動を抑制することができるため、データ転送による画素出力やランプ波への影響を抑制することができる。したがって、撮像画像における横帯状のノイズやシェーディングノイズ等の発生を抑制し、撮像画像の主観画質の低減を抑制することができる。
  <撮像素子>
 図2は、本技術を適用した撮像素子の一実施の形態の例を示すブロック図である。図2に示される撮像素子100は、被写体からの光を光電変換して画像データとして出力するデバイスである。例えば、撮像素子100は、CMOS(Complementary Metal Oxide Semiconductor)を用いたCMOSイメージセンサとして構成される。
 図2に示されるように、撮像素子100は、制御部101、画素アレイ部102、行選択部103、参照電圧生成部104、カラムA/D変換部105、データ転送部106、読み出し処理部107、および出力インタフェース(I/F)部108を有する。
 制御部101は、所定のデジタル回路等を有し、撮像素子100内の各処理部の駆動の制御に関する処理を行う。例えば、制御部101は、クロック信号や制御信号等を各処理部に供給することにより、各処理部において行われる処理を制御する。
 なお、制御部101が、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、それらの処理を行うようにしてもよい。
 画素アレイ部102は、それぞれが被写体からの入射光を受光して光電変換する構成(例えばフォトダイオード等)を有する、例えば行列状に配置された複数の画素等により構成される。各画素においては、例えば制御部101や行選択部103等により制御されて、フォトダイオードにおいて入射光が光電変換され、その入射光の光量に相当する電荷量の電荷が蓄積される。
 画素アレイ部102においては、各画素から、その画素において蓄積している電荷量に相当する電圧(画素値)のアナログ信号が画素出力として読み出される。この画素出力の読み出しは、例えば制御部101や行選択部103により制御され、ライン(行)毎に行われる。
 行選択部103は、ライン(行)の選択に関する構成を有し、ラインの選択に関する処理を行う。例えば、行選択部103は、制御部101により制御され、画素アレイ部102より画素出力を読み出すライン(行)、すなわち、画素値の読み出しの対象となるラインを選択し、その選択したラインを示す制御信号を画素アレイ部102に供給する。
 参照電圧生成部104は、ランプ波の生成に関する構成を有し、参照電圧の生成に関する処理を行う。例えば、制御部101により制御され、画素出力のA/D変換において使用される、所定の電圧またはランプ波の参照電圧を生成し、それをカラムA/D変換部105に供給する。
 カラムA/D変換部105は、例えば、比較器、バッファ、カウンタ等、A/D変換に関する構成を有し、A/D変換に関する処理を行う。例えば、カラムA/D変換部105は、A/D変換機能実現する構成を画素アレイ部102のカラム毎に有し、制御部101により制御され、画素アレイ部102より読み出される各カラム(列)の画素出力(アナログ信号)を互いに並行してA/D変換することができる。したがって、画素アレイ部102から1ラインずつ画素出力が読み出される場合、カラムA/D変換部105は、その1ライン分の各カラム(つまり各画素)の画素出力を互いに並行してA/D変換することができる。つまりこの場合、カラムA/D変換部105は、画素出力を1ラインずつA/D変換する。例えば、カラムA/D変換部105は、画素アレイ部102より読み出されたラインの各カラムの画素出力を参照電圧生成部104により生成された参照電圧と比較し、比較を開始してから参照電圧が画素出力より大きくなるまでの時間(クロック数)をカウントし、そのカウント値をA/D変換結果とする。つまり、カラムA/D変換部105は、各カラムのそのカウント値(デジタルデータ)を画素データとしてデータ転送部106に供給する。
 なお、撮像素子100は、画素出力の読み出しにおいて、相関二重サンプリング(CDS(Correlated Double Sampling))を行う。つまり、撮像素子100は、リセット期間(P相)と信号読み出し期間(D相)の2回の読み出しを行う。したがって、カラムA/D変換部105もA/D変換を、リセット期間(P相)と信号読み出し期間(D相)の2回行う。
 データ転送部106は、例えば、データラッチ、センスアンプ、シフトレジスタ等、画素データの転送に関する構成を有し、画素データのデータ転送に関する処理を行う。例えば、データ転送部106は、制御部101および読み出し処理部107により制御され、カラムA/D変換部105から供給される1ライン分の画素データを1カラムずつ順次読み出し処理部107に転送する。
 読み出し処理部107は、所定のデジタル回路等を有し、制御部101により制御され、データ転送部106からの画素データの読み出しに関する処理を行う。例えば、読み出し処理部107は、矢印121に示されるように制御部101からクロック信号や制御信号等を取得し、それらの信号に基づいて処理を行う。また、例えば、読み出し処理部107は、矢印122に示されるようにクロック信号や制御信号等をデータ転送部106に供給し、データ転送部106の駆動(すなわち、画素データのデータ転送)を制御する。さらに、例えば、読み出し処理部107は、矢印123に示されるように、データ転送部106から読み出された画素データを取得する。また、例えば、読み出し処理部107は、取得した画素データを一時的に保持する。なお、読み出し処理部107が、その画素データに対して所定の信号処理を行うようにしてもよい。さらに、例えば、読み出し処理部107は、所定のタイミング等において、矢印124に示されるように、保持しているデータを出力インタフェース(I/F)部108に供給する。
 なお、例えば、読み出し処理部107が、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、それらの処理を行うようにしてもよい。
 出力インタフェース(I/F)部108は、制御部101により制御され、画素データの出力に関する処理を行う。例えば、出力インタフェース部108は、所定の外部出力端子を有し、読み出し処理部107から供給される画素データ等を、その外部出力端子を介して、撮像素子100の外部に出力する。
  <データ転送部>
 図3は、データ転送部106の主な構成例を示す図である。図3に示されるように、データ転送部106は、データラッチ151、データバス152、データバス153、センスアンプ154、およびHスキャナ155を有する。
 データラッチ151は、情報を記憶することができる構成を有し、カラムA/D変換部105より供給される画素データ(A/D変換結果)を保持する。なお、図3においては、符号(151)を1つの四角のみに付しているが、図中水平方向に並ぶ同様の四角は全てデータラッチ151を示している。また、図3においては、10個のデータラッチ151が示されているが、実際には、データラッチ151は、画素アレイ部102のカラム(列)毎に設けられる。
 つまり、図3においてはカラムA/D変換部105とデータラッチ151とを結ぶ信号線の図示を省略しているが、カラムA/D変換部105において得られる各カラムの画素データは、各カラムに割り当てられた信号線を介して伝送され、各カラムに割り当てられたデータラッチ151により保持される。
 各データラッチ151は、データバス152およびデータバス153によりセンスアンプ154(の増幅部161)に接続されている。各データラッチ151に保持されている画素データは、後述するHスキャナ155(シフトレジスタ182)により制御されて、1カラムずつ、順次、センスアンプ154(の増幅部161)に供給される。
 このデータバス152およびデータバス153のうち、一方には、データラッチ151に保持される値に相当する正の電流が流れ、他方には、データラッチ151に保持される値に相当する負の電流が流れる。つまり、センスアンプ154には、データラッチ151に保持されている画素データが電流として供給される。センスアンプ154は、供給される画素データの電流を電圧に変換し、読み出し処理部107に供給する。
 図3に示されるように、センスアンプ154は、例えば、増幅部(SA)161、フリップフロップ162乃至フリップフロップ164、並びに、遅延部(Delay)165乃至遅延部167を有する。増幅部161は、データバス152およびデータバス153を介して入力される電流を差動増幅し、電圧に変換する。フリップフロップ162乃至フリップフロップ164は、遅延部165乃至遅延部167を介して、後述するHスキャナ155(シフトレジスタ182)により制御されて、増幅部161の出力(画素データ)を所定のタイミングにおいて読み出し処理部107に転送する(SAOUT)。
 Hスキャナ155は、以上のような画素データのデータ転送動作の制御に関する構成を有し、読み出し処理部107や制御部101等により制御されて、そのデータ転送動作の制御に関する処理を行う。例えば、Hスキャナ155は、図3に示されるようにHデコーダ181およびシフトレジスタ182を有する。Hデコーダ181は、供給されるアドレス情報H_ADDをデコードして、そのアドレス情報H_ADDにより指定されるアドレス(カラム)を示す制御信号を生成し、それをシフトレジスタ182に供給する。
 シフトレジスタ182は、例えばフリップフロップ191や増幅部等、画素データのデータ転送動作の制御に関する構成を有し、読み出し処理部107、制御部101、Hデコーダ181等により制御されて、画素データのデータ転送動作の制御に関する処理を行う。なお、図3においては、符号(191)を1つのフリップフロップのみに付しているが、図中水平方向に並ぶ同様のフリップフロップは全てシフトレジスタ182を構成するフリップフロップ191である。また、図3においては、10個のフリップフロップ191が示されているが、実際には、フリップフロップ191は、データラッチ151と同数(すなわち、画素アレイ部102のカラム(列)毎に)設けられる。
 シフトレジスタ182は、読み出し処理部107から供給されるデータ転送開始通知信号HSTRGやシフトレジスタ用クロックHSCCK等の制御信号や、Hデコーダ181から供給される制御信号等に基づいて駆動する。シフトレジスタ182が駆動することにより、各データラッチ151並びにセンスアンプ154の駆動が制御される。より具体的には、シフトレジスタ182は、各データラッチ151からの画素データの読み出しを制御することにより、各データラッチ151に保持されている画素データの、センスアンプ154への転送を制御する。また、シフトレジスタ182は、遅延部165乃至遅延部167を介してセンスアンプ154のフリップフロップ162乃至フリップフロップ164の駆動を制御し、増幅部161の出力の読み出し処理部107への転送(SAOUT)を制御する。
  <データ転送制御方法>
 図1を参照して説明したように、A/D変換中にセンスアンプ等に電流変動が生じると、それに伴う磁気誘導等によって画素出力やランプ波にノイズがのり、結果として撮像画像の主観画質が低減してしまうおそれがある。したがって、そのようなノイズを抑制するためには、データ転送に起因するA/D変換中の電流変動を抑制するようにすればよい。そのために、例えば、A/D変換中において画素データのデータ転送を停止させ、センスアンプの駆動を停止させるようにしてもよい。そのために、例えば、シフトレジスタ182の駆動を停止させるようにしてもよい。シフトレジスタ182の駆動は、例えば、シフトレジスタ用クロックHSCCKの供給を制御することによって、制御することができる。
 図4にその例を示す。つまり、まず、図4の上から2段目に示されるようにデータ転送開始通知信号HSTRGとしてパルス(データ転送開始パルス)をシフトレジスタ182に供給し、シフトレジスタ182に画素データのデータ転送を開始させる。シフトレジスタ182は、上から1段目に示される、シフトレジスタ182を駆動させるシフトレジスタ用クロックHSCCKに従って各カラムのデータラッチに保持されているデジタルデータ(画素データ)を順次センスアンプ154に供給させる。
 したがって、上から3段目に示されるように、センスアンプ154の電流は、開始直後の期間201において図1の場合と同様に大きく変動し、データ転送中の期間202においても図1の場合と同様に緩やかに変化する。つまり、これらの期間は、A/D変換が行われていないので図1と同様にデータ転送を実行させる。
 そして、上から1段目に示されるように、リセット期間(P相)のA/D変換が行われる期間203になると、シフトレジスタ用クロックHSCCKの供給が停止される。つまり、シフトレジスタ用クロックHSCCKのパルスがシフトレジスタ182に供給されなくなる。これにより、シフトレジスタ182の駆動を停止させることができる。つまり、データ転送が停止される。したがって、センスアンプ154の駆動も停止するので、上から3段目に示されるようにセンスアンプ154の電流が略ゼロとなる。
 リセット期間(P相)のA/D変換が行われる期間203が終了すると、上から1段目に示されるように、シフトレジスタ用クロックHSCCKの供給が再開される。これにより、シフトレジスタ182の駆動を再開させることができる。つまり、データ転送が再開され、センスアンプ154の駆動も再開され、上から3段目に示されるようセンスアンプ154の電流が略ゼロの状態から駆動時の値まで大きく変化する。そして、期間204においてデータ転送が行われ、センスアンプの電流が図1の場合と同様に緩やかに変化する。つまり、この期間204は、A/D変換が行われていないので図1と同様にデータ転送を実行させる。
 そして、上から1段目に示されるように、信号読み出し期間(D相Dark)のA/D変換が行われる期間205になると、シフトレジスタ用クロックHSCCKの供給が再び停止される。これにより、期間203の場合と同様に、シフトレジスタ182の駆動が停止され、データ転送もセンスアンプ154の駆動も停止するので、上から3段目に示されるようにセンスアンプ154の電流が略ゼロとなる。
 なお、信号読み出し期間の途中の所定のタイミングになると(期間205が終了すると)、上から1段目に示されるように、シフトレジスタ用クロックHSCCKの供給が再開される。これにより、シフトレジスタ182の駆動が再開され、データ転送およびセンスアンプ154の駆動が再開される。したがって、上から3段目に示されるようセンスアンプ154の電流が略ゼロの状態から駆動時の値まで大きく変化する。そして、その後の期間206においてデータ転送が終了するまで、センスアンプ154の電流が図1の場合と同様に緩やかに変化する。そして、データ転送が終了すると、センスアンプ154の駆動も停止されるので、センスアンプ154の電流は略ゼロになるまで大きく変化する。
 このように、A/D変換中にシフトレジスタ182の駆動を停止させることにより、A/D変換中のデータ伝送に起因する電流変動を抑制することができる。つまり、A/D変換中にシフトレジスタ182の駆動を停止させることにより、画素出力やランプ波にノイズがのることを抑制することができ、結果として、横帯状のノイズやシェーディングノイズ等の発生を抑制し、撮像画像の主観画質の低減を抑制することができる。
 そして上述したように、このシフトレジスタ182の駆動は、読み出し処理部107からのシフトレジスタ用クロックHSCCKの供給によって容易に制御することができる。
 つまり、例えば、読み出し処理部107が、シフトレジスタ用クロックHSCCKの供給を停止することにより、シフトレジスタ182の駆動を停止させることができる。また、読み出し処理部107が、シフトレジスタ用クロックHSCCKの供給を再開することにより、シフトレジスタ182の駆動を再開させることができる。
 したがって、読み出し処理部107は、容易に、所望のタイミングにおいてシフトレジスタ182の駆動を停止させることができる。つまり、読み出し処理部107は、例えばA/D変換が行われる期間においてシフトレジスタ182の駆動を停止させるような制御を容易に行うことができる。つまり、読み出し処理部107は、A/D変換中のセンスアンプ等の電流変動を容易に抑制することができる。
 なお、上述のように、データ転送を中断させると、当然、その分データ転送の処理時間が増大する。しかしながら、画素データのデータ転送と、次のラインの画素出力のA/D変換は、所定のデータ読み出し期間(XHS)内に終了させなければならない。換言するに、これらの処理が遅延すると、その分、データ読み出し期間が長くなり、フレームレートが低下する。したがって、この処理時間の増大が許容範囲を越えると処理が破たんするおそれがある。
 そこで、画素データのデータ転送と次のラインの画素出力のA/D変換が、所定のデータ読み出し期間(XHS)内に終了するように、上述のデータ転送制御を行うようにするのが望ましい。つまり、シフトレジスタ182の駆動の停止は、適切な長さで行われることが求められる。上述のように、読み出し処理部107は、シフトレジスタ用クロックHSCCKの供給制御によって、シフトレジスタ182の駆動停止だけでなく、再開も容易に制御することができる。つまり、読み出し処理部107は、容易に、所望の期間、シフトレジスタ182の駆動を停止させることができる。つまり、読み出し処理部107は、容易に、処理が破たんしないようにしながら、A/D変換中のセンスアンプの電流変動を容易に抑制することができる。
 なお、以上のようなセンスアンプ154の電流変動を抑制させる期間(例えばシフトレジスタ182の駆動を停止させる期間)は、A/D変換を行う期間の全部であってもよいし、その一部であってもよい。A/D変換を行う期間の少なくとも一部においてセンスアンプ154の電流変動を抑制することにより、少なくともその間の、センスアンプ154等の電流変動に伴う磁気誘導による画素出力やランプ波への影響を抑制することができる。
 ただし、一般的に、撮像画像における横帯状のノイズやシェーディングノイズ等は、暗い画像(画素値が小さい画像)の方が、明るい画像(画素値が大きい画像)よりも視覚的に目立つ可能性が高い。つまり、撮像画像において、横帯状のノイズやシェーディングノイズ等が、比較的明るい領域(画素値が比較的大きな領域)に発生する場合よりも、比較的暗い領域(画素値が比較的小さな領域)に発生する場合の方が、主観画質がより大きく低減する可能性が高い。
 したがって、上述のようにA/D変換を行う場合、そのA/D変換を行う期間における、センスアンプ154の電流変動が撮像画像の主観画質に及ぼす影響は、一般的に、開始時が最も大きく、時間の経過に応じて小さくなり、終了時が最小となる。
 したがって、A/D変換を行う期間の開始タイミングからシフトレジスタ182の駆動を停止させるようにしてもよい。このようにすることにより、それ以外のタイミングからシフトレジスタ182の駆動を停止させる場合よりも、主観画質の低減を抑制することができる。例えば、読み出し処理部107は、A/D変換を行う期間の開始タイミングにおいてシフトレジスタ用クロックHSCCKの供給を停止するようにしてもよい。このようにすることにより、その他のタイミングにおいてシフトレジスタ用クロックHSCCKの供給を停止する場合よりも、主観画質の低減を抑制することができる。
 付言するに、例えば、A/D変換を行う期間の一部においてシフトレジスタ182の駆動を停止させる場合、そのシフトレジスタ182の駆動を停止させる期間を、A/D変換を行う期間のより前の方に、つまり、A/D変換を行う期間の開始タイミングのより近くに設定することにより、主観画質の低減をより抑制することができる。
 換言するに、A/D変換を行う期間の終了に近いタイミング程、撮像画像の主観画質への影響は相対的に小さくなる。つまり、例えば画素データのデータ転送と次のラインの画素出力のA/D変換を所定のデータ読み出し期間(XHS)内に終了させる等の為に、A/D変換を行う期間の一部においてシフトレジスタ182を駆動させる必要がある場合、そのシフトレジスタ182を駆動させる期間を、A/D変換を行う期間のより後の方に、つまり、A/D変換を行う期間の終了タイミングのより近くに設定するようにしてもよい。このようにすることにより、主観画質の低減をより抑制することができる。
 なお、以上においては、カラムA/D変換部105が相関二重サンプリングの読み出しに対応してリセット期間の画素出力に対するA/D変換と、信号読み出し期間の画素出力に対するA/D変換とを行うように説明した。この場合、上述したように、リセット期間の画素出力に対するA/D変換を行う期間と、信号読み出し期間の画素出力に対するA/D変換を行う期間との両方において、シフトレジスタ182の駆動を停止させるようにしてもよい。このようにすることにより、いずれか一方の期間においてのみシフトレジスタ182の駆動を停止させる場合よりも、主観画質の低減を抑制することができる。例えば、読み出し処理部107は、リセット期間の画素出力に対するA/D変換を行う期間と、信号読み出し期間の画素出力に対するA/D変換を行う期間との両方において、シフトレジスタ用クロックHSCCKの供給を停止するようにしてもよい。このようにすることにより、いずれか一方の期間においてのみシフトレジスタ用クロックHSCCKの供給を停止する場合よりも、主観画質の低減を抑制することができる。
 もちろん、この場合も、リセット期間の画素出力に対するA/D変換を行う期間と、信号読み出し期間の画素出力に対するA/D変換を行う期間とのそれぞれにおいて、一部の期間のみ、シフトレジスタ182の駆動を停止させるようにしてもよい。
 そして、その場合、上述したのと同様の理由により、シフトレジスタ182の駆動を停止させる期間を、それぞれのA/D変換を行う期間のより前の方に設定することにより、主観画質の低減をより抑制することができる。例えば、それぞれのA/D変換を行う期間の開始タイミングからシフトレジスタ182の駆動を停止させるようにしてもよい。
 また、このような相関二重サンプリングの場合、リセット期間の画素出力に対するA/D変換を行う期間のセンスアンプ154の電流変動の方が、信号読み出し期間の画素出力に対するA/D変換を行う期間のセンスアンプ154の電流変動よりも、撮像画像の主観画質に及ぼす影響が大きい。
 したがって、リセット期間の画素出力に対するA/D変換を行う期間を優先的に、シフトレジスタ182の駆動を停止させるようにしてもよい。例えば、リセット期間の画素出力に対するA/D変換を行う期間の全部と、信号読み出し期間の画素出力に対するA/D変換を行う期間の一部とにおいて、シフトレジスタ182の駆動を停止させるようにしてもよい。このようにすることにより、シフトレジスタ182の駆動を停止させる時間の合計時間が同じであっても、リセット期間の画素出力に対するA/D変換を行う期間の一部においてシフトレジスタ182を駆動させる場合よりも、撮像画像の主観画質の低減をより抑制することができる。
 ただし、その場合、例えば、信号読み出し期間の画素出力に対するA/D変換を行う期間におけるシフトレジスタ182の駆動を停止させる期間が極端に短くなると(例えばリセット期間の画素出力に対するA/D変換を行う期間よりも短くなると)、逆に、信号読み出し期間の画素出力に対するA/D変換を行う期間のセンスアンプ154の電流変動による撮像画像の主観画質に及ぼす影響が大きくなってしまう可能性がある。
 一般的に、リセット期間の画素出力に対するA/D変換を行う期間よりも、信号読み出し期間の画素出力に対するA/D変換を行う期間の方が長い。そこで、例えば、リセット期間の画素出力に対するA/D変換を行う期間の全部と、信号読み出し期間の画素出力に対するA/D変換を行う期間の内の、リセット期間の画素出力に対するA/D変換を行う期間よりも長い期間とにおいて、シフトレジスタの駆動を停止させるようにしてもよい。このようにすることにより、信号読み出し期間の画素出力に対するA/D変換を行う期間のセンスアンプ154の電流変動による撮像画像の主観画質に及ぼす影響の増大を抑制しながら、撮像画像の主観画質の低減を抑制することができる。
  <カウント値に基づく制御>
 以上のようなシフトレジスタ用クロックHSCCKの供給制御を行う為に、読み出し処理部107が、所定の基準クロックをカウントし、そのカウント値に基づいてシフトレジスタ用クロックHSCCKの供給の停止および再開を行うようにしてもよい。
  <読み出し処理部>
 以上のようにクロックの供給を制御する場合の、読み出し処理部107の主な構成例を図5に示す。図5に示されるように、読み出し処理部107は、制御部231およびデータ処理部232を有する。
 制御部231は、所定のデジタル回路等を有し、データ転送開始通知信号HSTRGやシフトレジスタ用クロックHSCCK等の制御に関する処理を行う。例えば、制御部231は、これらの信号のデータ転送部106やデータ処理部232等への供給を制御する。制御部231は、例えば、カウント型クロック制御部241およびトリガ信号生成部242を有する。
 カウント型クロック制御部241は、所定のデジタル回路等を有し、シフトレジスタ用クロックHSCCKの供給を制御する。カウント型クロック制御部241は、入力されるクロックをカウントし、そのカウント値に基づいて、シフトレジスタ用クロックHSCCK等の供給を制御する。
 例えば、カウント型クロック制御部241には、矢印251に示されるように、シフトレジスタ用クロックHSCCKの供給を停止したり開始したりするカウント値の設定であるカウント数設定が供給される。このカウント数設定は、例えば制御部101から供給される。もちろん、このカウント数設定の供給元は任意であり、例えば撮像素子100の外部から供給されるようにしてもよい。カウント型クロック制御部241は、そのカウント数設定を取得し、セットする。
 また、カウント型クロック制御部241には、矢印252に示されるように、基準クロックCLKが制御部101から供給される。この基準クロックは汎用のクロックであり任意の処理の基準とすることができる。なお、この基準クロックCLKの供給元は任意であり、例えば撮像素子100の外部から供給されるようにしてもよい。カウント型クロック制御部241は、その基準クロックCLK(のパルス)をカウントし、そのカウント値と、セットしたカウント数設定とに基づいて、シフトレジスタ用クロックHSCCKの供給を制御する。
 カウント型クロック制御部241は、矢印253に示されるように、シフトレジスタ用クロックHSCCKをデータ転送部106(シフトレジスタ182)に供給する。また、カウント型クロック制御部241は、矢印255に示されるように、そのシフトレジスタ用クロックHSCCKをデータ処理部232(SRAM243)にも供給する。
 トリガ信号生成部242は、所定のデジタル回路等を有し、データ転送の開始のトリガ信号となるデータ転送開始通知信号HSTRGを生成し、矢印254に示されるように、それをデータ転送部106(シフトレジスタ182)に供給する。
 なお、例えば、制御部231が、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、これらの処理を行う(カウント型クロック制御部241やトリガ信号生成部242の機能を実現する)ようにしてもよい。
 データ処理部232は、所定のデジタル回路等を有し、データ転送部106から転送される画素データに関する処理を行う。例えば、データ処理部232には、矢印256に示されるように、データ転送部106から転送された画素データが供給される(SAOUT)。データ処理部232は、その画素データに対して所定の処理を施し、処理後の画素データを、矢印257に示されるように、出力インタフェース部108に供給する(SRAMOUT)。なお、この所定の処理は任意である。
 例えば、データ処理部232は、SRAM(Static Random Access Memory)243を有する。SRAM243は、データ転送部106から転送された画素データを記憶し、所定のタイミングにおいて、その画素データを読み出して出力インタフェース部108に供給する。SRAM243は、制御部231(カウント型クロック制御部241)から供給されるシフトレジスタ用クロックHSCCKに基づいて、このような処理を行う。
 なお、例えば、データ処理部232が、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、これらの処理を行う(SRAM243の機能を実現する)ようにしてもよい。
 つまり、図5の例の場合、読み出し処理部107の制御部231(のカウント型クロック制御部241)は、所定の基準クロックCLKをカウントし、そのカウント値に基づいてシフトレジスタ用クロックHSCCKの供給の停止および再開を行う。
 図6にその制御の様子の例を示す。例えば、所定のタイミングにおいて、カウント型クロック制御部241は、基準クロックCLKに同期したシフトレジスタ用クロックHSCCKの供給を開始する。また、カウント型クロック制御部241は、基準クロックCLKのカウントを開始する。そして、そのカウント値が、カウント数設定におけるシフトレジスタ用クロックHSCCKの供給停止の値に達した場合、シフトレジスタ用クロックHSCCKの供給を停止する。
 カウント型クロック制御部241は、その後も、基準クロックCLKのカウントを継続する。そして、そのカウント値が、カウント数設定におけるシフトレジスタ用クロックHSCCKの供給再開の値に達した場合、シフトレジスタ用クロックHSCCKの供給を再開する。
 カウント型クロック制御部241は、その後も、基準クロックCLKのカウントを継続する。そして、そのカウント値が、カウント数設定におけるシフトレジスタ用クロックHSCCKの供給終了の値に達した場合、シフトレジスタ用クロックHSCCKの供給を終了する。なお、データ読み出し期間が終了すると、カウント値がリセットされる。
 以上のように、カウント型クロック制御部241は、基準クロックCLKのカウント値に基づいて、シフトレジスタ用クロックHSCCKの供給を制御する。
 このようなシフトレジスタ用クロックHSCCKの供給停止や再開の値は、カウント数設定において予め定められている。また、これらの値は任意であるが、所望の制御タイミングに応じて設定される。例えば、上述したようにA/D変換を行う期間においてシフトレジスタ182の駆動を停止させる場合、そのA/D変換を行う期間に合わせてシフトレジスタ用クロックHSCCKの供給が停止されるように、カウント数設定においてこれらの値が設定される。
 例えば上述した相関二重サンプリングの場合のように、シフトレジスタ用クロックHSCCKの供給を複数回停止したい場合、カウント数設定において、シフトレジスタ用クロックHSCCKの供給停止や再開の値を複数設定すればよい。
 換言するに、カウント数設定において、シフトレジスタ用クロックHSCCKの供給停止や再開の値が複数設定されている場合、カウント型クロック制御部241は、それぞれの値に基づいて、シフトレジスタ用クロックHSCCKの供給の停止や再開を行う。
 以上のように、基準クロックCLKのカウント値に基づいて、シフトレジスタ用クロックHSCCKの供給を制御することにより、容易に、シフトレジスタ182の駆動を制御することができる。つまり、容易に主観画質の低減を抑制することができる。
  <データ転送制御処理の流れ>
 読み出し処理部107により実行されるデータ転送制御処理の流れの例を図7のフローチャートを参照して説明する。なおここでは、図4を参照して説明したように、画素出力の読み出しにおいて相関二重サンプリングが行われる場合を例に説明する。読み出し処理部107は、例えば、各ラインのデータ転送においてこのデータ転送制御処理の各ステップの処理を実行することにより、上述したようなデータ転送制御を実現する。
 データ転送制御処理が開始されると、カウント型クロック制御部241は、ステップS101において、カウント数設定をセットし、基準クロックCLKのカウントを開始する。もちろん、そのカウント値はカウントを開始する前に初期化されている。そして、このデータ転送制御処理が終了するまで、このカウントが継続される。
 ステップS102において、カウント型クロック制御部241は、基準クロックCLKに同期してシフトレジスタ用クロックHSCCKの供給を開始する。
 ステップS103において、トリガ信号生成部242は、データ転送を開始するか否かを判定し、データ転送を開始するタイミングであると判定されるまで、この処理を繰り返す。そして、データ転送を開始するタイミングであると判定された場合、処理はステップS104に進む。
 ステップS104において、トリガ信号生成部242は、データ転送開始通知信号HSTRGとしてパルス(データ転送開始パルス)をデータ転送部106(シフトレジスタ182)に供給する。
 ステップS105において、カウント型クロック制御部241は、基準クロックCLKのカウント値が、カウント数設定において、シフトレジスタ用クロックHSCCKの供給を停止する値として設定された所定の値になったか否かを判定する。カウント値がその所定の値に達したと判定されるまでこのステップS105の処理が繰り返される。つまり、この間、シフトレジスタ用クロックHSCCKの供給が継続される。
 そして、カウント値がその所定の値に達したと判定されると処理はステップS106に進む。ステップS106において、カウント型クロック制御部241は、シフトレジスタ用クロックHSCCKの供給を停止する。例えば、カウント型クロック制御部241は、この所定の値に基づいて、リセット期間の画素出力に対するA/D変換が行われる期間の開始タイミングにおいて、シフトレジスタ用クロックHSCCKの供給を停止する。
 ステップS107において、カウント型クロック制御部241は、基準クロックCLKのカウント値が、カウント数設定において、シフトレジスタ用クロックHSCCKの供給を再開する値として設定された所定の値になったか否かを判定する。カウント値がその所定の値に達したと判定されるまでこのステップS107の処理が繰り返される。つまり、この間、シフトレジスタ用クロックHSCCKの供給は停止されている。
 そして、カウント値がその所定の値に達したと判定されると処理はステップS108に進む。ステップS108において、カウント型クロック制御部241は、シフトレジスタ用クロックHSCCKの供給を再開する。例えば、カウント型クロック制御部241は、この所定の値に基づいて、リセット期間の画素出力に対するA/D変換が行われる期間の終了タイミングにおいて、シフトレジスタ用クロックHSCCKの供給を再開する。
 ステップS109において、カウント型クロック制御部241は、基準クロックCLKのカウント値が、カウント数設定において、シフトレジスタ用クロックHSCCKの供給を停止する値として設定された所定の値になったか否かを判定する。カウント値がその所定の値に達したと判定されるまでこのステップS109の処理が繰り返される。つまり、この間、シフトレジスタ用クロックHSCCKの供給が継続される。
 そして、カウント値がその所定の値に達したと判定されると処理はステップS110に進む。ステップS110において、カウント型クロック制御部241は、シフトレジスタ用クロックHSCCKの供給を停止する。例えば、カウント型クロック制御部241は、この所定の値に基づいて、信号読み出し期間の画素出力に対するA/D変換が行われる期間の開始タイミングにおいて、シフトレジスタ用クロックHSCCKの供給を停止する。
 ステップS111において、カウント型クロック制御部241は、基準クロックCLKのカウント値が、カウント数設定において、シフトレジスタ用クロックHSCCKの供給を再開する値として設定された所定の値になったか否かを判定する。カウント値がその所定の値に達したと判定されるまでこのステップS111の処理が繰り返される。つまり、この間、シフトレジスタ用クロックHSCCKの供給は停止されている。
 そして、カウント値がその所定の値に達したと判定されると処理はステップS112に進む。ステップS112において、カウント型クロック制御部241は、シフトレジスタ用クロックHSCCKの供給を再開する。例えば、カウント型クロック制御部241は、この所定の値に基づいて、信号読み出し期間の画素出力に対するA/D変換が行われる期間の途中の所定のタイミングにおいて、シフトレジスタ用クロックHSCCKの供給を再開する。
 ステップS113において、カウント型クロック制御部241は、データ転送制御処理を終了するか否かを判定する。基準クロックCLKのカウント値が、カウント数設定において、シフトレジスタ用クロックHSCCKの供給を終了する値として設定された所定の値に達していないと判定された場合、カウント値がその所定の値に達したと判定されるまでこのステップS113の処理が繰り返される。つまり、この間、シフトレジスタ用クロックHSCCKの供給が継続される。
 そして、カウント値がその所定の値に達したと判定されると、データ転送制御処理が終了する。つまり、シフトレジスタ用クロックHSCCKの供給が終了する。
 このようにすることにより、読み出し処理部107は、A/D変換を行う期間のセンスアンプ154の電流変動を抑制するように、シフトレジスタ用クロックの供給を制御することができる。したがって、撮像画像の主観画質の低減を抑制することができる。
 <3.第2の実施の形態>
  <イネーブル信号に基づく制御>
 また、読み出し処理部107が、所定のイネーブル信号に基づいてシフトレジスタ用クロックHSCCKの供給の停止および再開を行うようにしてもよい。
  <読み出し処理部>
 この場合の、読み出し処理部107の主な構成例を図8に示す。図8に示されるように、この場合の読み出し処理部107は、図5の場合と基本的に同様の構成を有する。ただし、制御部231は、図5のカウント型クロック制御部241の代わりに、イネーブル型クロック制御部301を有する。
 イネーブル型クロック制御部301は、所定のデジタル回路等を有し、供給されるイネーブル信号に基づいて、シフトレジスタ用クロックHSCCKの供給を制御する。
 例えば、イネーブル型クロック制御部301には、矢印311に示されるように、シフトレジスタ用クロックHSCCKの供給を制御(許可または禁止)するイネーブル信号が供給される。このイネーブル信号は、例えば制御部101から供給される。もちろん、このイネーブル信号の供給元は任意であり、例えば撮像素子100の外部から供給されるようにしてもよい。イネーブル型クロック制御部301は、そのイネーブル信号を取得する。
 また、イネーブル型クロック制御部301には、図5の場合と同様に、基準クロックCLKが制御部101から供給される(矢印252)。イネーブル型クロック制御部301は、その基準クロックCLKとイネーブル信号とに基づいて、シフトレジスタ用クロックHSCCKの供給を制御する。
 なお、この場合も、制御部231が、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、これらの処理を行う(イネーブル型クロック制御部301やトリガ信号生成部242の機能を実現する)ようにしてもよい。
 図9にその制御の様子の例を示す。図9に示されるように、イネーブル信号は、HighとLowの2値の信号であり、その値がHighの場合、シフトレジスタ用クロックHSCCKの供給を許可し、その値がLowの場合、シフトレジスタ用クロックHSCCKの供給を禁止する。つまり、イネーブル型クロック制御部301は、イネーブル信号の値がHighの期間においてシフトレジスタ用クロックHSCCKを供給し、イネーブル信号の値がLowの期間においてシフトレジスタ用クロックHSCCKの供給を停止する。
 このようなイネーブル信号の値を切り替えるタイミングは任意であるが、所望の制御タイミングに応じて設定される。つまり、シフトレジスタ182の駆動を停止させたい所望の期間において、イネーブル信号の値をLowに設定すればよい。例えば、上述したようにA/D変換を行う期間においてシフトレジスタ182の駆動を停止させる場合、イネーブル信号の、そのA/D変換を行う期間の値をLowに設定しておけばよい。
 なお、例えば上述した相関二重サンプリングの場合のように、シフトレジスタ用クロックHSCCKの供給を複数回停止したい場合も、各期間のイネーブル信号の値をLowに設定すればよい。換言するに、複数の期間においてイネーブル信号の値がLowに設定されている場合、イネーブル型クロック制御部301は、それぞれの期間において、シフトレジスタ用クロックHSCCKの供給を停止する。つまり、シフトレジスタ用クロックHSCCKの供給が複数回停止される。
 以上のように、イネーブル信号の値に基づいて、シフトレジスタ用クロックHSCCKの供給を制御することにより、容易に、シフトレジスタ182の駆動を制御することができる。つまり、容易に主観画質の低減を抑制することができる。
  <データ転送制御処理の流れ>
 この場合の読み出し処理部107により実行されるデータ転送制御処理の流れの例を図10のフローチャートを参照して説明する。
 データ転送制御処理が開始されると、イネーブル型クロック制御部301は、ステップS201において、基準クロックCLKに同期してシフトレジスタ用クロックHSCCKの供給を開始する。
 ステップS202において、トリガ信号生成部242は、データ転送を開始するか否かを判定し、データ転送を開始するタイミングであると判定されるまで、この処理を繰り返す。そして、データ転送を開始するタイミングであると判定された場合、処理はステップS203に進む。
 ステップS203において、トリガ信号生成部242は、データ転送開始通知信号HSTRGとしてパルス(データ転送開始パルス)をデータ転送部106(シフトレジスタ182)に供給する。
 ステップS204において、イネーブル型クロック制御部301は、イネーブル信号の値に応じてシフトレジスタ用クロックHSCCKを供給する。つまり、イネーブル型クロック制御部301は、イネーブル信号の値がHighの期間においてシフトレジスタ用クロックHSCCKを供給し、イネーブル信号の値がLowの期間においてシフトレジスタ用クロックHSCCKの供給を停止する。このようにして、イネーブル信号に基づいて所望の期間のシフトレジスタ用クロックHSCCKの供給を停止させる。
 ステップS205において、イネーブル型クロック制御部301は、データ転送制御処理を終了するか否かを判定する。シフトレジスタ用クロックHSCCKの供給を終了するタイミングになっていないと判定された場合、処理はステップS204に戻る。つまり、ステップS205において、シフトレジスタ用クロックHSCCKの供給を終了するタイミングになったと判定されるまでステップS204およびステップS205の処理が繰り返される。つまり、この間、イネーブル信号の値に応じてシフトレジスタ用クロックHSCCKの供給が行われる。
 そして、シフトレジスタ用クロックHSCCKの供給を終了するタイミングになったと判定されると、データ転送制御処理が終了する。つまり、シフトレジスタ用クロックHSCCKの供給が終了する。
 このようにすることにより、読み出し処理部107は、A/D変換を行う期間のセンスアンプ154の電流変動を抑制するように、シフトレジスタ用クロックの供給を制御することができる。したがって、撮像画像の主観画質の低減を抑制することができる。
 <4.第3の実施の形態>
  <リセットによる制御>
 以上においては、シフトレジスタ用クロックHSCCKの供給を制御することによって、シフトレジスタ182の駆動を制御する例について説明したが、シフトレジスタ182の駆動の制御方法は任意であり、この例に限定されない。例えば、シフトレジスタ182をリセットすることにより、シフトレジスタ182の駆動を停止させるようにしてもよい。また、その場合、シフトレジスタ182に所定のトリガ信号を供給することによりシフトレジスタ182の駆動を再開させるようにしてもよい。
  <Hスキャナ>
 その場合のHスキャナ155の一部の構成例を図11に示す。図11に示されるように、この場合のシフトレジスタ182の各フリップフロップ191には、クリア信号CLRが供給される。説明の簡略化の為、図11においては、フリップフロップ191-1乃至フリップフロップ191-3の3つのフリップフロップ191が示されているが、シフトレジスタ182の全てのフリップフロップ191に対して、同様に、クリア信号CLRが供給される。
 このクリア信号CLRは、HighまたはLowの2値の信号である。値がHighのクリア信号CLRがフリップフロップ191に供給されると、フリップフロップ191が初期化される。つまり、シフトレジスタ182が初期化され、その駆動が停止する。
 このクリア信号CLRは、例えば、読み出し処理部107から供給される。なお、このクリア信号CLRの供給元は任意であり、例えば、制御部101から供給されるようにしてもよいし、撮像素子100の外部から供給されるようにしてもよい。
 また、各フリップフロップ191の間には、OR回路411が設けられ、Hデコーダ181から供給されるトリガ信号がそのOR回路411を介してフリップフロップ191に供給されることができるようになされている。説明の簡略化の為、図11においては、OR回路411-1乃至OR回路411-3の3つのOR回路411が示されているが、シフトレジスタ182の全てのフリップフロップ191に対して、同様に、OR回路411が設けられ、Hデコーダ181からのトリガ信号(T1、T2、T3、・・・)が供給されることができるようになされている。
 Hデコーダ181は、任意のフリップフロップ191に対してトリガ信号を供給することができる。つまり、Hデコーダ181は、シフトレジスタ182の駆動を再開させる場合、停止直前の状態から再開されるように、該当するフリップフロップ191に対してトリガ信号を供給する。
 つまり、図12の上から2段目に示されるように、シフトレジスタ182の駆動を停止させる場合、クリア信号CLRの値がHighにセットされる。シフトレジスタ182の駆動を再開する場合、クリア信号CLRの値がLowにセットされる。
 なお、クリア信号CLRがHighになると、シフトレジスタ182の状態は初期化されるので、駆動を停止する直前の状態は、Hデコーダ181において管理する。すなわち、Hデコーダ181は、シフトレジスタ182の駆動を再開する場合、シフトレジスタ182の、動作を再開させる位置に、トリガ信号を供給する。このようにすることにより、シフトレジスタ182は、停止する直前の状態から駆動を再開することができる。
 このようなクリア信号CLRの値を切り替えるタイミングやトリガ信号の供給タイミングは任意であるが、所望の制御タイミングに応じて設定される。つまり、シフトレジスタ182の駆動を停止させたい所望の期間において、クリア信号CLRの値をHighに設定すればよい。また、その期間の終了タイミングに応じたタイミングにおいて、Hデコーダ181がシフトレジスタ182の適切な位置にトリガ信号を供給するようにすればよい。例えば、上述したようにA/D変換を行う期間においてシフトレジスタ182の駆動を停止させる場合、クリア信号CLRの、そのA/D変換を行う期間の値をHighに設定し、駆動を再開させるタイミングに応じたタイミングにおいて、Hデコーダ181がシフトレジスタ182の適切な位置にトリガ信号を供給するようにすればよい。
 なお、例えば上述した相関二重サンプリングの場合のように、シフトレジスタ用クロックHSCCKの供給を複数回停止したい場合も、それぞれの期間について同様に制御すればよい。
 以上のように、シフトレジスタ182をリセットすることにより、シフトレジスタ182の駆動を制御することができる。つまり、主観画質の低減を抑制することができる。
  <データ転送制御処理の流れ>
 この場合のデータ転送制御処理の流れの例を図13のフローチャートを参照して説明する。なおここでは、図4を参照して説明したように、画素出力の読み出しにおいて相関二重サンプリングが行われる場合(各A/D変換を行う期間の全てにおいてシフトレジスタ182の駆動を停止する場合)を例に説明する。読み出し処理部107は、例えば、各ラインのデータ転送においてこのデータ転送制御処理の各ステップの処理を実行することにより、上述したようなデータ転送制御を実現する。
 データ転送制御処理が開始されると、読み出し処理部107の制御部231は、ステップS301において、基準クロックCLKに同期してシフトレジスタ用クロックHSCCKの供給を開始する。
 ステップS302において、トリガ信号生成部242は、データ転送を開始するか否かを判定し、データ転送を開始するタイミングであると判定されるまで、この処理を繰り返す。そして、データ転送を開始するタイミングであると判定された場合、処理はステップS303に進む。
 ステップS303において、トリガ信号生成部242は、データ転送開始通知信号HSTRGとしてパルス(データ転送開始パルス)をデータ転送部106(シフトレジスタ182)に供給する。
 ステップS304において、制御部231は、リセット期間(P相)の画素出力に対するA/D変換の開始タイミングであるか否かを判定する。その開始タイミングであると判定されるまでこのステップS304の処理が繰り返される。つまり、この間、シフトレジスタ182は駆動している。
 そして、リセット期間(P相)の画素出力に対するA/D変換の開始タイミングであると判定されると処理はステップS305に進む。ステップS305において、制御部231は、クリア信号CLRの値をHighにセットしてシフトレジスタ182をリセットする。これにより、シフトレジスタ182の駆動が停止する。
 ステップS306において、制御部231は、リセット期間(P相)の画素出力に対するA/D変換の終了タイミングであるか否かを判定する。その終了タイミングであると判定されるまでこのステップS306の処理が繰り返される。つまり、この間、シフトレジスタ182の駆動は停止されている。
 そして、リセット期間(P相)の画素出力に対するA/D変換の終了タイミングであると判定されると処理はステップS307に進む。ステップS307において、制御部231は、クリア信号CLRの値をLowにセットしてシフトレジスタ182の駆動を許可する。また、Hデコーダ181は、シフトレジスタ182の動作再開位置にトリガ信号を供給する。これにより、シフトレジスタ182は、停止直前の状態から駆動を再開する。
 ステップS308において、制御部231は、信号読み出し期間(D相)の画素出力に対するA/D変換の開始タイミングであるか否かを判定する。その開始タイミングであると判定されるまでこのステップS308の処理が繰り返される。つまり、この間、シフトレジスタ182は駆動している。
 そして、信号読み出し期間(D相)の画素出力に対するA/D変換の開始タイミングであると判定されると処理はステップS309に進む。ステップS309において、制御部231は、クリア信号CLRの値をHighにセットしてシフトレジスタ182をリセットする。これにより、シフトレジスタ182の駆動が停止する。
 ステップS310において、制御部231は、信号読み出し期間(D相)の画素出力に対するA/D変換の終了タイミングであるか否かを判定する。その終了タイミングであると判定されるまでこのステップS310の処理が繰り返される。つまり、この間、シフトレジスタ182の駆動は停止されている。
 そして、信号読み出し期間(D相)の画素出力に対するA/D変換の終了タイミングであると判定されると処理はステップS311に進む。ステップS311において、制御部231は、クリア信号CLRの値をLowにセットしてシフトレジスタ182の駆動を許可する。また、Hデコーダ181は、シフトレジスタ182の動作再開位置にトリガ信号を供給する。これにより、シフトレジスタ182は、停止直前の状態から駆動を再開する。
 ステップS312において、制御部231は、データ転送制御処理を終了するか否かを判定する。データ転送が終了しておらず、シフトレジスタ182の駆動を終了させるタイミングでないと判定された場合、データ転送が終了したと判定されるまでこのステップS312の処理が繰り返される。つまり、この間、シフトレジスタ182は駆動している。
 そして、データ転送が終了したと判定されると、データ転送制御処理が終了する。つまり、シフトレジスタ182の駆動が終了する。
 このようにすることにより、読み出し処理部107は、A/D変換を行う期間のセンスアンプ154の電流変動を抑制するように、シフトレジスタ182の駆動を制御することができる。したがって、撮像画像の主観画質の低減を抑制することができる。
 以上のようにシフトレジスタ182をリセットする場合、単にクリア信号を供給するだけでなく、シフトレジスタ182の駆動を停止する直前の状態の管理が必要になり、再開時にトリガ信号を適切に供給する必要がある。
 これに対して、第1の実施の形態や第2の実施の形態のようにシフトレジスタ用クロックHSCCKの供給を制御する方が、より容易に、シフトレジスタ182の駆動を制御することができる。
 <5.第4の実施の形態>
  <その他によるデータ転送制御>
 なお、A/D変換中のセンスアンプの電流変動を抑制する方法は、上述の例に限定されない。例えば、データ転送の開始タイミングを遅らせて、A/D変換中にデータ転送が終了しないようにしてもよい。このようにすることにより、データ転送終了によるセンスアンプ154の大幅な電流変動がA/D変換中に発生することを抑制することができる。
 ただしこの方法の場合、データ転送中のセンスアンプ154の緩やかな電流変動による影響を抑制することができない。従って、第1の実施の形態乃至第3の実施の形態において説明した方法の方が、この方法よりも、より確実にセンスアンプ154の電流変動を抑制することができ、撮像画像の主観画質の低減をより抑制することができる。
 また、不要なデータ転送動作を行うことにより、A/D変換中にデータ転送が終了しないようにしてもよい。このようにすることにより、データ転送終了によるセンスアンプ154の大幅な電流変動がA/D変換中に発生することを抑制することができる。
 ただしこの方法の場合も、データ転送中のセンスアンプ154の緩やかな電流変動による影響を抑制することができない。従って、第1の実施の形態乃至第3の実施の形態において説明した方法の方が、この方法よりも、より確実にセンスアンプ154の電流変動を抑制することができ、撮像画像の主観画質の低減をより抑制することができる。
 なお、これらの方法において、さらに、データ転送中のセンスアンプ154の緩やかな電流変動を抑制する機能を追加するようにしてもよい。しかしながら、その場合、構成や処理がより複雑になり、回路規模やコストが増大するおそれがある。従って、第1の実施の形態乃至第3の実施の形態において説明した方法の方が、この方法よりも、より容易にセンスアンプ154の電流変動を抑制することができ、撮像画像の主観画質の低減をより抑制することができる。
 また、シフトレジスタ182に、駆動を中断するための専用の機能を追加するようにしてもよい。しかしながら、その場合、構成や処理がより複雑になり、回路規模やコストが増大するおそれがある。従って、第1の実施の形態乃至第3の実施の形態において説明した方法の方が、この方法よりも、より容易にセンスアンプ154の電流変動を抑制することができ、撮像画像の主観画質の低減をより抑制することができる。
  <その他の構成>
 以上においては、画素アレイ部102より1行ずつ画素出力が読み出されるように説明したが、画素出力の読み出し順は任意である。また、以上においては、カラムA/D変換部105が1行ずつ各カラムの画素出力をA/D変換するように説明したが、A/D変換の構成は任意であり、画素アレイ部102より読み出された各画素出力がどのような順でA/D変換されるようにしてもよい。例えば、各カラムに対してA/D変換部が複数設けられるようにし、その複数のA/D変換部によって画素出力がA/D変換されるようにしてもよい。また、例えば、複数のカラムで1つのA/D変換部を共有するようにしてもよい。
 また、例えば、撮像素子100に1つのA/D変換部が設けられ、そのA/D変換部によって1画素ずつ画素出力がA/D変換されるようにしてもよい。また、例えば、画素アレイ部102のライン毎にA/D変換部が設けられ、各A/D変換部により、1カラムずつ画素出力がA/D変換されるようにしてもよい。また、例えば、画素アレイ部102の所定のエリア毎にA/D変換部が設けられ、各A/D変換部により、各エリアの画素出力がA/D変換されるようにしてもよい。
 また、以上においては、画素データがライン毎にセンスアンプ154に転送されるように説明したが、画素データの転送は、例えばカラム毎や領域毎等、任意の単位で行われるようにしてもよい。また、以上においてはセンスアンプ154の電流変動を抑制する点について説明したが、データ転送に起因する電流変動によるA/D変換結果への影響を抑制することができればよいので、本技術による電流変動の抑制対象はセンスアンプ154に限定されない。つまり、本技術による電流変動の抑制対象は、データ転送に起因するものであればセンスアンプ154以外のものも含む。
 また、図2に示される撮像素子100の構成は、1枚の半導体意基板(以下、単に基板と称する)上に形成されるようにしてもよいし、複数の基板上に形成されるようにしてもよい。この構成が複数の基板上に形成される場合、図2に示される各構成がどのように各基板に配置されるようにしてもよい。
 例えば、読み出し処理部107が1つの基板上に配置され、その他の構成は他の基板上に配置されるようにしてもよい。また、読み出し処理部107と制御部101とが1つの基板上に配置され、その他の構成は他の基板上に配置されるようにしてもよい。また、読み出し処理部107とデータ転送部106とが1つの基板上に配置され、その他の構成は他の基板上に配置されるようにしてもよい。もちろん、これら以外の組み合わせであってもよい。
 また、図2に示される撮像素子100の構成が複数の基板上に形成される場合、全ての基板を含む1つのチップ(例えばモールド封止等が施されて一体化されたもの)として構成されるようにしてもよいし、互いに異なる基板を含む複数のチップとして構成されるようにしてもよい。
 例えば、複数の基板が互いに積層されてビア等を介して各基板の回路が互いに接続された1つのチップとして構成されるようにしてもよい。また、複数のチップをモジュール化したものであってもよい。
 <6.第5の実施の形態>
  <撮像装置>
 なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置(電子機器等)に本技術を適用するようにしてもよい。図14は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図14に示される撮像装置600は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
 図14に示されるように撮像装置600は、光学部611、CMOSイメージセンサ612、画像処理部613、表示部614、コーデック処理部615、記憶部616、出力部617、通信部618、制御部621、操作部622、およびドライブ623を有する。
 光学部611は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部611は、被写体からの光(入射光)を透過し、CMOSイメージセンサ612に供給する。
 CMOSイメージセンサ612は、入射光を光電変換して画素毎の信号(画素信号)をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部613に供給する。
 画像処理部613は、CMOSイメージセンサ612により得られた撮像画像データを画像処理する。より具体的には、画像処理部613は、CMOSイメージセンサ612から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部613は、画像処理を施した撮像画像データを表示部614に供給する。
 表示部614は、例えば、液晶ディスプレイ等として構成され、画像処理部613から供給された撮像画像データの画像(例えば、被写体の画像)を表示する。
 画像処理部613は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部615に供給する。
 コーデック処理部615は、画像処理部613から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部616に供給する。また、コーデック処理部615は、記憶部616に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部613に供給する。
 画像処理部613は、コーデック処理部615から供給される復号画像データに対して所定の画像処理を施す。画像処理部613は、画像処理を施した復号画像データを表示部614に供給する。表示部614は、例えば、液晶ディスプレイ等として構成され、画像処理部613から供給された復号画像データの画像を表示する。
 また、コーデック処理部615は、画像処理部613から供給された撮像画像データを符号化した符号化データ、または、記憶部616から読み出した撮像画像データの符号化データを出力部617に供給し、撮像装置600の外部に出力させるようにしてもよい。また、コーデック処理部615は、符号化前の撮像画像データ、若しくは、記憶部616から読み出した符号化データを復号して得られた復号画像データを出力部617に供給し、撮像装置600の外部に出力させるようにしてもよい。
 さらに、コーデック処理部615は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部618を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部615は、撮像画像データや画像データの符号化データを、通信部618を介して取得するようにしてもよい。コーデック処理部615は、通信部618を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部615は、得られた画像データ若しくは符号化データを、上述したように、画像処理部613に供給したり、記憶部616、出力部617、および通信部618に出力するようにしてもよい。
 記憶部616は、コーデック処理部615から供給される符号化データ等を記憶する。記憶部616に格納された符号化データは、必要に応じてコーデック処理部615に読み出されて復号される。復号処理により得られた撮像画像データは、表示部614に供給され、その撮像画像データに対応する撮像画像が表示される。
 出力部617は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部615を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置600の外部に出力する。
 通信部618は、コーデック処理部615から供給される画像データや符号化データ等の各種情報を、所定の通信(有線通信若しくは無線通信)の通信相手である他の装置に供給する。また、通信部618は、所定の通信(有線通信若しくは無線通信)の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部615に供給する。
 制御部621は、所定のデジタル回路等を有し、撮像装置600の各処理部(点線620内に示される各処理部、操作部622、並びに、ドライブ623)の動作の制御に関する処理を行う。なお、制御部621が、例えば、CPU、ROM、RAM等を有し、そのCPUがROM等よりRAMにロードされたプログラムやデータを実行することにより、そのような制御に関する各種処理を行うようにしてもよい。
 操作部622は、例えば、ジョグダイヤル(商標)、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部621に供給する。
 ドライブ623は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア624に記憶されている情報を読み出す。ドライブ623は、リムーバブルメディア624からプログラムやデータ等の各種情報を読み出し、それを制御部621に供給する。また、ドライブ623は、書き込み可能なリムーバブルメディア624が自身に装着された場合、制御部621を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア624に記憶させる。
 以上のような撮像装置600のCMOSイメージセンサ612として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ612として、上述した撮像素子100が用いられる。これにより、CMOSイメージセンサ612は、撮像画像の画質の低減を抑制することができる。したがって撮像装置600は、被写体を撮像することにより、より高画質な撮像画像を得ることができる。
 <7.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図16は、撮像部12031の設置位置の例を示す図である。
 図16では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図16には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、図2の撮像素子100または図14の撮像装置600は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、主観画質の低減を抑制し、より高画質な撮像画像を得ることができるため、車外情報検出ユニット12030は、人、車、障害物、標識又は路面上の文字等の物体検出や距離検出等の処理をより高精度に行うことができる。これにより、マイクロコンピュータ12051はADASの機能実現や自動運転等を目的とした協調制御や、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御等をより高精度に行うことができる。
 <8.その他>
  <ソフトウエア>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムやデータがインストールされる。
 例えば、図14の撮像装置600の場合、このプログラムやデータは、パッケージメディア等としてのリムーバブルメディア624に記録して適用することができる。その場合、そのプログラムやデータは、リムーバブルメディア624をドライブ623に装着することにより、制御部621に制御されて、制御部621やCMOSイメージセンサ612(撮像素子100の制御部101や読み出し処理部107等)にインストールすることができる。
 また、このプログラムやデータは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、そのプログラムやデータは、通信部618により受信され、制御部621やCMOSイメージセンサ612にインストールすることができる。
 さらに、このプログラムやデータは、制御部621やCMOSイメージセンサ612のROM等に、あらかじめインストールしておくこともできる。
  <補足>
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、前記A/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる制御部
 を備える信号処理装置。
 (2) 前記制御部は、前記A/D変換を行う期間の開始タイミングから前記シフトレジスタの駆動を停止させる
 (1)に記載の信号処理装置。
 (3) 前記制御部は、相関二重サンプリングのリセット期間の画素出力に対するA/D変換を行う期間、並びに、前記相関二重サンプリングの信号読み出し期間の画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる
 (2)に記載の信号処理装置。
 (4) 前記制御部は、前記リセット期間の画素出力に対するA/D変換を行う期間の全部と、前記信号読み出し期間の画素出力に対するA/D変換を行う期間の内の、前記リセット期間の画素出力に対するA/D変換を行う期間よりも長い期間とにおいて、前記シフトレジスタの駆動を停止させる
 (3)に記載の信号処理装置。
 (5) 前記シフトレジスタは、前記画素データを保持する保持部と、前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプとの駆動を制御することにより、前記画素データの転送を制御する
 (1)乃至(4)のいずれかに記載の信号処理装置。
 (6) 前記制御部は、前記シフトレジスタを駆動させるシフトレジスタ用クロックの供給を停止することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタ用クロックの供給を再開することにより前記シフトレジスタの駆動を再開させる
 (5)に記載の信号処理装置。
 (7) 前記制御部は、所定の基準クロックをカウントし、そのカウント値に基づいて前記シフトレジスタ用クロックの供給の停止および再開を行う
 (6)に記載の信号処理装置。
 (8) 前記制御部は、イネーブル信号に基づいて前記シフトレジスタ用クロックの供給の停止および再開を行う
 (6)または(7)に記載の信号処理装置。
 (9) 前記制御部は、前記シフトレジスタを初期化することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタにトリガ信号を供給することにより前記シフトレジスタの駆動を再開させる
 (5)乃至(8)のいずれかに記載の信号処理装置。
 (10) 前記制御部は、前記シフトレジスタの駆動を再開させる場合、前記シフトレジスタの、動作を再開させる位置に、前記トリガ信号を供給する
 (9)に記載の信号処理装置。
 (11) 前記シフトレジスタをさらに備える
 (5)乃至(10)のいずれかに記載の信号処理装置。
 (12) 前記保持部と、
 前記センスアンプと
 をさらに備える(11)に記載の信号処理装置。
 (13) アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、前記A/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる
 信号処理方法。
 (14) それぞれが入射光を光電変換する構成を有する複数の画素からなる画素アレイと、
 前記画素アレイから得られるアナログ信号の画素出力をA/D変換するA/D変換部と、
 前記A/D変換部により前記画素出力がA/D変換されて得られるデジタルデータの画素データを保持する保持部と、
 前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプと、
 前記保持部と前記センスアンプとの駆動を制御することにより、前記画素データの転送を制御するシフトレジスタと、
 前記A/D変換部による前記画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる制御部と
 を備える撮像素子。
 (15) 前記制御部は、前記A/D変換部による前記画素出力に対する前記A/D変換を行う期間の開始タイミングから前記シフトレジスタの駆動を停止させる
 (14)に記載の撮像素子。
 (16) 前記制御部は、前記A/D変換部による、相関二重サンプリングのリセット期間の画素出力に対するA/D変換を行う期間、並びに、前記相関二重サンプリングの信号読み出し期間の画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる
 (15)に記載の撮像素子。
 (17) 前記制御部は、所定の基準クロックをカウントし、そのカウント値に基づいて、前記シフトレジスタを駆動させるシフトレジスタ用クロックの供給を停止することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタ用クロックの供給を再開することにより前記シフトレジスタの駆動を再開させる
 (14)乃至(16)のいずれかに記載の撮像素子。
 (18) 前記制御部は、イネーブル信号に基づいて、前記シフトレジスタを駆動させるシフトレジスタ用クロックの供給を停止することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタ用クロックの供給を再開することにより前記シフトレジスタの駆動を再開させる
 (14)乃至(17)のいずれかに記載の撮像素子。
 (19) 前記制御部は、前記シフトレジスタを初期化することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタにトリガ信号を供給することにより前記シフトレジスタの駆動を再開させる
 (14)乃至(18)のいずれかに記載の撮像素子。
 (20) 被写体を撮像する撮像部と、
 前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
 を備え、
 前記撮像部は、
  それぞれが入射光を光電変換する構成を有する複数の画素からなる画素アレイと、
  前記画素アレイから得られるアナログ信号の画素出力をA/D変換するA/D変換部と、
  前記A/D変換部により前記画素出力がA/D変換されて得られるデジタルデータの画素データを保持する保持部と、
  前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプと、
  前記保持部と前記センスアンプとの駆動を制御することにより、前記画素データの転送を制御するシフトレジスタと、
  前記A/D変換部による前記画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる制御部と
 を備える電子機器。
 100 撮像素子, 101 制御部, 102 画素アレイ部, 103 行選択部, 104 参照電圧生成部, 105 カラムA/D変換部, 106 データ転送部, 107 読み出し処理部, 108 出力インタフェース部, 151 データラッチ, 152および153 データバス, 154 センスアンプ, 155 Hスキャナ, 161 増幅部, 162乃至164 フリップフロップ, 165乃至167 遅延部, 181 Hデコーダ, 182 シフトレジスタ, 191 フリップフロップ, 231 制御部, 232 データ処理部, 241 カウント型クロック制御部, 242 トリガ信号生成部, 243 SRAM, 301 イネーブル型クロック制御部, 600 撮像装置, 612 CMOSイメージセンサ, 613 画像処理部

Claims (20)

  1.  アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、前記A/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる制御部
     を備える信号処理装置。
  2.  前記制御部は、前記A/D変換を行う期間の開始タイミングから前記シフトレジスタの駆動を停止させる
     請求項1に記載の信号処理装置。
  3.  前記制御部は、相関二重サンプリングのリセット期間の画素出力に対するA/D変換を行う期間、並びに、前記相関二重サンプリングの信号読み出し期間の画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる
     請求項2に記載の信号処理装置。
  4.  前記制御部は、前記リセット期間の画素出力に対するA/D変換を行う期間の全部と、前記信号読み出し期間の画素出力に対するA/D変換を行う期間の内の、前記リセット期間の画素出力に対するA/D変換を行う期間よりも長い期間とにおいて、前記シフトレジスタの駆動を停止させる
     請求項3に記載の信号処理装置。
  5.  前記シフトレジスタは、前記画素データを保持する保持部と、前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプとの駆動を制御することにより、前記画素データの転送を制御する
     請求項1に記載の信号処理装置。
  6.  前記制御部は、前記シフトレジスタを駆動させるシフトレジスタ用クロックの供給を停止することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタ用クロックの供給を再開することにより前記シフトレジスタの駆動を再開させる
     請求項5に記載の信号処理装置。
  7.  前記制御部は、所定の基準クロックをカウントし、そのカウント値に基づいて前記シフトレジスタ用クロックの供給の停止および再開を行う
     請求項6に記載の信号処理装置。
  8.  前記制御部は、イネーブル信号に基づいて前記シフトレジスタ用クロックの供給の停止および再開を行う
     請求項6に記載の信号処理装置。
  9.  前記制御部は、前記シフトレジスタを初期化することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタにトリガ信号を供給することにより前記シフトレジスタの駆動を再開させる
     請求項5に記載の信号処理装置。
  10.  前記制御部は、前記シフトレジスタの駆動を再開させる場合、前記シフトレジスタの、動作を再開させる位置に、前記トリガ信号を供給する
     請求項9に記載の信号処理装置。
  11.  前記シフトレジスタをさらに備える
     請求項5に記載の信号処理装置。
  12.  前記保持部と、
     前記センスアンプと
     をさらに備える請求項11に記載の信号処理装置。
  13.  アナログ信号の画素出力に対するA/D変換を行う期間の一部または全部において、前記A/D変換により得られるデジタルデータの画素データの転送を制御するシフトレジスタの駆動を停止させる
     信号処理方法。
  14.  それぞれが入射光を光電変換する構成を有する複数の画素からなる画素アレイと、
     前記画素アレイから得られるアナログ信号の画素出力をA/D変換するA/D変換部と、
     前記A/D変換部により前記画素出力がA/D変換されて得られるデジタルデータの画素データを保持する保持部と、
     前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプと、
     前記保持部と前記センスアンプとの駆動を制御することにより、前記画素データの転送を制御するシフトレジスタと、
     前記A/D変換部による前記画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる制御部と
     を備える撮像素子。
  15.  前記制御部は、前記A/D変換部による前記画素出力に対する前記A/D変換を行う期間の開始タイミングから前記シフトレジスタの駆動を停止させる
     請求項14に記載の撮像素子。
  16.  前記制御部は、前記A/D変換部による、相関二重サンプリングのリセット期間の画素出力に対するA/D変換を行う期間、並びに、前記相関二重サンプリングの信号読み出し期間の画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる
     請求項15に記載の撮像素子。
  17.  前記制御部は、所定の基準クロックをカウントし、そのカウント値に基づいて、前記シフトレジスタを駆動させるシフトレジスタ用クロックの供給を停止することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタ用クロックの供給を再開することにより前記シフトレジスタの駆動を再開させる
     請求項14に記載の撮像素子。
  18.  前記制御部は、イネーブル信号に基づいて、前記シフトレジスタを駆動させるシフトレジスタ用クロックの供給を停止することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタ用クロックの供給を再開することにより前記シフトレジスタの駆動を再開させる
     請求項14に記載の撮像素子。
  19.  前記制御部は、前記シフトレジスタを初期化することにより前記シフトレジスタの駆動を停止させ、前記シフトレジスタにトリガ信号を供給することにより前記シフトレジスタの駆動を再開させる
     請求項14に記載の撮像素子。
  20.  被写体を撮像する撮像部と、
     前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
     を備え、
     前記撮像部は、
      それぞれが入射光を光電変換する構成を有する複数の画素からなる画素アレイと、
      前記画素アレイから得られるアナログ信号の画素出力をA/D変換するA/D変換部と、
      前記A/D変換部により前記画素出力がA/D変換されて得られるデジタルデータの画素データを保持する保持部と、
      前記保持部から読み出された前記画素データを電流から電圧に変換するセンスアンプと、
      前記保持部と前記センスアンプとの駆動を制御することにより、前記画素データの転送を制御するシフトレジスタと、
      前記A/D変換部による前記画素出力に対するA/D変換を行う期間の一部または全部において、前記シフトレジスタの駆動を停止させる制御部と
     を備える電子機器。
PCT/JP2018/017489 2017-05-17 2018-05-02 信号処理装置および方法、撮像素子、並びに、電子機器 WO2018211986A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/611,886 US11265497B2 (en) 2017-05-17 2018-05-02 Signal processing apparatus and method, imaging element, and electronic apparatus
KR1020197032551A KR20200006971A (ko) 2017-05-17 2018-05-02 신호 처리 장치 및 방법, 촬상 소자 및 전자 기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017098134A JP2018195975A (ja) 2017-05-17 2017-05-17 信号処理装置および方法、撮像素子、並びに、電子機器
JP2017-098134 2017-05-17

Publications (1)

Publication Number Publication Date
WO2018211986A1 true WO2018211986A1 (ja) 2018-11-22

Family

ID=64273547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017489 WO2018211986A1 (ja) 2017-05-17 2018-05-02 信号処理装置および方法、撮像素子、並びに、電子機器

Country Status (4)

Country Link
US (1) US11265497B2 (ja)
JP (1) JP2018195975A (ja)
KR (1) KR20200006971A (ja)
WO (1) WO2018211986A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021068954A (ja) * 2019-10-18 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 受光装置及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095349A (ja) * 2004-02-23 2012-05-17 Sony Corp Ad変換方法およびad変換装置
JP2012165168A (ja) * 2011-02-07 2012-08-30 Sony Corp 半導体装置、物理情報取得装置、及び、信号読出し方法
JP2014007636A (ja) * 2012-06-26 2014-01-16 Sony Corp 固体撮像素子、駆動方法、および電子装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3612803B2 (ja) * 1995-07-10 2005-01-19 ソニー株式会社 固体撮像装置及び固体撮像素子の出力信号処理方法
EP2065714B1 (en) 2004-11-08 2012-01-04 Sony Corporation Comparing method and device for analog-to-digital conversion method, analog-to-digital converter, semiconductor device for detecting distribution of physical quantity
JP5251592B2 (ja) 2009-02-25 2013-07-31 ソニー株式会社 固体撮像装置、撮像装置、半導体装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095349A (ja) * 2004-02-23 2012-05-17 Sony Corp Ad変換方法およびad変換装置
JP2012165168A (ja) * 2011-02-07 2012-08-30 Sony Corp 半導体装置、物理情報取得装置、及び、信号読出し方法
JP2014007636A (ja) * 2012-06-26 2014-01-16 Sony Corp 固体撮像素子、駆動方法、および電子装置

Also Published As

Publication number Publication date
JP2018195975A (ja) 2018-12-06
US20210144328A1 (en) 2021-05-13
US11265497B2 (en) 2022-03-01
KR20200006971A (ko) 2020-01-21

Similar Documents

Publication Publication Date Title
US11039099B2 (en) Solid-state imaging element, solid-state imaging apparatus, and method for controlling solid-state imaging element
JP7299845B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11770625B2 (en) Data processing device and data processing method
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
EP3657776B1 (en) Analog-digital converter including miller capacitor, solid-state imaging element including said analog-digital converter, and control method for said analog-digital converter
US20210075990A1 (en) Solid-state imaging element, electronic device, and method for controlling solid-state imaging element
US10999543B2 (en) Solid-state imaging device, electronic apparatus, lens control method, and vehicle
JP7245178B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US20240163588A1 (en) Solid-state imaging element and imaging device
WO2020066245A1 (ja) 固体撮像素子、および、撮像装置
WO2021241120A1 (ja) 撮像装置及び撮像方法
JP2020099015A (ja) センサ及び制御方法
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2019167608A1 (ja) センサ素子および電子機器
JP2019004382A (ja) 撮像装置
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US20220264045A1 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
WO2018211986A1 (ja) 信号処理装置および方法、撮像素子、並びに、電子機器
JP2021170691A (ja) 撮像素子、制御方法、および電子機器
US11889207B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2017212722A1 (ja) 制御装置及び制御方法
WO2017203752A1 (ja) 撮像装置、および制御方法
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802982

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197032551

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18802982

Country of ref document: EP

Kind code of ref document: A1