WO2024043150A1 - カメラシステム及びその制御方法 - Google Patents

カメラシステム及びその制御方法 Download PDF

Info

Publication number
WO2024043150A1
WO2024043150A1 PCT/JP2023/029574 JP2023029574W WO2024043150A1 WO 2024043150 A1 WO2024043150 A1 WO 2024043150A1 JP 2023029574 W JP2023029574 W JP 2023029574W WO 2024043150 A1 WO2024043150 A1 WO 2024043150A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image sensor
pixel circuits
frame period
circuits
Prior art date
Application number
PCT/JP2023/029574
Other languages
English (en)
French (fr)
Inventor
ルォンフォン 朝倉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024043150A1 publication Critical patent/WO2024043150A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to a camera system and a control method thereof.
  • stereo cameras used in goggles, head-mounted displays, and the like are powered by batteries, it is desirable to suppress average power consumption and peak power consumption.
  • a low-resolution camera is used to detect motion, and pixels in which motion is detected are imaged by a high-resolution camera, thereby reducing power consumption.
  • the present disclosure provides a camera system that has excellent responsiveness and can reduce power consumption.
  • a first image sensor a second image sensor; A camera system comprising: a control unit that controls the first image sensor and the second image sensor,
  • the first image sensor has a plurality of first pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted by each pixel and non-destructively read out the sampled charges
  • the second image sensor includes a plurality of second pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted by each pixel and non-destructively read out the sampled charges
  • the first image sensor is configured to detect the plurality of first pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits or some of the second pixel circuits for each frame period.
  • the second image sensor is configured to detect the plurality of second pixel circuits within the same frame period based on pixel signals output from the part of the first pixel circuits or the part of the second pixel circuits for each frame period.
  • a camera system is provided that switches whether or not to output pixel signals from at least some second pixel circuits among the pixel circuits.
  • the some of the first pixel circuits or the some of the second pixel circuits are one or more of the plurality of first pixel circuits or the plurality of second pixel circuits thinned out in at least one of the first direction and the second direction. may be placed at the pixel position.
  • the control unit controls at least one of the movement of the object and the presence of the object based on the pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period.
  • the first image sensor outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit,
  • the second image sensor may output pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection section.
  • the first image sensor outputs pixel signals from the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit
  • the second image sensor may output pixel signals from the plurality of second pixel circuits within the frame period in which the feature is detected by the feature detection section.
  • the feature detection unit detects a feature based on the pixel signal output from the part of the first pixel circuit
  • the first image sensor outputs pixel signals twice from the part of the first pixel circuits within the frame period in which the feature is detected by the feature detection unit, and outputs pixel signals twice from the part of the first pixel circuits to the part of the pixel circuits other than the part of the first pixel circuits.
  • the pixel signal may be outputted once from the first pixel circuit.
  • the first image sensor stops outputting pixel signals from the plurality of first pixel circuits during a frame period in which no feature is detected by the feature detection unit
  • the second image sensor may stop outputting pixel signals from the plurality of second pixel circuits during the frame period in which no feature is detected by the feature detection section.
  • the control unit controls a first pixel circuit including one or more first pixel circuits among the plurality of first pixel circuits for each frame period according to a pixel position including the feature detected by the feature detection unit.
  • an ROI setting unit that sets a ROI (Region Of Interest) pixel region and sets a second ROI pixel region including one or more second pixel circuits in the plurality of second pixel circuits;
  • the first image sensor outputs a pixel signal within the first ROI pixel region within the same frame period
  • the second image sensor may output pixel signals within the second ROI pixel region within the same frame period.
  • the feature detection unit detects the movement based on pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period,
  • the first image sensor outputs pixel signals from at least some first pixel circuits among the plurality of first pixel circuits within the frame period in which the movement is detected,
  • the second image sensor may output pixel signals from at least some of the second pixel circuits among the plurality of second pixel circuits within the frame period in which the motion is detected.
  • the feature detection unit detects the movement based on pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period,
  • the control unit sets a first ROI pixel region including a pixel position of one or more of the plurality of first pixel circuits, and also sets a first ROI pixel region including a pixel position of one or more of the plurality of second pixel circuits.
  • the first image sensor outputs a pixel signal within the first ROI pixel region within a frame period in which the motion is detected,
  • the second image sensor may output a pixel signal within the second ROI pixel region within the frame period in which the motion is detected.
  • the control unit includes: an object determination unit that determines whether or not an object is being imaged based on pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period; When it is determined that the object is being imaged, a first ROI pixel region including a pixel position of one or more of the plurality of first pixel circuits is set, and an ROI setting unit that sets a second ROI pixel region including pixel positions of one or more of the second pixel circuits of the second pixel circuits;
  • the first image sensor outputs a pixel signal from the first pixel circuit in the first ROI pixel region within a frame period in which the object is imaged
  • the second image sensor may output a pixel signal from the second pixel circuit in the second ROI pixel region within the frame period in which the object is imaged.
  • the control unit may control pixel positions of the first ROI pixel region and the second ROI pixel region for each frame period so as to include the target object in accordance with the position of the target object.
  • Each of the plurality of first pixel circuits is a first floating diffusion region that accumulates charges according to incident light photoelectrically converted by a first photoelectric conversion element; a first capacitor that stores charges according to the potential of the first floating diffusion region while the charges of the first floating diffusion region are reset; a second capacitor that accumulates charge according to the incident light photoelectrically converted by the first photoelectric conversion element,
  • Each of the plurality of second pixel circuits is a second floating diffusion region that accumulates charges according to incident light photoelectrically converted by a second photoelectric conversion element; a third capacitor that stores charges according to the potential of the second floating diffusion region while resetting the charges of the second floating diffusion region; a fourth capacitor that accumulates charge according to the incident light photoelectrically converted by the second photoelectric conversion element; The charges accumulated in the first capacitor, the second capacitor, the third capacitor, and the fourth capacitor may be held within the same frame period even after being read out.
  • the first image sensor is configured to detect at least some of the plurality of first pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits for each frame period. Switch whether or not to output a pixel signal from one pixel circuit,
  • the second image sensor is configured to control at least some of the plurality of second pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits for each frame period.
  • Each of the plurality of first pixel circuits is a first floating diffusion region that accumulates charges according to incident light photoelectrically converted by a first photoelectric conversion element; a first capacitor that stores charges according to the potential of the first floating diffusion region while the charges of the first floating diffusion region are reset; a second capacitor that accumulates charge according to the incident light photoelectrically converted by the first photoelectric conversion element,
  • Each of the plurality of second pixel circuits is a second floating diffusion region that accumulates charges according to incident light photoelectrically converted by a second photoelectric conversion element; a third capacitor that accumulates charges in a state in which the second floating diffusion region is reset or charges corresponding to incident light photoelectrically converted by the second photoelectric conversion element; The charges accumulated in the first capacitor and the second capacitor are retained within the same frame even after being read out, The third capacitor accumulates charges in a state in which the second floating diffusion region is reset within one frame period, and then accumulates charges corresponding to incident light photoelectrically converted by the
  • the control unit is configured to cause the first image sensor to convert incident light photoelectrically converted by first photoelectric conversion elements in at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period.
  • the second image sensor is photoelectrically converted by a second photoelectric conversion element in at least some of the second pixel circuits among the plurality of second pixel circuits within the same frame period; The timing at which charges are sampled according to the incident light may be shifted from each other.
  • the control unit is configured to control a timing at which the first image sensor samples charge at a reset level in at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period; The timing at which the charge corresponding to the incident light photoelectrically converted by the first photoelectric conversion element is sampled, and the timing at which the second image sensor selects at least some of the second pixels of the plurality of second pixel circuits within the same frame period.
  • the timing of sampling the charge at the reset level within the circuit and the timing of sampling the charge corresponding to the incident light photoelectrically converted by the second photoelectric conversion element may be staggered.
  • the control unit is configured to determine timing at which the first image sensor outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period, and a timing at which the second image sensor outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits. Timings at which pixel signals are output from at least some of the plurality of second pixel circuits within the same frame period may be shifted from each other.
  • the control unit outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period, and then outputs pixel signals from the plurality of second pixel circuits within the same frame period.
  • the pixel signal may be output from at least some of the second pixel circuits among the pixel circuits.
  • the plurality of first pixel circuits are arranged in a first direction and a plurality in a second direction
  • the plurality of second pixel circuits are arranged in the first direction and in the second direction
  • the first image sensor and the second image sensor may output pixel signals alternately for each pixel group arranged in the second direction. good.
  • the first image sensor and the second image sensor have the same number of pixels, The first image sensor and the second image sensor may perform exposure at the same exposure timing.
  • a first image sensor includes a plurality of first pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted in each pixel and non-destructively read out the sampled charges; a second image sensor having a plurality of second pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted in each pixel and nondestructively read out the sampled charges;
  • a control method for a camera system comprising: a control unit that controls the first image sensor and the second image sensor, The first image sensor is configured to detect the plurality of first pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits or some of the second pixel circuits for each frame period.
  • the second image sensor is configured to detect the plurality of second pixel circuits within the same frame period based on pixel signals output from the part of the first pixel circuits or the part of the second pixel circuits for each frame period.
  • a camera system control method is provided that switches whether or not to output pixel signals from at least some second pixel circuits among the pixel circuits.
  • FIG. 1 is a block diagram showing a schematic configuration of a camera system according to a first embodiment.
  • FIG. 3 is a block diagram showing an example of the internal configuration of a motion detection section.
  • FIG. 2 is a block diagram showing a schematic configuration of a first image sensor. A circuit diagram of each pixel in the pixel array section.
  • FIG. 4 is a block diagram showing the internal configuration of the load MOS circuit and column signal processing circuit shown in FIG. 3;
  • FIG. 4 is a timing chart of global shutter operations of the first image sensor and the second image sensor.
  • FIG. 4 is a timing diagram of pixel signal readout operations in the first image sensor and the second image sensor.
  • 5 is a flowchart showing processing operations of the camera system according to the first embodiment.
  • FIG. 3 is a schematic operation timing diagram of the camera system according to the first embodiment.
  • FIG. 2 is a block diagram showing a schematic configuration of a camera system according to a second embodiment.
  • FIG. 6 is a schematic operation timing diagram of the camera system according to the second embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration of a camera system according to a third embodiment.
  • FIG. 7 is a schematic operation timing diagram of a camera system according to a third embodiment.
  • FIG. 7 is a block diagram showing a schematic configuration of a camera system according to a modified example of the third embodiment.
  • FIG. 7 is an alternative circuit diagram of a pixel circuit of a second image sensor that does not perform preview reading.
  • FIG. 7 is a block diagram showing a schematic configuration of a camera system according to a fifth embodiment.
  • FIG. 7 is an operation timing diagram of the camera system according to the fifteenth embodiment.
  • FIG. 4 is an operation timing diagram of a camera system according to a comparative example.
  • 17 is a block diagram showing a schematic configuration of a camera system according to a modified example of FIG. 16.
  • FIG. FIG. 7 is an operation timing chart of the camera system according to the sixth embodiment.
  • FIG. 7 is an operation timing diagram according to a modified example of the sixth embodiment.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 3 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • the camera system may include components and functions that are not shown or explained. The following description does not exclude components or features not shown or described.
  • FIG. 1 is a block diagram showing a schematic configuration of a camera system 1 according to a first embodiment.
  • the camera system 1 in FIG. 1 includes at least two image sensors and can configure a stereo camera.
  • FIG. 1 shows the minimum configuration of the camera system 1 according to the first embodiment, and may include components not shown in FIG. 1.
  • the camera system 1 according to the first embodiment may include a signal processing circuit, a distance measurement circuit, an image processing circuit, or the like.
  • FIG. 1 the configuration and operation of the camera system 1 according to the first embodiment will be explained based on FIG. 1.
  • the camera system 1 in FIG. 1 includes a first image sensor 2, a second image sensor 3, and a control section 4.
  • the first image sensor 2 and the second image sensor 3 have the same number of pixels and capture images at the same exposure timing.
  • the first image sensor and the second image sensor 3 can image the same subject and generate a parallax image.
  • the parallax image can be used, for example, to measure the distance to a subject.
  • the first image sensor 2 is arranged on the left side with respect to the direction of incidence of incident light
  • the second image sensor 3 is arranged on the right side.
  • the imaging device 3 can be placed at any location.
  • the first image sensor 2 and the second image sensor 3 may perform photoelectric conversion in the visible light band or may perform photoelectric conversion in the infrared light band.
  • a color image or a monochrome image may be imaged.
  • the first image sensor 2 includes a plurality of first pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted in each pixel for all pixels and non-destructively read out the sampled charges.
  • the second image sensor 3 includes a plurality of second pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted in each pixel for all pixels and read out the sampled charges in a non-destructive manner. Since the first pixel circuit of the first image sensor 2 and the pixel circuit of the second image sensor 3 have the same circuit configuration, in this specification, the first pixel circuit and the second pixel circuit are collectively referred to as It is sometimes simply called a pixel circuit.
  • Both the first image sensor 2 and the second image sensor 3 are global shutter type image sensors that simultaneously capture images in all pixels. By employing the global shutter method, distortion of the captured image can be suppressed, and distance accuracy when distance measurement is performed using the first image sensor 2 and the second image sensor 3, for example, can be improved.
  • each pixel circuit of the first image sensor 2 and the second image sensor 3 has a so-called voltage domain type circuit configuration, as described later.
  • a voltage domain type circuit configuration By having a voltage domain type circuit configuration, miniaturization becomes easy and high resolution can be achieved.
  • the control unit 4 controls the first image sensor 2 and the second image sensor 3. More specifically, the control unit 4 controls the timing of exposure of the first image sensor 2 and the second image sensor 3, the timing of charge transfer, and the timing of reading out pixel signals.
  • the control section 4 has a feature detection section 5 and an imaging control section 6.
  • the feature detection unit 5 detects a feature including at least one of the movement of the object or the presence of the object, based on pixel signals output for each frame period from some of the first pixel circuits or some of the second pixel circuits. Detect.
  • the first image sensor 2 outputs pixel signals from at least some of the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit 5.
  • the second image sensor 3 outputs pixel signals from at least some of the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit 5.
  • the first image sensor 2 can output pixel signals from the first pixel circuits of all pixels within the frame period in which the feature is detected by the feature detection unit 5.
  • the second image sensor 3 can output pixel signals from the second pixel circuits of all pixels within the frame period in which the feature is detected by the feature detection unit 5.
  • the first image sensor 2 detects one feature within the frame period in which the feature is detected by the feature detection section 5.
  • the pixel signal is output twice from the first pixel circuit of the part, and the pixel signal is output once from the first pixel circuit other than the part of the first pixel circuit.
  • some of the first pixel circuits in the first image sensor 2 perform double reading in which pixel signals are output twice within one frame period. The reason why such double reading is possible is that the first pixel circuit has a voltage domain type circuit configuration.
  • the first image sensor 2 stops outputting pixel signals from the plurality of first pixel circuits during a frame period in which no feature is detected by the feature detection unit 5.
  • the second image sensor 3 stops outputting pixel signals from the plurality of second pixel circuits during a frame period in which no feature is detected by the feature detection unit 5. In this way, since pixel signals are not output from the first image sensor 2 and the second image sensor 3 during the frame period in which no feature is detected, power consumption can be reduced.
  • the motion detection unit 5a detects the motion of the object based on pixel signals output from some of the first pixel circuits or some of the second pixel circuits.
  • the object is arbitrary, and some movement is detected in at least some pixels in the image data generated based on pixel signals output from some of the first pixel circuits or some of the second pixel circuits. Then, the motion detection unit 5a outputs a signal (hereinafter sometimes referred to as a motion detection signal) indicating that motion has been detected.
  • the motion detection signal output from the motion detection section 5a is input to the imaging control section 6 within the control section 4.
  • the imaging control unit 6 controls the exposure timing of the first image sensor 2 and the second image sensor 3, the sampling timing, the output timing of pixel signals, etc. based on the motion detection signal.
  • FIG. 2 is a block diagram showing an example of the internal configuration of the motion detection section 5a.
  • the motion detection section 5a has a storage section 7 and a comparison section 8.
  • FIG. 2 shows an example in which motion detection is performed based on image data output from the first image sensor 2.
  • the frame-by-frame image data output from the first image sensor 2 is input to the storage section 7 and the comparison section 8.
  • the storage unit 7 stores image data of one frame before.
  • the comparison unit 8 compares the image data output from the first image sensor 2 and the image data of the previous frame read from the storage unit 7, and if there is any difference between the two image data, , detected as movement.
  • FIG. 3 is a block diagram showing a schematic configuration of the first image sensor 2. Since the second image sensor 3 has the same block configuration as the first image sensor 2, the configuration of the first image sensor 2 will be mainly described below.
  • the first image sensor 2 includes a pixel array section 11, a vertical scanning circuit 12, a load MOS (Metal Oxide Semiconductor) circuit 13, a column signal processing circuit 14, a timing control circuit 15, A digital-to-analog converter (DAC) 16 is provided.
  • DAC digital-to-analog converter
  • the pixel array section 11 has a plurality of pixels arranged in a first direction X and a second direction Y.
  • the first direction X is sometimes called the row direction
  • the second direction Y is sometimes called the column direction.
  • a group of pixels for one row is called a pixel row
  • a group of pixels for one column is called a pixel column.
  • the timing control circuit 15 controls the operation timing of the vertical scanning circuit 12, DAC 16, and column signal processing circuit 14 in synchronization with the vertical synchronization signal XVS supplied from the control unit 4.
  • the DAC 16 generates a ramp signal Ramp used when the column signal processing circuit 14 performs analog-to-digital conversion (hereinafter referred to as AD conversion).
  • the ramp signal Ramp is, for example, a sawtooth signal.
  • the vertical scanning circuit 12 sequentially drives the plurality of row scanning lines L1.
  • the row scanning line L1 is provided for each pixel row arranged in the second direction Y, and when the vertical scanning circuit 12 drives any of the row scanning lines L1, a plurality of pixel signals from each pixel in the corresponding pixel row are transmitted. is sent to the vertical signal line L2.
  • the plurality of pixel signals on the plurality of vertical signal lines L2 are input to the column signal processing circuit 14 via the load MOS circuit 13.
  • the load MOS circuit 13 has a constant current source that supplies a constant current to each vertical signal line L2, as described later.
  • the column signal processing circuit 14 performs AD conversion on the pixel signal on each vertical signal line L2 for each vertical signal line L2, and performs CDS (Correlated Double Sampling) processing on the digital pixel signal after AD conversion.
  • the output of the column signal processing circuit 14 is referred to as image data.
  • the image data is frame-by-frame image data captured in part or the entire area of the pixel array section 11.
  • Both the first image sensor 2 and the second image sensor 3 have a plurality of pixels 20.
  • Each pixel 20 in the first image sensor 2 has a first photoelectric conversion element and a first pixel circuit.
  • Each pixel 20 in the second image sensor 3 has a second photoelectric conversion element and a second pixel circuit.
  • FIG. 4 is a circuit diagram of each pixel 20 in the pixel array section 11.
  • the pixel 20 includes a photoelectric conversion element 21 and a pixel circuit 22.
  • the pixel 20 in FIG. 4 is applicable to both the pixel 20 in the first image sensor 2 and the pixel 20 in the second image sensor 3, and is a global shutter type pixel 20 and a voltage domain type pixel 20.
  • the pixel circuit 22 in the pixel 20 in FIG. 4 includes a front-stage circuit 23, a selection circuit 24, and a rear-stage circuit 25.
  • the front circuit 23 is connected to the photoelectric conversion element 21, and includes a transfer transistor 31, a floating diffusion region (hereinafter referred to as floating diffusion or FD) 32, a first reset transistor 33, a first amplification transistor 34, and a current source 35.
  • a transfer transistor 31 a floating diffusion region (hereinafter referred to as floating diffusion or FD) 32
  • FD floating diffusion region
  • first reset transistor 33 a first reset transistor 33
  • first amplification transistor 34 a current source 35.
  • the photoelectric conversion element 21 accumulates charges according to incident light through photoelectric conversion.
  • the transfer transistor 31 transfers charges from the photoelectric conversion element 21 to the FD 32 in accordance with the transfer signal trg from the vertical scanning circuit 12.
  • the first reset transistor 33 initializes the voltage of the FD 32 by extracting charges from the FD 32 in accordance with a reset signal from the vertical scanning circuit 12 .
  • the FD 32 accumulates a reset level charge or a charge corresponding to the incident light photoelectrically converted by the photoelectric conversion element 21, and generates a voltage according to the accumulated charge.
  • the power supply voltage VDD is applied to the drain of the first amplification transistor 34, and the source of the first amplification transistor 34 is connected to the current source 35 and the output node of the pre-stage circuit 23.
  • the output node of the pre-stage circuit 23 is connected to one end of the first capacitor C1 and one end of the second capacitor C2.
  • the first capacitor C1 is used for holding (sampling) the charge at the reset level of the FD 32
  • the second capacitor C2 is used for holding (sampling) the charge corresponding to the incident light photoelectrically converted by the photoelectric conversion element 21. used.
  • charges corresponding to incident light photoelectrically converted by the photoelectric conversion element 21 may be referred to as signal charges.
  • the selection circuit 24 has a first selection transistor 41 and a second selection transistor 42.
  • the latter stage circuit 25 includes a second amplification transistor 43 and a third selection transistor 44.
  • the first selection transistor 41 switches whether or not to connect the other end of the first capacitor C1 to the gate of the second amplification transistor 43 in the subsequent stage circuit 25, according to the first selection signal ⁇ r from the vertical scanning circuit 12.
  • the second selection transistor 42 switches whether or not to connect the other end of the second capacitor C2 to the gate of the second amplification transistor 43 in the subsequent stage circuit 25, according to the second selection signal ⁇ s from the vertical scanning circuit 12.
  • a second reset transistor 45 is connected to a signal path connecting the other end of the first capacitor C1, the other end of the second capacitor C2, and the gate of the second amplification transistor 43.
  • the second reset transistor 45 switches whether or not to initialize the above-described signal path to the power supply voltage level in accordance with the second reset signal rstb from the vertical scanning circuit 12.
  • the vertical scanning circuit 12 supplies a high-level first reset signal rst and a high-level transfer signal to all pixels 20 in the pixel array section 11 at the start of exposure. As a result, the photoelectric conversion elements 21 of all pixels 20 are initialized. Thereafter, the vertical scanning circuit 12 turns on the first reset transistor 33 to extract the charge from the FD 32 and sets the potential of the FD 32 to the reset level immediately before the exposure ends. Further, by turning on both the second reset transistor 45 and the first selection transistor 41, charges corresponding to the reset level of the FD 32 are held in the first capacitor C1.
  • the vertical scanning circuit 12 turns on both the second reset transistor 45 and the second selection transistor 42 for all pixels 20 in the pixel array section 11, and also turns on the transfer transistor 31 for a predetermined time.
  • signal charges corresponding to the exposure amount are transferred to the FD 32 through the transfer transistor 31 and accumulated therein.
  • Charges corresponding to the amount of incident light are accumulated in the FD 32, and the potential of the FD 32 corresponds to the storage capacity.
  • the second capacitor C2 holds signal charges corresponding to the amount of incident light.
  • the first image sensor 2 and the second image sensor 3 perform imaging using a global shutter method in which exposure is started for all pixels 20 in each pixel array section 11 at the same time, and the exposure is ended at the same time. Further, the first image sensor 2 and the second image sensor 3 hold a charge corresponding to the reset level of the FD 32 in the first capacitor C1 in each pixel 20, and store a signal charge corresponding to the incident light in the second capacitor C2.
  • the pixel circuit (a first pixel circuit and a second pixel circuit) 22 has a voltage domain type circuit configuration.
  • the vertical scanning circuit 12 sequentially selects each pixel row in the pixel array section 11. As a result, a pixel signal at a reset level corresponding to the charge held in the first capacitor C1 of each pixel 20 included in the selected pixel row and a pixel signal at a signal charge level corresponding to the charge held in the second capacitor C2 are generated. , are sequentially output to the corresponding vertical signal lines L2.
  • FIG. 5 is a block diagram showing the internal configuration of the load MOS circuit 13 and column signal processing circuit 14 shown in FIG. 3.
  • the load MOS circuit 13 includes a plurality of current sources 51, each of which is arranged in the first direction X and connected to a plurality of vertical signal lines L2 extending in the second direction Y. Each vertical signal line L2 is provided for each pixel column extending in the second direction Y.
  • Each current source 51 supplies a constant current to the corresponding vertical signal line L2.
  • the column signal processing circuit 14 includes a plurality of analog-to-digital converters (hereinafter referred to as ADCs) 52 and a digital signal processing section 53.
  • the plurality of ADCs 52 are provided in association with the plurality of vertical signal lines L2.
  • the ADC 52 converts the pixel signal on the corresponding vertical signal line L2 into a digital pixel signal using the ramp signal Ramp from the DAC 16 shown in FIG. 3 in synchronization with the control signal L3 from the timing control circuit 15 shown in FIG. Convert.
  • the digital pixel signal output from the ADC 52 is supplied to the digital signal processing section 53.
  • the ADC 52 is, for example, a single slope ADC 52 having a comparator and a counter.
  • the digital signal processing unit 53 performs signal processing such as CDS processing between the pixel signal of the reset level and the pixel signal of the signal charge for each vertical signal line L2, and outputs image data.
  • the digital signal processing unit 53 outputs image data in units of frames.
  • FIG. 6 is a timing diagram of the global shutter operation of the first image sensor 2 and the second image sensor 3.
  • the vertical scanning circuit 12 sets both the first reset signal rst and the transfer signal trg to a high level during a period from time t0 immediately before the start of exposure to time t1 when the exposure starts.
  • both the first reset transistor 33 and the transfer transistor 31 are turned on, all the pixels 20 in the pixel array section 11 are reset, the charge from the FD 32 is extracted, and the potential of the FD 32 becomes the reset level.
  • FIG. 6 shows an example in which the pixel array section 11 has N pixel rows. In FIG. 6, [1:N] is written at the end of the signal input to each pixel circuit of N pixel rows, but this notation is omitted in this specification.
  • both the first reset transistor 33 and the transfer transistor 31 are turned off, and exposure is started.
  • the vertical scanning circuit 12 sets both the second reset signal rstb and the first selection signal ⁇ r to high level for all pixels 20 in the pixel array section 11, and also sets the first selection signal ⁇ r to high level. Set the reset signal rst to high level.
  • the potential of the FD 32 of all pixels 20 is initialized to the reset level, and charges corresponding to the reset level are held (sampled) in the first capacitor C1.
  • the first selection signal ⁇ r transitions from high level to low level, and the first selection transistor 41 is turned off. This ends the sampling period of the first capacitor C1.
  • the transfer signal trg temporarily becomes high level, and the transfer transistor 31 is temporarily turned on.
  • the transfer transistor 31 is temporarily turned on.
  • charges corresponding to the incident light photoelectrically converted by the photoelectric conversion element 21 are transferred to the FD 32 through the transfer transistor 31.
  • the amount of incident light increases, the amount of signal charge transferred to the FD 32 increases, and the voltage of the FD 32 decreases.
  • the second selection signal ⁇ s becomes high level, and the second selection transistor 42 is turned on. Thereby, the second capacitor C2 holds (samples) charges corresponding to the signal charges of the FD 32. Thereafter, at time t5, the second selection signal ⁇ s becomes low level, and the sampling period of the second capacitor C2 ends.
  • FIG. 7 is a timing chart of pixel signal readout operations in the first image sensor 2 and the second image sensor 3.
  • FIG. 7 shows the timing when reading out the n-th pixel row among N pixel rows.
  • [n] is written at the end of the signal input to each pixel circuit in the n-th pixel row, but this notation is omitted in this specification.
  • the vertical scanning circuit 12 sets the first reset signal rst of each pixel 20 in the n-th pixel row to high level, and sets the third selection signal sel input to the gate of the third selection transistor 44 to high level. , sets the second reset signal rstb to low level and sets the first selection signal ⁇ r to high level.
  • the potential of the FD 32 is initialized to a reset level, and a voltage corresponding to the charge held in the first capacitor C1 is supplied to the gate of the second amplification transistor 43.
  • the third selection transistor 44 since the third selection transistor 44 is turned on, a pixel signal of a voltage level corresponding to the gate voltage of the second amplification transistor 43 in each pixel circuit in the n-th pixel row is supplied to the vertical signal line L2. .
  • the first selection signal ⁇ r becomes low level, and the first selection transistor 41 is turned off. Thereafter, at time t14, the second reset signal rstb temporarily becomes high level, and the second reset transistor 45 is turned on. Therefore, the other ends of the first capacitor C1 and the second capacitor C2 rise to the power supply voltage level.
  • the second selection signal ⁇ s becomes high level, and the second selection transistor 42 is turned on.
  • a voltage corresponding to the charge held in the second capacitor C2 is supplied to the gate of the second amplification transistor 43.
  • the third selection transistor 44 is on, a pixel signal of a voltage level corresponding to the gate voltage of the second amplification transistor 43 in each pixel circuit in the n-th pixel row is supplied to the vertical signal line L2.
  • the voltage level of the ramp signal Ramp input to the DAC 16 gradually increases from time t16 to t17.
  • the ADC 52 compares the ramp signal Ramp with the pixel signal on the vertical signal line L2, and counts the period until the comparison result is inverted using a counter (not shown). A digital pixel signal is generated based on the count value of the counter.
  • FIG. 8 is a flowchart showing the processing operation of the camera system 1 according to the first embodiment.
  • the camera system 1 starts the processing operation shown in the flowchart of FIG. 8 when a shutter button (not shown) is pressed.
  • step S1 the first image sensor 2 and the second image sensor 3 start exposure simultaneously, and for each pixel 20, the first capacitor C1 shown in FIG. 4 holds a reset level charge, and the second capacitor C2 stores a signal charge. is held (step S1). In this manner, in step S1, the first image sensor 2 and the second image sensor 3 simultaneously perform operations for each pixel 20 for all pixels 20 during the period from time t0 to time t5 in FIG.
  • step S2 pixel signals of at least some of the pixels 20 are read out from either the first image sensor 2 or the second image sensor 3 (step S2).
  • the reading of pixel signals in step S2 is referred to as preview reading.
  • preview reading may also be performed from the second image sensor 3.
  • pixel signals of some pixels 20 thinned out from all the pixels 20 are read out instead of reading out the pixel signals of all the pixels 20 of the pixel array section 11 in the first image sensor 2.
  • the method of thinning out the pixels 20 is arbitrary. For example, pixel signals of some pixels 20 selected for each plurality of pixels in the first direction X and the second direction Y from all the pixels 20 may be read out.
  • the reason for reading out the pixel signals of some of the pixels 20 thinned out from all the pixels 20 in step S2 is to reduce power consumption and speed up the motion detection process.
  • Pixel signals read out from the pixel array section 11 are converted into digital pixel signals by the column signal processing circuit 14.
  • the column signal processing circuit 14 performs CDS processing using the digital pixel signal at the reset level and the digital pixel signal according to the signal charge to generate image data.
  • the image data output from the column signal processing circuit 14 is input to the motion detection section 5a in the control section 4 in FIG.
  • the motion detection unit 5a detects moving pixels 20 based on the image data based on the pixel signals of some of the pixels 20 read out in step S2 (step S3). Next, based on the detection result in step S3, it is determined whether there is a moving pixel 20 (step S4). If there is no moving pixel 20, the processes from step S1 onwards are repeated. If there is a moving pixel 20, both the first image sensor 2 and the second image sensor 3 output pixel signals of all pixels 20 of the pixel array section 11 (step S5). In this specification, the process of step S5 is referred to as main reading. In the main readout according to this embodiment, both the first image sensor 2 and the second image sensor 3 output pixel signals of all pixels 20.
  • step S1 When the process of step S1 is first performed, charges are held in the first capacitor C1 and the second capacitor C2, so when the determination in step S4 is YES and the main reading is performed, the first capacitor It is only necessary to output a pixel signal according to the charges held in C1 and the second capacitor C2, and the pixel signal can be output quickly.
  • step S5 When the process of step S5 is finished, the process from step S1 onward is repeated.
  • step S5 the actual readout in step S5 is performed only when there is movement in at least a portion of the image data. That is, if no motion is detected in the image data generated by preview reading, actual reading is not performed, so the frequency of actual reading can be reduced, and power consumption can be reduced.
  • the pixel circuit 22 Since the pixel circuit 22 according to the present embodiment has a voltage domain type circuit configuration, even if the charges held in the first capacitor C1 and the second capacitor C2 are read out for preview reading, the pixel circuit 22 has a voltage domain type circuit configuration. Charge remains held in capacitor C2. Therefore, when the determination in step S4 is YES, the held charges can be read out from the first capacitor C1 and the second capacitor C2 multiple times within the same frame period.
  • FIG. 9 is a schematic operation timing diagram of the camera system 1 according to the first embodiment.
  • FIG. 9 shows the timing of holding and reading the signal charge in the second capacitor C2, and omits the timing of holding and reading the reset level of the FD 32 in the first capacitor C1.
  • the upper row of FIG. 9 shows the operation timing of the first image sensor 2 that performs preview readout and main readout, and the lower row shows the operation timing of the second image sensor 3 that performs main readout without preview readout. There is.
  • the first image sensor 2 and the second image sensor 3 simultaneously start exposure.
  • the exposure ends, and the first image sensor 2 and the second image sensor 3 simultaneously hold (sample) the signal charge in the second capacitor C2.
  • the first image sensor 2 performs preview reading.
  • the image data based on the preview-read pixel signals is sent to the motion detection section 5a in the control section 4.
  • the motion detection unit 5a performs motion detection during the period from time t23 to time t24.
  • the exposure for the next frame f2 is started.
  • the exposure ends at time t25, and the first image sensor 2 and the second image sensor 3 simultaneously hold (sample) the signal charge in the second capacitor C2.
  • the first image sensor 2 performs preview reading during the period from time t25 to time t26.
  • the motion detection unit 5a performs motion detection of the image data based on the preview read pixel signal.
  • both the first image sensor 2 and the second image sensor 3 perform main readout to read out pixel signals for all pixels.
  • the first embodiment uses a first image sensor 2 and a second image sensor that have a global shutter type pixel circuit (a first pixel circuit and a second pixel circuit) 22 and a voltage domain type circuit configuration.
  • motion detection is performed on the image data generated by performing preview reading on either the first image sensor 2 or the second image sensor 3, and only when movement is detected, the second image sensor 3 performs preview reading.
  • Main readout is performed in which pixel signals of all pixels 20 are read out in both the first image sensor 2 and the second image sensor 3. If no motion is detected during preview readout, actual readout is not performed, so power consumption can be reduced.
  • the pixel circuit 22 since the pixel circuit 22 according to the present embodiment has a voltage domain type circuit configuration, even if the charges held in the first capacitor C1 and the second capacitor C2 are read out for preview reading, the charges remain unchanged. Since the charges are held, the charges can be read out again from the first capacitor C1 and the second capacitor C2 for main reading within the same frame, and main reading can be performed quickly after preview reading.
  • pixel signals of all pixels 20 are read out during main readout, but pixel signals of some pixels 20 may be read out.
  • FIG. 10 is a block diagram showing a schematic configuration of a camera system 1 according to the second embodiment.
  • the camera system 1 in FIG. 10 differs from that in FIG. 1 in the internal configuration of the control unit 4.
  • the control unit 4 in the camera system 1 in FIG. 10 includes an imaging control unit 6 and a ROI (Region Of Interest) setting unit 5b.
  • the ROI setting section 5b is one form of the feature detection section 5.
  • the ROI setting unit 5b sets a pixel area of interest within the pixel array unit 11.
  • the pixel position and size of the ROI pixel region can be determined arbitrarily.
  • the ROI setting unit 5b in FIG. 10 sets the ROI pixel area based on the image data at the time of preview reading.
  • the ROI pixel region may be a pixel region including, for example, a person's eyes, face, or outline.
  • the ROI setting unit 5b sends setting information of the ROI pixel area to the imaging control unit 6.
  • the imaging control unit 6 transmits a control signal to the vertical scanning circuit 12 and the column signal processing circuit 14 based on the setting information of the ROI pixel area.
  • FIG. 11 is a schematic operation timing chart of the camera system 1 according to the second embodiment.
  • the first image sensor 2 and the second image sensor 3 start exposure at time t31 and end exposure at time t32.
  • the first image sensor 2 performs preview reading during the period from time t32 to time t33.
  • the ROI setting unit 5b sets an ROI pixel area including the pixel of interest within the period from time t33 to time t34, based on the image data generated by preview reading.
  • the pixel of interest is, for example, a pixel 20 that includes a person's eyes or face.
  • the ROI setting unit 5b sends setting information of the ROI pixel area to the imaging control unit 6.
  • the setting information of the ROI pixel region is information including, for example, the pixel position of the pixel of interest, and the size and pixel position of the ROI pixel region set around the pixel of interest.
  • the imaging control unit 6 sends a control signal to the vertical scanning circuit 12 and the column signal processing circuit 14 based on the setting information of the ROI pixel area.
  • the vertical scanning circuit 12 drives a row scanning signal for driving a pixel row to perform main reading based on the control signal.
  • the column signal processing circuit 14 acquires the pixel signal on the vertical signal line L2 corresponding to the pixel column for which main reading is to be performed, and performs AD conversion, CDS processing, and the like.
  • the first image sensor 2 and the second image sensor 3 perform main readout to output pixel signals within the ROI pixel area within the period from time t34 to time t35. Since charges are already held in the first capacitor C1 and second capacitor C2 in each pixel circuit 22, a pixel signal based on the charges held in the first capacitor C1 and second capacitor C2 can be quickly output.
  • the ROI setting unit 5b sets the ROI pixel region for each frame, so when the object moves, the ROI pixel region is set at a different location for each frame.
  • the operation timing diagram in FIG. 11 shows an example in which pixel signals in the ROI pixel area are read out for each frame, but in some cases, the pixel of interest may not exist in the preview read image data.
  • the pixel of interest is a person's face, the person does not exist in the image data.
  • the ROI setting unit 5b cannot set the ROI pixel area. Therefore, depending on the frame, the first image sensor 2 and the second image sensor 3 may not perform main reading.
  • the ROI pixel area is set based on the preview read image data, and the ROI pixel area is set from the first image sensor 2 and the second image sensor 3 within the frame period in which the preview is read. Outputs the pixel signal within. Thereby, only the ROI pixel region can be output quickly and with low power consumption.
  • an ROI pixel area is set in a pixel area where movement has been detected.
  • FIG. 12 is a block diagram showing a schematic configuration of a camera system 1 according to the third embodiment.
  • the camera system 1 in FIG. 12 is different from those in FIGS. 1 and 10 in the internal configuration of the control unit 4.
  • the control unit 4 in the camera system 1 in FIG. 10 includes an imaging control unit 6, a motion detection unit 5a, and an ROI setting unit 5b.
  • the motion detection section 5a and the ROI setting section 5b are one form of the feature detection section 5.
  • the motion detection unit 5a detects motion based on the image data generated by preview reading of the first image sensor 2.
  • the ROI setting unit 5b sets the ROI pixel area to include the pixels 20 whose motion has been detected by the motion detection unit 5a.
  • the ROI setting section 5b sends setting information of the ROI pixel region to the imaging control section 6.
  • the imaging control unit 6 sends a control signal to the vertical scanning circuit 12 and the column signal processing circuit 14 based on the setting information of the ROI pixel area.
  • FIG. 13 is a schematic operation timing diagram of the camera system 1 according to the third embodiment.
  • the first image sensor 2 and the second image sensor 3 start exposure at time t51, end the exposure at time t52, hold a reset level charge in the first capacitor C1, and store a signal charge in the second capacitor C2. hold.
  • the first image sensor 2 performs preview reading during the period from time t52 to time t53.
  • the motion detection unit 5a detects motion based on the image data generated by preview reading after time t53.
  • the motion detection section 5a sends information about the pixels 20 for which motion has been detected to the ROI setting section 5b.
  • the ROI setting unit 5b sets an ROI pixel area including the pixel 20 in which motion has been detected.
  • the ROI setting section 5b sends setting information of the ROI pixel region to the imaging control section 6.
  • the imaging control unit 6 sends a control signal to the vertical scanning circuit 12 and the column signal processing circuit 14 based on the setting information of the ROI pixel area.
  • FIG. 13 shows an example in which no motion is detected during the period of frame f1 (times t52 to t55), but motion is detected during the period of the next frame f2 (times t55 to t60).
  • the motion detection section 5a detects motion in the image data generated by preview reading during the period from time t55 to time t56 within the period of the frame f2, it sends information regarding the moving pixel 20 to the ROI setting section 5b.
  • the ROI setting unit 5b sets an ROI pixel area including moving pixels 20.
  • the first image sensor 2 and the second image sensor 3 output pixel signals within the ROI pixel region during the period from time t57 to t58.
  • the third embodiment motion is detected based on the image data generated by preview reading, and an ROI pixel region including the moving pixels 20 is set.
  • the first image sensor 2 and the second image sensor 3 output pixel signals of the ROI pixel area within the frame period in which preview reading is performed. Thereby, the pixel signal of the ROI pixel region including the moving pixel 20 can be quickly output while suppressing power consumption.
  • the ROI setting unit 5b is An ROI pixel area may be set.
  • FIG. 14 is a block diagram showing a schematic configuration of a camera system 1 according to a modified example of the third embodiment.
  • the control unit 4 in the camera system 1 in FIG. 14 includes an imaging control unit 6, a motion detection unit 5a, and an ROI setting unit 5b, like the control unit 4 in FIG. 12.
  • the motion detection unit 5a detects motion based on the image data generated by preview reading. Information as to whether motion has been detected by the motion detection section 5a is sent to the imaging control section 6.
  • the ROI setting unit 5b sets the ROI pixel area regardless of the pixel 20 whose motion was detected by the motion detection unit 5a. For example, the ROI setting unit 5b sets an ROI pixel area around a pixel 20 including a person's face included in the image data generated by preview reading. Setting information of the ROI pixel region by the ROI setting section 5b is sent to the imaging control section 6.
  • the first image sensor 2 and the second image sensor 3 output pixel signals within the ROI pixel region within the same frame period when motion is detected based on the image data generated by preview reading. Thereby, pixel signals within the ROI pixel region can be output only when there is movement.
  • the first capacitor C1 and the second image sensor 3 are connected twice within the same frame period.
  • the first capacitor C1 and the second image sensor 3 are connected twice within the same frame period.
  • the other of the first image sensor 2 or the second image sensor 3 (for example, the second image sensor 3) that does not perform preview reading does not necessarily need to employ the pixel circuit 22 having a voltage domain type circuit configuration.
  • FIG. 15 is an alternative circuit diagram of the pixel circuit (second pixel circuit) 22 of the second image sensor 3 that does not perform preview reading.
  • the pixel circuit 22 in FIG. 15 has a charge domain type circuit configuration.
  • the pixel circuit 22 in FIG. 15 includes an overflow transistor 61, a first transfer transistor 62, a second transfer transistor 63, a reset transistor 64, an amplification transistor 65, a selection transistor 66, a capacitor C3, and a floating diffusion region 67. and has.
  • Overflow transistor 61 is connected between the cathode of photoelectric conversion element 21 and power supply voltage node VDD. The overflow transistor 61 is turned on when the overflow signal is at a high level, and resets the accumulated charge of the photoelectric conversion element 21.
  • the first transfer transistor 62 and the second transfer transistor 63 are connected in cascode between the cathode of the photoelectric conversion element 21 and the floating diffusion region 67.
  • the first transfer transistor 62 is turned on when the first transfer signal is at a high level.
  • the second transfer transistor 63 is turned on when the second transfer signal is at a high level.
  • a capacitor C3 is connected between the connection node between the first transfer transistor 62 and the second transfer transistor 63 and the ground node.
  • the reset transistor 64 is connected between the power supply voltage node VDD and the floating diffusion region 67.
  • the reset transistor 64 is turned on when the reset signal RST is at a high level, and resets the accumulated charge in the floating diffusion region 67.
  • An amplification transistor 65 and a selection transistor 66 are connected in cascode between the power supply voltage node VDD and the vertical signal line L2. A voltage corresponding to the accumulated charge in the floating diffusion region 67 is applied to the gate of the amplification transistor 65 .
  • the selection transistor 66 is turned on when the selection signal is at a high level.
  • the capacitor C3 holds a charge at a reset level that resets the accumulated charge of the photoelectric conversion element 21 within a frame period, and then holds a charge (signal charge) corresponding to the incident light photoelectrically converted by the photoelectric conversion element 21. .
  • the pixel circuit 22 in FIG. 15 holds the reset level charge and the signal charge in the same capacitor C3 at different times, so when the column signal processing circuit 14 performs CDS processing, kTC noise is reduced. Can be canceled out completely. However, after reading out the charge at the reset level held in the capacitor C3, the accumulated charge in the capacitor C3 is reset and then the signal charge is held again, so this is a destructive readout, and it is read twice in the same frame period. cannot be done.
  • the pixel circuit 22 in FIG. 15 can be used only in the second image sensor 3 that does not perform preview reading.
  • the pixel circuit 22 in the first image sensor 2 has a voltage domain type circuit configuration
  • the pixel circuit 22 in the second image sensor 3 has a charge domain type circuit configuration, so that the first image sensor 2 can perform preview readout.
  • the main readout can be performed, and the second image sensor 3 can perform the main readout in which kTC noise is further suppressed.
  • the first image sensor 2 and the second image sensor Main reading is performed to output pixel signals from the image sensor 3.
  • the first image sensor 2 and the second image sensor 3 start exposure at the same time, end the exposure at the same time, and simultaneously hold a reset level charge in the first capacitor C1 for all pixels. Then, signal charges are held in the second capacitor C2 for all pixels at the same time.
  • a large current temporarily flows in each pixel circuit 22, resulting in an increase in peak power.
  • the peak power also increases when a pixel signal corresponding to the charges held in the first capacitor C1 and the second capacitor C2 is output to the vertical signal line L2. Therefore, the fifth embodiment suppresses peak power.
  • FIG. 16 is a block diagram showing a schematic configuration of a camera system 1 according to the fifth embodiment.
  • the camera system 1 in FIG. 16 includes a first image sensor 2, a second image sensor 3, and a control section 4.
  • the control unit 4 performs control to suppress the peak power of the first image sensor 2 and the second image sensor 3.
  • Each pixel 20 in the first image sensor 2 and the second image sensor 3 has a pixel circuit 22 having the same circuit configuration as that in FIG. 4 .
  • FIG. 17 is an operation timing diagram of the camera system 1 according to the fifteenth embodiment.
  • both the first reset transistor 33 and the transfer transistor 31 are turned on. Thereby, the accumulated charge of the photoelectric conversion element 21 is reset.
  • the first reset transistor 33 and transfer transistor 31 are turned off at time t62, exposure is started.
  • the first image sensor 2 and the second image sensor 3 sequentially transmit pixel signals corresponding to the charges held in the first capacitor C1 and the second capacitor C2 in each pixel circuit 22 to the vertical signal line L2. do.
  • the first image sensor 2 and the second image sensor 3 have mutually staggered timings at which the reset level charge is held in the first capacitor C1. Further, the timings at which the first image sensor 2 and the second image sensor 3 hold signal charges in the second capacitor C2 are shifted from each other. Thereby, the peak power of the first image sensor 2 and the second image sensor 3 can be suppressed when charges are held in the first capacitor C1 and the second capacitor C2.
  • FIG. 18 is an operation timing diagram of the camera system 1 according to a comparative example.
  • the first image sensor 2 and the second image sensor 3 simultaneously hold a reset level charge in the first capacitor C1 (time t71 to t72), and then a signal charge is stored in the second capacitor C2. is held (time t72 to t73).
  • the peak power can be suppressed to about half that of the comparative example.
  • FIG. 19 is a block diagram showing a schematic configuration of a camera system 1 according to a modified example of FIG. 16.
  • a camera system 1 shown in FIG. 19 has a motion detection section 5a added to the block configuration shown in FIG. 16.
  • the motion detection section 5a is provided separately from the control section 4, but the motion detection section 5a may be provided inside the control section 4 as in FIG.
  • the first image sensor 2 and the second image sensor 3 start exposure at the same time and end their exposure at the same time.
  • the first image sensor 2 and the second image sensor 3 hold a reset level charge in the first capacitor C1 in each pixel circuit 22 at different times, and then, at different times, each pixel circuit 22 A signal charge is held in a second capacitor C2 in the second capacitor C2.
  • One of the first image sensor 2 and the second image sensor 3 (for example, the first image sensor 2) performs preview reading.
  • the motion detection section 5a detects motion based on the image data generated by preview reading, and sends the detection result to the control section 4.
  • the control section 4 instructs the first image sensor 2 and the second image sensor 3 to perform main reading only when a motion is detected by the motion detection section 5a.
  • the first image sensor 2 and the second image sensor 3 transmit pixel signals corresponding to the charges held in the first capacitor C1 and the second capacitor C2 to the vertical signal line L2 only when a motion is detected by the motion detector 5a. Output to.
  • the timing at which the first capacitor C1 in each pixel circuit 22 retains the charge according to the reset level is shifted from each other in the first image sensor 2 and the second image sensor 3, and The timing at which signal charges are held in the second capacitor C2 in the pixel circuit 22 is shifted between the first image sensor 2 and the second image sensor 3. Thereby, peak power can be suppressed.
  • the fifth embodiment shows a measure for suppressing the peak power when holding (sampling) charges in the first capacitor C1 and the second capacitor C2. Peak power may also occur when a pixel signal corresponding to the charge held in the two capacitors C2 is output to the vertical signal line L2.
  • the sixth embodiment suppresses peak power when outputting pixel signals to the vertical signal line L2.
  • the camera system 1 according to the sixth embodiment has a block configuration similar to that in FIG. 16 or 19.
  • FIG. 20 is an operation timing diagram of the camera system 1 according to the sixth embodiment.
  • the operation timing diagram of FIG. 20 shows the timing of signal charge sampling and read operation, and omits the timing of reset level charge sampling and read operation.
  • the first image sensor 2 and the second image sensor 3 start exposure at time t81, end exposure at time t82, and hold (sample) signal charges in the second capacitor C2 for all pixels.
  • the first image sensor 2 outputs a pixel signal corresponding to the charge held in the second capacitor C2 of each pixel 20 for each pixel row during the period from time t82 to time t83. Thereafter, the second image sensor 3 outputs a pixel signal corresponding to the charge held in the second capacitor C2 of each pixel 20 for each pixel row during the period from time t84 to time t85. The above operation is repeated every frame period.
  • the first image sensor 2 and the second image sensor 3 output pixel signals corresponding to the charges held in the second capacitor C2 for all pixels at different times. Peak power when outputting pixel signals to the vertical signal line L2 can be suppressed.
  • the second image sensor 3 outputs pixel signals for one frame.
  • the image data captured by the first image sensor 2 is temporarily stored in a frame memory or the like. There must be. If the image data captured by the first inspection imaging element and the image data captured by the second imaging element 3 are input to the signal processing circuit at the same timing, there is no need to store the image data in the frame memory. Therefore, as shown below, it is also possible to perform timing control such that the first image sensor 2 and the second image sensor 3 output pixel signals almost simultaneously.
  • FIG. 21 is an operation timing diagram according to a modified example of the sixth embodiment.
  • FIG. 21 shows the timing of holding signal charge in the second capacitor C2 and outputting a pixel signal according to the charge held in the second capacitor C2 to the vertical signal line L2, and transferring the charge at the reset level to the first capacitor C2.
  • the timing at which the pixel signal is held in C1 and the pixel signal corresponding to the charge held in the first capacitor C1 is output to the vertical signal line L2 is omitted.
  • the first image sensor 2 and the second image sensor 3 start exposure at time t91, end the exposure at time t92, and the second capacitor C2 holds (samples) the signal charge. After that, during the period from time t92 to time t93, the first image sensor 2 and the second image sensor 3 alternately send a pixel signal corresponding to the charge held in the corresponding second capacitor C2 to the vertical signal line L2 for each pixel row. Output.
  • FIG. 21 shows the output timing of the nth pixel row (times T1 to T3), the output timings of the (n+1)th pixel row (times T3 to T5), and the output timings of the (n+2)th pixel row.
  • the output timing (times T5 to T7) is illustrated.
  • the timing at which the column signal processing circuit 14 generates 20 pixels worth of data for one frame is the first.
  • the first image sensor 2 and the second image sensor 3 can generate two types of image data almost simultaneously, and pattern matching can be quickly performed without storing the image data in a frame memory.
  • the first image sensor 2 and the second image sensor 3 alternately output pixel signals for each pixel row. In comparison, peak power can be reduced to about half.
  • the first image sensor 2 and the second image sensor 3 when outputting a pixel signal corresponding to the signal charge held in the second capacitor C2 to the vertical signal line L2, the first image sensor 2 and the second image sensor 3 output Since the timing is shifted, peak power can be suppressed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
  • FIG. 22 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting these plurality of control units is, for example, a communication network based on any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication.
  • a communication I/F is provided for communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine rotational speed, wheel rotational speed, etc. is included.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted. For example, at least one of an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 23 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 23 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices.
  • These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
  • the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the external information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, etc., and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, cars, obstacles, signs, characters on the road, etc., based on the received image data.
  • the outside-vehicle information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
  • the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
  • the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
  • the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. It's okay.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Further, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F7620 supports cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced). , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal). You can also connect it with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • P2P Peer To Peer
  • a terminal located near the vehicle for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal. You can also connect it with
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEEE1609, DSRC (Dedicated Short Range Communications), or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 typically supports vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) communication, which is a concept that includes one or more of the following:
  • the positioning unit 7640 performs positioning by receiving, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), and determines the latitude, longitude, and altitude of the vehicle. Generate location information including. Note that the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 connects to USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
  • the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display section 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
  • the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
  • control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be provided to another control unit.
  • predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the camera system 1 according to the present embodiment described using FIGS. 1 to 21 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the camera system according to the present embodiment described using FIGS. 1 to 21 can be applied to the integrated control unit 7600 of the application example shown in FIG. 22.
  • camera system 1 described using FIGS. 1 to 21 are a module for the integrated control unit 7600 shown in FIG. ) may be realized.
  • camera system 1 described using FIGS. 1 to 21 may be realized by a plurality of control units of vehicle control system 7000 shown in FIG. 22.
  • a first image sensor a second image sensor
  • a camera system comprising: a control unit that controls the first image sensor and the second image sensor,
  • the first image sensor has a plurality of first pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted by each pixel and non-destructively read out the sampled charges
  • the second image sensor includes a plurality of second pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted by each pixel and non-destructively read out the sampled charges
  • the first image sensor is configured to detect the plurality of first pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits or some of the second pixel circuits for each frame period.
  • the second image sensor is configured to detect the plurality of second pixel circuits within the same frame period based on pixel signals output from the part of the first pixel circuits or the part of the second pixel circuits for each frame period.
  • a camera system that switches whether or not to output pixel signals from at least some second pixel circuits among the pixel circuits.
  • the control unit determines the movement of the object or the presence of the object based on the pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period.
  • a feature detection unit that detects a feature including at least one of the following;
  • the first image sensor outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit, (1) or (1) the second image sensor outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit;
  • the camera system described in (2) The camera system described in (2).
  • the first image sensor outputs pixel signals from the plurality of first pixel circuits within the frame period in which the feature is detected by the feature detection unit;
  • the feature detection unit detects a feature based on the pixel signal output from the part of the first pixel circuit,
  • the first image sensor outputs pixel signals twice from the part of the first pixel circuits within the frame period in which the feature is detected by the feature detection unit, and outputs pixel signals twice from the part of the first pixel circuits to the part of the pixel circuits other than the part of the first pixel circuits.
  • the camera system according to (4), wherein the pixel signal is outputted once from the first pixel circuit.
  • the first image sensor stops outputting pixel signals from the plurality of first pixel circuits during a frame period in which no feature is detected by the feature detection unit, (4) to (5), wherein the second image sensor stops outputting pixel signals from the plurality of second pixel circuits during the frame period in which no feature is detected by the feature detection unit.
  • Camera system according to any one of the items.
  • the control unit includes one or more first pixel circuits in the plurality of first pixel circuits for each frame period according to the pixel position including the feature detected by the feature detection unit.
  • an ROI setting unit that sets a first ROI (Region Of Interest) pixel region and sets a second ROI pixel region including one or more second pixel circuits in the plurality of second pixel circuits;
  • the first image sensor outputs a pixel signal within the first ROI pixel region within the same frame period,
  • the camera system according to any one of (3) to (6), wherein the second image sensor outputs a pixel signal within the second ROI pixel region within the same frame period.
  • the feature detection unit detects the movement based on pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period,
  • the first image sensor outputs pixel signals from at least some first pixel circuits among the plurality of first pixel circuits within the frame period in which the movement is detected, (3) to (7), wherein the second image sensor outputs pixel signals from at least some second pixel circuits among the plurality of second pixel circuits within the frame period in which the movement is detected;
  • the feature detection unit detects the movement based on pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period,
  • the control unit sets a first ROI pixel region including a pixel position of one or more of the plurality of first pixel circuits, and also sets a first ROI pixel region including a pixel position of one or more of the plurality of second pixel circuits.
  • the first image sensor outputs a pixel signal within the first ROI pixel region within a frame period in which the motion is detected,
  • the camera according to any one of (3) to (7), wherein the second image sensor outputs a pixel signal within the second ROI pixel region within the frame period in which the movement is detected.
  • the control unit an object determination unit that determines whether or not an object is being imaged based on pixel signals output from the part of the first pixel circuit or the part of the second pixel circuit for each frame period; When it is determined that the object is being imaged, a first ROI pixel region including a pixel position of one or more of the plurality of first pixel circuits is set, and an ROI setting unit that sets a second ROI pixel region including pixel positions of one or more of the second pixel circuits of the second pixel circuits;
  • the first image sensor outputs a pixel signal from the first pixel circuit in the first ROI pixel region within a frame period in which the object is imaged,
  • the second image sensor outputs a pixel signal from the second pixel circuit in the second ROI pixel region within the frame period in which the object is imaged.
  • Each of the plurality of first pixel circuits is a first floating diffusion region that accumulates charges according to incident light photoelectrically converted by a first photoelectric conversion element; a first capacitor that stores charges according to the potential of the first floating diffusion region while the charges of the first floating diffusion region are reset; a second capacitor that accumulates charge according to the incident light photoelectrically converted by the first photoelectric conversion element,
  • Each of the plurality of second pixel circuits is a second floating diffusion region that accumulates charges according to incident light photoelectrically converted by a second photoelectric conversion element; a third capacitor that stores charges according to the potential of the second floating diffusion region while resetting the charges of the second floating diffusion region; a fourth capacitor that accumulates charge according to the incident light photoelectrically converted by the second photoelectric conversion element; (1) to (11) wherein the charges accumulated in
  • the camera system according to any one of the above.
  • the first image sensor selects at least one of the plurality of first pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits for each frame period. switching whether or not to output a pixel signal from the first pixel circuit of the section;
  • the second image sensor is configured to control at least some of the plurality of second pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits for each frame period.
  • Each of the plurality of first pixel circuits is a first floating diffusion region that accumulates charges according to incident light photoelectrically converted by a first photoelectric conversion element; a first capacitor that stores charges according to the potential of the first floating diffusion region while the charges of the first floating diffusion region are reset; a second capacitor that accumulates charge according to the incident light photoelectrically converted by the first photoelectric conversion element,
  • Each of the plurality of second pixel circuits is a second floating diffusion region that accumulates charges according to incident light photoelectrically converted by a second photoelectric conversion element; a third capacitor that accumulates charges in a state in which the second floating diffusion region is reset or charges corresponding to incident light photoelectrically converted by the second photoelectric conversion element; The charges accumulated in the first capacitor and the second capacitor are retained within the same frame even after being read out, The third capacitor accumulates charges in a state in which the second floating diffusion region is reset within one frame period, and then accumulates charges corresponding to incident light photoelectrically converted by the
  • the control unit is configured such that the first image sensor is photoelectrically converted by a first photoelectric conversion element in at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period. The timing of sampling the charge according to the incident light, and the second photoelectric conversion element in at least some of the second pixel circuits of the plurality of second pixel circuits within the same frame period.
  • the camera system according to any one of (1) to (13), wherein timings at which charges are sampled according to photoelectrically converted incident light are shifted from each other.
  • the control unit determines the timing at which the first image sensor samples charges at a reset level in at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period. , the timing at which charges are sampled according to the incident light photoelectrically converted by the first photoelectric conversion element, and the timing at which the second imaging element samples at least some of the plurality of second pixel circuits within the same frame period. The timing of sampling the charge at the reset level in the second pixel circuit and the timing of sampling the charge corresponding to the incident light photoelectrically converted by the second photoelectric conversion element are shifted, respectively. camera system.
  • the control unit may control the timing at which the first image sensor outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period, and Any one of (1) to (15), wherein the timing at which the image sensor outputs pixel signals from at least some of the second pixel circuits among the plurality of second pixel circuits within the same frame period is shifted from each other.
  • the control unit outputs pixel signals from at least some of the first pixel circuits among the plurality of first pixel circuits within the same frame period, and then outputs pixel signals from at least some of the first pixel circuits within the same frame period.
  • a plurality of the plurality of first pixel circuits are arranged in a first direction and a plurality in a second direction, The plurality of second pixel circuits are arranged in the first direction and in the second direction, When the first image sensor and the second image sensor output pixel signals within the same frame period, the first image sensor and the second image sensor output pixel signals alternately for each pixel group arranged in the second direction, ( 1)
  • the first image sensor and the second image sensor have the same number of pixels, The camera system according to any one of (1) to (18), wherein the first image sensor and the second image sensor perform exposure at the same exposure timing.
  • a first image sensor having a plurality of first pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted by each pixel and non-destructively read out the sampled charges;
  • a second image sensor having a plurality of second pixel circuits that simultaneously sample charges corresponding to incident light photoelectrically converted in each pixel and nondestructively read out the sampled charges;
  • a control method for a camera system comprising: a control unit that controls the first image sensor and the second image sensor, The first image sensor is configured to detect the plurality of first pixel circuits within the same frame period based on pixel signals output from some of the first pixel circuits or some of the second pixel circuits for each frame period.
  • the second image sensor is configured to detect the plurality of second pixel circuits within the same frame period based on pixel signals output from the part of the first pixel circuits or the part of the second pixel circuits for each frame period.
  • a camera system control method that switches whether or not to output a pixel signal from at least some second pixel circuits among the pixel circuits.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］応答性に優れて、かつ消費電力を削減できる。 ［解決手段］カメラシステムの第１撮像素子は、各画素で光電変換された入射光に応じた電荷を同時にサンプリングして非破壊で読み出す複数の第１画素回路を有し、第２撮像素子は、各画素で光電変換された入射光に応じた電荷を同時にサンプリングして非破壊で読み出す複数の第２画素回路を有し、第１撮像素子は、一部の第１画素回路又は第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一のフレーム期間内に複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、第２撮像素子は、一部の第１画素回路又は第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一のフレーム期間内に複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える。

Description

カメラシステム及びその制御方法
　本開示は、カメラシステム及びその制御方法に関する。
　ゴーグル及びヘッドマウントディスプレイなどで用いられるステレオカメラは、バッテリで駆動されることから、平均消費電力とピーク電力を抑制するのが望ましい。
　例えば、特許文献１に開示されたカメラシステムでは、低解像度カメラを用いて動き検出を行い、動きが検出された画素については高解像度カメラで撮像することで、消費電力の削減を図っている。
特開２０１２－１９８０７５号公報
　しかしながら、動きが検出されてから高解像度カメラの撮像を開始するため、低解像度カメラの撮像タイミングから遅れて高解像度カメラで撮像することになる。よって、動きの速い物体を撮像し損ねるおそれがある。
　また、特許文献１では、高解像度カメラを駆動する際には、低解像度カメラも合わせて駆動しており、ピーク電力が増大して、バッテリの持ちが悪くなる。
　そこで、本開示では、応答性に優れて、かつ消費電力を削減できるカメラシステムを提供するものである。
　上記の課題を解決するために、本開示によれば、第１撮像素子と、
　第２撮像素子と、
　前記第１撮像素子及び前記第２撮像素子を制御する制御部と、を備えるカメラシステムであって、
　前記第１撮像素子は、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有し、
　前記第２撮像素子は、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有し、
　前記第１撮像素子は、一部の前記第１画素回路又は一部の前記第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
　前記第２撮像素子は、前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える、カメラシステムが提供される。
　前記一部の第１画素回路又は前記一部の第２画素回路は、前記複数の第１画素回路又は前記複数の第２画素回路を第１方向又は第２方向の少なくとも一方に間引いた１以上の画素位置に配置されてもよい。
　前記制御部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、対象物の動き又は前記対象物の存在の少なくとも一方を含む特徴を検出する特徴検出部を有し、
　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力してもよい。
　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第２画素回路から画素信号を出力してもよい。
　前記特徴検出部は、前記一部の第１画素回路から出力された画素信号に基づいて特徴を検出し、
　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に、前記一部の第１画素回路から２回にわたって画素信号を出力し、前記一部の第１画素回路以外の第１画素回路から１回ずつ画素信号を出力してもよい。
　前記第１撮像素子は、前記特徴検出部で特徴が検出されなかったフレーム期間内には、前記複数の第１画素回路からの画素信号の出力を停止し、
　前記第２撮像素子は、前記特徴検出部で特徴が検出されなかった前記フレーム期間内には、前記複数の第２画素回路からの画素信号の出力を停止してもよい。
　前記制御部は、前記特徴検出部で検出された前記特徴を含む画素位置に合わせて、前記フレーム期間ごとに、前記複数の第１画素回路内に１以上の第１画素回路を含む第１のＲＯＩ（Region Of Interest）画素領域を設定するとともに、前記複数の第２画素回路内に１以上の第２画素回路を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部を有し、
　前記第１撮像素子は、前記同一のフレーム期間内に前記第１のＲＯＩ画素領域内の画素信号を出力し、
　前記第２撮像素子は、前記同一のフレーム期間内に前記第２のＲＯＩ画素領域内の画素信号を出力してもよい。
　前記特徴検出部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、前記動きを検出し、
　前記第１撮像素子は、前記動きが検出されたフレーム期間内に、前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記動きが検出された前記フレーム期間内に、前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力してもよい。
　前記特徴検出部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、前記動きを検出し、
　前記制御部は、前記複数の第１画素回路のうち１以上の前記第１画素回路の画素位置を含む第１のＲＯＩ画素領域を設定するとともに、前記複数の第２画素回路のうち１以上の第２画素回路の画素位置を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部を有し、
　前記第１撮像素子は、前記動きが検出されたフレーム期間内に、前記第１のＲＯＩ画素領域内の画素信号を出力し、
　前記第２撮像素子は、前記動きが検出された前記フレーム期間内に、前記第２のＲＯＩ画素領域内の画素信号を出力してもよい。
　前記制御部は、
　前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、対象物が撮像されているか否かを判定する対象物判定部と、
　前記対象物が撮像されていると判定された場合に、前記複数の第１画素回路のうち１以上の前記第１画素回路の画素位置を含む第１のＲＯＩ画素領域を設定するとともに、前記複数の第２画素回路のうち１以上の第２画素回路の画素位置を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部と、を有し、
　前記第１撮像素子は、前記対象物が撮像されたフレーム期間内に前記第１のＲＯＩ画素領域内の前記第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記対象物が撮像された前記フレーム期間内に前記第２のＲＯＩ画素領域内の前記第２画素回路から画素信号を出力してもよい。
　前記制御部は、前記対象物の位置に合わせて、前記対象物を含むように前記第１のＲＯＩ画素領域及び前記第２のＲＯＩ画素領域の画素位置をフレーム期間ごとに制御してもよい。
　前記複数の第１画素回路のそれぞれは、
　第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第１浮遊拡散領域と、
　前記第１浮遊拡散領域の電荷をリセットした状態で前記第１浮遊拡散領域の電位に応じた電荷を蓄積する第１キャパシタと、
　前記第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２キャパシタと、を有し、
　前記複数の第２画素回路のそれぞれは、
　第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２浮遊拡散領域と、
　前記第２浮遊拡散領域の電荷をリセットした状態で前記第２浮遊拡散領域の電位に応じた電荷を蓄積する第３キャパシタと、
　前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第４キャパシタと、を有し、
　前記第１キャパシタ、前記第２キャパシタ、前記第３キャパシタ、及び前記第４キャパシタに蓄積された電荷は、読み出された後でも同一のフレーム期間内に保持されてもよい。
　前記第１撮像素子は、一部の前記第１画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
　前記第２撮像素子は、一部の前記第１画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替え、
　前記複数の第１画素回路のそれぞれは、
　第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第１浮遊拡散領域と、
　前記第１浮遊拡散領域の電荷をリセットした状態で前記第１浮遊拡散領域の電位に応じた電荷を蓄積する第１キャパシタと、
　前記第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２キャパシタと、を有し、
　前記複数の第２画素回路のそれぞれは、
　第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２浮遊拡散領域と、
　前記第２浮遊拡散領域をリセットした状態での電荷又は前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第３キャパシタと、を有し、
　前記第１キャパシタ及び前記第２キャパシタに蓄積された電荷は、読み出された後でも同一フレーム内で保持され、
　前記第３キャパシタは、一つのフレーム期間内に、前記第２浮遊拡散領域をリセットした状態での電荷を蓄積した後、前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積してもよい。
　前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路内の第１光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路内の第２光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングとを、互いにずらしてもよい。
　前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路内でのリセットレベルの電荷をサンプリングするタイミングと、前記第１光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路内でのリセットレベルの電荷をサンプリングするタイミングと、前記第２光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングとを、それぞれずらしてもよい。
　前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するタイミングとを、互いにずらしてもよい。
　前記制御部は、前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力させた後に、前記同一のフレーム期間内で前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力させてもよい。
　前記複数の第１画素回路は、第１方向及び第２方向に複数個ずつ配置され、
　前記複数の第２画素回路は、前記第１方向及び前記第２方向に複数個ずつ配置され、
　前記第１撮像素子及び前記第２撮像素子は、前記同一のフレーム期間内に画素信号を出力する際には、前記第２方向に配置される画素群ごとに交互に画素信号を出力してもよい。
　前記第１撮像素子及び前記第２撮像素子は、同一の画素数を有し、
　前記第１撮像素子及び前記第２撮像素子は、同じ露光タイミングで露光を行ってもよい。
　本開示によれば、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有する第１撮像素子と、
　それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有する第２撮像素子と、
　前記第１撮像素子及び前記第２撮像素子を制御する制御部と、を備えるカメラシステムの制御方法であって、
　前記第１撮像素子は、一部の前記第１画素回路又は一部の前記第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
　前記第２撮像素子は、前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える、カメラシステムの制御方法が提供される。
第１の実施形態によるカメラシステムの概略構成を示すブロック図。 動き検出部の内部構成の一例を示すブロック図。 第１撮像素子の概略構成を示すブロック図。 画素アレイ部内の各画素の回路図。 図３に示す負荷ＭＯＳ回路とカラム信号処理回路の内部構成を示すブロック図。 第１撮像素子及び第２撮像素子のグローバルシャッタ動作のタイミング図。 第１撮像素子及び第２撮像素子における画素信号の読出し動作のタイミング図。 第１の実施形態によるカメラシステムの処理動作を示すフローチャート。 第１の実施形態によるカメラシステムの模式的な動作タイミング図。 第２の実施形態によるカメラシステムの概略構成を示すブロック図。 第２の実施形態によるカメラシステムの模式的な動作タイミング図。 第３の実施形態によるカメラシステムの概略構成を示すブロック図。 第３の実施形態によるカメラシステムの模式的な動作タイミング図。 第３の実施形態の一変形例によるカメラシステムの概略構成を示すブロック図。 プレビュー読出しを行わない第２撮像素子の画素回路の代替回路図。 第５の実施形態によるカメラシステムの概略構成を示すブロック図。 第１５の実施形態によるカメラシステムの動作タイミング図。 一比較例によるカメラシステムの動作タイミング図。 図１６の一変形例によるカメラシステムの概略構成を示すブロック図。 第６の実施形態によるカメラシステムの動作タイミング図。 第６の実施形態の一変形例による動作タイミング図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
　以下、図面を参照して、カメラシステムの実施形態について説明する。以下では、カメラシステムの主要な構成部分を中心に説明するが、カメラシステムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）　図１は第１の実施形態によるカメラシステム１の概略構成を示すブロック図である。図１のカメラシステム１は、少なくとも２つの撮像素子を備えており、ステレオカメラを構成することが可能である。なお、図１は第１の実施形態によるカメラシステム１の最小限の構成を示しており、図１に図示しない構成部分を備えていてもよい。例えば、第１の実施形態によるカメラシステム１は、信号処理回路、距離計測回路、又は画像処理回路などを備えていてもよい。以下では、図１に基づいて、第１の実施形態によるカメラシステム１の構成及び動作を説明する。
　図１のカメラシステム１は、第１撮像素子２と、第２撮像素子３と、制御部４とを備えている。第１撮像素子２と第２撮像素子３は、同じ画素数を持っており、同じ露光タイミングで撮像を行う。例えば、第１撮像素子と第２撮像素子３は、同一の被写体を撮像し、視差画像を生成することができる。視差画像は、例えば被写体の距離を計測するために用いることができる。
　以下では、一例として、入射光の入射方向に対して左側に第１撮像素子２が配置され、右側に第２撮像素子３が配置される例を説明するが、第１撮像素子２と第２撮像素子３の配置場所は任意である。
　第１撮像素子２と第２撮像素子３は、可視光帯域の光電変換を行ってもよいし、あるいは赤外光帯域の光電変換を行ってもよい。第１撮像素子２と第２撮像素子３が可視光帯域の光電変換を行う場合に、カラー画像を撮像してもよいし、モノクロ画像を撮像してもよい。
　第１撮像素子２は、それぞれの画素で光電変換された入射光に応じた電荷を全画素同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有する。第２撮像素子３は、それぞれの画素で光電変換された入射光に応じた電荷を全画素同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有する。第１撮像素子２が有する第１画素回路と、第２撮像素子３が有する画素回路は、同じ回路構成であるため、本明細書では、第１画素回路と第２画素回路を総称して、単に画素回路と呼ぶことがある。
　第１撮像素子２と第２撮像素子３はいずれも、全画素での撮像を同時に行うグローバルシャッタ方式の撮像素子である。グローバルシャッタ方式を採用することで、撮像画像の歪みを抑制でき、例えば第１撮像素子２と第２撮像素子３を利用して距離計測を行う際の距離精度を向上できる。
　また、第１撮像素子２と第２撮像素子３の各画素回路は、後述するように、いわゆるボルテージドメイン方式の回路構成を備えている。ボルテージドメイン方式の回路構成を備えることで、微細化が容易になり、高解像度化を実現できる。
　制御部４は、第１撮像素子２及び第２撮像素子３を制御する。より詳細には、制御部４は、第１撮像素子２及び第２撮像素子３の露光のタイミング、電荷転送のタイミング、及び画素信号の読出しのタイミングを制御する。
　制御部４は、特徴検出部５と撮像制御部６を有する。特徴検出部５は、一部の第１画素回路又は一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、対象物の動き又は対象物の存在の少なくとも一方を含む特徴を検出する。
　第１撮像素子２は、特徴検出部５で特徴が検出されたフレーム期間内に複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力する。第２撮像素子３は、特徴検出部５で特徴が検出されたフレーム期間内に複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力する。
　例えば、第１撮像素子２は、特徴検出部５で特徴が検出されたフレーム期間内に全画素の第１画素回路から画素信号を出力することができる。同様に、第２撮像素子３は、特徴検出部５で特徴が検出されたフレーム期間内に全画素の第２画素回路から画素信号を出力することができる。
　特徴検出部５が一部の第１画素回路から出力された画素信号に基づいて特徴を検出した場合、第１撮像素子２は、特徴検出部５で特徴が検出されたフレーム期間内に、一部の第１画素回路から２回にわたって画素信号を出力し、一部の第１画素回路以外の第１画素回路から１回ずつ画素信号を出力する。このように、第１撮像素子２内の一部の第１画素回路は、一つのフレーム期間内に２回にわたって画素信号を出力する二度読みを行う。このような二度読みが可能な理由は、第１画素回路がボルテージドメイン方式の回路構成であるためである。
　第１撮像素子２は、特徴検出部５で特徴が検出されなかったフレーム期間内には、複数の第１画素回路からの画素信号の出力を停止する。同様に、第２撮像素子３は、特徴検出部５で特徴が検出されなかったフレーム期間内には、複数の第２画素回路からの画素信号の出力を停止する。このように、特徴が検出されなかったフレーム期間内には、第１撮像素子２と第２撮像素子３から画素信号を出力しないようにするため、消費電力を削減できる。
　特徴検出部５の一具体例は、動き検出部５ａである。以下では、特徴検出部５が動き検出部５ａである例を主に説明する。動き検出部５ａは、一部の第１画素回路又は一部の第２画素回路から出力された画素信号に基づいて、対象物の動きを検出する。対象物は任意であり、一部の第１画素回路又は一部の第２画素回路から出力された画素信号に基づいて生成された画像データ内の少なくとも一部の画素で何らかの動きが検出されると、動き検出部５ａは動きを検出したことを示す信号（以下、動き検出信号と呼ぶことがある）を出力する。
　動き検出部５ａから出力された動き検出信号は、制御部４内の撮像制御部６に入力される。撮像制御部６は、動き検出信号に基づいて、第１撮像素子２と第２撮像素子３の露光タイミング、サンプリングタイミング、又は画素信号の出力タイミングなどを制御する。
　図２は動き検出部５ａの内部構成の一例を示すブロック図である。動き検出部５ａは、記憶部７と比較部８を有する。図２では、第１撮像素子２から出力された画像データに基づいて動き検出を行う例を示している。第１撮像素子２から出力されたフレーム単位の画像データは、記憶部７と比較部８に入力される。記憶部７には、１フレーム前の画像データが記憶されている。比較部８は、第１撮像素子２から出力された画像データと、記憶部７から読み出された１フレーム前の画像データとを比較し、２つの画像データ同士に異なっている箇所があれば、動きとして検出する。
　図３は第１撮像素子２の概略構成を示すブロック図である。第２撮像素子３は、第１撮像素子２と同じブロック構成を有するため、以下では、第１撮像素子２の構成を主に説明する。
　図３に示すように、第１撮像素子２は、画素アレイ部１１と、垂直走査回路１２と、負荷ＭＯＳ（Metal Oxide Semiconductor）回路１３と、カラム信号処理回路１４と、タイミング制御回路１５と、デジタル－アナログ変換器（ＤＡＣ）１６とを備えている。
　画素アレイ部１１は、第１方向Ｘ及び第２方向Ｙに配置された複数の画素を有する。本明細書では、第１方向Ｘを行方向、第２方向Ｙを列方向と呼ぶこともある。また、本明細書では、１行分の画素群を画素行と呼び、１列分の画素群を画素列と呼ぶ。
　タイミング制御回路１５は、制御部４から供給される垂直同期信号ＸＶＳに同期して、垂直走査回路１２、ＤＡＣ１６、及びカラム信号処理回路１４の動作タイミングを制御する。ＤＡＣ１６は、カラム信号処理回路１４でアナログ－デジタル変換（以下、ＡＤ変換）を行う際に使用するランプ信号Ｒａｍｐを生成する。ランプ信号Ｒａｍｐは、例えば鋸波状の信号である。
　垂直走査回路１２は、複数の行走査線Ｌ１を順に駆動する。行走査線Ｌ１は、第２方向Ｙに並ぶ画素行ごとに設けられており、垂直走査回路１２がいずれかの行走査線Ｌ１を駆動すると、対応する画素行内の各画素からの画素信号が複数の垂直信号線Ｌ２に送られる。複数の垂直信号線Ｌ２上の複数の画素信号は、負荷ＭＯＳ回路１３を介して、カラム信号処理回路１４に入力される。
　負荷ＭＯＳ回路１３は、後述するように、各垂直信号線Ｌ２に定電流を供給する定電流源を有する。
　カラム信号処理回路１４は、垂直信号線Ｌ２ごとに、各垂直信号線Ｌ２上の画素信号をＡＤ変換するとともに、ＡＤ変換後のデジタル画素信号に対してＣＤＳ（Correlated Double Sampling）処理を行う。本明細書では、カラム信号処理回路１４の出力を画像データと呼ぶ。画像データとは、画素アレイ部１１の一部又は全域で撮像されたフレーム単位の画像データである。
　第１撮像素子２と第２撮像素子３はいずれも、複数の画素２０を有する。第１撮像素子２内の各画素２０は、第１光電変換素子と第１画素回路を有する。第２撮像素子３内の各画素２０は、第２光電変換素子と第２画素回路を有する。
　図４は画素アレイ部１１内の各画素２０の回路図である。画素２０は、光電変換素子２１と画素回路２２を有する。図４の画素２０は、第１撮像素子２内の画素２０と第２撮像素子３内の画素２０のいずれにも適用可能であり、グローバルシャッタ方式で、かつボルテージドメイン方式の画素２０である。
　図４の画素２０内の画素回路２２は、前段回路２３と、選択回路２４と、後段回路２５とを有する。
　前段回路２３は光電変換素子２１に接続されており、転送トランジスタ３１と、浮遊拡散領域（以下、フローティングディフュージョン又はＦＤと呼ぶ）３２と、第１リセットトランジスタ３３と、第１増幅トランジスタ３４と、電流源３５とを有する。
　光電変換素子２１は、光電変換による入射光に応じた電荷を蓄積する。転送トランジスタ３１は、垂直走査回路１２からの転送信号ｔｒｇに従って、光電変換素子２１からＦＤ３２に電荷を転送する。第１リセットトランジスタ３３は、垂直走査回路１２からのリセット信号に従って、ＦＤ３２から電荷を引き抜いてＦＤ３２の電圧を初期化する。ＦＤ３２は、リセットレベルの電荷、又は光電変換素子２１で光電変換された入射光に応じた電荷を蓄積し、蓄積された電荷に応じた電圧を生成する。第１増幅トランジスタ３４のドレインには電源電圧ＶＤＤが印加され、第１増幅トランジスタ３４のソースには電流源３５と前段回路２３の出力ノードが接続されている。
　前段回路２３の出力ノードには、第１キャパシタＣ１の一端と第２キャパシタＣ２の一端とが接続されている。第１キャパシタＣ１はＦＤ３２のリセットレベルの電荷を保持（サンプリング）するために用いられ、第２キャパシタＣ２は光電変換素子２１で光電変換された入射光に応じた電荷を保持（サンプリング）するために用いられる。以下では、光電変換素子２１で光電変換された入射光に応じた電荷を信号電荷と呼ぶことがある。
　選択回路２４は、第１選択トランジスタ４１及び第２選択トランジスタ４２を有する。後段回路２５は、第２増幅トランジスタ４３及び第３選択トランジスタ４４を有する。
　第１選択トランジスタ４１は、垂直走査回路１２からの第１選択信号φｒに従って、第１キャパシタＣ１の他端を後段回路２５内の第２増幅トランジスタ４３のゲートに接続するか否かを切り替える。第２選択トランジスタ４２は、垂直走査回路１２からの第２選択信号φｓに従って、第２キャパシタＣ２の他端を後段回路２５内の第２増幅トランジスタ４３のゲートに接続するか否かを切り替える。
　第１キャパシタＣ１の他端、第２キャパシタＣ２の他端、及び第２増幅トランジスタ４３のゲートを繋ぐ信号経路には、第２リセットトランジスタ４５が接続されている。第２リセットトランジスタ４５は、垂直走査回路１２からの第２リセット信号ｒｓｔｂに従って、上述した信号経路を電源電圧レベルに初期化するか否かを切り替える。
　垂直走査回路１２は、露光開始時に、画素アレイ部１１内の全画素２０にハイレベルの第１リセット信号ｒｓｔと、ハイレベルの転送信号を供給する。これにより、全画素２０の光電変換素子２１が初期化される。その後、垂直走査回路１２は、露光が終了する直前に、第１リセットトランジスタ３３をオンしてＦＤ３２の電荷を引き抜き、ＦＤ３２の電位をリセットレベルに設定する。また、第２リセットトランジスタ４５と第１選択トランジスタ４１をともにオンすることで、第１キャパシタＣ１にＦＤ３２のリセットレベルに応じた電荷が保持される。
　垂直走査回路１２は、露光終了時に、画素アレイ部１１内の全画素２０について、第２リセットトランジスタ４５と第２選択トランジスタ４２をともにオンするとともに、所定時間だけ転送トランジスタ３１をオンする。これにより、露光量に応じた信号電荷が転送トランジスタ３１を通ってＦＤ３２に転送されて蓄積される。ＦＤ３２には入射光の光量に応じた電荷が蓄積され、ＦＤ３２は蓄積容量に応じた電位になる。また、第２キャパシタＣ２には、入射光の光量に応じた信号電荷が保持される。
　このように、第１撮像素子２及び第２撮像素子３は、それぞれの画素アレイ部１１内の全画素２０について同時に露光を開始して、同時に露光を終了させるグローバルシャッタ方式で撮像を行う。また、第１撮像素子２及び第２撮像素子３は、各画素２０内の第１キャパシタＣ１にＦＤ３２のリセットレベルに応じた電荷を保持し、第２キャパシタＣ２に入射光に応じた信号電荷を保持するボルテージドメイン方式の回路構成の画素回路（第１画素回路と第２画素回路）２２を有する。
　垂直走査回路１２は、露光終了後に、画素アレイ部１１内の各画素行を順に選択する。これにより、選択された画素行に含まれる各画素２０の第１キャパシタＣ１の保持電荷に応じたリセットレベルの画素信号と、第２キャパシタＣ２の保持電荷に応じた信号電荷レベルの画素信号とが、順に、対応する垂直信号線Ｌ２に出力される。
　図５は図３に示す負荷ＭＯＳ回路１３とカラム信号処理回路１４の内部構成を示すブロック図である。負荷ＭＯＳ回路１３は、それぞれが第１方向Ｘに配置されて第２方向Ｙに延びる複数の垂直信号線Ｌ２に接続される複数の電流源５１を有する。各垂直信号線Ｌ２は、第２方向Ｙに延びる画素列ごとに設けられている。各電流源５１は、対応する垂直信号線Ｌ２に定電流を供給する。
　カラム信号処理回路１４は、複数のアナログ－デジタル変換器（以下、ＡＤＣ）５２と、デジタル信号処理部５３とを有する。複数のＡＤＣ５２は、複数の垂直信号線Ｌ２に対応づけて設けられている。ＡＤＣ５２は、図３に示すタイミング制御回路１５からの制御信号Ｌ３に同期させて、図３に示すＤＡＣ１６からのランプ信号Ｒａｍｐを用いて、対応する垂直信号線Ｌ２上の画素信号をデジタル画素信号に変換する。ＡＤＣ５２から出力されたデジタル画素信号は、デジタル信号処理部５３に供給される。ＡＤＣ５２は、例えば、コンパレータとカウンタを有するシングルスロープ型のＡＤＣ５２である。
　デジタル信号処理部５３は、垂直信号線Ｌ２ごとに、リセットレベルの画素信号と、信号電荷の画素信号との間でＣＤＳ処理などの信号処理を行って画像データを出力する。デジタル信号処理部５３は、フレーム単位で画像データを出力する。
　図６は第１撮像素子２及び第２撮像素子３のグローバルシャッタ動作のタイミング図である。垂直走査回路１２は、露光開始の直前の時刻ｔ０から露光開始時刻ｔ１までの期間に、第１リセット信号ｒｓｔと転送信号ｔｒｇをともにハイレベルにする。これにより、第１リセットトランジスタ３３と転送トランジスタ３１がともにオンして、画素アレイ部１１内の全画素２０がリセットされ、ＦＤ３２の電荷が引き抜かれて、ＦＤ３２の電位はリセットレベルになる。図６は、画素アレイ部１１にＮ行分の画素行が存在する例を示す。図６では、Ｎ行分の画素行の各画素回路に入力される信号の末尾に、［１：Ｎ］を表記しているが、本明細書では、この表記を省略している。
　時刻ｔ１になると、第１リセットトランジスタ３３と転送トランジスタ３１がともにオフして、露光が開始される。その後、露光期間の終了直前の時刻ｔ２において、垂直走査回路１２は、画素アレイ部１１内の全画素２０について、第２リセット信号ｒｓｔｂと第１選択信号φｒをともにハイレベルにするとともに、第１リセット信号ｒｓｔをハイレベルにする。これにより、全画素２０のＦＤ３２の電位がリセットレベルに初期化され、第１キャパシタＣ１にリセットレベルに応じた電荷が保持（サンプリング）される。
　その後、時刻ｔ３になると、第１選択信号φｒがハイレベルからローレベルに遷移し、第１選択トランジスタ４１がオフする。これにより、第１キャパシタＣ１のサンプリング期間が終了する。
　その後、時刻ｔ４になると、転送信号ｔｒｇが一時的にハイレベルになり、転送トランジスタ３１が一時的にオンする。これにより、光電変換素子２１で光電変換された入射光に応じた電荷が転送トランジスタ３１を通ってＦＤ３２に転送される。入射光の光量が多いほど、ＦＤ３２に転送される信号電荷が増えて、ＦＤ３２の電圧が下がる。
　また、時刻ｔ４では、第２選択信号φｓがハイレベルになり、第２選択トランジスタ４２がオンする。これにより、第２キャパシタＣ２は、ＦＤ３２の信号電荷に応じた電荷を保持（サンプリング）する。その後、時刻ｔ５になると、第２選択信号φｓがローレベルになり、第２キャパシタＣ２のサンプリング期間が終了する。
　図７は第１撮像素子２及び第２撮像素子３における画素信号の読出し動作のタイミング図である。図７では、Ｎ個の画素行のうち、ｎ番目の画素行の読出し動作を行う場合のタイミングを示している。図７では、ｎ番目の画素行の各画素回路に入力される信号の末尾に、［ｎ］を表記しているが、本明細書では、この表記を省略している。
　時刻ｔ１０で、垂直走査回路１２は、ｎ番目の画素行内の各画素２０の第１リセット信号ｒｓｔをハイレベルに、第３選択トランジスタ４４のゲートに入力される第３選択信号ｓｅｌをハイレベルに、第２リセット信号ｒｓｔｂをローレベルに、第１選択信号φｒをハイレベルにする。これにより、ＦＤ３２の電位はリセットレベルに初期化され、第１キャパシタＣ１の保持電荷に応じた電圧が第２増幅トランジスタ４３のゲートに供給される。このとき、第３選択トランジスタ４４はオンするため、垂直信号線Ｌ２には、ｎ番目の画素行内の各画素回路における第２増幅トランジスタ４３のゲート電圧に応じた電圧レベルの画素信号が供給される。
　時刻ｔ１３になると、第１選択信号φｒがローレベルになり、第１選択トランジスタ４１がオフする。その後、時刻ｔ１４になると、一時的に第２リセット信号ｒｓｔｂがハイレベルになり、第２リセットトランジスタ４５がオンする。よって、第１キャパシタＣ１及び第２キャパシタＣ２の他端側は電源電圧レベルまで上昇する。
　その後、時刻ｔ１５になると、第２選択信号φｓがハイレベルになり、第２選択トランジスタ４２がオンする。これにより、第２キャパシタＣ２の保持電荷に応じた電圧が第２増幅トランジスタ４３のゲートに供給される。このとき、第３選択トランジスタ４４はオンであるため、垂直信号線Ｌ２には、ｎ番目の画素行内の各画素回路における第２増幅トランジスタ４３のゲート電圧に応じた電圧レベルの画素信号が供給される。
　図７に破線で示すように、ＤＡＣ１６に入力されるランプ信号Ｒａｍｐの電圧レベルは、時刻ｔ１６～ｔ１７にかけて徐々に上昇する。ＡＤＣ５２は、ランプ信号Ｒａｍｐと垂直信号線Ｌ２上の画素信号とを比較し、比較結果が反転するまでの期間を不図示のカウンタでカウントする。カウンタのカウント値に基づいてデジタル画素信号が生成される。
　図８は第１の実施形態によるカメラシステム１の処理動作を示すフローチャートである。カメラシステム１は、不図示のシャッタボタンが押下されると、図８のフローチャートの処理動作を開始する。
　まず、第１撮像素子２と第２撮像素子３は同時に露光を開始し、画素２０ごとに、図４に示す第１キャパシタＣ１にリセットレベルの電荷を保持するとともに、第２キャパシタＣ２に信号電荷を保持する（ステップＳ１）。このように、ステップＳ１では、第１撮像素子２と第２撮像素子３が同時に、全画素２０について画素２０ごとに、図６の時刻ｔ０～ｔ５の期間の動作を行う。
　次に、第１撮像素子２又は第２撮像素子３の一方から、少なくとも一部の画素２０の画素信号を読み出す（ステップＳ２）。本明細書では、ステップＳ２の画素信号の読出しをプレビュー読み出しと呼ぶ。以下では、第１撮像素子２からプレビュー読出しを行う例を説明するが、第２撮像素子３からプレビュー読出しを行ってもよい。
　プレビュー読出しでは、第１撮像素子２内の画素アレイ部１１の全画素２０の画素信号を読み出すのではなく、全画素２０から間引かれた一部の画素２０の画素信号を読み出す。画素２０の間引き方は任意である。例えば、全画素２０から第１方向Ｘ及び第２方向Ｙに複数画素ごとに選択した一部の画素２０の画素信号を読み出してもよい。
　ステップＳ２で全画素２０から間引かれた一部の画素２０の画素信号を読み出す理由は、消費電力の削減と、動き検出処理の迅速化のためである。画素アレイ部１１から読み出された画素信号は、カラム信号処理回路１４でデジタル画素信号に変換される。カラム信号処理回路１４は、リセットレベルのデジタル画素信号と信号電荷に応じたデジタル画素信号とを用いてＣＤＳ処理を行って、画像データを生成する。カラム信号処理回路１４から出力された画像データは、図１の制御部４内の動き検出部５ａに入力される。
　動き検出部５ａは、ステップＳ２で読み出された一部の画素２０の画素信号に基づく画像データに基づいて、動きのある画素２０を検出する（ステップＳ３）。次に、ステップＳ３の検出結果に基づいて、動きのある画素２０が存在するか否かを判定する（ステップＳ４）。動きのある画素２０が存在しない場合は、ステップＳ１以降の処理を繰り返す。動きのある画素２０が存在する場合、第１撮像素子２と第２撮像素子３の双方において、画素アレイ部１１の全画素２０の画素信号を出力する（ステップＳ５）。ステップＳ５の処理を本明細書では、本読出しと呼ぶ。本実施形態による本読出しでは、第１撮像素子２と第２撮像素子３の双方が全画素２０の画素信号を出力する。
　最初にステップＳ１の処理を行った際に、第１キャパシタＣ１と第２キャパシタＣ２に電荷が保持されているため、ステップＳ４の判定がＹＥＳになって本読出しを行う際には、第１キャパシタＣ１と第２キャパシタＣ２の保持電荷に応じた画素信号を出力するだけでよく、画素信号を迅速に出力することができる。ステップＳ５の処理が終わると、ステップＳ１以降の処理を繰り返す。
　なお、ステップＳ５の本読出しを行うのは、画像データの少なくとも一部に動きがある場合だけである。すなわち、プレピュー読出しで生成された画像データ中に動きが検出されなかった場合は、本読出しを行わないことから、本読出しの頻度を減らすことができ、消費電力の削減を図れる。
　本実施形態による画素回路２２は、ボルテージドメイン方式の回路構成を備えているため、プレビュー読出しのために第１キャパシタＣ１と第２キャパシタＣ２の保持電荷を読み出しても、第１キャパシタＣ１と第２キャパシタＣ２には電荷が保持されたままである。よって、ステップＳ４でＹＥＳと判定された場合に、同一フレーム期間内に、複数回にわたって第１キャパシタＣ１と第２キャパシタＣ２から保持電荷を読み出すことができる。
　図９は第１の実施形態によるカメラシステム１の模式的な動作タイミング図である。図９は、信号電荷を第２キャパシタＣ２に保持して読み出すタイミングを示しており、ＦＤ３２のリセットレベルを第１キャパシタＣ１に保持して読み出すタイミングを省略している。図９の上の段はプレビュー読出しと本読出しを行う第１撮像素子２の動作タイミングを示し、下の段はプレビュー読出しを行わずに本読出しを行う第２撮像素子３の動作タイミングを示している。
　時刻ｔ２１で、第１撮像素子２と第２撮像素子３は同時に露光を開始する。時刻ｔ２２で、露光を終了して、第１撮像素子２と第２撮像素子３は同時に信号電荷を第２キャパシタＣ２に保持（サンプリング）する。時刻ｔ２２～ｔ２３の期間に、第１撮像素子２は、プレビュー読出しを行う。
　上述したように、プレビュー読出しされた画素信号に基づく画像データは、制御部４内の動き検出部５ａに送られる。動き検出部５ａは、時刻ｔ２３～ｔ２４の期間に動き検出を行う。
　動きが検出されなかった場合は、そのフレーム内では、第１撮像素子２と第２撮像素子３の双方とも、本読出しを行わない。図９のフレームｆ１では、プレビュー読出しで動きが検出されなかったため、本読出しは行われない。
　時刻ｔ２４では、次のフレームｆ２のための露光を開始する。時刻ｔ２５で露光を終了し、第１撮像素子２と第２撮像素子３は同時に信号電荷を第２キャパシタＣ２に保持（サンプリング）する。時刻ｔ２５～ｔ２６の期間に第１撮像素子２はプレビュー読出しを行う。時刻ｔ２６～ｔ２７の期間に、動き検出部５ａは、プレビュー読出しされた画素信号に基づく画像データの動き検出を行う。この結果、動きが検出されると、第１撮像素子２と第２撮像素子３は双方とも、全画素分の画素信号を読み出す本読出しを行う。
　このように、第１の実施形態は、グローバルシャッタ方式で、かつボルテージドメイン方式の回路構成の画素回路（第１画素回路と第２画素回路）２２を有する第１撮像素子２と第２撮像素子３を備えたガメラシステムにおいて、第１撮像素子２と第２撮像素子３のいずれか一方でプレビュー読出しを行って生成された画像データについて動き検出を行い、動きが検出された場合に限り、第１撮像素子２と第２撮像素子３の双方で全画素２０の画素信号を読み出す本読出しを行う。プレビュー読出しで動きが検出されなければ本読出しを行わないため、消費電力を削減できる。
　また、本実施形態による画素回路２２は、ボルテージドメイン方式の回路構成を有するため、第１キャパシタＣ１と第２キャパシタＣ２に保持された電荷をプレビュー読出しのために読み出したとしても、その電荷がそのまま保持されるため、同じフレーム内で再度、本読出しのために第１キャパシタＣ１と第２キャパシタＣ２から電荷を読み出すことができ、プレビュー読出し後に迅速に本読出しを行うことができる。
　（第２の実施形態）　第１の実施形態では、本読出しの際に全画素２０の画素信号を読み出していたが、一部の画素２０の画素信号を読み出してもよい。
　図１０は第２の実施形態によるカメラシステム１の概略構成を示すブロック図である。図１０のカメラシステム１は、制御部４の内部構成が図１とは異なっている。図１０のカメラシステム１内の制御部４は、撮像制御部６とＲＯＩ（Region Of Interest）設定部５ｂを有する。ＲＯＩ設定部５ｂは、特徴検出部５の一形態である。
　ＲＯＩ設定部５ｂは、画素アレイ部１１内の注目するべき一部の画素領域を設定する。ＲＯＩ画素領域をどの画素位置に設けて、どの程度のサイズにするかは任意である。図１０のＲＯＩ設定部５ｂは、プレビュー読み出し時の画像データに基づいてＲＯＩ画素領域を設定する。ＲＯＩ画素領域は、例えば、人物の目、顔、又は輪郭などを含む画素領域でもよい。
　ＲＯＩ設定部５ｂは、ＲＯＩ画素領域の設定情報を撮像制御部６に送る。撮像制御部６は、ＲＯＩ画素領域の設定情報に基づいて、垂直走査回路１２及びカラム信号処理回路１４に制御信号を送信する。
　図１１は第２の実施形態によるカメラシステム１の模式的な動作タイミング図である。第１撮像素子２及び第２撮像素子３は、時刻ｔ３１で露光を開始し、時刻ｔ３２で露光を終了する。第１撮像素子２は、時刻ｔ３２～ｔ３３の期間に、プレビュー読出しを行う。
　ＲＯＩ設定部５ｂは、時刻ｔ３３～ｔ３４の期間内に、プレビュー読出しで生成された画像データに基づいて、注目画素を含むＲＯＩ画素領域を設定する。注目画素とは、例えば、人物の目又は顔等を含む画素２０である。
　ＲＯＩ設定部５ｂは、ＲＯＩ画素領域の設定情報を撮像制御部６に送る。ＲＯＩ画素領域の設定情報とは、例えば、注目画素の画素位置と、注目画素の周囲に設定されるＲＯＩ画素領域のサイズと画素位置などを含む情報である。撮像制御部６は、ＲＯＩ画素領域の設定情報に基づいて、垂直走査回路１２及びカラム信号処理回路１４に制御信号を送る。垂直走査回路１２は、制御信号に基づいて、本読出しを行う画素行を駆動するための行走査信号を駆動する。カラム信号処理回路１４は、制御信号に基づいて、本読出しを行う画素列に対応する垂直信号線Ｌ２上の画素信号を取得して、ＡＤ変換及びＣＤＳ処理などを行う。
　第１撮像素子２及び第２撮像素子３は、時刻ｔ３４～ｔ３５の期間内に、ＲＯＩ画素領域内の画素信号を出力する本読出しを行う。各画素回路２２内の第１キャパシタＣ１と第２キャパシタＣ２には、すでに電荷が保持されているため、第１キャパシタＣ１と第２キャパシタＣ２の保持電荷に基づく画素信号を迅速に出力できる。
　時刻ｔ３２～ｔ３６の期間に、フレームｆ１についてのプレビュー読出しと本読出しを行う。同様に、時刻ｔ３７～ｔ４０の期間に、次のフレームｆ２についてのプレビュー読出しと本読出しを行う。図１１の例では、フレームｆ１とフレームｆ２で、ＲＯＩ画素領域の場所が互いに異なる例を示している。ＲＯＩ設定部５ｂは、フレームごとにＲＯＩ画素領域を設定するため、対象物が移動する場合には、フレームごとに異なる場所にＲＯＩ画素領域が設定される。
　図１１の動作タイミング図では、フレームごとにＲＯＩ画素領域の画素信号を読み出す例を示しているが、場合によっては、プレビュー読出しした画像データ内に注目画素が存在しない場合がありうる。例えば、注目画素が人物の顔の場合に、画像データ内に人物が存在しない場合などである。この場合、ＲＯＩ設定部５ｂはＲＯＩ画素領域を設定できない。よって、フレームによっては、第１撮像素子２と第２撮像素子３は、本読出しを行わない場合がありうる。
　このように、第２の実施形態では、プレビュー読出しした画像データに基づいてＲＯＩ画素領域を設定し、プレビュー読出しをしたフレーム期間内に、第１撮像素子２と第２撮像素子３からＲＯＩ画素領域内の画素信号を出力する。これにより、ＲＯＩ画素領域だけを迅速かつ低消費電力で出力することができる。
　（第３の実施形態）　第３の実施形態では、動きが検出された画素領域にＲＯＩ画素領域を設定するものである。
　図１２は第３の実施形態によるカメラシステム１の概略構成を示すブロック図である。図１２のカメラシステム１は、制御部４の内部構成が図１及び図１０とは異なっている。図１０のカメラシステム１内の制御部４は、撮像制御部６と、動き検出部５ａと、ＲＯＩ設定部５ｂとを有する。動き検出部５ａ及びＲＯＩ設定部５ｂは、特徴検出部５の一形態である。
　動き検出部５ａは、第１撮像素子２のプレビュー読出しで生成された画像データに基づいて動きを検出する。ＲＯＩ設定部５ｂは、動き検出部５ａで動きが検出された画素２０を含むようにＲＯＩ画素領域を設定する。ＲＯＩ設定部５ｂは、ＲＯＩ画素領域の設定情報を撮像制御部６に送る。撮像制御部６は、ＲＯＩ画素領域の設定情報に基づいて、垂直走査回路１２とカラム信号処理回路１４に制御信号を送る。
　図１３は第３の実施形態によるカメラシステム１の模式的な動作タイミング図である。第１撮像素子２と第２撮像素子３は、時刻ｔ５１で露光を開始し、時刻ｔ５２で露光を終了して、第１キャパシタＣ１にリセットレベルの電荷を保持し、第２キャパシタＣ２に信号電荷を保持する。第１撮像素子２は、時刻ｔ５２～ｔ５３の期間に、プレビュー読出しを行う。
　動き検出部５ａは、時刻ｔ５３以降に、プレビュー読出しで生成された画像データに基づいて動きを検出する。動き検出部５ａは、動きが検出された画素２０の情報をＲＯＩ設定部５ｂに送る。ＲＯＩ設定部５ｂは、動きが検出された画素２０を含むＲＯＩ画素領域を設定する。ＲＯＩ設定部５ｂは、ＲＯＩ画素領域の設定情報を撮像制御部６に送る。撮像制御部６は、ＲＯＩ画素領域の設定情報に基づいて、垂直走査回路１２とカラム信号処理回路１４に制御信号を送る。
　図１３は、フレームｆ１の期間（時刻ｔ５２～ｔ５５）には動きが検出されず、次のフレームｆ２の期間（時刻ｔ５５～ｔ６０）には動きが検出された例を示す。
　動き検出部５ａは、フレームｆ２の期間内の時刻ｔ５５～ｔ５６の期間にプレビュー読出しで生成された画像データ内に動きを検出すると、動きのある画素２０に関する情報をＲＯＩ設定部５ｂに送る。ＲＯＩ設定部５ｂは、動きのある画素２０を含むＲＯＩ画素領域を設定する。
　第１撮像素子２と第２撮像素子３は、時刻ｔ５７～ｔ５８の期間に、ＲＯＩ画素領域内の画素信号を出力する。
　このように、第３の実施形態では、プレビュー読出しで生成された画像データに基づいて動きを検出し、動きのある画素２０を含むＲＯＩ画素領域を設定する。第１撮像素子２と第２撮像素子３は、プレビュー読出しをしたフレーム期間内に、ＲＯＩ画素領域の画素信号を出力する。これにより、消費電力を抑制しつつ、動きのある画素２０を含むＲＯＩ画素領域の画素信号を迅速に出力できる。
　図１２では、動き検出部５ａで動きが検出された画素２０を含むＲＯＩ画素領域を設定する例を示したが、図１４に示すように、ＲＯＩ設定部５ｂは動き検出部５ａとは無関係にＲＯＩ画素領域を設定してもよい。
　図１４は第３の実施形態の一変形例によるカメラシステム１の概略構成を示すブロック図である。図１４のカメラシステム１内の制御部４は、図１２の制御部４と同様に、撮像制御部６と、動き検出部５ａと、ＲＯＩ設定部５ｂとを有する。
　動き検出部５ａは、プレビュー読出しで生成された画像データに基づいて動きを検出する。動き検出部５ａで動きが検出されたか否かの情報は撮像制御部６に送られる。ＲＯＩ設定部５ｂは、動き検出部５ａで動きが検出された画素２０とは無関係に、ＲＯＩ画素領域を設定する。例えば、ＲＯＩ設定部５ｂは、プレビュー読出しで生成された画像データに含まれる人物の顔などを含む画素２０の周囲にＲＯＩ画素領域を設定する。ＲＯＩ設定部５ｂによるＲＯＩ画素領域の設定情報は撮像制御部６に送られる。
　第１撮像素子２及び第２撮像素子３は、プレビュー読出しで生成された画像データに基づいて動きが検出されると、同じフレーム期間内に、ＲＯＩ画素領域内の画素信号を出力する。これにより、動きがある場合のみ、ＲＯＩ画素領域内の画素信号を出力できる。
　（第４の実施形態）　プレビュー読出しを行う第１撮像素子２又は第２撮像素子３の一方（例えば、第１撮像素子２）については、同じフレーム期間内に２回にわたって、第１キャパシタＣ１と第２キャパシタＣ２の電荷を読み出すため、非破壊で電荷を読み出すことが可能なボルテージドメイン方式の回路構成の画素回路２２を採用する必要がある。一方、プレビュー読出しを行わない第１撮像素子２又は第２撮像素子３の他方（例えば、第２撮像素子３）は、必ずしもボルテージドメイン方式の回路構成の画素回路２２を採用する必要はない。
　図１５はプレビュー読出しを行わない第２撮像素子３の画素回路（第２画素回路）２２の代替回路図である。図１５の画素回路２２は、チャージドメイン方式の回路構成を有する。図１５の画素回路２２は、オーバーフロートランジスタ６１と、第１転送トランジスタ６２と、第２転送トランジスタ６３と、リセットトランジスタ６４と、増幅トランジスタ６５と、選択トランジスタ６６と、キャパシタＣ３と、浮遊拡散領域６７とを有する。
　オーバーフロートランジスタ６１は、光電変換素子２１のカソードと電源電圧ノードＶＤＤとの間に接続されている。オーバーフロートランジスタ６１は、オーバーフロー信号がハイレベルのときにオンして、光電変換素子２１の蓄積電荷をリセットする。
　第１転送トランジスタ６２と第２転送トランジスタ６３は、光電変換素子２１のカソードと浮遊拡散領域６７の間にカスコード接続されている。第１転送トランジスタ６２は、第１転送信号がハイレベルのときにオンする。第２転送トランジスタ６３は、第２転送信号がハイレベルのときにオンする。第１転送トランジスタ６２と第２転送トランジスタ６３の接続ノードと接地ノードの間にはキャパシタＣ３が接続されている。
　リセットトランジスタ６４は、電源電圧ノードＶＤＤと浮遊拡散領域６７の間に接続されている。リセットトランジスタ６４は、リセット信号ＲＳＴがハイレベルのときにオンして、浮遊拡散領域６７の蓄積電荷をリセットする。電源電圧ノードＶＤＤと垂直信号線Ｌ２の間には、増幅トランジスタ６５と選択トランジスタ６６がカスコード接続されている。増幅トランジスタ６５のゲートには、浮遊拡散領域６７の蓄積電荷に応じた電圧が印加される。選択トランジスタ６６は、選択信号がハイレベルのときにオンする。
　キャパシタＣ３は、フレーム期間内に、光電変換素子２１の蓄積電荷をリセットしたリセットレベルの電荷を保持した後、光電変換素子２１で光電変換された入射光に応じた電荷（信号電荷）を保持する。
　このように、図１５の画素回路２２は、リセットレベルの電荷と信号電荷を、時間をずらして同じキャパシタＣ３に保持するため、カラム信号処理回路１４でＣＤＳ処理を行ったときに、ｋＴＣノイズを完全に相殺できる。ところが、キャパシタＣ３に保持されたリセットレベルの電荷を読み出した後に、いったんキャパシタＣ３の蓄積電荷をリセットして、次に信号電荷を保持し直すため、破壊読み出しであり、同じフレーム期間に二度読みを行うことはできない。
　よって、図１５の画素回路２２は、プレビュー読出しを行わない第２撮像素子３でのみ利用可能である。第１撮像素子２内の画素回路２２をボルテージドメイン方式の回路構成にし、第２撮像素子３内の画素回路２２をチャージドメイン方式の回路構成にすることで、第１撮像素子２ではプレビュー読出しと本読出しを行うことができ、第２撮像素子３ではｋＴＣノイズをより抑制した本読出しを行うことができる。
　（第５の実施形態）　第１～第４の実施形態では、プレビュー読出しで生成された画像データに基づいて、動き又は対象物を含む特徴を検出した場合に、第１撮像素子２及び第２撮像素子３から画素信号を出力する本読出しを行う。
　第１～第４の実施形態では、第１撮像素子２と第２撮像素子３が同時に露光を開始し、同時に露光を終了し、同時に全画素分の第１キャパシタＣ１にリセットレベルの電荷を保持し、その後、同時に全画素分の第２キャパシタＣ２に信号電荷を保持する。特に、第１キャパシタＣ１と第２キャパシタＣ２に電荷を保持する際に、各画素回路２２内に一時的に大きな電流が流れるため、ピーク電力が増大する。また、第１キャパシタＣ１と第２キャパシタＣ２の保持電荷に応じた画素信号を垂直信号線Ｌ２に出力する際にも、ピーク電力が増大する。そこで、第５の実施形態は、ピーク電力を抑制するものである。
　図１６は第５の実施形態によるカメラシステム１の概略構成を示すブロック図である。図１６のカメラシステム１は、第１撮像素子２と、第２撮像素子３と、制御部４とを備えている。制御部４は、第１撮像素子２と第２撮像素子３のピーク電力を抑制する制御を行う。第１撮像素子２と第２撮像素子３内の各画素２０は、図４と同様の回路構成の画素回路２２を有する。
　図１７は第１５の実施形態によるカメラシステム１の動作タイミング図である。時刻ｔ６１は、露光開始の直前であり、第１リセットトランジスタ３３と転送トランジスタ３１がともにオンする。これにより、光電変換素子２１の蓄積電荷がリセットされる。時刻ｔ６２で第１リセットトランジスタ３３と転送トランジスタ３１がオフすると、露光が開始される。
　時刻ｔ６３で、第１撮像素子２と第２撮像素子３の各画素回路２２内の第１選択トランジスタ４１がオンすると、時刻ｔ６４～ｔ６５の期間に、第１撮像素子２の各画素回路２２内の第１キャパシタＣ１にリセットレベルの電荷が保持される。その後、時刻ｔ６５～ｔ６６の期間に、第２撮像素子３の各画素回路２２内の第１キャパシタＣ１にリセットレベルの電荷が保持される。
　時刻ｔ６６で、第１撮像素子２と第２撮像素子３の各画素回路２２内の第２選択トランジスタ４２がオンすると、時刻ｔ６７～ｔ６８の期間に、第１撮像素子２の各画素回路２２内の第２キャパシタＣ２に信号電荷が保持される。その後、時刻ｔ６８～ｔ６９の期間に、第２撮像素子３の各画素回路２２内の第２キャパシタＣ２に信号電荷が保持される。
　時刻ｔ６９以降に、第１撮像素子２と第２撮像素子３は、各画素回路２２内の第１キャパシタＣ１と第２キャパシタＣ２に保持した電荷に応じた画素信号を順に垂直信号線Ｌ２に伝送する。
　このように、第１撮像素子２と第２撮像素子３は、図１７の動作タイミング図に示すように、リセットレベルの電荷を第１キャパシタＣ１に保持するタイミングを互いにずらしている。また、第１撮像素子２と第２撮像素子３は、信号電荷を第２キャパシタＣ２に保持するタイミングを互いにずらしている。これにより、第１キャパシタＣ１と第２キャパシタＣ２に電荷を保持する際に第１撮像素子２と第２撮像素子３のピーク電力を抑制できる。
　図１８は一比較例によるカメラシステム１の動作タイミング図である。図１８のカメラシステム１では、第１撮像素子２と第２撮像素子３が同時に、第１キャパシタＣ１にリセットレベルの電荷を保持し（時刻ｔ７１～ｔ７２）、その後、第２キャパシタＣ２に信号電荷を保持する（時刻ｔ７２～ｔ７３）。
　図１８の場合、第１撮像素子２と第２撮像素子３の全画素分の第１キャパシタＣ１に同時にリセットレベルの電荷が保持され、その後に、全画素分の第２キャパシタＣ２に同時に信号電荷が保持されるため、時刻ｔ７１～ｔ７２の期間と時刻ｔ７２～ｔ７３の期間のピーク電力が大きくなる。
　これに対して、第５の実施形態によるカメラシステム１では、図１７に示すように、第１撮像素子２と第２撮像素子３が、時間をずらして、全画素分の第１キャパシタＣ１と第２キャパシタＣ２の電荷を保持するため、ピーク電力を一比較例の半分程度に抑制できる。
　図１６のカメラシステム１は、上述した第１～第４の実施形態によるカメラシステム１と組み合わせることが可能である。図１９は図１６の一変形例によるカメラシステム１の概略構成を示すブロック図である。図１９のカメラシステム１は、図１６のブロック構成に動き検出部５ａを追加したものである。図１９では、制御部４とは別個に動き検出部５ａを設けているが、図１と同様に、制御部４の内部に動き検出部５ａを設けてもよい。
　第１撮像素子２と第２撮像素子３は、同時に露光を開始するとともに、同時に露光を終了する。第１撮像素子２と第２撮像素子３は、互いに時間をずらして、各画素回路２２内の第１キャパシタＣ１にリセットレベルの電荷を保持し、その後、互いに時間をずらして、各画素回路２２内の第２キャパシタＣ２に信号電荷を保持する。
　第１撮像素子２又は第２撮像素子３の一方（例えば、第１撮像素子２）は、プレビュー読出しを行う。動き検出部５ａは、プレビュー読出しにより生成された画像データに基づいて動きを検出し、その検出結果を制御部４に送る。制御部４は、動き検出部５ａで動きが検出された場合のみ、第１撮像素子２と第２撮像素子３に本読出しを指示する。第１撮像素子２と第２撮像素子３は、動き検出部５ａで動きが検出された場合のみ、第１キャパシタＣ１と第２キャパシタＣ２に保持された電荷に応じた画素信号を垂直信号線Ｌ２に出力する。
　このように、第５の実施形態では、各画素回路２２内の第１キャパシタＣ１にリセットレベルに応じた電荷を保持するタイミングを第１撮像素子２と第２撮像素子３で互いにずらすとともに、各画素回路２２内の第２キャパシタＣ２に信号電荷を保持するタイミングを第１撮像素子２と第２撮像素子３で互いにずらす。これにより、ピーク電力を抑制できる。
　（第６の実施形態）　第５の実施形態は、第１キャパシタＣ１と第２キャパシタＣ２に電荷を保持（サンプリング）する際のピーク電力を抑制する対策を示したが、第１キャパシタＣ１と第２キャパシタＣ２の保持電荷に応じた画素信号を垂直信号線Ｌ２に出力する際にもピーク電力が発生しうる。第６の実施形態は、画素信号を垂直信号線Ｌ２に出力する際のピーク電力を抑制するものである。
　第６の実施形態によるカメラシステム１は、図１６又は図１９と同様のブロック構成を備えている。
　図２０は第６の実施形態によるカメラシステム１の動作タイミング図である。図２０の動作タイミング図は、信号電荷のサンプリングと読み出し動作のタイミングを示しており、リセットレベルの電荷のサンプリングと読出し動作のタイミングは省略している。
　第１撮像素子２及び第２撮像素子３は、時刻ｔ８１で露光を開始し、時刻ｔ８２で露光を終了して、全画素分の第２キャパシタＣ２に信号電荷を保持（サンプリング）する。
　第１撮像素子２は、時刻ｔ８２～ｔ８３の期間に、画素行ごとに、各画素２０の第２キャパシタＣ２の保持電荷に応じた画素信号を出力する。その後、第２撮像素子３は、時刻ｔ８４～ｔ８５の期間に、画素行ごとに、各画素２０の第２キャパシタＣ２の保持電荷に応じた画素信号を出力する。以上の動作を、フレーム期間ごとに繰り返す。
　図２０に示すように、全画素分の第２キャパシタＣ２の保持電荷に応じた画素信号を、第１撮像素子２と第２撮像素子３で時間をずらして出力するため、第２キャパシタＣ２から垂直信号線Ｌ２に画素信号を出力する際のピーク電力を抑制できる。
　図２０では、第１撮像素子２が１フレーム分の画素信号の出力を終えた後に、第２撮像素子３が１フレーム分の画素信号の出力を行うため、不図示の信号処理回路にて第１撮像素子２で撮像された画像データと第２撮像素子３で撮像された画像データとのパターンマッチングを行う際に、第１撮像素子２で撮像された画像データをいったんフレームメモリ等に保存しなければならない。第１査察像素子で撮像された画像データと第２撮像素子３で撮像された画像データが同タイミングで信号処理回路に入力されれば、フレームメモリに画像データを保存する必要がなくなる。そこで、以下に示すように、第１撮像素子２と第２撮像素子３とが、ほぼ同時に画素信号を出力するタイミング制御を行うことも可能である。
　図２１は第６の実施形態の一変形例による動作タイミング図である。図２１は、信号電荷を第２キャパシタＣ２に保持して、第２キャパシタＣ２の保持電荷に応じた画素信号を垂直信号線Ｌ２に出力するタイミングを示しており、リセットレベルの電荷を第１キャパシタＣ１に保持して、第１キャパシタＣ１の保持電荷に応じた画素信号を垂直信号線Ｌ２に出力するタイミングは省略している。
　第１撮像素子２と第２撮像素子３は、時刻ｔ９１で露光を開始し、時刻ｔ９２で露光を終了して、第２キャパシタＣ２は信号電荷を保持（サンプリング）する。その後、時刻ｔ９２～ｔ９３の期間に、第１撮像素子２と第２撮像素子３は、画素行ごとに交互に、対応する第２キャパシタＣ２の保持電荷に応じた画素信号を垂直信号線Ｌ２に出力する。
　図２１には、ｎ行目の画素行の出力タイミング（時刻Ｔ１～Ｔ３）と、（ｎ＋１）行目の画素行の出力タイミング（時刻Ｔ３～Ｔ５）と、（ｎ＋２）行目の画素行の出力タイミング（時刻Ｔ５～Ｔ７）とが図示されている。
　図２１の場合、画素行ごとに、第１撮像素子２と第２撮像素子３が交互に画素信号を出力するため、カラム信号処理回路１４が１フレーム分の画素２０データを生成するタイミングが第１撮像素子２と第２撮像素子３でほぼ同時になり、ほぼ同時に２種類の画像データを生成でき、フレームメモリに画像データを保存することなく、パターンマッチング等を迅速に行うことができる。
　図２１では、画素行ごとに、第１撮像素子２と第２撮像素子３が交互に画素信号を出力するため、第１撮像素子２と第２撮像素子３が同時に画素信号を出力する場合と比べて、ピーク電力を約半分に抑制できる。
　このように、第６の実施形態では、第２キャパシタＣ２に保持された信号電荷に応じた画素信号を垂直信号線Ｌ２に出力する際に、第１撮像素子２と第２撮像素子３で出力タイミングをずらすため、ピーク電力を抑制できる。
　＜応用例＞　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１～図２１を用いて説明した本実施形態に係るカメラシステム１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１～図２１を用いて説明した本実施形態に係るカメラシステムは、図２２に示した応用例の統合制御ユニット７６００に適用することができる。
　また、図１～図２１を用いて説明したカメラシステム１の少なくとも一部の構成要素は、図２２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１～図２１を用いて説明したカメラシステム１が、図２２に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　なお、本技術は以下のような構成を取ることができる。
　（１）第１撮像素子と、
　第２撮像素子と、
　前記第１撮像素子及び前記第２撮像素子を制御する制御部と、を備えるカメラシステムであって、
　前記第１撮像素子は、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有し、
　前記第２撮像素子は、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有し、
　前記第１撮像素子は、一部の前記第１画素回路又は一部の前記第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
　前記第２撮像素子は、前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える、カメラシステム。
　（２）前記一部の第１画素回路又は前記一部の第２画素回路は、前記複数の第１画素回路又は前記複数の第２画素回路を第１方向又は第２方向の少なくとも一方に間引いた１以上の画素位置に配置される、（１）に記載のカメラシステム。
　（３）前記制御部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、対象物の動き又は前記対象物の存在の少なくとも一方を含む特徴を検出する特徴検出部を有し、
　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力する、（１）又は（２）に記載のカメラシステム。
　（４）前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第２画素回路から画素信号を出力する、（３）に記載のカメラシステム。
　（５）前記特徴検出部は、前記一部の第１画素回路から出力された画素信号に基づいて特徴を検出し、
　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に、前記一部の第１画素回路から２回にわたって画素信号を出力し、前記一部の第１画素回路以外の第１画素回路から１回ずつ画素信号を出力する、（４）に記載のカメラシステム。
　（６）前記第１撮像素子は、前記特徴検出部で特徴が検出されなかったフレーム期間内には、前記複数の第１画素回路からの画素信号の出力を停止し、
　前記第２撮像素子は、前記特徴検出部で特徴が検出されなかった前記フレーム期間内には、前記複数の第２画素回路からの画素信号の出力を停止する、（４）乃至（５）のいずれか一項に記載のカメラシステム。
　（７）前記制御部は、前記特徴検出部で検出された前記特徴を含む画素位置に合わせて、前記フレーム期間ごとに、前記複数の第１画素回路内に１以上の第１画素回路を含む第１のＲＯＩ（Region Of Interest）画素領域を設定するとともに、前記複数の第２画素回路内に１以上の第２画素回路を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部を有し、
　前記第１撮像素子は、前記同一のフレーム期間内に前記第１のＲＯＩ画素領域内の画素信号を出力し、
　前記第２撮像素子は、前記同一のフレーム期間内に前記第２のＲＯＩ画素領域内の画素信号を出力する、（３）乃至（６）のいずれか一項に記載のカメラシステム。
　（８）前記特徴検出部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、前記動きを検出し、
　前記第１撮像素子は、前記動きが検出されたフレーム期間内に、前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記動きが検出された前記フレーム期間内に、前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力する、（３）乃至（７）のいずれか一項に記載のカメラシステム。
　（９）前記特徴検出部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、前記動きを検出し、
　前記制御部は、前記複数の第１画素回路のうち１以上の前記第１画素回路の画素位置を含む第１のＲＯＩ画素領域を設定するとともに、前記複数の第２画素回路のうち１以上の第２画素回路の画素位置を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部を有し、
　前記第１撮像素子は、前記動きが検出されたフレーム期間内に、前記第１のＲＯＩ画素領域内の画素信号を出力し、
　前記第２撮像素子は、前記動きが検出された前記フレーム期間内に、前記第２のＲＯＩ画素領域内の画素信号を出力する、（３）乃至（７）のいずれか一項に記載のカメラシステム。
　（１０）前記制御部は、
　前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、対象物が撮像されているか否かを判定する対象物判定部と、
　前記対象物が撮像されていると判定された場合に、前記複数の第１画素回路のうち１以上の前記第１画素回路の画素位置を含む第１のＲＯＩ画素領域を設定するとともに、前記複数の第２画素回路のうち１以上の第２画素回路の画素位置を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部と、を有し、
　前記第１撮像素子は、前記対象物が撮像されたフレーム期間内に前記第１のＲＯＩ画素領域内の前記第１画素回路から画素信号を出力し、
　前記第２撮像素子は、前記対象物が撮像された前記フレーム期間内に前記第２のＲＯＩ画素領域内の前記第２画素回路から画素信号を出力する、（１）又は（２）に記載のカメラシステム。
　（１１）前記制御部は、前記対象物の位置に合わせて、前記対象物を含むように前記第１のＲＯＩ画素領域及び前記第２のＲＯＩ画素領域の画素位置をフレーム期間ごとに制御する、（１０）に記載のカメラシステム。
　（１２）前記複数の第１画素回路のそれぞれは、
　第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第１浮遊拡散領域と、
　前記第１浮遊拡散領域の電荷をリセットした状態で前記第１浮遊拡散領域の電位に応じた電荷を蓄積する第１キャパシタと、
　前記第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２キャパシタと、を有し、
　前記複数の第２画素回路のそれぞれは、
　第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２浮遊拡散領域と、
　前記第２浮遊拡散領域の電荷をリセットした状態で前記第２浮遊拡散領域の電位に応じた電荷を蓄積する第３キャパシタと、
　前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第４キャパシタと、を有し、
　前記第１キャパシタ、前記第２キャパシタ、前記第３キャパシタ、及び前記第４キャパシタに蓄積された電荷は、読み出された後でも同一のフレーム期間内に保持される、（１）乃至（１１）のいずれか一項に記載のカメラシステム。
　（１３）前記第１撮像素子は、一部の前記第１画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
　前記第２撮像素子は、一部の前記第１画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替え、
　前記複数の第１画素回路のそれぞれは、
　第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第１浮遊拡散領域と、
　前記第１浮遊拡散領域の電荷をリセットした状態で前記第１浮遊拡散領域の電位に応じた電荷を蓄積する第１キャパシタと、
　前記第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２キャパシタと、を有し、
　前記複数の第２画素回路のそれぞれは、
　第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２浮遊拡散領域と、
　前記第２浮遊拡散領域をリセットした状態での電荷又は前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第３キャパシタと、を有し、
　前記第１キャパシタ及び前記第２キャパシタに蓄積された電荷は、読み出された後でも同一フレーム内で保持され、
　前記第３キャパシタは、一つのフレーム期間内に、前記第２浮遊拡散領域をリセットした状態での電荷を蓄積した後、前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する、（１）乃至（１１）のいずれか一項に記載のカメラシステム。
　（１４）前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路内の第１光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路内の第２光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングとを、互いにずらす、（１）乃至（１３）のいずれか一項に記載のカメラシステム。
　（１５）前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路内でのリセットレベルの電荷をサンプリングするタイミングと、前記第１光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路内でのリセットレベルの電荷をサンプリングするタイミングと、前記第２光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングとを、それぞれずらす、（１４）に記載のカメラシステム。
　（１６）前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するタイミングとを、互いにずらす、（１）乃至（１５）のいずれか一項に記載のカメラシステム。
　（１７）前記制御部は、前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力させた後に、前記同一のフレーム期間内で前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力させる、（１６）に記載のカメラシステム。
　（１８）前記複数の第１画素回路は、第１方向及び第２方向に複数個ずつ配置され、
　前記複数の第２画素回路は、前記第１方向及び前記第２方向に複数個ずつ配置され、
　前記第１撮像素子及び前記第２撮像素子は、前記同一のフレーム期間内に画素信号を出力する際には、前記第２方向に配置される画素群ごとに交互に画素信号を出力する、（１）乃至（１５）のいずれか一項に記載のカメラシステム。
　（１９）前記第１撮像素子及び前記第２撮像素子は、同一の画素数を有し、
　前記第１撮像素子及び前記第２撮像素子は、同じ露光タイミングで露光を行う、（１）乃至（１８）のいずれか一項に記載のカメラシステム。
　（２０）それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有する第１撮像素子と、
　それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有する第２撮像素子と、
　前記第１撮像素子及び前記第２撮像素子を制御する制御部と、を備えるカメラシステムの制御方法であって、
　前記第１撮像素子は、一部の前記第１画素回路又は一部の前記第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
　前記第２撮像素子は、前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える、カメラシステムの制御方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
１　カメラシステム、２　第１撮像素子、３　第２撮像素子、４　制御部、５　特徴検出部、５ａ　検出部、５ｂ　ＲＯＩ設定部、６　撮像制御部、７　記憶部、８　比較部、１１　画素アレイ部、１２　垂直走査回路、１３　負荷ＭＯＳ回路、１４　カラム信号処理回路、１５　タイミング制御回路、１６　デジタル－アナログ変換器（ＤＡＣ）、２０　画素、２１　光電変換素子、２２　画素回路、２３　前段回路、２４　選択回路、２５　後段回路、３１　転送トランジスタ、３２　浮遊拡散領域、３３　第１リセットトランジスタ、３４　第１増幅トランジスタ、３５　電流源、４１　第１選択トランジスタ、４２　第２選択トランジスタ、４３　第２増幅トランジスタ、４４　第３選択トランジスタ、４５　第２リセットトランジスタ、５１　電流源、５２　アナログ－デジタル変換器、５３　デジタル信号処理部、６１　オーバーフロートランジスタ、６２　第１転送トランジスタ、６３　第２転送トランジスタ、６４　リセットトランジスタ、６５　増幅トランジスタ、６６　選択トランジスタ、６７　浮遊拡散領域

Claims (20)

  1. 　第１撮像素子と、
    　第２撮像素子と、
    　前記第１撮像素子及び前記第２撮像素子を制御する制御部と、を備えるカメラシステムであって、
    　前記第１撮像素子は、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有し、
    　前記第２撮像素子は、それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有し、
    　前記第１撮像素子は、一部の前記第１画素回路又は一部の前記第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
    　前記第２撮像素子は、前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える、カメラシステム。
  2. 　前記一部の第１画素回路又は前記一部の第２画素回路は、前記複数の第１画素回路又は前記複数の第２画素回路を第１方向又は第２方向の少なくとも一方に間引いた１以上の画素位置に配置される、請求項１に記載のカメラシステム。
  3. 　前記制御部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、対象物の動き又は前記対象物の存在の少なくとも一方を含む特徴を検出する特徴検出部を有し、
    　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力し、
    　前記第２撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力する、請求項１に記載のカメラシステム。
  4. 　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第１画素回路から画素信号を出力し、
    　前記第２撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に前記複数の第２画素回路から画素信号を出力する、請求項３に記載のカメラシステム。
  5. 　前記特徴検出部は、前記一部の第１画素回路から出力された画素信号に基づいて特徴を検出し、
    　前記第１撮像素子は、前記特徴検出部で特徴が検出された前記フレーム期間内に、前記一部の第１画素回路から２回にわたって画素信号を出力し、前記一部の第１画素回路以外の第１画素回路から１回ずつ画素信号を出力する、請求項４に記載のカメラシステム。
  6. 　前記第１撮像素子は、前記特徴検出部で特徴が検出されなかったフレーム期間内には、前記複数の第１画素回路からの画素信号の出力を停止し、
    　前記第２撮像素子は、前記特徴検出部で特徴が検出されなかった前記フレーム期間内には、前記複数の第２画素回路からの画素信号の出力を停止する、請求項４に記載のカメラシステム。
  7. 　前記制御部は、前記特徴検出部で検出された前記特徴を含む画素位置に合わせて、前記フレーム期間ごとに、前記複数の第１画素回路内に１以上の第１画素回路を含む第１のＲＯＩ（Region Of Interest）画素領域を設定するとともに、前記複数の第２画素回路内に１以上の第２画素回路を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部を有し、
    　前記第１撮像素子は、前記同一のフレーム期間内に前記第１のＲＯＩ画素領域内の画素信号を出力し、
    　前記第２撮像素子は、前記同一のフレーム期間内に前記第２のＲＯＩ画素領域内の画素信号を出力する、請求項３に記載のカメラシステム。
  8. 　前記特徴検出部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、前記動きを検出し、
    　前記第１撮像素子は、前記動きが検出されたフレーム期間内に、前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力し、
    　前記第２撮像素子は、前記動きが検出された前記フレーム期間内に、前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力する、請求項３に記載のカメラシステム。
  9. 　前記特徴検出部は、前記一部の第１画素回路又は前記一部の第２画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、前記動きを検出し、
    　前記制御部は、前記複数の第１画素回路のうち１以上の前記第１画素回路の画素位置を含む第１のＲＯＩ画素領域を設定するとともに、前記複数の第２画素回路のうち１以上の第２画素回路の画素位置を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部を有し、
    　前記第１撮像素子は、前記動きが検出されたフレーム期間内に、前記第１のＲＯＩ画素領域内の画素信号を出力し、
    　前記第２撮像素子は、前記動きが検出された前記フレーム期間内に、前記第２のＲＯＩ画素領域内の画素信号を出力する、請求項３に記載のカメラシステム。
  10. 　前記制御部は、
    　前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、対象物が撮像されているか否かを判定する対象物判定部と、
    　前記対象物が撮像されていると判定された場合に、前記複数の第１画素回路のうち１以上の前記第１画素回路の画素位置を含む第１のＲＯＩ画素領域を設定するとともに、前記複数の第２画素回路のうち１以上の第２画素回路の画素位置を含む第２のＲＯＩ画素領域を設定するＲＯＩ設定部と、を有し、
    　前記第１撮像素子は、前記対象物が撮像されたフレーム期間内に前記第１のＲＯＩ画素領域内の前記第１画素回路から画素信号を出力し、
    　前記第２撮像素子は、前記対象物が撮像された前記フレーム期間内に前記第２のＲＯＩ画素領域内の前記第２画素回路から画素信号を出力する、請求項１に記載のカメラシステム。
  11. 　前記制御部は、前記対象物の位置に合わせて、前記対象物を含むように前記第１のＲＯＩ画素領域及び前記第２のＲＯＩ画素領域の画素位置をフレーム期間ごとに制御する、請求項１０に記載のカメラシステム。
  12. 　前記複数の第１画素回路のそれぞれは、
    　第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第１浮遊拡散領域と、
    　前記第１浮遊拡散領域の電荷をリセットした状態で前記第１浮遊拡散領域の電位に応じた電荷を蓄積する第１キャパシタと、
    　前記第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２キャパシタと、を有し、
    　前記複数の第２画素回路のそれぞれは、
    　第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２浮遊拡散領域と、
    　前記第２浮遊拡散領域の電荷をリセットした状態で前記第２浮遊拡散領域の電位に応じた電荷を蓄積する第３キャパシタと、
    　前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第４キャパシタと、を有し、
    　前記第１キャパシタ、前記第２キャパシタ、前記第３キャパシタ、及び前記第４キャパシタに蓄積された電荷は、読み出された後でも同一のフレーム期間内に保持される、請求項１に記載のカメラシステム。
  13. 　前記第１撮像素子は、一部の前記第１画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
    　前記第２撮像素子は、一部の前記第１画素回路から前記フレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替え、
    　前記複数の第１画素回路のそれぞれは、
    　第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第１浮遊拡散領域と、
    　前記第１浮遊拡散領域の電荷をリセットした状態で前記第１浮遊拡散領域の電位に応じた電荷を蓄積する第１キャパシタと、
    　前記第１光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２キャパシタと、を有し、
    　前記複数の第２画素回路のそれぞれは、
    　第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第２浮遊拡散領域と、
    　前記第２浮遊拡散領域をリセットした状態での電荷又は前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する第３キャパシタと、を有し、
    　前記第１キャパシタ及び前記第２キャパシタに蓄積された電荷は、読み出された後でも同一フレーム内で保持され、
    　前記第３キャパシタは、一つのフレーム期間内に、前記第２浮遊拡散領域をリセットした状態での電荷を蓄積した後、前記第２光電変換素子で光電変換された入射光に応じた電荷を蓄積する、請求項１に記載のカメラシステム。
  14. 　前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路内の第１光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路内の第２光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングとを、互いにずらす、請求項１に記載のカメラシステム。
  15. 　前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路内でのリセットレベルの電荷をサンプリングするタイミングと、前記第１光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路内でのリセットレベルの電荷をサンプリングするタイミングと、前記第２光電変換素子で光電変換された入射光に応じた電荷をサンプリングするタイミングとを、それぞれずらす、請求項１４に記載のカメラシステム。
  16. 　前記制御部は、前記第１撮像素子が前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するタイミングと、前記第２撮像素子が前記同一のフレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するタイミングとを、互いにずらす、請求項１に記載のカメラシステム。
  17. 　前記制御部は、前記同一のフレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力させた後に、前記同一のフレーム期間内で前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力させる、請求項１６に記載のカメラシステム。
  18. 　前記複数の第１画素回路は、第１方向及び第２方向に複数個ずつ配置され、
    　前記複数の第２画素回路は、前記第１方向及び前記第２方向に複数個ずつ配置され、
    　前記第１撮像素子及び前記第２撮像素子は、前記同一のフレーム期間内に画素信号を出力する際には、前記第２方向に配置される画素群ごとに交互に画素信号を出力する、請求項１に記載のカメラシステム。
  19. 　前記第１撮像素子及び前記第２撮像素子は、同一の画素数を有し、
    　前記第１撮像素子及び前記第２撮像素子は、同じ露光タイミングで露光を行う、請求項１に記載のカメラシステム。
  20. 　それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第１画素回路を有する第１撮像素子と、
    　それぞれの画素で光電変換された入射光に応じた電荷を同時にサンプリングし、かつサンプリングされた電荷を非破壊で読み出す複数の第２画素回路を有する第２撮像素子と、
    　前記第１撮像素子及び前記第２撮像素子を制御する制御部と、を備えるカメラシステムの制御方法であって、
    　前記第１撮像素子は、一部の前記第１画素回路又は一部の前記第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第１画素回路のうち少なくとも一部の第１画素回路から画素信号を出力するか否かを切り替え、
    　前記第２撮像素子は、前記一部の第１画素回路又は前記一部の第２画素回路からフレーム期間ごとに出力された画素信号に基づいて、同一の前記フレーム期間内に前記複数の第２画素回路のうち少なくとも一部の第２画素回路から画素信号を出力するか否かを切り替える、カメラシステムの制御方法。
PCT/JP2023/029574 2022-08-24 2023-08-16 カメラシステム及びその制御方法 WO2024043150A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022133666 2022-08-24
JP2022-133666 2022-08-24

Publications (1)

Publication Number Publication Date
WO2024043150A1 true WO2024043150A1 (ja) 2024-02-29

Family

ID=90013258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029574 WO2024043150A1 (ja) 2022-08-24 2023-08-16 カメラシステム及びその制御方法

Country Status (1)

Country Link
WO (1) WO2024043150A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049870A (ja) * 2007-08-22 2009-03-05 Sony Corp 固体撮像装置、撮像装置
JP2020028115A (ja) * 2018-08-08 2020-02-20 キヤノン株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049870A (ja) * 2007-08-22 2009-03-05 Sony Corp 固体撮像装置、撮像装置
JP2020028115A (ja) * 2018-08-08 2020-02-20 キヤノン株式会社 撮像装置

Similar Documents

Publication Publication Date Title
US11895398B2 (en) Imaging device and imaging system
US20230047180A1 (en) Imaging device and imaging method
US20230276141A1 (en) Imaging device and imaging method
US11683606B2 (en) Imaging device and electronic equipment
US20230179879A1 (en) Imaging device and imaging method
WO2021256095A1 (ja) 撮像装置及び撮像方法
US20220148432A1 (en) Imaging system
EP4099683A1 (en) Imaging device, electronic apparatus, and imaging method
US20230247323A1 (en) Imaging device and imaging method
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2024043150A1 (ja) カメラシステム及びその制御方法
WO2024075492A1 (ja) 固体撮像装置及び比較装置
WO2023181663A1 (ja) 比較器、増幅器及び固体撮像装置
WO2024122420A1 (ja) 光検出素子
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2024034271A1 (ja) 光検出素子及び電子機器
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2023136093A1 (ja) 撮像素子、および電子機器
WO2023243497A1 (ja) 固体撮像素子、および、撮像装置
WO2024057995A1 (ja) 光検出素子及び電子機器
WO2023032298A1 (ja) 固体撮像装置
US20230108884A1 (en) Imaging device and imaging method
TW202402036A (zh) 固態影像擷取裝置以及影像擷取設備

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857263

Country of ref document: EP

Kind code of ref document: A1